代表の柳原です。
Facebook社がMETA社に社名を変えて「メタバース」と言う言葉がいきなりメジャーになり、
またiPhone12ProにLIDARが搭載されるなどセンシングデバイスのコモディティ化も始まったことで、
一気にデジタルツイン・メタバースに関する注目度が高まってきました。
デジタルツインを支える点群解析については、数年前から画像の次の領域として研究を続けていましたので、
ようやく日の目を見る部分が出てきて嬉しい限りです。
ここでは私およびRidge-iがどうしてデジタルツインと点群に興味を持っているか、どんな可能性を見出そうとしているかについての投稿です。
デジタルツインについて
デジタルツインというキーワードで最も有名なものはGM社のエンジン解析で2015年に提唱したものです。
https://www.gereports.jp/digital-twin-technology/
このプレゼンテーションを聞いた際に、AIとデジタルツインは非常に相性がよいという発想が私の中で生まれました。
デジタルツインというキーワードには、主に２点の期待があります。
・設計・生産プロセスのデジタル上でのシミュレーション ＝ 空力シミレーションなど、設計・生産プロセスでの試行錯誤をデジタル上で行うことによる高速化や最適解の発見
・設計と現実の乖離の把握・センサーデータのデジタル活用 ＝ エンジンや工場機器などが持つデータをデジタル空間にアップロードし、リモートかつAIを使った高度処理
前者はMI（マテリアルインフォマティクス）を中心に、後者はIoTセンサーや予防保全などの文脈で利用が進み始めています。
特にデジタルのマーケットでは、精緻かつ大規模な計画よりも、行動と修正の速いサイクルが競争優位となる時代であり、それを実現する手段としてデジタルツインとAIが必要不可欠です。
AIによるシミュレーションとの融合
直近ではIsoGCNという科学計算総合研究所が発表したシミュレーションAIがあります。これにより数日かかっていたシミュレーションが数分でできるようになったとのことです。
https://monoist.itmedia.co.jp/mn/articles/2205/09/news046.html
機械学習を中心としたAIの良さとしては、近似解を高速で求めることができる、という点があります。
Disneyでもアナ雪２のシェーディングの計算にDeep Learningをつかったともありました。
なぜ近似解でよいのか？
これは設計プロセスをいかに高速に回せることが、現在のマーケットでの企業の競争力に直結するからです。
これまでの製造プロセスでは画一的なモデルによる大量生産とコストベネフィットが最重要視されました。設計というプロセスは、５〜１０年と通用するものを求められます。
しかしながら、現在ではマーケットニーズは画一的なものをむしろ敬遠され、全体のトレンドや個人の特性に応じたチューニングによる少量多品種の生産なり、デジタル上では競合の参入障壁がぐっと低くなるため、提供するサービス自体も日々進化させる必要があります。
ときにはデザインも大きくピボットさせる必要があり、そうなると大局的な探索をする回数が大きく増やすことが求められます。
厳密なシミュレーションをするよりかは、問題がない・良いと思われる領域を見つけて、そこから厳密解を探す、というステップが有効です。
すでに、創薬・バイオ・材料ではこのアプローチが進んでいますが、建築の設計でも同様のケースが生まれています。
弊社の事例になりますが、これまで３ヶ月以上かかっていた物流倉庫の設計プロセスを、数秒で行える「ALPS」AIを構築知ることで、素早い営業提案が可能となりました。
このように設計・提案・生産というプロセスをデジタルで高速化する流れは、一気に進んできており、デジタルツインの１テーマとして急成長が続いています。
現場のリアルをデジタルに起こす「点群」
次に現場とデジタルとの乖離をどうなくすことができるかについてです。
まずは工場や石油プラントのような大規模設備では、建造時点での様々な誤差が積み重なって配管を変えたり、その後の運用の中で修繕やものやここに剥落や漏水などの劣化現象が重なっていき、設計図面と実際の現況には大きな乖離が発生していきます。
人手による定期巡回などで劣化の現象が起きた場合には発見できますが、高所などの危険箇所や、下水管のような狭い場所の巡回は用意ではありません。
そこで目視巡回に変わりカメラおよびLIDARを使った巡回による３次元モデルを作って、図面との違いを見つけたり異常箇所を発見するデジタルツインが主流となってきています。
このうち、LIDARが取得するデータは点群データと言われます。
カメラと比べて物理的な距離（X,Y,Zの座標。もしくは極座標）が正確に測定できるため、３次元モデルの生成には適したセンサーになりますが、問題はデータが素であって大規模点群を扱える先行研究はありませんでした。
また取得したデータにはノイズが多く含まれるため、その削除する作業にも数日から数ヶ月かかります。そのため、LIDARによる計測がなかなか進まず、ドローンでの解析もカメラが主体のままでした。
画像AIの研究はこれだけあるのに、デジタルツインの主要技術である点群のAIが少ないと思い、先行研究を始めたのは2020年です。
ようやく1年以上の研究を経て、大規模点群を扱う技術とノイズ除去AIが完成しました。
この次に発生するのは画像AIで起きたことと同様に、点群から配管だけを抜き出したり、傷や変化部位を見つける異常検知のニーズが必ずくると考えています。
画像・点群・AIの融合
この先にある世界は、画像と点群の両方を組み合わせることで、よりハイコンテキストの3次元モデルを作るデジタル化と、そのデータを使うことでのAIでによるシミュレーションが行われる世界が間近に来ていると考えています。
写真から3次元データを作るフォトグラメトリ（古くはStructure From Motionとも言われる領域）も進化が進んでいます。
そのデータがBIM/CIMのようなCADアプリと組み合わされば構造計算ができるようになったり、VR/ARのアプリケーションと組み合わされば避難のシミュレーションや、熟練技術者のレクチャーによる省人化や職人技の形式知化なども可能になってきます。
アプリケーションフェーズではより多くのAIとの融合が可能性としてあり、こうした全体像をもってデジタルツイン、と期待されていると考えています。
まだデジタルツインは、設計プロセスとリアル環境の3D化に閉じていますが、2〜3年の間にアプリケーション用途も広がってくると予測しています。