三次元再構成

三次元再構成とは

三次元再構築は，通常のカメラや深度カメラなどを使用して，観測した物体や環境の三次元形状や外観を計算機上で正確に再現することを指します．

三次元再構築の技術を活用することで，自動運転車を正確かつ安全に運用するために必須となる三次元環境地図作成や周囲の人や車の検知などを実現できます．また，ロボットが日常環境で荷物を掴んだり，階段を上り下りして物を運んだりするための認識機能としても必要不可欠です．さらに，メタバースを代表とする実世界に非常に近い仮想的な世界を構築するツールとしても利用可能です．

ケージを利用したNeRFの自由変形手法 [Xu+, ECCV 2022]

関連研究

三次元再構成の方法は大きく分けて，能動的な手法と受動的な手法に分けることができます．

能動的な手法では，対象物にレーザーなどを照射し，対象物から返ってくるまでの時間を計測することで距離を推定したり，ランダムなパターンを照射して距離に応じたパターンのズレを計測することで深度画像を得ます．そして，異なる視点から得られた複数の深度画像を組み合わせて物体や環境の三次元構造を再構築します．

受動的な手法では，スマートフォンなどに搭載された通常の画像センサを使用して二次元画像を撮影し，画像処理や画像認識を用いて対象物体や環境の三次元構造を推定します．受動的な手法は，一般的なカメラを利用できるため，さまざまな状況に適用することが可能です．

三次元再構成のための画像処理・認識では，視点の異なる複数のカメラから観測される対象物体の位置のずれを利用したり，画像平面上での対象物体の動きを活用するなど，さまざまな手法が提案されています．最近ではNeRF（Neural Radiance Fields）と呼ばれる手法が注目されています．NeRFは，視点の異なる複数の二次元画像から三次元シーンを再構築可能なニューラルネットワークです．これにより，観測した状況に存在しない新しい視点から対象物体の画像を正確に生成することが可能です．

この研究室の独自性と成果

弊私たちの研究室では，単なる三次元空間の再構築だけでなく，時間の経過も考慮した時空間再構築（四次元再構築）の研究に取り組んでいます．物体の形状が時間とともに変化する場合，それを非剛体物体と呼びます．非剛体物体の例として，手足の動きによって形が変わる人や動物，風によって自由自在に形状が変化する木々やカーテンなどがあげられます．一方，ビルやテーブルなどの剛体物体は時間が経っても形がほとんど変わりません．非剛体物体の四次元再構築は，コンピュータビジョンの分野でも難しい課題として知られています．

私たちの研究室では，人や動物などの対象物を観測した複数の画像から，表面形状や見た目のみならず，その骨格や関節構造を自動的に推定し，推定された対象物をユーザの意図通りに自由に動かすことができる新規NeRF手法を実現しています．また，骨格構造のないぬいぐるみのような物体でも自由に変形可能な新しいNeRF手法の開発にも取り組んでいます．

多関節物体のNeRF手法 [Noguchi+, CVPR 2022]

さらに，非剛体物体の時空間再構築を目指して，異なる視点から観測される対象物の深度画像間の対応関係を正確に見つける非剛体物体点群マッチング手法や，異なる形状を持つ非剛体物体の深度画像間の変換を正確に推定する非剛体物体点群レジストレーション手法の開発に取り組んでいます．

非剛体物体のレジストレーション [Li+, NeurIPS 2022]

今後の方向性

現状では，対象物体が剛体か非剛体かによって異なる方法論が存在していますが，将来的には対象物体の特性に関係なく，統一的な四次元再構築が可能な方法論を研究していく予定です．また，観測できなかった部分を適切に推定することで，限られた観測情報からでも正確な四次元再構築を行う手法を目指しています．さらに，街や郊外など広範囲な領域にも適用可能な手法を実現し，長期間そのデータの蓄積を行うことで，現実世界の未来予測などにも応用できる手法を開発したいと考えています．

参考文献

1. Yang Li, Tatsuya Harada. Non-rigid Point Cloud Registration with Neural Deformation Pyramid. NeurIPS2022.
2. Yuki Kawana, Yusuke Mukuta, Tatsuya Harada. Unsupervised Pose-aware Part Decomposition for Man-made Articulated Objects. ECCV2022. (oral)
3. Atsuhiro Noguchi, Xiao Sun, Stephen Lin, Tatsuya Harada. Unsupervised Learning of Efficient Geometry-Aware Neural Articulated Representations. ECCV2022.
4. Tianhan Xu, Tatsuya Harada. Deforming Radiance Fields with Cages. ECCV2022.
5. Yang Li, Tatsuya Harada. Lepard: Learning partial point cloud matching in rigid and deformable scenes. CVPR2022. (oral)
6. Atsuhiro Noguchi, Umar Iqbal, Jonathan Tremblay, Tatsuya Harada, Orazio Gallo. Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of Articulated Objects. CVPR2022.
7. Atsuhiro Noguchi, Xiao Sun, Stephen Lin, Tatsuya Harada. Neural Articulated Radiance Field. ICCV2021.
8. Yuki Kawana, Yusuke Mukuta, Tatsuya Harada. Neural Star Domain as Primitive Representation. NeurIPS2020.
9. Yang Li, Aljaz Bozic, Tianwei Zhang, Yanli Ji, Tatsuya Harada, Matthias Niessner. Learning to Optimize Non-Rigid Tracking. CVPR2020. (oral)
10. Yang Li, Tianwei Zhang, Yoshihiko Nakamura, Tatsuya Harada. SplitFusion: Simultaneous Tracking and Mapping for Non-Rigid Scenes. IROS2020.