3D Reconstruction | Haruk1y Wiki

3D Reconstruction Overview

三次元再構成の全体像と、各知識要素の関係を整理します。

Pinhole camera model、intrinsics、extrinsics、projection、distortion、座標系を整理します。

二つの camera view の間に成り立つ epipolar constraint、fundamental matrix、essential matrix を整理します。

3D Reconstruction で頻出する triangulation、Perspective-n-Point、ICP を整理します。

Keypoint、descriptor、matching、geometric verification、learned matching を整理します。

Optical Flow の定義、brightness constancy、classical method、deep learning method、3D reconstruction との関係を整理します。

Rectified stereo pair から disparity map を推定し、depth に変換する Stereo Matching を整理します。

Depth map、stereo depth、monocular depth、multi-view depth、metric depth と relative depth を整理します。

3D scene の dense motion field である Scene Flow と optical flow / depth との関係を整理します。

Surface normal、normal map、depth との関係、3D reconstruction と rendering での役割を整理します。

Semantic / instance / panoptic segmentation と、3D Reconstruction における役割を整理します。

照明条件を変えた複数画像から surface normal と shape を推定する Photometric Stereo を整理します。

複数画像から camera pose と sparse 3D structure を復元する Structure from Motion を整理します。

Multi-View Stereo の目的、photometric consistency、depth map fusion、learning-based MVS を整理します。

Camera pose と 3D point を再投影誤差で同時最適化する Bundle Adjustment を整理します。

連続 frame から camera motion を推定する Visual Odometry を整理します。

Simultaneous Localization and Mapping の基本構成、tracking、mapping、loop closure、sensor 別の違いを整理します。

3D Reconstruction の代表的な geometry representation と fusion method を整理します。

NeRF、neural implicit surface、3D Gaussian Splatting など neural representation による三次元再構成を整理します。

SLAM の drift を修正するための place recognition、loop closure、pose graph optimization を整理します。

3D Reconstruction、depth、optical flow、SLAM、segmentation の代表的 dataset と metric を整理します。

実際に三次元再構成を行うときの pipeline、失敗原因、tool 選定を整理します。