Skip to main content

Datasets and Metrics for 3D Reconstruction

3D Reconstruction の評価では、task ごとに dataset と metric が異なります。Camera pose、depth、surface、optical flow、semantic label など、評価対象を明確にする必要があります。

Camera pose / SLAM​

Dataset特徴
TUM RGB-DIndoor RGB-D SLAM の代表的 dataset です。
KITTI OdometryOutdoor driving scene の visual odometry / SLAM benchmark です。
EuRoC MAVVisual-inertial SLAM 向けの MAV dataset です。

代表的な metric には、Absolute Trajectory Error（ATE）と Relative Pose Error（RPE）があります。

Depth estimation​

Dataset特徴
NYU Depth v2Indoor RGB-D depth estimation でよく使われます。
KITTI DepthOutdoor driving scene の depth estimation benchmark です。
ETH3DMulti-view stereo と stereo matching の評価に使われます。

Depth estimation では、AbsRel、RMSE、scale-invariant error、threshold accuracy などが使われます。

Optical flow​

Dataset特徴
Middlebury Optical Flow古典的な optical flow benchmark です。
SintelAnimated movie ベースの challenging な optical flow dataset です。
KITTI FlowDriving scene の optical flow benchmark です。
FlyingThings3D / Scene Flow datasetsSynthetic な optical flow、disparity、scene flow の large-scale dataset です。

代表的な metric は End-Point Error（EPE）です。Stereo matching では disparity EPE や bad pixel rate、scene flow では 3D endpoint error も使われます。

Multi-view stereo / surface reconstruction​

Dataset特徴
DTUControlled environment の multi-view stereo benchmark です。
Tanks and TemplesReal-world scale の MVS benchmark です。
ETH3DHigh-resolution image による MVS / SfM benchmark です。

Surface reconstruction では、accuracy、completeness、F-score などが使われます。

Segmentation​

Dataset特徴
COCOInstance segmentation の代表的 dataset です。
CityscapesUrban scene の semantic segmentation dataset です。
ScanNetIndoor RGB-D scan と 3D semantic label を含みます。

Segmentation では、mIoU、AP、PQ（panoptic quality）などが使われます。

評価時の注意​

  • Monocular depth では scale alignment の有無を明示する必要があります。
  • SLAM では、alignment 後の trajectory error と absolute scale の扱いを区別する必要があります。
  • Surface reconstruction では、評価対象の crop、visibility、sampling density によって結果が変わります。
  • Dynamic scene では、static background と moving object を分けて評価することがあります。

関連ページ​

主なソース​