Skip to main content

4D Reconstruction Datasets and Metrics

4D Reconstruction の評価は、static 3D Reconstruction より難しくなります。Geometry の正確さだけでなく、temporal consistency、motion accuracy、novel view synthesis quality も評価する必要があります。

代表的 dataset​

Dataset特徴
D-NeRF synthetic scenesDynamic NeRF の基本 benchmark として使われる synthetic scene です。
HyperNeRF / Nerfies dataNon-rigid object の real capture を含みます。
DyNeRF / Neural 3D Video dataMulti-view video による dynamic scene rendering の benchmark です。
ZJU-MoCapDynamic human reconstruction / neural avatar でよく使われます。
CMU Panoptic StudioMulti-view human pose / body reconstruction に使われます。
KITTI / Waymo / ArgoverseDriving scene の dynamic 3D perception / scene flow に使われます。

Rendering quality metrics​

Novel view / novel time rendering では、image quality を評価します。

  • PSNR
  • SSIM
  • LPIPS
  • FID / FVD (video quality の場合)

ただし、PSNR が高くても temporal flicker が大きい場合があります。そのため video-specific な metric も必要です。

Geometry metrics​

Ground-truth geometry がある場合には、次の metric が使われます。

  • Chamfer Distance
  • F-score
  • Depth RMSE
  • Normal consistency
  • Surface accuracy / completeness

Temporal metrics​

4D では時間方向の評価が重要です。

  • Temporal consistency of rendered frames
  • Optical flow consistency
  • Scene flow error
  • Motion trajectory error
  • Flicker score

評価時の注意​

  • Novel view と novel time を分けて評価する。
  • Monocular と multi-view では難易度が大きく違う。
  • Geometry の正確さと rendering quality は一致しないことがある。
  • Human avatar では pose transfer quality も重要。

関連ページ​

主なソース​