Skip to main content

Depth Anything in 3D Reconstruction Pipelines

Depth Anything は、3D Reconstruction の中で 「prior としての depth」 を提供する位置にあります。ここでは、典型的な組み合わせをまとめます。

NeRF / 3DGS の depth supervision​

Sparse view の NeRF や 3D Gaussian Splatting では、photometric loss だけだと geometry が崩れやすくなります。Depth Anything による depth prior を追加 supervision として与えると、

  • 早期に妥当な形状が出る
  • Surface の歪みが減る
  • 少ない view 数でも安定する

という効果があります。

Sparse SfM の補強​

Structure from Motion は、texture が少ない scene や view 間 overlap が小さい場合に失敗しやすくなります。Depth Anything で得た monocular depth を使えば、

  • Initialization の guidance
  • Point cloud の densification
  • 失敗 view の rescue

に役立ちます。

Diffusion model との連携​

近年の text-to-image / video diffusion model では、depth condition が広く使われています (ControlNet)。

これによって、構図や奥行きを保ったまま、見た目だけを書き換えるような編集が可能になります。

VGGT / SAM との組み合わせ​

Depth Anything は、他 foundation model と組み合わせると相補的に働きます。

  • VGGT: camera pose と粗い 3D
  • Depth Anything: dense depth prior
  • SAM: object boundary

これらを統合すると、geometry と semantic の両面で扱いやすい 3D scene が得られます。

DA3 の場合​

Depth Anything 3 は any-view geometry を直接出すため、VGGT 的に単独で使うことも可能です。

このとき、SfM や VGGT との使い分けは、対象 scene、必要精度、metric scale の要否などで判断します。

実務でのチェックポイント​

  • Depth が relative か metric かを必ず確認する
  • Aspect ratio や crop で depth scale が崩れないようにする
  • 透明 / 反射 / 鏡を含む scene は別途扱う
  • 動的 scene では SAM 2 などと組み合わせて moving region を分離する

関連ページ​

主なソース​