Skip to main content

DUSt3R / MASt3R in Pipelines

DUSt3R / MASt3R は「calibration なしでも 3D が出る」点が魅力ですが、本領が発揮されるのは、他の component と組み合わせたときです。代表的な使い方を整理します。

1. SfM の代替・初期化​

COLMAP が苦手な弱 texture / 少画像枚数の scene でも、DUSt3R / MASt3R は pointmap を直接出せます。

これによって、COLMAP が失敗していた sparse view setting でも reconstruction が立ち上がります。

2. NeRF / 3DGS の初期 pose 推定​

NeRF や 3D Gaussian Splatting は、accurate な camera pose が必要です。MASt3R-SfM 経由で pose を出してから、3DGS や NeRF を train するパイプラインが現実的です。

特に、撮影条件が limited で COLMAP が失敗するシーンで効きます。

3. Visual localization​

MASt3R は dense matching に強いため、visual localization のクエリ画像と database 画像の対応推定にも使えます。

4. Foundation model 同士の組み合わせ​

DUSt3R / MASt3R が geometry の core、Depth Anything が dense prior、SAM が object boundary を担当する形が典型です。

限界​

  • 非常に大規模な scene (数千 view) は依然として古典 SfM の方が安定
  • Pair-wise pointmap を多 view へ align するときに scale drift が出る
  • Reflective / transparent surface は弱い
  • Metric scale は学習データに依存し、calibrated stereo / LiDAR ほど厳密ではない

関連ページ​

主なソース​