Dynamic NeRF

Dynamic NeRF は、時間とともに変化する scene を Neural Radiance Field で表す方法です。Static NeRF が $F_\theta(\mathbf{x}, \mathbf{d}) \to (\sigma, \mathbf{c})$ を学習するのに対し、Dynamic NeRF は時間 $t$ も扱います。

単純な time-conditioned NeRF

最も単純には、NeRF に time を入力として加えます。

$$F_\theta(\mathbf{x}, \mathbf{d}, t) \to (\sigma, \mathbf{c})$$

しかし、この方法では各時刻の scene をばらばらに覚えやすく、temporal consistency や motion の解釈性が弱くなります。

Canonical space + deformation field

多くの Dynamic NeRF は、canonical space と deformation field を使います。

各時刻の point $\mathbf{x}_t$ を、canonical space の point $\mathbf{x}_c$ に warp します。

$$\mathbf{x}_c = \mathbf{x}_t + \Delta_\phi(\mathbf{x}_t, t)$$

Canonical NeRF は、時間に依存しない template のような field として働きます。Deformation field が、各時刻の変形を担当します。

Loss

Dynamic NeRF の training は、基本的には photometric reconstruction loss です。

$$\mathcal{L}_{\text{rgb}} = \sum_{r}\|\hat{\mathbf{C}}(r) - \mathbf{C}(r)\|^2$$

これに加えて、temporal smoothness、deformation regularization、scene flow consistency などの loss を入れることがあります。

難点

Dynamic NeRF は高品質ですが、次の課題があります。

• Training が遅い。
• Rendering が遅い。
• Canonical space の選び方が難しい。
• Topology change (物体が現れる / 消える) が苦手。
• Monocular video では depth-motion ambiguity が強い。

この弱点を改善する方向として、4D Gaussian Splatting が注目されています。

関連ページ

• 4D Reconstruction Overview
• Deformation Fields
• Neural 3D Reconstruction

主なソース

• Dynamic NeRF survey: https://arxiv.org/abs/2210.12272
• D-NeRF paper: https://arxiv.org/abs/2011.13961
• Nerfies paper: https://arxiv.org/abs/2011.12948