Deformation Fields
Deformation field は、dynamic scene を表すための基本 component です。各時刻の point を canonical space へ対応づけたり、canonical point を各時刻へ変形させたりします。
Forward warp と backward warp
Deformation field には、大きく二つの向きがあります。
| 種類 | 式 | 意味 |
|---|---|---|
| Forward warp | Canonical point を時刻 へ動かします。 | |
| Backward warp | 時刻 の point を canonical space へ戻します。 |
Rendering では、backward warp がよく使われます。観測 ray 上の point を canonical space に戻し、canonical radiance field や Gaussian に問い合わせます。
Regularization
Deformation field は自由度が高いため、regularization が重要です。
- Temporal smoothness: 隣接時刻で deformation が急に変わらないようにする。
- Spatial smoothness: 近い点が似た deformation を持つようにする。
- Cycle consistency: forward と backward warp が互いに逆写像に近くなるようにする。
- Rigidity prior: 局所的に rigid な motion を仮定する。
- Scene flow consistency: 推定した 3D motion と整合するようにする。
Canonical space の難しさ
Canonical space は便利ですが、現実の dynamic scene では難しい場合があります。
- Object が新しく現れる / 消える。
- Cloth や hair のように topology が変わる。
- Occlusion により、ある時刻でしか見えない部分がある。
- 複数 object が独立に動く。
このため、single canonical field ではなく、object-wise canonical field や time-local representation を使う方法もあります。
4DGS との関係
4D Gaussian Splatting でも、canonical Gaussian を deformation field で各時刻に warp する approach がよく使われます。Gaussian の position、rotation、scale、opacity、appearance を time-dependent に変えることで dynamic scene を表現します。
数式で見る forward / backward deformation
Dynamic reconstruction では、canonical space と observation space を結ぶ deformation field が重要です。Forward deformation は canonical point を時刻 の位置へ写します。
Backward deformation は、観測空間の点を canonical space に戻します。
理想的には、この二つは互いに逆写像になります。
この cycle consistency は、「変形してから戻したら同じ canonical point に戻ってほしい」という制約です。Occlusion や topology change がある場合には完全には成り立たないため、confidence や visibility と組み合わせて使います。