Dynamic Human and Avatar Reconstruction

Dynamic Human Reconstruction は、動く人間の 3D shape、appearance、pose、motion を復元する分野です。Free-viewpoint video、VR / AR avatar、motion capture、VFX、telepresence で重要です。

なぜ人間は特別か

人間は一般 dynamic object よりも prior を入れやすい対象です。

• Skeleton がある。
• Body shape は SMPL のような parametric model で表せる。
• Pose は joint angle として表せる。
• Motion は物理的 / 解剖学的制約を持つ。

このため、人間の 4D Reconstruction では、純粋な geometry だけでなく、body model prior を使うことが多くあります。

SMPL と pose-driven deformation

SMPL は、人間の body shape と pose を parametric に表す model です。Pose parameter $\theta$ と shape parameter $\beta$ から mesh を生成します。

$$M(\beta, \theta) \to \text{human mesh}$$

Dynamic avatar では、canonical human template を pose に応じて変形し、appearance を NeRF や Gaussian で表します。

Animatable NeRF / Gaussian

Animatable NeRF や Gaussian avatar は、

• Canonical human representation
• Pose-conditioned deformation
• View-dependent appearance

を組み合わせます。Training 後は、入力 video と異なる pose や viewpoint で人間を rendering できます。

難しい点

• Loose clothing や hair の非剛体変形
• Hand / face / body の細部
• Occlusion
• Multi-person interaction
• Fast motion と motion blur
• Monocular video での scale と depth ambiguity

関連ページ

• 4D Reconstruction Overview
• Human Pose Estimation
• SMPL and Human Body Models
• 4D Gaussian Splatting

主なソース

• SMPL paper: https://smpl.is.tue.mpg.de/
• HumanRF: https://arxiv.org/abs/2201.04127
• Animatable NeRF survey: https://arxiv.org/abs/2304.07699