3D Generation and Simulation Trend
3D Generation は、text、image、video、sketch などから 3D asset や scene を生成する分野です。Diffusion model、NeRF、3D Gaussian Splatting、mesh generation、world simulation が接近しています。
主な方向
| 方向 | 内容 |
|---|---|
| Text-to-3D | Text prompt から 3D asset を生成 |
| Image-to-3D | Single image から object geometry を生成 |
| Multi-view diffusion | 複数 view を生成し、そこから 3D 化 |
| 3DGS generation | Gaussian primitive を直接生成または最適化 |
| Simulation-ready asset | Physics / material / articulation を含む asset 生成 |
3D Reconstruction との関係
3D Generation は、完全にゼロから 3D を作る場合もありますが、多くの pipeline は一度 2D / multi-view image を生成し、それを 3D Reconstruction に通します。
そのため、VGGT、Depth Anything、Segment Anything のような foundation model が intermediate component として重要になります。
課題
- Multi-view consistency
- Mesh topology
- Texture / material の正しさ
- Physical plausibility
- Editable representation
- Copyright / dataset provenance