Self-Distillation Overview
DINO、DINOv2、DINOv3 など self-distillation 系 self-supervised learning の全体像を整理します。
DINO
ViT 上で self-distillation を確立した DINO の構造、centering、attention map の semantic 性を整理します。
DINOv2
大規模 curated dataset と distillation を組み合わせ、汎用 vision backbone になった DINOv2 を整理します。
DINOv3
Gram anchoring と超大規模学習で dense feature を強化した DINOv3 を整理します。