Contrastive Learning Overview
SimCLR、MoCo、BYOL、SimSiam など contrastive / non-contrastive な visual representation learning を整理します。
SimCLR
Augmentation 設計、projection head、large batch によって contrastive learning を確立した SimCLR を整理します。
MoCo
Momentum encoder と memory queue で large negative set を実現する MoCo / MoCo v3 を整理します。
BYOL and SimSiam
Negative sample なしで collapse を避ける BYOL と SimSiam の構造、stop-gradient、predictor head を整理します。