Evaluation Metrics Overview
生成画像、inpainting、video generation の評価指標を、品質、分布、prompt alignment、preference、task-specific evaluation に分けて整理します。
Generative Image Evaluation Basics
生成画像評価の基本、visual quality、prompt alignment、human preference、reference-based metric と no-reference metric の違いを整理します。
Distribution Metrics for Generative Models
IS、FID、FD-DINO、CMMD、FVD など、生成 model の distribution similarity を測る評価指標を整理します。
Prompt Alignment Metrics
CLIPScore、VQA Score、Gecko Score など、生成画像が prompt に合っているかを測る指標を整理します。
Aesthetic and Preference Metrics
Aesthetic Score、CLIP-IQA、Q-Align、HPS、PickScore、ImageReward など、人間の知覚や好みに近づける生成画像評価指標を整理します。
Evaluation-guided Black-box Optimization
生成画像の自動評価指標を objective として使い、CFG、Reward Guidance、LoRA scale などを black-box optimization で探索する方法を整理します。
Inpainting Evaluation Metrics
Background Person Removal と Places365 を題材に、inpainting model の評価指標、human correlation、Aesthetic Score、FID、FD-DINO、CMMD、LPIPS を整理します。
VBench
Video generation model を 16 dimension に分解して評価する VBench、VBench++、prompt suite、human alignment、評価 method suite を整理します。
Video Generation Evaluation
Video generation の画質、時間一貫性、prompt alignment、motion quality を評価する指標を整理します。