Skip to main content

Noise Schedule and Variance

Diffusion Model では、各 time step でどれだけ noise を加えるかを決める noise schedule が重要です。また、reverse process の variance をどのように parameterize するかも、sample quality と likelihood に影響します。

Beta schedule​

Forward process では、βt\beta_t が各 step の noise level を決めます。

q(xt∣xt−1)=N(xt;1−βtxt−1,βtI)q(x_t \mid x_{t-1}) = \mathcal{N}(x_t; \sqrt{1 - \beta_t}x_{t-1}, \beta_t I)

βt\beta_t が小さすぎると diffusion が遅くなり、βt\beta_t が大きすぎると information が急に失われます。

Beta schedule

画像出典: Lilian Weng, “What are Diffusion Models?”。異なる βt\beta_t の parameterization が比較されています。

Reverse process variance​

Reverse process では、次の variance をどのように扱うかも重要です。

pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta(x_{t-1} \mid x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \Sigma_\theta(x_t, t))

Original DDPM では variance を固定する設計が使われますが、Improved DDPM では variance を学習することで log likelihood と sample quality の改善が試みられます。

Improved DDPM NLL

画像出典: Lilian Weng, “What are Diffusion Models?”。Reverse process variance の扱いが likelihood に与える影響が示されています。

関連ページ​