Skip to main content

Contractive Autoencoder

Contractive Autoencoder は、input の小さな変化に対して latent representation が大きく変化しないように制約を加えた Autoencoder です。

基本 idea​

Encoder を fϕ(x)f_\phi(x) とすると、Contractive Autoencoder は reconstruction loss に加えて、encoder の Jacobian に penalty を加えます。

L(x,x^)+λ∥∂fϕ(x)∂x∥F2\mathcal{L}(x, \hat{x}) + \lambda \left\| \frac{\partial f_\phi(x)}{\partial x} \right\|_F^2

ここで、∥⋅∥F\|\cdot\|_F は Frobenius norm です。

直感​

Jacobian penalty は、input xx が少し変化したときに、latent representation zz が過度に変化しないようにします。これによって、noise や小さな perturbation に対して robust な representation を学習できます。

Denoising Autoencoder が「noise から元の input を復元する」方向で robust representation を学習するのに対して、Contractive Autoencoder は「encoder の sensitivity を直接抑える」方向で robust representation を学習します。

関連ページ​