MADE

MADE は Masked Autoencoder for Distribution Estimation の略です。Autoencoder の構造に mask を加えることで、autoregressive な density estimation を実現します。

画像出典: Lilian Weng, “Flow-based Deep Generative Models”。Mask によって、各 output が過去の dimension だけに依存するように制約します。

基本 idea

Autoregressive model では、$x_i$ は $x_1, \dots, x_{i-1}$ だけに依存する必要があります。MADE は、neural network の connection に mask をかけることで、この依存関係を実現します。

$$p(x) = \prod_i p(x_i \mid x_{<i})$$

利点

MADE は、すべての conditional distribution の parameter を一度の forward pass で計算できます。そのため、単純に $D$ 個の conditional model を別々に学習するよりも効率的です。

関連ページ

• Autoregressive Flow
• Masked Autoregressive Flow