Masked Autoregressive Flow

Masked Autoregressive Flow（MAF）は、autoregressive neural network を使って normalizing flow を構成する方法です。

変換

MAF では、各 dimension の transformation が過去の dimension に依存します。

$$x_i = \mu_i(z_{<i}) + \sigma_i(z_{<i}) z_i$$

この構造により、Jacobian は triangular になります。そのため、log determinant を効率よく計算できます。

特徴

MAF は、density estimation が速い一方で、sampling は逐次的になるため遅くなりやすいです。これは、sample を生成するときに $x_1, x_2, \dots$ を順番に計算する必要があるためです。

画像出典: Lilian Weng, “Flow-based Deep Generative Models”。MAF は density estimation に向き、IAF は sampling に向くという対比があります。

関連ページ

• Autoregressive Flow
• Inverse Autoregressive Flow
• MADE