Low-dimensional Supports in GAN
GAN の training が難しい理由の一つは、real distribution と generated distribution の support が、高次元空間の中の低次元 manifold 上に存在しやすいことです。
Manifold と Support
| 用語 | 説明 |
|---|---|
| Manifold | 各点の近傍が局所的に Euclidean space と似ているような topological space です。次元が であるとき、-manifold と呼びます。 |
| Support | ある function や probability distribution が ではない値を持つ domain の部分集合です。 |
Real data distribution は低次元に集中しやすい
現実の dataset は、一見すると非常に高次元に見えます。たとえば、画像は多数の pixel から構成されるため、高次元の vector として表現できます。
しかし、実際の自然画像は、その高次元空間全体に一様に広がっているわけではありません。犬の画像には犬らしい制約があり、建物の画像には建物らしい制約があります。このような制約によって、real data distribution は低次元の manifold の近くに集中していると考えられます。
Generated distribution も低次元に集中しやすい
Generator が作る distribution も、同じように低次元の manifold 上に存在しやすくなります。たとえば、100 次元の noise vector から の画像を生成する場合、出力空間は非常に高次元です。しかし、Generator が作り出せる画像は、noise vector と network によって強く制約されます。
そのため、 も高次元空間全体を埋めるわけではありません。
画像出典: Lilian Weng, “From GAN to WGAN”。高次元空間の中の低次元 manifold は、ほとんど重なりを持ちません。
Disjoint support がもたらす問題
高次元空間の中にある二つの低次元 manifold は、ほとんどの場合に交わりません。したがって、 と の support は disjoint になりやすくなります。
Support が disjoint であると、real sample と fake sample を完全に分ける Discriminator が存在しやすくなります。これは一見よいことのように見えますが、Generator にとっては大きな問題です。Discriminator が完璧になりすぎると、Generator が受け取る gradient が弱くなり、training が進みにくくなるためです。