DCGANsについて

いきなりまとめ

DCGANsとは、

• CNN + GANs
• representationsの学習が可能
• image classificationへの応用が可能
• W2Vのような算術が可能

Today I Learned

Unsupervised representation learning with deep convolutional generative adversarial networks
を参考に。

DCGANsの特徴

• 階層的にデータのrepresentationsを学習できる
• 様々な設定に対して安定してトレーニング可能
• 学習後のdiscriminatorはimage classificationに利用可能
• 学習後のgeneratorはW2Vのようにオブジェクトの概念が算術可能

背景

再利用可能なデータのrepresentationsをラベルなしデータから学習するが現在ホット。
学習したrepresentationsはimage classificationに適用可能。
これまでのところauto-encoders、clustering、deep belief networksがrepresentationsの学習に利用されてきた。
GANsをトレーニングすることでもrepresentationsを学習することができる。

モデル

モデルはのコアは3つ。

•  all convolutinal net（pooling layerの廃止、strideを使用）
•  FCレイヤーの廃止
•  batch normalizationの実施（discriminator inputとgenerator output以外）

その他にも

• generatorのアクティベーションにはReLu（ただしoutputにはTanh）
• discriminatorにはleaky-ReLu

によって学習速度が向上。

トレーニング方法

• データをTanhのレンジにスケーリング
• ミニバッチのサイズは128
• すべてのweightsはN(0,0.02)で初期化
• leaky-ReLuのslopeは0.2
• optimizerにはAdam
• learning-rateは0.0002
• momentum β1 は0.5

DCGANSの応用

• CIFAR-10に対するclassificationではk-meansと同程度
• Imagenet-1kに対してはk-meansをアウトパフォーム
• トレーニングとテストのデータが異なっても頑健（Imagenet-1k、CIFAR-10）