続 Self Attention GAN

画像のチャネル数をRGB3チャネルに変更しカラー画像バージョンに改造して、猫画像でさらに生成実験を行ってみましたが、、、

f:id:tp5366:20210502204152p:plain

上段が本物画像、下段が生成画像です。

う~ん、もやっとした感じのものしか生成できませんでした。

入力するベクトルの次元や、エポック数を調整してみたのですが、うまくいきませんね~。

 

もう少し、シンプルな画像で学習をさせてみようと、Kill Me Babyデータセットからソーニャというキャラクターの画像を使って学習・生成させてみました。

 

☆Kill Me Babyデータセット

Kill Me Babyというアニメの公式サイトで配布されているアイコンデータから作られた画像データセット。AI関連の学習に使うのに便利。

 

f:id:tp5366:20210502210012p:plain

う~ん、キャラをだいぶ再現できてきましたが、まだノイズだらけ、、、。

ちなみに、入力ベクトルの次元は30に設定したので、30個の数値から画像を生成しております。

 

GANは難しいですね~

エポック数を増やして一晩学習させたら、同じような画像ばかり生成するようになってしまったり(いわゆるモード崩壊)、入力ベクトルの次元を増やしたら、なんだか画像がノイズだらけになってしまったり、、、。

いい感じにGeneratorとDiscriminatorをバランスよく学習させないといけないそうですし、、、。

 

GANは新薬の分子構造の候補を生成させることで、創薬に使われてるようです。

現場では、、、何に使えるかな?