DEIM Forum 2017 B4-2

コンテキストアウェア敵対的生成ネットワークによる画像生成
中村

玄貴†

強††

馬

† 京都大学工学部情報学科 〒 606–8501 京都府京都市左京区吉田本町 36-1†† 京都大学情報学研究科 〒 606–8501 京都府京都市左京区吉田本町 36-1
E-mail: †nakamura-kenki@db.soc.i.kyoto-u.ac.jp, ††qiang@i.kyoto-u.ac.jp
あらまし 敵対的生成ネットワークを用いてテキストから画像を自動生成する研究が盛んに行なわれている. 既存研究の多くは，一つの入力テキストからそれに対応する画像生成を行っているため，生成される画像が不自然であったり，関連性の強いテキストを入力しても生成された画像間の関連がまったくなかったりする場合がある．そのため，テキストの系列から関連性のある画像を生成することが困難である．そこで，本研究では，複数のテキストから複数の画像生成のためのコンテキストアウェア敵対的生成ネットワークモデルを提案し，入力するテキストと出力画像の関連性を考慮した画像を生成できるようにする．
キーワード

敵対的生成ネットワーク (GAN), ニューラルネットワーク, 画像生成

1. は じ め に

その写真は一つのテキストの内容からのみ生成されるべきではなく，前後の写真やテキストの内容を踏まえたものとなるべき深層学習を利用した，画像とテキストの相互生成の研究が多である．また，歴史的文献の写真部分が見えなくなっていた場

くなっている [1] [2] [3] [4] [5]．画像からそのタグやテキストを合，検索してもそれを補える画像は見つからない．前後のテキ生成するため，画像とタグのペアを学習データとして用意してストや画像から画像を自動生成できれば，このような欠落した

ニューラルネットワークに学習させて，入力画像のタグを生成

コンテンツを補完できる．

する手法が提案されている [1]．またそれを応用し，画像を複数Reed らの提案している従来の手法 [5] を用いて一つのテキス

領域に分割して，それらの領域に含まれる物体を検出し，それトから画像を生成することは可能であるが，前後のテキスト・らを整理して人間の理解可能な文章に仕上げことで画像の説明

画像を考慮していないため，前後の画像やテキストと全く無関

文を自動生成する研究も行われている [2]．

係の画像を生成してしまう可能性が高い．

画像生成の既存手法にはオートエンコーダを用いるものや物

そこで本研究では，この前後の画像やテキストのような関連

体認識のニューラルネットワークを用いるものがあるが，デー

画像・テキストをコンテキストと呼び，コンテキストに適した画タが多くなるとぼやけてしまったり，原型をとどめていないも像生成手法を提案する．具体的に，GAN のハイパーパラメータのの映った画像が生成されてしまう．そのため，Ian らは画像生を自動調整する手法と，GAN の Generator と Discriminator

成のフレームワークとして GAN(敵対的生成ネットワーク) ををそれぞれ拡張して，コンテキストを扱える Context-aware

提案している [3]．よりリアルな画像生成が可能である，GAN

GAN モデルを提案する．

は現在の主要な画像生成のフレームワークとなっている．GAN•

コンテキストを考慮したハイパーパラメータの自動調は Generator と Discriminator と呼ばれる二つのニューラル

整:GAN のハイパーパラメータを自動調整して出力画像とコン

ネットワークから構成される相互的に学習を行うフレームワー

テキスト画像との関連性を保つアプローチである．GAN の入クである．Generator は Discriminator を欺ける画像を生成し，力であるハイパーパラメータは生成される画像にランダム性をDiscriminator は Generator から生成された画像を入力として，持たせる役割を果たしている．つまり，生成される画像の内容

その画像が Generator により生成された偽物であるか，本物のはハイパーパラメータに依存する．この値を生成される画像と画像であるかの判断を行う．Discriminator と Generator を交

コンテキストの類似などの関連性を考慮して調整し，出力画像

互に学習して，より本物に近い画像を生成可能としている．

をコンテキストに沿った内容にする手法を提案する．

Radford らは GAN に畳み込みニューラルネットワークを•

Context-aware GAN モデル:GAN を拡張して，テキス

組み合わせ多層化することで鮮明な画像生成を行うモデルをトと画像のペアの系列を学習させて，テキストに対応するコン

提案している [4]．Reed らは GAN を拡張して入力テキストに

テキストに沿った画像を自動生成する Context-aware GAN を

対応する画像を自動生成するモデルを提案している [5]． また構築する．

Huang らは複数の画像からストーリーを生成する手法を提案しハイパーパラメータの調整手法では，コンテキスト画像をている [6]．しかし，我々の知る限りでは複数のテキストや画像

あらかじめ与えるものでもよいが，入力のテキストを用いてを考慮して画像を生成する研究はまだない．

類似画像を検索してきて代用することも可能である．一方，

例えば，SNS へ旅行の思い出を掲載した際，適切な写真をContext-aware GAN の場合，コンテキストを含めてモデルを撮っていなかった場合，生成して補いたい場面があったとする．

学習しているため，コンテキストをあらかじめ与える必要が表 1 本研究と関連研究の位置付け
画像:テキスト

画像→テキスト

2. 2 入力画像に対応するテキスト生成

テキスト→画像

Vinyals らは CNN と RNN を組み合わせたニューラルネッ

1: 1

Vinyals らの手法 [2] Reed らの手法 [5]トワークを用いて入力された一枚の画像に対応する説明文を生

複数 : 複数

Huang らの手法 [4]本研究成する手法を提案している [2]．画像の特徴抽出を行うニューラ
ルネットワークである CNN を用いて入力画像を解析した後，ある．

文章などの連続的な情報を利用して新たなテキスト生成を可能

本論文の構成は以下である．2 節で関連研究について紹介すとするニューラルネットワークである RNN を用いて自然な文

る．3 節で提案手法の詳細を述べる．4 節で実験結果とその考章を生成する．画像とテキストの入出力は入れ替わっているが，察について述べる．5 節でまとめと今後の課題について述べる．

Reed らの提案する手法と同様に学習データにはテキスト (キャ2. 関 連 研 究プション) と画像がセットになったデータセットを用いる必要がある．

2. 1 画像の自動生成

Huang らは複数の写真 (4,5 枚程度) をアルバムとしてそれぞ

Ian らの提案している GAN は画像生成を行うニューラルネッ

れの写真が一連の物語になるようにテキストを生成する手法をトワークのフレームワークである [3]．Generator と呼ばれる画提案している [6]．Flickr から写真を集め，その中から数人のク像生成を行うニューラルネットワークと Discriminator と呼ばラウドワーカーが，それぞれ複数枚選んでアルバムを作り，それる画像の判別を行うニューラルネットワークの二種類から構

れぞれの写真に物語をつける．そして別のクラウドワーカーが成されている．

これらのアルバムを比べて，最も物語を書きやすいと思うもの

Discriminator は入力された画像が本物画像 X であるか生成を選択して物語を書く．この時に選ばれなかったアルバムは破

画像 G(Z) であるかを判別できるように学習させていく．出力棄される．このように，クラウドワーカーの集合知を利活用しは入力画像が本物である確率を [0,1] で出力する．Generator はて複数画像であるアルバムを説明するストーリを生成する．

Discriminetor を欺くことのできるような画像を生成できるよ2. 3 動画の自動生成

うに生成する．

Vondrick らはコマ送りになった画像の列となっているデー

Discriminator を学習させたのち，Generator によって生成タセットから動画を生成する GAN の拡張モデルを提案していされた画像が Discriminator を騙せるように Generator のパ

る [7]．GAN では入力された z に対して直接演算を行って，画ラメータを学習していく．生成画像 G(Z) に対して Discrimi-

像を生成するが，この手法では Generator 内で z を分岐させ，

nator が本物の画像と判別する確率 D(G(Z)) が高くなるよう

Foreground 部と Background 部のニューラルネットワークにGenerator にフィードバックさせる．また Generator を学習さ

それぞれ代入して前景と背景の画像をそれぞれ生成し，合成す

せたのち，それの出力画像と本物の画像を判別できるようにることで動画生成を行う．Background 部は全ての動画のコマ

Discriminator を学習させていく．このように交互に Generator

で共通部分となる背景を生成する．つまり，背景は Backgroundと Discriminator を学習させていくことで本物のような画像を部の出力は一枚の画像である．Foreground 部はオブジェクトがGenerator が生成することを可能にしている．

コマ送りに動いている複数の画像を前景として生成する．Mask

Radford らは GAN に畳み込みニューラルネットーワークをは Foreground のオブジェクトを反転させた画像となっていて，用いて多層化することにより，それよりもさらにリアルな画像

Background を合成するときに背景からオブジェクト部分を抜生成を可能にする DCGAN を提案している [4]．

き取り合成できるようにするために用いられる．

Reed らは GAN を拡張し，テキストを入力としてそれに対応する画像を生成するモデルを提案している [5]．Generator の入力ベクトルを全て乱数にするのではなく，そこにテキスト情報をベクトル化したものを用いることでその内容に沿った画像の自動生成を行う．また，Discriminator は GAN では入力さ

3. 文脈を考慮した画像生成
本研究では，以下の二つのアプローチからコンテキストに即した画像の自動生成を試みる．

•

コンテキストを考慮したハイパーパラメータの自動調整:れる画像が生成画像か本物の画像かを見分けるものであったが，学習済みの Generator のハイパーパラメータを自動調整して出

ここでは入力画像が本物の画像かどうかに加え，テキスト情報

力画像をコンテキストとの関連を向上させる手法である．

と一致しているかどうかを判断する．入力画像が本物であり，•Context-aware GAN:テキストと画像のペアの系列を学

かつテキストがその内容を表すときのみ 1 と判断するように学習することでコンテキストに即した画像を自動生成する GAN

習させていく．そのため，学習データにはテキスト (キャプショの拡張モデルである．

ン) と画像がセットになったデータセットを用いる必要がある．

提案手法は二つとも入力はコンテキスト画像であり，出力はさらに Generator は z とテキストのベクトルを入力して画像生

入力コンテキスト画像を考慮した画像となる．提案手法 1 につ成を行うものであるが，テキストベクトルと画像を入力するこ

いては入力にテキストを受け付ける Reed らのモデルに対してとで z を逆算することもできる．これにより求められた z は入も用いることができ，その場合の入力はテキストとコンテキス

力に用いた画像のスタイルを保持したまま，テキスト情報を踏

ト画像となる．

まえた画像を出力できるものになる．

Algorithm 1 hyperparameter z training algorithm.
1: for number of GAN training iteration (Step 1) do
2:

Sample minibatch of m noise samples{z (1) , ..., z (m) }3:

Sample minibatch of m examples {x(1) , ..., x(m) } f rom data

4:

distribution pdata (x)5:

U pdate the discriminator by ascending its stochastic gradient :1 ∑[logD(x(i) ) + log(1 − D(G(z (i) )))]
m i=1
m

∇θd

図 1 GAN の構成とパラメータ6:

Sample minibatch of m noise samples{z (1) , ..., z (m) }7:

U pdate the generator by descending its stochastic gradient :1 ∑[log(1 − D(G(z (i) )))]
m i=1
m

∇θg
8: end for

9: for number of z training iteration (Step 2) do
10:

Generate images with sample z f rom noise prior pg (z) as input
G(z)

11:

U pdate z by using the error back propagation method as f ollows

図 2 z の修正方法

z ←z−α∂S(G(z), C)∂z

12: end for3. 1 文脈を考慮したハイパーパラメータの自動調整
GAN では入力にハイパーパラメータ z を入力として受け付ける．図 1 は Generator と Discriminator の略図である．Gen-

行っているが，発展的課題としてテキスト間類似度を用いるとerator は正規分布に従う乱数を生成して 100 次元のベクトル z

きは Jaccard 係数などを用いて，テキスト間の類似度を画像間を生成し，毎回ランダムに生成された z の値に対して演算を行の類似度と比例するように用いる予定である．

うことで画像を作る．この z は生成される画像にバリエーショ

図 2 のように，ランダムに入力された z に対して Generator

ンを持たせる働きがある．一方，GAN のパラメータ (w, b) はは画像を生成する．その出力画像 G(z) とコンテキスト画像 C

学習後変化することはないので，生成時に毎回違う値を与えるを用いて類似度計算を行い，S(G(z),C) を求める．これを誤差ことで毎回異なった画像を出力する．

関数として誤差逆伝搬法を用いることでハイパーパラメータをz がランダムに生成されるため，生成された画像の中身が予測できない．そのため，コンテキストに即した画像を生成でき

修正していく．

w, b は学習の終わった Generator で得られた値を用いて，定数として固定する．言い換えれば，Generator の学習時，定数るように z を自動調整する手法を提案する．
提案手法は以下の二つのステップからなる．

としていた z と学習対象であった w, b の役割を入れ替えること（ 1 ） ランダムに生成された z に対して，GAN の構築手法になる．変数は z のみであるが，コンテキストとの比較を行うを利用して w,b を学習させる．w, b はニューラルネットワークのが S であるため，実際は Generator の出力画像である G(z)における重みと閾値であり，これらの値は入力された z と演算とコンテキスト C を用いて演算する．

することで適切な出力が可能となるように学習させる．図 1 のG(z) と C を比較する関数 S を適切に定めることで S の z に

重み w, バイアス b の関数である L を w, b で偏微分した値をよる偏微分値を用いて z を適切に変化させていくことができる．

w, b から引いて変化させていくことを繰り返すことで学習させG(z) と C の比較を行い，誤差逆伝搬をすると z の値が変化ていく．ステップ (1) の誤差関数は以下のように定義される．

するため，当然 G(z) の出力画像も変化する．そのため，G(z)に依存しない誤差関数 S を選ぶ必要がある．本研究において S

arg min L(w, b)

(1)

w,b

（ 2 ） ステップ 1 で得られた w と b を用いて，z を学習させる．Generator によって生成された画像とコンテキスト画像の差を最小となるように z を学習する．

arg min S(G(z), C)

は二画像間の全画素を RGB で総比較してその差の二乗和を計算する関数としている．
以下では z のみを入力とする DCGAN と，テキストも入力として受け付ける Reed らの提案する text-conditional GANの場合における z の調整手法について説明する．

(2)

3. 1. 1 DCGAN におけるハイパーパラメータの自動調整

zAlgorithm1 はハイパーパラメータ z の自動調整のアルゴリ
ただし G は Generator の関数であり，G(z) は Generator に z

ズムを示す．1 行目から 8 行目までは画像生成を行うニューラを入力した時の出力画像である．C はコンテキストのテキスト

ルネットワークの学習を行う．9 行目から 12 行目までは z の更または画像である．本研究では C を画像として類似度の計算を

図 5 z の自動調整を行った出力画像
図 3 コンテキストの考慮の有無による出力画像比較 (入力テキスト
なし)

ンテキストに画像そのものが近づくよう変化させているので，Generator が理論的に全ての画像を表現可能であれば全く同じ
画像が出力される．しかし，今回は z にテキストを合わせて入力としているので z を変化させるだけでは全く同じ画像を作る
ことにはならない．そこでこの手法は入力値が調整可能な変数と，出力画像の特徴を記述した変化しない定数を合わせたもの
である時に用いれば有効となることが分かる．
図 4 は MS COCO [8] をデータセットにして Reed らの提案したモデルを学習させた Generator に”a group of people skieson the snow” というテキストを入力して生成された画像を示している．図 3 と同様，コンテキストを考慮したハイパーパラ
図 4 コンテキストの考慮の有無による出力画像比較 (入力テキスト
あり)

メータの調整の有る場合と無い場合の二つの出力結果を載せている．提案手法はコンテキストと同様に 3 人グループを含む画像を生成していることが分かる．

新手法である．

図 5 はコンテキスト画像との全画素比較を行った時に出力画

はじめは z を正規分布に従った確率分布にしたがってランダ像がどのような変化を行うかを示したものである．出力となっムに生成し，1 行目から 8 行目までで学習した Generator に入ている画像はコンテキストに近づいたものになっている．コン

力して画像生成を行う．これにより生成された G(z) とコンテ

テキスト画像が 1 人，3 人のものなどはコンテキストに近づい

キスト画像 C との類似度関数を求める．その式を z で偏微分しているのがはっきり分かる．GAN はデータセットと同じでは

誤差逆伝搬法を用いて z を更新する．

ないがデータセットに近い画像を出力する仕組みであるため，

本研究では，Microsoft の提供しているデータセット MS

z を修正してもデータセットに存在しない画像は生成できない

COCO [8] を用いて Generator を学習する．MS COCO は画像ので，z の自動調整をするにはできるだけ多くの画像を学習さに写るオブジェクトの発見方法などのルールを定めて，キャプせる必要がある．また全体として画像が暗くなる傾向があり，ションをつける過程をクラウドワーカーに分担させて行うこと

今後，これについて検討する予定である．またこの手法ではテで，画像に適切なキャプションがつけられたデータセットであキストやコンテキストごとに適切な z を学習するため時間がかる．図 3, 図 4 はコンテキストを考慮して z を調整する場合とかってしまう．そのため，ｚを効率よく高速に調整できる手法

しない場合の結果を示している．どちらの場合も意味のある画が今後の課題となる．

像を生成できなかったが，コンテキストを考慮していないもの

3. 2 Context-aware GANに比べて，考慮した画像はコンテキスト画像のオブジェクトが

図 6 のように Reed らのモデルを拡張して，コンテキスト現れているのが分かる．

3. 1. 2 Text-conditional GAN におけるハイパーパラメー
タの自動調整を入力に含められるような Generator と Discriminator を学習
して画像を生成する context-aware GAN モデルを提案する．

Generator は Reed らのモデルと比べて入力にコンテキストもAlgorithm1 の 1 行目から 8 行目の間で用いるアルゴリズム受け付けるようにする．Discriminator は入力にコンテキスト

を Reed らの提案しているモデルに置き換えて，テキストからも加えている．そして，出力が真（１）である条件には，出力画像を生成する場合のハイパーパラメータの調整手法についてが本物かつテキスト情報に即しているほかに，コンテキストと述べる．

の関連を加えている．

図 3 では Generator の入力になっている z の値を全て，コ

context-aware GAN は以下のような式で定式化できる．

図 6 Context-aware GAN

G : RZ × RC → RO

(3)

D : RO × RC → 0, 1

(4)

Algorithm 2 Context-aware GAN training algorithm.
1: for number of training iteration do

ここで C はコンテキスト画像の次元数であり，O は出力画像の次元数である．

z ∈ RZ ∼ N (0, 1)(5)

また z は上式のように定義されたハイパーパラメータである．

2:

Sample minibatch of m noise samples{z (1) , ..., z (m) }3:

Sample minibatch of m examples {x(1) , ..., x(m) } f rom data

4:

distribution pdata (x)5:

Sample minibatch of m examples {c(1) , ..., c(m) } f rom data6:

to distribution pdata (x)7:

U pdate the discriminator by ascending its stochastic gradient :1
1 ∑[logD(x(i) , c(i) ) + (log(1 − D(G(z (i) , c(i) ), c(i) ))
m i=1
2
m

Generator 内では画像生成を行うことに加え，コンテキスト∇θd

情報を画像に反映させることが必要である．Reed らの提案しているモデルの Generator の出力画像と同等のものが出力でき，かつ Generator の内部ではオブジェクト部分と背景部分に分かれるようにする．そのオブジェクト部分の出力画像に対し，コンテキストのテキスト情報を加えて演算することでオブジェ+log(1 − D(x(i) , c(j) )))](i =| j)8:Sample minibatch of m noise samples{z (1) , ..., z (m) }9:Sample minibatch of m examples {c(1) , ..., c(m) } f rom data

10:

U pdate the generator by descending its stochastic gradient :クトがよりコンテキストに沿ったものになるようにする．
ているモデル [7] を利用する．本研究で提案している手法では

1 ∑[log(1 − D(G(z (i) , c(i) ), c(i) ))](i =
| j)
m i=1
m

∇θg

オブジェクトと背景を分離する手法は Vondrick らの提案し11: end for

オブジェクトと背景情報を分離する必要はないが，発展的課題
として，Context-aware GAN に対してハイパーパラメータの自動調整を行い，オブジェクトを適切なものへ変化させようとした場合，オブジェクトと背景を分離しなければ，図??のように，背景が暗くなってしまい，鮮明な画像を得られない可能性が高い．将来の拡張のため，オブジェクトと背景の分離モデルを導入している．

Discriminator も同じくコンテキスト情報を加えて，Generator の出力画像がコンテキストに沿っているかを判定する必要がある．ここでは正しくコンテキストになっているデータセッ
トを用いて学習させなければならない．
学習のデータセットには Huang らが提案した手法 [6] で収集された複数のアルバムを用いる．これは写真からストーリーを作ることができるとクラウドワーカーが判定したもので作成されてはいるが，それぞれのアルバムには類似性がないと思われる画像のペアも含まれているので，それぞれにつけられたテキ

ストを Jacarrd 法で比較し，テキスト間類似度が高いと思われるものを用いてデータセットとする．その他にアルバムを自作しモデル学習とテストのデータセットとしている．
今回はアルバム内でテキスト間類似度の高かったものを選んで学習データを作成している．つまりそれぞれのペアには二つの画像と，それぞれに対応するテキストが含まれている．これをさらに一方の画像が生成すべき画像でもう一方がコンテキス
トとなる二パターンに分けている．これを用いて学習を行う．

Algorithm2 は提案している Context-aware GAN のアルゴ
リズムを示している．Generator と Discriminator を交互学習させる時，まず Discriminator の学習から行う．

2 行目から 7 行目までが Discriminator の学習部分である．7行目の式が大きくなるように Discriminator の w, b を学習させていく．logD(x(i) , c(i) ) は Discriminator に学習用のデータ

図 8 Context-aware GAN の構成
図 7 context-aware GAN 学習過程に生成された画像セットと適切なコンテキストを入力とした時の Discrminator の判定値なので大きくなるように学習する．D(G(z (i) , c(i) ), c(i) )は Generator から生成された画像とそれに対応するコンテキ
スト画像が入力とされた Discrminator の判定値，D(x(i) , c(j) )図9ベースラインとなる Reed らの手法でのスキーの出力画像

は Discriminator への入力画像は本物であるがコンテキスト画
像が適切でなかった場合の Discrminator の判定値であるため小さくなるように学習する．アルゴリズムでは，1 から引いた数を大きくするように学習を行う．よって Discriminator の学
習式は 7 行目のようになる．

8 行目から 10 行目が Generator の学習方法である．10 行目の式が小さくなるように Generator の w, b を学習させていく．

D(G(z (i) , c(i) ), c(i) ) は Generator の出力画像を Discriminatorへ入力した時の値であり，Disciminator を騙せるようにこの値を大きくする必要があるので 1 から引いた値を大きくするように学習させていく．

Reed らの提案している手法では 100 次元の z，入力テキス
トから生成された 128 次元のベクトルから構成される 228 次
元のベクトルを，Generator に代入して画像を生成している．
これに対して，本研究で提案している手法ではテキストでな
くコンテキスト画像を入力している．画像を CNN を用いて，[4,4,1568] の行列へ変換したものに z を加える．この時 z が 100とし，入力されたコンテキスト画像のベクトルに加える時に占める割合が半分近くになるようにすれば，より出力画像をランダムにして学習することができて，変化を持った画像を生成することができる．
図 8 は Context-aware GAN の全体図である．GAN を拡張
してコンテキスト画像を入力できるようにする．またハイパーパラメータの調整過程も書いてある．Discriminator には入力
画像とコンテキスト画像の関係性があるかどうかを判断できるよう学習していくため，Generator は入力されたコンテキスト
画像に対して関係性がある画像を生成できればいいため，z が小さかった場合，z を完全に無視して Discriminator に通る一枚の画像を生成し続けるように学習してしまう．そのため z を大きくすることが必要である．またそれにより，本研究で提案されているｚの自動調整手法を適用することができるようになると考えられる．今後，この点について検討していく予定である．

次元で [4,4,100] の行列とすると，入力画像に比べ z の影響が小さくなり，出力画像がコンテキスト画像に依存して，バリエー
ションが少なくなってしまう可能性が高い．
図 7 はスキーをしている人の画像を生成するため，学習デー
タセットを用意し，コンテキストにはスキーをしている人数と同じ人が映った画像を用いて学習させたものの，学習途中で生成された画像である．スキー画像の学習はされているが，同じ画像が多く生成されているのがわかる．これは入力になっているコンテキスト画像の値が z に比べて大きな割合を占めている
ために z の影響が小さくなり，コンテキストの入力に対して出力が一つに収束してしまっているからである．
入力されたコンテキスト画像に対して適切な画像生成を行う
ことはできているが，画像に変化をもたせられない場合は，学習データの一つに解が近づいているだけなので，生成できる画像の種類が限られてしまう．多様な画像を生成するため，入力となる z のベクトルの次元数を増やして，たとえば，1000 次元

4. 実験と考察
4. 1 実 験 概 要
提案手法を評価するため，Reed らの提案しているモデルと，それに対して z の自動調整を行ったもの，そして Context-aware

GAN を用いたものの三つで学習を行い，その出力結果を比較する．今回はスキーの画像生成を行う．コンテキストを考慮した出力結果がどのように変わるかを評価するため，ベースラインとして図 9 のような Reed らの提案するモデルによる出力画像を用いる．ベースライン画像と五種類のコンテキスト画像を用いて，z の自動調整を行った画像と Context-aware GAN の出力画像を比較することでコンテキストを考慮することの有用性を評価する．

4. 2 データセット
モデルの学習には公開データセット MS COCO [8] やデータ

表 2 図 10 の比較結果
文脈

出力画像

C1

baseline1 9.55172e+07 C3

類似度

文脈 出力画像G3

1.10899e+08

類似度

C1

baseline2 1.15396e+08 C3

Z3

7.02971e+07

C1baseline3 4.69348e+07 C4

baseline1 1.46336e+08

C1

G1

8.37656e+07 C4

baseline2 1.29559e+08

C1Z1

2.41218e+07 C4

baseline3 1.65401e+08

C2

baseline1 1.28037e+08 C4

G41.47822e+08

C2baseline2 9.24582e+07 C4

Z4

7.63125e+07

C2

baseline3 1.22453e+08 C5

baseline1 1.12958e+08

C2G2

1.43344e+08 C5

baseline2 8.79883e+07C2Z2

2.25361e+07 C5

baseline3 1.19363e+08

C3baseline1 1.24424e+08 C5

G57.53389e+07

C3

baseline2 1.08328e+08 C5Z53.38725e+07

C3baseline3

1.3485e+08
表 3 図 10 の比較平均用いた手法 正規化を行った平均値

図 10 比 較 画 像

セットには Huang らの提案している手法 [6] により生成された画像とテキストのペアの系列となっているアルバムなどを用い

既存手法

0.71

提案手法 10.88

提案手法 2

0.72

る．Context-aware GAN の学習について，Huang らの提供しているアルバムのペアには画像間に明らかに関連がないと思わ件は人数が一致することとなっている．出力画像は z の自動調れるものがあり，ニューラルネットワークが収束しなかったた

整に比べて鮮明な画像となっている．

めに，一時的に自ら集めたスキーの画像と，それに対して関連

4. 3. 3 画像の類似度比較があると思われる画像の組み合わせをペアとし，データセット

それぞれをコンテキスト画像との全画素の比較を行った．

として用いた．

表 2 はコンテキスト画像とそれぞれの出力画像の全画素比較

4. 3 実 験 結 果の出力結果である．コンテキスト画像と出力画像は図 10 の画

図 10 は比較画像を列挙したものである．B1, B2, B3 は Reed

像をそれぞれ参照している．全画素比較の類似度は次のように

らのモデルに MS COCO を学習させたものにテキスト : “a算出している．出力画像とコンテキスト画像を [64,64,3] の行

group of people skies on the snow.“を入力した時のランダム列に RGB で読み込んで変換する．形の同じ行列なので，それな出力画像 3 つである．C1, C2, C3, C4, C5 はコンテキスト

ぞれの値の差分を取り，その全ての要素の平方和を取る．出力

画像として提案している二つの手法の入力に用いる画像である．

画像を O, コンテキスト画像を C として式 (7) のように求めて

この五つの画像を用いて Reed らのモデルのハイパーパラメー

いる．
64 ∑
64 ∑
3
∑

タ z を自動調整した際の出力画像が Z1〜Z5 であり，それぞれコンテキストに用いた画像が Z1 は C1, Z2 は C2, Z3 は C3,(O[i][j][k] − C[i][j][k])2(6)

i=1 j=1 k=1

Z4 は C4, Z5 は C5 である．また Context-aware GAN の出力

表 3 は値を正規化して平均を出した値を表示している．関連

画像は G1〜G5 であり．それぞれコンテキストに用いた画像が度が大きくなるように学習させている提案手法 1 の値は他に比G1 は C1, G2 は C2, G3 は C3, G4 は C4, G5 は C5 である．

べて関連度が高くなっている．しかし提案手法 2 は既存手法に

4. 3. 1 文脈を考慮したハイパーパラメータの自動調整

比べて値に大きな違いはない．これは関連度の計算方法として

Z1 や Z3 はコンテキスト画像と同じ人数の画像になっている．

用いている手法が最適ではないためであり，関連度の計算手法

しかし，全体的に出力されている画像は白っぽいためにスキーと見ることができるが鮮明さに欠けている．コンテキスト画像

について改良を行うのは今後の課題である．

4. 4 考察に全画素比較でハイパーパラメータを修正していくと人のいる出力された画像はスキーをしているように見える画像となっ位置が全体的に近づいていく．そのため C5 のような，写ってているが，多様な画像となっていて，それぞれ実用的に用いらいる人の多い画像をコンテキストとして用いると全体的な形はれる場面は異なることがわかる．これらの画像の違いを生み出

似るものの，人間には分かりにくい画像が生成された．

しているのは z の違いであり，z を適切な値に変化させること

4. 3. 2 Context-aware GAN

でコンテキストに沿った画像を出力することができる．

Context-aware GAN を学習させた際にはスキーをしている

表 2 を見ると直接画素値を近づけている z の比較は値が画像と，全く無関係な場面の人の映っている画像を，映ってい画素値が，baseline の画像と比較して近いものになっている．

る人の人数が同じになっていることを条件にペアを作って入力

Context-aware GAN を用いて作られた画像はこの比較方法でデータセットとして学習させた．そのため，コンテキストの条は baseline の画像との差はあまりない．しかし，画像を直感的に比較すると，Context-aware GAN により生成された画像はbaseline のものと比べるとコンテキストを踏まえていることが学習を行えるようにすること．

•

Contect-aware GAN の出力結果に対してハイパーパラ

はっきり分かる．これより全画素を単純に全比較するだけではメータの自動調整を行うことでよりコンテキストに沿った画像

コンテキストを踏まえているかどうかの判定は完全にはできなが出力できるようにすること．

いことが分かる．今後，これらのコンテキストを踏まえている

今後，さらに大規模な実験を行って，提案手法の定量評価

かどうかをより正確に判定するニューラルネットワークを構築を行う予定である．また，ハイパーパラメータの調整手法をして比較手法に取り入れることができれば，コンテキストを考Context-aware GAN に適用してモデルを進化させる予定であ慮した z の自動調整の精度を高くすることができる．またそのる．さらに，Context-aware GAN の改善として，コンテキス

比較方法を用いて Context-aware GAN がコンテキストを踏まトデータに存在している時空間連続性を考慮する点について検えたものになっているかの定量評価を行う実験も今後の課題と討していきたい．

しておく．
今回の例の場合は，学習データにないコンテキスト画像を入力しても出力画像はコンテキスト画像に写っている人と近い人数の人が写っている画像を出力している．画像が Reed らの提案しているモデルに比べて鮮明になっているのは，ニューラル
ネットワークの画像データの占める割合が z の占める割合に比べ大きいためである．z の影響が小さくなると，生成される画
像にランダム性が生じなくなるため，出力画像が特定のものに収束していくため早い段階で綺麗な画像が出力されることにな
る．しかし z の占める割合を大きくすると，使用メモリが多くなることが分かった．また，Context-aware GAN のメモリ使用量が大きいため，さらにデータ次元の圧縮などの対策が必要と考える．今後，これらの課題について取り込みたい．

5. ま と め
コンテキストを考慮した画像生成を行うために GAN の入力となっているハイパーパラメータの自動調整と，GAN を拡張した Context-aware GAN モデルを提案した．MS COCO や

Huang らの提供しているデータセットなどを用いて出力結果について従来手法と比較を行った．本研究における提案手法は従来手法よりもコンテキストとの関連の強い画像を生成することが可能であることが分かった．
しかし，ハイパーパラメータを自動調整することで，画像全体が暗くなる可能性が高い．また，Context-aware GAN のメ
モリ使用量が大きいため，効率的な実現手法が必要である．実験で分かった課題は以下に列挙し，今後これらについて検討する予定である．

•z の自動調整によって画像が暗くなるのを防ぐこと．

•

現在，コンテキストの要素としたのはコンテキスト写真の人数だけであり，これでは不十分であるので，より様々な要
素 (天候や季節，性別など) を反映できるような Contect-aware

GAN を作ること．
•

今は画像とコンテキストのペアを入力として与えている

ので，これを時系列を考慮した画像生成が行えるように改良すること．

•

Contect-aware GAN の出力結果がメモリ不足のために

バリエーションを持っていないので，z の与える影響を大きくし出力画像に変化を持たせること．

•

Contect-aware GAN の出力結果がメモリ不足のために

コンテキストを考慮しないパターンを反映できなかったので，

6. 謝

辞

本研究の一部は，科研費（課題番号 16K12532) による．
文

献[1] Bolei Zhou, Agata Lapedriza, Jianxiong Xiao, Antonio Torralba, and Aude Oliva. Learning deep features for scene
recognition using places database. In Advances in neural
information processing systems, pp. 487–495, 2014.
[2] Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan. Show and tell: A neural image caption generator. In Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pp. 3156–3164, 2015.
[3] Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing
Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville,
and Yoshua Bengio. Generative adversarial nets. In
Advances in Neural Information Processing Systems, pp.
2672–2680, 2014.
[4] Alec Radford, Luke Metz, and Soumith Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint
arXiv:1511.06434, 2015.
[5] Scott Reed, Zeynep Akata, Xinchen Yan, Lajanugen Logeswaran, Bernt Schiele, and Honglak Lee.
Generative adversarial text to image synthesis. arXiv preprint
arXiv:1605.05396, 2016.
[6] Ting-Hao (Kenneth) Huang, Francis Ferraro, Nasrin
Mostafazadeh, Ishan Misra, Aishwarya Agrawal, Jacob Devlin, Ross B. Girshick, Xiaodong He, Pushmeet Kohli,
Dhruv Batra, C. Lawrence Zitnick, Devi Parikh, Lucy Vanderwende, Michel Galley, and Margaret Mitchell. Visualstorytelling. CoRR, Vol. abs/1604.03968, , 2016.
[7] Carl Vondrick, Hamed Pirsiavash, and Antonio Torralba.
Generating videos with scene dynamics. In Advances In
Neural Information Processing Systems, pp. 613–621, 2016.
[8] Tsung-Yi Lin, Michael Maire, Serge Belongie, James
Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, andC Lawrence Zitnick. Microsoft coco: Common objects incontext. In European Conference on Computer Vision, pp.
740–755. Springer, 2014.