論文

自然言語の指示による画像操作システム
品川政太朗†,†† a)中村

吉野幸一郎†,†††

SakrianiSAKTI†,††

鈴木

優†

哲†,††

Image manipulation system with natural language instruction
Seitaro SHINAGAWA†,†† a) , Koichiro YOSHINO†,††† , Sakriani SAKTI†,†† , Yu SUZUKI† ,and Satoshi NAKAMURA†,††
あらまし 自然言語から思い通りの画像を生成するシステムは，コンピュータによるデザイン作成支援に有用であると期待されている．本研究では，自然言語によってインタラクティブな画像編集を行うことを指向して，自然言語の指示によって直前にシステムからユーザへ共有された生成画像を操作することで，より意図に沿った画像を新たに生成するフレームワークを提案する．具体的には，修正元となる画像データを Convolutional neuralnetworks (CNNs) によって埋め込んだベクトルと，画像に対する自然言語の修正指示文を Long short-term
memory neural networks (LSTM) によって埋め込んだベクトルを入力とし，敵対的学習によって指示通りに修正された画像の生成を行う枠組みを提案した．実験では，手書き数字操作データセットを用いた単純なタスクに
より，提案モデルが学習した画像編集タスクにおける振る舞いについて分析した．また，実際に人手で付与した指示文によってアバター画像を修正し，意図に沿った編集を行うことができることを確認した．
キーワード

画像編集，自然言語指示，対話型システム，敵対的学習可能であるものの，検索よりも複雑な枠組みやツール

1. は じ め にの利用が必要となる．特に様々なツールを用いて画像

我々の日常生活の中では，必要とする画像を作成すを生成するようなアプローチは，ツールに対する習熟る機会が多数存在する．例えば，Web サービスにお度やユーザ自身のスキルも含め，画像生成にかけるコ

いて自分のアバター画像を作成したり，探し物，尋ね

ストと生成可能な画像の質との間にトレードオフが存

人のイラストを描いて捜索に役立てるような場合であ在する．言い換えれば，利用が容易なツールは，そもる．しかし，意図に沿った画像を作成するためには，

そも生成可能な画像に制限が多い．

時間，あるいは経済的に大きなコストや，画像を生成

これらの問題に対し，画像に直接編集指示を入力すするための専門知識・技術を必要とする場合が多い．

ることで，手描きの画像編集を支援する方法が提案さ画像検索はこうしたコストを削減する方法の一つでれてきた [1] [2]．これらの手法は，高度な作業の手間をある．しかし，既存画像の検索では細部にわたって期削減するのに有用な技術である．一方で，依然として待に沿った画像を得ることは難しい．これに対して画

ユーザはツールへの習熟や，画像生成モデルの挙動へ像を生成する場合では，より意図に沿った画像を入手の習熟を要求される．これに対して本研究では，画像生成をシステムが行い，その生成結果に自然言語で修正を加えていくことで，意図する画像を実現する枠組† 奈良先端科学技術大学院大学，生駒市

Nara Institute of Science and Technology, 8916-5 Takayama-

みを提案する．この枠組みでは，ユーザはツールや画

cho, Ikoma-shi, Nara, 630-0192, Japan

像生成モデルの挙動に対する習熟を必要としない．ま†† 理研 革新知能統合研究センター，東京都

RIKEN, Center for Advanced Intelligence Project AIP, Ni-

た，多くのユーザが容易に利用可能な自然言語によっhonbashi 1-chome Mitsui Building, 15th floor, 1-4-1 Nihon-て意図する画像生成を行うことができる．

bashi, Chuo-ku, Tokyo, 103-0027, Japan††† さきがけ 科学技術振興機構，川口市

自然言語を用いて画像を生成する問題は，これまで

PRESTO, Japan Science and Technology Agency, Hontyo
4-1-8, Kawaguchi-shi, Saitama, 332-0012, Japan.
a) E-mail: shinagawa.seitaro.si8@is.naist.jp

電子情報通信学会論文誌 X Vol. Jxx–X

主に自然言語の説明文から対応する画像を生成する問
題 (caption-to-image; cap2image) として定式化されNo. xx pp. 1–16 ©（社）電子情報通信学会 xxxx

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

自然言語の指示put a glasses withblack lenses“large zero ison left bottom”

cap2image

説明文

目標画像

IMI
make the hair
short

元画像
𝑋𝑠

“expand zero to
top right”

目標画像
𝑋𝑡

指示文 𝐼

図 1 自然言語の指示による画像操作 (IMI)
Fig. 1 Image manipulation with instruction (IMI)

図2
Fig. 2

cap2image(上) と IMI(下) の問題設定の違い
The diﬀerence of the task setting between
cap2image (top) and IMI (bottom)てきた [3] [4] [5] [6]．しかし，単純に cap2image を画を人手で作成された指示文で編集する Avatar image

像編集タスクに適用した場合，ユーザはシステムに与manipulation with instruction (AIMI) データセット

えるテキストを変更することで画像を修正させることを作成し，人が作成した多様性に富んだ指示文を用いになる．このとき，直前にどのような画像が生成されても画像編集が可能であることを示す．また同時に，たかは考慮されないという問題がある．たとえば，「猫

AIMI データセットで学習した IMI モデルの生成画像

が椅子の下に座っている」というテキストを「猫が椅が元画像に対して一貫性を欠いている問題点について

子の上に座っている」と変更して画像を生成し直した

指摘し，この問題を緩和する方法として Source image

場合，生成される猫の位置のみが変化することが期待masking (SIM) を提案する．SIM は，元画像のどのされるが，猫自体の外見も変化してしまう場合があり，領域を修正するかを，元画像にマスクをかけることで生成画像の一貫性が欠如してしまう問題がある．

明示的に表現する．これによって，AIMI データセッ

この問題に対して本研究では，元画像と自然言語での修正指示文を入力とし，その条件に沿う新しい画像を生成するタスクである，Image manipulation with

instruction (IMI) を提案する (2 章；図 1)．IMI では
元画像を画像生成の条件として新たに追加すること
で，cap2image のように毎回一から新しく生成するのトにおいても生成画像の一貫性が保持できることを示
す (5 章)．

2. 自然言語の指示による画像操作 (IMI)
2. 1 テキストからの画像生成とテキストを用いた画像修正の関係

ではなく，元画像を変化させて目標とする画像を生成

本研究で取り扱う自然言語による画像修正 (IMI) のする問題として定式化する．これによって，画像中の問題設定を，これまで研究されてきたテキストからの修正したい部分以外の一貫性を保ちながら段階的に画画像生成タスクである cap2image との比較を交えなが像を生成する，すなわち画像を編集できることが期待ら説明する．まず，タスクの違いに関する比較を図 2

される．この IMI の枠組みを導入したモデルとして，に示す．cap2image では，自然言語による説明文のみ

敵対的学習に基づいた IMI モデルを提案する (3 章)．

を入力として目標画像を生成する．これに対して提案

実験では，修正指示文を用いて画像編集を行うデータ

する IMI では，画像修正の元となる画像 (元画像) のセットがこれまで存在しなかったため，本研究ではま存在を仮定し，この元画像 X s とそれに対する自然言

ず簡単なタスクとして MNIST データセット [13] を用語の指示文 I(ただし， I = (w1, w2, · · · , wT )) を用いて

いて MNIST の数字画像を修正指示文によって操作す目標とする画像 X t を生成する. ここで，wt は指示文

るデータセットを機械的に作成した．これによって，

I における t 番目の単語であり，T は指示文 I の単語

実際に指示文を用いて修正画像の生成が可能である長である. 訓練時は (X s, X t , I) の 3 つ組を訓練データことを示し，提案モデルで学習される振る舞いと取りとして与え，テスト時には与えられた (X s, I) のペアか扱うことができている概念について分析する (4 章)．

ら画像 Xˆt を生成する．

また，より自然な問題設定を指向して，アバター画像
2[3] [4] [5] [6] に代表される cap2image の問題設定で

論文／自然言語の指示による画像操作システム

は，入力となる説明文が，対応する画像生成に必要な語で表現された差分情報を写像として扱うことができ

情報を漏れなく持っていることを暗黙的に仮定してるという仮定を置き，Discriminator において「生成いる．この手法を画像修正に応用しようとした場合，画像が元画像と差分情報を組み合わせた特徴ベクトル

ユーザは前の入力を覚えておきつつ，入力となる説明とマッチしているか・いないか」を敵対的学習の枠組文を編集して一から入力し直す必要がある．これはシみで学習する．これによって，自然言語で変更したい

ステム利用者にとって大きい負担である．また，実際一部分の情報のみを与えて，ユーザが意図する変更をにユーザがデザイナーに編集を依頼する場合を考えて画像に加えることができる．また，この研究と我々のみると，ユーザは直前に受け取った画像における変更提案手法に共通して，自然言語で表現されていない部

点のみに対して言及することが自然だと考えられる．

分が生成画像において変わってしまう問題がある．本

そこで提案手法の IMI は，編集前の画像も元画像とし研究では Source image masking (SIM) を導入するこて入力することで，変更点のみを自然言語として表現とで，この問題を緩和できることを示す．

することができるタスクとする．

2. 2 画像変換とテキストによる条件付き画像修正の関係

3. 敵対的学習に基づく自然言語の指示文を条件とした画像修正

IMI の問題設定は，画像から画像への変換 (im-

本研究では，元画像と自然言語による元画像の修正

age2image) [7] に自然言語を条件として加えた問題と指示文を与え，目標画像を生成するニューラルネッ

して解釈することができる．image2image では，線画

トワークモデルを提案する．具体的には，元画像と指とカラー画像のように対応を取ることができる画像対

示文を潜在空間に射影するエンコーダと，Generativeで構成されたデータセットを用いて，片方からもう一Adversarial Networks (GAN) [9] の拡張である Deep方への変換という特定の変換操作を学習する．一方，Convolutional GAN (DCGAN) [10] を用いた画像デ

本論文で取り組む IMI は元画像と目標画像の 2 画像

コーダを持つモデルを提案する．全体の構成および対がデータセットの構成要素である点は image2image

cap2image との比較を図 3 に示す．cap2image は説明と同じであるが，変換操作は一つに限らず，この操作

文のエンコーダと，GAN を構成する Generator(Gen)は自然言語で表現されている点が異なっている．

と Discriminator(Dis) によって構成される．一方，提2. 3 元画像と自然言語の説明文を用いた画像生成

案モデルは元画像のエンコーダ ImEnc と指示文のエ

Dong らの研究 [8] においても同様に，元画像と自然ンコーダ IEnc，これらからの出力を統合する全結合層

言語の説明文を入力として，画像生成を行う手法が提FC によって構成されるエンコーダと，GAN の Gen，案されている．この研究では，画像を説明文に合わせDis によって構成される．このことから，提案モデルて変化させることを目的として，画像をどのように変は cap2image に画像エンコーダを付与した拡張と解化させるかを生成したい目標画像の説明文として入力

釈することができる．また，指示対象以外の部分の意

し，その説明文に合うように，元画像をベースとした

図しない変化を抑制するため，Source image masking

新しい画像を生成する．しかしこの手法では，敵対的(SIM) を提案する．

学習における Discriminator は生成画像と目標に対す

3. 1 元画像と自然言語による変更指示のエンコーダ

る説明文全体の特徴ベクトルを入力としているため，提案する IMI モデル (図 3，左図) のエンコーダ

ユーザが画像を変更するには，依然として生成したい(ImEnc，IEnc，FC) について説明する．エンコーダは，

画像全体について一から説明し直す必要がある．これConnvolutional neural networks (CNN) [13] で構成を本研究で提案するタスクに対して単純に適用する場

される元画像のエンコーダ CN NI mEnc と，1 段の Long合，Discriminator は生成画像とテキストで表された

short-term memory neural networks (LSTM) [11] で差分情報の対応を学習することになる．これは例えば，構成される指示文のエンコーダ LST MI Enc ，1 層の全「put glasses」という指示に対して眼鏡をかけた顔画

結合層 FC に分かれて，以下の式で定式化する．

像を対応させることに相当するが，様々な顔画像に対して同様の生成を行う必要があることを考えると，こϕim = CN NI mEnc (X)(X ∈ {X s, X t })の対応を学習するというのは無理がある．これに対し

ϕit = LST MI Enc (wt , ϕit−1 )て本研究では，元画像から目標画像への変換と自然言

ϕ f c = FC(ϕim, ϕTi )(ϕi0 = 0)

(1)
(2)

3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

3. 2 目標画像のデコーダ

元画像 𝑋 𝑠

指示文 𝐼
ImEnc

提 案 す る IMI モ デ ル (図 3，左 図) の デ コ ー ダ

説明文(Gen，Dis) について説明する．画像のデコーダに

説明文
エンコーダ

IEnc

は，cap2image [4] と同様の条件付き DCGAN を用いた．条件付き DCGAN のネットワークは，Convo-

lutional neural networks (CNN) [13] で構成される

FC

CN NGen と CN NDis ，2 層の全結合層で構成される

Gen

Gen

目標画像

FCDis に分かれて，以下の式で定式化する．
X f ake = CN NGen (z, ϕ f c )

目標画像

𝑋𝑡
Dis

ϕ

Dis
real
fake

= CN NDis (X)dŷ = FCDis (ϕ , ϕ

real
fake

図 3 IMI モデル (左) と cap2image モデル (右) のネッ
トワーク構成Fig. 3 Network architectures of IMI model (left) andcap2image model (right)= sigmoid(Wim ϕim + Wi ϕTi )

d

(3)

(4)

(X ∈ {Xreal, X f ake }) (5)fc)= sigmoid(W y leak yrelu(Wd ϕ d + W f c ϕ f c ))(6)
ここで，CN NGen は DCGAN の Generator を表し，

CN NDis ，FCDis は合わせて DCGAN の Discriminator を表す．CN NGen の最終層の活性化関数はタス

ここで，Wim, Wi は学習する重み行列であり，sigmoid(·)

クによって選択する．この活性化関数は linear, sig-

は sigmoid 関数である．ϕim は CN N

I mE nc により抽

moid, tanh などが考えられるが，後の実験で示す出された元画像の特徴ベクトルを表し，ϕit は時刻

ように，いずれの活性化関数が適当かはドメインにt での LST MI E nc の潜在ベクトル，すなわち ϕTi がよって異なり，選択において議論の余地が存在する．

LST MI Enc により抽出された指示文の特徴ベクトル

Wd ，W f c ，W y はそれぞれ学習される重み行列であを表す．CN NI mE nc には，cap2image [4] の Discrim-り，leak yrelu(·) は slope = 0.2 の leaky rectified lin-inator と同じネットワーク構成を用いる．CN NI mE nc

ear unit [14] である． Xreal ， X f ake はそれぞれ実画と LST MI E nc は 1 層の全結合層 FC と接続している．

像データ (Xr eal ∈ {X s, X t }) と Generator によってこの出力 ϕ f c は目標画像の潜在ベクトルになるよう生成された画像を表す． z は標準正規分布からサンプに学習を行い，デコーダに対する入力として用いる．

ルされる潜在変数 (z ∼ Gaussian(0, I)) とする． ŷ は

CN NI mE nc と LST MI E nc の出力を統合する全結合層

Discriminator の出力であり， ŷ ∈ [0, 1] である．

FC を 1 層に設定する理由は，Kiros ら [12] の報告に

3. 3 目的関数と学習方法あるように，画像と説明文の潜在空間はほぼ線形空間

提案する IMI モデルでは，GAN [9] の枠組みで End-になるように学習できると仮定できるためである．こto-end に学習を行う．特に，元画像と指示文に条件の仮定を置いた元画像の潜在ベクトルから目標画像へづけられた画像生成を行うために条件付き GAN への潜在ベクトルへの変換は，線形変換で表現可能であの拡張を行い，その学習方法として matching aware

ると考えられる．図 3 にあるように，提案モデルとmethod [4] を用いる．また，GAN の学習を安定化す

cap2image との主な差異は，エンコーダ部分の扱いでるための工夫として feature matching を用いる．こある．cap2image は単一の説明文エンコーダによってれらについて説明し，最終的な IMI モデルの目的関数

説明文をエンコードするのに対し，提案手法は元画像と学習方法について述べる．

と変更指示の両方をエンコードした上で全結合層によ3. 3. 1 GAN の目的関数り結合したものを用いる．また，ϕim , ϕTi , ϕ f c はそれ

GAN の学習は，Discriminator(D) と Generator(G)

ぞれ入力として用いる前に，ノルムを 1 に正規化する．

を以下の式に従って交互に最適化することで行われる．

これにより，ベクトル間の差異をベクトル同士のなす角とするように制約し学習を安定化することが期待できる [12]．
4

max min E x∼pd at a [log DθD (x)]θDθG

+ Ez∼pz [log(1 − DθD (G θG (z)))](7)

論文／自然言語の指示による画像操作システム

ここで，pdat a はデータの分布を指し，pz は Genera-

LG f r = −E pd at a Ez∼pz [log DθD (G θG (z, cr ), cr )]tor による生成分布を指す．この交互最適化は，pdat aと pz 間の JS ダイバージェンスを最小化し， pz を

pdat a に近づけることに相当する [9]．θ D , θ G はそれ
ぞれ Discriminator と Generator の学習パラメータである．また，式 (7) をそのまま用いる場合，Generator= CE(DθD (G θG (z, cr ), cr ), 1)(13)

ただし，CE(·, ·) は cross entropy loss で， y を Dis-criminator の 出 力 ，t を 正 解 ラ ベ ル (t ∈ {0, 1})，
M を ミ ニ バ ッ チ サ イ ズ と す る と ，CE(y, t) =∑{t log(y) + (1 − t) log(1 − y)} である．L Dr r はの学習時に勾配が消失する問題が報告されており，

1−M

Generator の目的関数を変更して学習する方法が広く

入力 (x, c) の組に対して条件 I かつ条件 II を正しく予知られている [9]．これにより，式 (7) を以下のよう測するための目的関数であり，L Dr w は条件 II を正しに，Discriminator の目的関数 L D と Generator の目く予測するための目的関数である．また，L D f r は条的関数 LG を交互に最小化する問題として置き換える件 I を正しく予測するための目的関数である．LG f r

ことができる．

は Generator が Discriminator の判定条件 I と条件 IIを満たす画像を生成するための目的関数である．このmin L D = −E x∼pd at a [log DθD (x)]とき，式 (8)，(9) は以下の式で置き換えられる．

θD+ −Ez∼pz [log(1 − DθD (G θG (z)))] (8)min LG = −Ez∼pz [log(DθD (G θG (z)))]θG

min L D = λrr L Dr r + λr w L Dr w + λ f r L D f r (14)θD

(9)

min LG = λg f r LG f r
θG

3. 3. 2 matching aware method を用いた条件付
き GAN の目的関数
本研究では，元画像と指示文に条件づけられた画像生成を行うため，この問題に合わせて式 (8)，(9) の目的関数を拡張する必要がある．Reed ら [4] は，説明文に条件づけられた画像生成を行うための学習方法として matching aware method を提案している．本研
究ではこれに倣い，目的関数を設計する．matchingaware method では，生成された画像が本物に近いかどうか (条件 I) だけでなく，与えた条件に合った画像が生成できているか (条件 II) を Discriminator で判定する．ただし，Discriminator は必ずしも入力画像から得られたベクトル ϕ d と条件 ϕ f c が同一の成分を持つ一致したベクトルかどうかを式 (6) で判定しているとは限らず，End-to-end の学習によって ϕ d と ϕ f cが対応関係にあるか・ないかの関数を自動的に学習す(15)

ただし，λrr , λr w , λ f r , λg f r は問題ごとに設定するハイパーパラメータである．

3. 3. 3 feature matching loss
本研究では，GAN の学習安定化のため，feature

matching [15] を用いる．feature matching は，Generator による生成画像と，実データ画像をそれぞれ入力とした場合における， Discriminator の中間層の出力分布の統計量を，互いの分布間で近づけるように損失関数を設計する手法である．本研究では，分布の平均を近づけることを目的として以下の目的関数

L f match を用いる．
1 ∑ ∑ (l)(l)(hdat a − hgen )2
ML

L f match =

M

(16)

l=1 m=1

ここで，l は Discriminator の各隠れ層の番号を指し，る．具体的な学習方法としては，Generator での生成

L は隠れ層の総数を指す．また，M はミニバッチサに用いた条件 cr と偽の条件 cw (cw , cr ) を用いて，イズである． hdat a , hgen はそれぞれ，データ画像を

以下のような目的関数を設定する．

(l)

(l)

Discriminator に入力した場合の l 層目の隠れ層の隠れベクトル，Generator による生成画像を Discriminator

L Dr r = −E x∼pd at a [log DθD (x, cr )]= CE(DθD (x, cr ), 1)に入力した場合の l 層目の隠れベクトルを表す．

(10)

IMI では，1) 指示文を入力しない場合，入力画像

L Dr w = −E x∼pd at a [log(1 − DθD (x, cw ))]= CE(DθD (x, cw ), 0)

3. 3. 4 IMI モデルの目的関数と学習方法(11)は変化しないことが望ましく，2) 指示文がある場合，
入力画像は指示文に沿った画像に変換されることがL D f r = −E x∼pd at a Ez∼pz [log(1 − DθD (G θG (z, cr ), cr ))] 望ましい．しかし，IMI のように一部分だけ画像を変= CE(DθD (G θG (z, cr ), cr ), 0)(12)

化させたいタスクでは，全体的に元画像と目標画像は
5

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

似ており，元画像と目標画像を生成する条件ベクトルが一致するように学習されやすいという問題がある．

𝑋𝑠

これを防ぐには，元画像と目標画像が Discriminator
によって弁別可能である必要があるため，matching“make a chinese𝐼
mustache”

ImEnc

IEnc

MGen

FC

aware method [4] を利用した学習方法を提案する．具
体的には，まず，(X s, X t , I) ∼ pdat a から，以下の特徴ベクトルをエンコードする．

ϕ f c,s = FC(CN NI mEnc (X s ), 0)(17)

ϕ f c,t = FC(CN NI mEnc (X t ), 0)(18)

ϕ f c, t̂ = FC(CN NI mEnc (X s ), ϕTi )

(19)

Gen

mask

ただし，0 は指示文ベクトル ϕTi と同次元のゼロベクト

ImEnc
with
mask
Dis

ルを表す．ここで，ϕ f c,s, ϕ f c,t , ϕ f c, t̂ はそれぞれ，X sの特徴量ベクトル， X t の特徴ベクトル， X t の特徴ベクトルを表現しているとする．これらを用いて，3 種類の (cr , cw , x) の組を以下のように用意する．

(cr , cw , x) ∈ {(ϕ f c,s, ϕ f c,t , X s ), (ϕ f c,t , ϕ f c,s, X t ),(ϕ f c, t̂ , ϕ f c,s, X t )}(20)

学習時は，毎イタレーションごとに (cr , cw , x) をこの 集 合 か ら ラ ン ダ ム に 一 つ 選 択 す る ．G θG (z, c) =CN NGen (z, c), DθD (x, c) = FCDis

𝑋𝑡

SIM

real
fake

図 4 Source image masking (SIM)
Fig. 4 Source image masking (SIM)

3. 4 Source image masking (SIM)
ここまでに提案した画像編集のモデルは，従来のcap2image のモデルと同様に，新しい画像をある潜在ベクトルから生成する．この枠組みでは，元の画像の(ϕ d, c) (た だ し ，

任意の領域に変化が生じる可能性があり，意図しない
しない領域の変化を防ぐには，元画像の中で保持した

ϕd= CN NDis (x))) と す る と ，matching aware
method(式 (10)〜(13)) と feature matching loss を

領域の変化を引き起こす場合がある．このような意図用いて，最終的な目的関数は以下のように表すことがい領域の情報を抽出し，Generator に伝達するマスクできる．

を与えればよい．この場合，保持したい領域の生成は
元画像の特徴量からの画像復元の問題として学習する

min L D = λrr L Dr r + λr w L Dr w + λ f r L D f r

ことができ，これによって生成画像において元画像の(21)

情報を保持するように学習を促進させることが期待θ D ,θ E nc

min LG = λg f r LG f r + λ f L f matchθG ,θ E nc

(22)

できる．今回マスクは，指示文が元画像のどの領域を変化させるかを表し，学習データから学習することをまた，GAN の 2 つの目的関数の交互最適化は一般的企図する．このため，元画像からの伝達箇所を決定すに不安定であることが知られている．本研究では，こるマスクを学習するためのマスク生成器 (MGen) と，の交互最適化の安定化のため，Salimans ら [15] が報マスクされた元画像からマスクされていない領域の情告している学習パラメータの更新規則を用いる．この報を抽出して Generator に伝達するマスク付きエンコーダ (ImEnc with mask) を提案する．これら 2 つ

更新規則は，次のように表すことができる．

updateのネットワークからなる一連の手法を Source image θ D , θ Enc
(L D > LG ) θ G , θ Enc(otherwise)(23)

ただし，θ · はそれぞれのモジュールの学習パラメータを指し，θ Enc = {θ I mE nc , θ I E nc , θ FC } である．また，

λrr , λr w , λ f r , λg f r , λ f は問題ごとに設定するハイパー
パラメータである．
6

masking (SIM) と呼ぶ．
この SIM を含む提案手法の概略を図 4 に示す．SIM
は，CNN [13] で構成されるマスク生成器 (CN NMGen )とマスク付きエンコーダ (CN NI mEncM ) に分かれて，以下の式で定式化する．

mmono = CN NMGen (ϕim, ϕTi )(24)

論文／自然言語の指示による画像操作システム

mcolor = [mmono, mmono, mmono ]ϕimm

L w (ϕ d, tw ) = SCE(Ww ϕ d, tw )

(25)

s

= CN NI mEnc M (X ⊙ mcolor )dLh (ϕ , th ) = SCE(Wh ϕ , th )(26)

CN NMGen は画像の縦横の各位置の画素に対して [0,1]

(32)

d

(33)

た だ し ，SCE(·, ·) は softmax cross entropy lossの値域をとるマスク mmono を生成する (式 (24))．

で， M をミニバッチサイズとすると，SCE(y, t) =mmono はチャネルサイズが 1 であるが，これを RGB

1−M

画像に適用する場合は，RGB のそれぞれのチャネルに

x, y, w, h のそれぞれのラベルに対する目的関数，重対応するマスクが mmono になるよう複製して mcolor

み行列，ラベルである．入力画像 x のラベルを t x ととし (式 (25))，これを CN NI mE nc M へ入力する (式すると，目的関数は以下のように表すことができる．

(26))．ここで ⊙ はアダマール積を表す．このとき，マスク mcolor はピクセルごとのゲートとして働く．こ∑t log y である．また，L ., W., t. は順に，digit,

L ′ Dr r = L Dr r + Llabel (CN NDis (x), t x )(34)

れによって CN NI mE nc M は，元画像の中でマスクがか′x

L D f r = L D f r + Llabel (CN NDis (x), t )(35)

かって 0 に近づいた領域の情報を抽出できず，マスク

′

x

(36)

L G f r = LG f r + Llabel (CN NDis (x), t )の値が 1 に近いことで元画像の情報をそのまま抽出できた領域の情報のみを Generator に伝達することができる．CN NI mE ncの出力である ϕimm は，Generator

min L D = λrr L ′ Dr r + λr w L Dr w + λ f r L ′ D f r

θ D ,θ E nc

(37)に追加の条件ベクトルとして入力されることから式 (4)′min LG = λg f r L G f r + λ f L f match

は以下のように置き換えられる．

θG ,θ E nc

X f ake = CN NGen (z, ϕ f c, ϕimm )

(27)

(38)

ここで，L Dr w には Llabel (CN NDis (x), t x ) の目的関数の追加を行わなかった．これは既に同じ目的関数が3. 5 タスクごとの処理

式 (34) にあり，重複しているので不要と考えられる

本研究では，MNIST の画像操作タスクとアバターためである．

の顔画像操作タスクについて実験を行うが，タスク

3. 5. 2 アバターの顔画像操作タスクでの指示文なの差異により，異なる方法を用いて GAN の安定化を
図る．

し補助学習
アバターの顔画像操作タスクでは，指示文のアノ

3. 5. 1 MNIST の画像操作タスクへの補助分類タ
スクの追加

テーションが付与されたサンプルサイズが不十分であるため，補助学習タスクを別途用意する．補助学習

GAN の訓練データにラベルが付与されている場合，タスクでは，大量に用意できるランダムな属性情報か

このラベルの予測タスクを Discriminator に追加するら作成された，指示文なし，単一のアバターの顔画像

ことで GAN の学習を安定化できることが報告されてデータセットを用いる．具体的には，このデータ分布

いる [18]．MNIST の画像操作タスクでは，元画像と目′のサンプル X ∼ pdatから以下のような特徴ベクトルa

標画像にそれぞれ数字や位置，大きさのラベルが付与

をエンコードする．

されていることから，この予測タスクを Discriminatorで行う．予測する目標ラベルを t = [tdigit , t x , t y , tw , th ]とすると，この目的関数 Llabel(ϕ d, t) は以下のように表すことができる．

Xwrong = permutation(X)

Llabel (ϕ d, t) = L digit (ϕ d, tdigit )= FC(CN NI mEnc (X), 0)

(40)

f c,w

= FC(CN NI mEnc (Xwrong ), 0)

(41)

ϕ
ϕ

(39)

f c,r

ただし， permutation(·) はミニバッチ内のサンプルをdd

ランダムに入れ替えることを指す．これによって，dd

サンプルがランダムに入れ替えられたミニバッチ+ L x (ϕ , t x ) + L y (ϕ , t y )+ L w (ϕ , tw ) + Lh (ϕ , th ) (28)

Xwrong をエンコードした特徴量 ϕ f c,w を，偽の条件

L digit (ϕ d, tdigit ) = SCE(Wdigit ϕ d, tdigit )(29)

L x (ϕ d, t x ) = SCE(W x ϕ d, t x )(30)(cr , cw , x) = (ϕ f c,r , ϕ f c,w , X) として式 (10)〜(13) を計

L y (ϕ d, t y ) = SCE(W y ϕ d, t y )(31)

算し，式 (21)，(22) に従って学習を行う．

cw として学習に用いることができる．したがって，

7電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

4. MNIST の数字画像操作タスク
IMI タスクを学習するには，修正指示文と元画像，
目標画像で構成されるデータセットが必要だが，このようなデータセットはこれまで存在しない．そこで本研究ではまず簡単なタスクとして，MNIST デー

元パラメータ
digit

0

x

0

y

2

w

1

h

1

データセット (手書き数字操作データセット) を機械的に作成した．このデータセットによって，IMI タスク
を学習し，モデルがこの画像編集タスクを学習できる

𝑦 −= 1, 𝑤 += 1, ℎ += 1

レンダリング

タセット [13] をもとにして，MNIST の数字画像を移動・拡大・縮小するなどの操作指示によって編集する

指示情報
action digit direction(“expand”, ”0”, ”top right” )元画像 𝑋 𝑠

目標パラメータ
digit

0

x

0

y

1

w

2

h

2

テンプレートに従って生成“expand zero to the top right”
指示文𝐼AHC-lab NAIST2017ⒸSeitaro Shinagawa

目標画像 𝑋 𝑡

図 5 手書き数字操作データセットの作成手順
Fig. 5 Procedure of the handwritten digit manipulation dataset

ことを示す．具体的には，元画像と指示文を用いて生成した画像が目標画像にどの程度近いかを Structuralsimilarity (SSIM) [16] で評価する．また，機械的に作する．dirction は{“expand”, “compress”, “move”}

成した指示文は，人手で付与した指示文と異なり多様を含む指示文に用いる．これは操作を適用する方向を性が低く，モデルの挙動が分析しやすいということが表し，{“top”, “left”, “right”, “bottom”, “top left”,

期待できる．本研究では，提案モデルで学習される振“top right”, “bottom left”, “bottom right”}の 8 種る舞いと取り扱うことができている概念について，指類から選択する．指示文を実際に生成する時は，こ示文をエンコードして得られたベクトルの類似度の観の 3 つ組のパラメータ情報を “[action] [digit] to the

点から分析する．

[direction]” のテンプレートに埋め込んで生成する．

4. 1 手書き数字操作データセット“put” を含む指示文については direction に “middle”

手書き数字操作データセットの作成手順の概要をを加えた 9 種類を position として用いて，“put [digit]

図 5 に示す．まず，MNIST の数字 10 クラスの各ク

on the [position]” のテンプレートに埋め込んで生成ラスからそれぞれ 1,000 サンプルをランダムに選択すする．“remove” については direction や position のる．続いて各サンプルに対して，元の MNIST の３倍

情報がないので，“remove zero” のように action との大きさのキャンバスを用意し，用意したパラメータ

digit の情報のみを用いて生成する．目標画像 X t の情報に従って MNIST の数字を配置（レンダリング）

生成は，指示文の 3 つ組パラメータを元画像のパラすることで，元画像 X s および目標画像 X t を作成す

メータに適用し得られる目標画像のパラメータを元にる．元の MNIST の画像サイズは 28 × 28 なので，この生成する．“put” は位置 (x, y) に (w, h)=(1, 1) の数

画像のサイズは 84 × 84 となる．レンダリングに用い字をレンダリングすることを表しており，digit パラ

るパラメータは (digit, x, y, w, h) からなる．digit は

メータは指示パラメータの digit で置き換えられる．

MNIST の 0 から 9 の文字のひとつがキャンバスにあ“remove” は (digit, x, y, w, h) を全て null と 0 に置きる状態 10 クラスと，キャンバスに何もない状態 1 クラ

換える．“expand”, “compress” はそれぞれ direction

ス (null) を合わせた 11 クラスから選択する．x, y はで指定された方向への拡大・縮小を行い，拡大・縮小

それぞれラベルの縦位置，横位置を表し，{0, 1, 2}の 3のされ方に応じて (x, y, w, h) を変化させる．“move”

クラスから選択する．w，h はそれぞれキャンバスに存は direction で指定された方向への移動を表し，(w, h)

在する文字の横方向，縦方向のサイズを表し，{0, 1, 2,は固定で (x, y) のみを変化させる．

3}の 4 クラスから選択する．例えば，(digit, x, y, w,

キャンバスにレンダリング可能な (x, y, w, h) の組

h)=(null, 0, 0, 0, 0) はキャンバスに数字が何もない合わせを考えると，数字 1 つのサンプルに対して 31状態を表す．指示文 I は (action, digit, direction) の種類の元画像が作成できる．これらに対して，それぞ3 つ組で表現されるパラメータから自動的に生成されれ目標画像がレンダリング可能であるような指示パラ

る．action は指示文の操作（動詞）を表し{“put”, “re-メータの組合せを考え，合計で 369 種類の (X s, X t , I)move”, “expand”, “compress”, “move”}の 5 種類かの 3 つ組を作成した．最終的に，全体のサンプル数がら選択する．digit は MNIST の数字 10 クラスが対応

3,690,000 からなるデータセットを構築した．

8

論文／自然言語の指示による画像操作システム

4. 2 実 験 設 定

元画像

生成画像 目標画像 SSIM

指示文

本実験では，IMI のモデルの挙動の分析を目的として，人工的に作成した手書き数字操作データセットによる簡単なタスクを行うことから，SIM を用いずに実験を行った．作成したデータセットを，訓練セットと開発セットを 90% と 10% の割合で分割した．テスト
セットは，MNIST 訓練データの中から最初のデータ作成に使われたサンプルを除いて，ランダムに各クラ
ス 100 サンプルずつを選択し，同様の手順で作成した

369,000 サンプルのデータセットを用いた．
Generator の出力の活性化関数には，linear，sigmoid，tanh を用いて実験を行い，唯一学習が成功した linear を用いた．ただし，sigmoid 関数を用いる場合では前処理としてあらかじめ画像の画素値に f (x) = x/255 を適用して [0, 1] の範囲に正規化
し，linear，tanh を用いる場合では画像の画素値を

図 6

手書き数字操作データセットを用いた IMI モデル
による生成結果
Fig. 6 Generated examples of IMI model using handwritten digit manipulation dataset

f (x) = x/128 − 1 として [−1, 1] の範囲に正規化して用いた．この時，linear を用いた場合は生成した画像が[−1, 1] の範囲に収まることが保障されないため，生成

SSI Mch (x, y) =(2µ x µ y + C1 )(2σx y + C2 )(µ2x + µ2y + C1 )(σx2 + σy2 + C2 )画像を保存する際には後処理として画素値を [−1, 1] にクリッピングした．
また，Reed ら [4] は GAN の学習を安定化させるため，説明文の特徴量ベクトルの内挿を行っていたが，本稿では Auxiliary Classifier GANs [18] に倣い，
数字ラベルおよび画像のパラメータ (x, y, w, h) を

Discriminator で予測することで GAN の学習が安定するようにした．この設定では生成される画像の画素値の範囲は無制限となっているため，画素値が [0, 1] の範囲を超える値については [0, 1] へのクリッピングを(42)
本研究で用いる SSIM は，窓を縦方向ごと，横方向ごとに１つずつずらして得られる全ての場合の各局所領
域ごとに SSI Mch を算出し，平均する処理をチャネルごとに行い，最後にチャネルで平均して算出することから，以下のように表すことができる．

1 ∑ ∑SSI Mch (xi, yi )CNC

SSI M(X, Y ) =

N

(43)

ch=1 i=1

適用した．モデルの学習には最適化手法に Adam [17]ただし， xi ， yi はそれぞれ X ，Y の i 番目の局所領(α = 2.0 × 10−4, β = 0.5) を用いた．また，λrr = 1.0，

域であり， N は各画像ごとの局所領域の総数であλr w = 0.5，λ f r = 0.5，λg f r = 2.0，λ f = 2.0 とした．
画像は 64 × 64 に大きさを変更し，潜在変数の次元はそれぞれ ϕi と ϕ f c には 128，ϕim には 1024 を用いた．
ミニバッチサイズは 64 とし，20epoch 学習させた．

4. 3 Structural similarity (SSIM)

る．本研究では SSIM の算出に Python のライブラリである scikit-image の compare_ssim 関数（注 1）を用いた．各 パラメータはデフォルトの設定である

L = 7，C1 = (255 · 0.01)2 ，C2 = (255 · 0.03)2 を用いた．MNIST の画像操作タスクで扱う画像はグレース

Structural similarity (SSIM) [16] は 2 画像間の類

ケールであることから，C = 1 とした．また，SSIM

似度を評価する評価尺度の一つである．2 つの同じサを算出する際は生成画像に対して正規化の逆変換を行

イズの画像 X ，Y について，あるチャネル ch におけい，画素値のとりうる範囲を [0, 255] としてから算出

る，幅 L の正方形窓で囲まれた，ある局所領域をそれした．

ぞれ x, y とすると，この局所領域の SSIM は x, y のそれぞれの画素値の平均 µ x ，µ y と，標準偏差 σx ，σy ，

4. 4 IMI モデルによる生成画像
テストセットのサンプルを入力とし，学習した IMI

共分散 σx y と定数 C1, C2 を用いて以下のように表す（注 1）：https://github.com/scikit-image/scikit-image/blob/master/

ことができる．

skimage/measure/_structural_similarity.py

9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
expand compress

remove

move

move

move
put

compress expand

top
left

bottomtop left
top right

move

right

bottom left

図 7 指示文ベクトル間のコサイン類似度
Fig. 7 Cosine similarities between the instruction
vectors

モデルによる画像生成例を図 6 に示す．生成した画像
を目標画像と比較すると，位置や大きさについては正

bottom right図 8 “move [digit] to the direction” の指示文べクトル間の類似度
Fig. 8 Cosine similarities between the instruction
vectors whose instructions follows “move[digit] to the direction” template

しく生成できているが，SSIM が低い場合は形状が崩れているのがわかる．

4. 5 指示文ベクトルの定性分析

図 7 の左図は大きく分けて 3 × 3 のブロックに分かれて続いて，学習した IMI モデルにおける指示文ベクトいるのが見てとれる．これは類似度が 3 種類の action

ルについて可視化を行った結果を図 7 に示す．{“ex-によって分かれていることを表している．中心から右pand”, “compress”, “move”}を含む指示文のベクト側のブロックは “expand” と “compress” のブロック

ルは，action と全ての digit, direction について “[ac-間のコサイン類似度であり，これが全体的に負の値をtion] [digit] to the [direction]” のテンプレートに従っとっている．これはすなわち，逆の操作として定義さて指示文を生成する．生成した指示文をそれぞれ指示

れた “expand” と “compress” を逆の概念として学習

文エンコーダ LST MI E nc に入力してベクトルを抽出できていると考えられる．しかし，図 7 の右図をみる

したものを用いた．ここで，このベクトルのノルムはと，同様に逆の概念である “put”–“remove” 間には顕1 に正規化されていることから，ベクトル間の差異はベ著な関係性を見いだすことができなかった．図 7 の左クトル同士のなす角のみによって決まるため，ベクトル

図の左上の “move”–“move” のブロックを拡大したの間の類似度の指標としてコサイン類似度を用いた．同が図 8 である．図 8 はおおまかに 8 × 8 の正方形ブ様にして，“put” には “put [digit] on the [position]”，ロックに分かれていると読み取ることができる．ただ“remove” は “remove [digit]” のテンプレートに従っ

し，top に対する top right や top left のように，似たて生成した指示文を用いた．可視化では，{“expand”,

ような値を取っているものは 8 × 8 の正方形が連結し“compress”, “move”}間，{“put”, “remove”}間でそれたような形になっている．それぞれのブロックは 8 種

ぞれ各ベクトル同士のコサイン類似度を算出した．前類の direction に対応している．これを見ると，“top者 (図 7 左図) の並び順は，左上から ( move , top ,left” と “bottom right” の組などの，反対方向の指示

zero )，( move ,文ベクトルが反対の概念として学習できているという

bottom right ,

top ,

top ,

ことがわかる．また，この時の 8x8 のブロック内のそzero )，...，

れぞれの要素は異なる digit 間の指示文ベクトルの類似

nine ) のように，度に対応しているが，ブロック内の類似度は似たよう

nine ), ( expand ,zero )，..., ( compress ,( compress ,one )，...，( move ,top ,bottom right ,action-direction-digit の優先順で整列している．後者

な値をとっていることから，digit は類似度に寄与して(図 7 右図) は上から (“put”, “top”, “zero”)，(“put”,

いないことが見て取れる．実際に，action，direction，“top”, “one”)，...，(“put”, “middle”, “nine”) のよ

digit の各要素が類似度の変化にどの程度寄与するか

うに，put-position-digit の優先順で整列し，左からを図 9 に示す．図 9 の横軸は，(action，direction，(“remove”, “zero”)，...，(“remove”, “nine”) で整列

digit) のうちの 2 つの要素を固定した場合の残り 1 つ

した指示文のベクトル間でコサイン類似度を算出した．

の要素を表し，縦軸は，この残り 1 つの要素のみが異10

論文／自然言語の指示による画像操作システム

を示す．具体的には，SIM なしの場合 (w/o SIM) と

SIM ありの場合 (w/ SIM) を定量的評価と定性的評価
ブロック内分散の観点から比較する．定量的評価では，w/o SIM と

w/SIM の生成画像を SSIM による客観評価とクラウ
ドソーシングによる主観評価によって比較する．定性的評価では，両モデルによる生成画像の比較を行う．
また，手書き数字操作データセットの実験と同様に，
actiondirectiondigit

図 9 各指示種類に対応する指示ベクトルの類似度の分散の分布
Fig. 9 Distribution of variance of similarities of eachgroup of instruction vectors

指示文をエンコードして得られたベクトルを比較する
ことにより分析を行う．

5. 1 Avatar Image Manipulation with Instruction (AIMI) データセット
まず，アバターの顔画像を収集するために，Web上で公開されているアバター画像作成サイトである

なる指示文ベクトルから得られる類似度マップの分散

AvatarMaker.com（注 2）を用いて一部分が異なる画像の値を表している．例えば，action, direction を固定し,組を用意する．このサイトでは，以下の 14 種類の属

digit のみ異なる指示文ベクトルで類似度マップをつく

性情報から任意の形を選択することで 200 × 200 のサることを考えると，action, direction, digit の種類がイズの画像を作成することができる．ここで各属性の各 3，8，10 種類であることから，(action，direction)

数字は各属性の持つパターン数である．

の各組について，10x10 の類似度マップの分散値を計•

Male, Female

24 個得ることができる．この分散値が小さく分布して•Face (shape:15, mouse:15, nose:15 ears:7)

いる程，横軸に示される要素が類似度の変化に寄与し•Eyes (eye shape:15, iris:10, eyebrows:15,

ないことを示している．図 9 の digit に対して得られる分散値は小さく分布していることから，digit の類似

glasses:18)• Hair (on head:18, mustache:13, beard:13)

度ベクトルの変化への寄与は低く，digit を同一のクラ•

Clothes (13)スとして学習していると解釈することができる．

•

Backs (15)

5. アバターの顔画像操作タスクでの評価

データの作成手順は次の通りである．まず，ランダムに 8,000 の画像を元画像として作成する．次に，元画

手書き数字操作データセットは，機械的なアルゴリ

像の属性情報を１種類選び，ランダムに別のものに変

ズムによって特定のテンプレートを用いて指示文を作更した画像を目標画像として生成する．最後に，この成したため，実際に人が指示文を入力するときの指示

操作によって得られた画像の組に対して，クラウド

文の表現の多様性を無視している．また，数字画像自ソーシングによって人手で元画像と目標画像の差分を体も多様性の低い MNIST データを用いた簡単なタス

自然言語の指示として記述してもらった．この結果収クとなっている．そこで本章では，より自然な画像編集された元画像，指示文，目標画像の 3 つ組の例を

集タスクを指向して，アバターの顔画像作成サイトか

図 10 に示す．

ら一部分が異なるアバターの顔画像の組を収集し，人手収集された自然言語の指示文は，元画像と目標画像で修正指示文を付与した Avatar Image Manipulationの対応関係が逆になっているなどのノイズが含まれてwith Instruction (AIMI) データセットを作成した．

いたため，これを２人の人手作業により除いた．この

このデータセットによる実験でも，学習した IMI モデ

結果，4,756 サンプルの 3 つ組データが得られた．まルが指示文に従って画像を変化させることができた．

た，訓練データの不足を補うため，ランダムな属性情

しかし，手書き数字操作データセットでの生成画像と報によって指示文なしの画像 161,065 サンプルを作異なり，元画像において，修正指示文のない領域の変成した．これは画像エンコーダ・デコーダの訓練に用化が顕著であり，生成画像の一貫性が欠如してしまう

いた．

という問題があった．そこで本章では，Source image

masking (SIM) の導入がこの問題を緩和できること（注 2）：http://avatarmaker.com/

11電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
指示文

元画像

目標画像

make his chin and jaw fuller

して [0, 1] の範囲に正規化し，linear，tanh を用いる場
合では画像の画素値を f (x) = x/128 − 1 として [−1, 1]の範囲に正規化して用いた．モデルの学習には最適化

make his eyebrows smaller

手法に Adam [17] (α = 2.0 × 10−4, β = 0.5) を用いた．
画像は 64 × 64 に大きさを変更し，潜在変数の次元はincrease the eyes size concretely his pupils

それぞれ ϕi と ϕ f c には 128，ϕim には 1024 を用い，

ϕimm には 512 × 4 × 4 を用いた．また，λrr = 1.0，
make the eyeglasses frame thinner

λr w = 1.0，λ f r = 1.0，λg f r = 1.0，λ f = 1.0 とした．
ミニバッチサイズは 64 とし，5000phase 学習させた．

the t-shir become opened

図 10 アバター画像と指示文による 3 つ組例
Fig. 10 Examples of triplet composed of avatar images and instruction

定量評価では，生成画像と目標画像間の SSIM に
よって w/o SIM モデルと w/ SIM モデルを評価した．
アバター画像は RGB 画像であるため，SSIM は C=3として，生成画像に対して正規化処理の逆変換を行い，画素値の範囲を [0, 255] としてから算出した．

5. 2 実 験 設 定

5. 3 実 験 結 果{元画像, 目標画像, 自然言語の指示文}の収集データ

図 11 は開発セットのあるサンプルについて，各を訓練セット，開発セット，テストセットでそれぞれphase における生成画像を示したものである．w/o

90%, 5%，5% になるように分割した (4,296, 230, 230

SIM は SIM なしで学習したモデル，w/ SIM は SIMサンプル)．また，この量では提案モデルの教師デーを用いて学習したモデルによる生成結果である．w/o

タとして十分でないことから，ランダムに生成した画

SIM モデルは目標画像に近い画像を生成するのに像データ 161,065 サンプルを教師なし学習用のデータ

4,000 phase 以上かかっているが，w/ SIM モデルはとして学習に利用した．学習の経過単位には iteration

1,000 phase 以下で生成できている．また生成画像にか epoch を用いることが多いが，本実験では訓練時

おいても細部にわたり目標画像により近い画像を生成には教師なしの学習 (w/o instruction) と教師ありのできている．このことから，SIM が学習を安定化し学

学習 (w/ instruction) を 2,200 サンプルごとに交互に習する速度を向上させていることがわかる．

行い，教師ありの学習を 2,200 サンプル終えた時点で評価に用いるモデルは，人目での判断と feature

1phase として定義した．w/o instruction では元画像

matching loss を組み合わせて選択した．これは，GANと目標画像に同じサンプルを用い，画像のエンコーダ・の学習に用いる L D や LG の挙動が通常不安定であデコーダのみを学習した．このとき，指示ベクトルはる一方，feature matching loss は生成画像と目標画

ゼロベクトルで固定した．また，目標画像が元画像と像をそれぞれ discriminator に入力した時の潜在変同じであることから，CN NMGen は学習を行わなかっ

数間の二乗誤差であるため，discriminator の学習がた．w/ instruction phase での学習は，CN NMGen の十分進んでいれば，feature matching loss が小さい

学習を促進するためマスクの教師データを元画像と目

程，生成結果の良さに比較的相関があると期待でき標画像の差分から作成した．具体的には，同じ位置のるためである．今回 discriminator の学習の進度はピクセル値が異なる場合マスクの値を 0，同じ場合 1100phase ごとに取得した生成画像を人目で見て判断とした．マスクの損失関数には生成されたマスクと教し，discriminator の学習が進んでおり，生成画像の良師のマスクとの間の mean squared error (MSE) 関数

さと feature matching loss が概ね相関していると人を用いた．

目で判断できる区間 (w/ SIM は 500phase 以降，w/o

Generator の出力の活性化関数には，linear，sig-

SIM は 2000phase 以降) の 50phase ごとのモデルのmoid，tanh を用い，一番良い結果となった tanh を用

中で，w/ instruction の validation セット全体に対すいた．linear では学習がうまくいかず，sigmoid では

る feature matching loss の平均値が最も低いモデル

学習に時間がかかり，最終的な生成画像も良くなかっを選択した．この 50phase ごとの feature matching

た．ただし，sigmoid 関数を用いる場合では前処理とloss の平均値を図 12 に示す．これにより，w/o SIM

してあらかじめ画像の画素値に f (x) = x/255 を適用

モデルは 4,350phase，w/ SIM モデルは 700phase で12

論文／自然言語の指示による画像操作システム
元画像 目標画像 指示文

2.5

phase

1

500

700 1,000 2,000 4,000 4,350 5,000

w/o SIM
w/ SIM

図 11 各 phase ごとの生成結果
Fig. 11 Generated results on each phaseのモデルを選択した．
テストセット (230 サンプル) を用いた，w/o SIM

feature matching loss

“put a black beard that ends before the ears”

w/ SIM val
w/o SIM val

2.0
1.5
1.0
0.5
0.0

0

1000

2000

3000

phase

4000

5000

図 12 feature matching loss による評価モデル選択
Fig. 12 Model selection using feature matching loss

モデルと w/SIM モデルのそれぞれの生成画像と目標画像間の SSIM の比較を図 13 に示す．SSIM が高い
ほど目標画像に近い画像を生成できているといえる．
件とし，より目標画像に近い画像を生成できていることがわかる．
また，クラウドソーシング（注 3）を用いて生成画像の主観評価を行った．この評価では，評価者に元画像と

100

評価事例数

この結果から，w/ SIM モデルは元画像と指示文を条

w/o SIM
w/ SIM

80
60
40
20

指示文，および w/o SIM モデルによる生成画像と w/
00.0

SIM モデルによる生成画像を提示して評価を行ってもらった．具体的には，左右に配置した 2 種類の生成画像に対し，どちらの生成結果が意図に沿っているかを評価してもらった．どちらのモデルから生成されたかは評価者には伏せており，順序による効果を考慮し

0.2

0.4

SSIM

0.6

0.8

1.0

図 13 SSIM を用いた，w/o SIM モデルと w/ SIM モ
デルの生成画像の比較
Fig. 13 SSIM Comparison of generated generated
images of w/o and w/ SIM modelて逆の配置も含めて評価した．それぞれの評価者は，提示された生成画像 (A,B) に対して，どちらの生成

0.35
0.30

して評価した．(1: A is much better than B, 2: A

0.25

is better than B, 3: the results are comparable, 4:
B is better than A, 5: B is much better than theA)．1 つのサンプルごとに 3 人の評価者によって評価し，1 人の評価者は最大で 10 サンプル評価した．最
終的に 1,380 の評価結果が得られた．嗜好度の集計結果を図 14 に示す．これは左から右に行くにしたがって，w/o SIM モデルよりも w/ SIM モデルが評価者によって支持されていることを示している．それぞれの割合は (9%, 14%, 13%, 37%, 27%) であることか
ら，w/ SIM モデルの方が良いと選択した評価者の割合が 60% を超えており，w/ SIM モデルによる生成画割合

結果が意図に沿っているかを以下の 5 段階の嗜好度と

0.20
0.15
0.10
0.05
0.00

e le
h M
h M
er M
er M
ar ab
tt SI
tt SI
uc SI
uc SI
m /
m
ts ar
be /
be /o
s w/o
ul p
s nw
s
is n w
i
i
i
w
s
M ha
M n
M ha
re com
M n
SI r tSI ae
SI t
SI tha
/ th
/
th
/o te
/o
w er
w
w et
w
t
t
b
be

図 14

主観評価による，w/o SIM モデルと w/ SIM モ
デルの生成画像の比較
Fig. 14 Subjective comparison of generated imagesof w/o and w/ SIM model

像がより意図に沿った画像を生成しているといえる．
定性的な評価としてテストセットで比較した結果を（注 3）：Crowdflower: https://www.crowdflower.com/

図 15 に示す．それぞれの画像の上にある一文が与え
13電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

元画像 目標画像

w/o SIM

w/ SIM“delete the lips making the mouth totally plane”“put a more pronunciated nose, remove the nose holes”“put transparent lenses on the face”“put on a long mustache”

1.0

delete the lips making the mouth totally plane 0
put the lips making the mouth totally plane
put a more pronunciated nose, remove the nose holes 2
put a less pronunciated nose, remove the nose holes
put transparent lenses on the face 4
put dark lenses on the facemake his mouth thicker 6
make his mouth thiner
make his beard small 8
make his beard large

0.8
0.6
0.4
0.2
0.0
0.2
0.4

0

2

4

6

8

図 16 指示文ベクトル間のコサイン類似度
Fig. 16 Cosine similarities between the instruction
vectorsとがわかる．これは，指示文をエンコードする際に，手書き数字操作データセットは指示の多様性がないのに対し，AIMI データセットは指示の多様性が多いこ“put a beard on him”とが原因と考えられる．つまり，手書き数字操作デー
タセットにおいては文の多様性が低い中で，ベクトル全体で対義を学習すればよい設定になっていたのに対図 15 w/o SIM モデルと w/ SIM モデルによる生成例
Fig. 15 Generated examples of w/o and w/ SIM
model

られた指示文である．指示文の下に並んでいる図は左

し，AIMI データセットでは文の多様性から，ベクトルに埋め込む情報の大半を，文の多様性の記憶に利用しているのではないかと考えられる．

6. 結

論

から，元画像，目標画像，w/o SIM モデルによる生成

本論文では，自然言語によってインタラクティブな

画像，w/ SIM モデルによる生成画像である．また，画像編集を行うことを指向して，自然言語の修正指示

w/o SIM モデルの生成画像の右側には，変化している文によって画像を編集する問題 (IMI) に取り組んだ．

領域を可視化するために，元画像と生成画像間のピク提案モデルとして，敵対的学習を用いて，元画像と自セルごとの MSE を表示している．w/ SIM モデルの然言語の指示文に条件付けて目標画像を生成するモデ

生成画像の右側には，順にマスクの可視化と元画像とルを提案した．手書き数字操作タスクでは，意図した生成画像間のピクセルごとの MSE を表示している．

画像操作を単純な自然言語の指示で実現できることをどちらのモデルも指示文によって画像を変化させるこ示した．また，多様性が制限された指示文で，指示ベとに成功しているが，w/o SIM モデルは背景の色やクトルが含む操作の概念を学習できている可能性を示

テクスチャ，髪や目や口の形状の変化といった，指示した．アバター画像操作タスクでは，人手で付与した文にない領域についても変化を起こしてしまっている

より多様性のある指示文を与えた場合でも，提案モデ

ことがわかる．一方 w/ SIM モデルでは，元画像におルが指示の意図に従った画像編集を行うことができる

ける指示文で指定されていない領域の色・形状を保存ことを示した．また，Source image masking (SIM)したまま修正画像を生成することに成功している．

の導入によって，生成画像において指示していない領

また，手書き数字操作データセットでの実験と同様域の意図しない変化が発生する問題を抑制できることに，指示文をエンコードして得られた指示文ベクトルを示した．しかし，より複雑な変化の指示や，抽象的間のコサイン類似度を算出した結果を図 16 に示す．

な指示については取り扱っておらず，今後の課題であ

図 16 では，テストセットにランダムに取得した指示るといえる．

文と，これが反対の操作になるように指示文を人手で変更したものを合計 5 組用意した．手書き数字操作

文
[1]

献

A. Brock, T. Lim, J. Ritchie, and N. Weston,Neu-

データセットにおいては，得られた指示文ベクトルに

ral photo editing with introspective adversarial net-

おいて反対の操作が反対の方向のベクトルを取るよう

works,に学習されていたが，AIMI データセットにおいては逆に，反対の操作が類似したベクトルとなっているこ
14

The International Conference on Learning

Representations, 2017.
[2]

J.-Y. Zhu, P. Krahenbuhl, E. Shechtman, and A.A.
Efros,

Generative visual manipulation on the natu-

0.6論文／自然言語の指示による画像操作システム
ral image manifold,

Proceedings of European Con-

ference on Computer Vision, 2016.
[3]

[5]

Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simon-

E. Mansimov, E. Parisotto, J. Ba, and R. Salakhut-

celli,

dinov,

Generating images from captions with at-

to structural similarity,

tention,The International Conference on Learning

age Processing, vol.13, no.4, pp.600-612, 2004.

Representations, 2016.
[4]

cessing Systems, pp.2226-2234, 2016.
[16]

[17]

Image quality assessment: from error visibility
IEEE Transactions on Im-

D. Kingma and J. Ba, Adam: A method for stochas-

S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele,

tic optimization,and H. Lee,

Generative adversarial text-to-image

Learning Representations, 2015.

synthesis,

Proceedings of The 33rd International[18]

The International Conference on

A. Odena, C. Olah, and J. Shlens,Conditional im-

Conference on Machine Learning, 2016.

age synthesis with auxiliary classifier gans,

H. Zhang, T. Xu, H. Li, S. Zhang, X. Huang, X.

2016 Workshop on Adversarial Training, 2016.

Wang, and D. Metaxas,

Stackgan: Text to photo

NIPS（平成 xx 年 xx 月 xx 日受付）

realistic image synthesis with stacked generative adversarial networks,

The IEEE International Confer-ence of Computer Vision, pp.5907-5915, 2017.
[6]

T. Xu, P. Zhang, Q. Huang, H. Zhang, Z. Gan, X.
Huang, and X. He,

Attngan: Fine-grained text toimage generation with attentional generative adverProceedings of the IEEE Confer-2013 年東北大学工学部情報知能システ

ence on Computer Vision and Pattern Recognition,

ム総合学科卒業．2015 年東北大学大学院

sarial networks,

[7]

品川政太朗

pp.1316-1324, 2018.

情報科学研究科博士前期課程修了．現在，

P. Isola, J.-Y. Zhu, T. Zhou, and A.A. Efros, Image-

奈良先端科学技術大学院大学情報科学研究

to-image translation with conditional adversarial net-科博士後期課程に在籍．自然言語を用いた

works, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.5967- 5976,

対話型の画像生成システムの研究に従事．
人工知能学会会員．

2017.
[8]

[9]

H. Dong, S. Yu, C. Wu, and Y. Guo,

Semantic im-age synthesis via adversarial learning,

The IEEE2009 年慶應義塾大学環境情報学部卒業．

I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D.

2011 年京都大学大学院情報学研究科修士

Warde-Farley, S. Ozair, A. Courville, and Y. Bengio,課程修了．2014 年同研究科博士後期課程

Generative adversarial nets,
[10]

[11]

Advances in Neural修了．同年，日本学術振興会特別研究員

Information Processing Systems, pp.2672-2680, 2014.

（PD）．現在，奈良先端科学技術大学院大A. Radford, L. Metz, and S. Chintala,

Unsuper-

学情報科学研究科助教．科学技術振興機構

vised representation learning with deep convolutional

さきがけ研究員，および理化学研究所革新知能統合研究セン

generative adversarial networks,

ター（AIP）研究員（兼任）．京都大学博士（情報学）．音声言

The International

Conference on Learning Representations, 2016.

語処理および自然言語処理，特に音声対話システムに関する研S. Hochreiter and J. Schmidhuber,

究に従事．2013 年度人工知能学会研究会優秀賞，2018 年度言memory,Long short-term

Neural computation, vol.9, no.8, pp.1735-

1780, 1997.
[12]

R. Kiros, R. Salakhutdinov, and R.S. Zemel,Uni-neural language models,

NIPS 2014 Deep Learning

and Representation Learning Workshop, 2014.

[15]

SakrianiSakti （正員）1999 年インドネシア・バンドン工科大

Y. LeCun, L. Bottou, Y. Bengio, and P. Haﬀner,

学情報卒業．2002 年ドイツ・ウルム大学

Gradient-based learning applied to document recog-

修士，2008 年博士課程修了．2003〜2011

nition,

年 ATR 音声言語コミュニケーション研究

Proceedings of the IEEE, vol.86, no.11,

pp.2278–2324, 1998.
[14]

語処理学会論文賞受賞．IEEE，ACL，SIGdial，情報処理学会，言語処理学会，日本ロボット学会各会員．

fying visual-semantic embeddings with multimodal

[13]

吉野幸一郎

International Conference on Computer Vision, 2017.

所研究員，情報通信研究機構主任研究員．

A.L. Maas, A.Y. Hannun, and A.Y. Ng,

Rectifier2011〜2017 年奈良先端科学技術大学院大nonlinearities improve neural network acoustic mod-

学情報科学研究科助教を経て. 2015〜2016 年フランス INRIA

els,

滞在研究員．現在，奈良先端科学技術大学院大学情報科学研究

Proceedings of The 30th International Confer-ence on Machine Learning, vol.30, p.3, 2013.

科特任准教授および理化学研究所革新知能統合研究センター

T. Salimans, I. Goodfellow, W. Zaremba, V. Cheung,（AIP）研究員（兼任）．統計的パターン認識，音声認識，音声

A. Radford, and X. Chen,

翻訳，認知コミュニケーション，グラフィカルモデルの研究に

training gans,

Improved techniques for

Advances in Neural Information Pro-

従事．JNS，SFN，ASJ，ISCA，IEICE，IEEE 各会員．

15

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

鈴木

優

（正員）

1999 年神戸大学工学部情報知能工学科

卒業，2001 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2004
年同研究科博士後期課程修了．博士（工学）. 2004 年立命館大学情報理工学部講師，2009 年京都大学大学院情報学研究科
特定研究員，2010 年名古屋大学大学院情報科学研究科特任助教，2014 年奈良先端科学技術大学院大学情報科学研究科特任准教授を経て，2019 年岐阜大学工学部電気電子・情報工学科特任准教授．データ工学，情報検索に関する研究に従事．IEEE
Computer，ACM，情報処理学会，電子情報通信学会，日本

データベース学会各会員．

中村

哲

（正員）

1981 年京都工芸繊維大学工芸学部電子工学科卒業．京都大学博士（工学）．シャープ株式会社．奈良先端科学技術大学院大学
助教授，2000 年 ATR 音声言語コミュニ
ケーション研究所室長，所長，2006 年情報通信研究機構研究センター長，けいはんな
研究所長などを経て，現在，奈良先端科学技術大学院大学教授．
データ駆動型サイエンス創造センター長，理化学研究所革新知能統合研究センター（AIP）観光情報解析チーム PI（兼任）．
ATR フェロー．カールスルーエ大学客員教授．音声翻訳，音

声対話，音声言語処理の研究に従事．情報処理学会喜安記念業
績賞，総務大臣表彰，文部科学大臣表彰，Antonio Zampoli 賞
受賞．IEEE SLTC 委員，ISCA 理事，IEEE フェロー．

16

Abstract Image generation system from natural language aims at computer-aided design. We propose
an interactive image manipulation system with natural language instruction, which generates a target image
by editing the previous source image. The proposed model consists of two encoders, Convolutional neuralnetworks (CNNs) for the source image and Long short-term memory neural networks (LSTM) for the instruction, and an image decoder trained by adversarial learning. The experimental results of handwritten
digits manipulation task, we provide an analysis of the model. The second experimental results of avatar
image manipulation task indicate our model can edit the images according to the instructions.
Key words image editing, natural language instruction, interactive system, adversarial learning