第 23 回 画像の認識・理解シンポジウム

CONFIDENTIAL EXTENDED ABSTRACT.
DO NOT DISTRIBUTE ANYWHERE.

自然言語による編集要求に対して効率的に確認を行う
対話的画像編集システム
品川 政太朗1,2,a)

吉野 幸一郎1,2 Seyed Hossein Alavi3 Kallirroi Georgila3
Sakriani Sakti1,2 中村 哲1,2

概要

David Traum3

示してしまうという問題がある．
この問題を解決する最も簡単な方法は，ユーザの編集指

自然言語による編集指示文を用いた画像編集タスクで示に対して複数の編集結果の候補を提示し，ユーザに選択は，入力となる編集指示文が多様性なために編集結果の制させることであろう．例えば，特定の編集指示に特化した御が難しい．これまでマスク機構を導入することで制御性複数のモデルによる編集結果が用意できれば，その中からを向上する手法が提案されてきたが，これは画像編集モデ最もユーザの意図に合った結果を選んでもらえば良い．しルに対して強い制約として働き，一部の編集を難しくしてかし，編集指示が入るたびに毎回ユーザに確認するのはしまう．本研究では，マスクありとなしのモデルによる編ユーザの労力を増大させてしまうという問題がある．効率

集結果をユーザに提示して確認する対話的画像編集システ的なシステムには，どの画像が適切か選べる自信がない場ムを提案する．また，ユーザの労力を減らすために，マス合のみユーザに確認するという対話戦略が必要である．

クのエントロピーに基づいて，システムがマスクありのモ

本研究では特に，マスク機構を持つモデルに利用できるデルで対応できない場合のみ確認するという確認戦略を提確認手法を提案する．マスク機構は，一般的な画像変換タ案する．

スクで広く使われており，編集箇所をマスクが明示するこ

1. はじめにとで生成画像の品質を向上させるのに有用であることが知られている [3], [4]. 自然言語による画像編集タスクは，自画像編集システムは，ユーザとのインタラクションを介然言語に条件づけられた画像変換タスクであり，マスク機して所望の画像の作成を支援することを目的とする．この構が重要な役割を果たしている．マスク機構は，多様な表ような，ユーザとインタラクションするシステムに自然言現がなされる自然言語の編集指示文が，画像のどの部分の語インタフェースを導入することは，ユーザがシステム利編集に対応しているかを明確にし，編集指示文に沿わない用のための特別なスキルの習得をしなくて済むという利点編集の発生を抑制することができる [6]．しかし，このマがある．自然言語という人間に扱いやすい手段を用いるこスク機構はモデルへの強い制約として働くため，アバターとで，ユーザは他人に対して頼みごとをするかのように，の顔画像編集において目や鼻などの小さな領域の編集精度システムに要求を入力することができる．近年では，人手を向上させた一方で，髪の毛を長くするなど，大きな領域では労力がかかる画像の意味的な編集を自然言語で手軽にの編集が難しくなってしまうという問題がある．したがっ実現するという趣旨の研究も盛んに行われてきている [1],て，編集指示文によっては，マスクなしのモデルの編集結[6]．

果がマスクありのモデルの編集結果よりユーザの意図にこのような自然言語による意味的な画像編集タスクの難沿った画像である可能性があり，システムはどちらのモデしい点は，ユーザからの要求に多様な表現が許されるといルによる編集結果がユーザにとってより望ましいかを適切う点である．システムは，内部の画像編集モデルによってに選択する必要が出てくる．

ユーザの意図に沿った画像編集を行うが，編集指示文がモ

マスクはどの領域を編集すべきかモデルが出力する尤度デルにとって苦手なものであったり，モデルが想定していだと解釈できる．そこで，我々はマスクのエントロピーにないような指示文には，意図しない編集結果をユーザに提基づき，ユーザの編集指示に対して，エントロピーが小さ

123a)

奈良先端科学技術大学院大学
理研 AIP
Institute for Creative Technologies, University of Southern
California
shinagawa.seitaro.si8@is.naist.jp

い編集—すなわち，マスクありモデルで対応できる可能性が高い編集—については，確認せず編集結果をユーザに提示し，エントロピーが大きい編集—すなわち，マスクありモデルで対応できる可能性が低い編集—については，マス1

第 23 回 画像の認識・理解シンポジウム

クあり・なし両方のモデルの編集結果をユーザに提示してにマスク生成器 Gm とマスクされた元画像のエンコーダ確認する対話戦略をとる枠組みを提案する．これにより，Eimm が追加され，元画像と編集指示文を基に生成したマシステムがユーザに効率的な画像編集プロセス（対話的画スクを元画像に重畳して特徴量抽出を行い、この出力を新像編集）を提供できることを示す．

たな G の生成条件として追加する．マスク機構は，編集すべき領域と元画像を保持すべき領域を明示的に分ける制約

2. 対話的画像編集タスクとして働き，画像編集の性能向上に貢献する．しかし，こ対話的画像編集タスクの概要を図 1 に示す．このタスクのような強い制約は「髪を長くして」といった，大きな変は，人間のユーザとシステムから構成されている．システ化を要求する編集操作に対して悪影響を与えてしまう問題

ムの目的は，対話を通じて，ユーザの目標画像 X g を生成がある．マスクあり・なしのモデルはそれぞれ得意とするgすることである．タスクを通して X はシステムからは不編集が異なることから，現実的には，ユーザの要求に合わ可視であり，ユーザは自然言語で現在の画像を目標に近づせて適切に選択を行うという動機が生じる．本研究では，けるよう編集指示文を入力し，システムは元画像と編集指この選択をマスクのエントロピーに基づいて行う．

示文に基づいて新しい画像を生成する． 具体的には，以下のステップに基づいて対話が進行する．

Step 1 ユーザに元画像 X0s と目標画像 X g が与えられる．
元画像はシステムと共有される．

Step 2 i ターン目において，ユーザは編集指示文 Ii を入力する．
sに基づいStep 3 システムは，編集指示文 Ii と元画像 Xi−1て，新しい画像 Xi を生成する．

4. システムの確認戦略
システムが編集結果として複数の候補画像を持つとき，システムにとって最も安全な戦略は，毎回ユーザにどの画像が一番目的に適うか確認することである．しかし，この戦略はユーザに選択させる追加の行動を要求してしまうため，ユーザに負担のかかる戦略である．効率的な対話を行うには，システムが候補画像に対して，どの画像がユーザ

Step 4 システムは，Xi を新しい元画像 Xis として再設定の意図に沿うか判断できない場合のみユーザに確認すればし，ユーザは対話を継続するかどうかを選択する．継良い．本研究では，マスクありのモデルによる画像編集時続する場合は，新しい編集指示文を入力し，次のターに生成されるマスクのエントロピーに基づいて確認を行う．

ンに進む（i += 1 とし，Step 2 に進む）
．対話を終了する場合，対話は終了し，元画像 Xis を目標画像 X gと比較し評価する．
確認戦略を持つシステムは，Step 3 で { 確認，確認なし }entropy = −1
ΣW ΣH {mij log(mij )WH i j+(1 − mij ) log(1 − mij )} ≤ − log 0.5. (1)の二つの行動の内一つを選択する．システムが確認を選択

マスクの横，縦のサイズをそれぞれ W ，H とする．ここ

した場合は，Step 4 の前に，以下の確認手順のサブステッで，mij はマスクにおける (i, j) 位置の画素値である．

プを挿入する．

実 験 で は 確 認 の 閾 値 を −α log 0.5 (0 ≤ α ≤ 1) と し ，Step 3-c1 システムは，ユーザに画像候補を提示し，どのentropy ≥ −α log 0.5 のとき，システムは確認を選択する．

画像がユーザの意図に沿うかを確認する．

Step 3-c2 ユーザは，目標画像を達成するために適切な画像を選択する．システムは，選択された画像をシステ
ムの編集結果 Xi とする.

3. 条件付き DCGAN による画像編集モデル

5. 実験設定
本研究の対話的画像編集タスクにおけるモデルの学習およびシステムの評価には，Avatar Image Manipulation

with an Instruction (AIMI) dataset [6] を用いた．AIMI
データセットは，アバター作成サイトから収集したアバDeep Convolutional Generative Adversarial Network

ターの顔画像とクラウドソーシングで集めた人手による編(DCGAN) [5] は，画像生成に広く用いられているモデ集指示文のデータセットである．各サンプルは (元画像，ルであり，Generator (G) と Discriminator (D) を交互に目標画像，編集指示文) の組で構成される．編集指示文は学習する敵対的学習 [2] によってモデルを訓練することが22 種類あり，髭や眉毛，髪の毛の変化などがある．編集指できる．これを自然言語による画像編集タスクに合わせて示文の語彙サイズは，単語分割する場合で 1,892 となる．

拡張した手法 [6] では，G の入力として元画像と編集指示

訓練：開発：テストセットは先行研究 [6] と同様に，それ文による条件付けを行うことで，目標の画像を生成するこ

ぞれ 4,296：230：230 サンプルで分割して用いた．また，とができる．このとき，元画像は CNN によるエンコーダ

画像生成器を学習するにはサンプルサイズが十分でないた

Eim ，編集指示文は LSTM によるエンコーダ Ei により特め，組となってない単一の画像 161,065 サンプルを教師な徴抽出され，全結合層 F C によって統合された出力が G

し学習用のデータとして学習に利用した．の条件付けとなる．また，マスクありのモデルでは，新たマスクあり・なしのモデルの学習時には，画像生成を学2

第 23 回 画像の認識・理解シンポジウム

Step 1):
元画像と目標画像の提示
元画像 𝑋0𝑠𝑠
元画像 𝑋𝑖−1

目標画像 𝑋𝑔

編集指示文 𝐼
「頭を禿げさせて」

対話開始(𝑖 = 1)
𝑖 ターン目
Step 2): 編集指示文の入力
頭を禿げさせて

Step 3):
システムの
行動選択

𝐸𝑖𝑚

𝐸𝑖

𝐺𝑚

𝐹𝐶

システム

𝐸𝑖

確認なし

𝐸𝑖𝑚𝑚𝑧

𝐺

マスクあり

Step 3-c1): 確認画像の提示

𝐹𝐶𝑧

マスク画像

確認

𝐸𝑖𝑚𝑠
元画像 𝑋𝑖−1

𝐺
マスクなし

どちらが目標を達成するのに適切ですか？

エントロピー
𝑒𝑛𝑡𝑟𝑜𝑝𝑦
計算
if 𝑒𝑛𝑡𝑟𝑜𝑝𝑦 ≥ 閾値: 確認

Step 3-c2): 画像選択

どちらが目標を達成するのに適切ですか？

右Step 4): 選択された画像を元画像として再設定

Step 4): 編集画像を元画像として再設定

わかりました，他の指示はありますか？

わかりました，他の指示はありますか？

元画像
𝑋𝑖𝑠

元画像
𝑋𝑖𝑠𝑖 += 1

対話継続

終了

Step3c-1

if 𝑒𝑛𝑡𝑟𝑜𝑝𝑦 < 閾値: 確認なし
わかりました，他の指示はありますか？

Step
4

確認戦略

システム内部

𝑋𝑖𝑠 と𝑋𝑔 を比較して評価
図 1

対話システムの全体像習させるフェイズと画像編集を学習させる二つのフェイズ値を 0，同じ場合 1 とした．マスクの損失関数には，生成を 2,200 サンプルごとに交互に行った．ここで前者のフェされたマスクと教師のマスクとの間の mean squared error

イズでは，同一の教師なし学習用の画像サンプルを元画像(MSE) 関数を用いた．と目標画像両方に用いて，編集指示文の特徴ベクトルはゼ

モ デ ル の 学 習 に は 最 適 化 手 法 に Adam (α = 2.0 ×ロベクトルで固定した．目標画像は元画像と同一であるこ

10−4 , β = 0.5) を用いた．画像は 64 × 64 に大きさを変とから，Ei ， F C ，G のみ学習した．後者のフェイズでは，更し，ミニバッチサイズは 64 とし，5000 phase 学習さ(元画像，目標画像，編集指示文) の組のサンプルによってせた．

全てのモジュールの学習を行った．このとき，マスクありモデルではマスク生成器 Gm の学習を促進するため，マス6. 実験結果

クの教師データを元画像と目標画像の差分から作成した．

効果的な対話戦略は，対話によって目標画像に近い画像を具体的には，同じ位置のピクセル値が異なる場合マスクの生成することだけでなく，ユーザの労力が小さい効率的な戦3

第 23 回 画像の認識・理解シンポジウム略であることが求められる．これら２つの点を同時に評価す習し，より適応的な対話戦略を学習することが考えられる．

るため，対話戦略の評価指標として ∆SSIM/#user turn を
Step 1):
元画像と目標画像の提示用いた．ここで，∆SSIM は目標画像と元画像の間の SSIM

元画像について，対話終了時の SSIM から対話開始時の SSIM を目標画像引いたものであり，#user turn は対話終了までのユーザのSSIM: 0.48

労力（編集指示文の入力回数と画像選択を行った回数の和）を表す．対話戦略を比較するため，Mann–Whitney U test

ユーザを行い，α = 1.0 またはランダムと，α = 0.0, 0.25, 0.50, 0.75

ターン i=1
Step 2): 編集指示文の入力を比較した結果，p < 0.001 の有意差が α = 0.0 と α = 1.0，ウェーブがかった髪にしてα = 0.25 と α = 1.0, α = 0.50 と α = 1.0，そして α = 0.0(#user turn: 1)と random の間に認められた．この結果から，α = 0.0，

α = 0.25 がより短い対話でより良い SSIM を達成しているシステム

Step 3):「確認」を選択 (entropy=0.48)
Step 3-c1):
どちらが目標を達成するのに適切ですか？

ことが分かった．

Step 3-c2): 画像選択

しかし，α = 0.0，α = 0.25 はほぼ全ての場合に確認左を行う戦略となっていた．ここで，α = 0.0，α = 0.25 と(#user turn: 2)

Step 4): 元画像の再設定

α = 0.50 の間の ∆SSIM/#user turn の有意差を調べた
ところ，有意差は確認できなかったが，#user turn のみを比較した場合，p < 0.001 で α = 0.50 が α = 0.0 よりもターン i=2
Step 2): 編集指示文の入力有意に短いことが分かった．このことから，SSIM では多ポニーテールにして少劣るものの，効率的な対話としては α = 0.50 が有用で(#user turn: 3)あることが示唆された．

わかりました，SSIM: 0.56 他の指示はありますか？
Step 3):「確認」を選択 (entropy=0.48)
Step 3-c1):
どちらが目標を達成するのに適切ですか？

効率的な対話の成功例を次に示す（図 2）．最初ユーザは

Step 3-c2): 画像選択

元画像の髪の毛をウェーブがかった髪に変更するように要左求した．これは大きな変化を伴う編集であることから，マ(#user turn: 4)

スクありのモデルが苦手とする操作である．システムは，エントロピーに基づき，マスクありモデルによる編集結果わかりました，
SSIM: 0.70 他の指示はありますか？

ターン i =3

ではユーザの意図に沿わない可能性が高いと判断し，確認

Step 4): 元画像の再設定

Step 2): 編集指示文の入力を選択することができた．ターン i = 2 では，システムが目の色を青にして目標画像に近いポニーテール画像をマスクなしモデルから(#user turn: 5)Step 3):「確認なし」を選択 (entropy=0.27)
Step 4): 元画像の再設定生成することに成功し，ユーザがこれを選択したが，このマスクなしモデルの編集結果は目の色が青から緑に変化しStep 4): 対話の終了選択てしまった．そこでユーザはこれを修正するため「目の色わかりました，
SSIM: 0.78 他の指示はありますか？

対話終了を青にして」と追加の編集指示文を入力し，システムはこれをマスクありモデルで対応できると判断して確認なしを選択した．この選択によって，ユーザに確認する手間を削

図 2

α = 0.50 (閾値 = 0.35) と設定したときの対話例減することに成功していることがわかる．

7. まとめ本研究では，マスクのエントロピーに基づく確認対話戦

参考文献
[1]

略を持つ対話的画像編集システムを提案した．実験では，

DCGAN を拡張したマスクあり画像編集モデルから得られるマスクのエントロピーを用いた．システムはユーザの編集指示に対して，マスクありモデルで対応できる可能性が高いと判断したときにはマスクありモデルで編集した画像をそのまま提示し，可能性が低いときのみマスクあり・な

[2]
[3]
[4]
[5]

しのモデルによる編集画像を両方提示してユーザに確認することで，冗長な対話を抑制できた．今後の展望としては，ユーザとの対話データを収集して確認タイミングを強化学[6]

Dong, H. et al, Semantic Image Synthesis via Adversarial
Learning, Proc. ICCV, 2017.
Goodfellow, I. et al, Proc. NIPS, pp. 2672–2680, 2014.
Mejjati, Y. et al, Unsupervised attention-guided image-toimage translation, Proc. NeurIPS, pp. 3693–3703, 2018.
Mo, S. et al,Instagan: Instance-aware image-to-imagetranslation, Proc. ICLR, 2019.
Radford, A. et al, Unsupervisedrepresentation learningwith deep convolutional genera-tive adversarial networks,
Proc. ICLR, 2016.
Shinagawa, S. et al, Image manipulation system withnaturallanguage instruction, IEICE Trans., Vol.J102-D,
No.8, pp.514–529, 2019.

4