指示文からの画像生成における配置指定能力の調査

現在，拡散モデル[1]が画像生成モデルに取り入れられたことにより，指示文(システムに入力されるプロンプト)の内容を忠実に画像へ描写できる画像生成技術が向上している．例えば，生成したい画像に対する物体の指定や全体的な画風などの指定に対する生成画像の品質は以前に比べて格段に向上した．しかし，生成内容の配置を自由に指示文から指定することは容易ではない．図1の図下の例では，猫を画像内の左下に描写することを意図した指示文を入力としたときの実際の画像生成例を示している．生成画像を眺めると意図通りに猫を配置できていないことが分かる．一方で，本研究が目指す生成画像の理想は，図1の図上のように指示文通りに配置をすることである．生成画像内容の配置を指定する研究はGenerativeAdversarialNetworks(GANs)[2]によって画像生成が可能になってから徐々に研究され始めた[3]．その後は，物体領域やセグメンテーションを用いた配置図をモデルの入力に加えることで配置を指定する研究[4,5,6,7,8]が報告されている．また，画像内のでの実際の生成例(図下)と本研究で目指す指示文のみでの配置指定の理想像(図上)．物体同士の位置および意味的な関係を表現したグラフを用いて多くの物体を含む複雑な文から忠実な画像を生成する研究[9]などが実施されている．これらの関連研究の内，モデル構造に拡散モデルを用いているのは最近の研究のみで[4]，その他は拡散モデル以外のモデル構造を用いている[3,5,6,7,8,9]．拡散モデルを用いた画像生成において指示文のみで配置指定ができるかは明確に明らかにされていない．また，画像生成モデルが有用であるには，生成内容を高度に制御できることが望ましい．その上で，配置図などを作成せずとも指示文のみで配置指定を制御できることは有用であると考える．そこで本研究では，一般に使われているStableDiﬀusion[10]を対象に，「指示文のみでの配置指定」をすることが可能かを実験により確かめ，指示文からの画像生成モデルの配置指定能力を調査する．また，現在Imagic[11]やTexutualInversion[12]，DreamBooth[13]などの小規模の微調整で生成内容を個別の目的に最適化する方法が注目されている．これらの手法[11,12,13]と微調整に使うデータサイズや工夫は異なるが，単純な微調整の有用性を調べるために画像内の物体領域の位置情報を加えた説明文を用意し，その説明文と画像のペアを用いて微調.文を作成し，その説明文を用いてStableDiﬀusionで画像生成または説明文画像ペアで微調整してから画像生成する．整した上で画像生成した場合の結果についても調査する．