ホッピングマスクを利用したStableDiﬀusionModelによる連続画像生成

近年，拡散モデル（DDPM）[1]の幅広い応用やCLIP[2]などのクロスモーダルモデルの発展に伴い，StableDiﬀusionModel[3]，DALLE2[4]，Imagen[5]などの大規模画像生成モデルが話題になっている．これらのモデルにより，専門知識の有無を問わず，誰でも高品質な画像を生成することができるようになった．図1に示すように，プロンプト（生成する画像の内容を示すテキスト）さえあれば，モデルが自動的にプロンプトが表す内容を画像で出力することが可能である．このようなテキストから画像を生成する技術はtxt2img(text-to-image)と呼ばれている．2022年の８月，SDMのオープンソース化を機に，画像生成への関心はさらに高まった．画像生成を改善する方向の一つとして，制御可能性を高める方法1）コードはhttps://github.com/KYuuto1006/sdmhoppingmaskで公開されている．が挙げられる．Hertzら[6]のprompt-to-promptという手法により，プロンプトのテキスト編集だけで画像を編集することが可能になった．一方，Kawarら[7]は一枚の画像と一つのプロンプトだけで，複雑な画像編集を可能にする手法を提案した．StableDiﬀusionModel(SDM)への関心を踏まえ，本研究においてもSDMであるtxt2imgモデルを使用した．しかし，Yangら[8]によると，従来のSDMにはまだ多くの問題が残っている．まず，SDMは高品質な画像を生成することができるものの，時には学習がうまくいかず，崩れた画像を生成してしまうことがよくある[9]．また，図2に示したように，入力したプロンプトは「ジョンがバットを振っている」であるのに，出力された画像は「バットを振っている」という動きをうまく把握していない場合が存在する．これは，生成画像がプロンプトに忠実でないという問題である．そのほかにも，複数の入力（幾つかのプロンプトを同時に入力する場合）に対しては，プロンプト数を認識する機能がなく，叙事的な画像生成(narrativeimagegeneration)は不可能である．これらの問題を踏まえ，私たちはホッピングマスクを提案し，CLIPのエンコーダー側で上記の問題点を改善した．Wuら[10]とHuangら[11]は文間の情報(cross-sentenceinformation)を利用し，入力文のセマンティック情報を強化することで，言語モデルとビデオローカライゼーションの精度を向上させた．こう.した手法から着想を得て、我々の提案手法においても文間の情報を利用することで，高品質，高表現力の画像連続生成を実現した．実験では，同じプロンプト，シードで提案手法により生成した画像と従来のSDMで生成された画像を比較したところ，文節間情報の重要性が示された．本研究での貢献は以下の通りである：•分離符<𝑆𝐸𝑃>の使用により，複数のプロンプトを同時にSDMに入力しても，プロンプト数を認識することが可能になった．•ホッピングマスクを提案し，文間の情報を使用することにより，画像の表現力が向上．•提案したホッピングマスクにより，一定の一貫性がある画像を生成することができた．