人工画像を用いたText-to-Imageモデルの事前学習

近年，大規模Text-to-Image(T2I)モデルの発展が目覚ましい．例えば，StableDiﬀusion[1]は任意の入力テキストの内容に応じた画像を生成できるモデルとして脚光を浴びた．これらのT2Iモデルは，LAION-5B[2]など数十億規模の画像及びキャプションがペアリングされたデータセットで事前学習を行い，その後特定のドメインのデータセットを用いてファインチューニングすることで構築される．大量の画像を用いた事前学習が，T2Iモデルの高い汎化性能をもたらした．しかし，LAION-5Bのような大規模データセットは倫理面の問題が指摘されている．これらは主にwebクロールで機械的に画像-キャプションペアを収集して構築される．従って，プライバシー侵害や著作権違反，公序良俗に反したコンテンツが含まれることが多い[3]が，その規模から人手による全数把握は極めて困難である．さらに，LAION-5Bは欧州の個人データ保護規則であるGeneralDataProtectionRegulationを侵害するとして，現在安全面での審査やデータ改善中と報告されている1）．近年，データの倫理問題解決に向けた人工画像を用いた事前学習が行われており，画像認識タスクでは実画像データセットの事前学習と比較してほぼ同等の精度が得られることが示されている[4,5,6]．この取り組みを踏まえて，本研究では，図1のように既存のT2Iモデルが事前学習に用いている実画像を人工画像に置き換えることで，T2Iモデルの構築が可能か検証する．人工画像は数式等のアルゴリズムで機械的に生成されるため，プライバシーや著作権，公序良俗に反するコンテンツを一切含まない．T2Iモデルの事前学習において，人工画像を用いる際の最大の難所は，人工画像に対応したキャプションの付与である．生成される人工画像にはキャプションが付与されておらず，事前学習に有効なキャプションも自明でない．そこで我々は，画像及びテキストの事前学習済みモデルであるCLIP[7]の潜在空間を活用して実画像に対し疑似的なキャプションを付与するLaﬁte[8]に着目した．人工画像に対して，Laﬁteと同様に疑似キャプションを付与することでT2Iモデルの事前学習を試みる．評価実験では，人工画像で事前学習したモデルを複数の実画像データセットでファインチューニングし，生成された画像の評価を行った．事前学習を行わない場合に比べて，人工画像を用いた事前学習が1）https://laion.ai/notes/laion-maintanence/.生成画像の精度と学習効率を高めることを確認すると共に，事前学習の文脈において倫理面で完全にクリアなT2Iモデルを構築しつつ実画像で事前学習した場合に迫る精度が得られることを確認した．