画像生成モデルにおける直喩喩体の生成挙動分析

画像生成モデルの急速な進展により，自然言語記述から高品質かつ多様な画像を生成できるようになっている．これらのモデルは字義的な表現に対して高い追従性を示す一方で，非字義的な表現，とりわけメタファーを入力とした場合に，喩体がどのように扱われるのかは，画像生成モデルの持つ言語能力を評価する上で本質的な問いである．メタファーは，人間の言語理解において重要な表現形式であり，異なる概念の対応関係に基づいて意味が構成される(例:心に重い石を抱えている)．このような表現が画像生成モデルに与えられた場合，喩体が字義的な物体として具象化されるのか，あるいは場面全体の関係性や属性として処理されるのかは，モデルの言語理解能力を考える上で重要である．先の「心に重い石を抱えている」という表現を例にとると，「重い石」は生成されず憂鬱な表現を画像として生成することが望ましい．これまで，メタファー理解に関する研究は主に言語モデルを対象として行われてきたが[1]，画像生成モデルを対象とし，メタファー表現が生成過程に与える影響を体系的に分析した研究は限られている．さらに，T5[2]とCLIP[3]のような異なるテキストエンコーダを用いた画像生成モデルにおいて[4,5]，喩体の具象化が生成過程のどの段階で生じるかについては，十分に検討されていない．本研究では，直喩形式に限定したメタファー文を対象とする．直喩は喩体が明示的に表現されるため，画像生成モデルによる喩体の処理を制御的に分析しやすい利点がある．そこで，図1に示すように，YOLO[6]による物体検出が可能な名詞を喩体とする直喩文データセットを構築し，画像生成結果に対する物体検出とDiﬀusionLens[7]による生成過程の内部挙動分析を組み合わせた枠組みを提案する．実験の結果，喩体の具象化傾向にはモデルやテキストエンコーダ間で差が見られ，最終画像に現れない場合であっても，生成過程の途中では一時的に具象化される例が多く観察された．このことから，喩体の扱いが生成過程の時間的推移の中で動的に変化することが明らかとなった．