Hol-CCG構文解析と拡散モデルの統合による構文構造を陽に考慮した画像生成

テキストの内容に沿った画像を生成するテキスト画像生成において，画像生成モデルはテキストに含まれる意味的情報だけでなく，構文的情報も合わせて理解することが求められる．例えば，入力されるテキストに構文的曖昧性が存在する場合，複数存在する構文的解釈の中から，特定の解釈に対応する画像を選択的に生成することが必要となる．このように，テキストが有する構文的情報に基づいた画像生成が可能なモデルの実現は，工学的に有用であると同時に，自然言語の構文構造と実世界情報の関係性を計算論的に捉えるという観点からも重要である．本研究では，構文解析モデルと拡散モデルに基づくテキスト画像生成モデルを統合することで，構文的曖昧性を有するテキストに対して特定の構文的解釈に対応する画像を選択的に生成可能なモデルを提案する．近年，拡散モデルに基づくテキスト画像生成モデルが高度な画像生成を実現している[3,2]．ただし，構文的曖昧性を有するテキストに関しては，各構文名詞句修飾動詞句修飾“Amanenterstheroomwithflowers.”生成の例．的解釈に応じて生成すべき画像が大きく異なる．例えば，図1に示すように，“Amanenterstheroomwithﬂowers.”という文は，前置詞句“withﬂowers”が動詞句と名詞句のいずれを修飾するのかによって，「花を持った男性が部屋に入る」または「花が存在する部屋に男性が入る」という二つの構文的解釈が可能である．そして，これらの解釈を画像にする場合，画像中の物体同士(Aman,theroom,ﬂowers)は異なる関係性を有するべきである．本研究では，テキストが有する構文構造を構文解析手法によって分散表現に変換し，それらを画像生成モデルが使用する言語特徴量とすることで，特定の構文的解釈に対応する画像を選択的に生成するためのモデルを提案する．具体的には，埋め込み空間上で組み合わせ範疇文法(CombinatoryCategorialGrammar;CCG)[4]に基づく構文解析を行うモデルであるHolographicCCG(Hol-CCG)[1]とStableDiﬀusion[2]を統合することによって，テキストが有する構文構造を分散表現に変換し，それらの情報を元に特定の構文的解釈に対応する画像を選択的に生成する．実験では，Hol-CCGが計算するテキストの構文構造に関する情報を含んだ分散表現を，画像生成に使用するモデルと使用しないモデルの比較により，本提案モデルの有効性を示す．.