構文解析と画像生成の統合による機能語の言語理解

自然言語における機能語と実世界情報の対応関係を理解可能な人工知能の実現は，人工知能の実世界応用において重要な課題である．本研究では，構文解析とテキスト画像生成モデルを統合し，機能語が持つ言語情報を画像情報として表出させることで，実世界情報と紐づいた機能語の言語理解の実現を目指す．近年の大規模言語モデルと拡散モデルに基づくテキスト画像生成モデルは高度な画像生成を実現している[2,3,4]．一方で言語理解の観点からは，“in”や“on”などの文法的機能に関しては，その意味を正しく捉えられていないことが指摘されている[1]．例えば，図1に示すように，StableDiﬀusion[4]は“ball”や“box”といった内容語に関しては，これらの物体が出現する画像を生成している一方で，“in”や“nextto”といった異なる前置詞(機能語)に関しては，どちらも“in”の意味に対応する画像を生成しており，これらの意味を捉えられていない．実世界上において，自然言語を用いた人間とのコミュニケーションが期待される人工知能は，このような機能語に関してもその意味を理解可能であることが望ましい[5]．例えば，“Placeaballnexttoabox.”のような指示をロボットに与えたときに，ゴール状態として図1の右側の画像をロボットが想起してしまうと，適切な行動を期待することはできない．そこで，本研究ではこのような機能語の言語理解を実現するための方法として，自然言語の統語的情報をテキスト画像生成モデルに取り入れる手法を提案する．具体的には，組み合わせ範疇文法(CombinatoryCategorialGrammar:CCG)[6]に基づく構文解析モデルであるHolographicCCG(Hol-CCG)[7]をテキスト画像生成モデルにおけるテキストエンコーダとして採用し，Hol-CCGが出力する統語的及び意味的情報を含んだ単語・句・文の分散表現を画像生成に活用する．これにより，機能語が示す文中の物体同士の関係性を画像情報と対応付けることが可能となり，結果的に機能語の言語理解が可能になると考える．実験より，テキストから得られる句の分散表現・統語的情報をテキスト画像生成に活用することの有効性を示唆する結果が得られた．なお，後述の実験では機能語が示す物体同士の位置関係に主眼を置いているため，生成画像の写実性は本研究の論点から外れていることに注意されたい．