本研究では，実世界における日本語対話の曖昧性解消を目的として，マルチモーダル参照解析の性能向上に寄与する要素を検討し，またモデルに組み込む．具体的には，メンション間およびメンション・物体間の参照関係を統合的に解析するフレームワークを提案する．実験では，共参照解析や照応解析といったメンション間の学習がメンション・物体間の解析に与える利得を明らかにした．

対話を介して実世界でユーザと協働が可能な対話システムに向けて，対話テキストに含まれる参照表現(メンション)とメンションが参照する物体を特定する試みがなされている[1,2,3,4]．マルチモーダル参照解析は，メンション同士の参照関係に加えメンションから物体への参照関係1を特定するタスクである[1]．例えば，図1の状況においてシステムは，自身の観測から“そのコップ”や“取って”が参照する他のメンションや物体を特定する．これにより，対話に含まれる“何を誰が誰にどうする”といった事象を物体と紐付けて理解することができる．マルチモーダル参照解析の中でも，メンションから物体への直接参照を特定するタスクはフレーズグラウンディングとよばれ[6,7]，画像とそのキャプションを解析対象としたモデルが提案されてきた[8,9,10]．しかし，これらのモデルは間接参照を含むマルチモーダル参照解析を原理的に扱えず，日本語対話テキストのフレーズグラウンディング性能も十分でない2[11]．その原因は実世界での対話や∗現所属：日本電気株式会社1共参照関係のほか，述語からその項への格関係[5]などの間接的な関係を含む．メンションから物体への参照解析では．前者・後者の参照を直接参照・間接参照と呼ぶ．