実世界対話における参照関係の統合的解析

対話を介して実世界でユーザと協働が可能な対話システムに向けて，対話テキストに含まれる参照表現(メンション)とメンションが参照する物体を特定する試みがなされている[1,2,3,4]．マルチモーダル参照解析は，メンション同士の参照関係に加えメンションから物体への参照関係1を特定するタスクである[1]．例えば，図1の状況においてシステムは，自身の観測から“そのコップ”や“取って”が参照する他のメンションや物体を特定する．これにより，対話に含まれる“何を誰が誰にどうする”といった事象を物体と紐付けて理解することができる．マルチモーダル参照解析の中でも，メンションから物体への直接参照を特定するタスクはフレーズグラウンディングとよばれ[6,7]，画像とそのキャプションを解析対象としたモデルが提案されてきた[8,9,10]．しかし，これらのモデルは間接参照を含むマルチモーダル参照解析を原理的に扱えず，日本語対話テキストのフレーズグラウンディング性能も十分でない2[11]．その原因は実世界での対話や∗現所属：日本電気株式会社1共参照関係のほか，述語からその項への格関係[5]などの間接的な関係を含む．メンションから物体への参照解析では．前者・後者の参照を直接参照・間接参照と呼ぶ．