実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築

実世界で話者同士が視覚情報を共有しながら行う対話では，物体に対する参照表現が多く出現する．このような表現の参照先の解決のため，本研究ではマルチモーダル参照解析タスクを提案し，本タスクのためのマルチモーダル対話データセットを構築する．本データセットは実世界における対話動画および音声を基にしており，対話テキスト中のフレーズと一人称視点動画におけるフレーム内の物体領域が紐付けられている．この紐付けには同一のものを指す関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる．