実世界で話者同士が視覚情報を共有しながら行う対話では，物体に対する参照表現が多く出現する．このような表現の参照先の解決のため，本研究ではマルチモーダル参照解析タスクを提案し，本タスクのためのマルチモーダル対話データセットを構築する．本データセットは実世界における対話動画および音声を基にしており，対話テキスト中のフレーズと一人称視点動画におけるフレーム内の物体領域が紐付けられている．この紐付けには同一のものを指す関係だけでなく，述語と項の関係や橋渡し照応関係も含まれる．

実世界で人間と対話を通して協働するロボットの実現には，視覚的文脈を含めた人間の発話理解が不可欠である．例えば「そのコップを取って」という発話を例にとると，「コップ」のテキスト上の意味を理解するだけでは不十分であり，実世界において参照しているコップの実体を知ることが必須となる．このように，発話中の表現と参照関係を持っている実世界における物体を特定することは発話理解の基礎となる．発話中の表現と視覚情報を紐付けた対話データセットとしてSIMMC2.0[1]がある．SIMMC2.0は1,566枚のCG画像と11,244の対話テキストに対してテキスト中の名詞句と参照先の画像中の物体を囲む矩形が紐付けられたデータセットである．規模は大きいものの，SIMMC2.0は話者の写っていない静止画に基づいており，物体の移動や操作が視覚的に提示されていない．また，SIMMC2.0の参照関係はtable_0person_0glass_3bottle_1コーラはここに注いで＝スポーツドリンクはどうしましょうヲガニ後で飲むから置いといて主人ガスポーツドリンクヲロボットガスポーツドリンクヲ（橙色矩形），テキスト間照応関係（桃色吹き出し），テキスト・物体間参照関係（破線）が付与されている．物体領域にはクラス名とインスタンスIDが付与されている．テキストとして表出している名詞句にのみ付与されている．一方，日本語ではゼロ照応とよばれる参照元の表現が省略される現象が頻出する．例えば「そのコップを持ってきて」という発話では，持ってくる目的地にあたるニ格の項が省略されている．このような省略された表現をSIMMC2.0は対象としていない．本研究では，実世界での物体操作を伴う対話においてゼロ照応も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットを構築する．データセット構築のため，まずクラウドソーシングで対話シナリオを収集する．続いて，収集したシナリオに沿って実世界で対話音声と対話動画を収録.する．最後に，対話音声の書き起こしと対話動画のフレームに参照関係を付与する．具体的には図1の「スポーツドリンク」のように，対話テキスト中の名詞句に対して参照している物体を囲む矩形（物体矩形）を紐付ける．加えて本研究ではゼロ照応も扱うため，テキスト中に言及がない場合でもテキスト中の述語からそのガ格やヲ格に対応する物体を紐付ける．データセットの評価のため，既存手法[2]を用いて名詞句のグラウンディングタスクを解いた．結果，物体検出の再現率は0.18程度であり，本データセットが非常に挑戦的であることが示された．現在，収録済みデータは24対話，フルアノテーション済みデータは7対話にとどまるが，今後さらに拡張させる予定である．