実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築

実世界で人間と対話を通して協働するロボットの実現には，視覚的文脈を含めた人間の発話理解が不可欠である．例えば「そのコップを取って」という発話を例にとると，「コップ」のテキスト上の意味を理解するだけでは不十分であり，実世界において参照しているコップの実体を知ることが必須となる．このように，発話中の表現と参照関係を持っている実世界における物体を特定することは発話理解の基礎となる．発話中の表現と視覚情報を紐付けた対話データセットとしてSIMMC2.0[1]がある．SIMMC2.0は1,566枚のCG画像と11,244の対話テキストに対してテキスト中の名詞句と参照先の画像中の物体を囲む矩形が紐付けられたデータセットである．規模は大きいものの，SIMMC2.0は話者の写っていない静止画に基づいており，物体の移動や操作が視覚的に提示されていない．また，SIMMC2.0の参照関係はtable_0person_0glass_3bottle_1コーラはここに注いで＝スポーツドリンクはどうしましょうヲガニ後で飲むから置いといて主人ガスポーツドリンクヲロボットガスポーツドリンクヲ（橙色矩形），テキスト間照応関係（桃色吹き出し），テキスト・物体間参照関係（破線）が付与されている．物体領域にはクラス名とインスタンスIDが付与されている．テキストとして表出している名詞句にのみ付与されている．一方，日本語ではゼロ照応とよばれる参照元の表現が省略される現象が頻出する．例えば「そのコップを持ってきて」という発話では，持ってくる目的地にあたるニ格の項が省略されている．このような省略された表現をSIMMC2.0は対象としていない．本研究では，実世界での物体操作を伴う対話においてゼロ照応も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットを構築する．データセット構築のため，まずクラウドソーシングで対話シナリオを収集する．続いて，収集したシナリオに沿って実世界で対話音声と対話動画を収録.する．最後に，対話音声の書き起こしと対話動画のフレームに参照関係を付与する．具体的には図1の「スポーツドリンク」のように，対話テキスト中の名詞句に対して参照している物体を囲む矩形（物体矩形）を紐付ける．加えて本研究ではゼロ照応も扱うため，テキスト中に言及がない場合でもテキスト中の述語からそのガ格やヲ格に対応する物体を紐付ける．データセットの評価のため，既存手法[2]を用いて名詞句のグラウンディングタスクを解いた．結果，物体検出の再現率は0.18程度であり，本データセットが非常に挑戦的であることが示された．現在，収録済みデータは24対話，フルアノテーション済みデータは7対話にとどまるが，今後さらに拡張させる予定である．