社会の少子高齢化進行に伴い不足する労働人口を補うため，産業界だけでなく，介護といった家庭における支援においてもロボットの活用が進められている\cite{Toyota-ARSO2013}．このような家庭における汎用生活支援ロボットは，あらかじめ決められた作業を行う産業用ロボットとは異なり，人間と対話などの言語を用いたインタラクションにより協働する能力が求められる\cite{taniguchi-2019-survey}．人間との共同作業を伴う対話においては物体への参照表現が頻出する．例えば他人に料理を手伝ってもらう場面では，「まな板の上の人参を切っておいて」や「お皿を運んで」など，材料や食器が頻繁に参照される．ロボットがこのような参照表現を理解し適切な行動を選択するためには，材料や食器のテキスト上の意味を理解するだけでは不十分であり，実世界において参照している「人参」や「お皿」の実体を知る必要がある．テキスト中のメンション（mention,参照表現）が参照している実体を視覚情報，特に画像中の物体矩形の形で特定するタスクはフレーズグラウンディング\cite{kamath2021mdetr,gupta2020contrastive}として知られる．対話テキストにおけるフレーズグラウンディングを扱ったデータセットとしては，SIMMC2.1\cite{kottur-etal-2021-simmc,kottur-moon-2023-overview}が挙げられる．SIMMC2.1は，ユーザとアシスタントを想定した2者の対話形式のテキストと，対話場面に対応するCG画像からなるデータセットである．テキスト中のメンションには，対応する画像中の物体矩形が付与されている．SIMMC2.1はCG画像を利用することで大規模なデータ作成を可能とした．しかし一方で，実世界での活動における物体の移動や操作およびそれに伴う視覚的変化が表現されておらず，実世界への適用には限界がある．例えば，コップに入っている液体が水かスポーツドリンクかを判断するためには1枚の画像だけでは不十分であり，その液体がどのように注がれたかといった物体操作を含む視覚的文脈が必要である．加えて，SIMMC2.1には直接的な参照関係しか含まれていない．直接的な参照関係とは，テキスト中に出現するメンションとそれが直接指し示す物体の関係である．例えば，「テーブル」というメンションとそれが指す物体としてのテーブルの関係である．一方で，テキストの中には「テーブル」という表現が現れず，代わりに「置いといて」といったメンションが間接的にテーブルを参照する場合がある．本研究ではこれをテキスト間におけるゼロ照応\cite{sasano-etal-2008-fully}になぞらえてゼロ参照とよぶ．特に日本語では，主語や目的語が省略されることが多いため，テキストと物体間にこのようなゼロ参照の関係が頻出する．実世界参照解析のデータセットでは，こうしたゼロ参照が起こるケースの考慮も欠かせない．こうした課題を踏まえ，本研究では実世界での物体操作を伴う対話においてゼロ参照も総合的に扱うマルチモーダル参照解析を提案し，そのためのデータセットJ-CRe3\footnote{JapaneseConversationDatasetforReal-worldReferenceResolution}を構築する．本データセットは，2者の実世界における対話シーンにおいて1人称視点動画と対話音声を収録し，音声の書き起こしテキストと動画フレームに対して種々の参照関係を付与したものである．家庭における支援ロボットへの応用を考え，対話参与者として主人とそのお手伝いロボット役2者の対話が収録されている．1人称視点動画はロボット役の話者のものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{31-3ia10f1.pdf}\end{center}\hangcaption{\oursの例．\oursには動画フレームと発話書き起こしテキストに対して，物体矩形，テキスト間照応関係，テキスト・物体間参照関係が付与されている．物体矩形には物体のクラス名とインスタンスIDが付随する．テキスト・物体間参照関係は，メンションが物体を直接指し示す直接的参照関係（図中「=」と表記）と，メンションと物体が述語とその項といった関係で間接的に結びつく間接的参照関係（図中「ガ」「ヲ」「ニ」と表記）に分類される．例えば，「スポーツドリンク」は物体矩形「bottle\_1」と直接的参照関係を持ち，「置いといて」は物体矩形「table\_2」とニ格の間接的参照関係を持つ．}\label{fig:dataset-overview}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%構築したデータセットの具体例を図~\ref{fig:dataset-overview}に示す．1人称視点動画から抽出した画像系列には発話中に参照された物体の物体矩形が付与されている（図~\ref{fig:dataset-overview}左）．物体矩形には物体のクラス名とインスタンスIDが付与されている．対話に含まれるそれぞれの発話はテキストとして書き起こされ，メンション間の種々の意味的関係（\ref{sec:textual-reference-resolution}節，\ref{sec:textual-reference-annotation}節参照）が付与されている（図~\ref{fig:dataset-overview}右）．最後に，発話書き起こしテキスト中の各メンションと動画フレーム中の物体矩形の間に，直接的（図中「=」の関係）および間接的（図中「ガ」「ヲ」「ニ」の関係）参照関係が付与されている．タスクの提案とデータセットの構築に合わせて，提案タスクがこれまでに行われてきたアプローチを統合することでどの程度解ける問題であるかを評価するための実験的なモデルを構築した．既存のモデルやデータセットを効果的に活用するため，提案タスクをテキスト間照応解析，物体検出，テキスト・物体間参照解析の3つのサブタスクに分割した．実験結果から，テキスト間照応解析は既存のモノローグデータセットと同程度の精度（F値約0.7）を達成できることが示された．一方で，物体検出およびテキスト・物体間参照解析は非常に困難であり（Recall@1約0.5），大きな改善の余地があることが示された．本研究で構築したデータセットは\url{https://github.com/riken-grp/J-CRe3}に公開した．実験に使用したソースコードやモデルの重みは\url{https://github.com/riken-grp/multimodal-reference}に公開した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{10table01.tex}%\hangcaption{メンションと物体間の関係が付与されたデータセットの比較．いずれのデータセットにおいても，物体は画像あるいは一人称動画中の物体矩形として与えられる．}\label{tab:dataset-comparison}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%