実世界の事物を考慮してユーザ（話者）と共同作業が可能な対話ロボット・システムの実現は，Vision-and-Language研究が目標とする到達点の1つである．こうした共同作業においては，システムは自身が見ている視覚情報と話者が発する言語情報を統合・理解して，適切な応答を返す能力を備える必要がある．この実現に向けて，画像を交えた質問応答(VQA:VisualQuestionAnswering)\cite{C18-1163,original_VQA,balanced_vqa_v2}や，画像と対話履歴を考慮した質問応答(VisualDialogue)\cite{visdial,agarwal-etal-2020-history}といったタスクがこれまで提案されてきた．これまでのVQAは，基本的に質問の意図は明確であり，システムがどう応答すればよいかも一意に定まるという状況を想定していた．しかし，実際の話者とシステムの会話においては，指示語の発生に起因した曖昧性が含まれており\cite{4399120,survey_language_and_robotics}，これらの曖昧性をVQAでは陽に扱っていない．例えば，「それ取ってきてもらえる？」という質問は，「それ」という指示語が原因で複数の解釈を持つ可能性がある．さらに，日本語のような言語における会話では，指示語に加え，主語・目的語といった話題となる項の省略も発生する\cite{seki-etal-2002-probabilistic,sasano-etal-2008-fully}．こうした指示語や省略に起因する曖昧性は，その質問が行われた対話の場における実世界の情報を正しく参照し，利用することで解消可能な場合が多い．例えば，話者の視線情報\cite{EMERY2000581}や指差し\cite{nakamura2023ICCV}，あるいは共同注視\cite{rocca2018CogSci}は，指示語や省略の参照先を明らかにするための重要な手がかりである．本研究では，こうしたユーザ（話者）とシステムの会話に生じる曖昧性を，視線や指差しを介したインタラクションにもとづいて解消する課題を考える．本課題をVQAとして定式化し，視線や指差しを適切に利用できるシステムを研究開発することを目的とする．この目的の達成に向けて，本研究では，日本語で記述された質問を対象とした視線情報付きVQAデータセット(LookVQA)，および話者の視線情報を考慮する質問応答モデルを提案する．LookVQAのタスクは話者の注視対象に関するVQAタスクであり，モデルは視線情報を入力とした注視対象推定タスクを前提とする．ただし，これらのタスクは分離しているため，視線情報より明示的なインタラクションである指差し情報を入力とする場合においても，本データセットが転用できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{LookVQA:視線情報付きVQAデータセット}図~\ref{fig:1_1}に示すように，LookVQAは画像内の人物を話者とみなし，話者が発する指示語・省略が含まれる曖昧な質問に対し，話者の視線情報を考慮してシステムが回答する状況を想定する．視線元と注視先のアノテーションが施されたGazeFollow\cite{nips15_recasens}に含まれる一般物体認識用の画像データサブセット(COCO)\cite{10.1007/978-3-319-10602-1_48}を対象に，注視対象に関する質問と回答をクラウドソーシングにて収集した．実際に視線情報がないと回答が困難な質問を収集するため，ワーカは質問作成時に注視対象について言及していない．10,760件の画像に対し，17,276件の質問・回答ペアを収集し，このうち1,680件の質問・回答ペアをテストセットとした．テストセットの各質問には，曖昧な質問に対応して，回答が一意に決定できるよう書き換えが行われた明確な質問，および10件の人手回答が用意されている．このため，本データセットは日本語のVQAとしても利用可能であり，回答の多様性・同義性を考慮したモデルの評価を実施することができる．構築したデータセットは商用利用な形式で公開している\footnote{\url{https://github.com/riken-grp/LookVQA}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{32-1ia1f1.eps}\end{center}\hangcaption{本研究で提案する視線情報付きVQAデータセットの質問と回答の例．角括弧は省略された物体名．視線元の点に対応する注視先の点が複数個付与されている．}\label{fig:1_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{視線情報を考慮する質問応答モデル}LookVQAの質問に正確な回答を与えるため，画像・質問に加え視線情報を利用する質問応答モデルを提案する．これまでのVision-and-Languageの研究では，画像・質問を入力とし，回答を生成するモデルが提案されてきた\cite{mokady2021clipcap,pmlr-v139-cho21a}．本研究では，テキスト・画像をクエリとした物体セグメンテーションの研究\cite{lueddecke22_cvpr}に着想を得て，VQAを扱えるベースライン\cite{mokady2021clipcap}に線形層のアダプタ\cite{Dumoulin2018_FiLM}を追加する．アダプタは注視対象を表す注視領域と全体画像を統合する役割を持ち，アダプタの追加によりモデルは注視対象部分に焦点を置くことが可能となる．画像から得られる情報を限定して，曖昧な質問に対し適切な回答を得ることを期待する．実験では，ベースラインと提案モデルを日本語キャプション\cite{yoshikawa-etal-2017-stair}および日本語VQA\cite{C18-1163}で学習し，LookVQAで評価を行った．注視領域の推定には既存の注視対象推定モデル\cite{Chong_2020_CVPR}を用いた．実験条件として，視線情報をアダプタで用いる場合（正例，推定値）と用いない場合を比較した．視線情報を用いた提案モデルは，注視対象の属性を問う質問タイプに精度良く回答ができ，ベースラインと比較してテストセット全体の性能が向上した．一方で，画像全体の理解を要する質問タイプに対しては，ベースラインが正確な回答を与える傾向にあった．また，物体の位置関係を問う質問や物体の個数を問う質問といった質問タイプは，いずれのモデルも正確に回答を与えることが困難であることが判明し，LookVQAのタスクを扱うモデルにおける改善の方向が明らかとなった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%