ユーザ(話者)と対話システムの会話には，指示語や省略に起因した曖昧さが含まれる．こうした曖昧さは，話者の視線や指差しといった情報で補完することが可能である．本研究では視線情報を用いた話者の質問の曖昧性解消を，VisualQuestionAnswering(VQA)のタスクにおいて実現する．このため，視線情報と曖昧な質問が紐づいた視線情報付きVQAデータセット(GazeVQA)，および注視対象の情報を活用した質問応答モデルを提案する．GazeVQAによる実験では，提案モデルが注視対象の推定を用いない既存モデルと比較して優れた性能を達成した．

実世界の事物を考慮してユーザ(話者)と共同作業が可能な対話システムの実現に向けて，画像を交えた質問応答タスク（VQA:VisualQuestionAnswering)[1,2,3]がこれまで提案されてきた．既存のVQAにおける質問はその意図が明確であり，その回答は所与の画像と組み合わせることで一意に決定できる．しかし，実際の話者とシステムの会話には，指示語・省略に起因した曖昧性が含まれており[4,5]，これらの曖昧性をVQAでは陽に扱っていない．こうした問題は，とくに日本語では顕著である[6,7]．例えば，「それ取ってきてくれる?」という質問は「それ」という指示語が原因で複数の解釈を持つ可能性がある．こうした指示語や省略の曖昧性は実世界の情報を参照することで解消可能な場合が多い．例えば，話者の視線情報[8]や指差し[9]，あるいは共同注視[10]は，指示語・省略の参照先を明らかにする重要な手がかりである．本研究では，視線情報を用いた質問の曖昧性Q1:[彼が]着ているシャツは何色ですか?Q2:少年の髪は何色ですか?A1:水色A2:金色例．角括弧は省略された物体名．視線元に対応する視線先の点が複数個付与されている．解消を目的として，視線情報付きVQAデータセット(GazeVQA)を提案する．図1に示すように，GazeVQAは画像内の人物を話者とみなし，話者が発する指示語・省略が含まれる曖昧な質問に対し，話者の視線情報を考慮してシステムが回答する状況を想定する．Gazefollow[11]に含まれる一般物体認識用の画像データセット(COCO)[12]を対象に，注視対象に関する質問と回答をクラウドソーシングにて収集した．本研究ではさらに，画像・質問に加え視線情報を利用するモデルを提案する．テキスト・画像をクエリとした物体セグメンテーションの研究[13]に着想を得て，既存モデル[14]に線形層のアダプタ[15]を追加する．アダプタは注視対象を表す関心領域と全体画像を統合する役割を持ち，モデルは注視対象部分に焦点を置くことが可能となる．実験の結果，提案モデルはGazeVQAにおける特定の質問タイプに精度良く回答ができ，ベースラインと比較して優れた性能を達成した．