\section{はじめに}
実世界の事物を考慮してユーザ（話者）と共同作業が可能な対話ロボット・システムの実現は，Vision-and-Language研究が目標とする到達点の1つである．こうした共同作業においては，システムは自身が見ている視覚情報と話者が発する言語情報を統合・理解して，適切な応答を返す能力を備える必要がある．この実現に向けて，画像を交えた質問応答(VQA:VisualQuestionAnswering)\cite{C18-1163,original_VQA,balanced_vqa_v2}や，画像と対話履歴を考慮した質問応答(VisualDialogue)\cite{visdial,agarwal-etal-2020-history}といったタスクがこれまで提案されてきた．これまでのVQAは，基本的に質問の意図は明確であり，システムがどう応答すればよいかも一意に定まるという状況を想定していた．しかし，実際の話者とシステムの会話においては，指示語の発生に起因した曖昧性が含まれており\cite{4399120,survey_language_and_robotics}，これらの曖昧性をVQAでは陽に扱っていない．例えば，「それ取ってきてもらえる？」という質問は，「それ」という指示語が原因で複数の解釈を持つ可能性がある．さらに，日本語のような言語における会話では，指示語に加え，主語・目的語といった話題となる項の省略も発生する\cite{seki-etal-2002-probabilistic,sasano-etal-2008-fully}．こうした指示語や省略に起因する曖昧性は，その質問が行われた対話の場における実世界の情報を正しく参照し，利用することで解消可能な場合が多い．例えば，話者の視線情報\cite{EMERY2000581}や指差し\cite{nakamura2023ICCV}，あるいは共同注視\cite{rocca2018CogSci}は，指示語や省略の参照先を明らかにするための重要な手がかりである．本研究では，こうしたユーザ（話者）とシステムの会話に生じる曖昧性を，視線や指差しを介したインタラクションにもとづいて解消する課題を考える．本課題をVQAとして定式化し，視線や指差しを適切に利用できるシステムを研究開発することを目的とする．この目的の達成に向けて，本研究では，日本語で記述された質問を対象とした視線情報付きVQAデータセット(LookVQA)，および話者の視線情報を考慮する質問応答モデルを提案する．LookVQAのタスクは話者の注視対象に関するVQAタスクであり，モデルは視線情報を入力とした注視対象推定タスクを前提とする．ただし，これらのタスクは分離しているため，視線情報より明示的なインタラクションである指差し情報を入力とする場合においても，本データセットが転用できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{LookVQA:視線情報付きVQAデータセット}図~\ref{fig:1_1}に示すように，LookVQAは画像内の人物を話者とみなし，話者が発する指示語・省略が含まれる曖昧な質問に対し，話者の視線情報を考慮してシステムが回答する状況を想定する．視線元と注視先のアノテーションが施されたGazeFollow\cite{nips15_recasens}に含まれる一般物体認識用の画像データサブセット(COCO)\cite{10.1007/978-3-319-10602-1_48}を対象に，注視対象に関する質問と回答をクラウドソーシングにて収集した．実際に視線情報がないと回答が困難な質問を収集するため，ワーカは質問作成時に注視対象について言及していない．10,760件の画像に対し，17,276件の質問・回答ペアを収集し，このうち1,680件の質問・回答ペアをテストセットとした．テストセットの各質問には，曖昧な質問に対応して，回答が一意に決定できるよう書き換えが行われた明確な質問，および10件の人手回答が用意されている．このため，本データセットは日本語のVQAとしても利用可能であり，回答の多様性・同義性を考慮したモデルの評価を実施することができる．構築したデータセットは商用利用な形式で公開している\footnote{\url{https://github.com/riken-grp/LookVQA}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{32-1ia1f1.eps}\end{center}\hangcaption{本研究で提案する視線情報付きVQAデータセットの質問と回答の例．角括弧は省略された物体名．視線元の点に対応する注視先の点が複数個付与されている．}\label{fig:1_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{視線情報を考慮する質問応答モデル}LookVQAの質問に正確な回答を与えるため，画像・質問に加え視線情報を利用する質問応答モデルを提案する．これまでのVision-and-Languageの研究では，画像・質問を入力とし，回答を生成するモデルが提案されてきた\cite{mokady2021clipcap,pmlr-v139-cho21a}．本研究では，テキスト・画像をクエリとした物体セグメンテーションの研究\cite{lueddecke22_cvpr}に着想を得て，VQAを扱えるベースライン\cite{mokady2021clipcap}に線形層のアダプタ\cite{Dumoulin2018_FiLM}を追加する．アダプタは注視対象を表す注視領域と全体画像を統合する役割を持ち，アダプタの追加によりモデルは注視対象部分に焦点を置くことが可能となる．画像から得られる情報を限定して，曖昧な質問に対し適切な回答を得ることを期待する．実験では，ベースラインと提案モデルを日本語キャプション\cite{yoshikawa-etal-2017-stair}および日本語VQA\cite{C18-1163}で学習し，LookVQAで評価を行った．注視領域の推定には既存の注視対象推定モデル\cite{Chong_2020_CVPR}を用いた．実験条件として，視線情報をアダプタで用いる場合（正例，推定値）と用いない場合を比較した．視線情報を用いた提案モデルは，注視対象の属性を問う質問タイプに精度良く回答ができ，ベースラインと比較してテストセット全体の性能が向上した．一方で，画像全体の理解を要する質問タイプに対しては，ベースラインが正確な回答を与える傾向にあった．また，物体の位置関係を問う質問や物体の個数を問う質問といった質問タイプは，いずれのモデルも正確に回答を与えることが困難であることが判明し，LookVQAのタスクを扱うモデルにおける改善の方向が明らかとなった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{VQA:画像に対する質問応答}VisualQuestionAnswering(VQA)は，画像に関する質問に対してシステムが回答を与えるタスクであり，画像処理と自然言語処理の融合分野であるVision-and-Languageのタスクの1つに位置する\cite{original_VQA,balanced_vqa_v2,C18-1163}．その問題設定として，あらかじめ用意された回答群から回答を選択する形式（選択型のVQA）\cite{original_VQA,balanced_vqa_v2}や自由に回答を生成する形式（自由回答型のVQA）\cite{C18-1163}がある．基本的に，VQAの質問は画像の情報から回答が一意に定まるよう設定されているが，本研究は視線情報を持たない場合に曖昧になるような質問を研究対象としている．このため，視線元となる人物を含む画像と注視対象の物体名が明記されていない質問を，自由回答型の設定で収集した．また，\citeA{original_VQA,balanced_vqa_v2}にならって，10件の回答をテストセットの各質問に付与し，回答の多義性・多様性を考慮した評価を実施できるようにする．選択型のVQAを扱う初期のモデルは，質問文に応じた画像特徴を注意機構\cite{10.5555/3295222.3295349}を用いて取得し，その特徴を利用して回答を出力することを志向していた\cite{NEURIPS2018_96ea64f3,Dumoulin2018_FiLM}．大規模なテキスト・画像データで学習された事前学習済みモデル\cite{radford2019language,2020t5,pmlr-v139-radford21a}の登場以後，これらのモデルを利用した生成型のVQAを扱うモデルが提案されてきた\cite{mokady2021clipcap,pmlr-v139-cho21a,sung2022vladapter}．近年では，大規模言語モデルを利用したモデルが台頭しており\cite{openai2023gpt4}，医用画像やビジネス文書を対象とした幅広いVQAタスクにおいて，その有効性が確認されている\cite{yue2023mmmu}．提案モデルは，先に述べた事前学習済みモデルを利用したVQAモデルをベースとしている\cite{mokady2021clipcap}．また，LookVQAの質問文に応じた，全体画像と注視対象の画像特徴を取得するべく，選択型のVQAで提案された複数の特徴の統合手法\cite{Dumoulin2018_FiLM}を提案モデルに導入している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{質問応答における曖昧性}質問応答システムのユーザの質問に生じる曖昧性に関する課題は，オープンドメイン質問応答\cite{min-etal-2020-ambigqa,xu-etal-2019-asking}や対話を伴う質問応答\cite{nakano-etal-2022-pseudo}の分野で活発に扱われている．例えば\citeA{xu-etal-2019-asking}では，回答が複数存在する質問を曖昧であるとみなし，名詞語義の曖昧性に起因した曖昧さや代名詞と省略に起因する曖昧さを，曖昧性解消の対象として扱っている．これまでに，外部文書に基づいた質問の書き換え\cite{min-etal-2020-ambigqa}や，ユーザの意図を特定する明確化質問の生成\cite{nakano-etal-2022-pseudo}といった曖昧性解消の手法が検討されてきた．VQAの質問においても曖昧性の議論は存在する．一般的なVQAデータセットに含まれる質問のうち，およそ半分は回答に複数の可能性があることが示されている\cite{10.1145/3025453.3025781}．この現象は，画像内の事象・対象物が不鮮明な場合あるいは質問が曖昧である場合に生じる\cite{bhattacharya2019does}．とくに後者は，画像中の物体に対する参照表現\footnote{複数物体から特定の物体を区別するための言語表現．}が質問に含まれていない場合\cite{Li_2017_ICCV,mani2020point}や構文・語義的な曖昧性が質問に生じている場合\cite{stengel-eskin-etal-2023-chicken}に分けられ，視覚情報および意味役割タグ付きコーパス\cite{kingsbury-palmer-2002-treebank}に基づく質問の書き換えによりその曖昧性解消が実現されてきた．本研究はVQAの質問の曖昧性のうち参照表現の不十分さに起因する状況を想定するが，質問の書き換えを通さず，画像から得られた追加の情報をもとに曖昧な質問を理解する点において，これらの先行研究とは異なる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{文脈情報付きVQAデータセット}画像と質問に加え多様な文脈情報を収録したVQAデータセットがこれまで提案されてきた．VisualDialogue\cite{visdial,agarwal-etal-2020-history}は，対話中に発生するユーザの曖昧な質問に対し，過去の対話履歴を参照して，正確な回答を導くことに焦点を当てている．\citeA{das-etal-2016-human}，\citeA{sood-etal-2021-vqa}，および\citeA{ilaslan-etal-2023-gazevqa}では，質問を解く際に生じる人間の主観的な注視情報を用いることで，VQAタスクやVideoQAタスクの精度改善を図った．\citeA{mani2020point}では，画像に与えられた点情報を用いて，代名詞を含む曖昧な質問に回答することに焦点を当てている．LookVQAは，ロボットなどの第三者がユーザの視線情報を用いることを指向して，追加の文脈情報として画像情報から得られる話者の注視情報を利用する点が大きく異なる．また，日本語特有の主語や目的語の省略を含む質問を収集した点も重要な違いである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{注視対象推定}注視対象推定は画像に映る人物の頭部画像からその人物が注視している物体を推定するタスクである．GazeFollow\cite{nips15_recasens}は，人物の視線元と注視先のアノテーションが付与された注視対象推定データセットの1つである．COCO\cite{10.1007/978-3-319-10602-1_48}を含む様々な画像データセットから収集した人物を対象にしている．その他に，小売店の環境で撮影した画像を対象に視線情報と物体情報を対応づけたデータセットも存在する\cite{tomas2021goo}．本研究では，特定の環境を仮定していないため，GazeFollowをベースとしてLookVQAを構築した．GazeFollowに含まれる視線情報は注視先が常に物体と紐付いておらず，注視対象の具体的な名称までは判別できていない．そこで，GazeFollowのCOCOサブセットの物体情報を利用し，注視先の物体に関する質問と回答を収集した．実際に注視対象推定を行う際は，GazeFollowの視線元に対応付けられた人物の頭部画像を利用した\cite{Chong_2018_ECCV}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{LookVQA:視線情報付きVQAデータセット}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{タスク設定}視線情報付きVQAデータセット(LookVQA)では質問をする話者がシステムの一人称視点画像に映っていることを仮定する．そこで，LookVQAのタスクは画像，話者の質問，および話者の視線情報を考慮して回答を生成することを目標とする．本タスクの定義を以下に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{視線情報付きVQAタスク}全体画像$\mathbf{I}$，質問$\mathbf{q}$，および注視対象を表す注視領域$\mathbf{I}_{s}$から，回答$\mathbf{y}$を出力する．以後，このタスクをLookVQAタスクと呼ぶ．$\mathbf{I}_{s}$を取得するための注視対象推定タスクの定義を以下に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{注視対象推定タスク}全体画像$\mathbf{I}$と発話者の頭部画像$\mathbf{I}_{h}$から$\mathbf{I}_{s}$を取得する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データ収集}\label{sec:collect_qa}LookVQAの構築プロセスを図~\ref{fig:3_1}に示す．LookVQAの質問はGazeFollowの注視先に位置する物体（注視対象）を対象にしている．視線情報と物体情報が対応づいた質問を収集するため，GazeFollowのCOCOサブセットに含まれる画像$\mathbf{I}$と注視対象を対象に，質問$\mathbf{q}$と10件の回答$\mathbf{y}$の組$(\mathbf{I},\mathbf{q},\mathbf{Y})$をクラウドソーシング\footnote{株式会社クラウドワークス,\url{https://crowdworks.jp/}}により収集した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f2.eps}\end{center}\caption{LookVQAの構築プロセス．}\label{fig:3_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{Step1:画像と視線情報の選定}質問と回答を収集する前に，前処理として視線情報の選別を行い，機械的に14,000件の画像・視線情報ペアを選定した．Gazefollowに含まれる視線情報の中には，視線先が画像枠外を指しているケースや視線先そのものが誤っているケースが存在する．視線情報に対する再アノテーションのコストを除去するべく，COCOの物体セグメンテーションを利用し，視線が物体を指していないケースを除いた．具体的には，GazeFollowとCOCOで共通する画像を対象に，注視先の点が物体セグメンテーションに含まれているGazeFollowの訓練・テストセットのアノテーションを抽出した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{Step2:質問と回答の収集}クラウドソーシングにより，26,296件の質問・回答を収集した．視線情報が付与された画像とCOCOの物体ラベルをもとに，注視先の物体に関する質問とその回答のペアを，同一のワーカが作成する\footnote{ワーカへの報酬は10件の質問・回答ペアあたり80円と設定した．}．ただし，画像が不鮮明である場合，注視対象が確認できない場合，あるいは物体ラベルに誤りがある場合は，ワーカに質問と回答の作成をしないよう依頼した．ワーカに対して与えた，質問と回答を作成する際の注意事項を以下に示す．\begin{itemize}\item質問の文字数は10文字以上とする．\item注視対象の物体名は質問文中に含めない．\item画像内の情報のみで回答できる質問を作成する．\end{itemize}第1・第2の項目は，それぞれ，多様な質問・回答に視線情報を要する質問をデータセットに含める目的で設定した．第3の項目は，画像の内容以外で曖昧になる質問をデータセットに含めない目的で設定した．例えば，「彼はこの後何をするでしょうか?」といった常識を要する質問で生じる曖昧さは本研究で扱わない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{Step3:質問と回答の選別}画像と対応していない質問を除くべく，17,276件の質問・回答ペアを選定した．Step2の質問を入力する作業の途中で，設問（「本項目には文字を入力しないでください」）を配置した．この設問に対して回答を与えたワーカの質問を手作業で確認した．この結果，作業を依頼した246名のワーカのうち，27名のワーカのアノテーション結果をLookVQAから除いた．これらのワーカの入力はあらゆる画像に対して同じ質問を繰り返しているといった問題があった．この結果得た曖昧な質問を$\mathbf{q}_{AQ}$，それに対する回答を$\mathbf{y}_{0}$とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{Step4:テストセットの整備}\label{sec:step4}LookVQAの訓練・開発・テストセットにおける質問・回答ペアの件数を，13,785件・1,811件・1,860件（およそ，0.8:0.1:0.1）とした．本研究では，注視対象の物体名・人物の特徴が補完された明確な質問($\mathbf{q}_{CQ}$)をアノテータの作業によりテストセットの質問全てに割り付けている．このため，本データセットは従来のVQAベンチマークとしても利用可能である．アノテータは曖昧な質問と回答および視線情報を参照し，質問に含まれる指示語や省略を注視対象の物体名や参照表現で書き換えあるいは補完することで，$\mathbf{q}_{AQ}$を$\mathbf{q}_{CQ}$へ改訂した．ユニークな質問を得るため，回答に準ずるフレーズは$\mathbf{q}_{CQ}$に含めず，かつ必要に応じて物体同士の位置関係や物体の属性情報を含めるように依頼した．さらに，先行研究\cite{original_VQA}にならって，回答の多義性・同義牲をLookVQAの評価で保証するためテストセットに回答を10件割り付けた．具体的には，画像，画像中の視線元の人物，および$\mathbf{q}_{AQ}$のみをワーカに与え，テストセットの質問1件につき9人のワーカが回答を追加で作成した\footnote{ワーカへの報酬は10件の回答あたり80円と設定した．}．オリジナルの回答$\mathbf{y}_{0}$に加えて新しい9件の回答$\mathbf{y}_{\{1:9\}}$を付与したセットを$\mathbf{Y}$とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{統計的分析}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{LookVQAと既存のデータセットの比較}LookVQAと日本語VQAデータセット(VQA-ja)\cite{C18-1163}の統計量を比較する．LookVQAに関して，\ref{sec:collect_qa}節のStep3時点で収集した質問と回答に対し，前処理としてテキスト正規化\footnote{\url{https://github.com/ikegami-yukino/neologdn}による正規化処理を質問・回答に適用した．回答のみ，記号を除去し，数字をアラビア数字へ統一した．}を施した場合の統計量を報告する．表~\ref{tab:3_1}にそれぞれのデータセットの統計情報を示す．表~\ref{tab:3_1}より，LookVQAのユニークな質問の割合(46.46\%)はVQA-jaの割合(45.21\%)よりも多く，質問の平均文字長はLookVQAの方が長い．また，LookVQAのユニークな回答の割合(33.87\%)は日本語VQA(17.10\%)より多く，回答の平均文字長はLookVQAの方が長い．表~\ref{tab:3_2}にLookVQAに含まれる質問タイプの類型を示す．表~\ref{tab:3_2}より，LookVQAに含まれる``what''形式の質問の割合は81.85\%である．\citeA{C18-1163}のTable1より，VQA-jaに含まれる``what''形式の質問の割合は67.10\%であることから，LookVQAはVQA-jaよりも``what''形式の質問の割合が14.75\%多い．物体の位置関係を問う``where''形式の質問や物体の個数を問う``how''形式の質問の割合は，あわせて12.04\%である．LookVQAには，その他に，現在時刻を問う``when''タイプの質問や人物に関する``who''タイプの質問も収録されている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1and2\begin{table}[b]\setlength{\captionwidth}{200pt}\raisebox{2.5\normalbaselineskip}[0pt][0pt]{%\begin{minipage}[t]{200pt}\input{01table01.tex}%\hangcaption{LookVQAと日本語VQA(VQA-ja)の\\統計情報．}\label{tab:3_1}\end{minipage}}%\hfill\begin{minipage}[t]{200pt}\input{01table02.tex}%\hangcaption{LookVQAの質問の類型．各質問は日本語表現に含まれる単語にもとづいて分類した．}\label{tab:3_2}\end{minipage}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{01table03.tex}%\hangcaption{LookVQAのテストセットにおける述語項関係の頻度．AQは\ref{sec:collect_qa}節のStep3で得た曖昧な質問．CQはアノテータの作業により明確化した質問．}\label{tab:3_3}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{質問に含まれる省略}LookVQAに含まれる省略の種類を確認するべく，表~\ref{tab:3_3}にLookVQAのテストセットに含まれる質問における述語項関係の頻度を報告する．テストセットに含まれる全ての曖昧な質問($\mathbf{q}_{AQ}$)および明確な質問($\mathbf{q}_{CQ}$)に対し，日本語の統合解析ツール\cite{ueda-etal-2023-kwja}を用いて述語項関係を集計した．表~\ref{tab:3_3}より，LookVQAのテストセットにおいて$\mathbf{q}_{AQ}$は$\mathbf{q}_{CQ}$と比較してガ格やヲ格の省略を頻繁に含むことがわかる．この結果から，特に日本語においてしばしば起こる主語や目的語の省略が行われた発話が収録できていることが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{事例分析}LookVQAにおける曖昧な質問とその回答の特徴を明確にするため，LookVQAのテストセットに含まれる各回答の類似度に関する分布を示し，事例分析を実施する．\ref{sec:collect_qa}節のStep3時点で得た質問$\mathbf{q}_{AQ}$・回答$\mathbf{y}_{0}$は同一のワーカが割り付けたペアであり，Step4で得た9件の回答$\mathbf{y}_{\{1:9\}}$はそれぞれ異なるワーカが割り付けたものである．このため，Step3で得た回答$\mathbf{y}_{0}$を参照文として，参照文とStep4の回答$\mathbf{y}_{\{1:9\}}$の類似度を算出する．図~\ref{fig:3_2}にBLEU-1\cite{papineni-etal-2002-bleu}，METEOR\footnote{\url{https://omwn.org/}を用いて日本語の類義語を考慮した評価を実施した．語幹は評価で考慮していない．}\cite{banarjee2005}，およびBERTスコア\footnote{\url{https://huggingface.co/bert-base-multilingual-cased}の単語分散表現を利用した．}\cite{Zhang*2020BERTScore:}で算出したテストセットにおける回答の分布を示す\footnote{あらかじめ，\url{https://taku910.github.io/mecab/}を用いて，回答に対し形態素解析を適用した．}．図~\ref{fig:3_3}にテストセットに含まれる例を示し，各例における回答の類似度を表~\ref{tab:3_4}に示す．さらに，注視対象の候補数と回答の多様性を確認するべく，表~\ref{tab:3_5}に注視対象の候補数ごとに算出した回答の類似度を報告する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\vspace{-0.6\Cvs}\begin{center}\includegraphics{32-1ia1f3.eps}\end{center}\caption{BLEU-1，METEOR，BERTスコアで算出した回答の類似度に関する分布．}\label{fig:3_2}\vspace{-0.4\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図~\ref{fig:3_3}(a,b,c)はいずれのスコアも高い値を示し，ワーカ間の回答が一致した事例である．図~\ref{fig:3_3}(d,e,f)は1-gramベースの評価指標(BLEU-1,METEOR)のスコアが低い値を示した事例である．指示語による曖昧さを持つ質問（図~\ref{fig:3_3}(a)）や日本語特有の省略による曖昧さを持つ質問（図~\ref{fig:3_3}(b)）であってもワーカ間の回答は一致している．図~\ref{fig:3_3}(e,f)は回答の類似度が低い事例であるが，回答に同義な単語や数値が多く見られ，複数ワーカ間の回答が一致している．図~\ref{fig:3_2}で示した回答の類似度が低い事例には，図~\ref{fig:3_3}(e,f)のような回答の同義表現を多く有する事例が存在する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[p]\begin{center}\includegraphics{32-1ia1f4.eps}\end{center}\hangcaption{LookVQAのテストセットに含まれる実例．AQ，CQは表~\ref{tab:3_3}のキャプション参照．太字は\ref{sec:collect_qa}節のStep3で得られた回答である．}\label{fig:3_3}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[p]\input{01table04.tex}%\caption{図~\ref{fig:3_3}の各例におけるBLEU-1，METEOR，BERTスコア．}\label{tab:3_4}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[p]\input{01table05.tex}%\caption{注視対象の候補数ごとに算出したBLEU-1，METEOR，BERTスコア．}\label{tab:3_5}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%注視対象の候補が2つ以上の場合と1つの場合における，回答の類似度の変化を報告する．表~\ref{tab:3_5}より，いずれのスコアにおいても顕著な変化は確認されなかった．これは，注視対象の候補が2つ以上の場合でも質問の内容を考慮すると，その回答が1つに決定できる事例（図~\ref{fig:3_3}(c)）がLookVQAに含まれることに起因すると推察される．図~\ref{fig:3_3}(d)は視線情報や質問文の内容を考慮しても回答にばらつきがある事例である．この場合，注視対象の候補数が複数存在することに起因して複数ワーカ間の回答が一致しなかったと言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{視線情報を考慮する質問応答モデル}
本節ではLookVQAに対して実際に視線情報を考慮した回答生成が可能な質問応答モデルの構築方法を説明する．一般的な環境でパラメータチューニングが容易なベースラインとして，ClipCap\cite{mokady2021clipcap}およびVL-T5\cite{pmlr-v139-cho21a}に基づく手法を用いる．また，ClipCapにアダプタを追加するモデル(ClipCap+Adapter)を提案する．提案モデル中で注視領域を得るための注視対象推定についても説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースライン}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{ClipCap}ClipCapは事前学習済みの画像エンコーダ\cite{pmlr-v139-radford21a}・言語デコーダ\cite{radford2019language}で構成された画像キャプションモデルであり\cite{mokady2021clipcap}，VQAタスクに対しても適用事例がある\cite{10.1007/978-3-031-20074-8_9}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{画像エンコーダ}ClipCapの画像エンコーダは，RGBの全体画像$\mathbf{I}\in\mathbb{R}^{W\timesH\times3}$を入力として，言語デコーダへ入力可能な画像ベクトル集合$\mathbf{r}=\{\mathbf{r}_1,\dots,\mathbf{r}_n\}$を出力する．ただし，$W$・$H$はそれぞれ画像の横・縦の画素数，$n$は$\mathbf{r}$の要素数であり，$\mathbf{r}$の要素$\mathbf{r}_i$は質問$\mathbf{q}$のトークン埋め込み\footnote{言語デコーダのTokenizerが出力するトークン毎のベクトルを意味する．}と同じ次元を持つ．CLIP\cite{pmlr-v139-radford21a}の画像エンコーダと単一の線形層$f(\cdot)$により，全体画像$I$をベクトル集合$\mathbf{p}=\{\mathbf{p}_1,\dots,\mathbf{p}_n\}$に変換する（式\ref{form:4_1}）．\begin{equation}\label{form:4_1}\{\mathbf{p}_1,\dots,\mathbf{p}_n\}=f(\mbox{CLIP}(\mathbf{I}))\end{equation}多層のTransformerブロック$F(\cdot)$\cite{10.5555/3295222.3295349}を用いてベクトル集合$\mathbf{p}$を，$\mathbf{p}$と同次元の$\mathbf{r}$に変換する（式\ref{form:4_2}）．CLIPの画像エンコーダとデコーダを結ぶ，これらのTransformerブロックをMappingNetworkと呼び，これらブロックを訓練するのみで画像キャプショニングといった視覚・言語タスクを扱うことができる\cite{mokady2021clipcap}．\begin{equation}\label{form:4_2}\{\mathbf{r}_1,\dots,\mathbf{r}_n\}=F(\{\mathbf{p}_1,\dots,\mathbf{p}_n\})\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{言語デコーダ}言語デコーダは，質問$\mathbf{q}=\{\mathbf{q}_1,\dots,\mathbf{q}_m\}$と画像ベクトル集合$\mathbf{r}$から構成した入力系列（式\ref{form:4_3}）から，回答系列$\mathbf{y}$を自己回帰的に出力する．\begin{equation}\label{form:4_3}\{\mathbf{r}_1,\dots,\mathbf{r}_n,\mbox{[SEP1]},\mathbf{q}_1,\dots,\mathbf{q}_m,\mbox{[SEP2]}\}\end{equation}ここで，$\mathbf{q}$の各要素はトークン埋め込みを表し，$\mbox{[SEP1]}$と$\mbox{[SEP2]}$はそれぞれ``質問:''と``回答:''でありデコーダに与えるプロンプトを意味する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{VL-T5}VL-T5は事前学習済み画像エンコーダ\cite{NIPS2015_14bfa6bb}と言語エンコーダ・デコーダ\cite{2020t5}で構成された，画像キャプショニングやVQAタスクに適用可能な汎用モデルである\cite{pmlr-v139-cho21a}．ClipCapの画像エンコーダと構成を揃えるべく，本研究では\citeA{sung2022vladapter}と\citeA{futeral-etal-2023-tackling}の実装を参考に，CLIP\cite{pmlr-v139-radford21a}の画像エンコーダから得られる中間の特徴量\footnote{正確には，CLIPにおけるProjection層を通す前の特徴量である．}を利用した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{画像エンコーダ}VL-T5の画像エンコーダは，RGBの全体画像$\mathbf{I}\in\mathbb{R}^{W\timesH\times3}$を入力として，言語エンコーダ・デコーダへ入力可能な画像ベクトル集合$\mathbf{r}=\{\mathbf{r}_1,\dots,\mathbf{r}_n\}$を出力する（式~\ref{form:4_4}）．本研究では，画像エンコーダをCLIPの画像エンコーダと単一の線形層$f(\cdot)$で構成する．\begin{equation}\label{form:4_4}\{\mathbf{r}_1,\dots,\mathbf{r}_n\}=f(\mbox{CLIP}(\mathbf{I}))\end{equation}$n$は$\mathbf{r}$の要素数であり，$\mathbf{r}$の要素$\mathbf{r}_i$は質問$\mathbf{q}$のトークン埋め込みと同じ次元を持つ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{言語エンコーダ・デコーダ}言語エンコーダ・デコーダは，質問$\mathbf{q}=\{\mathbf{q}_1,\dots,\mathbf{q}_m\}$とベクトル集合$\mathbf{r}$から構成した入力系列（式\ref{form:4_5}）から，回答系列$\mathbf{y}$を自己回帰的に出力する．\begin{equation}\label{form:4_5}\{\mbox{[SEP1]},\mathbf{q}_1,\dots,\mathbf{q}_m,\mathbf{r}_1,\dots,\mathbf{r}_n\}\end{equation}ここで，$\mathbf{q}$の各要素はトークン埋め込みを表し，$\mbox{[SEP1]}$は``質問:''であり言語エンコーダ・デコーダのプロンプトを意味する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{提案モデル}LookVQAタスクを扱うための提案モデル(ClipCap+Adapter)の構成を図~\ref{fig:4_2}に示す．モデルの訓練に利用可能な，日本語を対象とした視覚・言語データセットの量に制限があるため，提案モデルは，MappingNetworkのみの訓練で視覚・言語タスクにおけるモデル性能が担保できる，訓練効率の良いClipCapをベースとしている．ClipCapとの差分はMappingNetworkの各ブロックの先頭に挿入されたアダプタである．アダプタは全体画像と注視対象推定で得られた注視領域$\mathbf{I}_{s}$を統合し，注視先の情報を考慮した画像ベクトルを構成する．このベクトルを言語デコーダの入力することで，視線情報を要する曖昧な質問に対して，適切な回答を出力することが期待できる．具体的には，ClipCapの画像エンコーダの処理（式\ref{form:4_1}）と同様に，全体画像$\mathbf{I}$と注視領域$\mathbf{I}_s$から，画像ベクトル集合$\mathbf{p}=\{\mathbf{p}_1,\dots,\mathbf{p}_i,\dots,\mathbf{p}_n\}$と注視領域の画像ベクトル集合$\mathbf{s}=\{\mathbf{s}_1,\dots,\mathbf{s}_i,\dots,\mathbf{s}_n\}$を構成する．Transformerブロックの先頭で$\mathbf{p}$と$\mathbf{s}$の要素ごとのアフィン変換を計算し，その結果得たベクトル集合$\mathbf{p}'=\{\mathbf{p}'_1,\dots,\mathbf{p}'_i,\dots,\mathbf{p}'_n\}$をレイヤー正規化層に入力する．$\mathbf{p}'$の$i$番目のベクトル$\mathbf{p}'_i$に対する計算は，$\mathbf{s}_i$および$\mathbf{p}_i$を用いて，式~\ref{form:4_6}のように表せる．\begin{equation}\label{form:4_6}\mathbf{p}'_i=g(\mathbf{s}_i)\odot\mathbf{p}_{i}^{l}\oplush(\mathbf{s}_i)\end{equation}ただし，$g(\cdot)$と$h(\cdot)$は入出力が同次元の単一の線形層，$\odot$と$\oplus$はそれぞれ要素ごとの積と和を表す演算子，$\mathbf{p}^{l}$は$l$層目におけるアダプタへの入力である．1層目のブロックの入力は，$\mathbf{p}^{l}=\mathbf{p}$である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f5.eps}\end{center}\caption{\textbf{左}：提案モデルの概要図．\textbf{右}：画像エンコーダの構成．}\label{fig:4_2}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{注視対象推定}注視対象推定タスクは，LookVQAタスクを扱うための前処理である．本研究ではこの前処理を実現するため，既存研究で提案されたCNNベースのモデル\cite{Chong_2020_CVPR}を注視対象推定モデルとして利用する．図~\ref{fig:4_1}に注視対象推定の処理を，以下にその解説を示す．\begin{itemize}\itemStep1:\citeA{Chong_2018_ECCV}のアノテーションをもとに，全体画像$\mathbf{I}$から発話者の頭部画像$\mathbf{I}_{h}$を抽出する．\itemStep2:モデルは$\mathbf{I}$と$\mathbf{I}_{h}$を入力として，話者の注視対象を表すヒートマップ$\mathbf{H}$を出力する．ここで，$\mathbf{H}$の各要素は$[0,1]$の値をとる．\itemStep3:閾値0として$\mathbf{H}$を二値化し，注視対象に対応するバウンディングボックスを求めることで，注視領域$\mathbf{I}_{s}$を取得する\cite{Ardizzone2013_saliency}．ただし，$\mathbf{H}$の各要素が全て0で$\mathbf{I}_{s}$が取得できない場合は，擬似的に$\mathbf{I}$を$\mathbf{I}_{s}$とみなす．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f6.eps}\end{center}\caption{提案モデルの前処理となる注視対象推定タスクのプロセス．}\label{fig:4_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験設定}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}日本語VQAデータセット(VQA-ja)\cite{C18-1163}と日本語画像キャプションデータセット(STAIR)\cite{yoshikawa-etal-2017-stair}をモデルの事前学習に利用した．その後，LookVQAの訓練セットを用いて，追加でモデルを訓練する(Fine-tuning)．事前学習には，STAIRに収録された123,287枚の画像と616,435件のキャプション，VQA-jaに収録された99,208枚の画像と793,664件の質問・回答ペアを用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{実装詳細}提案モデルとベースラインにおけるCLIPの画像エンコーダは，ResNetベースの$RN\times4$\cite{pmlr-v97-tan19a}を利用した\footnote{\url{https://github.com/openai/CLIP}}．画像$\mathbf{I}$と注視領域$\mathbf{I}_s$はCLIPの正規化と同様の処理を行い，CLIPへの入力は縦横$224$画素($H=224$，$W=224$)にリサイズされた画像とする．提案モデルおよびClipCapに関して，画像エンコーダへの入力はCLIPから得られた640次元のベクトルである．ベクトル集合$\mathbf{p}$，$\mathbf{s}$，$\mathbf{r}$の要素数を$n=10$とする．言語デコーダは事前学習済みGPT-2\cite{radford2019language}を利用した\footnote{\url{https://huggingface.co/rinna/japanese-gpt2-medium}}．VL-T5に関して，画像エンコーダの入力はCLIPから得られた$9\times9\times2560$次元のベクトルである．実際の入力は，ベクトル集合$\mathbf{r}$の要素数$n=81$として，先のベクトル集合を$81\times2560$次元に変換したものである．言語エンコーダ・デコーダは事前学習済みT5\cite{2020t5}のSmallモデル\footnote{\url{https://huggingface.co/retrieva-jp/t5-small-short}}とBaseモデル\footnote{\url{https://huggingface.co/retrieva-jp/t5-base-short}}を利用した．提案モデルとベースラインをSTAIR，VQA-ja，およびLookVQAで学習した．具体的には，バッチサイズを32，事前学習の学習率を2e-5，LookVQAによるFine-tune時の学習率を1e-4，オプティマイザをAdamW\cite{loshchilov2018decoupled}として各データセットで10epochsずつ学習した．LookVQAの推論時にはデコーディングにビーム幅10のBeamSearchを用いた．注視対象推定タスクに関して，実験では\citeA{Chong_2018_ECCV}のデモ版\footnote{\url{https://github.com/ejcgt/attention-target-detection/blob/master/download_models.sh}}を注視対象推定モデルとする．このモデルにおいて，注視領域$\mathbf{I}_{s}$を$\mathbf{I}$とみなした質問・回答ペアの件数は，17,276件中1,272件(7.36\%)であった．GazeFollowのテストセットとLookVQAのテストセットで重複する質問・回答ペアは1,596件存在する\footnote{LookVQAはGazeFollowの訓練・テストセットから構築されている．このため，注視対象推定モデルそのものはLookVQAを用いて訓練していない．}．これら質問・回答ペアにおける，注視対象推定モデルのAreaUnderCurve(AUC)と平均$L^2$距離(Avg.dist.)はそれぞれ0.92と0.15であった\footnote{いずれもヒートマップ$\mathbf{H}$に対する評価指標である．前者は画像パッチごとに$\mathbf{H}$を評価し\cite{judd2009learning}，後者は注視先の点の正例で$\mathbf{H}$を評価する\cite{nips15_recasens}．前者は評価値が1に近づくほど，後者は評価値が0に近づくほど，注視対象推定モデルの出力が正確なことを意味する．}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{訓練対象}訓練データ数の制約により，本研究では画像エンコーダに含まれるCLIPのパラメータを固定した結果を報告する．ここで，パラメータは機械学習モデルにおけるテンソルの要素数の総和を意味する．各ベースラインについて，ClipCapは410M，VL-T5のSmallは78M，VL-T5のBaseは249Mの訓練可能なパラメータを持つ．提案モデルは426Mの訓練可能なパラメータを持ち，うちアダプタのパラメータは16Mである．ClipCapと提案モデルにおいては，明示的にアダプタの重みを更新するべく，MappingNetworkのみを訓練する場合およびアダプタのみを訓練する場合の結果も報告する．MappingNetworkのみを訓練した場合，ClipCapは74M，提案モデルは90Mの訓練可能なパラメータを持つ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価指標}質問応答における回答の同義性・多様性を考慮したVQAスコア\cite{original_VQA}をモデルの評価に用いた（式\ref{form:5_1}）．\begin{equation}\label{form:5_1}Acc=\min(\frac{cnt}{3},1)\end{equation}$cnt$は回答セットの10件の人手回答と予測回答が完全一致した回数を意味する．回答の表記揺れを考慮した評価を行うため，BERTスコア\cite{Zhang*2020BERTScore:}によって回答フレーズの類似を考慮した評価も実施した（式\ref{form:5_2}）．\begin{gather}\label{form:5_2}Bs(\mathbf{h})=\frac{1}{|\mathbf{D}|}\sum_{\mathbf{R}\in\mathbf{D}}\sum_{\mathbf{r}\in\mathbf{R}}\frac{2\cdotP_{\rm{BERT}}(\mathbf{r},\mathbf{h})\cdotR_{\rm{BERT}}(\mathbf{r},\mathbf{h})}{P_{\rm{BERT}}(\mathbf{r},\mathbf{h})+R_{\rm{BERT}}(\mathbf{r},\mathbf{h})}\\[1ex]\label{form:5_3}P_{\rm{BERT}}(\mathbf{r},\mathbf{h})=\frac{1}{|\mathbf{r}|}\sum_{\mathbf{r}_i\in\mathbf{r}}\max_{\mathbf{h}_j\in\mathbf{h}}\mathbf{r}_i^\top\mathbf{h}_j\\[1ex]\label{form:5_4}R_{\rm{BERT}}(\mathbf{r},\mathbf{h})=\frac{1}{|\mathbf{h}|}\sum_{\mathbf{h}_j\in\mathbf{h}}\max_{\mathbf{r}_i\in\mathbf{r}}\mathbf{r}_i^\top\mathbf{h}_j\end{gather}$\mathbf{r}$は1件の人手回答の単語集合，$\mathbf{h}$は予測回答の単語集合，$\mathbf{R}$は1つの質問に割り当てられた10件の人手回答（回答セット），$\mathbf{D}$はテストセット全体の回答セットの集合を意味する．式\ref{form:5_3}と式\ref{form:5_4}において，$\mathbf{r}_i$と$\mathbf{h}_j$は，多言語BERT\footnote{\url{https://huggingface.co/bert-base-multilingual-cased}}から得られた，人手回答$\mathbf{r}$と予測回答$\mathbf{h}$の各単語における分散表現である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{01table06.tex}%\hangcaption{ベースラインと提案モデルの評価結果．訓練・推論時のシードを0に固定した結果を報告する．$|\theta|$はモデルの訓練可能なパラメータ数[M]である．}\label{tab:5_1_1}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{01table07.tex}%\hangcaption{ClipCapと提案モデルの詳細な比較結果．LookVQAによる訓練・推論をランダムシードで5回試行した結果を報告する．$|\theta|$は表~\ref{tab:5_1_1}のキャプション参照．}\label{tab:5_1_2}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{定量評価}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{提案モデルとベースラインの比較}\label{sec:comparing_baselines}表~\ref{tab:5_1_1}に提案モデルとベースラインの評価結果を示す．さらに，表~\ref{tab:5_1_2}に学習パラメータに制約をかけた場合における，提案モデルとベースラインの1つであるClipCapの詳細な比較結果を示し，アダプタの効用を報告する．比較条件を以下に示す．\begin{enumerate}\item[i)]言語デコーダとMappingNetworkを訓練した場合\item[ii)]MappingNetworkのみを訓練した場合\item[iii)]提案モデルにおける新規パラメータであるAdapterのみを訓練した場合\end{enumerate}アダプタの入力に関して，$\mathbf{I}_s$は注視領域の推定値，$\mathbf{GT}$は注視領域の正例\footnote{曖昧な質問と対応づいたCOCOのバウンディングボックスを意味する．}，$\mathbf{I}$は全体画像を意味する．表~\ref{tab:5_1_1}より，i)MappingNetworkと言語デコーダを訓練した場合，LookVQAにおいてはClipCapが最も性能が高く，推定値$\mathbf{I}_s$を追加した提案モデルは最も性能が低い．表~\ref{tab:5_1_2}においても同様の結果である．一方で表~\ref{tab:5_1_2}より，ii)MappingNetworkのみまたはiii)アダプタのみを訓練した提案モデルにおいては，それらの性能が，i)MappingNetworkと言語デコーダを訓練したClipCapの性能を上回った．とくに，アダプタのみを訓練した提案モデル(ClipCap+Adapter$(\mathbf{I}_s)$)のVQAスコアは39.03であり，MappingNetworkと言語デコーダを訓練したClipCapよりも，スコアが4ポイント程度上回っている．アダプタのパラメータの学習が不十分である場合，提案モデルはベースラインの精度を下回る．しかし，アダプタのみを十分に学習する状況において，提案モデルは16M程度のパラメータ更新でベースラインの精度を上回り，LookVQAに含まれる曖昧な質問に対して適当な回答を生成できることが判明した．LookVQAの類似データセットである日本語VQAで提案モデルを予め訓練した結果，新規のパラメータ更新のみで提案モデルがLookVQAタスクに適合できたと考えられる．表~\ref{tab:5_1_2}より，ii)MappingNetworkのみを訓練した提案モデルとベースライン(ClipCap)を比較する．画像$\mathbf{I}$をアダプタの入力とする提案モデル(ClipCap+Adapter($\mathbf{I}$))は，ベースラインと比較して性能が良く，注視領域$\mathbf{I}_s$やその正例$\mathbf{GT}$をアダプタの入力とする提案モデルと比較して性能に大きな差が無い．このことから，アダプタを追加することによる訓練パラメータの増加が，提案モデルの精度向上の一因となることがわかる．アダプタの入力変化がLookVQAの精度へ与える影響は\ref{sec:qualitative}節で議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{注視対象推定タスクのエラーが提案モデルの結果に与える影響}\label{sec:gt_score}$\mathbf{I}_s$を追加した提案モデルにおけるVQAスコアと注視対象推定タスクの精度の関係を，注視対象推定モデルの評価指標であるAUC\cite{judd2009learning}とAvg.dist.\cite{nips15_recasens}にもとづいて調査する．具体的には，GazeFollowのテストセットとLookVQAのテストセットで重複する1,596件の質問・回答ペアから，注視対象推定モデルの精度が高い質問・回答ペアを抜き取り，これらの差分に対するVQAスコアの推移を確認する．図~\ref{fig:5_2_1}と図~\ref{fig:5_2_2}に，AUCとAvg.dist.の閾値の刻み幅を0.05として，AUCがある閾値未満の（Avg.dist.がある閾値より大きい）質問・回答ペアに対して算出したVQAスコアの推移を示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.7and8\begin{figure}[t]\setlength{\captionwidth}{200pt}\noindent\begin{minipage}[t]{200pt}\begin{center}\includegraphics{32-1ia1f7.eps}\end{center}\hangcaption{AUCを基準としたVQAスコアの推移．評価値が1に近づくほど注視対象推定モデルの出力が正確なことを意味する．}\label{fig:5_2_1}\end{minipage}\hfill\begin{minipage}[t]{200pt}\begin{center}\includegraphics{32-1ia1f8.eps}\end{center}\hangcaption{Avg.dist.を基準としたVQAスコアの推移．評価値が0に近づくほど注視対象推定モデルの出力が正確なことを意味する．}\label{fig:5_2_2}\end{minipage}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%質問・回答ペア全件におけるVQAスコアは40.44である．図~\ref{fig:5_2_1}よりAUCの閾値を0.20ずつ減少させると，VQAスコアが3から4ポイント減少する．実際に，AUCの閾値が0.80未満と0.60未満の時，各VQAスコアは36.93と33.51である．図~\ref{fig:5_2_2}よりAvg.dist.の閾値を0.20ずつ増加させると，VQAスコアは4から7ポイント減少する．実際に，Avg.dist.の閾値が0.20より大きい場合と0.40より大きい場合における，各VQAスコアは36.84と29.63である．このことから，注視対象推定タスクの結果である注視領域$\mathbf{I}_s$の利用については，モデルの推定が誤った場合にLookVQAタスクの精度低下が生じていることがわかる．注視対象推定モデルの評価値が低い値を示したがVQAスコアが高い値を示した例外\footnote{AUCの閾値が0.60以上0.65未満かつAvg.dist.の閾値が0.30より大きく0.35以下の場合．\label{footnote:gt_exception}}は\ref{sec:qualitative}節で議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{視線情報付きVQAデータセットの特徴}\label{sec:eval_gazevqa}表~\ref{tab:5_2_1}にClipCapのAblation評価を示す．ベースラインであるClipCapのAblationテストを通して，LookVQAの曖昧な質問を解くために必要な要素を特定する．ClipCapから，質問を含むテキスト情報または画像情報を除いて学習・評価すると，性能が著しく低下することが判明した．LookVQAタスクを解くために，モデルは画像・質問を統合して理解する能力を持つ必要がある．ClipCapの画像エンコーダの入力を，注視領域$\mathbf{I}_s$または注視領域の正例$\mathbf{GT}$とすると，画像$\mathbf{I}$を入力した場合と比較して，性能が低下することが判明した．このことから，注視対象領域外の情報を完全に落とすより，注視対象領域外の情報も保持しておく方が，LookVQAタスクの精度向上に寄与することが示唆された．注視対象領域外の情報の必要性については\ref{sec:qualitative}節で議論する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8and9\begin{table}[t]\setlength{\captionwidth}{200pt}\noindent\raisebox{0.75\normalbaselineskip}[0pt][0pt]{%\begin{minipage}[t]{200pt}\input{01table08.tex}%\hangcaption{ClipCapのAblation評価結果．MappingNetworkと言語デコーダを訓練した結果($|\theta|=410M$)を報告する．}\label{tab:5_2_1}\end{minipage}}%\hfill\begin{minipage}[t]{200pt}\input{01table09.tex}%\hangcaption{ベースラインによる曖昧な質問($\mathbf{q}_{AQ}$)と明確な質問($\mathbf{q}_{CQ}$)の比較結果．いずれのモデルもLookVQAによる訓練を実施していない．}\label{tab:5_2_2}\end{minipage}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表~\ref{tab:5_2_2}より，全てのベースラインに対し，曖昧な質問$\mathbf{q}_{AQ}$あるいは明確な質問\footnote{$\mathbf{q}_{AQ}$に含まれる指示語や省略を注視対象の名称や属性といった情報で補完した質問．詳細は\ref{sec:step4}節を参照．}$\mathbf{q}_{CQ}$を入力した結果を比較する．LookVQAにおける回答の偏りを抑えた評価を実施するために，日本語キャプションおよび日本語VQAのみで訓練したベースラインを評価で用いる．$\mathbf{q}_{AQ}$の代わりに$\mathbf{q}_{CQ}$を入力した場合，いずれのベースラインもVQAスコア($Acc$)が1から5ポイント程度向上することが判明し，とくに訓練可能パラメータ数$|\theta|$が多いベースラインが顕著な性能向上を見せた．この結果と\ref{sec:comparing_baselines}節の結果より，LookVQAの曖昧な質問$\mathbf{q}_{AQ}$に対処するためには，提案モデルのような画像，質問，および注視領域から回答を直接生成するアプローチの他に，注視対象推定の結果にもとづいて$\mathbf{q}_{AQ}$を$\mathbf{q}_{CQ}$に書き換えるアプローチも有望な方向であるといえる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{質問タイプごとの精度比較}図~\ref{fig:5_1}より，LookVQAのテストセットの質問の類型をとり，この類型にもとづいてベースライン(ClipCap)と提案モデル(w/Adapter)を比較する．物体の属性を問う``Whatis''の質問，物体の現在の状態を問う``Whatcondition''の質問，あるいは択一式の質問である``Which''では，提案モデルがベースラインの性能を上回った．物体の属性のうち，色に関する``Whatcolor''の質問では，例外的に，注視領域の正例$\mathbf{GT}$を入力したベースライン(ClipCap($\mathbf{GT}$))の性能が最も良い．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.9\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f9.eps}\end{center}\hangcaption{質問タイプごとのベースライン(ClipCap)と提案モデルのVQAスコア(Acc)における評価結果．角括弧は各タイプのQAの件数を表す．分類手法は表~\ref{tab:3_2}参照．MappingNetworkのみを訓練したベースライン($|\theta|=74M$)，およびアダプタのみを訓練した提案モデル($|\theta|=16M$)の結果を報告する．}\label{fig:5_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[t]\input{01table10.tex}%\hangcaption{視覚・言語モデルによる曖昧な質問($\mathbf{q}_{AQ}$)と明確な質問($\mathbf{q}_{CQ}$)の比較結果．LookVQAのテストセット300件を評価に利用した．いずれのモデルもLookVQAによる訓練を実施していない．}\label{tab:5_2_5}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{大規模言語モデルをベースとした視覚・言語モデルによる評価}表~\ref{tab:5_2_5}にベースラインおよび大規模言語モデルをベースとした視覚・言語モデルであるGPT-4V\footnote{\url{GPT-4-1106-vision-preview}}\cite{openai2023gpt4}の評価結果を示し，LookVQAにおける既存モデルの性能の限界を報告する．ただし，GPT-4Vにおける計算資源の制限により，LookVQAのテストセットに含まれる300件を評価に利用した．いずれのモデルもLookVQAによる訓練は実施していない．実験で用いたGPT-4Vのプロンプトの詳細は付録\ref{sec:gpt4v_prompts}で示す．表~\ref{tab:5_2_5}より，曖昧な質問$\mathbf{q}_{AQ}$の代わりに明確な質問$\mathbf{q}_{CQ}$を入力とした場合，VL-T5{\scriptsizesmall}以外の視覚・言語モデルの性能が向上し，とりわけ，$\mathbf{q}_{CQ}$を入力としたGPT-4Vが最も高い性能を示した．表~\ref{tab:5_2_5}と表~\ref{tab:5_1_2}より，$\mathbf{q}_{AQ}$を入力したGPT-4VはLookVQAで訓練した提案モデルの性能を下回っていることが示唆された．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.10\begin{figure}[b]\begin{center}\includegraphics{32-1ia1f10.eps}\end{center}\hangcaption{テストセットにおける提案モデルとベースライン(ClipCap)の入出力例．AQ，CQ，Aはそれぞれ曖昧な質問，明確な質問，人手回答である．5回試行のうち，VQAスコアが最も高いモデルの出力を太字で示す．$\mathbf{GT}$と$\mathbf{I}_s$の範囲をそれぞれ赤枠と緑枠（破線）で示す．}\label{fig:5_2}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%大規模言語モデルをベースとした視覚・言語モデルであるGPT-4Vは，ベースラインのClipCapやVL-T5と比較して，画像・質問を正確に認識する能力を持つ．しかし，質問の曖昧さを文脈情報で補完する必要があるLookVQAタスクのような状況下では，その能力を十分に発揮できないことが判明した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{定性評価}\label{sec:qualitative}図~\ref{fig:5_2}と図~\ref{fig:5_3}に，言語デコーダとMappingNetworkを訓練したClipCap，\pagebreakおよびアダプタのみを訓練した提案モデルの入出力例とエラー例を示す．提案モデルのアダプタに注視領域$\mathbf{I}_s$や物体情報$\mathbf{GT}$を入力した場合，物体の形状や名称など，注視対象の属性を問う曖昧な質問に対して，その回答が一意に定まる傾向にあった．正確な回答を与えるに資する視覚情報が物体情報に含まれている場合，その傾向が顕著に現れる（図~\ref{fig:5_2}(a)）．言い換えれば，注視対象推定モデルで注視対象を絞り込めていない場合，提案モデルは一貫性の無い回答を出力する（図~\ref{fig:5_2}(b,c)）．実際に，図~\ref{fig:5_2}(a)における注視対象推定モデルの評価値Avg.dist.は0.07であり，図~\ref{fig:5_2}(b,c)における評価値はそれぞれ0.36と0.26であった．ただし，図~\ref{fig:5_2}(a--c)のうち，注視対象推定モデルの評価値AUCは図~\ref{fig:5_2}(c)が最も高く0.98であった．図~\ref{fig:5_2}(c)においては，注視対象推定モデルの出力であるヒートマップ$\mathbf{H}$は正確であるが，$\mathbf{H}$から$\mathbf{I}_s$を取得する際にエラーが生じたと推察できる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.11\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f11.eps}\end{center}\hangcaption{テストセットにおける提案モデルとベースライン(ClipCap)のエラー例．AQ，CQ，A，および$\mathbf{GT}$と$\mathbf{I}_s$の範囲は図~\ref{fig:5_2}のキャプション参照．}\label{fig:5_3}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案モデルのアダプタに全体画像$\mathbf{I}$を入力した場合，画像全体の理解を要する質問に対して正確な回答を与える傾向にあった．実際に，図~\ref{fig:5_2}(d)におけるAUCとAvg.dist.はそれぞれ，0.97と0.07であり$\mathbf{H}$と$\mathbf{I}_s$はともに正確であるが，$\mathbf{I}$を入力した提案モデルの方が一貫した回答を生成している．また，注視対象推定モデルの出力が誤っていても\footref{footnote:gt_exception}，正確な回答を導ける質問・回答ペアは存在する（図~\ref{fig:5_2}(e,f)）．これらの観察から，LookVQAには注視対象を考慮しなくても回答が可能な質問・回答ペアが含まれていることが認められる．提案モデルとベースラインの出力におけるエラーについて議論する．LookVQAは日本語の質問を対象にしており，訓練に利用可能な日本語を対象とした視覚・言語データセットの量に制限がある．このため，本研究では訓練効率の良いシンプルなモデル\cite{mokady2021clipcap}をベースとして提案モデルを構築した．しかし，特殊な物体の形状（図~\ref{fig:5_3}(a)），物体同士の位置関係（図~\ref{fig:5_3}(b)），物体の個数（図~\ref{fig:5_3}(c)），文字の読み取り（図~\ref{fig:5_3}(d)）に関する質問は，ベースラインのClipCapおよび提案モデルのいずれも正確に回答を与えることが困難であった．この問題を緩和するには，画像エンコーダの構成の再検討\cite{dosovitskiy2021an,NIPS2015_14bfa6bb}，質問自体の書き換え\cite{Li_2017_ICCV,stengel-eskin-etal-2023-chicken,TERAO20202020EDP7089,prasad2024rephrase}の実施，あるいは注視対象推定モデルから得られる隠れ表現やヒートマップ$\mathbf{H}$を注視領域の代わりに用いる必要がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
本研究では，ユーザとシステムの会話に生じる曖昧さの問題を，視線や指差しといったユーザのインタラクションを用いて対処することを目的として，視線情報付きVQAデータセット(LookVQA)と視線情報を活用する質問応答モデルを提案した．LookVQAは,``指示語・省略に起因する曖昧さを含み''かつ``回答に話者の視線情報を要する''質問，および10,760件の画像に対し17,276件の質問・回答ペアを持つ．LookVQAのテストセットには，曖昧な質問に対応した明確な質問，および10件の回答が用意されている．このため，LookVQAでは，LookVQAタスクおよびVQAタスクとして，回答の多様性・同義牲を考慮したモデルの評価を実施することができる．LookVQAによる実験の結果は，提案モデルがベースラインよりもLookVQAタスクの性能が良いこと，注視対象推定モデルの推定が誤った場合にLookVQAタスクの精度低下が生じること，曖昧な質問を明確に書き換えることの有効性を示している．とりわけ，視線情報を用いることで，提案モデルは注視対象の属性に関する曖昧な質問に対して正確な回答を与えることができた．本研究で構築したデータセットの限界を述べる．LookVQAに含まれる視覚情報は，1枚の画像であり，注視先と視線元がその画像枠内に収まっていた．しかし，ロボットのような実際のシステムが獲得する視覚情報は動的であるため，視線元の人物が不鮮明である場合や物体の隠れといった不確実性が含まれる．このため，曖昧性解消の手がかりとなる事物や話者の振る舞いを，常にシステムが認識することは困難である．このような視覚の不確実性を考慮する際は，システムが得る視覚情報・視線情報のみならず，話者の骨格情報\cite{Nonaka_2022_CVPR}や指差し情報\cite{nakamura2023ICCV}，あるいは発話前後の対話文脈\cite{visdial,agarwal-etal-2020-history,yu-etal-2019-see}といった種々のモダリティを駆使して対処することが望ましい．本研究で提案したモデルに関する今後の方向性を述べる．提案モデルは，注視対象推定タスクとLookVQAタスクを扱うモデルそれぞれが独立しているため，注視対象推定タスクのエラーが後段のLookVQAタスクに伝搬する構成であった．また，話者の頭部画像およびヒートマップから得られる特徴量や注視対象推定モデルから得られる隠れ表現を用いず，注視対象の特徴量を用いるのみであった．データ形式に依存しないTransformerエンコーダ\cite{pmlr-v139-jaegle21a,jaegle2022perceiver}を用いれば，複数の特徴量の統合が可能となり，End-to-Endで提案モデルを学習することができる．また，本研究で提案した指示情報を利用するLookVQAにおいては，先に述べた通り，視線以外の多様な指示情報を利活用するような拡張も考えられる．LookVQAの訓練セットを拡張し，以上のモデルを構築することは今後の課題としたい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究は理研の大学院生リサーチ・アソシエイト制度の下での成果である．本研究の一部はJSPS科研費JP22H04873およびJSTムーンショット型研究開発事業JPMJMS2236の助成を受けた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{01refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\appendix
\section{プロンプト}
\label{sec:gpt4v_prompts}図~\ref{fig:A_1}に，曖昧な質問($\mathbf{q}_{AQ}$)または明確な質問($\mathbf{q}_{CQ}$)の評価で使用したGPT-4Vのプロンプトを示す．タスク指示と3つの質問・回答ペアから各プロンプトを構成し，LookVQAの訓練セットに含まれる画像と注視領域から各質問・回答ペアを構成した．\clearpage%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.12\begin{figure}[t]\begin{center}\includegraphics{32-1ia1f12.eps}\end{center}\hangcaption{\textbf{左}：曖昧な質問($\mathbf{q}_{AQ}$)の評価で使用したGPT4Vのプロンプト．テキストとして与えた注視領域の範囲を赤枠で示す．\textbf{右}：明確な質問($\mathbf{q}_{CQ}$)の評価で使用したGPT4Vのプロンプト．}\label{fig:A_1}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{稲積駿}{2024年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了．同年より，理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム大学院生リサーチ・アソシエイト，同先端科学技術研究科博士後期課程に在学中．修士（工学）．言語処理学会会員．}\bioauthor{河野誠也}{2018年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2021年同先端科学技術研究科博士後期課程研究指導認定退学．博士（工学）．2020年に日本学術振興会特別研究員(DC2)を経て，2021年から理化学研究所ガーディアンロボットプロジェクト特別研究員．2023年から奈良先端科学技術大学院大学客員助教．2024年から理化学研究所ガーディアンロボットプロジェクト研究員．現在に至る．自然言語処理および音声言語処理に関する研究に従事．ACL,ISCA,人工知能学会，言語処理学会各会員．}\bioauthor{湯口彰重}{2017年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．2021年同博士後期課程研究指導認定退学．博士（工学）．理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム特別研究員などを経て，2023年より東京理科大学先進工学部機能デザイン工学科助教および理化学研究所ガーディアンロボットプロジェクト知識獲得・対話研究チーム客員研究員．ロボティクスに関する研究に従事．IEEE，SIGdial，日本ロボット学会，日本機械学会各会員．}\bioauthor{川西康友}{2011年京都大学大学院情報学研究科博士課程指導認定退学．京都大学博士（情報学）．名古屋大学大学院情報学研究科講師などを経て，現在，理化学研究所ガーディアンロボットプロジェクト感覚データ認識研究チームチームリーダー，奈良先端科学技術大学院大学客員教授，名古屋大学数理・データ科学・人工知能教育研究センター客員教授．ロボットによる3D環境認識に関する研究に従事．電子情報通信学会シニア会員，IEEE，画像電子学会各会員．}\bioauthor{吉野幸一郎}{2009年慶應義塾大学環境情報学部卒業．2011年京都大学大学院情報学研究科修士課程修了．2014年同博士後期課程修了．京大博士（情報学）．日本学術振興会特別研究員(PD)，奈良先端科学技術大学院大学情報科学研究科助教等を経て，2020年より理化学研究所ロボティクスプロジェクト（現ガーディアンロボットプロジェクト;GRP）知識獲得・対話チームチームリーダー．2024年より東京工業大学（現東京科学大学）情報理工学院准教授（クロスアポイントメント）．この間，2019年から2020年にかけてハインリッヒハイネ大学客員研究員．2022年から奈良先端科学技術大学院大学客員教授．音声言語処理および自然言語処理，特に音声対話システム・ロボット対話システムに関する研究に従事．本学会理事および編集委員．IEEESLTCMember,ARRActionEdior,SIGdialBoardMember,DSTCSteeringCommitteeMember.人工知能学会SLUD研究会専門委員．情報処理学会シニア会員，人工知能学会，日本ロボット学会各会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}