視覚的質問応答における視線情報を利用した曖昧性解消に向けて

実世界での事物を考慮した人間とロボットの自然なインタラクションを実現することは，VisionandLangauge研究の到達点の一つである．この際，ロボットは自身が見ている視覚情報と人間が発する言語情報を統合・理解して，適切な応答を返す能力を備える必要がある．視覚的質問応答(VQA:VisualQuestionAnswering)は，画像に関する質問が与えられた際に質問に対する回答を導くタスクであり，視覚・言語情報の統合に関する重要なベンチマークが公開されている[1,2,3]．既存のVQAに含まれる質問は，その意図が明確であり回答が一意に決まることが多い．しかし，人間同士のインタラクションに見られるように，実際に人間が行う質問は，指示語や主語の省略によって曖昧さが生じその回答が一意に決まらない場合がある[4]．図1上は既存のVQAデータセットに含まれる質問の例であり，図1下は指示語や主語の省略により曖昧性が生じる質問の例である．本研究では，VQAにおける質問の曖昧性を解消するために，視線[5]に代表されるマルチモーダルQ:壁にある棚に人形はいくつありますか？Q:部屋の床はどんな材質で出来ていますか?A:2体A:木材Q:頭にかぶっているものは何色ですか?Q:その人の性別は何ですか?視線情報A:黄色A:男性VQAデータセット(図下)の例．図下は，画像，質問，回答に加え視線の視点と終点が付与されている．な文脈情報を用いることを想定し，視線情報付きVQAデータセットおよびタスクを提案する.視線情報付きVQAタスクは画像内の人物が発するであろう曖昧な質問に対して，その人物の視線情報を考慮して回答する．例えば，図1の図下に示された曖昧な質問は，「傘を差している女性」が「赤いジャケットを着た男性」に注視していることを追加情報として用いれば，回答を一意に定めることができる．本研究ではさらに，視線の先の物体が扱えるように既存のVQAモデルの入力を拡張し，視線付きVQAタスクによるモデルの評価を行った.