視覚的質問応答における視線情報を利用した曖昧性解消に向けて

視覚的質問応答(VQA:VisualQuestionAnswering)は，画像に関する質問が与えられた時に回答を導くタスクであり，質問と画像中の情報から回答が一意に決定する状況を仮定する．しかし，VQAを人間と実世界対話を行うロボットに応用する場合，主語の省略や指示語が，視線などのマルチモーダルな補完情報（文脈情報）と共に利用される場合がある．本研究では画像中の人物が見ている対象の情報を利用したVQAデータセットを構築し，視線の先の物体名をVQAの曖昧性解消に利用した結果を報告する．