画像キャプションを利用したIconQAタスクへのアプローチ

本研究では，抽象的なダイアグラム画像の読解と多様な推論能力を必要とするVisualQuestionAnswering（VQA）タスクの1つであるIconQA[1]に取り組む．我々はVQAタスクを解くにあたって，1）視覚情報と言語情報における意味表現の紐付け，2）言語空間上での視覚推論における大規模言語モデルの推論能力の活用，を目的にキャプション生成モデルを用いた視覚情報の拡張を行う．本研究ではIconQAで定義された各スキル集合において，視覚情報の拡張がVQAモデルの推論能力にどのような影響を与えるか調査を行う．実験結果より，キャプションによる視覚情報の拡張がVQAタスクを解く手がかりを提供する可能性があることを示す．