画像キャプションを利用したIconQAタスクへのアプローチ

視覚情報と言語情報の意味関係を結びつけたマルチモーダルな知識[2]を計算機が獲得することは，実社会において人工知能研究が目指す最終目的の1つである．この目的の実現に向けた取り組みの1つとして，画像中の視覚情報に関連する質問に解答することで計算機の読解能力を定量的に評価するVQA[3,4]タスクが研究されている．特にアイコンのような抽象的なダイアグラム画像を推論対象とした1）IconQA[1]では，VQAタスクを解く上で必要とされる13の推論スキル集合を提案しており，例えば物体認識やテキスト読解，常識推論や数値推論などのスキルが含まれる．近年ではTransformer[5]を用いて，言語情報と視覚情報の関連する意味表現を紐づけることで質問に解答するVQAモデルが多く提案されているが，豊富な視覚情報を含むダイアグラム画像を対象にしたVQAモデルは少なく，その1）CaliforniaCommonCoreContentStandardsのIXLMathLearn-ingより収集したデータに対し，小学校3年生までに習う算数の問題をクラウドソーシングで作成している．方法論と推論スキル別の関係性については十分に明らかにされていない．本研究では，キャプション生成モデルを用い，画像を言語として記述する視覚情報の拡張が，様々な推論スキルに対してどのような影響をもたらすのか調査することを目的として，IconQAのベースラインモデルであるpyramidpatchcross-modalTransformer（Patch-TRM）[1]を用いて入力画像と質問に加えてキャプションを後期接続するモデルを提案する．本研究の貢献は以下の通りである．•視覚情報と言語情報の意味表現を紐付けることを目的に，視覚情報の拡張として入力画像のキャプションをVQAモデルに組み込む方法を提案し，推論スキル別にその影響を評価する．•大規模言語モデルの推論能力を活用した言語空間上での視覚推論を行うために，言語情報として記述されたキャプションを入力としたGPT-3[6]の推論性能について調査する．•キャプション生成を用いた視覚情報の拡張が視覚推論に有効であることを示した．