本研究では，抽象的なダイアグラム画像の読解と多様な推論能力を必要とするVisualQuestionAnswering（VQA）タスクの1つであるIconQA[1]に取り組む．我々はVQAタスクを解くにあたって，1）視覚情報と言語情報における意味表現の紐付け，2）言語空間上での視覚推論における大規模言語モデルの推論能力の活用，を目的にキャプション生成モデルを用いた視覚情報の拡張を行う．本研究ではIconQAで定義された各スキル集合において，視覚情報の拡張がVQAモデルの推論能力にどのような影響を与えるか調査を行う．実験結果より，キャプションによる視覚情報の拡張がVQAタスクを解く手がかりを提供する可能性があることを示す．

視覚情報と言語情報の意味関係を結びつけたマルチモーダルな知識[2]を計算機が獲得することは，実社会において人工知能研究が目指す最終目的の1つである．この目的の実現に向けた取り組みの1つとして，画像中の視覚情報に関連する質問に解答することで計算機の読解能力を定量的に評価するVQA[3,4]タスクが研究されている．特にアイコンのような抽象的なダイアグラム画像を推論対象とした1）IconQA[1]では，VQAタスクを解く上で必要とされる13の推論スキル集合を提案しており，例えば物体認識やテキスト読解，常識推論や数値推論などのスキルが含まれる．近年ではTransformer[5]を用いて，言語情報と視覚情報の関連する意味表現を紐づけることで質問に解答するVQAモデルが多く提案されているが，豊富な視覚情報を含むダイアグラム画像を対象にしたVQAモデルは少なく，その1）CaliforniaCommonCoreContentStandardsのIXLMathLearn-ingより収集したデータに対し，小学校3年生までに習う算数の問題をクラウドソーシングで作成している．方法論と推論スキル別の関係性については十分に明らかにされていない．本研究では，キャプション生成モデルを用い，画像を言語として記述する視覚情報の拡張が，様々な推論スキルに対してどのような影響をもたらすのか調査することを目的として，IconQAのベースラインモデルであるpyramidpatchcross-modalTransformer（Patch-TRM）[1]を用いて入力画像と質問に加えてキャプションを後期接続するモデルを提案する．本研究の貢献は以下の通りである．•視覚情報と言語情報の意味表現を紐付けることを目的に，視覚情報の拡張として入力画像のキャプションをVQAモデルに組み込む方法を提案し，推論スキル別にその影響を評価する．•大規模言語モデルの推論能力を活用した言語空間上での視覚推論を行うために，言語情報として記述されたキャプションを入力としたGPT-3[6]の推論性能について調査する．•キャプション生成を用いた視覚情報の拡張が視覚推論に有効であることを示した．