表・グラフに対する高難度の日本語QAデータセットの構築

近年，自然言語処理の分野では，大規模言語モデル(Large-LanguageModel，LLM)が研究の中心的役割を担っており，マルチモーダルな情報を処理するVision-LanguageModel(VLM)への関心も高まっている．VLMは，画像と自然言語を統合的に処理できることから，統計資料や業務レポートなどに含まれる図表の読み取りやそれに基づく質問応答(QA)への応用が期待される．これまで，英語を中心として図表に対するQAを対象としたデータセットや評価ベンチマークが数多く提案されてきた．DVQA[1]やFigureQA[2]は，合成的な図表を用いた基礎的な視覚推論を対象としており，PlotQA[3]やChartQA[4]は，実世界のグラフに対する数値推論や論理推論を扱う．また，InfographicVQA[5]は，視覚情報とテキストを組み合わせた複合的な推論能力と算術能力を評価する．一方，日本語を対象とした図表に対するQAに関する研究は依然として限定的である．JapaneseHeron-Bench[6]やJDocQA[7]は，日本語のテキストおよび画像情報を対象としており，JGraphQA[8,9]は，日本語のIR資料に含まれる図表へのQAを対象としたベンチマークである．JGraphQAを用いた評価の結果，比較的小規模なVLMであっても高い正答率が得られる一方，数値の比較や計算を伴う質問では正答率が低下する傾向が確認された．この傾向は，視覚的文脈における数学的推論の難しさを指摘したMathVista[10]の分析とも整合的であり，日本語での図表に対するQAにおいても同様の課題が存在することを示唆している．そこで本研究では，図表に対する計算および比較を含む，多段的な推論を必要とする高難度日本語QAデータセットを構築する．本データセットは200問から構成され，各質問に対して，図表タイプ，推論ステップの種類，ステップ数，および計算・比較の有無を示すタグ情報を付与することで，推論構造に基づく多角的な分析を可能とする．実験では，JGraphQAにおいて高い性能を示したVLMを用いて評価をおこない，本データセットが従来の日本語図表QAベンチマークと比較して，より高度な図表および算術推論能力を要求することを示す．また，日本語マルチモーダルモデルの高度な推論能力を測定するベンチマークとして，MMMU[11]を日本語に特化させたJMMMU[12]が提案されているが，本研究のデータセットは，図表に対する算術的な推論を中心とした多段的推論能力の評価に特化している点で，既存ベンチマークとは異なる位置づけを持つ．