JAMMEval:再アノテーションによる日本語VQA評価データセットの信頼性向上

評価データセットはモデル開発において重要な役割を果たしている.モデル開発は一般にモデル学習と評価のサイクルで行われるが，評価データセットに不備があるとモデルの性能順位や評価結果が歪められ，評価の信頼性が低下する.その結果，モデル開発者は正しい現状認識を得られず，開発に関する意思決定に悪影響が及ぶ[1,2,3,4,5].優れた評価データセットが備えているべき要件として，ラベル誤りや曖昧性などのノイズが少ない，十分な事例数を含む，評価方法がシンプルである，評価を高速に行える，現実的・本質的な能力に対応した意味のあるタスクである，採点が正確である，すぐにスコアが飽和しない，などが提案されている[1,2,6].大規模視覚言語モデル(VLM)[7,8,9]の評価に用いられる画像質問応答(VQA)評価データセットのうち，英語では数学や図表を含む多様なドメインにおいてデータセットの継続的な改善がなされている[10,3,11].例えば，大学レベルの幅広い専門分野における知識を問うMMMU[12]には画像を見ずにテキストのみで解けてしまう事Question“こ䛾イラストについて詳しく説明してください。”Question“こ䛾画像に映っている魚䛾形をした飾り䛿、日本で䛿何と呼䜀れていますか？”Answer“こ䛾イラストで䛿、少年が机に座り、一枚䛾青い鳥䛾羽を小型ナイフで加工している様子が[...]”Answer“これら䛿「こい䛾ぼり」と呼䜀れています。”JA-VLM-Bench-In-the-Wild,id:25Heron-Bench,id:4画像無しで答えられる曖昧性abcdQuestion輸出䛾現状(中食・小売展開)というタイトル䛾グラフによりますと、2021年䛿2020年に比べて輸出額䛿何万円増えていますか。解答䛿数量䛾みで答えてください。Question“「中に人が入っている䛾？」と子供に聞かれたとき䛾親䛾典型的な返答䛿どれでしょう？A.そうだよ、よく知っている䛽。B.そうだよ。男性かな？女性かな？C.うーんどうだろう䛽D.そんなこと絶対言っちゃいけないでしょ！”Answer“10000万円増えていますです”Answer“C:うーんどうだろう䛽”CVQA(jasubset),id:139曖昧性JDocQA,id:304正答例䛾誤り適切な事例の例.(a)答えが一意に定まらず曖昧性のある自由記述式.(b)画像無しの質問文のみでも高確率で答えられる.(c)正答例が誤っている.(d)回答する人によって意見が分かれる.例が多く含まれるが，MMMU-Pro[10]はこの問題に対処するため，選択肢の数を増やしたり質問を画像に埋め込むなどの工夫を施し，難易度を高めた.日本語データセットの開発も進んでおり[13,14,15,16,17,18,19,20,21,22,23]，複数のVLMを包括的に評価するフレームワークも提案されている[24].これらの評価データセットおよびフレームワークは日本語特化VLMモデルの開発に活用されている[14,25,23,26].直近ではデータセットの継続的な改善として.JMMMU[22]の難易度をNanoBananaPro[27]を用いて向上させたJMMMU-Pro[28]が提案されている.しかし，既存の日本語データセットは英語データセットと比較して継続的改善が不十分である.多くのデータセットは図1に示すような問題を含み，いずれも評価に不適当である.例えば，答えが一意に定まらない曖昧性の高い問題，答えが間違っている問題では，モデルの性能を正しく評価できない.また，画像なしで回答可能な問題があると，VLMが持つ視覚能力の測定の解像度が落ちる.さらに，LLMを評価者としたリッカート尺度による採点手法を採用しているデータセットもあるが，この手法による評価はLLMの持つバイアスの影響を受けやすい.Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).りである．Heron-BenchLLMによって付与された参照回答の誤り事例を修正した．また，キャプション生成に近い自由記述形式の問題が付与された画像を用いて，回答が一意に定まるVQAを新規に作成した．JDocQA複数画像を用いたVQAの事例は，問題の最初の画像のみを対象としたVQAを作成した．CC-OCR本来のタスクは画像から文字を読み順で全て抜き出すOCRタスクである．我々は日本語サブセットの画像を用いて，画像中の文字を抜き出すOCRタスクをVQAの形式で作成した．JGraphQA質問応答と画像が対応しない事例を除去した2）.WAON-BenchWAON-Benchは日本文化に関連する374クラスの画像分類データセットであり，各クラス5枚の画像を含む．各クラスからランダムに１枚の画像を選び，画像の内容を問う多肢選択式のVQAを作成した.JAMMEvalの各データセットの統計量を表1に示す.質問応答を作りにくい画像や，情報量が乏しい画像については再アノテーションしなかったため，事例数は元のデータセットから減少したが，合計で1,968問のVQAを作成した．元のデータセットと区別するため，再アノテーションを行ったVQAデータセットは“-Pro”を接尾につけ，元のデータセットがVQAでない場合は“-VQA”をつけた.3JAMMEvalを用いたモデル評価3.1評価設定モデル評価では，オープンウェイトなモデルとして多言語対応のQwen3-VL-{2B,4B,8B,32B}[9]，InternVL3.5-{2B,4B,8B}[8]，日本語特化モデルのSarashina2.2-Vision-3B[26]を用いた.クローズドなモデルとしてGPT-{4o,5.1}[29,30]，Gemini3Pro[31]を用いた.GPT-4oについては，テキストのみ(text-only)での評価も行った.text-onlyのプロンプトは付録Bに示す.プロンプト簡潔回答では以下のプロンプトを用いた.{question}\n上記の質問に対して、正確かつ簡潔に答えてください。多肢選択式では以下のプロンプトを用いた.2）JGraphQAは画像の代わりにPDFのURLが公開されており，PDFが差し代わっていたことが原因だと考えられる．{question}\n{choices_str}\n与えられた選択肢から該当する選択肢のアルファベットだけで答えてください。採点方法JAMMEvalの評価指標は，全てのデータセットを通して正解率（Accuracy）で統一する.簡潔回答については，モデル出力における全角・半角や単位などの軽微な表記ゆれに対応するためにLLM-as-a-Judgeによって正解・不正解を判定した.具体的には(質問,正答,モデル出力)の三つ組をGPT-4oに与えて正解・不正解の判定させた.採点用のプロンプトは付録Bに示す.多肢選択については正規表現でアルファベットを抽出し，完全一致により正誤を判定した.生成設定温度は0，最大トークン数は各データセットで必要十分な値を設定した.思考モデルのGemini3Proについては思考レベルをlowとし，最大トークン数を1,024とした.3.2評価結果評価結果を図3に示す.多くのタスクおよびモデルシリーズで，モデルの規模と評価スコアに正の相関が見られた.また，日本語特化モデルのSarashina2.2-Vision-3Bは同程度の規模のモデルと比較してHeron-Bench-ProやCVQA-JA-Pro等の日本文化関連タスクで強い性能を示し，日本語特化の効果が示唆された.思考モデルのGemini3Proは全てのタスクにおいて最高性能を示しており，思考モデルの効果が示された.GPT-4o(text-only)は多肢選択式タスクのCVQA-JA-Pro，WAON-Bench-VQAにおいて45%程度解けており，ランダム予測より高い性能を示した.これは，曖昧性の除去や正答例の修正といった再アノテーションのみでは解消できない，選択肢設計や言語的手掛かりに起因する問題が残存していることを示唆している.この問題への対処は今後の課題とする.4再アノテーションの効果検証再アノテーションによるモデルの性能の識別解像度の変化を検証するために，VLMの学習段階におけるJDocQAとJDocQA-Proのスコア推移を調べた．VLMの性能は学習ステップ数や学習データセットによって変化するが，その性能変化の分解能で評価する.学習設定は，InternVL-3[32]のアーキテクチャを参考として，LLMにQwen3-4B[33]，画像エンコーダにSigLIP2[34]を用いた.学習データセットは，(i)FineVision[35]，(ii)FineVision+独自に開発しorg/licenses/by/4.0/).JDocQAandJDocQA-Pro80TrainingDatasetEvaluationBenchmarkFineVisionFullDatasetSubsetDatasetJDocQA-ProJDocQA706050Accuracy(%)4030201000100002000030000400005000060000TrainingSteps再アノテーションにより性能の識別能力が向上する.た日本語データセットJagleの全部，(iii)FineVision+Jagleの一部，の3パターンで検証した．学習は総バッチサイズ1,024，学習ステップ数は60,000ステップ，最大トークン数は4,096とした.評価結果の比較を行うため，JDocQAの評価手法もJDocQA-Proに合わせた．はJDocQAと比較して評価の分解能が高く，学習ステップや学習データセットの変化に伴うスコアの変動をより明確に捉えられていることが分かる.JDocQAには曖昧性の高い設問が多く含まれており，それらの設問ではモデル性能の変化を十分に捉えられないため，一部の設問が全体スコアを左右する構造となり，結果としてスコアが変化しにくくなっていた可能性がある.5おわりに本研究では，既存の日本語VQA評価データセット群の不適当な事例を分析し，再アノテーションを実施することでJAMMEvalを構築した.JAMMEvalは既存のデータセットの曖昧性や正答例の誤り等の問題を人手で修正しており，より信頼性の高い評価が可能である.JAMMEvalを用いたモデル評価では日本語特化モデルの効果や多肢選択式問題の課題が示された.また，効果検証では再アノテーションによってモデル性能の識別能力が向上することが明らかになった．org/licenses/by/4.0/).