多分野マルチモーダル理解ベンチマークである本論文では、テキスト埋め込み型の日本語マルチJMMMU-Proを提案する。JMMMU-ProはMMMUかモーダル理解ベンチマークであるJMMMU-Proと、らMMMU-Proへの進化を踏襲し、既存のJMMMUそのスケーラブルな構築手法であるVibeBenchmark（JapaneseMMMU）[12]に含まれる1,320問すべてConstructionを提案する。JMMMU-ProはJMMMUの設問文および設問画像を単一の合成画像として埋を拡張し、設問画像と設問文を単一の画像として統め込むことで構築されている。確立されたJMMMU合することで、視覚的知覚を通じた視覚・テキストを基盤として構築されているため、JMMMU-Proと統合理解を必要とするベンチマークである。本研究JMMMUとの間で厳密な条件下での比較が可能であで提案するVibeBenchmarkConstructionは、画像生り、これはモデルの視覚的認知能力に関する有意義成モデルが視覚的質問の候補を生成し、人手によるな指標を提供する。結果として、JMMMU-Proは高検証を行うとともに、必要に応じてプロンプトを調い実用性とともに、モデル開発者に対して極めて情整して再生成することで品質を担保する。実験の結報量の多いフィードバックを提供するベンチマーク果、すべてのオープンソースLMMsはJMMMU-Proである。に対して著しく性能が低下することが確認された。JMMMU-Proの構築にあたり、本研究ではVibeBenchmarkConstructionと呼ぶ新たなベンチマーク構

築手法を提案する。本手法では、画像生成モデルが近年、英語における大規模マルチモーダルモデル視覚的設問の生成において中心的な役割を担い、人（LMMs）の成功により[1,2,3]、多言語対応LMMs手による作業は生成結果の確認および必要に応じたの開発[4,5,6,7]や、非英語言語に特化したLMMsプロンプトの調整と再生成に限定されることで、一の研究[8,9]への関心が高まっている。日本語領貫した品質を担保する。従来、テキスト埋め込み型域においてもLMMsの開発は進みつつあるものベンチマーク（例：MMMU-Pro[13]）の構築においの[8,10,11]、評価用ベンチマークの不足という要ては、すべての設問を人手で作成する必要があり、因もあり、その進展は英語領域と比較して依然としスケーラビリティに乏しく、多大な人的コストを要て緩やかである。していた。これに対し、VibeBenchmarkConstruction既存の日本語ベンチマークにおける主要な制約のは、最先端の画像生成モデルであり高い写実性を有一つは、設問画像と設問文がモデルに対して別個のするNanoBananaPro[14]を活用する。NanoBananaモダリティとして与えられている点にある。現在のProは、高度に現実的な画像を生成できるだけでなLMMsの利用形態を踏まえると、ユーザは日本語テく、日本語テキストを画像内に正確に埋め込む能力キストと画像の双方を含むスクリーンショットを入を有している。VibeBenchmarkConstructionは、高い力として与えることが一般的である。そのため、幅スケーラビリティを備え、人的コストを最小限に抑広い実世界のユースケースを支援するためには、設えつつ、レイアウトの多様性を制御可能である点に問画像と設問文の双方が視覚モダリティとして提示特徴がある。NanoBananaProと人手による検証をされる、十分に複雑なタスクにおいてLMMsを評価組み合わせることで、JMMMU-Proに含まれる設問することが不可欠である。のおよそ95%が自動生成されており、本手法が今後org/licenses/by/4.0/).JMMMUJMMMU-ProTextSet<image1>の城の名前は何でしょう？A.名古屋城B.弘前城C.彦根城D.松本城<image1>の城の名前は何でしょうA.名古屋城B.弘前城C.彦根城D.膜炎ImageSetのテキスト埋め込み型ベンチマーク構築に向けた有効な指針となる可能性を示している。本研究の実験では、計15種類のLMMsを評価した。主な実験結果は以下の通りである。(i)オープンソースLMMsはJMMMU-Proにおいて大きく性能が低下する。(ii)近年の強力な推論能力を有するクローズドソースLMMsはJMMMU-Proにおいて比較的良好な性能を示し、クローズドソースとオープンソースのLMMsの間に顕著な性能差が存在することが明らかとなった。(iii)詳細な分析の結果、失敗要因の大きな一因として日本語OCR能力の不足が確認されたものの、高性能なOCRのみではJMMMU-Proを解くには不十分であることが分かった。