価が不可欠である．既存の日本語視覚文書理解ベンチマークは，収集文書の種類に応じたラベルの欠如既存ベンチ範囲の限定，評価文書のラベリング不足，および文マークの多くは，評価対象の文書に対してドメイン書内に必ず正解が存在することを前提とした設問設やフォーマットの分類が行われていない．そのた計という3つの課題を抱えており，現実的な文書理め，評価結果が単一のスコアとして算出されるに留解モデルの適用条件下での評価が困難である．本研まり，「モデルがどの分野の文書を得意とし，どの究は，広範な文書種別で構成された新しい日本語視形式で失敗しやすいのか」という詳細なエラー分析覚文書理解ベンチマーク（Omni-JDocVQA）を提案が不可能である．多角的な分析を通じてモデルの改する．本ベンチマークは，網羅的に収集された文書善指針を得るためには，文書の特性を精緻に捉えるに対する新たに設計された文書ラベリングに加え，ラベル体系を定義・付与することで，評価の粒度を実際の利用シーンを想定した現実的なQAタスクを高める必要がある．特徴とする．公開されている15種類の日本語・多QAアノテーションの不自然さ既存データセッ言語の視覚言語モデルをOmni-JDocVQAで評価し，トの主要な作問方法は，回答が記載された文書を作モデルの汎用性と課題を明らかにする．問者が熟読した上で，文書に関連する質問を作成する方式が一般的である．一方で，実世界でQAシス

テムを利用する状況では，ユーザの置かれた状況に視覚言語モデル（VisionLanguageModel;VLM）の基づく質問が先に存在し，それを解決するために文発展に伴い，文書画像を直接理解する視覚文書理書を調査するのであり，データセットの作問方法と解[1]の研究が進んでいる．その中核をなすタスは質問と文書の因果関係が反転している．したがっクが，DocumentVisualQuestionAnswering（DocVQA）て，モデルの真の実用性を評価するためには，この[2–10]である．英語圏においては，実世界の文書ような因果関係まで想定した自然な質問を設計するの多様性や複雑性を反映するため，多様なドメイことが求められる．ンを対象としたDUDE[6]や，長文読解に特化したこれらの課題を解決すべく，本研究では新しい日MMLongBench-Doc[7]など，高度なベンチマークが本語視覚文書理解ベンチマーク「Omni-JDocVQA」提案されている．しかし，日本語圏におけるベンチを設計する．まず，分析対象となる文書として広範マーク整備[8–10]は，英語圏の進展と比べて発展途なドメインとフォーマットを網羅し，これらを横断上であり，以下の3つの課題を抱えている．するラベル体系を定義・付与することで，評価対象日本語文書の網羅性の欠如既存ベンチマークのモデルに対する精密な分析を可能とする．質問作は，官公庁の公開文書[8]やスライド形式[9]など特成プロセスにおいては「ユーザの利用コンテキス定の情報源・形式に偏っており，多様なドメインやト」を先に定義し，文書内容を既知としない状況下フォーマットを網羅できていない．DocVQAタスクでの作問を行うことで，実際の利用に即した推論能におけるVLMの汎用的な能力を測定するためには，力を要求するVQAタスクとした．本ベンチマークorg/licenses/by/4.0/).は特定の文書種別に依存しない汎用的な視覚文書理解能力の評価基盤を提供する．また本ベンチマークを用いた評価を通じて，現行のVQAモデルの限界を明らかにする．