Omni-JDocVQA:多種多様な文書を含んだ日本語視覚文書理解ベンチマークの構築

価が不可欠である．既存の日本語視覚文書理解ベンチマークは，収集文書の種類に応じたラベルの欠如既存ベンチ範囲の限定，評価文書のラベリング不足，および文マークの多くは，評価対象の文書に対してドメイン書内に必ず正解が存在することを前提とした設問設やフォーマットの分類が行われていない．そのた計という3つの課題を抱えており，現実的な文書理め，評価結果が単一のスコアとして算出されるに留解モデルの適用条件下での評価が困難である．本研まり，「モデルがどの分野の文書を得意とし，どの究は，広範な文書種別で構成された新しい日本語視形式で失敗しやすいのか」という詳細なエラー分析覚文書理解ベンチマーク（Omni-JDocVQA）を提案が不可能である．多角的な分析を通じてモデルの改する．本ベンチマークは，網羅的に収集された文書善指針を得るためには，文書の特性を精緻に捉えるに対する新たに設計された文書ラベリングに加え，ラベル体系を定義・付与することで，評価の粒度を実際の利用シーンを想定した現実的なQAタスクを高める必要がある．特徴とする．公開されている15種類の日本語・多QAアノテーションの不自然さ既存データセッ言語の視覚言語モデルをOmni-JDocVQAで評価し，トの主要な作問方法は，回答が記載された文書を作モデルの汎用性と課題を明らかにする．問者が熟読した上で，文書に関連する質問を作成する方式が一般的である．一方で，実世界でQAシス