文書画像QAの表理解における検索と生成に適した表現形式の提案

文書画像に対する質問応答（DocumentVQA）は，帳票・マニュアル・パンフレット等の実務文書を対象に重要性が高まっている．[1]中でも表は，行列構造に基づく数値・属性の対応関係を含み，質問が参照すべきセルや列を正しく特定できなければ誤答に直結する．さらに，文書画像はテキストだけでなく，ページ構造や非テキスト要素（図・区切り等）を含む多様な要素が混在するため、表への質問は「どの表を見るべきか」と「表から何を読み取るべきか」の両方ともが難しい課題である．近年，検索と生成を組み合わせたRAGは知識集約タスクで有効な枠組みとして整理されており，[2]これをレイアウトや図表を含むマルチモーダル文書へ拡張したMLLM-RAGも提案され，[3]注目されている．ただし，この枠組みが有効に機能するためには，検索段階で適切な根拠を供給できること，および生成段階でその根拠を正しく参照できることの両方が満たされる必要がある．表への質問の失敗要因は二段階に分かれる．第一に，検索段階で正しい表を上位に提示できなければ，生成はそもそも根拠不足となる．第二に，正しい表を提示できても，生成段階で表の構造理解・数値の取り違え・注意の分散が起きると誤答が生じる．特に，関係のない画像が混入しうる現実的設定では，画像のみの入力は頑健性が低下しやすい一方で，表をテキスト化して,テキスト表現として併用することで注意を誘導できる可能性がある．本研究では，表をMarkdown（MD）として構造表現に変換する方法，表内容を要約（SUM）として言語化する方法，およびMD+SUMの併用が，検索・回答の双方に与える影響を体系的に評価する．具体的には，レイアウトに基づくチャンク化と埋め込み検索により、どのテキスト形式の表がヒットしやすいかを測定し，さらにマルチモーダル生成モデルに対しての画像の入力枚数など、入力内容を変え，回答精度の変化を分析する．本論文の貢献は以下の2点である．•表のテキスト表現（MD/SUM/MD+SUM）を，検索（Hit@5）と回答（LLM-as-a-Judgeの正解率）の両面から比較し，検索と生成という目的に応じた設計指針を示す．•総画像枚数（3/5/10）と表テキスト表現を要因とする実験により，画像のみ入力の劣化とテキスト併用の頑健性を定量的に明らかにする．