視覚的質問応答は、文書画像から構造化された情報を抽出する上で有望な手法である。しかし、従来の手法では、抽出対象となる各項目を個別に質問応答する方式で実現されることが多く、項目間に内在する依存関係を十分に活用できていない可能性がある。本研究では、関連性のある複数項目を同時に推論する手法を検討し、その有効性を実証する。実世界のデータセットを用いて評価した結果、相互依存性が高い項目群において、同時に推論する手法は従来の手法を大幅に上回る抽出精度を示し、相互依存性が低い項目に対しても同等の水準を維持できることを示した。また、項目数や項目間の関連の強さが抽出精度に及ぼす影響を分析し、視覚的質問応答に基づく情報抽出を効果的に実現するための知見を提示する。

視覚言語モデル(VisionLanguageModels,VLMs)[1,2,3]の進歩に伴い、視覚的質問応答(VisualQuestionAnswering,VQA)[4]は、文書画像から構造化情報を抽出する手法として注目されている[5,6,7]。特に、プロンプトベースのVQA(PromptVQA)では、ユーザが自然言語による問いかけを通じて文脈に応じた回答を得ることが可能である。そのため、複雑なレイアウトと高密度なテキストが混在する領収書や請求書などのビジュアルリッチな文書に対しても、多様な形式の質問を追加学習を要せずに行える点が大きな強みとなっている[8,9]。こうした利点により、VQAは情報抽出(InformationExtraction,IE)における拡張性の高いアプローチとして注目を集めている。しかし、既存のVQAベースIE手法は、図1(左)に示す、独立単項目VQA(IndependentSingle-ItemVQA,InSiVQA)方式を採用することが多い[10,11]。すなわち、必要な情報ごとに個別の質問を投げる方法である。これは直接的かつ単純な手法である一方、各✔❌✔✔✔✔InvoicefromVLMs,Inc.Subtotalis$350andtaxis10%whichis$35VLMs,Inc.$350$38NLProc,Inc.No.2501011INVOICEDate:01Jan,2025Billedto:VLMs,Inc.123AnywhereSt.,AnyCityFrom::VLMs,Inc.AnywhereSt.,AnyCityVisionLanguageModelVisionLanguageModelItemQuan3tyPriceAmountPaper1$50$50Poster3$100$300Subtotal$350Tax(10%)$35Total$385Whereisthisinvoicefrom,andhowmucharethesubtotalandtax?Whereisthisinvoicefrom?Howmuchisthesubtotal?Howmuchisthetax?PaymentMethod:Cash同時推論VQA(JoMiVQA,右)方式の概要図。項目間の関係を無視してしまう欠点がある。例えば、請求書の合計金額をより正確に確認するためには、関連する行項目や課税対象額と税額など、他の関連情報を同時に考慮することが有用な可能性がある。しかし、InSiVQAではこうした依存関係を活用できず、その結果、潜在的な性能向上が十分に引き出せない懸念がある。この問題に対し、近年の研究では複数の質問の同時推論が模索されている。例えば、Tangら[12]は、単一推論ステップで複数質問に対応可能な新たなモデルアーキテクチャと、それに適した事前学習および学習可能なプロンプト戦略を組み合わせることで、複数質問を同時に考慮する手法を提案している。これにより性能改善が報告されているものの、その成果がモデルアーキテクチャや追加の事前学習、あるいは相互依存する項目を同時に推論する本質的な効果のどれに起因するのかは明確でない。そこで本研究では、モデルのアーキテクチャ改修や追加事前学習を行わずに、依存関係を有する複数の項目を同時に推論することが、VQAベースIEの性能向上に役割を果たし得るかを検証する。具体的には、PromptVQAにおいて複数の質問を同時にVLMへ入力するJointMulti-ItemVQA(JoMiVQA)を提案する(図1、右)。本手法を同一のVLM上でInSiVQAと比較することで、相互依存する項目を一括して推論することによる効果と、モデルアーキテクチャや事前学習による影響を切り離し、依存関係.を考慮することがいつ、どのように有用であるかを明らかにする。実験では、実世界のレシートデータセットを用い、0-shotおよびfew-shot設定の下、複数のVLMを用いて評価を行った。その結果、依存関係を持つ項目（例えば、税額と小計）において、JoMiVQAは一貫してInSiVQAを上回る性能を示すことが確認された。一方、依存性の低い項目や識別が容易な項目については、依存性の高い項目と比較して両手法間の性能差が縮小することも確認された。さらに、回帰分析を導入することで、項目間の相互依存性を定量化し、性能への影響を実証的に明らかにした。また、項目数や依存関係の要因が精度に与える影響を考察することで、VQAベースIEの最適化に向けた実用的な知見を提供する。