視覚的質問応答による文書情報抽出における同時多項目推論

視覚言語モデル(VisionLanguageModels,VLMs)[1,2,3]の進歩に伴い、視覚的質問応答(VisualQuestionAnswering,VQA)[4]は、文書画像から構造化情報を抽出する手法として注目されている[5,6,7]。特に、プロンプトベースのVQA(PromptVQA)では、ユーザが自然言語による問いかけを通じて文脈に応じた回答を得ることが可能である。そのため、複雑なレイアウトと高密度なテキストが混在する領収書や請求書などのビジュアルリッチな文書に対しても、多様な形式の質問を追加学習を要せずに行える点が大きな強みとなっている[8,9]。こうした利点により、VQAは情報抽出(InformationExtraction,IE)における拡張性の高いアプローチとして注目を集めている。しかし、既存のVQAベースIE手法は、図1(左)に示す、独立単項目VQA(IndependentSingle-ItemVQA,InSiVQA)方式を採用することが多い[10,11]。すなわち、必要な情報ごとに個別の質問を投げる方法である。これは直接的かつ単純な手法である一方、各✔❌✔✔✔✔InvoicefromVLMs,Inc.Subtotalis$350andtaxis10%whichis$35VLMs,Inc.$350$38NLProc,Inc.No.2501011INVOICEDate:01Jan,2025Billedto:VLMs,Inc.123AnywhereSt.,AnyCityFrom::VLMs,Inc.AnywhereSt.,AnyCityVisionLanguageModelVisionLanguageModelItemQuan3tyPriceAmountPaper1$50$50Poster3$100$300Subtotal$350Tax(10%)$35Total$385Whereisthisinvoicefrom,andhowmucharethesubtotalandtax?Whereisthisinvoicefrom?Howmuchisthesubtotal?Howmuchisthetax?PaymentMethod:Cash同時推論VQA(JoMiVQA,右)方式の概要図。項目間の関係を無視してしまう欠点がある。例えば、請求書の合計金額をより正確に確認するためには、関連する行項目や課税対象額と税額など、他の関連情報を同時に考慮することが有用な可能性がある。しかし、InSiVQAではこうした依存関係を活用できず、その結果、潜在的な性能向上が十分に引き出せない懸念がある。この問題に対し、近年の研究では複数の質問の同時推論が模索されている。例えば、Tangら[12]は、単一推論ステップで複数質問に対応可能な新たなモデルアーキテクチャと、それに適した事前学習および学習可能なプロンプト戦略を組み合わせることで、複数質問を同時に考慮する手法を提案している。これにより性能改善が報告されているものの、その成果がモデルアーキテクチャや追加の事前学習、あるいは相互依存する項目を同時に推論する本質的な効果のどれに起因するのかは明確でない。そこで本研究では、モデルのアーキテクチャ改修や追加事前学習を行わずに、依存関係を有する複数の項目を同時に推論することが、VQAベースIEの性能向上に役割を果たし得るかを検証する。具体的には、PromptVQAにおいて複数の質問を同時にVLMへ入力するJointMulti-ItemVQA(JoMiVQA)を提案する(図1、右)。本手法を同一のVLM上でInSiVQAと比較することで、相互依存する項目を一括して推論することによる効果と、モデルアーキテクチャや事前学習による影響を切り離し、依存関係.を考慮することがいつ、どのように有用であるかを明らかにする。実験では、実世界のレシートデータセットを用い、0-shotおよびfew-shot設定の下、複数のVLMを用いて評価を行った。その結果、依存関係を持つ項目（例えば、税額と小計）において、JoMiVQAは一貫してInSiVQAを上回る性能を示すことが確認された。一方、依存性の低い項目や識別が容易な項目については、依存性の高い項目と比較して両手法間の性能差が縮小することも確認された。さらに、回帰分析を導入することで、項目間の相互依存性を定量化し、性能への影響を実証的に明らかにした。また、項目数や依存関係の要因が精度に与える影響を考察することで、VQAベースIEの最適化に向けた実用的な知見を提供する。