LargeVisionLanguageModel(LVLM)は近年急速に進化しており、文書画像理解のタスクにおいてもEnd-to-Endで高い精度を達成している。一方で、GPT-4oクラスのモデルであっても画像内の文字認識誤りが発生することがあり、ビジネスでの実運用において課題となっている。本研究では、LVLMに文書画像内テキストを埋め込むことで、高精度な文書画像理解を実現することを目指す。既存のLVLMに文書画像内テキストをプラグイン的に埋め込む方式を提案し、その有効性を検証した。

近年、LVLMの研究が盛んに行われている。写真のような自然画像から、グラフや図表など、高い精度で画像内の情報を理解することができる。特に2024年以降のLVLMはオープンソースのモデルでも画像入力の高解像化が進み、画像内のテキストを高精度で理解することが可能になった。一方で、ビジネスで利用される文書には高密度なテキストが含まれており、高解像度のLVLMであっても、小さい文字や装飾文字などで文字認識の誤りが発生することがある。我々はビジネスドメインでのLVLMの実用化を目指しており、文字認識誤り由来のハルシネーションを防ぐことは重要である。ビジネスシーンで利用される文書はPDF形式である場合が多く、文書画像内のテキストはその位置情報と共に取得することができる。また、スキャンした文書画像であっても、活字であればOCRによりテキストとその位置情報を高精度で取得することができる。従って、LVLMの文字認識由来の誤りを防ぐためには、これらの文書画像内テキストを活用することが有効であると考えられる。実際にエンコーダ系の分類モデルまで遡ると、文書画像内テキスト埋め込みの研究は一定の成果があり、最近ではそれらの手法の影響を受けてLLM,LVLMでも文書画像内テキスト埋め込みの研究が行われている。LayoutLMシリーズ[1,2,3]は文書画像内のテキストを活用するエンコーダ系モデルであり、文書分類、質問応答、情報抽出などのタスクで高い精度を達成している。また、LLM,LVLMではInstructDr[4],LayoutLLM[5],LayTextLLM[6],DocLLM[7]などのモデルが提案されており、文書内のOCRテキストとその位置情報を埋め込む。CLIPのImageEncoderを用いたLLaVA系[8]のLVLMでは画像、文字、グラフ読み取りの性能が飛躍的に向上する一方で、文書画像理解に特化し、テキストとそのbbox座標を埋め込むマルチモーダルLLMは独自のアーキテクチャを採用している場合が多く、昨今のLLaVA系モデルの性能向上の恩恵を十分に受けられていない。本研究では、LVLMに文書画像内のテキストをプラグイン的に埋め込む方式を提案し、LLaVA系モデルの画像認識能力を活かしつつ、文書画像内テキストの読み取り精度を向上させることを目指す。その.ためにいくつかの埋め込み方式を提案、比較し、有効性を検証した。