マルチモーダルLLMの縦書きテキスト読み取り能力の評価

マルチモーダル大規模言語モデル(MLLM)の発展は著しく[1,2,3,4]、さまざまなマルチモーダルタスクに応用されている。それらのタスクの一つに文書画像QAタスクがある。これは入力された文書画像に対する質問に回答するタスクであり、さまざまなデータセットが提案されている[5,6,7,8,9,10]。このようなタスクを解くには、MLLMは入力文書画像内のテキストを読む必要がある。英語ではOCRタスクを含むさまざまなデータセットが整備されており、現在のMLLMは英語ベンチマークにおいて高精度に英語テキストが読めることが示されている。日本語の文書には、縦書きテキストが含まれることがあり、それらに対応する必要がある。しかし、ほとんどのMLLMのOCRベンチマークは横書きテキストに焦点を当てており、日本語縦書きテキストが読めるかについては調べられていない。この問題に対処するため、本研究ではMLLMの縦書き日本語テキストのOCR能力を評価する。そのために、日本語のテキストを描画した合成画像のデータセット(JSSODa)を構築する。このデータセットの画像には、横書きと縦書きの両方があり、複数段組み(1-4段)のテキストを含む。さらに実世界のPDFの縦書きテキストを含むページから、OCRデータセット(VJRODa)を構築して評価を行う。実験では、複数のオープンMLLMとクローズドMLLM、さらに合成画像のデータセットでFine-Tuningしたモデルを構築したテストデータセットで評価する。現在のMLLMは横書き日本語テキストよりも縦書き日本語テキストの方が読み取り性能が低いことが予想されていたが、評価の結果これを確認した。また、日本語テキストの合成画像データセットを用いて、縦書きの日本語テキストの読み順がわかっていなかったモデルをFine-Tuningすると、合成画像と実世界の文書画像両方において、縦書きの日本語テキストの読み取り性能が向上することがわかった。本研究のデータセットとコードは一般公開している1）。