文書画像からその内容を理解するタスクはマルチモーダル大規模言語モデル(MLLM)の代表的な応用先である。このタスクを解くには、まず文書に何が書かれているかを読み取る必要がある。特に日本語には縦書きの文書があるため、それに対応する必要があるが、日本語の縦書き文書の読解に焦点を当てた研究は限られている。本研究では、MLLMの日本語縦書きテキスト読み取り能力を評価する。実験のために、日本語のOCR合成データセットを構築する。また、現実世界の縦書き文書から評価データセットを作る。構築したデータセットでの評価の結果、現在のMLLMは横書きテキストに比べると、縦書きテキストに対する性能は低いことが明らかになった。さらに、合成した日本語縦書きOCRデータセットでMLLMを学習した結果、縦書きテキストがうまく読み取れなかったモデルの性能が向上することがわかった。

マルチモーダル大規模言語モデル(MLLM)の発展は著しく[1,2,3,4]、さまざまなマルチモーダルタスクに応用されている。それらのタスクの一つに文書画像QAタスクがある。これは入力された文書画像に対する質問に回答するタスクであり、さまざまなデータセットが提案されている[5,6,7,8,9,10]。このようなタスクを解くには、MLLMは入力文書画像内のテキストを読む必要がある。英語ではOCRタスクを含むさまざまなデータセットが整備されており、現在のMLLMは英語ベンチマークにおいて高精度に英語テキストが読めることが示されている。日本語の文書には、縦書きテキストが含まれることがあり、それらに対応する必要がある。しかし、ほとんどのMLLMのOCRベンチマークは横書きテキストに焦点を当てており、日本語縦書きテキストが読めるかについては調べられていない。この問題に対処するため、本研究ではMLLMの縦書き日本語テキストのOCR能力を評価する。そのために、日本語のテキストを描画した合成画像のデータセット(JSSODa)を構築する。このデータセットの画像には、横書きと縦書きの両方があり、複数段組み(1-4段)のテキストを含む。さらに実世界のPDFの縦書きテキストを含むページから、OCRデータセット(VJRODa)を構築して評価を行う。実験では、複数のオープンMLLMとクローズドMLLM、さらに合成画像のデータセットでFine-Tuningしたモデルを構築したテストデータセットで評価する。現在のMLLMは横書き日本語テキストよりも縦書き日本語テキストの方が読み取り性能が低いことが予想されていたが、評価の結果これを確認した。また、日本語テキストの合成画像データセットを用いて、縦書きの日本語テキストの読み順がわかっていなかったモデルをFine-Tuningすると、合成画像と実世界の文書画像両方において、縦書きの日本語テキストの読み取り性能が向上することがわかった。本研究のデータセットとコードは一般公開している1）。