マルチモーダルLLMの縦書きテキスト読み取り能力の評価

文書画像からその内容を理解するタスクはマルチモーダル大規模言語モデル(MLLM)の代表的な応用先である。このタスクを解くには、まず文書に何が書かれているかを読み取る必要がある。特に日本語には縦書きの文書があるため、それに対応する必要があるが、日本語の縦書き文書の読解に焦点を当てた研究は限られている。本研究では、MLLMの日本語縦書きテキスト読み取り能力を評価する。実験のために、日本語のOCR合成データセットを構築する。また、現実世界の縦書き文書から評価データセットを作る。構築したデータセットでの評価の結果、現在のMLLMは横書きテキストに比べると、縦書きテキストに対する性能は低いことが明らかになった。さらに、合成した日本語縦書きOCRデータセットでMLLMを学習した結果、縦書きテキストがうまく読み取れなかったモデルの性能が向上することがわかった。