PDF活用による日本語大規模マルチモーダルモデルの性能向上

大規模マルチモーダルモデル（LMM）は英語では高い性能を示しているが，高品質な学習データの不足により，日本語における性能は依然として限定的である。既存の日本語LMMは英語データの翻訳に依存することが多く，日本固有の文化的知識を十分に捉えられていない。本研究では，十分に活用されてこなかった日本語PDFデータに着目し，学習資源としての有効性を検討する。事前学習済みモデルを用い，レイアウト解析，OCR，および視覚と言語の対応付けにより，PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築する。さらに，抽出した画像‐テキスト対から指示データを生成し，学習データを拡充する。実験の結果，Heron-Benchにおいて2.1％から13.8％の性能向上を達成し，PDF由来データが日本語LMMにとって有用なマルチモーダル資源であることを示した。