PDF活用による日本語大規模マルチモーダルモデルの性能向上

大規模マルチモーダルモデル（LMM）は英語において高い性能を達成している一方，日本語では学習データの制約により性能が依然として限定的である[2,3,4]。近年，複数のオープンソース日本語LMMが公開されているものの[5,6,7]，英語モデルとの差は依然として大きい。英語では大規模な公開画像‐テキスト対データセットが存在するのに対し，日本語LMMは英語データの翻訳に依存する場合が多い[8,6]。その結果，日本語固有の文化的知識を十分に学習できていないという課題がある。本研究では，日本語PDFデータに着目し，文化的に関連性の高い知識をLMM学習に取り込む。既存のマルチモーダルデータセットの多くがWebベースであるのに対し[9,10,11]，PDFには書籍や各種文書に由来する有用な情報が含まれている。しか本論文はACL2025Findings[1]で発表したものに準じている。な種類のPDFデータを示す。し，PDFデータを日本語LMMの学習に活用した研究は限られている。そこで本研究では，事前学習済みモデルを用いて，レイアウト解析，OCR，および視覚と言語の対応付けにより，PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築する。さらに，抽出データから指示データを生成し，日本語LMMを学習する。実験の結果，Heron-Bench[6]において2.1％から13.8％の性能向上を達成し，PDF由来データの有効性を確認した。本研究の主な貢献は以下のとおりである。•PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築し，手動アノテーションを不要とした。•PDF由来データにより，日本語LMMの性能がHeron-Benchにおいて2.1％から13.8％向上することを示した。•異なるモデルサイズ（3.8B，8B，14B）において，PDF由来データの有効性を分析した。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ワークを用い，事前学習，指示チューニング，および継続的ファインチューニング（CFT）の3段階で学習を行う。DatasetStageCountLLaVA-Pretrain-JA1558KLLaVA-v1.5-Instruct-620K-JA