大規模マルチモーダルモデル（LMM）は英語では高い性能を示しているが，高品質な学習データの不足により，日本語における性能は依然として限定的である。既存の日本語LMMは英語データの翻訳に依存することが多く，日本固有の文化的知識を十分に捉えられていない。本研究では，十分に活用されてこなかった日本語PDFデータに着目し，学習資源としての有効性を検討する。事前学習済みモデルを用い，レイアウト解析，OCR，および視覚と言語の対応付けにより，PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築する。さらに，抽出した画像‐テキスト対から指示データを生成し，学習データを拡充する。実験の結果，Heron-Benchにおいて2.1％から13.8％の性能向上を達成し，PDF由来データが日本語LMMにとって有用なマルチモーダル資源であることを示した。

大規模マルチモーダルモデル（LMM）は英語において高い性能を達成している一方，日本語では学習データの制約により性能が依然として限定的である[2,3,4]。近年，複数のオープンソース日本語LMMが公開されているものの[5,6,7]，英語モデルとの差は依然として大きい。英語では大規模な公開画像‐テキスト対データセットが存在するのに対し，日本語LMMは英語データの翻訳に依存する場合が多い[8,6]。その結果，日本語固有の文化的知識を十分に学習できていないという課題がある。本研究では，日本語PDFデータに着目し，文化的に関連性の高い知識をLMM学習に取り込む。既存のマルチモーダルデータセットの多くがWebベースであるのに対し[9,10,11]，PDFには書籍や各種文書に由来する有用な情報が含まれている。しか本論文はACL2025Findings[1]で発表したものに準じている。な種類のPDFデータを示す。し，PDFデータを日本語LMMの学習に活用した研究は限られている。そこで本研究では，事前学習済みモデルを用いて，レイアウト解析，OCR，および視覚と言語の対応付けにより，PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築する。さらに，抽出データから指示データを生成し，日本語LMMを学習する。実験の結果，Heron-Bench[6]において2.1％から13.8％の性能向上を達成し，PDF由来データの有効性を確認した。本研究の主な貢献は以下のとおりである。•PDFから画像‐テキスト対を自動抽出する完全自動化パイプラインを構築し，手動アノテーションを不要とした。•PDF由来データにより，日本語LMMの性能がHeron-Benchにおいて2.1％から13.8％向上することを示した。•異なるモデルサイズ（3.8B，8B，14B）において，PDF由来データの有効性を分析した。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ワークを用い，事前学習，指示チューニング，および継続的ファインチューニング（CFT）の3段階で学習を行う。DatasetStageCountLLaVA-Pretrain-JA1558KLLaVA-v1.5-Instruct-620K-JA