LLM-jp-3VILA:日本語マルチモーダルデータセット及び強力な日本語マルチモーダルモデルの構築

日本語特化の強力な視覚言語モデル(VLM)を構築するためには、日本語のマルチモーダルデータが必要である。英語のマルチモーダルデータは先行研究において多く提案されているが、日本語のデータセットは不足している。この問題に対する一つの解決策には、英語のマルチモーダルデータを機械翻訳によって日本語に翻訳することが挙げられる[1]。しかし、この方法では英語のテキストの翻訳時に画像の内容を考慮できないこと、翻訳誤りが生じることなどの問題がある。さらに、英語のマルチモーダルデータの画像のソースは一般的には英語のウェブサイトであるため、日本の文化を反映した画像はほとんど含まれない問題がある。このような言語間の差に対応するため、本研究で∗Equallycontributed.ArchitectureTrainingLLM-jp-3VILAProjectorLLM東京スカイツリーの写真です。Step0:Projectorinit.LLMLLaVA1.5PretrainingDatatextualtokensvisualtokens+558KJapaneseImage-TextPairStep1:Interleavedpre-trainingProjectorCOYO+6MJapaneseImage-TextPairViT+6MJapaneseInterleavedDataMMC4これは桜とStep2:Vision-textjointSFTLLaVA1.5InstructionTuningDataSynthDoG-jaJA-VG-VQAExistingDataset(En)+ExistingDataset(Ja)168KOriginalInstructionTuningDataProposedDatasetVisualLanguageTasks■色は本研究で構築したデータを示す。はゼロから日本語マルチモーダルデータセットを構築する手法を提案する。我々は事前学習データと指示データの2種類のデータを日本語で構築する。事前学習データとしては、ウェブ上からデータを収集することで画像・テキスト対データと交互配置(interleaved)データを構築する。指示データとしては、LLaVA[2]のデータ構築方法にならって画像のキャプション等を既存の大規模言語モデル(LLM)に入力して画像に関する指示データを日本語で生成する。また、日本に関連する画像を既存のVLMに入力し指示データを生成することによって、より日本の文化を反映したデータセットを構築する。実験において、提案したデータセットで事前学習と指示学習を行ったモデルは、機械翻訳されたデータセットで学習したモデルよりも高い性能を持つことを示す。モデルのアーキテクチャとしてはVILA[3]を採用し、英語データセットと提案した日.本語データセットを用いてモデルを学習する。この手法は日本語に限らず、あらゆる言語に適用できる。本研究により、日本語VLM研究に利用できるリソースが大幅に強化され、VLMにおけるより効果的なローカライゼーションと文化理解が可能になると考えられる。モデルの重み、データセット、学習コードは一般に公開している1）。