MOMIJI:日本語大規模インターリーブ視覚言語データセット

インターリーブ視覚言語データとは，画像とテキストセグメントが共有されたコンテキスト内で交互に現れる形式を有するウェブ文書のようなデータである．このようなデータは大規模視覚言語モデル（LVLM）の事前学習の要となっており，基盤となる大規模言語モデル（LLM）の推論能力や文脈内学習能力を継承できるようにすることが期待される[1,2,3]．英語・中国語については大規模なインターリーブデータセットが豊富に存在する一方で[4,5,6,7]，日本語に対しては高品質な資源が依然として限られている．さらに，先行研究ではインターリーブデータのクリーニングの重要性を強調してきたが[8]，具体的なフィルタリングパイプラインを開示したり，Interleaveレイアウトと画像-テキスト間の意味的関連性がそれぞれLVLMの性能にどのように個別に寄与するかを定量化している研究は少ない．その結果，これら2つの要因の相対的な重要性は依然として不明確である．このギャップを埋めるため，私たちはMOMIJI（ModernOpenMultImodalJapanesefIlteredDataset）を提案する．MOMIJIは，CommonCrawlから抽出したウェブ文書に厳格なフィルタリングパイプラインを適用することで構築された高品質な日本語インターリーブ視覚言語データセットである（図1）．また，レイアウトの寄与と画像-テキスト間の意味的関連性の寄与がLVLMの事前学習にどのように影響するか調査するため，MOMIJIを基盤として，レイアウトと意味的関連性を変化させた10通りの制御されたデータセット派生版を作成する（図2）．包括的な実験を通じて，意味的関連性が改善の主要な駆動要因であり，関連性が高い場合にInterleaveレイアウトが追加の利得をもたらすことが確認された．