MOMIJI:日本語大規模インターリーブ視覚言語データセット

インターリーブ視覚言語データセットは，大規模視覚言語モデル（LVLM）の事前学習において中核的な役割を担っている．しかし，日本語の大規模なインターリーブ視覚言語データセットは少なく，またInterleaveレイアウトの有効性に関する証拠も一貫していない．そこで我々は，CommonCrawlから構築したオープンな日本語大規模インターリーブ視覚言語データセットMOMIJIを提案する．さらに，Interleaveレイアウトと画像-テキスト間の意味的関連性を互いに独立に変化させる10通りの統制されたデータセット派生版を構築し，これらでLVLMを事前学習した際の性能を比較することで，Interleaveレイアウトが有効となるデータ特性を調査した．