WAON:視覚言語モデルのための大規模かつ高品質な日本語画像・テキスト対データセット

視覚言語モデルの性能は事前学習に用いられる画像・テキスト対データセットの規模と品質に大きく依存する．しかし，英語や中国語に比べて，大規模かつ高品質な日本語画像・テキスト対データセットは不足している.この課題を解決するために，本研究では近年のデータキュレーションに関する知見を取り入れたデータセット構築パイプラインを整備し，CommonCrawlを基に約1億5,500万件の事例の日本語画像・テキスト対データセットWAONを開発した.評価実験の結果，WAONは既存のデータセットと比較して日本文化タスクにおける性能を効率的に向上させることを示した.データセット，モデル，およびコードは公開する.1）.