WAON:視覚言語モデルのための大規模かつ高品質な日本語画像・テキスト対データセット

高性能な視覚言語モデル（VLM）を開発する上で画像・テキスト対データセットの規模と質は重要な要素である[1,2,3].しかし，既存のデータセット構築の取り組みの多くは英語と中国語に焦点を当てており，大規模かつ高品質なデータセットをその他の言語向けに構築した事例は少ない.本研究では，日本語の言語および文化理解のための大規模かつ高品質なデータセットの構築を目指す.タセットはすでに複数提案されているが[1,4,5],いくつかの問題がある.約1億2,000万件の日本語画像・テキスト対を含むReLAION[1]の日本語サブセットは数年前に構築されたデータセットであり，2025年6月時点で画像URLの30%弱がアクセス不能となっている.さらに，フィルタリングに用いられているmCLIP[6]は最新モデルと比べて性能が劣り，データ品質が低い[7].また，ReLAIONの英語サ1）https://speed1313.github.io/WAONWAON-BenchTop-1Acc(%)959493929190WAONReLAION89050001000015000200002500030000Stepデータセット事例数ソースWIT(jasubset)[8]1MWikipediaReLAION(jasubset)[1]120MCommonCrawlReLAION-ja[4]1.5BCommonCrawlllm-jp-japanese-image-text[5]6.6MCommonCrawlWAON(Ours)155MCommonCrawlブセットのキャプションをLLMにより日本語へ翻訳するアプローチも提案されているが，この方法では翻訳ミスや言語の混在が生じやすい.加えて，主に西洋文化圏の画像・テキスト対で構成されているため，日本文化に関連するタスクの性能向上に寄与しないという問題が報告されている[4].本研究ではこれらの問題を解決するために，CommonCrawlから構築された1億5,500万件の大規模かつ高品質な日本語画像・テキスト対データセットであるWAON(Web-scaleimagetextAlignedOpenNihongo)を提案する.WAONの構築では，重複削除や強力な多言語モデル[9]を用いたフィルタリング[1]など，データキュレーションにおける近年の進展を活用している.提案する構築パイプラインは，言語識別のステップにおいてのみ日本語を使用しているため，他言語への適用も容易である.WAONとReLAIONの日本語サブセットを用いてSigLIP2[9]をファインチューニングした結果，Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).画像ダウンロードここでは抽出したURLから画像をダウンロードする.大規模な画像URLリストから効率的に画像を取得するため，Web画像を並列にダウンロードできるimg2dataset[15]を用いた.画像品質フィルタリングWeb上の画像には広告などの低品質なコンテンツが多く含まれているが，単純なヒューリスティクスによって一定程度除去できる.たとえば極端に横長のバナーなど異常なアスペクト比を持つ画像は広告である可能性が高い.ここでは幅または高さが150ピクセル未満の画像，アスペクト比が0.5∼2.0の範囲外にある画像を除外した[11].さらに独自の色多様性フィルタを適用し，画像内のユニークな色数が32色以下の画像は除去した.NSFWフィルタリング多くのWeb画像にはアダルト画像などの不適切な内容(NSFW)が含まれるためこれらを除去する必要がある.本研究では不適切画像検出のために，OpenCLIP[2]を基盤としたNSFW分類モデルのdataset2metadata3）を用いる.unsafeスコアが0.1を超える画像を除外する.閾値0.1は既存研究[11,5]に従ったものであり，スコア分布の分析およびランダムサンプルの手動確認により，この設定が適切であることを確認した.この処理により，NSFWコンテンツの大部分を効果的に除去できた.pHashベース類似画像重複削除前述のキュレーション工程を経ても，URLやキャプションが異なるものの，見た目がほぼ同一の類似画像が多数残っている.これらを除去するため，ImageHash4）を用いてpHashを計算し，Bloomフィルタによる重複削除を行う.pHashは視覚的に類似した画像同士でハッシュ値がほとんど変わらないように設計されており，類似画像を検出できる.本研究ではハミング距離に基づく近似重複削除ではなく，ハッシュ値の完全一致による重複削除を採用した.SigLIPスコアベースフィルタリング画像に付随するキャプションはHTML作成時に手動または自動で生成されるため，画像とテキストの対応が不適切な対が多く含まれる.これらの事例を除去するため，画像とテキストの埋め込み間のコサイン類似度を用いたフィルタリング[1]を適用した.ここではsiglip2-base-patch16-256[9]を用いて類似度を計算した.分布に基づく分析とランダムサンプルの手動3）https://github.com/mlfoundations/dataset2metadata4）https://pypi.org/project/ImageHash確認の上，類似度の閾値は0.1に設定し，それ未満の対を除外した.3WAON-Benchの構築日本文化的概念の理解を適切に評価できる画像分類評価データセットとして利用されるものとしてRecruitデータセット[16]がある.しかしRecruitデータセットにはいくつかの問題が存在している.第一に，161クラス中，101クラスが食カテゴリに属しており偏りがある.第二に，多数のラベル誤りデータが存在している.例えば,「明治神宮」とラベル付けされた画像が実際には芝生だけを写している例が存在する.そこで，我々は日本文化画像分類ベンチマークWAON-Benchを新たに構築した.8つのカテゴリ（animal,building,event,everyday,food,nature,scenery,tradition）にまたがる374クラスから構成される.各クラスには5枚の画像が含まれ，合計1,870枚の画像を含む.3.1ベンチマーク構築パイプラインWAON-Benchは以下の手順で構築した.1.クラス名の定義:日本文化に関連する374個のクラス名（例:柴犬，東京タワー）を定義した.クラス名は，Wikipedia，Google検索，ChatGPTや，京都など実際の街歩きでの観察をもとに用意した.