オープンLLMによる翻訳を活用した日本語CLIPの開発

CLIP[1]は,対照学習によって画像とテキストを同じ埋め込み空間に対応付けるモデルである.CLIPは視覚言語モデル(VisualLanguageModel:VLM)や拡散モデルに利用されることがあり,重要性が高まっている[2,3,4].一方で,既存のCLIPの多くは主に英語のテキストと画像が対になったデータセットで学習されており,他の言語における性能が低いという問題がある[5,6,7].多言語の画像・テキスト対データセットを構築する試みもあるが[5,8,9],オープンな日本語画像・テキスト対データセットの量は依然として少ない.実際に,執筆時点でオープンな日本語画像・テキスト対データセッ1）https://huggingface.co/llm-jp/llm-jp-clip-vit-base-patch162）https://huggingface.co/llm-jp/llm-jp-clip-vit-large-patch143）https://huggingface.co/llm-jp/relaion2B-en-research-safe-japanese-translation4）https://github.com/llm-jp/text2dataset5）https://github.com/llm-jp/clip-evalトとして最大規模のLAION-5B[9]の日本語サブセットは約1.2億事例であり,4億事例のデータを用いて学習したCLIP[1]より小さい.DeepLを用いた機械翻訳により日本語画像テキスト対データセットを構築する先行研究もあるが[7],数千万事例と小規模なものにとどまっている.本稿では,モデルの重みが公開されているLLM(open-weightLLM,以下オープンLLMと呼ぶ)を用いて20億事例の画像・テキスト対データを機械翻訳で構築し,日本語CLIPをフルスクラッチ学習した.評価の結果,平均スコアが同程度のモデルサイズの中で高水準であった一方,日本語文化に関するタスクにおいて性能が低いことが分かった.