CLIPは視覚言語モデルのコンポーネントとして採用される事例が増えており,重要性が増している.しかし,オープンな日本語画像・テキスト対データセットは不足しており,モデル開発の障壁となっている.本研究では,オープンLLMを用いた機械翻訳により,20億事例の日本語画像・テキスト対データセットを構築し,日本語CLIPを学習した.学習済みモデルの性能を,7つの評価データセットを用いて評価した結果,平均スコアが同程度のモデルサイズにおいて高水準であった一方,日本文化に関するタスクの性能が低いことがわかった.学習済みモデル1）2）,学習データセット3）,翻訳ツール4）,評価コード5）は公開する.

CLIP[1]は,対照学習によって画像とテキストを同じ埋め込み空間に対応付けるモデルである.CLIPは視覚言語モデル(VisualLanguageModel:VLM)や拡散モデルに利用されることがあり,重要性が高まっている[2,3,4].一方で,既存のCLIPの多くは主に英語のテキストと画像が対になったデータセットで学習されており,他の言語における性能が低いという問題がある[5,6,7].多言語の画像・テキスト対データセットを構築する試みもあるが[5,8,9],オープンな日本語画像・テキスト対データセットの量は依然として少ない.実際に,執筆時点でオープンな日本語画像・テキスト対データセッ1）https://huggingface.co/llm-jp/llm-jp-clip-vit-base-patch162）https://huggingface.co/llm-jp/llm-jp-clip-vit-large-patch143）https://huggingface.co/llm-jp/relaion2B-en-research-safe-japanese-translation4）https://github.com/llm-jp/text2dataset5）https://github.com/llm-jp/clip-evalトとして最大規模のLAION-5B[9]の日本語サブセットは約1.2億事例であり,4億事例のデータを用いて学習したCLIP[1]より小さい.DeepLを用いた機械翻訳により日本語画像テキスト対データセットを構築する先行研究もあるが[7],数千万事例と小規模なものにとどまっている.本稿では,モデルの重みが公開されているLLM(open-weightLLM,以下オープンLLMと呼ぶ)を用いて20億事例の画像・テキスト対データを機械翻訳で構築し,日本語CLIPをフルスクラッチ学習した.評価の結果,平均スコアが同程度のモデルサイズの中で高水準であった一方,日本語文化に関するタスクにおいて性能が低いことが分かった.