オープンLLMによる翻訳を活用した日本語CLIPの開発

CLIPは視覚言語モデルのコンポーネントとして採用される事例が増えており,重要性が増している.しかし,オープンな日本語画像・テキスト対データセットは不足しており,モデル開発の障壁となっている.本研究では,オープンLLMを用いた機械翻訳により,20億事例の日本語画像・テキスト対データセットを構築し,日本語CLIPを学習した.学習済みモデルの性能を,7つの評価データセットを用いて評価した結果,平均スコアが同程度のモデルサイズにおいて高水準であった一方,日本文化に関するタスクの性能が低いことがわかった.学習済みモデル1）2）,学習データセット3）,翻訳ツール4）,評価コード5）は公開する.