Ruri:日本語に特化した汎用テキスト埋め込みモデル

テキスト埋め込みは，検索拡張生成や類似文書検索などのタスクで広く利用されており[1,2]，特に近年は多様なデータセットで学習した汎用的なテキスト埋め込みモデルの開発が盛んに行われている[3,4,5,6,7]．しかし，これらの取り組みは主に英語モデルや多言語モデルの構築を目標としており，日本語の語彙・データは相対的に小さな割合にとどまっている．大規模な日本語データセットを用いて埋め込みモデルを学習すれば，これらの多言語モデルより日本語を対象としたタスクにおいて高性能なモデルの実現が期待できるが，テキスト埋め込みの学習に利用できる日本語資源は限定的である．本稿では，テキスト埋め込みモデルの学習に利用できるような大規模日本語データセットを構築し，日本語に特化したテキスト埋め込みモデルを開発する．具体的には，既存データセットの収集・整理と，大規模言語モデル(LLM)による合成データセットの構築を行い，構築されたデータセットに基づき，対照学習による埋め込みモデルの事前学習と高品質な人手データによる微調整を行った．構築されたテキスト埋め込みモデルRuriは，日本語テキスト埋め込みのベンチマークで既存のモデルを大きく上回る性能を達成した．本研究で構築したモデルおよびデータセットは公開している1）．