近年，英語や多言語の汎用的なテキスト埋め込みモデルの開発が盛んに行われている．しかし，日本語でのモデル開発の取り組みは限定的であり，その理由としてはデータセットの不足やモデル開発のための知見が少ないことが挙げられる．本稿では，日本語汎用テキスト埋め込みモデルRuriを開発し，その過程について述べる．具体的には，訓練データの不足を補うための大規模言語モデルによる合成データセット構築，対照事前学習によるベースモデルの訓練，そして高品質データを用いた微調整について説明する．構築したテキスト埋め込みモデルRuriは，日本語テキスト埋め込みのベンチマークにおいて既存のモデルを上回る性能を達成した．

テキスト埋め込みは，検索拡張生成や類似文書検索などのタスクで広く利用されており[1,2]，特に近年は多様なデータセットで学習した汎用的なテキスト埋め込みモデルの開発が盛んに行われている[3,4,5,6,7]．しかし，これらの取り組みは主に英語モデルや多言語モデルの構築を目標としており，日本語の語彙・データは相対的に小さな割合にとどまっている．大規模な日本語データセットを用いて埋め込みモデルを学習すれば，これらの多言語モデルより日本語を対象としたタスクにおいて高性能なモデルの実現が期待できるが，テキスト埋め込みの学習に利用できる日本語資源は限定的である．本稿では，テキスト埋め込みモデルの学習に利用できるような大規模日本語データセットを構築し，日本語に特化したテキスト埋め込みモデルを開発する．具体的には，既存データセットの収集・整理と，大規模言語モデル(LLM)による合成データセットの構築を行い，構築されたデータセットに基づき，対照学習による埋め込みモデルの事前学習と高品質な人手データによる微調整を行った．構築されたテキスト埋め込みモデルRuriは，日本語テキスト埋め込みのベンチマークで既存のモデルを大きく上回る性能を達成した．本研究で構築したモデルおよびデータセットは公開している1）．