Matryoshka表現学習を考慮した埋め込みモデル蒸留

RAG[1]の性能を向上させるための重要な要素の1つにベクトル検索の精度向上が挙げられる．ベクトル検索の精度向上には高品質な埋め込みベクトルが重要であり，高次元長の埋め込みベクトルは豊かな意味情報を保持できるため，高い検索性能を発揮できる一方，計算コストやストレージコストが増大する．本研究では特にストレージコストの課題に着目し，ストレージコストを抑制しつつ高い検索精度を維持できる小規模埋め込みモデルの開発を目指す．高次元埋め込みベクトルの軽量化アプローチの1つに，生成済み埋め込みベクトルから一部を切り出し，低次元長の埋め込みベクトルとして下流タスクに活用しても高い性能を維持できるように埋め込みモデルを学習するMatryoshka表現学習(MRL)[2]が知られている．MRLで学習したモデルで生成される埋め込みベクトルは，任意次元に切り出しても高いベクトル品質を維持できる.この特徴はストレージ制約の厳しいエッジデバイス上でのRAGにおいて，下流タスクに応じて求められる検索精度とストレージコストのバランスを柔軟に調整できる点で有用である．エッジデバイスでも実行可能な軽量なRAGシステムを実現する取り組みとして，EdgeRAG[3]やLightRAG[4]，MiniRAG[5]のような取り組みも報告されている．これらはRAGシステム全体の最適化を目指しているが，我々の狙いは検索精度の根幹となる埋め込みベクトルの高品質化と任意次元への変更による下流タスクへの柔軟な対応に焦点を当てている点で異なる．近年の高性能な埋め込みモデルの開発には対照学習[6,7]が広く用いられている．日本語特化埋め込みモデルにおいて上位の性能を持つRuri[8]も，2段階の対照学習により高品質な埋め込みモデルを実現している．対照学習は高品質なテキストペアのデータを大量に学習させるほど性能が上がりやすいが，高品質な学習データの整備には多大なコストがかかる．一方，ターゲットとする埋め込みモデルが小規模である場合，蒸留を活用することで新規に高品質データを構築することなく高精度な埋め込みモデルを開発した報告[9]もある．本研究ではエッジデバイスでの実行を前提とし，Matryoshka特性を持つ小規模埋め込みモデルを蒸留によって開発する．