Matryoshka表現学習を考慮した埋め込みモデル蒸留

Retrieval-AugmentedGeneration(RAG)は，外部知識を活用することで大規模言語モデルにおけるハルシネーションを抑制できる手法として注目されている．RAGではベクトル検索を利用するケースが多いが，スマートフォンや車載器などのエッジデバイスで実現する場合，計算資源が限られている点が課題となる．本研究では，次元別ランク整合フィルタリングに基づく蒸留を提案し，次元削減してもベクトル検索の精度低下を抑制可能な埋め込みベクトルを生成できる小規模埋め込みモデルの開発を達成した．