文の埋め込みに効果的な静的単語ベクトルの獲得

近年,様々なタスク(検索・分類・クラスタリング等)に応用可能な文埋め込みのモデルの研究が盛んに行われている.現在主流の手法は,BERT[1]や最近ではLLaMA3[2]のような大規模言語モデル(LLM)を様々なタスクのラベル付きデータでﬁne-tuneし,入力文の意味を捉えた固定長ベクトルを出力するモデルを学習する[3,4].しかし,こうした手法は多くの計算資源を必要とするため,大量のテキストを低コストで高速に処理することや,スマートフォンのような計算資源が限られる機器でモデルを動かすことが困難となっている.そこで本研究は,文埋め込みに有効な静的単語ベクトル(StaticWordEmbedding)を提案する.文埋め込みのタスクで事前学習されたTransformer[5]ベースのモデル(SentenceTransformer)[3]から単語ベクトルを抽出し,更にそれを主成分分析や知識蒸留で改善する.推論時は,テキストを単語ベクトルの平均で表す所謂bag-of-wordsモデルであるため,CPU上でも高速に動かすことが出来る.精度評価を計56個の英語のデータセットから成るMassiveTextEmbeddingBenchmark(MTEB)[6]で行い,既存の静的単語ベクトルの精度を大幅に上回ることを示した.また,SimCSE[7]のような基礎的なSentenceTransformerの精度も上回り,実応用上における有効性も示した.