文の埋め込みに効果的な静的単語ベクトルの獲得

本研究は,文の埋め込みに有効な静的単語ベクトル(StaticWordEmbedding)を提案する.文ベクトルを出力するように事前学習されたSentenceTransformerから単語ベクトルを抽出し,さらに主成分分析と知識蒸留を行うことで文表現に適した単語ベクトルを獲得する.計56個の英語のデータセットから成るMassiveTextEmbeddingBenchmark(MTEB)で実験を行い,既存手法の精度を大幅に上回ることを示した.