単一トークン適応による大規模言語モデルに基づく文埋め込み

文埋め込み学習では、対照学習に基づいたエンコーダのみのモデルが広く使われている。一方、大規模言語モデル(LLM)は様々なタスクで有効性が示されているにもかかわらず、LLMを文埋め込みの生成に利用する方法はまだ確立していない。本研究では、LLMの学習済みの知識や生成能力を維持しつつ、文全体の情報を捉えることができ、唯一の更新可能な特殊トークンである<𝑡2𝑒>を導入する新しいアプローチを提案する。文類似度タスクの実験結果から、単一の特殊トークン<𝑡2𝑒>を更新することで、本手法は他の微調整されたモデルと近い結果を達成できることが示された。