文埋め込み学習では、対照学習に基づいたエンコーダのみのモデルが広く使われている。一方、大規模言語モデル(LLM)は様々なタスクで有効性が示されているにもかかわらず、LLMを文埋め込みの生成に利用する方法はまだ確立していない。本研究では、LLMの学習済みの知識や生成能力を維持しつつ、文全体の情報を捉えることができ、唯一の更新可能な特殊トークンである<𝑡2𝑒>を導入する新しいアプローチを提案する。文類似度タスクの実験結果から、単一の特殊トークン<𝑡2𝑒>を更新することで、本手法は他の微調整されたモデルと近い結果を達成できることが示された。

文の埋め込みは自然言語処理(NLP)の基本的なタスクであり、テキストや文を実数値ベクトルに変換する処理である。ベクトル空間上で類似した意味を持つ文が近くなるように学習し、文全体の意味を表すことができる。これにより、文や文書の検索[1]、自然言語推論[2]、および意味マッチングなど[3]、様々な下流タスクが容易になる。文埋め込み学習の現在の一般的な手法は、Sentence-BERT[4]やSimCSE[3]のような、対照学習（CL）に基づくエンコーダのみのモデルを活用することである。文埋め込みタスクにおける対照学習の目的は、意味的に類似した文を近づけつつ、他の意味的に類似していない文を遠ざけることである[3,5]。双方向のアテンション(bidirectionalattention)計算を通じて、エンコーダのみのモデルは、[cls]トークンや最後の層の平均出力を出力するなどの方法を用いて、文全体の情報を表現することができる[4,6]。一方で、大量のパラメータと豊富なトレーニングデータによって、大規模言語モデル(LLM)の強みは様々な下流タスクで示されている[7,8,9,10]。MethodsRepresentationGenerationComputationPrompt-basedICLpoorstronglowCL-basedSFTstrongpoorhighAttentionmanipulationstrongpoorhigh<𝑡2𝑒>(ours)strongstronglow法の特徴。しかしながら、LLMを文埋め込みを生成するために適応させる方法はまだ確立していない。これは主に以下の理由が挙げられる：(1)LLMは双方向アテンションではなく、コーザルアテンション(CausalAttention)を使用し、連続的なテキストの生成を目的としている[11]。(2)非自己回帰モデルのような[cls]トークンが存在せず、全体の文を表現することが困難である。既存のLLMを使用して文埋め込みを生成する手法は、主に以下の3種類に分けることができる：(1)プロンプトベースのインコンテキストラーニング(In-Contect-Learning,ICL[12])[11]、(2)CLベースの教師あり微調整（SFT)[11,13]、および(3)アテンションメカニズム(AttentionMechanism)の調整[14]。しかし、表1に示すように、これらの方法はいずれも、強い表現能力、生成能力への影響、および低い計算量を同時に達成することができない。表1中の表現能力(Representation)は、埋め込みが文全体の豊かな意味を表現できたかどうかを示している。生成能力(Generation)は、LLMを文埋め込みを適応させることがLLMの学習済みの生成能力に影響を与えるかどうかを示しいる。低い計算量(Computation)は、モデルをトレーニングするために必要な計算資源を指している。プロンプトベースのICL[11]では、onewordlimitationを使用し、文を1つの単語に要約し、その単語の表現を文の埋め込みとして扱う。しかし、ただ一つの単語だけでは文を十分に表現するのは不十分だと、我々は考えている。[11]のデモンストレーション例(demonstrationexamples)では、複数.の文が同じ単語に要約される事例が存在している。例えば、「Amanisplayingaguitar.」と「Thewomanisplayingtheﬂute.」では、意味の違うこれらの文が同じ単語「Music」に要約されている。生成能力への影響と計算資源に関しては、SFTとアテンションの操作の両方がほとんどのパラメータを更新し、十分に学習された知識や生成能力に影響を与えたと同時に、膨大な時間と計算資源を占有する[15,16]。このため、私たちは新しい効率的なアプローチとして特殊トークン<𝑡2𝑒>を用いる手法を提案する。これは、入力文の後に追加されるプラグイン(plug-in)特殊トークン<𝑡2𝑒>で、LLMにテキストを埋め込み（text-to-embedding）に変換するように学習させる。トレーニング中、<𝑡2𝑒>トークンのパラメータだけが更新され、他のLLMのパラメータはすべて凍結されている。文類似度タスクSTS[17]の実験結果からは、LLM内のただ一つのトークン<𝑡2𝑒>だけを更新することで、文全体の意味を捉えることができることを示している。LLM内のすべてのパラメータを更新する他の方法と比較して、<𝑡2𝑒>は計算資源のコストを極端に削減しつつ、すべて学習済みの生成能力を保持したまま、比較的に同等の結果を達成できることを示している。