言語処理学会 第30回年次大会 発表論文集（2024年3月）

単一トークン適応による大規模言語モデルに基づく文埋め込み趙 開顔呉 奇宇 苗 中濤 呉 梓隆 鶴岡 慶雅
東京大学大学院 情報理工学系研究科{zhaokaiyan1006, qiyuw, mzt, zw2599, yoshimasa-tsuruoka}@g.ecc.u-tokyo.ac.jp

概要
文埋め込み学習では、対照学習に基づいたエンコーダのみのモデルが広く使われている。一方、大規模言語モデル (LLM) は様々なタスクで有効性が示されているにもかかわらず、LLM を文埋め込みの生成に利用する方法はまだ確立していない。本研
究では、LLM の学習済みの知識や生成能力を維持しつつ、文全体の情報を捉えることができ、唯一の更新可能な特殊トークンである < 𝑡2𝑒 > を導入する新しいアプローチを提案する。文類似度タスクの実験結果から、単一の特殊トークン < 𝑡2𝑒 > を更新することで、本手法は他の微調整されたモデルと近い結果を達成できることが示された。

1

はじめに文の埋め込みは自然言語処理 (NLP) の基本的なタスクであり、テキストや文を実数値ベクトルに変換する処理である。ベクトル空間上で類似した意味を持つ文が近くなるように学習し、文全体の意味を表すことができる。これにより、文や文書の検索 [1]、自然言語推論 [2]、および意味マッチングなど [3]、様々な下流タスクが容易になる。
文 埋 め 込 み 学 習 の 現 在 の 一 般 的 な 手 法 は、
Sentence-BERT [4] や SimCSE [3] のような、対照学習（CL）に基づくエンコーダのみのモデルを活用することである。文埋め込みタスクにおける対照学習の目的は、意味的に類似した文を近づけつつ、他の意味的に類似していない文を遠ざけることである [3, 5]。双方向のアテンション (bidirectionalattention) 計算を通じて、エンコーダのみのモデル
は、[cls] トークンや最後の層の平均出力を出力するなどの方法を用いて、文全体の情報を表現することができる [4, 6]。
一方で、 大量のパラメータと豊富なトレーニン
グデータによって、大規模言語モデル (LLM) の強みは様々な下流タスクで示されている [7, 8, 9, 10]。

Methods

Representation

Generation

Computation

Prompt-based ICL

poorstrongstrongstrongstrongpoor
poor
strong

low
high
high
low

CL-based SFT
Attention manipulation< 𝑡2𝑒 > (ours)

表 1 大規模言語モデルで文埋め込みを生成する異なる方法の特徴。

しかしながら、LLM を文埋め込みを生成するために適応させる方法はまだ確立していない。これは主に以下の理由が挙げられる：(1) LLM は双方向アテンションではなく、コーザルアテンション (CausalAttention) を使用し、連続的なテキストの生成を目的としている [11]。(2) 非自己回帰モデルのような[cls] トークンが存在せず、全体の文を表現することが困難である。
既存の LLM を使用して文埋め込みを生成する手法は、主に以下の 3 種類に分けることができる：(1) プロンプトベースのインコンテキストラーニン
グ (In-Contect-Learning, ICL [12]) [11]、(2) CL ベースの教師あり微調整（SFT) [11, 13]、および (3) アテンションメカニズム (Attention Mechanism) の調整 [14]。
しかし、表 1 に示すように、これらの方法はいずれも、強い表現能力、生成能力への影響、および低い計算量を同時に達成することができない。表 1 中の表現能力 (Representation) は、埋め込みが文全体の豊かな意味を表現できたかどうかを示している。生成能力 (Generation) は、LLM を文埋め込みを適応させることが LLM の学習済みの生成能力に影響を与えるかどうかを示しいる。低い計算量 (Computation)
は、モデルをトレーニングするために必要な計算資源を指している。
プ ロ ン プ ト ベ ー ス の ICL [11] で は、one wordlimitation を使用し、文を 1 つの単語に要約し、その単語の表現を文の埋め込みとして扱う。しかし、ただ一つの単語だけでは文を十分に表現するのは不十分だと、我々は考えている。[11] のデモンス
トレーション例 (demonstration examples) では、複数― 280 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

の文が同じ単語に要約される事例が存在している。
例えば、「A man is playing a guitar.」と「The woman is2.2

大規模言語モデル

playing the ﬂute.」では、意味の違うこれらの文が同大規模言語モデル (LLMs) は、多数のパラメータじ単語「Music」に要約されている。生成能力へのを持つニューラルネットワークによって構築され、影響と計算資源に関しては、SFT とアテンションの膨大な量のテキストデータで学習されたモデルで操作の両方がほとんどのパラメータを更新し、十分ある [7, 8, 9, 10]。 LLMs は、テキスト補完 [12]、要に学習された知識や生成能力に影響を与えたと同時

約 [24]、質問応答 [25] など、さまざまな自然言語理に、膨大な時間と計算資源を占有する [15, 16]。

解および生成タスクで優れた能力を示している。事

このため、私たちは新しい効率的なアプローチと前にトレーニングされた性質により、特定の下流タして特殊トークン < 𝑡2𝑒 > を用いる手法を提案す

スクでの微調整が可能であり、様々なアプリケーる。これは、入力文の後に追加されるプラグインションに適用できる汎用性が存在している。

(plug-in) 特殊トークン < 𝑡2𝑒 > で、LLM にテキスト

しかしながら、LLM を文埋め込みを生成するたを埋め込み（text-to-embedding）に変換するように学めに適応させる方法はまだ確立していないため、習させる。トレーニング中、< 𝑡2𝑒 > トークンのパラメータだけが更新され、他の LLM のパラメータ本研究では、唯一更新可能な特殊トークンである< 𝑡2𝑒 > をを導入する効率的なアプローチを提案はすべて凍結されている。

する。

文類似度タスク STS [17] の実験結果からは、LLM内のただ一つのトークン < 𝑡2𝑒 > だけを更新するこ

提案手法

3とで、文全体の意味を捉えることができることを示

このセクションでは、最初に CL を用いた文埋めしている。LLM 内のすべてのパラメータを更新す込みの形式的な定義を述べ、その後に < 𝑡2𝑒 > の導る他の方法と比較して、< 𝑡2𝑒 > は計算資源のコス入と学習方法を紹介する。

トを極端に削減しつつ、すべて学習済みの生成能力を保持したまま、比較的に同等の結果を達成できる関連研究

2.1文埋め込み背景与えられた文 𝑥𝑖 ∼ 𝕏 に対して、文埋め込み学習はことを示している。

23.1

パラメータ化されたネットワーク 𝑓 𝜃 を学習することを目指している。ネットワークは 𝑥𝑖 に適用され、ベクトル、すなわち h𝑖 = 𝑓 𝜃 (𝑥𝑖 ) ∈ ℝ𝑑 に変換し、文文埋め込みは、文を特定の埋め込み空間内の固定サイズのベクトルに変換する技術である。単語埋め𝑥𝑖 の意味を表現できる。対照学習のアイデアは、文𝑥𝑖 に対して近い意味を持つ正例文 𝑥 𝑖+ を構築し、これらを近づける一方で、𝑥𝑖 を他の意味的に関係ない込み [18, 19] と同様に、ベクトル空間上で類似した負例文から遠ざけることである。一般的に使用され意味を持つ文が近くなるように学習し、文全体の意る学習の目的関数は、以下の対照損失を最小化する味を表すことができる。ニューラルネットワークがことである [3, 5]:+𝑒 𝑠𝑖𝑚(h𝑖 ,h𝑖 )/𝜏
𝑙 𝑖(𝑠) = − log ∑ 𝑁 𝑠𝑖𝑚(h ,h )/𝜏 ,𝑖 𝑗
𝑗=1 𝑒

広く用いられる前に、Doc2Vec [20] などの手法は文を含む段落の意味を捉えるため導入された。
近 年 で は、対 照 学 習 (CL) の 能 力 を 活 用 し た
SimCSE [3] の 成 功 に よ り、文 埋 め 込 み の 処 理に お い て CL に 基 づ く 手 法 が 注 目 を 集 め て いる [1, 21, 22]。意味的に類似した文を近づけつつ、他の意味的に類似していない文を遠ざけることにより、S-BERT（Sentence-BERT) [4] や Universal Sentence
Encoder（USE) [23] などの従来なモデルと比較し、CL に基づくモデルは文から豊富な意味情報をより良く捉えることが報告されている。

(1)

こ こ で、h𝑖 + = 𝑓 𝜃 (𝑥 𝑖+ )、𝑠𝑖𝑚(·, ·) は 類 似 性 メ ト リ ック、𝑁 はミニバッチのサイズ、𝜏 は温度パラメー
タ (temperature parameter) である。学習後、文脈情報が含まれている埋め込みの使用により、文の検索、文レベルの分類、およびテキストの類似度計算など、様々な下流タスクで応用できる。

3.2< 𝑡2𝑒 >

< 𝑡2𝑒 > は text-to-embedding（テキストから埋め込みへ）を示している。これは、LLM に追加で挿入し― 281 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1 提案手法と既存のモデルの比較。既存の手法はモデル内のほとんどのパラメータを更新する一方で、提案手法は単一特殊なトークンのみを更新して文埋め込みを生成する。

た特別なトークンであり、事前学習された生成能力モデルの性能を、SentEval Benchmark 4）[26] からの忘却を同時に防ぎつつ、低コストで文レベルの情の 7 つの STS タスクで評価し、いくつかのベース報を獲得することができる。

ラインと比較した。まず、SBERT [4] と SimCSE [3]

文 𝑥𝑖 をモデルに入力する前に、< 𝑡2𝑒 > がまずを最も一般的に使用される 2 つのベースライン

𝑥𝑖 の後ろに連結され、[𝑥𝑖 , < 𝑡2𝑒 >] の入力を構築すとして選び、それに加えて、ICL と完全に教師付る（図 1 (b) を参照）。この特別なトークンを使用す

きで微調整された OPT および LLaMA を適用したることにより、LLM にこの文の表現を生成させる。

PromptEOL [11] を選択する。最後に、CL 損失のみ

< 𝑡2𝑒 > の最後の層の出力が文埋め込みとして利用で学習された OPT および LLaMA の比較を行った。

される。モデルを訓練する際に使用した目的関数は

実験結果は表 2 に示している。

式 1 に示した対照学習損失である。

† が付いてる平均スコア結果から見ると、学習な

図 1 (a) に示すように、モデル内のほとんどのパしの小規模および大規模モデルは文の完全な意味ラメータを更新する方法とは異なり、学習中にはを捉えることができないことが分かる。報告された< 𝑡2𝑒 > の重みのみが更新され、他のすべてのパラメータは凍結されている。したがって、トレーニン

ベースサイズモデルと 7B サイズモデルの両方におグプロセスは他の既存の方法と比較して非常に低コされている。また、ベースサイズモデルに < 𝑡2𝑒 >ストで済みことができる。の導入により、モデルは SimCSE よりも性能が少々4いて、スコアの最高値は完全な微調整によって達成下回っているが、SBERT および PromptEOL に基づ

実験

く ICL よりも優れている。 7B サイズのモデルに対< 𝑡2𝑒 > の汎用性を証明するため、OPT-125m 1）[16]

しては、性能が大量のパラメータを更新するモデルを含む小規模な自己回帰モデルと LLaMA2-7b 2）[8]にかなわいだが、学習なしの LLaMA2 より、大幅にを含む LLM の両方で実験を行った。

効果が向上している。

使 用 し た デ ー タ セ ッ ト は、ア ン カ ー 文、正 例

我々の結果が SOTA（State of the Art）モデルを超文、ハード負例文 (hard negative) を含む教師付きのえていないにもかかわらず、トレーニングなしのモデルと比較して大幅な改善をもたらすことができ

SimCSE の NLI データセット 3）[3] である。
ベースサイズのモデルは、バッチサイズ 128 でる。また、我々モデルが必要とする計算資源が限ら

1 つの A100 80g GPU 上で学習し、学習率と重み減れていることを考慮すると、< 𝑡2𝑒 > は効率的かつ衰 (weight decay) は 0.01 に設定されている。一方、
7b サイズの大規模モデルは、各 GPU 上でバッチサ効果的な手法であると言える。

イズが 32 である 2 つの A100 80g GPU でトレーニン比較するため、表 3 に全ての訓練可能なパラメータグし、学習率と重み減衰は同じく 0.01 である。

をリストアップした。我々は PEFT ライブラリ 5）. の

1） https://huggingface.co/facebook/opt-125m2） https://huggingface.co/meta-llama/
Llama-2-7b-chat-hf3） https://github.com/princeton-nlp/SimCSE/blob/main/
data/download nli.sh

我々の < 𝑡2𝑒 > と既存方法の計算資源をより良く実装を使用し、訓練可能なパラメータ数を数えた。
4） https://github.com/facebookresearch/SentEval5） https://huggingface.co/docs/peft/package reference/
peft model― 282 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ModelSTS12 STS13 STS14 STS15 STS16 STS-B STS-R avg.
base size models (sup.)SBERT [4]

70.97

76.53

73.19

79.09

74.30

77.03

72.91

74.89

SimCSE [3]

75.30

84.67

80.19

85.40

80.82

84.25

80.39

81.57

OPT †

7.47

9.48

8.30

19.63

22.45

7.40

24.91

14.23

OPT + PromptEOL (ICL) [11]

62.22

73.10

61.84

71.09

72.08

67.80

64.10

67.46

OPT + CL + < 𝑡2𝑒 > (ours)

69.87

79.55

73.9283.91

79.06

80.90

74.17

77.34

7B size models (sup.)
LLaMA2 †

22.30

30.92

27.10

38.92

52.95

33.66

42.54

35.48

LLaMA2 + CL [13]78.39
LLaMA2 + CL + PromptEOL [11] 79.16

89.95
90.22

84.80
85.40

88.50
88.99

86.04
86.25

87.86
88.37

81.11
81.51

85.24
85.70

LLaMA2 + CL + < 𝑡2𝑒 > (ours)

86.00

80.57

84.60

83.40

85.96

80.63

81.94

72.45

7 つの STS タスクの結果。すべてのタスクに対して spearman correlation を報告した。† が付いているモデルは、

表2
微調整なしのモデルで、最後のトークンからの出力を文埋め込みとして使用していることを示している。ICT は、
in-context-learning の略で、+CL は、モデルが CL 目標の下でトレーニングされていることを示している。
Model

Trainable Param Total Param Percentage

OPT-125M + SFT

125239296

125239296

100%

OPT-125M + < 𝑡2𝑒 >768

125240064

0.00061%

LLaMA2 + LoRA

159907840

6898319360

2.32%

LLaMA2 + < 𝑡2𝑒 >4096

6738415616

0.000061%

表3< 𝑡2𝑒 > と既存手法の訓練可能なパラメータの比較。

我々の手法は追加のトークンがただ 1 つだけなので、訓練可能なパラメータは常にモデルの隠れ状態 (hidden state) のサイズに等しいである。これらのパラメータは、それぞれ OPT-125M と LLaMA2-7Bの す べ て の パ ラ メ ー タ の 約 0.000061%お よ び 約0.00061%しか占めていない。LoRA [27] を利用する
LLaMA2+CL の場合、我々は [11] での記述に従って訓練可能なパラメータを計算し、その割合は約2.32%である。したがって、我々の手法はパラメー

図2< 𝑡2𝑒 > トークンの数が STS タスクに及ぼす影響。

おわりに

5

本研究では、大規模言語モデルで文埋め込みを生成させる、単一学習可能な特殊トークン < 𝑡2𝑒 > をタの数を約 38,000 倍節約している。
実験結果部分では、我々は一つの < 𝑡2𝑒 > プラグ導入する新しい効率的な手法を提案した。この手法

イントークン (plug-in) を使用した結果を報告した

は、LLM を文埋め込みを生成するために適応させが、訓練可能なトークンの数が STS タスクに与える影響を調査するため、より多くの < 𝑡2𝑒 > トークンるもので、他の既存の手法とは異なり、非常に低いを使用した実験も行った。その結果は図 2 に示され与えずに文脈情報を捉えることができる。文類似度
タスク上の実験結果は、我々の手法がほとんどのパている。
訓練可能な < 𝑡2𝑒 > トークンの数が増えると、STSタスクの平均性能も向上する傾向が明確である。こコストで LLM の事前学習済みの生成能力に影響をラメータを更新する手法と近い結果を達成できることが示された。

れは、より多くの訓練可能なパラメータを持つモデルがより多くの情報を記憶し、文を埋め込みにより良く変換できる可能性があるためである。

― 283 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Kaiyan Zhao, Qiyu Wu, Xin-Qiang Cai, and Yoshimasa
Tsuruoka. Leveraging multi-lingual positive instances incontrastive learning to improve sentence embedding, 2023.
[2] Alexis Conneau, Guillaume Lample, Ruty Rinott, Adina Williams, Samuel R. Bowman, Holger Schwenk, andVeselin Stoyanov. Xnli: Evaluating cross-lingual sentence
representations. In Conference on Empirical Methods
in Natural Language Processing, 2018.
[3] Tianyu Gao, Xingcheng Yao, and Danqi Chen. Simcse: Simple contrastive learning of sentence embeddings.
In Conference on Empirical Methods in Natural Language Processing, 2021.
[4] Nils Reimers and Iryna Gurevych. Sentence-bert: Sentence embeddings using siamese bert-networks. In Conference on Empirical Methods in Natural Language
Processing, 2019.

[5] Aäron van den Oord, Yazhe Li, and Oriol Vinyals. Representation learning with contrastive predictive coding.
ArXiv, Vol. abs/1807.03748, , 2018.
[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In North American
Chapter of the Association for Computational Linguistics, 2019.

[7] Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier
Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar,Aurelien Rodriguez, Armand Joulin, Edouard Grave, andGuillaume Lample. Llama: Open and eﬃcient foundation
language models. ArXiv, Vol. abs/2302.13971, , 2023.
[8] Llama 2: Open foundation and ﬁne-tuned chat models,2023.
[9] OpenAI. Introducing chatgpt, 2022. https://openai.
com/blog/chatgpt.
[10] Gpt-4 technical report, 2023.
[11] Ting Jiang, Shaohan Huang, Zhongzhi Luan, Deqing
Wang, and Fuzhen Zhuang. Scaling sentence embeddings
with large language models, 2023.
[12] Tom B. Brown, Benjamin Mann, Nick Ryder, Melanie
Subbiah, Jared Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger,
T. J. Henighan, Rewon Child, Aditya Ramesh, Daniel M.
Ziegler, Jeﬀ Wu, Clemens Winter, Christopher Hesse,Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray,Benjamin Chess, Jack Clark, Christopher Berner, Sam
McCandlish, Alec Radford, Ilya Sutskever, and Dario
Amodei. Language models are few-shot learners. ArXiv,Vol. abs/2005.14165, , 2020.
[13] Xianming Li and Jing Li. Angle-optimized text embeddings, 2023.
[14] Xianming Li and Jing Li. Deelm: Dependency-enhanced
large language model for sentence embeddings, 2023.
[15] Yun Luo, Zhen Yang, Fandong Meng, Yafu Li, Jie Zhou,
and Yuechen Zhang. An empirical study of catastrophic
forgetting in large language models during continual ﬁne-tuning. ArXiv, Vol. abs/2308.08747, , 2023.
[16] Susan Zhang, Stephen Roller, Naman Goyal, MikelArtetxe, Moya Chen, Shuohui Chen, Christopher Dewan, Mona T. Diab, Xian Li, Xi Victoria Lin, Todor
Mihaylov, Myle Ott, Sam Shleifer, Kurt Shuster, DanielSimig, Punit Singh Koura, Anjali Sridhar, Tianlu Wang,and Luke Zettlemoyer. Opt: Open pre-trained transformer
language models. ArXiv, Vol. abs/2205.01068, , 2022.
[17] Daniel Matthew Cer, Mona T. Diab, Eneko Agirre, Iñigo
Lopez-Gazpio, and Lucia Specia. Semeval-2017 task 1:
Semantic textual similarity multilingual and crosslingual
focused evaluation. In International Workshop on Semantic Evaluation, 2017.
[18] Tomas Mikolov, Wen tau Yih, and Geoﬀrey Zweig. Linguistic regularities in continuous space word representations. In North American Chapter of the Associationfor Computational Linguistics, 2013.
[19] Tomas Mikolov, Kai Chen, Gregory S. Corrado, and Jeffrey Dean. Eﬃcient estimation of word representations invector space. In International Conference on Learning
Representations, 2013.
[20] Quoc Le and Tomas Mikolov. Distributed representationsof sentences and documents. In Eric P. Xing and Tony
Jebara, editors, Proceedings of the 31st International
Conference on Machine Learning, Vol. 32 of Proceedings of Machine Learning Research, pp. 1188–1196,Bejing, China, 22–24 Jun 2014. PMLR.
[21] Jianmo Ni, Gustavo Hernandez Abrego, Noah Constant,Ji Ma, Keith Hall, Daniel Cer, and Yinfei Yang. Sentencet5: Scalable sentence encoders from pre-trained textto-text models. In Findings of the Association for
Computational Linguistics: ACL 2022, pp. 1864–1874,Dublin, Ireland, May 2022. Association for Computational
Linguistics.
[22] Liang Wang, Nan Yang, Xiaolong Huang, Binxing Jiao,
Linjun Yang, Daxin Jiang, Rangan Majumder, and Furu
Wei. Text embeddings by weakly-supervised contrastivepre-training, 2022.
[23] Daniel Matthew Cer, Yinfei Yang, Sheng yi Kong, NanHua, Nicole Limtiaco, Rhomni St. John, Noah Constant,
Mario Guajardo-Cespedes, Steve Yuan, Chris Tar, Brian
Strope, and Ray Kurzweil. Universal sentence encoder
for english. In Conference on Empirical Methods in
Natural Language Processing, 2018.
[24] Tianyi Zhang, Faisal Ladhak, Esin Durmus, Percy Liang,
Kathleen McKeown, and Tatsunori Hashimoto. Benchmarking large language models for news summarization.
ArXiv, Vol. abs/2301.13848, , 2023.
[25] Yuchen Zhuang, Yue Yu, Kuan Wang, Haotian Sun, andChao Zhang. Toolqa: A dataset for llm question answeringwith external tools. ArXiv, Vol. abs/2306.13304, , 2023.
[26] Alexis Conneau and Douwe Kiela. Senteval: An evaluation toolkit for universal sentence representations. arXiv
preprint arXiv:1803.05449, 2018.
[27] Edward J Hu, Yelong Shen, Phillip Wallis, Zeyuan AllenZhu, Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu
Chen. LoRA: Low-rank adaptation of large language models. In International Conference on Learning Representations, 2022.

― 284 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).