条件付きテキスト埋め込みは、特定の側面に焦点を当てたテキストの埋め込み表現であり、与えられた条件に基づくテキスト同士の類似度の算出を可能にする。従来手法は、大規模な訓練データによる指示学習や意味的テキスト類似度算出タスクによる微調整が求められ、開発コストが高い。そこで本研究では、生成型LLMをテキストエンコーダとして条件付き一語制約プロンプトを用いる、訓練不要で高品質な条件付きテキスト埋め込みPonTEを提案する。条件付き意味的類似度テキスト類似度とテキストクラスタリングによる二つの実験を通じて、提案手法は追加の訓練なしで従来手法以上の性能を達成することを示す。

テキスト間の類似度は類似文検索や文書クラスタリングなどにおいて重要な役割を果たすNLPタスクの一つであり[1,2,3]、効率的かつ類似度の算出を実現するために、テキストの埋め込み表現が一般的に使用される。ただし、従来のテキスト埋め込み手法[4,5,6,7]は、一つのテキストに対して一つの汎用的な埋め込み表現を生成するものが主要であるが、テキストには多様な側面があることから、想定する類似度の算出が困難な場合がある。たとえば、は類似したカテゴリの商品について言及しているものの、その感情極性は異なる。その一方で、𝑇1と𝑇3は異なるカテゴリの商品について言及しているが、どちらも肯定的な評価をしている。これらの事例では、着目する側面という条件を与えることなく、類似度の高低を判断することは難しい。このような背景から、特定の側面に焦点を当ててテキストを埋め込む「条件付きテキスト埋め込み手法」が提案されている[8,9]。しかし、これらの従来手法は、埋め込みモデルを訓練するための特定の𝑇1:Thiscameraisoneofmyfavorites.𝑇2:Thissmartphonecannotcapturehigh-qualityimages.𝑇3:BestﬁshIhaveeverhad.thenameoftheproductcategory{B}=thestarrating{B}={A}=T1{A}=T3{A}=T2{A}=T3{A}=T2{A}=T1生成型LLMExpressthistext“{A}”inonewordintermsof{B}:“例。𝑇1、𝑇2、𝑇3は表1の事例に対応する。条件に関するテキスト同士の類似度をアノテーションしたデータセットを必要とし、現在、英語の画像キャプションデータに付与されたデータしか存在しないため、分野や言語を超えたNLPタスクへの適用は容易ではない。また、テキスト埋め込み用に指示学習された手法も、タスクごとに指示文を与えるため条件付きテキスト埋め込みとして活用できるが、大規模な訓練データを整備し、長時間に渡って訓練する必要があり、開発コストが高い[10,11,12]。そこで本研究では、訓練不要で様々な分野や言語に適用可能な条件付きテキスト埋め込み手法PonTE(Prompt-basedConditionalTextEmbedding)を提案する。概要を図1に示す。Jiangら[13]が提案した一語制約プロンプトを拡張した条件付き一語制約プロンプトを用い、与えられた条件を満たすようなテキスト埋め込みを、Mistral[14]やLlama-3[15]などの生成型LLMから生成する。図1は、表1のテキストに対してPonTEを適用したときの埋め込み空間を可視化した結果を示し、条件に応じて事例間の距離が変わっていることを示している。.生成型LLMLinearandSoftmaxBlock出力トークンTransformerBlocks条件付きテキスト埋め込みEmbeddingBlockExpressthistext“”inonewordintermsof:“{text}{condition1}Expressthistext“”inonewordintermsof:“{text}{condition2}