デコーダ系の大規模言語モデル(LLM)は自然言語処理の多くのタスクにおいて高い性能を示しており、文埋め込み生成においてもPromptEOL[1]というデコーダ系モデルがSemanticTextualSimilarity(STS)タスクにおいて最高性能を達成している。しかし、PromptEOLが高い性能を示すのは、人手で構築された自然言語推論(NaturalLanguageInference:NLI)データセットを用いてﬁne-tuningした場合であり、人手で構築されたデータを利用しない場合のSTSの性能は6ポイント程度低い値となっている。本研究ではLLMを用いてNLIデータセットを自動生成し、PromptEOLのﬁne-tuingに利用することで、教師なし設定における文埋め込み生成の高性能化を目指す。STSタスクで評価した結果、人手で構築された大規模なデータセットを利用しない設定において82.21という既存手法を上回る性能を達成した。

文埋め込みは検索や含意関係認識など多くのタスクに利用できることから、広く研究されている。特に、事前学習済み言語モデルをﬁne-tuningすることで文埋め込みを生成する手法が多く提案されている。例えば、エンコーダ系のモデルを用いたものとして、NLI分類でBERT[2]をﬁne-tuningするSentenceBERT[3]、定義文を用いてBERTをﬁne-tuningするDefSent[4]、対照学習によりBERTをﬁne-tuningするSimCSE[5]、プロンプトベースの文埋め込み手法により静的なトークン埋め込みのバイアスを取り除くPromptBERT[6]、エンコーダ・デコーダ系のモデルを用いたものとして、NLIデータセットおよびQAデータセットを用いてT5[7]をﬁne-tuningするSentence-T5[8]等が挙げられる。また近年、デコーダ系のLLMに基づく手法が種々のベンチマークタスクで高い性能を示している。文埋め込み生成についても、デコーダ系のLLMをバイ・エンコーダとして使用し、埋め込みを生成するSGPT[9]や、一つの単語のみに焦点を当てる制限を設けたプロンプトベースの手法で文埋め込みを生成するPromptEOL[1]等が提案されており、PromptEOLは人手で構築されたデータを利用する設定において、現時点でもっとも高いSTSの性能を達成している。しかし、人手で構築されたNLIデータセットを利用しない場合、それより大きく低い性能にとどまっている。本研究ではLLMを利用してNLIデータセットを自動構築し、構築したNLIデータセットをPromptEOLのﬁne-tuningに利用することで、人手で構築したデータを利用しない設定においても高い性能を持つ文埋め込みモデルの構築を目指す。本研究で提案するフレームワークの概要を図1に示す。まず、Wikipediaから抽出した文に対し、それが含意する文、それと矛盾する文を生成するようなプロンプトをそれぞれ適用し、NLIデータセットを自動生成する。続いて、自動生成されたNLIデータセットを用いてPromptEOLのﬁne-tuningを行い、ﬁne-tuning済みのモデルを用いて文埋め込みを生成する。