自動生成したNLIデータを用いた教師なし文埋め込みの改良

文埋め込みは検索や含意関係認識など多くのタスクに利用できることから、広く研究されている。特に、事前学習済み言語モデルをﬁne-tuningすることで文埋め込みを生成する手法が多く提案されている。例えば、エンコーダ系のモデルを用いたものとして、NLI分類でBERT[2]をﬁne-tuningするSentenceBERT[3]、定義文を用いてBERTをﬁne-tuningするDefSent[4]、対照学習によりBERTをﬁne-tuningするSimCSE[5]、プロンプトベースの文埋め込み手法により静的なトークン埋め込みのバイアスを取り除くPromptBERT[6]、エンコーダ・デコーダ系のモデルを用いたものとして、NLIデータセットおよびQAデータセットを用いてT5[7]をﬁne-tuningするSentence-T5[8]等が挙げられる。また近年、デコーダ系のLLMに基づく手法が種々のベンチマークタスクで高い性能を示している。文埋め込み生成についても、デコーダ系のLLMをバイ・エンコーダとして使用し、埋め込みを生成するSGPT[9]や、一つの単語のみに焦点を当てる制限を設けたプロンプトベースの手法で文埋め込みを生成するPromptEOL[1]等が提案されており、PromptEOLは人手で構築されたデータを利用する設定において、現時点でもっとも高いSTSの性能を達成している。しかし、人手で構築されたNLIデータセットを利用しない場合、それより大きく低い性能にとどまっている。本研究ではLLMを利用してNLIデータセットを自動構築し、構築したNLIデータセットをPromptEOLのﬁne-tuningに利用することで、人手で構築したデータを利用しない設定においても高い性能を持つ文埋め込みモデルの構築を目指す。本研究で提案するフレームワークの概要を図1に示す。まず、Wikipediaから抽出した文に対し、それが含意する文、それと矛盾する文を生成するようなプロンプトをそれぞれ適用し、NLIデータセットを自動生成する。続いて、自動生成されたNLIデータセットを用いてPromptEOLのﬁne-tuningを行い、ﬁne-tuning済みのモデルを用いて文埋め込みを生成する。