自動生成したNLIデータを用いた教師なし文埋め込みの改良

デコーダ系の大規模言語モデル(LLM)は自然言語処理の多くのタスクにおいて高い性能を示しており、文埋め込み生成においてもPromptEOL[1]というデコーダ系モデルがSemanticTextualSimilarity(STS)タスクにおいて最高性能を達成している。しかし、PromptEOLが高い性能を示すのは、人手で構築された自然言語推論(NaturalLanguageInference:NLI)データセットを用いてﬁne-tuningした場合であり、人手で構築されたデータを利用しない場合のSTSの性能は6ポイント程度低い値となっている。本研究ではLLMを用いてNLIデータセットを自動生成し、PromptEOLのﬁne-tuingに利用することで、教師なし設定における文埋め込み生成の高性能化を目指す。STSタスクで評価した結果、人手で構築された大規模なデータセットを利用しない設定において82.21という既存手法を上回る性能を達成した。