訓練可能なk近傍Retrieverで関係抽出事例を導入したニューラルプロンプティング

文章中の用語ペア間の関係性を抽出する関係抽出は，自然言語で記述された情報の構造化において重要な役割を果たしている[1]．関係抽出器の作成では，人手で作成された教師を利用して深層学習モデルを訓練するのが一般的だが[2]，タグ付けのコストが高いことから，少ない訓練データで高い抽出性能が得られるモデルが求められている．このような中で，近傍法で関係抽出の事例を推論時に利用して関係抽出をする抽出器[3]は，関係ラベル同士の関係性をモデル化することで，少ない訓練データで訓練できるようになってきている．加えて，近年では，それらのモデルのベースにBERT[4]のような事前学習言語モデル(PretrainedLanguageModel;PLM)の利用が標準的になってきている．最近では，事前学習モデルとして大規模言語モデル(LargeLanguageModel;LLM)を利用した研究が注目されている[5]．特に，指示やデモンスト関係事例データベースJNFnamesStanleyM.ChesleyasnewpresidentIsrael...theAustrianbanks事例…SinceitsfoundingbyTheodorHerzlattheendofthe19thcentury,theJNFhasuseddonations…JNFwasfoundedbyTheodorHerzlレーションとなる事例を文脈に与えて少ない事例で訓練を実現する文脈内学習(In-contextlearning;ICL)が可能になり，関係抽出に事例を利用する研究が進んでいる[6]．ICLに利用される技術の一つであるRetrieval-AugumentedGeneration(RAG)では，図1のように，入力に合わせて事例を選択するRetrieverによって得られた事例のテキストをプロンプトに導入することで，ICLで不足する知識やICLの方向性を調整している[7]．ただ，RAGでは，Retrieverによる事例の選択は微分不可能な操作であるため，事前にRetrievalに合わせて学習することはできても[8]，対象タスクに合わせてend-to-endにRetrieverを最適化するのは難しい．これを解決するために，事例からソフトプロンプトを作成するニューラルプロンプティングが提案されたものの[9]，依然としてRetrieverによる事例の選択は微分不可能な操作であるため，end-to-endに訓練できないという問題点がある．そこで本研究では，関係抽出において，Retrieverまで含めてend-to-endに最適化可能にし，関係抽出に特化した事例の選択を可能にすることを目的とす.る．Retrieverを最適化可能にするためには，k近傍事例の選択を微分可能な操作にする必要がある．そこで，近傍ニューラルネットワーク[10]に着想を得て，実際にサンプリングせずにソフトに選択することで微分可能にし，その事例をソフトプロンプトとして導入するニューラルプロンプティングをすることで，Retrieverを含めて関係抽出をend-to-endに訓練した時の効果を確認する．本研究の貢献は以下の点である．•LLMによる関係抽出において，k近傍事例の選択をソフトにして微分可能にし，ニューラルプロンプティングに利用する手法を提案し，Retrieverまでend-to-endに訓練可能な方法を示した．•関係抽出の標準的なベンチマークTACREDで，訓練事例数を10%，5%に減らす設定において最先端の性能を示した．