概要

1　はじめに
文章中の用語ペア間の関係性を抽出する関係抽出は，自然言語で記述された情報の構造化において重要な役割を果たしている[1]. 関係抽出器の作成ではは，人手で作成された教師を利用して深層学習モデルを訓練するのが一般的だが[2]，タグ付けのコストが高いことから，少ない訓練データで高い抽出性能が得られるモデルが求められている. このような中で，近傍法で関係抽出の事例を推論時に利用して関係抽出をする抽出器[3]は，関係ラベル同士の関係性をモデル化することで，少ない訓練データで訓練できるようになってきている.加えて，近年では，それらのモデルのベースにBERT [4]のような事前学習言語モデル(Pretrained Language Model; PLM)の利用が標準的になってきている.最近では，事前学習モデルとして大規模言語モデル(Large Language Model; LLM)を利用した研究が注目されている[5].特に，指示やデモンストレーションとなる事例を文脈に与えて少ない事例で訓練を実現する文脈内学習(In-context learning; ICL)が可能になり，関係抽出に事例を利用する研究が進んでいる[6].  ICLに利用される技術の一つであるRetrieval-Augumented Generation (RAG)では，図1のように，入力に合わせて事例を選択するRetrieverによって得られた事例のテキストをプロンプトに導入することで，ICLで不足する知識やICLの方向性を調整している[7].ただ， RAGでは， Retrieverによる事例の選択は微分不可能な操作であるため，事前にRetrievalに合わせて学習することはできても[8]，対象タスクに合わせてend-to-endにRetrieverを最適化するのは難しい.これを解決するために，事例からソフトプロンプトを作成するニューラルプロンプティングが提案されたものの[9]，依然としてRetrieverによる事例の選択は微分不可能な操作であるため，end-to-endに訓練できないという問題点がある.そこで本研究では，関係抽出において， Retrieverまで含めてend-to-endに最適化可能にし，関係抽出に特化した事例の選択を可能にすることを目的とする。 Retrieverを最適化可能にするためには，k近傍事例の選択を微分可能な操作にする必要がある.そこで，近傍ニューラルネットワーク[10]に着想を得て，実際にサンプリングせずにソフトに選択することで微分可能にし，その事例をソフトプロンプトとして導入するニューラルプロンプティングをすることで， Retrieverを含めて関係抽出をend-to-endに訓練した時の効果を確認する.本研究の貢献は以下の点である. • LLMによる関係抽出において，k近傍事例の選択をソフトにして微分可能にし，ニューラルプロンプティングに利用する手法を提案し, Retrieverまでend-to-endに訓練可能な方法を示した. •関係抽出の標準的なベンチマークTACREDで,訓練事例数を10%, 5%に減らす設定において最先端の性能を示した.
2　関連研究
深層学習による関係抽出器は，文脈を考慮したモデル[2]や，文章構造のような構造をグラフ構造として利用するモデル[11]など，様々なモデル化がされている．関係事例を利用するモデルである近傍法による関係抽出[3]は，他の関係事例との関係性を明確にすることで，事例数が少ない関係ラベルでも高い性能での予測が可能になった.既存のLLMによる関係抽出では，LLMをQAモデルとして利用[12]したり，関係ラベル名を生成するようにプロンプトを設計[5]したりと，単純な方法が取られており，抽出性能もLLMを利用しない関係抽出と大きく変わらなかった.  BERTのようなPLMを利用した関係抽出手法の中では，関係を様々な観点から自然言語に書き下し，自然言語推論によって含意する関係を見つけることでこの問題を解決した方法[13]が提案された．このような中で，出力の形式を自然言語に合わせて言語モデルに適合させるために，文章を関係事例へ要約するタスクとみなして関係抽出を行うモデルSuRE (Summarization as Relation Extraction) [14]が提案された.
3　LLMによる関係抽出
本節ではLLMによる関係抽出器,および, Retrieverを用いたその拡張を定義する.入力の文章をx,文章中の関係の始点と終点の用語をそれぞれh,t,そAlgorithm 1:微分可能なk近傍事例の選択Input:  K:選択する数E = [E 1, E 2, . . , E | D |] :事例の埋め込みEin：入力の埋め込みOutput:  X ∈ R × L×D emb : k近傍事例の埋め込みs i = Dist(Ein, E i ) for k ∈ [1, K] do wi = Ei exp(-si) xk = ∑i wi Ei Si = si + log(1 – wi) end forの間の関係をrとすると，分類モデルによる関係抽出器の予測はî = argmax, P(r|x,h,t)となる. 一般的なLLMを利用した関係抽出では，入力の文章をテンプレートに当てはめてテキストプロンプトに変換し，それをLLMに入力して得られるテキストを関係ラベルにマッピングして関係を抽出する. r = Map(LLM(y|Template(x, h, t)) (1)次に，LLMによる関係抽出器を，図1のようなRetrieverによって獲得した事例を利用する関係抽出に拡張する. そのために，式(3)のように，Retrieverによって事例集合や外部知識のデータベースDから事例を選択し、その事例からプロンプトｚを作成してLLMの入力に与える. z = Retriever(x, h,t, D) (2) r = Map(LLM(y|z, Template(x, h,t))) (3) Retrieverは，データベースから事例を選択する機能と，選択した事例をLLMに入力可能なプロンプトに変換する機能の2つの機能から構成される．既存のRAG[7]のRetrieverでは，入力とデータベースD中の事例を埋め込み，近傍の事例を選択し，その事例のテキストを直接プロンプトに利用する. ニューラルプロンプティング[9]では，文字列一致で事例を選択し，事例をニューラルネットワークで埋め込み、ソフトプロンプトとして利用する.
4
提案手法
k近傍事例の選択をソフトな操作として微分可能にし，それによって得られた埋め込みをソフトプロンプトとして利用するニューラルプロンプティングによってk近傍Retrieverを訓練可能にする.まず，k近傍Retrieverを定義する． k近傍Retrieverでは，訓練データの関係事例の集合などのデータベースD中の要素diを埋め込みのリストE i = [e , e , . . e , ] ∈ R L×D cmbに変換し，入力の埋め込みと距離が近い事例を選択する.
(4) (5) (6) z = KNNRetriever(x, h, t, D) = [ z 1 , z 2 , . . , z k ]   (7) Template( d k ) k ∈arg top-k, s ÷ (8)通常のk近傍Retrieverでは，事例の選択部分が微分できず，プロンプトもテンプレートを利用したテキストになっているため，Retrieverの訓練ができない.そこで、k近傍事例の選択を微分可能にし、埋め込みEを利用するソフトプロンプトにすることで, k近傍Retriever全体を訓練可能な状態にする．具体的には、既存の微分可能なk近傍事例の選択[10]を参考に，アルゴリズム1で得られるk近傍事例の埋め込みをプロンプトにして，訓練可能なk近傍Retrieverを実現する. このRetrieverでは，距離を利用して計算したSoftmaxの値を重みとして，埋め込みの重み付け和をとることで，k近傍事例の埋め込みを仮想的に計算する．これによって，事例の選択が微分可能になり，プロンプトもソフトプロンプトとすることで， Retrieverを含めてLLMをend-to-endに訓練できるようになる.ただ，この微分可能なk近傍Retrieverでは，D内の事例全体に対して距離を計算しなければならず、訓練時には計算量が膨大になる. これを訓練時にも行った場合，すべてのデータベース中の事例の埋め込みを計算して，すべての埋め込みに対する更新をしなければならない.そこで，これを解決するために，ランダムに事例の部分集合をサンプリングし,その事例の中でRetrieverを適用して訓練をする.
5
実験
5.1 実験設定
関係抽出の抽出性能の評価をするために，標準的に利用されているTACREDデータセット[15]を使用する.評価指標は,それぞれのタスクで一般的に利用されているものとして，関係なしのクラスno_relationを負例として計算したmicro平均Ｆ値,適合率(P),再現率(R)の百分率を使用する. それぞれの結果としては，計算コストのため，一度実行したときの値を利用する.また，付録Bに示したように，訓練事例を10%， 5%， 1%に減らした場合についても評価を行い、訓練事例数に対する性能の変化を確認する.評価ではベースのモデルにFlan-T5のlargeサイズを利用して[16]，関係抽出を要約タスクとして定式化したSuRE [14]をもとに，関係事例をプロンプトに追加する実験をした.提案手法の有効性の確認のため，訓練可能なk近傍Retrieverを利用して事例を導入した場合を評価した.  Retrieverで利用する表現は，SuREで利用されているテンプレートを当てはめた文章をRoBERTa-base [ 17 ]でエンコードし,関係の始点と終点の用語の表現と関係を述べている部分の表現を，トークンの表現を平均して作成した．また，訓練時にRetrieverでサンプリングする事例数は32として，10事例をプロンプトに導入する条件で実験した.  Retrieverの事前の訓練のためのWarmupとして，最初の300ステップはRetrieverのパラメタのみを更新し，その後Flan-T5を更新した. Retrievalに利用するデータベースは訓練データ中の関係事例として，計算機の都合上，5000件以上訓練事例がある場合には5000件をランダムにサンプリングしてデータベースDとした．詳細なモデルの設定は，付録Aに記述した.既存の関係抽出の最先端のモデルとして, Pegasus- largeをベースにしたSuREに加えて，構造化のための事前学習モデルであるDeepStruct [ 18 ],言語化した関係が入力文章に含まれるかどうかをNLIで解いて関係抽出をするNLI_DeBERTa [13]と比較する.
5.2 結果
表1に示した結果より，訓練データ数が少ない10%と5%のときに，既存の訓練事例数を削減した場合のSOTAであるSuREおよびNLI_DeBERTaと比べ，提案手法が高い性能を示した．ベースとしたSuREと比較すると，訓練事例数を10%以下にした場合に，提案手法によって再現率が向上し，Ｆ値も向上した．一方で，訓練事例が十分な領域では，抽出性能が低下することが確認できた.このことから、訓練可能なRetrieverから得られた事例を利用するのは，限定的だが有効に作用すると確認できた.
6 解析
本章では，５節で行った抽出性能の評価が得られた要因やモデルの挙動を解析するために，アプレー
ション研究と，事例数に対する性能変化を確認する。以降の実験は5節で使用したモデルをベースにして、性能の向上が確認できた設定である5%のの訓練事例を利用した際に，条件を変化させた場合の性能を確認して解析を行った.
アブレーション研究
6.1
提案手法のうち，性能の向上に寄与した要因を確認するために，事例に関する部分とRetrieverモデルを対象としてアプレーション研究をした.具体的には，ランダムな事例を利用した場合（ランダム)，Retrieverを訓練せずにk近傍事例を利用した場合（訓練なし）,利用する表現を用語ではなくCLSトークンにした場合（CLS）,  Retrieverの訓練時のWarmupをしない場合（Warmupなし）,のそれぞれの設定での性能を比較した.表2に示した通り，すべての場合についてＦ値が低下しており，提案手法の各部分が性能向上に寄与していることが確認できた.まず，Retrieverの訓練をしない場合やWarmupをしない場合のように, Retrieverの訓練能力を弱めると性能が低下することが確認できた.また，プロンプトに利用する事例をランダムにした場合には，性能が大幅に低下したことから，距離を用いた近傍事例の選択は重要な役割を果たしていることが確認できた.プロンプトやRetrieverに利用する表現をCLSトークンの表現にした場合では，性能がさらに大幅に低下した．このことから，利用する表現を関係抽出に特化させて設計図2 プロンプトに利用する事例数に対する抽出性能の変化することも重要な要素であることが確認できた.
6.2 事例数に対する性能の変化
5.2節では事例を利用すると再現率及びＦ値が向上したため，その影響を確認するためにプロンプトに利用する事例数を変化させたときの性能変化を確認した．図2に示した結果では， 10を境に，事例数を増加した場合も減少させた場合もＦ値と再現率が徐々に低下した．一方で，適合率には明確な傾向が確認できなかった.このことから，適切な事例数の選択は再現率に有利に働くことが確認できた.
おわりりに
7
本研究では，LLMによる関係抽出において，プロンプトに利用する事例を選択するRetrieverを訓練可能にするために，微分可能なk近傍サンプリングを利用したニューラルプロンプティングを提案した.実験では，訓練事例数が少ない場合に再現率およびF値の向上が確認でき，事例の利用を訓練可能にする効果が確認できた．ただ，訓練事例数が多い場合や極端に少ない場合には性能の向上が限定的であったため，今後はその改善が必要である.本研究はJSPS特別研究員奨励費22KJ2983の助成を受けたものです. [1]  Linlin Wang, Zhu Cao, Gerard de Melo, and Zhiyuan Liu.  Rela- tion classification via multi-level attention CNNs. In Proceedings of the 54th Annual Meeting of the Association for Computa- tional Linguistics (Volume 1: Long Papers), pp. 1298–1307, Berlin, Germany, August 2016. Association for Computational Linguistics. [2]  Makoto Miwa and Mohit Bansal.  End-to-end relation extraction using LSTMs on sequences and tree structures.  In Proceedings of the 54th Annual Meeting of the Association for Computa- tional Linguistics (Volume 1: Long Papers), pp. 1105–1116, Berlin, Germany, August 2016. Association for Computational Linguistics. Zhen Wan, Qianying Liu, Zhuoyuan Mao, Fei Cheng, Sadao Kuro- [3] hashi, and Jiwei Li. Rescue implicit and long-tail cases:  Nearest neighbor relation extraction. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing , pp. 1731–1738, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguistics. Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina [4] Toutanova.  BERT: Pre-training of deep bidirectional transform- ers for language understanding.  In Proceedings of the 2019 Conference of the North American Chapter of the Associa- tion for Computational Linguistics:  Human Language Tech- nologies, Volume 1 (Long and Short Papers), pp. 4171–4186, Minneapolis, Minnesota, June 2019. Association for Computa- tional Linguistics. [5] Somin Wadhwa, Silvio Amir, and Byron Wallace. Revisiting rela- tion extraction in the era of large language models. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Proceedings of the 61st Annual Meeting of the Association for Computa- tional Linguistics (Volume 1:  Long Papers), pp. 15566–15589, Toronto, Canada, July 2023. Association for Computational Lin- guistics. Kai Zhang, Bernal Jimenez Gutierrez, and Yu Su.  Aligning in- [6] struction tasks unlocks large language models as zero-shot rela- tion extractors. In Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computa- tional Linguistics: ACL 2023 , pp. 794–812, Toronto, Canada, July 2023. Association for Computational Linguistics. [7]  Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela.  Retrieval-augmented generation for knowledge-intensive nlp tasks. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Process- ing Systems, Vol. 33, pp. 9459–9474. Curran Associates, Inc., 2020. Xinze Li, Zhenghao Liu, Chenyan Xiong, Shi Yu, Yu Gu, Zhiyuan [8] Liu, and Ge Yu. Structure-aware language model pretraining im- proves dense retrieval on structured data.  In Anna Rogers, Jor- dan Boyd-Graber, and Naoaki Okazaki, editors, Findings of the Association for Computational Linguistics:  ACL 2023, pp. 11560–11574, Toronto, Canada, July 2023. Association for Com- putational Linguistics. Yijun Tian, Huan Song, Zichen Wang, Haozhu Wang, Ziqing Hu, [9] Fang Wang, Nitesh V. Chawla, and Panpan Xu.  Graph neural prompting with large language models, 2023. [10]  Tobias Plötz and Stefan Roth.  Neural nearest neighbors net- works.  In S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi, and R. Garnett, editors, Advances in Neural Information Processing Systems , Vol. 31. Curran Associates, Inc., 2018. [11] Fenia Christopoulou, Makoto Miwa, and Sophia Ananiadou. Con- necting the dots: Document-level neural relation extraction with edge-oriented graphs.  In Proceedings of the 2019 Confer- ence on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Lan- guage Processing (EMNLP-IJCNLP), pp. 4925–4936, Hong Kong, China, November 2019. Association for Computational Lin- guistics. Amir DN Cohen, Shachar Rosenman, and Yoav Goldberg. Su- [12] pervised relation classification as twoway span-prediction. In 4th Conference on Automated Knowledge Base Construction, 2022. [13] Oscar Sainz, Oier Lopez de Lacalle, Gorka Labaka, Ander Barrena, and Eneko Agirre. Label verbalization and entailment for effective zero and few-shot relation extraction.  In Marie-Francine Moens, Xuanjing Huang, Lucia Specia, and Scott Wen-tau Yih, editors, Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing , pp. 1199–1212, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics. Keming Lu, I-Hung Hsu, Wenxuan Zhou, Mingyu Derek Ma, and [14] Muhao Chen.  Summarization as indirect supervision for relation extraction. In Yoav Goldberg, Zornitsa Kozareva, and Yue Zhang, editors, Findings of the Association for Computational Lin- guistics: EMNLP 2022, pp. 6575–6594, Abu Dhabi, United Arab Emirates, December 2022. Association for Computational Linguis- tics. [15] Yuhao Zhang, Victor Zhong, Danqi Chen, Gabor Angeli, and Christopher D. Manning. Position-aware attention and supervised data improve slot filling.  In Proceedings of the 2017 Confer- ence on Empirical Methods in Natural Language Process- ing , pp. 35–45, Copenhagen, Denmark, September 2017. Associ- ation for Computational Linguistics. [16] Hyung Won Chung, Le Hou, Shayne Longpre, Barret Zoph, Yi Tay, William Fedus, Yunxuan Li, Xuezhi Wang, Mostafa Dehghani, Siddhartha Brahma, Albert Webson, Shixiang Shane Gu, Zhuyun Dai, Mirac Suzgun, Xinyun Chen, Aakanksha Chowdhery, Alex Castro-Ros, Marie Pellat, Kevin Robinson, Dasha Valter, Sha- ran Narang, Gaurav Mishra, Adams Yu, Vincent Zhao, Yanping Huang, Andrew Dai, Hongkun Yu, Slav Petrov, Ed H. Chi, Jeff Dean, Jacob Devlin, Adam Roberts, Denny Zhou, Quoc V. Le, and Jason Wei. Scaling instruction-finetuned language models, 2022. [17] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. Roberta: A robustly optimized bert pretraining approach, 2019. Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, [18] and Dawn Song.  DeepStruct:  Pretraining of language models for structure prediction. In Smaranda Muresan, Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022 , pp. 803–823, Dublin, Ireland, May 2022. Association for Computational Linguistics.実験の設定は，基本的にSuRE[14]に準じて行っており，テンプレートは元論文と同様のものを利用した.  SuREの入力用のテンプレートは図3の形式で，ここから関係ラベルごとに定義された要約用のテンプレートを予測する.要約用のテンプレートは，例えば，関係ラベル“org:founded_by”に対しては，“${始点の用語} was founded by ${終点の用語}”というようなテンプレートがSuREで提案されていた.  Retrieverの埋め込みに利用した表現は，PLMに対して入力用のテンプレートと要約用のテンプレートを結合して入力し、図3中の下線部の埋め込みと，要約テンプレート部分の埋め込みを利用した．予測時の要約用のテンプレート部分の埋め込みについては、EOSトークンの表現を利用した. SuREによる分類時のパラメタである探索ビーム幅は，SuREと同じ値である4とした．Flan-T5モデルおよび，Retriever部分のRoBERTaモデルは，LoRAを適用して最適化をした.  LoRAのパラメタは，両者ともに，r = 32,α = 16, ドロップアウト率を0.1とした.モデルの最適化にはAdamWを利用して, Flan-T5は5 × 10 −4 ，それ以外のパラメタは1 × 10 −3の学習率で，バイアス部分とLayer Normalizationのパラメタを除く部分に対しては重みを5 × 10−6として重み減衰を適用した．バッチサイズは64とした．評価に利用するパラメタは，patienceを5としたEarly Stoppingによって訓練が完了したときのものを利用した.それぞれの実験では，産総研のAI橋渡しクラウド(ABCI)のNVIDIA A100 SXM4を一枚利用した.訓練事例数が少ない場合についても性能調査を行うために，TACREDデータセットを100%利用した場合に加えて，10%，5%に減らした場合についての実験を行った.この時のデータの分割や利用するデータは，[13]の設定に従って決定した．そのときのデータセットの統計量は，表3に示した. The head entity is ${始点の用語}.  The tail entity is ${終点の用語}.  The type of ${始点の用語} is ${始点の用語ラベル} . The type of ${終点の用語} is ${終点の用語ラベル} . ${入力文} .図３ SuREの入力テンプレート