概要

1　はじめに
関係抽出は自然文から知識関係を三つ組(subject, relation, object)の形で抽出するタスクである. 文に閉じた関係に限らず，文の境界をまたがるエンティティ間の関係も認識する設定として，文書レベル関係抽出（DocRE : Document-level Relation Extraction）が提案された[1].  DocREは一般的な関係抽出と同様に知識グラフの補完や質問応答に役立つほか[2, 3]，モデルの長文読解力も反映できる[4].また，GPT [5, 6]をはじめとする大規模言語モデル(LLM: Large Language Model)のDocREにおける性能は低いことが報告されており[7]，この視点からも本タスクは取り組むべき研究課題であると考える. DocREの研究は主に英語で行われてきた[ 1 , 8 , 9 ].しかし，英語テキストで言及されず，特定の言語のテキストでのみ書かれている関係知識が存在する. DocREの対象言語を英語に限定して研究すると、英語以外の言語の知識グラフの補完が困難となる．本稿では，DocREを英語以外の言語に拡張することを図1データセットの半自動構築手法の概要目指し，英語の言語資源を活用しながら対象言語のDocREデータセットを構築する方法を探求する. 本研究では， Webテキストは豊富であるが， DocREの言語資源が存在しない日本語を対象言語とする.まず，日本語DocREデータセットを自動で構築し，その品質を調べる．具体的には，英語のDocREデータセットRe-DocRED [9]を日本語に翻訳すると同時に，言語横断ラベル射影（CLP: Cross-lingual Label Projection）を行い，Re-DocREDiaと呼ぶデータセットを得る.  CLPは単語アライメントに基づいてラベルを射影する手法であり、構造化予測タスクの言語横断転移学習での有効性が報告されている[10, 11].  Re-DocREDiaの品質を確認するため、 DocREモデルの学習データとして使用し，得られたモデルの性能を日本語ウィキペディアで測定した．その結果，関係抽出の漏れが多数観察され， Re-DocREDiaが不完全であることが示唆された.日本語DocREデータセットの自動構築の問題を解決するため，人手修正を加えた半自動構築手法を採用する．図1のように，日本語文書にある関係事例の候補を自動で推薦する．アノテータは文書の内容から候補事例の真偽を判断し，添削を行う．これにより収集したデータセットをJacRED (Japanese Document-level Relation Extraction Dataset)と呼び，その統計情報を表1に示す.なお，関係の推薦は辞書マッチにより行われてきたが[1]，本稿ではRe-DocREDiaで学習したモデルの予測により行う.モデル予測による関係推薦は辞書マッチよりもアノテータの負担を軽減できることを定量的に示した.実験では，JacREDで学習したモデルがRe-
<e0:LOC> Morogoro Region </e0:LOC> is one of <e1:LOC> Tanzania 2:NUM> 31 </e2:NUM> administrative regions . The regional capital is the municipality of <e3:LOC> Morogoro </e3:LOC> DocRED®で学習したモデルより高い関係抽出性能を示した.これにより，高品質で実用に耐えうる日本語DocREデータセットが収集できた．また， JacREDを日本語DocREのベンチマークとし，既存のDocREモデルの性能評価も行った.
2　データセットの構築
タスク定義  DocREの目的は,文文D = {x;}|文D|からなる文書Ｄにおける全エンティティ&D = {ei}i=1の組が持つ関係ｒ∈ Rを推定することである.文書Dにおけるエンティティe ∈ &pの言及（メンション）はM c = {mi}i=1であり，Rは事前に定義された関係ラベルの集合である．また，エンティティ組(es,eo)の間に関係rが成り立つ場合，三つ組(es,r,eo)の根拠Ves,r,eo ⊂ XDを文単位で予測する根拠認識タスクも考慮する．根拠認識はDocREのサプタスクとして研究されてきた[ 1 , 14 , 15 , 16 ].
2.1翻訳に基づいた自動構築
まず言語横断ラベル射影（CLP）を用いて，英語データセットRe-DocRED [9]の日本語版を自動構築する.  Re-DocREDはDocREで最も使われているデータセットDocRED [1]の改良版であり，英語ウィキペディアに基づいている.翻訳とラベル射影  Re-DocREDの日本語版をmark-then-translate方式で構築する[10]. この方式では，テキストの翻訳と同時にエンティティのラベル射影を行う．図2に示したように，機械翻訳器の入力として，エンティティの言及をXMLタグで囲んだ英語文書を渡す. 翻訳器はXMLタグおよびそれに囲まれた内容の語義を保持したまま翻訳を行い,小田持愛(おだもちいえ、応永9年8月5日(1402年9月2日) -文明18年
10月21日(1486年11月17日))は、室町時代の人物。室陸小田氏当主。抽出できなかった関係事例：（小田持愛、所属、室陸小田氏）菊池武夫(きくちたけお、1939年5月25日- )は、日本のファッションー。1970年にファッションブランド「BIGI」(ビギ)を、1975年に「MEN'S BIGI」(メンズ・ビギ)を設立し、フランス・バリへの進出を経て、1984年に「タケオキクチ」を設立。抽出できなかった関係事例：（BIGI, 設立者,菊池武夫）図３ Re-DocRED"で学習したモデルが抽出できなかった関係事例の例.簡易のため，文書の一部を省略した.エンティティ言及の位置情報を含む日本語文書が得られる．翻訳と同時にラベル射影を行うため，単語アラインメントを個別に行う必要はない．追加学習を行わなくても図２のように翻訳できるDeepL 2 )を翻訳器として採用した．さらに言及スパンの末尾に含まれやすい格助詞を除外する後処理を行った．得られたデータセットをRe-DocRED jaと呼ぶ.データセットの問題点  Re-DocREDで最良性能を示すモデルであるDREEAM [ 16 ]をRe-DocREDiaの学習データで学習し，テストデータで評価した結果，72.74のＦ値が得られた．しかし，日本語ウィキペディアから収集した文書にこのモデルを適用した結果，一部の関係事例の抽出が困難であることを観察した3 ）図3に抽出できなかった関係事例の例を示した．一番目の例は日本史に関する文書であり，英語ウィキペディアでは対応する記事が存在しない．また，「当主」は現在の日本社会で使われる用語ではないため，英語からの翻訳文で用いられにくく，関係の抽出が難しかったと考えられる．二番目の例では，関係事例（MEN'S BIGI，設立者，菊池武夫）と（タケオキクチ，設立者，菊池武夫）が正常に抽出できたにもかかわらず，（BIGI，設立者，菊池武夫）のみ抽出できなかった．これは抽出できた事例はプランド名が動詞「設立」と隣接しているのに対し，抽出できなかった事例の動詞は省略されたためと考えられる.ここの省略は日本語の母語話者にとって自然であるが，英語由来の翻訳テキストでは省略が起こりにくい.以上により，Re-DocREDiaは日本語話者が関心を持つような話題を網羅できず，よく用いられる構文を反映できないため，日本語文書に対する関係抽出を十分に行えない.
2.2人手修正を組み込んだ半自動構築
これを踏まえて，生の日本語文書からデータセットを作成し、母語者によるアノテーションを行う．集めたデータセットをJacREDと呼ぶ．日本語ウィキペディアの記事に対し，冒頭文で256文字より長いものを文書の候補とする．既存研究に倣い[1]，作業をエンティティラベル付与と関係ラベル付与の二段階に分ける．アノテータは自動推薦されたラベルを修正する形でアノテーションを行う.自動推薦の品質が低ければ，人手修正に手間がかかるため，なるべく質の高い自動推薦を提供する必要がある．本稿では自動推薦の品質を改善するため，幾つかの策を講じる（§2.2.2）.
2.2.1　エンティティ言及のラベル付与
ラベル種類  JacREDではIREX (Information Re- trieval and Extraction Excise) [ 17 ]で使われた8種類の固有表現ラベルを採用する．これにより得られたラベルセットはDocRED [1]に類似している.エンティティ言及の自動抽出各文書におけるエンティティ言及の抽出はKWJA [18]により行う. KWJAで解析された結果，言及数が10個未満の文昔は候補から除外される.文書の選別文の境界を超えた関係事例数を確保するため，再度文書の選別を行う．まず辞書マッチ[19]により文書に存在しうる関係事例数を概算する．具体的には，自動認識されたエンティティの言及を既存の知識ベースWikidata [20]にリンクし、エンティティ組ごとに知識関係が存在するかどうかを確認する．関係事例がWikidataに存在する場合，文書にも当該関係が成り立つとみなす．次に，各文書における関係事例の総数を計算し、文の境界を超えるが4つ未満のものを候補から除外する.人手修正　残された文書からランダムに2,000件を選出し，人手修正の対象とする．アノテータは自動抽出されたエンティティ言及を修正し，抽出できなかったエンティティ言及を追加する.
2.2.2　関係のラベル付与
§2.2.1の結果に基づいて，共参照と関係のラベルを付与する.関係のラベル付与では，ラベル数の削減と自動抽出関係事例の品質改善により，アノテータの負担軽減及びデータセットの品質向上を図る.ラベル種類  (Re-)DocREDではWikidataにある関係から頻度の高い96種類を選出し，関係ラベルセットRを構築した[1, 9].  96種類の関係ラベルを全部理解した上でアノテーションを行うのは困難であり，結果的にはデータセットの品質に影響を与えると考えられる.そのため，関係ラベル数を以下の基準に沿って削減する．(1) rich-ERE [ 21 ]で定義された全ての関係種類を網羅する，(2) HasPartとPartOfのように，Wikidataで逆の関係として定義された関係ラベルは片方だけ残す， (3) (Re-)DocREDで頻度の高い関係ラベルはなるべく採用する.これにより，アノテーションの対象となる関係ラベル種類数を28にまで削減できた. 人手アノテーション後，(2)に該当する逆の関係を自動補完し，得られた関係ラベルセットR'の種類数は35である．関数f(·) : R → R'を用いてRe-DocREDの関係事例をJacREDの関係ラベルセットに射影した結果，88%以上の関係事例を温存できることを確認した.関係事例の自動抽出 既存研究では§2.2.1で紹介した辞書マッチの結果を自動推薦として用いたが[1]，本稿ではRe-DocRED詞で学習したモデルで関係抽出を行った結果を自動推薦とする．この方法で推薦された関係事例は，以下の点において辞書マッチより優れると期待できる.  (1) Wikidataを含め，知識ベースの網羅性は限定的であり，全ての関係事例を網羅できない，(2)辞書マッチは文脈を考應できないが，モデル予測は周囲の文脈に基づいた柔軟な関係抽出ができる．辞書マッチによる推薦とモデル予測による推薦の定量的な比較を§3で行う.人手修正　アノテータは自動抽出された関係事例(es,r,eo)の真偽を判断し，成立しない関係を削除する．関係が成立する場合，文書からその関係を裏付ける根拠Ves.r.e。を特定し，文単位で提示する．最後に，自動抽出できなかった関係事例を追加する.
3　モデル予測による推薦の優位性
§2.2.2では，モデル予測は辞書マッチより品質の高い推薦ができる理由を定性的に述べた．本節では，その根拠を定量的に示す．そのため，収集したJacREDから400件の文書をランダムでサンプリングし，自動推薦から人手修正結果に至るまでに要する編集ステップ数を計算する.モデル予測と辞書マッチの２通りの自動推薦から，最終的なアノテー
表3　JacREDのテストデータにおけるDREEAM関係抽出結果の適合率，再現率とＦ値．データセットの文書数
ション結果に到達するまでの削除・置換・追加4のステップ数を表2に示す.表2から，モデル予測は辞書マッチより約2倍の関係事例を推薦できることが分かった．また，モデル予測を起点とした場合，推薦事例の25%（6,500件中1,366+234=1600件）を編集し，さらに42%（6,500件に対して2,740件）を追加することで最終のアノテーション結果に到達できるが、辞書マッチを起点とした場合，推薦事例の50%を編集し，194%を追加することになる.この事実は，提案したモデル予測を起点とするアノテーション方法がアノテータの負担軽減につながることを示唆している.
実験
4
目的 以下の問いに答えるため実験を行う. (1)人手修正を加えることにより，データセットの品質は改善できたか？ (2)既存のDocREモデルは日本語DocREをどれほど解けるのか？設定　JacREDの文書全2,000件を，学習・検証・テストデータとして1,400/300/300に分割する．モデルは全て一枚のTesla V100 16GB GPUで学習した．ランダムに初期化されたモデルを５つ学習し，予測結果のＦ値の平均を報告する.
4.1人手修正によるデータセットの品質
ここでは，自動構築データセットRe-DocREDiaとJacREDの品質を定量的に評価する．具体的には，それぞれのデータセットで学習したモデルをJacREDのテストデータで評価し，その性能を比較する．表3に示すように，JacREDで学習したモデルは少ない学習事例数でRe-DocREDiaで学習したモデルを上回る性能を達成できた．特に再現率に乖離があることは，§2.1で例示した自動構築データセットの問題点の裏付けである.

4.2 既存モデルの性能
JacREDをベンチマークとして用い、既存モデルの日本語DocREにおける性能を測る．ここでは, DocREの教師ありモデル[8, 22, 23 , 16]と汎用的な大規模言語モデル[5, 6]を対象とする．大規模言語モデルによるDocREは関係ラベルごとに抽出例を7個提示し，in-context learningを行う．この方法は一回の予測に必要な入力プロンプトが長く，コストがかさむため，テストデータからランダムに選んだ10個の文書での評価結果を報告する.表4に実験結果を示す. まず，教師ありモデルに着目する．関係抽出の性能では，ATLOPが最下位でDREEAMが最上位であり，Re-DocREDと同様の傾向を示した．一方，教師ありモデルのRe-DocREDでのＦ値が70台であるが，JacREDでのＦ値は60台であった．これにより，日本語DocREの精度はまだ英語DocREに及ばないことが分かった．ゆえに，日本語DocREにはまだ課題が残されていると考える．次に，大規模言語モデルの性能に着目する．教師ありモデルと比べて，GPT-3.5とGPT-4はJacREDとRe-DocREDの両方で性能が低かった．この結果は先行研究と一致しており[7]，大規模言語モデルのDocREでの有効性が限定的であることを示唆する.
5　おわりに
本稿では，日本語DocREの言語資源構築に英語DocRE言語資源を活用する方法を探求した．翻訳とラベル射影による自動構築の問題点を洗い出した後，人手修正とモデル予測を組み合わせたデータセットの半自動構築手法を提案した．提案手法を用いて構築したデータセットJacREDは，初の日本語DocREデータセットとして公開される.今後は，忠実性チェックや質問応答などのタスクにおけるJacREDの活用法について調べていきたい.この成果は,国立研究開発法人新エネルギー・産業技術総合開発機構(NEDO)の委託業務(JPNP18002)の結果得られたものです. [2] [3] [4] [6] [7] [8] [9] [10] [11] [1] Yuan Yao, Deming Ye, Peng Li, Xu Han, Yankai Lin, Zhenghao Liu, Zhiyuan Liu, Lixin Huang, Jie Zhou, and Maosong Sun. Do- cRED: A large-scale document-level relation extraction dataset. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics , pp. 764–777, July 2019. Mo Yu, Wenpeng Yin, Kazi Saidul Hasan, Cicero dos Santos, Bing Xiang, and Bowen Zhou. Improved neural relation detection for knowledge base question answering.  In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics , pp. 571–581, July 2017. Bayu Distiawan Trisedya, Gerhard Weikum, Jianzhong Qi, and Rui Zhang. Neural relation extraction for knowledge base enrichment. In Proceedings of the 57th Annual Meeting of the Associa- tion for Computational Linguistics , pp. 229–240, July 2019. Haotian Chen, Bingsheng Chen, and Xiangdong Zhou.  Did the models understand documents?  benchmarking models for lan- guage understanding in document-level relation extraction. In Pro- ceedings of the 61st Annual Meeting of the Association for Computational Linguistics , pp. 6418–6435, July 2023. [5] Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wain- wright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Kata- rina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke Miller, Maddie Simens, Amanda Askell, Peter Welinder, Paul Christiano, Jan Leike, and Ryan Lowe. Training language models to follow instructions with human feedback, 2022. OpenAI. Gpt-4 technical report, 2023. Somin Wadhwa, Silvio Amir, and Byron Wallace. Revisiting rela- tion extraction in the era of large language models. In Proceedings of the 61st Annual Meeting of the Association for Computa- tional Linguistics , pp. 15566–15589, July 2023. Wenxuan Zhou, Kevin Huang, Tengyu Ma, and Jing Huang. Document-level relation extraction with adaptive thresholding and localized context pooling.  In Proceedings of the AAAI Confer- ence on Artificial Intelligence, 2021. Qingyu Tan, Lu Xu, Lidong Bing, Hwee Tou Ng, and Sharifah Ma- hani Aljunied. Revisiting DocRED - addressing the false nega- tive problem in relation extraction. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Pro- cessing , pp. 8472–8487, December 2022. Yang Chen, Chao Jiang, Alan Ritter, and Wei Xu.  Frustratingly easy label projection for cross-lingual transfer. In Findings of the Association for Computational Linguistics:  ACL 2023, pp. 5775–5796, July 2023. Leonhard Hennig, Philippe Thomas, and Sebastian Möller. Mul- tiTACRED: A multilingual version of the TAC relation extraction dataset. In Proceedings of the 61st Annual Meeting of the As- sociation for Computational Linguistics , pp. 3785–3801, July 2023. Qiao Cheng, Juntao Liu, Xiaoye Qu, Jin Zhao, Jiaqing Liang, [12] Zhefeng Wang, Baoxing Huai, Nicholas Jing Yuan, and Yanghua Xiao.  HacRED: A large-scale relation extraction dataset toward hard cases in practical applications. In Findings of the Associ- ation for Computational Linguistics:  ACL-IJCNLP 2021, pp. 2819–2831, August 2021. [13] Soyoung Yang, Minseok Choi, Youngwoo Cho, and Jaegul Choo. HistRED: A historical document-level relation extraction dataset. In Proceedings of the 61st Annual Meeting of the Associa- tion for Computational Linguistics , pp. 3207–3224, July 2023. [14] Yiqing Xie, Jiaming Shen, Sha Li, Yuning Mao, and Jiawei Han. Eider: Empowering document-level relation extraction with ef- ficient evidence extraction and inference-stage fusion. In Find- ings of the Association for Computational Linguistics:  ACL 2022 , pp. 257–268, May 2022. [15] Yuxin Xiao, Zecheng Zhang, Yuning Mao, Carl Yang, and Jiawei Han.  SAIS: Supervising and augmenting intermediate steps for document-level relation extraction.  In Marine Carpuat, Marie- Catherine de Marneffe, and Ivan Vladimir Meza Ruiz, editors, Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies , pp. 2395–2409, July 2022. Youmi Ma, An Wang, and Naoaki Okazaki. DREEAM: Guid- [16] ing attention with evidence for improving document-level relation extraction. In Proceedings of the 17th Conference of the Eu- ropean Chapter of the Association for Computational Lin- guistics , pp. 1971–1983, May 2023. [17] Satoshi Sekine and Hitoshi Isahara.  IREX: IR & IE evaluation project in Japanese.  In Proceedings of the Second Interna- tional Conference on Language Resources and Evaluation (LREC'00), May 2000. Nobuhiro Ueda, Kazumasa Omura, Takashi Kodama, Hirokazu [18] Kiyomaru, Yugo Murawaki, Daisuke Kawahara, and Sadao Kuro- hashi.  KWJA: A unified Japanese analyzer based on foundation models.  In Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics , pp. 538–548, July 2023. Mike Mintz, Steven Bills, Rion Snow, and Daniel Jurafsky. Distant [19] supervision for relation extraction without labeled data.  In Pro- ceedings of the Joint Conference of the 47th Annual Meet- ing of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 1003–1011, August 2009. [20] Denny Vrandečić and Markus Krötzsch. Wikidata:  A free collabo- rative knowledgebase. Commun. ACM , Vol. 57, No. 10, p. 78–85, sep 2014. [21] Zhiyi Song, Ann Bies, Stephanie Strassel, Tom Riese, Justin Mott, Joe Ellis, Jonathan Wright, Seth Kulick, Neville Ryant, and Xiaoyi Ma. From light to rich ERE: Annotation of entities, relations, and events. In Proceedings of the The 3rd Workshop on EVENTS: Definition, Detection, Coreference, and Representation, pp. 89–98, June 2015. Ningyu Zhang, Xiang Chen, Xin Xie, Shumin Deng, Chuanqi Tan, [22] Mosha Chen, Fei Huang, Luo Si, and Huajun Chen.  Document- level relation extraction as semantic segmentation.  In Zhi-Hua Zhou, editor, Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence, IJCAI-21, pp. 3999– 4006, 8 2021. Main Track. [23] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou Ng. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Findings of the Association for Com- putational Linguistics:  ACL 2022 , pp. 1672–1681, May 2022. [24] Pontus Stenetorp, Sampo Pyysalo, Goran Topić, Tomoko Ohta, Sophia Ananiadou, and Jun'ichi Tsujii. brat: a web-based tool for NLP-assisted text annotation.  In Proceedings of the Demon- strations at the 13th Conference of the European Chapter of the Association for Computational Linguistics , pp. 102– 107, April 2012. [25] Junpeng Li, Zixia Jia, and Zilong Zheng. Semi-automatic data enhancement for document-level relation extraction with distant supervision from large language models. In Houda Bouamor, Juan Pino, and Kalika Bali, editors, Proceedings of the 2023 Confer- ence on Empirical Methods in Natural Language Process- ing , pp. 5495–5505, December 2023.作業プロセス　タスクの複雑性から、アノテーション作業はクラウドソーシングを用いず，専門家に依頼した.アノテータは事前に作成されたガイドラインに基づき，自動抽出されたエンティティ言及および関係事例の修正を行う．作業中は必要に応じて議論とガイドラインの修正を行う.作業画面　エンティティ言及付与と関係付与両方ともBRAT [24]を用いる. エンティティ言及付与では，文書単位で各エンティティ言及のスパンおよびラベルの正誤を行う．関係付与では，図4に示すように，関係は事例単位で提示される．提示された関係が正しい場合，それをサポートする根拠を文IDとしてコメント欄に記入する.英語データセット  DocREのベンチマークとして一般的に使われてきたのはDocRED [1]である.しかしDocREDにおけるアノテーション漏れが問題視されており，それを軽減するデータセットとしてRe-DocREDが収集された[9].  Re-DocREDはDocREDの欠損関係事例を補完したが，補完対象である関係の根拠文の追加は行われていない. JacREDは(Re-)DocREDと同じくウィキペディアに基づいたデータセットであるため，３者をより詳しく比較する．表5に示したように，JacREDにおける文書の長さおよび文書ごとのエンティティ数は(Re-)DocREDと匹敵する.一方，JacREDの文書ごとの関係事例数はDocREDより多く，アノテーション漏れの問題はある程度回避できたと考えられる.また，根拠文数から見て，JacREDはRe-DocREDより多く，DocREDに匹敵する．これにより，JacREDは根拠文と関係両方のアノテーションに配慮したバランスの良いデータセットであると考えられる.英語以外のデータセット  (Re-)DocREDの他,中国語データセットとしてHacRED [ 12 ]，韓国語データセットとしてHistRED [13]がある．両データセットとも独立で収集され，(Re-)DocREDと異な
るドメインとラベルセットを持っている.それに対し，JacREDは(Re-)DocREDを起点とするため， (Re-)DocREDと性質が近い．また，JacREDの収集過程で，翻訳および言語横断ラベル射影による他言語DocREデータセットの自動構築だけでは不十分であるが，自動構築データセットを用いた半自動構築はアノテータの負担軽減に繋がることを示した. §4.2で報告された大規模言語モデルのin-context learningに用いるプロンプトの詳細を図5に示す.既存研究では全ての関係を一斉に出力するようにプロンプトを設計してきた[7, 25]. しかし文書における全関係の一斉出力は困難であるため，本稿では関係ラベルごとにプロンプトを設計し，一回のAPI呼び出しに関係を一種類だけ抽出する．これによりGPT-3.5は既存研究を上回る関係抽出性能を示した. Perform Document-level Relation Extraction task, Given a context and an identify all entity pairs with relation type {located in the administration entity) in the context. Note that only a few entity pairs hold relations. Please located in the administrative territorial entity: {head} is located in the administrative territorial entity {tail}. Context:東京・板橋出身、 Entity List:東京山坂橋Extracted Entity Pairs: [板橋,東京]かのBCK厳宗や真言宗に影響を与えたの付宗(萬宗)法相宗(ほっそうしゅう、唯識)興舎宗(くしゃしゅう、説一切有
宗の付宗(萬宗)華厳宗(けごんしゅう、華厳経)律宗(りっしゅう、四分律)-真宗と呼ばれていたわけなお、奈良時代当時から「安京を中心に突えた「平安真言宗)に対する呼び名(天台示" Entity List:奈良時代川平安時代川平城京川日本川平安奈川平安Extracted Entity Pairs: [平安京,日本] (examples) 
CNNで放送されているテレビ番組。2013年4月から放送を開始した。エミー
賞、また、脚本賞、音響賞、編集賞、撮影賞に11個ノミネートされている。
年にはアメリカのテレビ・ラジオ・ウェブサイトの優れた放送作品に贈られる。
 1940年4月から第年にはアメリカの「こちら」と、「ニキュラ」を繰り返した。
ディ賞を受賞した。最後のジャン・ラインが世界の津々浦々を旅し、あまり知風俗、食材、料理などを紹介する世界を駆ける||CNN||2013年4月||エEntity List:アメリカ合衆国山アンExtracted Entity Pairs:図5   DocREに用いるプロンプトの例