言語横断ラベル射影を用いた日本語文書レベル関係抽出データセットの構築

関係抽出は自然文から知識関係を三つ組(subject,relation,object)の形で抽出するタスクである．文に閉じた関係に限らず，文の境界をまたがるエンティティ間の関係も認識する設定として，文書レベル関係抽出（DocRE:Document-levelRelationExtraction）が提案された[1]．DocREは一般的な関係抽出と同様に知識グラフの補完や質問応答に役立つほか[2,3]，モデルの長文読解力も反映できる[4]．また，GPT[5,6]をはじめとする大規模言語モデル（LLM:LargeLanguageModel）のDocREにおける性能は低いことが報告されており[7]，この視点からも本タスクは取り組むべき研究課題であると考える．DocREの研究は主に英語で行われてきた[1,8,9]．しかし，英語テキストで言及されず，特定の言語のテキストでのみ書かれている関係知識が存在する．DocREの対象言語を英語に限定して研究すると，英語以外の言語の知識グラフの補完が困難となる．本稿では，DocREを英語以外の言語に拡張することを1）構築したデータセットをhttps://github.com/YoumiMa/JacREDで公開する．置換(𝑒𝑛𝑡!,𝑟𝑒𝑙!,𝑒𝑛𝑡")(𝑒𝑛𝑡",𝑟𝑒𝑙",𝑒𝑛𝑡#)(𝑒𝑛𝑡#,𝑟𝑒𝑙#,𝑒𝑛𝑡$)(𝑒𝑛𝑡$,𝑟𝑒𝑙!,𝑒𝑛𝑡")𝑒𝑛𝑡!(𝑒𝑛𝑡!,𝑟𝑒𝑙",𝑒𝑛𝑡")(𝑒𝑛𝑡",𝑟𝑒𝑙",𝑒𝑛𝑡#)(𝑒𝑛𝑡#,𝑟𝑒𝑙#,𝑒𝑛𝑡$)𝑒𝑛𝑡"𝑒𝑛𝑡#𝑒𝑛𝑡$削除追加⼈⼿修正結果⽂書（⽇）モデル予測結果目指し，英語の言語資源を活用しながら対象言語のDocREデータセットを構築する方法を探求する．本研究では，Webテキストは豊富であるが，DocREの言語資源が存在しない日本語を対象言語とする．まず，日本語DocREデータセットを自動で構築し，その品質を調べる．具体的には，英語のDocREデータセットRe-DocRED[9]を日本語に翻訳すると同時に，言語横断ラベル射影（CLP:Cross-lingualLabelProjection）を行い，Re-DocREDjaと呼ぶデータセットを得る．CLPは単語アライメントに基づいてラベルを射影する手法であり，構造化予測タスクの言語横断転移学習での有効性が報告されている[10,11]．Re-DocREDjaの品質を確認するため，DocREモデルの学習データとして使用し，得られたモデルの性能を日本語ウィキペディアで測定した．その結果，関係抽出の漏れが多数観察され，Re-DocREDjaが不完全であることが示唆された．日本語DocREデータセットの自動構築の問題を解決するため，人手修正を加えた半自動構築手法を採用する．図1のように，日本語文書にある関係事例の候補を自動で推薦する．アノテータは文書の内容から候補事例の真偽を判断し，添削を行う．これにより収集したデータセットをJacRED(JapaneseDocument-levelRelationExtractionDataset)と呼び，その統計情報を表1に示す．なお，関係の推薦は辞書マッチにより行われてきたが[1]，本稿ではRe-DocREDjaで学習したモデルの予測により行う．モデル予測による関係推薦は辞書マッチよりもアノテータの負担を軽減できることを定量的に示した．実験では，JacREDで学習したモデルがRe-.データセット言語関係ラベル数文書数関係三つ組数文書長（トークン数）根拠文情報DocRED[1]英964,05150,503198.4ありRe-DocRED[9]英964,053120,664198.4一部ありHacRED[12]中267,73156,798122.6なしHistRED[13]韓205,8169,965100.6ありJacRED日352,00042,241260.1あり<e0:LOC>MorogoroRegion</e0:LOC>isoneof<e1:LOC>Tanzania</e1:LOC>'s<e2:NUM>31</e2:NUM>administrativeregions.Theregionalcapitalisthemunicipalityof<e3:LOC>Morogoro</e3:LOC>.機械翻訳<e0:LOC>モロゴロ州は</e0:LOC>、<e1:LOC>タンザニアに</e1:LOC>ある<e2:NUM>31</e2:NUM>⾏政区のひとつ。州都は<e3:LOC>モロゴロ</e3:LOC>市である。DocREDjaで学習したモデルより高い関係抽出性能を示した．これにより，高品質で実用に耐えうる日本語DocREデータセットが収集できた．また，JacREDを日本語DocREのベンチマークとし，既存のDocREモデルの性能評価も行った．