言語処理学会 第30回年次大会 発表論文集（2024年3月）

ID レベル関係抽出における不要な文の自動選択
辻村 有輝 三輪 誠 佐々木 裕
豊田工業大学{sd18602,makoto-miwa,yutaka.sasaki}@toyota-ti.ac.jp

概要
言及を超えた文書に現れるエンティティ間の関係を，エンティティに対応するデータベース上の ID間の関係として抽出する ID レベル関係抽出が取り組まれ始めている．ID により文書を超えた利用性の高い関係情報を抽出できる一方で，入力の広域化による不要な入力情報の増大が問題となる．本研究では，関係抽出対象のエンティティ ID ペアに対する入力文書中の各文の重要性を判断し，不要な文をマスクする ID レベル関係抽出モデルを提案する．
さらに固有表現抽出とエンティティリンキングを組み合わせることでテキストのみから ID レベルの関係を抽出するパイプラインシステムを実現し，その性能を明らかにする．

1

はじめに関係抽出は文書中に出現するエンティティ同士の意味的な関係を抽出するタスクであり，データベース拡張や下流タスクでの利用性から広く研究されている [1, 2, 3]．既存研究では文書中に出現するエンティティの特定の言及スパン同士の間に成立する関係を抽出する言及レベルの関係抽出が広く取り組まれてきた [1, 2]．一方で，文書中には同一エンティティを表す言及が複数出現することが多く，文書の意味をよく捉えた関係抽出のためには，文書中の同一エンティティについて情報の統合が必要である．
そこで，近年，エンティティ間の関係性を取り扱う研究が取り組まれ始めている [3]．このような研究では，各エンティティに対する言及を専門家が整備する用語データベース上の ID にリンクすることによって概念的な同一性の粒度を取り扱 う，ID レ ベ ル 関 係 抽 出の タ ス ク 設 定 が 一 般 的で あ る．ID レ ベ ル 関 係 抽 出 に お け る 抽 出 結 果 は(IDArg1 , relation, IDArg2 ) のトリプルの形で表現される．エンティティ各項がすでにデータベース上のID とリンクされているため，言及レベルの関係抽出に比べて表記ゆれの問題がなく，文書を超えた利用が可能であり，データベースの参照や拡張に直接利用できたり，他の下流タスクでの利用時に ID による参照できたりするなど，応用上のメリットも大きい．
このようなメリットの一方で，ID レベル関係抽出は言及レベルの関係抽出に比べて，入力として利用する文脈が必然的に長くなり，その結果，入力中に含まれる不要な情報も増えるという問題点がある．
関係抽出の性能向上には，関係の判断に必要な情報の取捨選択が重要であることが知られており，例えば単文上の言及レベル関係抽出では，ルールベースでの文の構文木上の最短経路を用いた重要単語の選択手法の有効性が知られている [1]．この手法は，観察によって得られたヒューリスティックに基づいており，重要な単語が選択できないケースが存在するため，著者らはルールの代わりに学習による重要単語の選択手法を提案した [2]．
本研究ではこの学習ベースの重要単語の選択手法を ID レベル関係抽出に拡張し，入力文中の不要な文を自動選択する ID レベル関係抽出モデルを提案する．提案モデルは関係抽出対象のエンティティID ペアと各文の表現ベクトルから，その文の重要度スコアを計算し，この重要度スコアに基づいて不要な文を離散的にマスクする．マスクの基準はタスク損失から end-to-end に学習する．
実験では生化学分野の論文概要上での ID レベル
関係抽出を取り扱う BioRED データセット [3] を用いて，提案モデルの評価を行った．実験結果から，提案モデルの性能は recall に比べて precision が高くなる傾向が確認された．また本研究では，提案モデルを用いたパイプライン情報抽出システムの構築と評価も行った．このパイプラインシステムは，関係抽出に加えて固有表現抽出とエンティティリンキングを実施することで，テキストのみを入力とした IDレベルの情報抽出を実現した．
本研究の主な貢献は以下の 2 点である．

― 3078 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

文分割
文1

スパン表現 (ID=Arg1)
スパン表現 (ID=Arg2)

文2

入力文書

BERT

スパン表現 (ID=Arg1)

ID=Arg1の
ID表現

×1

BERT
×1

ID=Arg2のID表現

×0

隠れ層

出力層...

...

...

...

×0

文S

BERT

スパン表現 (ID=Arg1)

関係の確率分布

マスク処理：文の重要度に基づきID表現を計算

図 1 関係抽出モデルの外観．本モデルは文分割された文書と対象のエンティティ ID ペアに属する全言及スパン位置を入力とし，対象のペアを関係クラスに分類する．

• 不要な文の判断をタスク損失から end-to-end になる．関係は各 ID ペアごとに高々 1 つのラベルが学習する，入力中の不要な文をマスクする ID

つく，シングルラベル設定であり，負例ペアも存在する．データセットの分割として公式の訓練 (400レベル関係抽出モデルを提案し，BioRED データセットで評価した．提案モデルは不要な文を文書)，開発 (100 文書)，テストセット (100 文書) がマスクしない場合に比べて，precision が高くな提供されている．各正例関係にはその関係がその論ることを確認した．

文中で新たに見つかったものかを表す新規性ラベル• テキストのみの入力から ID レベルの関係を抽が付与されているが，本研究では新規性ラベルは使出するパイプライン情報抽出システムを構築用しない．

し，BioRED データセットで評価した．最終的な関係抽出の性能として，システムは 32.2%の2.3

著者らは，単文からの言及レベル関係抽出においテスト F 値を記録した．

2

関連研究

2.1

情報抽出

文レベル関係抽出における重要箇所て，学習を通じて重要単語を自動で選択する手法を提案した [2]．選択の基準は Gumbel-Softmax サンプ
リング [4] を利用することで，離散的な振る舞いを表現し，タスク損失から end-to-end に学習した．

情報抽出はテキストから構造化された情報を抽出する自然言語処理技術である [1]．情報抽出によって抽出される情報の多くは文書中に出現するエンティティとその間に成立する関係の形で構成され

3提案手法

3.1

ID レベル関係抽出モデル

る．情報抽出のサブタスクとしては，テキストから文書からの関係抽出の入力中には，抽出対象のエンティティの言及スパンを取り出す固有表現抽

エンティティ ID ペアに無関係な記述が多く存在

出，同一概念のクラスタリングを行う共参照解析，する．また，対象 ID ペアに関連する記述ではある

各言及スパンについて，それが意味するエンティが，関係については言及していない記述も存在し，ティに対応する外部 ID を識別するエンティティリ

そのような不要な情報は関係抽出の性能に悪影響ンキング，エンティティ間の関係を抽出する関係抽を及ぼすと考えられる．そこで，各文について，そ出などがある．の文の対象エンティティ ID ペアに対する重要度を判断し，不要な文をマスクするマスク処理を備え

2.2

BioREDた ID レベルの関係抽出モデルを提案する．不要なBioRED は文書に対する ID レベル関係抽出デー

文の判定はタスク損失から end-to-end に学習され，タセットである [3]．各文書は PubMed 1）に登録されGumbel-Softmax サンプリングによって離散的なマスク処理の学習を実現する．提案モデルの外観を図 1ている生化学分野の論文概要であり，6 クラスのエンティティと 8 クラスの関係から構成される．エンに示す．

ティティのラベルは各言及スパンの位置とそのクラ提案モデルは，文分割された文書と対象のエンス，およびデータベース上の ID である．リンク先

ティティ ID ペアに属する全言及スパン位置を入となるデータベースはエンティティクラスごとに異力とし，そのペア間の関係クラスを出力する分類

1） https://pubmed.ncbi.nlm.nih.gov/モデルである．初めに各文を BERT [5] によってエ― 3079 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ンコードし，BERT 最終層の隠れベクトルとして各スクは，Gumbel-Softmax サンプリングを利用するこトークンの表現ベクトルを得る．続いてエンティとで，離散的な値に近いマスクを得る．
()
𝑚 𝑖mask = Gumbel2 𝑐mask,𝑖

ティの言及スパンごとに，そのスパンに含まれるトークンの表現ベクトルに対して平均プーリングを(3)

ここで Gumbel2 は 2 クラスの Gumbel-Softmax サン行うことで，スパン表現ベクトルを計算する．
1 ∑ token
span𝒗,𝒗 𝑖, 𝑗 =|M𝑖 𝑗 | 𝑡 ∈M 𝑖,𝑡

プリングである．このサンプリングは微分可能であ(1)𝑖𝑗り，勾配法によって重要度スコアに影響するパラメータを学習する．テスト時のマスクは重要度スコ

span
ここで 𝒗 𝑖, 𝑗 は文書中の 𝑖 番目の文において 𝑗 番目にアが 0.5 を超える場合 1，超えない場合 0 として決出現する言及のスパン表現であり，M𝑖 𝑗 はスパンに定的に計算する．

含まれるトークンインデックスの集合，𝒗 token
は𝑖番
𝑖,𝑡目の文の 𝑡 番目のトークンに対する BERT の最終層の隠れベクトルである．
次に，対象 ID ペアに対する 𝑖 番目の文の重要度
スコア 𝑐maskを計算する．重要度スコアは，文中の𝑖トークンの表現ベクトルの平均から計算される文表
現と，対象 ID ペアそれぞれのエンティティの言及
スパン表現の平均から計算されるエンティティの表

ティの表現を計算し，関係を予測する．
()∑mask 𝒗 span(𝑖, 𝑗 ) ∈E 𝑘 𝑚 𝑖𝑖,𝑗𝒗 mID=
∑𝑘mask(𝑖, 𝑗 ) ∈E 𝑘 𝑚 𝑖))(([]noisehmID+𝒗+𝒃𝒗 h = tanh Wh 𝒗 mID;𝒗
Arg1 Arg2()
𝒑 = softmax Wo 𝒗 h + 𝒃 o ,(4)𝒗 mID
は ID が 𝑘 であるエンティティの言及のスパン𝑘

現から計算される．

表現をその言及の属する文の重要度を考慮して統合𝑖
1 ∑(𝒗 token )𝑇𝑖 𝑡=1 𝑖,𝑡{ lstm lstm}(sentsent )𝒗 1 , 𝒗 2 , ..., 𝒗 lstm
= LSTM 𝒗 sent
𝑆1 , 𝒗 2 , ..., 𝒗 𝑆()
𝒗 csent= Wcsent 𝒗 lstm+ 𝒃 csent + 𝒗 sent𝑖𝑖𝑖

𝑇したエンティティの表現であり，関係予測では対象𝒗 sent=𝑖

エンティティ ID ペアの各エンティティ表現 𝒗 mID
Arg1 と𝒗 mID
Arg2 を入力として分類を行う．tanh と softmax はそれぞれ tanh 関数とソフトマックス関数を表す．Wh ，Wo と 𝒃 h ，𝒃 o はそれぞれ重み行列とバイアスであkey𝒗 𝑖 = Wkey 𝒗 csent
𝑖𝒗 ID𝑘 =最後に，計算されたマスクに基づいてエンティ

1|E 𝑘 |∑(𝑖, 𝑗 ) ∈E 𝑘[る．出力 𝒑 は対象エンティティペアに対する関係ラベルの確率分布である．

(𝒗 mention)𝑖, 𝑗ID𝒗 query = Wquery 𝒗 ID
Arg1 ; 𝒗 Arg2)(key𝒗 query T 𝒗 𝑖mask
𝑐𝑖=𝜎 √,dim(𝒗 query )最終的な予測としては， 𝒑 において最大の確率]となった関係クラスを選ぶ．𝒗 noise はマスクされなかった文数が多いほど分散が大きくなるノイズであ(2)り，不要な情報を多く利用するほど入力がノイズに晒されることをモデルしている．この設定により，

ここで 𝒗 sent
が 𝑖 番目の文に対する文表現であり，𝑇𝑖𝑖

ノイズの予測への影響を低減させるために使用するは 𝑖 番目の文の文長を，𝑆 は文書中の文数を表す．

文数を減らすよう訓練されることを期待している．

LSTM は 双 方 向 の 出 力 を 結 合 す る 双 方 向 LSTM，ノイズの計算式は付録 A に示す．テスト時にはノイ[𝒗 1 ; 𝒗 2 ] はベクトル 𝒗 1 と 𝒗 2 の結合，𝜎 はシグモイド

ズは使用しない．

関数である．dim(𝒗) はベクトル 𝒗 の次元数を表す．
E 𝑘 はエンティティ ID が 𝑘 であるエンティティに対

3.2

パイプライン情報抽出システム応する言及スパンが属する文インデックスとスパン

本研究では，提案する関係抽出に，固有表現抽出インデックスのペア集合，𝒗 ID
𝑘 はエンティティ ID がとエンティティリンキングを組み合わせた，パイプ𝑘 であるエンティティの表現，Arg1 および Arg2 がライン ID レベル情報抽出システムも構築した．本関係抽出対象のエンティティ ID ペアのそれぞれを表す．Wcsent , Wkey , Wquery と 𝒃 csent はそれぞれ重み行

システムは，初めに文書に対して固有表現抽出を実行し，言及スパンを抽出する．続いて各スパンにエ列とバイアスである．

ンティティリンキングを行い ID を識別する．最後

そして，計算された重要度スコア 𝑐maskに基づき，𝑖mash
𝑖 番目の文のマスク 𝑚 𝑖を決定する．学習時のマに，抽出されたスパンと ID から提案モデルによって ID レベルの関係を抽出する．

― 3080 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 “Chemical” および “Disease” エンティティのみからなる ID ペアを対象とした関係抽出の評価．結果はそれぞれmicro 平均スコアの 5 回の評価の平均値である．Luo らは全エンティティクラスのペアに対して実験を行っており，本研
究で対象とする 2 種のみの microF 値は報告されていないため，論文中の ID ペア種別ごとの F 値のうち対応するもののmacro 平均値を参考として記した．また，各スコアにおいて最大の値を太字で示した．
関係抽出のみ (シングルタスク設定)
パイプライン
手法
開発セット
テストセット
開発セット
テストセットPrecision Recall F 値 Precision Recall F 値 Precision Recall F 値 Precision Recall F 値
ベースライン
提案手法
共起のみ
Luo ら [3]

0.653
0.690
0.671
-

4

実験と考察

4.1

実験設定

0.606 0.629
0.597 0.640
0.604 0.635
-

0.648
0.668
0.628
-

0.633 0.640
0.586 0.624
0.641 0.634∼0.601

0.321
0.348
0.346
-

0.358 0.339
0.353 0.351
0.373 0.359
-

0.286
0.302
0.275
-

0.364 0.320
0.346 0.322
0.366 0.314-ストセットにおいては優劣が逆転した．共起のみを用いた場合でも同様の傾向が確認された．なお，エンティティ ID ペア 2 種のみでの設定ではあるが，いずれの手法も先行研究 [3] よりも高い F 値となっ実験では，BioRED データセット [3] を用いて学習と評価を行った．パイプラインシステムの固有た．パイプラインシステムに用いた固有表現抽出とエンティティリンキングの性能は付録 C に示す．

表現抽出には著者らのニューラル固有表現抽出モ

提案手法は比較手法と比べて常に最高の precision

デル [6] を使用し，BioRED で学習と評価を行った．となったが，逆に recall は常に最低となった．また，エンティティリンキングには著者らのニューラルパイプライン設定では，シングルタスク設定同様にリンキングモデル [7] の，NLM-CHEM データセッ

提案手法がベースラインよりも 1%ポイント以上高ト [8] で学習された学習済みモデルを用いた．この

い開発 F 値となった一方，テストセットではほとんリンキングモデルは MeSH ID 2）へのリンキングをど差がない結果となっている．パイプライン設定で行うが，BioRED データセット上のエンティティでは言及スパンや ID がシングルタスク設定より信頼は，“Chemical” と “Disease” クラスが MeSH ID とリしにくいため，この点で precision の高い提案モデルンクされているため，固有表現抽出モデルがこの 2が有利であった可能性が示唆されるが，より詳細なクラスへ分類したエンティティに限ってリンキング分析は今後の課題である．

を行った．関係抽出においてもこの 2 クラスのエンシングルタスク設定において，学習済みの提案手ティティのみを対象とした．ベースラインとして，法が開発セット上でマスクしなかった文数を計測したところ，1 文書当たりの平均で約 3.0 文であった．

学習によるマスクを用いず常に全文を利用する設定での実験も行った．また，比較として学習によるマ

これは文書中の文数の約 25%にあたる．もし各対象スクの代わりに，対象エンティティペアが共起する

エンティティ ID のスパンが別々の文に出現する場文のみを利用する設定での実験も行った．学習によ合，最低 2 文は入力として利用しなければならない

るマスクを用いない場合は，学習時も式 (4) 中のノが，提案手法はこれに近い数まで利用する文をマスイズは利用しない．各設定についてそれぞれ 5 回ずクしていることが確認された．

つ乱数シードを変更して学習と評価を行った．デー
タセットの分割は公式の訓練・開発・テストセット

おわりに5を採用し，100 エポックの学習において最大の開発

本研究では，ID レベル関係抽出における不要な情F 値を計測したエポック時のパラメータでテスト評報の増大に対処するため，不要な文をマスク処理に価を行った．より詳細な実験設定は付録 B に示す．

よって自動で選択する ID レベル関係抽出モデルを4.2提案した．さらに提案モデルに固有表現抽出とエン実験結果と考察ティティリンキングを組み合わせることで，テキス関係抽出の評価を表 1 に示す．提案手法は開発

トのみから ID レベルの関係を抽出するパイプライ

セットではシングルタスク設定においてベースラインよりも 1%ポイント以上高い F 値であったが，テン ID レベル情報抽出システムを実現した．今後の課題として，マスク処理が利用する文についてのより詳細な分析が挙げられる．

2） https://www.nlm.nih.gov/mesh/meshhome.html― 3081 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 JP20K11962 の助成を受けたものです．

参考文献

training for biomedical natural language processing. ACM
Trans. Comput. Healthcare, Vol. 3, No. 1, 2021.
[11] Nitish Srivastava, Geoﬀrey Hinton, Alex Krizhevsky, IlyaSutskever, and Ruslan Salakhutdinov. Dropout: A simpleway to prevent neural networks from overﬁtting. Journalof Machine Learning Research, Vol. 15, No. 56, pp.
1929–1958, 2014.

[1] Razvan Bunescu and Raymond Mooney. A shortest
path dependency kernel for relation extraction. In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, 2005.

[2] 辻村有輝, 三輪誠, 佐々木裕. 関係分類における依存木上の重要トークンの自動判別. 自然言語処理,
Vol. 27, No. 2, pp. 211–235, 2020.
[3] Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi,and Zhiyong Lu. BioRED: a rich biomedical relation extraction dataset. Brieﬁngs in Bioinformatics, Vol. 23,No. 5, p. bbac282, 2022.
[4] Eric Jang, Shixiang Gu, and Ben Poole. Categorical reparameterization with gumbel-softmax. Computing Research Repository, Vol. arXiv:1611.01144, , 2017. version 5.
[5] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectionaltransformers for language understanding. In Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1(Long and Short Papers), pp. 4171–4186, Minneapolis,

Minnesota, 2019. Association for Computational Linguistics.
[6] Tomoki Tsujimura, Koshi Yamada, Ryuki Ida, Makoto
Miwa, and Yutaka Sasaki. Contextualized medication
event extraction with striding ner and multi-turn qa. Journal of Biomedical Informatics, p. 104416, 2023.
[7] Tomoki Tsujimura, Makoto Miwa, and Yutaka Sasaki.
Large-scale neural biomedical entity linking with layer
overwriting. Journal of Biomedical Informatics, p.
104433, 2023.
[8] Rezarta Islamaj, Robert Leaman, David Cissel, Meng
Cheng, Cathleen Coss, Joseph Denicola, Carol Fisher, RobGuzman, Preeti Kochar, Nicholas Miliaras, Zoe Punske,
Keiko Sekiya, Dorothy Trinh, Deborah Whitman, SusanSchmidt, and Zhiyong Lu. The chemical corpus of thenlm-chem biocreative vii track: Full-text chemical identiﬁcation and indexing in pubmed articles. In Proceedings of the seventh BioCreative challenge evaluation
workshop, 2021.

[9] Mark Neumann, Daniel King, Iz Beltagy, and Waleed Ammar. ScispaCy: Fast and Robust Models for Biomedical
Natural Language Processing. In Proceedings of the18th BioNLP Workshop and Shared Task, pp. 319–327, Florence, Italy, 2019. Association for Computational
Linguistics.
[10] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, NaotoUsuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao,and Hoifung Poon. Domain-speciﬁc language model pre-― 3082 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

提案モデルにおけるノイズの計算
学習時の式 (4) 中のノイズ 𝒗 noise は以下の式によって計算する．
∑𝑟 num =𝑚 𝑖mask
𝑆𝑟 penalty = max (0, 𝑟 num − 1)𝒑 ∼ N(0, 𝛼2 𝑰)𝒗 noise = 𝑟 penalty 𝒑,(5)ここで 𝛼 はハイパーパラメータであり，実験では 0.5 とした．

B

実験設定の詳細
ここではより詳細な実験設定について説明する．

関 係 抽 出 で は，前 処 理 と し て BioRED デ ー タ セ ッ ト の 各 入 力 文 書 を scispaCy [9] に よ っ て 文 分 割 した．scispaCy のモデルには “en core sci scibert” を用いた．提案モデルの BERT エンコーダーの初期値にはPubMedBERT [10] を用いた．PubMedBERT の最終層隠れベクトルの次元数は 768 次元である．式 (2) 中のパラメータの各次元数は，Wcsent と 𝒃 csent はそれぞれ 768 × 1536 次元と 768 次元，Wkey と Wquery はそれぞれ768 × 768 次元と 768 × 1536 次元とし，双方向 LSTM の各方向の次元数も 768 次元とした．式 (4) 中のパラメータの各次元数は，Wh と 𝒃 h はそれぞれ 1536 × 1536 次元と 1536 次元，Wo と 𝒃 o はそれぞれ 9 × 1536 次元と 9 次元とした．式 (5) 中の 𝒑 の次元数は 1536 次元とした．汎化性能を向上させるため，隠れ層の出力に対してドロップアウト [11] を用いた．各入力では入力文書中の 1 つのエンティティ ID ペアのみの関係抽出を行うこととし，そのエンティティ ID ペアに対応する全ての言及スパンの始まりと終わりの位置にマーカーとなる特殊トークンを挿入した．対象エンティティが共起する文のみを利用する設定では，入力文書中に利用できる文が存在しなくなるエンティティ ID ペアも存在するが，その場合は常に関係なしと予測することとした．

C

固有表現抽出とエンティティリンキングの性能
表 2 固有表現抽出の性能．それぞれのスコアは micro 平均によって計算した．
開発セット
テストセット手法
対象クラス
Precision Recall F 値 Precision Recall F 値
Chemical & Disease
全 6 クラスLuo ら [3]全 6 クラス
辻村ら [6]

0.891
0.908
-

0.908 0.899
0.931 0.919
-

0.876
0.918
-

0.914 0.895
0.932 0.925
0.893

表 3 “Chemical” および “Disease” クラスのエンティティに対するエンティティリンキングの性能．文書レベルのスコア
は micro 平均によって計算した．
スパンレベル 文書レベル (シングルタスク) 文書レベル (パイプライン)
手法
データ
Accuracy
Precision Recall
F値
Precision Recall
F値
辻村ら [7]

開発セット
テストセット0.70620.68760.72580.73310.84110.84900.77920.78680.67260.65210.78760.7957

0.72550.7168

パイプラインシステムに用いた固有表現抽出の性能を表 2 に，エンティティリンキングの性能を表 3 に示す．

― 3083 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).