言語処理学会 第30回年次大会 発表論文集（2024年3月）

他文書の予測を知識グラフに蓄積・利用する文書単位関係抽出
松原 拓磨

辻村 有輝 三輪 誠 佐々木 裕
豊田工業大学{sd23439,sd18602,makoto-miwa,yutaka.sasaki}@toyota-ti.ac.jp

概要
従来の文書単位深層関係抽出では，文書を個別に処理しており，他の文書で予測した関係を利用できていない．そこで，本研究では，再学習せずに予測時に他の文書で予測した関係を知識グラフに関連付けることで，低コストに処理単位を超えて情報を共有する文書単位の関係抽出を提案する．実験では生
物医学分野の文書単位関係抽出データセットである
BioRED データセットにおいて，他の文書で予測した関係による関係予測への影響を確認した．

1

はじめに

様々な分野で，新たなエンティティ間の関係を報告する文書は増え続け，人手でのデータベースの整備が追いついていない [1, 2, 3]．そのため，データ
ベースの整備の補助を目的として，文書全体の情報を考慮した文書からの関係の自動抽出が求められており，その高い性能から深層学習を用いた手法が主流となっている．しかし，既存の関係抽出ではコーパスのみを用いており，データベースに登録されているエンティティの性質などの他の豊富な情報を利用できていない．そのために，これらの豊富な情報の有効性を調査することを目的とした関係抽出が研究がされており，対象のエンティティ間を予測する
際に，それらの周辺情報を利用できるため，高い性能を達成している [4, 5]．これらの研究では，知識グラフにおけるエンティティの周辺情報の有用性が示されている一方で，他の文書に記述された関係情報やエンティティの周辺情報は利用されていない．
他の文書に記述された情報は，他の文書を処理した
際に抽出されているため，その抽出された情報を利用できれば良いと考えられる．しかし，従来の教師あり関係抽出では文書を個別に処理しているため，処理単位を超えた情報の共有が起こらず，予測時に抽出された情報が利用されることはない．
他の文書の情報を利用する手法としては，複数文
書を同時に処理する手法 [6] があるが，大量の計算リソースが必要であり，また，他の文書の情報をデータベースの知識と関連付けることもできない．
また，半教師あり学習を用いた手法 [7, 8] では，他の文書の情報をモデルが考慮するために再学習が必要である．
そこで，本研究では関係抽出における，知識グラ
フに関連付けられた他の文書で予測した関係による影響の調査を目的に，再学習のコストなしに，予測時に他の文書で予測した関係を知識グラフに関連付けることで，低コストに処理単位を超えて情報を共有する文書単位の関係抽出を提案する．具体的には，既存のデータベースに登録されている関係情報で表現された知識グラフに，既存の関係抽出モデル[5] を用いて他の文書の予測を追加し，再び対象文
書の関係抽出を行う．このとき，他の文書から予測した信頼性の低い情報が知識グラフに追加され，他の文書の予測結果によって動的に変化する知識グラ
フにモデルの再学習なしに対応できるようにするため，2 つの工夫を行う．1 つは訓練時に他の文書の予測結果を利用するための工夫である，評価時には対象文書以外の文書の予測結果を知識グラフに追加して利用するが，訓練時にはそのような他の文書の予測結果は存在しない．訓練時に予測された関係を利用する状況を再現するために，訓練データ内で交差検証を行うことで擬似的な予測データを作成し，利用する．もう 1 つは，知識グラフに追加する信頼性の低い情報に対する工夫である．知識グラフに追加する予測は正しい情報とは限らないため，関係抽
出モデルの予測確率を予測の信頼度として，信頼度の高いものほど知識と同じように扱う．具体的にはエッジの重みで信頼度を表現し，エッジの種類は予測した関係ラベルに対応させる．

― 2908 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

キシゲナーゼ
関係ラベル

係ラベル

本研究の貢献は次の通りである．

関係の 正解
予測確率 ラベル• 予測時に，モデルの再学習なしに，他の文書で関係抽出モデル

positive
negativeassociationbind

予測した関係を知識グラフと関連付けること
で，他の文書で予測した関係を処理範囲を超え
fever and blocks COX … [SEP]

D007052 D005334 5743

更新
drug-Aて低コストで利用できる新しい関係抽出手法を

3

4

5

6

提案

1

3

6]

BERT

重要度 小

GNN
遠
• 生物医学分野の文書単位関係抽出データセット② GCNでグラフ埋め込み
距である[9] で，他の文書で予測した関係
5743 BioRED
離サブグラフ

による関係予測への影響を確認
5743
D007052

入力文書の用語

ocks COX ……
5743

関連研究
D007052

2
5743

2.1

D005334

activity
外部知識を利用した関係抽出

文書の用語

タ
記憶モデル
作
他 の 文 書 の 情 報 を 利 用 す る 関 係 抽 出 手 法 と成しCて，検 索 拡 張 生 成 (Retrieval Augmented Generation;

BRAG) [10] を用いる手法があるが，入力として利用
A

DiseaseBに利用するのには計算コストがかかる．

B

A

DrugC
DrugA causes symptom
reduction in DiseaseB.
DrugA has the haracteristicof being fast-acting. DrugA
and DrugC ~~文書できる知識は限定的であり，検索して取得した文書
データベース（知識）で表現された関係を抽出し，対象の文書の関係抽出

C

DrugA

ー

52 D005334

D005334

GCN

教
師
あ
り
デ

D

近傍知識グラフ
抽出

C
A

B
D

知識グラフ

図 1 近傍知識グラフからの埋め込みを統合利用する関係抽出の概要 [5]また，大規模言語モデルで生成した回答をメモリ削減のためにトリプル形式でメモリに保存し，次の回答ではそのトリプルを利用する手法 [11] がある．

次に，近傍知識グラフについて GCN で埋め込ん

しかし，この手法では予測を保存し，再び利用するだエンティティの表現を入力文書に統合して，関係だけであり，予測を知識グラフとして扱って推論し抽出を行う．具体的には，入力テキストにそれぞれていない．

のテキスト内のエンティティに対応するノードのベ

近傍知識グラフからの埋め込みを統合利用する関係抽出

クトル表現をエンティティの位置 ID と一致させながら追加し，事前学習済みモデル BERT (Bidirectional

著者らは，データベースにおける入力文書に現れるエンティティ近傍の情報を表現した近傍知識グラ

Encoder Representations from Transformers) [13] に同時

フと入力文書を統合して利用する関係抽出手法を提ティペアの表現を用いて，関係を分類する．学習に案した [5]．概要を図 1 に示す．

おいては GCN と BERT を同時に学習する．

2.2

まず，近傍知識グラフについては，データベースに登録されている入力文書に現れる全エンティティに入力する [14]．そして，BERT の出力のエンティ

提案手法

3

の近傍にあるトリプルを抽出する．具体的にはそれ本研究では関係抽出における，知識グラフに関連

ぞれのエンティティについて，一定ホップ数以内付けられた他の文書で予測した関係による影響を調で繋がるトリプルの集合を抽出する．次に分類対査するために，他の文書で予測した関係を知識グラ象となるエンティティペアについて，遠距離教師

フに関連付けることで処理単位を超えて情報を共

データの正解ラベルの情報となるペア間のトリプ有する関係抽出モデルを提案する．提案手法は 2.2

ルを削除した上で，近傍知識グラフとし，グラフ

節の知識グラフを用いた関係抽出手法を拡張した手

畳み込みネットワーク (Graph Convolutional Network;法となっている．

GCN) [12] で埋め込みを行う．このようにすること

3.1

で，文書に現れる全エンティティに対して，データ
ベース内の周辺情報と関係情報を含む表現を獲得
する.

知識グラフに追加する予測データの作成

訓練時・評価時において，知識グラフに追加する
予測データの作成方法について説明する．概要を
図 2 に示す．

― 2909 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

予測ペア
?

予測ペア
?

DrugA DiseaseB

DrugA DiseaseB

COXシクロオキシゲナーゼ
関係ラベル
ibuprofen ⇒ COX
関係ラベル
N分割交差検証

関係の 正解
予測確率 ラベル
positive
negativeassociationbind

関係抽出モデル

訓練データ

OR[CLS] Ibuprofen reduces fever and blocks COX … [SEP]

位置 ID

[0

1

2

3

4

6

1

D007052

D005334

知識グラフ
入力文書の用語
D007052 D005334

D0070525743

D005334

activityー

記憶モデル

図 2 知識グラフに追加する予測データの作成方法

タC

Ibuprofen reduces fever and blocks COX ……
作
D007052
D0053345743
成therapeutic

3.1.1

文書の用語

遠
距
離
教
師
あ
り
デ

A

B

C

DiseaseB

A

DrugC

D

E
DrugA causes symptom
reduction in DiseaseB.
DrugA has the haracteristicof being fast-acting. DrugA
and DrugC ~~

タ
作
成

F
近傍知識グラフ抽出
知識グラフ

A

予測と信頼度B

本提案手法では，評価時には他の文書の予測結果
データベース（知識）0.86

を知識グラフに追加して利用するが，訓練時にはそ

薬物A 疾患F
：

0.73

薬物
疾患
遺伝子

D

E

促進
薬物A 疾患E
阻害のような他の文書の予測結果は存在しない．訓練時

B

C

文書
予測データ

訓練

RGCN

DrugA

ー

遠
距
離
教
師
あ
り
デ

更新
予測データ
6]
重要度 小
（対象文書以外の予測）

係3
抽
出GNN
② GCNでグラフ埋め込みモ
5743 サブグラフ
デ
5743
ル

5

評価データ

小

BERT

D007052 関
D005334 5743

F追加

図 3 予測データが追加された知識グラフを用いた関係抽出に他の文書で予測された関係を利用する状況を再現するために，訓練データ内で N 分割交差検証を行う
ことで擬似的な予測データを作成し，利用する．具る知識グラフのエッジを削除して，2.2 節と同様に体的には，訓練データを 1 : 𝑁 − 1 に分割し，交差

negative
対象文書の関係抽出を行う．
予測した関係

positive
予測した関係

DrugA DiseaseB

検証内の「予測データ」と「訓練データ」として，

DrugA GeneD

2.2 節で説明した既存研究ではエッジの種類を区関係の 正解関係の正解予測確率 ラベル

予測確率 ラベル

negative
positive GCN を用いていたが，知識グラフに追加
既存の関係抽出モデル[5] を「訓練データ」で学習
別しない
positive
予測した関係 DrugA DiseaseB予測した関係 DrugA GeneD
negative

し，「予測データ」に対して関係予測を行う．そし関係の正解

予測確率 ラベルて，「予測データ」と「訓練データ」を同様に被らな関係の 正解
bind
予測確率
ラベル
の代わりにエッジの種類を区別する
RGCN [15] の適
BERT

positive

BERT

positive用も検討した．エッジの種類を無視する
GCN を用negativeassociation

いずに，エッジの種類を考慮できる
RGCN を用いる
GNN
bind

いように分割し，再び「予測データ」に対して関係
negativeassociation

予測を行う．これを N 回繰り返し，訓練データ内の
bind
BERT
全文書に対する予測データを得る．

BERT
文書の用語
C
B
ことで，他の文書で予測した関係情報を区別して考

…

DrugA

3.1.2

positive
negativeassociation
bind

する関係タイプを区別するために，本研究ではGCN
association

文書の用語

GNN

DrugA
慮することができる．こうして，他の文書で予測しDiseaseB
A
D

評価

A

D

GeneD

DrugC
GNN
た関係を知識グラフに関連付けることで処理単位を部分グラフ × データ数

GNN

B

C

部分グラフ

抽出
抽出
DrugA
DrugA promotes 全データの処理を
theCcausesB
C
B
評価時には予測結果を知識グラフに追加する．評
symptom reduction in
activity of GeneD. 繰り返す回数
文書の用語超えて情報を共有する関係抽出を実現する．
DrugA
DiseaseB. DrugA has
GeneD exhibits the
D
B
B
C
C
DrugA
A
the characteristicoffeature of strong
価を複数回行い，その都度，信頼度が閾値以上であDiseaseB
A
D

文書の用語

GeneD

DrugC
ると予測された関係を知識グラフに追加していく．
部分グラフ

抽出
DrugA causes
DrugA promotes the
信頼度は，予測の信頼度がそれまでの予測の信頼度
symptom reduction in
activity of GeneD.

実験設定

4

being fast-acting.
DrugA and DrugC ~~

部分グラフ
文書①
抽出

A

D

resilience and is
known for ~~

A

文書②

記憶モデル
文書単位関係抽出データセットである
BioRED [9]文書①の処理文書②の処理DiseaseB. DrugA has
GeneD exhibits the
B
B
C
C
を上回った場合に更新する．知識グラフに追加するを対象に学習・評価を行った．BioREDの設定に従the characteristic offeature of strong
being𝑛fast-acting.
回数を
回とする．
DrugA and DrugC ~~

3.2

A

D

resilience and is
known for ~~Dい，600 A
件の医学文献のうち，400
件・100 件・100 件

予測データが追加された知識グラフを
文書①
文書②
記憶モデル
用いた関係抽出
文書①の処理をそれぞれ訓練データ・開発データ・テストデータ
記憶モデルとした．評価指標はマイクロ平均
F 値を用いた．予文書②の処理概要を図 3 に示す．まず，3.1 節で作成した予測測する関係の種類は 8 種類，対象エンティティは薬データを既存の知識グラフに追加する．このとき，物・疾患・遺伝子・変異体の 4 種類である．BioRED

知識グラフに追加する予測は正しい情報とは限ら

データセットの統計を付録 A の表 3 と 4 に示す．

ないため，関係抽出モデルの予測確率を予測の信頼度として，信頼度の高いものほど知識と同じように(Comparative Toxicogenomics Database) [1] の薬物・疾扱う．具体的にはエッジの重みで信頼度を表現し，

患・遺伝子を用いた．近傍知識グラフには，入力文

エッジの種類は予測した関係ラベルに対応させる．

書に出現するエンティティに対応するノードからそまた，予測確率が閾値 𝜂 以上の予測を知識グラフにれぞれ 2 ホップ先のノードを含んだものを用いた．

追加する．次に，対象文書の関係予測ペアに対応す

CTD のデータの統計を付録 A の表 5 に示す．ベー

ま た，知 識 グ ラ フ の エ ン テ ィ テ ィ に は CTD― 2910 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

記憶モデル

D

表 1 ベースラインモデルとの比較．(𝜂 = 0.80, 𝑛 = 1)
F 値には 5 回の評価の平均と標準偏差を示した．

F 値 [%]
テキスト

43.4 ± 0.8+ 近傍知識グラフ (GCN) [5]

44.5 ± 1.0+ 近傍知識グラフ (GCN) + 提案手法

44.2 ± 0.9+ 近傍知識グラフ (RGCN)+ 近傍知識グラフ (RGCN) + 提案手法

43.3 ± 1.1
42.8 ± 1.2

表 2 提案手法により改善した事例（上）“関係なし””と間違えていたが，“Negative””と予測．
提案手法により改悪した事例（下）“Negative””と予測し，正解していたが，“関係なし””と予測．

題目・要旨
THP (薬物) exhibited an antipsychotic-like
proﬁle by potentiating haloperidol-induced catalepsy,
reducing amphetamine (疾患) -induced
hyperactivity and reducing apomorphine-induced · · ·Findings suggest a potential for H(3)-receptor

スラインモデルは知識グラフの変化しない既存手法

antagonists (薬物) in improving the refractory casesの関係抽出モデル [5] である．訓練時には 10 分割交

of schizophrenia (薬物). · · ·

差検証 (𝑁=10) により，知識グラフに追加する予測
データを作成した．BERT にはデータセットと近いれる．

ドメインで事前学習された PubMedBERT [16] を用

事例数では，平均で 90.2 件改善し，105.8 件改悪

いた．PubMedBERT の埋め込み次元は 768 次元，テしていた．この結果から，評価時に他の文書の予測

キストの最大長は 512 である．文献 [9] では関係ペを知識グラフと関連付けることによる予測の変化をアごとに BERT へテキストを入力しており，予備実確認した．改善・改悪した事例を表 2 に示す．改善

験でも BERT へテキストを入力するタイミングを関係ごとではなく，文書ごとにすることで F 値は低下した事例について，THP（薬物）と amphetamine（疾患）の間の関係を “関係なし””と間違えていたが，することは分かっているが，計算時間短縮のため，“Negative””と予測し，正解するようになった．これ

文書ごとに BERT へテキストを入力した．既存研究

は他の文書の予測を知識グラフにエッジとして加え[5] で用いた GCN と本提案手法で用いる RGCN 両方たことにより，他の文書のエンティティの周辺情報での評価を行った．RGCN の関係タイプは（薬物，薬物），（薬物，疾患），（薬物，遺伝子），（疾患，遺伝を考慮できたからであると考察する．また，改悪した事例について，antagonists（薬物）と schizophrenia子），（遺伝子，遺伝子）の 5 種類である．また，入（薬物）の間の関係を “Negative””と予測し，正解し力と出力のベクトルはともに 768 次元とし，RGCNていたが，“関係なし””と予測し，間違えるように

は 2 層とした．実験環境の詳細は付録 C に示す．

なった．これは間違った予測が知識グラフに追加さ5れた影響であると考察する．

結果と考察
提案手法とベースラインモデルの比較を表 1 に示

おわりに

6

す. 𝜂 と 𝑛 のチューニング結果は付録 B に示す．F

本研究では，関係抽出における知識グラフに関連

値のマイクロ平均での評価において，GCN・RGCN
ともに+近傍知識グラフと+近傍知識グラフ +提案手付けられた他の文書で予測した関係による影響の調法のスコアに差はなく，提案手法とベースラインのラフに関連付けることで処理単位を超えて情報を共間に抽出性能の差は確認できなかった．また，GCN有する関係抽出モデルを提案した．提案した手法をより RGCN の方が F 値が低くなる要因としては，BioRED データセットで学習・評価を行った結果，BioRED データセットが十分なサイズではなかった
ことによる RGCN の過学習が一つの要因として考抽出性能に大きな差は確認できなかったが，再学習を行わず，評価時に他の文書の予測を知識グラフとえられる．そのため，今後の課題としては大規模な関連付けることによる予測の変化を確認した．

査を目的として，他の文書で予測した関係を知識グ

データセットでの実験を行うことで，原因を究明

他の文書で予測した関係を知識グラフとより関連する．
知識グラフに追加する回数 𝑛 に対する F 値のマづけるために，近傍知識グラフの範囲を超えたグラ

イクロ平均の結果を表 7 に示す．知識グラフに追加

フ内のエンティティ間の関係を予測するリンク予測

する回数が増えるほど，F 値が小さくなっている．

を行うなど，文献内の情報と知識グラフの情報の連

これは知識グラフに追加するノイズが増えること携を深め，他の文書で予測した関係の有効利用を目

により，間違った推論をするようになったと考えら

指す．

― 2911 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Anna Rogers, Jordan Boyd-Graber, and Naoaki Okazaki,
editors, Proceedings of the 61st Annual Meeting of

謝辞

the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15960–15973, Toronto,

本研究は JSPS 科研費 JP20K11962 の助成を受けた
ものです．

参考文献

[9]

[1] Allan Peter Davis, Cynthia J Grondin, Robin J Johnson, Daniela Sciaky, Jolene Wiegers, Thomas C Wiegers,
and Carolyn J Mattingly. Comparative toxicogenomics
database (CTD): update 2021. Nucleic acids research,
Vol. 49, No. D1, pp. D1138–D1143, 2021.
[2] David S Wishart, Yannick D Feunang, An C Guo, Elvis J
Lo, Ana Marcu, Jason R Grant, Tanvir Sajed, Daniel Johnson, Carin Li, Zinat Sayeeda, Nazanin Assempour, Ithayavani Iynkkaran, Yifeng Liu, Adam Maciejewski, Nicola
Gale, Alex Wilson, Lucy Chin, Ryan Cummings, Diana
Le, Allison Pon, Craig Knox, and Michael Wilson. DrugBank 5.0: a major update to the DrugBank database for2018. Nucleic Acids Research, Vol. 46, No. D1, pp.
D1074–D1082, 11 2017.
[3] Elisabeth Coudert, Sebastien Gehant, Edouard de Castro,
Monica Pozzato, Delphine Baratin, Teresa Neto, ChristianJ A Sigrist, Nicole Redaschi, Alan Bridge, and The UniProt
Consortium. Annotation of biologically relevant ligands in
UniProtKB using ChEBI. Bioinformatics, Vol. 39, No. 1,
12 2022. btac793.
[4] Masaki Asada, Makoto Miwa, and Yutaka Sasaki. Integrating heterogeneous knowledge graphs into drug–druginteraction extraction from the literature. Bioinformatics,
Vol. 39, No. 1, 11 2022. btac754.
[5] Takuma Matsubara, Makoto Miwa, and Yutaka Sasaki.
Distantly supervised document-level biomedical relation
extraction with neighborhood knowledge graphs. In Dina
Demner-fushman, Sophia Ananiadou, and Kevin Cohen,
editors, The 22nd Workshop on Biomedical Natural
Language Processing and BioNLP Shared Tasks, pp.
363–368, Toronto, Canada, July 2023. Association for
Computational Linguistics.
[6] Yuan Yao, Jiaju Du, Yankai Lin, Peng Li, Zhiyuan Liu,
Jie Zhou, and Maosong Sun. CodRED: A cross-document
relation extraction dataset for acquiring knowledge in thewild. In Marie-Francine Moens, Xuanjing Huang, Lucia
Specia, and Scott Wen-tau Yih, editors, Proceedings ofthe 2021 Conference on Empirical Methods in Natural Language Processing, pp. 4452–4472, Online andPunta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
[7] Qingyu Tan, Ruidan He, Lidong Bing, and Hwee Tou
Ng. Document-level relation extraction with adaptive focal loss and knowledge distillation. In Smaranda Muresan,
Preslav Nakov, and Aline Villavicencio, editors, Findings of the Association for Computational Linguistics: ACL 2022, pp. 1672–1681, Dublin, Ireland, May

2022. Association for Computational Linguistics.
[8] Qi Sun, Kun Huang, Xiaocui Yang, Pengfei Hong, Kun
Zhang, and Soujanya Poria. Uncertainty guided label denoising for document-level distant relation extraction. In

[10]

[11]

[12]
[13]

[14]

Canada, July 2023. Association for Computational Linguistics.
Ling Luo, Po-Ting Lai, Chih-Hsuan Wei, Cecilia N Arighi,
and Zhiyong Lu. BioRED: a rich biomedical relation extraction dataset. Brieﬁngs in Bioinformatics, Vol. 23,
No. 5, 07 2022. bbac282.
Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio
Petroni, Vladimir Karpukhin, Naman Goyal, HeinrichKüttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, and Douwe Kiela. Retrieval-augmented
generation for knowledge-intensive nlp tasks.
In
H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and
H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 9459–9474. Curran Associates, Inc., 2020.
Ali Modarressi, Ayyoob Imani, Mohsen Fayyaz, and Hinrich Schütze. Ret-llm: Towards a general read-write memory for large language models, 2023.
Thomas N Kipf and Max Welling. Semi-supervised classiﬁcation with graph convolutional networks. ICLR, 2017.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding, 2019.
Zexuan Zhong and Danqi Chen. A frustratingly easy approach for entity and relation extraction. In Proceedingsof the 2021 Conference of the North American Chapter of the Association for Computational Linguistics:
Human Language Technologies, pp. 50–61, Online,

June 2021. Association for Computational Linguistics.
[15] Michael Schlichtkrull, Thomas N Kipf, Peter Bloem, Rianne Van Den Berg, Ivan Titov, and Max Welling. Modeling relational data with graph convolutional networks.
In The Semantic Web: 15th International Conference, ESWC 2018, Heraklion, Crete, Greece, June 3–
7, 2018, Proceedings 15, pp. 593–607. Springer, 2018.

[16] Yu Gu, Robert Tinn, Hao Cheng, Michael Lucas, Naoto
Usuyama, Xiaodong Liu, Tristan Naumann, Jianfeng Gao,and Hoifung Poon. Domain-speciﬁc language model pretraining for biomedical natural language processing. ACM
Trans. Comput. Healthcare, Vol. 3, No. 1, oct 2021.
[17] Guido Van Rossum and Fred L. Drake. Python 3 Reference Manual. CreateSpace, Scotts Valley, CA, 2009.
[18] Adam Paszke, Sam Gross, Francisco Massa, Adam Lerer,
James Bradbury, Gregory Chanan, Trevor Killeen, Zeming
Lin, Natalia Gimelshein, Luca Antiga, Alban Desmaison,
Andreas Kopf, Edward Yang, Zachary DeVito, Martin Raison, Alykhan Tejani, Sasank Chilamkurthy, Benoit Steiner,
Lu Fang, Junjie Bai, and Soumith Chintala. PyTorch: An
imperative style, high-performance deep learning library.
In Advances in Neural Information Processing Systems 32, pp. 8024–8035. Curran Associates, Inc., 2019.

― 2912 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

データセットの統計

B

train

dev

test

表 6 予測確率の閾値 𝜂 に対する
F 値のマイクロ平均 (𝑛 = 1)

Association

2,192

560

635

予測確率の閾値 𝜂

F 値 [%]

Positive Correlation

1,089

352

325

Bind

61

19

9

0.5
0.6

42.1 ± 1.7
42.6 ± 1.3

0.742.8 ± 1.5

0.8

42.8 ± 1.2

0.942.7 ± 1.0

表3

関係ラベルごとの関係ペア数の統計

Negative Correlation
Comparison

763 216 17128
5
6Conversion

3

-

1

Cotreatment

31

10

14

Drug Interaction

11

-

2

表 4 エンティティペアごとの関係ペア数の統計

表5

チューニング結果

表 7 知識グラフに追加する回数 𝑛 に対する
F 値のマイクロ平均 (𝜂 = 0.80)
𝑛 = 0 は知識グラフの変化しないベースラインモデル

知識グラフに追加する回数 𝑛

F 値 [%]

043.3 ± 1.1

142.8 ± 1.2

242.3 ± 1.2

342.0 ± 0.8

train

dev

test

(疾患, 遺伝子)

1,045

293

295

(薬物, 遺伝子)

621

154

148

(薬物, 疾患)(疾患, 変異体)

812 236 189
538 184 171(薬物, 薬物)

308

86

94

(変異体, 変異体)

C

12

3

10

(遺伝子, 遺伝子)

792

195

240

(薬物, 変異体)

49

11

16

本 実 験 を 行 っ た 環 境 に つ い て 説 明 す る．Python [17]の バ ー ジ ョ ン 3.10.6 と 深 層 学 習 ラ イ ブ ラ リ で あ る
PyTorch [18] のバージョン 2.1.0 を用いて実装した．本実
験のハイパーパラメータを表 8 に示す．

本実験で使用したデータベース CTD の統計
エンティティペア エッジ数
（薬物，遺伝子）（薬物，疾患）（疾患，遺伝子）

2,274,465
104,186
33,449実験環境

表 8 本実験におけるハイパーパラメータ

ハイパーパラメータ

値

エポック数

30

学習率
ドロップアウト率

1e-5
0.25

GCN・RGCN の入力と出力の埋め込み次元

768

GCN・RGCN の層数2サブグラフのホップ数

2― 2913 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).