言語処理学会 第26回年次大会 発表論文集 (2020年3月)

遠距離教師データを援用した教師あり薬物タンパク質間相互作用抽出
飯沼 直己

三輪 誠
豊田工業大学佐々木 裕{sd16005, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp
として，教師データをデータベース上のペアに対応す

1 はじめにるインスタンスのバッグで扱うマルチインスタンス学

薬物とタンパク質間の相互作用に関する情報の多く習がある． Zengら[7]はバッグ中の最も良い表現を持つは，論文などの文献において発表される．相互作用のデータにより学習する手法を提案した． Yeら[6]は2つ情報を抽出するために薬理学者が逐一論文を読むのはの注意機構を導入し，バッグをまとめたグループによコストがかかる．そのため，テキストからの相互作用り学習する手法を提案した．他のノイズの影響の緩和抽出の自動化が注目されている．中でも，近年様々な手法として，Beltagyら[1]は，少量の人手の教師データタスクにおいて高い精度を達成している深層学習を用による注意機構を利用する手法を提案した．

いた相互作用抽出への関心が高まっている．深層学習

2.2 マルチタスク学習を利用した相互作用抽出では，ラベル付きデータから関係のモデルを学習することで高い予測精度を達成できるが，データ作成に莫大なコストがかかるという問題を抱えている．
そこで，低コストで大量の教師データの作成を可能にする遠距離教師あり学習がMintsら[5]によって提案複数のタスクにおいてモデルパラメータを部分的に共有して学習を行うマルチタスク学習[2]という手法がある．これにより，各タスクのモデルを学習する際の情報を増やすことができ，予測精度を向上できる．

3 提案手法されているが，この手法には学習時のノイズとなる誤ったラベルのデータを作成してしまう問題が残っている．そのため，少量の人手の教師データを利用して遠距離教師データのノイズを緩和する手法がBeltagyら[1]によって提案されている．
本研究では，異なる関係クラスを持った少量の人手の教師データと大量の遠距離教師データを対象に，クラスの対応付け（マッピング）を行いながら，マルチタスク学習を行う手法を提案する．教師となる情報を増やした学習により，共通の深層学習モデルの表現をより正確にし，薬物タンパク質間の関係抽出精度の向上を目指す．

本手法では，関係クラスが別々に定義されている人
手の教師データと遠距離教師データの薬物タンパク質間の関係抽出を対象に，マルチタスク学習を行う．特に，人手の教師データと遠距離教師データの異なる関係クラスに対応するため，本手法ではいくつかの遠距離教師データの関係クラスのマッピングとモデルの性能への影響を検証する．本手法により，モデルがより多くの関係表現パターンを学習し，遠距離教師データの教師あり関係抽出への有効利用を目指す．
本手法は大きく遠距離教師データの作成と関係抽出の2つに分けられる．関係抽出についてはさらに，人手の教師データの関係抽出，および遠距離教師データの2 関連研究

関係抽出，人手の教師データと遠距離教師データのマ

2.1 遠距離教師あり学習
遠距離教師あり学習はMintsら[5]によって提案されルチタスク学習の3つに分けられる． 3.1節では，データベースからの遠距離教師データ生成について説明す

た，データベースから機械的に⽂書に関連情報をラベる． 3.2節では，人手の教師データの関係抽出についてル付けする⼿法である．これにより，⼤量の教師デー説明する． 3.3節では，遠距離教師データの関係抽出にタを⽣成できるが，ラベル付けを誤った教師データをついて説明する． 3.4節では，人手の教師データと遠距含んでしまう．この誤ったラベルは予測モデルの性能

離教師データのマルチタスク学習について説明する．

を低下させるノイズとなる．そのため，ノイズの影響を3.1 遠距離教師データの作成緩和する手法が提案されている．よく用いられる手法― 233 ―

遠距離教師データの作成の概略を図1に示す．遠距離Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

薬物名辞書3.2.2

・薬物ID：薬物名

DrugBank

薬物タンパク質ペア集合<薬物ID，関係，タンパク質ID>

PubMed.
.
.

遠距離教師データ

UniProt[7]により，各文の特徴量ベクトルhを生成する．
3.2.3 全結合層
全結合層では特徴量ベクトルhと全結合層の重み行列W f c の内積を計算し，得られたベクトルに対しソフトマックス関数を施すことで各関係が表現されているタンパク質名辞書

確率pを予測する．全結合層で行われる処理を以下に示

・タンパク質ID：タンパク質名す．

.
.
.

ĥ = W f c × h + bf c

図1 遠距離教師データ作成の概略図

p(y | x; θ) = sof tmax(ĥ)

教師データの作成には，薬物データベースDrugBank・タンパク質データベースUniProt・医学文献データベースPubMedの3つのデータベースを利用する．以降，これらのデータベースを用いて遠距離教師データを作成する手順を説明する．
まず， DrugBankの情報を基に薬物タンパク質ペア集合と薬物名辞書を作成する．薬物タンパク質ペア集
合とは，関係を持つ薬物とタンパク質のID，またそれらの関係を持つペアの集合である．また，薬物名辞書とは薬物IDと薬物名，その同義語が対応づいた辞書である．次に， UniProtの情報を基にタンパク質IDとタンパク質，その同義語が対応づいたタンパク質名辞書を作成する．最後に，薬物タンパク質ペア集合，薬物名辞書，タンパク質名辞書を利用して辞書マッチによりPubMedから遠距離教師データを作成する．

3.2

畳み込み層

単 語 埋 め 込 み 層 か ら 渡 さ れ た 入 力xを 元 にPCNN.
.
.

人手の教師データの関係抽出

人手のデータの関係抽出には， PCNNにより特徴量タである．入力文の表現xに対して確率pが最も高い関係を予測結果とする．

3.3

遠距離教師データの関係抽出

遠距離教師データはノイズを多く含む特徴がある．
そのため，関係を予測したいエンティティペアに対してそれらを含む文で構成されるバッグを作成し，バッグ単位で関係を予測するマルチインスタンス学習を行う．ここで，特徴抽出器として3.2節で説明した関係抽出器の単語埋め込み層から畳み込み層までの構造を用いる．以降では，バッグの特徴行列B を求める過程を説明する．まず，バッグ内の各文を特徴抽出器に入力し，出力として各文の特徴ベクトルhi を得る． 次に，Yeら[6]が提案した注意機構を適用してバッグの特徴行列B = [b1 , b2 , .., br ]を求める．特徴行列B の成分の一つであるbk の導出過程を以下に示す．
bk =る．本節では，以降，人手のデータの関係抽出に用いmX

αkj hj(4)

j=1

たモデルの説明を行う．

3.2.1 単語埋め込み層
単語埋め込み層によって，入力文の表現xを獲得する． xは各単語のベクトル表現w のリスト

(1)

(3)

ここで， bf c は全結合層のバイアス項， θ はパラーメー抽出を行い，全結合層により予測を行うモデルを用いT
x = [w0T , w1T , ..., wN
−1 ]

(2)

exp(ekj )αkj = Pm00
j =1 exp(ekj )(5)

ekj = rk h>j(6)ここで， rk は全結合層の重み行列W のk 列目を表す．
以上の計算を各関係にわたり行うことでバッグの特徴で表される．入力文はパディング処理により長さN と行列B を得る．以降は3.2節と同様に全結合層にB を入する．各単語のベクトル表現wは単語そのものを表現力し，予測結果を得る．

するベクトルとエンティティからの相対距離を表現するベクトルを結合して得られる．単語のベクトル表現

3.4 マルチタスクモデル
3.2節では人手のデータの関係抽出， 3.3節では遠距はSkip-gramにより獲得したdw 次元のベクトルを用い離教師データの関係抽出について説明した．本手法でる．エンティティからの相対距離を表現するベクトルは，これらをマルチタスク学習する．マルチタスク学は， dp 次元のベクトルである．従って，各単語のベク習では，単語埋め込み層から畳み込み層までのネット

トル表現w はd = dw + 2dp 次元のベクトルである．こワークのパラメータを共有し，全結合層については人の表現xをPCNNの入力とする．

手の教師データ用と遠距離教師データ用のものを用意― 234 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

したネットワークを学習する．また，人手の教師デー

4.1.1 データセット

タについてはインスタンス単位，遠距離教師データに実験では，人手の教師データと遠距離教師データついてはバッグ単位でネットワークを学習する．ネッの2種類のデータセットを使用した．以下では，それぞトワークを学習する上で最小化する目的関数を以下にれのデータセットについて説明する．

示す．
nnib1 X
1 X
Lbatch = α
Lk + (1 − α)L0kninb

k=1• 人手の教師データ
BioCreative VI track 5 CHEMPROTタスク[4]で用意されたデータセットを人手の教師データとし(7)て使用する．人手の教師データのデータ数の内訳

k=1を表1に示す．データセットでは5つの正例クラス
各タスクからクロスエントロピーにより算出した値をと負例クラスの合計6つ関係クラスのが定義されてハイパーパラメータαによって比重を加えたものを利用いる．

する．

3.5

• 遠距離教師データ
本手法では3.1節で説明した方法で遠距離教師デー

遠距離教師データの関係ラベルマッピング

本手法で使用する人手の教師データの関係クラスタを作成した．作成した遠距離教師データを使用は6クラスであるが，遠距離教師データで定義された関し実験を行った．遠距離教師データのデータ数の係クラスは28クラスである．遠距離教師データの関係

内訳を表1に示す．データセットでは28の関係クラクラスのうち，一部は人手の教師データで用いられてスが定義されている．

いる関係クラスと名前は一致しているが，基準は異なる．さらに，人手の教師データでは定義されていない

4.1.2 学習設定
提案モデルを学習する際に設定したハイパーパラメ関係も存在する．そこで，遠距離教師データの関係予測に対しては以下の4つのタスク設定を検証した．

ータを表2に示す．最適化アルゴリズムにはAdam [3]をマッピングなし

ロF値を最大にするようハイパーパラメータをチューニ用い，人手の教師データにおける開発データのマイク

遠距離教師データにある28クラスをそのまま利用し，学習．

ングした．

6クラスマッピング (文字列ベース) 遠 距 離 教 師 デ ー
タにある28クラスを文字列一致により選択した6クラスにマッピングし，学習．

2クラスマッピング 遠距離教師データにある28クラスを正例・負例の2クラスにマッピングし，学習．
6クラスマッピング(開発データベース) 遠距離教師データにある28クラスを開発データでの評価により対応付けを行った6クラスにマッピングし，学習．

4.2

遠距離教師データでの学習の評価

まず，遠距離教師データでモデルを学習し，人手の教師データでテストを行った．遠距離教師データは6クラスマッピング（文字列ベース）を使用した．人手の教師データによるテストでは開発データを使用した．
関係抽出の結果を表3に示す．マイクロ平均は5つの正例クラスから計算した．この結果から，作成した遠距
離教師データは人手の教師データでの関係抽出にとって有用な情報となりうることが分かる．

4 実験

表1 各データセットのデータ数

本章では3章で説明した提案手法により行った2つの実験について述べる．ひとつの実験は，遠距離教師デデータ

訓練開発テスト

合計ータでモデルを学習し，人手の教師データによりテス人手トを行う．もう一つの実験では提案手法の評価を行う

遠距離

6,341
43,0793,544
14,115

5,720
11,604

15,60568,798とともに，提案手法と人手の教師データのみで学習したベースラインとの性能比較も行う．

4.1節では実験設定について，4.2, 4.3節では2つの実験の結果と考察を述べる．

4.1

表2 各種ハイパーパラメータ

パラメータ値

単語ベクトルの次元数

50
53230
80

単語位置ベクトルの次元数

実験設定

本節では実験設定について述べる． 4.1.1項では実験に使用したデータセット，4.1.2項ではモデルの学習設定について述べる．

― 235 ―

畳み込みのフィルターサイズ
畳み込みのフィルター数

epoch数

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

4.3

しかし，その他提案手法はベースラインより低い性能提案手法の評価

提案手法の評価と人手の教師データのみで学習したとなった．これは，提案手法では遠距離教師データデベースラインの性能比較を行った．提案手法とベースータを学習に使用しているため，遠距離距離教師デーラインの関係抽出の結果を表4, 5に示す．表中の適合タのノイズの影響により適合率が低下したと考えれら

率, 再現率, F値は正例クラスのマイクロ平均であり，れる．

それぞれの指標で最も高かったものを太字で示した．

次に，提案手法間の結果を比較する． 提案手法でまず，提案手法とベースラインの結果を比較する．

は4種類の関係クラスのマッピングを検証した．結果かF値について比較すると，開発データ，テストデータともに提案手法の6クラスマッピング(文字列ベース)がベら，関係クラスのマッピングがモデルの性能に影響すースラインより高い性能を示した．再現率について比5 おわりに較すると，開発データでは提案手法のマッピングなし，ることが分かった．

本研究では，遠距離教師データをマルチタスク学習

テストデータでは提案手法の6クラスマッピング（開発により援用して人手の教師データの薬物タンパク質相データベース）がベースラインより高い性能を示した．

互作用抽出を行う手法を提案した．実験により，作成提案手法では人手の教師データと遠距離教師データをマルチタスク学習し，モデルがベースラインより多くの教師データを学習している．そのため，モデルの再した遠距離教師データが有用な情報となりうることと遠距離教師データの関係クラスのマッピングがモデルの性能に影響することが分かった．

現率が向上したと考えられる．適合率について比較す

今後は，関係クラスのマッピングを含めて遠距離教ると，開発データ，テストデータともに提案手法の2ク

師データのノイズを緩和する手法を検討し，人手の教ラスマッピングがベースラインより高い性能を示した．

師データの薬物タンパク質相互作用抽出へのさらなる表3 遠距離教師データで学習した際のモデルの性能

関係クラス

適合率

再現率

F値（%）

NA
CPR:3
CPR:4
CPR:5
CPR:6
CPR:9

35.69
0.00
1.35
28.41
31.41
0.00

19.75
0.00
5.03
21.55
78.60
0.00

25.43
0.00
7.33
24.51
44.89
0.00

マイクロ平均

27.17

38.24

31.80

表4 開発データでの比較

ベースライン
マッピングなし

6 クラスマッピング(文字列ベース)
2 クラスマッピング
6 クラスマッピング(開発データベース)

適合率

再現率

F値（%）

77.24
74.72

72.44
75.86

74.76
75.28

77.12
78.30

74.70
70.17

75.89
74.01

74.74

74.74

74.74

表5 テストデータでの比較

モデル

適合率

再現率

F値（%）

ベースライン

68.70
67.09

71.55
73.16

70.09
69.99

69.44
72.14

71.87
68.81

70.63
70.43

67.51

73.68

70.46

マッピングなし

6 クラスマッピング(文字列ベース)
2 クラスマッピング
6 クラスマッピング(開発データベース)

有効利用を目指す．

謝辞
本研究は JSPS 科研費 JP17K12741 の助成を受けたものである．

参考文献[1] Beltagy et al. Combining distant and directsupervision for neural relation extraction. InNAACL, 2019.
[2] Dong et al. Multi-task learning for multiple language translation. In ACL, 2015.
[3] Kingma et al. Adam: A method for stochasticoptimization. In Proceedings of ICLR, 2015.
[4] Krallinger et al. Overview of the biocreative vi
chemical-protein interaction track. In Proceedingsof the BioCreative VI Workshop, 2017.
[5] Mintz et al. Distant supervision for relation extraction without labeled data. In Proceedings ofACL, 2009.
[6] Ye et al. Distant supervision relation extraction with intra-bag and inter-bag attentions. In
NAACL, 2019.
[7] Zeng et al. Distant supervision for relation extraction via piecewise convolutional neural networks. In Proceedings of EMNLP, 2015.

― 236 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.