言語処理学会 第25回年次大会 発表論文集 (2019年3月)

係り受け木上の不要な情報にマスクを行う関係分類
辻村 有輝

三輪 誠

佐々木 裕

豊田工業大学{sd18602, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp
モデル [4] は，このような最短経路の経験則を用いる

はじめに1

ニューラル関係分類モデルのひとつである．このモデ文中のエンティティ間に成立している関係を識別す

ルは，系列 LSTM (Long Short-Term Memory) に木る関係分類は，知識グラフの構築や質問応答システム

構造 LSTM を積み上げたモデルとなっており，木構など，より上位の言語処理アプリケーションに応用さ

造 LSTM において最短経路上のトークンのみで計算れる．関係分類を行う際に重要な情報の多くは，係りを行うことで，全体木を用いる場合よりも性能が向上

受け木における対象エンティティペアを結ぶ最短経路することが報告されている．

上に存在するという知見がある．これに基づき，最短経路上の情報のみを利用することで，不要な情報に対する過学習を回避し，高性能な関係分類を実現できることが報告されている．しかし，この知見は経験則であり，最短経路外に重要な情報が存在する場合に対応できないという問題点がある．
そこで，本研究では，関係分類に不要なトークンの決定則をデータから自動獲得することを目指し，不要なトークンの判断を学習する機構を提案する．こ2.2

Gumbel softmax

Jang らは，確率変数についての勾配を計算できる離散的な値をサンプリングする手法である Gumbel
softmax[5] を提案した．これによって，訓練中もネットワーク内で離散的なサンプリングを行いつつ，勾配法による学習を可能にしている．

提案手法

3の機構は関係分類予測に対する損失を元に学習を行

最短経路の経験則を利用せず，文中の全ての位置い，Gumbel softmax を用いることでトークンの利用・から重要なトークンを学習を通じて選択し利用する不利用という離散的な挙動を表現する．提案手法をニューラル関係分類モデルを提案する．このモデルはSemEval-2010 task 8 データセット [1] で評価したところ，最短経路の経験則を用いる場合と同程度の識別性能となった．また，学習されたマスクは，最短経路とよく似たものとなり，最短経路の有用性を数値的に再確認する結果となった．

三輪らの LSTM-ER モデルをベースモデルとし，木構造 LSTM 層で利用するトークンを選択するマスク機構と，マスクされた入力を元に計算された木構造 LSTM層からの出力を集約するアテンション機構を導入したモデルとなっている．マスク機構は Gumbel softmax

2関連研究を利用しており，これによって学習中に利用する・し

2.1

最短経路を用いた関係抽出行う．提案モデルの概観を図 1 に示す．

ないという離散的な判断について勾配法による学習を

Bunescu らは文における関係分類において，重要な情報はその文の係り受け木上における，対象とするエンティティペア間を結ぶ最短経路上によく現れるという経験則に基づいた，最短経路カーネル [2] を提案し，これを用いてサポートベクターマシンによる関係分類の性能向上を達成した．近年提案されたニューラルネッ
トワークによる関係分類モデルにおいても，最短経路上のトークンのみを利用することによって性能の向上が報告されている [3, 4]．三輪らの提案した LSTM-ER

以降，まず 3.1 節において全体木をそのまま用いるベースモデルについて述べる．次に 3.2 節でマスク機構と，そのマスク量の増進のためのノイズの加算について説明し，最後にアテンション機構について述べる．

3.1

ベースモデルベースモデルは，入力文の不要な情報の判断を行わず，全体木をそのまま用いるモデルとなっており，三輪らの LSTM-ER モデル [4] のうち，関係分類を行う― 73 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

×0

the
board
meeting
Arg1
isrescheduledtonextmonth×0
rescheduled

×1
×0×1

is

to+×0
the

board

month×0…

×1

meeting

×0.7
×0.3

next×1Arg2
Arg1×0

Arg2

入力Word/品詞埋め込み

系列
LSTM層アテンション
隠れ層 出力層機構

木構造
LSTM層

マスク機構

図 1: 提案モデルの概観．
部分のみのモデルを元にしている．このベースモデ

クンがどの程度対象エンティティペアの関係分類におルは，入力層・双方向系列 LSTM 層・双方向木構造

いて重要かを表すスコア ci を [0, 1] の範囲で計算する．

LSTM 層・隠れ層・出力層の 5 層からなるニューラル

このスコアの計算式は Vaswani らのマルチヘッドア関係分類モデルとなっている．LSTM-ER モデルとのテンション [6] の構造を参考にしており，以下の計算違いとして，次の 4 点が挙げられる．まず，利用する式によって行う．

木構造 LSTM には Child-Sum Tree-LSTM を採用する．これは，三輪らが用いた木構造 LSTM は，最短経vmq=路かどうかに応じて計算に用いるパラメータを変える

hmq=構造となっており，これをそのまま使ってしまうと最hmk=ci=短経路の経験則を利用してしまうためである．次に，LSTM-ER モデルでは，論文中で Pair として参照される，系列 LSTM 層からの出力を木構造 LSTM 層をvarg1 + varg22
LayerNorm(Wmq v mq )LayerNorm(Wmk vi )()hmq ⊤ hmk
√
σdm

(1)

スキップして直接隠れ層へ入力する結合があるが，本

ここで vi は i 番目のトークンの系列 LSTM 層からの研究で用いるモデルではこの結合を利用しない．これ

出力で，arg1 と arg2 はそれぞれ対象エンティティをは，提案手法が木構造 LSTM 層に影響するものであ表す．Wmq ，Wmk は重み行列である．LayerNorm はり，その影響をより直接観測するためである．さらに，
系列 LSTM 層では peephole 結合を備えた LSTM を用い，モデル内の全層に対してドロップアウトを適用する．最後に，LSTM-ER モデルでは系列 LSTM 層Layer Normalization である．
訓練中は，i 番目のトークンに対するマスク mi を，Gumbel softmax によって以下の計算式でサンプリングする．の出力は順方向と逆方向 LSTM のそれぞれの出力をui0 , ui1結合したベクトルであったが，ベースモデルではこれli0に加え，各トークンの親トークンへの係り受けラベルの埋め込みと，対象エンティティからの相対位置の埋li1め込みも併せて結合したベクトルとする．

3.2

miマスク機構∼ Uniform(0, 1)log(1 − ci ) − log(− log(ui0 ))=τlog(ci ) − log(− log(ui1 ))=τexp(li1 )=exp(li0 ) + exp(li1 )(2)

対象エンティティペア間の関係分類において重要な

ここで τ は正の値をとる温度パラメータで，0 に近いトークンを判断し，不要なトークンを除去するマスク

ほどサンプリングされる mi も 0 か 1 に近付きやすく機構を提案し，前節のベースモデルに導入する．このなり，訓練中は徐々に減少させ 0 に近づける．サンプ

機構は木構造 LSTM 層への入力に対しマスクをかける

リングされたマスク mi は [0, 1] の範囲の値となり，0ことで不要な情報をマスクする．初めに i 番目のトーに近いほどマスクされたことを表す．ここで，Gumbel― 74 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

softmax によってサンプリングされた値は勾配を保つスクされたノードを出力として利用すると，不要な情ため，勾配法によってスコアの学習を行うことが出来報を包含してしまうため，ルートのトークンの出力のる．テスト中は，Gumbel softmax を用いる代わりに，代わりに，上向き木構造 LSTM アテンション機構にスコアが 0.5 を超えるかどうかによってマスクを決定

よって集約された出力を，隠れ層への入力に用いるこ的に計算する．ととした．

1, c ≥ 0.5imi =0, otherwise(3)

本研究では，ベースモデルと，それにマスク機構及び木構造 LSTM 層には，系列 LSTM 層からの出力 viの代わりに，それに計算されたマスク mi を適用したアテンション機構を導入した際の性能比較を行った．

実験では，SemEval-2010 task 8 データセット [1] を用いた．このデータセットは 8,000 文の訓練セットとノイズによるマスクの促進

上述のマスク機構を導入することだけでもマスクの表現は出来るものの，この機構の導入だけでは不要なトークンをマスクするようには学習が進まない．そこ
で，全体でトークンがどの程度マスクされなかったかを表す生存率をもとに，その生存率が大きくなるほどスケールが大きくなるようなノイズを系列 LSTM 層からの入力に加えることで，ノイズ減少のためにマスクされるトークンが増えるように学習が進行することを目指す．具体的には，まずマスク機構で計算されたスコア ci をもとに，生存率 r を以下の通り計算する．

∑nsr=

実験設定

4.1

vit = mi vi を入力する．
3.2.1

実験

4i=1 ci
nsr を係数とした正規分布に従うノイズを加えたものを実際の木構造 LSTM への入力 vit とする．
∼vit= mi (vi + αrpi )文には関係分類の対象となるエンティティペアが 1 つずつ示されている．訓練事例のうち 9 割を実際の訓練セットとし，残り 1 割を開発セットとした．ハイパー
パラメータは開発セットにおける Micro-F 値を最大にするようにチューニングした．チューニングしたハイパーパラメータを用いて，訓練セットと開発セットを合わせて再度学習を 5 回行い，学習後のモデルをテストセットについて公式の評価指標である Macro-F 値によって評価した．
前処理として，Stanford parser1 を用いて品詞タグと係り受け関係木を得た．モデルの単語表現ベクトル(4)

ここで ns は入力文のトークン数である．この生存率

pi2,717 文のテストセットで構成されており，それぞれのN (0, I)の初期値には，LSTM-ER モデルで用いられたものと同じ事前学習済みベクトルを利用し，ファインチューニングを行った．LSTM-ER モデルと同様に，重みの平均化を行った．モデルの実装には Tensorflow バー
ジョン 1.82 を利用した．

実験結果

4.2
(5)

各モデルにおける Macro-F 値を表 1 に示す．マスク

ここで α はノイズの大きさを制御するハイパーパラモデルメータである．ここで加えるノイズは，平均 0，分散

マスク

α2 r2 の正規分布に従うノイズと捉えることもでき，利用する情報が多い（生存率が高い）ほど入力の分散が✓✓✓✓LSTM-ER (最短経路，Child-Sum) [4]大きくなるということをモデルしている．このノイズは学習中のみ加算し，テスト時は利用しない．

3.3アテンションアテンション機構

開発
データ [%]

テスト
データ [%]

81.43 ± 0.28
82.89 ± 0.13
82.84 ± 0.64
83.98 ± 0.65

83.17 ± 0.16
83.53 ± 0.29
82.95 ± 0.43
83.89 ± 0.64

83.8

-

ベースモデルは，上向き木構造 LSTM の出力のう

表 1: 各モデルにおける 5 回の試行での Macro-F 値．

ち，係り受け木上でルートノードとなるトークンの出ベースモデルに対し導入した機構をチェックで表した．

力を利用するが，ノイズ機構を導入したモデルにおいては，そのトークンがマスクされる可能性がある．マ― 75 ―

1 https://nlp.stanford.edu/software/lex-parser.shtml
2 https://www.tensorflow.org/

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

α=0α=0.05

α=0.25

α=0.5

α=1

α=2.5

で最も高い Micro-F 値を記録したモデルで学習されα=510.9たマスクを並べたベクトル [m1 , m2 , ..., mns ] と，最短0.8経路に含まれるトークンを 1，含まれないトークンを0.70 としたベクトルのコサイン類似度を計算した．訓練

0.6

データと開発データの平均コサイン類似度は，それぞ0.50.4

れ 0.931 と 0.933 となり，最短経路上のトークンをよ0.3く残すように学習される結果となり，最短経路の関係0.2分類への有効性を再確認する結果となった．

0.10050100

150

5200epoch

おわりに
本論文では，最短経路の経験則を使用せず，学習を

図 2: Learning curve of non-masking rate

通じて不要な情報をマスクするマスク機構と，そこか機構とアテンション機構のどちらも導入しなかったモ

ら計算された出力を集約するアテンション機構を備えデルがベースモデルである．表には，5 回の実行におたニューラル関係分類モデルを提案した．結果としてける平均値と標準偏差を示した．表のとおり，マスク

は，提案モデルは最短経路と同等の Macro-F 値を記機構とアテンション機構を両方導入したモデルが最も録し，学習されたマスクは最短経路上のトークンをよ高い平均 Macro-F 値となった．これは，LSTM-ER モ

く残すものとなり，最短経路の有効性を再確認する結デルにおいて木構造 LSTM に Child-Sum Tree-LSTM果となった．

を利用し，最短経路の経験則を利用したとして三輪ら参考文献が報告したスコアと同程度のスコアとなっている．また，どちらかの機構を単独で導入した場合でも，ベース[1] Iris Hendrickx, et al. Semeval-2010 task 8: Multi-モデルより高い平均 Macro-F 値となった．マスク機
構とアテンション機構を両方導入したモデルと，ベーway classification of semantic relations between
pairs of nominals. In Proceedings of the SemEval,

スモデルについて，それぞれの 5 回のテストデータの2010.

予測結果のうち中央値の Macro-F 値を記録したものについて Approximate Randomization [7] によって有意差検定を行った際の p 値は 0.0197 となり，提案手[2] Razvan Bunescu and Raymond Mooney. A shortest path dependency kernel for relation extraction. In Proceedings of Human Language Tech-法によって全体木をそのまま用いるモデルから有意にnology Conference and Conference on Empirical

性能が向上したことが示された．

4.3

Methods in Natural Language Processing, 2005.

マスクされるトークン[3] Yan Xu, et al.

Classifying relations via long

図 2 に，マスク機構のみを導入したモデルについて

short term memory networks along shortest de-の，ノイズの係数 α ごとのマスク機構内のスコア c のpendency paths. In Proceedings of EMNLP, 2015.

平均値の学習曲線を示す．図の通り，ノイズの係数を大きくするほどマスクされる量が促進された．一方，[4] Makoto Miwa and Mohit Bansal. End-to-end re-

α = 0 のノイズを一切加えない場合では，ほとんどのlation extraction using lstms on sequences andトークンがマスクされておらず，このことからノイズ

tree structures. In Proceedings of ACL, 2016.のマスクへの必要性がわかる．

[5] Jang, et al. Categorical reparametrization with

このモデルのうち開発データで最も高い Micro-F 値

gumble-softmax. In ICLR, 2017.

を記録した時の平均生存率は 20.2%となった．文内における最短経路に属するトークンが占める割合の平均[6] Ashish Vaswani, et al. Attention is all you need.
In Advances in NIPS. 2017.

値は 19.3%であり，これと近い値となっている．
学習されたマスクと，最短経路がどの程度異なるかを調べるために，各入力文について，マスク機構とア[7] Eric W Noreen. Computer-intensive methods for

テンション機構両方を導入したモデルの，開発データ― 76 ―

testing hypotheses. Wiley New York, 1989.

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.