言語処理学会 第25回年次大会 発表論文集 (2019年3月)

係り受け構造に基づく Attention の制約を用いた NMT
出口 祥之 ††田村 晃裕 ‡二宮 崇 ‡愛媛大学 工学部 情報工学科，‡ 愛媛大学 大学院理工学研究科 電子情報工学専攻†‡

1deguchi@ai.cs.ehime-u.ac.jp{tamura, ninomiya}@cs.ehime-u.ac.jp

はじめに
近年，自然言語処理の多くのタスクにおいて，ニューラルネットワークが活用されている．機械翻訳の分野においてもその有効性が示されており，その中でも，Transformer [1] というモデルが RNN や CNN ベースのモデルの翻訳精度を上回り，注目を浴びている．特に，Transformer の特徴の一つである self-attention は文内における単語間の関連の強さを考慮することができ，これを用いることで，機械翻訳のみならず，言語モデルの獲得，Semantic Role Labeling (SRL) など，様々なタスクにおいて精度の向上に寄与してきた．
これまでに統計的機械翻訳や RNN を用いた Sequence to Sequence のニューラル機械翻訳モデルな
どでは文構造を考慮するこで機械翻訳の性能を改善してきたが，Transformer モデルでは文構造を陽に考慮したものはない．そこで，本研究では，Transformerモデルで係り受け構造を考慮することで翻訳性能の改善を試みる．
Transformer モデルで係り受け構造を考慮するという研究は機械翻訳においてはないが，SRL の分野においては存在し，Linguistically-Informed Self-Attention(LISA) [2] では self-attention に対して係り受け構造に基づく制約を与えて学習させることで State-of-theArt の性能を達成している．
本稿では LISA により提案された手法を Transformer の機械翻訳モデルに適用することで翻訳性能の改善を試みる．具体的には，self-attention の一部に対して係り受け構造に基づく制約を与えることで，係り受け関係を考慮した単語間の関連性を学習させ，翻訳時にはその self-attention を用いることで，係り受け関係を考慮した翻訳を行う．ここで，LISA は Transformer エンコーダのみを使うモデルであるが，提案の機械翻訳モデルはエンコーダとデコーダのそれぞれの self-attention で係り受け構造に基づく制約を与えJe

Self-attention+ FF

Self-attention+ EncoderDecoder attention+ FF..
.

..
.

..
.

..
.
..
.
1

Jd

..
.

Self-attention+ FF

Self-attention+ EncoderDecoder attention+ FF

Encoder Layers

Decoder Layers

1

図 1: Transformer モデル
る点が LISA とは異なる．

Asian Scientific Paper Excerpt Corpus (ASPEC)
データ [3] を用いた日英翻訳の評価実験において，提案モデルと従来の係り受け構造を考慮しない Transformer モデルを比較し，係り受け構造を考慮することで BLEU が 0.49 向上することを確認した．

2Transformer
本節では，提案モデルの基礎となる Transformer [1]を説明する．

Transformer は，入力された原言語の単語列 X(=x1 , x2 , . . . , xnenc )T をエンコードする Transformer エンコーダ (以下，エンコーダ) と目的言語の単語列 Y (=y1 , y2 , . . . , yndec )T を生成する Transformer デコーダ(以下，デコーダ) を組み合わせたニューラル機械翻訳モデルである．エンコーダとデコーダはそれぞれ，図1 のようにエンコーダレイヤを Je レイヤ，デコーダレイヤを Jd レイヤずつ積み重ねたものである．

― 13 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

Transformer は入力文に対して並列に処理するための dhead 次元の部分空間に射影する (なお，1 ≤ h ≤単語の位置情報を考慮できない．そこで，単語が入力nhead )．デコーダで用いられる encoder-decoder atten-されたら，その単語の位置情報を位置エンコーディン

tion では，直前のレイヤの出力を Qh に，エンコーグ (positional encoding) により考慮する．具体的にダの出力を Kh ，Vhは，単語埋め込みの次元数を d とすると，位置エン後，次の式によって各部分空間で単語間の関連の強さ

コーディングの行列 P はを表す行列を得る．

P(pos,2i)P(pos,2i+1)=

sin(pos/100002i/d )(1)=2i/d(2)cos(pos/10000)

(j)

(j)

(j)の部分空間に射影する．射影(j)T−0.5
Ah = sof tmax(dheadQh Kh
(j)

(j)

(j)

(j)この Ah に対して Vh)(5)を掛け合わせることで，トーと表される．なお，pos は単語の位置，i は埋め込みクンに対して単語間の関連の強さを重みとする荷重和成分の次元である．そして，式 (1)，(2) によって計算による表現 Mh を得ることができる．

(j)

された位置エンコーディングの行列 P を単語の埋め(j)の入力となる．

(j)

(j)

Mh = Ah Vh

込み行列に加算したものが，エンコーダ及びデコーダ

(6)

(j)

エンコーダレイヤとデコーダレイヤの第 j レイ(j)最後に，各部分空間の M1,2,...,nhead を次式のように結合させ，単語の埋め込み次元に線形変換する．

(j)ヤの出力をそれぞれ Senc ，Sdec ，エンコーダレイヤ

M (j) = W Mとデコーダレイヤ内の attention レイヤをそれぞれ(j)(j)
Attentionenc (·)，Attentiondec (·) とし，また，Layer

Normalization を LN (·) とすると，エンコーダの第 j

ただし，W M(j)(j)

[M1 ; M2 ; . . . ; Mn(j)]
head

(7)

∈ Rd×d である．

なお，目的言語の出力文は，デコーダの Jd レイヤ(j)

レイヤの出力 Senc は，(j)(j)の出力を単語次元に線形変換した後，sof tmax 関数を

(j−1)
(j−1)
(j)
Senc
= LN (Senc+ Attention(j)enc (Senc ))(3)かけることで算出される P (Y | X) に基づき生成する．

(j)と表され，デコーダの第 j レイヤの出力 Sdec は，
(j)

(j−1)

Sdec = LN (Sdec

(j)

(j−1)

+ Attentiondec (Sdec ))

(4)

提案手法

3

本稿で提案するモデルでは，LISA [2] の手法を用い(0)(0)と表される．なお，Senc ，Sdec はそれぞれ，エンコーて self-attention の一部で係り受け解析を行う．LISA

ダ，デコーダへの入力を表す．ここで，attention レ

は SRL において，Transformer Encoder に係り受け(j)イヤ Attentionenc (·) は，multi-head self-attention，解析を行う syntactically-informed self-attention を導

feed-foward ネットワークを順に接続したレイヤで入することで，それまでのモデルよりも大きく精度(j)あり，Attentiondec (·) は，masked multi-head self-を向上させたモデルである．本稿では，図 2 のよう

attention，multi-head encoder-decoder attention，
feed-foward ネットワークの順で接続したレイヤであに，エンコーダの第 pe ，デコーダの第 pd レイヤにる．ただし，attention レイヤ内は残差接続によって翻訳の精度向上を図る．係り受け解析をする方法とし接続されている．残差接続では，ある関数 F の出力ては，LISA 同様，Dozat らの Deep Biaﬃne parser [4]に対して，入力したものが足し込まれ，残差接続の結の手法を用いる．

syntactically-informed self-attention を導入し，機械果は x + F(x) となる．

multi-head attention は単語間の関連の強さを考慮するための機構であり，単語の埋め込み次元を nhead 個

3.1の dhead = d/nhead 次元の部分空間に射影し，それぞれの部分空間で attention の計算を行う．self-attention
では，直前のレイヤの出力を S (j−1) ∈ Rn×d (ただし，n はエンコーダ/デコーダの入力系列長) とすると，WhQR(j)d×dhead∈ Rd×dhead ，WhKによって d 次元の S(j)∈ Rd×dhead ，WhV(j−1)(j)∈

Syntactically-Informed
Self-Attention

エンコーダもしくはデコーダの第 p レイヤにsyntactically-informed self-attention を導入する場合，
multihead self-attention を以下のように変更する．

(j)
(j)
(j)
を Qh ，Kh ，Vh― 14 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

(p)4. 通常の multihead attention の Mh の内の 1 つ

Self-attention+ Encoder-を Mparse によって置換する．

Jd

Decoder attention

5. 通常の multihead attention と同様に，各部分空+ FF間を結合させ単語埋め込みの次元 d に線形変換

..
.
Je

Self-attention

Syntactically-+ FF

informed..
.
pe

M (p) = W M

self-attention+ Encoder-informed

Decoder attention

self-attention+ FF

(p)

(p)

∈ Rd×d である．通常の mul-tihead attention は式 (7) で表されるのに対し，syntactically-informed self-attention では式 (13)(p)のように表され，Mh の内の一つが Mparse で置

Self-attention換されていることがわかる．

Self-attention+ Encoder-+ FF

Decoder attention

13.2+ FF
Encoder Layers(p)[M1 ; M2 ; . . . ; Mparse ; . . . ; Mn(p)]head(13)

ただし，W M..
.

..
.

(p)

pd

Syntactically-+ FF1する．

学習方法

本稿で提案するモデルでは，LISA に倣って機械翻Decoder Layers

訳と係り受け解析を同時に学習する．
機械翻訳の誤差を etokens ，エンコーダ側の係り受け

図 2: 提案モデル

解析の誤差を eparseenc ，デコーダ側の係り受け解析の誤1. 直前のレイヤの出力 S (p−1) を次式によって線形差を eparseとすると，モデル全体の誤差をdec変換する．

parse
etokens + λenc eparseenc + λdec edec
(p−1)

(14)

Qparse=SQparse(8)

Kparse= S (p−1) W Kparse(9)の誤差関数を最小化するように提案モデルを学習す

Vparse= S (p−1) W Vparse

(10)

parse
は，ラベル平滑化交差エる．etokens と eparseenc ，edecW

なお，W Qparse ，W Kparse ，W Vparse はそれぞれ
単語埋め込みの次元 d から multihead attentionの各部分空間の次元 dhead = d/nhead に変換する

d × dhead の行列である．とする．ただし，λenc ，λdec は正の定数である．こントロピー [5] を用いて算出する．また，式 (11) のAparse においてトークン t が係り先 q を指す尤度を
Aparse [t, q]，q が t の係り先であることを q = head(t)とすると，

P (q = head(t) | X) = Aparse [t, q]

2. 各単語間の係り受け関係らしさを表す attention(15)

weights (Aparse ) を Biaﬃne 変換 [4] によって計と表される．ただし，係り先の無いものは自分自身を算する．U (1) ∈ Rdhead ×dhead ，u ∈ Rdhead とする指すようにする．と，次式によって表される．
TAparse = sof tmax(Qparse U (1) Kparse+Qparse U (2) )

(11)
n個

ただし，U(2)z }| {= (u . . . u)．

4

実験

4.1

実験設定

本実験では，提案手法の有効性を確かめるため，

3. Aparse と Vparse を掛け合わることで，係り受けsyntactically-informed self-attention を組み込んだ提構造を考慮した表現を荷重和として取り出す．

案手法モデルと組み込まなかった従来の Transformer

Mparse = Aparse Vparse(12)モデルの精度を比較する．

― 15 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

に基づく制約を用いることで，ベースラインとなる
表 1: 日英翻訳での精度比較
モデル
BLEU
ベースライン

21.16

提案手法

21.65

Transformer モデルよりも BLEU が 0.49 上がったことが確認できる．

5

おわりにデータは，Workshop on Asian Translation で用い
本研究では，Transformer に syntactically-informed

られた ASPEC[3] の日英対訳コーパスを使用した．英語の単語分割には Stanford Tokenizer1 を用い，日本self-attention を組み込むことで，Transformer による語の単語分割には KyTea を用いた．すべてのアルファ機械翻訳で係り受け構造を考慮する手法を提案した．

ベットは小文字化した．

そして，ASPEC の英日翻訳タスクの評価を通じて，提訓練データは train-1.txt から抜き出した 50 単語以

案手法により係り受け構造を考慮することで BLEU が下からなる対訳文対の内，前方の 10 万文対を用いた．

0.49 改善できることを確認した．提案モデルは，LISA

語彙は単語の出現頻度が 2 未満のものを <unk> トー[2] 同様，推論時に，外部の係り受け解析器を用いてクンに置き換え，出現頻度が 2 以上のものを使用した．

解析した係り受け構造も翻訳で活用することが可能で英語側の係り受け解析には Stanford Dependencies2ある．今後は，外部の係り受け解析結果との統合を行を用い，日本語の係り受け解析には EDA 係り受け解い，さらなる機械翻訳の精度向上を目指したい．

3

析器 を用いた．
モデルのパラメータの最適化は Adam [6] を用いて行った．学習率の調整や Adam のハイパーパラメータ

6

謝辞の設定は，warmup steps を 8000 に設定した以外は，

本研究成果は，国立研究開発法人情報通信研究機構

Vaswani ら [1] の設定に従った．エンコーダレイヤとの委託研究により得られたものである．また，本研究デコーダレイヤはそれぞれ 6 層ずつスタックし，multi-の一部は JSPS 科研費 25280084 及び 18K18110 の助

head attention は 8 つの部分空間に分割し，単語の埋め成を受けたものである．ここに謝意を表する．

込み次元は 512 次元に設定した．また，syntactically-informed self-attention はエンコーダ，デコーダとも

参考文献に第 4 レイヤ目に導入した．
モデルの誤差について，ラベル平滑化交差エントロ
ピーの ϵls [5] は ϵls = 0.1 とした．また，係り受け解析の誤差の影響度をコントロールするパラメータ λenc ，λenc はそれぞれ 0.5 とした．
ミニバッチの大きさは 100 に設定し，エポック数50 まで学習させ，開発データ (dev.txt) に対して最も性能の良いモデルを評価した．評価はテストデータ[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,
L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polosukhin. Attention is all you need. In Advances in
NIPS 30.
[2] E. Strubell, P. Verga, D. Andor, D. Weiss, and A. McCallum. Linguistically-informed self-attention for semantic role labeling. In Proc. of EMNLP 2018, 2018.て行った．

[3] T. Nakazawa, M. Yaguchi, K. Uchimoto, M. Utiyama,
E. Sumita, S. Kurohashi, and H. Isahara. Aspec:
Asian scientific paper excerpt corpus. In Proc. ofLREC 2016, 2016.

結果[4] T. Dozat and C. D. Manning. Deep biaﬃne attention for neural dependency parsing. arXiv preprint
arXiv:1611.01734, 2016.

(test.txt) でグリーディ法によって生成した文に対し4.2

提案モデルとベースラインの Transformer モデルの翻訳性能を表 1 に示す．なお，翻訳精度は BLEU で評価した．表 1 より，self-attention に係り受け構造
1 https://nlp.stanford.edu/software/tokenizer.html[5] C. Szegedy, V. Vanhoucke, S. Ioﬀe, J. Shlens, andZ. Wojna. Rethinking the inception architecture forcomputer vision. In The IEEE Conference on CVPR.
[6] D. P. Kingma and J. Ba.
Adam: A method
for stochastic optimization.
arXiv preprint
arXiv:1412.6980, 2014.

2 https://nlp.stanford.edu/software/stanforddependencies.html
3 http://www.ar.media.kyoto-u.ac.jp/tool/EDA/― 16 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.