# 係り受け構造に基づく相対的位置表現を考慮した Transformer NMT

表 悠太郎 $\dagger \cdot$ 田村 晃裕 ${ }^{\dagger, \dagger \dagger} \cdot$ 二宮 崇 $\dagger$
}

本稿では，原言語文の係り受け木に対する単語間の相対的位置関係を Transformer エンコーダ内の Self Attention でエンコードする新たなニューラル機械翻訳モデルを 提案する。具体的には，提案モデルでは，原言語文を係り受け解析した結果得られ る係り受け木中の 2 単語間の相対的な深さを埋め込んだベクトルを Transformer エ ンコーダ内の Self Attention に付加する．ASPEC の日英及び英日翻訳タスクにおい て，原言語文の係り受け構造を用いない従来の Transformer モデルよりも翻訳精度 が高いことを示す. 特に，日英翻訳においては 0.37 ポイント BLEU スコアが上回る ことを確認した。

キーワード：ニューラル機械翻訳，係り受け構造, 相対的位置表現
## Dependency-Based Relative Positional Encoding for Transformer NMT

\author{
Yutaro Omote $^{\dagger}$, Akihiro Tamura ${ }^{\dagger, \dagger \dagger}$ and Takashi Ninomiya ${ }^{\dagger}$
}

In this paper, we propose a novel model for transformer neural machine translation that incorporates syntactic distances between two source words into the relative position representations of a self-attention mechanism. In particular, the proposed model encodes pair-wise relative depths on a source dependency tree, which are the differences between the depths of two source words, in the encoder's self-attention. Experiments show that our proposed model outperformed non-syntactic Transformer NMT baselines on the Asian Scientific Paper Excerpt Corpus Japanese-to-English and English-to-Japanese translation tasks. In particular, our proposed model achieved a 0.37 point gain in BLEU on the Japanese-to-English task.

Key Words: Neural Machine Translation, Dependency Structures, Relative Positional Encoding


## 1 はじめに

機械翻訳は自然言語処理の初期から盛んに研究され, 様々な手法が提案されてきているが, 近年では, ニューラルネットワークを用いた機械翻訳 (Neural Machine Translation; NMT) が高い精度を実現しており，主流となっている，NMTの中でも，特に，同一文内の単語間の関係を捉える Self Attentionという構造を用いた Transformer (Vaswani, Shazeer, Parmar, Uszkoreit, Jones, Gomez, Kaiser, and Polosukhin 2017) に基づく NMT が state-of-the-art の精度を達成し, 注目を集めている。 Transformer NMT は，従来の畳み迄みニューラルネットワーク (Convolutional Neural Network; CNN) に基づく NMT (Gehring, Auli, Grangier, Yarats, and Dauphin 2017) や再帰型ニューラルネットワーク (Recurrent Neural Network; RNN) に基づく NMT (Sutskever, Vinyals, and Le 2014; Luong, Pham, and Manning 2015) と異なり，原言語文や目的言語文において, 同一文中のすべての単語間の関連度を Attention (Self Attention) で計算する.また,各単語の文中における位置情報は Positional Encoding を用いて各単語の埋め込み表現に付随させることで，学習時に単語毎の並列処理を可能としている. Shaw ら (Shaw, Uszkoreit, and Vaswani 2018) は，単語の位置情報として，2 単語間の文中における相対的な位置関係の情報を Self Attention において考慮することでTransformer NMT の翻訳精度の改善を実現した。

これまで，統計的機械翻訳や NMT 等では, 原言語文や目的言語文, あるいはその両方の構文情報（句構造や係り受け構造など）を活用することで翻訳精度が改善されており (Ding and Palmer 2005; Chen, Wang, Utiyama, Liu, Tamura, Sumita, and Zhao 2017; Eriguchi, Tsuruoka, and Cho 2017; Wu, Zhang, Zhang, Yang, Li, and Zhou 2018), 近年, Transformer NMT においても構文情報が活用されてきている。しかし，Wu ら (Wu et al. 2018)や Zhang ら (Zhang, Li， Fu, and Zhang 2019) など，多くの従来研究では Transformer NMT の外側に構文情報を考慮する機構を付加しており，Transformer NMT のモデル自体は改良されていない.

本稿では, 原言語側の係り受け構造に基づく 2 単語間の相対的位置情報を Transformer エンコーダの Self Attention で考慮する新たな Transformer NMT モデルを提案する。具体的には, Shaw ら (Shaw et al. 2018) に倣い，原言語文を係り受け解析した結果得られる係り受け構造に基づく単語間の相対的位置関係を埋め込んだベクトルを単語埋め込みベクトルに付随させる.原言語側の係り受け構造に基づく2 単語間の相対的位置情報を考慮することで, 単語系列に対する位置情報のみを考慮するよりも正しく単語間の依存関係を捉えた目的言語文を生成できるようになり翻訳性能の改善が期待される。

科学技術論文の概要から作成された ASPEC (Asian Scientific Paper Excerpt Corpus) (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) データを用いた英日および日英翻訳実験により, 原言語文の係り受け構造を相対的位置表現で考慮する提案モデルは, 従来の係り受け構造を考慮しない Transformer NMT モデル (Vaswani et al. 2017; Shaw et al. 2018)

よりも高い翻訳精度を達成できることを示す. 特に，日英翻訳においては 0.37 ポイント BLEU スコアが上回ることを確認した。

本稿の構成は以下の通りである。 2 節で本研究の関連研究について述べ， 3 節では提案モデルのベースとなる従来の Transformer NMT モデル (Vaswani et al. 2017; Shaw et al. 2018) について説明する．4 節では本研究の提案モデルについて述べる． 5 節では本研究で行った実験とその結果の考察を行い，6節で本稿のまとめと今後の課題について述べる.

## 2 関連研究

これまで，原言語文や目的言語文，あるいはその両方の構文情報（句構造や係り受け構造など）を活用することでNMT の翻訳精度が改善されてきた。

構文情報として句構造に着目した研究がある。例えば, Aharoni と Goldberg (Aharoni and Goldberg 2017) は目的言語側の句構造, Eriguchi ら (Eriguchi, Hashimoto, and Tsuruoka 2016), Ma ら (Ma, Tamura, Utiyama, Zhao, and Sumita 2018), Currey と Heafield (Currey and Heafield 2019), Watanabe ら (Watanabe, Tamura, and Ninomiya 2017) は原言語側の句構造を NMT で活用している。本研究は, 句構造ではなく係り受け構造に注目しているという点でこれらの従来研究と異なる.

構文情報として係り受け構造に着目した研究がある. Chen ら (Chen et al. 2017) は, 原言語文の係り受け構造において親子関係あるいは兄弟関係にある単語の埋込み表現を CNNによって畳み込み，RNN に基づく NMT モデルのエンコーダで活用するモデルを提案している。また, Sennrich と Haddow (Sennrich and Haddow 2016)は，原言語側の係り受け関係ラベルをその他の言語学的素性と共に埋め込んだべクトルを入力単語の埋込みべクトルと結合させることで，RNN に基づくNMT モデルにおいて原言語側の係り受け関係を考慮している． Eriguchi ら (Eriguchi et al. 2017)は，RNN に基づくNMT モデルのデコーダに構文解析を行う Recurrent Neural Network Grammar (Dyer, Kuncoro, Ballesteros, and Smith 2016)を導入することで，目的言語側の係り受け構造情報の活用している. これらの従来研究は, RNN に基づくNMT モデルで係り受け構造を活用しているのに対して，本稿で提案するモデルは Transformer モデル特有の構造である Self Attention において係り受け情報を活用するため, モデルの構造という観点で異なる.

近年, Transformer NMT においても構文情報を考慮するモデルがいくつか提案されてきている. Wuら (Wu et al. 2018)は，NMT において原言語側と目的言語側の両方の係り受け木を用いる方法を提案している。具体的には，NMT のエンコーダに原言語文の単語系列を入力するとともに，原言語文の係り受け木に基づいて並び替えた単語系列を入力することで，原言語側の係り受け情報を考慮している。また，デコーダ側では，NMT デコーダに依存構造解析を
行う RNN を統合することで目的言語側の係り受け情報を考慮しながら出力文を生成している. Zhang ら (Zhang et al. 2019) は，エンコーダ・デコーダ構造の係り受け解析モデルで原言語文をエンコードし，そのエンコード結果をNMT の単語埋め込み表現に結合させることで, 原言語側の係り受け構造を考慮している。Wuらの手法や Zhang らの手法は RNN に基づくNMT モデルだけでなく, Transformer に基づくNMTにも適用し, 有効性を示している。彼らの研究では Transformer NMT を用いているが, Transformerのモデル自体は改良されていない. Ma ら (Ma， Tamura, Utiyama, Sumita, and Zhao 2019)は, Shen ら (Shen, Lin, Jacob, Sordoni, Courville, and Bengio 2018) が句構造解析のために用いた Neural Syntax Distance (NSD) を係り受け構造に拡張し, 係り受け構造に対する NSD を用いて Transformer NMT の翻訳精度を改善している.彼らの研究では, 各単語の文における絶対的な位置情報に係り受け木に基づく位置情報を統合する Positional Encoding を提案している。一方, 本研究の提案モデルでは, Shaw らの手法に基づき, 係り受け木に基づく 2 単語間の相対的な位置情報を Transformer エンコーダの Self Attention で考慮している.

また, Shaw ら (Shaw et al. 2018)の他にも，Transformer NMT モデルの系列情報を改良することで翻訳精度を改善している研究がある. Chen ら (Chen, Wang, Utiyama, and Sumita 2019) は，単語の並び替えの情報を Positional Encoding に制約として与える機構を Transformer NMT モデルに追加し, 翻訳性能を改善している. 彼らの研究は Transformer NMT モデルで文中の単語間の関係を考慮する点で本研究と類似しているが, 彼らの研究では単語間の関係として構文情報を利用していない。また，彼らの研究では，Positional Encodingによる絶対的位置情報を改良しているのに対し, 本研究では Self Attention で考慮される相対的位置情報を改良している点で異なる。

## 3 従来の Transformer NMT モデル

本節では， 3.1 節で提案モデルのベースとなる最も基本的な Transformer NMT モデルについて述べ，3.2節で文内における単語間の相対的な位置関係を Self Attention で捉える Transformer NMT モデルについて述べる.

## 3.1 Transformer NMT

Transformer NMT は, 文中の単語間の関連度を捉える Self Attention 構造を持つエンコーダとデコーダから構成される NMT モデルである。 エンコーダでは，入力された原言語文から中間表現を獲得し，デコーダでは，獲得した中間表現から目的言語文を予測し, 出力する。デコー ダは，文頭の単語から順に逐次的に目的言語の単語を予測して目的言語文を生成する。具体的には，最初に目的言語文の文頭単語を予測し，続いて，予測した文頭単語をデコーダに入力し

て2 単語目を予測する。続いて，予測した文頭から 2 単語目までを結合した解析途中の目的言語文をデコーダに入力（shifted rightに目的言語文を入力）して 3 単語目を予測する，といった処理を繰り返すことで目的言語文の予測を行う. Transformer NMT の概要図を図 1 に示す.

Transformer NMT は，エンコーダレイヤとデコーダレイヤがそれぞれ複数層スタックされたエンコーダ・デコーダ構造を持つ。エンコーダとデコーダでは，まず，埋込み層で入力単語列 （エンコーダ側は原言語文の単語列，デコーダ側は目的言語文の単語列）を埋込み表現を表す行列に変換する。 その後, Positional Encoding により単語の系列情報を付与する．具体的には,入力単語列の埋込み表現行列に対して，各単語の文における絶対的な位置情報をエンコードし

図 1 Transformer NMT モデルの概要図

た行列 PE を加える，PEの各成分は異なる周波数の $\sin , \cos$ 関数を用いて次式により算出したものである.

$
\begin{array}{r}
P E(\text { pos }, 2 i)=\sin \left(\text { pos } / 10000^{2 i / d_{\text {model }}}\right) \\
P E(\text { pos }, 2 i+1)=\cos \left(\text { pos } / 10000^{2 i / d_{\text {model }}}\right)
\end{array}
$

ここで, $d_{\text {model }}$ は入力単語の埋込み次元, pos は単語の位置, $i$ は各成分の次元を表す。単語埋达み表現行列に PE を加えたものが，第 1 層目のエンコーダレイヤやデコーダレイヤの入力となる。

エンコーダレイヤは, 下位のサブレイヤから順に, 原言語文中の単語間の関連度を捉える Self Attention, 位置ごとのフィードフォーワードネットワーク (Feed Forward Network; FFN) の 2 つのサブレイヤで構成されている。 デコーダレイヤは, 下位のサブレイヤから順に, 目的言語文中の単語間の関連度を捉えるマスキング付き Self Attention, 原言語文の単語と目的言語文の単語間の関連度を捉える Attention (Source-Target Attention), 位置ごとの FFN の 3 つのサブレイヤで構成されている.

各サブレイヤ間では, 残差接続 (He, Zhang, Ren, and Sun 2016)を行った後に Layer Normalization (Ba, Kiros, and Hinton 2016) が適用される. Layer Normalization を適用する関数を LayerNorm, 下位のサブレイヤからの出力を $\boldsymbol{x}$, 現在のサブレイヤの処理を行う関数を SubLayer とすると, LayerNorm $(\boldsymbol{x}+\operatorname{SubLayer}(\boldsymbol{x}))$ が現在のサブレイヤの出力となる.

Self Attention と Source-Target Attention は Multi-Head Attentionを用いて実現される. Multi-

$\mathbb{R}^{d_{\text {model }} \times d_{z}}(i=1, \ldots, h)$ により, $d_{\text {model }}$ 次元から $d_{z}$ 次元に線形写像した後, $h$ 個の内積 Attention

また，それぞれの内積 Attention をへッド $\left(\operatorname{Head}_{i}(i=1, \ldots, h)\right)$ と呼ぶ.

$
\begin{array}{r}
\text { Head }_{i}=\operatorname{Attention}\left(\boldsymbol{q}^{\prime}, \boldsymbol{k}^{\prime}, \boldsymbol{v}^{\prime}\right) \\
\operatorname{Attention}\left(\boldsymbol{q}^{\prime}, \boldsymbol{k}^{\prime}, \boldsymbol{v}^{\prime}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{q}^{\prime} \boldsymbol{k}^{\prime T}}{\sqrt{d_{z}}}\right) \boldsymbol{v}^{\prime} \\
\boldsymbol{q}^{\prime}=\boldsymbol{q} W_{i}^{Q}, \boldsymbol{k}^{\prime}=\boldsymbol{k} W_{i}^{K}, \boldsymbol{v}^{\prime}=\boldsymbol{v} W_{i}^{V}
\end{array}
$

Attention である.

$
\text { MultiHead }(\boldsymbol{q}, \boldsymbol{k}, \boldsymbol{v})=\text { Concat }\left(\text { Head }_{1}, \ldots, \text { Head }_{h}\right) W^{O}
$


エンコーダの Self Attention では, 式 (6)の $\boldsymbol{q}, \boldsymbol{k}, \boldsymbol{v}$ にエンコーダの内部状態系列 $\boldsymbol{x}_{1}, \ldots, \boldsymbol{x}_{n}$ を用いる。各へッドは，へッドを構成する重み行列を $W^{Q}, W^{K}, W^{V}$ としたとき，以下の荷重和を計算する.

$
\boldsymbol{z}_{i}=\sum_{j=1}^{n} \alpha_{i j} \boldsymbol{x}_{j} W^{V}
$

ここで， $\boldsymbol{z}_{1}, \ldots, \boldsymbol{z}_{n}$ が Self Attention の出力系列である. 重み係数 $\alpha_{i j}$ はソフトマックス関数を用いて以下の通り計算される.

$
\alpha_{i j}=\frac{\exp \left(\boldsymbol{e}_{i j}\right)}{\sum_{k=1}^{n} \exp \left(\boldsymbol{e}_{i k}\right)}
$

また， $e_{i j}$ は以下の通り計算される.

$
\boldsymbol{e}_{i j}=\frac{\left(\boldsymbol{x}_{i} W^{Q}\right)\left(\boldsymbol{x}_{j} W^{K}\right)^{T}}{\sqrt{d_{z}}}
$

ここで, $d_{z}$ は $z_{i}$ の次元数である.

デコーダの Self Attention では，式 (6)の $\boldsymbol{q}, \boldsymbol{k}, \boldsymbol{v}$ にデコーダの内部状態系列を用いる．たたし，推論時には，予測する単語より後で生成される単語を知ることはできない。つまり，前方のデコーダ系列の内部状態のみを用いることに注意されたい。 また，学習時においても，推論時の挙動と整合性をとるために，予測する単語より後方に位置する単語の間の関連度は考慮しないようにマスキングしたマスキング付き Self Attentionを用いる。具体的には，マスキング付き Self Attention では式 (9) を以下のように変更する.

$
\boldsymbol{e}_{i j}=\left.\{\begin{array}{cc}
\frac{\left(\boldsymbol{x}_{i} W^{Q}\right)\left(\boldsymbol{x}_{j} W^{K}\right)^{T}}{\sqrt{d_{z}}} & (i \geq j) \\
-\infty & (\text { otherwise })
\end{array}\right.
$

式 (10)のように変更することで， $\alpha_{i j}$ は以下のようになり，後方に位置する単語との関連度を表す重み係数 $\alpha_{i j}(i<j)$ は 0 となる.

$
\alpha_{i j}=\left.\{\begin{array}{cc}
\frac{\exp \left(\boldsymbol{e}_{i j}\right)}{\sum_{k=1}^{n} \exp \left(\boldsymbol{e}_{i k}\right)} & (i \geq j) \\
0 & \text { (otherwise) }
\end{array}\right.
$

デコーダの Source-Target Attention では， $\boldsymbol{q}$ にデコーダの内部状態, $\boldsymbol{k}$ と $\boldsymbol{v}$ にはエンコーダの内部状態を用いることで，原言語文の単語と目的言語文の単語との関連度を計算する. エンコーダレイヤ，デコーダレイヤ内の各 FFN は入力 $x$ に対して，以下の計算を行う.

$
F F N(\boldsymbol{x})=\max \left(0, \boldsymbol{x} W_{1}+\boldsymbol{b}_{1}\right) W_{2}+\boldsymbol{b}_{2}
$

ここで, $W_{1} \in \mathbb{R}^{d_{\text {model }} \times d_{f f}}, W_{2} \in \mathbb{R}^{d_{f f} \times d_{\text {model }}}$ は重み行列, $d_{f f}$ は FNN の中間層の次元数, $\boldsymbol{b}_{1}, \boldsymbol{b}_{2}$

はバイアス項である.

デコーダでは, 最終のデコーダレイヤの出力 $\left(\boldsymbol{h}_{1}, \ldots, \boldsymbol{h}_{n}\right)$ を重み行列 $W^{\text {out }} \in \mathbb{R}^{d_{\text {model }} \times d_{\text {out }}}$ により線形変換し，その後ソフトマックス関数を施すことによって，目的言語の各単語の生成確率分布を得る.ここで， $d_{\text {out }}$ は目的言語の語彙サイズである. つまり, 出力単語 $y_{i}$ の生成確率分布は以下の通りである。

$
\begin{aligned}
p\left(y_{i}\right) & =\operatorname{softmax}\left(\boldsymbol{h}_{\boldsymbol{i}} W^{\text {out }}\right) \\
\operatorname{softmax}(\boldsymbol{o}) & =\frac{\exp \left(o_{k}\right)}{\sum_{k=1}^{d_{\text {out }}} \exp \left(o_{k}\right)}
\end{aligned}
$

目的言語文 $y_{1}, \ldots, y_{m}$ は, 各単語の生成確率分布に基づき, 例えば greedy アルゴリズムやビー 么探索等により生成する。

## 3.2 文内の相対的位置表現を用いた Transformer NMT

本節では， 2 単語間の文における相対的な位置関係をエンコーダおよびデコーダ内の Self Attention で捉える Transformer NMT モデル (Shaw et al. 2018)を説明する. Shaw らのモデルでは, 入力文中の単語 $w_{i}$ と単語 $w_{j}$ 間の相対的位置関係をべクトル $\boldsymbol{a}_{i j}^{V}, \boldsymbol{a}_{i j}^{K} \in \mathbb{R}^{d_{z}}$ で表現し, サブレイヤの出力に単語間の相対的位置情報を付加して次の層への入力とする. 具体的には, 式 (7)の代わりに次式を用いる.

$
\boldsymbol{z}_{i}=\sum_{j=1}^{n} \alpha_{i j}\left(\boldsymbol{x}_{j} W^{V}+\boldsymbol{a}_{i j}^{V}\right)
$

また, 式 (9)の代わりに次式を用いることで, Self Attention 計算過程の $\boldsymbol{e}_{i j}$ 算出時にも単語間の相対的位置情報を考慮する。

$
\boldsymbol{e}_{i j}=\frac{\boldsymbol{x}_{i} W^{Q}\left(\boldsymbol{x}_{j} W^{K}+\boldsymbol{a}_{i j}^{K}\right)^{T}}{\sqrt{d_{z}}}
$

ここで Shaw ら (Shaw et al. 2018)は, 単語間が一定距離以上離れると離れ具合の影響は少なくなると仮定し, 相対的位置の距離の最大値を定数 $k$ と定め, それより離れた相対的距離は最大值 $k$ とした. また, 文中のある単語から後ろを正の方向, 前を負の方向と考え, 二単語間の相対的位置関係は，以下の通り， $2 k+1$ 個のユニークなラベル $(-k,-k+1, \ldots, 0, \ldots, k-1, k)$ で捉える。

$
\begin{aligned}
\boldsymbol{a}_{i j}^{K} & =\boldsymbol{w}_{c l i p(j-i, k)}^{K} \\
\boldsymbol{a}_{i j}^{V} & =\boldsymbol{w}_{c l i p(j-i, k)}^{V} \\
\operatorname{clip}(x, k) & =\max (-k, \min (k, x))
\end{aligned}
$

ここで，各相対的位置ラベルの埋込み表現は， $\boldsymbol{w}^{K}=\left(\boldsymbol{w}_{-k}^{K}, \ldots, \boldsymbol{w}_{k}^{K}\right)$ と $\boldsymbol{w}^{V}=\left(\boldsymbol{w}_{-k}^{V}, \ldots, \boldsymbol{w}_{k}^{V}\right)$ $\left(\boldsymbol{w}_{k^{\prime}}^{K}, \boldsymbol{w}_{k^{\prime}}^{V} \in \mathbb{R}^{d_{z}},-k \leq k^{\prime} \leq k\right)$ であり，学習されるパラメータである.

## 4 係り受け構造に基づく相対的位置表現を用いた Transformer NMT

本節では，原言語文の係り受け木に対する 2 単語間の相対的位置情報を考慮する Transformer NMT モデルを提案する。まず，原言語文の係り受け木に対する 2 単語間の距離を定義し，その後, Shaw らの手法に基づいて, 係り受け木に基づく距離を Transformer エンコーダ内の Self Attention でエンコードする手法を述べる。

提案モデルでは, 係り受け木に対する 2 単語間の距離を, 係り受け木中の 2 単語間の相対的な深さとして定義する。原言語文 $w_{1}, \ldots, w_{n}$ に対する係り受け木において, 単語 $w_{i}$ に対応するノードを $n_{i}$, 単語 $w_{j}$ に対応するノードを $n_{j}$ としたとき, $n_{i}$ と $n_{j}$ の相対的深さ $d i s t_{i j}$ を以下のように定義する.

$
\operatorname{dist}_{i j}=\operatorname{depth}\left(n_{j}\right)-\operatorname{depth}\left(n_{i}\right)
$

図 2 は “My father bought a red car .”に対する係り受け木を示したものである。例えば，図 2 において, “My" $\left(=w_{1}\right)$ の "bought” $\left(=w_{3}\right)$ に対する相対的深さ dist $_{1,3}$ は, $-2(=0-2)$ である. 図 2 の係り受け木における 2 単語間の距離を表 1 に示す.

提案モデルでは, 係り受け木に対するノード $n_{i}$ と $n_{j}$ の相対的位置をべクトル $b_{i j}^{V}, b_{i j}^{K} \in \mathbb{R}^{d_{z}}$ によって表現し, Shaw らの手法 (Shaw et al. 2018) 同様, $\boldsymbol{z}_{i}$ や $\boldsymbol{e}_{i}$ 算出時に係り受け木に基づく相対的位置情報を考慮する，具体的には，式 (15) や式 (16)の代わりに以下の式を用いる.

$
\boldsymbol{z}_{i}=\sum_{j=1}^{n} \alpha_{i j}\left(\boldsymbol{x}_{j} W^{V}+\boldsymbol{b}_{i j}^{V}\right)
$

図 2 係り受け木の例表 1 図 2 の係り受け木に基づく単語間距離

$
\boldsymbol{e}_{i j}=\frac{\boldsymbol{x}_{i} W^{Q}\left(\boldsymbol{x}_{j} W^{K}+\boldsymbol{b}_{i j}^{K}\right)^{T}}{\sqrt{d_{z}}}
$

3.2 節同様，係り受け木における相対的位置関係においても一定以上距離が大きいと離れ具合の影響は少なくなると仮定し，係り受け木における相対的距離の最大値を定数 $l$ と定め，それより離れた相対的距離は最大値 $l$ とする. したがって, 原言語文中の単語 $w_{i}$ と単語 $w_{j}$ に対して, 係り受け木に基づく相対的位置関係を埋め込んだべクトル $\boldsymbol{b}_{i j}^{V}, \boldsymbol{b}_{i j}^{K}$ は次式で表現できる.

$
\begin{aligned}
& \boldsymbol{b}_{i j}^{K}=\boldsymbol{w}_{c l i p\left(d i s t_{i j}, l\right)}^{K} \\
& \boldsymbol{b}_{i j}^{V}=\boldsymbol{w}_{c l i p\left(d i s t_{i j}, l\right)}^{V}
\end{aligned}
$

以上のように，提案モデルでは，エンコーダの Self Attention で，文内における相対的位置表現の代わりに，原言語文の係り受け構造に対する相対的位置表現を考慮することができる。以降, この提案モデルを Transformer ${ }_{d e p}$ と記載する.

## 5 実験

## 5.1 実験設定

本実験では, 科学技術論文の概要から作成された ASPEC (Asian Scientific Paper Excerpt Corpus) (Nakazawa et al. 2016) データを用いて英日および日英翻訳を行った. 英語文は Moses (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007) を用いて単語分割をし, Stanford CoreNLP (Manning, Surdeanu, Bauer, Finkel, Bethard, and McClosky 2014)を用いて係り受け解析を行った。日本語文は KyTea (Neubig, Nakata, and Mori 2011)を用いて単語分割をし，EDA²用いて係り受け解析を行った。

各翻訳モデルは, 学習デー夕 (train-1.txt, train-2.txt) から抽出した上位 150 万文対のうち,英語文，日本語文ともに文長 100 単語以下の $1,498,909$ 対訳文対を使用して学習した。また学習データに出現した単語のうち, 日本語側は出現頻度が 7 回以上, 英語側は出現頻度が 10 回以上の単語を語彙として用い，それ以外の単語は語彙に登録されていない未知語を表すUNK タグに置き換えた。検証データとして 1,790 文対 (dev.txt)，テストデータとして 1,812 文対 (test.txt) を用いた。

実験では，4 節で提案した提案モデル $\left(\right.$ Transformer $_{d e p}$ ) を，従来の絶対的位置表現を考慮する Transformer NMT (Vaswani et al. 2017) (Transformer ${ }_{a b s}$ ) 及び絶対的位置表現に加え文中の相対的位置表現を考慮する Transformer NMT (Shaw et al. 2018) (Transformer $r_{r e l}$ )と比較した.

評価対象全てのモデルのハイパーパラメータは Vaswani ら (Vaswani et al. 2017) の設定に倣い, エンコーダ及びデコーダレイヤのスタック数を 6 、ヘッド数を 8 , 埋达み次元及び隠れ層の次元を 512 次元とした. optimizer は Adamを用い, $\beta_{1}=0.9, \beta_{2}=0.98, \epsilon=10^{-9}$ と設定した。学習率の更新スケジューリングは Vaswani らの方法 (Vaswani et al. 2017) と同様にした. ミニバッチサイズは 256 , エポック数は 30 とし, 検証データに対して最も精度が良かったエポックのモデルをテストデータに適用して翻訳精度を評価した。また, 本実験では, greedy アルゴリズムにより目的言語文を生成した. Transformer ${ }_{r e l}$ と Transformer Tep においては, 文内における相対的位置と係り受け構造に対する相対的位置の最大距離は $k=2, l=2$ とした ${ }^{3}$.

## 5.2 結果

評価結果を表 2 に示す.なお, 翻訳性能の評価指標は BLEU を用いた。また, 翻訳精度の差の有意差検定を, 有意差水準 $5 \%$ でブートストラップによる検定手法 (Koehn 2004)により行った，表 2 の「*」および「†」は，それぞれ，提案モデル Transformer ${ }_{d e p}$ と従来手法である Transformer ${ }_{a b s}$ および Transformer ${ }_{r e l}$ との翻訳精度の差が統計的に有意であることを示している。表 2 より，英日翻訳では，提案モデル Transformer ${ }_{d e p}$ は Transformer ${ }_{a b s}$ と比較し 0.60 ポイント上回り, Transformer $r e l$ と比較して 0.09 ポイント上回った. 一方で, 日英翻訳では, Transformer $_{d e p}$ は Transformer Tras $^{\text {C }}$ と比較して 0.37 ポイント上回り, Transformer $r_{r e l}$ と比較して 0.42 ポイント上回った. これらの結果より, 日英及び英日翻訳タスクにおいて, 原言語文の係り受け構造を相対的位置表現で考慮することで Transformer モデルの翻訳精度を改善できることが分かる.

表 3 に各モデルの日英翻訳例を示す. Transformer ${ }_{a b s}$ では, 原言語文中の「分けて」と「心電図を比較した」の訳出に成功しているが，「分けて」を主動詞にした文と「比較した」を主動詞にした文の並列構造（“and”で接続した構造）の翻訳になっている. Transformer $r$ rel では, 原言語文中の「心電図を比較した」の訳出に成功しているが，「分けて」の訳出に失敗している. Transformer $_{d e p}$ （表 3 の 5 行目）では, 原言語文中の「分けて」と「心電図を比較した」の両

表 2 実験結果

^{3}$ Shaw ら (Shaw et al. 2018) により, $k \geq 2$ では BLEU スコアにほとんど変化がないことが示されているため, $k=2$ を選択した. また, $l$ の値は検証デー夕を用いてチューニングした.
}
方の訳出に成功し，その翻訳は “compared by dividing” と正しい翻訳になっており，参照訳と一致している。図 3(a) に示した通り, Transformer ${ }_{d e p}$ では, 「分け」が「て」に，「て」が「比較」に係っているという係り受け関係の情報が利用できたため, “divide”が “compare”を修飾する正しい翻訳ができたのではないかと考えられる.

表 3 テストデータに対する各モデルの翻訳文とその比較

 \\

(a) EDA の解析結果

(b) 誤り係り受け木

図 3 表 3 の入力文中の「分けて心電図を比較した」に対する係り受け木

また，人工的に誤りを加えた係り受け木を Transformer ${ }_{d e p}$ に与えた場合の翻訳結果を表 3 の 6 行目に示す. 具体的には, 入力文に対するEDA の係り受け解析結果において「分けて心電図を比較した」に対する係り受け構造（図3(a)）の「て」の係り先を「比較」から「。」に変え，誤った係り受け木を作成した（図3(b)）その結果，誤った係り受け木を与えた場合，「分けて」 の訳出には成功したが，「心電図を比較した」の訳出に失敗した，以上の結果から，誤った係り受け木を用いると提案手法の翻訳性能が低下すると考えられる.

## 5.3 考察

Shaw ら (Shaw et al. 2018)は，3.2 節で説明したモデルにおいて，相対的位置関係を表現したベクトル $\boldsymbol{a}_{i j}^{V}, \boldsymbol{a}_{i j}^{K}$ のそれぞれの有効性を検証している。その結果, $\boldsymbol{a}_{i j}^{V}$ を取り除いた場合と， $\boldsymbol{a}_{i j}^{K}$ と $\boldsymbol{a}_{i j}^{V}$ の両方を用いた場合は同等の翻訳精度だが， $\boldsymbol{a}_{i j}^{K}$ を除いた場合は翻訳精度が下がることが示されている．つまり， $a_{i j}^{K}$ は有効だが $a_{i j}^{V}$ の効果が薄いことが示されている.

そこで本節では, 提案モデルにおいて導入した, 係り受け構造に対する相対的位置関係を表現したべクトル $b_{i j}^{V}$ と $b_{i j}^{K}$ のそれぞれの有効性を確認するために，各べクトルのみを用いた Transformer $_{d e p}$ の ASPEC 英日および日英翻訳性能を調査する.つまり, 式 (22)を式 (9) に変更したモデル「Transformer $_{d e p}\left(\boldsymbol{b}_{i j}^{V}\right.$ のみ)」と式 (21)を式 (7) に変更したモデル「Transformer ${ }_{d e p}$ $\left(\boldsymbol{b}_{i j}^{K}\right.$ のみ)」および Transformer ${ }_{a b s}$ の翻訳精度を比較した. なお，切除実験の設定は 5.1 節と同様である.

結果を表 4 に示す。表 4 より, 英日翻訳では, $\boldsymbol{b}_{i j}^{V}$ のみを使った Transformer ${ }_{d e p}$ は $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer ${ }_{d e p}$ に対して 0.09 ポイント上回った. $\boldsymbol{b}_{i j}^{K}$ のみを使った Transformer Tep $_{\text {de }}$ は $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer ${ }_{d e p}$ に対して 0.17 ポイント下回った. また， $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ のどちらも用いないモデルは $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer ${ }_{d e p}$ に対して 0.60 ポイント下回った。一方で, 日英翻訳では, $\boldsymbol{b}_{i j}^{V}$ のみを使った Transformer ${ }_{d e p}$ は $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer ${ }_{d e p}$ に対して 0.18 ポイント下回った. $\boldsymbol{b}_{i j}^{K}$ のを使った Transformer ${ }_{d e p}$ は $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer ${ }_{d e p}$ に対して 0.02 ポイント上回った. また, $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ のどちらも用いないモデルは $\boldsymbol{b}_{i j}^{K}$ と $\boldsymbol{b}_{i j}^{V}$ の両方を用いた Transformer $_{d e p}$ に対して 0.37 ポイント下回った.

表 4 係り受け構造に対する相対的位置表現 $\boldsymbol{b}_{i j}^{V}, \boldsymbol{b}_{i j}^{K}$ の切除実験結果

以上の結果から，言語方向を問わず，係り受け構造に対する相対的位置関係を表現したべクトル $\boldsymbol{b}_{i j}^{V}$ と $\boldsymbol{b}_{i j}^{K}$ のそれぞれが翻訳精度を向上に貢献することが分かった。また， $\boldsymbol{b}_{i j}^{K}, \boldsymbol{b}_{i j}^{V}$ の両方を用いても，どちらかのみを用いる場合と同等の精度となることが分かった。一方で， $\boldsymbol{b}_{i j}^{K}, \boldsymbol{b}_{i j}^{V}$ のどちらが有効かについては，言語方向によって異なることが分かった.

## 6 おわりに

本研究では, Transformerにおいて原言語文の係り受け構造を活用するため, 原言語文の係り受け木における単語間の相対的位置関係を Transformer エンコーダの Self Attention 中の相対的位置表現で考慮する手法を提案した．ASPEC (Nakazawa et al. 2016) データを用いた評価実験を通じて，日英及び英日翻訳タスクにおいて，原言語文の係り受け構造に対する相対的位置表現を考慮することで Transformer NMT モデルの精度を改善できることを確認した。特に，日英翻訳タスクにおいては 0.37 ポイント BLEU スコアが改善した.

提案手法では, 係り受け解析結果に基づき相対的深さを算出しているため, 誤った係り受け木から算出した相対的深さは単語間の位置関係の学習に悪影響を及ぼし, 翻訳性能を低下させる原因となり得る。したがって，提案手法の精度をさらに向上させるためには構文解析精度の向上も必要だと考えられる。一方で, 本研究の提案モデルでは目的言語側の係り受け構造を考慮していないが，目的言語側の係り受け構造を考慮できるモデルに改良することで翻訳性能をさらに改善できる可能性がある. 例えば, Wuら (Wu et al. 2018) が用いていた依存構造解析を行う RNN を Transformer デコーダに統合することにより，デコーダ内の Self Attention で目的言語側の係り受け木における単語間の相対的位置関係を考慮するモデルに改良できる可能性がある.

## 謝 辞

本論文は国際会議 International Conference Recent Advances in Natural Language Processing 2019 (RANLP2019) で発表した論文 (Omote, Tamura, and Ninomiya 2019) に基づいて日本語で書き直し，説明や評価を追加したものである.

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである。また, 本研究の一部は JSPS 科研費 $18 \mathrm{~K} 18110$ の助成を受けたものである. ここに謝意を表する.

また，本稿の英文校正を担当していただいたエナゴ (www.enago.jp) に謝意を表する.

## 参考文献

Aharoni, R. and Goldberg, Y. (2017). "Towards String-To-Tree Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 132-140.

Ba, J. L., Kiros, J. R., and Hinton, G. E. (2016). "Layer Normalization." arXiv preprint arXiv:1607.06450.

Chen, K., Wang, R., Utiyama, M., Liu, L., Tamura, A., Sumita, E., and Zhao, T. (2017). "Neural Machine Translation with Source Dependency Representation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2846-2852.

Chen, K., Wang, R., Utiyama, M., and Sumita, E. (2019). "Neural Machine Translation with Reordering Embeddings." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1787-1799, Florence, Italy. Association for Computational Linguistics.

Currey, A. and Heafield, K. (2019). "Incorporating Source Syntax into Transformer-Based Neural Machine Translation." In Proceedings of the 4th Conference on Machine Translation (Volume 1: Research Papers), pp. 24-33.

Ding, Y. and Palmer, M. (2005). "Machine Translation Using Probabilistic Synchronous Dependency Insertion Grammars." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05), pp. 541-548.

Dyer, C., Kuncoro, A., Ballesteros, M., and Smith, N. A. (2016). "Recurrent Neural Network Grammars." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209, San Diego, California. Association for Computational Linguistics.

Eriguchi, A., Hashimoto, K., and Tsuruoka, Y. (2016). "Tree-to-Sequence Attentional Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 823-833.

Eriguchi, A., Tsuruoka, Y., and Cho, K. (2017). "Learning to Parse and Translate Improves Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 72-78.

Gehring, J., Auli, M., Grangier, D., Yarats, D., and Dauphin, Y. N. (2017). "Convolutional Sequence to Sequence Learning." In Precup, D. and Teh, Y. W. (Eds.), Proceedings of the 34th International Conference on Machine Learning, Vol. 70 of Proceedings of Machine Learning Research, pp. 1243-1252.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. $770-778$.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Ma, C., Tamura, A., Utiyama, M., Sumita, E., and Zhao, T. (2019). "Improving Neural Machine Translation with Neural Syntactic Distance." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2032-2037.

Ma, C., Tamura, A., Utiyama, M., Zhao, T., and Sumita, E. (2018). "Forest-Based Neural Machine Translation." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1253-1263.

Manning, C. D., Surdeanu, M., Bauer, J., Finkel, J., Bethard, S. J., and McClosky, D. (2014). "The Stanford CoreNLP Natural Language Processing Toolkit." In Association for Computational Linguistics (ACL) System Demonstrations, pp. 55-60.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533.

Omote, Y., Tamura, A., and Ninomiya, T. (2019). "Dependency-Based Relative Positional Encoding for Transformer NMT." In Proceedings of the International Conference on Recent Advances in Natural Language Processing (RANLP 2019), pp. 854-861, Varna, Bulgaria. INCOMA Ltd.

Sennrich, R. and Haddow, B. (2016). "Linguistic Input Features Improve Neural Machine Translation." In Proceedings of the 1st Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91.

Shaw, P., Uszkoreit, J., and Vaswani, A. (2018). "Self-Attention with Relative Position Representations." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 464-468.

Shen, Y., Lin, Z., Jacob, A. P., Sordoni, A., Courville, A., and Bengio, Y. (2018). "Straight to the Tree: Constituency Parsing with Neural Syntactic Distance." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1171-1180.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Ghahramani, Z., Welling, M., Cortes, C., Lawrence, N. D., and Weinberger, K. Q. (Eds.), Advances in Neural Information Processing Systems 27, pp. 3104-3112.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Watanabe, T., Tamura, A., and Ninomiya, T. (2017). "CKY-based Convolutional Attention for Neural Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 1-6.

Wu, S., Zhang, D., Zhang, Z., Yang, N., Li, M., and Zhou, M. (2018). "Dependency-toDependency Neural Machine Translation." IEEE/ACM Transaction on Audio, Speech and Language Processing, 26 (11), pp. 2132-2141.

Zhang, M., Li, Z., Fu, G., and Zhang, M. (2019). "Syntax-Enhanced Neural Machine Translation with Syntax-Aware Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 1151-1161.

## 略歴

表悠太郎：2019 年愛媛大学工学部情報工学科卒業. 2019 年より同大学院理工学研究科修士課程に在学.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修
了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教, 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.

二宮崇：2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了.同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター 講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会,人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

(2019 年 11 月 1 日受付) (2020 年 2 月 8 日再受付) (2020 年 2 月 26 日採録)