# 論文
## CKYに基づく畳み込みアテンション構造を用いた ニューラル機械翻訳

\author{
渡邊大貴 $^{\dagger}$ ・田村晃裕 $^{\dagger} \cdot$ 二宮崇 $^{\dagger} \cdot$ Teguh Bharata Adji ${ }^{\dagger \dagger}$
}

本論文では, ニューラル機械翻訳 (NMT) の性能を改善するため, CKY アルゴリズムから着想を得た, 畳み込みニューラルネットワーク (CNN) に基づく新しいアテンション構造を提案する。提案のアテンション構造は, CKY テーブルを模倣した CNN を使って, 原言語文中の隣接する単語／句の全ての可能な組み合わせを表現する。提案のアテンション構造を組み込んた NMT は, CKY テーブルの各セルに対応する CNN の隠れ状態に対するアテンションスコア（言い換えると，原言語文中の単語の組み合わせに対するアテンションスコア）に基づき目的言語の文を生成する. 従来の文構造に基づく NMT は予め構文解析器で解析した文構造を活用するが, 提案のアテンション構造を用いる NMT は, 原言語文の構文解析を予め行うことなく, 原言語の文に潜む構造に対するアライメントを考慮した翻訳を行うことができる. Asian Scientific Paper Excerpt Corpus (ASPEC) 英日翻訳タスクの評価実験により, 提案のアテンション構造を用いることで, 従来のアテンション構造付きのエンコーダデコーダモデルと比較して， 1.43 ポイント BLEU スコアが上昇することを示す. さらに，FBIS コーパスにおける中英翻訳タスクにおいて，提案手法は，従来のアテンション構造付きのエンコーダデコーダモデルと同等かそれ以上の精度を達成できることを示す.

キーワード：ニューラル機械翻訳，CKY アルゴリズム，畳み込みニューラルネットワーク

## Neural Machine Translation with CKY-based Convolutional Attention

\author{
Taiki Watanabe ${ }^{\dagger}$, Akiniro Tamura $^{\dagger}$, Takashi Ninomiya $^{\dagger}$ and Teguh Bharata Adji ${ }^{\dagger \dagger}$
}

This paper proposes a new attention mechanism for neural machine translation (NMT) based on convolutional neural networks (CNNs), which is inspired by the CKY algorithm. The proposed attention represents every possible combination of source words (e.g., phrases and structures) through CNNs, which imitates the CKY table in the algorithm. NMT, incorporating the proposed attention, decodes a target sentence on the basis of the attention scores of the hidden states of CNNs. The proposed attention enables NMT to capture alignments from underlying structures of a source sentence without sentence parsing. The evaluations on the Asian Scientific Paper


Excerpt Corpus (ASPEC) English-Japanese translation task show that the proposed attention gains 1.43 points in BLEU as compared to a conventional attention-based encoder decoder model. Furthermore, the proposed attention is at least comparable to, or better than, a conventional attention-based encoder decoder model on the FBIS Chinese-English translation task.

Key Words: Neural Machine Translation, CKY Algorithm, Convolutional Neural Networks

## 1 はじめに

近年，ニューラルネットワークに基づく機械翻訳（ニューラル機械翻訳；NMT）は，単純な構造で高い精度の翻訳を実現できることが知られており，注目を集めている．NMT の中でも，特に，エンコーダデコーダモデルと呼ばれる，エンコーダ用とデコーダ用の 2 種類のリカレントニューラルネットワーク (RNN) を用いる方式が盛んに研究されている (Sutskever, Vinyals, and Le 2014). エンコーダデコーダモデルは，まず，エンコーダ用の RNN により原言語の文を固定長のベクトルに変換し，その後，デコーダ用のRNNにより変換されたべクトルから目的言語の文を生成する。通常，RNNには，Gated Recurrent Units (GRU) (Cho, van Merrienboer, Gulcehre, Bahdanau, Bougares, Schwenk, and Bengio 2014b) や Long Short-Term Memory LSTM) (Hochreiter and Schmidhuber 1997; Gers, Schmidhuber, and Cummins 2000) が用いられる。このエンコーダデコーダモデルは，アテンション構造を導入することで飛躍的な精度改善を実現した (Bahdanau, Cho, and Bengio 2015; Luong, Pham, and Manning 2015).この拡張したエンコーダデコーダモデルをアテンションに基づく NMT (ANMT) と呼ぶ. ANMT では，デコーダは，デコード時にエンコーダの隠れ層の各状態を参照し，原言語文の中で注目すべき単語を絞り込みながら目的言語文を生成する。

NMT が出現するまで主流であった統計的機械翻訳など, 機械翻訳の分野では, 原言語の文, 目的言語の文，またはその両方の文構造を活用することで性能改善が行われてきた (Lin 2004; Ding and Palmer 2005; Quirk, Menezes, and Cherry 2005; Liu, Liu, and Lin 2006; Huang, Knight, and Joshi 2006). ANMTにおいても，その他の機械翻訳の枠組み同様，文の構造を利用することで性能改善が実現されている。例えば，Eriguchiら (Eriguchi, Hashimoto, and Tsuruoka 2016b) は，NMTによる英日機械翻訳において原言語側の文構造が有用であることを示している．従来の文構造に基づく NMT のほとんどは，事前に構文解析器により解析された文構造を活用する。そのため, 構文解析器により解析誤りが生じた場合, その構造を利用する翻訳に悪影響を及ぼしかねない。また, 必ずしも構文解析器で解析される構文情報が翻訳に最適とは限らない.

そこで本論文では，予媾文解析を行うことなく原言語の文の構造を活用することで NMT の性能を改善することを目指し，CKYアルゴリズム (Kasami 1965；Younger 1967) を模倣した

CNN に基づく畳み込みアテンション構造を提案する. CKYアルゴリズムは, 構文解析の有名なアルゴリズムの一つであり，文構造をボトムアップに解析する．CKYアルゴリズムでは，CKY テーブルを用いて，動的計画法により効率的に全ての可能な隣接する単語／句の組み合わせを考慮して文構造を表現している。提案手法は，この CKYアルゴリズムを参考にし，CKYテー ブルを模倣した CNN をアテンション構造に組み込むことで，原言語文中の全ての可能な隣接する単語／句の組み合わせに対するアテンションスコアを考慮した翻訳を可能とする。具体的には，提案のアテンション構造は，CKYテーブルの計算手順と同様の順序で CNN を構築し，提案のアテンション構造を組み达んた ANMT は, デコード時に, CKYテーブルの各セルに対応する CNN の隠れ層の各状態を参照することにより, 注目すべき原言語の文の構造（隣接する単語／句の組み合わせ）を絞り达みながら目的言語の文を生成する。したがって，提案のアテンション構造を組み込んだ ANMT は, 事前に構文解析器による構文解析を行うことなく, 目的言語の各単語を予測するために有用な原言語の構造を捉えることが可能である. ASPEC の英日翻訳タスク (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016) の評価実験において，提案のアテンション構造を用いることで従来の ANMT と比較して, 1.43 ポイント BLEU スコアが上昇することを示す。また，FBISコーパスにおける中英翻訳タスクの評価実験において, 提案手法は従来の ANMT と同等もしくはそれ以上の精度を達成できることを示す。

## 2 関連研究

ANMT の性能を改善する方向性の一つとして, 文の構造を活用する ANMT が数多く提案されている。文構造に基づくANMT は，原言語の文構造を利用するANMT，目的言語の文構造を利用する ANMT，原言語と目的言語の文構造を利用する ANMT の 3 つに大別できる.

原言語の文構造を利用する ANMT として, Eriguchi ら (Eriguchi et al. 2016b) は, 事前に解析した原言語文の句構造を Tree-LSTM (Tai, Socher, and Manning 2015) によりボトムアップにエンコードする ANMT を提案している. Yang ら (Yang, Wong, Xiao, Chao, and Zhu 2017), そしてChen ら (Chen, Huang, Chiang, and Chen 2017a) は, この Eriguchi らのモデルを拡張し, 原言語文の句構造をボトムアップにエンコードした後でトップダウンにエンコードする双方向のエンコーダを用いる ANMT を提案している. Sennrich ら (Sennrich and Haddow 2016) は, 原言語の文の言語学的素性を埋め込み層でベクトル化し, 原言語の単語の埋め込みべクトルと結合したべクトルを RNN エンコーダの入力とする ANMT を提案している. 様々な言語学的素性を用いているが，その中に，品詞夕グや係り受け関係の夕グといった文構造を表す素性を用いている. Chen ら (Chen, Wang, Utiyama, Liu, Tamura, Sumita, and Zhao 2017b)は,原言語の文の係り受け解析結果に基づき，親ノード，子ノード，兄弟ノードの情報をCNNで
畳み込み，畳み达んだベクトルを ANMT で用いる方法を提案している. Bastings ら (Bastings, Titov, Aziz, Marcheggiani, and Simaan 2017) は, 原言語文の係り受け構造をグラフ構造とみな L, Graph Convolutional Networks により係り受け構造をエンコーディングするエンコーダを提案し, Bag-of-Words エンコーダや CNN エンコーダ, 双方向 RNN エンコーダと組み合わせることで性能改善を行っている. Li (Li, Xiong, Tu, Zhu, Zhang, and Zhou 2017) は, 原言語の文の句構造解析木を線形化して得られた構造ラベル系列と原言語文の単語系列の 2 つ系列をエンコーディングするエンコーダを複数提案している.

目的言語の文構造を利用する ANMT としては, Wu ら (Wu, Zhang, Yang, Li, and Zhou 2017), そして Eriguchi ら (Eriguchi, Tsuruoka, and Cho 2017) が Shift-Reduce 法の依存構造解析をデコーダに組み込み，目的言語文の単語系列とその依存構造を同時にデコードすることで目的言語側の文構造を活用する ANMT を提案している. Eriguchi ら (Eriguchi et al. 2017) は, 構文解析モデルの一つである Recurrent Neural Network Grammars (Dyer, Kuncoro, Ballesteros, and Smith 2016)を NMT のデコーダに適用することで, 目的言語文の構文構造を翻訳に利用している. Aharoni ら (Aharoni and Goldberg 2017) は目的言語側の文構造を翻訳で活用するために,目的言語文の句構造解析木を線形化した系列を出力するNMT を構築することを提案している.

また, Wu ら (Wu, Zhang, Zhang, Yang, Li, and Zhou 2018) は, 原言語側と目的言語側の両方の依存構造を活用する dependency-to-dependencyニューラル機械翻訳モデルを提案している.

これらの文構造に基づく従来の ANMT は，構文解析器により解析した文構造を活用する。したがって, 構文解析器により解析誤りが生じた場合, その構造を利用する翻訳に悪影響を及ぼしかねない。また, 必ずしも構文解析器で解析される構文情報が翻訳にとって最適とは限らない. そこで本研究では，予め構文解析を行うことなく原言語の文の構造を活用する ANMT を提案する。

構文解析器による解析を必要としない文構造を活用する ANMT として, Hashimoto ら (Hashimoto and Tsuruoka 2017) のモデルがある.このモデルでは, 原言語側の構文解析モデルと翻訳モデルを対訳コーパスから同時に学習し, 翻訳タスクに適した構文解析モデルを学習することで翻訳精度を向上させている。このモデルは構文解析として係り受け解析を用いているが, 本研究では, アテンション構造で目的言語の単語を予測する際に有効な単語のまとまりを捉えることに焦点をあて，句構造解析を前提としている。

また, エンコーダに CNN を用いたNMT としては, Choら (Cho, van Merrienboer, Bahdanau, and Bengio 2014a), そしてGehring ら (Gehring, Auli, Grangier, and Dauphin 2017)の手法がある. Gehring らの手法では， 2 つの CNN をエンコーダとして使用する。一方の CNN は，デコード時にアテンションスコアを計算するための出力を生成するもので, 原言語文の幅広い情報を扱う。一方，他方の CNN は，LSTM デコーダへ入力するべクトルを計算するためのもので，局所的な情報を扱う。この手法は構文構造に焦点をあてていないが，提案手法では原言語
文の構文構造に着目する，Cho らの手法は， Gated Recursive Convolutional Neural Networkを用いて，原言語文をボトムアップにエンコードしている。彼らは，提案のエンコーダで文の構造を教師なしで捉えられると主張している。このモデルと本研究の提案手法との違いは, Cho らの手法では，隣接する二つの下位セルを畳み込むことで上位セルを計算するのに対して，提案手法では，CKYアルゴリズムを模倣することで複数の下位セルのぺアから上位セルを計算する点である．提案手法では上位セルを計算する際に複数のセルを考慮できるため，翻訳モデルの学習過程で原言語文の構造を捉えやすくなると考えられる。また, 提案手法はアテンション構造を有しているが，Cho らの手法ではアテンション構造を有していない点も大きな違いである。定量的に比較してみると，Cho らの手法はフレーズベース統計的機械翻訳 Moses より翻訳精度が低いことが報告されているが，我々の ASPEC10万文対における実験では，本研究の提案手法は Moses より翻訳精度が高い（Mosesの BLEU が 18.69, 提案手法の BLEU が 26.99 である）ことを確認している。同じデータセットによる直接の定量的な比較は行っていないが，これらの結果から，提案手法の方が Cho らの手法より翻訳性能がよいと考えられる.

## 3 アテンションに基づくニューラル機械翻訳 (ANMT)

本節では, 提案手法のベースラインとなる従来の標準的な ANMT (Luong et al. 2015; Bahdanau et al. 2015) について説明する. ANMT は, 原言語文を固定長のべクトルに変換するエンコーダ用の RNN と，変換した固定長べクトルから目的言語文を生成するデコーダ用の RNN を用いて翻訳を行う，エンコーダデコーダモデル (Sutskever et al. 2014; Cho et al. 2014b) にアテンション構造を導入したモデルである。本研究では, 2 層の双方向 LSTM をエンコーダ用 RNN として使用した. 原言語文 $\mathbf{x}=x_{1}, x_{2}, \cdots, x_{S}$ が入力として与えられたとき, エンコーダは, $i$ 番目の入力単語 $x_{i}$ を単語埋め达み層により $d$ 次元ベクトル $v_{i}$ に変換する。 その後, エンコーダは, $v_{i}$ に対する隠れ状態 $h_{i}$ を次式の通り算出する ${ }^{1}$.

$
\begin{aligned}
& \overrightarrow{h_{i}^{(1)}}=\operatorname{LSTM_{enc}^{(f,1)}}\left(v_{i}, \overrightarrow{h_{i-1}^{(1)}}\right), \\
& \overleftarrow{h_{i}^{(1)}}=\operatorname{LSTM}_{\text {enc }}^{(b, 1)}\left(v_{i}, \overleftarrow{h_{i+1}^{(1)}}\right) \\
& \overrightarrow{h_{i}^{(2)}}=L S T M_{e n c}^{(f, 2)}\left(\overrightarrow{h_{i}^{(1)}}, \overrightarrow{h_{i-1}^{(2)}}\right)+\overrightarrow{h_{i}^{(1)}}, \\
& \overleftarrow{h_{i}^{(2)}}=L S T M_{\text {enc }}^{(b, 2)}\left(\overleftarrow{h_{i}^{(1)}} \overleftarrow{, h_{i+1}^{(2)}}\right)+\overleftarrow{h_{i}^{(1)}} \\
& h_{i}=\overrightarrow{h_{i}^{(2)}}+\overleftarrow{h_{i}^{(2)}}
\end{aligned}
$


ここで, $\rightarrow$ とはそれぞれ順方向と逆方向を表し, $L S T M_{e n c}^{(f, 1)}, L S T M_{e n c}^{(b, 1)}, L S T M_{e n c}^{(f, 2)}, L S T M_{e n c}^{(b, 2)}$ は, それぞれ第 1 層目の順方向, 第 1 層目の逆方向, 第 2 層目の順方向, 第 2 層目の逆方向の LSTM エンコーダを表す. また, $\overleftarrow{h_{i}^{(1)}}, \overrightarrow{h_{i}^{(1)}}, \overleftarrow{h_{i}^{(2)}}, \overleftrightarrow{h_{i}^{(2)}}, h_{i}$ の次元は $d$ である. また, 第 2 層目の LSTM エンコーダには, Residual Connection (He, Zhang, Ren, and Sun 2016)を適用した. Residual Connection とは, ショートカット接続を持つ構造で, パラメータの最適化を容易にするものである.

初期のエンコーダデコーダモデル (Sutskever et al. 2014; Cho et al. 2014b) では, デコーダは,原言語の文をエンコードした固定長のベクトル $h_{S}$ を初期値として目的言語の文を生成する。一方で，アテンション構造を導入した ANMT では，デコーダは，LSTM エンコーダの各隠れ層の状態 $h_{i}(i=1, \cdots, S)$ を参照しながら, 目的言語の文を生成する. アテンション構造としては, Additive Attention (Bahdanau et al. 2015) や Dot-Product Attention (Luong et al. 2015) が主流である. 本研究では, アテンション構造として Dot-Product Attentionの一つである, Global Dot Attention (Luong et al. 2015) を用いる。また，デコーダ用の RNNとして 2 層の LSTM を使用する．以下ではデコーダの動作を説明する。

デコーダは，エンコーダによって与えられる原言語文の情報に基づき, 目的言語文 $\mathbf{y}=$ $y_{1}, y_{2}, \cdots, y_{T}$ を出力する. まず，第 1 層目の LSTM デコーダ $\left(L S T M_{d e c}^{(1)}\right)$ と第 2 層目の LSTM デコーダ $\left(L S T M_{d e c}^{(2)}\right)$ の初期状態を, それぞれ, 第 1 層目, 第 2 層目の逆方向の LSTM エンコー ダの内部状態に初期化する. その後, $j$ 番目のLSTM デコーダの第 1 層目, 第 2 層目の隠れ層の状態 $s_{j}^{(1)}, s_{j}^{(2)}$ を, 次式の通り, 一つ前 $(j-1$ 番目）のデコーダの情報（出力単語や隠れ層の状態など）に基づいて算出する.

$
\begin{aligned}
& s_{j}^{(1)}=L S T M_{d e c}^{(1)}\left(\left[w_{j-1} ; \hat{s}_{j-1}\right], s_{j-1}^{(1)}\right), \\
& s_{j}^{(2)}=L S T M_{d e c}^{(2)}\left(s_{j}^{(1)}, s_{j-1}^{(2)}\right) .
\end{aligned}
$

ここで， $w_{j-1}$ は $j-1$ 番目の出力単語である $y_{j-1}$ の単語埋め込みベクトル，「;」はべクトルの結合, $\hat{s}_{j-1}$ は出力単語 $y_{j-1}$ の生成時に使用されたアテンションベクトルを表す2. なお, $w_{j-1}$ と $\hat{s}_{j-1}$ は $d$ 次元である.

その後, $j$ 番目のアテンションベクトル $\hat{s}_{j}$ を, コンテキストベクトル $c_{j}$ を使用して, 次式の通り算出する。

$
\hat{s}_{j}=\tanh \left(W_{c}\left[s_{j}^{(2)} ; c_{j}\right]+b_{c}\right)
$

ここで, $W_{c} \in R^{d \times 2 d}$ は重み行列, $b_{c} \in R^{d}$ はバイアス項, $\tanh$ はハイパボリックタンジェント

関数である. コンテキストベクトル $c_{j}$ は, エンコーダの全状態 $h_{i}(i=1 \cdots S)$ の加重平均であり，次式の通り算出されたものである.

$
c_{j}=\sum_{i=1}^{S} \alpha_{j}(i) h_{i}
$

ここで，アテンションスコアと呼ばれる重み $\alpha_{j}(i)$ は， デコーダの状態 $s_{j}^{(2)}$ において，エンコー ダの状態 $h_{i}$ に対する重要度を表し，次式の通り算出される。

$
\alpha_{j}(i)=\frac{\exp \left(h_{i} \cdot s_{j}^{(2)}\right)}{\sum_{k=1}^{S} \exp \left(h_{k} \cdot s_{j}^{(2)}\right)}
$

ここで, $\exp$ は指数関数を表す.

その後, $j$ 番目の出力単語 $y_{j}$ の確率分布は, アテンションベクトル $\hat{s}_{j}$ に基づき次式の通り求めることができる。

$
p\left(y_{j} \mid y_{<j}, \mathbf{x}\right)=\operatorname{softmax}\left(W_{s} \hat{s}_{j}+b_{s}\right) .
$

ここで, $W_{s} \in R^{|V| \times d}$ は重み行列, $b_{s} \in R^{|V|}$ はバイアス項, softmax はソフトマックス関数を表す。また, $|V|$ は目的言語の辞書のサイズを表す.

ANMT の目的関数は，次式で表される。

$
J(\theta)=-\sum_{(\mathbf{x}, \mathbf{y}) \in \mathbf{D}} \log p(\mathbf{y} \mid \mathbf{x})
$

ここで，Dはデータセット全体を表し， $\theta$ は学習されるモデルパラメータである.

このように, 出力単語は, アテンションスコアを重みとした荷重平均であるコンテキストベクトルにしたがって算出したアテンションベクトルに基づいて決定されるため，ANMT では， エンコーダの各状態の中から注目すべき状態（原言語の文の中で注目すべき単語）をしぼりこみながら目的言語の文を生成することができる.

## 4 提案モデル

## 4.1 CKY アルゴリズム

CKYアルゴリズムは，チョムスキー標準形の文脈自由文法により，ボトムアップに構文を解析する手法である。チョムスキー標準形とは， $A, B, C$ を非終端記号， $a$ を終端記号としたとき,生成規則がすべて $A \rightarrow B C$ または $A \rightarrow a$ の形をしているものである. CKYアルゴリズムでは,図 1 に示す CKY テーブルをボトムアップに埋めていくことで構文解析を行う. CKYテーブルのセルにある括弧中の数字は入力文中の単語のインデックスであり, 括弧により入力文中の部
分文字列を表現している。例えば， $[0,3]$ のセルには， 1 単語目 $w_{1}$ から 3 単語目 $w_{3}$ までの部分文字列に相当する非終端記号が格納される，各セルに非終端記号を格納する際は，部分文字列を 2 つにわけ，そのすべての組み合わせに対する生成規則を満たす非終端記号を追加する。例えば, $[0,3]$ のセルを埋める場合, $[0,1]$ と $[1,3]$ の組み合わせ及び $[0,2]$ と $[2,3]$ の組み合わせを考慮する. CKYテーブルの各セルをボトムアップに埋めていき, 最上位のセル（図 1 の場合, $[0,5]$ のセル）が開始記号となれば，構文解析に成功する.

CKYアルゴリズムの疑似コードを Algorithm 1 に示す. Algorithm 1 において， $R$ は非終端記号の集合を表す. Algorithm 1 の 2 行目と 3 行目では, CKYテーブルの第一層目の初期化を行う. 4 行目で入力文中の単語数, 5 行目で句の開始位置, 7 行目で句の分割可能な位置について網羅的に for ループで回すことで部分文字列の全組み合わせに対して処理を行う．8行目から

図 1 CKY テーブル

10 行目では，着目している 2 つのセルに含まれる非終端記号を生成する生成規則が存在するとき，新たな句を候補として追加している。このように，下位のセルからボトムアップに動的計画法で生成規則を考えていくことで，効率よく全ての隣接する単語／句の組み合わせを考慮した構文解析を可能としている.

## 4.2 CKYに基づく畳み込みアテンション構造による機械翻訳

図 2 に提案モデルの全体の構造を示す. 提案モデルのエンコーダ部では, 通常の LSTM エンコーダ（3 節参照）により原言語の文を単語列としてエンコードする。加えて, CKYアルゴリズムの CKYテーブルにおける計算手順を模倣し，CNN を用いて，原言語文中の隣接する単語 ／句の組み合わせをエンコードする。そしてデコーダ部では，LSTM エンコーダの各隠れ状態に対するアテンションスコアから算出したコンテキストベクトル $c_{j}$ に加えて, 原言語文中の単語の組み合わせのエンコード結果に対するアテンションスコアから算出したコンテキストベクトル $c_{j}^{\prime}$ に基づき，アテンションベクトル $\hat{s}_{j}$ を生成する。そして，注目すべき単語，注目すべき単語の組み合わせの情報を含んだアテンションベクトル $\hat{s}_{j}$ に基づき目的言語の単語を予測する. 以下で, 提案モデルの具体的な計算方法を説明する.

提案手法のアテンション構造では，CKYアルゴリズムにおける生成規則を図 3 に示すネットワーク構造によって模倣する。具体的には，CKYアルゴリズムにおいて生成規則が CKYテー ブルの 2 つのセルボトムアップにまとめる動作を模倣して, 図 3 のネットワーク構造により,

図 $2 \mathrm{CKY}$ に基づく置み込みアテンション構造の全体図

図 3 CKYに基づく畳み迄みアテンション構造の Deduction Unit

CKYテーブルの 2 つのセル（具体的には $d$ 次元ベクトル）から，上位のセルの $d$ 次元ベクトルを算出する。ここで，CKYテーブルの各セルの $d$ 次元ベクトルは，セルが表現する単語の組み合わせの状態を表すべクトルと捉えることができる。この CKYアルゴリズムにおける生成規則に対応するネットワークをDeduction Unit (DU) と呼ぶ. DU は， 4 種類の 1D CNN を残差接続し，その後 Layer Normalization (Ba, Kiros, and Hinton 2016)により, ベクトルを正規化して出力する構造である ${ }^{3}$. 図 3 では, 各 CNN のフィルタサイズと出力チャネル数を括弧内に記している。具体的には，CNN1, CNN2，CNN3，CNN4のフィルタサイズは，それぞれ， 1 , 2，1，2であり，チャネル数は，それぞれ， $\frac{d}{2}, \frac{d}{2}, d, d$ ぞある，DUは入力として 2 ののべクトルを受け取る．CNN1では，DUに入力された 2 つのべクトルをフィルタサイズ 1 の CNNにより，チャネル数 $\frac{d}{2}$ に変換する。その後，フィルタサイズ 2 の CNN2により，2つのベクトルを 1 つのべクトルへ畳み达む，そして，置み达まれたべクトルは，フィルタサイズ 1 の CNN3 によりチャネル数 $d$ へと変換される。また, DUに入力された 2 つのべクトルはフィルタサイズ 2 の CNN4 によって1つのべクトルに畳み込まれる ${ }^{4}$. その後, CNN3 の出力べクトルと CNN4


の出力ベクトルを加算し, Layer Normalization により正規化した後に, DU の出力として 1 つのベクトルを出力する。なお，DUのそれぞれの $\mathrm{CNN} の$ の力べクトルには， Relu 関数を適用している.

このDU を使うことで，CKYアルゴリズムの計算順序と同様の順序で下位セルの 2 つの状態を畳み込むことにより，CKYテーブルの各セルの状態を導出することができる，たたし，上位セルの状態を導出する際，CKYアルゴリズムと同様，複数のDU から当該上位セルの状態となりうるべクトルが算出される。その際は, 候補となったべクトルのうち, 要素和が最大であるべクトルに設定する。この全体のネットワークを CKY-CNN と呼ぶ。ここで， CKY-CNN は，レイヤーの数は文長と同等となり，また，各レイヤーにおいてDU のパラメータは共有されることに注意されたい，以降， $i$ 層目の CKY-CNNの $j$ 番目のセルの状態を $h_{i, j}^{(c k y)}$ と記述すると, CKY-CNN の具体的な動作は次の通りである。まず, CKY-CNN の第 1 層目の状態 $\left(\mathbf{h}_{\mathbf{1}}^{(\mathbf{c k y})}=\left(h_{1,1}^{(c k y)}, \ldots, h_{1, S}^{(c k y)}\right)\right)$ を，LSTM エンコーダの状態 $\left(\mathbf{h}=\left(h_{1}, \ldots, h_{S}\right)\right)$ に設定する.

そして，2 層目より上の層の CKY-CNN のセルの状態を次のように算出する.

$
h_{i, j}^{(c k y)}=\max _{1 \leq k \leq i-1} D U\left(h_{k, j}^{(c k y)}, h_{i-k, j+k}^{(c k y)}\right)
$

ここで， $\max$ 関数は入力されたそれぞれのべクトルに対してべクトルの要素和を計算し，その値が最大となるべクトルを返す関数である。図 4 に，CKY-CNN により，セル $\left(h_{4,1}^{(c k y)}\right)$ を導出する畳み达みの例を示す。この導出過程では，以下が実行される。

$
h_{4,1}^{(c k y)}=\max \left(D U\left(h_{1,1}^{(c k y)}, h_{3,2}^{(c k y)}\right), D U\left(h_{2,1}^{(c k y)}, h_{2,3}^{(c k y)}\right), D U\left(h_{3,1}^{(c k y)}, h_{1,4}^{(c k y)}\right)\right) .
$

具体的には, 3 つの DUが, それぞれ, 2 つのセル $\left(h_{3,1}^{(c k y)}\right.$ と $\left.h_{1,4}^{(c k y)}\right), 2$ つのセル $\left(h_{2,1}^{(c k y)}\right.$ と $\left.h_{2,3}^{(c k y)}\right)$,

図 4 CKY-CNN の例

2 つのセル $\left(h_{1,1}^{(c k y)}\right.$ と $\left.h_{3,2}^{(c k y)}\right)$ の状態に基づきべクトルを生成する. その後, ベクトルの要素和が最も大きいべクトルをセル $\left(h_{4,1}^{(c k y)}\right)$ の状態に設定する.

CKYに基づく畳み込みアテンション構造を用いた NMT では，LSTM エンコーダの隠れ層の状態に加えて，CKY-CNN の隠れ層の状態（CKYテーブルの各セルの状態）を参照しながら目的言語の文を生成する. デコーダの状態 $s_{j}^{(2)}$ と CKY-CNN の隠れ層の状態 $h_{i, j}^{(c k y)}$ とのアテンションスコアは Global Dot Attetnion (Luong et al. 2015) を用いて次式の通り計算する.

$
\alpha^{\prime}\left(i_{1}, i_{2}, j\right)=\frac{\exp \left(h_{i_{1}, i_{2}}^{(c k y)} \cdot s_{j}^{(2)}\right)}{\sum_{k=1}^{S} \sum_{l=1}^{S-k+1} \exp \left(h_{k, l}^{(c k y)} \cdot s_{j}^{(2)}\right)} .
$

ここで， $s_{j}^{(2)}$ は第 2 層目のLSTM デコーダの隠れ層の状態である. そして，CKY-CNN のコンテキストベクトル $c_{j}^{\prime}$ を次式の通り算出する.

$
c_{j}^{\prime}=\sum_{k=1}^{S} \sum_{l=1}^{S-k+1} \alpha^{\prime}(k, l, j) h_{k, l}^{(c k y)}
$

その後, アテンションベクトル $\hat{s}_{j}$ を, LSTM エンコーダのコンテキストベクトル $\left(c_{j}\right)$ と CKY-CNN のコンテキストベクトル $\left(c_{j}^{\prime}\right)$ に基づき次のように算出する.

$
\hat{s}_{j}=\tanh \left(\hat{W}\left[s_{j}^{(2)} ; c_{j} ; c_{j}^{\prime}\right]+\hat{b}\right)
$

ここで, $\hat{W} \in R^{d \times 3 d}$ は重み行列， $\hat{b} \in R^{d}$ はバイアス項である．また，LSTM エンコーダのコンテキストベクトル $c_{j}$ は，式 (9) の通り算出されたものであることを確認しておく. $j$ 番目の目的言語の単語は, 従来の ANMT と同様に, アテンションベクトル $\hat{s}_{j}$ を用いて次のように計算する。

$
p\left(y_{j} \mid y_{<j}, \mathbf{x}\right)=\operatorname{softmax}\left(W_{s} \hat{s}_{j}+b_{s}\right)
$

ここで, $W_{s} \in R^{|V| \times d}$ は重み行列, $b_{s} \in R^{|V|}$ はバイアス項を表す.

提案手法の目的関数は, 従来の ANMT と同様, 式 (12)である. また, 提案モデルの時間計算量は $\mathcal{O}\left(S^{3}+S^{2} T\right)$, 空間計算量は $\mathcal{O}\left(S^{2} T\right)$ である. ここで, $S$ は原言語文の文長, $T$ は目的言語文の文長である.

## 5 実験

本節では， 4 節で提案したモデルの性能及び有効性を検証する.

## 5.1 実験設定

評価実験は, Asian Scientific Paper Excerpt Corpus (ASPEC) ${ }^{5}$ の英日翻訳タスク, 新聞から作成された FBISコーパスを用いた中英翻訳タスクにより行った。英文の単語分割は Moses Decoder,日本語文の単語分割は Kytea (Neubig, Nakata, and Mori 2011)，中国語文の単語分割は Stanford Chinese Segmenter6を使用した．また，各コーパスの文字は全て小文字に変換した．実験に使用した対訳文の数を表 1 に示す。学習データとして, ASPECでは 100,000 文対, FBISでは 172,400 文対の対訳文を用いた。なお，ASPEC，FBIS ともに学習データとして単語の数が 50 単語以下の文を使用した。また, ASPEC, FBIS ともに学習データにおいて, 出現数が 2 回未満の単語は特殊文字「UNK」に置き換えた. FBISについては, 開発データとして NIST02 の評価データを使用し，テストデータとしてNIST03，NIST04，NIST05 の評価データを用いた.

単語埋め込みべクトルと隠れ層の各状態のべクトルの次元数は 256 とした. モデルの各パラメータの学習には Adam (Kingsma and Ba 2014) を使用し, Adam のパラメータの初期値は, $\alpha=0.01, \beta_{1}=0.9, \beta_{2}=0.99$ とした. 学習率は, 1 エポック毎に開発デー夕に対するパープレキシティを計算し，パープレキシティが以前のエポックと比較して増加した場合に半分にした. 勾配は Eriguchi ら (Eriguchi, Hashimoto, and Tsuruoka 2016a) に倣い, 3.0 でクリッピングした。また，過学習を防ぐために，Dropout (Srivastava, Hinton, Krizhevsky, Sutskever, and Salakhutdinov 2014) と Weight Decay ${ }^{7}$ 用いた. Dropout の比率は, LSTM では 0.2 , CNN では 0.3 とし, Weight Decayの係数は $10^{-6}$ とした. バッチサイズは 50 とした。なお, ハイパー パラメータは，開発データに対する BLEU スコアにより決定した。 また，目的言語の文は出現確率に基づいた貪欲法により生成した。

## 5.2 実験結果

提案の CKY に基づく畳み込みアテンションの有効性を検証するため, 提案のアテンションを用いた NMT（4 節）と従来のアテンションを用いた NMT（3 節）を比較した. ベースライン

表 1 実験デー夕の対訳文対

^{6} \mathrm{http} / / / \mathrm{nlp}$. stanford.edu/software/segmenter.shtml

7 Pytorch  で実装されている L2 penalty を使用した.
}

の従来モデルと提案モデルの違いは，アテンション構造のみである。表 2 に各モデルの翻訳精度を示す8．翻訳精度の評価尺度は BLEU (Papineni, Roukos, Ward, and Zhu 2002)を用いた。 また参考のために，表 3 に，ASPEC における，1 エポックあたりの平均学習時間及び一文ずつデコードした際のテストデータのデコードにかかった時間を示す9。図 5 には，ASPEC における開発データに対する BLEU スコアの推移を示す.

翻訳精度の有意差検定は, 有意差水準 $5 \%$ でブートストラップによる検定手法 (Koehn 2004) により行った. 表 2 の「*」は，提案モデルと従来の ANMT モデルの翻訳精度の差が統計的に有意であることを示す.

表 2 より, ASPEC, FBIS (NIST03), FBIS (NIST04) では, 提案モデルが従来の ANMT よ

表 2 実験結果 (BLEU(\%))

表 3 学習時間及びデコード時間（秒）

図 5 開発データにおける BLEU の推移
^{9}$ CPU は Intel XeonE5-1650, GPU は NVIDIA GeForce TITAN X を用いた.
}

り統計的に有意に翻訳精度が良いことが分かる。また，FBIS (NIST05) では，提案モデルは従来の ANMT と同等の翻訳精度であることが分かる。これらの結果より，提案のアテンション構造は NMT の性能改善に寄与することが実験的に確認できる.

## 6 考察

## 6.1 提案モデルの各要素の有効性検証

本節では，提案モデルの各要素の有効性を検証するため，ASPEC 10 万文対の英日翻訳タスクにおいて提案モデルと以下の 3 つのモデルを比較する．1つ目は，提案モデルの式 (16) において LSTM エンコーダのコンテキストベクトル $\left(c_{j}\right)$ を取り除いたモデル， すなわち， CKY-CNN のコンテキストベクトル $\left(c_{j}^{\prime}\right)$ のみを使用したモデル「提案モデル $\left(c_{j}^{\prime}\right.$ のみ)」である. 2 つ目は, 提案モデルのDU（図 3）において，CNN4 の代わりに二つの入力ベクトルの要素和を演算に使用するモデル「提案モデル（要素和)」である，3つ目は, 従来 ANMT モデルのエンコー ダLSTM を，提案モデルの計算時間と同等になるまで，再帰的に積み重ねたモデル「再帰的従来 ANMT モデル」である。具体的には，エンコーダの 2 つの LSTM を 6 回再帰的に使用して原言語文をエンコードした。

実験結果を表 4 に示す.「提案モデル ( $c_{j}^{\prime}$ のみ)」は「従来モデル」よりも翻訳精度が高いことが分かる。ただし，「提案モデル」よりは翻訳精度が低い。このことから，CKY-CNN のコンテキストベクトルのみを用いた場合でも提案モデルは NMT の精度改善に寄与できるが，LSTM のコンテキストベクトルと CKY-CNN のコンテキストベクトルを同時に使用することで, NMT の翻訳精度がさらに改善されることが分かる。

「提案モデル」と「提案モデル (要素和) 」を比較すると「提案モデル」の方が翻訳精度が高い.このことから，提案モデルのDUにおいて，CNN4 を用いた residual connection が有効であったことが分かる。また, 「提案モデル」は, 層を深くした従来モデルである「再帰的従来 ANMT モデル」の翻訳精度を上回っており，このことからも提案モデルの有用性が実験的に確認できる.

表 4 提案モデルの各要素の有効性検証実験の結果 (BLEU (\%))

## 6.2 大規模コーパスにおける有効性検証

本節では, 大規模コーパスにおいても提案手法の有効性が確認できるかを検証する．具体的には，ASPEC の英日翻訳で 1,346,946 文対の学習データを使った場合の性能を評価する。本実験では, 3 節で説明した従来の ANMT と提案モデルに加え, Eriguchi らのモデル (Eriguchi et al. 2016b) と Gehring らのモデル (Gehring et al. 2017) との比較も行う. Eriguchi らのモデルの翻訳精度は, 彼女らの論文で報告されている次元数 1,024のモデルの翻訳精度である. Gehring らのモデルの翻訳精度は，公開されているモデルをデフォルトの設定で実験デー夕に適用した翻訳精度である。

本実験においては，単語埋め込みべクトルと隠れ層の各状態のベクトルの次元数は 512 とした. また，学習デー夕において出現回数が 9 回未満の単語を特殊文字「UNK」に置き換えた. LSTM の Dropout の比率は 0.2 , Weight Decay の係数は $10^{-8}$ とし, 目的言語文はビームサーチにより生成した. ビーム幅は $5,10,15,20$ のうち, 開発データに対する BLEU スコアが最も高いものを選択した。具体的には, 従来の ANMT モデルはビーム幅 20 , 提案モデルはビーム幅 15 であった。その他の設定は, 5.1 節と同じである.

表 5 に実験結果を示す。表 5 より，提案モデルは従来の ANMT モデルよりも翻訳精度が良いことが分かる. また, 先行研究と比較しても翻訳精度が高い. なお, 提案モデルと従来の ANMT モデルの翻訳精度の差及び提案モデルと Gehring らのモデルの翻訳精度の差は有意差水準 $5 \%$ で統計的に有意であった ${ }^{10}$. これらのことから大規模データに対しても提案モデルが有効であることが分かった.

## 6.3 アテンションスコアの解析

本研究では，予め構文解析を行うことなく原言語の文の構造を ANMT で活用することが目的であった。そこで, 目的言語の単語を予測する際に，提案のアテンション構造により，原言語の文の構造（複数の隣接する単語／句の組み合わせ）を活用できているかを考察する.

表 6 に英日翻訳のテストデータ対する従来の ANMT および提案モデルの翻訳結果の実例を示し, 図 6 と図 7 に表 6 の翻訳結果を生成した際の提案モデルのアテンションスコアを示す。ま

表 5 大規模コーパスにおける実験結果 (BLEU $(\%))$

表 6 翻訳結果の例

 \\

CKY-CNNの層数

図 6 アテンションスコアの例 1 (左図：い（ついて）, 右図：し（した)）

図 7 アテンションスコアの例 2 (左図：絶縁, 右図：結晶)

た, 図 8 に表 6 の翻訳結果を生成した際の従来の ANMT のアテンションスコアを示す. 図 6 の左図は「ついて」の「い」, 右図は「した」の「し」を生成する際のアテンションスコア11であり,図 7 の左図は「絶縁」, 右図は「結晶」を生成する際のアテンションスコアである。図 6 , 図 7 ,図 8 では，セルが濃い色であるほど（黒に近いほど），より高いアテンションスコアであることを表している。また，図 6 と図 7 においては，横軸は原言語の単語を示し，縦軸は CKY-CNN の深さを示す。なお，CKY-CNN の第 1 層目のアテンションスコアは，LSTM の隠れ層のアテンションスコアと一致する。つまり, 第 1 層目のアテンションスコアが, 原言語の単語に対するアテンション，第 2 層目より上のアテンションスコアが構造（隣接する単語／句の組み合わせ）に対するアテンションを示す。図 7 より，「絶緑」や「結晶」のような内容語のように単語単位のアライメントが明確に分かる単語に対しては，第 1 層目（LSTM 層）のアテンションスコアが高くなっている。一方で, 図 6 の「い」や「し」のような機能語のように単語単位のアライメントが明確にならない単語に対しては, 高いアライメントスコアが 2 層目より上（CKY 層）に位置していることが分かる。一方で, 図 8 の従来の ANMT のアテンションスコアでは,「ため」と "technological”,「た」と“.(ピリオド) ”のように対応関係にない単語に対してもアテンションスコアが高くなっている.

また, 表 7 に，提案モデルにおける，品詞ごとのアテンションスコアの配置について示す. これは, Kyteaが特定した品詞ごとに最も高いアテンションスコアの層を数え上げたものである.表 7 より, 名詞, 形容詞, 副詞といった単語単位のアライメントが明確に分かる単語に対して

図 8 従来の ANMT のアテンションスコアの例
^{11}$ Kytea での単語分割では,「ついて」は,「つ」,「い」,「て」の 3 単語,「した」は「し」と「た」に分割された.
}
表 7 品詞ごとのアテンションスコアの配置

は, 第 1 層目にアテンションが多く張られていることが分かる, 一方で, 語尾, 助詞, 助動詞といった単語単位のアライメントが明確になりにくい単語に対しては, 第 2 層目以降にアテンションが張られる傾向があることが分かる.

以上より, 従来の ANMT のアテンション構造が単語レベルでのアライメントを見つけるのに対して, 提案のアテンション構造は 2 層目以降を活用して構造的なアライメントを捉えていることが分かる.

## 7 まとめ

本論文では，NMT の性能を改善するため，CKY アルゴリズムを模倣した CNN に基づく新たなアテンション構造を提案した。提案のアテンション構造を用いることで, ASPEC の英日翻訳タスクの評価では, 従来の ANMT と比較して 1.43 ポイント BLEU スコアが上昇し, FBIS における中英翻訳タスクでは, 従来の ANMT と比較して同等かそれ以上の翻訳精度を達成できることを実験的に確認した。 また, 提案のアテンション構造は従来の ANMT のアテンション構造では捉えることができない隣接する単語/句の組み合わせに対するアライメント（構造的なアライメント）を捉えることができることを実例により確認した.

提案のアテンション構造は, CKYテーブルのすべてのセルの隠れ状態を保持する必要があるため，従来手法と比べて多くのメモリを使用する，今後は，メモリ消費の問題について提案手
法を改善し, より少ないメモリ消費で動作するモデルに改善したい. また, 提案手法では, 上位セルの状態を導出する際, 複数の候補から 1 つのみを選択するが，今後は，候補に対して重み付けを行うなどして複数の状態を考慮できるモデルに改良したい.

## 謝 辞

本論文は国際会議 The 8th International Joint Conference on Natural Language Processing で発表した論文 (Watanabe, Tamura, and Ninomiya 2017) に基づいて日本語で書き直し, 説明や評価を追加したものである.

本研究成果は, 国立研究開発法人情報通信研究機構の委託研究により得られたものである. また, 本研究の一部は JSPS 科研費 25280084 及び $18 \mathrm{~K} 18110$ の助成を受けたものである. ここに謝意を表する。

## 参考文献

Aharoni, R. and Goldberg, Y. (2017). "Towards String-To-Tree Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 132-140.

Ba, J., Kiros, R., and Hinton, G. E. (2016). "Layer Normalization." CoRR, abs/1607.06450.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Bastings, J., Titov, I., Aziz, W., Marcheggiani, D., and Simaan, K. (2017). "Graph Convolutional Encoders for Syntax-aware Neural Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1957-1967. Association for Computational Linguistics.

Chen, H., Huang, S., Chiang, D., and Chen, J. (2017a). "Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1936-1945.

Chen, K., Wang, R., Utiyama, M., Liu, L., Tamura, A., Sumita, E., and Zhao, T. (2017b). "Neural Machine Translation with Source Dependency Representation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2846-2852.

Cho, K., van Merrienboer, B., Bahdanau, D., and Bengio, Y. (2014a). "On the Properties of Neural Machine Translation: Encoder-Decoder Approaches." In Proceedings of 8th Workshop
on Syntax, Semantics and Structure in Statistical Translation, pp. 103-111.

Cho, K., van Merrienboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and Bengio, Y. (2014b). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1724-1734.

Ding, Y. and Palmer, M. (2005). "Machine Translation Using Probabilistic Synchronous Dependency Insertion Grammars." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 541-548.

Dyer, C., Kuncoro, A., Ballesteros, M., and Smith, N. A. (2016). "Recurrent Neural Network Grammars." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 199-209.

Eriguchi, A., Hashimoto, K., and Tsuruoka, Y. (2016a). "Character-based Decoding in Tree-toSequence Attention-based Neural Machine Translation." In Proceedings of the 3rd Workshop on Asian Translation, pp. 175-183.

Eriguchi, A., Hashimoto, K., and Tsuruoka, Y. (2016b). "Tree-to-Sequence Attentional Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 823-833.

Eriguchi, A., Tsuruoka, Y., and Cho, K. (2017). "Learning to Parse and Translate Improves Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 72-78.

Gehring, J., Auli, M., Grangier, D., and Dauphin, Y. (2017). "A Convolutional Encoder Model for Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 123-135.

Gers, F. A., Schmidhuber, J., and Cummins, F. (2000). "Learning to Forget: Continual Prediction with LSTM." Neural Computation, 12 (10), pp. 2451-2471.

Hashimoto, K. and Tsuruoka, Y. (2017). "Neural Machine Translation with Source-Side Latent Graph Parsing." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 125-135.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. $770-778$.

Hochreiter, S. and Schmidhuber, J. (1997). "Long Short-term Memory." Neural Computation, 9 (8), pp. 1735-1780.

Huang, L., Knight, K., and Joshi, A. (2006). "Statistical Syntax-directed Translation with

Extended Domain of Locality." In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, pp. 66-73.

Kasami, T. (1965). "An Efficient Recognition and Syntax Algorithm for Context-free Languages." Tech. rep. AFCRL-65-758, Air Force Cambridge Research Laboratory.

Kingsma, D. and Ba, J. (2014). "Adam: A Method for Stochastic Optimization." In Proceedings of the 5th International Conference on Learning Representations.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., et al. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics on Interactive Poster and Demonstration Sessions, pp. 177-180.

Li, J., Xiong, D., Tu, Z., Zhu, M., Zhang, M., and Zhou, G. (2017). "Modeling Source Syntax for Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 688-697.

Lin, D. (2004). "A Path-based Transfer Model for Machine Translation." In Proceedings of the 20th International Conference on Computational Linguistics, p. 625.

Liu, Y., Liu, Q., and Lin, S. (2006). "Tree-to-String Alignment Template for Statistical Machine Translation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics, pp. 609-616.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 9th International Conference on Language Resources and Evaluation, pp. 2204-2208.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics, pp. 529-533.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "BLEU: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318.

Quirk, C., Menezes, A., and Cherry, C. (2005). "Dependency Treelet Translation: Syntactically

Informed Phrasal SMT." In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics, pp. 271-279.

Sennrich, R. and Haddow, B. (2016). "Linguistic Input Features Improve Neural Machine Translation." In Proceedings of the 1st Conference on Machine Translation: Volume 1, Research Papers, pp. 83-91. Association for Computational Linguistics.

Srivastava, N., Hinton, G. E., Krizhevsky, A., Sutskever, I., and Salakhutdinov, R. (2014).

"Dropout: A Simple Way to Prevent Neural Networks from Overfitting." Journal of Machine Learning Research, 15 (1), pp. 1929-1958.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, pp. 3104-3112.

Tai, K. S., Socher, R., and Manning, C. D. (2015). "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 1556-1566.

Watanabe, T., Tamura, A., and Ninomiya, T. (2017). "CKY-based Convolutional Attention for Neural Machine Translation." In Proceedings of the 8th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pp. 1-6.

Wu, S., Zhang, D., Yang, N., Li, M., and Zhou, M. (2017). "Sequence-to-Dependency Neural Machine Translation." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 698-707.

Wu, S., Zhang, D., Zhang, Z., Yang, N., Li, M., and Zhou, M. (2018). "Dependency-toDependency Neural Machine Translation." IEEE/ACM Transactions on Audio, Speech, and Language Processing, 10.119/TASLP.2018.2855968.

Yang, B., Wong, D. F., Xiao, T., Chao, L. S., and Zhu, J. (2017). "Towards Bidirectional Hierarchical Representations for Attention-based Neural Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1432-1441.

Younger, D. H. (1967). "Recognition and Parsing of Context-free Languages in Time $n^{3}$." Information and Control, 2 (10), pp. 189-208.

## 略歴

渡邊大貴：2017 年愛媛大学工学部情報工学科卒業. 2017 年より同大学院理工学研究科修士課程に在学. 情報処理学会学生会員.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修
了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教となり, 現在に至る. 工学博士. 言語処理学会, 情報処理学会, 人工知能学会, ACL 各会員.二宮崇：2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了.同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター 講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 東京大学博士 (理学). 言語処理学会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

Teguh Bharata Adji: His bachelor degree was fulfilled at Universitas Gadjah Mada in 1995 and his first Master degree was received from the same university in 1998. He also finished master program from Doshisha University, Kyoto in 2001. His doctoral degree was then obtained in 2010 from Universiti Teknologi Petronas, Malaysia. He is now an associate professor of Universitas Gadjah Mada. His research interest and publications are in the fields of Natural Language Processing, Social Media Technology, Big Data, Data Security.

$(2018$ 年 8 月 1 日 $\quad$ 受付 $)$
$(2018$ 年 11 月 1 日 $\quad$ 再受付 $)$
$(2018$ 年 12 月 12 日 $\quad$ 採録 $)$