\section{はじめに}
近年，ニューラルネットワークに基づく機械翻訳（ニューラル機械翻訳；NMT）は，単純な構造で高い精度の翻訳を実現できることが知られており，注目を集めている．NMTの中でも，特に，エンコーダデコーダモデルと呼ばれる，エンコーダ用とデコーダ用の2種類のリカレントニューラルネットワーク(RNN)を用いる方式が盛んに研究されている\cite{sutskever2014sequence}．エンコーダデコーダモデルは，まず，エンコーダ用のRNNにより原言語の文を固定長のベクトルに変換し，その後，デコーダ用のRNNにより変換されたベクトルから目的言語の文を生成する．通常，RNNには，GatedRecurrentUnits(GRU)\cite{cho-EtAl:2014:EMNLP2014}やLongShort-TermMemoryLSTM)\cite{hochreiter1997long,gers2000learning}が用いられる．このエンコーダデコーダモデルは，アテンション構造を導入することで飛躍的な精度改善を実現した\cite{bahdanau2015,luong-pham-manning:2015:EMNLP}．この拡張したエンコーダデコーダモデルをアテンションに基づくNMT(ANMT)と呼ぶ．ANMTでは，デコーダは，デコード時にエンコーダの隠れ層の各状態を参照し，原言語文の中で注目すべき単語を絞り込みながら目的言語文を生成する．NMTが出現するまで主流であった統計的機械翻訳など，機械翻訳の分野では，原言語の文，目的言語の文，またはその両方の文構造を活用することで性能改善が行われてきた\cite{lin2004path,DingP05-1067,QuirkP05-1034,LiuP06-1077,huang2006statistical}．ANMTにおいても，その他の機械翻訳の枠組み同様，文の構造を利用することで性能改善が実現されている．例えば，Eriguchiら\cite{eriguchi-hashimoto-tsuruoka:2016:P16-1}は，NMTによる英日機械翻訳において原言語側の文構造が有用であることを示している．従来の文構造に基づくNMTのほとんどは，事前に構文解析器により解析された文構造を活用する．そのため，構文解析器により解析誤りが生じた場合，その構造を利用する翻訳に悪影響を及ぼしかねない．また，必ずしも構文解析器で解析される構文情報が翻訳に最適とは限らない．そこで本論文では，予め構文解析を行うことなく原言語の文の構造を活用することでNMTの性能を改善することを目指し，CKYアルゴリズム\cite{Kasami65,Younger67}を模倣したCNNに基づく畳み込みアテンション構造を提案する．CKYアルゴリズムは，構文解析の有名なアルゴリズムの一つであり，文構造をボトムアップに解析する．CKYアルゴリズムでは，CKYテーブルを用いて，動的計画法により効率的に全ての可能な隣接する単語／句の組み合わせを考慮して文構造を表現している．提案手法は，このCKYアルゴリズムを参考にし，CKYテーブルを模倣したCNNをアテンション構造に組み込むことで，原言語文中の全ての可能な隣接する単語／句の組み合わせに対するアテンションスコアを考慮した翻訳を可能とする．具体的には，提案のアテンション構造は，CKYテーブルの計算手順と同様の順序でCNNを構築し，提案のアテンション構造を組み込んだANMTは，デコード時に，CKYテーブルの各セルに対応するCNNの隠れ層の各状態を参照することにより，注目すべき原言語の文の構造（隣接する単語／句の組み合わせ）を絞り込みながら目的言語の文を生成する．したがって，提案のアテンション構造を組み込んだANMTは，事前に構文解析器による構文解析を行うことなく，目的言語の各単語を予測するために有用な原言語の構造を捉えることが可能である．ASPECの英日翻訳タスク\cite{NAKAZAWA16.621}の評価実験において，提案のアテンション構造を用いることで従来のANMTと比較して，1.43ポイントBLEUスコアが上昇することを示す．また，FBISコーパスにおける中英翻訳タスクの評価実験において，提案手法は従来のANMTと同等もしくはそれ以上の精度を達成できることを示す．
\section{関連研究}
ANMTの性能を改善する方向性の一つとして，文の構造を活用するANMTが数多く提案されている．文構造に基づくANMTは，原言語の文構造を利用するANMT，目的言語の文構造を利用するANMT，原言語と目的言語の文構造を利用するANMTの3つに大別できる．原言語の文構造を利用するANMTとして，Eriguchiら\cite{eriguchi-hashimoto-tsuruoka:2016:P16-1}は，事前に解析した原言語文の句構造をTree-LSTM\cite{TaiP15-1150}によりボトムアップにエンコードするANMTを提案している．Yangら\cite{YangD17-1150}，そしてChenら\cite{ChenP17-1177}は，このEriguchiらのモデルを拡張し，原言語文の句構造をボトムアップにエンコードした後でトップダウンにエンコードする双方向のエンコーダを用いるANMTを提案している．Sennrichら\cite{SennrichW16-2209}は，原言語の文の言語学的素性を埋め込み層でベクトル化し，原言語の単語の埋め込みベクトルと結合したベクトルをRNNエンコーダの入力とするANMTを提案している．様々な言語学的素性を用いているが，その中に，品詞タグや係り受け関係のタグといった文構造を表す素性を用いている．Chenら\cite{ChenD17-1304}は，原言語の文の係り受け解析結果に基づき，親ノード，子ノード，兄弟ノードの情報をCNNで畳み込み，畳み込んだベクトルをANMTで用いる方法を提案している．Bastingsら\cite{BastingsD17-1209}は，原言語文の係り受け構造をグラフ構造とみなし，GraphConvolutionalNetworksにより係り受け構造をエンコーディングするエンコーダを提案し，Bag-of-WordsエンコーダやCNNエンコーダ，双方向RNNエンコーダと組み合わせることで性能改善を行っている．Liら\cite{LiP17-1064}は，原言語の文の句構造解析木を線形化して得られた構造ラベル系列と原言語文の単語系列の2つの系列をエンコーディングするエンコーダを複数提案している．目的言語の文構造を利用するANMTとしては，Wuら\cite{WuP17-1065}，そしてEriguchiら\cite{EriguchiP17-2012}がShift-Reduce法の依存構造解析をデコーダに組み込み，目的言語文の単語系列とその依存構造を同時にデコードすることで目的言語側の文構造を活用するANMTを提案している．Eriguchiら\cite{EriguchiP17-2012}は，構文解析モデルの一つであるRecurrentNeuralNetworkGrammars\cite{DyerN16-1024}をNMTのデコーダに適用することで，目的言語文の構文構造を翻訳に利用している．Aharoniら\cite{AharoniP17-2021}は目的言語側の文構造を翻訳で活用するために，目的言語文の句構造解析木を線形化した系列を出力するNMTを構築することを提案している．また，Wuら\cite{Wu2018}は，原言語側と目的言語側の両方の依存構造を活用するdependency-to-dependencyニューラル機械翻訳モデルを提案している．これらの文構造に基づく従来のANMTは，構文解析器により解析した文構造を活用する．したがって，構文解析器により解析誤りが生じた場合，その構造を利用する翻訳に悪影響を及ぼしかねない．また，必ずしも構文解析器で解析される構文情報が翻訳にとって最適とは限らない．そこで本研究では，予め構文解析を行うことなく原言語の文の構造を活用するANMTを提案する．構文解析器による解析を必要としない文構造を活用するANMTとして，Hashimotoら\linebreak\cite{hashimoto-tsuruoka:2017:EMNLP2017}のモデルがある．このモデルでは，原言語側の構文解析モデルと翻訳モデルを対訳コーパスから同時に学習し，翻訳タスクに適した構文解析モデルを学習することで翻訳精度を向上させている．このモデルは構文解析として係り受け解析を用いているが，本研究では，アテンション構造で目的言語の単語を予測する際に有効な単語のまとまりを捉えることに焦点をあて，句構造解析を前提としている．また，エンコーダにCNNを用いたNMTとしては，Choら\cite{DBLP:conf/ssst/ChoMBB14}，そしてGehringら\cite{ConvEncGehring2017}の手法がある．Gehringらの手法では，2つのCNNをエンコーダとして使用する．一方のCNNは，デコード時にアテンションスコアを計算するための出力を生成するもので，原言語文の幅広い情報を扱う．一方，他方のCNNは，LSTMデコーダへ入力するベクトルを計算するためのもので，局所的な情報を扱う．この手法は構文構造に焦点をあてていないが，提案手法では原言語文の構文構造に着目する．Choらの手法は，GatedRecursiveConvolutionalNeuralNetworkを用いて，原言語文をボトムアップにエンコードしている．彼らは，提案のエンコーダで文の構造を教師なしで捉えられると主張している．このモデルと本研究の提案手法との違いは，Choらの手法では，隣接する二つの下位セルを畳み込むことで上位セルを計算するのに対して，提案手法では，CKYアルゴリズムを模倣することで複数の下位セルのペアから上位セルを計算する点である．提案手法では上位セルを計算する際に複数のセルを考慮できるため，翻訳モデルの学習過程で原言語文の構造を捉えやすくなると考えられる．また，提案手法はアテンション構造を有しているが，Choらの手法ではアテンション構造を有していない点も大きな違いである．定量的に比較してみると，Choらの手法はフレーズベース統計的機械翻訳Mosesより翻訳精度が低いことが報告されているが，我々のASPEC10万文対における実験では，本研究の提案手法はMosesより翻訳精度が高い（MosesのBLEUが18.69，提案手法のBLEUが26.99である）ことを確認している．同じデータセットによる直接の定量的な比較は行っていないが，これらの結果から，提案手法の方がChoらの手法より翻訳性能がよいと考えられる．
\section{アテンションに基づくニューラル機械翻訳(ANMT)}
\label{sect:baseline}本節では，提案手法のベースラインとなる従来の標準的なANMT\cite{luong-pham-manning:2015:EMNLP,bahdanau2015}について説明する．ANMTは，原言語文を固定長のベクトルに変換するエンコーダ用のRNNと，変換した固定長ベクトルから目的言語文を生成するデコーダ用のRNNを用いて翻訳を行う，エンコーダデコーダモデル\cite{sutskever2014sequence,cho-EtAl:2014:EMNLP2014}にアテンション構造を導入したモデルである．本研究では，2層の双方向LSTMをエンコーダ用RNNとして使用した．原言語文\({\bfx}=x_1,x_2,\cdots，x_{S}\)が入力として与えられたとき，エンコーダは，$i$番目の入力単語$x_i$を単語埋め込み層により$d$次元ベクトル$v_i$に変換する．その後，エンコーダは，$v_i$に対する隠れ状態$h_i$を次式の通り算出する\footnote{式(5)では，消費メモリを削減するため，両方向の隠れ状態を結合ではなく可算して，次元数を少なくしている．}．\begin{align}\overrightarrow{h_{i}^{(1)}}&=LSTM^{(f,1)}_{enc}(v_{i},\overrightarrow{h_{i-1}^{(1)}}),\\\overleftarrow{h_{i}^{(1)}}&=LSTM^{(b,1)}_{enc}(v_{i},\overleftarrow{h_{i+1}^{(1)}}),\\\overrightarrow{h_{i}^{(2)}}&=LSTM^{(f,2)}_{enc}(\overrightarrow{h_{i}^{(1)}},\overrightarrow{h_{i-1}^{(2)}})+\overrightarrow{h_{i}^{(1)}},\\\overleftarrow{h_{i}^{(2)}}&=LSTM^{(b,2)}_{enc}(\overleftarrow{h_{i}^{(1)}},\overleftarrow{h_{i+1}^{(2)}})+\overleftarrow{h_{i}^{(1)}},\\h_i&=\overrightarrow{h_i^{(2)}}+\overleftarrow{h_i^{(2)}}.\end{align}ここで，$\rightarrow$と$\leftarrow$はそれぞれ順方向と逆方向を表し，$LSTM^{(f,1)}_{enc},LSTM^{(b,1)}_{enc},LSTM^{(f,2)}_{enc},LSTM^{(b,2)}_{enc}$は，それぞれ第1層目の順方向，第1層目の逆方向，第2層目の順方向，第2層目の逆方向のLSTMエンコーダを表す．また，$\overleftarrow{h_{i}^{(1)}}$，$\overrightarrow{h_{i}^{(1)}}$，$\overleftarrow{h_{i}^{(2)}}$，$\overrightarrow{h_{i}^{(2)}}$，$h_{i}$の次元は$d$である．また，第2層目のLSTMエンコーダには，ResidualConnection\cite{he2016deep}を適用した．ResidualConnectionとは，ショートカット接続を持つ構造で，パラメータの最適化を容易にするものである．初期のエンコーダデコーダモデル\cite{sutskever2014sequence,cho-EtAl:2014:EMNLP2014}では，デコーダは，原言語の文をエンコードした固定長のベクトル$h_{S}$を初期値として目的言語の文を生成する．一方で，アテンション構造を導入したANMTでは，デコーダは，LSTMエンコーダの各隠れ層の状態$h_{i}(i=1,\cdots,S)$を参照しながら，目的言語の文を生成する．アテンション構造としては，\textit{AdditiveAttention}\cite{bahdanau2015}や\textit{Dot-ProductAttention}\cite{luong-pham-manning:2015:EMNLP}が主流である．本研究では，アテンション構造として\textit{Dot-ProductAttention}の一つである，\textit{GlobalDotAttention}\cite{luong-pham-manning:2015:EMNLP}を用いる．また，デコーダ用のRNNとして2層のLSTMを使用する．以下ではデコーダの動作を説明する．デコーダは，エンコーダによって与えられる原言語文の情報に基づき，目的言語文\({\bfy}=y_1,y_2,\cdots,y_T\)を出力する．まず，第1層目のLSTMデコーダ($LSTM^{(1)}_{dec}$)と第2層目のLSTMデコーダ($LSTM^{(2)}_{dec}$)の初期状態を，それぞれ，第1層目，第2層目の逆方向のLSTMエンコーダの内部状態に初期化する．その後，$j$番目のLSTMデコーダの第1層目，第2層目の隠れ層の状態$s_j^{(1)}$，$s_j^{(2)}$を，次式の通り，一つ前（$j-1$番目）のデコーダの情報（出力単語や隠れ層の状態など）に基づいて算出する．\begin{align}s_j^{(1)}&=LSTM^{(1)}_{dec}([w_{j-1};{\hats_{j-1}}],s_{j-1}^{(1)}),\\s_j^{(2)}&=LSTM^{(2)}_{dec}(s_j^{(1)},s_{j-1}^{(2)}).\end{align}ここで，$w_{j-1}$は$j-1$番目の出力単語である$y_{j-1}$の単語埋め込みベクトル，「;」はベクトルの結合，${\hats_{j-1}}$は出力単語$y_{j-1}$の生成時に使用されたアテンションベクトルを表す\footnote{次の時刻のLSTMへの入力にアテンションベクトルを与える方式をinputfeeding\cite{luong-pham-manning:2015:EMNLP}と呼ぶ．}．なお，$w_{j-1}$と$\hat{s}_{j-1}$は$d$次元である．その後，$j$番目のアテンションベクトル$\hat{s}_{j}$を，コンテキストベクトル$c_j$を使用して，次式の通り算出する．\begin{equation}{\hats_{j}}=\mathrm{tanh}(W_c[s_{j}^{(2)};c_j]+b_c).\end{equation}ここで，$W_c\inR^{d\times2d}$は重み行列，$b_c\inR^{d}$はバイアス項，$\mathrm{tanh}$はハイパボリックタンジェント関数である．コンテキストベクトル$c_j$は，エンコーダの全状態$h_{i}(i=1\cdotsS)$の加重平均であり，次式の通り算出されたものである．\begin{equation}c_j=\sum^{S}_{i=1}\alpha_j(i)h_i.\end{equation}ここで，アテンションスコアと呼ばれる重み$\alpha_j(i)$は，デコーダの状態$s^{(2)}_{j}$において，エンコーダの状態$h_i$に対する重要度を表し，次式の通り算出される．\begin{equation}\alpha_j(i)=\frac{\exp(h_i\cdots_{j}^{(2)})}{\sum_{k=1}^{S}\exp(h_k\cdots_{j}^{(2)})}.\end{equation}ここで，$\mathrm{\exp}$は指数関数を表す．その後，$j$番目の出力単語$y_j$の確率分布は，アテンションベクトル${\hats_{j}}$に基づき次式の通り求めることができる．\begin{equation}p(y_j|y_{<j},{\bfx})=\mathrm{softmax}(W_s{\hats_{j}}+b_s).\end{equation}ここで，$W_s\inR^{|V|\timesd}$は重み行列，$b_s\inR^{|V|}$はバイアス項，$\mathrm{softmax}$はソフトマックス関数を表す．また，$|V|$は目的言語の辞書のサイズを表す．ANMTの目的関数は，次式で表される．\begin{equation}J(\theta)=-\sum_{(\bfx,\bfy)\inD}\logp(\bfy|\bfx).\end{equation}ここで，$D$はデータセット全体を表し，$\theta$は学習されるモデルパラメータである．このように，出力単語は，アテンションスコアを重みとした荷重平均であるコンテキストベクトルにしたがって算出したアテンションベクトルに基づいて決定されるため，ANMTでは，エンコーダの各状態の中から注目すべき状態（原言語の文の中で注目すべき単語）をしぼりこみながら目的言語の文を生成することができる．
\section{提案モデル}
\label{sect:proposed}\subsection{CKYアルゴリズム}CKYアルゴリズムは，チョムスキー標準形の文脈自由文法により，ボトムアップに構文を解析する手法である．チョムスキー標準形とは，$A,B,C$を非終端記号，$a$を終端記号としたとき，生成規則がすべて$A\rightarrowBC$または$A\rightarrowa$の形をしているものである．CKYアルゴリズムでは，図\ref{fig:cky-table}に示すCKYテーブルをボトムアップに埋めていくことで構文解析を行う．CKYテーブルのセルにある括弧中の数字は入力文中の単語のインデックスであり，括弧により入力文中の部分文字列を表現している．例えば，$[0,3]$のセルには，1単語目$w_{1}$から3単語目$w_{3}$までの部分文字列に相当する非終端記号が格納される．各セルに非終端記号を格納する際は，部分文字列を2つにわけ，そのすべての組み合わせに対する生成規則を満たす非終端記号を追加する．例えば，$[0,3]$のセルを埋める場合，$[0,1]$と$[1,3]$の組み合わせ及び$[0,2]$と$[2,3]$の組み合わせを考慮する．CKYテーブルの各セルをボトムアップに埋めていき，最上位のセル（図\ref{fig:cky-table}の場合，$[0,5]$のセル）が開始記号となれば，構文解析に成功する．\begin{figure}[b]\begin{center}\includegraphics{26-1ia8f1.eps}\end{center}\caption{CKYテーブル}\label{fig:cky-table}\end{figure}\begin{table}[b]\input{08algo01.tex}\end{table}CKYアルゴリズムの疑似コードをAlgorithm1に示す．Algorithm1において，$R$は非終端記号の集合を表す．Algorithm1の2行目と3行目では，CKYテーブルの第一層目の初期化を行う．4行目で入力文中の単語数，5行目で句の開始位置，7行目で句の分割可能な位置について網羅的にforループで回すことで部分文字列の全組み合わせに対して処理を行う．8行目から10行目では，着目している2つのセルに含まれる非終端記号を生成する生成規則が存在するとき，新たな句を候補として追加している．このように，下位のセルからボトムアップに動的計画法で生成規則を考えていくことで，効率よく全ての隣接する単語／句の組み合わせを考慮した構文解析を可能としている．\subsection{CKYに基づく畳み込みアテンション構造による機械翻訳}図\ref{fig:overall}に提案モデルの全体の構造を示す．提案モデルのエンコーダ部では，通常のLSTMエンコーダ（\ref{sect:baseline}節参照）により原言語の文を単語列としてエンコードする．加えて，CKYアルゴリズムのCKYテーブルにおける計算手順を模倣し，CNNを用いて，原言語文中の隣接する単語／句の組み合わせをエンコードする．そしてデコーダ部では，LSTMエンコーダの各隠れ状態に対するアテンションスコアから算出したコンテキストベクトル$c_{j}$に加えて，原言語文中の単語の組み合わせのエンコード結果に対するアテンションスコアから算出したコンテキストベクトル$c_{j}^{'}$に基づき，アテンションベクトル${\hats_{j}}$を生成する．そして，注目すべき単語，注目すべき単語の組み合わせの情報を含んだアテンションベクトル${\hats_{j}}$に基づき目的言語の単語を予測する．以下で，提案モデルの具体的な計算方法を説明する．\begin{figure}[b]\begin{center}\includegraphics{26-1ia8f2.eps}\end{center}\caption{CKYに基づく畳み込みアテンション構造の全体図}\label{fig:overall}\end{figure}\begin{figure}[t]\begin{center}\includegraphics{26-1ia8f3.eps}\end{center}\caption{CKYに基づく畳み込みアテンション構造のDeductionUnit}\label{fig:residualconnections}\end{figure}提案手法のアテンション構造では，CKYアルゴリズムにおける生成規則を図\ref{fig:residualconnections}に示すネットワーク構造によって模倣する．具体的には，CKYアルゴリズムにおいて生成規則がCKYテーブルの2つのセルをボトムアップにまとめる動作を模倣して，図\ref{fig:residualconnections}のネットワーク構造により，CKYテーブルの2つのセル（具体的には$d$次元ベクトル）から，上位のセルの$d$次元ベクトルを算出する．ここで，CKYテーブルの各セルの$d$次元ベクトルは，セルが表現する単語の組み合わせの状態を表すベクトルと捉えることができる．このCKYアルゴリズムにおける生成規則に対応するネットワークをDeductionUnit(DU)と呼ぶ．DUは，4種類の1DCNNを残差接続し，その後LayerNormalization\cite{Ba2016LayerN}により，ベクトルを正規化して出力する構造である\footnote{予備実験において1種類のCNNで構成した単純なDUでは性能が悪かったため，Heら\cite{he2016deep}を参考にし，DUを図\ref{fig:residualconnections}のように構築した．}．図\ref{fig:residualconnections}では，各CNNのフィルタサイズと出力チャネル数を括弧内に記している．具体的には，CNN1，CNN2，CNN3，CNN4のフィルタサイズは，それぞれ，$1$，$2$，$1$，$2$であり，チャネル数は，それぞれ，$\frac{d}{2}$，$\frac{d}{2}$，$d$，$d$である．DUは入力として2つのベクトルを受け取る．CNN1では，DUに入力された2つのベクトルをフィルタサイズ1のCNNにより，チャネル数$\frac{d}{2}$に変換する．その後，フィルタサイズ2のCNN2により，2つのベクトルを1つのベクトルへ畳み込む．そして，畳み込まれたベクトルは，フィルタサイズ1のCNN3によりチャネル数$d$へと変換される．また，DUに入力された2つのベクトルはフィルタサイズ2のCNN4によって1つのベクトルに畳み込まれる\footnote{通常，ResidualConnectionは入力ベクトルをそのまま加算するが，提案手法では，入力が2つのベクトル，出力が1つのベクトルであるため，そのまま加算することができない．そこで図\ref{fig:residualconnections}においてCNN4を導入した．}．その後，CNN3の出力ベクトルとCNN4の出力ベクトルを加算し，LayerNormalizationにより正規化した後に，DUの出力として1つのベクトルを出力する．なお，DUのそれぞれのCNNへの入力ベクトルには，Relu関数を適用している．このDUを使うことで，CKYアルゴリズムの計算順序と同様の順序で下位セルの2つの状態を畳み込むことにより，CKYテーブルの各セルの状態を導出することができる．ただし，上位セルの状態を導出する際，CKYアルゴリズムと同様，複数のDUから当該上位セルの状態となりうるベクトルが算出される．その際は，候補となったベクトルのうち，要素和が最大であるベクトルに設定する．この全体のネットワークをCKY-CNNと呼ぶ．ここで，CKY-CNNは，レイヤーの数は文長と同等となり，また，各レイヤーにおいてDUのパラメータは共有されることに注意されたい．以降，$i$層目のCKY-CNNの$j$番目のセルの状態を$h^{(cky)}_{i,j}$と記述すると，CKY-CNNの具体的な動作は次の通りである．まず，CKY-CNNの第1層目の状態(${\bfh^{(cky)}_{1}}=(h^{(cky)}_{1,1},...,h^{(cky)}_{1,S})$)を，LSTMエンコーダの状態(${\bfh}=(h_1,...,h_S)$)に設定する．\begin{figure}[b]\begin{center}\includegraphics{26-1ia8f4.eps}\end{center}\caption{CKY-CNNの例}\label{fig:CKY}\end{figure}そして，2層目より上の層のCKY-CNNのセルの状態を次のように算出する．\begin{equation}h_{i,j}^{(cky)}=\max_{1\lek\lei-1}DU(h_{k,j}^{(cky)}，h_{i-k,j+k}^{(cky)}).\end{equation}ここで，$\max$関数は入力されたそれぞれのベクトルに対してベクトルの要素和を計算し，その値が最大となるベクトルを返す関数である．図\ref{fig:CKY}に，CKY-CNNにより，セル($h^{(cky)}_{4,1}$)を導出する畳み込みの例を示す．この導出過程では，以下が実行される．\begin{equation*}h^{(cky)}_{4,1}=\max(DU(h^{(cky)}_{1,1},h^{(cky)}_{3,2}),DU(h^{(cky)}_{2,1},h^{(cky)}_{2,3}),DU(h^{(cky)}_{3,1},h^{(cky)}_{1,4})).\end{equation*}具体的には，3つのDUが，それぞれ，2つのセル（$h^{(cky)}_{3,1}$と$h^{(cky)}_{1,4}$），2つのセル（$h^{(cky)}_{2,1}$と$h^{(cky)}_{2,3}$），2つのセル（$h^{(cky)}_{1,1}$と$h^{(cky)}_{3,2}$）の状態に基づきベクトルを生成する．その後，ベクトルの要素和が最も大きいベクトルをセル($h^{(cky)}_{4,1}$)の状態に設定する．CKYに基づく畳み込みアテンション構造を用いたNMTでは，LSTMエンコーダの隠れ層の状態に加えて，CKY-CNNの隠れ層の状態（CKYテーブルの各セルの状態）を参照しながら目的言語の文を生成する．デコーダの状態$s^{(2)}_{j}$とCKY-CNNの隠れ層の状態$h^{(cky)}_{i,j}$とのアテンションスコアは\textit{GlobalDotAttetnion}\cite{luong-pham-manning:2015:EMNLP}を用いて次式の通り計算する．\begin{equation}\alpha^{'}(i_1,i_2,j)=\frac{\exp(h_{i_1,i_2}^{(cky)}\cdots_j^{(2)})}{\sum_{k=1}^{S}\sum_{l=1}^{S-k+1}\exp(h_{k,l}^{(cky)}\cdots_j^{(2)})}.\end{equation}ここで，$s_j^{(2)}$は第2層目のLSTMデコーダの隠れ層の状態である．そして，CKY-CNNのコンテキストベクトル$c_{j}^{'}$を次式の通り算出する．\begin{equation}c_{j}^{'}=\sum_{k=1}^{S}\sum_{l=1}^{S-k+1}\alpha^{'}(k,l,j)h_{k,l}^{(cky)}.\end{equation}その後，アテンションベクトル$\hat{s}_j$を，LSTMエンコーダのコンテキストベクトル($c_j$)とCKY-CNNのコンテキストベクトル($c_{j}^{'}$)に基づき次のように算出する．\begin{equation}{\hats_j}=\mathrm{tanh}({\hatW}[s_j^{(2)};c_j;c_j^{'}]+{\hatb}).\end{equation}ここで，${\hatW}\inR^{d\times3d}$は重み行列，${\hatb}\inR^{d}$はバイアス項である．また，LSTMエンコーダのコンテキストベクトル$c_j$は，式(9)の通り算出されたものであることを確認しておく．$j$番目の目的言語の単語は，従来のANMTと同様に，アテンションベクトル$\hat{s_j}$を用いて次のように計算する．\begin{equation}p(y_j|y_{<j},{\bfx})=\mathrm{softmax}(W_s{\hats_{j}}+b_s).\end{equation}ここで，$W_s\inR^{|V|\timesd}$は重み行列，$b_s\inR^{|V|}$はバイアス項を表す．提案手法の目的関数は，従来のANMTと同様，式(12)である．また，提案モデルの時間計算量は$\mathcal{O}(S^{3}+S^{2}T)$，空間計算量は$\mathcal{O}(S^{2}T)$である．ここで，$S$は原言語文の文長，$T$は目的言語文の文長である．
\section{実験}
本節では，\ref{sect:proposed}節で提案したモデルの性能及び有効性を検証する．\subsection{実験設定}評価実験は，AsianScientificPaperExcerptCorpus(ASPEC)\footnote{http://orchid.kuee.kyoto-u.ac.jp/WAT/WAT2015/index.html}の英日翻訳タスク，新聞から作成されたFBISコーパスを用いた中英翻訳タスクにより行った．英文の単語分割はMosesDecoder，日本語文の単語分割はKytea\cite{neubig2011pointwise}，中国語文の単語分割はStanfordChineseSegmenter\footnote{http://nlp.stanford.edu/software/segmenter.shtml}を使用した．また，各コーパスの文字は全て小文字に変換した．実験に使用した対訳文の数を表\ref{table:datasize}に示す．学習データとして，ASPECでは100,000文対，FBISでは172,400文対の対訳文を用いた．なお，ASPEC，FBISともに学習データとして単語の数が50単語以下の文を使用した．また，ASPEC，FBISともに学習データにおいて，出現数が2回未満の単語は特殊文字「UNK」に置き換えた．FBISについては，開発データとしてNIST02の評価データを使用し，テストデータとしてNIST03，NIST04，NIST05の評価データを用いた．\begin{table}[b]\caption{実験データの対訳文対}\label{table:datasize}\input{08table01.tex}\end{table}単語埋め込みベクトルと隠れ層の各状態のベクトルの次元数は256とした．モデルの各パラメータの学習にはAdam\cite{kingsma2014adam}を使用し，Adamのパラメータの初期値は，$\alpha=0.01$，$\beta_1=0.9$，$\beta_2=0.99$とした．学習率は，1エポック毎に開発データに対するパープレキシティを計算し，パープレキシティが以前のエポックと比較して増加した場合に半分にした．勾配はEriguchiら\cite{eriguchi2016character}に倣い，3.0でクリッピングした．また，過学習を防ぐために，Dropout\cite{srivastava2014dropout}とWeightDecay\footnote{Pytorch(https://pytorch.org/)で実装されているL2penaltyを使用した．}を用いた．Dropoutの比率は，LSTMでは0.2，CNNでは0.3とし，WeightDecayの係数は$10^{-6}$とした．バッチサイズは50とした．なお，ハイパーパラメータは，開発データに対するBLEUスコアにより決定した．また，目的言語の文は出現確率に基づいた貪欲法により生成した．\begin{table}[b]\caption{実験結果(BLEU($\%$))}\label{tab:bleu}\input{08table02.tex}\end{table}\begin{table}[b]\caption{学習時間及びデコード時間（秒）}\label{tab:time}\input{08table03.tex}\end{table}\begin{figure}[b]\begin{center}\includegraphics{26-1ia8f5.eps}\end{center}\caption{開発データにおけるBLEUの推移}\label{fig:BLEUTransition}\vspace{-1\Cvs}\end{figure}\subsection{実験結果}提案のCKYに基づく畳み込みアテンションの有効性を検証するため，提案のアテンションを用いたNMT（\ref{sect:proposed}節）と従来のアテンションを用いたNMT（\ref{sect:baseline}節）を比較した．ベースラインの従来モデルと提案モデルの違いは，アテンション構造のみである．表\ref{tab:bleu}に各モデルの翻訳精度を示す\footnote{デフォルト設定のMosesフレーズベース統計的機械翻訳\cite{koehn2007moses}のASPECに対するBLEUは$18.69$であったことを参考のために報告しておく．}．翻訳精度の評価尺度はBLEU\cite{papineni2002bleu}を用いた．また参考のために，表\ref{tab:time}に，ASPECにおける，1エポックあたりの平均学習時間及び一文ずつデコードした際のテストデータのデコードにかかった時間を示す\footnote{CPUはIntelXeonE5-1650，GPUはNVIDIAGeForceTITANXを用いた．}．図\ref{fig:BLEUTransition}には，ASPECにおける開発データに対するBLEUスコアの推移を示す．翻訳精度の有意差検定は，有意差水準$5\%$でブートストラップによる検定手法\cite{koehn2004statistical}により行った．表\ref{tab:bleu}の「*」は，提案モデルと従来のANMTモデルの翻訳精度の差が統計的に有意であることを示す．表\ref{tab:bleu}より，ASPEC，FBIS(NIST03)，FBIS(NIST04)では，提案モデルが従来のANMTより統計的に有意に翻訳精度が良いことが分かる．また，FBIS(NIST05)では，提案モデルは従来のANMTと同等の翻訳精度であることが分かる．これらの結果より，提案のアテンション構造はNMTの性能改善に寄与することが実験的に確認できる．
\section{考察}
\subsection{提案モデルの各要素の有効性検証}本節では，提案モデルの各要素の有効性を検証するため，ASPEC10万文対の英日翻訳タスクにおいて提案モデルと以下の3つのモデルを比較する．1つ目は，提案モデルの式(16)においてLSTMエンコーダのコンテキストベクトル($c_j$)を取り除いたモデル，すなわち，CKY-CNNのコンテキストベクトル($c'_j$)のみを使用したモデル「提案モデル（$c_j^{'}$のみ）」である．2つ目は，提案モデルのDU（図\ref{fig:residualconnections}）において，CNN4の代わりに二つの入力ベクトルの要素和を演算に使用するモデル「提案モデル（要素和）」である．3つ目は，従来ANMTモデルのエンコーダLSTMを，提案モデルの計算時間と同等になるまで，再帰的に積み重ねたモデル「再帰的従来ANMTモデル」である．具体的には，エンコーダの2つのLSTMを6回再帰的に使用して原言語文をエンコードした．実験結果を表\ref{tab:etc_exp}に示す．「提案モデル（$c_j^{'}$のみ）」は「従来モデル」よりも翻訳精度が高いことが分かる．ただし，「提案モデル」よりは翻訳精度が低い．このことから，CKY-CNNのコンテキストベクトルのみを用いた場合でも提案モデルはNMTの精度改善に寄与できるが，LSTMのコンテキストベクトルとCKY-CNNのコンテキストベクトルを同時に使用することで，NMTの翻訳精度がさらに改善されることが分かる．\begin{table}[b]\caption{提案モデルの各要素の有効性検証実験の結果(BLEU($\%$))}\label{tab:etc_exp}\input{08table04.tex}\end{table}「提案モデル」と「提案モデル（要素和）」を比較すると「提案モデル」の方が翻訳精度が高い．このことから，提案モデルのDUにおいて，CNN4を用いたresidualconnectionが有効であったことが分かる．また，「提案モデル」は，層を深くした従来モデルである「再帰的従来ANMTモデル」の翻訳精度を上回っており，このことからも提案モデルの有用性が実験的に確認できる．\subsection{大規模コーパスにおける有効性検証}本節では，大規模コーパスにおいても提案手法の有効性が確認できるかを検証する．具体的には，ASPECの英日翻訳で1,346,946文対の学習データを使った場合の性能を評価する．本実験では，3節で説明した従来のANMTと提案モデルに加え，Eriguchiらのモデル\cite{eriguchi-hashimoto-tsuruoka:2016:P16-1}とGehringらのモデル\cite{ConvEncGehring2017}との比較も行う．Eriguchiらのモデルの翻訳精度は，彼女らの論文で報告されている次元数1,024のモデルの翻訳精度である．Gehringらのモデルの翻訳精度は，公開されているモデルをデフォルトの設定で実験データに適用した翻訳精度である．本実験においては，単語埋め込みベクトルと隠れ層の各状態のベクトルの次元数は512とした．また，学習データにおいて出現回数が9回未満の単語を特殊文字「UNK」に置き換えた．LSTMのDropoutの比率は$0.2$，WeightDecayの係数は$10^{-8}$とし，目的言語文はビームサーチにより生成した．ビーム幅は5，10，15，20のうち，開発データに対するBLEUスコアが最も高いものを選択した．具体的には，従来のANMTモデルはビーム幅20，提案モデルはビーム幅15であった．その他の設定は，5.1節と同じである．\begin{table}[b]\caption{大規模コーパスにおける実験結果(BLEU($\%$))}\label{tab:big_exp}\input{08table05.tex}\end{table}表\ref{tab:big_exp}に実験結果を示す．表\ref{tab:big_exp}より，提案モデルは従来のANMTモデルよりも翻訳精度が良いことが分かる．また，先行研究と比較しても翻訳精度が高い．なお，提案モデルと従来のANMTモデルの翻訳精度の差及び提案モデルとGehringらのモデルの翻訳精度の差は有意差水準$5\%$で統計的に有意であった\footnote{Eriguchiらの翻訳精度は引用した値なので，有意差検定は行えなかった．}．これらのことから大規模データに対しても提案モデルが有効であることが分かった．\subsection{アテンションスコアの解析}本研究では，予め構文解析を行うことなく原言語の文の構造をANMTで活用することが目的であった．そこで，目的言語の単語を予測する際に，提案のアテンション構造により，原言語の文の構造（複数の隣接する単語／句の組み合わせ）を活用できているかを考察する．\begin{table}[p]\caption{翻訳結果の例}\label{tab:translation}\input{08table06.tex}\end{table}\begin{figure}[p]\begin{center}\includegraphics{26-1ia8f6.eps}\end{center}\caption{アテンションスコアの例1（左図：い（ついて），右図：し（した））}\label{fig:attention-score1}\end{figure}\begin{figure}[p]\begin{center}\includegraphics{26-1ia8f7.eps}\end{center}\caption{アテンションスコアの例2（左図：絶縁，右図：結晶）}\label{fig:attention-score2}\end{figure}表\ref{tab:translation}に英日翻訳のテストデータ対する従来のANMTおよび提案モデルの翻訳結果の実例を示し，図\ref{fig:attention-score1}と図\ref{fig:attention-score2}に表\ref{tab:translation}の翻訳結果を生成した際の提案モデルのアテンションスコアを示す．また，図\ref{fig:attention-base}に表\ref{tab:translation}の翻訳結果を生成した際の従来のANMTのアテンションスコアを示す．図\ref{fig:attention-score1}の左図は「ついて」の「い」，右図は「した」の「し」を生成する際のアテンションスコア\footnote{Kyteaでの単語分割では，「ついて」は，「つ」，「い」，「て」の3単語，「した」は「し」と「た」に分割された．}であり，図\ref{fig:attention-score2}の左図は「絶縁」，右図は「結晶」を生成する際のアテンションスコアである．図\ref{fig:attention-score1}，図\ref{fig:attention-score2}，図8では，セルが濃い色であるほど（黒に近いほど），より高いアテンションスコアであることを表している．また，図6と図7においては，横軸は原言語の単語を示し，縦軸はCKY-CNNの深さを示す．なお，CKY-CNNの第1層目のアテンションスコアは，LSTMの隠れ層のアテンションスコアと一致する．つまり，第1層目のアテンションスコアが，原言語の単語に対するアテンション，第2層目より上のアテンションスコアが構造（隣接する単語／句の組み合わせ）に対するアテンションを示す．図\ref{fig:attention-score2}より，「絶縁」や「結晶」のような内容語のように単語単位のアライメントが明確に分かる単語に対しては，第1層目（LSTM層）のアテンションスコアが高くなっている．一方で，図\ref{fig:attention-score1}の「い」や「し」のような機能語のように単語単位のアライメントが明確にならない単語に対しては，高いアライメントスコアが2層目より上（CKY層）に位置していることが分かる．一方で，図\ref{fig:attention-base}の従来のANMTのアテンションスコアでは，「ため」と``technological''，「た」と``.（ピリオド）''のように対応関係にない単語に対してもアテンションスコアが高くなっている．\begin{figure}[b]\begin{center}\includegraphics{26-1ia8f8.eps}\end{center}\caption{従来のANMTのアテンションスコアの例}\label{fig:attention-base}\end{figure}また，表\ref{tab:pos}に，提案モデルにおける，品詞ごとのアテンションスコアの配置について示す．これは，Kyteaが特定した品詞ごとに最も高いアテンションスコアの層を数え上げたものである．表\ref{tab:pos}より，名詞，形容詞，副詞といった単語単位のアライメントが明確に分かる単語に対しては，第1層目にアテンションが多く張られていることが分かる．一方で，語尾，助詞，助動詞といった単語単位のアライメントが明確になりにくい単語に対しては，第2層目以降にアテンションが張られる傾向があることが分かる．\begin{table}[t]\caption{品詞ごとのアテンションスコアの配置}\label{tab:pos}\input{08table07.tex}\end{table}以上より，従来のANMTのアテンション構造が単語レベルでのアライメントを見つけるのに対して，提案のアテンション構造は2層目以降を活用して構造的なアライメントを捉えていることが分かる．
\section{まとめ}
本論文では，NMTの性能を改善するため，CKYアルゴリズムを模倣したCNNに基づく新たなアテンション構造を提案した．提案のアテンション構造を用いることで，ASPECの英日翻訳タスクの評価では，従来のANMTと比較して1.43ポイントBLEUスコアが上昇し，FBISにおける中英翻訳タスクでは，従来のANMTと比較して同等かそれ以上の翻訳精度を達成できることを実験的に確認した．また，提案のアテンション構造は従来のANMTのアテンション構造では捉えることができない隣接する単語／句の組み合わせに対するアライメント（構造的なアライメント）を捉えることができることを実例により確認した．提案のアテンション構造は，CKYテーブルのすべてのセルの隠れ状態を保持する必要があるため，従来手法と比べて多くのメモリを使用する．今後は，メモリ消費の問題について提案手法を改善し，より少ないメモリ消費で動作するモデルに改善したい．また，提案手法では，上位セルの状態を導出する際，複数の候補から1つのみを選択するが．今後は，候補に対して重み付けを行うなどして複数の状態を考慮できるモデルに改良したい．\acknowledgment本論文は国際会議The8thInternationalJointConferenceonNaturalLanguageProcessingで発表した論文\cite{myI17-2001}に基づいて日本語で書き直し，説明や評価を追加したものである．本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである．また，本研究の一部はJSPS科研費25280084及び18K18110の助成を受けたものである．ここに謝意を表する．\bibliographystyle{jnlpbbl_1.5}\begin{thebibliography}{}\bibitem[\protect\BCAY{Aharoni\BBA\Goldberg}{Aharoni\BBA\Goldberg}{2017}]{AharoniP17-2021}Aharoni,R.\BBACOMMA\\BBA\Goldberg,Y.\BBOP2017\BBCP.\newblock\BBOQTowardsString-To-TreeNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume2:ShortPapers)},\mbox{\BPGS\132--140}.\bibitem[\protect\BCAY{Ba,Kiros,\BBA\Hinton}{Baet~al.}{2016}]{Ba2016LayerN}Ba,J.,Kiros,R.,\BBA\Hinton,G.~E.\BBOP2016\BBCP.\newblock\BBOQLayerNormalization.\BBCQ\\newblock{\BemCoRR},{\Bbfabs/1607.06450}.\bibitem[\protect\BCAY{Bahdanau,Cho,\BBA\Bengio}{Bahdanauet~al.}{2015}]{bahdanau2015}Bahdanau,D.,Cho,K.,\BBA\Bengio,Y.\BBOP2015\BBCP.\newblock\BBOQNeuralMachineTranslationbyJointlyLearningtoAlignandTranslate.\BBCQ\\newblockIn{\BemProceedingsofthe3rdInternationalConferenceonLearningRepresentations.}\bibitem[\protect\BCAY{Bastings,Titov,Aziz,Marcheggiani,\BBA\Simaan}{Bastingset~al.}{2017}]{BastingsD17-1209}Bastings,J.,Titov,I.,Aziz,W.,Marcheggiani,D.,\BBA\Simaan,K.\BBOP2017\BBCP.\newblock\BBOQGraphConvolutionalEncodersforSyntax-awareNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1957--1967}.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Chen,Huang,Chiang,\BBA\Chen}{Chenet~al.}{2017a}]{ChenP17-1177}Chen,H.,Huang,S.,Chiang,D.,\BBA\Chen,J.\BBOP2017a\BBCP.\newblock\BBOQImprovedNeuralMachineTranslationwithaSyntax-AwareEncoderandDecoder.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\1936--1945}.\bibitem[\protect\BCAY{Chen,Wang,Utiyama,Liu,Tamura,Sumita,\BBA\Zhao}{Chenet~al.}{2017b}]{ChenD17-1304}Chen,K.,Wang,R.,Utiyama,M.,Liu,L.,Tamura,A.,Sumita,E.,\BBA\Zhao,T.\BBOP2017b\BBCP.\newblock\BBOQNeuralMachineTranslationwithSourceDependencyRepresentation.\BBCQ\\newblockIn{\BemProceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\2846--2852}.\bibitem[\protect\BCAY{Cho,vanMerrienboer,Bahdanau,\BBA\Bengio}{Choet~al.}{2014a}]{DBLP:conf/ssst/ChoMBB14}Cho,K.,vanMerrienboer,B.,Bahdanau,D.,\BBA\Bengio,Y.\BBOP2014a\BBCP.\newblock\BBOQOnthePropertiesofNeuralMachineTranslation:Encoder-DecoderApproaches.\BBCQ\\newblockIn{\BemProceedingsof8thWorkshoponSyntax,SemanticsandStructureinStatisticalTranslation},\mbox{\BPGS\103--111}.\bibitem[\protect\BCAY{Cho,vanMerrienboer,Gulcehre,Bahdanau,Bougares,Schwenk,\BBA\Bengio}{Choet~al.}{2014b}]{cho-EtAl:2014:EMNLP2014}Cho,K.,vanMerrienboer,B.,Gulcehre,C.,Bahdanau,D.,Bougares,F.,Schwenk,H.,\BBA\Bengio,Y.\BBOP2014b\BBCP.\newblock\BBOQLearningPhraseRepresentationsusingRNNEncoder--DecoderforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2014ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1724--1734}.\bibitem[\protect\BCAY{Ding\BBA\Palmer}{Ding\BBA\Palmer}{2005}]{DingP05-1067}Ding,Y.\BBACOMMA\\BBA\Palmer,M.\BBOP2005\BBCP.\newblock\BBOQMachineTranslationUsingProbabilisticSynchronousDependencyInsertionGrammars.\BBCQ\\newblockIn{\BemProceedingsofthe43rdAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\541--548}.\bibitem[\protect\BCAY{Dyer,Kuncoro,Ballesteros,\BBA\Smith}{Dyeret~al.}{2016}]{DyerN16-1024}Dyer,C.,Kuncoro,A.,Ballesteros,M.,\BBA\Smith,N.~A.\BBOP2016\BBCP.\newblock\BBOQRecurrentNeuralNetworkGrammars.\BBCQ\\newblockIn{\BemProceedingsofthe2016ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLinguistics:HumanLanguageTechnologies},\mbox{\BPGS\199--209}.\bibitem[\protect\BCAY{Eriguchi,Hashimoto,\BBA\Tsuruoka}{Eriguchiet~al.}{2016a}]{eriguchi2016character}Eriguchi,A.,Hashimoto,K.,\BBA\Tsuruoka,Y.\BBOP2016a\BBCP.\newblock\BBOQCharacter-basedDecodinginTree-to-SequenceAttention-basedNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe3rdWorkshoponAsianTranslation},\mbox{\BPGS\175--183}.\bibitem[\protect\BCAY{Eriguchi,Hashimoto,\BBA\Tsuruoka}{Eriguchiet~al.}{2016b}]{eriguchi-hashimoto-tsuruoka:2016:P16-1}Eriguchi,A.,Hashimoto,K.,\BBA\Tsuruoka,Y.\BBOP2016b\BBCP.\newblock\BBOQTree-to-SequenceAttentionalNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe54thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\823--833}.\bibitem[\protect\BCAY{Eriguchi,Tsuruoka,\BBA\Cho}{Eriguchiet~al.}{2017}]{EriguchiP17-2012}Eriguchi,A.,Tsuruoka,Y.,\BBA\Cho,K.\BBOP2017\BBCP.\newblock\BBOQLearningtoParseandTranslateImprovesNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume2:ShortPapers)},\mbox{\BPGS\72--78}.\bibitem[\protect\BCAY{Gehring,Auli,Grangier,\BBA\Dauphin}{Gehringet~al.}{2017}]{ConvEncGehring2017}Gehring,J.,Auli,M.,Grangier,D.,\BBA\Dauphin,Y.\BBOP2017\BBCP.\newblock\BBOQAConvolutionalEncoderModelforNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\123--135}.\bibitem[\protect\BCAY{Gers,Schmidhuber,\BBA\Cummins}{Gerset~al.}{2000}]{gers2000learning}Gers,F.~A.,Schmidhuber,J.,\BBA\Cummins,F.\BBOP2000\BBCP.\newblock\BBOQLearningtoForget:ContinualPredictionwithLSTM.\BBCQ\\newblock{\BemNeuralComputation},{\Bbf12}(10),\mbox{\BPGS\2451--2471}.\bibitem[\protect\BCAY{Hashimoto\BBA\Tsuruoka}{Hashimoto\BBA\Tsuruoka}{2017}]{hashimoto-tsuruoka:2017:EMNLP2017}Hashimoto,K.\BBACOMMA\\BBA\Tsuruoka,Y.\BBOP2017\BBCP.\newblock\BBOQNeuralMachineTranslationwithSource-SideLatentGraphParsing.\BBCQ\\newblockIn{\BemProceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\125--135}.\bibitem[\protect\BCAY{He,Zhang,Ren,\BBA\Sun}{Heet~al.}{2016}]{he2016deep}He,K.,Zhang,X.,Ren,S.,\BBA\Sun,J.\BBOP2016\BBCP.\newblock\BBOQDeepResidualLearningforImageRecognition.\BBCQ\\newblockIn{\BemProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition},\mbox{\BPGS\770--778}.\bibitem[\protect\BCAY{Hochreiter\BBA\Schmidhuber}{Hochreiter\BBA\Schmidhuber}{1997}]{hochreiter1997long}Hochreiter,S.\BBACOMMA\\BBA\Schmidhuber,J.\BBOP1997\BBCP.\newblock\BBOQLongShort-termMemory.\BBCQ\\newblock{\BemNeuralComputation},{\Bbf9}(8),\mbox{\BPGS\1735--1780}.\bibitem[\protect\BCAY{Huang,Knight,\BBA\Joshi}{Huanget~al.}{2006}]{huang2006statistical}Huang,L.,Knight,K.,\BBA\Joshi,A.\BBOP2006\BBCP.\newblock\BBOQStatisticalSyntax-directedTranslationwithExtendedDomainofLocality.\BBCQ\\newblockIn{\BemProceedingsofthe7thConferenceoftheAssociationforMachineTranslationintheAmericas},\mbox{\BPGS\66--73}.\bibitem[\protect\BCAY{Kasami}{Kasami}{1965}]{Kasami65}Kasami,T.\BBOP1965\BBCP.\newblock\BBOQAnEfficientRecognitionandSyntaxAlgorithmforContext-freeLanguages.\BBCQ\\newblock\BTR\AFCRL-65-758,AirForceCambridgeResearchLaboratory.\bibitem[\protect\BCAY{Kingsma\BBA\Ba}{Kingsma\BBA\Ba}{2014}]{kingsma2014adam}Kingsma,D.\BBACOMMA\\BBA\Ba,J.\BBOP2014\BBCP.\newblock\BBOQAdam:AMethodforStochasticOptimization.\BBCQ\\newblockIn{\BemProceedingsofthe5thInternationalConferenceonLearningRepresentations}.\bibitem[\protect\BCAY{Koehn}{Koehn}{2004}]{koehn2004statistical}Koehn,P.\BBOP2004\BBCP.\newblock\BBOQStatisticalSignificanceTestsforMachineTranslationEvaluation.\BBCQ\\newblockIn{\BemProceedingsofthe2004ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\388--395}.\bibitem[\protect\BCAY{Koehn,Hoang,Birch,Callison-Burch,Federico,Bertoldi,Cowan,Shen,Moran,Zens,et~al.}{Koehnet~al.}{2007}]{koehn2007moses}Koehn,P.,Hoang,H.,Birch,A.,Callison-Burch,C.,Federico,M.,Bertoldi,N.,Cowan,B.,Shen,W.,Moran,C.,Zens,R.,et~al.\BBOP2007\BBCP.\newblock\BBOQMoses:OpenSourceToolkitforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe45thAnnualMeetingoftheAssociationforComputationalLinguisticsonInteractivePosterandDemonstrationSessions},\mbox{\BPGS\177--180}.\bibitem[\protect\BCAY{Li,Xiong,Tu,Zhu,Zhang,\BBA\Zhou}{Liet~al.}{2017}]{LiP17-1064}Li,J.,Xiong,D.,Tu,Z.,Zhu,M.,Zhang,M.,\BBA\Zhou,G.\BBOP2017\BBCP.\newblock\BBOQModelingSourceSyntaxforNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\688--697}.\bibitem[\protect\BCAY{Lin}{Lin}{2004}]{lin2004path}Lin,D.\BBOP2004\BBCP.\newblock\BBOQAPath-basedTransferModelforMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe20thInternationalConferenceonComputationalLinguistics},\mbox{\BPG\625}.\bibitem[\protect\BCAY{Liu,Liu,\BBA\Lin}{Liuet~al.}{2006}]{LiuP06-1077}Liu,Y.,Liu,Q.,\BBA\Lin,S.\BBOP2006\BBCP.\newblock\BBOQTree-to-StringAlignmentTemplateforStatisticalMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe21stInternationalConferenceonComputationalLinguisticsand44thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\609--616}.\bibitem[\protect\BCAY{Luong,Pham,\BBA\Manning}{Luonget~al.}{2015}]{luong-pham-manning:2015:EMNLP}Luong,T.,Pham,H.,\BBA\Manning,C.~D.\BBOP2015\BBCP.\newblock\BBOQEffectiveApproachestoAttention-basedNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2015ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1412--1421}.\bibitem[\protect\BCAY{Nakazawa,Yaguchi,Uchimoto,Utiyama,Sumita,Kurohashi,\BBA\Isahara}{Nakazawaet~al.}{2016}]{NAKAZAWA16.621}Nakazawa,T.,Yaguchi,M.,Uchimoto,K.,Utiyama,M.,Sumita,E.,Kurohashi,S.,\BBA\Isahara,H.\BBOP2016\BBCP.\newblock\BBOQASPEC:AsianScientificPaperExcerptCorpus.\BBCQ\\newblockIn{\BemProceedingsofthe9thInternationalConferenceonLanguageResourcesandEvaluation},\mbox{\BPGS\2204--2208}.\bibitem[\protect\BCAY{Neubig,Nakata,\BBA\Mori}{Neubiget~al.}{2011}]{neubig2011pointwise}Neubig,G.,Nakata,Y.,\BBA\Mori,S.\BBOP2011\BBCP.\newblock\BBOQPointwisePredictionforRobust,AdaptableJapaneseMorphologicalAnalysis.\BBCQ\\newblockIn{\BemProceedingsofthe49thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\529--533}.\bibitem[\protect\BCAY{Papineni,Roukos,Ward,\BBA\Zhu}{Papineniet~al.}{2002}]{papineni2002bleu}Papineni,K.,Roukos,S.,Ward,T.,\BBA\Zhu,W.-J.\BBOP2002\BBCP.\newblock\BBOQBLEU:AMethodforAutomaticEvaluationofMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe40thAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\311--318}.\bibitem[\protect\BCAY{Quirk,Menezes,\BBA\Cherry}{Quirket~al.}{2005}]{QuirkP05-1034}Quirk,C.,Menezes,A.,\BBA\Cherry,C.\BBOP2005\BBCP.\newblock\BBOQDependencyTreeletTranslation:SyntacticallyInformedPhrasalSMT.\BBCQ\\newblockIn{\BemProceedingsofthe43rdAnnualMeetingoftheAssociationforComputationalLinguistics},\mbox{\BPGS\271--279}.\bibitem[\protect\BCAY{Sennrich\BBA\Haddow}{Sennrich\BBA\Haddow}{2016}]{SennrichW16-2209}Sennrich,R.\BBACOMMA\\BBA\Haddow,B.\BBOP2016\BBCP.\newblock\BBOQLinguisticInputFeaturesImproveNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe1stConferenceonMachineTranslation:Volume1,ResearchPapers},\mbox{\BPGS\83--91}.AssociationforComputationalLinguistics.\bibitem[\protect\BCAY{Srivastava,Hinton,Krizhevsky,Sutskever,\BBA\Salakhutdinov}{Srivastavaet~al.}{2014}]{srivastava2014dropout}Srivastava,N.,Hinton,G.~E.,Krizhevsky,A.,Sutskever,I.,\BBA\Salakhutdinov,R.\BBOP2014\BBCP.\newblock\BBOQDropout:ASimpleWaytoPreventNeuralNetworksfromOverfitting.\BBCQ\\newblock{\BemJournalofMachineLearningResearch},{\Bbf15}(1),\mbox{\BPGS\1929--1958}.\bibitem[\protect\BCAY{Sutskever,Vinyals,\BBA\Le}{Sutskeveret~al.}{2014}]{sutskever2014sequence}Sutskever,I.,Vinyals,O.,\BBA\Le,Q.~V.\BBOP2014\BBCP.\newblock\BBOQSequencetoSequenceLearningwithNeuralNetworks.\BBCQ\\newblockIn{\BemAdvancesinNeuralInformationProcessingSystems},\mbox{\BPGS\3104--3112}.\bibitem[\protect\BCAY{Tai,Socher,\BBA\Manning}{Taiet~al.}{2015}]{TaiP15-1150}Tai,K.~S.,Socher,R.,\BBA\Manning,C.~D.\BBOP2015\BBCP.\newblock\BBOQImprovedSemanticRepresentationsFromTree-StructuredLongShort-TermMemoryNetworks.\BBCQ\\newblockIn{\BemProceedingsofthe53rdAnnualMeetingoftheAssociationforComputationalLinguisticsandthe7thInternationalJointConferenceonNaturalLanguageProcessing(Volume1:LongPapers)},\mbox{\BPGS\1556--1566}.\bibitem[\protect\BCAY{Watanabe,Tamura,\BBA\Ninomiya}{Watanabeet~al.}{2017}]{myI17-2001}Watanabe,T.,Tamura,A.,\BBA\Ninomiya,T.\BBOP2017\BBCP.\newblock\BBOQCKY-basedConvolutionalAttentionforNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe8thInternationalJointConferenceonNaturalLanguageProcessing(Volume2:ShortPapers)},\mbox{\BPGS\1--6}.\bibitem[\protect\BCAY{Wu,Zhang,Yang,Li,\BBA\Zhou}{Wuet~al.}{2017}]{WuP17-1065}Wu,S.,Zhang,D.,Yang,N.,Li,M.,\BBA\Zhou,M.\BBOP2017\BBCP.\newblock\BBOQSequence-to-DependencyNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe55thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers)},\mbox{\BPGS\698--707}.\bibitem[\protect\BCAY{Wu,Zhang,Zhang,Yang,Li,\BBA\Zhou}{Wuet~al.}{2018}]{Wu2018}Wu,S.,Zhang,D.,Zhang,Z.,Yang,N.,Li,M.,\BBA\Zhou,M.\BBOP2018\BBCP.\newblock\BBOQDependency-to-DependencyNeuralMachineTranslation.\BBCQ\\newblock{\BemIEEE/ACMTransactionsonAudio,Speech,andLanguageProcessing},{\Bbf10.119/TASLP.2018.2855968}.\bibitem[\protect\BCAY{Yang,Wong,Xiao,Chao,\BBA\Zhu}{Yanget~al.}{2017}]{YangD17-1150}Yang,B.,Wong,D.~F.,Xiao,T.,Chao,L.~S.,\BBA\Zhu,J.\BBOP2017\BBCP.\newblock\BBOQTowardsBidirectionalHierarchicalRepresentationsforAttention-basedNeuralMachineTranslation.\BBCQ\\newblockIn{\BemProceedingsofthe2017ConferenceonEmpiricalMethodsinNaturalLanguageProcessing},\mbox{\BPGS\1432--1441}.\bibitem[\protect\BCAY{Younger}{Younger}{1967}]{Younger67}Younger,D.~H.\BBOP1967\BBCP.\newblock\BBOQRecognitionandParsingofContext-freeLanguagesinTime$n^3$.\BBCQ\\newblock{\BemInformationandControl},{\Bbf2}(10),\mbox{\BPGS\189--208}.\end{thebibliography}\begin{biography}\bioauthor{渡邊大貴}{2017年愛媛大学工学部情報工学科卒業．2017年より同大学院理工学研究科修士課程に在学．情報処理学会学生会員．}\bioauthor{田村晃裕}{2005年東京工業大学工学部情報工学科卒業．2007年同大学院総合理工学研究科修士課程修了．2013年同大学院総合理工学研究科博士課程修了．日本電気株式会社，国立研究開発法人情報通信研究機構にて研究員として務めた後，2017年より愛媛大学大学院理工学研究科助教となり，現在に至る．工学博士．言語処理学会，情報処理学会，人工知能学会，ACL各会員．}\bioauthor{二宮崇}{2001年東京大学大学院理学系研究科情報科学専攻博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．東京大学博士（理学）．言語処理学会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会，ACL各会員．}\bioauthor[:]{TeguhBharataAdji}{HisbachelordegreewasfulfilledatUniversitasGadjahMadain1995andhisfirstMasterdegreewasreceivedfromthesameuniversityin1998.HealsofinishedmasterprogramfromDoshishaUniversity,Kyotoin2001.Hisdoctoraldegreewasthenobtainedin2010fromUniversitiTeknologiPetronas,Malaysia.HeisnowanassociateprofessorofUniversitasGadjahMada.HisresearchinterestandpublicationsareinthefieldsofNaturalLanguageProcessing,SocialMediaTechnology,BigData,DataSecurity.}\end{biography}\biodate\end{document}