言語処理学会 第24回年次大会 発表論文集 (2018年3月)

双方向翻訳のための中間表現制約を用いたニューラル機械翻訳
小林 尚輝 1 ，
1

田村 晃裕 2 ，二宮 崇 2 ， 高村 大也 3，4 ，

奥村 学 3

愛媛大学 情報工学科，2 愛媛大学 大学院理工学研究科 電子情報工学専攻，
3
東京工業大学 科学技術創成研究院，4 産業技術総合研究所{kobayasi@.ai.,tamura@,ninomiya@}cs.ehime-u.ac.jp,{takamura,oku}@pi.titech.ac.jp

1

はじめにを入力とする再帰型ニューラルネットワークを基本構成要素としている．そのため，本研究では翻訳方向が近年，自然言語処理の多くのタスクにおいて，ニュー異なるエンコーダとデコーダ間での重みの共有化を行ラルネットワークを用いた手法が盛んに研究され，特い，エンコーダのユニットはデコーダの一部としてもに系列から系列への変換を学習するエンコーダ・デコー

学習を行い，デコーダのユニットはエンコーダの一部

ダモデル [2, 6] は従来手法を上回る高い性能を実現すとしての学習も行う．しかし，翻訳方向が異なるエンることから注目されている．エンコーダ・デコーダモ

コーダ-デコーダ間で重みを共有化した場合，エンコーデルは，エンコーダ及びデコーダと呼ばれる 2 つの再ダとデコーダが学習する中間表現の埋め込み空間が異帰型ニューラルネットワークから構成されており，エなっていると，正しくエンコード/デコードすること

ンコーダは入力された系列を中間表現へと変換し，デができないという問題が生じる．本研究は，その問題

コーダは中間表現から出力となる系列を生成することを解消するため，それぞれの言語のエンコーダの生成で，系列から系列への変換を行う．多くのニューラルする中間表現が同一のベクトルになる制約を導入する．

機械翻訳は，エンコーダ・デコーダモデルによって実日英の対訳コーパスを用いて実験を行い，日英，英現されており，対訳関係にある文対をそれぞれ入力系

日における双方向の機械翻訳モデルの同時学習と中間列 (原言語文) と出力系列 (目的言語文) とすることで，表現制約により BLEU スコアが 0.87 ポイント改善し原言語から目的言語への翻訳モデルを学習する．さらたことを確認した．に，ニューラル機械翻訳にアテンション機構を導入す関連研究として，双方向翻訳のためのエンコーダ・ることで，デコーダはエンコーダの隠れ状態の履歴をデコーダモデルにおいてアテンションに基づく制約を参照しながらデコードすることができ，入力系列が長与える手法 [1] があげられる．彼らは，アテンションい場合においても良い出力系列を生成できる．に基づく単語間アライメントが双方向で一致するようアテンションに基づくニューラル機械翻訳は，従来の統計的機械翻訳よりも高い翻訳精度を実現するが，に学習しているが，本研究は中間表現が一致するように学習する点で異なっている．

その多くの手法は，対訳文書のいずれか一方の言語を原言語とし，もう片方の言語を目的言語とすることで翻訳モデルを学習するため，一度に学習するモデルは

2

ニューラル機械翻訳

2.1

エンコーダ・デコーダモデル

単方向の翻訳モデルだけであった．言語間双方向の翻訳モデルを同時に学習することができれば，翻訳方向が異なるエンコーダ-デコーダのモデル共有化や，翻エンコーダ・デコーダモデル [2, 6] は，エンコーダ訳方向間で翻訳モデルの整合性がとれ，より性能の高を用いて入力文を固定長のベクトル表現へと変換し，い翻訳モデルを学習できることが期待される．

デコーダを用いて逐次的に単語の予測を行うモデルで本論文は，中間表現制約を用いた双方向翻訳のためある．本研究では，エンコーダとデコーダにそれぞれのエンコーダ・デコーダモデル同時学習方法を提案す

LSTM[3] を用い，それぞれ LST Menc ，LST Mdec と表す．LSTM は前時刻の隠れ状態 ht−1 と入力 xt から隠れ状態 ht を生成する再帰型ニューラルネットワー

る．エンコーダとデコーダはそれぞれの役割に応じて異なるネットワーク構成をしているが，どちらも単語― 300 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

クであり，隠れ状態 ht は次式により定義される:

σ(W (i) xt + U (i) ht−1 + b(i) ),it=

ft= σ(W (f ) xt + U (f ) ht−1 + b(f ) ),ot

= σ(W (o) xt + U (o) ht−1 + b(o) ),

h̄t

=ct

= it ⊙ h̄t + ft ⊙ ct−1 ,ht= ot ⊙ tanh(ct ).

tanh(W (h̄) xt + U (h̄) ht−1 + b(h̄) ),図 1: 提案手法の学習

ただし，W (i) ，W (f ) ，W (o) ，W (h̄) ∈ RH×I , U (i) ，U (f )，U(o)，U(h̄)∈R

H×H(i), b ，b(f )，b(o)(h̄)，b∈R

H×1は重みであり，I は入力 xt の次元，H は隠れ状態の次元である. また，σ はロジスティックシグモイド関数，⊙ はベクトルの要素積を表す．
エンコーダ・デコーダモデルは，入力系列 x =(x1 ，. . . ，xn ) が与えられたとき，出力系列 y = (y1，. . . ，ym ) の対数尤度を最大化することを目的とし，

文脈ベクトル ct はエンコーダの全隠れ状態 S ={h̄1 , . . . , h̄n } の加重平均として次式により計算される:∑ct =
αt (s)h̄s .
(6)s∈S

ここで，重み αt (s) はデコーダの隠れ状態 ht に対するエンコーダの隠れ状態 h¯s の重要度を表し，次式で計算される:

exp(ht · h̄s ).
′s′ ∈S exp(ht · h̄s )次式を用いて定式化される:

log p(y|x) =m∑log p(yj |y<j , x).

αt (s) = ∑(1)

j=1

エンコーダは入力系列 x に対し，次式で計算される中間表現 c = {h̄1 ，...，̄hn } を生成する:h̄j = LST Menc (h̄j−1 , xj ).

アテンション機構付きエンコーダ・デコーダモデルでは，次式で計算される ĥ を，式 (4) における hj として計算する:

ĥ = tanh(Wc [ct ; ht ]).

(2)

デコーダの隠れ状態は初期状態を h0 = h̄n とし，時刻(7)(8)

ここで,Wc ∈ RH×2H は重み行列である.

j におけるデコーダの隠れ状態 hj は 直前の出力 yj−1と隠れ状態 hj−1 から次式により計算される:

hj = LST Mdec (hj−1 , yj−1 ).

(3)

単語の出力確率は，デコーダの隠れ状態 hj を用いて次式で計算される:

本節は，提案手法である中間表現制約を導入した双方向翻訳のためのエンコーダ・デコーダモデルについて説明する．まず，双方向翻訳モデルの重みの共有に

p(yj |y<j , x) = sof tmax(Wo hj ).
ただし，Wo ∈ R

提案手法

3V ×H

(4)

は重み行列であり，V ，H はそついて説明し，次に中間表現制約と目的関数を説明する.

れぞれ辞書の大きさ，隠れ状態の次元を表す．
エンコーダ・デコーダモデルの目的関数は次式で表される:

J=∑− log p(y|x).

3.1

重み共有

双方向翻訳のためのエンコーダ・デコーダモデルに(5)おける重み共有について説明する．図 1 は提案モデル(x,y)∈D

ここで，D はデータセット全体を表す．の全体像を示す．単一方向への翻訳モデルはエンコー
ダとデコーダの 2 つの LSTM から構成されるが，提案アテンションに基づくニューラル機械翻訳モデルである双方向翻訳のためのエンコーダ・デコーダ

アテンション機構 [2, 6] は，各時刻におけるデコー訳するエンコーダ，デコーダを EN Cs2t ，DECs2t とダの単語予測に用いる文脈ベクトルをエンコーダ側のし，目的言語から原言語へと翻訳するエンコーダ，デ隠れ状態の履歴から獲得するための手法である．

コーダを EN Ct2s ，DECt2s と表す．各 LSTM に入

2.2

モデルでは，図 1 に示されるように，計 4 つの LSTMを学習する必要がある. 原言語から目的言語へと翻― 301 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

力される言語は，EN Cs2t ，DECt2s が原言語となり，

表 1: 実験結果

EN Ct2s ，DECs2t が目的言語となる．扱う言語が同じ LSTM の重みを共有することにより，エンコーダBLEUの LSTM はデコーダの一部としても学習を行い，デ手法

コーダの LSTM はエンコーダの一部としての学習も行われる．

3.2

英→日

日→英

20k

100k

20k

100k

ベースラインモデル

13.57

23.96

9.30

17.80

重み共有モデル

13.04

24.06

8.87

17.65

提案手法

14.34

24.83

9.98

18.02

中間表現制約を用いた目的関数

双方向翻訳のためのエンコーダ・デコーダモデル
において中間表現制約を導入した目的関数について説明する. 対訳関係にある x = (x1 , . . . , xn ) ∈ L1 ,4.2

評価手法

翻訳精度の評価手法として BLEU[8] を用いた．開y = (y1 , . . . , ym ) ∈ L2 に対して，式 (9)，式 (10) より

発データに対して最も性能の良いモデルを選択し，テエンコーダの隠れ状態を求める:

ストデータ (test.txt: 1812 文対) を用い手法の評価を

hs2t= EN Cs2t (hs2tjj−1 , xj ),(9)

hjt2s = EN Ct2s (ht2sj−1 , yj ).

(10)

本手法では，それぞれのエンコーダの最終状態行った．

4.3

t2s
hs2tn , hm の二乗誤差を最小化することで，中間表現が同一のベクトルになるよう学習する．式 (5) により，言語 L1 から言語 L2 への翻訳における目的関数
を J s2t ，言語 L2 から言語 L1 への翻訳における目的関数を J t2s とすると，提案手法の目的関数は次式により与えられる:
t2s 2
L = J s2t + J t2s + ||hs2tn − hm || .

単語埋め込み層，隠れ層の次元はともに 256 とし，ミニバッチサイズは 2 万文，10 万文でそれぞれ 256，128 とした．最適化手法に Adam[5] を用い，α = 0.003とした．正則化は L-2 正則化と dropout を用い，それぞれの係数を 1.0E − 6，0.2 とした．勾配クリッピン
グの値は 3.0 とした．

(11)

4.44

実験

4.1

コーパス

モデルのパラメータ

結果

実験結果を表 1 に示す．ベースラインモデルは日英，英日の翻訳モデルを別々に学習した場合である．ベース
ラインの構成はエンコーダが 2 stacked Bidirectional

本実験では，日英の対訳コーパスである，Asian Sci-entific Paper Excerpt Corpus (ASPEC)[7] を用いた．
英語の単語分割は moses decoder 1 を用い，日本語の単語分割は KyTea2 を用いた．全てのアルファベットは小文字化した．
データセットの整形は橋本ら [4] に習い，学習デー
タ (train-1.txt) から抜き出した単語数が 50 以下からなる文対のみを使用し，上位 2 万文対と 10 万文対のLSTM，デコーダが 2 stacked LSTM であり，アテンション付きのモデルになっている．重み共有モデルは，ベースラインの日英，英日モデルを重み共有し同時学習したモデルである．提案手法は，重み共有モデルに中間状態に関する制約を付与したモデルである．日英翻訳，英日翻訳をそれぞれ 2 万文，10 万文で学習させた結果，中間表現制約を付与した提案手法はベースラインモデルを最大 0.87 ポイント上回った．

2 通りを用いて学習を行った．語彙は単語の出現頻度が 2 回以上のものを使用し，語彙に含まれない単語は<UNK> トークンに置き換えた．学習したモデルの評

5

考察
重み共有モデルとベースラインモデルの BLEU ス

価には開発データ (dev.txt: 1790 文対) を用いた．

コアには差がみられなかった．言い換えれば，LSTM
1 https://github.com/moses-smt/mosesdecoder/blob/master/の重みを共有しても精度が低下しないと考えられる．

scripts/tokenizer/tokenizer.perl
2 http://www.phontron.com/kytea/index-ja.html― 302 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

[2] Bahdanau Dzmitry, Cho KyungHyun, and Ben-

表 2: 中間表現間の距離手法
距離重み共有モデル

39.63

提案手法

0.71

gio Yoshua. Neural machine translation by jointly
learning to align and translate. In Proceedings ofthe ICLR, 2015.
[3] Felix A. Gers, Jürgen Schmidhuber, and Fred A.
Cummins. Learning to forget: Continual predic-

提案手法に関しては，中間表現制約により BLEU ス

tion with lstm. Neural computation, 2000.

コアが向上した考えられる．
重み共有モデルと提案手法について英日，日英の中[4] Kazuma Hashimoto and Yoshimasa Tsuruoka.

間表現間の距離をテストデータを対象に計測した結果

Neural Machine Translation with Source-Side

を表 2 に示す．重み共有モデルに比べ，中間表現制約

Latent Graph Parsing.

を加えた提案手法は中間表現間の距離が大幅に小さく

EMNLP, 2017.

なっていることが確認できる．

In Proceedings of the[5] Diederik Kingsma and Jimmy Ba.

以上の結果から，中間表現制約によって対訳関係にAdam: A

method for stochastic optimization. In Proceed-

ある文に対して類似した中間表現が得られ，BLEU ス

ings of the ICLR, 2014.

コアの向上がみられることが分かった．異なる言語に対して類似した中間表現を得られることから，ピボッ[6] Thang Luong, Hieu Pham, and Christopher D.

ト翻訳への応用が期待できる．具体的には，英語をピManning.

ボットとした日仏翻訳を行う際に，日英のエンコーダ

based neural machine translation. In Proceedings

Eﬀective approaches to attention-により得られた中間表現を英仏のデコーダの初期状態

of the EMNLP, 2015.

として入力することで，英文を介さずに直接日仏の翻[7] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka

訳が可能となり情報の欠落を抑える効果が期待される．

Uchimoto, Masao Utiyama, Eiichiro Sumita,
Sadao Kurohashi, and Hitoshi Isahara. Aspec:

6Asian scientific paper excerpt corpus. In Pro-おわりにceedings of the LREC, 2016.

本研究では，エンコーダ・デコーダモデルによって生成される中間表現に注目し，それぞれの言語で生成[8] Kishore Papineni, Salam Roukos, Todd Ward,される中間表現が同一となるように制約をかける手法を提案した．そして，日英および英日翻訳においてともに提案手法の有効性を確認した．三か国語以上を用and Wei-Jing Zhu. Bleu: a method for automatic
evaluation of machine translation. In Proceedingsof the ACL, 2002.

いた実験および大規模なデータを用いた実験については今後の課題としたい．

7

謝辞
本研究は JSPS 科研費 25280084 の助成を受けたものである．ここに謝意を表する．

参考文献[1] Yong Cheng, Shiqi Shen, Zhongjun He, WeiHe, Hua Wu, Maosong Sun, and Yang Liu.
Agreement-based joint training for bidirectional
attention-based neural machine translation. In
Proceedings of the IJCAI, 2016.

― 303 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.