言語処理学会 第26回年次大会 発表論文集 (2020年3月)

文レベルの中間表現とのアテンションを用いたニューラル機械翻訳
福原 健太 1

二宮 崇 2

田村 晃裕 2

愛媛大学 工学部情報工学科
愛媛大学 大学院理工学研究科 電子情報工学専攻
12{hukuhara@ai., tamura@, ninomiya@}cs.ehime-u.ac.jp

1

はじめにダーの最終隠れ状態）とのアテンションも用いるモデ
ルを提案する．ASPEC データを用いた日英翻訳の評

機械翻訳は，これまでルールベース機械翻訳や統計価実験を通じて，文レベルの中間表現とのアテンショ的機械翻訳などの様々な手法が提案されてきたが，現ンを考慮することで，BLEU が 0.72 ポイント向上す

在は，ニューラルネットワークを用いた機械翻訳（以ることを確認した．

下ニューラル機械翻訳) が主流となっている．ニューラル機械翻訳として Recurrent Neural Network（RNN）を用いたエンコーダー・デコーダーモデル [1] が初期か2

従来の NMT モデル

2.1RNN に基づくエンコーダー・デコー
ダー NMTら広く使われている．エンコーダー・デコーダーモデ
ルは入力系列（原言語文の単語系列）を中間表現に変換するエンコーダーと，エンコーダーで変換された中間表現をもとに出力系列（目的言語文の単語系列）を生成するデコーダーで構成されている．エンコーダー・デコーダーモデルは，デコーダーで出力単語を決める際に，エンコーダーの各隠れ状態を参照して入力系列の中で注目する部分を捉えるアテンション機構を導入することで翻訳性能を改善している [2]．
エンコーダー・デコーダーモデルは機械翻訳以外の様々なタスクにおいても利用されており，テキストから画像を生成する画像生成タスクにおいても成果をあげている．画像生成タスクにおけるエンコーダー・デコーダーモデルの一つとして MirrorGAN[3] が提案さ

RNN に基づくエンコーダー・デコーダー NMT
モデル [1] は RNN エンコーダーで入力系列 x =(x1 , x2 , ..., xn ) を固定長ベクトルの中間表現 c =(h̄1 , h̄2 , ..., h̄n ) に変換し，RNN デコーダーで変換された中間表現から出力系列 y = (y1 , y2 , ..., ym ) を逐次的に生成する．RNN としては GRU や LSTM などが使用されるが，本研究では LSTM を使用する．
エンコーダーでは，i 番目の隠れ状態 hi は 1 ステッ
プ前の隠れ状態 hi−1 と現ステップの入力 xi からエンコーダー LSTM により，式 (1) のように算出される．

れている．MirrorGAN は，入力テキストを RNN に

h̄i = LST Menc (h̄i−1 , Ex (xi )).

(1)よりエンコードし，エンコード結果とアテンションに基づき敵対的生成ネットワークにより画像を生成する．

ここで，LST Menc はエンコーダー側の LSTM であ

その際，各入力単語の中間表現とのアテンションに加り，Ex は単語埋め込み層である．
デコーダーでは，初期の隠れ状態 h0 をエンコーダーえて，文レベルの中間表現とのアテンションを加えるの最終隠れ状態 h̄n として，j 番目の出力単語に対すことで画像生成性能を向上させている．
一方で，機械翻訳タスクのアテンション機構付きる確率分布を式 (2)，(3) のように算出する．具体的にNMT においては，通常，アテンション機構では各入力単語の中間表現（エンコーダーの各隠れ状態）とのアテンションしか考慮されない．そこで，本論文では，アテンション機構付き NMT モデル [2] において，エンコーダーが変換した文レベルの中間表現（エンコーは，まず，j 番目の LSTM デコーダーの隠れ状態 hjを 1 ステップ前の隠れ状態 hj−1 と 1 ステップ前の出力単語 yj−1 から算出する（式 (2)）．その後，算出した hj を目的言語の語彙数次元のベクトルに線形変換し，ソフトマックス関数を適用することで，出力単語― 1289 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 従来のアテンション機構付きエンコーダー・デ

図 2: 提案モデル (提案手法 1)

コーダーモデル重み αt (i) は，LSTM デコーダーの隠れ状態 hj とに対する確率分布を獲得する（式 (3)）．

LSTM エンコーダーの隠れ状態 h̄i との類似度を計算

hj = LST Mdec (hj−1 , Ey (yj−1 )).

(2)p(yj |y1:j−1 , hn ) = sof tmax(Wo hj ).

(3)したもので式 (6) により計算される．

exp(hj · h̄i )αt (i) = ∑N
k=1 exp(hj · h̄k )ここで，LST Mdec はデコーダー側の LSTM であり，Ey は単語埋め込み層である．また，Wo ∈ RV × H は重み行列であり，V は目的言語の語彙数，H は LSTM

提案モデル

3の隠れ層の次元を表す．

(6)本節では，アテンション機構の中で，単語レベルの中間表現とのアテンションとともに，文レベルの中間2.2表現とのアテンションも用いるアテンション機構付き

アテンション機構

アテンション機構 [2] は，デコーダーの各ステップにおいて出力単語を生成する際に，LSTM エンコー
ダーの各隠れ状態を参照することで，長文においてもNMT モデルを提案する．提案モデルでは，エンコー
ダー LSTM の各隠れ状態 (h̄1 , h̄2 , ..., h̄n ) を単語レベルの中間表現，エンコーダーの最終隠れ状態 h̄n を文レベルの中間表現として扱う．本研究では，文レベル翻訳精度の減少を抑える機構である．アテンション機の中間表現とのアテンションを活用する方法として 2構の概要図を図 1 に示す．

つ提案する．

アテンション機構付きエンコーダー・デコーダーモ
デルでは，出力単語の確率分布を計算する際，式 (3)において，hj の代りに以下の式 (4) で算出される ĥ を3.1用いる．

提案手法 1

提案手法 1 の概要図を図 2 に示す．提案手法 1 では，ĥ = tanh(Wc [ct ; hj ])(4)

ここで，Wc ∈ RH × 2H は重み行列である．また，式MirrorGAN[3] に倣い，文レベルの中間表現とのアテンション Sattn を次式 (7) のように計算する．

(4) における ct は文脈ベクトルと呼ばれ，式 (5) のよ

Sattn = h̄n ◦ (sof tmax(hj ◦ h̄n ))うに，LSTM エンコーダーの各隠れ状態 (h̄1 , ..., h̄n )の加重平均（重みは αt ）である．

ct =n∑
i=1αt (i)h̄i(7)ここで，◦ は要素積である．

(5)

そして，出力単語の確率分布は，Sattn を式 (4) に追加連結して算出した ḣ に基づき獲得する．具体的には― 1290 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 実験結果
手法 BLEU(%)
ベースライン

21.26

提案手法 121.11

提案手法 221.98

MOSES2 を使用し，日本語文の単語分割には kytea3を使用した．学習データは日本語文と英語文ともに単語数が 50 単語以下である文対のみに制限し，10 万文対の対訳データを用いて学習を行った．開発データは1,790 文対，テストデータは 1,812 文対である．

4.2
図 3: 提案モデル (提案手法 2)

本実験では，4 節で提案した 2 つの提案手法と，ベー次式 (8) のように算出した ḣ を，式 (3) において hj の代りに用いることで出力単語の確率分布を算出する．

ḣ = tanh(Ws [ct ; Sattn ; hj ])実験設定

スラインとして，文レベルの中間表現とのアテンションを考慮しない従来のアテンション機構付き NMT モ
デル [2] の翻訳性能を評価し，性能を比較した．
各モデルにおいて，エンコーダーには 2 層の双方向(8)LSTM を用い，デコーダーには 2 層の単方向 LSTMを用いた．単語埋め込み層，隠れ層の次元はともに 256

ここで，Ws ∈ RH × 3H は重み行列である．

次元とした．各モデルの学習では，最適化手法として

3.2

Adam[4] を使用し，learning rate=0.1 とした．また，提案手法 2

ミニバッチサイズは 100 とし，p=0.1 の dropout を適提案手法 2 の概要図を図 3 に示す．提案手法 2 のア用した．エポック数は 20 としてモデルを学習し，開テンション機構では，単語レベルの各中間表現に文レ発データにおいて最も BLEU[5] が高かったモデルをベルの中間表現を連結させたものとのアテンションを選択し，選択したモデルのテストデータに対する翻訳計算する．具体的には，エンコーダーの各隠れ状態と性能を最終的な評価とした．のアテンションを計算する際，次式 (9) のように算出した h̃i を使用する．つまり，式 (5) と式 (6) の h̄i とh̄k を h̃i や h̃k に置き換えて ct を算出する．ct の算出

5以降は従来のアテンション付き NMT と同様である．

h̃i = Wl [h̄i ; hn ](9)

結果
実験結果を表 1 に示す．表 1 より，提案手法 1 の翻訳性能はベースラインの翻訳性能を上回ることができなかったが，提案手法 2 の翻訳性能はベースラインのここで，Wl ∈ RH × 2H は重み行列である．

翻訳性能を上回った．この結果から，提案手法 2 のように文レベルの中間表現をアテンションに用いる手法

4

実験

4.1

実験データは有効であることが実験的に確認できた．

本実験では，科学技術論文をもとに作成された日英対訳コーパスである Asian Scientific Paper Excerpt

Corpus (ASPEC)1 を用いた．英語文の単語分割には
1 http://orchid.kuee.kyoto-u.ac.jp/ASPEC/― 1291 ―2 https://github.com/moses-smt/mosesdecoder/tree/master/scripts/tokenizer
3 http://www.phontron.com/kytea/index-ja.html

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

6

おわりに

[5] Kishore Papineni, Salim Roukos, todd Ward,and Wei-Jing Zhu. BLEU:a Method for Automatic

本研究では，文レベルの中間表現とのアテンションをアテンション機構で用いるアテンション機構付きNMT モデルを提案した．そして，日英翻訳において，Evaluation of Machine Translation. In Proceedingsof the 40th Annual Meeting of the Association for
Computational Linguistics, pp. 311-118, 2002.

単語レベルの各中間表現に文レベルの中間表現を連結させたものとのアテンションを考慮することで翻訳性能を改善できることを確認した．今後は，ASPEC 日
英翻訳以外の翻訳タスクにおいても提案モデルの有効性を検証したい．また，Transformer に基づく NMTモデルに対して，文レベルの中間表現とのアテンションを考慮するアテンション機構を導入したい．

7

謝辞
本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである．また，本研究の一部は JSPS 科研費 18K18110 の助成を受けたものである．ここに謝意を表する．

参考文献[1] Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence to sequence learning with neural networks.
In Advances in neural information processing systems, pp. 3104–3112, 2014.
[2] Minh-Thang Luong, Hieu Pham, and Christopher

D.Manning.

EﬀectiveApproaches

toAttention-based Neural Machine Translation. InProceedings of Proceedings of the 2015 Conference on Empirical Methods in Natural Language
Processing, pp. 1412-1421, 2015.
[3] Tingting Qiao, Jing Zhang, Duanqing Xu,and Dacheng Tao. MirrorGAN:Learning Text-toimage Generation by Redescription. In Proceedings of the IEEE Conference on Computer Vision
and Pattern Recognition, pp.1505-1514, 2019.
[4] Diederik Kingsma and Jimmy Ba. Adam: AMethod for Stochastic Optimization. In Proceedings of the 3rd International Conference for Learning Representations, 2015.

― 1292 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.