# ニューラル機械翻訳に乱数が与える影響
## 矢野貴大鳥取大学 工学部 \\ b17t2114b@edu.tottori-u.ac.jp

\author{
村上仁一 \\ 鳥取大学工学部 \\ murakami@tottori-u.ac.jp
}

## 1 はじめに

機械翻訳の方式の一つに，Neural Machine Translation(以下, NMT)[1] がある. NMT は学習を行う際に乱数を用いている. ぞのた, 同じデータで学習を行ったとしても出力が異なる.しかし, 精度に大きな差はないとされ，今まであまり考慮されてこなかった．本研究では, NMT において同じデータで学習を行った際，どの程度翻訳結果か変動するかについて調査を行う．

## 2 翻訳評価の手法

## 2.1 翻訳確率 (PRED)

翻訳確率とは, 入力が $\mathrm{a}$ であったときに $\mathrm{b}$ が出力される尤もらしさを数値化したものである.この翻訳確率の対数をとった値が，PREDである. PRED の值が 0 に近いほど，良い翻訳である。

## 2.2 BLEU,METEOR,TER

BLEU[2]，METEOR[3]，TER[4] は機械翻訳の自動評価の手法である . 参照文と翻訳結果をもとに評価を行う

## 2.3 人手評価

著者自身が各出力文に対し $\bigcirc, \triangle, \times$ の 3 つの評価基

準を表 1 に示す。

## 表 1 人手評価の基準

 \\

## 3 調査方法

## 3.1 学習

調査方法における学習の過程では, 同じ学習データを異なる乱数を用いた上でNMT に学習させることで，8 個の NMT を生成する。

## 3.2 翻訳

テスト文を 8 個の NMT 光れ光れに翻訳させ, 8 個の翻訳結果を生成する。

ここで生成された翻訳結果を用いることで，翻訳結果の変化についての調査を行う.

## 4 実験

4.1 実験条件

本研究における調査では, OpenNMT[5] を用いて日英ニューラル機械翻訳を行う。

## 4.2 実験データ

調査に用いるデータの内訳を表 2 に示す. なお, 学習文は全て単文である。

表 2 実験データ

## 4.3 出力結果

出力結果を表 3 に示す.なお，表 3 における評価の列は , 人手評価の結果を示す。

表 3 出力結果

表 3 の結果より，乱数によって出力結果が異なってくることが確認できた .

## 4.4 自動評価結果

自動評価結果を表 4 に示す.なお，表 4 に示す PRED 值は，テスト文 16,000 文各文に対して導出された PRED 值の平均値である。

表 4 の結果より，自動評価の値も異なってくることが確認できた . この表の PRED で最良の値を示したのは NMT 7 であった.また，BLEU で最良の値を示したのは NMT 5であった.

## 4.5 人手評価結果

翻訳を行ったテスト文のうちのランダムな 100 文に対し, 評価を行った．結果を表 5 に示す。

表 5 人手評価結果 (100 文)

表 5 の結果を見ると，モデルによって人手評価の結果が大きく異なることが確認できる．このことより，NMT は乱数の影響を強く受けるということが言える。

また，ここで表 5 の結果と表 4 の結果を比較する. PRED の最も良かった NMT 7 と，BLEU の最も良かった NMT 5 は，どちらも人手評価では振るわなかった．

このことより、自動評価と人手評価の結果が一致するとは限らないということが言える。

## 5 考察

## 5.1 PRED 值平均

人手評価に対応する PRED 値の値の平均を表 6 に示す.

表 6 人手評価と対応する PRED 値の平均

表 6 より, PRED 值が高いほど良い人手評価になる傾向にあることが確認できた．

## 5.2 出力結果 (PRED と人手評価の一致した例)

表 7 に PRED が人手評価と対応がとれている例, 表 8 , 9，10に PRED と人手評価が対応が取れていない例を示す.

表 7 PRED と人手評価の一致した例 1

表 7 については, 人手評価○の文に対しては高めの
PRED 值が , × の文に対しては低めの PRED 値が出ていることが確認できる。

表 8 PRED と人手評価の一致した例 2 (繰り返し文)

表8について, NMT 1，8の出力では the president が繰り返し発生している.しかし意味は取れている文であるため, 人手評価では○とした . 光して PRED についても良い値を示している．このことより，この例において PRED は繰り返し文に対応出来ていた。

表 9 PRED と人手評価の一致した例 3 (He, She 入れ替わり)

表 9 において NMT 5 の出力は He であるべき部分が She となっている. 光してこの出力の PRED 值は下から 2 番目に悪い．PRED 値は類似の例文をもとに導出する．

今回 She の出力で PRED が悪かったのは , 類似の例文に Heで始まるものが多かったからではないかと考える． 5.3 出力結果 (PRED と人手評価が一致しなかった例)

表 10 PRED と人手評価が一致しなかった例 1 (肯定否定が逆でも PRED に大差なし)

表 10 について説明する.NMT2, 4,8 の出力は翻訳すると「自分の将来に不安を感じている」といったニュアンスになる．しかし入力文は「自分の将来に不安を感じていない」であり，これらの出力文は意味が逆になって出力されている.しかし PRED 值においては正解の出力文と大して変わらない値となっている.
表 11 PRED と人手評価が一致しなかった例 2 (意味不明でも PRED は光こまで悪くない)

表 11 において，NMT4，5，8 の出力は入力文と大きく異なる訳であるにもかかわらず，PRED の値は良い． この原因については , 類似する例文が少なかったからではないかと推測する。

表 12 PRED と人手評価が一致しなかった例 3(PRED 低いけど人手評価は○)

表 12 において , NMT4, 6 の出力は人手評価では○とした . しかし PRED 值で見ると , ワーストの 2 文である .

## 5.4 各文に対して最良の PRED 値を選択した際の人手評価結果

表 13 に示す.なお, 表の「PRED 最良」の行では各入力文に対する出力文に最も低い PRED 値を選択した際の結果を示す.また，「理論値」の行では各入力文に対しての出力文に人手評価が最も良いものを選べた際の結果を示す。

表 13 人手評洒結果 (100 文)

表 5 と表 13 を比較すると，PRED 値が最良の出力を選択することで人手評価結果が改善することが確認できた.このことより，PREDによってある程度は翻訳の良し悪しを判定できることが分かった . しかし理論値と比較すると , 改善の余地があることが分かる．

5.5 エポック数の妥当性について

エポック数の値が 100,000 で適切であるかどうかを検証した . ステップ数別の PRED と BLEU の值を表 14 に示す.

表 14 を見ると ,PRED の値は 100,000 以降で , BLEU の值は 70,000 以降頭打ちになっている．光のため，エポック数の值は 100,000 が適切であると判断した.

## 6 おわりに

本研究では, NMT において同じデータで学習を行った際，どの程度翻訳結果が変動するかについて調査を行った. 調査結果より, 同一の学習データで学習させたとしても出力は異なることが分かった . また, 各翻訳評価においても差が生じるということが分かった . 考察より， PRED 値を用いることで NMT の出力を改善出来ることが分かった.

## 参考文献

[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014.

[2] K. Papineni, S. Roukos, T. Ward, and W. J. Zhu. BLEU: a method for automatic evaluation of machine translation. In ACL, 2002

[3] S. Banerjee and A. Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. pages 6572 , 2005.

[4] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. Proceedings of Association for Machine Translation in the Americas, 2006.

[5] G. Klein, Y. Kim, Y. Deng, J. Senellart, and A. M. Rush. OpenNMT: Open-source toolkit for neural machine translation. ArXiv e-prints, 2017.