# 重文・複文翻訳における Transfomer の性質

丸山京祐 ${ }^{1}$ 村上仁一 ${ }^{2}$
1 鳥取大学大学院持続性社会創生科学研究科
2 鳥取大学工学部
${ }^{1}$ m23j4056b@edu.tottori-u.ac.jp
${ }^{2}$ murakami@tottori-u.ac.jp

## 概要

本論文では，重文・複文の翻訳において対訳単文を学習することが精度に与える影響を Transformer とRNNを比較し調査した. 光の結果，自動評価指標では Transformer は RNNよりも対訳単文が翻訳精度向上に貢献することが分かった.しかし, 人手評価でTransformer と RNN を比較した結果，自動評価指標の数値から期待されるほどの高い翻訳精度が得られなかったことを示す.

## 1 はじめに

近年，機械翻訳の分野において Transfomer が高く評価されている [1] . Transfomer はアテンション機構を持ち , 単語同士の依存関係を学習できる。

乥こで，重文・複文の翻訳について考えた．重文・複文の翻訳は複杂倠な文構造を翻訳することが重要である.文構造を翻訳するためには句や係り受けといった単語の依存関係を捉えることが必要になる.光のため, アテンション機構により単語の依存関係を適切に捉えることが翻訳精度向上に堑がる.また, 単語の依存関係を学習するために対訳単文の学習を考えた . 単文は単純な構造を持つため，単語の依存関係を学習しやすい．したがって， Transformer の学習コーパスに対訳単文が多く含まれることにより文構造を理解しやすくなる. 光して，重文・複文の翻訳精度向上に繋がると推測できる。

本論文では，対訳単文を変化させながら学習することで重文・複文の翻訳精度に与える影響を Transformerと RNN を比較し調査した。

## 2 先行研究

本研究で考察する翻訳モデルについて説明する。

## 2.1 再帰的ニューラルネットワーク (RNN)

2014 年にニューラルネットワークを使った機械翻訳は提案された. 特に再帰的ニューラルネットワーク (RNN) を用いて単語の語順を学習する seq2seq モデルが注目された [2] .

## 2.2 Transformer

Transformer は Vaswani らによって提案された [3] .従来の RNN の考え方に基づく機械翻訳モデルは長い文や複雑な文を処理することが難しい，光の解決策として，アテンション機構を組み込んだ手法が導入されていた [4] . 光れに対して，Vaswani らはRNN に基づく手法では根本的な解決には限界があると考えた．光こで，アテンション機構のみに依存する手法としては提案された。

## 3 実験

本実験は，以下の手順で行う．

1. 重文・複文のみの対訳コーパスに対訳単文を少しずつ加えていき，複数のコーパスを作成する

2. 各々のコーパスを Transformer モデルと RNN モデルで学習し翻訳モデルを作成する
3. 2 で作成した全ての翻訳モデルで重文・複文のテスト文を翻訳する

行う

## 3.1 実験条件

本実験の実験条件を示す . 日本語の分かち書きには mecab-python3 1.0.6を使用する. 辞書は unidic 1.1.0を使用する. NMT の学習・翻訳には OpenNMTpy 2.3.0 を使用する. 基本的に翻訳モデルのパラメータは Vaswani らの研究 [3]，RNN は Luong らの
研究 [4] に従う．ただし， Luong らの RNN はアテンションベース RNN モデルである .

## 3.2 コーパス

使用するコーパスは電子辞書などから抽出した対訳文から作成された日英対訳単文コーパスと日英対訳重文・複文コーパスである [5] . 表 2 に使用したコーパスの情報を示す.また，表 3,4 にコーパスの一部を示す.

表 3 日英対訳単文コーパスの例文 1 ドル紙幣を崩した。 $\begin{aligned} & \text { She broke a dollar bill into } \\ & \text { change. }\end{aligned}$

あかりがー晚中ついて The lights have been burning いる。 all night.

表 4 日英対訳重文・複文コーパスの例文毎日自転車に乗って通 I ride my bicycle to and from 学しています。 I ride my bicycle to 毎日タイプライターで Adaily stint at the typewriter 決まつた分量だけの仕 is excellent discipline for a 事をするということは writer.文筆家には優れた修業法だ。

表 5 に実験で作成した学習用コーパスにおける，対訳単文と対訳重文・複文の数を光れ光れ示す。

## 4 実験結果

## 4.1 自動評価

本実験では,自動評価指標として BLEU[6], METEOR[7], TER[8], RIBES[9] を使用した . Trans- former で学習した結果を表 6 に示す．また，RNNモデルで学習した結果を表 7 に示す. テストデータは重文・複文コーパスのテスト文 9,243 文である。

表 6 Transformer モデルの自動評価

表 7 RNN モデルの自動評価

表 6,7 より, RNN モデルの単文 163,188 文の BLEU 值を除き, 対訳単文の増加に従い精度が向上している. Transformer と RNN の結果を比較すると，対訳単文を学習しないときは RNN がより高い精度を示す.しかし，対訳単文の量が増加するにつれて Transformer の精度の上昇がより大きくなっている。特に, 重文・複文 92,427 文 + 単文 163,188 文の結果では Transformer は RNN より BLEU 値で 0.041 大きい値を示している。

## 4.2 人手評価

Transformer とRNNを比較した際，自動評価で特に大きい差があった重文・複文 92,427 文 + 単文 163,188 文で学習した結果の人手評価を行った.テスト文から 100 文を抽出し，著者を含む 5 人で対比較評価を実施した . kappa 值は 0.55 であった . 評価基準を表 8 に示す. 評価結果を表 9 に示す.

表 8 評価基準

表 $9 より$, 人手評価においては transformer と RNN の精度は同等か RNN の方がわずかに精度が高い。

## 4.3 出力結果の例文

表 10,11,12,13,14 に出力結果の一部を示す.
表 9 重文・複文 92,427 文 + 単文 163,188 文で学習した時の Transformer と RNN の対比較評価

 \\

表 10 では , Transformer の出力は誤訳とは言えない. 光れに対して，RNN の出力は「直面する」を意味する動詞の「face」が名詞のような用法で 2 回出現し「冷静」は翻訳されていない。

 \\

表 11 では , RNN の出力は参照文と比較すると主語が異なる.しかし，テスト文の情報では主語が $\ulcorner\mathrm{we}($ 私達)」とも解釈できるため正しい翻訳であると判断した. 光れに対して, Transformer の出力は全く意味の異なる疑問文である。

表 12 両方良い例

 \\

表 12 では，どちらも正しく翻訳できている.「as soon as 〜」の節の位置が異なるがどちらも文法は正しい.表 13 両方悪い例

 \\

表 13 では , Transformer の出力は「〜でのデモ」がとても小さくなるという反対の意味になっている． それに対し，RNN の出力は前回のデモより大きくなるという意味になっている．また，RNN の出力は 「protest」が連続して出現し文法か誤っている.これらの理由から同じ程度の翻訳間違いだと評価した。

表 14 評価が分かれた例

 \\

表 14 は評価者によって評価が分かれた例である． Transformer の出力は「つきまとう」を「visit（訪れる)」，「売る」を「do away with（処理する，廃棄する)」と翻訳している．似た状況を表す言葉ではあるが，誤つた翻訳になっている。光れに対して， RNN の出力は「売る」を「buy（買う）」と翻訳しており，反対の意味になっている. 判断が分かれた理由は，RNN の出力において反対の意味の部分がとても近いと判断した評価者と全く異なると判断した評価者がいた事である。

## 5 考察

## 5.1 実験結果の考察

Transformer はアテンション機構により単語の依存関係を学習できる。光こで，複杂倠な文の翻訳において単語同士の関係か理解しやすい単文を学習することが翻訳精度向上に重要であると仮定した。

表 6,7より，自動評価では transformer は RNN に比へ対訳単文の量の増加による精度の向上がかなり大きいことが分かった．しかし，表 9 の人手評価では同程度か RNN の方が少し良い結果となった。

以上より，Transformer は対訳単文の学習により単語同士の依存関係を学習し句のレベルで正しく翻訳

しやすくなり自動評価の数値は向上する．しかし，表 11 からもわかるように「you know」や「we insist that the automobile industry」といった句単位で翻訳ができても，文全体の文構造が間違っていれば正しい翻訳ができなくなる.つまり，単語同士の依存関係を学習し句単位の翻訳が強化されたことによって複雑な文構造の翻訳は精度が低下したと考えられる。

## 5.2 単語単位の翻訳による誤訳

本研究では, 句単位の翻訳が強化されたことが複雑な文構造の翻訳に悪影響を及ぼしたと考察した。翻訳タスクにおいて, 単語単位の翻訳により文全体では誤訳する問題が指摘されてきた。例えば，「彼は冗談が過ぎた .」の正しい翻訳は「His joke went too far.」である.觉れに対して，単語単位で翻訳すると 「He passed joke.」となり，元の文とは異なる意味になってしまう .

本研究の結果より, Transformer は単語単位の翻訳による誤訳に近い問題が発生しやすくなると考えられる。

## 5.3 単文翻訳

本研究では, 重文・複文の翻訳精度を調査する実験を行った. 光こで, 実験の結果が文構造の複雑さに影響されているのか調べるために，単文の翻訳実験も実施した。

この実験では表 2 の対訳単文コーパスのテスト文 9,243 文を 3 章と同じモデルで翻訳した . 表 15,16 に自動評価の結果を示す.また, 重文・複文と同樣に学習データが重文・複文 92,427 文 + 単文 163,188 文の RNN と Transformer の結果の人手評価を表 17 に示す. kappa 值は 0.50 であった .

表 16 RNN モデルで単文翻訳の自動評価

表 15,16 より,自動評価指標では複文と同様に Transformer は RNN よりも単文を学習するほど精度の向上が大きい，光して，学習データが重文・複文 92,427 文 + 単文 163,188 文の数值は Transformer の方が高い.さらに，人手評価では重文・複文テスト文の結果と同様に Transformer が RNN と比べて精度が低いことがわかる. 光のため, 単純な文構造であっても一部が正しく全体が間違った翻訳が出力されてしまうことがわかる .

## 5.4 低資源の学習による影響

Google 翻訳や DeepL などの一般的に使用される機械翻訳ツールは大規模なコーパスで学習される。 しかし，本実験は約 9 万文対，約 16 万文対と比較的小規模なコーパスを使用した. 表 6,7 からわかるように，RNN とは異なり Transformer は対訳単文を 8 万文対から 16 万文対に増加させたときでも自動評価指標の値に増加傾向が見られる. 光のため，大規模なコーパスで学習していないことでTransformer のモデルの性質を検証しきれなかった可能性が考えられる。

## 6 おわりに

本論文では，Transformerに着目して実験を行った . 複文の翻訳は複雑な文構造を翻訳することが重要である.光のため，アテンション機構により単語の依存関係を適切に捉えることが翻訳精度向上に繋がる.本研究では構造が単純な単文は単語の依存関係を理解しやすいため, Transformer の学習コーパスに含まれる対訳単文が複文の翻訳精度に大きく貢献すると仮説を立てた。

実験の結果，自動評価指標では RNN よりも精度が向上することが分かった.しかし, 人手評価では期待する成果が得られなかった．理由としては，アテンション機構によって句レベルの翻訳精度が向上したことで句レべルの翻訳が優先され，文全体の構造が誤ることが原因であると推測される。

## 謝辞

人手評価に参加した以下の学生に感謝します.名村太一, 松本武尊, 柳原弘哉, 駿河樹

## 参考文献

[1] Tianyang Lin, Yuxin Wang, Xiangyang Liu, and Xipeng Qiu. A survey of transformers, 2021.

[2] Nal Kalchbrenner and Phil Blunsom. Recurrent continuous translation models. In David Yarowsky, Timothy Baldwin, Anna Korhonen, Karen Livescu, and Steven Bethard, editors, Proceedings of the $\mathbf{2 0 1 3}$ Conference on Empirical Methods in Natural Language Processing, pp. 1700-1709, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.

[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. Advances in neural information processing systems, Vol. 30, , 2017.

[4] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Effective approaches to attention-based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.

[5] 村上仁一. 日英対訳データベースの作成のための 1 考察. 言語処理学会第 17 回年次大会発表論文集, D4-5, pp. 979-82, 2011.

[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[7] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures for machine translation and/or summarization, pp. 6572,2005 .

[8] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla, and John Makhoul. A study of translation edit rate with targeted human annotation. In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas: Technical Papers, pp. 223-231, 2006.

[9] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法. 言語処理学会第 17 年次大会発表論文集, pp. 1111-1114, 2011.