言語処理学会 第30回年次大会 発表論文集（2024年3月）

重文・複文翻訳における Transfomer の性質
丸山京祐 1 村上仁一 2
1 鳥取大学大学院持続性社会創生科学研究科
2 鳥取大学工学部
1 m23j4056b@edu.tottori-u.ac.jp
2 murakami@tottori-u.ac.jp

概要

2.1

本論文では，重文・複文の翻訳において対訳単文を学習することが精度に与える影響を Transformerと RNN を比較し調査した．その結果，自動評価指標では Transformer は RNN よりも対訳単文が翻訳精度向上に貢献することが分かった．しかし，人手評価で Transformer と RNN を比較した結果，自動評価指標の数値から期待されるほどの高い翻訳精度が得られなかったことを示す．

2014 年 に ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 使 っ た 機
械翻訳は提案された．特に再帰的ニューラルネッ
ト ワ ー ク (RNN) を 用 い て 単 語 の 語 順 を 学 習 す る
seq2seq モデルが注目された [2]．

1

はじめに

近年，機械翻訳の分野において Transfomer が高く評価されている [1]．Transfomer はアテンション機構を持ち，単語同士の依存関係を学習できる．
そこで，重文・複文の翻訳について考えた．重文・複文の翻訳は複雑な文構造を翻訳することが重要である．文構造を翻訳するためには句や係り受けといった単語の依存関係を捉えることが必要になる．そのため，アテンション機構により単語の依存関係を適切に捉えることが翻訳精度向上に繋がる．また，単語の依存関係を学習するために対訳単文の学習を考えた．単文は単純な構造を持つため，単語の依存関係を学習しやすい．したがって，Transformer の学習コーパスに対訳単文が多く含まれることにより文構造を理解しやすくなる．そして，重文・複文の翻訳精度向上に繋がると推測できる．
本論文では，対訳単文を変化させながら学習す
る こ と で 重 文・複 文 の 翻 訳 精 度 に 与 え る 影 響 をTransformer と RNN を比較し調査した．

2

先行研究
本研究で考察する翻訳モデルについて説明する．

2.2

再帰的ニューラルネットワーク (RNN)

Transformer

Transformer は Vaswani らによって提案された [3]．
従来の RNN の考え方に基づく機械翻訳モデルは長い文や複雑な文を処理することが難しい．その解決策として，アテンション機構を組み込んだ手法が導入されていた [4]．それに対して，Vaswani らは RNNに基づく手法では根本的な解決には限界があると考えた．そこで，アテンション機構のみに依存する手法としては提案された．

実験

3

本実験は，以下の手順で行う．
1. 重文・複文のみの対訳コーパスに対訳単文を少しずつ加えていき，複数のコーパスを作成する
2. 各々のコーパスを Transformer モデルと RNN モ
デルで学習し翻訳モデルを作成する
3. 2 で作成した全ての翻訳モデルで重文・複文のテスト文を翻訳する
4. それぞれの出力に対し自動評価と人手評価を行う

3.1

実験条件

本実験の実験条件を示す．日本語の分かち書きには mecab-python3 1.0.6 を使用する．辞書は unidic
1.1.0 を使用する．NMT の学習・翻訳には OpenNMTpy 2.3.0 を 使 用 す る．基 本 的 に 翻 訳 モ デ ル の パ ラ
メータは Vaswani らの研究 [3]，RNN は Luong らの― 48 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

研究 [4] に従う．ただし，Luong らの RNN はアテン
ションベース RNN モデルである．
表13.2

デルで学習した結果を表 7 に示す．テストデータは重文・複文コーパスのテスト文 9,243 文である．

実験条件

形態素解析ツール

mecab-python3 1.0.6

形態素解析辞書

unidic 1.1.0

NMT ツール

former で学習した結果を表 6 に示す．また，RNN モ

表6Transformer モデルの自動評価

学習データ
重・複単文
92,427 文
0文
92,427 文
20,399 文
92,427 文40,797 文
92,427 文
81,594 文
92,427 文 163,188 文OpenNMT-py2.3.0

コーパス

使用するコーパスは電子辞書などから抽出した対BLEU
0.157
0.173
0.182
0.204
0.232

自動評価指標METEORTER
0.399 0.687
0.420 0.668
0.429 0.659
0.457 0.642
0.479 0.616

RIBES
0.712
0.723
0.732
0.743
0.757

訳文から作成された日英対訳単文コーパスと日英対表7

訳重文・複文コーパスである [5]．表 2 に使用したコーパスの情報を示す．また，表 3，4 にコーパスの一部を示す．
表2

日英対訳データベース

対訳単文コーパス

学習文

163,188 文

テスト文

16,328 文

対訳重文・複文コーパス 学習文

92,427 文

テスト文

対訳単文を学習しないときは RNN がより高い精度を示す．しかし，対訳単文の量が増加するにつれてTransformer の精度の上昇がより大きくなっている．
特に，重文・複文 92,427 文 + 単文 163,188 文の結果では Transformer は RNN より BLEU 値で 0.041 大きい値を示している．

4.2に 大 き い 差 が あ っ た 重 文・複 文 92,427 文 + 単 文
163,188 文で学習した結果の人手評価を行った．テスト文から 100 文を抽出し，著者を含む 5 人で対比

表 5 学習用コーパス92,427 文

較評価を実施した．kappa 値は 0.55 であった．評価

合計基準を表 8 に示す．評価結果を表 9 に示す．

92,427 文

表 8 評価基準

20,399 文 112,826 文

92,427 文40,797 文 133,224 文

92,427 文

81,594 文 174,021 文

RNN

RNN の方が良い⃝

どちらも翻訳が正しい

×同程度の精度で翻訳が間違っている

実験結果

4.1

Transformer の方が良い

Transformer

92,427 文 163,188 文 255,615 文

4

人手評価

Transformer と RNN を比較した際，自動評価で特対訳単文と対訳重文・複文の数をそれぞれ示す．

0文

RIBES
0.731
0.734
0.739
0.748
0.756

している．Transformer と RNN の結果を比較すると，

表 5 に実験で作成した学習用コーパスにおける，92,427 文

自動評価指標METEOR
TER
0.423 0.687
0.434 0.677
0.444 0.667
0.459 0.648
0.466 0.640

BLEU 値を除き，対訳単文の増加に従い精度が向上

表 4 日英対訳重文・複文コーパスの例文
毎日 自転車 に 乗っ て 通 I ride my bicycle to and fromschool every day .
学 し て い ます 。
毎 日 タ イ プ ラ イ タ ー で A daily stint at the typewriter
決まっ た 分量 だけ の 仕 is excellent discipline for a
事 を する という こと は writer .
文筆 家 に は 優れ た 修業法だ。

対訳単文

BLEU
0.163
0.173
0.180
0.1920.191

表 6，7 よ り，RNN モ デ ル の 単 文 163,188 文 の9,243 文

表 3 日英対訳単文コーパスの例文
１ ドル 紙幣 を 崩した 。 She broke a dollar bill intochange .
あかり が 一 晩 中 つい て The lights have been burning
all night .
いる 。

対訳重文・複文

RNN モデルの自動評価

学習データ
重・複単文
92,427 文
0文
92,427 文
20,399 文
92,427 文40,797 文
92,427 文
81,594 文
92,427 文 163,188 文

表 9 より，人手評価においては transformer と RNNの精度は同等か RNN の方がわずかに精度が高い．

自動評価

本 実 験 で は，自 動 評 価 指 標 と し て BLEU[6],4.3

METEOR[7], TER[8], RIBES[9] を 使 用 し た．Trans-― 49 ―

出力結果の例文

表 10,11,12,13,14 に出力結果の一部を示す．

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 9 重文・複文 92,427 文 + 単文 163,188 文で学習した時の Transformer と RNN の対比較評価
評価者
A
BC
DE
合計

Transformer
1721
21
111787

RNN
2123211819102⃝
2228292924132

×40
28294240179

参照文
Transformer
RNN

表 10 Transformer の出力が良い例
テスト文
その よう な 危機 に 直面 し て も
彼女 が 冷静 な の に 驚い た 。
参照文
He wondered at her composure in sucha crisis .
Transformer
RNN

テスト文とても小さくなるという反対の意味になっている．
それに対し，RNN の出力は前回のデモより大きくなるという意味になっている．また，RNN の出力はEven if we face such a crisis , she wassurprised at her composure .
Her face in the face of such a crisis surprised her .

「protest」が連続して出現し文法が誤っている．これ
らの理由から同じ程度の翻訳間違いだと評価した．
テスト文

い．それに対して，RNN の出力は「直面する」を意

参照文

味する動詞の「face」が名詞のような用法で 2 回出Transformer

現し「冷静」は翻訳されていない．

RNN

参照文
Transformer
RNN

In , its demonstrations are expected to
be extremely small .
The number of demonstrators in is expected to grow even more than the lastpast protest protest .

表 13 では，Transformer の出力は「〜でのデモ」が

表 10 では，Transformer の出力は誤訳とは言えな

テスト文

表 13 両方悪い例〜 で の デモ は 過去 の 抗議 デモなど ちっぽけ に 見え て しまう ほ
ど の 規模 に なる 見込み だ 。
The scope of demonstrations in is expected to dwarf all past protests .

表 11 RNN の出力が良い例
ご 存じ の よう に 、 自動 車 業 界
は 法律 の 要求 を 満たす こと が でき ない と 主張 し て い ます 。
As you may know , the automotive industry claims that requirements of theAct can not be met .

表 14 評価が分かれた例
子供 たち は みやげ物 を 売ろう と観光 客 に つきまとっ た 。
The children tagged along at the tourists’ heels , trying to sell souvenirs .
The children visited the tourists to doaway with souvenirs .
The children followed the tourists to buy
their gifts .

表 14 は評価者によって評価が分かれた例である．
Transformer の出力は「つきまとう」を「visit（訪れる）」，「売る」を「do away with（処理する，廃棄する）」と翻訳している．似た状況を表す言葉ではあWill you know the automobile industry
is a problem ?
As you know , we insist that the automobile industry will not meet the demandsof law .

る が，誤 っ た 翻 訳 に な っ て い る．そ れ に 対 し て，
RNN の出力は「売る」を「buy（買う）」と翻訳しており，反対の意味になっている．判断が分かれた理由は，RNN の出力において反対の意味の部分がと

表 11 では，RNN の出力は参照文と比較すると主ても近いと判断した評価者と全く異なると判断した語が異なる．しかし，テスト文の情報では主語が評価者がいた事である．

「we(私達)」とも解釈できるため正しい翻訳であると判断した．それに対して，Transformer の出力は全く5

考察

5.1

実験結果の考察意味の異なる疑問文である．

テスト文
参照文
Transformer
RNN

表 12 両方良い例
合図 が 出る と すぐ 彼 ら は 席 に着い た 。
They took their seats at a given signal .

Transformer はアテンション機構により単語の依存関係を学習できる．そこで，複雑な文の翻訳において単語同士の関係が理解しやすい単文を学習することが翻訳精度向上に重要であると仮定した．

As soon as the signal was given , they
got to their seats .
They sat at their seats as soon as thesignal was given .

表 6,7 より，自動評価では transformer は RNN に比べ対訳単文の量の増加による精度の向上がかなり大きいことが分かった．しかし，表 9 の人手評価で表 12 では，どちらも正しく翻訳できている．「asは同程度か RNN の方が少し良い結果となった．
以上より，Transformer は対訳単文の学習により単soon as ~」の節の位置が異なるがどちらも文法は正しい．

語同士の依存関係を学習し句のレベルで正しく翻訳― 50 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

しやすくなり自動評価の数値は向上する．しかし，

表 17 単文翻訳の人手評価結果
評価者ABCDE
合計

表 11 からもわかるように「you know」や「we insist
that the automobile industry」といった句単位で翻訳ができても，文全体の文構造が間違っていれば正しい翻訳ができなくなる．つまり，単語同士の依存関係を学習し句単位の翻訳が強化されたことによって複雑な文構造の翻訳は精度が低下したと考えられる．

5.2

単語単位の翻訳による誤訳

RNN2316221425100⃝
3944395938219×2623231723112

表 15，16 より，自動評価指標では複文と同様にTransformer は RNN よりも単文を学習するほど精度

本研究では，句単位の翻訳が強化されたことが複雑な文構造の翻訳に悪影響を及ぼしたと考察した．
翻訳タスクにおいて，単語単位の翻訳により文全体では誤訳する問題が指摘されてきた．例えば，「彼は冗談が過ぎた．
」の正しい翻訳は「His joke went toofar.」である．それに対して，単語単位で翻訳すると「He passed joke.」となり，元の文とは異なる意味になってしまう．の向上が大きい．そして，学習データが重文・複文92,427 文 + 単文 163,188 文の数値は Transformer の方が高い．さらに，人手評価では重文・複文テスト文の結果と同様に Transformer が RNN と比べて精度が低いことがわかる．そのため，単純な文構造であっても一部が正しく全体が間違った翻訳が出力されてしまうことがわかる．

5.4

本研究の結果より，Transformer は単語単位の翻訳による誤訳に近い問題が発生しやすくなると考えられる．

5.3

Transformer
121715101468

低資源の学習による影響

Google 翻訳や DeepL などの一般的に使用される機械翻訳ツールは大規模なコーパスで学習される．
しかし，本実験は約 9 万文対，約 16 万文対と比較的単文翻訳小規模なコーパスを使用した．表 6，7 からわかる

本研究では，重文・複文の翻訳精度を調査する実験を行った．そこで，実験の結果が文構造の複雑さに影響されているのか調べるために，単文の翻訳実験も実施した．
この実験では表 2 の対訳単文コーパスのテスト文9,243 文を 3 章と同じモデルで翻訳した．表 15,16 に自動評価の結果を示す．また，重文・複文と同様に学習データが重文・複文 92,427 文 + 単文 163,188 文の RNN と Transformer の結果の人手評価を表 17 に示す．kappa 値は 0.50 であった．
表 15

表 16BLEU
0.157
0.178
0.194
0.215
0.240

自動評価指標METEOR
TER
0.378 0.684
0.414 0.647
0.437 0.628
0.466 0.608
0.496 0.579

RIBES
0.707
0.729
0.747
0.763
0.783

RNN モデルで単文翻訳の自動評価

学習データ
重・複単文92,427 文
0文92,427 文20,399 文
92,427 文40,797 文
92,427 文
81,594 文
92,427 文 163,188 文

BLEU
0.161
0.182
0.189
0.2010.218

自動評価指標METEORTER
0.397 0.678
0.435 0.646
0.448 0.635
0.468 0.613
0.493 0.586

8 万文対から 16 万文対に増加させたときでも自動評価指標の値に増加傾向が見られる．そのため，大規模なコーパスで学習していないことで Transformerのモデルの性質を検証しきれなかった可能性が考えられる．

6

おわりに
本論文では，Transformer に着目して実験を行った．複文の翻訳は複雑な文構造を翻訳することが重要である．そのため，アテンション機構により単語Transformer モデルで単文翻訳の自動評価

学習データ
重・複単文
92,427 文
0文92,427 文
20,399 文
92,427 文40,797 文
92,427 文
81,594 文
92,427 文 163,188 文

ように，RNN とは異なり Transformer は対訳単文をRIBES
0.722
0.747
0.756
0.769
0.787の依存関係を適切に捉えることが翻訳精度向上に繋がる．本研究では構造が単純な単文は単語の依存関係を理解しやすいため，Transformer の学習コーパスに含まれる対訳単文が複文の翻訳精度に大きく貢献
すると仮説を立てた．
実験の結果，自動評価指標では RNN よりも精度が向上することが分かった．しかし，人手評価では期待する成果が得られなかった．理由としては，アテンション機構によって句レベルの翻訳精度が向上したことで句レベルの翻訳が優先され，文全体の構造が誤ることが原因であると推測される．

― 51 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞人手評価に参加した以下の学生に感謝します．
名村 太一，松本 武尊，柳原 弘哉，駿河 樹

参考文献[1] Tianyang Lin, Yuxin Wang, Xiangyang Liu, and Xipeng
Qiu. A survey of transformers, 2021.
[2] Nal Kalchbrenner and Phil Blunsom. Recurrent continuous translation models. In David Yarowsky, Timothy Baldwin, Anna Korhonen, Karen Livescu, and Steven Bethard,editors, Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, pp.
1700–1709, Seattle, Washington, USA, October 2013. Association for Computational Linguistics.
[3] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia
Polosukhin. Attention is all you need. Advances in neural
information processing systems, Vol. 30, , 2017.
[4] Minh-Thang Luong, Hieu Pham, and Christopher D Manning. Eﬀective approaches to attention-based neural machine translation. arXiv preprint arXiv:1508.04025, 2015.
[5] 村上仁一. 日英対訳データベースの作成のための 1 考
察. 言語処理学会第 17 回年次大会発表論文集, D4-5,pp. 979–82, 2011.
[6] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-JingZhu. Bleu: a method for automatic evaluation of machinetranslation. In Proceedings of the 40th annual meetingof the Association for Computational Linguistics, pp.
311–318, 2002.
[7] Satanjeev Banerjee and Alon Lavie. Meteor: An automatic metric for mt evaluation with improved correlation
with human judgments. In Proceedings of the acl workshop on intrinsic and extrinsic evaluation measures
for machine translation and/or summarization, pp. 65–72, 2005.
[8] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea
Micciulla, and John Makhoul. A study of translation edit
rate with targeted human annotation. In Proceedings ofthe 7th Conference of the Association for MachineTranslation in the Americas: Technical Papers, pp.

223–231, 2006.
[9] 平尾努, 磯崎秀樹, Kevin Duh, 須藤克仁, 塚田元, 永田昌明. Ribes: 順位相関に基づく翻訳の自動評価法. 言語処理学会第 17 年次大会発表論文集, pp. 1111–1114,
2011.

― 52 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).