言語処理学会 第21回年次大会 発表論文集 (2015年3月)

モノリンガルデータを増加させた場合の統計翻訳の精度調査
善行佑介 ∗1 村上仁一 ∗2 徳久雅人 ∗2∗1
鳥取大学 工学部 知能情報工学科∗2
鳥取大学大学院 工学研究科 情報エレクトロニクス専攻∗1,∗2{s102025, murakami, tokuhisa} ＠ ike.tottori-u.ac.jp
はじめに1

表 1 実験で使用するモノリンガルコーパス

統計翻訳は，対訳データから学習する翻訳モデルと，追加コーパス

モノリンガルデータから学習する言語モデルを用いて，辞書文確率的に翻訳をする．

特許翻訳文

アラビア語-英語 [1] や, 中国語-英語 [2] では数百万文

Wikipedia 文

もの多量の対訳データが提供されている．しかし, 日本
語-英語で提供されている対訳データの量は少ない．し日本語文

906,324 文
3,507,231 文
12,893,649 文

評価方法

2.6

たがって，日英翻訳や英日翻訳において多量の対訳デー

英語文

888,443 文
3,507,225 文
14,679,468 文

本実験の評価方法として，人手評価と自動評価を用

タを用いて，精度の高い翻訳モデルを作成することは困いる．

難である．

2.6.1

人手評価

そこで本研究では，データを収集することが容易な，

人手評価は出力文からランダムに 100 文を取りだし，モノリンガルデータを大量に使用して，言語モデルを学

追加コーパスとベースラインの対比較評価を行う．判断

習し，日英翻訳と英日翻訳の翻訳精度の向上を目指す．

基準の例を以下に示す．

実験方法

2

ベースライン○

ベースラインは辞書から抜き出した単文 (辞書文) [3]スありの出力文より翻訳品質が優れを使用する．翻訳モデルの学習には 100,000 文，言語モデルの学習には 100,000 文を用いる．テスト文として辞ベースラインの出力文が追加コーパている

追加○ (辞書文)

辞書文を追加したコーパスの出力文

書文 10,000 文を使用する．ディベロップメント文にはがベースラインの出力文より翻訳品

1000 文を使用する．実験は日英翻訳と英日翻訳を行う．

質が優れている

2.1

差なし

翻訳モデルの学習翻訳モデルを学習するために，GIZA++[4] を用いる．

2.2

言語モデルの学習

言語モデルを学習するために，SRILM[5] の ngram-count を用いる．N -gram モデルに 5-gram の言語モデルを用いる．

2.3

デコーダのパラメータデコーダには moses[6] を用いる．

2.4

パラメータのチューニング

2 つの出力文の翻訳品質に明確な差がない

同出力

2.6.2

2 つの出力文が完全に同じ
自動評価

自 動 評 価 は ，BLEU[7]，METEOR[8]，RIBES[9]，TER[10] を用いる．

3

実験結果

3.1

人手評価

日英翻訳における人手評価の結果を表 2 に，英日翻訳

本実験では 3 種類のコーパスを扱う (第 2.5 節参照) ． における人手評価の結果を表 3 に示す．
表 2 日英翻訳の人手評価
実験条件を揃えるために，各コーパスごとに同じ moses
追加○のパラメータを使う．
ベースライン○(辞書文)差なし
2.5 実験で用いるモノリンガルデータ
121642
本実験では，対訳データの数を固定して，多量のモノベースライン○を調べる．実験データとして，テスト文と同分野の辞書

9文 (Wikipedia 文) の 3 種類を使用する．実験で使用す

30

追加○

リンガルデータをベースラインに加えて翻訳精度の変化
文と，別分野の特許翻訳文，Wikipedia から抜き出した

同出力(特許翻訳文)
11差なし

同出力

3545差なし

同出力

5130

追加○
ベースライン○るモノリンガルコーパスの内訳を表 1 に示す．

― 956 ―

13(Wikipedia 文)
6

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

まり向上しなかった．

表 3 英日翻訳の人手評価

追加○

ベースライン○

差なし

同出力58214

データ量を変化させた実験

4.1

目的7(辞書文)
14

ベースライン○

追加○(特許翻訳文)

差なし

同出力

加する文を FULL のデータから 1/2，1/4 と減らしてい685432

き，モノリンガルデータの量と翻訳精度の関係を調べる．

ベースライン○(Wikipedia 文)
13差なし

同出力5423

追加実験として，辞書文と Wikipedia 文を使用し，追追加○

104.2

実験内容

実験環境は第 2 章と同じである．新たな実験データとして追加するコーパスの 1/2，1/4，1/8 のデータを使

人手評価の結果より，辞書文を追加した日英翻訳・英用し，辞書文と Wikipedia 文で日英翻訳と英日翻訳を

日翻訳では，ベースラインと比べて翻訳精度が向上して行う．
いる．特許翻訳文と Wikipedia 文を追加した日英翻訳・ 4.3 実験結果
英日翻訳では，翻訳精度に変化がなかった．
日英翻訳における辞書文の人手評価の結果を表 6 に，3.2 自動評価
Wikipedia 文の人手評価の結果を表 7 に，英日翻訳に
日英翻訳の自動評価の結果を表 4 に，英日翻訳の自動評価の結果を表 5 に示す．の人手評価の結果を表 9 に示す．日英翻訳の自動評価

表 4 日英翻訳の自動評価
コーパスの内容BLEU

METEOR

RIBES

TER

0.71050.712369.51170.0040.70510.705673.43770.9690.70460.702472.71971.893

辞書文
ベースライン追加あり

0.13820.14990.4552
0.4641

特許翻訳文
ベースライン追加あり
ベースライン追加あり

おける辞書文の人手評価の結果を表 8 に，Wikipedia 文

0.12990.45210.13390.4512
Wikipedia 文
0.13100.45400.13890.4536

表 5 英日翻訳の自動評価
コーパスの内容 BLEU
RIBES

BLEU の結果を図 1 に，METEOR の結果を図 2 に，RIBES の結果を図 3 に，TER の結果を図 4 に，英日翻訳の自動評価 BLEU の結果を図 5 に，RIBES の結果を
図 6 に，TER の結果を図 7 に示す．
表 6 辞書文の日英翻訳の人手評価+98,555 文
ベースライン○(+1/8 FULL) ○ 差なし

7ベースライン
○7ベースライン○TER

辞書文
ベースライン
追加あり

0.17920.1860120.7686
0.769065.95866.637

ベースライン○

特許翻訳文
ベースライン
追加あり
ベースライン追加あり

0.1738 0.7635
0.1741 0.7622
Wikipedia 文
0.1792 0.7694
0.1815 0.7644

1268.097
67.4153647

差なし

同出力4635差なし

同出力4627差なし

同出力4230

表 7 Wikipedia 文の日英翻訳の人手評価+1,822,433 文
ベースライン○(+1/8 FULL) ○ 差なし 同出力

67.02866.9947

自動評価の結果から，辞書文を追加した場合は TER値を除いて，日英翻訳，英日翻訳ともに翻訳精度が向上している．一方特許翻訳文を追加した場合は，日英翻訳
では BLEU 値，RIBES 値，TER 値が，英日翻訳ではBLEU 値，TER 値の翻訳精度がわずかに向上している．
Wikipedia 文を追加した場合は，BLEU 値と TER 値が日英翻訳・英日翻訳ともに翻訳精度がわずかに向上してる．

3.3

10+197,110 文(+1/4 FULL) ○12+394,221 文(+1/2 FULL) ○15+788,443 文(+FULL) ○16

同出力ベースライン○8ベースライン○9ベースライン○13

実験結果のまとめ

辞書文を追加したときの翻訳精度は，日英翻訳・英日翻訳ともに向上した．特許翻訳文と Wikipedia 文を追加したときの翻訳精度は，日英翻訳・英日翻訳ともにあ5+3,644,867 文(+1/4 FULL) ○7+7,289,734 文(+1/2 FULL) ○7+14,579,468 文(+FULL) ○64939差なし

同出力4936差なし

同出力

5133

差なし

同出力5130

人手評価の表において，“+FULL”とは，追加できる最大のモノリンガルデータを，ベースラインのデータに追加した文である．“+1/2 FULL”とは，追加できる最大のモノリンガルデータの 1/2 を，ベースラインのデータ― 957 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

に追加した文である．“+1/4 FULL”と“+1/8 FULL”
も“+1/2 FULL”と同様である．

表 8 辞書文の英日翻訳の人手評価+100,790 文
ベースライン○(+1/8 FULL) ○ 差なし

5ベースライン○6ベースライン○5ベースライン○7
図 1 日英翻訳の BLEU 値の変化

98ベースライン○

10

日英翻訳の METEOR 値の変化

5436差なし

同出力5629差なし

同出力5826差なし

同出力5821

表 9 Wikipedia 文の英日翻訳の人手評価+1,699,206 文
ベースライン○(+1/8 FULL) ○ 差なし 同出力

ベースライン○

図25+201,581 文(+1/4 FULL) ○9+403,162 文(+1/2 FULL) ○11+806,324 文(+FULL) ○14

同出力

ベースライン○

1012+3,198,412 文(+1/4 FULL) ○13+6,396,824 文(+1/2 FULL) ○10+12,793,649 文(+FULL) ○134732差なし

同出力5029差なし

同出力5426差なし

同出力5423

図 3 日英翻訳の RIBES 値の変化

図 5 英日翻訳の BLEU 値の変化

図 4 日英翻訳の TER 値の変化

図 6 英日翻訳の RIBES 値の変化

― 958 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

本実験でも日英翻訳・英日翻訳での BLEU 値が同分野と別分野で向上している．しかし，他の自動評価の値はばらつきがある．上記の関連研究は，BLEU 値が向上したことのみを報告しており，他の自動評価の値は示されない．これは，BLEU の評価の問題点の 1 つであると考えている．

おわりに

7

本研究では英語-日本語間の単文の統計翻訳において，対訳データと比べて，データを収集することが容易な，モノリンガルデータを増やす実験を行った．

図 7 英日翻訳の TER 値の変化

実験の結果，テスト文と同分野のモノリンガルデータ実験結果より，人手評価では辞書文の翻訳精度が日英・ を増やすと，日英翻訳・英日翻訳の翻訳精度が向上した．
英日翻訳ともに，比例して向上している．自動評価でも 一方別分野のモノリンガルデータでは，日英翻訳・英日TER 値を除けば，辞書文の翻訳精度が日英・英日翻訳と翻訳において翻訳精度があまり向上しなかった．
今後は重文複文コーパスや，統計翻訳の別手法での実もに，比例して向上している．

また，分野の違う Wikipedia 文では BLEU 値が日英・ 験を行いたい．
英日翻訳ともに，比例して向上している．しかし，その他の自動評価の結果では，ばらつきがある．

参考文献[1] Li et al.: “Parallel Aligned Treebanks at LDC:New Challenges Interfacing Existing Infrastructures”,
5 考察
LREC 2012, pp.1848-1855, 2012.
5.1 分野の依存性[2] Ruiqiang Zhang and Eiichiro Sumita:“Boosting Statistical Machine Translation by Lemmatization and
今回の実験では，日英翻訳・英日翻訳で翻訳精度におLinear Interpolation”, Proceedings of the ACL 2007,
いて，同分野のモノリンガルデータを増やすと翻訳精度
pp.181-184, 2007.
は向上する．しかし，別分野のモノリンガルデータを追[3] 村上仁一，藤波進:“日本語と英語の対訳文対の収集と著加すると，翻訳精度はあまり向上しなかった．よって，作権の考察”, 第一回コーパス日本語学会ワークショップ,
pp.119-130，2012.
統計翻訳における言語モデルの分野依存性は高い．
[4] GIZA++, http://www.fjoch.com/GIZA++.html
5.2 データ量と翻訳精度の関係[5] SRILM, The SRI Language Modeling Toolkit, http:
辞書文のデータを増やすと人手・自動評価において日//www.speech.sri.com/projects/srilm/[6]moses,
http://www.statmt.org/moses/
英翻訳・英日翻訳の翻訳精度が，増加量と比例して向上[7]
Papineni
et al.: BLEU,NIST: “a method for autoしている．よって，同分野のモノリンガルデータを収集
matic evaluation of machine translation”, 40th Anすることは有用であると考えられる．
nual meeting of the Association for Computational
Linguistics, pp.311–318, 2002.
5.3 人手評価の問題点[8] Banerjee et al.: METEOR: “An Automatic Metric
今回の実験での人手評価は，出力文 100 文に対して対for MT Evaluation with Improved Correlation with
比較を行ったが，翻訳品質に差のある文は 20 文ほどしHuman Judgments”, Proceedings of Workshop on
かなかった．20 文で翻訳精度の差を評価するには信頼
Intrinsic and Extrinsic Evaluation Measures for MT
and/or Summarization at the 43th Annual Meeting of性が低い．よって評価する文数を増やす必要がある．
the Association of Computational Linguistics (ACL5.4 自動評価の問題点
2005), pp.65–72, 2005.
統計翻訳における自動評価では，様々な問題が報告さ[9] 平尾 他: RIBES: “順位相関に基づく翻訳の自動評価法”,
言語処理学会第 17 年次大会発表論文集, pp.1111–1114,れている．松本は，単文を用いて自動評価と人手評価を2011.
行い，評価結果に差異が生じたことを報告している [11]．
[10] Richard Schwartz, Linnea Micciulla, John Makhoul.
本実験でも自動評価の結果と人手評価の結果に差があっ“A Study of Translation Edit Rate with Targeted Huた．今後，自動評価に対する方法を調べる必要がある．
man Annotation”, AMTA, pp.223-231, 2006.
[11] 松本拓也, 村上仁一, 徳久雅人 “機械翻訳における人手評
6 関連研究価と自動評価の考察”, NLP-2012，pp.505-508, 2012
Brants らはアラビア語英語間の統計翻訳において，多 [12] Thorsten Brants, Ashok C. Popat, Peng Xu, Franz
J. Och, and Jeffrey Dean, “Large Language Models
量のモノリンガルデータを使用し，統計翻訳を行った
in Machine Translation”, EMNLP-2007, pp.858-867,[12]．4 種類のモノリンガルデータ，2 つの翻訳手法を用
2007.
いて，BLEU 値が分野に関係なく向上することを報告し[13] Holger Schwenk, “Investigations on Large-Scaleた．また，Schwenk は仏英翻訳で，多量のモノリンガル
Lightly-Supervised Training for Statistical Machine
データを使用し，統計翻訳を行い，BLEU 値が上昇した
Translation”, Proceedings of IWSLT 2008, pp.182189, 2008.
ことを報告している [13]．

― 959 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.