機械翻訳自動評価指標の比較
今村 賢治 †§ , 隅田 英一郎 † , 松本 裕治 §† ATR 音声言語コミュニケーション研究所§ 奈良先端科学技術大学院大学{kenji.imamura,eiichiro.sumita}@atr.jp, matsu@is.aist-nara.ac.jp
1

はじめに
機械翻訳の分野においても、対訳コーパスの充実

フィードバッククリーニング

訓練コーパス

評価コーパスに伴い、コーパスベースの手法が盛んになってきている。これは、対訳コーパスから、翻訳規則あるいはモ

規則自動獲得

翻訳規則デルを自動獲得し、それを用いて翻訳を行うものである。

機械翻訳エンジン
機械翻訳結果

規則取捨選択

自動評価

しかし、自動獲得された規則中には、自動獲得のエ
ラーや、コーパスに内在する翻訳の多様性により、冗長な、あるいは問題のある規則が含まれることが多い。そのような問題のある規則は、誤訳や曖昧性の増大を招き、翻訳品質を低下させる。
フィードバッククリーニング (Imamura et al., 2003)
は、冗長規則による翻訳品質低下の問題を、機械翻訳の自動評価を利用して解決を図った手法である。翻訳品質を低下させる規則を自動評価を用いて特定し、自動評価値を向上させるように規則の削除を行う。自動評価方法が主観評価と充分に相関があるならば、クリーニング後の翻訳品質は向上する。

Imamura et al. (2003) は自動評価方法として、
BLEU (Papineni et al., 2002) を用いていたが、この他にも自動評価方法はいくつか提案されている。クリーニング後の翻訳品質は、自動評価方法 (これをクリーニング指標と呼ぶ) に依存して変化すると考えられる。本稿の目的は、これら自動評価方法をクリーニング効果という観点から比較し、フィードバッククリーニングに適したクリーニング指標を特定することである。

2

フィードバッククリーニング

図 1: フィードバッククリーニングの構成
ち、自動評価値を最適化用評価関数値と考え、これを向上させるように、 generate and test を繰り返すことにより実行される。組み合わせ最適化方法には、山登り法を用いている。フィードバッククリーニングの構成を図 1に、手順概要を以下に示す。

1. まず、訓練コーパスから翻訳規則を自動獲得する。これをベースルールセットと呼ぶ。
2. 現在のルールセットを用い、翻訳エンジンは評価コーパス (訓練コーパスとは異なる) 全体を翻訳し、自動評価する。

3. 次に、ルールセット中の規則 1 つ 1 つについて、その規則を削除し、評価コーパスを翻訳して、自動評価値を求める。

4. もし、規則を削除することにより、自動評価値が向上するならば、その規則を削除する。

5. 以上、ステップ 2〜 4を、自動評価値が変化しなくなるまで繰り返す。

フィードバッククリーニングでは、冗長規則の削除

なお、山登り法による組み合わせ最適化を適用したを、組み合わせ最適化問題として捉えている。すなわ

場合、評価コーパスサイズに比例して大量の文を翻訳

0 本研究は通信・放送機構の研究委託「大規模コーパスベース音声対話翻訳技術の研究開発」により実施したものである。

しなければならない。たとえば、評価コーパスサイズが１万文であり、ルールセットが 10 万規則を含んでいたとすると、翻訳回数は 10 億回以上である。この問題を回避するために、フィードバッククリーニングでは、機械翻訳エンジンが使用した規則を抽出し、その規則が使われた文だけを再翻訳することにより、実行可能な時間でクリーニングを行っている。

3

機械翻訳品質の自動評価

3.2

NIST スコア1

NIST スコアは、 BLEU と同様に機械翻訳結果と参照訳の類似度を、両者の n-gram の一致数を基に、以下の式で算出する。

N IST = BPN IST ·

フィードバッククリーニングに使用可能な自動評価N

方式は、評価結果を単一スコアとして出力するものである。本稿では、そのような自動評価として、 BLEU

(Papineni et al., 2002), NIST (Doddington, 2002),
Word Error Rate(WER) (Jurafsky and Martin,2000), Position independent word Error Rate (PER)(Och, 2003) を対象とする。これらはいずれも、機械翻i

翻訳文 i と参照訳 i に共通する w1 . . . wn

n=1

Inf oi (w1 . . . wn )


翻訳文 i 中の全 n-gram 数(2)i

ただし、Inf o(w1 . . . wn ) =評価コーパス中の w1 . . . wn−1 数
log2
評価コーパス中の w1 . . . wn 数

訳結果と、参照訳（同じ原文を人間が翻訳したもの）との類似度を測定することにより、翻訳品質を数値化する。そして、評価コーパス全体について、総和または平均を算出し、システム全体の評価値を出力する方式である。

NIST スコアは、 0 以上の実数で表現され、値が高いほど、良好な翻訳であると判断される。 N は通常 5が用いられる。なお、 BPN IST は、計算方法は異なる

3.1が、 BPBLEU と同様に、翻訳文の長さが参照訳より長BLEU スコア

BLEU は、機械翻訳結果と参照訳との類似度を、両者の n-gram 一致数を基に、以下の式で算出する。
N

(1)
BLEU = BPBLEU · exp
wn log pnn=1

ただし、pn=wn=い場合は 1 である。

BLEU との最大の相違点は、個々の n-gram に情報量に基づく重みがつけられている点である。一般には、機能語列より内容語列の方が情報量が高いため、内容語の翻訳が正しいときに高いスコアを出す傾向がある。

i と参照訳 i で一致した n-gram 数i 翻訳文
i 翻訳文 i 中の全 n-gram 数

1/N

しかし、高次の n-gram になるに従い、コーパス中に存在する数は減少し、 Inf o も減少することが多い。なぜなら、 4 単語連続が一致したときの 5 単語目のバラエティは、 1 単語が一致したときの 2 単語目のバラエ

pn は、評価コーパス全体について、翻訳文と参照訳を比較し、 n-gram(たとえば 2-gram) の一致率を算出

ティに比べ、少ない傾向があるためである。つまり、しているものである。これを 1-gram から N -gram に重視した自動評価スコアであると言える。

NIST スコアは、語順の正しさより、単語訳の正しさをついて幾何平均を求めることにより、スコアを算出する。 N は、通常 4 が用いられる。 1-gram は、単語訳の正しさを表す指標となっており、高次の n-gram

3.3

Word Error Rate (WER), Position independent word Error Rate (PER)

は、翻訳の流暢さを表す指標であるので、 BLEU ス
コアは両者を組み合わせた指標となっている。また、

BPBLEU は、翻訳文が参照訳より短い場合に与えるペナルティ (brevity penalty) で、翻訳文が参照訳より長い場合は 1 である。
このように、 BLEU スコアは 0 〜 1 の実数で表現され、値が高いほど良好な翻訳文であると判断される。

Word Error Rate は、音声認識の自動評価に標準的に用いられているスコアである。機械翻訳の自動評価に用いる場合、翻訳文と参照訳との DP-matching 結果
1 NIST(NationalInstitute of Standards and Technology)

は、米国の公共機関名であるが、そこで開発され、 NIST 主催の機械翻訳ワークショップで採用された自動評価法であるため、通称 NIST
スコアと呼ばれる。

表 1: コーパスサイズ
英語
訓練コーパス
評価コーパス
テストコーパス

対訳文数
形態素数
対訳文数
形態素数
対訳文数
形態素数

日本語
149,882
868,087 984,197
10,14559,53367,554
10,15059,232
67,193を基に、以下の式で算出する。

W ER =

i + 削除語数 i + 置換語数 i)i (挿入語数
i 参照訳 i の語数(3)

つ ま り、 挿 入 コ ス ト、 削 除 コ ス ト、 置 換 コ ス トがすべて 1 のときの編集距離を正規化したもので

表 1の訓練コーパスから獲得された規則数 (ベースルールセット) は、 105,588 規則であった。

評価方法

評価 (BLEU, NIST, WER, PER) と、以下の 2 種類の主観評価を使用した。なお、自動評価ではテストコーパスすべてを用い、主観評価ではテストコーパスのうち 510 文を、評価者１名が評価した。また、自動評価に用いた参照訳は、いずれも 1 原文あたり 1 つである。

1. 一対比較
一対比較は、ベースルールセットによる翻訳結果を基準とし、クリーニング後のルールセットによあ る。 編 集 距 離 に 基 づ く 機 械 翻 訳 の 自 動 評 価 法 にる翻訳結果が向上したか否か、あるいは同品質では、安田 et al. (2002)、Akiba et al. (2003) などがああるか、評価者が 1 文毎に比較する形式で行い、り、主観評価との相関が確認されている。

向上率を算出した。

機械翻訳の自動評価では、たとえ正しく翻訳されていても、翻訳文と参照訳の語順が著しく異なる場合が評価方法は、クリーニング指標による自動

2. 4 段階評価あるため、語順を無視してエラー率を算出する方法も用いられている。これが Position independent word
各翻訳結果を評価者が A(完全訳) 〜 D(不可訳) のError Rate で、以下の式で算出する。

翻訳文 i・参照訳 i 間の一致語数

P ER = 1 − i(4)i 参照訳 i の語数

4 段階で評価した。
A: 完全訳。訳文としてまったく問題なし。
B: 部分訳。文法的に間違っていたり、訳文では情報が欠けていたりして不自然さを伴うが、WER, PER とも、 0 〜 1 の実数で、値が低いほど、よい翻訳であると判断される。

原文で伝えたい主要な情報が容易に復元でき4る。

実験

C: 理解可能訳。訳文はかなり情報が欠けているが、文脈情報や訳文の断片的情報から原文で本稿では、英日翻訳を対象に評価を行う。

伝えたい情報を復元できる。

4.1

実験条件

対訳コーパス

D: 不可訳。原文が伝えたい情報が復元できない。

本実験では、 BTEC (Basic Travel Ex-pression Corpus)(Kikui et al., 2003) を用いる。これは、旅行会話に頻出する表現を集めた基本表現集であ

4.2

実験結果

る。 BTEC コーパスのうち、約 17 万文を、表 1のように、訓練、評価、テストコーパスに分割した。

実験結果を表 2に示す。なお、表中の括弧付き数字は、各評価方法でのクリーニング指標の順位を表す。

翻訳システム本 実 験 で 用 い た 翻 訳 シ ス テ ム は、HPAT (Imamura, 2002) である。これは、構文トラン自動評価による品質測定結果

スファ方式の翻訳システムであり、トランスファの規を除き、クリーニング指標自身で測定したときのスコ則 (変換規則) を、対訳コーパスから階層的句アライメ

アがいずれも最高値を示した。しかし、各指標の順位ント (今村, 2002) を用いて自動獲得する。獲得されたを総和して判断した場合、 WER, NIST, BLEU, PER

規則は、基本的には同期文脈自由文法規則である。の順で翻訳品質が向上した。

自動評価では、 BLEU

表 2: クリーニング指標別翻訳品質(括弧内の数字は、各評価方法での順位を表す)
ベース
削除規則数
自動評価 BLEU

主観評価

NIST
WER
PER
一対比較
A
A+B
A+B+C

主観評価による品質測定結果

00.232
4.88
0.713
0.512
50.8%
66.1%
77.6%

BLEU
6,220
(3) 0.244(3) 4.98(3) 0.695(2) 0.488(1) +5.88%(1) 54.3%(3) 68.2%(3) 80.8%

主 観 評 価 で は、 A

ランクでは、 BLEU,WER の品質向上が大きく、A+B+C ランクでは、 WER, NIST の品質向上が最も大きかった。 A ランクは、訳語の正しさ、文法的正確性の両方を必要とするため、語順まで含めて翻訳文と参照訳が一致したときに高いスコアを示す、 BLEU,WER が好成績を収めたと考えられる。一方、 C ランクは、文法的に崩れていても訳語が正しいければ、

クリーニング指標
NIST
WER
5,070
3,832(2) 0.248(1) 0.252(1) 5.12(2) 5.11(2) 0.684(1) 0.673(4) 0.496(3) 0.489(3) +4.71% (2) +5.69%(3) 53.5%(1) 54.3%(2) 70.0%(1) 70.4%(2) 81.0%(1) 81.2%

PER
3,678(4) 0.228(4) 4.76
(4) 0.730(1) 0.469(4) +3.73%(4) 50.6%(4) 67.3%(4) 80.4%

occurrence statistics. In Proceedings of the HLT
Conference, San Diego, California.
Kenji Imamura, Eiichiro Sumita, and Yuji Matsumoto. 2003. Feedback cleaning of machinetranslation rules using automatic evaluation. In
Proceedings of ACL-2003, pages 447–454.
Kenji Imamura. 2002. Application of translation

自動評価法である NIST が好成績を収めたと考えられ

knowledge acquired by hierarchical phrase alignment for pattern-based MT. In Proceedings ofる。

TMI-2002, pages 74–84.

理解可能と判断されるので、訳語の正確性を重視した

5

今村賢治. 2002. 構文解析と融合した階層的句アライメ

まとめント. 自然言語処理, 9(5):23–42, 10 月.

本稿では、フィードバッククリーニングへの効果とDaniel Jurafsky and James H. Martin. 2000. Speech

いう観点から、機械翻訳品質自動評価方法の比較を

and Language Processing. Prentice-Hall, Inc.

行った。その結果、いずれの指標も翻訳品質を向上させたが、完全訳を重視した場合、 BLEU, WER の効果が高く、理解可能訳を重視した場合、 WER, NIST の効果が高かった。この結果から、語順の制約、単語訳の正確性の両方を測定可能な新たな自動評価方法が必要であると判断される。

参考文献
Yasuhiro Akiba, Eiichiro Sumita, Hiromi Nakaiwa,Seiichi Yamamoto, and Hroshi G. Okuno. 2003.
Experimental comparison of MT evaluation
methods: RED vs. BLEU. In Proceedings of MT
Summit IX, pages 1–8.
George Doddington. 2002. Automatic evaluationof machine translation quality using n-gram co-Genichiro Kikui, Eiichiro Sumita, Toshiyuki
Takezawa, and Seiichi Yamamoto. 2003. Creating corpora for speech-to-speech translation. In
Proceedings of EuroSpeech 2003, pages 381–384.
Franz Josef Och. 2003. Minimum error rate training
in statistical machine translation. In Proceedingsof ACL-2003, pages 160–167.
Kishore Papineni, Salim Roukos, Todd Ward, andWei-Jing Zhu. 2002. BLEU: a method for automatic evaluation of machine translation. In
Proceedings of ACL-2002, pages 311–318.
安田圭志, 菅谷史昭, 竹澤寿幸, 山本誠一, 柳田益造.

2002. 対訳コーパスを用いた翻訳品質自動評価法.
情報処理学会論文誌, 43(7):2108–2117.