4. 自動評価尺度 BLEU
内山将夫@NICT
mutiyama@nict.go.jp

1自動評価尺度 BLEU
Kishore Papineni, Salim Roukos, Todd Ward and Wei-Jing Zhu.
method for Automatic Evaluation of Machine Translation.

(2002) BLEU: aACL.

前提：

MT 訳とプロの翻訳者による (複数の) 翻訳が似ていれば似ているほど，その MT 訳は良いだろう．
自動評価に必要なもの• (複数の) 良質の翻訳
あらかじめ用意しておく• 似ている度合を測定する尺度 → BLEU

2

注：BLEU の妥当性の日本語についての現状• これから紹介する BLEU について，• その MT の評価尺度としての妥当性を検討したもの
は，• 中国語–英語，アラビア語–英語が主であり，• 中日や英日で，しっかりと検証した研究はないようである．
• これについて，我々は，• NTCIR-7 における日英特許翻訳タスクを通じて• 調査する予定であるが，• 今のところは，そのような調査結果はないようであるので，• 英語を例文として利用する．

3

ngram の重なりによる類似度の例
1 番目の良い MT 訳の方が，参照訳と共通する ngram が多い．
MT 訳
1. 1It is a guide to action 2which 3ensures that the military
4 always obyes the 5 commands 6 of the party.
2. It is to ensure the troops forever hearing the activity
guidebook that party direct
参照訳

1. 1It is a guide to action that 3ensures that the military
will forever heed Party 5commands.
2. It is the guiding principle 2which guarantees the militaryforces 4always being under the command 6of the party.
3. It is the practical guide for the army 4always to heed thedirections 6of the party.

4

一般に
1. 多くの ngram を参照訳と共有する MT 訳の方が2. そうでないものよりも良い訳と言えるのではないか
欠点

1. ngram の共有は字面しかみていないので，同義語でも異なるとみなされる．また，活用を考慮していな
い
2. 語順があまり評価に反映されない5

ngram の重なり具合の測り方の悪い例
参照訳中にある ngram 数
ngram 精度 =MT 訳中の ngram 数
不都合な例

MT: the the the the the the theRef1: The cat is on the mat.
Ref2: There is a cat on the mat.
MT 訳は the のみからなり，the は Ref1 と Ref2 の双方に出現しているため，上記定義だと
71gram 精度 =7となる．これはおかしい．

6

修正された ngram 精度P

ngram ある参照訳での ngram の共有数の最大値
MT 訳中の ngram 数
MT: the the the the the the thePn =Ref1: The cat is on the mat.
Ref2: There is a cat on the mat.
P1 = 27
P2 = 07最初の例での計算
10
MT1: P1 = 17=0.94,
P=218
17 = 0.59
81
MT2: P1 = 14= 0.57, P2 = 13= 0.08

MT 訳
1. 1It is a guide to action 2which 3ensures that the military
4 always obyes the 5 commands 6 of the party.
2. It is to ensure the troops forever hearing the activity
guidebook that party direct
参照訳

1. 1It is a guide to action that 3ensures that the military
will forever heed Party 5commands.
2. It is the guiding principle 2which guarantees the militaryforces 4always being under the command 6of the party.
3. It is the practical guide for the army 4always to heed thedirections 6of the party.

8

複数文を翻訳したときの ngram 精度
PP

MT 訳 MT 訳の ngram 修正された共有 ngram 数
Pn =PPMT 訳 MT 訳の ngram ngram の数• 分母としては，全ての MT 訳における全ての ngramの数• 分子は，各 MT 訳について，修正した ngram の共有数を求めて，それを全 MT 訳について足したもの

9修正 ngram 精度の統合
1log Pn
n=1 NNX

Pn = 修正 ngram 精度
N = ngram の最大長 (英語では 4 が多い)
いくつもの ngram 精度を組合せることにより，数値が安定することを意図している．

10

長さに関しての修正 ngram 精度 Pn の性質
参照訳よりも長い MT 訳の場合
共有 ngram 数は，参照訳にある ngram 数を越えないので，参照訳よりも長い MT 訳は，Pn が小さくなる．
参照訳よりも短い MT 訳の場合
短い訳の ngram 精度は，高くなる．これは困った．
P1 = 2/2, P2 = 1/1

MT 訳: of the
参照訳 1: It is a guide to action that ensures that the military will forever heed Party commands.
参照訳 2: It is the guiding principle which guarantees themilitary forces always being under the command of theparty.
参照訳 3: It is the practical guide for the army always toheed the directions of the party.

11短かすぎる MT 訳へのペナルティ
MT 訳の長さとコーパス中の文長 (単語数) の比較
c=r=X

X

MT 訳

M T 訳の長さ

参照訳中で，対応する M T 訳に最近の長さ

参照訳集合

コーパス全体で，長さを計算することにより，一文一文の長さの違いには，あまり影響されないようにする．

BP (brevity penalty)




1
if c ≥ r exp(1 − r/c) if c < rBP = • MT 訳 ≥ 参照訳 のときには，BP = 1 (なにもしない)• MT 訳 < 参照訳なら BP < 1 としてペナルティとする

12自動評価尺度 BLEU1log Pn)
n=1 N• 短い MT 訳へのペナルティ ×
BLEU = BP × exp(NX• ngram 精度の幾何平均

BLEU により始めて可能になること• システムの安価で素早い比較
BLEU により，開発→評価→開発 ... というサイクルが素早く回りはじめた．最近の統計的機械翻訳進展の原動力の一つである．
現状の MT の研究における，標準的な評価尺度である．

13

人手による評価と BLEU の比較
人手による評価• 単言語グループ 10 人 (英語を母語とするもの)• 2 言語グループ 10 人 (中国語が母語)• 各人は，中英翻訳システムが翻訳した 500 文の英文のうちで 50 文を評価
• 各文は，5 つのシステム (S1,S2,S3,H1,H2) が英語に翻訳．ただし，H1 と H2 は人手による翻訳．H1 は日英ともに母語ではない．H2 は英語が母語．
• 評価の方法は，1(非常に悪い)〜5(非常に良い) の点を付ける．
• 単言語グループは，出力された英語の読み易さなどのみをチェック• 2 言語グループは，入力中国語と出力英語とを比較してチェック• 各人が，各文毎に，各システムの評価をするので，システムを比較するときには，同一人の同一文におけるシステム間の評価値の差を求めて，その差が 0 かどうかにより，検定をする．

14

評価値の差の検定 (paired t-test)• ある人 u，ある文 i，あるシステム s について，評価値 r(u, i, s) がある．
• 同じ人と文について，別のシステム s0 について，評
価値 r(u, i, s0) がある．
• これより，s と s0 の評価値の差は d(u, i, s, s0)r(u, i, s) − r(u, i, s0) である．

=

• これを全ての人と文について平均すると m(s, s0) =P0
u,i d(u, i, s, s )• 分散は v(s, s0) = n1 Pu,i(d(u, i, s, s0) − m(s, s0))2 である．
P
ただし，n = u,i 1.
• もし，s と s0 で評価値に差がなければ，m(s, s0) = 0
なので，• これが実際に 0 かどうかを調べるために，m(s, s0)t = s v(s,s0)n−1を計算する．

• t がある値よりも大きければ，統計的に有意差がある．

15

BLEU および人手による評価値
システム BLEU 単言語 2 言語
S10.052700
S20.0829 0.326 0.551
S30.0930 0.44 0.691
H10.1934 2.265 2.574
H20.2571 2.82.612
単言語グループと 2 言語グループにおける数値は，S1 の数値を 0 とし，S2 は，m(S1, S2) を評価値とし，S3 =S2+m(S3, S2) というように，評価値の差に基づいて点数を付けた．

16

BLEU および人手による評価値
1

Normalized score

0.8

0.6

0.4

0.2

Bilingual
Monolingual
BLEU
0S1

S2

S3

H1

H2

• 縦軸が評価値で，横軸がシステムである• 0-1 に正規化したスコアを利用している• BLEU と単言語および 2 言語の評価は似ている• BLEU は単言語グループの評価に似ている• S3 と H1 のような大きな差だけでなく，• H1 と H2，S2 と S3 のような小さい差も検出可能である

17

BLEU と単言語グループのスコアの比較
32.5

Monolingual Judgment

21.5

10.5

0’monolingual.txt’
f(x)
-0.5
00.05

0.1

0.15
BLEU

0.2

0.25

0.3

BLEU は，単言語グループのスコアと相関が高い

18

BLEU と単言語グループのスコアの比較
32.5

Bilingual Judgment

21.5

10.5

0’bilingual.txt’
f(x)
-0.5
00.05

0.1

0.15
BLEU

0.2

0.25

0.3

BLEU は，2 言語グループのスコアとも相関が高い．

19

まとめ
• BLEU は MT 訳と参照訳との類似性を表す尺度である• BLEU と人手評価との相関は高い
BLEU の欠点• 意味は同じでも字面が違う ngram とマッチしない• コーパス全体での値は求められるが文毎の値は求められない→ どの文が上手く翻訳でき，どの文が翻訳できなかったかがわからない
しかし，現在では，ほぼ全ての研究で利用されている．

20