2012/8/31

自動評価方法の研究者の立場から（その1）

自動評価手法がもたらした歓喜と失望、
そして、希望北海学園大学工学部生命工学科
越前谷 博

2012/9/7

自動評価手法がもたらした歓喜と失望、そして、希望

発表の流れ自動評価手法のスタンダード
準スタンダードな自動評価手法
WMT09における自動評価手法
自動評価手法IMPACT結論

2012/9/7

北海学園大学 越前谷博

21

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望

自動評価手法のスタンダード

2012/9/7

北海学園大学 越前谷博

3

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

人手評価の種類絶対評価・・・FluencyとAdequacy Fluency・・・文法的な正確さとイデオムワードの選択
 Adequacy・・・出力文に入力文の意味が正しく伝達されているか

Adequacy

Fluency5

all meaning

5

flawless English

4

most meaning

4

good English

3much meaning

3

non-native English

2

little meaning

2

disfluent English

1

none

1

incomprehensible

相対評価・・・比較評価（「どちらの出力文が良いか？」を判定）
2012/9/7

北海学園大学 越前谷博

422012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

人手評価の問題点[1]評価者ごとのばらつき
 Fluency・・・評価者ごとの平均スコアは2.33から3.67
 Adequacy・・・評価者ごとの平均スコアは2.56から4.13

時間とコストがかかる
SMTの研究者の研究費は潤沢とは言えない。また、短期間に何度も繰り返しシステムを評価したい。

機械翻訳自動評価手法への期待の高まり[1] Philipp Koehn(2010) “Statistical Machine Translation,” Cambridge University Press
2012/9/7

北海学園大学 越前谷博

5北海学園大学 越前谷博

6

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

理想的な自動評価手法
low-cost metrictunable metricmeaningful metric2012/9/7

3

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

どのような自動評価手法が使用されているのか？
圧倒的にBLEUが使用されている

2012/9/7

北海学園大学 越前谷博

7

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

適合率と再現率
SYSTEM A: Israeli officials responsibility of airport safety
REFERENCE: Israeli officials are responsible for airport security
SYSTEM B: airport security Israeli officials are responsible
𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 =𝑐𝑜𝑟𝑟𝑒𝑐𝑡
𝑜𝑢𝑡𝑝𝑢𝑡 − 𝑙𝑒𝑛𝑔𝑡ℎ𝑓 − 𝑚𝑒𝑎𝑠𝑢𝑟𝑒 =𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑟𝑒𝑐𝑎𝑙𝑙(𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑟𝑒𝑐𝑎𝑙𝑙)/2

𝑐𝑜𝑟𝑟𝑒𝑐𝑡
𝑃𝐸𝑅 = 1 −𝑟𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒 − 𝑙𝑒𝑛𝑔𝑡ℎ2012/9/7

𝑟𝑒𝑐𝑎𝑙𝑙 =𝑐𝑜𝑟𝑟𝑒𝑐𝑡
𝑟𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒 − 𝑙𝑒𝑛𝑔𝑡ℎMetricSystem A System B

precision

0.50

0.57

recall0.43

0.57

f-measure

0.46

0.14

PER

0.57

0.43

北海学園大学 越前谷博

842012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

WER: Word Error Rate [2]手法：レーベンシュタイン距離（編集距離）に基づく手法
SYSTEM A: Israeli officials responsibility of airport safety
REFERENCE: Israeli officials are responsible for airport security
SYSTEM B: airport security Israeli officials are responsible
𝑊𝐸𝑅 =𝑠𝑢𝑏𝑠𝑡𝑖𝑡𝑢𝑡𝑖𝑜𝑛𝑠 + 𝑖𝑛𝑠𝑒𝑟𝑡𝑖𝑜𝑛𝑠 + 𝑑𝑒𝑙𝑒𝑡𝑖𝑜𝑛𝑠
𝑟𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒 − 𝑙𝑒𝑛𝑔𝑡ℎMetricSystem A

System B

WER

0.57

0.71

[2] Geroge Leusch, Nicola Ueffing and Hermann Ney(2003) “A Novel String-to-String
Distance Measure With Applications to Machine Translation Evaluation,” Proc. of MT Summit
IX, pp.240-247
2012/9/7

北海学園大学 越前谷博

9

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

WERの特徴スコア：0.0以上（スコアが小さいほど高い評価）
高速処理が可能文単位の評価にも有効
語順に厳しい2012/9/7

北海学園大学 越前谷博

105

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

BLEU: A Bilingual Evaluation Understudy[3]自動評価手法で最もポピュラー手法：n-gram適合率に基づく手法
𝑝𝑛 =𝑛−𝑔𝑟𝑎𝑚∈𝐶 𝐶𝑜𝑢𝑛𝑡𝑐𝑙𝑖𝑝 (𝑛 − 𝑔𝑟𝑎𝑚)′𝐶 ′ ∈{𝐶𝑎𝑛𝑑𝑖𝑑𝑎𝑡𝑒𝑠} 𝑛−𝑔𝑟𝑎𝑚′ ∈ 𝐶𝑜𝑢𝑛𝑡(𝑛 − 𝑔𝑟𝑎𝑚 )𝑐∈{𝐶𝑎𝑛𝑑𝑖𝑑𝑎𝑡𝑒𝑠}𝐵𝑃 =𝑖𝑓 𝑐 > 𝑟1𝑟𝑒 (1− 𝑐) 𝑖𝑓 𝑐 ≤ 𝑟
𝑁

𝐵𝐿𝐸𝑈 = 𝐵𝑃 ∙ 𝑒𝑥𝑝

𝑤𝑛 log 𝑝𝑛
𝑛=1[3] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu(2002) “BLEU: a Method
for Automatic Evaluation of Machine Translation,” Proceedings of the 40th Annual Meeting of
the Association for Computational Linguistics (ACL), pp. 311-318
2012/9/7

北海学園大学 越前谷博

11

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

BLEU
SYSTEM A: Israeli officials responsibility of airport safety
2-gram match

1-gram match

REFERENCE: Israeli officials are responsible for airport security
SYSTEM B: airport security Israeli officials are responsible
4-gram match

2-gram match

n=1～4までのn-gram適合率

2012/9/7

MetricSystem A

System B

p1 (1-gram)

3/6

6/6

p2 (2-gram)

1/5

4/5

p3 (3-gram)

0/4

2/4

p4 (4-gram)

0/3

1/3
北海学園大学 越前谷博

126

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

BLEUの特徴スコア：0.0～1.0（スコアが大きいほど高い評価）
高速処理が可能文単位の評価に適さない

2012/9/7

北海学園大学 越前谷博

13

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

NIST: National Institute of Standards and Technology[4]手法：相互情報量より重み付されたn-gram適合率に基づく手法
𝐼𝑛𝑓𝑜 𝑤1 … 𝑤𝑛 = log 2
𝑁

𝑆𝑐𝑜𝑟𝑒 =
𝑛=1

𝑡ℎ𝑒 # 𝑜𝑓 𝑜𝑐𝑐𝑢𝑟𝑎𝑛𝑐𝑒𝑠 𝑜𝑓 𝑤1 … 𝑤𝑛−1
𝑡ℎ𝑒 # 𝑜𝑓 𝑜𝑐𝑐𝑢𝑟𝑟𝑒𝑛𝑐𝑒𝑠 𝑜𝑓 𝑤1 … 𝑤𝑛

𝑎𝑙𝑙 𝑤1 …𝑤𝑛 𝑡ℎ𝑎𝑡 𝑐𝑜−𝑜𝑐𝑐𝑢𝑟 𝐼𝑛𝑓𝑜(𝑤1 … 𝑤𝑛 )𝑎𝑙𝑙 𝑤1 …𝑤𝑛 𝑖𝑛 𝑠𝑦𝑠 𝑜𝑢𝑡𝑝𝑢𝑡 1∙ 𝑒𝑥𝑝 𝛽 log2 𝑚𝑖𝑛

𝐿𝑠𝑦𝑠
𝐿𝑟𝑒𝑓

,1

[4] NIST(2002) “Automatic Evaluation of Machine Translation Quality
Using N-gram Co-Occurrence Statistics”
2012/9/7

北海学園大学 越前谷博

1472012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

NISTの特徴スコア：0.0以上（スコアが大きいほど高い評価）
高速処理が可能文単位の評価に適さない情報量を重み付けに用いることで意味も考慮

2012/9/7

北海学園大学 越前谷博

15

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

METEOR: Metric for Evaluation of Translation
with Explicit Ordering[5]手法：適合率だけでなく再現率も重要視した一致率に基づく手法
𝐹𝑚𝑒𝑎𝑛 =𝑃∙𝑅
𝛼∙𝑃+ 1−𝛼 ∙𝑅

𝑃𝑒𝑛 = 𝛾 ∙𝑐ℎ𝑚𝛽𝑠𝑐𝑜𝑟𝑒 = (1 − 𝑃𝑒𝑛) ∙ 𝐹𝑚𝑒𝑎𝑛
α、β、γ：パラメータ[5] Alon Lavie and Abhaya Agarwal(2007) “Meteor: An Automatic Metric for MT Evaluation
with High Levels of Correlation with Human Judgments,” Proceedings of the Second
Workshop on Statistical Machine Translation, pages 228–231
2012/9/7

北海学園大学 越前谷博

1682012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 １．自動評価手法のスタンダード

METEORの特徴
スコア：0.0～1.0（スコアが大きいほど高い評価）
単語の語形変化、類義語（WordNet）を利用
処理時間：BLEUやNISTよりは長い文単位の評価に有効適合率と再現率の両方を考慮

2012/9/7

北海学園大学 越前谷博

17

自動評価手法がもたらした歓喜と失望、そして、希望

準スタンダートな自動評価手法

2012/9/7

北海学園大学 越前谷博

1892012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

ROUGE: Recall-Oriented Understudy for
Gisting Evaluation[6]手法：
 Longest Common Subsequence(LCS)に基づく手法：ROUGE-L 参照訳の単語数に対するLCSの長さの割合を再現率、MT訳の単語数に対するLCSの長さの割合を適合率として、再現率と適合率のF値をスコアとしている
 Weighted Longest Common Subsequenceに基づく手法：ROUGE-W LCSに対して重み付けをし、ROUGE-Lと同様、再現率と適合率のF値をスコアとしている n-gramに対して、語順の連続性の制約を排除した一致率（Skip-Bigram）に基づく手法：ROUGE-S
SYSTEM: police killed the gunman𝑃=

3
𝐶(4,2)REFERENCE: police kill the gunman[6] Chin-Yew Lin and Franz Josef Och(2004) “Automatic Evaluation of Machine Translation
Quality Using Longest Common Subsequence and Skip-Bigram Statics,” Proceedings of the42th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 311-318
2012/9/7

北海学園大学 越前谷博

19

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

ROUGEの特徴
スコア：0.0～1.0（スコアが大きいほど高い評価）
高速処理が可能文単位の評価にも有効
語順に厳しい適合率と再現率の両方を考慮

2012/9/7

北海学園大学 越前谷博

2010

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

TER: Translation Error Rate[7]手法：編集距離の3つ操作（substitution, insertion,

deletion）にshiftの操作を加えた4つの操作に基づく手法
TER =𝑠𝑢𝑏𝑠𝑡𝑖𝑡𝑢𝑡𝑖𝑜𝑛𝑠 + 𝑖𝑛𝑠𝑒𝑟𝑡𝑖𝑜𝑛 + 𝑑𝑒𝑙𝑒𝑡𝑖𝑜𝑛 + 𝑠ℎ𝑖𝑓𝑡
𝑎𝑣𝑒𝑟𝑎𝑔𝑒 # 𝑜𝑓 𝑟𝑒𝑓𝑒𝑟𝑒𝑛𝑐𝑒 𝑤𝑜𝑟𝑑𝑠

REFERENCE: SAUDI ARABIA denied THIS WEEK information
published in the AMERICAN new york times
4
insertion=1
𝑇𝐸𝑅 == 0.31sift=1
substitutions=2
SYSTEM: THIS WEEK THE SAUDIS denied information published in
the new york times

13[7] Matthew Snover, Bonnie Dorr, Richard Schwartz, Linnea Micciulla and John
Makhoul(2006) “A Study of Translation Edit Rate with Targeted Human Annotation,”
Proceedings of the 7th Conference of the Association for Machine Translation in theAmericas (AMTA), pp. 223-231
2012/9/7

北海学園大学 越前谷博

21

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

TERの特徴スコア：0.0以上（スコアが小さいほど高い評価）
高速処理が可能文単位の評価にも有効

2012/9/7

北海学園大学 越前谷博

2211

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

自動評価手法で使用する情報
その他の自動評価手法
 GTM（General Text Matcher）：チャンクに基づく手法
 CDER（Cover Disjoint Error Rate）：レーベンシュタイン距離に基づく手法
 NMG_WN（Normalized Mean Grams-Word Number）：最大のgram数に基づく構文的自然性に着目した手法

適合率、再現率の使用
一致単語の利用
 訳語の正確さを評価

一致単語の位置や出現順の利用
 流暢さを評価
2012/9/7

北海学園大学 越前谷博

23

自動評価手法がもたらした歓喜と失望、そして、希望 ２．準スタンダードな自動評価手法

自動評価手法の問題点
絶対評価・・・異なるアーキテクチャ間のMTの評価が不十分
 SMTに対する評価は高いが、RBMTに対する評価は低い

相対評価・・・MTの改良においてベースラインと提案手法間の評価が不十分

2012/9/7

北海学園大学 越前谷博

2412

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望The 2009 Workshop on Statistical MachineTranslation（WMT09）における自動評価手法

2012/9/7

北海学園大学 越前谷博

25

自動評価手法がもたらした歓喜と失望、そして、希望 ３．WMT09における自動評価手法

WMT09[8]WMT:2006年から毎年開催されているSMTの評価型

ワークショップ
WMT09における自動評価手法のランキング
Metric

de-en
(21)

fr-en
(21)

es-en
(13)

cz-en
(5)

hu-en
(6)

Avg.

ulc

.78

.92

.86

1

.6

.83

maxsim

.76

.91

.98

.7

.66

.8

rte(absolute)

.64

.91

.96

.6

.83

.79

meteor-rank

.64

.93

.96

.7

.54

.75

rte(pairwise)

.76

.59

.78

.8

.83

.75

以下14 metricsは省略[8] Chris Callison-Burch, Philipp Koehn, Christof Monz and Josh Schroeder(2009) “Findingsof the 2009 Workshop on Statistical Machine Translation,” Proceedings of the 4th Workshop
on Statistical Machine Translation (WMT09), pp. 1-28
2012/9/7

北海学園大学 越前谷博

26132012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ３．WMT09における自動評価手法

ULC: Uniform Linear Metric Combinations[9]手法：様々な自動評価手法を一つのセットとしてスコアを決定。その際、種々の言語レベルの知識も利用。

𝑈𝐿𝐶𝑋(𝑎,𝑅) =1
𝑋

𝑥(𝑎, 𝑅)𝑥∈𝑋[9] Jesús Giménez and Lluís Márquez(2007) “Heterogeneous Automatic MT Evaluation
Through Non-Parametric Metric Combinations,” Proceedings of IJCNLP, pp. 319-326

2012/9/7

北海学園大学 越前谷博

27

自動評価手法がもたらした歓喜と失望、そして、希望 ３．WMT09における自動評価手法

MaxSim: Maximum Similarity Metric[10]手法：語彙情報を用いたn-gram一致率に基づく手法

𝑠𝑖𝑚 − 𝑠𝑐𝑜𝑟𝑒 =𝑠𝑐𝑜𝑟𝑒𝑠 =

1
𝑁

1
𝑆
𝑁
𝑛=1

|𝑆|

𝑠𝑐𝑜𝑟𝑒𝑠𝑠=1𝐹𝑠,𝑛[10] Yee Seng Chan and Hwee Tou Ng(2008) “MAXSIM: An Automatic Metric for MachineTranslation Evaluation Based on Maximum Similarity,” Proceedings of the Metrics-MATR
Workshop of AMTA-2008, pp. 319-326
2012/9/7

北海学園大学 越前谷博

28

142012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ３．WMT09における自動評価手法

RTE: Recognition of Textual Entailment [11]
手法：Textual Entailment(TE)に基づく手法
SYSTEM: The virus did not infect anybody.
entailment
REFERENCE: No one was infected by the virus.

SYSTEM: Virus was infected.
non entailment
REFERENCE: No one was infected by the virus.
[11] Sebastian Padó, Michel Galley, Dan Jurafsky, Christopher D. Manning(2009) “Textual
Entailment Features for Machine Translation Evaluation,” Proceedings of the 4th Workshop
on Statistical Machine Translation
2012/9/7

北海学園大学 越前谷博

29

北海学園大学 越前谷博

30

自動評価手法がもたらした歓喜と失望、そして、希望

自動評価手法 IMPACT

2012/9/7

15

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT: Intuitive comMon PArts ConTinuum[12]手法
 最長一致のn-gramに対するセンシティブな手法[Philpp Koehn(2010), “Statistical
Machine Translation”]

 ROUGEシリーズを発展させた手法[特許庁(2011), “特許審査関連情報の機械翻訳による英語提供に対する精度評価に係る調査報告書”]

共通部分の再帰的な決定に基づく手法
人間はどのようなヒューリスティックスを使って、共通部分を決定しているのか？

記号列1：a c b a d

共通部分の長さと位置が重要

記号列2：a b c b c d a

LCSはこのタスクにおいて非常に有効[12] Hiroshi Echizen-ya and Kenji Araki(2007), “Automatic Evaluation of Machine Translation
based on Recursive Acquisition of an Intuitive Common Parts Continuum,” Proceedings ofthe Eleventh Machine Translation Summit (MT SUMMIT XI), pp.151-158
2012/9/7

北海学園大学 越前谷博

31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT共通部分の自動決定
記号列1：a c b a d[0,0][1,2][2,3][3,6]記号列2：a b c b c d a

記号列1：[a] [c b] [a] d

0
6a

1

2

3

4

5

b

c

b

c

d

a

0 0

0

0

0

0

0

0

記号列2：[a] b [c b] c d [a]

0

a

0 1

1

1

1

1

1

1

[0,0][1,2][2,3][4,5]

1

c

0 1

1

2

2

2

2

2

記号列1：[a] [c b] a [d]

2

b

0 1

2

2

3

3

3

3

3

a

0 1

2

2

3

3

3

4

4

d

0 特許文書の機械翻訳結果評価方法検討会
1 2 2 3 3 4 4

記号列2：[a] b [c b] c [d] a

LCSの長さ2012/9/7

北海学園大学 越前谷博

32

16

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT共通部分の自動決定
1 2 3 4 56 7
𝑝𝑜𝑠𝑤 = 1.0 −𝑝𝑜𝑠𝑋(𝑐) 𝑝𝑜𝑠𝑌(𝑐)−𝑚𝑛𝑙𝑒𝑛𝑔𝑡ℎ(𝑐)𝛽 × 𝑝𝑜𝑠𝑤

𝑅𝑆 =X：[a] [c b] [a] d
Y：[a] b [c b] c d [a]1𝛽𝑝𝑜𝑠𝑤 = 1.0 −𝑐∈𝐿𝐶𝑆

1 2 3 4 5 6 7

4 7
−
5 7

= 0.801 2 3 4 5 6 7

X：[a] [c b] a [d]X：[a] [c b] a [d]Y：[a] b [c b] c [d] a

Y：[a] b [c b] c [d] a

ここで終わると残された共通部分が無視される

𝑝𝑜𝑠𝑤 = 1.0 −

5 6
−
5 7

= 0.85北海学園大学 越前谷博

2012/9/7

33

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT共通部分の再帰的な決定
1.
2.

決定された共通部分を無視する。除外すると文字の位置が変わってしまうので、あくまでも無視する
前述の式に基づき新たな共通部分を一意に決定する
1 2 3 4 5 6 7

X：[a] [c b] a [d]Y：[a] b [c b] c [d] a

1 2 3 4 5 6 7
X：[a] [c b] [a] [d]Y：[a] b [c b] c [d] [a]1 2 3 4 5 6 7
全ての共通部分を一意に決定する手法を考案できた

X：[a] [c b] a [d]Y：[a] b [c b] c [d] a

これは何に利用できるのか？
自動評価手法に利用

2012/9/7

北海学園大学 越前谷博

34

17

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACTスコア計算（一致度）
 共通部分の長さに応じた重み付けに基づくマッチング（パラメータβ）

𝑙𝑒𝑛𝑔𝑡ℎ(𝑐)𝛽𝑐∈𝐶𝐶X：[a] [c b] a [d]β=2.0の場合

Y：[a] b [c b] c [d] aβ:1.0以上

12.0 + 22.0 + 12.0 = 6 語順の違い応じた重み付けに基づくマッチング（パラメータα）
𝑅𝑁
𝑖=0

α=0.5の場合

X：[a] [c b] a [d]𝛼𝑖𝑙𝑒𝑛𝑔𝑡ℎ(𝑐)𝛽𝑐∈𝐶𝐶α:1.0以下

0.50 × 6 = 6

Y：[a] b [c b] c [d] a
X：[a] [c b] [a] [d]0.51 × 12.0 = 0.5

Y：[a] b [c b] c [d] [a]6 + 0.5 = 6.5
北海学園大学 越前谷博

2012/9/735

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACTスコア計算（正規化）

X：a c b a d

 適合率

𝑃=

Y：a b c b c d a
1
𝛽

𝑅𝑁
𝑖
𝑖=0 𝛼

𝛽
𝑐∈𝐶𝐶 𝑙𝑒𝑛𝑔𝑡ℎ(𝑐)
𝑚𝛽

𝑅𝑁
𝑖
𝑖=0 𝛼

𝛽
𝑐∈𝐶𝐶 𝑙𝑒𝑛𝑔𝑡ℎ(𝑐)
𝑛𝛽

𝑃=

6.5
= 0.5099
52.0

𝑅=

6.5
= 0.3643
72.0

 再現率

𝑅=
 スコア

𝐼𝑀𝑃𝐴𝐶𝑇 =𝛾=
2012/9/7

𝑃𝑅

1 + 𝛾 2 𝑃𝑅
𝛾 2𝑃 + 𝑅1𝛽γ=1.0の場合
𝐼𝑀𝑃𝐴𝐶𝑇 =2 × 0.5099 × 0.3643= 0.4250
0.5099 + 0.3643
北海学園大学 越前谷博

36

18

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT先行研究とのアプローチの違い ルーベンシュタイン距離に基づく手法WER, ROUGE-LはLCSの長さがわかればそれで終了
 METEORやGTMはどのように共通部分（チャンク）の決定における多義性を解決しているのかよくわからない。
 LCSやレーベンシュタイン距離に基づく手法の一番の問題は語順の異なる
共通部分は無視される

2012/9/7

北海学園大学 越前谷博

37

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT
特徴
 マッチングはすべての共通単語を考慮。共通部分ごとにその長さに応じた重み付けをパラメータで制御 語順の違いをパラメータで制御 適合率と再現率のF値を用い、文単位の評価を重視

2012/9/7

北海学園大学 越前谷博

38192012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・NTCIR-7の特許翻訳データにおけるメタ評価[13]
 文単位におけるadequacyのピアソンの相関係数

MetricJAPIO(RBMT)

Kyoto-U(EBMT)

Moses
(SMT)

計14MTの相関係数の平均IMPACT

0.59800.71250.76210.6258ROUGE-L

0.61110.70420.74800.6109BLEU

0.42300.58840.54590.4515NIST

0.41420.40920.3521

0.3423

NMG-WN

0.60670.60680.67700.5653

METEOR

0.39070.49470.29870.3370WER

0.55190.65700.74910.5937[13] Hiroshi Echizen-ya, Terumasa Ehara, Sayori Shimohata, Atsushi Fujii, Masao Utiyama,
Mikio Yamamoto, Takehito Utsuro and Noriko Kando(2009) “Meta-Evaluation of Automatic
Evaluation Methods for Machine Translation using Patent Translation Data in NTCIR-7,”
Proceedings of the 3rd Workshop on Patent Translation, Page.9-16
北海学園大学 越前谷博

2012/9/7

39

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・NTCIR-7の特許翻訳データにおけるメタ評価
 文単位におけるfluencyのピアソンの相関係数

MetricJAPIO(RBMT)

Kyoto-U(EBMT)

Moses
(SMT)

計14MTの相関係数の平均IMPACT

0.5821

0.63200.60340.5115

ROUGE-L

0.59250.63470.58890.4953BLEU

0.44880.55210.47830.3983NIST

0.49870.38110.31160.3030NMG-WN

0.54340.57990.63080.4992

METEOR

0.44200.41530.33510.3022WER

0.52200.64210.62280.48792012/9/7

北海学園大学 越前谷博

40

20

2012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・NTCIR-7の特許翻訳データにおけるメタ評価
 文単位におけるadequacyのスピアマンの相関係数

MetricJAPIO(RBMT)

Kyoto-U(EBMT)

Moses
(SMT)

計14MTの相関係数の平均IMPACT

0.59920.70670.74110.6014

ROUGE-L

0.6092

0.69830.72800.5872BLEU

0.43270.58270.49870.4014NIST

0.42180.44240.29500.3269NMG-WN

0.55790.65240.70150.5813

METEOR

0.40180.4776

0.2861

0.3413WER

0.54780.64800.71310.5478北海学園大学 越前谷博

2012/9/7

41

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・NTCIR-7の特許翻訳データにおけるメタ評価
 文単位におけるfluencyのスピアマンの相関係数

MetricJAPIO(RBMT)

Kyoto-U(EBMT)

Moses
(SMT)

計14MTの相関係数の平均IMPACT

0.55720.6454

0.63190.4915

ROUGE-L

0.5646

0.64280.61590.4712BLEU

0.4286

0.54190.47400.3612NIST

0.45590.41930.30060.2909NMG-WN

0.53810.58500.65020.4992

METEOR

0.44380.42670.32640.3034WER

0.50870.65050.65010.4454

2012/9/7

北海学園大学 越前谷博

42

212012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・NTCIR-7の特許翻訳データにおけるメタ評価
 RBMTにおけるfluencyでの人手評価と自動評価IMPACTのスコアの例
sourcesentence

これらのガスは、所定の割合で混合して用いてもよい。

systemyou may use these gases mixing it by the given
percentage.

reference
No.1

these gases might be used in mixture in aprescribed proportion.

reference
No.2

these gases might be used by mixing at apredetermined percentage.

reference
No.3

these gases might be mixed at a prescribed ratio
and be usedreference
No.4

these gases can be mixed and used at apredetermined ratio.

2012/9/7

human

IMPACT4

0.3917北海学園大学 越前谷博

43

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACT性能評価・・・特許文書のブロック別における評価
 技術分野別（電気、物理、化学）の特性・・・「電気」は他の2分野に比べ、評価精度（人手評価との相関）が高い
 文献種別（公開特許公報分データ、拒絶理由通知分データ）の特性・・・「公開特許公報分データ」の方が「拒絶理由通知分データ」よりも評価精度が高い 部分別（課題、手段、実施、請求項）の特性・・・「請求項」の評価精度が高く、「実施」の評価精度が低い
 原文の長さ別（文字数50～100、文字数101～150、文字数151～）の特性・・・明確な傾向は読み取れなかった「特許庁(2011), “特許審査関連情報の機械翻訳による英語提供に対する精度評価に係る調査報告書”」より

2012/9/7

北海学園大学 越前谷博

44222012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACTその他の関連文献[14]越前谷 博, 江原 暉将, 下畑 さより, 藤井 敦, 内山 将夫, 山本 幹雄, 宇津呂 武仁, 神門 典子(2009) “NTCIR-7データを用いた機械翻訳自動評価規準のメタ評価, 平成20年度AAMT/Japio特許翻訳研究会報告書,” 一般財団法人日本特許情報機構, pp.2-13[15]江原 暉将, 越前谷 博, 下畑 さより, 藤井 敦, 内山 将夫, 山本 幹雄, 宇津呂 武仁, 神門 典子(2009) “機械翻訳精度の各種自動評価の比較,” Japio 2009 Year Book, 一般財団法人日本特許情報機構, pp.272-275[16] Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, Takehito Utsuro, Terumasa Ehara,
Hiroshi Echizen-ya and Sayori Shimohata(2010) “Overview of the Patent Translation Task at
the NTCIR-8 Workshop, Proceedings of 8th NTCIR Workshop Meeting on Evaluation ofInformation Access Technologies: Information Retrieval, Question Answering and Crosslingual Information Access,” pp.371-376[17]越前谷 博, 下畑 さより (2010) “機械翻訳自動評価における名詞句チャンキングの利用,” 平成
21年度AAMT/Japio特許翻訳研究会報告書, 一般財団法人日本特許情報機構, pp.2-11[18] Hiroshi Echizen-ya and Kenji Araki(2010) “Automatic Evaluation Method for MachineTranslation using Noun-Phrase Chunking,” Proceedings of the 48th Annual Meeting of the
Association for Computational Linguistics (ACL 2010), pp.108-117
2012/9/7

北海学園大学 越前谷博

45

自動評価手法がもたらした歓喜と失望、そして、希望 ４．自動評価手法IMPACT

IMPACTにおける今後の展開
処理時間の短縮
 現在、取組中ではあるが、大幅な改善を実現

言語知識の活用
 WMT09においても言語知識に基づく自動評価手法（ULC, MaxSim,

RTE）の評価精度が高い

2012/9/7

北海学園大学 越前谷博

46

232012/8/31

自動評価手法がもたらした歓喜と失望、そして、希望

結論

2012/9/7

北海学園大学 越前谷博

47

自動評価手法がもたらした歓喜と失望、そして、希望 ５．結論結論
現在の自動評価手法は実際に利用可能か？

実用レベルに達しているとは言えないもし、使用するのであれば、
 相対評価に限定して、かつ大幅な改善が見込まれる場合に使用 データの種別に応じて、自動評価手法を使い分ける今後、自動評価手法に明るい展望はあるのか？

言語知識の利用は有効（利用容易性は低下する）
我々、開発者（研究者）の努力が不可欠翻訳、自然言語処理分野に携わる方々の協力も不可欠
2012/9/7

北海学園大学 越前谷博

48

24