研究会報告 2「自動評価法を用いた機械翻訳の定量的評価」

研究報告２

自動評価法を用いた機械翻訳の定量的評価
越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

目次
1.

自動評価法とは

2.

自動評価法における動向•

Workshop on Statistical Machine Translationに参加して

3.

自動評価法：APAC

4.

自動評価法：RIBES

5.

まとめ

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

2

自動評価法とは•なぜ必要なのか•

人間による評価は精度は高いが、時間やコストがかかり、再現性の点で問題がある•

機械翻訳システムの開発サイクルのスピードアップに有効

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

3

自動評価法とは•機械翻訳システムの訳文に対し、定量的な評価を完全自動で行うための技術•

入力：機械翻訳システムの訳文（システム訳）、人手による正しい訳文（参照訳）•

出力：スコア（例：0.0～1.0）•

システム訳に対する評価単位：セグメントレベル（1文）、システムレベル（複数文）•

自動評価法に対する評価（メタ評価）：自動評価法によるスコアと人手評価によるスコアと間の相関を求める（例：スピアンマンの相関係数）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

4自動評価法とは•どんな自動評価法が求められているのか•

人間による評価との相関が高い•

処理速度が速い•

機械翻訳システムへのフィードバックに利用できる（どこが悪いのかを示してくれる）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

5

自動評価法における動向～Workshop on Statistical Machine Translationに参加して第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

6自動評価法における動向：Workshop on
Statistical Machine Translation（WMT）•

2006年よりACL主催の国際会議のワークショップとして毎年開催されている。

•

機械翻訳に関するいくつかのタスクを選定し、タスクごとに評価ワークショップを実施•

EU言語を対象とした機械翻訳技術の進展を目的とするThe EuroMatrix（Statistical andHybrid Machine Translation Between All European Languages）
Projectの活動の一つとして始まった。

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

7

自動評価法における動向：WMT2014•

WMT2014の概要•

2014年6月26日～27日、ACL2014のワークショップとしてボルチモアにて開催•対象タスク•翻訳タスク（Translation task）•

自動評価タスク（Metrics task）•

品質推定タスク（Quality Estimation task）•

医療翻訳タスク（Medical translation task）•

その他：Data and Adaptation、Translation Models

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

8自動評価法における動向：WMT2014•

自動評価タスクにおけるテストコレクション
•

•

システム訳
•

分野：オンラインニュース記事•

翻訳タスクに提出された110の機械翻訳システムのシステム訳を使用•

言語ペアとテストセット：French-English：3,003文, Hindi-English：2,507文, GermanEnglish：3,003文, Czech-English：3,003文, Russian-English：3,003文•

機械翻訳システム：cs-en:5システム、de-en:13システム、en-cs:10システム、en-de:18システ
ム、en-fr:13システム、en-hi:12システム、en-ru:9システム、fr-en:8システム、hi-en:9システム、ru-en:13システム (en: English, cs: Czech, de: German, fr: French, hi: Hindi, ru: Russian)•

セグメント数：cs-en:15,015文、de-en:339,039文、en-cs:30,030文、en-de:49,266文、enfr:39,039文、en-hi:30,084文、en-ru:27,027文、fr-en:24,024文、hi-en:22,563文、ru-en:39,039
文
トータル：315,126文

データの提出•システム訳と参照訳を用いて、開発した自動評価法よりスコアを求める•

システムレベル：110スコア、セグメントレベル：315,126スコア

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

9

自動評価法における動向：WMT2014•

自動評価タスクにおけるテストコレクション•

人手評価
Valentino has always preferredelegance to notoriety.

“Valentino měl vždycky radějieleganci než slávu.
- SourceBest

Rank 1

Rank 2

Rank 3

Rank 4“Valentino should always elegance rather than fame.
BestRank 1

Rank 2

Rank 3“Valentino has always rather than the elegance ofglory.
BestRank 1

Rank 2

Rank 3

Rank 1

Rank 2

Rank 3

Rank 5- Translation 2

Worst

Rank 4

Rank 5- Translation 3

Worst

Rank 4

Rank 5- Translation 4

Worst“Valentino has always had the elegance rather than glory.
BestRank 1

Rank 2

Rank 3

Worst

Rank 4“Valentino has always preferred elegance than glory.
Best- Reference
Rank 5- Translation 1

Rank 4

Rank 5“Valentino has always had a rather than the elegance of the glory. - Translation 5Worst10

自動評価法における動向：WMT2014•

自動評価タスクにおける参加チーム•

12のグループより23の自動評価法が参加
Metrics

Sys

SegAuthors

APAC

●

●

Hokkai-Gakuen University（Echizen’ya, 2014）●

University of Amsterdam（Stanojevic and Sima’an,2014）

BEERRED-＊●●

Dublin City University（Wu and Yu,2014）

DISCO TK-＊●●

Qatar Computing Research Institute（Guzman et al.,2014）

ELEXR

●

University of Tehran（Mahmoudi et al.,2014）

LAYERED●

Indian Institute of Tech.（Gautam and Bhattacharyya,2014）

METEOR●●

Carnegie Mellon University（Denkowski and Lavie,2014）

AMBER

●

●National Research Council of Canada（Chen and Cherry, 2014）

BLEU-NRC●●

National Research Council of Canada（Chen and Cherry,2014）

PARMESAN●Charles University in Prague（Barancikova,2014）

TBLEU

●

Charles University in Prague（Libovicky and Pecina,2014）

UPC-＊

●

●

Technical University of Catalunya（Gonzalez et al.,2014）

VERTA-＊●●

University of Barcelona（Comelles and Atserias,2014）11

自動評価法における動向：WMT2014•

システムレベルのメタ評価•

ピアソンの相関係数

MTシステムSiに対する人手評価のスコア： Hi

人手評価のスコアの平均：

MTシステムSiに対する自動評価法のスコア： Mi 自動評価法のスコアの平均：•人手評価•

TrueSkillを使用・・・ベイズ理論に基づくランキングアルゴリズム

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/2812Fromfrdehi

csru

Avg

DISCOTK-PARTY-TUNED.98.94.96.97.87.94

LAYERED.97.89.98.94.85.93

ISCO.97.92.86.98.86.92.97.91.90.95.84.91

VERTA-W.96.87.92.93.85.91

VERTA-EQ.96.85.93.94.84.90

TBLEU.95.83.95.96.80.90

BLEU-NRC.95.82.96.95

.79

.89

BLEU

.95.83.96.91.79.89

UPC-IPA.97.89.91.82.81.88

CDER.95.82.83.97.80.87

APAC.96.82.79.98.82.87

REDSYS.98.90.68.99.81.87

REDSYSSENT

.98

.91

.64

.99

.81.87

NIST.96

.81

.78

.98

.80

.87

DISCOTK-LIGHT.96.93.56

.95

.79

.84

METEOR

.98

.93

.46

.98

.81

.83

WER

.95

.76

.61

.97

.81

.82

AMBER

.95

.91

.51

.74

.80

.78

ELEXR

.97

.86

.54

.94

-.40.58

自動評価法における動向：D TKUPC-STOUTWMT2014•

システムレベルのメタ評価•

訳文：into English

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

PARTY

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

システムレベルのメタ評価•

訳文：out of English

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

13Intofrhicsru

Avg

deNIST.94.98.98.93.96.20.95.95.98.94.95.28.93.99.97.93.95.24.94.98.98.92.95.26

BELU.94.97.98.91.95.22

PER.94.93.99.94.95.19

APAC.95.94.97.93.95

.35

TBLEU

.93.97.97.91.95.24

BLEU-NRC.93.97.97.90.95

.20

ELEXR

.89.96.98.94.94.26

TER.95.83.98.93.92.32

WER.96.52.98.93.85.36

PARMESAN

--.96

-.96

-

UPC-IPA.94-.97.92.94.28

REDSYSSENT.94---.94.21

REDSYS.94---.94.21

UPC-STOUT.94-.94.92.93.30

自動評価法における動向： CDER
AMBER
WMT2014M•

2014/11/28

ETEOR

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

14自動評価法における動向：WMT2014•

セグメントレベルのメタ評価•

ケンドールの順位相関係数

自動評価法のスコアと人手評価のスコアが一致 ： Concordant
自動評価法のスコアと人手評価のスコアが不一致： Discordant

•

人手評価
Best

Rank 2

Rank 1

Rank 3

Rank 4

Rank 5- Translation 1

Worst

Rank 4

Rank 5- Translation 2

Worst“Valentino should always elegance rather than fame.
BestRank 2

Rank 1

Rank 3“Valentino has always rather than the elegance of glory.
第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

2014/11/28

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

15

自動評価法における動向：WMT2014•

セグメントレベルのメタ評価•

ケンドールの順位相関係数•

例：•HumanMetric

結果

A<B

A<B一致:1C>A

C>A

一致:1C>BC<B

不一致:-1

WMT2014 variant•

自動評価法の結果のみが“=”の場合は0とする•

その場合、分母のみが増加

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

MetricHuman＜＝＞

10-1＝X

X

X＞-101＜越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

16

From

fr

dehi

csru

Avg

DISCOTK-PARTY-TUNED.43.38.43.33

.35

.39

BEER.42.34.44.28.33.36

REDCOMBSENT.41.34.42.28.34.36

REDCOMBSYSSENT.41.34.42.28.34.36

METEOR.41.33.42.28.33.35

REDSYSSENT.40.34.39.28.32.35

REDSENT.40.34.38.28.32.35

de-en：25,260

UPC-IPA.41.34.37.27.32.34

hi-en：20,900

UPC-STOUT.40.34.35.28.32.34

VERTA-W.40.32.39.26.31.34

VERTA-EQ.41.31.38.26.31.34

DISCOTK-PARTY.39.33.36.26.31.33

AMBER.37.31.36.25.29.32

BLEU-NRC.38.27.32.23.27.29

SENTBLEU.38.27.30.21.26.29

APAC.36.27.29.20.28.28

DISCOTK-LIGHT.31.22.24

.19

.21

.23

DISCOTK-LIGHT-KOOL

.00

.00

.00

.00

.00

.00

自動評価法における動向：WMT2014•

セグメントレベルのメタ評価•

訳文：into English•

ペア数：fr-en：26,090

cs-en：21,130
ru-en：34,460

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

2014/11/28

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

17

自動評価法における動向：WMT2014•

セグメントレベルのメタ評価

••

Into

fr

dehi

cs

ru

Avg

BEER

.29

.27.25.34.44.32

訳文：out of English

METEOR.28.24.26.32

.43

.31

ペア数：en-fr：33,350

AMBER.26.23.29.30.40.30

BLEU-NRC.26.20.23.30.39.28

APAC.25.21.20.29.39.27

SENTBLEU.26.19.23.29.38.27

UPC-STOUT.28.23-.28.42.30

UPC-IPA.26.23

-.30

.43

.30

REDSENT.29.24---.27

REDCOMBSYSSENT

.29

.24

---.27

REDCOMBSENT

.29

.24

---.27REDSYSSENT

.29

.24

---.26en-de：54,660
en-hi：28,120
en-cs：55,900
en-ru：28,960

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

18

自動評価法における動向：WMT2014•

システムレベルの総評•

相関係数が0.8～1.0の範囲であり、全体的に高い相関である•

out of Englishにおいてベースライン（NIST, CDER, BLEU, PER）が高順位である••••

English-Hindiを除くとWERも高順位である

into Germanの相関係数が非常に低い•

機械翻訳システムの数（18）が他の言語間より多かった。

•自動評価法において、似たような性能のシステムを差別化することは難しい。

METEORではnon-Latin scriptから英語の順位が低い

セグメントレベルの総評•

相関係数は約0.4であり、まだまだ不十分
自動評価タスクは変わらず興味深いタスクである（12チームが参加）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

fr

de
hi

cs
hi

cs
ru

ru
Avg Avg
deAPAC
NIST.95.94.35.98.98.94.97.93.93.96

.83
.20

CDER.95.28
.95

.98
.95

.98.94.94.95.82.28

M
AMBER
ETEOR.94.93.26.99.97.98.98.93.92.95.82.24

AMBER
METEOR.93.94.24.98.98.99 .97.92.93.95.81.26

NIST
BELU

.94

.20.97.98.98.91.93.95.81.22

提案手法（APAC）の位置づけの把握に有効 ELEXRPER

WMT2014に参加しての感想
•19

Into

自動評価法における動向：WMT2014•

2014/11/28

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

.89
.94

.26.93.99.96.98.94.94.95.81
.19

BELU
APAC.94.95.22.94.97.98.93.91.95.80
.35

TBLEU

.93.24.97.97.97.91.91.95.80.24.95.93.32.97.97.83.98.90.93.95

.80
.20

PER
ELEXR

.94
.89

.19
.96

.98
.93

.99
.94

.94
.94

.80
.26

BLEU-NRC
TER

.93
.95

.20
.83

.98
.97

.97
.93

.90
.92

.80
.32

参考文献：

WER

.96

.36
.52

.98
.52

.98
.93

.93
.85

.75
.36

[1] M. Macháček and O. Bojar: Results of the WMT14 Metrics Shared Task,
Proceedings of the Ninth Workshop on Statistical Machine Translation,
pp.293-301 (2014).

PARMESAN--.96-.96--.96.96-UPC-IPA.94.28-.97-.97.92.92.94.78.28[2] O. Bojar, C. Buck, C. Federman, B. Haddow, P. Koehn, J. Leveling, C.
Monz, P. Pecina, M. Post, H. Saint-Amand, R. Soricut, L. Specia and A.
Tamchyna: Findings of the 2014 Workshop on Statistical MachineTranslation, Proceedings of the Ninth Workshop on Statistical MachineTranslation, pp.12-58 (2014).

UPC-STOUTREDSYSSENT

.94

.30
--.94
-.92
.94

.78
.21

REDSYSSENT

.94

.21
----.94

.58
.21

REDS
UPC-STOUT
YS.94.21-.94--.92-.93.58.30•••

参加前：システムレベルではそれほど有効ではないが、セグメントレベルでは有効

結果：システムレベルはまあまあの順位だが、セグメントレベルの順位は低い
TER
BLEU-NRC

似たような性能のシステムであっても正しく評価できなければならない

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

20

自動評価法：APAC

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

2014/11/28

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

21

自動評価法：APAC
•

•

特徴•

多義性のある一致単語列（チャンク）を大局的な観点から一意に決定：正しいチャンクを決定•

一致単語の語順の違いに柔軟に対応：パラメータの使用

チャンクの決定方法
システム訳 ：a glass guide11
参照訳
第3回特許情報シンポジウム

2

3

2

4

3

： glass guide of
自動評価法を用いた機械翻訳の定量的評価

molded in panel member P

45

5

the plastic

67687910 1112

語順を考慮するために、安易に一致単語のクロスは認めない

8mounting panel

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

made of the resinP2014/11/28

22

自動評価法：APAC•

チャンクの決定方法
候補1：
システム訳 ： a glass guide molded in panel member P made of the resin
参照訳： glass guide of the plastic mounting panel P

score = 3.499
候補2：
システム訳 ： a glass guide molded in panel member P made of the resin
参照訳： glass guide of the plastic mounting panel P

score = 3.446
第3回特許情報シンポジウム

パラメータβ：デフォルト値は1.2

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

23自動評価法：APAC•

スコアの算出方法[1]
システム訳
参照訳

：
a glass guide molded in panel member P made of the resin： glass guide of the plastic mounting panel P
チャンクを再帰的に決定

システム訳
参照訳

：
a glass guide molded in panel member P made of the resin： glass guide of the plastic mounting panel P

パラメータα：デフォルト値はパラメータβ：デフォルト値は1.2

AE score = 0.3268[1] H. Echizen-ya
0.1 and K. Araki:Automatic Evaluation of Machine Translation based on Recursive Acquisition of an Intuitive Common Parts Continuum,
Proceedings of the Eleventh Machine Translation Summit (MT SUMMIT XI), pp.151-158 (2007).
第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

24

自動評価法：APAC•改良[2]•問題点：短い文のスコアが過度に小さくなる
短い文ほど不一致単語の重みが大きくなる

システム訳 ：the doctor treated a patient
参照訳： the doctor cured a patient[2] H. Echizen-ya, K. Araki and E. Hovy: Application of Prize based on
Sentence Length in Chunk-based Automatic Evaluation of MachineTranslation, Results of the WMT14 Metrics Shared Task, Proceedings of theNinth Workshop on Statistical Machine Translation, pp.381-386 (2014).
第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

25

自動評価法：APAC
•

性能評価
•

WMT2012におけるシステムレベルの相関係数（Spearman’s rank）•

WMT2012におけるセグメントレベルの相関係数（Kendall tau rank）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

26

自動評価法：APAC
•

性能評価
•

WMT2013におけるシステムレベルの相関係数（Spearman’s rank）•

WMT2013におけるセグメントレベルの相関係数（Kendall tau rank）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

27

自動評価法：APAC•

性能評価(JE)•

NTCIR-7におけるシステムレベルの相関係数（Spearman’s rank）•

NTCIR-7におけるセグメントレベルの相関係数（Kendall tau rank）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

28

自動評価法：APAC•

性能評価(JE)•NTCIR-9におけるシステムレベルの相関係数（Spearman’s rank）•NTCIR-9におけるセグメントレベルの相関係数（Kendall tau rank）

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

29

自動評価法：APAC•

APACの特徴•

Chef’s tips for evaluation
データ

•

優劣

WMT

システムレベル

METEOR > RIBES > APAC

セグメントレベルMETEOR > APAC > RIBES

NTCIR

システムレベル

RIBES > APAC > METEOR

セグメントレベルAPAC > METEOR > RIBES (NTCIR-7)

セグメントレベルRIBES > APAC > METEOR (NTCIR-9)

相対的には安定した性能を示している。

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

30

自動評価法：RIBES

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

31

自動評価法：RIBES•

システム訳と参照訳の間の語順の近さを測定•

日英・英日の翻訳において人手評価と強い相関がある
NTCIR-7 日英翻訳でのメタ評価
妥当性とのシステムレベルの相関、単一参照訳、スピアマンの相関係数

第3回特許情報シンポジウム

BLEU

METEOR

ROUGE-L

IMPACT

RIBES

0.515

0.490

0.903

0.826

0.947

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

32

自動評価法：RIBES•EMNLP版[1]のRIBESは以下の式で定義される
def

RIBES = NKT×Pα•

def

NKT =•••は正規化したKendall’s τ

システム訳と参照訳で共通する単語の語順の近さを表す。

Pは単語の適合率α1）はＰの影響を制御するパラメータ•α（0•デフォルト値は0.2（低評価）0.0

RIBES1.0（高評価）[1] H. Isozaki, T. Hirao, K. Duh, K. Sudoh and H. Tsukada: Automatic Evaluation of Translation Quality for DistantLanguage Pairs, Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing(EMNLP2010), pp.944-952 (2010).
第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

33

自動評価法：RIBES•BLEUの問題点•SMTの語順が大きく誤っていても高いスコアとなる。

•

因果関係が逆の例参照訳：
He caught a cold because he got soaked in the rain.
SMT訳：
He got soaked in the rain because he caught a cold.

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

34

自動評価法：RIBES•BLEUの問題点•

SMTの語順が大きく誤っていても高いスコアとなる。

•

因果関係が逆の例

SMT訳：he1
1

参照訳：hegot soaked inthe rain because he caught a cold

253

46

BLEU = 0.74234caught a cold

1237567891011891011because he got

4567567

soaked in89the rain1011

BLEU = 0.53
123

RBMT：he caught a
第3回特許情報シンポジウム

4891011

12

cold because he had gotten wet in the rain

自動評価法を用いた機械翻訳の定量的評価

2014/11/28

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

35

自動評価法：RIBES•

RIBESの評価•

SMT訳よりもRBMTを高く評価
6

SMT訳：he1

78

910

115

123445678910118910

11

got soaked in the23rain because hecaught a

RIBES = 0.38

NKT = 0.38
1234

参照訳：he caught a cold
12356

7

because he got soaked inthe rain

45678910114567891011

RIBES = 0.94

NKT = 1.00
1RBMT：he12

3caught a

第3回特許情報シンポジウム

23cold12

cold because he had gotten wet in the45

自動評価法を用いた機械翻訳の定量的評価

6

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

91011rain

2014/11/28

36

自動評価法：RIBES•

RIBESの改良•

EMNLP版のRIBESに対して、BLEUのBrevity Penaltyを導入

参照訳：

John went to a restaurant yesterday

システム訳：to a
語順（NKT）もユニグラム適合率（P）も完全一致なので、従来だと1.0となってしまう。
•以下の式で定義[2]defRIBES = NKT×Pα×BPβ•

デフォルト値はα=0.25、β=0.10

http://www.kecl.ntt.co.jp/icl/lirg/ribes[2] 平尾、磯崎、須藤、Duh、塚田、永田： 語順の相関に基づく機械翻訳の自動評価法、自然言語処理、Vol. 21、
No. 3, pp.421-444 (2014).
第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

37

自動評価法：RIBES•

性能評価•

NTCIR-9, 10 Patent MTがRIBESを標準的な自動評価法として採用
NTCIR-9, 10 Patent MTでのメタ評価
妥当性とのシステムレベルの相関、単一参照訳、スピアマンの相関係数
BLEU

NIST

RIBES

NTCIR-9 JE-0.042-0.1140.632

NTCIR-9 EJ-0.029-0.0740.716

NTCIR-10 JE

0.31

0.360.88

NTCIR-10 EJ

0.36

0.220.79•

現在、日英・英日翻訳のほとんどの論文がRIBESを使用•

言語処理学会第20回年次大会（NLP2014）にて18本の機械翻訳の論文がRIBESを使用

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

38

自動評価法：RIBES•

RIBESのさらなる改良
日本語は語順が比較的自由（スクランブリング）。
太郎はイタリアでピザを食べた。
イタリアで太郎はピザを食べた。
日本語訳の評価をする場合に、この点を考慮すべき。
与えられた参照文の係り受け木から、他の語順を自動生成して参照訳に追加•

RIBESの文レベルの相関係数が若干改善された。
NTCIR-7 Mosesベースラインで Spearman’s ρ が 0.607から 0.670 に向上など。

H. Isozaki, N. Kouchi, T. Hirao:
Dependency-based Automatic Enumeration of Semantically Equivalent Word Orders for Evaluating JapaneseTranslations, WMT-2014.

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

39

まとめ•

•

現時点での最適な自動評価法は何か•求めるものによって変わる•

一般的な翻訳データ(WMT)、特許翻訳データ(NTCIR)、対象言語、システムレベル、セグメントレベル

今後の課題
•

セグメントレベルの評価精度（相関係数）の向上

第3回特許情報シンポジウム

自動評価法を用いた機械翻訳の定量的評価

越前谷博（北海学園大学）・磯崎秀樹（岡山県立大学）

2014/11/28

40