NLP若手の会(YANS) 第9回シンポジウム (2014)

人による翻訳文への翻訳自動評価法の適用に関する考察 冨田
水上小田山本September 22, 2014

隼平(同志社大)雅博 ( NAIST )悠介 ( NAIST )誠一(同志社大)Doshisha University

概要
日本人が翻訳した英文

正しい英文This is an apple.
I goes to school.
I’m happy because…

This is an apple.
I’m happy because…
He caught a cold…

・・・・・・

人間が評価自動で評価
・・・
The toilet’s water stop...
I likes James playing …
He caught a cold…

15万文
September 22, 2014

誤った英文
The toilet’s water stop...
I likes James playing …
I goes to school on …
・・・Doshisha University

2/ 46

目的
 人による翻訳文の品質評価について人手評価• 高い信頼性• 誤りカ所を正確に判断可能• 多量の処理は不適

自動評価• 多量に処理が可能• バラツキのない評価

人による翻訳文に頑健な自動翻訳評価手法の検討
September 22, 2014

Doshisha University

3/ 46

目次
 概要
 目的
 評価手法 提案手法
 実験
 結果
 まとめ
 今後の予定
September 22, 2014

Doshisha University

4/ 46

背景・目的・評価手法・提案手法・実験・結果・まとめ・今後の予定

評価手法

September 22, 2014

Doshisha University

5/ 53

翻訳自動評価手法
翻訳機器が出力した英文

正しい英文This is an apple.
I goes to school.
I’m happy because…

This is an apple.
I’m happy because…
He caught a cold…

・・・・・・・・・
The toilet’s water stop...
I likes James playing …
He caught a cold…

September 22, 2014

自動評価法
RIBES

誤った英文
The toilet’s water stop...
I likes James playing …
I goes to school on …
・・・

Doshisha University

6/ 46

RIBESRIBES(Rank-based Intuitive Billingual)[1]―参照文と翻訳文の語順相関に基づき評価―ルールベース機械翻訳(RBMT)で高い相関

RIBES  NKT  P  BP

1   ,   0

NKT：正規化ケンドール順位相関係数

P = ユニグラム適合率

1if c  r r = 参照文の単語数 評価範囲：
1  RIBES  0BP  c = 翻訳文の単語数
exp(1  r / c) if c  r[1]：平尾ら. “RIBES:語順相関に基づく翻訳の自動評価法”(2011)
September 22, 2014

Doshisha University

7/ 46

RIBES(評価例）
①②⑤⑥

⑦⑧ ⑨

He caught a cold because he got soaked in the rain.

⑤⑥⑦⑧⑨① ②③④Because he had gotten wet in the rain,he caught a cold .
[5, 6, 7, 8, 9, 1, 2, 3, 4 ]aRIBES = NKT ´ P ´ BPb

1  (16  20)(2 1)  9
  1 
12
98
 11

 0.36
September 22, 2014

Doshisha University

8/ 46

人による翻訳文への適用は困難
翻訳機器が出力した英文日本人が翻訳した英文

正しい英文This is an apple.
I goes to school.
I’m happy because…

This is an apple.
I’m happy because…
He caught a cold…

・・・・・・・・・
The toilet’s water stop...
I likes James playing …
He caught a cold…

September 22, 2014

自動評価法
RIBES

誤った英文
The toilet’s water stop...
I likes James playing …
I goes to school on …
・・・

Doshisha University

9/ 46

適用が困難な理由
出力単語違い– 翻訳機器：想定内の単語– 人間：想定外の単語が出力される可能性

同一単語のみのアライメントでは不十分

September 22, 2014

Doshisha University 10/ 46

RIBESの問題点
 人による翻訳文への適用について1. 単語の重要度に関わらない評価– 重要な単語とそうでない単語誤りを同等に評価

2. 単語の類似度に関わらない評価‒ 単語間の意味的な類似度に関わらず同等に評価

September 22, 2014

Doshisha University 11/ 46

誤評価の具体例
単語重要度による誤評価

単語類似度による誤評価例）「トイレの水が止まりません」

例）「この家は5年前に建てられました」

R：The toilet’s water doesn’t stop.

R:This house was built five years ago.

S1：The toilet’s water doesn’t come.
S2：That toilet’s water doesn’t stop.

S1:This house was made five years ago.
S2:This house was run five years ago.

※RとS1は意味が全く違う※RとS1は意味が似通っている

誤り単語に関わらず同じ評価

単語重要度・類似度を考慮に入れた評価手法の検討
September 22, 2014

Doshisha University 12/ 46

背景・目的・評価手法・提案手法・実験・結果・まとめ・今後の予定

提案手法

September 22, 2014

Doshisha University 13/ 53

RIBES+RIBES+(RIBESplus)― RIBESに単語重要度・類似度の尺度を追加
1

2



RIBES  NKT  P1  P2  BP 1  1 ,  2 ,   0

RIBESから変更していない尺度

新たに追加した尺度

NKT：正規化ケンドール順位相関係数

P1 = 類似度

1
if c  r r = 参照文の単語数
BP  exp(1  r / c) if c  r c = 翻訳文の単語数

September 22, 2014

P2 = 重要度
Doshisha University 14/ 46

RIBESからの変更点
RIBES  NKT  P  BP1

2RIBES  NKT  P1  P2  BP

ユニグラム適合率を、類似度・重要度に変更

September 22, 2014

Doshisha University 15/ 46

処理の流れ1. 単語間アライメント探索
1. 最長共通部分列(LCS)を抽出
2. 単語間類似度によりアライメントを決定
単語間類似度S Wa , Wb  

単語言い換え確率P (Wa Wb ) P (Wb Wa )P Wa Wa 

2. 類似度計算

P Wa | Wb

※Wb からW への言い換えa※PPDB(Paraphrase Database)[3]から抽出– 単語間類似度を幾何平均[3]： Ganitkevitch et. “PPDB:The Pataphrase Database”(2013)
September 22, 2014

Doshisha University 16/ 46

単語数による処理方法の違い
 単語間アライメント探索
A. 単語数が同じ場合

This house was built five years ago.
This house has been built five year.
B. 単語数が違う場合

This house was built five years ago.
This house has been built five year ago.
September 22, 2014

Doshisha University 17/ 46

単語数が同じ場合(アライメント探索)(1)
1. 最長共通部分列(LCS)を抽出

This house was built five years ago.
This house has been built five year.

September 22, 2014

Doshisha University 18/ 46

単語数が同じ場合(アライメント探索)(2)2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year.
単語間類似度September 22, 2014

wasyears

ago

has

0.020

0.004

0.002

been

0.245

0.012

0.123

year

0.002

0.876

0.468
Doshisha University 19/ 46

単語数が同じ場合(アライメント探索)(3)
2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year.
単語間類似度

September 22, 2014

was

years

ago

has

0.020

0.004

0.002

been

0.245

0.012

0.123

year

0.002

0.876

0.468
Doshisha University 20/ 46

単語数が同じ場合(アライメント探索)(4)
2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year.
単語間類似度

September 22, 2014

wasyears

ago

has

0.020

0.004

0.002

been

0.245

0.012

0.123

year

0.002

0.876

0.468
Doshisha University 21/ 46

単語数が同じ場合(アライメント探索)(5)2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year.
単語間類似度

September 22, 2014

wasyears

ago

has

0.020

0.004

0.002

been

0.245

0.012

0.123

year

0.002

0.876

0.468
Doshisha University 22/ 46

単語数が同じ場合(類似度計算)
 単語間類似度を幾何平均This house was built five years ago.
This house has been built five year.
 logS This, This  logS house, house  logS was, been 1 P1  exp   logS built , built  logS  five, five 7
  logS  years, year  logS ago, has 
September 22, 2014

Doshisha University 23/ 46

単語数が違う場合(アライメント探索)(1)
1. 最長共通部分列(LCS)を抽出

This house was built five years ago.
This house has been built five year ago.

September 22, 2014

Doshisha University 24/ 46

単語数が違う場合 (アライメント探索)(2)2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year ago.
単語間類似度

September 22, 2014

wasyears

has

0.243

0.004

been

0.320

0.012

year

0.002

0.876
Doshisha University 25/ 46

単語数が違う場合(アライメント探索)(3)
2. 単語間類似度でアライメント決定–

貪欲法により求めるThis house was built five years ago.
This house has been built five year ago.
単語間類似度

September 22, 2014

wasyears

has

0.243

0.004

been

0.320

0.012

year

0.002

0.876
Doshisha University 26/ 46

単語数が違う場合(ペナルティ計算)
3. Nullへのアライメントとして，ペナルティを付加

NP = log{(mCc)-1}m = 多い方の単語数
c = 単語数の差This house was built five years ago.
This house has been built five year ago.
11NP  log  8 C1   log
8

September 22, 2014



Doshisha University 27/ 46

単語数が違う場合(類似度計算)
 単語間類似度を幾何平均– NP も同様

This house was built five years ago.
This house has been built five year ago.
 logS This, This  logS house, house  logS was, been  1 P1  exp   logS built , built  logS  five, five  logS  years, year 8  logS ago, ago NP
September 22, 2014

Doshisha University 28/ 46

類似度
類似度– PPDB(Paraphrase Database)を使用

 

 1 
P1  exp  log S (Wri , Wh j )  NP   N  n  i , j 
単語間類似度S Wri , Wh j 

単語言い換え確率P Wri Wh j P Wh j Wri

P Wri Wh j(P Wri | Wh j

Wh j からWrへの言い換え

1 if c  r
N：少ない方の文の単語数n
NP：nullアライメントによるペナルティ0 if c  r
September 22, 2014)

ir = 参照文の単語数
c = 翻訳文の単語数
Doshisha University 29/ 46

平滑化処理 単語間類似度の平滑化– 言い換えを抽出できない場合の対処– λは定数ではなく，変数として設定(グリッドサーチ)()(S Wri ,Wh j = (1- l ) ´ S Wri ,Wh j'()1+l´V)

S ' Wri ,Whj ：平滑化後の単語間類似度
V ：使用データセットに出現する単語の種類数
September 22, 2014

Doshisha University 30/ 46

重要度
 重要度

低 P2 =

共通単語の重要度の総和
重要度単語の一致率

重要度(P2)
翻訳文中の単語重要度の総和

高 単語重要度‒ 単語出現頻度はBTECコーパスから抽出
多コーパス内のWordの出現頻度少単語出現頻度低コーパス内の全単語の出現頻度の総和

Pr( word )   log

September 22, 2014

単語重要度

高Doshisha University 31/ 46

重要度の評価例
重要度の評価例
参照文：He comes back to house.

翻訳文：She goes back to house.

P2 =共通単語の重要度の総和
翻訳文中の単語重要度の総和

Pr(back )  Pr(house)Pr( She)  Pr( goes)  Pr(back )  Pr(to)  Pr(house)

September 22, 2014

Doshisha University 32/ 46

+
RIBES （再掲）
RIBES+(RIBESplus)― RIBESに単語重要度・類似度の尺度を追加

1

2RIBES  NKT  P1  P2  BP

1  1 ,  2 ,   0

RIBESから変更していない尺度

新たに追加した尺度

NKT：正規化ケンドール順位相関係数

P1 = 類似度

1if c  r r = 参照文の単語数
BP  exp(1  r / c) if c  r c = 翻訳文の単語数

September 22, 2014

P2 = 重要度
Doshisha University 33/ 46

背景・目的・評価手法・提案手法・実験・結果・まとめ・今後の予定

実験

September 22, 2014

Doshisha University 34/ 53

実験(実験方法)
 実験方法– 人手評価値付き翻訳文を評価– 人手評価値と自動評価値の相関を分析– 5分割交差検証

 人手評価値付き翻訳文– 英語母語話者による主観評価– 5段階の評価値
評価値

評価基準

5

問題なし

4

ほぼネイティブな表現

3

多少問題はあるが，理解可能

2

問題は多いが，雰囲気は伝わる

1

理解不能

September 22, 2014

Doshisha University 35/ 46

実験(実験データ)
 翻訳文– 日本語課題文を被験者(日本人)が英訳した翻訳文– 1セット：30,000文(日本語課題300文 × 100)
– 全てで5セット (30,000文 × 5 = 150,000文)– 使用する翻訳文：486文(人手評価値付)

 参照文– 日本語課題文を英語母語話者が英訳した翻訳文– 1セット：3,000文(日本語課題300文 × 10)– 全てで5セット(3,000文 × 5 = 15,000文)– 使用する翻訳文と最小編集距離をとる文

September 22, 2014

Doshisha University 36/ 46

背景・目的・評価手法・提案手法・実験・結果・まとめ・今後の予定

結果

September 22, 2014

Doshisha University 37/ 53

人手評価値と自動評価値の相関
相関係数(平均値+標準誤差)

0.550
相関係数

0.500
0.450

RIBES+0.400

RIBES+(類似度)0.350

RIBES+(重要度)

0.300

RIBES

0.250

0.1

0.80.9評価方法

相関係数の最大値PRIBES

0.330

RIBES+（類似度）

0.444

0.004

RIBES+（重要度）

0.465

0.005

RIBES+(類似度+重要度)

0.477

0.001

September 22, 2014

0.2

0.3

0.4

0.5 0.6 0.7λ（平滑化変数）1

Doshisha University 38/ 46

RIBES+の正しい評価例
 RIBESでは誤って評価し、RIBES+では正しく評価できた翻訳文
例１）「この街を案内してもらえますか．」
参照文：Can you show me around town?
翻訳文：Can you guide the town?
人手評価値
2

RIBES RIBES+
0.863

0.408

RIBES

RIBES+

0.955

0.324

例２）「トイレの水が止まりません．」

参照文：The toilet’s water doesn’t stop?
翻訳文：The toilet’s water doesn’t come?
人手評価値
2
September 22, 2014

Doshisha University 39/ 46

RIBES+の誤り評価例
 RIBESでは正しく評価し、RIBES+では誤って評価した翻訳文
例１）日本語課題文「空がとても澄んでいるので星がたくさん見えます．」
参照文：one can see many stars in the clear sky.
翻訳文：I can see a lot of stars since sky is clear.
人手評価値例２）日本語課題文「心配しないで．」
参照文：Do not worry.
翻訳文：Do not get worried.

September 22, 2014

RIBES

RIBES+

30.738

0.345

人手評価値

RIBES

RIBES+

30.8400.289

Doshisha University 40/ 46

考察
相関係数(平均値+標準誤差)
0.500
RIBES+

相 0.450
関係

RIBES+(類似度)0.400
RIBES+(重要度)

数 0.350
RIBES

0.300
0.1

0.2

0.3

0.4

0.5

0.60.7λ(平滑化変数)

0.80.91

 提案手法は、従来手法に比べ評価性能が向上– 単語の類似度・重要度は人手評価に大きく影響
 句単位の類似度を検出することができなかった– 熟語言い換えを考慮することで、性能向上が期待できる
September 22, 2014

Doshisha University 41/ 46

背景・目的・評価手法・提案手法・実験・結果・まとめ・今後の予定

まとめ・今後の予定

September 22, 2014

Doshisha University 42/ 53

まとめ 単語重要度・類似度を評価尺度に入れた自動翻訳評価法RIBES+を考案
 本データに関しては、従来手法と比べ、提案手法がより評価性能が向上
 類似度を抽出する範囲を、単語単位から句単位へと拡張する必要

September 22, 2014

Doshisha University 43/ 46

今後の予定 句の言い換えを考慮したアライメント調整

 類似度を用いた語順相関処理、重要度尺度への拡張

September 22, 2014

Doshisha University 44/ 46

謝辞本研究の一部は，第6回関西MT勉強会におけるエラー分析の知見に基づく．

September 22, 2014

Doshisha University 45/ 46参考文献•

磯崎秀樹, “最近の自動評価法の研究動向とRIBES” ,平成24年度AAMT/Japoi特許翻訳研究会 特許文書の機械翻訳結果評価方法検討会資料集(2012)
http://aamtjapio.com/kenkyu/files/discussion01/AAMT_Japio_discus(20120907)-02.pdf•

隅田英一郎 佐々木裕 山本誠一, “機械翻訳システム評価法の最前線” , 情報処理学会, Vol.46 NO.5 通巻483号,pp.552-557 (2005)•安田圭志 喜多村圭祐 山本誠一 柳田益造, “多重タグ付き英語学習者コーパスの開発と英語能力自動測定への応用”, 自然処理学会, Vol.16 No.4 pp.48-63(2009)•平尾努 磯崎秀樹 Kevin Duh 須藤克仁 塚田元 永田昌明, “RIBES：順位相関に基づく翻訳の自動評価法”, 言語処理学会 第17回年次大会

発表論文集,

pp.1115-1118 (2011)•Ganitkevitch, Juri and Van Durme, Benjamin and Callison-Burch, Chris, “PPDB:TheParaphrase Database”, Proceedinds of NAACL-HLT, pp758-768,(2013)

September 22, 2014

Doshisha University 46/ 46