    
2019/08/30
(NAIST)(Kosuke Takahashi)*1 須藤克仁(Katsuhito Sudoh)
中村哲(Satoshi Nakamura)*1: 科学技術振興機構さきがけ

PRESTO Japan Science and Technology Agency

1

目次• はじめに• 機械翻訳評価の重要性• 研究背景• 自動評価手法とは• 先行研究• 研究目的• 提案手法• 実験, 実験結果
• 分析
• まとめ
2

機械翻訳評価の重要性} 機械翻訳システムの良し悪しを定量的に示すことができるので, 運用の指針となる} 機械翻訳の評価を行うことで機械翻訳システムの性能向上に繋がる

3

機械翻訳の自動評価手法} 人手評価よりも低コスト} 人手評価との相関性が高くなるように望ましい} 相関性の指標−1.0 ~ 1.0の値を取り1.0に近い程よい} ピアソンの積率相関係数 : 線形相関} スペアマンの順位相関係数 : 非線形相関4既存の自動評価手法
表層情報に基づく自動評価手法} BLEU[1], NIST[2], TER[3], METEOR[4]} 参照訳文との単語一致率に基づく評価手法} BLEND[5]} BLEU, NIST, TER, METEORなどをブレンドした評価手法[1] Kishore Papineni, et al. Bleu: a method for automatic evaluation of machine translation. 2002
[2] George Doddington. Automatic evaluation of machine translation quality using n-gramcooccurrence statistics. 2002
[3] Matthew Snover, et al. A Study of Translation Edit Rate with Targeted Human Annotation. 2006
[4] Banerjee Satanjeev, et al. METEOR: An Automatic Metric for MT Evaluation with Improved
Correlation with Human Judgments. 2005
[5] Qingsong Ma, et al. Blend: a Novel Combined MT Metric Based on Direct Assessment.
20175

既存の自動評価手法 (cont.)
分散表現による意味を考慮した自動評価手法} Word Mover’s Distance (WMD)[6], bleu2vec[7], YiSi[8]} 単語分散表現に基づく単語の意味を考慮した評価手法} RUSE[9], BERTを用いたRUSE[10]} 文分散表現に基づく文意を考慮した評価手法} BERTを用いたRUSEはWMT15-17newstestタスクでSOTA[6] Matt J Kunner, et al. From Word Embeddings to Document Distances. 2015[7] Andre T"ttar̈
et al. bleu2vec: the Painfully Familiar Metric on Continuous Vector Space Steroids.
2002[8] Lo, Chi-kiu. YiSi - a Unified Semantic MT Quality Evaluation and Estimation Metric forLanguages with Different Levels of Available Resources. 2018[9] Hiroki Shimanaka et al. RUSE: Regressor Using Sentence Embeddings for Automatic MachineTranslation Evaluation. 2018[10] 嶋中宏希 et al. BERTを用いた機械翻訳の自動評価. 20196

既存の自動評価手法 (cont.)} RUSE, BERTを用いたRUSE


,,,,RUSE

7       BERTRUSE機械翻訳で使用される文} 原言語文は参照訳文と同様に正解訳文自動評価手法で用いられる
8

研究目的} 参照訳文↔翻訳文の評価だけでなく,原言語文↔翻訳文の評価も行えるのではないか} 原言語文を擬似的なマルチリファレンスとして扱うことで評価性能が向上するか検討
・仮説
原言語と目的言語を同一ベクトル次元で扱うべき
9事前検証 モデル設定
単一言語モデルによる原言語文を活用した評価,,-(,,,,,),

Quick-Thought[11]による文分散表現に基づく回帰モデル(RUSE)•WMT15-18 ドイツ語-英語 データ,




-(

•,

-(,[11] Lajanugen Logeswaran, et al. An efficient framework for learning sentence representations. 2018.

10

事前検証 実験結果
単一言語モデルによる原言語文を活用した評価
ピアソンの相関係数値
参照訳文+翻訳文

0.613

原言語文+参照訳文+翻訳文

0.608} 単一言語モデルでは, 原言語と目的言語で次元のずれが生まれるため, 上手くMLPの学習ができないと考えられる

11

提案手法
} 原言語と目的言語を同一の次元で扱うために,言語横断型な言語モデルXLM(CrosslingualLanguage Model)[12]を用いる} 原言語文, 参照訳文, 翻訳文を全てXLMにより文分散表現に符号化し, 評価値を回帰タスクとして解く[12] Guillaume Lample et al. Crosslingual Language Model Pretraining. 2019

12

XLM

2 0 1212E([/s])E(the)

E([MASK])++ 22 /211 4

2

E([/s])E(blue)3E([MASK])

E(rideaux)E(étaient)

122E([MASK])

E([/s])

332/ 22 /211 44 422 /211 422222333

Multilingual BERTに加えて
1. 言語IDを埋め込み表現として入力に追加
2. 別言語の同意文からマスキングされた単語を予測
13

XLM(cont.)
XNLI 15 タスクでの正解率

endeuresarzh

MultilingualBERT

81.4

70.5

58.3

74.3

62.1

63.8

XLM

85.0

78.9

67.3

78.9

73.1

76.5

XLMは全ての言語でMultilingual BERTよりも高い識別性能

14

提案モデル)

/( )

/( ))

/( )

/( )

提案手法1(SRC-HYP, REF-HYP)
1.

2.

15)

/( )

/( )

/(提案手法2(HYP-SRC-REF)

原言語文-翻訳文, 参照訳文-翻訳文の二つの文対をXLMへ入力し, 得られた二つの分散表現を結合した後にMLPで評価値を回帰タスクとして推定する
翻訳文-原言語文-参照訳文をまとめてXLMへ入力し, MLPで評価値を回帰タスクとして推定する

提案モデル2 データ拡張)

/( )

/( ))

/( )

/( ))

/( )

SWAP
1.

SRC-HYP, REF-HYP w/ swap
•2.

"

HYP-SRC-REF w/ swap
•16!

目的言語のREF-HYPを の確率でスワップ!
"

正解文のSRC-REFを の確率でスワップ/( )/(SWAP

実験設定
•

提案手法
• SRC-HYP, REF-HYP : REF-HYPのスワップ無し• SRC-HYP, REF-HYP : REF-HYPのスワップ有り• HYP-SRC-REF: SRC-REFのスワップ無し• HYP-SRC-REF: SRC-REFのスワップ有り•使用コーパス• 言語ペア:ドイツ語(de), ロシア語(ru), トルコ語(tr)から英語(en)へ翻訳されたデータ• WMT-2017 Metrics Shared Task
• WMT2015, WMT2016のデータを9:1で訓練:開発データに分割• WMT2017のデータはテストデータ
17実験に使用したデータ
cs-en

de-en

fi-en

lv-en

wmt
15

500

500

500

wmt
16

560

560

560

wmt
17

560

560

560

560

All

1620

1620

1620

560

ro-en

ru-en

tr-en

zh-en de,ru,tren

500
560

560

all-en

1000

2000

1680

3360

560

560

560

560

560

1680

3920

1620

1120

560

4360

9280

本実験では, XLMの事前学習がde, ru. tr, enでしか行われていないため, de,ru,tr-enの言語ペアのデータ のみを用いて学習をした
18

実験結果 ピアソンの相関係数値
de-en

ru-en

tr-enAVE

SentBLEU

0.432

0.484

0.538

0.484

BERT-RUSE

0.751

0.795

0.811

0.786

Proposed

0.602

0.599

0.676

0.626

0.594

0.618

0.671

0.628

0.565

0.618

0.619

0.600

0.532

0.581

0.592

0.568

SRC-HYP, REF-HYP w/o swap

Proposed
SRC-HYP, REF-HYP w/ swap

Proposed
SRC-REF-HYP w/o swap

Proposed
SRC-REF-HYP w/ swap19

分析 de-en
モデル: SRC-HYP, REF-HYP w/o swap
DA score: 標準化された人手評価値

テスト時のモデル出力と人手評価の散布図

de-en 訓練データにおける人手評価値の分布

de-en 訓練データ数が少ない値域の評価でばらつきが大きい20

分析 de-en (cont.)

テスト時のモデル出力と人手評価の散布図

all-en 訓練データにおける人手評価値の分布

de-en 訓練データ数が少ない値域の評価でばらつきが大きい
all-en 訓練データ数で見ると, データ数は少なくない→

21

原言語情報に依存した学習をしていると考えられる

分析 tr-en
モデル: SRC-HYP, REF-HYP w/o swap
DA score: 標準化された人手評価値

テスト時のモデル出力と人手評価の散布図

tr-en 訓練データにおける人手評価値の分布

tr-en 訓練データ数が少ない値域の評価でばらつきが大きい22

分析 tr-en (cont.)

テスト時のモデル出力と人手評価の散布図

all-en 訓練データにおける人手評価値の分布

tr-en 訓練データ数が少ない値域の評価でばらつきが大きい
all-en 訓練データ数で見ると, データ数は少なくない→23

原言語情報に依存した学習をしていると考えられる

分析 de-en 学習曲線
ー train loss
ー valid loss
ー test loss

ー train pearson
ー valid pearson
ー test pearson

MSE学習曲線••

ピアソンの相関係数値の学習曲線

ピアソンの積率相関係数値は過学習気味
MSEの誤差では過学習の傾向は見られない→24

モデルの学習法を工夫することで人手評価との相関性が向上する可能性がある

まとめ} 言語横断型の言語モデルXLM[12]を用いて,原言語情報を活用した自動評価手法を検討した}

提案手法は先行研究のBERT-RUSE[11]の評価性能には及ばなかった} 提案手法では原言語情報に依存した学習が行われる

・今後の予定提案手法の評価値と実際の評価文を比較し,XLMによる自動評価の傾向を調査する
25