単語属性変換で作成した疑似負例データを⽤いた
⾃動機械翻訳評価〇 ⾼橋洸丞 (NAIST)⽯橋陽⼀ (NAIST)須藤克仁 (NAIST/JST)
中村哲 (NAIST)

言語処理学会 第28回年次大会 2022/03/15

1

BERT[Devlin +, 2018.]を⽤いた⾃動評価⼿法
機械翻訳の共有タスク WMT2018/2020で⼈⼿評価との⾼い相関を記録した評価⼿法• BLEURT [Sellam +, BLEURT: Learning robust metrics for text generation, ACL 2020. ]• C-SPEC [Takahashi +, Automatic machine translation evaluation using source language inputs andcross-lingual language model, ACL 2020. ]• COMET [Rei +, COMET: A neural framework for MT evaluation, EMNLP 2020. ]⼈⼿評価付きのデータでfine-tuningする必要がある
ノンパラメトリックな⼿法(BLEU[Papineni+, 2002.]やBERTscore[Zhang +, 2019.] )よりも⼈⼿評価との相関が⾼い
⾔語処理学会 第28回年次⼤会 2022/03/15

2

BLEURT・C-SPECの違い
BLEURT

C-SPEC

様々な正負の⽣成
データで学習後、評価⽤のコーパスで追加学習をする

評価⽤のコーパスでのみ追加学習をする

評価値
Feed-Forward

⽂ベクトル
RoBERTa[Liu +, 2019]
システム訳⽂+参照訳⽂

評価値
Feed-Forward

ベクトル結合

⽂ベクトル

⽂ベクトル

XLM-RoBERTa[Conneau +, 2020]

XLM-RoBERTa[Conneau +, 2020]

システム訳⽂+参照訳⽂

システム訳⽂+原⾔語⽂

⾔語処理学会 第28回年次⼤会 2022/03/15

3

BLEURT・C-SPECの評価誤り
WMT17のmetrics shared taskでピアソンの相関係数を⼤きく低下させた⽂例
参照訳⽂

システム訳⽂

⼈⼿評価

BLEURT20

C-SPEC

They want tocompete withdelivery services.

They want tocompete withairlines.

-0.861-0.3440.595

Iʼm glad we got
some of thesedirty licks caught
on tape.

Iʼm glad we licksome of the dirty
things they made.

-1.548-0.088-0.405名詞(固有表現)の誤翻訳由来の評価誤り
述語構造の誤翻訳由来の評価誤り
⾔語処理学会 第28回年次⼤会 2022/03/15

4提案⼿法 (C-SPECpn : C-SPEC fine-tuned on pseudo-negatives)

疑似的な名詞誤りを含むデータで評価モデルの追加学習
元の参照訳⽂''It is our duty toremain at his sides'',he said, to applause.

単語の属性変換

単語の属性が逆転した参照訳⽂''It is our duty tochange at his sides'',he said, to whisper.

評価モデル
⾔語処理学会 第28回年次⼤会 2022/03/15

5疑似負例データの作成
鏡⾯変換に基づく単語属性変換[Ishibashi +, Reflection-based word attribute transfer, 2020]を参照訳⽂に適応

変換属性
• 性別
• 対義関係

kingapple

性別属性の変換

性別属性の変換queenapple

⾔語処理学会 第28回年次⼤会 2022/03/15

対象の属性を持たない単語は変換されない
6

分類タスクとして負例データで学習評価モデルへの⼊⼒
1. システム訳⽂+原⾔語⽂、システム訳⽂+参照訳⽂(変化なし)
2. 参照訳⽂+原⾔語⽂、参照訳⽂+参照訳⽂(参照訳⽂に置き換え)
3. 負例⽂+原⾔語⽂、負例⽂+参照訳⽂(負例⽂に置き換え)
⾔語処理学会 第28回年次⼤会 2022/03/15

7

コーパスごとの追加学習
①

評価モデル

XLM-RoBERTaのみ
追加学習②
XLM-RoBERTaのみ
追加学習④

C-SPEC③
XLM-RoBERTaのみ
追加学習①: WMT15-16で訓練②: WMT18-20で訓練③: 疑似負例データで訓練④: WMT20のMQMデータ
で訓練④

C-SPECpn

⾔語処理学会 第28回年次⼤会 2022/03/15

8

WMT20のMQMデータでの実験結果
評価モデル

英語->ドイツ語

中国語->英語

2⾔語対の平均

全ての⾔語対

ベースライン:
C-SPEC

0.612

0.805

0.708

0.813

提案モデル:
C-SPECpn

0.619

0.824

0.721

0.829

-NOTE⼈⼿評価とのピアソンの相関係数で計測
1.0に数値が近い程、⼈⼿評価との相関が⾼い
負例データで追加訓練することで、より⾼い相関が得られた
⾔語処理学会 第28回年次⼤会 2022/03/15

9

システム訳⽂の品質によるピアソンの相関係数の差
⼈⼿評価が低い値域と⾼い値域においてピアソンの相関係数の向上

⾔語処理学会 第28回年次⼤会 2022/03/15

10

WMT21 metrics shared taskの結果
提案モデル

Freitag +, Results of the WMT21 Metrics Shared Task: Evaluating Metrics with Expert-based Human Evaluations on
TED and News Domain, WMT 2021 表12より引⽤
⾔語処理学会 第28回年次⼤会 2022/03/15

11

WMT21のチャレンジセットの事例分析
チャレンジセットでは、①誤った参照訳⽂、②ドイツ語の訳出誤り①②が含まれている

原⾔語⽂

参照訳⽂

システム訳⽂

C-SPECC-SPECpn

希望水早点退吧We hope thatthe floodingends soon.

I hope the water
will return early.

-1.5684-0.6392

Ihr konntet
denken.

You were able tothink.

your konntet
thinking.

-8.2422-1.4688

C-SPECpnは参照訳⽂よりも原⾔語⽂との類似度を重要視している
⾔語処理学会 第28回年次⼤会 2022/03/15

12

まとめ
• 単語属性変換を⽤いた負例データを作成• 負例データによる追加訓練で評価モデルの⼈⼿評価との相関が向上• 特に、⾼品質な翻訳⽂への評価に対してピアソンの相関向上• 提案モデルのC-SPECpnは、原⾔語⽂との類似度により重きをおいた評価をしている
⾔語処理学会 第28回年次⼤会 2022/03/15

13