言い換えとリランキングに基づく
ドメイン不適合の緩和
惟高日向1，梶原智之1，藤田篤2，二宮崇1
1愛媛大学大学院理工学研究科
2情報通信研究機構

背景• 機械翻訳は広く活用されている➢ DeepL➢ Google翻訳 など• 機械翻訳の品質は訓練データの特徴に依存[1]
入力文と訓練データの特性が大きく異なる場合には翻訳性能低下の恐れがある[1]（学術論文データ）
Its synthetic method is explained
and its function is described .
（ニュースデータ）
The launch time and rate for full-scaleservice have not yet been disclosed .

合成法を説明し, その機能を述べた。
学術論文
翻訳モデル
本格的なサービスのための打上時間と速度はまだ明らかにされていない。

[1] Koehn, P. and Knowles, R. Six Challenges for Neural Machine Translation. In Proc. of NGT 2017.
1従来手法とその課題について• 従来手法: 対象ドメインデータを用いて翻訳モデルを再訓練（fine-tuning）[2]• 問題点
1. 対訳コーパスを利用できるドメインが限られている点

2. 各ドメインのfine-tuningにかかる時間や、構築したモデルの管理コストがかかる点
3. ブラックボックス化された翻訳器を対象とする場合には適用できない点[2] Chu, C. and Wang, R. A Survey of Domain Adaptation for Neural Machine Translation. In Proc. of COLING 2018.
2

関連研究: 機械翻訳における言い換えによる前編集• 手動前編集:
言い換えを含む多様なタイプの前編集が翻訳品質を向上させることを示した[3][4]• 自動前編集• 限られた設定（語彙および構文の平易化[5,6,7]）しか検討されていないが品質の向上は確認
様々な言い換え方法を検討する必要がある• 効果的な言い換えの予測ができない[4]
翻訳品質を事後的に評価する必要がある[3] Miyata, R. and Fujita, A. Dissecting Human Pre-Editing toward Better Use of Off-the-shelf Machine Translation Systems. In Proc. of EAMT 2017.
[4] Miyata, R. and Fujita, A. Understanding Pre-Editing for Black-Box Neural Machine Translation. In Proc. of EACL 2021.
[5] Stajner, S and Popovic, M. Can Text Simplification Help Machine Translation? In Proc. of EAMT 2016.
[6] Stajner, S and Popovic, M. Improving Machine Translation of English Relative Clauses with Automatic Text Simplification. In Proc. of INLG 2018.
[7] Mehta, S et al. Simplify-Then-Translate: Automatic Preprocessing for Black-Box Translation. In Proc. of AAAI 2020.
3

提案手法

4

提案手法: 言い換えとリランキングに基づく手法• 目的: 翻訳対象文とMTの訓練データとの間のドメインギャップを埋める• アプローチ: 言い換え(前編集) とリランキング(後編集)
1. 言い換え:複数の言い換え文を生成
2. 機械翻訳:
入力文と言い換え文を翻訳
3. リランキング:
最良の翻訳文を選択
5

提案手法: 言い換えとリランキングに基づく手法• 目的: 翻訳対象文とMTの訓練データとの間のドメインギャップを埋める• アプローチ: 言い換え(前編集) とリランキング(後編集)
1. 言い換え:複数の言い換え文を生成

6

提案手法: 言い換えとリランキングに基づく手法• 目的: 翻訳対象文とMTの訓練データとの間のドメインギャップを埋める• アプローチ: 言い換え(前編集) とリランキング(後編集)

2. 機械翻訳:
入力文と言い換え文を翻訳

7

提案手法: 言い換えとリランキングに基づく手法• 目的: 翻訳対象文とMTの訓練データとの間のドメインギャップを埋める• アプローチ: 言い換え(前編集) とリランキング(後編集)

3. リランキング:
最良の翻訳文を選択
8

言い換え手法: 文単位と単語単位• 文単位の言い換え（既存研究）
seq2seqモデルを用いて文全体の言い換えを行う（逆翻訳に基づくアプローチと単言語翻訳に基づくアプローチ）• 単語単位の言い換え（提案手法）
マスク言語モデルと単語埋め込みに基づいて単一単語の言い換えを行う

9

文単位の言い換え: 逆翻訳に基づくアプローチ
1. 逆翻訳モデルの訓練

10文単位の言い換え: 逆翻訳に基づくアプローチ
2. 対訳コーパスの目的言語側を原言語側に翻訳し、原言語側と結合

11

文単位の言い換え: 逆翻訳に基づくアプローチ

3. 作成した単言語コーパスを使って言い換えモデルを訓練

12

文単位の言い換え: 単言語翻訳に基づくアプローチ
事前訓練された多言語翻訳モデルを使用して、文単位の言い換えを生成➢ mBARTやm2mのような原言語をカバーできるモデル➢ 原言語と目的言語に同じ言語を指定

13

単語単位の言い換え
1. 置換候補の生成 (|𝑋|×n)• 各単語𝑥𝑖 がマスクされた文をMLMに入力• 各単語n個の置換候補を生成

2. トップk個の置換候補の選択
以下の数値の和で候補をリランキング• MLMの生成確率• 元単語𝑥𝑖 と言い換え候補の単語埋め込みの余弦類似度|𝑋|個の単語から成る入力文: 𝑋 = 𝑥1 , … , 𝑥𝑋
14

単語単位の言い換え: 置換候補の生成
1. 置換候補の生成 (|𝑋|×n)• 各単語𝑥𝑖 がマスクされた文をMLMに入力• 各単語n個の置換候補を生成|𝑋|個の単語から成る入力文: 𝑋 = 𝑥1 , … , 𝑥𝑋
15

単語単位の言い換え: 置換候補の選択

2. トップk個の置換候補の選択
以下の数値の和で候補をリランキング• MLMの生成確率• 元単語𝑥𝑖 と言い換え候補の単語埋め込みの余弦類似度|𝑋|個の単語から成る入力文: 𝑋 = 𝑥1 , … , 𝑥𝑋
16

リランキング手法
1. 入力文と各翻訳候補の双方向でforced decoding[8,9]を計算
2. 双方向のforced decodingスコアの平均によって翻訳候補をリランキング• Black-box設定: 原言語・目的言語をカバーする多言語翻訳モデルを使用• Glass-box設定: 対象翻訳モデルとその逆方向の翻訳モデルを使用[8] Marie, B. and Fujita, A. A Smorgasbord of Features to Combine Phrase-Based and Neural Machine Translation. In Proc. of AMTA 2018.
[9] Kiyono, S et al. Tohoku-AIP-NTT at WMT 2020 news translation task. In Proc. of WMT 2020.
17日英機械翻訳の実験

18

実験設定: データセット
Corpus

Domain#lines訓練 (翻訳モデル)

JParaCrawl[10]General10,000,000

検証 (翻訳モデル)

JParaCrawl

General

2,000

訓練 (言い換えモデル)

JParaCrawl

General10,000,000

検証 (言い換えモデル)

JParaCrawl

General2,000

評価

ASPEC[11]科学技術論文

1,812

評価

WMT20[12]

ニュース

993

評価

MTNT2019[13]Reddit1,033

評価

JParaCrawl

General2,000[10] Morishita, M et al. JParaCrawl v3.0: A large-scale English-Japanese parallel corpus. In Proc. of LREC 2022.
[11] Nakazawa, T et al. ASPEC: Asian Scientific Paper Excerpt Corpus. In Proc. of LREC 2016.
[12] Barrault, L et al. Findings of the 2020 Conference on Machine Translation. In Proc. of WMT 2020.
[13] Li, X et al. Findings of the first shared task on machine translation robustness. In Proc. of WMT 2019.
19

実験設定: モデル• 機械翻訳: Transformer• 文単位の言い換え➢ 逆翻訳に基づくアプローチ: Transformer➢ 単言語翻訳に基づくアプローチ: mBART or M2M-100• 単語単位の言い換え➢ マスク言語モデル: BERT
➢ 単語埋め込み: fasttext• Black-boxリランキング: mBART[14] Vaswani, A et al. Attention is All you Need. In Proc. of NIPS 2017.
[15] Tang, Y et al. Multilingual Translation with Extensible Multilingual Pretraining and Finetuning. CoRR 2020.
[16] Fan, A et al. Beyond English-Centric Multilingual Machine Translation. Journal of Machine Learning Research 2021.
[17] Devlin, J et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proc. of NAACL 2019.
[18] Bojanowski, P et al. Enriching Word Vectors with Subword Information. TACL 2017.
20実験設定:• 言い換えを使わない比較手法（𝑘: 言い換えの数）➢ beam探索: beam幅(𝑘 + 1)のビーム探索を用いて1bestを出力➢ beam探索 + リランキング: beam幅(𝑘 + 1)のbeam探索の後に、リランキングを行う• デコード手法: beam探索• 評価指標: BLEU

21

実験結果: 言い換え手法に着目• ASPECとWMT20: 単語単位の言い換え手法が文単位よりも常に良い性能• MTNT2019とJParaCrawl: 単語単位と文単位の言い換え手法に優劣な差はない

BLEU スコア(k: 言い換えの数, 太字: 各リランキング結果における列ごとの最高BLEUスコア,*: 一行目のベースライン手法と比較して統計的に有意(p < 0.05))
22

実験結果: 言い換えの数に着目• ASPECとWMT20: 単語単位ではkが大きくなるにつれて翻訳品質が向上• MTNT2019とJParaCrawl: kが増加しても翻訳品質は低下もしくは変化なし

BLEU スコア(k: 言い換えの数, 太字: 各リランキング結果における列ごとの最高BLEUスコア,*: 一行目のベースライン手法と比較して統計的に有意(p < 0.05))
23

実験結果: 言い換え手法の組み合わせ単語単位の手法と比較:ほとんどの組み合わせでBLEUスコアは低下・もしくは変化なし

BLEU スコア(k: 単語単位と文単位のそれぞれの言い換えの数, 太字: 各リランキング結果における列ごとの最高BLEUスコア, *: 一行目のベースライン手法と比較して統計的に有意(p < 0.05)
下線: 単語単位の言い換えと比較して改善したBLEUスコア
24

分析

25

分析: Oracleに着目
単語単位の言い換えの値が最も大きい
文単位の言い換えや言い換えなしのビーム探索と比較して、翻訳性能改善のポテンシャルが高い

BLEU スコア(k: 言い換えの数, 太字: 各リランキング結果における列ごとの最高BLEUスコア,*: 一行目のベースライン手法と比較して統計的に有意(p < 0.05))

26

分析: 言い換え文の翻訳文に着目• より良い言い換えが翻訳改善を必ずしも保証はしない• より良い翻訳候補を得る
ためにkを増やすことが有効な場合もある• リランキング手法のさらなる改善が必要

27

まとめ
• 背景:
既存のアプローチでは、多くのドメインをカバーするには限界があった• 目的
入力文と翻訳器の訓練データのドメインのギャップを埋める• 手法
言い換え・機械翻訳・リランキングから成るフレームワークを提案• 結果
特に、単語単位とグラスボックス・リランキングを組み合わせることで、2つのドメインにおいて一貫して翻訳品質が向上

28