多言語文符号化器による機械翻訳の教師なし品質推定の研究
Studies on Unsupervised Quality Estimation for Machine Translation with Multilingual Sentence Encoders

愛媛大学大学院理工学研究科助教

梶原智之

2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了。博士（工学）。大阪大学データビリティフ
ロンティア機構の特任助教を経て、2021 年より現職。言い換え生成や品質推定など自然言語処理の研究に従事。

1

推定コンペティション［4］を中心に、これまで多くの教はじめに師あり品質推定の手法［5-9］が提案されてきた。しかし、機械翻訳の研究開発の場では、翻訳品質は BLEU［1］や METEOR

文・機械翻訳の出力文・人手評価値」の 3 つ組が必要て推定されている。これらの自動評価指標は、ベンチマーである。このような品質推定の訓練用データの構築は、

ク上での機械翻訳の性能改善に貢献してきたが、実世界翻訳者などの原言語と目的言語の両方に精通したアノにおける機械翻訳の使用者は参照訳を事前に用意できなテータが必要となるため、非常にコストが高い。そのたい場合が多い。本稿では、機械翻訳の実世界での利用をめ、WMT の品質推定コンペティションに含まれるよう進める上で重要な、参照訳を用いない品質推定（Quality

な、わずかな言語対でしか教師あり品質推定モデルを得

Estimation; QE）[3] について解説する。品質推定では、られないのが現状である。

原文とそれに対応する翻訳文を比較することで、機械翻

教師なし品質推定は、このような人手評価値のラベル

訳の品質を推定する。人手評価との相関が高い品質推定付きデータの代わりに、機械翻訳の訓練に使用されるのの手法を開発することにより、機械翻訳の出力文をそのと同じ対訳コーパス、つまり、原言語文と目的言語文のまま使用するか、手動または自動で後編集するか、他の対のみを用いて訓練する。多言語 BERT［10］ をはじめ機械翻訳を使用するかという判断を支援できる。

とする多言語文符号化器の活用は、教師なし品質推定の機 械 翻 訳 に 関 す る 国 際 会 議 WMT（Workshop on

ための有望なアプローチである。しかし、多言語文符号

Statistical Machine Translation ／ Conference化器から得られる文のベクトル表現は、図 1（左）に示

on Machine Translation）にて開催されている品質

すように意味よりも言語の影響を強く受けており、再訓

図1

318

これらの教師あり品質推定モデルの訓練には、「原言語などの参照訳に基づく自動評価によっ［2］

英語とルーマニア語のパラレルコーパスから無作為抽出した 1,000 文対の PCA による可視化練なしでは言語を超えての文間の意味的類似度を正確に推定できない。

提案手法は、図 2 に示すように、2 つの多層パーセ
プトロン（Multi-Layer Perceptron; MLP）から構成

本 稿 で は、 国 際 会 議 EMNLP-2021（The 2021

される。多言語文符号化器から得られる文のベクトル表

Conference on Empirical Methods in Natural

現を入力として、MLPL が言語固有の情報（言語表現）

Language Processing）および COLING-2022（Theを抽出し、MLPM が言語非依存の情報（意味情報）を抽

29th International Conference on Computational

出する。そして、言語表現と意味表現のベクトルを足しLinguistics）において我々が提案した教師なし品質推合わせると、元の多言語文符号化器から得た文ベクトル定の手法［11-12］ について解説する。これらの提案手法が復元されるという制約のもとで、2 つの多層パーセプ

では、多言語文符号化器から得られる文のベクトル表現

トロンを学習する。

を、図 1（右）に示す言語固有の「言語表現」と図 1（中）に示す言語非依存の「意味表現」に分離する。この意味
表現間の余弦類似度によって、言語を超えて文間の意味的類似度を推定でき、人手評価値のラベル付きデータを用いることなく機械翻訳の品質推定を実現できる。
図2

多言語文符号化器は、品質推定をはじめとするクロス

これらの多層パーセプトロンを、上記の復元損失 LR

リンガル言語理解のために有用である。しかし、
図 1（左）の他に、意味に関する損失 LM および言語に関する損失に示したように、多言語文符号化器から得られる文表現

LL を用いて、対訳コーパス上で訓練する。つまり、式（1）は、言語固有の情報による影響を強く受け、再訓練なし

を最小化するような多言語のマルチタスク学習を行う。

では言語を超えての文間の意味的類似度の推定が難しい。
我々の目的は、多言語文符号化器から得られる文表現

L = L R + LM + LL

(1)から言語固有の情報を取り除き、言語非依存の意味情報

図 3 に提案手法の概要を示す。本手法では、対訳コーを表現する「意味表現」を抽出することである。本研究パスに含まれる（a）原言語文および（b）目的言語文

では、対訳コーパスを用いてこれを実現する方法を提案の文対に加えて、（c）原言語の中から無作為に選択さする。

れた文および（d）目的言語の中から無作為に選択され

図3

4

アイデアの中核となる自己符号化器

機械翻訳技術の向上

2

DREAM:Disentangled REpresentatioin for
language-Agnostic Meaning (EMNLP-2021)

DREAM における意味表現の抽出

YEAR BOOK 2O22319

た文の 4 文を用いて MLPM および MLPL を訓練する。
（a）

無作為に選択された同一言語内の文間で意味表現を遠と（b）は意味的に対応するが異言語の文対、（a）と（c）

ざけるための損失 LmM は、原言語文から抽出した意味表

および（b）と（d）は意味的な対応は持たないが同一

現 ŝM および ŝ´M ∈ R と目的言語文から抽出した意味表

言語の文対である。これらの文間の関係を考慮して、（a）現 ̂tM および ̂t´M ∈ R の間の類似度によって以下のようにと（b）の間では意味表現を近づけ、（a）と（c）およ定義される。

び（b）と（d）の間では言語表現を近づけつつ意味表
現を遠ざける。さらに、言語表現が各言語に固有の情報

dd

LMm = max (0, ɸ (ŝM , ŝ'M) ) + max ( 0, ɸ (t̂ M , t̂'M ) ) (7)を持つことを保証するために、言語表現からはその文が2.3

何語なのかを判定する。

言語に関する損失 LL式（1）における言語に関する損失 LL は、MLPL（∙）

2.1

復元損失 LRが言語固有の表現 êL を抽出するための制約である。同

復元損失 LR は、図 2 の自己符号化器を訓練するため

一言語である（a）と（c）および（b）と（d）の文間の基本的な損失関数であり、意味表現 êM ∈ R と言語表

で言語表現を近づける。また、êL が各言語に固有の情報

現 êL ∈ R から元の文表現 e ∈ R を復元できることをを持つことを保証するために、その文が何語なのかを判表している。これらの文表現の次元数を d として、復元定する言語判定を行う。それぞれ、以下の式（8）にお損失を以下のように定義する。

ける LmM および LiL の各損失に対応する。

d

d

d

1
2
LR = ―｜｜e − ( ê M + ê L )｜｜2d

LL = LmL + LLi

(2)

(8)

ここで、êM と êL は、それぞれ MLPM（∙）と MLPL（∙）

同一言語内の文間で言語表現を近づけるための損失によって元の文表現 e から抽出された意味表現と言語表

L は、原言語文から抽出した言語表現 ŝL ∈ Rd と目的言現である。

語文から抽出した言語表現 ̂tL ∈ R の間の類似度によっmLdê M = MLPM (e)(3)ê L = MLPL (e)(4)て以下のように定義される。

LmL = 2 − ɸ (ŝL ,ŝ'L) − ɸ ( t̂ L , t̂'L )(9)

このように、式（7）の制約と式（9）の制約を用いて、2.2

意味に関する損失 LM

無作為に選択された同一言語内の文間で対照的な学習を式（1）における意味に関する損失 LM は、MLPM（∙）
が言語非依存の表現 êM を抽出するための制約である。

ることを意図している。

意味的に対応する（a）と（b）の文間では意味表現を

最後の損失 LiL は、言語判定の学習を通じて言語表現

近づけ、意味的に対応しない（a）と（c）および（b）

êL として各言語に固有の表現を得ることを目指すものと（d）の文間では意味表現を遠ざける。それぞれ、以である。新たに多層パーセプトロン MLPI を用意して式下の式（5）における LMx および LmM の各損失に対応する。

（10）のように言語判定を行い、多クラス分類におけるLM = L + LxM

クロスエントロピー損失として式（11）のように LiL を

(5)

m
M

計算する。

対訳文間で意味表現を近づけるための損失 L は、原xM

言語文から抽出した意味表現 ŝM ∈ R と目的言語文からd抽出した意味表現 ̂tM ∈ R の間の類似度によって以下のdように定義される。なお、本研究では ϕ（∙）として余弦類似度を計算する。

LxM = 1 − ɸ (ŝM , t̂ M )320

行うことによって、意味表現と言語表現を明確に分離す(6)

ŷ = softmax ( MLPI ( êL ))∑ y log ŷ

LLi = −

j

j

j

(10)
(11)

表1

WMT20 品質推定タスクにおける DREAM と人手評価とのピアソン相関
多資源言語対中資源言語対少資源言語対

en-de

en-zh

ro-en

et-en

ne-en

si-en

平均

mBERT

0.071

0.010

0.182

0.009

0.025

-

0.056

mBERT + DREAM

0.125

0.131

0.663

0.354

0.400

-

0.335

XLM-R

0.061

0.007

0.151

0.016

0.008

0.148

0.063

XLM-R + DREAM

0.093

0.120

0.647

0.334

0.310

0.227

0.289

LaBSE

0.084

0.036

0.705

0.550

0.545

0.455

0.396

LaBSE + DREAM

0.151

0.156

0.711

0.549

0.627

0.552

0.458

LASER

0.105

0.106

0.705

0.463

-

0.325

0.341

Predictor-Estimator

0.145

0.190

0.685

0.477

0.386

0.374

0.376

2.4

実験設定

に、1 層 の フ ィ ー ド フ ォ ー ワ ー ド ニ ュ ー ラ ル ネ ッ ト
ワークを用いた。多言語文符号化器としては、代表的な有効性を評価する。提案手法では、原言語文および機械

mBERT3［10]、XLM-R4[15]、LaBSE5[16］の 3 つを用い翻訳の出力文を多言語文符号化器によって文表現に変換た。文表現には、それぞれの多言語文符号化器におけるし、それぞれの意味表現を抽出する。品質推定には、意[CLS] トークンに対応する最終層の出力ベクトルを用

味表現の間の余弦類似度を用いる。公式の評価方法に従いた。なお、対訳コーパスを用いて訓練するのは MLPい、モデルが推定した翻訳品質と人手評価値の間のピアのみであり、多言語文符号化器そのものは再訓練しない。

ソン相関によって品質推定の性能をメタ評価する。
2.4.1

データセット

我 々 の 品 質 推 定 モ デ ル は、 バ ッ チ サ イ ズ を 512
文、 最 適 化 手 法 を Adam［17]、 学 習 率 を 1e-5 と し て

WMT20 の品質推定タスク 1 には、6 言語対が含まれHuggingFace Transformers[18］ を 用 い て 訓 練 し た。

る。英語からドイツ語（en-de）および英語から中国語

検証用データにおける式（1）の損失が 10 エポック改（en-zh）の多資源言語対、ルーマニア語から英語（ro-善しない場合に訓練を終了した。なお、検証用データは、

en）およびエストニア語から英語（et-en）の中資源言訓練用データから 10% を無作為抽出して作成した。

語対、ネパール語から英語（ne-en）およびシンハラ語

2.4.3

比較手法

から英語（si-en）の少資源言語対である。各言語対にWMT19 の品質推定タスク［19］ でベースライン手法

おいて、1,000 文対の原言語文および機械翻訳の出力として採用されている LASER［20］ および WMT20 の文と、人手評価値の組が提供されている。評価対象の機

品質推定タスク［4］ でベースラインとして採用されて械翻訳は、fairseq ツールキット 2［13］を用いて訓練されいる Predictor-Estimator［6］ を提案手法と比較する。

た Transformer モデル［14］である。

LASER は再帰型ニューラルネットワークに基づく多言

我々の品質推定モデルの訓練には、WMT20 の品質

語機械翻訳の符号化器部分である。LASER による品質推定タスクで利用可能な対訳コーパスの一部を使用し推定は教師なし手法であり、原言語文と機械翻訳の出力た。多資源言語対においては 100 万文対ずつ、中資源

文をそれぞれ LASER によってベクトル化し、それら言語対においては 20 万文対ずつ、少資源言語対においの余弦類似度によって翻訳品質を推定する。Predictor-ては 5 万文対ずつの対訳コーパスを用いて訓練した。

Estimator は、対訳コーパス上で目的言語文の各単語

2.4.2

を原言語文および目的言語文中の周辺単語から推定するモデル

本 研 究 で は、 全 て の MLP（MLPM・MLPL・MLPI）

ように事前訓練された Predictor と、Predictor によっ1

https://github.com/facebookresearch/mlqe

32

https://github.com/pytorch/fairseq

https://huggingface.co/bert-base-multilingualcased4

https://huggingface.co/xlm-roberta-large

5

https://huggingface.co/sentence-transformers/
LaBSE

YEAR BOOK 2O22 321

4
機械翻訳技術の向上

WMT20 の品質推定タスク［4］ において提案手法の

図4

MEAT における意味表現の抽出て得られる特徴表現から品質推定を行う Estimator で構成される教師あり品質推定の手法である。

練できる。
図 4 に示すように、本手法も 2 章と同じく MLPL お
よび MLPM の 2 つの多層パーセプトロンからなる自己

2.5

実験結果

符号化器を用いて、多言語文符号化器から得た文のベク

実験結果を表 1 に示す。mBERT、XLM-R、LaBSE

トル表現を言語固有の言語表現と言語非依存の意味表現の全ての多言語文符号化器に対して、提案手法の意味表に分離する。これらの言語表現と意味表現を足し合わせ

現の抽出によって品質推定の性能が改善できることがわ

ることで、元の文表現が復元される。本手法では、これかる。特に、LaBSE の多言語文符号化器との組み合わらの多層パーセプトロンを、以下の 4 つの損失関数にせによって、最も高い性能を達成することができた。図基づく多言語のマルチタスク学習によって訓練する。

1（左）に示したように、mBERT や XLM-R は再訓練

L = L R + LC + LL + LAなしの状態での品質推定器としての性能は低いが、提案(12)

手法によって著しい性能改善が見られた。
LaBSE に提案手法を適用することで、教師なし品

3.1

復元損失 LR質 推 定 の LASER や 教 師 あ り 品 質 推 定 の Predictor-

2 章とは異なり、余弦類似度によって復元損失を定義

Estimator と比較して、多くの言語対において人手評する。余弦類似度はベクトルの方向のみを考慮するため、価との高い相関を達成することができた。特に、少資源

厳密にはベクトルの復元を評価しないが、こちらの方が言語対において、著しい性能改善が見られた。

高い性能が得られるため、本章では以下の復元損失を採用する。

3

MEAT:Meaning Embedding byAdversarial Training (COLING-2022)

LR = 1 − ɸ ( e− (êM ＋ êL ))(13)

2 章では、正例としての対訳コーパスおよび無作為に選択された擬似的な負例を用いて、多言語文符号化器か交差復元損失 LCら得られる文のベクトル表現を言語固有の言語表現と言対訳コーパスに含まれる原言語文 s と目的言語文 t は語非依存の意味表現に分離する手法 DREAM を提案し意味的に等価である。そこで、対訳文において意味表現

た。DREAM の意味表現は教師なし品質推定において同士を置換できることを保証するために、交差復元損失

人手評価との高い相関を達成したが、意味表現に言語固を用いる。これは、原言語の言語表現 ŝL と目的言語の有の情報が含まれないことは保証されていない。

意味表現 ̂tM から原言語の文表現 s を復元でき、同様に目本章では、意味表現に言語固有の情報が含まれないこ的言語の言語表現 ̂tL と原言語の意味表現 ŝM から目的言とを保証する敵対的学習を用いて、多言語文符号化器か語の文表現 t を復元できることを表している。以下のよら得られる文のベクトル表現を意味表現と言語表現に分

うに交差復元損失を定義する。

離する。本手法は、訓練時に負例を必要としないため、DREAM よりも単純な構造かつ少ない計算コストで訓

322

3.2

LC = 2 − ɸ (s , (ŝL ＋ t̂ M ) ) − ɸ (t , (ŝM ＋ t̂ M ) ) (14)

表2

WMT20 品質推定タスクにおける MEAT と人手評価とのピアソン相関
多資源言語対中資源言語対少資源言語対

en-de

en-zh

ro-en

et-en

ne-en

si-en

平均

LaBSE

0.084

0.036

0.705

0.550

0.545

0.455

0.396

LaBSE + DREAM

0.151

0.156

0.711

0.549

0.627

0.552

0.458

LaBSE + MEAT

0.215

0.222

0.717

0.587

0.634

0.571

0.491

LASER

0.105

0.106

0.705

0.463

-

0.325

0.341

Predictor-Estimator

0.145

0.190

0.685

0.477

0.386

0.374

0.376

3.3

言語表現損失 LLである。言語の判定に関しては、意味表現から言語を判

対訳コーパスに含まれる原言語文 s と目的言語文 t は定可能にする式（17）の訓練と、意味表現から言語を異なる言語の文である。そこで、対訳文において言語表

判定不可能にする式（18）の訓練の両方によって、敵現同士が類似しないことを保証するために、言語表現損

対的な訓練を行う。

失を用いる。以下のように言語表現損失を定義する。

LL = max (0, ɸ (ŝL , t̂ L ))

3.5
(15)

評価実験

2.4 節と同じ設定で、提案手法の有効性を評価する。
なお、本実験では多言語文符号化器として、2.5 節にお敵対的損失 LA

いて最も高い性能を達成した LaBSE［16］を用いる。

本研究では、多言語文符号化器から得られる文表現を

実験結果を表 2 に示す。まず、LaBSE と提案手法を言語表現と意味表現に分離することによって、言語非依

比較すると、提案手法によって全ての言語対において性存の意味的類似度推定を実現したい。そこで、意味表現

能が向上しており、本研究での意味表現の抽出が有効でに言語固有の情報が含まれないことを保証するために、あることがわかる。また、2 章で提案した DREAM と敵対的損失を用いる。これは、意味表現 êM から入力文の比較においても、全ての言語対において改善が見られの言語を判定できないことを表している。

るため、本手法によってより良い意味表現を抽出できて敵対的訓練として言語を判定するために、新たに多層パーセプトロン MLPD を用意する。以下のように意味表
現から言語を判定する N クラス分類を行う。

ŷ = softmax ( MLPD ( êM) )いると考えられる。
また、教師なし品質推定の LASER［20］や教師あり品
質推定の Predictor-Estimator［6］と比較して、提案手法は全ての言語対において人手評価との高い相関を達成(16)

MLPD は、以下のように多クラス交差エントロピー損

することができた。特に、少資源言語対において、著し
い性能改善が見られた。

失を用いて訓練する。

∑ y log ŷ

LD = −

j

j

(17)

j

4

おわりに

ここで、式（17）は MLPD を訓練するための損失関

本稿では、mBERT［10］ や LaBSE［16］ などの事前訓数であり、MLPM および MLPL を訓練するための式（12）練された多言語文符号化器に基づく機械翻訳のための教には含まれないことに注意されたい。

師なし品質推定の手法について解説した。我々が提案す

この敵対的モデルに対して、本研究では意味表現からる DREAM［11］ および MEAT［12］ は、多言語文符号化

言語を判定できないことを目指すため、言語判定におけ器によって得られる文表現から言語固有の情報を取り除る ŷ の分布を一様分布に近づける。以下にように敵対的くことで言語非依存の意味表現を抽出し、言語を超えて損失を定義する。

文間の意味的類似度推定を可能にした。

∑

LA = −

j1― log ŷ j
N

(18)

ここで、N は訓練用データに含まれる言語の種類数

WMT20 の品質推定タスク［4］ における 6 つの言語
対における評価実験の結果、提案手法は最先端の多言語文符号化器である LaBSE の性能を一貫して改善し、人YEAR BOOK 2O22 323

4
機械翻訳技術の向上

3.4

手評価との高い相関を得た。特に、提案手法は少資源言

Translation Quality Estimation Framework.

語対において教師なし品質推定の最高性能を達成した。

In Proceedings of the 51st Annual Meetingof t he Associat ion f or Com put atio n a l

謝辞

Linguistics: System Demonstrations, pages

本稿は、国際会議 EMNLP-2021 に採択された論文［11］

および国際会議 COLING-2022 に採択された論文

79–84.

［12］［6］Hyun Kim, Hun-Young Jung, Hongseokに基づき、これらの論文を再構成して解説したものであ

Kwon, Jong-Hyeok Lee, and Seung-Hoon Na.

る。また、本研究は JSPS 科研費（若手研究、課題番号：

2017. Predictor-Estimator: Neural Quality

JP20K19861）および国立研究開発法人情報通信研

Estimation Based on Target Word Prediction

究機構の委託研究（課題番号：225）による助成を受け

for Machine Translation. ACM Transactionsて実施した。

on Asian and Low-Resource Language
Information Processing, 17（1）:1–22.

参考文献［7］Tharindu Ranasinghe, Constantin Orasan,［1］Kishore Papineni, Salim Roukos, Todd

and Ruslan Mitkov. 2020. TransQuest:

Ward, and WeiJing Zhu. 2002. BLEU:

Translation Quality Estimation with Cross-

A Method for Automatic Evaluation of

lingual Transformers. In Proceedings of

Machine Translation. In Proceedings of thethe 28th International Conference on

40th Annual Meeting on Association for

Computational Linguistics, pages 5070–

Computational Linguistics, pages 311–318.

5081.

［2］Satanjeev Banerjee and Alon Lavie. 2005.

［8］M a r i n a F o m i c h e v a , S h u o S u n , L i s a

METEOR: An Automatic Metric for MT

Yankovskaya, Frédéric Blain, Vishrav

Evaluation with Improved Correlation

Chaudhary, Mark Fishel, Francisco Guzmán,with Human Judgments. In Proceedings

and Lucia Specia. 2020. BERGAMOT-of the ACL Workshop on Intrinsic and

LATTE Submissions for the WMT20 Quality

Extrinsic Evaluation Measures for Machine

Estimation Shared Task. In Proceedings

Translation and/or Summarization, pagesof the Fifth Conference on Machine

65–72.

Translation, pages 1010–1017.

［3］Lucia Specia, Carolina Scarton, and Gustavo［9］Akifumi Nakamachi, Hiroki Shimanaka,

Henrique Paetzold. 2018. Quality Estimation

Tomoyuki Kajiwara, and Mamoru Komachi.

for Machine Translation. Synthesis Lectures

2020. TMUOU Submission for WMT20

on Human Language Technologies, 11

Quality Estimation Shared Task. In（1）:1–162.

Proceedings of the Fifth Conference on［4］L u c i a S p e c i a , F r é d é r i c B l a i n , M a r i n a

Machine Translation, pages 1037–1041.

Fomicheva, Erick Fonseca, Vishrav［10］Jacob Devlin, Ming-Wei Chang, Kenton

Chaudhary, Francisco Guzmán, and André

Lee, and Kristina Toutanova. 2019.

F. T. Martins. 2020. Findings of the WMTBERT: Pre-training of Deep Bidirectional

2020 Shared Task on Quality Estimation.

Transformers for Language Understanding.

In Proceedings of the Fifth Conference on

In Proceedings of the 2019 Conference

Machine Translation, pages 743–764.

of the North American Chapter of the［5］Lucia Specia, Kashif Shah, Jose G.C. de

Association for Computational Linguistics:

Souza, and Trevor Cohn. 2013. QuEst - A

Human Language Technologies, pages

324

4171–4186.

［16］Fangxiaoyu Feng, Yinfei Yang, Daniel［11］Nattapong Tiyajamorn, Tomoyuki Kajiwara,

Cer, Naveen Arivazhagan, and Wei Wang.

Yuki Arase, and Makoto Onizuka. 2021.

2022. Language-Agnostic BERT Sentence

Language-Agnostic Representation fromEmbedding. In Proceedings of the 60th

Multilingual Sentence Encoders for Cross-

Annual Meeting of the Association for

Lingual Similarity Estimation. In Proceedings

Computational Linguistics, pages 878–891.

of the 2021 Conference on Empirical［17］Diederik Kingma and Jimmy Ba. 2015.

Methods in Natural Language Processing,

Adam: A Method for Stochastic Optimization.

pages 7764–7774.

In Proceedings of the 3rd International［12］Yuto Kuroda, Tomoyuki Kajiwara, Yuki
Arase, and Takashi Ninomiya. 2022.

Conference on Learning Representations,pages 1–15.
［18］Thomas Wolf, Lysandre Debut, Victor

Meaning and Language Representations

Sanh, Julien Chaumond, Clement Delangue,

for Unsupervised Quality Estimation. In

Anthony Moi, Pierric Cistac, Tim Rault,

Proceedings of the 29th International

Remi Louf, Morgan Funtowicz, Joe Davison,

Conference on Computational Linguistics.

Sam Shleifer, Patrick von Platen, Clara Ma,［13］Myle Ott, Sergey Edunov, Alexei Baevski,

Yacine Jernite, Julien Plu, Canwen Xu, Teven

Angela Fan, Sam Gross, Nathan Ng, DavidLe Scao, Sylvain Gugger, Mariama Drame,

Grangier, and Michael Auli. 2019. fairseq:

Quentin Lhoest, and Alexander Rush. 2020.

A Fast, Extensible Toolkit for Sequence

Transformers: State-of-the-Art Natural

Modeling. In Proceedings of the 2019

Language Processing. In Proceedings ofConference of the North American Chapter

the 2020 Conference on Empirical Methodsof t he Ass o c i a t i o n fo r C o m p u t a t ionalin Natural Language Processing: System

Linguistics（Demonstrations）, pages 48–

Demonstrations, pages 38–45.

53.

［19］Erick Fonseca, Lisa Yankovskaya, André［14］Ashish Vaswani, Noam Shazeer, Niki

F. T. Martins, Mark Fishel, and Christian

Parmar, Jakob Uszkoreit, Llion Jones, Aidan

Federmann. 2019. Findings of the WMTN. Gomez, undefinedukasz Kaiser, and Illia

2019 Shared Tasks on Quality Estimation.

Polosukhin. 2017. Attention is All You Need.

In Proceedings of the Fourth Conference on

In Proceedings of the 31st Conference on

Machine Translation, pages 1–10.

Neural Information Processing Systems,
page 6000–6010.

［20］Mikel Artetxe and Holger Schwenk. 2019.
Marginbased Parallel Corpus Mining with

［15］Alexis Conneau, Kartikay Khandelwal,

Multilingual Sentence Embeddings. In

Naman Goyal, Vishrav Chaudhary, Guillaume

Proceedings of the 57th Annual Meeting

Wenzek, Francisco Guzmán, Edouard Grave,of t he Associat ion f or Com put at io n a lMyle Ott, Luke Zettlemoyer, and Veselin

Linguistics, pages 3197–3203.

Stoyanov. 2020. Unsupervised Crosslingual Representation Learning at Scale.
In Proceedings of the 58th Annual Meetingof t he Ass o c i a t i o n fo r C o m p u t a t ional
Linguistics, pages 8440–8451.

YEAR BOOK 2O22 325

4
機械翻訳技術の向上

Adversarial Training on Disentangling