事前訓練モデルの言語拡張とその効果
Language Expansion of a Pretrained Model and its Effects
国立研究開発法人情報通信研究機構 ユニバーサルコミュニケーション研究所
先進的音声翻訳研究開発推進センター 主任研究員

今村賢治

2004 年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士課程修了。1985 年日本電信電話株式会社。
2014 年株式会社 ATR-Trek より NICT に出向。機械翻訳の研究に従事。

国立研究開発法人情報通信研究機構 ユニバーサルコミュニケーション研究所
先進的音声翻訳研究開発推進センター 副センター長

隅田英一郎

1999 年京都大学大学院博士（工学）取得。1982 年日本アイ・ビー・エム。2002 年 ATR。2010 年 NICT（2016年同フェロー）。機械翻訳の研究に従事。

1 はじめに
事前訓練モデルは、大規模なコーパスでモデルを事前に訓練しておき、それを微調整（fine-tuning）するこ

お、公開されている mBART モデル 1（以下、オリジナ
ル mBART モデルと呼ぶ）は、英語、ヒンディー語を含んでいるが、インドネシア語、マレー語、タイ語は含んでいない。とによって、さまざまなタスクに適用させる技術である。機械翻訳を含むさまざまなタスクにおけるベースモデルとして利用され、精度向上に大きく寄与してきた。
機械翻訳では、原言語と目的言語は異なるので、事前2 mBART モデルの言語拡張
2.1

mBART モデル

訓練モデルも多言語で訓練されたもの（多言語モデル）

mBART は BART（（Bidirectional and Auto-が使用される。しかし、原言語または目的言語が事前訓

Regressive Transformers）［3］の多言語モデルで練モデルの対象に含まれていない場合、基本的には使用ある。エンコーダー・デコーダー形式の Transformerすることができず、何らかの対処を必要とする。

［4］で、デコーダーが自己再帰方式であることが特徴

本稿では、事前訓練モデルの一つである mBART モである（図 1）。

デル（multilingual sequence-to-sequence denoisingmBART は、BART を多言語化するため、エンコーauto-encoder）［1］を、新たな言語対の翻訳に適用すダー入力の最後尾、およびデコーダー入力の先頭に言語るため、対象言語を拡張し、追加訓練を行った。

タグをつけて訓練、使用する。これによって、複数の言

モ デ ル は、WAT-2021［2］ の NICT-SAP 共 有 タ

語を 1 つのモデルで訓練・使用することができる。
オリジナル mBART モデルは、エンコーダー、デコースクで評価した。これは、英語⇔ヒンディー語、インドネシア語、マレー語、タイ語間の翻訳タスクである。な1302

https://dl.fbaipublicfiles.com/fairseq/models/mbart/mbart.cc25.v2.tar.gz

ダーともに 12 層、モデル次元数 1024、16 ヘッド

英語、ヒンディー語を含む 5 言語で追加訓練を行った。

である。このモデルは Common Crawl コーパス［5］mBART モデルの追加訓練は、オリジナル mBARTのうち、25 言語の単言語コーパスを使って訓練されてlarge モデルの単語埋込に、ランダム初期化した言語タいる。

グを追加して、訓練した。これは、コーパスとハイパー
表1パラメーターを除いて、mBART-50［6］の訓練手順

事前訓練モデル用の単言語訓練データ

言語と同じである。

文数

トークン数

英語（En）

7,000,000

1.74 億ヒンディー語（Hi）

1,968,984

0.54 億から抽出したデータを使用した。コーパスサイズを表 1

インドネシア語（Id）

6,997,907

1.51 億に示す。抽出した文は、英語だけ突出して多く（約 1.5

マレー語（Ms）

2,723,230

0.57 億億文）、他の言語と水準を合わせるため、700 万文だけ

タイ語（Th）

2,233,566

0.60 億事前訓練コーパスは、Wikipedia のダンプファイルサンプリングして使用した。
訓練は、Fairseq 翻訳器［7］2 で行った。訓練時間は、

2.2

言語拡張と追加訓練

NVIDIA V100 GPU8 個で約 15 日だった。

前述のように、オリジナル mBART モデルにはイン

で我々は、この 3 言語を含むようにモデルを拡張し、

2

https://github.com/pytorch/fairseq

mBART事前訓練
Who am I ? 
 Where did I come from ? 
 [En]Transformerエンコーダー

Transformerデコーダー

Where did _ _ from ? 
 Who _ I _ 
 [En][En] Who am I ? 
 Where did I come from ? 
Siapa saya ? 
 Dari mana saya berasal ? 
 [Id]Transformerエンコーダー

Transformerデコーダー

Dari mana _ _ ? 
 Siapa saya _ 
 [Id][Id] Siapa saya ? 
 Dari mana saya berasal ? 


機械翻訳用訓練（微調整）Where did I come from ? 
 [En]図1

Transformerエンコーダー

Transformerデコーダー

Dari mana saya berasal ? 
 [Id][En] Where did I come from ? 
mBART の事前訓練と機械翻訳タスクへの適用例（［1］の図を改変）。インドネシア語から英語への翻訳の場合。

YEAR BOOK 2O21 303

機械翻訳技術の向上

4

ドネシア語、マレー語、タイ語が含まれていない。そこている。

3 翻訳実験

オリジナル mBART モデルに含まれていなかったイ言語を追加した mBART モデルは、対訳コーパスでンドネシア語、マレー語、タイ語に着目しても、すべて微調整することによって、翻訳モデルとなる。今回はの言語対において、事前訓練モデル（言語拡張）は 10

WAT-2021 の NICT-SAP 共有タスクで評価した。

ポイント以上、事前訓練モデルなしを上回った。したがって、新しい言語対の翻訳には言語拡張・追加訓練が3.1

実験設定有効である。

NICT-SAP 共有タスク［2］は、対訳が比較的少な

オリジナル mBART モデルと言語拡張して追加訓練

い 4 言語（ヒンディー語（Hi）、インドネシア語（Id）、した mBART モデルを比べた場合、ほとんどの場合、マレー語（Ms）、タイ語（Th））と英語との翻訳タスク

追 加 訓 練 に よ っ て 翻 訳 品 質 が 若 干 向 上 し た。 元 のである。これには 2 種類のドメインを含んでいる。

mBART モデルが Common Crawl で訓練されていた⃝ ALT（Asian Language Treebank）ドメインは、のに対して、本稿の拡張モデルは、Wikipedia で追加

WikiNews から作成した対訳データである。訓練文訓練しているため、モデルが許容する言語が増えたとも数は各 1 万 8 千文と、とても少ない。

考えられるが、これについては、さらなる検証が必要で⃝ IT ドメインは、ソフトウェア文書の対訳データでああると考えている。

る。訓練データは言語対によって 7 万文から 50 万

なお、テストセットと表 1 の事前訓練コーパスを比文程度である。

較したところ、ALT ドメインでは同一文はまったく含

なお、訓練セットには、対訳として不適切と思われるまれていなかった（IT ドメインでは、言語によって 0データが含まれていたため、それらを削除して使用し～ 10% の同一文が存在）。したがって、この品質向上は、た。

事前訓練モデルがテストセット文を記憶したためでは翻訳システムは、事前訓練と同じく Fairseq を使っない。

た。 比 較 シ ス テ ム は、 事 前 訓 練 モ デ ル 未 使 用（Transformer ベースモデル）と、事前訓練モデルの単4 おわりに語埋め込みに、言語タグを追加しただけもの（オリジナ

本稿では、事前訓練モデルの一つである mBART にル）の 2 種類を使用した。

対して、言語を拡張し、追加訓練を行った。事前訓練モ3.2

実験結果

デル自体は、小規模リソースの翻訳品質改善に大きく寄

表 2 は、ALT ドメイン、IT ドメインでの、WAT 公

与するが、拡張言語に対しても、同様に翻訳品質が改善

式 BLEU スコア［8］である。これを見ると、言語拡した。言語拡張・追加訓練は、新しい言語の翻訳に有効

張と追加訓練を行った事前訓練モデルは、すべての言語である。

対において、事前訓練未使用の BLEU スコアを上回っ

表2

ドメイン

事前訓練モデル

ALT

IT

304

WAT-2021 における公式 BLEU スコア

ヒンディー語

インドネシア語

マレー語

タイ語

En→Hi

Hi→En

En→Id

Id→En

En→Ms

Ms→En

En→Th

Th→En

未使用

12.26

8.23

24.71

23.65

31.02

27.52

13.73

2.04

オリジナル

34.26

33.62

40.45

40.62

44.27

41.93

54.95

25.56

言語拡張＋追加訓練

34.97

35.21

41.15

43.90

45.17

44.53

55.69

28.96

未使用

7.97

4.92

23.33

22.64

29.62

26.53

10.24

0.99オリジナル

27.77

34.72

42.12

39.03

40.37

37.00

51.58

20.00

言語拡張＋追加訓練

29.05

35.32

43.25

40.69

40.76

38.42

50.91

21.89

謝辞
本件は、総務省の「ICT 重点技術の研究開発プロジェクト（JPMI00316）」における「多言語翻訳技術の高度化に関する研究開発」による委託を受けて実施した研究開発による成果です。

参考文献［1］Liu, Y., et al., 2020. Multilingual Denoising
Pre-training for Neural Machine Translation.
arXiv 2001.08210.
［2］Nakazawa, T. et al., 2021. Overview of the8th Workshop on Asian Translation. In Proc.
of WAT 2021.
［3］Lewis, M., et al., 2020. BART: Denoising4

機械翻訳技術の向上

Sequence-to-Sequence Pretraining for
Natural Language Generation, Translation,and Comprehension. In Proc. of ACL 2020,pp. 7871–7880.
［4］Vaswani, A. et al., 2017. Attention is All
You Need. CoRR, abs/1706.03762.
［5］Wenzek, G. et al., 2019. CCNet: Extracting
High Quality Monolingual Datasets fromWeb Crawl Data. arXiv 1911.00359.
［6］Tang, Y. et al., 2020. Multilingual Translation
with Extensible Multilingual Pretraining andFinetuning. arXiv 2008.00401.
［7］Ott, M. et al., 2019. Fairseq: A Fast,Extensible Toolkit for Sequence Modeling.
In Proc. of NAACL-2019（Demonstrations）,
pp. 48–53.
［8］Papineni, K. et al., 2002. Bleu: A Method
for Automatic Evaluation of MachineTranslation. In Proc. of ACL-2002, pp. 311–318.

YEAR BOOK 2O21 305