Triplet Lossと知識蒸留を用いた
Multilingual Sentence BERTモデルの構築
Generation of Multilingual Sentence BERT Model using Triplet Loss and Knowledge Distillation
北海学園大学

大学院工学研究科教授

越前谷博

1996 年北海学園大学大学院工学研究科修士課程修了。博士（工学）。2013 年～現在北海学園大学大学院工学研究科教授。機械翻訳の研究に従事。アジア太平洋機械翻訳協会（AAMT）／ Japio 特許翻訳研究会委員。
echi@lst.hokkai-s-u.ac.jp

1011-841-1161（内線：7863）

師モデルに単一言語の SBERT モデル、生徒モデルにはじめに多言語の mBERT モデルを用いて知識蒸留［6］ により近年のディープラーニング技術の進展に伴い、多言mSBERT を構築している。

語を一つのモデルで扱うことのできる言語モデルの研究

本報告ではより高い精度で類似度を得ることが可能が進んでいる。その結果、多言語文をベクトルで表現すな mSBERT モデルを提案する。提案手法では擬似対ることが可能となり、様々な自然言語処理タスクにおい訳コーパスに基づいて Triplet データを作成することて多言語モデルの利用価値が高まっている。BERT モ

で Margin MSE Loss［7］ を 用 い て mBERT モ デ ルデルが単一言語を対象としたモデルであるのに対して、をファインチューニングする。その後、教師モデルにMultilingual BERT（mBERT）

は 104 の言語の単

SBERT モデル、生徒モデルにファインチューニングし一言語コーパスを用いて学習された多言語モデルとなった mBERT モデルを用いて知識蒸留により mSBERTている。この mBERT は各言語毎に単一言語のコーパを構築する。性能評価実験では提案手法（mSBERTスを収集し学習データとして用いており、言語間の対応

by Triplet Margin and Knowledge Distillation:は明示的に学習していないにもかかわらず、異言語の単

mSBERT by TM and KD）、 知 識 蒸 留 の み に よ る

語間で規則的な関係が成り立っており、word2vec の提 案 手 法（mSBERT by Knowledge Distillation:

ようにベクトルの距離が意味的な距離を表現できている

mSBERT by KD）、 既 存 の mBERT と mSBERT のことが確認されている。したがって、mBERT を用

4 つのモデルそれぞれを用いて、The 4th Workshopいることで異言語の文間の類似度を一つのモデルで得る

on Asian Translation（WAT2017） デ ー タ に あ る

ことが可能となる。

特許翻訳の英文と日本文間の文間類似度を求めた。そし［1］［2］

こ の よ う な 観 点 よ り BERT や RoBERTa

をて、それらと人手評価との相関係数を求めることで機械ファインチューニングすることでより高い精度かつ翻訳に対する自動評価の観点から比較実験を行った。そ短い学習時間で文間類似度を得るための Sentence-の結果、小規模な評価データではあるが、提案手法であBERT（SBERT）の研究が行われている［4］。SBERTる mSBERT by TM and KD が最も高い相関係数を示

で は Siamese と Triplet Network 構 造 を 用 い、 かした。

［3］

つ Pooling 層を付与して事前学習モデルの BERT をファインチューニングする。その結果、大幅な学習時間の短縮を実現しつつ精度の高い文間類似度が得られる。さらに SBERT を多言語に拡張させたモデルとして mSBERT［5］242が提案されている。mSBERT では教

2

提案手法における mSBERT モデルの構築

本報告で提案する mSBERT by TM and KD のアーキテクチャを図 1 に示す。

図1

1

提案手法のアーキテクチャ

提 案 手 法 で は ま ず Triplet デ ー タ を 用 い て Margin
MSE Loss に基づくファインチューニングを行い、そ3

擬似対訳コーパスの作成とコサイン類似度の付与の後、知識蒸留により mSBERT by TM and KD モデ

擬似対訳コーパスは英日対訳コーパスの英文と日本ルを生成する。Triplet MSE Loss に基づくファイン文をそれぞれ Google 翻訳により翻訳した文を用いる。

チューニングでは対訳文と擬似対訳文を用いて mBERT

すなわち、英文を Google 翻訳により日本文に翻訳すをファインチューニングする。その際、対訳文の英文とることで擬似日本文、日本文を Google 翻訳により英日本文の間のコサイン類似度を Positive cos_sim と文に翻訳することで擬似英文を作成する。

位置付ける。また、対訳文の英文をクエリとした場合、また、これらの擬似対訳コーパスに付与する Gold

英文と擬似日本文の間のコサイン類似度を Negative

Similarity は英語の SBERT モデルを用いてコサイン

En-Ja cos_sim とする。そして、Gold Similarity で類似度を算出することで得る。日本文をクエリとしたある｜ Positive cos_sim–Negative En-Ja cos_sim

Negative Ja-En cos_sim は 英 文 と 擬 似 英 文 と の 間｜の値を用いて学習を行う。さらに日本文をクエリとしのコサイン類似度を SBERT より算出することで得る。

た場合には、日本文と擬似英文の間のコサイン類似度

また、英文をクエリとした Negative En-Ja cos_sim

を Negative Ja-En cos_sim とする。そして、Goldは擬似日本文をさらに Google 翻訳により擬似英文をSimilarity である｜ Positive cos_sim–Negative Ja-作成し、その擬似英文と対訳コーパスの英文との間のEn cos_sim ｜の値を用いて学習を行う。

コサイン類似度を SBERT により算出することで得る。

次いで、類似度に特化した文ベクトルを生成するため

なお、Positive cos_sim については対応関係にある対に知識蒸留により mBERT をファインチューニングす訳コーパスを用いることから、コサイン類似度の最大値る。その際に教師モデルには単一言語の SBERT、生徒である 1.0 を固定値として用いる。

モデルには Triplet MSE Loss に基づきファインチューニングされた mBERT を用いる。このように mBERTを事前に Triplet データによりファインチューニングし、そのうえで知識蒸留によりファインチューニングすることでより高い精度で類似度を得るための言語モデルの生成を図る。

4

性能評価実験

4.1

実験方法- 機械翻訳技術

4

評 価 実 験 は 提 案 手 法 に よ る モ デ ル（mSBERT byTM and KD モデル）、知識蒸留のみを用いたモデル

YEAR BOOK 2O23 243

（mSBERT by KD モデル）
、そして、既存の mBERT モ

roberta-base、 そ し て、paraphrase-multilingual-デルであるxlm-roberta-base とmSBERTモデルであるbase-v2 の 4 つのモデルの評価精度はそれぞれのモデ

paraphrase-multilingual-mpnet-base-v22 を用いてルが原文とその MT 訳に対して出力した文ベクトルに比較実験を行った。paraphrase-multilingual-mpnet-

対してコサイン類似度を求め、そのコサイン類似度と人

base-v2 は 教 師 モ デ ル に SBERT（paraphrase-手評価スコアとの間の相関係数を求めることで行った。

1

mpnet-base-v2 モ デ ル ）、 生 徒 モ デ ル に mBERT
3（xlm-roberta-base モ デ ル ） を 用 い て 知 識 蒸 留 に よ4.2

実験結果り生成された mSBERT モデルである。mSBERT by

mSBERT by TM and KD、mSBERT by KD、 そTM and KD モ デ ル と mSBERT by KD モ デ ル に つして、xlm-roberta-base、paraphrase-multilingual-

い て は 学 習 デ ー タ と し て OPUS に あ る TED20204

base-v2 の 4 つのモデルの相関係数は、英日ではそれの英日対訳コーパスの 10 万の対訳文を使用した。まぞれ 0.1689、0.0851、-0.1204、0.0656、日英た、mSBERT by TM and KD モデルの生成においてではそれぞれ 0.0652、0.1049、0.0296、0.1149

用いた Triplet データは英文をクエリとしたデータが約と な り、 英 日 と 日 英 の 平 均 値 は そ れ ぞ れ 0.1171、32,000、日本文をクエリとしたデータが約 65,000

0.0950、-0.0908、0.0903 と な り 提 案 手 法 ので あ る。 評 価 の 際 に は 4 つ の モ デ ル そ れ ぞ れ よ り

mSBERT by TM and KD の相関係数が最も高かった。

WAT2017 の英日データと日英データを用いて類似度

表 1 に英日翻訳における原文（英文）、その MT 訳（日を求め、それらを自動評価スコアとした。そして、自本文）、参照訳（日本文）、人手評価スコア、そして、4動評価スコアと人手評価によるスコアとの間で相関係つのモデルにより得られたコサイン類似度の具体例を数を求めた。また、mSBERT by TM and KD モデル示す。と mSBERT by KD モデルでは、コサイン類似度は英語版 SBERT モデルである paraphrase-MiniLM-L12-4.3

考察v2 を用いて得た。一方、図 1 の SBERT モデルには提案手法の mSBERT by TM and KD モデルは英日

paraphrase-mpnet-base-v2、mBERT モ デ ル に はの MT 訳においては人手評価との間で最も高い相関係数

xlm-roberta-base を用いた。

を示した。しかし、日英の MT 訳においては mSBERT

5

評 価 対 象 の MT 訳 に は WAT2017 デ ー タ に あ る

by KD モ デ ル と paraphrase-multilingual-base-v2

JPO の 英 文 200 文 に 対 す る Japio に よ る 日 本 文 のモデルよりも低い相関係数となった。これは Triplet

MT 訳、また、JPO の日本文 200 文に対する Japio

Margin Loss による学習において英日の Triplet デーによる英文の MT 訳を用いた。人手評価には英日と日タに比べ、日英の Triplet データでは適切なコサイン類

英共に adequacy の観点より行った 2 名の評価者によ似度が付与されなかったため適切な学習ができなかった

る 5 段階評価の平均を用いた。

ことが原因と考えられる。日本文をクエリとした日英

mSBERT by TM and KD、mSBERT by KD、xlm-の Triplet データでは Negative Ja-En cos_sim の値、
すなわち、対訳コーパスの英文と擬似英文の間において1

https://huggingface.co/xlm-roberta-base

コサイン類似度がそれほど高くないものも数多く存在し2

https://huggingface.co/sentence-transformers/

た。擬似英文は対訳コーパスの日本文を Google 翻訳

paraphrase-multilingual-mpnet-base-v2

により英文に翻訳することで得られるが、その場合、日https://huggingface.co/sentence-transformers/

本文が意訳されていると擬似英文と対訳コーパスの英文

paraphrase-mpnet-base-v2との間で意味的なずれが生じてコサイン類似度が低下し

3

4

https://opus.nlpl.eu/TED2020.php

5https://huggingface.co/sentence-transformers/
paraphrase-MiniLM-L12-v2

244てしまう。その結果、適切ではないコサイン類似度が付与された英文が生成され、日英の Triplet データでは十分な学習ができなかったと考えられる。一方、英文をクエリとした英日の Triplet データでは英文から日本文、

表1

英日の比較実験におけるコサイン類似度の具体例
例1

原文

The turbomachine 2 includes an electrical motor 4 connected to a compressor 6 .

MT 訳

ターボ機械 2 は、圧縮機 6 に接続された電気モータ 4 を含む。

参照訳

ターボ機械 2 は圧縮機 6 に接続された電気モータ 4 を含む。

コサイン類似度mSBERT by TM and
KD：0.9581

mSBERT by KD：
0.9560xlm-roberta-base：
0.9957

人手評価
paraphrase-multilingual-mpnet-base-v2：0.8377

5

例2
Typical fibrillated carboxymethyl cellulose is shown in FIGS. 1-6 .

MT 訳

典型的な解繊カルボキシメチルセルロースセルロースを図 1 〜 6 に示す。

参照訳

図 1 〜 6 に典型的なフィブリル化カルボキシメチルセルロースを示す。

コサイン類似度mSBERT by TM and
KD：0.8652

mSBERT by KD：
0.8865

xlm-roberta-base：
0.9957

4
1

人手評価
paraphrase-multilingual-mpnet-base-v2：0.6437

4

例3
原文

Water as the heat medium flows through the inside of the first heat medium passage 232 .

MT 訳

熱媒体は、第 1 熱媒体通路 232 の内部を通って流れる。

参照訳

第 1 熱媒体経路 232 はその内部に熱媒体としての水を通流させる。

コサイン類似度mSBERT by TM and
KD：0.8317

mSBERT by KD：
0.9340xlm-roberta-base：
0.9955

人手評価
paraphrase-multilingual-mpnet-base-v2：0.9044

3

例4
原文

As understood from FIG. 27 , data value 0 is added for expansion into two-dimensions.

MT 訳

図 27 から理解されるように、拡張のためにデータ値 0 を 2 次元に拡張する。

参照訳

図 27 から分かるように、2 次元拡張のためにデータ値 0 が追加される。

コサイン類似度mSBERT by TM and
KD：0.8870

mSBERT by KD：
0.9083

xlm-roberta-base：
0.9969

人手評価
paraphrase-multilingual-mpnet-base-v2：0.8314- 機械翻訳技術

原文2.5

YEAR BOOK 2O23 245

そして、その日本文から英文に翻訳したものと対訳コー

今後は英日の対訳コーパスだけではなく、他の言語のパスの英文との間でコサイン類似度を求めるため、意訳対訳コーパスについても擬似対訳コーパスを生成し、その悪影響を受けずに適切なコサイン類似度が付与されたれらを用いたファインチューニングを行う予定である。

Triplet データを用いて学習が行われたと考えられる。

また、多言語の原文と MT 訳間の類似度を求めることしたがって、擬似対訳コーパスを生成する際には良質なで大規模な性能評価実験を行う。そして、WMT データ対訳コーパスを用いることが重要である。

をファインチューニングのための学習データに用いるこ

また、表 1 の例 1 から例 3 の具体例より英日の場合、比較的人手評価が高い MT 訳文については mSBERTとでより自動評価に適した言語モデルを構築する予定である。

by TM andKD モデルは人手評価に追随できているが、例 4 のように人手評価が低い場合、過度に高いコサイ

参考文献ン類似度を与えていることがわかる。そのような傾向は［1］Jacob Devlin, Ming-Wei Chang, Kenton Lee

mSBERT by KD モデルと xlm-roberta-base モデル

and Kristina Toutanova,“BERT: Pre-trainingにおいてより強く見られた。ただし、人手評価が 1 かof Deep Bidirectional Transformers for

ら 5 の中央値である 3 を下回るデータは例 4 の原文とLanguage Understanding,”Proceedings ofMT 訳のみであったためデータ量は不十分であり、一定

NAACL-HLT 2019, pp. 4171–4186（2019）

量のデータに基づく検証が必要である。paraphrase-［2］T e l m o P i r e s , E v a S c h l i n g e r a n d D a nmultilingual-mpnet-base-v2 モ デ ル に つ い て は MTGarrette,“How multilingual is Multilingual

訳にカタカナ表記が多くなるに伴い、今回の評価実験でBERT?,” Proceedings of the 57thは類似度が低くなる傾向が見られた。カタカナ表記を対Annual Meeting of the Association for

象としたファインチューニングを強化することでこのComputational Linguistics, pp. 4996–5001

点は改善される可能がある。提案手法の mSBERT by（2019）

TM and KD モデルについては平均値の相対的比較にお［3］Yinhan Liu, Myle Ott, Naman Goyal, Jingfei

いては最も高い相関係数を得ることができたが、絶対値

Du, Mandar Joshi, Danqi Chen, Omer Levy,としては低く、また日英の評価精度は相対的にも不十分

Mike Lewis, Luke Zettlemoyer and Veselinであるため改善が必要である。

Stoyanov,“RoBERTa: A Robustly Optimized
BERT Pretraining Approach,”arXiv preprint

5246

まとめ

arXiv:1907.11692（2019）［4］Nils Reimers and Iryna Gurevych,“Sentence-

本報告では異言語の文間類似度を求めるための多言語

BERT: Sentence Embeddings using Siamese

対応の新たな言語モデルを提案した。提案手法では英日

BERT-Networks,” Proceedings of the

対訳コーパスと英日擬似対訳コーパスを用いて Triplet

2019 Conference on Empirical Methods in

Margin により多言語モデル mBERT をファインチュー

Natural Language Processing and the 9th

ニングした。その後、単言語の SBERT モデルを教師

International Joint Conference on Natural

モ デ ル、 フ ァ イ ン チ ュ ー ニ ン グ さ れ た mBERT を 生

Language Processing, pp. 3982–3992

徒モデルとした知識蒸留により mBERT をファイン（2019）

チューニングすることで mSBERT モデルを生成した。

［5］Nils Reimers and Iryna Gurevych,“Making

性能評価実験では WAT2017 の特許翻訳文の原文とMonolingual Sentence Embeddings

MT 訳間の類似度を求めることでそれらを評価スコアとMultilingual using Knowledge Distillation,”

し、人手評価との相関係数を求めた。その結果、提案手

Proceedings of the 2020 Conference on法の相関係数が従来の言語モデルに比べて高い値を示

Empirical Methods in Natural Language

し、提案手法の有効性を確認した。

Processing, pp. 4512–4525（2022）

［6］Geoffrey Hinton, Oriol Vinyals and Jeff
Dean,“Distilling the Knowledge in a NeuralNetwork,”arXiv preprint arXiv:1503.02531（2015）［7］Sebastian Hofstätter, Sophia Althammer,
Michael Schröder, Mete Sertkan, AllanHanbury, “Improving Efficient NeuralRanking Models with Cross-Architecture
Knowledge Distillation,” arXiv preprint
arXiv:2010.02666（2022）- 機械翻訳技術

41

YEAR BOOK 2O23 247