事前学習モデルによる分割統治ニューラル機械翻訳
石川隆太 加納保昌 須藤克仁 中村哲
奈良先端科学技術大学院大学{ishikawa.ryuta.il7,kano.yasumasa.kw4,sudoh,s-nakamura}@is.naist.jp

概要

関連研究

2

ニューラル機械翻訳におけるハルシネーションやNMT において、長文を分割し、分割された各セ繰り返し、訳抜けなどの課題に対し、文をセグメン

グメントを翻訳した後に前から順に結合し直す手トに分割して翻訳し、並べ替えて繋げるニューラル
機械翻訳における分割統治的手法 [1] が提案されて法として Pouget-Abadie ら [4] の自動分割の手法がある。この手法は RNN を用いて、長文を分割して翻いる。本研究では、[1] で課題とされていた、セグメ訳する際の最適な位置を予測し、モデルが翻訳を行ント翻訳と、セグメントの並べ替えと編集の精度のいやすいように入力文を分割する手法である。しか２つに対し、事前学習モデルの mBART を用いるこ

し、この手法は英語からフランス語への翻訳のようとに加え、セグメント翻訳のモデルを節単位の擬似に、ソース言語とターゲット言語がほとんど同じ語対訳データでファインチューニングすることで、セ順を持たない限り、長文分割後のセグメントの並べグメント翻訳と、並べ替えと編集の精度の改善を試替えの問題に対応することはできない。特に、英語みた。実験では提案手法による BLEU の改善は認めと日本語のような語順が大きく異なる言語対においられなかったが、ハルシネーションや繰り返しを抑て、結合後の翻訳結果は不自然な文になりやすい。

制できている傾向が確認できた。

この課題に対し、加納ら [1] は NMT における分割統1

はじめにグローバル化に伴い翻訳の需要が高まってお治的手法を提案している。

2.1

分割統治型ニューラル機械翻訳

り、ニューラル機械翻訳 (NMT) が注目されている。
NMT は質の高い訳文の生成が期待できる一方で、入力文を節単位でセグメントに分割し、分割されたセグメントを文単位の対訳コーパスで学習され入力される文が長くなるとハルシネーションや訳抜た翻訳モデルを用いて翻訳し、翻訳された各セグメ

け [2] などの問題が発生することがある。この課題

ントを、セグメント同士の関係性を表すトークンをに対し、統計的機械翻訳では、長文を短いセグメン用いて繋げ、翻訳モデルとは別のニューラルネットトに分割して翻訳し、並べ替えて繋げるという分割ワークモデルに入力する。それによって、セグメン

統治的手法 [3] が提案されている。また、[3] を参考

トの並べ替えと編集を行い、自然な訳文の生成を実にした、NMT における長文のための分割統治的手現している。ニューラル機械翻訳の分割統治的手法

法 [1] も提案されている。本研究では、[1] においてにおいて、文分割後のセグメント翻訳の精度と翻訳課題とされていたセグメント翻訳の精度と、翻訳さされたセグメントの並べ替えと編集の精度は課題とれたセグメントの並べ替えと編集の精度改善に向されており、これら２つの精度は最終的な翻訳結果

け、セグメント翻訳と並べ替えと編集のモデルに事に大きく影響すると考えられる。そこで、本研究で前学習モデルの mBART を用い、さらにセグメントはセグメント翻訳と翻訳後のセグメントの並べ替え

翻訳のモデルを節単位の擬似対訳データでファインと編集の精度を向上させるため、加納らの手法を基に次の２つを実施した。

チューニングする手法の検討を行った。英日翻訳の実験において提案手法による BLEU の改善は認められなかったが、過剰な長さの訳出がベースラインから大きく削減できており、ハルシネーションや繰り返しを抑制できている傾向が確認できた。

2.2

mBART を用いた分割統治型ニューラ

ル機械翻訳
加納らの手法においてはセグメント翻訳と翻訳されたセグメントの並べ替えと編集のモデルにTransformer[5] を利用しているのに対し、本研究で割する。

は事前学習モデルの BART[6] を多言語の大規模な3. 英文を分割してできた英語節をベースラインのモノリンガルコーパスで事前学習した mBART[7] を翻訳モデルで翻訳し、擬似日本語節とし、節単利用した。mBART のファインチューニングによる位の英日の擬似コーパスを作成する。

機械翻訳 [8] は、10 万から 1000 万文対規模の比較

4. 3 で作成した節単位の擬似対訳データで mBART的少量の対訳コーパスで学習する場合に最も効果ををファインチューニングし節翻訳モデルを作発揮し、mBART と同じ Transformer のエンコーダ・成する。

デコーダモデルを同じ対訳コーパスでゼロから学習

5. 1 で作成した学習データの英文を構文解析し接するよりも、顕著に高い性能を発揮することが知ら続詞で分割し、4 で作成した節翻訳モデルで分れている。そのため、事前学習モデルの mBART を割した節を翻訳する。

利用することで少量のコーパスで比較的性能の良い

6. 5 で翻訳した英語と翻訳結果の日本語のペアベースラインの翻訳モデルを作成することができ、を”@”を３つ繋げた対訳関係を示す記号で結合

セグメント翻訳の精度の向上が期待できる。さらにし、分割した節同士を別の”｜”を 3 つ繋げた文mBART は入力文のトークンのマスクや削除、文の順序をシャッフルするなど人工的なノイズを加えたの区切りを表す記号で結合する。

上で、元の文を復元する事前学習を行なっている。

7. 6 で作成した英語と日本語を特殊トークンで結合した文をソース、分割前の英語に対応する日

そのため、本研究における翻訳したセグメントの並

本語の文をターゲットとして mBART をファイべ替えと編集を行うタスクと mBART の事前学習方

ンチューニングし、並べ替えと編集のモデルを法は似ているため、相性が良く、並べ替えと編集の作成する。

モデルにおいても mBART を利用することで、並べ8. 1 で作成したベースラインと 7 で作成した並べ替えと編集の精度の向上が期待できる。

2.3

替えと編集のモデルを入力トークン長ごとの節単位の擬似対訳データによる節翻訳モデルの作成

加納らの手法では文分割後の節の翻訳を文単位BLEU[9] で評価する。

実験

4の対訳データで学習した翻訳モデルで実施してい事前学習モデルの mBART を分割統治的ニューラたが、分割統治的手法では文を分割して翻訳するたル機械翻訳に用いることに加え、分割されたセグメ

め、分割されたセグメントの翻訳において文単位のントの翻訳に節翻訳モデルを作成することによる、コーパスで学習された翻訳モデルが適しているとは限らない。そこで、本研究では節単位の擬似対[1] のニューラル機械翻訳における分割統治的手法改善への有効性を検証するため、以下の実験を実施

訳データを作成し、mBART をセグメント翻訳用にした。

ファインチューニングすることで節翻訳モデルを作成した。これにより、セグメント翻訳の精度の向上を試みた。

3提案手法

4.1

実験設定

今 回 実 施 し た 実 験 の 詳 細 設 定 を 以 下 に 示 す。
モデルの学習と評価データの対訳コーパスと し て、JParaCrawl.ver2[10] を 用 い た。具 体 的 に提案手法の概略を図 1 の (a) ベースラインと節翻JParaCrawl.ver2 から、評価データを 3 万文サンプリ訳モデルの作成、(b) 節翻訳モデルを用いた分割統ングし、残りのデータから学習データを 300 万文

治的を用いて示す。提案手法の手順の太字の部分とサンプリングすることで、それぞれ評価データと

図 1 の太枠部分が [1] における分割統治的手法を基学習データとした。評価データは sentencepiece でサに新たに実施、または変更した部分である。

ブワードに分割した後に、英語のサブワードトー

1. JParaCrawl コーパスからサンプリングした 300クンを基準とし、トークン長ごとに 4 分割した評

万文対を学習データとして mBART をファイン価データを作成した。分割したトークン長と対応する英日の文対の数は表 1 のようになった。評価

チューニングしべースラインとなる翻訳モデルを作成する。
2. コーパスの英語の文を構文解析し、接続詞で分データの BLEU は、MeCab[11] によって単語分割し、sacrebleu[12] を用いて算出した。

(a) ベースラインと節翻訳モデルの作成(b) 節翻訳モデルを用いた分割統治的手法

図 1: ニューラル機械翻訳における分割統治的手法の概略
表 1: トークン長ごとの評価データの文数

表 2: 入力トークン長ごとの BLEU

トークン長

全て

1-2021-40

41-60

61-モデル

全て

1-20 21-40

41-60

61-

文数

30000

15122

11641

2517

720

ベースライン

28.6

29.2

28.8

26.8

28.8

提案手法

27.8

28.4

28.1

25.8

27.6

表 3: 入力トークン長ごとの出力文長: 参照文長の比節翻訳モデルと並べ替えと編集のモデルには
mBART を使用し、fairseq[13] で実装されたものを利用した。ベースラインと節翻訳モデル、並べ替

モデル

全て

1-20

21-40

41-60

61-

ベースライン 0.938

0.930

0.943

0.936

0.943

0.927

0.935

0.918

0.908

提案手法

えと編集のモデルの学習時のパラメータの設定はGithub で公開されている英語とルーマニア語におけ

0.928

実験結果

る mBART のファインチューニングのデフォルトの設定 [14] と同じ設定を用いた。節翻訳モデルを作成4.2する際の節単位の擬似対訳データは JParaCrawl.ver2ごとの BLEU を示している。表 2 から分かるようからサンプリングした英文 200 万文を構文解析し、に、提案手法はベースラインに比べて全体としての接続詞で分割し、200 万文の内、分割された英語節BLEU が 0.8 ポイント低かった。

表 2 はベースライン、提案手法の入力トークン長のみを英語側の節単位のデータとし、それらを全て

表 3 に翻訳結果の出力文の参照文に対する長さ比

ベースラインで日本語節に翻訳することで作成しを示す。表 3 から提案手法は全てのトークン長におた。分割された英語節と翻訳によって得られた日本

いて長さ比がベースラインと比較して小さくなっ語節の対訳節の数は約は 190 万となった。構文解析

た。また、提案手法において参照文に対する出力文には spaCy[15] を利用した。接続詞で分割される英の長さ比が 3 以上となるような極端に長い翻訳出力文は次の例のようになる（/で分割される）。

がベースラインでは 67 文、提案手法では 33 文で半I don’t like studying math, but / I like studying English.

分以下になっていることが確認できた。その他の長さ比に対する詳細な結果は付録の図 2 で示す。

提案手法の手順 3 と 5 における節対訳データの日
本語節と結合と編集のモデルの入力データの日本

実際にベースラインと提案手法の翻訳結果を確認

語節を生成する際のベースラインと節翻訳モデルのビームサーチのサイズはどちらも 4 とした。ベー

すると、ベースラインにおいてハルシネーションやスラインと提案手法、節翻訳モデルを評価する際のできている例が確認できた。提案手法においてハルビームサーチのビームサイズは 4 とした。

シネーションが改善できていた例を表 6 に示す。

繰り返しが起きていた文を提案手法では適切に翻訳表 4: 節翻訳モデルの入力トークン長ごとの BLEU

表 6: 提案手法によるハルシネーションの改善例

モデル

全て

1-20

21-40

41-60

61-

入力文

ベースライン

28.6

29.2

28.8

26.8

28.8

Original Evaluation of the Stratum Corneum Exfoliated

節翻訳モデル

24.7

25.6

24.7

23.3

24.5

by Tape Stripping Method (Part2)―Seasonal and age-

表 5: 節翻訳モデルをベースラインに差し替えた際の入力トークン長ごとの BLEU
差し替え 全てrelated diﬀerences of exfoliated pattern ...
参照文
原著角層剥離パターンによる角層評価 (第 2 報)―

1-20 21-40

41-60

61-

季節変化と年代差について―…

あり

25.2

26.0

25.5

23.2

24.6

ベースライン

なし

27.8

28.4

28.1

25.8

27.6

テープストライプ法によるストラトムコネム浸
潤のオリジナル評価 (第 2 部)―浸潤パターンの4.3

考察提案手法の BLEU がベースラインより低下してし季節と年齢関係の差 ... テープストライプ法によるストラトムコネム浸潤の Original Evaluation ofStratum Corneum Exfoliated by Tape Stripping Method

まった原因として、提案手法における節翻訳モデル(Part2)―浸潤パターンの季節と年齢関係の差 ...の性能が低いことが考えられる。ベースラインと節翻訳モデルのトークン長ごとの BLEU を表 4 に示

提案手法す。節翻訳モデルは分割された節を適切に翻訳し、オリジナル評価 (パート 2)―季節と年齢に関わる節翻訳の精度を向上させる目的で作成した。しか剥離パターンの違いし、ベースラインと比較して BLEU が 3.9 ポイント低いことから、節翻訳の段階で質の低い訳出文を生成してしまい、並べ替えと編集のモデルの最終的なテープストリップ法によるストラトム角膜剥離の

表 7: ベースラインが節翻訳の際にハルシネーションを起こした例

出力文の質が低下した可能性がある。そこで、提案

入力文

手法における節翻訳モデルをベースラインのモデルThe US is likewise bankrupt butに差し替えた追加実験を行った。

出力文追加実験の結果を表 5 に示す。表 5 から分かるように、提案手法における節翻訳モデルをベースラインのモデルに差し替えた場合、全体として BLEU が2.6 ポイント低下した。これは、提案手法の節翻訳での利用において本稿の節翻訳モデルがベースラインよりも有効であったことを示唆している。表 4 で示した通り BLEU が 3.9 ポイント低いにもかかわらずこのような結果になった原因として、ベースラインは文単位のコーパスで学習されているため、分割された節を翻訳する際に分割によって失われた節の前後の文を勝手に補おうとしたことが考えられる。
その具体例を表 7 に示す。こうした事象により、節翻訳にベースラインモデルを利用した場合に重複やハルシネーションが生じ、最終的な出力の質が低下することが考えられる。

5

おわりに
本稿では、ニューラル機械翻訳における分割統治的手法のセグメント翻訳の精度と、翻訳後の並べ替えと編集の精度を向上させるという目的で、節翻訳モデルの作成と、並べ替えと編集のモデルに事前米国は同様に破産していますが、米国は同様に破産しています。
学習モデルの mBART を利用することの 2 つのアプローチで実験を実施した。結果として提案手法によるベースラインの BLEU の改善は達成できなかったが、ベースラインにおいてハルシネーションや繰り返しを起こしていた文を提案手法では適切に翻訳できていた例が確認できた。
今回の実験では、節翻訳後の節の並べ替えと編集の工程において、[1] で利用されていた Transformerを事前学習モデルの mBART に置き換えることで並べ替えと編集の精度の改善を試みたが、並べ替えと編集の方法を工夫することができなかったため、分割によって失われる分割前のコンテキストの情報やセグメント同士の関係性の復元の課題に注力して取り組みたい。また、今回作成した節翻訳モデルは疑似的な節単位の対訳データで学習されたモデルであるため、節翻訳モデルの精度は改善の余地があると考えている。そのため、節翻訳モデルの精度のさらなる向上を目指す。

謝辞
本研究の一部は科研費 21H03500 と 21H05054 の助成を受けたものです。

参考文献[1] 加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラル
機械翻訳. 言語処理学会 第 27 回年次 大会 発表論文集., 2021.
[2] Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, DanSu, Yan Xu, Etsuko Ishii, Yejin Bang, Wenliang Dai,
Andrea Madotto, and Pascale Fung. Multilingual Denoising Pre-training for Neural Machine Translation.
arXiv:2202.03629, 2022.
[3] K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata.
Divide and translate: improving long distance reorderingin statistical machine translation. In Proceedings of theJoint 5th Workshop on Statistical Machine Translation andMet- ricsMATR(SMT 10), p. 418–427, 2010.
[4] Jean Pouget-Abadie, Dzmitry Bahdanau, Bart van
Merrien-boer, Kyunghyun Cho, and Yoshua Bengio. Overcoming the curse of sentence length for neural machinetranslation using automatic segmentation. In Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78–85,

2014.
[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, and Aidan N. Gomez Llion Jones, Lukasz
Kaiser, and Illia Polosukhin. Attention is all you need.
In Advances in Neural Information Processing Systems., pp. 5998–6008, 2017.

[6] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,
Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pretraining for natural language
generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association
for Computational Linguistics, p. 7871–788, 2020.

[7] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey
Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke
Zettlemoyer. Multilingual Denoising Pre-training for Neural Machine Translation. arXiv:2001.08210, 2020.
[8] 岡崎直観, 荒瀬由紀, 鈴木潤, 宮尾裕介, 鶴岡慶雅. 自然言語処理の基礎. オーム社, 2022.
[9] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation ofmachine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational
Linguistics, p. 311–318, 2002.

[10] Makoto Morishita, Jun Suzuki, and Masaaki Nagata.
JParaCrawl: A large scale web-based English-Japaneseparallel corpus. In Proceedings of The 12th Language
Resources and Evaluation Conference, pp. 3603–3609, Marseille, France, May 2020. European Language
Resources Association.
[11] Taku Kudo. Mecab : Yet another part-of-speech andmorpho- logical analyzer., 2006. https://taku910.

github.io/mecab/.
[12] Matt Post. A call for clarity in reporting bleu scores.
arXiv:1804.08771, 2018.
[13] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael Auli.
fairseq: A fast, extensible toolkit for sequence modeling.
In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48–53, Min-neapolis, Minnesota, June 2019. Association for Computational Linguistics.
[14] Yinhan Liu, Jiatao Gu, Naman Goyal, Xian Li, Sergey
Edunov, Marjan Ghazvininejad, Mike Lewis, and Luke
Zettlemoyer. Multilingual denoising pre-training for neuralmachine translation. 2020.
[15] Matthew Honnibal and Ines Montani. spaCy 2: Naturallanguage understanding with Bloom embeddings, convolutional neural networks and incremental parsing. To appear,
2017.

A

付録
表 8: ベースラインと提案手法の出力例

ハルシネーション
入力文
Djiboutian Honorary Consulate in Montreal, Canada usacan i have a djiboutienne visa plsssssssssssssssssssssssssss, i will like tosee my country. Post a comment on this page We invite you to share your experiences with the Djiboutian Honorary Consulate ―obtaining visas and other services, locating the building, and so on.
参照文
この手法はカナダのオイルサンド産出地域の観測データに適用し、成功しています。
ベースラインモントリオール, カナダのドジブティアン名誉領事館 このウェブサイトは名誉領事館により運営されているものではなく、あなたの意見や質問が必ずしもそちらの職員により確認されるというわけではありません。こちらはドジブティアンの外交政策について幅広い討論をするフォーラムではないことにご注意ください。そのような話題は削除されます。
提案手法
Montreal, カナダの Djiboutian 名誉領事館 usacan 私は djiboutienne ビザ plssssssssssssssssssssssss を持っています, 私は私の国を訪問したい. このページにコメントを投稿 私たちは、Djiboutian 名誉領事館であなたの経験を共有することをお勧めします ― ビザやその他のサービス、建物の検索など.
繰り返し
入力文
So this is Kinomoto Sakura?
参照文「で、こちらが木之本桜さん?」「はい、そうです、国王陛下。
ベースライン「さあ、さくらさくら?」 「そう、さくらさくらは?」 「さくらさくらは、さくらさくらは、さくらさくらは、さくらさ
くらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらは、さくらさくらさくらは、さくらさくらさくらは、さくらさくらさく
提案手法「これは木本さくらですか?」

図 2: 参照文に対するモデルの出力文の長さ比が 2 以上となった数