言語処理学会 第30回年次大会 発表論文集（2024年3月）

文内コンテキストを利用した分割統治ニューラル機械翻訳石川 隆太 加納 保昌 須藤 克仁 中村 哲
奈良先端科学技術大学院大学{ishikawa.ryuta.il7,kano.yasumasa.kw4,sudoh,s-nakamura}@is.naist.jp

概要
長文の翻訳は、ニューラル機械翻訳（NMT）における顕著な課題の一つである。我々は、分割統治アプローチに基づいてこの課題に取り組む。提案手法
では、(1) 入力文を等位接続詞を基準に節単位に分割し、(2) 分割された各節を、文内コンテキストを考慮できる形で、節翻訳モデルを使用して翻訳し、(3) 翻訳された節を集約して、別の Seq2Seq モデルを用いて最終的な翻訳を得る。ASPEC を用いた英日翻訳の実験結果から、41 単語以上の長い入力文において、mBART をファインチューニングしたベースラインよりも優れた BLEU を実現することが示された。

1

り、必要に応じて節の順番を並び替えることで、最終的な出力文が自然な訳出になるように調整を行う。Kano ら [4] の手法において、二つの課題が挙げられている。一つは節分割の際のセグメンテーション単位の課題、もう一つは節分割後の節の翻訳精度の課題である。
本研究では、上記二つの課題に注目し、英日翻訳における長文の翻訳精度の向上を試みる。具体的に、等位接続詞を基準とした新しい英文の節の分割単位及び、分割後の節翻訳において文内コンテキストを参照して翻訳を行うモデルの学習手法を提案する。

2

分割統治型 NMT とその課題

分割統治型ニューラル機械翻訳の概要とその課題を説明する。

はじめに

近年、NMT の翻訳品質は飛躍的に向上し、より自然で文脈に沿った翻訳が可能となった。しかし、NMT にはいくつかの課題がある [1]。その課題の一つが長文の翻訳である。長文の翻訳精度低下の課題に対して、統計的機械翻訳では、長文を短いセグメントに分割して翻訳し、並べ替えて結合する分割統治的手法が提案されている [2]。NMT においては、Pouget ら [3] が、長文を分割し、分割された各セグメントを翻訳した後に前から順に結合する手法を提案している。しかし、[3] の手法は分割したセグメントを翻訳した後にそれぞれ前から単純に連結する
ため、英語と日本語のような語順が大きく異なる言語対を翻訳する際に、出力文が不自然な文になってしまう懸念がある。この語順が不自然になるケースに対応するため Kano ら [4] は NMT における長文のための分割統治的手法を提案している。[4] の手法による翻訳プロセスは大きく 2 つの段階に分かれており、各プロセスはそれぞれ別の Seq2Seq モデルで実施される。1 段階目は文を節単位のセグメントに分割し、分割後の各節の翻訳を行う。2 段階目は翻訳後の各節の連結部分を自然な表現に書き換えた

2.1

分割統治型 NMT の概要

Kano ら [4] の手法は主に 4 つの Step からなる。
Pouget ら [3] はセグメント翻訳のための最適な分割の境界を見つけるため、文のセグメンテーションに翻訳モデルの出力確率を利用していた。しかし、彼らの手法は文法的に適切な境界で文を分割する保証がない。それに対し、[4] の手法は節という、統語構造上自然な単位に基づくセグメンテーションを採用している。Step1 で入力文を構文解析し、Step2 で文を節単位でセグメントに分割する。節の中に節を含む場合も、すべての節境界で分割が実施される。
その後、Step3 で分割された各節は、文単位の対訳コーパスで学習された翻訳モデルによって翻訳される。最後の Step4 で翻訳モデルとは別の Seq2Seq モデルを用いて、最終的な訳出を生成する。Step4 における入力はソース側の各節と翻訳された各節を特殊トークンを使用して結合し、その後、各節同士を別の特殊トークンで結合したものである。分割されたことにより、翻訳された各セグメント同士が、互いに文脈的にどのような関係を持つのかという情報― 2342 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

が失われているため、このようにソース側の情報を1. (S (S She wants to travel the world),付与する必要があるとされている。

2. (CC but) (S her job keeps her busy), (CC and) (S her

2.2

savings are not enough for the trip).)

分割統治型 NMT の課題

最初の文には、2 つの名詞を接続する and が含まれ彼らの手法では、Step3 における節単位の翻訳精ているが、これはセグメンテーションの条件を満度が問題とされている。この節の翻訳精度は、翻訳たしていない。2 番目の文を接続詞を基準にセグメの最終的な品質に大きな影響を与えるとされる。節ント化すると、3 つの節と 2 つの接続詞が導き出さ

翻訳の精度における課題には、次の 3 つの要因が考れる。

えられる。
セグメンテーションの単位• (S She wants to travel the world,)

すべての節境界で• (CC but)

分割を行うため、分割後の節が短くなり過ぎたり、• (S her job keeps her busy,)

節と節の間を繋ぐ短いセグメントが生じることが• (CC and)ある。

• (S her savings are not enough for the trip.)

文 レ ベ ル の NMT モ デ ル の 利 用 節 翻 訳 の 後 にソース側の情報を翻訳後の各節に付与しているが、我々のセグメンテーションルールは、入力文全体節の翻訳は文単位のコーパスで学習されたモデルでが S を形成する場合、結果として生じるセグメント行なっているため、トレーニングと推論の間の入力が S または CC であることを保証する。

文の不整合により、望ましくない追加や省略を引き起こす可能性がある。
分割された節をそれぞれ独立に翻訳

Step3 の節

3.2

節単位の対訳データのアライメント

節翻訳に文レベルの NMT モデルを利用するこ

翻訳の際に各節はそれぞれ独立に翻訳されるため、とによって生じる可能性のある問題を軽減するた

文中の文脈情報が活用できず、不適切で一貫性のなめに、節の対訳データを使用して節翻訳のためのい単語選択を引き起こす可能性がある。

NMT モデルが作成できることが望ましい。本研究では、節レベルの対訳データを作成し、このデー提案手法

3タに基づいて mBART を節翻訳用にファインチュー

本研究では上記の 3 つの課題を考慮して Kano らニングした。我々は、Kano ら [5] の手法を参考にし[4] の手法を基盤とし、新しい分割統治ニューラルた、文レベルの対訳データから節レベルのアライメ機械翻訳手法を提案する。

ントを得る手法を提案する。この手法は主に以下の3 つのプロセスから構成されている。

3.1

等位接続詞を基準とした節のセグメンテーション[4] の手法ではすべての節境界で分割を行うため、分割の際に [2] の手法のように階層構造を考慮していない。本研究では、節と節を連結する等位接続詞

対訳コーパスのソース側の構文解析

ソース側の文を構文解析し、接続詞の前後に節 S を持つ文を特定し、接続詞の位置に基づいて節に分割する。
ソース側の各節の翻訳分割された各ソース節をを基準として、その前後に S 構造を持つ文にのみ分ベースラインの翻訳モデルを使用して翻訳し、ター割の単位を限定することで、この問題に対処する。

ゲット側の節としてペアにすることで、節レベルでこの節分割単位に限定することで節の中に節を含む擬似的な対訳データを構築する。

場合の分割は行われない。したがって、節の階層構

節アライメントの獲得

疑似的な節単位の対訳造を考慮せずに、分割された節が短くなり過ぎるこ

データのターゲット節はベースラインによって翻訳とが防げる。節分割のルールの詳細を実例を用いてされたものである。しかし、ソース側の各節は独立示す。次の 2 つの文があるとき、して翻訳されるため、翻訳後のターゲット側の各節は分割前の元のソース文から一部の文脈情報を失1. I like football and baseball.
2. She wants to travel the world, but her job keeps herbusy, and her savings are not enough for the trip.

これらに構文解析を適用して、次の表現を得る。

う。したがって、翻訳されたターゲット側の各節を並べ替えて繋げ直してたとしても、元のターゲット文を再現できる保証はない。したがって、節のアライメントは元の対訳データから獲得する。このプロ― 2343 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 1: 文レベルのコンテキストを考慮した対訳データ (左) と節レベルのコンテキストを考慮した対訳データ(右) の形式（タグで囲われた部分のみを翻訳するようにモデルを微調整する）る。Step1 において、[5] の手法のように、ターゲット文の最初からトークンを連結し、アライメント候補を作成することも試みたが、後方からの連結と比較してアライメントの精度が低かったため、後者のアプローチを採用した。

文内コンテキストを利用した節単位翻訳モデル

3.3

節翻訳モデルのデータ形式

文内コンテキストを利用した節翻訳モデルは複数の節が組み合わされた

図 2: 提案手法による翻訳処理の概要入力から、 タグ <<< >>> で囲まれた節のみを翻訳す‌‌セスは以下の 4 つの Step で行われる。（付録の図 3るようにファインチューニングされる。図 1 は、文に節アライメント獲得のプロセスを示す。
）

レベルおよび節レベルの文脈を考慮できる形の対訳

1. mBART のトークナイザーを使用して、分割されたソース文に対応するターゲット文をトークン化する。このとき、最後のトークンから始め、最初のトークンに向かって、一つずつトークンを連結しながら、分割されたソース節とのアライメント候補を作成する。
2. 翻訳された文の最後の節から最初の節に向かって順序を追いながら、Step1 で作成したアライデータの形式を示している。このデータ形式を採用することにより、[6] の手法のように入力の文脈情報が拡張される。その結果、タグに囲まれた部分の外側の文脈情報を参照しながら、タグで指定された部分のみを翻訳するモデルを作成することが可能になる。
節翻訳モデルのファインチューニング

節翻訳モ

デルは次の二段階でファインチューニングされる。

メント候補（最後から順に連結されたトーク• 文レベルのコンテキストを考慮した対訳データン化されたターゲット文）に対して BERTscoreを用いて、mBART の初期のファインチューニ（F1）を測定する。そして、最も高いスコアをングを行う。

持つアライメント候補をソース側の節とアライ• 節レベルでのコンテキストを考慮した対訳デーメントする。

タを使用して、節翻訳に特化するための二段階目のファインチューニングを行う。

3. ターゲット側のアライメントされた文字列を元のターゲット文から削除する。

節レベルのコンテキストだけでなく、文レベルのコ4. ソース側のアライメントされていない節が残りンテキストを考慮した対訳データを使用して段階的1 つのみの場合は、それを残りのターゲット文にファインチューニングを行う理由は、節レベルのコンテキストを考慮した対訳データの量が比較的少とアライメントし、操作を終了する。2 つ以上のソース節が残っている場合は、削除された文字列を除いた文を新しいターゲット文として扱ない (300K) ためである。これを補うために、今回のい、Step1 に戻る。

データも使用して、節翻訳モデルのファインチュー

この手法を使用することで、ソース側のセグメン実験では、文レベルのコンテキストを考慮した対訳ニングを行った。

ト化された各節とターゲット側の文との間の対応が通常、対訳コーパスに含まれる文が互いに文脈的確立され、擬似的な対訳データを使用せずに節レベなつながりを持つ保証はない。しかし、文書 ID とルでのアライメントが獲得される。その結果、節単文 ID の情報があれば、元の文書を再構築できる可位の対訳データの品質が向上することが期待でき能性がある。本研究では、そのようなコーパスが利― 2344 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

単語数

1-20

21-40

41-60

61-All

単語数

1-20

21-40

41-60

61-

全て

全文

932784897

1812

ベースライン

49.7

44.8

40.1

31.4

44.7

節分割された文

54179

242259

提案手法

48.8

44.9

42.5

32.5

45.0

文数

54179

242259

表 1: 単語長ごとのテストデータの文数
単語数

表 3: 入力単語数ごとの BLEU(分割が行われた文の1-20 21-40

41-60

61-

全て

ベースライン40.3

42.1

40.0

46.5

41.3

提案手法

40.2

42.1

40.7

47.8

41.4

ではない。表 1 は、テストセット全体と提案手法が文数9327848971812適応される文の数をそれぞれ示している。

表 2: テストセット全体の BLEUみ)

4.2

結果用可能であると仮定する。まず、対訳コーパスの

表 2 はテストセット全体のベースラインと提案ソース側の文書 ID と文 ID を使用して、ソース側手法の入力単語数ごとの BLEU スコアを比較してコーパス内の元の文書を再構築する。次に、各文書いる。全体的な結果から、提案手法はベースライ内で、文脈を維持しながら文を 2 つずつ組み合わせンに対し、0.1 ポイント高い結果となった。単語長る。この際に組み合わされた文の一方に、単一の文41-60、61 以上の範囲においてはそれぞれベースラ単位を示すタグ <<< >>> が追加し、タグ付きの文にインと比較して、0.7 ポイント、1.3 ポイント BLEU‌‌

2 文の文脈を考慮する対訳データと同様に、アラの改善が確認できた。
表 3 はベースラインと提案手法における構文解析イメントされたソースとターゲットの節を基に、節の文脈を考慮した対訳データを作成する。これによの結果、分割が行われた文のみを対象とした場合の入力単語数ごとの BLEU を比較している。これは、り、各セグメントされた節を、その節の前後の文脈ベースラインと提案手法の性能差を明確に示すたを参照して翻訳することが可能になる。その結果、めの結果である。提案手法はベースラインに対し、

Kano ら [4] の手法と比較して、より効果的な節レベ1-20 単語長以外の全ての範囲において、高い BLEU対応するターゲット側の文がペアになる。

ルの翻訳が期待される。図 2 は、提案された手法にを示している。特筆すべきは単語長 41-60、61 以上よる翻訳プロセスの概要を示すもので、文脈を考慮の区分において、提案手法はベースラインよりもそできる形の節翻訳の実装を例示している。

れぞれ 2.4 ポイント、1.1 ポイント高い BLEU を達成していることである。これは提案手法が長文の翻訳実験4において特に効果的であることを示唆している。よ提案方法の有効性を調査するため、我々は長文の翻訳に焦点を当てた以下の実験を実施した。

4.1

り詳細な分析については付録で述べる。

おわりに

5

実験設定

我々は、文書と文の順序情報が利用可能で、我々の提案手法が適応可能なバイリンガルコーパスである ASPEC [7] を基に、英日翻訳の実験を行った。

本研究では、長文の翻訳 品質の向上を目指し、NMT において分割統治手法を基盤とした、新たな文のセグメンテーション単位及び、文内コンテキス
トを利用した節翻訳モデルの学習方法を提案した。

評価指標は、BLEU、BLEURT、COMET を用いた。

実施した実験により、提案された手法は単語数 41

日 本 語 の ト ー ク ン 化 に は ja-mecab [8] を 使 用 し、以上の長文の翻訳において BLEU スコアを向上させsacrebleu [9] を用いて計算した。文の長さの影響をることが確認された。

調べるために、テストセットを英文の単語数に基づ提案手法が適応される文の割合を増やすことによいて 4 つビン (1-20、21-40、41-60、61 以上) に分割るテストセット全体としての翻訳品質のさらなる向した。提案手法は、入力英語文が等位接続詞を持上が期待できる。そのため、等位接続詞以外での新ち、その前後に S 構造を持つ文にのみ働き、それ以しい節分割パターンの追加などを行い、接続詞を持外の場合にはベースラインが使用される。そのためたない長文にも対応できるように提案手法を拡張すテストセット全ての文に提案手法が適応されるわけることを今後の課題とする。

― 2345 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Grobelnik, Bente Maegaard, Joseph Mariani, Asun-

謝辞

cion Moreno, Jan Odijk, and Stelios Piperidis, editors,

本研究の一部は科研費 21H03500 と 21H05054 のProceedings of the Ninth International Conference

助成を受けたものです。

on Language Resources and Evaluation (LREC

参考文献

2016), pp. 2204–2208, Portorož, Slovenia, may 2016.

European Language Resources Association (ELRA).

[1]Philipp Koehn and Rebecca Knowles. Six challenges[8]Taku Kudo. Mecab : Yet another part-of-speech andfor neural machine translation. In Proceedings of themorpho- logical analyzer., 2006. https://taku910.

First Workshop on Neural Machine Translation, pp.

github.io/mecab/.

28–39, Vancouver, August 2017. Association for Com-

[9]Matt Post. A call for clarity in reporting BLEU scores. InProceedings of the Third Conference on Machine

putational Linguistics.
[2]K. Sudoh, K. Duh, H. Tsukada, T. Hirao, and M. Nagata.

Translation: Research Papers, pp. 186–191, Brus-Divide and translate: improving long distance reorder-sels, Belgium, October 2018. Association for Compu-ing in statistical machine translation. In Proceedings ofthe Joint 5th Workshop on Statistical Machine Transla-tational Linguistics.

tion and Met- ricsMATR(SMT 10), p. 418–427, 2010.
[3]Jean Pouget-Abadie, Dzmitry Bahdanau, Bart vanMerrien-boer, Kyunghyun Cho, and Yoshua Bengio.
Overcoming the curse of sentence length for neuralmachine translation using automatic segmentation. In
Proceedings of SSST-8 Elighth Workhop on Syntax Semantics and Structure in Statistical Translation, p. 78–85, 2014.

[4]加納保昌, 須藤克仁, 中村哲. 分割統治的ニューラ
ル機械翻訳. 言語処理学会 第 27 回年次 大会 発表
論文集., 2021.
[5]Yasumasa Kano, Katsuhito Sudoh, and Satoshi Nakamura. Simultaneous neural machine translation withpreﬁx alignment. In Proceedings of the 19th International Conference on Spoken Language Translation (IWSLT 2022), pp. 22–31, Dublin, Ireland (in-person and online), May 2022. Association for Computational Linguistics.
[6]Jörg Tiedemann and Yves Scherrer. Neural machinetranslation with extended context. In Bonnie Webber, Andrei Popescu-Belis, and Jörg Tiedemann, editors, Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82–92, Copen-hagen, Denmark, September 2017. Association for
Computational Linguistics.
[7]Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientiﬁcpaper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko― 2346 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

うことでより効率的に入力文の情報を処理すること

付録

Aができ、結果的に翻訳の精度が向上したことが考えられる。

単語数
ベースライン
提案手法
文数

1-20
0.792
0.797
54

21-40
0.729
0.738
179

41-60
0.726
0.732
24

全て0.7420.749
259

610.6530.618
2

表 4: 入力単語数ごとの BLEURT(分割が行われた文のみ)
単語数

1-20

21-40

41-60

61-

全て

ベースライン

0.924

0.896

0.888

0.908

0.901

提案手法

0.929

0.897

0.888

0.909

0.903

文数54179242259

表 5: 入力単語数ごとの COMET(分割が行われた文のみ)
テストデータ1-20 21-40

41-60

61-

節の平均単語数

8.6

13.4

21.6

24.4

文の平均単語数

14.8

27.7

46.8

68.1
図 3: 提案手法による分割された英語文節と対応す

表 6: テストデータの節と文の平均単語数

る日本語文節のアライメントを得る処理の概要
表 4、表 5 から BLEURT、COMET での評価では、
全 体 と し て BLEU と 同 様 に 提 案 手 法 が ベ ー ス ラインを上回っていることが確認できた。しかし、BLEURT においては単語長 61 以上の範囲ではベースラインを下回る結果となった。今回の実験において全テストデータ 1812 文の内提案手法が適応されている文は 259 文で、割合としては約 14%と非常に少ないため、テストセット全体としての BLEU の向上は 0.1 ポイントに留まったと考えられる。単語数41-60、61-の範囲で提案手法の BLEU が改善した原因として、節単位のセグメンテーションによって長文の入力と出力の長さが翻訳モデルにとって扱いや

図 4: ASPEC コーパスの単語数ビンごとの文数すい単位になったことが考えられる。図 4 は単語数ビンごとの文数を示している。学習データにおける文の長さの平均値、中央値はそれぞれ 22.8、21 であり、単語数 10-30 の範囲に学習データが集中していることが分かる。このことから、単語数 10-30 の範囲が翻訳モデルにとって扱いやすい文長であることが考えられる。表 6 はテストデータのそれぞれの単語長の範囲における節と文の平均単語数を示している。単語数 41-60、61 以上の範囲の節の平均単語数に注目すると、どちらも単語数 10-30 の範囲に収まっている。このことから長文の翻訳において入力文を翻訳モデルが扱いやすい単位に文を分割して扱― 2347 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).