# 文単位の Nbest 候補制約に基づく文書翻訳

駒田 啓伍 ${ }^{1}$ 森下睦 2 鈴木潤 1
1 東北大学 ${ }^{2} \mathrm{NTT}$ コミュニケーション科学基礎研究所
keigo.komada.r6@dc. tohoku.ac.jp

## 概要

現在の機械翻訳モデルは主に 1 文から 1 文への翻訳を対象としており, 単文に対しては高い精度を達成できるものの，文書全体としての表現の一貫性などに関しては課題が残っている。 また従来の文書翻訳手法は, 文書から文書への長い系列変換を行うことによる翻訳精度低下など実用上の問題が残っていた. 本研究では, この問題を軽減するために, 単文翻訳モデルと文書翻訳モデルの両方を活用する手法を提案する. 具体的には，単文翻訳モデルが出力した翻訳候補をもとに，文書翻訳モデルによって適切な翻訳文の組合せを求め文書翻訳を実現する. 実験により，従来の文書翻訳手法と比較して提案手法は高い文書翻訳精度が得られることが示せた.

## 1 はじめに

機械翻訳技術の進展により，機械翻訳による翻訳品質は実用レベルに達し, 既に商用システムとして一般にも広く使われている。これにより，機械翻訳の研究が完結したかというと, 必ずしもそうではない. 一文単位の翻訳 (以下「単文翻訳」と略記), 特にデータが集めやすいドメインの文章の翻訳に関しては十分に実用レベルと言えるが，例えば文章全体を翻訳する際などに表現やスタイルが一貫した翻訳結果を得ることは, 現状の機械翻訳技術でも容易ではない. 実際に，機械翻訳の研究コミュニティにおいても，文書単位で一貫性のある翻訳（以下「文書翻訳」と略記）の実現は，喫緊に取り組むべき課題として認識されている.

一貫性のある文書翻訳結果を得たい場合，安直には文書全体を一文とみなして処理すれば，原理的には単文翻訳モデルでも翻訳することはできる.しかしこういった方法は一般的には現実的ではない. それは，現在広く用いられている Transformer モデルによるニューラル翻訳は，本質的に文長が長くなると性能が急激に悪くなる性質を持つからである [1].
また，別観点の問題として，高い翻訳品質を達成するには多くのデータを必要とすることが一般的である.しかし, 文書単位の対訳データは, 文単位の対訳データに比べてそれほど多くない. これらの現状から，現在の文単位のニューラル翻訳をそのまま文書翻訳に転用しても，良い結果が得られない。

これらの背景から，本稿では文書翻訳の性能向上を目標に新たな方法を提案する。具体的には，従来用いられてきた Transformer ベースの単文翻訳モデルに対して, 少量の文書対訳データを用いて追加学習1)を行うことで，データ量の問題に対応する。また，単文翻訳モデルが生成する複数の翻訳候補を文書翻訳時の制約と考え，文単位の制約付き生成をすることで長文を生成する際の翻訳品質の劣化を防ぎ文書単位の翻訳を獲得する。実験では，chat 及び news 文書に対して実験を行い，単文翻訳で各文を独立に翻訳した結果を並べる形式で文書を翻訳するよりも，BLEU スコアの意味で高い翻訳精度を達成したことを報告する。

## 2 文書翻訳

機械翻訳システムの翻訳結果を文書全体で評価した時，整合性や一貫性の観点で人間に及ばない場合が多いことが知られている [2].これは，一般的なニューラル機械翻訳モデルが 1 文から 1 文への翻訳を対象としているため，文書全体で見た際に表現やスタイルの一貫性が欠如しがちなことが主な要因として挙げられる.

この問題を解決するために，翻訳時に前後の文 (文脈)を考慮する文書翻訳の手法がいくつか提案されている. 例えば，Tiedemann\&Scherrer ら [3] は，入力文と出力文に 1 つ前の文を結合し，2文ずつモデルに入力することで文脈を考慮する手法を提案した.また，Junczys-Dowmunt [4] はこれを拡張し，文書全体を入出力とするモデルを提案した. これらの手法は，シンプルかつ効果的であることが検証され

1）本稿では fine-tuning を「追加学習」と表記する

図 1 文書翻訳のアルゴリズムの概略図 $(N=10$ の場合)

ているものの，現在の Transformer モデルは文長が長くなるにつれ計算量が大幅に増加し，翻訳精度が低下する欠点 [1] が指摘されており，実用上の問題が残っている。

本研究の提案法は, 従来法の課題である翻訳時の計算量を抑えつつ文書全体を考慮した翻訳を実現する方法となる．次節以降では，提案手法の詳細を説明する。

## 3 提案法

本研究では，通常の 1 文から 1 文へ翻訳を行うモデル (単文翻訳モデル) と，文書全体を入力し文書全体を出力するモデル (文書翻訳モデル) の両方を活用することを考える．具体的には，単一ドメインの対訳コーパスで追加学習した単文翻訳モデルで文書中の各文を独立に翻訳し翻訳候補を得た上で，それらを文書単位の対訳コーパスで追加学習した文書翻訳モデルの生成制約とする．単文翻訳モデルを単一ドメインに特化させるように追加学習したことで，ドメイン不明の入力文に対してもその文のドメインと一致する単文翻訳モデルが存在していれば，よい翻訳を出力できるようになることを期待している.これにより，文書翻訳モデルは新たに文を生成するのではなく，単文翻訳モデルで得られた翻訳文をもとに文書全体として適切な文の組合せを求めることとなる.

以下に本手法の詳細な生成手順を述べる。 図 1 のように単一ドメインの対訳コーパスで追加学習した単文翻訳モデルを複数個，文書翻訳モデルを 1 つ用意した。以下において $i$ は処理対象の単文が文書内において $i$ 番目であることを表す。

1. 候補文を生成入力文書内の $i$ 番目の文を翻訳して，各単文翻訳モデルから $N$ 個ずつ候補文を出力させる.

2. 候補文書を生成前の $(i-1)$ 番目ループで残った表 1 追加学習用及び評価用データの統計量.

候補文書の末尾に候補文を結合する。この操作を全ての候補文書と候補文の組合せに対して行って新たな候補文書とする。 $i=0$ の時は，前のループで残った候補文書は空集合とする。

3. 候補文書を評価入力文書の全体を参照しながら，文書翻訳モデルで候補文書を評価する

4. beam search 評価して得られた尤度をもとに，候補文書から $N$ 個だけ選択して次のループに残す. 1 に戻ってループする.

ループ終了全ての文に対して操作が終了したら, $N$ 個の候補文書のうち最も尤度が高かったものを提案法の出力とする。

beam search によって Nbest 候補制約を与えたのは，制約しない場合はと生成した文書数が，文数に対して指数関数的に増加して，生成した文書の評価をするのに極めて長い計算時間を必要するからである.

## 4 実験

データ追加学習用および評価用データとして,文書単位の情報をもつ chat および news ドメインの対訳コーパスを用意した，表 1 にそれらの文書数および文数を示す. chatドメインの対訳コーパスとしてBPersona-chat[5]を用いた。同様に, news ドメインの対訳コーパスとして WMT-2020ニュース翻訳タスクの開発/評価セット (newsdev2020, newstest2020) [6] を使用した. BPersona-chat は文書の単位でランダムに一部を評価用として切り出し，残りを追加学習用とした。また，news ドメインは newsdev2020を追加学習用, newstest2020を評価用とした.

モデル単文翻訳の事前学習済み翻訳モデルとして，WMT-2022で好成績を得た NT5 チームが学習した Transformer [7] ゙ーースの翻訳モデル [8]を用いた.以下，この事前学習済みモデルをベースモデルと呼ぶ. 次に，このベースモデルから独立に 4 つの翻訳モデルを追加学習により獲得した.
表 2 文書翻訳モデル DocMT (news\&chat) と単文翻訳モデル SentMT (news\&chat) の文書翻訳結果を sacrebleu で評価した際の BLEU スコア

表 3 文書翻訳モデル DocMT (news\&chat) で単文翻訳と同じ翻訳をした場合との BLEU スコア

1. DocMT (news\&chat)：news 及び chat ドメイン両方の文書対訳コーパスを使って追加学習をした文書翻訳モデル

2. SentMT(news\&chat): news 及び chat ドメイン両方の文書対訳コーパスから文書情報を取り除き文単位の追加学習をした単文翻訳モデル

3. SentMT(news): news ドメインの文書対訳コー パスから文書情報を取り除き文単位の追加学習をした単文翻訳モデル

4. SentMT(chat)：chat ドメインの文書対訳コーパスから文書情報を取り除き文単位の追加学習をした単文翻訳モデル

文書翻訳モデルは Junczys-Dowmunt [4] の手法を参考に，文書中の各文を結合し学習した. 提案法の説明で述べたように，SentMT (chat) と SentMT (news) は，候補の生成のために利用する。また，DocMT が主たる文書翻訳モデルである. 前記 SentMT (chat) と SentMT(news) モデルが生成した候補を制約として文書翻訳をおこなう．SentMT (news\&chat) は，提案法 DocMT (news\&chat) と比較して文書単位で学習したか文単位で学習したかの違いだけのモデルになる。なお翻訳モデルの学習には fairseq ツールキッ卜 [9] を使用した. また，文書翻訳を実行するために fairseq ツールキットを活用しつつ制約付き翻訳用のコードを独自に作成した.

評価指標本実験の評価は，WMT-2020 の標準評価ツールである sacrebleu [10] を用いて BLEU スコア [11]にて実施した.表 4 提案法の候補文を生成するために用いた，ドメインごとに追加学習した単文翻訳モデルの BLEU スコア

## 4.1 実験結果

表 2 に主たる実験結果を示す. Ja-En の chat 評価データに対する翻訳結果を除いて，提案法の BLEU スコアの方が高いという結果になった。この結果から，提案法である文書翻訳は，単文翻訳モデルが文書内の文を一文ずつ翻訳して結合する方法（ベースライン）により文書を翻訳するよりも，概ね良好な結果が得られることがわかった。

表 3 に，DocMT(news\&chat) に対して単文翻訳から得た候補を用いずに，通常の単文翻訳と同様に翻訳した際の結果を示す。また，表 2 の DocMT (news\&chat) および SentMT (news\&chat) からの BLEU スコアの差分を示す. 差分が全てマイナスの値になっているのは，DocMT (news\&chat) で単文翻訳と同じ翻訳をすると，ベースラインである SentMT (news\&chat) よりもさらにスコアが悪くなることを示している.この結果から，提案法で導入した単文翻訳の候補を制約として文書翻訳に利用することの有効性が示された. 使うモデルが完全に同じでも，制約を入れるか入れないかでこのような大きな違いが見られた理由は，文書翻訳の場合は，翻訳文の文長が単文翻訳に比べて長くなることが要因と考えられる．例えば，学習データに現れない文長の翻訳をするとき，極端に翻訳品質が悪くなることが知られている $[12,13]$. また，モデル学習時と翻訳時の状況のずれいわゆる exposure bias に起因する要因もあると考えられる $[14,1]$.

## 4.2 分析/考察

単一のドメインの学習結果表 4 に，提案法である DocMT の候補を生成した単文翻訳 SentMT (chat) と SentMT (news) の 1 ベスト翻訳の性能を示す. chat 評価データを SentMT (chat) にて翻訳する場合，あるいは，news 評価データを SentMT (news) にて評価する場合のようにモデルと評価データのドメインが一致するときは高いスコアが得られた. 反対にモデルと評価データのドメインが一致しない場合は
表 5 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0 位から）についての各種統計量（chatドメインの対訳コーパスにおける場合）

BLEU スコアが大幅に悪くなった. もう一点着目すべきこととして, 表 3 の DocMT (news\&chat) の結果は，評価データとモデルのドメインが一致している場合の結果よりもわずかに良い結果となっている. この結果から, DocMT (news\&chat) は与えられた候補の中からより良い翻訳候補を選択できたことが示唆される.

モデルの選択結果の統計量提案法が実際に出力した文書を構成した候補文に注目して，単文モデルが生成した候補文のドメインの内訳，モデルが候補文を生成した段階での候補文の尤度による順位に関するいくつかの統計量の 2 つについて,表 5 に chat ドメインの文書を提案法が翻訳した場合，表 6 に news ドメインの文書を提案法が翻訳した場合を示す ${ }^{2}$. 選択された候補文の内訳に注目すると, chatドメインのデータを翻訳した場合は SentMT (news) 由来の候補文があまり混在しなかったのに対して, news ドメインのデータを翻訳した場合は SentMT (chat) 由来の候補文が $30 \%$ 以上も混在していた。選択した候補文の順位について，共通する傾向としてどちらも順位の高い（0に近い側）候補を選択したことが分かった. 平均は news ドメインの文書を翻訳した場合の方が低かった。また翻訳する文書と候補文のドメインが異なる場合は，選択された候補文の順位の標準偏差は大きくなる傾向が見られた.

翻訳結果の一貫性の定性評価図 2 に提案法による実際の chat 文書翻訳結果を示す.この出力の中にはSentMT (news) の候補文が含まれているが， その候補文でも chat ドメインのようにくだけた印象の語彙が使われているのが分かった。一方で SentMT (news) に限らず，SentMT (chat) の候補文の一部であってもです・ます調の部分があり，正解

2）選択された候補文の尤度による順位に関する分布や，文書内で何文目なのかという位置についての情報の詳細は付録の表 7, 9,10,11,12を参照表 6 候補文のドメインの内訳と，単文翻訳モデルが候補文を生成した段階での候補文の順位（0位から）についての各種統計量 (news ドメインの対訳コーパスにおける場合）

 \\

図 2 提案法による Chat 文書の En-Ja 翻訳結果

データのような表現が他の SentMT (chat) の候補文に存在していたがそれを選択していなかった。また，誤訳も見られた。このように，提案法によってスコアが向上したが，まだ改善すべき点は残っていることが分かった.

## 5 おわりに

本研究では，単文翻訳モデルが出力した翻訳候補をもとに，文書翻訳モデルによって適切な翻訳文の組合せを求め，文書翻訳を実現する手法を提案した. 結果として chat及び news ドメインの対訳コーパスに対してこの提案法は，単文翻訳の結果を結合して文書を構成する手法よりも自動評価においてより高いスコアを得ることができた。しかし実際の出力を見ると，文書内での口調・語尾の使用の統一は完全になされているわけではなく，誤訳も確認された。

簡単に準備できて，それなりに品質の高いデータが今回用いた chat と news データしかなかったため 2 種類のデータのみで実験を行ったが，より広範な性能を評価するためには，評価データを増やす必要がある. 今後，文書翻訳の性能を高めるために，これらの評価データおよび追加学習用のデータを構築していきたいと考えている.

## 謝辞

本研究は JST ムーンショット型研究開発事業 JPMJMS2011 (fundamental research) の助成を受けて実施されたものである.

## 参考文献

[1] Marc'Aurelio Ranzato, Sumit Chopra, Michael Auli, and Wojciech Zaremba. Sequence level training with recurrent neural networks. In 4th International Conference on Learning Representations, ICLR 2016.

[2] Samuel Läubli, Rico Sennrich, and Martin Volk. Has machine translation achieved human parity? a case for document-level evaluation. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 47914796, Brussels, Belgium, October-November 2018. Association for Computational Linguistics.

[3] Jörg Tiedemann and Yves Scherrer. Neural machine translation with extended context. In Proceedings of the Third Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark, September 2017. Association for Computational Linguistics.

[4] Marcin Junczys-Dowmunt. Microsoft translator at WMT 2019: Towards large-scale document-level neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 225-233, Florence, Italy, August 2019. Association for Computational Linguistics.

[5] Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, and Kentaro Inui. Chat translation error detection for assisting cross-lingual communications. In Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems, pp. 88-95, Online, November 2022. Association for Computational Linguistics.

[6] Loïc Barrault, Magdalena Biesialska, Ondřej Bojar, Marta R. Costa-jussà, Christian Federmann, Yvette Graham, Roman Grundkiewicz, Barry Haddow, Matthias Huck, Eric Joanis, Tom Kocmi, Philipp Koehn, Chi-kiu Lo, Nikola Ljubešić, Christof Monz, Makoto Morishita, Masaaki Nagata, Toshiaki Nakazawa, Santanu Pal, Matt Post, and Marcos Zampieri. Findings of the 2020 conference on machine translation (WMT20). In Proceedings of the Fifth Conference on Machine Translation, pp. 1-55, Online, November 2020. Association for Computational Linguistics.

[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in Neural Information Processing Systems, Vol. 30, 2017.

[8] Makoto Morishita, Keito Kudo, Yui Oka, Katsuki Chousa, Shun Kiyono, Sho Takase, and Jun Suzuki. Nt5 at wmt 2022 general translation task. In Proceedings of the Seventh Conference on Machine Translation, pp. 318-325, Abu Dhabi, December 2022. Association for Computational Linguistics.

[9] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan, Sam Gross, Nathan Ng, David Grangier, and Michael Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[10] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium, October 2018. Association for Computational Linguistics.
[11] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[12] Masato Neishi and Naoki Yoshinaga. On the relation between position information and sentence length in neural machine translation. In Proceedings of the 23rd Conference on Computational Natural Language Learning (CoNLL), pp. 328-338, Hong Kong, China, November 2019. Association for Computational Linguistics.

[13] Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, and Kentaro Inui. SHAPE: Shifted absolute position embedding for transformers. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, pp. 3309-3321, Online and Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[14] Wen Zhang, Yang Feng, Fandong Meng, Di You, and Qun Liu. Bridging the gap between training and inference for neural machine translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334 4343, Florence, Italy, July 2019. Association for Computational Linguistics.
表 7 SentMT(chat)が chat ドメインの対訳コーパスにおいて En-Ja 翻訳する際に出力した各順位の候補文が選択された回数と, 文書内で何文目に選択されたかという位置に関する各種統計量

表 8 SentMT(chat) が chat ドメインの対訳コーパスにおいて Ja-En 翻訳する際に出力した各順位の候補文が選択された回数と, 文書内で何文目に選択されたかという位置に関する各種統計量

表 9 SentMT(chat) が news ドメインの対訳コーパスにおいて En-Ja 翻訳する際に出力した各順位の候補文が選択された回数と, 文書内で何文目に選択されたかという位置に関する各種統計量

表 10 SentMT(news) が news ドメインの対訳コーパスにおいて En-Ja 翻訳する際に出力した各順位の候補文が選択された回数と，文書内で何文目に選択されたかという位置に関する各種統計量

表 11 SentMT(chat)が news ドメインの対訳コーパスにおいて Ja-En 翻訳する際に出力した各順位の候補文が選択された回数と, 文書内で何文目に選択されたかという位置に関する各種統計量

表 12 SentMT(news) が news ドメインの対訳コーパスにおいて Ja-En 翻訳する際に出力した各順位の候補文が選択された回数と，文書内で何文目に選択されたかという位置に関する各種統計量