言語処理学会 第30回年次大会 発表論文集（2024年3月）

双対学習機械翻訳モデルのドメインシフトに対する頑健性の検証
加藤龍兵 秋葉友良 塚田元
豊橋技術科学大学{kato.ryuhei.vb,akiba.tomoyoshi.tk,tsukada.hajime.hl}@tut.jp

概要
近年，Transformer ベースモデルがニューラル機械翻訳（NMT）の分野で盛んに研究されている．
一 般 に Transformer は 単 方 向 翻 訳 を 行 う よ う に 学習されるが，翻訳問題には逆方向の翻訳問題が必ず存在する．単一モデルで双方向の翻訳を行うモデ ル に は Dualformer が あ る．Dualformer は 両 方 向の Transformer ベースモデルのデコーダ部を組み合わせたモデルである．実験では，ドメインの内外問わず独英および日英の両言語対で Dualformer がTransformer の性能を超える結果となった．この結果
は，Dualformer が言語対にかかわらずドメインシフトに頑健なモデルであることを示している．

1

はじめに近年，ニューラル機械翻訳（NMT）の分野は発展が著しい．特に，Transformer [1] に基づく NMT モデルは，従来の Recurrent Neural Network に基づく NMTモデルの性能を多くのタスクで凌駕している．
一般的な Transformer ベース NMT モデルはある言語対について単方向の翻訳を行うように学習される．一方，日英翻訳に対する英日翻訳のように翻訳問題には必ず逆向きの問題が存在し，これらは双対問題と呼ばれる．双対問題は他の系列変換タスクにも見られ，例えば音声認識と音声合成は言語音声・書き起こしテキスト間の双対問題である．
双対問題を解くことで双方のモデル性能を高める手法は双対学習（Dual Learning）と呼ばれる．NMTの分野では，He ら [2] が両方向の NMT モデルと各言語の言語モデルを用いて単言語データを相互に翻訳しあう双対学習を提案している．
Xia ら [3] は 双 対 問 題 を モ デ ル レ ベ ル で 解 くModel-Level Dual Learning を提案している．この手法は双対問題を解く単一のモデルを学習するもので，NMT であれば１つのモデルで双方向翻訳が可能になる．森下ら [4] や Chien ら [5] は，Xia らと同様のアーキテクチャを持つ Transformer ベースモデ
ルの学習に Reconstruction や Dual Integration などの補助タスクを導入している．これらの補助タスクの導入により，モデルパラメータを増やすことなくモデル性能の改善を達成している．本稿では表記の簡潔さのため，双方向翻訳のために拡張された
Transformer を Chien らに従い Dualformer と呼ぶ．
Dualformer の先行研究 [3] [4] [5] では，ドイツ語・英語，フランス語・英語，中国語・英語の３つの言 語 対 が 用 い ら れ て お り，い ず れ の 言 語 対 で もTransformer ベースモデルからの性能改善が見られる．しかし，日本語・英語の言語対での結果は示されていない．またモデルの評価はすべてドメイン内データで行っており，Dualformer のドメインシフトに対する頑健性は不明である．そのため本研究では，独英翻訳および日英翻訳の Dualformer をドメイン内・ドメイン外データで評価し，Dualformer のドメイン汎化性能を検証する．

2

Dualformer

本節では Dualformer の構成や翻訳処理，学習方法について述べる．

2.1

アーキテクチャ

Dualformer は，言 語 𝑋 か ら 言 語 𝑌 方 向 翻 訳 のTransformer ベースモデルのデコーダ（図 1 右）と𝑌 → 𝑋 方向翻訳 Transformer ベースモデルのデコーダ（図 1 左）から構成される．
𝑋 → 𝑌 方 向 翻 訳 で は，𝑋 側 デ コ ー ダ は Cross
Attention を無視して埋め込み層と Self Attention，全結合層だけ使うことで 𝑋 → 𝑌 方向のエンコーダとして振る舞わせる．この際，Self Attention への入力に対するマスク処理は無効にする．𝑌 側のデコーダ― 325 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

はそのまま 𝑋 → 𝑌 方向のデコーダとして用いる．

𝑋 → 𝑌 および 𝑌 → 𝑋 方向の翻訳結果 𝑦ˆ ，ˆ𝑥 は ŷ，x̂

𝑌 → 𝑋 方向翻訳も同様に，Cross Attention を無視しにそれぞれ Softmax 関数を適用して確率分布に直した 𝑌 側デコーダを 𝑌 → 𝑋 方向のエンコーダとしてた後，各時刻で確率最大のトークンを抽出すること用い，𝑋 側デコーダはそのまま 𝑌 → 𝑋 方向のデコーで取得する．その処理を式 (7)，(8) にそれぞれ示す．

ダとして使う．このように Dualformer はモデルの一部を Transformer のエンコーダもしくはデコーダとして使うことで双方向翻訳を実現する．

2.3

𝑦ˆ = argmax(softmax( ŷ))(7)𝑥ˆ = argmax(softmax( x̂))

(8)

Reconstruction

本 論 文 で は，Dualformer の 補 助 タ ス ク と し てReconstruction を使用する．これは入力系列を再現するタスクである．なお，先行研究 [5] では Masked
Language Model Loss と Dual Integration Loss も用いているが，本論文では使用しないため説明は省く．
図1

Dualformer を 用 い た 言 語 𝑋，𝑌 の 入 力 に 対 す る

Dualformer 概略図

Reconstruction は，Reconstruction のデコーダ出力分

2.2

布 x′ ，y′ を用いて，それぞれ式 (9)，(10) で表される．

翻訳処理

x′ = 𝐷𝑌 →𝑋 (𝐷 𝑋→𝑌 (𝐸 𝑋→𝑌 (x), y), x)

まず，言語 𝑋，𝑌 のコーパスから得た対訳サンプ
ルのトークン系列 𝑥，𝑦 は埋め込み層により特徴ベクトル系列 x，y に変換する（式 (1)，(2)）．

′

y = 𝐷 𝑋→𝑌 (𝐷𝑌 →𝑋 (𝐸𝑌 →𝑋 (y), x), y)

(9)
(10)

翻訳処理と同様に，Reconstruction 結果のトークン

x = Embed𝑋 (𝑥)(1)y = Embed𝑌 (𝑦)(2)

系列 𝑥 ′ ，𝑦 ′ は式 (11)，(12) でそれぞれ求める．
𝑥 ′ = argmax(softmax(x′ ))Dualformer の 翻 訳 処 理 で は，モ デ ル の 一 部 を′

𝑦 = argmax(softmax(y ))Transformer の エ ン コ ー ダ も し く は デ コ ー ダ と して 用 い る．言 語 𝑋 か ら 言 語 𝑌 へ の 翻 訳 に お け るDualformer のエンコーダ部を式 (3)，デコーダ部を式′2.4(11)(12)

目的関数

本論文では，Dualformer の目的関数として，これ(4) に示す．
𝐸 𝑋→𝑌 (x) ≜ FF𝑋 (SA𝑋 (x))
𝐷 𝑋→𝑌 (h 𝑥 , y) ≜ FF𝑌 (CA𝑌 (h 𝑥 , SA𝑌 (y)))(3)

まで説明した翻訳と Reconstruction 処理に係る２つの目的関数の和を用いる．

(4)

翻訳の目的関数は式 (13) に示す．これは各方向の

ここで h 𝑥 は 𝑋 → 𝑌 方向翻訳のエンコーダの中間表

翻訳結果 𝑥，ˆ 𝑦ˆ の Cross Entropy 誤差の和である．同

現であり，式 (3) の処理の結果として得られる．ま様に，式 (14) の Reconstruction の目的関数は，各方た FF，CA，SA はそれぞれ全結合層，Cross Attention，向の Reconstruction 結果 𝑥 ′ ，𝑦 ′ の Cross Entropy 誤差

Self Attention を表す．の和である．

式 (3)，(4) を用いると，Dualformer による 𝑋 → 𝑌
方向の翻訳処理はデコーダ出力分布 ŷ を用いて式(5) のように書ける．
ŷ = 𝐷 𝑋→𝑌 (𝐸 𝑋→𝑌 (x), y)(5)

同様に，𝑌 → 𝑋 方向翻訳は式 (3)，(4) の 𝑋 と 𝑌 を入x̂ = 𝐷𝑌 →𝑋 (𝐸𝑌 →𝑋 (y), x)(13)

𝐿 RC = − log 𝑝(𝑥 ′ | 𝑥) − log 𝑝(𝑦 ′ | 𝑦)(14)

Dualformer の学習に用いられる目的関数は式 (13)，(14) を用いて式 (15) となる．
𝐿 = 𝐿 TR + 𝛼𝐿 RC

れ替えると，𝑌 → 𝑋 方向翻訳のデコーダ出力分布 x̂を用いて式 (6) で表せる．

𝐿 TR = − log 𝑝( 𝑦ˆ | 𝑥) − log 𝑝( 𝑥ˆ | 𝑦)(15)

ここで，𝛼 は Reconstruction の使用割合である．この(6)

値が 0 のときは翻訳の目的関数のみで学習を行う．

― 326 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

トークン化の前処理として単語分割を行う．

実験設定

3

ドイツ語と英語のデータは Moses [6] のトーク

先行研究 [3] [4] [5] ではドメイン外データに対す

ナイザで単語に分割する．日本語のデータはる評価を行っていない．また実験された言語対は

MeCab を用いて分かち書きする．MeCab の辞

ドイツ語・英語，フランス語・英語，中国語・英語

書は NEologd 1）を用いる．

であり日本語・英語における性能は不明である．

トークン化

そのため，ドイツ語・英語および日本語・英語で本稿で使用する全言語でトークンは BPE（ByteDualformer を構築し，ドメイン内とドメイン外デー

Pair Encoding）[7] である．BPE の学習とテキス

タの両方に対する性能から Dualformer のドメインシ

トの BPE 化には Subword-NMT 2）を用いる．

フトに対する頑健性を検証する．

独英翻訳と日英翻訳の BPE モデルはそれぞれドメイン内データの IWSLT’14 と KFTT の訓学習データ

3.1

練セットに基づいて構築する．BPE の語彙サイ

独英翻訳および日英翻訳 Dualformer の訓練およびズは，独英翻訳ではドイツ語が 8,844，英語が評価データの構成を述べる．また，データの前処理6,628 であり，日英翻訳では日本語が 18,804，英語が 16,788 である．各言語対のドメイン外デーやトークン化方法も示す．

タである WMT’17 と ASPEC の BPE 化にもドメ
3.1.1

データセット

イン内データに基づく BPE モデルを用いる．

独 英 翻 訳 モ デ ル の 学 習 に 使 う 対 訳 デ ー タ は，
IWSLT’14 独英翻訳データセット（TED 公演ドメイ

3.2ン）の訓練セットである．評価には IWSLT’14 の開発，テストセットに加え，ドメイン外の WMT’17 独Dualformer およびベースラインの Transformer ベー
スモデルの構築と評価には fairseq [8] を用いる．

英翻訳タスク（ニュースドメイン）の開発，テストセットも使用する．

モデル設定

モデル構成は，アーキテクチャや言語対にかかわらず共通である．Dualformer のデコーダブロックは

日英翻訳モデルの学習には，京都フリー翻訳タいずれも６層（Transformer の場合はエンコーダ・デス ク（Kyoto Free Translation Task, KFTT，京 都 関 連

コーダともに６層），Multi-Head Attention は 512 次元

Wikipedia 記事ドメイン）の訓練セットを用いる．モ

で 8 ヘッド，全結合層は 2,048 次元である．

デルの評価には KFTT に加えて，ドメイン外である
ASPEC 日英翻訳データセット（学術論文ドメイン）の開発，テストも使用する．
独英翻訳および日英翻訳の学習・評価データの内

3.3

評価用のモデルは，訓練セットのドメインの開発セットへの損失（式 (15)）が最小のものを用いる．

訳は表 1 にそれぞれ示す．

評価指標は BLEU を用いる．BLEU の計算は，予表 1 実験で用いるデータセット（下線は訓練に使うデータセット）
サブセット [文数]言語対 データセット
訓練開発 テストIWSLT’14
160,239 7,283
6,750
独英
WMT’1745,901 3,003
KFTT
440,288 1,166
1,160
日英
ASPEC
1,790
1,812

3.1.2

語の場合は MeCab，英語・ドイツ語の場合は Mosesのトークナイザで単語分割して取得する．

4

実験結果

4.1

独英翻訳

性能を示す．ここで，各表の TF はベースラインの正規化
英 語 と ド イ ツ 語 の デ ー タ に は，小 文 字 化 を行った．日本語のデータには小文字化に加え，単語分割測された BPE の系列を単語系列に直してから行う．
単語列は，BPE 系列をデトークナイズした後，日本

表 2 に IWSLT’14 および WMT’17 に対するモデル

前処理

NFKC 正規化を行った．

評価方法

Transformer ベースモデルを表す．DF は Dualformer
ベ ー ス モ デ ル で，右 下 の 数 字 は 式 (15) に お け る1） https://github.com/neologd/mecab-ipadic-neologd2） https://github.com/rsennrich/subword-nmt― 327 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2IWSLT’14 で訓練した独英翻訳モデルの性能（下線はドメイン内データ，太字は最良の BLEU 値）
IWSLT14
WMT17モデル
独→英英→独
独→英
英→独
valid
test
valid
test
valid
test
valid
test
32.22 31.14
12.55 14.91
TF
26.45 25.68
10.46 12.90
DF0.0
DF1.0
DF1.25

32.46
33.69
33.86

31.26
32.68
32.74

26.81
27.65
27.65

25.68
26.67
26.86

13.06
14.30
14.25

15.44
17.07
16.82

10.87
11.77
11.89

13.42
14.27
14.11

表 3 KFTT で訓練した日英翻訳モデルの性能（下線はドメイン内データ，太字は最良の BLEU 値）
KFTTASPECモデル
日→英英→日日→英英→日validtest
validtest
valid test valid test
19.35 21.92
5.68 5.53
TF
15.41 16.14
4.43 4.09
DF0.0
DF0.5
DF1.0

20.84
21.68
20.40

24.33
24.59
23.46

20.00
20.80
19.73

Reconstruction の使用割合 𝛼 である．

20.79
21.11
20.32

7.88
8.84
7.77

8.08
8.94
7.98

7.70
8.74
8.47

7.68
8.48
8.33

英語の翻訳でもドメインの内外問わず Transformer

まず Transformer と Dualformer の結果を比較するの性能を超えた．特に英 → 日方向の性能向上は大と，Dualformer はドメイン内とドメイン外データ

きく，Transformer に対する 𝛼 = 0.5 の Dualformer ののいずれに対しても Transformer を上回る性能を達成した．Dualformer の中でも，Reconstruction を使用BLEU 増加率は，KFTT のテストセットでは日 → 英方向で 1.12，英 → 日方向で 1.31 であり，ASPEC のしたモデルはそうでないモデルよりも性能が高テストセットではそれぞれ 1.62 と 2.07 である．

く，IWSLT’14 では 𝛼 = 1.25 のときが，WMT’17 では 𝛼 = 1.0 のときが最良の性能だった．

この結果から，言語対にかかわらず Dualformer がドメインシフトへの頑健性を持つことが示された．

Dualformer の性能が Transformer を上回る理由は，Self Attention と全結合層がエンコーダの一部としておわりに5もデコーダの一部としても使われることで頑健な本論文では単一モデルによる双方向翻訳が可能ドメインマッピングが行われたためだと考えられな Dualformer のドメイン汎化性能を調べた．実験でる．また，一度に両方向の翻訳の学習を行うこと

は，Dualformer がドイツ語・英語および日本語・英語で実質的な学習回数や使用データ数が 2 倍になり，の両言語対において，ドメイン内とドメイン外デーTransformer よりも密度の高い学習が行われたこともタのいずれに対してもベースラインの Transformer

理由として挙げられる．の性能を上回った．この結果は，Dualformer は言語

次に Reconstruction の使用割合 𝛼 に注目すると，IWSLT’14 に対しては 𝛼 を大きくすると翻訳性能が対にかかわらずドメインシフトに頑健なモデルであ高くなり，WMT’17 に対しては逆に 𝛼 を抑えたモデることを示している．
今後は，より大規模もしくは小規模なデータセッ

ルの性能が高かった．これは，ドメイン内データをトあるいは先行研究と本研究で使用していない言語

翻訳する際は Reconstruction によるドメイン知識の対など異なる設定での Dualformer の性能を検証し増強が有効だが，ドメイン外データの翻訳ではむしたい．また，翻訳以外の系列変換タスクに対してもろドメイン知識が汎化性能を下げてしまうためだとDualformer が有効なのか調査したい．

考えられる．

4.2

日英翻訳

表 3 に KFTT に対するモデル性能および ASPECに対するモデル性能を示す．
Dualformer は，全く異系統の言語対である日本語・― 328 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 23K11118 の助成を受けたものです．

参考文献[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Plosukhin. Attention is all you need, 2017. https://arxiv.org/abs/1706.03762.
[2] Di He, Yingce Xia, , Tao Qin, Liwei Wang, Nenghai Yu,Tie-Yan Liu, and Wei-Ying Ma. Dual learning for machinetranslation. In 30th Conference on Neural Information
Processing System, 2016.
[3] Yingce Xia, Xu Tan, Fei Tian, Tao Qin, Nenghai Yu, andTie-Yan Liu. Model-level dual learning. In Proceedingsof Machine Learning Research, 2018.
[4] 森下睦, 鈴木潤, 永田昌明. 双方向学習と再現学習を統合したニューラル機械翻訳. 言語処理学会 第 25 回年次大会, 2019.
[5] Jen-Tzung Chien and Wei-Hsiang Chang. Dualformer:
A uniﬁed bidirectional sequence-to-sequence learning. InInternational Conference on Acoustics, Speech, andSignal Processing, 2021.

[6] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi,
Brooke Cowan, Wade Shen, Christine Moran, Richard Zens,Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan
Herbst. Moses: Open source toolkit for statistical machinetranslation. In Sophia Ananiadou, editor, Proceedings ofthe 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177–180,2007.
[7] Rico Sennrich, Barry Haddow, and Alexandra Birch. Neural machine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1:Long Papers), 2016.

[8] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael Auli.
fairseq: A fast, extensible toolkit for sequence modeling. In
Waleed Ammar, Annie Louis, and Nasrin Mostafazadeh, editors, Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48–53, 2019.

― 329 ―

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).