言語処理学会 第26回年次大会 発表論文集 (2020年3月)

特許文を対象とした

Many-to-One Multi-Source ニューラル機械翻訳 ∗洪 博軒 †飯田 頌平 † 崔 鴻翌 ††筑波大学大学院 システム情報工学研究科

1

はじめに多言語 NMT において，複数原言語の対訳文を参照して目的言語の一文に翻訳を行う (n-to-1) マルチソース

磯部 僚也 † 宇津呂 武仁 † 永田 昌明 ‡‡NTT コミュニケーション科学基礎研究所

表 1: 特許三言語対訳コーパスの欠落設定 (各数字は欠落のない文数を示す．“X” は欠落した部分を示す)
文番号

英中日

翻訳手法 [7] においては，モデルの訓練および評価に1-200,000

20 万

20 万

20 万

おいては全言語の対訳文が揃うことが前提とされるが，200,001-600,000

40 万

X40 万

実世界のコーパスにおいてこの条件が満たされる状況

600,001-1,000,000

X40 万40 万は極めて限られる．一方，複数翻訳方向の 1-to-1 翻訳が混在した Google の多言語翻訳 [1] に用いられるモデ“<NULL>” トークンを使用することにより，文連結型マルチソース翻訳において Nishimura ら [3] の方法

ルにおいても，三言語以上の対訳関係を無視し独立なを近似したものを，本研究の一つの比較対象とする．

二言語対とみなすため，評価時に複数の原言語の文が一方，Google 多言語翻訳のうちの Many-to-One 翻訳存在したとしても，その利点をいかすことができないは，出力言語が同一である複数の言語対に対して，タ点が弱点である．そこで本論文では，三言語対訳コー

グを付与することにより一つのモデルとして訓練すパスが利用できる場合を対象として，これを有効活用る方法である．例えば，英日対訳と中日対訳がある場する Many-to-One Multi-Source 手法を提案する．

合，英語文の入力には “<EN2JA>” タグを，中国語文

本論文では，複数の原言語文を文区切り記号連結しの入力には “<ZH2JA>” タグを，それぞれ付与する．

たものを入力とする文連結型マルチソース翻訳と通しかし，この方法では，英中日の三言語対訳データの常のシングルソース翻訳 (1-to-1 翻訳) を，入力にタグように，三つ以上の言語が互いに対訳になっている場を付与することにより区別して一つのモデルとして合に，これらが互いに対訳になっていることを利用す訓練する方法を Many-to-One Multi-Source 翻訳と定義ることができない．そこで，本論文では，この Googleする．具体的には，英中日の三言語対訳，英日対訳，の Many-to-One 翻訳を提案法のもう一つの比較対象と中日対訳があるとき，英語文と日本語文を連結したする．以上の二つの比較実験を行うために，特許の三入力には “<ENZH2JA>” タグを，英語文の入力には言語対訳データから表 1 のデータを作成し，図 1 に示“<EN2JA>” タグを，中国文の入力には “<ZH2JA>”
タグを，それぞれ付与して，日本語文を出力する一つす形でモデルの比較を行う．のモデルを訓練する．

2

多言語 NMT の関連研究

2.1

マルチソース翻訳

また，本論文の比較対象として，Nishimura ら [3]の方法では，そもそも複数エンコーダで複数言語入力を実現しているので，単一言語入力の翻訳モデルとパ

Zoph ら [7] はマルチエンコーダの再帰型ニューラルネットワーク (RNN) モデルを用いてマルチソース翻ラメータを共有することは不可能である．しかし，単訳を実現した．各エンコーダは各言語の原言語文を処

一言語入力の場合には，Nishimura ら [3] の方法にお理する．1-to-1 翻訳モデルよりも翻訳精度が改善していて三言語対訳の欠落を表現するのに使われているいるが，全言語の対訳訓練文を用意する必要がある．

∗ Many-to-One Multi-Source Neural Machine Translation of PatentCorpus† Po-Hsuan Hung, Shohei Iida, Hongyi Cui, Tomoya Isobe, Takehito Utsuro, Graduate School of Systems and Information Engineering,
University of Tsukuba‡ Masaaki Nagata, NTT Communication Science Laboratories, NTTCorporation, Japan

実世界のコーパスにおいてこの条件が満たされる状況は，非常に限定される．この問題に対して，Nishimura
らは，欠落した言語の部分を，トークン [3] や自動生成した疑似対訳文 [2] で置き換える手法を提案した．

― 457 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1: 提案手法と先行研究のモデルの比較

2.2

Google 多言語翻訳

Johnson ら [1] は，英語を含む三言語コーパスを中心に，異なる翻訳方向の 1-to-1 文対を混在させた翻訳手法を提案した．この手法では，三言語以上の文対応関係が含まれる場合もこれを利用せず，全ての言語対を1-to-1 の対応に変換して翻訳モデルの訓練を行う．原言語を英語とし，目的言語を他二言語とする One-toMany 翻訳，原言語を他二言語とし，目的言語を英語とする Many-to-One 翻訳，原言語と目的言語両方を三言語とする Many-to-Many 翻訳の三種類の設定に分け

4

提案手法

4.1

文連結型マルチソース翻訳

本論文では，文連結手法を用いて三言語対訳コーパスを有効利用する手法を提案する．本論文では，“<CON-CAT>” トークンを用いて複数の言語の原言語文を連結する．連結後の対訳文対の例を図 2 に示す．このように，連結された二文を一文として扱い，翻訳モデルの訓練・評価を行う．このアプローチによれば，単エンコーダモデルによって 2-to-1 翻訳が実現可能となるため，マルチエンコーダの実装が不要となる．

られている．出力時の目的言語を指定するため，入力文の先頭に，該当する言語タグを付与する．本論文では，上述の三種類の設定の中でも，特に Many-to-One翻訳に着目し，本論文の提案手法との間の比較評価を行う．本論文では，比較対象とする Many-to-One 翻訳を “Google Many-to-One” モデルと呼ぶ．

3

さらに，本論文では，Nishimura ら [3, 2] が提案した手法において，同様の文連結手法を導入する方式の翻訳精度の評価も行った．文献 [2] に従う場合には，

No.1∼No.200,000 の文を用いて { 英, 日 }-to-中と { 中,日 }-to-英の翻訳モデルを訓練した後，表 1 の欠落部分“X” に相当する翻訳文を自動生成し全体を疑似対訳文として扱い，この手法を “2to1 Nishimura (疑似対訳)”

特許三言語対訳コーパス

本論文では，日本，中国，米国の 2005∼2017 年特許
データからパテントファミリーに基づいて対訳文書対を抽出し，文献 [5] の手法により文対応を付与し，英と呼ぶ．一方，文献 [3] に従う場合には，表 1 の欠落部分 “X” を “<NULL>” トークンに置き換え，この手法を”2to1 Nishimura (NULL)” と呼ぶ．

語と中国語を原言語，日本語を目的言語として 1 ，日

4.2 Many-to-One Multi-Source 翻訳

中英三言語対訳コーパスを作成した．その結果，100

本論文では，欠落を含む三言語対訳コーパス (表 1) に万訓練文対，2 万開発文対，および，2 万評価文対のおいて，日本語を目的言語とした Many-to-One 翻訳に三言語対訳コーパスが作成された．

着目し，Many-to-One Multi-Source 翻訳の方式を提案する．本論文の各提案手法，および，比較対象の手法との間の関係を図 1 に示す．
この手法においては，まず，4.1 節の文連結 2-to-1

1 英語の Tokenization は Moses Tokenizer( https://github.

com/moses-smt/mosesdecoder/ )，中国語の形態素解析はJieba( https://github.com/fxsjy/jieba )，日本語は文字単位に分解した．英語文と中国語文の合計文長が 1,000 トークン以上となる対訳文対は除外した．

翻訳手法を No.1∼No.200,000 の三言語対訳文に適用し，{ 英, 中 }-to-日翻訳訓練用対訳文対を生成し，連― 458 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 2: 二文連結による { 英, 中 }-to-日の訓練データ例 (実際の訓練過程では，訓練前に 4 節の前処理を適用する)
表 2: 特許コーパスの BLEU 評価における欠落の有無の比較評価 (単一モデルにおいて複数の翻訳方向を評∗価する場合を で示す．1-to-1 翻訳ベースラインに対して有意差がある (p < 0.01) 場合を † で示す．2-to-1
翻訳ベースラインに対して有意差がある (p < 0.01) 場‡合を で示す)の訓練用対訳文対は，“Many-to-One Multi-Source 翻訳(タグ付き・重複あり)” モデルの訓練用対訳文対から {英, 中 }-to-日翻訳訓練用対訳文対を除外したもの (図 1参照) である 2 ．

5

評価

評価結果を表 2 に示す 3 ．欠落なしの訓練文規模 100(a) 欠落なし

万文対において，2-to-1 翻訳の BLEU スコアが 1-to-1

設定

英-to-日中-to-日{ 英, 中 }-to-日

欠落なし (100 万対訳文対)

66.42

66.99

71.18

翻訳より 4.19 ポイント有意に改善した．次に，欠落を欠落なし (20 万対訳文対)

62.59

62.36

65.89

64.99

66.69

考慮した特許コーパスにおける BLEU 評価結果では，(2-to-1 翻訳ベースライン)欠落なしの場合のベースライン翻訳モデルとして，(i)N/Aを用いて訓練した「欠落なし (20 万対訳文対)」のモ(b) 欠落あり (訓練事例の情報源: 100 万対訳文対)

デル，(ii) 1-to-1 翻訳モデルでは，英-to-日翻訳におい欠落なし (60 万対訳文対)(1-to-1 翻訳ベースライン)

設定

英-to-日中-to-日{ 英, 中 }-to-日

2to1 Nishimura (疑似対訳) [2]

N/A

N/A

70.63‡∗

2to1 Nishimura (NULL) [3]∗∗

2-to-1 翻訳モデルでは，表 1 の No.1∼No.200,000 の文

Google Many-to-One [1]Many-to-One MultiSource 翻訳 (タグ付き)

重複なし
重複ありて No.1∼No.600,000 の文を用いて訓練した「欠落なし(60 万対訳文対)」モデル，および，中-to-日翻訳におい70.04‡

64.60

62.68

†

66.03

†

N/Aて No.1∼No.200,000 の文と No.600,001∼No.1,000,00064.32
66.29†

62.70
66.71†

69.84‡
70.63‡の文を用いて訓練した「欠落なし (60 万対訳文対)」モ

66.31

デル，をそれぞれ評価した．

結後の原言語文対の先頭に “<ENZH2JA>” タグを付与する．次に，No.200,001∼No.600,000 の英日対訳文から，1-to-1 翻訳用に英-to-日翻訳訓練用対訳文対を作成し，各原言語文の先頭に “<EN2JA>” タグを付与す
る．さらに，No.600,001∼No.1,000,000 の中日対訳文から，1-to-1 翻訳用に中-to-日翻訳訓練用対訳文対を作成し，各原言語文の先頭に “<ZH2JA>” タグを付与す
る．以上の訓練用対訳文対を用いて訓練した翻訳モデ
ルを “Many-to-One Multi-Source 翻訳 (タグ付き・重複なし)” モデルと呼ぶ．このモデルの直接の比較対象は，

Nishimura ら [3] が提案した “2to1 Nishimura (NULL)”モデルである．
さらに，No.1∼No.200,000 の三言語対訳文から，1to-1 翻訳用の英-to-日翻訳訓練用対訳文対と中-to-日翻訳訓練用対訳文対をそれぞれ生成し，“Many-to-OneMulti-Source 翻訳 (タグ付き・重複なし)” モデルの訓練用対訳文対に追加して訓練を行った翻訳モデルを，“Many-to-One Multi-Source 翻訳 (タグ付き・重複あり)”
モデルと呼ぶ．このモデルの直接の比較対象は，従来の Many-to-One 翻訳手法である”Google Many-to-One”モデルである．ただし，”Google Many-to-One” モデル

2-to-1 翻訳においては，本論文で提案した文連結型
2-to-1 翻訳モデルは，Nishimura らの手法 [2, 3] に対しても適用可能であることが示された．さらに，本論文の提案手法である “Many-to-One Multi-Source 翻訳 (タグ付き)” の「重複あり・なし」両モデルとも，ベースラインモデルの BLEU を有意に改善した 4 ．一方，1-to-1
翻訳においては，“Google Many-to-One” モデル，および，提案手法の “Many-to-One Multi-Source 翻訳 (タグ付き・重複あり)” モデルは，ベースラインの BLEU を
2 図 1 中の赤色の 1-to-1 翻訳用の英-to-日翻訳訓練用対訳文対 20万文対と中-to-日翻訳訓練用対訳文対 20 万文対における日本語文が重複している点に注意する．
3 本論文では，fairseq ツールキット [4] を用いて実装された Transformer モデル [6] を用いた．Head の数を 4，エンコーダとデコーダを各 6 層，単語分散表現を 512 次元，隠れ層を 2,048 次元，学習率を0.0003 とし，Adam optimizer を使用した．ドロップアウトを 0.3 として，50 エポックの訓練を行う．ハードウェアとして，NVIDIA TeslaP100 16GB GPU 1 枚を使用した．評価時，モデルの日本語出力文はMecab 単位に分割して評価を行った．BLEU スコアの評価においては，Moses デコーダー ( https://github.com/moses-smt/mosesdecoder/ ) のスクリプト (multi-bleu.perl) を使用した．BLEU スコアの有意差検定においては，mteval Toolkit( https://github.com/odashi/mteval ) を使用した．
4「重複あり・なし」両モデル間の BLEU の差においても有意差がある (p < 0.01)．“Many-to-One Multi-Source 翻訳 (タグ付き・重複あり)” モデルにおいては，擬似対訳を用いなくても，疑似対訳を用いる “2to1 Nishimura (疑似対訳)” モデルと同等の翻訳精度を達成できており，訓練効率の点からも優位性が大きいと言える．

― 459 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 特許データにおける翻訳例 ({ 英, 中 }-to-日翻訳)文

原言語文・参照文・モデル
原言語文 (英)BLEU

原言語文 (中)Normally , the IGBT 14 of the current breaker 10 is off .
在通常 ， 流切断 装置10 的 IGBT14 断 。

N/A
N/A

参照文

通常時は、電流遮断 装置10 の IGBT14 はオフしている。

N/A

英-to-日通常、電流遮断 器10 の IGBT14 はオフである。

中-to-日

通常時には、電流遮断 装置10 の IGBT14 がオフする。

37.79
54.41

{ 英, 中 }-to-日

通常時には、電流遮断 装置10 の IGBT14 はオフしている。

85.79

プを図 3 を示す．この図において，注意の値は 4 つのHead の平均値となる．“Normally”-「通常」，および，“breaker”-「切断装置」等，英語と中国語の原言語文の間での注意の対応が適切にとれていることが分かった．
提案手法である文連結型 2-to-1 翻訳手法においては，この例のように，連結されたマルチソース文において，このように自己注意が適切に機能することによって，高い翻訳精度を達成できていると考えられる．

7

おわりに

本論文では，出力言語が同じである複数の言語対を一つのモデルにする Many-to-One 翻訳の考え方を拡張した Many-to-One Multi-Source 翻訳モデルを提案した．
評価実験においては，Nishimura ら [3] のマルチエン
図 3: エンコーダ 6 層目の自注意機構におけるヒートコーダを用いたマルチソース翻訳モデルを文連結によマップの例り実現したモデルと比較して，2-to-1 翻訳・1-to-1 翻有意に改善した．

訳とも BLEU を有意に改善することを示した．この“2to1 Nishimura (NULL)” モデルとの比較において方法は見方を変えると，Many-to-One 翻訳において，は，“Many-to-One Multi-Source 翻訳 (タグ付き・重複あ三言語以上の対訳が存在している場合には，三言語り)” モデルによる 2-to-1 翻訳の BLEU 70.63 は “2to1対訳データであることを活用する拡張となっており，Nishimura (NULL)” モデルの BLEU 70.04 を有意 (p <評価実験においては，1-to-1 翻訳においては “Google0.01) に改善し，1-to-1 翻訳の BLEU 66.29 および 66.71
は “2to1 Nishimura (NULL)” モデルの BLEU 64.60 およMany-to-One” モデルと同等の BLEU を達成し，かつ，単一のモデルにより 2-to-1 翻訳も行うことができるこび 62.68 を有意 (p < 0.01) に改善した．一方，“Googleとを示した．

Many-to-One” モデルの 1-to-1 翻訳との比較においては，“Many-to-One Multi-Source 翻訳 (タグ付き・重複

謝辞: 日英中特許データを提供して頂いた日本特許情あり)” モデルにより同等の BLEU を達成しており，それに加えて，単一のモデルにより 2-to-1 翻訳も行うことができている．

6

実例分析

{ 英, 中 }-to-日翻訳モデルによるマルチソース翻訳の例
を表 3 に示す．英単語 “breaker” の日本語訳は「器」と「装置」の可能性があるが，中国語では日本語と同じ漢字「装置」が使われているので，中日方向の翻訳においては訳語の曖昧性の問題がない．このため，“breaker”
は，中-to-日翻訳モデル，および，{ 英, 中 }-to-日翻訳
モデルにおいては，正しく日本語訳された．
マルチソース翻訳過程における自己注意ヒートマッ

報機構 (JAPIO) の関係者各位に深謝の意を表する．

参考文献[1] M. Johnson, M. Schuster, Q. Le, M. Krikun, Y. Wu, Z. Chen, N. Thorat,F. Viégas, M. Wattenberg, G. Corrado, M. Hughes, and J. Dean. Google’s
multilingual neural machine translation system: Enabling zero-shot translation. Transactions of ACL, Vol. 5, pp. 339–351, 2017.
[2] Y. Nishimura, K. Sudoh, G. Neubig, and S. Nakamura. Multi-source neuralmachine translation with data augmentation. In Proc. 15th IWSLT, pp. 48–53,2018.
[3] Y. Nishimura, K. Sudoh, G. Neubig, and S. Nakamura. Multi-source neuralmachine translation with missing data. In Proc. 2nd WNGT, pp. 92–99, 2018.
[4] M. Ott, S. Edunov, A. Baevski, A. Fan, S. Gross, N. Ng, D. Grangier, andM. Auli. fairseq: A fast, extensible toolkit for sequence modeling. In Proc.
NAACL-HLT: Demonstrations, pp. 48–53, 2019.
[5] M. Uchiyama and H. Isahara. Reliable measures for aligning JapaneseEnglish news articles and sentences. In Proc. 41th ACL, pp. 72–79, 2003.
[6] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez,
L. Kaiser, and I. Polosukhin. Attention is all you need. In Proc. 30th NIPS,pp. 5998–6008, 2017.
[7] B. Zoph and K. Knight. Multi-source neural translation. In Proc. NAACLHLT, pp. 30–34, 2016.

― 460 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.