特許文を対象としたMulti-Source
ニューラル機械翻訳
Multi-Source Neural Machine Translation of Patent Sentences

筑波大学システム情報系知能機能工学域教授

宇津呂武仁

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。京都大学等を経て、2012 年より筑波大学システム情報系知能機能工学域教授。自然言語処理、機械翻訳、ウェブマイニングの研究に従事。電子情報通信学会、情報処理学会、人工知能学会、言語処理学会、ACL 各会員。

筑波大学大学院システム情報工学研究科知能機能システム専攻

磯部僚也

2019 年芝浦工業大学システム理工学部電子情報システム学科卒業。現在、筑波大学大学院システム情報工学研究科
知能機能システム専攻 博士前期課程在学中。機械翻訳の研究に従事。

NTT コミュニケーション科学基礎研究所上席特別研究員

永田昌明

1987 年京都大学大学院工学研究科修士課程修了。同年、日本電信電話株式会社入社。現在、コミュニケーション科
学研究所 上席特別研究員。工学博士。自然言語処理の研究に従事。電子情報通信学会、情報処理学会、人工知能学会、言語処理学会、ACL 各会員。

1

本論文では、複数の原言語文を文区切り記号連結しはじめにたものを入力とする文連結型 Multi-Source 翻訳と通常

多 言 語 NMT に お い て、 複 数 原 言 語 の 対 訳 文 を 参の Single-Source 翻訳（1-to-1 翻訳）を、入力に言照して目的言語の一文に翻訳を行う（n-to-1）Multi-語タグを付与することにより区別して一つのモデルとしにおいては、モデルの訓練およびて訓練する方法を Multi-Source Many-to-One 翻訳と評価においては全言語の対訳文が揃うことが前提とされ定義する。具体的には、英中日の三言語対訳、英日対るが、実世界のコーパスにおいてこの条件が満たされる訳、中日対訳があるとき、英語文と日本語文を連結した状況は極めて限られる。一方、複数翻訳方向の 1-to-1

入力には “<ENZH2JA>” タグを、英語文の入力にはに用いられる“<EN2JA>” タグを、中国文の入力には “<ZH2JA>”

モデルにおいても、三言語以上の対訳関係を無視し独立タグを、それぞれ付与して、日本語文を出力する一つのな二言語対とみなすため、評価時に複数の原言語の文がモデルを訓練する。

Source 翻訳手法

［7］

翻訳が混在した Google の多言語翻訳

［1］

266

存在したとしても、その利点をいかすことができない点

ま た、 本 論 文 の 比 較 対 象 と し て、Nishimura ら［3］が弱点である。そこで本論文では、三言語対訳コーパスの方法では、そもそも複数エンコーダで複数言語入力が利用できる場合を対象として、これを有効活用するを実現しているので、単一言語入力の翻訳モデルとパMulti-Source Many-to-One 手法を提案する。

ラメータを共有することは不可能である。しかし、単一言語入力の場合には、Nishimura ら［3］ の方法において三言語対訳の欠落を表現するのに使われている“<NULL>” トークンを使用することにより、文連結型

2

多言語 NMT の関連研究

2.1

Multi-Source 翻訳の方法をZoph ら［7］ はマルチエンコーダの再帰型ニューラル近似したものを、本研究の一つの比較対象とする。一方、ネットワーク（RNN）モデルを用いて Multi-Source

Google 多言語翻訳のうちの Many-to-One 翻訳は、出翻訳を実現した。各エンコーダは各言語の原言語文を処力言語が同一である複数の言語対に対して、一つのモデ理する。1-to-1 翻訳モデルよりも翻訳精度が改善してルとして訓練する方法である。しかし、この方法では、いるが、全言語の対訳訓練文を用意する必要がある。実英中日の三言語対訳データのように、三つ以上の言語が世界のコーパスにおいてこの条件が満たされる状況は、互いに対訳になっている場合に、これらが互いに対訳に非常に限定される。この問題に対して、Nishimura らは、なっていることを利用することができない。そこで、本欠落した言語の部分を、トークン［3］ や自動生成した疑論文では、この Google の Many-to-One 翻訳を参考似対訳文［2］で置き換える手法を提案した。

Multi-Source 翻訳において Nishimura ら［3］にした提案法の非 Multi-Source 版（すなわち、Many-2.2to-One 翻訳）をもう一つの比較対象とする。以上の二Google 多言語翻訳

Johnson ら［1］は、英語を含む三言語コーパスを中心

ら表１のデータを作成し、図１に示す形でモデルの比較に、異なる翻訳方向の 1-to-1 文対を混在させた翻訳手を行う。

法を提案した。この手法では、三言語以上の文対応関表１係が含まれる場合もこれを利用せず、全ての言語対を 許三言語対訳コーパスの欠落設定（各数字は欠落のな
特い文数を示す。“X”は欠落した部分を示す）

文番号1-to-1 の対応に変換して翻訳モデルの訓練を行う。原

英

中

日

1-200,000

20 万

20 万

20 万

言語を英語とし、目的言語を他二言語とする One-to-200,001-600,000

40 万

X

40 万

Many 翻訳、原言語を他二言語とし、目的言語を英語と600,001-1,000,000X

40 万40 万

する Many-to-One 翻訳、原言語と目的言語両方を三言語とする Many-to-Many 翻訳の三種類の設定に分けら•

Multi-Source Many-to-One(<ENZH2JA>+<EN2JA>NMT<ZH2JA>
•)

20+40

NULL

40

Multi-Source Many-to-One(<ENZH2JA>

20
NMT

40NULL)•40

Many-to-One ()20+<EN2JA><EN2JA>

2-to-1 Nishimura•

NMT<ZH2JA><ZH2JA>
図１4020<EN2JA><EN2JA>

4020<ZH2JA><ZH2JA>

NMT

40204020

提案手法と先行研究のモデルの比較

YEAR BOOK 2O2O 267

4

機械翻訳技術の向上

つの比較実験を行うために、特許の三言語対訳データか

SOURCETARGET

The present invention relates to a cover glass . <CONCAT>The sample S has a known shape . <CONCAT>

SThe process may terminate thereafter . <CONCAT>

図２ 二文連結による｛英 , 中｝-to- 日の訓練データ例
（実際の訓練過程では、訓練前に 4 節の前処理を適用する）

れている。出力時の目的言語を指定するため、入力文の〜 No.200,000 の文を用いて｛英、日｝-to- 中と｛中、日｝先頭に、該当する言語タグを付与する。本論文では、上-to- 英の翻訳モデルを訓練した後、表 1 の欠落部分 “X”

述の三種類の設定の中でも、特に Many-to-One 翻訳に相当する翻訳文を自動生成し全体を疑似対訳文としてを参考にして提案法の非 Multi-Source 版（すなわち、扱い、この手法を “2to1 Nishimura（疑似対訳）” とMany-to-One 翻訳）を作成し、比較評価を行う。

呼ぶ。一方、文献［3］に従う場合には、表 1 の欠落部
分 “X” を “<NULL>” トークンに置き換え、この手法3を “2to1 Nishimura（NULL）” と呼ぶ。

特許三言語対訳コーパス

本 論 文 で は、 日 本、 中 国、 米 国 の 2005 〜 2017

4.2

Multi-Source Many-to-One 翻訳

年特許データからパテントファミリーに基づいて対訳文

本論文では、欠落を含む三言語対訳コーパス（表１）

書対を抽出し、文献［5］の手法により文対応を付与し、において、日本語を目的言語とした Many-to-One 翻訳

英語と中国語を原言語、日本語を目的言語として 、日中に着目し、Multi-Source Many-to-One 翻訳の方式を英三言語対訳コーパスを作成した。その結果、100 万提案する。本論文の各提案手法、および、比較対象の手訓練文対、２万開発文対、および、２万評価文対の三言法との間の関係を図１に示す。

1語対訳コーパスが作成された。

この手法においては、まず、4.1 節の文連結 2-to-1
翻訳手法を No.1 〜 No.200,000 の三言語対訳文に

4

提案手法

4.1

文連結型 Multi-Source 翻訳適用し、｛英、中｝-to- 日翻訳訓練用対訳文対を生成し、連 結 後 の 原 言 語 文 対 の 先 頭 に “<ENZH2JA>” タ グ
を 付 与 す る。 次 に、No.200,001 〜 No.600,000

本 論 文 で は、 文 連 結 手 法 を 用 い て 三 言 語 対 訳コーの 英 日 対 訳 文 か ら、1-to-1 翻 訳 用 に 英 -to- 日 翻

パ ス を 有 効 利 用 す る 手 法 を 提 案 す る。 本 論 文 で は、訳 訓 練 用 対 訳 文 対 を 作 成 し、 各 原 言 語 文 の 先 頭 に“<CONCAT>” トークンを用いて複数の言語の原言語“<EN2JA>” タグを付与する。さらに、No.600,001

文を連結する。連結後の対訳文対の例を図 2 に示す。

〜 No.1,000,000 の 中 日 対 訳 文 か ら、1-to-1 翻 訳

このように、連結された二文を一文として扱い、翻訳モ用に中 -to- 日翻訳訓練用対訳文対を作成し、各原言語デルの訓練・評価を行う。このアプローチによれば、単文の先頭に “<ZH2JA>” タグを付与する。以上の訓エンコーダモデルによって 2-to-1 翻訳が実現可能とな練用対訳文対を用いて訓練した翻訳モデルを “Multi-るため、マルチエンコーダの実装が不要となる。

Source Many-to-One 翻 訳（ 言 語 タ グ 付 き・ 重 複

さらに、本論文では、Nishimura ら［3, 2］ が提案したなし）” モデルと呼ぶ。このモデルの直接の比較対象手法において、同様の文連結手法を導入する方式の翻訳は、Nishimura ら［3］ が 提 案 し た “2to1 Nishimura

精度の評価も行った。文献［2］に従う場合には、No.1（NULL）” モデルである。
さ ら に、No.1 〜 No.200,000 の 三 言 語 対 訳 文 か

1 英語の Tokenization は Moses Tokenizer（https://github.
com/moses-smt/mosesdecoder/）、中国語の形態素解析は Jieba（https://github.com/fxsjy/jieba）、日本
語は文字単位に分割した。英語文と中国語文の合計文長が1,000 トークン以上となる対訳文対は除外した。

268

ら、1-to-1 翻訳用の英 -to- 日翻訳訓練用対訳文対と中-to- 日翻訳訓練用対訳文対をそれぞれ生成し、“MultiSource Many-to-One 翻訳（言語タグ付き・重複なし）”
モデルの訓練用対訳文対に追加して訓練を行った翻訳モ

表２

 許コーパスの BLEU 評価における欠落の有無の比較評価（単一モデルにおいて複数の翻訳方向を評価する場合を＊で示す。
特1-to-1 翻訳ベースラインに対して有意差がある（p<0.01）場合を†で示す。2-to-1 翻訳ベースラインに対して有意差がある（p<0.01）場合を‡で示す。）（a） 欠落なし
設定

英 -to- 日

中 -to- 日

欠落なし（100 万対訳文対）

66.42

66.99

｛英、中｝-to- 日
71.18

欠落なし（20 万対訳文対）

62.59

62.36

66.69
（2-to-1 翻訳ベースライン）

欠落なし（60 万対訳文対）（1-to-1 翻訳ベースライン）

65.89

64.99

N/A

（b） 欠落あり（訓練事例：100 万対訳文対）設定

英 -to- 日中 -to- 日｛英、中｝-to- 日

N/A

N/A

70.63 ‡

［3］
＊ 2to1 Nishimura（NULL）

64.60

62.68

70.04 ‡＊ Many-to-One 翻訳（言語タグ付き・重複あり）

66.31 †

66.03 †

N/A

2to1 Nishimura（疑似対訳）［2］＊ Multi- Source Many-to-One 翻訳（言語タグ付き）

重複なし

64.32

62.70

69.84 ‡

重複あり

66.29 †

66.71 †

70.63 ‡

翻訳の BLEU スコアが 1-to-1 翻訳より 4.19 ポイン付き・重複あり）” モデルと呼ぶ。このモデルの直接のト有意に改善した。次に、欠落を考慮した特許コーパ

比較対象は、Google の Many-to-One 翻訳を参考にし

スにおける BLEU 評価結果では、欠落なしの場合のた提案法の非 Multi-Source 版（すなわち、Many-to-ベースライン翻訳モデルとして、（i）2-to-1 翻訳モデOne 翻訳）である。このモデルの訓練用対訳文対は、

ルでは、表１の No.1 〜 No.200,000 の文を用いて“Multi-Source Many-to-One 翻訳（言語タグ付き・重訓練した「欠落なし（20 万対訳文対）」のモデル、（ii）複あり）” モデルの訓練用対訳文対から｛英、中｝-to- 日

1-to-1 翻訳モデルでは、英 -to- 日翻訳において No.1

翻訳訓練用対訳文対を除外したもの（図１参照）であり、〜 No.600,000 の 文 を 用 い て 訓 練 し た「 欠 落 な し

また、Johnson ら［1］のモデルと比べて原言語を識別す（60 万対訳文対）」モデル、および、中 -to- 日翻訳におるタグを付与している点が異なる

い て No.1 〜 No.200,000 の 文 と No.600,001 〜2

No.1,000,000 の文を用いて訓練した「欠落なし（605評価万対訳文対）」モデル、をそれぞれ評価した。2-to-1 翻訳においては、本論文で提案した文連結型 2-to-1 翻訳

評価結果を表２に示す 3。

モデルは、Nishimura らの手法［2, 3］に対しても適用可

欠落なしの訓練文規模 100 万文対において、2-to-1能であることが示された。さらに、本論文の提案手法である “Multi-Source Many-to-One 翻訳（言語タグ付23

図 1 中の赤色の 1-to-1 翻訳用の英 -to- 日翻訳訓練用対訳
文対 20 万文対と中 -to- 日翻訳訓練用対訳文対 20 万文対における日本語文が重複している点に注意する。

き）” の「重複あり・なし」両モデルとも、ベースライ

本論文では、fairseq ツールキット［4］を用いて実装された訳においては、“Many-to-One 翻訳（言語タグ付き・Transformer モデル［6］を用いた。Head の数を 4、エンコー
ダとデコーダを各 6 層、単語分散表現を 512 次元、隠れ層を 1,024 次元、学習率を 0.0003 とし、Adam optimizerを使用した。ドロップアウトを 0.3 として、50 エポックの訓練を行う。ハードウェアとして、NVIDIA Tesla P100
16GB GPU １枚を使用した。評価時、モデルの日本語出力
文は MeCab の IPADic 辞書の形態素単位に分割して評価を行った。BLEU スコアの評価においては、
Moses デコーダー（https://github.com/moses-smt/mosesdecoder） のスクリプト（multi-bleu.perl）を使用した。BLEU スコアの有意差検定においては、mteval Toolkit（https://github.
com/odashi/mteval）を使用した。

ンモデルの BLEU を有意に改善した 4。一方、1-to-1 翻重複あり）” モデル、および、提案手法の “Multi-Source
Many-to-One 翻訳（言語タグ付き・重複あり）” モデルは、ベースラインの BLEU を有意に改善した。“2to14 「重複あり・なし」両モデル間の BLEU の差においても有 意 差 が あ る（p<0.01）。“Multi-Source Many-toOne 翻訳（言語タグ付き・重複あり）” モデルにおいては、擬似対訳を用いなくても、疑似対訳を用いる “2to1Nishimura（疑似対訳）” モデルと同等の翻訳精度を達成できており、訓練効率の点からも優位性が大きいと言える。

YEAR BOOK 2O2O 269

4

機械翻訳技術の向上

デルを、“Multi-Source Many-to-One 翻訳（言語タグNishimura（NULL）” モ デ ル と の 比 較 に お い て は、“Multi-Source Many-to-One 翻訳（言語タグ付き・重6

実例分析複あり）” モデルによる 2-to-1 翻訳の BLEU 70.63 は｛英、中｝-to- 日翻訳モデルによる Multi-Source 翻訳“2to1 Nishimura（NULL）” モ デ ル の BLEU70.04の例を表 3 に示す。英単語“breaker”の日本語訳は「器」

を 有 意（p<0.01） に 改 善 し、1-to-1 翻 訳 の BLEUと「装置」の可能性があるが、中国語では日本語と同じ

66.29 および 66.71 は “2to1 Nishimura（NULL）”

漢字「装置」が使われているので、中日方向の翻訳におモデルの BLEU64.60 および 62.68 を有意（p<0.01）

いては訳語の曖昧性の問題がない。このため、“breaker”に改善した。一方、“Many-to-One 翻訳（言語タグ付き・は、中 -to- 日翻訳モデル、および、｛英、中｝-to- 日翻重複あり）” モデルの 1-to-1 翻訳との比較においては、訳モデルにおいては、正しく日本語訳された。

“Multi-Source Many-to-One 翻訳（言語タグ付き・重Multi-Source 翻訳過程における自己注意ヒートマッ複あり）” モデルにより同等の BLEU を達成しており、プを図３に示す。この図において、注意の値は４つのそれに加えて、単一のモデルにより 2-to-1 翻訳も行うHead の平均値となる。“Normally” -「通常」、および、ことができている。

“breaker” -「切断装置」等、英語と中国語の原言語文の間での注意の対応が適切にとれていることが分かっ

表３

特許データにおける翻訳例（｛英 , 中｝-to- 日翻訳）

原言語文・参照文・モデル

文

BLEU

原言語文（英）
原言語文（中）Normally , the IGBT 14 of the current breaker 10 is off .
在通常时、电流切断 装置 10 的 IGBT14 断开 。

N/A
N/A

参照文

通常時は、電流遮断 装置 10 の IGBT14 はオフしている。

N/A

英 -to- 日
中 -to- 日｛英、中｝-to- 日

通常、電流遮断 器 10 の IGBT14 はオフである。
通常時には、電流遮断 装置 10 の IGBT14 がオフする。
通常時には、電流遮断 装置 10 の IGBT14 はオフしている。

37.79
54.41
85.79

Normally,
theIGBT14ofthecurrentbreaker
10isoﬀ.
<CONCAT>10IGBT14<eos>
… …
図３270

エンコーダ６層目の自注意機構におけるヒートマップの例

1

た。提案手法である文連結型 2-to-1 翻訳手法において［4］M. Ott, S. Edunov, A. Baevski, A. Fan, S.

は、この例のように、連結された Multi-Source 文におGross, N. Ng, D. Grangier, and M. Auli.

いて、このように自己注意が適切に機能することによっFairseq: A fast, extensible toolkit forて、高い翻訳精度を達成できていると考えられる。

sequence modeling. In Proc. NAACL-HLT:Demonstrations, pp. 48–53, 2019.

7［5］M. Uchiyama and H. Isahara. Reliable

おわりにmeasures for aligning Japanese-English

本論文では、出力言語が同じである複数の言語対を一つのモデルにする Many-to-One 翻訳の考え方を拡張

news articles and sentences. In Proc. 41thACL, pp. 72–79, 2003.
［6］A. Vaswani, N. Shazeer, N. Parmar, J.のマルチエ

Uszkoreit, L. Jones, A. Gomez, L. Kaiser, andンコーダを用いた Multi-Source 翻訳モデルを文連結にI. Polosukhin. Attention is all you need. In

より実現したモデルと比較して、2-to-1 翻訳・1-to-1

Proc. 30th NIPS, pp. 5998–6008, 2017.

翻訳とも BLEU を有意に改善することを示した。この［7］B. Zoph and K. Knight. Multi-source neural

方法は見方を変えると、Many-to-One 翻訳において、

translation. In Proc. NAACL-HLT, pp. 30–34,

三言語以上の対訳が存在している場合には、三言語対訳

2016.

た。評価実験においては、Nishimura ら［3］データであることを活用する拡張となっている。さらに、評価実験においては、1-to-1 翻訳においては Googleの Many-to-One モ デ ル を 参 考 に し た ” Many-toOne 翻訳（言語タグ付き・重複あり）” モデルと同等のBLEU を達成し、かつ、単一のモデルにより 2-to-1 翻訳も行うことができることを示した。
謝辞：日英中特許データを提供して頂いた日本特許情報機構（Japio）の関係者各位に深謝の意を表する。

参考文献［1］M. Johnson, M. Schuster, Q. Le, M. Krikun,Y. Wu, Z. Chen, N. Thorat, F. Viegas, M.
Wattenberg, G. Corrado, M. Hughes, and J.
Dean. Google’s multilingual neural machinetranslation system: Enabling zero-shottranslation. Transactions of ACL, Vol. 5, pp.
339–351, 2017.
［2］Y. Nishimura, K. Sudoh, G. Neubig, and S.
Nakamura. Multi-source neural machinetranslation with data augmentation. In Proc.
15th IWSLT, pp. 48–53, 2018.
［3］Y. Nishimura, K. Sudoh, G. Neubig, and S.
Nakamura. Multi-source neural machinetranslation with missing data. In Proc. 2nd
WNGT, pp. 92–99, 2018.

YEAR BOOK 2O2O 271

4

機械翻訳技術の向上

した Multi-Source Many-to-One 翻訳モデルを提案し