英語を中間言語とする露日NMTの構築
Russian to Japanese NMT system using English as a pivot language

元山梨英和大学教授

江原暉将1967 年早稲田大学理工学部卒。同年 NHK 入局。2003 年諏訪東京理科大学教授。2009 年山梨英和大学教授。
2015 年退職。アジア太平洋機械翻訳協会（AAMT）／ Japio 特許翻訳研究会委員。

有限会社アジア産業研究開発部部長

岡俊行

1983 年東京工業大学数学科卒。株式会社クロスランゲージなどを経て、現在アジア産業に拠点を置きつつ、主にプログラマとして活動中。

1 はじめに2 カスケード方式

ニューラル方式機械翻訳（NMT : Neural Machine

中間言語方式の中で最も単純な方式はカスケード方式

Translation）によって機械翻訳の性能が格段に向上し、である。中間言語として英語を採用した露日翻訳システ

特許翻訳においても実用が進んでいる。しかし、このよムの場合、カスケード方式は【図 1】のようになる。

うな機械学習による翻訳システムの場合、大量の訓練訓練時には、露英対訳データから露英翻訳システムがデータを必要とし、言語対によっては訓練データが不足構築され、英日対訳データから英日翻訳システムが構築する場合がある。このような場合は、低リソース言語対される。露英対訳データの英語部分と英日対訳データのとよばれ、克服する方法がいくつか提案されている（例英語部分は独立であり関係がなくても良い。

えば文献［1］参照）。

翻訳時には露語原文を露英システムで英語に翻訳し、その一つとして中間言語を用いる方式がある。例えば

翻訳結果の英語訳文を英日システムに入力して日本語訳

言語 A と言語 B の間の対訳データが少ない場合でも、文を得る。このように英語を中間言語として挟み、露英間に言語 C を挟むことで A と C の対訳データおよび Cシステムと英日システムを直列（カスケード）に接続しと B の対訳データは共に大量に存在する場合がある。て露日翻訳システムとするのがカスケード方式である。

例えば言語 C として英語を挟むことが考えられる。このような方式は中間言語方式と呼ばれ言語 C は中間言語あるいはピボット言語と呼ばれる。

298

3 順方向翻訳方式特許文献の場合、低リソース言語対の例としてロシアカスケード方式の露英対訳データの英語部分を何らか語から日本語への翻訳がある。露日の対訳データは少量の翻訳システムで日本語に翻訳する。この英語部分と日でも、露英および英日の対訳データは大量にある。そこ本語への翻訳結果（疑似日本語と呼ぶ）とを元々の英日で中間言語方式で翻訳システムを構築することが考えら対訳データに加えることで英日の対訳データ量を増加でれる。

きる。この拡張した英日対訳データから英日システムを訓練することで英日システムの精度が向上できる可能性

露語
露英対訳データがある。このような方式を順方向翻訳方式（forward

露英システムtranslation method）と呼ぶ。訓練時の処理手順を【図2】に示す。翻訳時の処理手順は【図 1】の（b）と同英語じである。

英語

4 逆方向翻訳方式

英日対訳データ

英日システム

順方向翻訳方式とは逆にカスケード方式の英日対訳データの英語部分を何らかの翻訳システムで露語に翻訳日本語する。この英語部分と露語への翻訳結果（疑似露語と呼ぶ）とを元々の露英対訳データに加えることで露英の対(a) 訓練時訳データ量を増加できる。この拡張した露英対訳データ

露語原文から露英システムを訓練することで露英システムの精度訳方式（back translation method）と呼ぶ。訓練時

露英システムの処理手順を【図 3】に示す。翻訳時の処理手順は【図1】の（b）と同じである。

英語訳文

5 順および逆方向翻訳方式

英日システム

順方向翻訳方式と逆方向翻訳方式を組み合わせるのが順 お よ び 逆 方 向 翻 訳 方 式（forward and back

日本語訳文

translation method）である。本方式には、2 種類が考えられる。

(b) 翻訳時
図1

第一の方式は、順方向翻訳方式と逆方向翻訳方式を単カスケード方式純に組み合わせる方式であり、逆方向翻訳方式で得られ

疑似露語

露語

露語

露英システム露英システム

英露翻訳

英語

英語

英日翻訳

英語

英語

英日システム英日システム
疑似日本語

日本語

日本語
図2

順方向翻訳方式

図3

逆方向翻訳方式

YEAR BOOK 2O21 299

4

機械翻訳技術の向上が向上できる可能性がある。このような方式を逆方向翻た露英システムと順方向翻訳方式で得られた英日システ
ムとを直列（カスケード）に接続する方式である。本方

6 実験設定および結果式を順および逆方向翻訳方式（その 1）と呼ぶ。本方式

実験に用いたデータは、パテントファミリーから得らの訓練時の処理手順を【図 4】に示す。翻訳時の処理手

れ た 公 開 特 許 公 報（publication of unexamined

順は【図 1】の（b）と同じである。

patent applications）の詳細説明（description）部分を用いた。露英、英日、露日の各対訳データに対する訓練、開発、試験データの規模（文対数）を【表 1】に露語

疑似露語示す。

露英システム

表1

英露翻訳

英語英語

英日翻訳
英日システム
疑似日本語
図4

実験に用いた対訳データの規模

対訳データ

訓練開発

試験

露英161 万1,616

英日

800 万2,928---

露日------

17,874---

表 1 に示した訓練データを元に、順方向翻訳（英日日本語順および逆方向翻訳方式（その 1）翻訳）や逆方向翻訳（英露翻訳）を用いてデータ規模を拡張する。その際、翻訳ツールとして何を用いるかが問題となる。今回の実験では以下のようなツールを用いた。

第二の方式は、順方向翻訳方式で得られた英日対訳

順方向翻訳（英日翻訳）ツールは英日の訓練データ（800データの日本語部分と、逆方向翻訳方式で得られた露英万文対）で訓練された NMT システムを用いた。一方、対訳データの露語部分を直接結び付けて露日システムと逆方向翻訳（英露翻訳）ツールは市販の NMT ツールする方式であり、中間言語の英語は陽には現れない。本（Promt NMT 21［2］）を用いた。英露の訓練データの方式を順および逆方向翻訳方式（その 2）と呼ぶ。本方規模（161 万文対）が比較的少量であるためである。

式の訓練時の処理手順を【図 5】に示す。翻訳時の処理

ま た、 単 語 分 割 に は、 露 語 と 英 語 は Moses の手順は【図 1】の（b）とは異なり、露語を直接日本語tokenizer.perl［3］ を用いた。日本語は unidic［4］ ベーに翻訳するものとなる。

スの Mecab［5］ を用いた。露語と英語は独自ツールによって小文字化処理を行った。このようにして訓練データを拡張した結果、各種方式の訓練データの規模（文対露語疑似露語数）は【表 2】のようになった。
表2

英露翻訳

英語方式
カスケード方式

露日システム
英日翻訳

英語

疑似日本語

日本語

図5

各方式の訓練データの規模

順および逆方向翻訳方式（その 2）

露英

英日

161 万

800 万

露日
---

順方向翻訳方式

161 万

961 万---

逆方向翻訳方式

961 万

800 万---

順および逆方向翻訳方式（その 1）

961 万

961 万---

順および逆方向翻訳方式（その 2）------

961 万実験に用いた翻訳処理系は Marian Transformer［6］である。Marian での処理の前に独自ツールによるサブワード化および SentencePiece［7］による分割を行っ300た。SentencePiece のモデルは露語・英語・日本語［2］PROMT Company : PROMT Master NMT 21

あわせて 3 万ピースを用い、訓練データから訓練した。

English ⇔ Russian,  https://www.promt.com/

モデルタイプは unigram である。

translation_software/home/forwindows/

各種方式に対して露日翻訳結果の BLEU 値［8］を測定した。結果を【表 3】に示す。
表3

promt-master-neural-ere/, 2021 年 8 月アクセス。

各種方式の露日翻訳結果の BLEU 値［3］Philipp Koehn : Moses, Statistical Machine

BLEU

Translation System, User Manual and Code

カスケード方式

32.57

Guide,

順方向翻訳方式

33.08

逆方向翻訳方式

32.86

http://www.statmt.org/moses/manual/

順および逆方向翻訳方式（その 1）

33.41

順および逆方向翻訳方式（その 2）

33.63

方式

【表 3】から以下のことが言える。
・デ ータ拡張を行う方式はカスケード方式より BLEU

［4］国 立 国 語 研 究 所：Unidic, https://unidic.ninjal.
ac.jp/, 2021 年 8 月アクセス。
［5］工藤 拓：MeCab: Yet Another Part-of-Speechand Morphological Analyzer, https://taku910.
github.io/mecab/, 2021 年 8 月アクセス。

・順方向翻訳方式は逆方向翻訳方式よりBLEU 値が高い。

［6］M a r c i n J u n c z y s - D o w m u n t , R o m a n

・順および逆方向翻訳方式は順方向あるいは逆方向単独

Grundkiewicz, Tomasz Dwojak, Hieu Hoang,の方式より BLEU 値が高い。
・順および逆方向翻訳方式の中では、（その 2）の方が（そKenneth Heafield, Tom Neckermann, FrankSeide, Ulrich Germann, Alham Fikri Aji,の 1）より BLEU 値が高い。

Nikolay Bogoychev, Andre F.T. Martins, and最後の事項は、（その 2）の方法が中間言語である英Alexandra Birch : Marian: Fast Neural Machine

語を陽に用いていないことに起因するのではないかと思Translation in C＋＋, Proceedings of ACLう。

2018, System Demonstrations, pp.116–121,
2018.

7 まとめ
英語を中間言語とする露日 NMT について各種データ拡張方式を実験し評価した。その結果、順および逆方向翻訳方式（その 2）が最も BLEU 値が高かった。

［7］Google : SentencePiece, https://github.
com/google/sentencepiece, 2021 年 8 月 ア
クセス。
［8］Kishore Papineni, Salim Roukos, Todd
Ward, and Wei-Jing Zhu : BLEU: a Method

本文と類似の実験が文献［9］でも成されている。文

for Automatic Evaluation of Machine

献［9］での対象分野は報道分野であり、特許分野とはTranslation, Proceedings of the 40th

異なるものの結果は類似したものとなっている。

Annual Meeting of the Association for

本文で述べた方式は対訳コーパスだけでなく単言語コーパスを用いても実行できる。大規模な単言語コーパスを用いた実験は今後の課題である。

Computational Linguistics, pp. 311-318,
July 2002.
［9］美野 秀弥 , 衣川 和尭 , 伊藤 均 , 後藤 功雄 , 山田 一郎 , 田中 英輝 , 川上 貴之 , 大嶋 聖一 , 朝賀 英裕：

参考文献

単言語データを用いた逆翻訳と順翻訳によるデータ［1］Rui Wang , Xu Tan , Renqian Luo , Tao

拡張の効果の比較 , 言語処理学会 第 27 回年次大Qin, and Tie-Yan Liu：A Survey on Low-会 発表論文集 , pp.118-122, March 2021.

Resource Neural Machine Translation,
arXiv:2107.04239, 9 July 2021.

YEAR BOOK 2O21 301

4

機械翻訳技術の向上

値が高い。

manual.pdf, 2021 年 8 月アクセス。