第3世代ニューラル翻訳技術と翻訳バンクの展開報告

NICT
隅田 英一郎https://mt-auto-minhon-mlt.ucri.jgn-x.jp/

みんなの自動翻訳@TexTra

情報通信研究機構で公開している自動翻訳サイト※本サイトのご利用は非商用利用に限定されます。
2※メンテナンスのため定期的に止まります多くの方にご利用いただいています2021年11月9日
3

みんなの自動翻訳＠TexTraの歴史
ニュース＠ https://mt-auto-minhon-mlt.ucri.jgn-x.jp/

2014年 一般公開開始(日英・日中・日韓)2015年 科学技術文献データベースの作成に「高精度自動翻訳システム」を導入
2016年 NICTと特許庁の特許文献の機械翻訳に関する協力の継続について
2017年 ニューラル機械翻訳で音声翻訳アプリVoiceTraが更なる高精度化を実現
2018年 業界初、人工知能を活用した医薬業界向け自動翻訳システム、
アストラゼネカと情報通信研究機構（NICT）で共同開発を実施
2019年 自動車法規文の自動翻訳をニューラル技術で高精度化
2020年 第2回日本オープンイノベーション大賞総務大臣賞受賞
2020年 オープンソースのコミュニティにNICT「みんなの自動翻訳」を提供
4

自動翻訳の歴史• 計算機が発明されてその応用として自動翻訳の研究が開始• 第2次大戦後すぐにWarren Weaverが提案• 3/4世紀の研究開発を経て、自動翻訳が一般に普及• ポケトーク等の音声翻訳専用機• VoiceTra等のスマフォアプリ• GOOGLE翻訳• DeepL翻訳• みんなの自動翻訳@TexTra5自動翻訳技術のタイプ• ルールベース自動翻訳
文法規則や辞書を人間が記述
上記に基づき自動翻訳を実施• コーパスベース自動翻訳（ＭＴ）
対訳コーパスから自動翻訳エンジンを自動学習
任意言語対に対して適用可能
ニューラル機械翻訳（ＮＭＴ）もその一つ

6

対訳コーパスの一例• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris, France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc des Princes, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプールCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតតលៅបាសលេសប្ប៊ីន ប្ក្ងុ បារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes, Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒက်ှ ် ရြ်ဘီ က ္ဘါ့ ဖလဘား တွင် အီတလီ သည် ပြေါ်တဂူ ီ ကို ၃၁-၅ ဂိုား ပဖင်ါ့ါ့ စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစပရကူားကန် စီ တွင် ရံားန ်သါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc des Princes, Pari, Pháp.
้ ลด ์คัพปี 2007 ทีสนามปาร่่ งปารีส ประเทศ• อิตาลีได ้เอาชนะโปรตุเกสด ้วยคะแนน31ต่อ5 ในกลุ่มc ของการแข่งขันร ักบีเวิ์กเดแพร็งส ์ ทีกรุ่ั
ฝรงเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng Ragbi sa Parc desPrinces, Paris, France.
Asian Language Treebank http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html

7コーパスベースＭＴアルゴリズムの進展
2020年＠みんなの自動翻訳
EBMTがNMTで実装される

第３世代NMT

翻訳精度
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)“Attention Is All You Need”. https://arxiv.org/abs/1706.03762 第２世代NMT
Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014).
"Sequence to sequence learning with neural networks". NIPS.

SMTEBMT

第１世代NMT

P. Brown; John Cocke, S. Della Pietra, V. Della Pietra, Frederick
Jelinek, Robert L. Mercer, P. Roossin (1988). "A statistical
approach to language translation". COLING'88.

Makoto Nagao (1984). "A framework of a mechanical translation between
Japanese and English by analogy principle". In A. Elithorn and R. Banerji.
Artificial and Human Intelligence. Elsevier Science Publishers

年代
8第1世代と第2世代の自動評価尺度BLEUの比較
汎用日英 汎用英日 特許日英 特許英日
2017
22.1
24.2
40.7
41.7第1世代
2018
21.2
24.5
40.0
41.6第1世代
2019
20.8
23.2
37.7
40.1第1世代
2020
27.6
31.5
45.6
46.8第2世代
2021
28.1
31.0
47.3
46.5第2世代
汎用・特許ともに、第1世代から第2世代にかけて、大きくBLEU値が向上（BLEUは性能の目安で３０程度以上なら一般的に使える翻訳）9訓練・アダプテーション・EBMT【訓練】１文ずつＮＭＴモデルのパラメタを調整する• 大雑把には：• 入力文を翻訳• 参照訳文と比較• 翻訳文と参照訳文の違いに応じてＮＭＴのパラメタを更新• 以上を大規模に繰り返す（数億回になることもある）【アダプテーション】（fine tuning とも言います）• 訓練済みＮＭＴモデルに、上記訓練を特定分野データで追加• 訓練済みモデルをベースにするので、比較的少量データで高精度【EBMT】（NICT開発・詳細未発表）• 入力文と類似した対訳文をデータベースから検索• 十分に類似した文があるときには、それを参考に自動翻訳• 類似文がない場合には、ベースのNMTで自動翻訳

10金融分野でのアダプテーション・EBMT
汎用訓練と重複あり1000
訓練と重複無し514
訓練と重複のみ416文

ADAPT
31.0
29.3
34.4

ADAPT+EBMT
38.1
55.2
35.2
49.1
44.1
67.5

適時開示文書は、異なる文書であっても重複する文が多いので、EBMTの効果が著しく高い
11

オープンソースのコミュニティにNICT「みんなの自動翻訳」を提供

https://www.nict.go.jp/press/2020/12/02-1.html

12翻訳エディタの修正からエンジンを学習

https://hyperledger-fabric.readthedocs.io/en/release-2.2/whatis.html

https://hyperledger-fabric.readthedocs.io/ja/release-2.2/whatis.html

13

汎用NT＋エンジンに日次で学習を反映

下記ページの冒頭を自動翻訳（2021年11月9日）
https://hyperledger-fabric.readthedocs.io/en/release-2.2/whatis.html
14

OSS翻訳に適した利用規約

https://mt-auto-minhon-mlt.ucri.jgn-x.jp/content/policy/
15

OSS翻訳でのみんなの自動翻訳の利用例

https://event.ospn.jp/osc2021-online-spring/session/289579

16

文化への展開
https://sites.google.com/view/vjca2023/

日越茶道・文化交流協会（所在地：東京都千代田区、会長：千玄室）が発足し翻訳バンク活動の文化面への支援を開始した。

17