自動翻訳技術の概要と情報通信研究機構の取組
情報通信研究機構（ＮＩＣＴ）
内山将夫
日経エレクトロニクスセミナー
五感 × 脳（AI、xR、BMI）＝人間拡張が拓く新世界
2019年12月3日（火） 15:10～16:05
1

本講演の目的• 自動翻訳技術の概要をお伝えする• 自動翻訳技術の普及に関しての情報通信研究機構の取り組みの一部をご紹介する• 自動翻訳技術の適切な使い方をお伝えする。

2

自動翻訳の歴史• 計算機が発明されてすぐに自動翻訳の研究が開始(1950年代)• 自動翻訳の考え自体は 1949 年にWarren Weaverが提案（cf.
Wikipedia)• 半世紀以上の研究開発を経て、自動翻訳が一般に普及• みんなの自動翻訳@TexTra等のＷｅｂ翻訳サービス• VoiceTra等のスマフォアプリ• ポケトーク等の音声翻訳専用機

3自動翻訳技術のタイプ• 規則ベース自動翻訳
文法規則や辞書を人間が記述
上記に基づき自動翻訳を実施• コーパスベース自動翻訳（ＭＴ）
対訳コーパスから自動翻訳エンジンを自動学習
任意言語対に対して適用可能ニューラル機械翻訳（ＮＭＴ）はこちら

4コーパスベースＭＴの構成要素
コーパス• 自動翻訳アリゴリズム
評価
１９８０年代からの発展⇒ＮＭＴ• 学習データとしての対訳コーパス
異なる言語で同一意味の文章の組からなるデータベース• ＭＴの評価手法
人間がどのように感じるかの観点からのＭＴの良さ• ＭＴの使い方
ＭＴの普及により、ＭＴの適切な使い方の周知が必要

アルゴリズム使い方

5

対訳コーパスの一例• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプールCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒက်ှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစ
ပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng
Ragbi sa Parc des Princes, Paris, France.
Asian Language Treebank http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html

6コーパスベースＭＴアルゴリズムの進展
第２世代NMT

翻訳精度

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)“Attention Is All You Need”. https://arxiv.org/abs/1706.03762
Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). "Sequenceto sequence learning with neural networks". NIPS.

第１世代NMTSMTEBMTP. Brown; John Cocke, S. Della Pietra, V. Della Pietra, Frederick
Jelinek, Robert L. Mercer, P. Roossin (1988). "A statisticalapproach to language translation". COLING'88.

Makoto Nagao (1984). "A framework of a mechanical translation between
Japanese and English by analogy principle". In A. Elithorn and R. Banerji.
Artificial and Human Intelligence. Elsevier Science Publishers

年代
7第２世代NMT（汎用ＮＴ）
＠みんなの自動翻訳

8汎用NT @みんなの自動翻訳
原文英語

汎用ＮＴ（第２世代）

The dominant sequence transduction models are
based on complex recurrent or convolutional
neural networks in an encoder-decoder
configuration.
The best performing models also connect theencoder and decoder through an attention
mechanism.
We propose a new simple network architecture,
the Transformer, based solely on attention
mechanisms, dispensing with recurrence andconvolutions entirely.
Experiments on two machine translation tasks
show these models to be superior in quality while
being more parallelizable and requiring
significantly less time to train.

支配的なシーケンス変換モデルは、エンコーダ/デコーダ構成における複雑なリカレントまたは畳み込みニューラルネットワークに基づいている。
また、最適なモデルは、アテンション機構を介してエンコーダとデコーダを接続する。
本稿では,注意機構のみに基づき,リカレントと畳み込みを完全に省く,新しい簡単なネットワークアーキテクチャTransformerを提案する。
2つの機械翻訳タスクに関する実験では、これらのモデルは、より並列化可能であり、トレーニングに要する時間が大幅に短縮される一方で、品質が優れていることが示されている。

English sentences are part of Abstract from Ashish Vaswani, et al. (2017) “Attention Is All You Need”.
https://arxiv.org/abs/1706.03762

9

汎用NT @みんなの自動翻訳
原文日本語

汎用ＮＴ（第２世代）

2016年のニューラル機械翻訳（NMT）の実用化は、翻訳業界に衝撃を与え、ポケトークのような自動翻訳端末の市場拡大につながるなど、社会に大きなインパクトを与えた。

The practical application of Neural MachineTranslation (NMT) in 2016 gave a shock to thetranslation industry and had a large impact
on society, such as the expansion of themarket for automatic translation terminals
such as PokeTalk.
ただし、翻訳技術や自然言語処理技術
However, breakthroughs in translation and（NLP）分野では、その後も革命級のブ natural language processing (NLP) have
レークスルーが相次いでいる。
continued.
翻訳を含む言語系の人工知能（AI）が従 Artificial intelligence (AI), a linguistic system
来の常識を次々と塗り替え、ありえない that includes translation, is evolving at an
ペースで発展している。
incredible pace, breaking conventional
wisdom.
原文は次の一部：野澤 哲生「AI翻訳が人間超え、言葉の壁崩壊へ」日経エレクトロニクス、2019/08/20
https://tech.nikkeibp.co.jp/atcl/nxt/mag/ne/18/00046/00002/10

NMTにより新しくなった点
ニューラルネットワークによる高精度アルゴリズム
コーパス

アルゴリズム評価

使い方

高精度自動翻訳の社会的普及
11

NMTでも以前と同じ点
大規模対訳
コーパスが必要

人間による評価が必要

コーパス

アルゴリズム

評価

使い方

12

ＮＭＴアルゴリズムの概要• 基本訓練• アダプテーション

コーパス

アルゴリズム評価

使い方

ニューラルネット
ワークによる高精度アルゴリズム

13

ＮＭＴの訓練とアダプテーション概要【訓練】１文ずつＮＭＴモデルのパラメタを調整する• 大雑把には：• 入力文を翻訳• 参照訳文と比較• 翻訳文と参照訳文の違いに応じてＮＭＴのパラメタを更新• 以上を大規模に繰り返す（数億回になることもある）【アダプテーション】• 訓練済みＮＭＴモデルに、上記訓練を特定分野データで追加• 訓練済みモデルをベースにするので、比較的少量データで高精度

14

NMTの基本構造（第１・２世代ほぼ共通）
エンコーダー

デコーダー

••
•
•

系列を入力して、系列を出力
エンコーダー：入力文の受付
デコーダー：１単語ずつ出力
構造は世代間・モデル間で異なる• 第１世代 RNN• 第２世代 Transformer

Thang Luong; Hieu Pham; Christopher D. Manning. (2015)
Effective Approaches to Attention-based Neural Machine
15Translation. EMNLP

第１世代ＮＭＴ：注意機構が重要

Thang Luong; Hieu Pham; Christopher D. Manning. (2015)
Effective Approaches to Attention-based Neural Machine
16Translation. EMNLP

第２世代ＮＭＴ：Transformer
X Y Z ...
• デコーダーからエンコーダーへのアテンション
ＲＮＮと似ている• エンコーダーでセルフアテンション
各層で一つ下の階層にアテンション• デコーダーでセルフアテンション
各層で一つ下の階層にアテンション（未来除く）• 訓練が高速

A B C D ...

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)<EOS> X Y ...
“Attention Is All You Need”. https://arxiv.org/abs/1706.03762
17第１世代と第２世代の比較

翻訳の比較的難しい英独でＢＬＥＵ４ポイント程度の大きな改善

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)18“Attention Is All You Need”. https://arxiv.org/abs/1706.03762

アダプテーションの有効性の事例
自動車法規文の自動翻訳をニューラル技術で高精度化～トヨタとの共同研究を通じ、英日・中日翻訳の実用度が向上～• 自動車業界からトヨタが翻訳バンクに協力、翻訳データを提供• 自動車法規を対象とした翻訳をニューラル英日翻訳システムで24％実用度向上
法規原文

人による翻訳

ニューラル翻訳This Australian Design Rule prescribes
requirements for the number andmode of installation of lighting andlight signalling devices on motor
vehicle other than L-group vehicles.

本オーストラリア設計規則
はLグループ車両以外の自動車への灯火および灯火信号装置の数と取り付け方法に関する要件を規定する。

本オーストラリア設計規則は、
Lグループ車両以外の自動車への灯火および灯火信号装置の数および取り付け方法に関する要件を規定する。

２０１９年４月２３日

https://www.nict.go.jp/press/2019/04/23-1.html

19

アダプテーションで専門用語に適応
原文

第１世代汎用ＮＭＴ

第２世代汎用ＮＭＴ

第１世代金融ＮＭＴ

第２世代金融ＮＭＴ

本取引は、相互売買による取引実績が豊富な本投資法人ならではの取引であると考えており、本投資法人は今後も戦略的かつ継続的に資産入替を実施していく方針です。

This transaction isconsidered to be atransaction unique tothis investment
corporation, which
has a rich record oftransactions throughmutual trade. This
investment
corporation willcontinue to change
assets in a strategicand ongoing manner.

We believe that thistransaction is uniqueto the Investment
Corporation, which
has a rich track recordof transactions
through mutualtransactions. The
Investment
Corporation willcontinue toimplement thistransaction
strategically andcontinuously.

The Transaction isconsidered as atransaction that isunique to theInvestment
Corporation, which
has a wealth oftransaction
experience throughmutual transaction.
The Investment
Corporation willcontinue to
implement strategic
and continuous asset
replacement in thefuture.

The Investment
Corporation believes
that the Transaction isunique to theInvestment
Corporation, which
has a wealth oftransaction records
through mutualtransactions.
Therefore, theInvestment
Corporation willcontinue to
implement strategic
and continuous asset
replacement.

AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚

ＭＴの評価の概要• ＭＴの評価はＭＴを改善する原動力• 誤訳報告⇒誤訳の改善• 適切な評価⇒適切なＭＴ

人間による評価が必要

コーパス

アルゴリズム評価

使い方21

２タイプの評価• 内的基準による評価
アプリケーションと関係ないＭＴの評価• 自動評価• 人間評価• 外的基準による評価
アプリケーションの達成度によるＭＴの評価

22

自動評価
• 簡便
• ＭＴ訳と参照訳を比較• 評価値を自動計算• 開発にはとても役に立つ！
• システム改修後、自動評価値に大きな変化がないことを確認• 大きな数値差（ＢＬＥＵなら５程度）があれば品質差もほぼある

23

自動評価尺度ＢＬＥＵ• ＭＴ訳と参照訳の類似度の尺度• １０００文～５０００文程度の文章で計算• 一般的にＢＬＥＵ３０～４０以上であれば高精度
Papineni, Kishore and Roukos, Salim and Ward, Todd and Zhu, Wei-Jing. (2002)
BLEU: a Method for Automatic Evaluation of Machine Translation. ACL

24

みんなの自動翻訳でのＢＬＥＵ計算法• 自動翻訳＞自動翻訳評価＞「＋新規登録」

25

自動評価尺度BLEUでの比較
第１世代
汎用 ２５．１
金融 ３４．６

第２世代
２９．０
３８．４

第１世代＜＜第２世代
汎用 ＜＜ 金融
AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚より引用
日英翻訳の例について、みんなの自動翻訳でＢＬＥＵを計算
26

人間評価
• 原文とＭＴ訳を人間が比較• 人間が誤訳かを分析• ＭＴの研究開発に必須• 第２世代ＮＭＴでは、おおむね正しい翻訳ができるようになり、以前は見逃されていた誤訳が目立ち始めた• 「ＮＩＣＴ」⇒「ＮＩ ＣＴ」（なぜか空白が挿入）• ピンポイントな誤訳を検出する自動評価方法は知られていない• ピンポイントな誤訳は、ピンポイントなルールなどで改善

27

アプリケーションに基づく評価
A/B テスト

原文

ＭＴ訳

ポスト
エディット

全部
人間訳

どの文章が一番利益になるか？
(訳質は第１の目標ではない)
28

NMTでの対訳コーパスの重要性
大規模対訳コーパスが必要
コーパス

アルゴリズム

評価使い方

29

対訳コーパスの一例（再掲）• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.

• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプールCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒက်ှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng
30Ragbi sa Parc des Princes, Paris, France.

大規模対訳コーパスでＮＭＴの性能向上
NMT

翻訳精度

使える
１００万文

コーパスサイズ31

高精度ＮＭＴには対訳データが重要

デ｜タ量分野最高精度化に必要量
金融や法規はデータの拡充が必要
特許

金融製薬

法規他
32

分野にマッチした対訳が重要
特許対訳は普通の文には不向き
This is the desk.

特許対訳

特許NMT

これは前記机である。

???
33

汎用対訳コーパスが汎用ＮＭＴには必要
N府
M都

L県

Y社
X社

Z社

B社

対訳コーパスは散らばっている

A社

金融

自動車

観光

汎用 NMT

それを集めるのがチャレンジ34

翻訳バンクで高品質対訳データ
NICTの自動翻訳技術の使用ライセンス料の算定の際に、提供が見込まれる翻訳データを勘案して負担を軽減する仕組みを導入
L県

メリット➀
質の向上
自動翻訳の多分野対応化
高精度化

M都

Q社
R社

B社
A社

N府

翻訳データ

翻訳データ

翻訳データ

翻訳データ

通信

交通

Z社

観光

行政
様々な分野の翻訳データを集積

メリット➁
低コスト化
自動翻訳技術の使用料負担の軽減
使用ライセンス料算定時に提供翻訳データを考慮

翻訳バンク
35

高精度MT = 汎用NMT+ アダプテーション +カスタマイズ
個別サービス

高精度 MT
カスタマイズ= 辞書登録＋前処理・後処理

アダプテーション

共通基盤
ＮＭＴ

汎用対訳コーパス

分野特化ＮＭＴ
大規模汎用コーパスによりベースの精度を確保することが重要
36

40

45.75

42.25

37.86

48.96

50

44.79

60

54.12

翻訳精度BLEUの2段階向上

30

20
100
EJ

JE
BASE

ADD

ADAPT

37対訳は２度使う
翻訳精度
各社・業界
アダプテーションＮＭＴ→ご提供者のみ

ＮＭＴ
精度向上

ビジネスチャンス
拡大

ＮＩＣＴ汎用・特許ＮＭＴ→一般に商用リリース

時間軸38翻訳バンクへのご協力方法

39

NMTの社会的な普及と安全な使い方

コーパス

アルゴリズム評価

使い方

高精度自動翻訳の社会的普及

40２０１９年はＮＭＴがビジネスで普及
トピック

リリース主体

３月

オール・ジャパンの枠組みを活用「みんなの自動翻訳＠ＫＩ（カスタム版）」の提供を開始

川村インターナショナ
ル

４月

機械翻訳サービスの和文英訳がプロ翻訳者レベルに、 英文和訳はTOEIC960点レベルを達成

みらい翻訳

４月自動車法規文の自動翻訳をニューラル技術で高精度化～トヨタとの共同研究を通じ、英日・中日翻訳の実用度が向上～

NICT

５月

東芝デジタルソリュー
特許庁から受注した機械翻訳システムの稼動開始について～NICTが開発した最新のニューラル機械翻訳エンジンの採用により、 ションズ
正確で自然な翻訳を実現 ～７月

AI翻訳サービス「T-tact AN-ZIN」を発表「みんなの自動翻訳@TexTra®」が商用利用可

十印

９月

IR・金融分野向け自動翻訳エンジンの性能向上を確認～日本財務翻訳との共同研究により実用化へ～

NICT

１０
月

大規模翻訳データによる製薬業界向けAI自動翻訳システムの最適化～情報通信研究機構（NICT）とR&D Head Clubの共同開発～

NICT
41

ＮＩＣＴの自動翻訳技術のご紹介• VoiceTra• みんなの自動翻訳@TexTra• NICTの自動翻訳アプリは非商用利用にご利用いただけます• 商用利用には技術移転先のサービスをご利用いただけます

42

43

累計４００万ＤＬ，２億発話

２０１９年９月３０日現在
44

ＮＭＴの使い方＠みんなの自動翻訳
https://mt-auto-minhon-mlt.ucri.jgn-x.jp/
まずは無料で新規登録

テキストを貼り付けて翻訳

46自動翻訳結果を逆翻訳で確認

47

利用可能な翻訳モデル
VoiceTra翻訳モ 第１世代ＮＭＴ
デル
対話ＮＭＴ
汎用ＮＭＴ
ミニ対話ＮＭＴ 特許ＮＭＴ
特許請求項ＮＭＴ
サイエンスＮＭＴ
金融ＮＭＴ
汎用ＮＭＴ＋

第２世代ＮＭＴ
汎用ＮＴ
特許ＮＴ
金融ＮＴ

第２世代ＮＭＴ導入中48

翻訳エディタで翻訳（インストール不要）
Step.1 翻訳したいサイトを決めます。

Step.2 翻訳エディタでサイトを読み込むと自動で日本語に翻訳。英語のサイトが見た目はそのままで日本語に。

Step.3 自動翻訳結果を修正していきます。
まずはタイトルから…

ワンクリックで切り替えて、対訳形式で翻訳を進めることも可能です便利アプリで翻訳
マイクロソフトオフィス
・ワード・エクセル・アウトルック・パワーポイント

50

ＷｅｂＡＰＩで翻訳
スマフォアプリ等と連携可能

51実用化の一方、誤訳の影響の拡大可能性自動翻訳の特性を理解した適切な使い方が必要

52

ＭＴの安全な使い方
前提：自動翻訳においては、自動翻訳結果の訳文の正確性は保証されません。

どのようにＭＴを使うかが重要＊ＭＴサービスを利用するときには、その利用規約を参照してください。
53

自分がＭＴを使う場合• 自動翻訳結果に間違いが含まれる可能性を理解する• 理解したうえで、利用する• 英語の特許等を日本語で読む• 日本語のメールを英語に自動翻訳して編集する• 両言語がわかる人がＭＴを使えば、非常に便利で安全な道具

54

ＭＴの出力を他人が使う場合• ＭＴの出力を誰か（企業・ボランティア等）が修正する場合• 修正する企業等を信頼して利用する• ＭＴの出力をそのまま利用する場合• 何とかして翻訳を正確にしたい• 短い文章を入力する。
• 主語・述語が明瞭な文章を入力する。
• 翻訳結果を再度日本語に翻訳して、意味が一致するかを確かめる• 複数の自動翻訳エンジンの翻訳結果が一致するかを確かめる• 日本語入力を言い換えた日本語入力について上記を実施する• 入力文とＭＴ訳文の双方を利用者に提示する。
• ＭＴの出力のため、間違いが含まれる可能性があることを知らせる。
55

まとめ
翻訳バンクにご協力をお願いします！

適切な評価⇒適切なＭＴ

第２世代ＮＭＴ＋アダプテーション
コーパス

アルゴ
リズム

評価

使い方便利だが使い方に注意が必要
56