自動翻訳技術の概要：
なにができるか／できるようになってきているか
情報通信研究機構（ＮＩＣＴ）
内山将夫
特許情報シンポジウム
2021年2月26日
1

本講演の目的• 自動翻訳技術の概要をお伝えする• 情報通信研究機構の取り組みの一部をご紹介する

2自動翻訳の歴史• 計算機が発明されてすぐに自動翻訳の研究が開始(1950年代)• 自動翻訳の考え自体は 1949 年にWarren Weaverが提案（cf.
Wikipedia)• 半世紀以上の研究開発を経て、自動翻訳が一般に普及• みんなの自動翻訳@TexTra等のＷｅｂ翻訳サービス• VoiceTra等のスマフォアプリ• ポケトーク等の音声翻訳専用機

3自動翻訳技術のタイプ• 規則ベース自動翻訳
文法規則や辞書を人間が記述
上記に基づき自動翻訳を実施• コーパスベース自動翻訳（ＭＴ）
対訳コーパスから自動翻訳エンジンを自動学習
任意言語対に対して適用可能
ニューラル機械翻訳（ＮＭＴ）はこちら

4コーパスベースＭＴの構成要素
コーパス• 自動翻訳アリゴリズム
評価
１９８０年代からの発展⇒ＮＭＴ• 学習データとしての対訳コーパス
異なる言語で同一意味の文章の組からなるデータベース• ＭＴの評価手法
人間がどのように感じるかの観点からのＭＴの良さ• ＭＴの使い方
ＭＴの普及により、ＭＴの適切な使い方の周知が必要

アルゴリズム使い方

5

対訳コーパスの一例• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプールCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒက်ှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ngRagbi sa Parc des Princes, Paris, France.
Asian Language Treebank http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html

6コーパスベースＭＴアルゴリズムの進展
2020年
EBMTがNMTで実装される
限定的な文脈利用がNMTで実用化

翻訳精度

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)“Attention Is All You Need”. https://arxiv.org/abs/1706.03762 第２世代NMT
Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014).
"Sequence to sequence learning with neural networks". NIPS.

SMT
EBMT

第１世代NMTP. Brown; John Cocke, S. Della Pietra, V. Della Pietra, FrederickJelinek, Robert L. Mercer, P. Roossin (1988). "A statistical
approach to language translation". COLING'88.

Makoto Nagao (1984). "A framework of a mechanical translation between
Japanese and English by analogy principle". In A. Elithorn and R. Banerji.
Artificial and Human Intelligence. Elsevier Science Publishers

年代7みんなの自動翻訳＠TexTra
https://mt-auto-minhon-mlt.ucri.jgn-x.jp/

文脈翻訳の事例

9専門的文章の翻訳例

10

汎用NT＋でEBMTをお試しください
汎用NT＋は実験用なので技術移転はいたしません。
言語方向

EBMTとして利用されている分野の例

英日

自動車法規、契約、OSS

日英

自動車法規、契約、天気予報、政府関係（外交・運輸安全）

中日

自動車法規

日中自動車法規

両政府は、前記の了解から又やそれに関連して生ずることがあるいかなる事項についても相互に協議する。
➡
The two Governments will consult witheach other in respect of any matter that
may arise from or in connection with theforegoing understanding.

对于汽车及其非完整车辆、摩托车和挂车
，如果按照 GB 16735 的规定，对已标示的车辆识别代号➡
自動車及びその不完全車両、オートバイ、トレーラーについて、GB16735の規定に従い、既に表示されている車両識別コードを新たに表示する又は変更する場合、「はい」と記入するものとする。

11

NMTにより新しくなった点
ニューラルネット
ワークによる高精度アルゴリズム
コーパス

アルゴリズム評価

使い方

高精度自動翻訳の社会的普及
12

NMTでも以前と同じ点
大規模対訳
コーパスが必要

人間による評価が必要

コーパス

アルゴリズム

評価

使い方

13

ＮＭＴアルゴリズムの概要• 基本訓練
• アダプテーション• EBMT
コーパス

アルゴリズム評価

使い方

ニューラルネット
ワークによる高精度アルゴリズム

14

NMTの基本構造（第１・２世代ほぼ共通）
エンコーダー

デコーダー

•••
•

系列を入力して、系列を出力
エンコーダー：入力文の受付
デコーダー：１単語ずつ出力
構造は世代間・モデル間で異なる• 第１世代 RNN• 第２世代 Transformer

Thang Luong; Hieu Pham; Christopher D. Manning. (2015)
Effective Approaches to Attention-based Neural Machine
15Translation. EMNLP

第1世代と第2世代の自動評価尺度BLEUの比較
汎用日英 汎用英日 特許日英 特許英日
2017
22.1
24.2
40.7
41.7第1世代
2018
21.2
24.5
40.0
41.6第1世代
2019
20.8
23.2
37.7
40.1第1世代
2020
27.6
31.5
45.6
46.8第2世代
202128.1
31.0
47.3
46.5第2世代
汎用・特許ともに、第1世代(RNN)から第2世代(Transformer)にかけて、大きくBLEU値が向上
16

訓練・アダプテーション・EBMT【訓練】１文ずつＮＭＴモデルのパラメタを調整する• 大雑把には：• 入力文を翻訳• 参照訳文と比較• 翻訳文と参照訳文の違いに応じてＮＭＴのパラメタを更新• 以上を大規模に繰り返す（数億回になることもある）【アダプテーション】（fine tuning とも言います）• 訓練済みＮＭＴモデルに、上記訓練を特定分野データで追加• 訓練済みモデルをベースにするので、比較的少量データで高精度【EBMT】（NICT開発・詳細未発表）• 入力文と類似した対訳文をデータベースから検索• 十分に類似した文があるときには、それを参考に自動翻訳• 類似文がない場合には、ベースのNMTで自動翻訳

17アダプテーションとEBMTの特徴

みんなの自動翻訳からお試しできます18

アダプテーションの有効性の事例
自動車法規文の自動翻訳をニューラル技術で高精度化～トヨタとの共同研究を通じ、英日・中日翻訳の実用度が向上～• 自動車業界からトヨタが翻訳バンクに協力、翻訳データを提供• 自動車法規を対象とした翻訳をニューラル英日翻訳システムで24％実用度向上
法規原文

人による翻訳

ニューラル翻訳This Australian Design Rule prescribes
requirements for the number andmode of installation of lighting andlight signalling devices on motor
vehicle other than L-group vehicles.

本オーストラリア設計規則
はLグループ車両以外の自動車への灯火および灯火信号装置の数と取り付け方法に関する要件を規定する。

本オーストラリア設計規則は、
Lグループ車両以外の自動車への灯火および灯火信号装置の数および取り付け方法に関する要件を規定する。

２０１９年４月２３日

https://www.nict.go.jp/press/2019/04/23-1.html

19

アダプテーションで専門用語に適応
原文

第１世代汎用ＮＭＴ

第２世代汎用ＮＭＴ

第１世代金融ＮＭＴ

第２世代金融ＮＭＴ

本取引は、相互売買による取引実績が豊富な本投資法人ならではの取引であると考えており、本投資法人は今後も戦略的かつ継続的に資産入替を実施していく方針です。

This transaction isconsidered to be atransaction unique tothis investment
corporation, which
has a rich record oftransactions throughmutual trade. This
investment
corporation willcontinue to change
assets in a strategicand ongoing manner.

We believe that thistransaction is uniqueto the Investment
Corporation, which
has a rich track recordof transactions
through mutualtransactions. The
Investment
Corporation willcontinue toimplement thistransaction
strategically andcontinuously.

The Transaction isconsidered as atransaction that is
unique to theInvestment
Corporation, which
has a wealth oftransaction
experience throughmutual transaction.
The Investment
Corporation willcontinue toimplement strategic
and continuous asset
replacement in thefuture.

The Investment
Corporation believes
that the Transaction is
unique to theInvestment
Corporation, which
has a wealth oftransaction records
through mutualtransactions.
Therefore, theInvestment
Corporation willcontinue toimplement strategic
and continuous asset
replacement.

AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚金融分野でのアダプテーション・EBMT
汎用訓練と重複あり1000
訓練と重複無し514
訓練と重複
のみ416文ADAPT

ADAPT+
EBMT

EBMT

31.0

38.1

54.5

55.2

29.3

35.2

47.7

49.1

34.4

44.1

68.3

67.5

適時開示文書は、異なる文書であっても重複する文が多いので、EBMTの効果が著しく高い
21

ＭＴの評価の概要• ＭＴの評価はＭＴを改善する原動力• 誤訳報告⇒誤訳の改善• 適切な評価⇒適切なＭＴ

人間による評価が必要

コーパス

アルゴリズム

評価

使い方

22

自動評価
• 簡便
• ＭＴ訳と参照訳を比較• 評価値を自動計算• 開発にはとても役に立つ！
• システム改修後、自動評価値に大きな変化がないことを確認• 大きな数値差（ＢＬＥＵなら５程度）があれば品質差もほぼある

23

自動評価尺度ＢＬＥＵ• ＭＴ訳と参照訳の類似度の尺度• １０００文～５０００文程度の文章で計算• 一般的にＢＬＥＵ３０～４０以上であれば高精度
Papineni, Kishore and Roukos, Salim and Ward, Todd and Zhu, Wei-Jing. (2002)
BLEU: a Method for Automatic Evaluation of Machine Translation. ACL

24

みんなの自動翻訳でのＢＬＥＵ計算法• 自動翻訳＞自動翻訳評価＞「＋新規登録」

25

自動評価尺度BLEUでの比較
第１世代
汎用 ２５．１
金融 ３４．６

第２世代
２９．０
３８．４

第１世代＜＜第２世代
汎用 ＜＜ 金融
AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚より引用
日英翻訳の例について、みんなの自動翻訳でＢＬＥＵを計算
26

人間評価
• 原文とＭＴ訳を人間が比較• 人間が誤訳かを分析• ＭＴの研究開発に必須• 第２世代ＮＭＴでは、おおむね正しい翻訳ができるようになり、以前は見逃されていた誤訳が目立ち始めた• 「ＮＩＣＴ」⇒「ＮＩ ＣＴ」（なぜか空白が挿入）• ピンポイントな誤訳を検出する自動評価方法は知られていない• ピンポイントな誤訳は、ピンポイントなルールなどで改善

27

NMTでの対訳コーパスの重要性
大規模対訳コーパスが必要
コーパス

アルゴリズム

評価

使い方

28

対訳コーパスの一例（再掲）• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプールCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒက်ှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng
29Ragbi sa Parc des Princes, Paris, France.

大規模対訳コーパスでＮＭＴの性能向上
NMT

翻訳精度

使える

１００万文

コーパスサイズ30

高精度ＮＭＴには対訳データが重要

デ｜
タ
量分
野

最高精度化に必要量
金融や法規はデータの拡充が必要
特許

金融

製薬

法規

他
31

分野にマッチした対訳が重要
特許対訳は普通の文には不向き
This is the desk.
特許対訳

特許NMT

これは前記机である。

???
32

汎用対訳コーパスが汎用ＮＭＴには必要
N府
M都

L県

Y社
X社
Z社

B社

対訳コーパスは散らばっている

A社

金融

自動車

観光

汎用 NMT

それを集めるのがチャレンジ
33

翻訳バンクで高品質対訳データ
NICTの自動翻訳技術の使用ライセンス料の算定の際に、提供が見込まれる翻訳データを勘案して負担を軽減する仕組みを導入
L県

メリット➀
質の向上
自動翻訳の多分野対応化
高精度化

M都

Q社
R社

B社

A社

N府

翻訳データ

翻訳データ

翻訳データ

翻訳データ

通信

交通Z社

観光

行政
様々な分野の翻訳データを集積

メリット➁
低コスト化
自動翻訳技術の使用料負担の軽減
使用ライセンス料算定時に提供翻訳データを考慮

翻訳バンク
34

高精度MT = 汎用NMT+ アダプテーション +EBMT+カスタマイズ
個別サービス

高精度 MT
カスタマイズ= 辞書登録＋
前処理・後処理

アダプテーション＋EBMT
共通基盤
ＮＭＴ

汎用対訳コーパス

分野特化＋翻訳メモリ特化
ＮＭＴ
大規模汎用コーパスによりベースの精度を確保することが重要
35

40

45.75

42.25

37.86

48.96

50

44.79

60

54.12

翻訳精度BLEUの2段階向上

30
20
100
EJ

JE
BASE

ADD

ADAPT

36

対訳は２度使う
翻訳精度
業界・各社
アダプテーション＋EBMT→ご提供者のみ

ＮＭＴ
精度向上

ビジネスチャンス
拡大

ＮＩＣＴ汎用・特許ＮＭＴ・その他NMT→一般に技術移転（商用リリース）
時間軸37

翻訳バンクへのご協力方法

38

NMTの安全な使い方

コーパス

アルゴリズム評価

使い方高精度自動翻訳の社会的普及

39実用化の一方、誤訳の影響の拡大可能性

自動翻訳の特性を理解した
適切な使い方が必要

40

ＭＴの安全な使い方
前提：自動翻訳においては、自動翻訳結果の訳文の正確性は保証されません。

どのようにＭＴを使うかが重要＊ＭＴサービスを利用するときには、その利用規約を参照してください。
41

自分がＭＴを使う場合• 自動翻訳結果に間違いが含まれる可能性を理解する• 理解したうえで、利用する• 英語の特許等を日本語で読む• 日本語のメールを英語に自動翻訳して編集する• 両言語がわかる人がＭＴを使えば、非常に便利で安全な道具

42

ＭＴの出力を他人が使う場合• ＭＴの出力を誰か（企業・ボランティア等）が修正する場合• 修正する企業等を信頼して利用する• ＭＴの出力をそのまま利用する場合• 何とかして翻訳を正確にしたい• 主語・述語が明瞭な文章を入力する。
• 翻訳結果を再度日本語に翻訳して、意味が一致するかを確かめる• 複数の自動翻訳エンジンの翻訳結果が一致するかを確かめる• 日本語入力を言い換えた日本語入力について上記を実施する• 入力文とＭＴ訳文の双方を利用者に提示する。
• ＭＴの出力のため、間違いが含まれる可能性があることを知らせる。
43

まとめ
第２世代ＮＭＴ＋アダプテーション＋EBMT

翻訳バンクにご協力をお願いします！

適切な評価⇒適切なＭＴ

コーパス

アルゴリズム

評価

使い方

便利だが使い方に注意が必要
44