アダプテーションによる製薬専門NMTの研究開発
情報通信研究機構
内山将夫
JTF関西セミナー
２０２０年６月２３日

1

概要• NMTの概要とみんなの自動翻訳＠TexTra• 製薬専門NMT

2

コーパスベースＭＴの構成要素
コーパス• 自動翻訳アリゴリズム
評価
１９８０年代からの発展⇒ＮＭＴ• 学習データとしての対訳コーパス
異なる言語で同一意味の文章の組からなるデータベース• ＭＴの評価手法
人間がどのように感じるかの観点からのＭＴの良さ• ＭＴの使い方
ＭＴの普及により、ＭＴの適切な使い方の周知が必要

アルゴリズム使い方

3

コーパスベースＭＴアルゴリズムの進展
第２世代NMT

翻訳精度

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)“Attention Is All You Need”. https://arxiv.org/abs/1706.03762
Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014). "Sequence
to sequence learning with neural networks". NIPS.

第１世代NMT

SMT

EBMT

P. Brown; John Cocke, S. Della Pietra, V. Della Pietra, Frederick
Jelinek, Robert L. Mercer, P. Roossin (1988). "A statistical
approach to language translation". COLING'88.

Makoto Nagao (1984). "A framework of a mechanical translation between
Japanese and English by analogy principle". In A. Elithorn and R. Banerji.
Artificial and Human Intelligence. Elsevier Science Publishers

年代4第２世代NMT（汎用ＮＴ）
＠みんなの自動翻訳5汎用NT @みんなの自動翻訳
原文英語

汎用ＮＴ（第２世代）

The dominant sequence transduction models are
based on complex recurrent or convolutional
neural networks in an encoder-decoderconfiguration.
The best performing models also connect theencoder and decoder through an attention
mechanism.
We propose a new simple network architecture,
the Transformer, based solely on attention
mechanisms, dispensing with recurrence andconvolutions entirely.
Experiments on two machine translation tasks
show these models to be superior in quality while
being more parallelizable and requiring
significantly less time to train.

支配的なシーケンス変換モデルは、エンコーダ/デコーダ構成における複雑なリカレントまたは畳み込みニューラルネットワークに基づいている。
また、最適なモデルは、アテンション機構を介してエンコーダとデコーダを接続する。
本稿では,注意機構のみに基づき,リカレントと畳み込みを完全に省く,新しい簡単なネットワークアーキテクチャTransformerを提案する。
2つの機械翻訳タスクに関する実験では、これらのモデルは、より並列化可能であり、トレーニングに要する時間が大幅に短縮される一方で、品質が優れていることが示されている。

English sentences are part of Abstract from Ashish Vaswani, et al. (2017) “Attention Is All You Need”.
https://arxiv.org/abs/1706.03762

6

汎用NT @みんなの自動翻訳
原文日本語

汎用ＮＴ（第２世代）

2016年のニューラル機械翻訳（NMT）の実用化は、翻訳業界に衝撃を与え、ポケトークのような自動翻訳端末の市場拡大につながるなど、社会に大きなインパクトを与えた。

The practical application of Neural MachineTranslation (NMT) in 2016 gave a shock to thetranslation industry and had a large impact
on society, such as the expansion of themarket for automatic translation terminals
such as PokeTalk.
ただし、翻訳技術や自然言語処理技術
However, breakthroughs in translation and（NLP）分野では、その後も革命級のブ natural language processing (NLP) have
レークスルーが相次いでいる。
continued.
翻訳を含む言語系の人工知能（AI）が従 Artificial intelligence (AI), a linguistic system
来の常識を次々と塗り替え、ありえない that includes translation, is evolving at an
ペースで発展している。
incredible pace, breaking conventionalwisdom.
原文は次の一部：野澤 哲生「AI翻訳が人間超え、言葉の壁崩壊へ」日経エレクトロニクス、2019/08/20
https://tech.nikkeibp.co.jp/atcl/nxt/mag/ne/18/00046/00002/
7

自動評価尺度ＢＬＥＵ• ＭＴ訳と参照訳の類似度の尺度• １０００文～５０００文程度の文章で計算• 一般的にＢＬＥＵ３０～４０以上であれば高精度
Papineni, Kishore and Roukos, Salim and Ward, Todd and Zhu, Wei-Jing. (2002)
BLEU: a Method for Automatic Evaluation of Machine Translation. ACL

8

みんなの自動翻訳でのＢＬＥＵ計算法• 自動翻訳＞自動翻訳評価＞「＋新規登録」

9

第２世代製薬NMTは高精度
第１世代
汎用 ２３．８
製薬 ３９．９

第２世代
３０．３
４９．４

第１世代＜＜第２世代
汎用 ＜＜ 製薬
自動翻訳尺度BLEUの比較
10

NMTにより新しくなった点
ニューラルネット
ワークによる高精度アルゴリズムコーパス

アルゴリズム評価

使い方

高精度自動翻訳の社会的普及
11

NMTでも以前と同じ点
大規模対訳コーパスが必要

人間による評価が必要

コーパス

アルゴリズム

評価

使い方

12

ＮＭＴアルゴリズムの概要• 基本訓練• アダプテーション

コーパス

アルゴリズム評価

使い方

ニューラルネット
ワークによる高精度アルゴリズム

13

ＮＭＴの訓練とアダプテーション概要【訓練】１文ずつＮＭＴモデルのパラメタを調整する• 大雑把には：• 入力文を翻訳• 参照訳文と比較• 翻訳文と参照訳文の違いに応じてＮＭＴのパラメタを更新• 以上を大規模に繰り返す（数億回になることもある）【アダプテーション】• 訓練済みＮＭＴモデルに、上記訓練を特定分野データで追加• 訓練済みモデルをベースにするので、比較的少量データで高精度

14

NMTの基本構造（第１・２世代ほぼ共通）
エンコーダー

デコーダー

••
•
•

系列を入力して、系列を出力
エンコーダー：入力文の受付
デコーダー：１単語ずつ出力
構造は世代間・モデル間で異なる• 第１世代 RNN• 第２世代 Transformer

Thang Luong; Hieu Pham; Christopher D. Manning. (2015)
Effective Approaches to Attention-based Neural Machine
15Translation. EMNLP

第１世代と第２世代の精度比較

翻訳の比較的難しい英独でＢＬＥＵ４ポイント程度の大きな改善

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)16“Attention Is All You Need”. https://arxiv.org/abs/1706.03762

アダプテーション＠みんなの自動翻訳

17

汎用とアダプテーションＮＭＴの関係
翻訳精度
アダプテーションＮＭＴ

汎用ＮＭＴ

対訳量

18

製薬NMT：R&D Head Club ＋NICT• RDHCの8社から提供された320万文対以上の日英対訳データ• 一昨年度のNICTとアストラゼネカの協業を発展• 汎用NTを製薬対訳でアダプテーション• 事業会社によりサービス提供が開始済み

２０１９年１０月７日

https://www.nict.go.jp/info/topics/2019/10/07-1.html
19第２世代製薬NMTは高精度（再掲）第１世代
汎用 ２３．８
製薬 ３９．９

第２世代
３０．３
４９．４

第１世代＜＜第２世代
汎用 ＜＜ 製薬
自動翻訳尺度BLEUの比較
20

翻訳バンクで高品質対訳
アダプテーションで高精度NMTを実現
NICTの自動翻訳技術の使用ライセンス料の算定の際に、提供が見込まれる翻訳データを勘案して負担を軽減する仕組みを導入
L県

メリット➀
質の向上
自動翻訳の多分野対応化
高精度化

M都

Q社
R社

B社

A社

N府

翻訳データ

翻訳データ

翻訳データ

翻訳データ

通信交通

Z社

観光

行政
様々な分野の翻訳データを集積メリット➁
低コスト化自動翻訳技術の使用料負担の軽減
使用ライセンス料算定時に提供翻訳データを考慮

翻訳バンク
21

覚えておいていただきたいこと• 自動翻訳エンジンは進化します• アルゴリズムの進化• 対訳データの進化• 自動翻訳精度の向上に頭打ち感はありません• 自動翻訳をみんなで育てましょう！

22