機械翻訳の最新技術動向調査〜特許翻訳への応⽤を⾒据えて：経過報告〜
須藤 克仁
AAMT/Japio特許翻訳研究会 副委員⻑
（奈良先端科学技術⼤学院⼤学）

2⾃⼰紹介•須藤 克仁（すどう・かつひと）• AAMT/Japio特許翻訳研究会 副委員⻑• 奈良先端科学技術⼤学院⼤学 准教授• （兼）科学技術振興機構 さきがけ研究者• （兼）理化学研究所 ⾰新知能統合研究センター 客員研究員• 機械翻訳・⾳声⾔語処理の研究に従事
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）AAMT/Japio特許翻訳研究会•⽇本特許情報機構(Japio)の委託で2003年発⾜• 特許翻訳に関する研究活動• シンポジウム・国際ワークショップの開催•構成員• 委員⻑: 辻井 潤⼀• 副委員⻑: 宇津呂 武仁, 須藤 克仁• 委員: 江原 暉将, ⿊橋 禎夫, 越前⾕ 博, ⼆宮 崇,綱川 隆司, 後藤 功雄, 今村 賢治, 中澤 敏明
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）34【2020年度の活動】
機械翻訳の技術動向調査

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）5

技術動向調査の背景

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）背景: 急速な技術の変化•1950年代から: 規則ベース機械翻訳•1980年代初頭: ⽤例ベース機械翻訳 (⻑尾先⽣)•2000年頃から統計的機械翻訳の研究が加速• 当初の試みは1980年代後半• 2005年 ⽶NISTの共通タスクでGoogleが他を圧倒• 2006年 Google Translate 公開•2010年代半ば: ニューラル機械翻訳
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）67ニューラル機械翻訳以前の機械翻訳•構成性 (compositionality) に基づく機械翻訳
新しいscreening

標的をmethod

同定する

for

ためのスクリーニング

⽅法

identifying

newtarget

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）8ニューラル機械翻訳•要素毎の書き換えから脱却した流暢な訳出• 構成性が⾒かけ上満たされないことも
これは機械翻訳です『記憶から訳⽂を構成する』

復号化（デコーダ）

符号化（エンコーダ）『⼊⼒⽂を記憶する』

Thisisa

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）machine translation

翻訳プロセスの考え⽅の相違

出典: デイリーポータルZ
https://dailyportalz.jp/b/2006/04/04/c/2.htm

9

出典: THE VERGE

https://www.theverge.com/tldr/2019/2/15/18226005/ai-generated-fake-people-portraits-thispersondoesnotexist-stylegan(thispersondoesnotexist.comで生成)【従来の考え⽅】【NMTの考え⽅】
部品を揃えて組み合わせる 「記憶」を辿ってそれらしく⽣成
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）プロセスの違いによる差①【従来型機械翻訳】• 部分部分はそこそこ正しい• ⽣成⽂が流暢でないことも• ⽊を⾒て、森を⾒ず【ニューラル機械翻訳】• 条件が整うと⾮常に強⼒• 信じられないような誤訳も• 森を⾒て、⽊を⾒ず
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）10プロセスの違いによる差②
新しい

標的

screeningを同定する

method

これ

forはためのスクリーニング

identifying

機械翻訳

newtarget

⽅法【従来型機械翻訳】• ⼊⼒を全被覆• 抜けや重複が少ないです【ニューラル機械翻訳】

符号化（エンコーダ）

復号化（デコーダ）This

isamachinetranslation• ⼊⼒の全被覆は不保証• 抜けや重複の可能性も• そもそも「変換」か？

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）11プロセスの違いによる差③
スクリーニング
screening
0.63−0.12−0.73⋮
0.83−0.02⋮
0.97

screeninginspection…

【従来型機械翻訳】• 記号の対応が明確• 記号間の類似性は未知【ニューラル機械翻訳】• 記号の対応が不明確• 記号間の類似性が表現可能？

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）

12

13

現在の標準モデル: Transformer (Vaswani+ 2017)•⾃⼰注視 (self-attention)• ⼊⼒相互の関係• 出⼒相互の関係•類似した計算を積み重ねる

N層• 「層」…「深層学習」•⼀⾒複雑だが⾼速・⾼精度• 並列計算の恩恵
須藤, ニューラル機械翻訳の進展 ─系列変換モデルの進化とその応⽤─
⼈⼯知能学会誌 Vo.34, No.4

ジョンが正規化

正規化

FFNN

FFNN

正規化

正規化

正規化

正規化

正規化

FFNN

FFNN

FFNN

複数ヘッド
クロス注視

複数ヘッド
クロス注視

正規化

正規化

正規化

正規化

正規化

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル位置エンコーディング

位置エンコーディング
単語ベクトル

単語ベクトル

単語ベクトル

John

runs.

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）N層

単語ベクトル

単語ベクトル<start> ジョン

単語ベクトルがニューラル機械翻訳の課題

14

•訳抜け
• ⼊⼒⽂の語句が訳されずに抜け落ちる• 特に学習が不⼗分な語句や難しい語句が抜けやすい•重複訳• 局所的な語句の訳出を繰り返す• ⼊⼒⽂にノイズが含まれると起こりやすい•内容の捏造• ⼊⼒⽂にないことが勝⼿に補われる
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）15

⼀般的に⾏われる⼯夫•単語より短い単位（サブワード）への分割• Sennrich+ (2016a), Kudo+ (2018) 等• internationalization → inter nation al iz ation• realization → real iz ation•逆翻訳…対訳コーパスの⽣成• Sennrich+ (2016b)等• 単⾔語コーパスの活⽤

⽇本語

英語

英語（単⾔語）AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⽇→英モデル英→⽇モデル⽇→英増強モデル

対訳データ量に⾒合った性能

⽇本語（機械訳）逆翻訳データによって性能向上

16

特許翻訳の課題と関連する機械翻訳技術の動向

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）特許⽂書の特徴／特許翻訳の課題

17•内容が専⾨的•⽂体がやや特殊•公的な⽂書•⽂の構造が複雑で⻑い•⼤量の翻訳処理が必要•⾔語によってはデータ不⾜（東南アジア⾔語）
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）技術動向調査の中間報告•デプロイ対策• ⾼速化や省メモリ化の取り組み•低リソース⾔語対策• 様々なデータや他⾔語の活⽤•⾃動評価（須藤も⼀部担当）• 深層学習に基づく訳質評価※ 特許翻訳そのものを題材とした研究は現在少ないAAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）

18

19

デプロイ対策①: モデルの軽量化•ベクトル次元数／層数の削減 → 精度も低下•全く同じ計算層を繰り返し適⽤ → 省メモリ化• Dehghani+ (2018), Dabre+ (2019)等• 「パラメータ共有」
正規化

N層

正規化

ジョンが正規化

正規化

FFNN

FFNN

正規化

正規化

複数ヘッド
クロス注視

正規化

N層

FFNN

FFNN

FFNN

複数ヘッド
クロス注視

正規化

正規化

正規化

正規化

正規化

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル位置エンコーディング

位置エンコーディング
単語ベクトル

単語ベクトル

単語ベクトル

単語ベクトル

単語ベクトル

単語ベクトルJohnruns.

<start>ジョンがAAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）20
デプロイ対策①: モデルの軽量化（続き）•「知識蒸留」(Knowledge Distillation)• Teacher-Studentモデルとも• ⼤きく低速なモデルを⼩さく⾼速なモデルで模倣
screening
0.63−0.12−0.73
⋮
0.83
−0.02
⋮
0.97

翻訳⽂

inspection

結果の模倣
Kim+ (2016)等

翻訳⽂…
screening

教師 (teacher) モデル（⼤規模・低速・⾼精度）

0.63−0.12−0.73
⋮
0.83
−0.02
⋮
0.97

inspection…

過程の模倣
Hinton+ (2014)等

⽣徒 (student) モデル（⼩規模・⾼速）

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）21
デプロイ対策②: ハードウェア特性の活⽤•GPU・TPUによる並列化・⾼速化•浮動⼩数点の半精度(fp16)化• HW側の対応も進み単精度(fp32)より倍以上⾼速?
• GoogleのTPUでは指数部8bitのbﬂoat16も•整数への量⼦化• Devlin+(2017), Bhandare+(2018)等• ⾏列の乗算部を整数 (16bit/8bit) で量⼦化• CPU実⾏時に恩恵
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）デプロイ対策③: 実装•C/C++で実装• Python等より⾼速• PyTorch等の深層学習フレームワークは使えない• 緻密なメモリ管理が必要• Marian NMT https://marian-nmt.github.io/•途中計算の再利⽤（キャッシュ）• Klein+ (2020), Hu+ (2020)等
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）22低リソース⾔語対策①: NMTは不利か?

23•ニューラル機械翻訳では低リソースは不利?
• Koehn+ (2017)で提起•適切な設定により改善報告• Sennrich+ (2019), Duh+ (2020)• ベクトル正規化• パラメータ正則化• スムージング 等

BLEU Scores with Varying Amounts of Training Data
30.3 31.1
29.6
29.2
30
27.9 28.6 27.4
30.1 30.4
29.2
26.2 26.9
25.7
27.8 28.6
24.9
26.9
26.1
23.5
23.4
24.7
22.2
21.8
21.2
22.4
19.6
20
18.1
18.2
16.4
14.7
11.9
107.2
1.6
0

106

Phrase-Based with Big LM
Phrase-Based
Neural107
108
Corpus Size (English Words)

Figure 3: BLEU scores for English-Spanish systems trained on 0.4 million to 385.7 million
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）words of parallel data. Quality for NMT starts

Ftadtie低リソース⾔語対策②: ピボット翻訳•典型的には英語で仲介: ⾔語A→英語→⾔語B• 英語との対訳コーパスは⽐較的得やすい• 統計的機械翻訳の時代から知られたアプローチ• ニューラル機械翻訳では Costa-jussà+ (2018)等

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）24低リソース⾔語対策③: 転移学習25

•⾼リソース⾔語で事前学習した後に低リソース⾔語で追加学習• 対象⾔語が類似していることが好ましい（語順等）• Nguyen+ (2017), Murthy+ (2019), Dabre+ (2019)
等

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）低リソース⾔語対策④: 多⾔語翻訳•複数の⾔語を翻訳できる単⼀の翻訳モデル• Many-to-Many翻訳: Firat+ (2016)• 様々な⾔語対でパラメータを共有したモデルを学習• Zero-shot翻訳: Johnson+ (2017)• 学習していない⾔語⽅向の翻訳が可能• ⾔語タグ（<2en>等）の使⽤•マルチタスク学習の⼀種と⾒てよい
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）26⾃動評価: ⼤きな分類•モデルフリー⼿法• 表層のみを利⽤• 表層以外の情報も活⽤•汎⽤モデルベース⼿法• 追加学習が不要（ハイパーパラメータは除く）•専⽤モデルベース⼿法• 追加学習が必要
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）27⾃動評価①: モデルフリー⼿法

28• BLEU (Papineni+ 2002), NIST (Doddington 2002)• 単語N-gram⼀致率に注⽬．NISTは頻度重みあり．

• TER (Snover+ 2006)• 編集距離に基づく．複数語のシフトを許容．

• IMPACT (Echizenʼya+ 2007)• 最⻑共通部分列を利⽤．

• RIBES (Isozaki+ 2010)• 語順の相関を利⽤．
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価①: モデルフリー⼿法（続き）•METEOR (Banerjee+ 2005)• 共通語幹や同義語を許容．

•MEANT (Lo 2011)• 述語項構造を利⽤（半⾃動）．

•chrF (Popovic 2015), EED (Stanchev+ 2019)• ⽂字レベルで評価．

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）29⾃動評価①: モデルフリー⼿法（続き）

30

•利点

• 学習が不要• ⾼速• 簡単に評価⽅法が共有可能• ⼤部分は外部リソース不要＆⾔語⾮依存• METEORは同義語辞書や語幹マッチルール，MEANTは解析器が必要•⽋点• 絶対的な精度は今ひとつ
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価②: 汎⽤モデル⼿法

31• YiSi (Lo 2019)• ⽂中の意味役割と単語埋め込みを利⽤．

• WE_WPI (Echizenʼya+ 2019)• 単語埋め込みと Earth Moverʼs Distance を利⽤• BERTR (Mathur+ 2019), BERTScore (Zhang+ 2020)• BERTの⽂脈つきトークン埋め込みを利⽤• MoverScore (Zhao+ 2020)• BERTの埋め込みと Earth Moverʼs Distanceを利⽤
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価②: 汎⽤モデル⼿法（続き）

32

•利点

• 厳密な表層マッチングが不要• METEORのような辞書的資源がなくてもよい• 学習済みの単語埋め込み等の資源を活⽤可能• 評価アノテーションつきデータでの追加学習が不要• ハイパーパラメータチューニング程度は必要なことも• ⾔語依存性・ドメイン依存性が低い•⽋点• 絶対的な精度は専⽤モデルには及ばない
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価②: 専⽤モデル⼿法

33•BEER (Stanojevic+ 2014)• 線形回帰モデルを利⽤．

•BLEND (Ma+ 2017)• 種々の⾃動評価⼿法のスコアに基づくサポートベクタ回帰(SVR)を利⽤AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価②: 専⽤モデル⼿法（続き）

34•RUSE (Shimanaka+ 2018)• ⽂埋め込みに基づく回帰モデルを利⽤．

•BERT Regressor (嶋中+ 2019)• BERTの埋め込みに基づく回帰モデルを⽤い、ファインチューニングを⾏う．

•BLEURT (Sellam+ 2020)• BERTを⾔語推論などの補助タスクでファインチューニングし，さらに評価タスクでファインチューニング
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価②: 専⽤モデル⼿法（続き）

35

• 利点
• 絶対的な精度の⾼さ• ⽋点• 学習データ依存性が⾼い• ドメイン依存性• 品質依存性（低訳質データで学習しても⾼訳質データの評価ができる保証がない）• BLEURTでは補助タスクの効果により依存性が低いと主張• 学習時も評価時も計算が重くなりがち
AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価③: ⾃動評価法の「メタ評価」

36•ピアソンの積率相関係数の信頼性への疑問(Mathur+ 2020)• 外れ値の影響を受けやすい• 性能が近接したシステム間の相関の問題• ⼩さな差は統計的有意であったとしても真に信頼できな
いAAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）

37

謝辞

•調査報告内容の取りまとめについて，
AAMT/Japio特許翻訳研究会関係者に感謝します• 特に今回報告した各課題担当者の皆様（デプロイ対策）今村賢治さん，園尾聡さん（低リソース対策）江原暉将さん，今村賢治さん（⾃動評価）越前⾕博さん

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）38

イベント告知AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）39
第6回特許情報シンポジウム (オンライン)•2021年2⽉26⽇(⾦) 午後 開催•招待講演およびパネルディスカッションを予定• 特許・知財⾏政• 特許・知財実務• ⾃然⾔語処理・情報検索等研究開発•詳細は後⽇研究会Webサイトに掲載予定• http://aamtjapio.com/AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）

40

⽂献リスト

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）ニューラル機械翻訳全般 (1/2)

41• D. Bahdanau et al., Neural Machine Translation by Jointly Learning to Alignand Translate, Proc. ICLR (2015)• K. Cho et al., Learning Phrase Representations using RNN Encoder‒Decoder
for Statistical Machine Translation, Proc. EMNLP (2014)• S. Edunov et al., Understanding Back-Translation at Scale, Proc. EMNLP(2018)• T. Kudo, Subword Regularization: Improving Neural Network Translation
Models with Multiple Subword Candidates, Proc. ACL (2018)• M.-T. Luong et al., Effective Approaches to Attention-based Neural MachineTranslation, Proc. EMNLP (2015)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）ニューラル機械翻訳全般 (2/2)• R. Sennrich et al., Improving Neural Machine Translation Models with
Monolingual Data, Proc. ACL (2016a)• R. Sennrich et al., Neural Machine Translation of Rare Words with Subword
Units, Proc. ACL (2016b)• I. Sutskever et al., Sequence to Sequence Learning with Neural Networks,Proc. NIPS (2014)• A. Vaswani et al., Attention Is All You Need, Proc. NIPS (2017)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）42デプロイ対策

43• A. Bhandare et al., Efficient 8-Bit Quantization of Transformer Neural Machine
Language Translation Model, Proc. ICML Joint Workshop on On-Device
Machine Learning & Compact Deep Neural Network Representations (2019)• R. Dabre et al., Recurrent Stacking of Layers for Compact Neural MachineTranslation Models, Proc. AAAI (2019)• M. Dehghani et al., Universal Transformers, Proc. ICLR (2019)• J. Devlin, Sharp Models on Dull Hardware: Fast and Accurate Neural MachineTranslation Decoding on the CPU, Proc. EMNLP (2017)• G. Hinton et al., Distilling the Knowledge in a Neural Network, Proc. NIPS 2014
Deep Learning Workshop (2014)• Y. Kim et al,. Sequence-level Knowledge Distillation, Proc. EMNLP (2016)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）低リソース⾔語対策 (1/2)

44• M. Costa-jussa et al., English-Catalan Neural Machine Translation in the
Biomedical Domain through the cascade approach, Proc. LREC Workshop
MultilingualBIO: Multilingual Biomedical Text Processing (2018)• R. Dabre et al., Exploiting Multilingualism through Multistage Fine-Tuning forLow-Resource Neural Machine Translation, Proc. EMNLP-IJCNLP (2019)• K. Duh et al., Benchmarking Neural and Statistical Machine Translation onLow-Resource African Languages Cross-over, Proc. LREC (2020)• O. Firat et al., Multi-Way, Multilingual Neural Machine Translation with a
Shared Attention Mechanism, Proc. NAACL (2016)• M. Johnson et al., Googleʼs Multilingual Neural Machine Translation System:
Enabling Zero-Shot Translation, Transactions of ACL (2017)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）低リソース⾔語対策 (2/2)

45• P. Koehn et al., Six Challenges for Neural Machine Translation, Proc. of WNMT(2017)• R. Murthy et al., Addressing word-order Divergence in Multilingual NeuralMachine Translation for extremely Low Resource Languages, Proc. NAACLHLT (2019)• T. Q. Nguyen et al., Transfer Learning across Low-Resource, Related
Languages for Neural Machine Translation, Proc. IJCNLP (2017)• R. Sennrich et al., Revisiting Low-Resource Neural Machine Translation: A
Case Study, Proc. ACL (2019)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価 (1/3)

46• S. Banerjee et al., METEOR: An Automatic Metric for MT Evaluation with Improved
Correlation with Human Judgments, Proc. WS on Intrinsic and Extrinsic Evaluation
Measures for Machine Translation and/or Summarization (2005)• C.-K. Lo et al., MEANT: An inexpensive, high-accuracy, semi-automatic metric forevaluating translation utility based on semantic roles, Proc. ACL (2011)• M. Popović, C H R F: character n-gram F-score for automatic MT evaluation, Proc.
WMT (2015)• P. Stanchev et al., EED: Extended Edit Distance Measure for Machine Translation,
Proc. WMT (2019)• C.-K. Lo, YiSi - a Unified Semantic MT Quality Evaluation and Estimation Metric forLanguages with Different Levels of Available Resources, Proc. WMT (2019)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価 (2/3)

47• H. Echizen’ya et al., Word Embedding-Based Automatic MT Evaluation Metricusing Word Position Information, Proc. NAACL-HLT (2019)• N. Mathur et al., Putting Evaluation in Context: Contextual Embeddings Improve
Machine Translation Evaluation, Proc. ACL (2019)• T. Zhang et al., BERTScore: Evaluating Text Generation with BERT, Proc. ICLR (2020)• W. Zhao et al., MoverScore: Text Generation Evaluating with Contextualized
Embeddings and Earth Mover Distance, Proc. EMNLP-IJCNLP (2019)• M. Stanojević et al., BEER: BEtter Evaluation as Ranking, Proc. WMT (2014)• Q. Ma et al., Blend: a Novel Combined MT Metric Based on Direct Assessment —CASICT-DCU submission to WMT17 Metrics Task, Proc. WMT (2017)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）⾃動評価 (3/3)

48• H. Shimanaka et al., RUSE: Regressor Using Sentence Embeddings for Automatic
Machine Translation Evaluation, Proc. WMT (2018)• H. Shimanaka et al., Machine Translation Evaluation with BERT Regressor, arXivpreprint (2019)• T. Sellam et al., BLEURT: Learning Robust Metrics for Text Generation, Proc. ACL(2020)• N. Mathur et al., Tangled up in BLEU: Reevaluating the Evaluation of Automatic
Machine Translation Evaluation Metrics, Proc. ACL (2020)

AAMT 2020, Online: 機械翻訳の最新技術動向調査（須藤）