深層学習による機械翻訳の発展と同時通訳への挑戦
須藤 克仁
奈良先端科学技術⼤学院⼤学
Augmented Human Communication Laboratoryニューラル機械翻訳
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

2

ニューラル機械翻訳•系列変換 (seq2seq) 問題として定式化
これは機械翻訳です

記憶に基づいて⽂を⽣成する

デコーダ

⼊⼒単語のベクトル表現

エンコーダ
⼊⼒を「記憶」する

出⼒単語のベクトル表現Thisisamachine translation

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

3

以前の機械翻訳のアプローチ
新しい 標的 を 同定する ため の スクリーニング ⽅法

screening

methodforidentifying

newtarget

規則に基づく機械翻訳 (1950s -)
⽤例に基づく機械翻訳 (early 1980s -)統計的機械翻訳 (early 2000s -)Augmented Human Communication Laboratory令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

4

従来型機械翻訳とニューラル機械翻訳
新しい標的screeningを同定するためのスクリーニング

methodforidentifying

これ

は機械

new翻訳

⽅法

従来型
• 要素単位の翻訳を組み合わせ• 全⼊⼒単語を被覆するよう翻訳

targetです

Vector representations of input words

Neural• ⼊⼒の全被覆は保証されない• 訳抜けや過剰な訳語⽣成が問題

Encoder

Decoder

Vector representations of output words

Thisisamachine translation

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

5ニューラル機械翻訳の利点•流暢な訳文が得られる• 文法的に問題のある入力であっても…

•実装が簡単• Python数百行程度 (+深層学習フレームワーク)•処理の柔軟性• 多言語機械翻訳• マルチモーダル機械翻訳（原文＋画像→訳文）
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

6単純なニューラル機械翻訳の問題•⼊⼒⽂をLSTMで記憶•LSTMで出⼒⽂を⽣成
これは機械翻訳です

⼊⼒⽂全体の記憶（⾼々数百次元）『記憶を辿って訳⽂を構成する』

⼊⼒単語のベクトル表現

復号化（デコーダ）

符号化（エンコーダ）

出⼒単語候補のベクトル表現『⼊⼒⽂を記憶する』

This

isamachine translation

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

7単純なニューラル機械翻訳の問題•⼀つのベクトルが全てを担う• 読み書きした単語の記憶・忘却• 端的に⽂が⻑いと荷が重い
これは機械

翻訳です

『記憶を辿って訳⽂を構成する』

⼊⼒単語のベクトル表現

復号化（デコーダ）

符号化（エンコーダ）

出⼒単語候補のベクトル表現『⼊⼒⽂を記憶する』

Thisisamachine translation

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

8注視(attention)機構の導⼊•記憶を分散させ局所的に利⽤• 記憶の途中過程を保持• 注視による記憶の加重和で訳語選択
これは機械翻訳です

⼊⼒単語のベクトル表現

出⼒単語候補のベクトル表現

Thisisamachine translation

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

9注視の仕組み•デコーダ状態ベクトル(𝒉" )に基づき• 注視重み(𝒂" )を計算
with D being our parallel training
corpus.
3• 記憶ベクトル(𝒉Attention-based Models$ )の加重和を計算
Our ⽂脈ベクトル(𝒄various attention-based models are )classifed"
into two broad categories, global and local. Theseyth̃tAttention Layer•𝒉" と 𝒄" を⽤いて訳語を選択する

ct

Context vector

classes differ in terms of whether the “attention”
Global align weights
is placed on all source positions or on only a few
atsource positions. We illustrate these two modelh̄stypes in Figure 2 and 3 respectively.
ht
Common to these two types of models is the factthat at each time step t in the decoding phase, both
approaches first take as input the hidden state ht
at the top layer of a stacking LSTM. The goal isLuong et al., (2015)より
then to derive a context vector ct that captures relFigure
2:
Globalattentionalmodel – at each time
Augmented Human Communication Laboratory
evant source-side information to help predict thestep t, the model infers a variable-length align令和元年電気関係学会関⻄連合⼤会 (2019/11/30)
current target word yt . While these models differ
ment weight vector at based on the current target10注視と単語対応

Published as a conference paper at ICLR 2015

•注視により単語対応が得られる？
•得られることが多いが対応は保証されない•ニューラル翻訳は訳せるように学習できれば何でもよい
Bahdanau(a) et al., (2015)より
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

11Published as a conference paper at ICLR 2015
効果：⻑⽂における精度改善•⻑い⽂でも精度が安定
30

BLEU score

25

Figure 2: The BLEof the generated traon the test set withto the lengths oftences. The result
the full test set w
cludes sentences haknown words to the20
15
RNNsearch-50
RNNsearch-30
RNNenc-50
RNNenc-30

10500

102030Sentence length

4050

60

Bahdanau et al., (2015)より

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

12Transformerの構成•要素間関係を注視のみで記述• Attention is All You Need•複数回注視を⾏い抽象化
N層

が正規化

正規化

FFNN

FFNN

正規化

正規化

正規化

正規化

正規化

FFNN

FFNN

FFNN

複数ヘッド
クロス注視

複数ヘッド
クロス注視

正規化

正規化

正規化

正規化

正規化

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

複数ヘッド
⾃⼰注視

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトル

位置依存
単語ベクトルN層

位置エンコーディング

位置エンコーディング

須藤, ニューラル機械翻訳の進展 ─系列変換モデルの進化とその応⽤─
⼈⼯知能学会誌 Vo.34, No.4

ジョン

単語ベクトル

単語ベクトル

単語ベクトル

John

runs.

単語ベクトル

単語ベクトル

単語ベクトル<start> ジョン

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

13がTransformerの特徴•エンコーダを並列化• 位置情報を周期関数で埋め込む (positionalencoding)•注視の⼯夫• ⾃⼰注視 (self attention)• エンコーダが⼊⼒，デコーダが（直前までの）出⼒を注視可能• 複数ヘッド (multi-head) 注視• 異なるタイプの情報を独⽴に注視可能

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

14Transformerの応⽤•NMTの新しい de facto standard• 対訳データが⼤量にあれば特に強⼒•BERT: Transformerを⽤いた⽂符号化• ⾃然⾔語処理の事前知識として利⽤• 質問応答等の様々な応⽤で精度向上• 様々な⾔語で学習済みモデル公開
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

15

⾃動同時通訳の実現に向けて※ 本研究の⼀部はJSPS科研費JP17H06101の助成を受けたものです
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

16

逐次通訳と同時通訳•逐次通訳•同時通訳• 発話ごとに通訳• 発話と同時並⾏で通訳

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

17

同時通訳における遅延(1) The relief workers (2) say (3) they don’t
have (4) enough food, water, shelter, andmedical supplied (5) to deal with (6) thegigantic wave of refugees (7) who areransacking the countryside (8) in search of thebasics (9) to stay alive.
出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

18

同時通訳における遅延(1) The relief workers (2) say (3) they don’t have (4) enough food, water,shelter, and medical supplied (5) to deal with (6) the gigantic wave ofrefugees (7) who are ransacking the countryside (8) in search of the basics(9) to stay alive.

(1) 救援担当者は (9) ⽣きるための (8) ⾷料を求めて (7) 村を荒らし回っている (6) ⼤量の難⺠たちの世話をするための (4) ⼗分な⾷料や⽔，宿泊施設，医薬品が (3) 無いと (2)
⾔っていますAugmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

19

順送りの訳(1) The relief workers (2) say (3) they don’t have (4) enough food, water,shelter, and medical supplied (5) to deal with (6) the gigantic wave ofrefugees (7) who are ransacking the countryside (8) in search of the basics(9) to stay alive.

(1) 救援担当者たちの (2) 話では (4) ⾷料，⽔，宿泊施設，医薬品が (3) ⾜りず (6) ⼤量の難⺠たちの (5) 世話ができないとのことです．
(7) 難⺠たちは今村々を荒らし回って，(9) ⽣きるための (8) ⾷料を求めているのです．
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

20遅延削減に向けた戦略
1. 部分的な訳出が可能になった時点で訳出を開始する
2. 訳出の順序を⼊⼒に近いものに変更する
3. 訳出を簡明 (concise) にする「だ未はで点4. ⼊⼒を予測する (anticipation)
現時」
訳
翻Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

21

漸進的⾳声認識
Novitasari, Tjandra, Sakti, and Nakamura: Sequence-to-Sequence Learning
via Attention Transfer for Incremental Speech Recognition, Proc. Interspeech
2019, pp. 3835-3839 (2019)
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

22

⾳声認識と漸進的処理•⾳声認識における⽂脈情報• タスク⾃体はmonotoneで並べ替えはない• ⾔語モデル観点での⽂脈は必要•漸進的処理を実現する⽅式• HMM: ⻑距離/後⽅⽂脈を考慮できない → ⾃明
• End-to-End: ⼊⼒全体を注視機構で参照可能• 処理単位を分割して参照範囲を限定• どう注視範囲を限定させるか？

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

23提案⼿法: 注視転移による漸進的⾳声認識•教師モデルは全体を参照可能•⽣徒モデルは局
所情報のみ利⽤• 教師モデルの注視を最⼤限真似る学習
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

24

漸進的機械翻訳
帖佐, 須藤, 中村: 英⽇同時翻訳のためのConnectionist TemporalClassificationを⽤いたニューラル機械翻訳, 情報処理学会研究報告 2019-NL241 (2019)
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

25

遅延と流暢さのトレードオフ•遅延を短くすれば流暢さは⼀般に低下
I’m going to take youon a journeyin the next 18 minutes.

皆様をお連れします
旅へ
今から18分後です
今から18分で皆様を旅へお連れしますAugmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

26

提案⼿法: デコーダにおける適応的遅延•特殊記号 <wait> を定義し遅延を制御<wait> <wait> President Bush

ブッシュ ⼤統領はプーチン<wait> meetsと会談

withPutin

する

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

27

⽬的関数
•⼆種類の損失を最⼩化• 遅延• 単語予測誤り
これは機械翻訳ですathisiswasaregoestranslation
machineVector representations of input words

This
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

28

<wait>挿⼊位置の問題•<wait>の位置は⾃由度が⾼い• President Bush meets <wait> with• President Bush <wait> meets with• President <wait> Bush meets with•…

•Connectionist Temporal Classification (CTC)に基づく最適化（動的計画法）[A. Graves+ ICML 2006]
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

29

漸進的テキスト⾳声合成Yanagita, Sakti, and Nakamura: Neural iTTS: Toward Synthesizing Speech in
Real-time with End-to-End Neural Text-to-Speech Framework, Proc. of the10th ISCA Speech Synthesis Workshop, pp. 183-188 (2019)
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

30

テキスト⾳声合成と漸進的処理•アクセント/イントネーション決定に⽂脈が必要• 英語: 2単語程度? ⽇本語: 2アクセント句程度?
（提案⼿法における実験結果より）•漸進的合成でも⾳声を滑らかに繋ぐ• 分割して出⼒しても繋ぎ⽬の連続性が欲しい
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

31

提案⼿法: 合成過程の分割と直前結果参照•学習データも分割
This </m>

Text and acoustic features<m>is </m><m>Tacotron.

This is Tacotron.

This is </m>
This is an inital step.
<m>inital step.

Nice to meet you.

Nice </m><m>an </m><m>to meet </m>
: ⽂の開始 
: ⽂の終了
<m>: 途中の合成セグメントの開始 </m>: 途中の合成セグメントの終了<m>you.
•合成時は直前の結果を初期値として再利⽤
Unit 1 
 This is </m>Unit 2 <m> the TTS</m>

Neural iTTS

Neural iTTS
零ベクトル

…

or零ベクトルか直前のメルスペクトログラムベクトル…

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

32

⾳声から⾳声への同時通訳システム
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

33

デモ: 同時⾳声翻訳

Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

34

おわりに
Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

35

おわりに
•深層学習による機械翻訳の進展• 急速に実⽤化，実装技術も含め⽇進⽉歩• 研究レベルでは対訳⽂によらない「教師なし機械翻訳」も•⾃動同時通訳への挑戦• より挑戦的な課題へ•表層的でない「深い」翻訳が将来的な課題Augmented Human Communication Laboratory
令和元年電気関係学会関⻄連合⼤会 (2019/11/30)

36