[E4-3]

漸進的な
⾳声認識・機械翻訳・テキスト⾳声合成に基づく⾳声から⾳声への同時翻訳
須藤 克仁, Sashi Novitasari, 帖佐克⼰, 柳⽥智也, ⼆⼜航介, Sakriani Sakti, 中村哲
奈良先端科学技術⼤学院⼤学
2020/03/18
Augmented Human Communication Laboratory※ 本研究の⼀部はJSPS科研費JP17H06101の助成を受けたものです翻訳と通訳、逐次通訳と同時通訳
翻訳• 静的• 書き⾔葉が多い• スタイルガイド

通訳
逐次通訳
• 動的？
• 話し⾔葉
• 時間制約・要約

同時通訳
• 動的
• 話し⾔葉• 厳しい時間制約

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

2

同時通訳における遅延

3(1) The relief workers (2) say (3) they don’t have (4)enough food, water, shelter, and medical supplied (5)to deal with (6) the gigantic wave of refugees (7) whoare ransacking the countryside (8) in search of thebasics (9) to stay alive.

出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

通常の翻訳

4(1) The relief workers (2) say (3) they don’t have (4) enough food,water, shelter, and medical supplied (5) to deal with (6) the gigantic
wave of refugees (7) who are ransacking the countryside (8) insearch of the basics (9) to stay alive.

(1) 救援担当者は (9) ⽣きるための (8) ⾷料を求めて (7) 村を荒らし回っている (6) ⼤量の難⺠たちの世話をするための (4) ⼗分な⾷料や⽔，宿泊施設，医薬品が (3) 無いと (2) ⾔っています
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

「順送りの訳」

5(1) The relief workers (2) say (3) they don’t have (4) enough food,water, shelter, and medical supplied (5) to deal with (6) the gigantic
wave of refugees (7) who are ransacking the countryside (8) insearch of the basics (9) to stay alive.

(1) 救援担当者たちの (2) 話では (4) ⾷料，⽔，宿泊施設，医薬品が (3) ⾜りず (6) ⼤量の難⺠たちの(5) 世話ができないとのことです．
(7) 難⺠たちは今村々を荒らし回って，(9) ⽣きるための (8) ⾷料を求めているのです．
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

遅延削減に向けた戦略
1. 部分訳が可能になった時点で訳出を開始する
2. 訳出の順序を⼊⼒に近いものに変更する」
訳
3. 訳出を簡明 (concise) にする
翻「だ未はで点(anticipation)
時
4. ⼊⼒を予測する
現Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

6

研究の⽬標•⾳声⾔語処理技術に基づく同時通訳• ⾳声認識・機械翻訳・テキスト⾳声合成の統合• 漸進的、かつ実時間動作が必要

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

7

8

漸進的⾳声認識
Novitasari, Tjandra, Sakti, and Nakamura: Sequence-to-Sequence Learning via
Attention Transfer for Incremental Speech Recognition, Proc. Interspeech 2019, pp.
3835-3839 (2019)(E4-1: Neural Incremental Speech Recognition Through Attention Transfer)
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

⾳声認識と漸進的処理•⾳声認識における⽂脈情報• タスク⾃体はmonotoneで並べ替えはない• ⾔語モデル観点での⽂脈は必要•漸進的処理を実現する⽅式• HMM: ⻑距離/後⽅⽂脈を考慮できない → ⾃明
• End-to-End: ⼊⼒全体を注視機構で参照可能• 処理単位を分割して参照範囲を限定• どう注視範囲を限定させるか？
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

9提案⼿法：注視転移による漸進的⾳声認識

10•教師モデルは全体を参照可能•⽣徒モデルは局
所情報のみ利⽤• 教師モデルの注
視を最⼤限真似る学習
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

11

漸進的機械翻訳
帖佐, 須藤, 中村: 英⽇同時翻訳のためのConnectionist Temporal Classificationを⽤いたニューラル機械翻訳, 情報処理学会研究報告 2019-NL-241 (2019)

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

遅延と流暢さのトレードオフ•遅延を短くすれば流暢さは⼀般に低下
I’m going to take youon a journeyin the next 18 minutes.

皆様をお連れします
旅へ
今から18分後です
今から18分で皆様を旅へお連れしますAugmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

12従来⼿法：訳出開始の固定ステップ数遅延•Wait-k (Ma+, ACL 2019)
President

Bushmeets

withPutinと会談する

Wait-3ブッシュ ⼤統領は

今⽇ プーチン

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

today

13

提案⼿法：デコーダにおける適応的遅延•特殊記号 <wait> を定義し遅延を制御<wait><wait> President

ブッシュ ⼤統領はBush<wait>

今⽇ プーチン<wait>

meetswithと会談する

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

Putin

today

14

15

最適化
•⼆種類の損失を最⼩化• 遅延（遅延発⽣数に⽐例）• 単語予測誤り（Softmax cross entropy）
これは機械翻訳ですathisiswasaregoestranslation
machineVector representations of input words

This
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

<wait>挿⼊位置の問題

16•<wait>の位置は⾃由度が⾼い• President Bush meets <wait> with• President Bush <wait> meets with• President <wait> Bush meets with•…

•Connectionist Temporal Classification (CTC)に基づく最適化（動的計画法）[A. Graves+ ICML 2006]• ⾳声認識でよく⽤いられる
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

17

漸進的テキスト⾳声合成Yanagita, Sakti, and Nakamura: Neural iTTS: Toward Synthesizing Speech in Realtime with End-to-End Neural Text-to-Speech Framework, Proc. of the 10th ISCA
Speech Synthesis Workshop, pp. 183-188 (2019)
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

テキスト⾳声合成と漸進的処理

18•アクセント/イントネーション決定に⽂脈が必要• 英語: 2単語程度? ⽇本語: 2アクセント句程度?
（提案⼿法における実験結果より）•漸進的合成でも⾳声を滑らかに繋ぐ• 分割して出⼒しても繋ぎ⽬の連続性が欲しい

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

提案⼿法: 合成過程の分割と直前結果参照•学習データも分割
This </m>

Text and acoustic features<m>is </m><m>Tacotron.

This is Tacotron.

This is </m>
This is an inital step.
<m>inital step.

Nice to meet you.

Nice </m><m>an </m><m>to meet </m>
: ⽂の開始 
: ⽂の終了
<m>: 途中の合成セグメントの開始 </m>: 途中の合成セグメントの終了<m>you.
•合成時は直前の結果を初期値として再利⽤…

Unit 1 
 This is </m>Unit 2 <m> the TTS</m>

Neural iTTS

Neural iTTS零ベクトル

or零ベクトルか直前のメルスペクトログラムベクトルAugmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

…

19

20

⾳声から⾳声への同時翻訳システム
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

21

システム構成⾳声
⼊⼒

⾳声認識 テキスト 機械翻訳 テキスト ⾳声合成
⼊出⼒

⾳声認識⾳声⼊⼒

⼊出⼒

機械翻訳
⾳声翻訳
サーバ

⾳声合成

⾳声
出⼒

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

⾳声出⼒デモ映像：同時⾳声翻訳

Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

22

おわりに
•同時通訳は⾮常に挑戦的な課題• 低遅延• 要約・簡明化• 予測•技術的に興味深い問題• モデルやアルゴリズム• ⾔語と知能
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

23

さらなる挑戦•要約・簡明化された訳出• 職業通訳者の通訳から学習可能か？

•評価• 意味レベルの評価• 時間制約を考慮した実⽤的評価•通訳者の同時通訳を⽀援する技術
Augmented Human Communication Laboratory
⾔語処理学会 第26回年次⼤会（オンライン）

24