漸進的な⾳声認識・機械翻訳・テキスト⾳声合成に基づく⾳声から⾳声への同時翻訳
Sashi Novitasari, 帖佐 克⼰, 柳⽥ 智也, ⼆⼜ 航介
須藤 克仁, Sakriani Sakti, 中村 哲
奈良先端科学技術⼤学院⼤学
Augmented Human Communication Laboratory※ 本研究の⼀部はJSPS科研費JP17H06101の助成を受けたものですはじめに
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

2

逐次通訳と同時通訳•逐次通訳• 発話ごとに通訳•同時通訳• 発話と同時並⾏で通訳

Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

3

翻訳と通訳•翻訳• 静的• 書き⾔葉が多い• スタイルガイド•通訳• 動的• 話し⾔葉
• 時間の制約

Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

4

同時通訳における遅延(1) The relief workers (2) say (3) they don’t
have (4) enough food, water, shelter, andmedical supplied (5) to deal with (6) thegigantic wave of refugees (7) who areransacking the countryside (8) in search of thebasics (9) to stay alive.
出典: ⽔野 的 (Akira Mizuno),『同時通訳の理論：認知的制約と訳出⽅略』
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

5

同時通訳における遅延(1) The relief workers (2) say (3) they don’t have (4) enough food, water,
shelter, and medical supplied (5) to deal with (6) the gigantic wave ofrefugees (7) who are ransacking the countryside (8) in search of the basics(9) to stay alive.

(1) 救援担当者は (9) ⽣きるための (8) ⾷料を求めて (7) 村を荒らし回っている (6) ⼤量の難⺠たちの世話をするための (4) ⼗分な⾷料や⽔，宿泊施設，医薬品が (3) 無いと (2)
⾔っていますAugmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

6

順送りの訳(1) The relief workers (2) say (3) they don’t have (4) enough food, water,shelter, and medical supplied (5) to deal with (6) the gigantic wave ofrefugees (7) who are ransacking the countryside (8) in search of the basics(9) to stay alive.

(1) 救援担当者たちの (2) 話では (4) ⾷料，⽔，宿泊施設，医薬品が (3) ⾜りず (6) ⼤量の難⺠たちの (5) 世話ができないとのことです．
(7) 難⺠たちは今村々を荒らし回って，(9) ⽣きるための (8) ⾷料を求めているのです．
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

7遅延削減に向けた戦略
1. 部分的な訳出が可能になった時点で訳出を開始する
2. 訳出の順序を⼊⼒に近いものに変更する
3. 訳出を簡明 (concise) にする「だ未はで点4. ⼊⼒を予測する (anticipation)
現時」
訳
翻Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

8研究の⽬標•⾳声⾔語処理技術に基づく同時通訳• ⾳声認識・機械翻訳・テキスト⾳声合成の統合• 漸進的、かつ実時間動作が必要

Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

9漸進的⾳声認識
Novitasari, Tjandra, Sakti, and Nakamura: Sequence-to-Sequence Learning
via Attention Transfer for Incremental Speech Recognition, Proc. Interspeech
2019, pp. 3835-3839 (2019)
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

10

⾳声認識と漸進的処理•⾳声認識における⽂脈情報• タスク⾃体はmonotoneで並べ替えはない• ⾔語モデル観点での⽂脈は必要•漸進的処理を実現する⽅式• HMM: ⻑距離/後⽅⽂脈を考慮できない → ⾃明• End-to-End: ⼊⼒全体を注視機構で参照可能• 処理単位を分割して参照範囲を限定• どう注視範囲を限定させるか？

Augmented Human Communication Laboratory

提案⼿法: 注視転移による漸進的⾳声認識•教師モデルは全体を参照可能•⽣徒モデルは局
所情報のみ利⽤• 教師モデルの注視を最⼤限真似る学習
Augmented Human Communication Laboratory漸進的機械翻訳
帖佐, 須藤, 中村: 英⽇同時翻訳のためのConnectionist TemporalClassificationを⽤いたニューラル機械翻訳, 情報処理学会研究報告 2019-NL241 (2019)
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

13遅延と流暢さのトレードオフ•遅延を短くすれば流暢さは⼀般に低下
I’m going to take youon a journeyin the next 18 minutes.

皆様をお連れします
旅へ
今から18分後です
今から18分で皆様を旅へお連れしますAugmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

14提案⼿法: デコーダにおける適応的遅延•特殊記号 <wait> を定義し遅延を制御<wait> <wait> President Bush

ブッシュ ⼤統領はプーチン<wait> meetsと会談

withPutin

する

Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

15

⽬的関数
•⼆種類の損失を最⼩化• 遅延• 単語予測誤り
これは機械

翻訳です

athisiswas
aregoestranslation
machineVector representations of input words

This
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

16

<wait>挿⼊位置の問題•<wait>の位置は⾃由度が⾼い• President Bush meets <wait> with• President Bush <wait> meets with• President <wait> Bush meets with•…

•Connectionist Temporal Classification (CTC)に基づく最適化（動的計画法）[A. Graves+ ICML 2006]
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

17

漸進的テキスト⾳声合成Yanagita, Sakti, and Nakamura: Neural iTTS: Toward Synthesizing Speech in
Real-time with End-to-End Neural Text-to-Speech Framework, Proc. of the10th ISCA Speech Synthesis Workshop, pp. 183-188 (2019)
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

18

テキスト⾳声合成と漸進的処理•アクセント/イントネーション決定に⽂脈が必要• 英語: 2単語程度? ⽇本語: 2アクセント句程度?
（提案⼿法における実験結果より）•漸進的合成でも⾳声を滑らかに繋ぐ• 分割して出⼒しても繋ぎ⽬の連続性が欲しい
Augmented Human Communication Laboratory

提案⼿法: 合成過程の分割と直前結果参照•学習データも分割
This </m>

Text and acoustic features<m>is </m><m>Tacotron.

This is Tacotron.

This is </m>
This is an inital step.
<m>inital step.

Nice to meet you.

Nice </m><m>an </m><m>to meet </m>
: ⽂の開始 
: ⽂の終了
<m>: 途中の合成セグメントの開始 </m>: 途中の合成セグメントの終了<m>you.
•合成時は直前の結果を初期値として再利⽤
Unit 1 
 This is </m>Unit 2 <m> the TTS</m>

Neural iTTS

Neural iTTS
零ベクトル

or零ベクトルか直前のメルスペクトログラムベクトルAugmented Human Communication Laboratory…

…

⾳声から⾳声への同時通訳システム
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

21

システム構成
⾳声
⼊⼒

⾳声認識 テキスト 機械翻訳 テキスト ⾳声合成
⼊出⼒

⾳声認識⾳声⼊⼒
Augmented Human Communication Laboratory

⼊出⼒

機械翻訳
⾳声翻訳
サーバ

⾳声合成

⾳声
出⼒

⾳声
出⼒

デモ: 同時⾳声翻訳

Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

23

おわりに
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

24

おわりに
•同時通訳は⾮常に挑戦的な課題• 低遅延• 要約・簡明化• 予測•技術的に興味深い問題• モデルやアルゴリズム• ⾔語と知能
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

25

さらなる挑戦•要約・簡明化された訳出• 職業通訳者の通訳から学習可能か？

•評価• 意味レベルの評価• 時間制約を考慮した実⽤的評価•通訳者の同時通訳を⽀援する技術
Augmented Human Communication Laboratory
Symposium on NG-SLR (2019/09/02)

26