基盤研究S （2017-2021)

次世代音声翻訳の研究研究代表者：奈良先端科学技術大学院大学
中村 哲
研究分担者：河原達也（京大），猿渡 洋，高道慎之介（東大），
森島繁生（早大），戸田智基（名大），吉野幸一郎（理化学研究所）
須藤克仁，S. サクティ，田中宏季（奈良先端大）連携研究者：水野 的（青山学院大），A.Waibel(CMU/KIT), G. Neubig(CMU)

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

1

自動同時通訳／同時音声翻訳
o 漸進的音声認識結果を受け取り，漸進的に翻訳／通訳する
o 漸進性：入力の終わりを待たずに，高速に処理する
o 頑健性：入力の曖昧性や誤りの影響を抑える

o 「次世代」音声翻訳への挑戦
o 発話終了を待たない漸進的な音声認識，機械翻訳，音声合成 (Incremental)o 異なる言語構造の言語間（日英）の自動同時音声翻訳のための言語運用
o 先を予測する，文の構造を変える
o End-to-end のSpeech-to-speech Translationo パラ言語の音声翻訳
o 独自コーパスの構築
o 400時間を目標

o 通訳者の訳出との比較，通訳者の脳活動の分析
o 実用向けに有意義な評価方法
o IWSLTにおけるShared Task
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

3

本提案の研究課題
雑音源、音響特性
課題１：自動音声同時通訳と音声翻訳の高度化

音源推定
雑音抑圧

常時・同時複数
話者音声認識

同時
言語翻訳

パラ言語
情報抽出

同時パラ
言語翻訳

同時パラ言語
音声合成

字幕生成

課題２：パラ言語音声翻訳
発話顔画像
抽出、３Dモデル

同時
音声合成

発話顔
画像変換

発話顔画像
制御、生成

課題３：ビデオコンテンツ字幕翻訳，音声画像翻訳

課題4：脳活動を含むセンシングによる実時
間コミュニケーション測定
視線検出装置Tobi，モバイル心拍計，32ch
脳波計を用いて同時通訳作業時，および同時通訳ユーザの聴取負荷の測定を行う．

2021/2/18

課題５： コーパス構築とプロトタイプシステム
400時間以上の研究用の日英双方向同時通訳コーパス，およびビデオ翻訳コーパスを構築する．
次世代音声翻訳システムのプロトタイプを構築する．
研究代表者，分担者の大学の講義，講演，会議の同時通訳とアーカイブ翻訳に適用し，評価，コーパスとしての蓄積，モデルの学習，改良を継続的に行う．

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

4

本提案の研究体制

本日はNAIST担当分について紹介2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

5

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

6

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

7

同時音声翻訳o 同時音声翻訳
o 発話終了を待たない漸進的な音声認識，機械翻訳，音声合成 (Incremental)o 異なる言語構造の言語間（日英）の自動同時音声翻訳のための言語運用
o 順送り翻訳o 先を予測する，文の構造を変える

o 同時音声翻訳の構成要素
o 漸進的音声認識(Incremental ASR)o 漸進的機械翻訳(Incremental MT/Simultaneous MT)o 漸進的音声合成(Incremental TTS)
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

8

人間の同時通訳モデル[水野2016]
英日通訳の場合の例(1) The relief workers (2) say (3) they don’t have (4) enough food, water, shelter,and medical supplies (5) to deal with (6) the gigantic wave of refugees (7) who areransacking the countryside (8) in search of the basics (9) to stay alive.
(1) 救援担当者は (9) 生きるための (8) 食料を求めて (7) 村を荒らし回っている (6) 大量の難民達の (5)世話をするための (4) 十分な食料や水，宿泊施設，医療品が (3) 無いと (2) 言っています．

(1) 救援担当者達の (2) 話では (4)食料，水，宿泊施
設，医薬品が， (3) 足りず (6) 大量の難民達の (5)世話が出来ないとのことです．(7) 難民達は今村々
を荒らし回って， (9) 生きるための (8) 食料を求めているのです．

記憶チャンク数

必要短期記憶＞３！
2021/2/18

必要短期記憶＜３！

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

9逐次性向上に向けて伝達遅延と精度低下のtrade-off: 速く＆正確に
o 訳出開始判定
o 語順を崩さずに訳出できるか否かを逐次予測
o その時点までの統語要素＋直後の要素の予測結果を利用（Oda+ ACL-IJCNLP2015）
o 音声認識と統合して実用的な効果を確認する

o 洗練された訳出方略
o 文構造を変えて訳出開始を早める（関係詞節等）
o 述語等を予測してさらに早く（特に日英通訳）
o 同時通訳の理論やノウハウの活用（水野，同時通訳の理論―認知的制約と訳出方略）

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

10

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

11

漸進的音声認識

Novitasari, Tjandra, Sakti, and Nakamura:“Sequence-to-Sequence Learning via Attention Transfer for Incremental Speech
Recognition”,
Proc. Interspeech 2019, pp. 3835-3839 (2019)2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

12

ニューラルネットによる漸進的音声認識
漸進的音声認識

ISR: Incremental Speech Recognition● ISRは発話終了を待たずに音声認識出力 (low delay)
o 入力音声の部分系列から漸進的に出力
o 出力も可変長：Encoder-decoderの特徴
o HMMベースのものは存在するがEnd-to-endで実現したい．

● 課題：入力からの部分系列をどう決めるか．
1)

入力音声の境界の決定
どこまで読み込むか．

2)
Give
output?

出力系列の境界の決定
どこまで出力するかA B C D …

SpeechSpeechGive
output?

短い入力，短い出力の間のアライメントを学習する必要がある．
2021/2/18

When tostop?

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

When tostop?

K L M N …

13

13

Attention-Transfer ISR
Attention-Transfer Incremental Speech Recognition (AT-ISR)[Novitasari et al., 2019]●

AT-ISR Training

目的
従来のSeq2Seq ASRを教師モデル(Teacher)，短い単位で動作する
ISR ASRを生徒モデル(Student) とし，教師モデルのアライメント
を使いながら生徒モデルのパラメータ学習を行うoo

ISR architecture
漸進ステップ: 教師モデルと同じ Seq2Seq: 教師ASRモデルのアテンションから学習● Attention transfer : Attention knowledge を教師モデルから生徒モデ
ルにトランスファーする．
o 先行研究 → 画像認識
▪ Teach another model [Zaguruyko and Komodakis, 2017]▪ Domain transfer (image to video) [Li et al., 2017]o 漸進的音声認識への適用は初めて

2021/2/18

This isboundary!

ABCDEFG

ABCD|

EFG|

ASR

ISR

ISR

Att

This isboundary!

Standard ASR(TEACHER)IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAISTISR(STUDENT)

14

14

Attention-Transfer ISR
Attention Transfer
教師モデルにおけるAttentionベースのアライメントを使ってISR生徒モデルを学習する． (teacher)1) 学習時の音声とテキスト（文字列）のアライメントをアテン
ションマトリクスから抽出する．
(alignment pair = high attention score):

2) ISR生徒モデル𝒀𝑛 + </m> を教師モデルの𝐗 n を用
いて学習（/m は処理ブロックの文字列終了タグ）

</m>

</m>

𝒀2

𝒀1

Teacher ASR attention matrix


Alignment
Char
Token
ID

Seg. ID(n)

Speech seg.
(𝑿𝒏 )Text seg.
(𝒀𝒏 )1

x1 – xw

y1 – y32

xw+1 – xw+2

y4 – y5(etc.)

𝑿1

𝑿2
n=1

Speech Frame Block ID(1 block = W frames)
2021/2/18

n=2

ISR delay can be managed by changing 𝑿𝑛 and 𝒀𝑛 size during
training
e.g. higher delay : combine several segments into one
IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

1515

AT-ISR Performance
Result

WSJデータによる評価．文字列の誤り率
Delay (sec)Model

CER (%)
Input

Computation●

平均的な発話長: 7.88 sec●

Machine: Intel® CoreTM i7-9700K CPU @ 3.60GHz

Non-incremental ASR (Topline)
Att Enc-Dec (ours)
BiLSTM-CTC [1]Joint CTC+Att [1](NVIDIA GeForce RTX 2080Ti GPU)

7.88 (avg)0.32 (avg)

6.26
8.97
7.36

Baseline neural ISR
Input/step: 1 m + 1 laInput/step: 1 m + 4 la

0.24
0.54

0.02
0.05

20.15
11.95

0.24
0.54

0.02
0.05

CER
diff.:

1.3%

18.37
7.52

Other existing neural ISR
LSTM-CTC beam search[2]

文脈をみるためLook-a-head (la)も利用．

AT-ISR はより短い遅延で小さなCER

Proposed AT-ISR
Input/step: 1 m + 1 laInput/step: 1 m + 4 la

●

-

-

10.96

*Note
m
= main input blockla= look-ahead block (contextual input)
1 block = 8 frames = 0.14 sec[1] Suyoun Kim, Takaaki Hori, and ShinjiWatanabe. Joint CTC-attention based end-to-end speech recognition using multitask learning. In Proceedings of ICASSP, pages 4835-4839, New Orleans, USA, 2017.
[2] Kyuyeon Hwang and Wonyong Sung. Character-level incremental speech recognition with recurrent neural networks. In Proceedings of ICASSP, pages 5335 - 5339, Shanghai, China, 2016.

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

16

16

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

17

漸進的テキスト音声合成

Yanagita, Sakti, and Nakamura:
Neural iTTS: Toward Synthesizing Speech in Real-time with End-to-End Neural
Text-to-Speech Framework,
Proc. of the 10th ISCA Speech Synthesis Workshop, pp. 183-188 (2019)2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

18

漸進的音声合成 Text-to-speech

漸進的音声合成 iTTS：Incremental Text-To-Speech
課題• 音声品質の確保• 韻律を部分文からどうやって推定するか．
• 単語やアクセントフレーズを単位として合成• 先読み look-a-head を行う．

先行研究
• HMM音声合成をベースにしたもの
Hidden Markov model TTS[Baumann et al., 2014.],[Pouget et al., 2015],[Yanagita, et al., 2018]• End-to-end 型で実現したい．

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

19

提案手法
o

文を3つの部分に分割して学習．
o
o
o

o
o

先頭（
 …… </m> )中間（<m> …… </m> )終了（<m> …… 
 )
: sentence start
: sentence end<m>: middle sentence start</m>: middle sentence end

iTTSでは直前の結果を初期値として再利用
単位oo

英語は単語単位
日本語はアクセント句

Inference: Ex. “Today we talk about TTS.”

2021/2/18

Encoder

Encoder

Encoder

Encoder
 Today 
<m> we 

 Today </m><m> we </m>

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

20iTTS合成プロセス

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

21

日本語iTTSのMOS評価
Still big gap between natural speech and synthesized speech.
Half sentence unit ≒ the full sentence units (Ja.).
4.95

5
4
2.81

3

2.88

3.13

3.18

2.22

2
1
One
Two
Three
Half sentenceaccent phrase accent phrases accent phrases

2021/2/18

Sentence

NaturalIPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

22

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

23

漸進的機械翻訳

帖佐, 須藤, 中村:
英日同時翻訳のためのConnectionist Temporal Classificationを用いたニューラル機械
翻訳,
情報処理学会研究報告 2019-NL-241 (2019)2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

24

音声翻訳で実現するには？

４つの課題:⚫

分割: いつ翻訳を開始するか?

⚫

予測: 次の発話をどう予測するか？

⚫

言い換え: 同時通訳用に言い換えることが出来るか?

⚫

評価: どの通訳結果が良いかどう評価するか?

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

25

分割してみよう（Fujita, et al., Interspeech 2013）⚫

統計的機械翻訳で用いられる翻訳モデルに着目＋データから自動構築可能⚫ ＋言語情報を利用⚫ ＋翻訳と同じ情報を利用するため相性が良い
⚫

⚫

具体的には
「フレーズ」と呼ばれる、翻訳に用いる単語列の区切りで翻訳開始⚫ 「並べ替え確率（右確率）」で同時性と精度のバランスを調整⚫ 「言語モデル適応」を行い、精度の低下を防ぐ⚫

Tomoki Fujita,, Graham Neubig, Sakriani Sakti, Tomoki Toda, Satoshi Nakamura"Simple, Lexicalized Choice of Translation Timing for Simultaneous Speech Translation"
Proc. of INTERSPEECH 2013, 3487-3491, 29. Aug. 2013
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

26

実験 (IWSLT2013)o 対象データ: TED Talk（英語⇒日本語）－ 翻訳(キャプション)vs. 通訳o 異なるスキルの通訳者
スキルのレベル# 経験年数

Ｓ

15 年

Ａ

4年

Ｂ

1年

Hiroaki Shimizu, Graham Neubig, Sakti Sakriani Watiasri, Tomoki Toda, Satoshi Nakamura"Constructing a Speech Translation System using Simultaneous Interpretation Data"
Proc. of International Workshop on Spoken Language Translation (IWSLT), Dec. 2013
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

27

結果
A ランク（経験 4 年）

RIBES

Accurate50

Ａ ランク：4 年経験
Ｂ ランク：1 年経験48

B ランク（経験 1 年）
46

発話終了時翻訳

44

LM+Tu
A rank42

B rank40

フレーズ終了時翻訳
38
0

1

2

3

4

5

6

Dealy (Sec)Fast≒
2021/2/18

経験年数1年のB ランク通訳者と同等
IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

28

統語要素予測に基づく訳出開始判定
Syntax Prediction Process

o 未観測の統語要素（ラベル）を予測
o 既観測部を構文解析
o 素性抽出＆要素予測

1. Parse the input as-is

2. Extract features

PP
IN

Word:R1=I
POS:R1=NN
Word:R1-2=I,minutes
POS:R1-2=NN,NNS
...

NP
NP
DT

JJ

CD

NP
NNS

in the next 18 minutes

NN

I

ROOT=PPROOT-L=IN
ROOT-R=NP...

3. Predict the next tag(linear SVM)
VP ... 0.65
NP ... 0.28
4. Append tonil ... 0.04
sequence
...

VP

nil

5. Repeat until nil

Input translation unito 翻訳途中に統語要素ラベルが現れたら「待機」
10/16/2016

o 句の並べ替えの有無によって訳出タイミング
を変更する

タグ推定後の入力文

Invited Talk ©Satoshi Nakamura, NAIST

46

in the next 18 minutes
i 'm going to take [NP] (待機)i 'm going to take you on a journey

翻訳結果

18 分 で あ る[NP] を 行 っ て い ま す
皆さん を 旅 に お連れ します

Oda, Yusuke et al., Syntax-based Simultaneous Translation through Prediction of Unseen Syntactic Constituents, Proc. of ACL-IJCNLP 2015.
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

29

Statistical Machine Translation Frameworks
Symbolic Models

Continuous-space (Neural) Models

Phrase-based MT [Koehn+ 03]
he

has

a

has
引いている

he
彼は

a cold
風邪 を

彼

は

風邪

を

he

cold

he
彼は

Encoder-Decoder [Sutskever+ 14]
hasacold 


彼

は

風邪

を

引いて
いる

彼

は

風邪

を

引いて
いる




a cold
風邪 を

has
引いている
引いている

Attentional [Bahdanau+ 15]

Tree-to-String MT [Liu+ 06]

he

S

has

a

cold

VP
NP
PRP

VBZ

DET

NN

he

has

a

cold

彼

は

風邪

を

g1,...,g4
a1

a2
hi-1

a3

a4
hi

引いている

P(ei|F,e1,...,ei-1)

ri-1

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAISTIntelligent and Invisible Computing

30

30

Attention-based Representationo Decoder takes attentional context vectors
o 𝑐𝑡 looks over 𝑥1 , ⋯ , 𝑥 𝒙
𝑦ො1

𝑦ො2

𝑦ො3

𝑦ො4

𝑦ො5

𝑦ො6

𝑦ො7

President Bush meetswith

Putin today


Latency (#InputTokens steps)

𝑐3

ℎ1𝑒

ℎ2𝑒

ブッシュ大統領

𝑥1

2021/2/18

𝑥2

ℎ5𝑒

ℎ1𝑎

ℎ2𝑎

ℎ3𝑎

ℎ4𝑎

ℎ5𝑎

ℎ6𝑎

ℎ7𝑎

ℎ2𝑑

ℎ3𝑑

ℎ4𝑑

ℎ5𝑑

ℎ6𝑑

ℎ7𝑑

ℎ3𝑒

ℎ4𝑒

ℎ6𝑒

ℎ7𝑒

ℎ8𝑒

ℎ1𝑑

は

今日 プーチン と会談

する
 President Bush meets with

𝑥3

𝑥4

𝑥5

𝑥6

𝑥7

𝑥8

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

Putin today
31

従来手法：訳出開始の固定ステップ数遅延
o Wait-k (Ma+, ACL 2019)
President

Bush

meets

with

Putin

今日

プーチン

と

会談

する

today

Wait-3ブッシュ 大統領

2021/2/18

は

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

32

Previous Worko Wait-k (Ma+, ACL 2019)o Decoder runs incrementally
𝑦ො1
𝑦ො2
𝑦ො3
𝑦ො4
o 𝑐𝑡 looks over 𝑥1 , ⋯ , 𝑥𝑡+𝑘−1President Bush meets with𝑐3

Wait-3ℎ1𝑒ℎ2𝑒

ブッシュ大統領

𝑥1

2021/2/18

𝑥2

ℎ5𝑒

𝑦ො5

𝑦ො6

𝑦ො7

Putin today




ℎ1𝑎

ℎ2𝑎

ℎ3𝑎

ℎ4𝑎

ℎ5𝑎

ℎ6𝑎

ℎ7𝑎

ℎ2𝑑

ℎ3𝑑

ℎ4𝑑

ℎ5𝑑

ℎ6𝑑

ℎ7𝑑

ℎ3𝑒

ℎ4𝑒

ℎ6𝑒

ℎ7𝑒

ℎ8𝑒

ℎ1𝑑

は

今日 プーチン と会談

する
 President Bush meets with

𝑥3

𝑥4

𝑥5

𝑥6

𝑥7

𝑥8

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

Putin today
33

Proposed Methodo Adaptive Waits (Chousa+, IPSJ SIG-NL 241)o Can emit <wait> instead of a token𝜋ො1o 𝑐𝑡 looks over 𝑥1 , ⋯ , 𝑥𝑡

ℎ2𝑒

ブッシュ大統領

𝑥1

2021/2/18

𝑥2

ℎ5𝑒

𝜋ො 3

𝜋ො 4

𝜋ො 5

𝜋ො 6

𝜋ො 7

President Bush <wait> <wait> <wait> <wait> meets

𝑐7

ℎ1𝑒

𝜋ො 2

ℎ1𝑎

ℎ2𝑎

ℎ3𝑎

ℎ4𝑎

ℎ5𝑎

ℎ6𝑎

ℎ7𝑎

ℎ2𝑑

ℎ3𝑒

ℎ4𝑒

ℎ6𝑒

ℎ7𝑒

ℎ8𝑒

ℎ1𝑑

ℎ3𝑑

ℎ4𝑑

ℎ5𝑑

ℎ6𝑑

ℎ7𝑑

は

今日 プーチン と会談

する
 President Bush

Bush

Bush

Bush

Bush

𝑥3

𝑥4

𝑥5

𝑥6

𝑥7

𝑥8

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

34

Resultso Achieved adaptive waits but also observed some degradation
in BLEU (En-Ja translation)
Method

Delay

BLEU

Full Sentence
k=5
Wait-kk=39.75 (±2.69)

34.53
33.29
31.06

α=0.004.32 (±3.14)

α=0.01

4.29 (±3.16)

α=0.032.88 (±2.95)

Proposed

5.00 (±0.00)

3.00 (±0.00)

28.01
30.42

26.47
22.60

α=0.050.80 (±1.96)
Table 1: Results using very small corpus (50K sents.)
2021/2/18

Method

Delay

BLEU

Full Sentence
k=7
Wait-kk=529.81 (±14.30)

32.22
23.20

α=0.0323.03 (±14.08)

α=0.0521.96 (±13.88)

Proposed

7.00 (±0.00)
5.00 (±0.00)

21.53
24.86

22.45
23.66

α=0.1
17.13 (±12.69)
Table 2: Results using mid-scale corpus (1M sents.)

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

35

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

36

NAIST 同時通訳コーパス①
o 2012-2016年度収録
o 元音声: MP4 (TED), MP3 (CNN), PCM
o 通訳音声: 24bit 48kHz PCM
o 通訳者ランク：S (10年+), A(3年+), B
o 複数の通訳音声が収録されたものも一部あり
言語方向

英日

日英

2021/2/18

ドメイン

原音声

同時通訳収録済み

ファイル数

時間

ファイル数

時間

TED

74

15.2

58

12.3

CNN

13

0.731

7

0.389

合計

87

15.9

65

12.7

TED

60

11.9

60

11.9

CSJ

31

5.51

31

5.51

NHK

10

0.304

10

0.304

合計

101

17.7

101

17.7

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

37

NAIST 同時通訳コーパス① (2017-2021)
o 400 hours by March 2022

Direction

Domain

2017

2018

2019

2020

2021 (plan)

En-Ja

TED

0

67 + 12 (4 x 3 SIs)

50

50

30

CSJ

0

33

0

0

0

TEDx

0

12 (4 x 3 SIs)

40

0

30

Press conference

0

4

36.5

0

0

Symposium

5.5

0

0

0

0

Total

5.5

128

126.5

50

60

Cum.

5.5

133.5

260

310

400

Ja-En
Mixed

Table 4: Recoding hours of simultaneous interpretations (2017-)
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

38

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

39

同時音声翻訳システム構成

音声
入力

音声認識

入出力

音声認識

音声
入力

2021/2/18

テキスト

機械翻訳

テキスト

音声合成

入出力

機械翻訳
音声翻訳
サーバ

音声
出力

音声合成

音声
出力

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST40

ISR, IMT, iTTS 出力タイミング

Katsuhito Sudoh, Takatomo Kano, Sashi Novitasari, Tomoya Yanagita, Sakriani Sakti, Satoshi Nakamura“SIMULTANEOUS SPEECH-TO-SPEECH TRANSLATION SYSTEM WITH NEURAL INCREMENTAL ASR, MT, AND TTS”
arXiv:2011.04845v2 [cs.CL] 11 Nov 20202021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

41

デモ映像：同時音声翻訳

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

42

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

43

パラ言語情報o パラ言語情報：
o 個人性：声質に個人性が含まれる
o 強調，感情：o 意図，話題の焦点が含まれる．
o F0周波数パターンの変化や，ポーズ，強勢の違いに現れる．
o 文構造，Phrase boundaryの影響を受ける．
o 音響情報の言語情報の組み合わせで表現される．
⇒

2021/2/18

音声処理と言語処理をさらに融合する必要．

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

44

パラ言語を考慮した音声翻訳
o 強調の音声翻訳“It is hot today”

English“今日は熱いです”

ASR

MT

ES

ET

Source emphasis
information

Target emphasis
information.

(1) 強調の推定Japanese

TTS

Emphasis estimation (ES) systems:

音声と単語列から強調度を推定(2) 強調の翻訳

Emphasis translation (ET) systems:

強調を目的言語に翻訳する
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

45

(2) 強調情報の翻訳(c)言語と強調情報の統合翻訳[Do et al., 2017]

Skip-Enc-residual

atsui

0.8

Attention
DecoderconcatPositioning

Encoder
It

is

hot

0.3

0.1

0.7

x

The joint translation model
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

46

Experimental Resultso English-Japanese Emphases Translation
Performance47

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

クラウドソーシングによる評価● タスク： 音声とテキストの等価性についての評価

被験者に音声とテキストを提示○ 被験者は提示された音声とテキストの強調度が同じかどうかを回答.
○

48
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

49

Deep Learningによる直接音声翻訳
o 音声入力、翻訳出力をEnd-to-endで学習できないか？
o Attention LSTMを用いたEnd-to-end 音声翻訳*
Acoustic
features

Targetwords

Attention

Bi-directional
LSTM Encoder••

LSTM decoder

L.Duong et al. NAACL 2016
Alexandre Berard et. al “Listen and Translate: A Proof of Concept for End-to-End Speech-to-Text Translation” ,NIPS workshop 2016

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

50/20

Curriculum Learningを用いたEnd-to-end 音声翻訳
Phase 1

Phase 2Phase 3ASR

ASR

ASR + MT

Slow track
Attention
Bi-LSTM
Encoder

Bi-LSTM
Encoder

LSTM
Decoder

Attention
LSTM
Transcoder

Bi-LSTM
Encoder

LSTM
Transcoder

LSTM
Decoder

ASR + MT

MT
Fast
track

Attention
Bi-LSTM
Encoder

Attention

LSTM
Decoder

Bi-LSTM
Encoder

Attention

LSTM
Decoder

Attentional-based LSTMをASR,MT用に学習しておき、逐次End-to-end音声翻訳にカリキュラム学習する
叶 高朋，サクリアニ サクティ，中村 哲, “カリキュラムラーニングを用いた日英直接翻訳システ
ムの提案”、音響講論 2-10-5
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

51

Curriculum Learningによる音声翻訳結果

End-to-end音声翻訳の性能
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

52

Proposed: Transformer-based Direct Speech-to-speech
Translation with Transcoder
Proposed✓ The model utilizes all trained modules to translate.
Targettext

ASR
DecoderMT
Decoder

Transcoder

Attention

Transcoder

Attention

Attention

EncoderEnglishtranscription

TTS
DecoderJapanese
SpeechEnglishSpeech✓ ASR and MT decoders provide attention alignment necessary in the next block.

✓ The model uses a combination of 3 attentions for alignment source to target speech.
✓ Transcoder converts different hidden states in speech translation.
✓ The model converts ASR and MT hidden states into MT and TTS hidden states.
✓ We revamp the RNN-based speech-to-speech translation model by the Transformer.
Takatomo Kano, Sakriani Sakti, Satoshi Nakamura, “TRANSFORMER-BASED DIRECT SPEECH-TO-SPEECH
TRANSLATION WITH TRANSCODER”, IEEE Spoken Language Technology Workshop, Jan. 20, 2021
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

53

Experiment Results
BLEU and METEOR scores of speech-to-speech translation

Syntactic similar
Model

Syntactic distant

En to ESJa to Ko

En to Ja

Ja to EnBLEU

METEORBLEU

METEOR

Baseline: Cascade (RNN)

38.9

47.7

38.7

49.1

32.5

44.2

32.0

43.2

Baseline: Cascade (Transformer)

41.3

52.1

41.0

51.1

34.1

45.2

35.0

45.3

Multi-task (RNN)

38.8

48.2

39.1

49.9

33.2

45.5

34.2

45.0

Multi-task (Transformer)

43.1

58.8

42.5

58.3

36.9

52.6

38.3

48.4

Transcoder(Transformer)

44.0

59.3

42.9

58.8

40.6

56.6

41.0

55.8

✓Our proposed approach outperforms Multi-task speech translation.
✓The proposed method with Transformer further improves performances.
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

54

内容
1. 同時音声翻訳
o
o
o
o
o

漸進的音声認識
漸進的音声合成
漸進的機械翻訳
同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech ChainoMulti-speaker Machine Speech Chain, Incremental Machine Speech Chain

5. まとめと今後の展開
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

55

①Human vs Machine Speech Chain

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

56

①Machine speech chain の構成

a. Machine speech chain の構成

b. ASR から TTS
c. TTSからASR

A.Tjandra,et al., “Listening while Speaking: Speech Chain by Deep Learning“ , arXiv:1707.04879, 2017
Accepted for IEEE ASRU 2017
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

57

①Machine speech chain の構成
ASRの基本構造

TTSの基本構造

Encoder with BiLSTM & sequence subsampling
Decoder with LSTM & attention module

Modified Tacotron with additional speakerembedding + frame ending binary prediction

Reference : Chan et al (2015), Listen Attend Spell

Reference : Wang et al (2017), Tacotron

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

58

Sequel: Speech Chain with One-shot Speaker Adaptationo 課題
o 単一話者から複数話者へ
o 未知の話者への対応 (discrete speaker embedding)o 提案モデル

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST59

ISR and ITTS Independent Training
Attention alignment from
non-incremental ASR• Incremental : Predict a complete output sequence in N steps, for eachstep n :1. Encode a segment of input from input window
2. Decode and predict a segment of output
3. Shift the input windows

Text
Token
ID

• ISR and ITTS training by attention transfer from non-incremental ASR[Novitasari et al., 2019] → same alignment for ISR and ITTS

ISR
Output Text
(Yn)

Step n = 2

a b c </m>d e </m>
ISR

Dec

Full speech(𝑋)
2021/2/18

ITTS

Step n = 1

Step n = 2

x1,… x8

x9,… x16

Dec

Enc

Enc

x1,… x8

x9,… x16

ITTS

Dec

Att

Att

Att

Input Speech(Xn)

Output Speech
(Xn)

Dec

Speech Frame Block ID
Alignment
info.

ITTS

Step n = 1

ISR

Alignment
info.

Input Text
(Yn)

Att

Enc

Enc

<m> a b c </m><m> d e </m>Full text
abcdef(𝑌)
IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

45

まとめ
1. 基盤Sによる次世代音声翻訳研究
1.

oo

同時音声翻訳o

漸進的音声認識o

漸進的音声合成o

漸進的機械翻訳

同時通訳，同時音声翻訳研究のためのコーパス構築
同時音声翻訳プロトタイプ

2. パラ言語の取り扱い
oパラ言語音声翻訳,音声表現とテキスト表現の等価性

3. End-to-end speech-to-speech translation
4. Machine Speech Chaino2021/2/18

Multi-speaker Machine Speech Chain, Incremental Machine Speech Chain

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

61

音声言語の自動翻訳 コロナ社

2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

62

課題と研究課題
o 伝達遅延と精度低下のtrade-off: 速く＆正確にo 洗練された訳出方略
o 語順を崩さずに訳出できるか否かを逐次予測
o 文構造を変えて訳出開始を早める（関係詞節等）
o 予測機能により訳出開始を早める．述語等を予測してさらに早く（特に日英通訳）
o 同時通訳の理論やノウハウの活用

o 通訳品質，同時自動音声翻訳品質の評価法

o 音声認識，音声合成との統合
o End-to-end 同時音声翻訳,パラ言語情報の取り扱い
o 雑音・残響対応、遠隔認識
o 全体最適化

o 持続的なデータ自動収集と教師無し学習
o 方言・アクセント対応

とても5年では終わりそうにない．．．．

o 対話構造・談話構造の考慮
o 知識表現、意味表現とその利用
o IWSLT SHARED TASK
2021/2/18

IPSJ SIGSLP Satoshi Nakamura Copyright@AHC NAIST

63