1Machine Speech Chainによる音声聴取生成システムのモデル化の試み
奈良先端科学技術大学院大学
中村 哲
withSashi Novitasari1 and Sakriani Sakti2,11Nara Institute of Science and Technology, Japan

2Japan Advanced Institute of Science and Technology

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022

All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

人間の音声聴取生成におけるSpeech Chain

2

人間の音声生成と聴取の仕組み→ 聴覚フィードバックを持つフィードバック系

引用＋追記： P. Denes and E. Pinson, The Speech Chain, ser. Anchor books. Worth Publishers, 1993.
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022

All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

3

Lombard EffectLombard Effect (Lombard, 1911)– Lombard Effect とは （Mokbel1992, Junqua1998, Garnier2014)
雑音下で，• 聞こえるように音声のIntensityをあげる• 聞こえるようにf0, フォルマントを調整する （高い周波数方向にシフトする）• 時間軸の変調（発話速度，テンポ）を調整する

Garnier 2014から引用
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

4

Delayed Auditory Feedback*1,2

遅延聴覚フィードバック（DAF)の吃音治療への適用:– DAF デバイス：自分の発話音声を僅かな時間遅延させてヘッドフォーンで再生– 吃音が治ったり，吃音をバイパスすることができる
健常者に対するDAFの適用：– DAFは聴覚・発話生成システムの脳内メカニズムを調べるために利用される– 音声的現象：聴取されるDAF音の外乱に対するため発話者は発話速度を低下させたり，音声の強調（振幅，F０）を行う– 言語的現象：音節の繰り返し，発音間違い，単語や単語の語尾の省略が生じる*1Bernard S. Lee, “Delayed Speech Feedback”, The Journal of the Acoustical Society of America 22, 824 (1950);

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

5Machine Speech Chain▪ ねらい→ 人の処理のようなClosed-loop speech chain model を作る“Goodafternoon”
Sensorynerves

Auditory feedbackSpeaking

Machine Speech Chain
ASRとTTSを統合Motornerves

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

本日の内容6

Machine Speech Chain– 音声生成と聴取のフィードバックループ– 音声合成と音声認識の半教師あり（教師付き＋教師なし）学習– 多数話者 Machine Speech Chain

音声合成におけるMachine Speech Chain Inference– Machine Speech ChainによるLombard音声合成

漸進的Incremental Speech Chain Inference– 動的なMachine Speech Chain Inference

まとめ
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

本日の内容7

Machine Speech Chain– 音声生成と聴取のフィードバックループ– 音声合成と音声認識の半教師あり（教師付き＋教師なし）学習– 多数話者 Machine Speech Chain

音声合成におけるMachine Speech Chain Inference– Machine Speech ChainによるLombard音声合成

漸進的Incremental Speech Chain Inference– 動的なMachine Speech Chain Inference

まとめ
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

これまでの音声認識・合成

8

音声認識：
– モデル学習：文字誤り率，単語誤り率を低下させるように，最尤推定，識別学習• 音声と正解スクリプトのペアデータによる教師付き学習• テスト環境の音声を収集してモデル適応– 音声認識時：• 学習済み（あるいは適応済み）モデルを用いて音声認識• 雑音などがあると信号処理をしてモデル音声に近づけて使用

音声合成：– モデル学習：正解音声と生成音声の信号，スペクトルの誤差を最小化• テキストと自然音声のペアデータによる教師付き学習– 音声合成時：• 学習済み（あるいは適応済み）モデルを用いて音声合成

これまでは音声認識と合成は別の研究？

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

10Machine Speech Chain
Machine Speech Chain:– End-to-end 深層学習ベースの音声認識，音声合成モデルの登場• 殆ど同様のモデル 注意機構付きEncoder-decoderモデル，Transformerモデル• 誤差逆伝搬法により学習できる– Machine Speech Chain：• End-to-end 音声認識，音声合成モデルを連結し誤差を伝搬して学習• 半教師付き学習，自己学習

Andros Tjandra, Sakriani Sakti, Satoshi Nakamura, “Listening whileSpeaking: Speech Chain by Deep Learning”, IEEE ASRU 2017
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

Machine Speech Chain11

定義:– 𝑥 = 学習用音声データ, 𝑦 = 学習用テキストデータ– 𝑥ො = 再構築された予測音声データ, 𝑦ො = 再構築された予測テキストデータ– 𝐴𝑆𝑅(𝑥): 𝑥 → 𝑦ො (seq2seq によるASRで音声をテキスト化)– 𝑇𝑇𝑆 𝑦 : 𝑦 → 𝑥ො (seq2seq によるTTSでテキストを音声化)
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

Machine Speech Chain

12

Case #1: 音声とテキストによる教師付き学習
音声とテキストのペアデータ 𝒙, 𝒚 が存在– ASR，TTSモデルを教師付き学習– 直接それぞれのモデルを学習:→ 𝐴𝑆𝑅 by minimize ℒ𝐴𝑆𝑅 𝑦, 𝑦ො→ 𝑇𝑇𝑆 by minimizing loss between ℒ 𝑇𝑇𝑆 𝑥, 𝑥ො

ASRとTTSは別々に学習される

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

13

Machine Speech Chain
Case #2: 音声データのみを用いた半教師付き学習– 書き起こしのない音声𝒙だけがある場合ℒ 𝑇𝑇𝑆 (𝑥, 𝑥)
ො

1. ASRにより音声認識仮説 𝑦ො を生成
2. 𝑦を用いてTTSを行い音声特徴を予測（再構成）ො𝑥ො
3. 原音声𝑥 と予測音声𝑥の損失誤差
ොℒ 𝑇𝑇𝑆 (𝑥, 𝑥)
ො を求める

TTSモデルがASRを利用して更新される

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

14

Machine Speech Chain
Case #3: テキストのみを用いた半教師付き学習ℒ𝐴𝑆𝑅 (𝑦, 𝑦)
ො– 音声はなくテキスト 𝒚 のみがある場合
1. TTS により音声特徴を生成 𝑥ො
2. 𝑥をASRし予測（再構成）テキスト
ො𝑦ො を再構成
3. 原テキスト 𝑦 と予測テキスト 𝑦ො の文字誤り損失ℒ𝐴𝑆𝑅 (𝑦, 𝑦)ො を求める

ASRモデルがTTSを利用して更新される

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

Machine Speech Chainの損失関数

15Combined loss:

𝑈𝑃ℓ𝐴𝐿𝐿 = 𝛼 ℓ𝑃𝑇𝑇𝑆 + ℓ𝐴𝑆𝑅+ 𝛽 (ℓ𝑈𝑇𝑇𝑆 + ℓ𝐴𝑆𝑅)
教師付きデータ損失

教師なしデータ損失

𝛼,𝛽 はハイパーパラメータ

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

16

多数話者 Machine Speech Chain
一人の声の音声合成と音声認識のモデル

Speaker Embedding(SPKEMB) を導入する．
TTS時にもSPKEMBからベクトルを生成し多様な音声を生成．

Andros Tjandra, Sakriani Sakti, Satoshi Nakamura, “Machine Speech Chain with One-shot
Speaker Adaptation”, INTERSPEECH 2018
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

実験結果 WSJ

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022

17

All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan
http://www.naist.jp/

本日の内容18

Machine Speech Chain– 音声生成と聴取のフィードバックループ– 音声合成と音声認識の半教師あり（教師付き＋教師なし）学習– 多数話者 Machine Speech Chain

音声合成におけるMachine Speech Chain Inference– Machine Speech ChainによるLombard音声合成

漸進的Incremental Speech Chain Inference– 動的なMachine Speech Chain Inference

まとめ
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

19Speech Chainによるフィードバック
TTSの際に合成音を聴取してTTSの品質を動的に調整する → Lombard Speech
ASRとSNR測定を行ってTTSの発話を変化させる
noise

text
LossASR

TTS
Variance
adaptor+noisy speechtext SNR
Auditory feedback

SNREmbASR
Sashi Novitasari, Sakriani Sakti, and Satoshi Nakamura, “Dynamically Adaptive Machine Speech
Chain Inference for TTS in Noisy Environment: Listen and Speak Louder”, INTERSPEECH2021
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

20

システムの構成●

通常のTTS: 文から音声を合成●

提案法のTTS :o
Step1: 文から音声を合成する
o
Step2: SNR測定と音声認識を行いそのフィードバックを用いて音声を再合成

文: “It is a pleasure to meet you”
It is a pleasure to meet
you

TTS+

noise

Variance
adaptorIt is a pleasure to meetyou+

Variance
adaptornoisy speech

Feedback
moduleTTS

noisenoisy speech

Auditory
feedback

Speech intelligibility improved!

ASR, SNR
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

21

フィードバックを有するTransformerベースのTTS●

基本TTS構成： Transformer TTS [Li et el., 2018]○
入力 : 文字列○
出力 ： 音声のスペクトル特徴(80 dims. Mel-spectrogram)• Multi-speaker 条件○Multi-speaker TTS Transformer [Chen et al.,2020]○
Speaker embedding: Deep Speaker [Li et al.,2017] (similar to TTS in the basic machine speechchain)●

提案法TTSの構造（３種類を比較してみた）a) TTS + SNR embedding のみb) TTS + ASRとSNR embeddingc)
TTS + ASRとSNR embedding，
さらに Variance adaptor
Multi-speaker Transformer TTS with Deep Speaker embedding

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

SNR embeddingを利用したフィードバック

22

SNRによるフィードバック• SNR embedding(𝑍𝑆𝑁𝑅 ): 雑音環境中で合成された音声 (𝑦𝑛𝑜𝑖𝑠𝑦 )のSNR𝑍𝑆𝑁𝑅 = 𝑆𝑁𝑅 𝐸𝑚𝑏 (𝑦 𝑛𝑜𝑖𝑠𝑦 )o SNR識別モデルは予め学習しておくo フィードバックの手順▪ Encoder の出力に加える (ℎ𝑒 )𝑒ℎ𝑒 = ℎ𝑡𝑟𝑚
+ 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅𝑖
▪ Decoderの第一層への入力 (𝑦𝑡−1)𝑖
𝑦𝑡−1= 𝑝𝑟𝑒𝑛𝑒𝑡 𝑦𝑡−1 + 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅 + 𝑃𝐸𝑍𝑆𝑃𝐾 : speaker embedding
𝑃𝐸 : positional encoding
SNR emb. module
無限の可能性、ここが最先端 －Outgrow your limits－

Transformer TTS with SNR emb.

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

23

SNR とASR-loss embeddingによるフィードバック
フィードバック:• SNR embedding:• ASR-loss embedding (𝑍𝐴𝑆𝑅 ):ASRの誤りをEmbedding する

𝑍𝐴𝑆𝑅 = 𝐴𝑆𝑅 𝐿𝑜𝑠𝑠 𝐸𝑚𝑏 𝐿𝑜𝑠𝑠𝐴𝑆𝑅 𝑥, 𝑝𝑥
𝑝𝑥 = 𝑝(𝑥|𝑦 𝑛𝑜𝑖𝑠𝑦 )𝑥 : TTS input text (correct text)
𝑝𝑥 : ASR hypothesis•Encoderの出力とDecoderの入力に加える𝑒ℎ𝑒 = ℎ𝑡𝑟𝑚+ 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅 + 𝑍𝐴𝑆𝑅

𝑖𝑦𝑡−1
= 𝑝𝑟𝑒𝑛𝑒𝑡 𝑦𝑡−1 + 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅 + 𝑍𝐴𝑆𝑅 + 𝑃𝐸ASR-loss emb. module
無限の可能性、ここが最先端 －Outgrow your limits－

Transformer TTS with SNR and ASRloss emb.

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

24

TTS with SNR, ASR-loss embedding, Variance adaptor
Variance Adaptor を用いて韻律を制御• Fast Speech [Ren et al., 2020]で提案された方法,
ここではAR型のTransformerに修正して適用• Intensity, Pitch, Durationの３つを制御：• 文字レベルの韻律を制御できる𝑒𝑣 𝑋 = 𝑃𝑟𝑒𝑑𝑖𝑐𝑡𝑜𝑟 𝑋 (ℎ𝑡𝑟𝑚+ 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅 + 𝑍𝐴𝑆𝑅 )o Intensity predictor (X = G)o Pitch predictor (X = P)o Duration predictor (X = D)

• Encoder出力に韻律情報を加える
𝑒ℎ𝑒 = 𝑣 𝐺 + 𝑣 𝑃 + 𝑣 𝐷 + (ℎ𝑡𝑟𝑚+ 𝑍𝑆𝑃𝐾 + 𝑍𝑆𝑁𝑅 + 𝑍𝐴𝑆𝑅 )無限の可能性、ここが最先端 －Outgrow your limits－Variance adaptor
Intensity, Pitch, Duration

Transformer TTS with SNR, ASR-loss
embedding, and variance adaptor

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

25

TTS実験に利用したデータ
A. Wall Street Journal (WSJ) speech [Paul et al., 1992]• 多数話者音声 ８１時間
• 学習セット: SI-284 set, 開発セット: dev92 set,
評価セット: eval93 set

clean speech (A)B. 雑音付加WSJ speech• オリジナルのWSJ speech に雑音を付加
o Noise type : 白色雑音，バブル雑音
o SNR条件: SNR 0 と SNR -10
C. 自然な Lombard 音声• 話者１名によるクリーン，および，雑音環境下の音声• 読み上げテキスト: WSJ speech transcription (dev92 + eval93)

noise+
noisy speech (B)Lombard speech

D. WSJ speechを提案法で合成した疑似Lombard音声• Intensity, Pitch, Duration をフィードバックにより修正した合成音(Natural Lombard – Natural) + WSJ

無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

26

明瞭度(CER) 実験結果●●●評価：音声明瞭度をASR 文字誤り率 (CER) で評価．TTS音声を認識

提案法TTSフィードバック： 4回提案法： TTS + SNR-ASRloss emb. + varianceadaptor ベストoo

SNR, ASRフィードバックが有Variance adaptor が文字レ
ベルの韻律を制御

Speech intelligibility measure (CER %) at different SNR levels using ASR
trained on clean and noisy conditions.
SystemClean
SNR 0Baseline TTS

Standard TTS

SNR -10

18.32

70.54

77.07

+

modification into Lombard speech

18.32

44.68

57.86

+

Fine-tuning with Lombard speech

13.40

28.12

46.13

Proposed TTS
TTS + SNR emb.

11.58

22.82

42.00

TTS + SNR-ASR loss emb.

12.55

16.11

25.61

TTS + SNR-ASR loss emb. + var. adaptor

11.99

14.70

24.96

7.43

22.17

58.81

7.43

13.24

15.15

7.43

11.46

20.56

Topline (human natural speech)⚫

さらに改良の余地がある

Natural speech+modification into Lombard speech

Natural Lombard speech
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

フィードバックの考察●

27

ASR embedding と SNR embeddingに重みを入れて効果を調査
The effect of auditory feedback on speech intelligibility

best!

●

●

クリーン条件では，ASRフィードバックのみがよい (ASR coeff 1, SNR coeff 0)
雑音条件では，ASR＋SNRフィードバックがよい(ASR coeff 1, SNR coeff 1)

SNR, ASR フィードバックの両方が必要
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

本日の内容28

Machine Speech Chain– 音声生成と聴取のフィードバックループ– 音声合成と音声認識の半教師あり（教師付き＋教師なし）学習– 多数話者 Machine Speech Chain

音声合成におけるMachine Speech Chain Inference– Machine Speech ChainによるLombard音声合成

漸進的Incremental Speech Chain Inference– 動的なMachine Speech Chain Inference

まとめ
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

29

雑音中の発話
実際のヒトの発話は雑音が大きくなると大きくなる- 人の反応速度 : 90-176 ms [Foery, 2008]

Intensity(dB)

Noisy speech intensity
plotCleanNoisy
漸進的，動的にフィードバックしてTTSを変化させる必要がある

Time (sec)
無限の可能性、ここが最先端 －Outgrow your limits－

Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/

30

Machine Speech Chain Inferenceを有する漸進的TTS
一定の窓幅でステップワイズにフィードバック処理を行う
Full sentence: “It is a pleasure to meet you”

noise

noisy speech

下記の例ではステップごとに２単語を処理

noise

noisy speech++clean speechclean speech…
ITTS

Feedback
Module

It is

残念ながら
ここから先は
未発表…

Feedback
Module

ITTSa pleasure

Step 1

Step 2

Step 3

Sashi Novitasari, Andros Tjandra, Tomoya Yanagita, Sakriani Sakti and Satoshi Nakamura, “Incremental Machine Speech Chain Towards Enabling Listening while
Speaking in Real-time”, INTERSPEECH 2020
Tomoya Yanagita, Sakriani Sakti and Satoshi Nakamura, “Neural iTTS: Toward Synthesizing Speech in Real-time with End-to-end Neural Text-to-Speech Framework”,
10th Speech Synthesis Workshop (SSW10) , Sep. 2019
無限の可能性、ここが最先端 －Outgrow your limits－
http://www.naist.jp/Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

まとめ31

本日の内容– Machine Speech Chain• 音声生成と聴取のフィードバックループ• 音声合成と音声認識の半教師あり（教師付き＋教師なし）学習– 音声合成におけるMachine Speech Chain Inference• Machine Speech ChainによるLombard音声合成– 漸進的Incremental Speech Chain Inference• 動的なMachine Speech Chain Inference

今後の研究，および関連研究– リアルタイムフィードバックを持つMachine Speech Chain によるTTS,ASRの同時学習，推論– マルチモーダルMachine Speech Chain– Zero-speech Challenge– 音声言語処理中の脳活動の計測と活用
無限の可能性、ここが最先端 －Outgrow your limits－Mar.9th 2022 All Rights Reserved ©Satoshi Nakamura, AHC Lab, NAIST, Japan

http://www.naist.jp/