End-to-Endモデルに基づくインクリメンタル音声合成
柳田智也(NA IS T )サクティサクリア ニ( NA IS T / RI K EN A IP)
中村哲(NA IS T/ RI K EN A IP)

従来の同時音声翻訳
音声認識・機械翻訳・音声合成を縦続接続
文単位で認識・翻訳・合成

こんにちは

Hello.

こんにちは
自動音声
認識

Hello.

機械翻訳

音声合成

入力は文単位
短い発話・会話等では利用

2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

2

同時音声翻訳の課題
講義等の使用文の切れ目が不明瞭・非常に長い入力多大な遅延が発生・コミュニケーションを阻害
今日私は私の研究である逐次音声合成について…
今日私は私の…

自動音声認識

機械翻訳

音声合成

逐次的な合成する音声合成に焦点
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

3

関連研究
[Baumman, et al.] HMMインクリメンタル音声合成
文以下の単位（単語・句等）で合成
後続言語特徴のいくらかは未知

通常のＨＭＭ音声合成より低い音声品質
合成
音声

言語特徴

テキスト

HMM選択
音素継続長推定
音響特徴推定テキスト解析

「今日私は」「私の研究である」

音声合成
フィルタ

音素・品詞等

音声品質を改善するためのアプロ―チ[Baumann et al., 2014] 未知の言語特徴の影響を調査・置換[Pouget et al., 2015] ＨＭＭ学習方法を工夫
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

4

問題点
言語特徴

テキスト
テキスト解析

「今日私は」「私の研究である」

HMM選択
音素継続長推定
音響特徴推定

合成
音声

音声合成
フィルタ

音素・品詞等

関連研究の問題点
同時通訳システムのためにより高品質な合成音声が必要→通常のHMM音声合成が音声品質の上限と仮定
言語依存の設計（言語特徴）→各言語へ適応時、重要な言語特徴を調査する必要性

2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

5

End-to-Endモデルへの適応の課題
End-to-end音声合成[Wang, et al., 2017.]Tacotron[Tachibana at el., 2017] CNNに基づくモデル[Shen, et al., 2018.]Tacotron2→深層学習による高品質な合成音声を生成可能→言語特徴は、表層文字から自動抽出・設計コスト低減

End-to-Endインクリメンタル音声合成は未検討

モデルの縦続接続・最適化が容易に
Neural Transducer[Jaitly et al. , 2015.]→Encoder-decoderに基づく自動音声認識
Stacl[Mingbo, et al. ,2018]→Encoder-decoderに基づくインクリメンタル機械翻訳

Encoder-decoder型インクリメンタル音声合成の必要性
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

6

検討事項
①音声品質を保持可能な入力長が不明
入力長を検討する必要性②入力長変更により、後続音声を考慮不可
後続音声を考慮する枠組みの提案
今回、日本語において、アクセント句単位を基準に①について検討

2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

7

End-to-End音声合成[Wang, et al., 2017.]Tacotron
学習は通常時と同様
合成単位のみ変更

𝐱 = [sil, a, r, a, …., t, a, sil]

入力𝐱 = x1 , … xN N個の記号列
注意機構
cT : コンテキストベクトル
T: フレーム数
出力𝐦 = m1 , … mT : メル周波数スペクトル𝐟 = f, … fT : デコーダ停止用フラグ
𝐲 = y1 , … yT : リニアスペクトル
損失関数
L1 Loss(音響特徴用)
Binary Cross entropy loss(無音区間検出用)
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

エンコーダーPrenet+CBHG

注意機構

cTデコーダResidual GRU×2𝐦𝐟

Post processing Net𝐲8日本語インクリメンタル音声合成の合成単位
音声合成における日本語の単位
文単位 あ ら ゆ る
現実を, … 曲 げ た の だ
音素単位 a r a y u r u g e N j i ts u w o … m a g e t a n o d a

単語単位

連帯詞

アクセント句単位
呼気段落単位

名詞

助詞 …

動詞

助動詞 助詞 助動詞

高音
低音

…

呼気段落1

…

呼気段落2

[Yanagita, et al., 2018.]日本語HMMインクリメンタル音声合成の設計
言語特徴・合成単位として、アクセント句の情報が重要アクセント句単位を基準に合成単位を使用
その有効性を検討
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

9合成単位の選択[Yanagita, et al., 2018.] 4条件の合成単位を使用
先行アクセント句を一つ使用
アクセント句毎に合成
Unit1

TTS

Unit2

TTS

Unit3

TTS合成音声

先行アクセント句を全て使用

Unit1

TTS

Unit1 Unit2

TTS

Unit2 Unit3

TTS

先行・後続アクセント句を使用
Unit1 Unit2

Unit1

TTS

Unit1

Unit2

TTS

Unit1

Unit2

Unit3

TTSTTS

Unit1 Unit2 Unit3

TTS

Unit2 Unit3 Unit4

TTS

今回は、アクセント句毎に合成のみを使用
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

10

実験条件(音声および音響特徴量）
表1 実験条件(音声分析・入出力特徴量)
データセットJUSTコーパス
学習用7530文/開発用71文/テスト用71文サンプリング周波数

48000[Hz]音響特徴量

メル周波数スペクトラム（80次元）
リニアスペクトログラム（2048次元）

フレーム長/フレームシフト長

50[ms]/12.5[ms]入力特徴音素記号（開始終端記号等を含む47記号）
アクセント句のアクセント型（25記号）

バッチサイズ

16

評価方法

ＭＯＳによる五段階評価
16人、1人1方法あたり15サンプル

2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

11

実験結果
自然音声と比べ、End-to-endモデルの音声品質は2.7と悪い
日本語End-to-Endモデルの品質を向上する必要性
54.5
43.5
32.5

21.5
1
合成単位

自然音声

入力言語特徴2019/3/7

文単位

アクセント句単位(音素,アクセント型) (音素,アクセント型)

NAIST, AHC LAB, ©TOMOYA YANAGITA

アクセント句単位
(音素)

12

実験結果
End-to-endモデルとアクセント句単位の合成品質の差は小さい
後続音を考慮せずとも品質保持の可能性
54.5
4
3.5
3
2.5

2
1.5
1
合成単位

自然音声

入力言語特徴2019/3/7

文単位

アクセント句単位(音素,アクセント型) (音素,アクセント型)

NAIST, AHC LAB, ©TOMOYA YANAGITA

アクセント句単位(音素)

13

まとめ
研究背景
同時音声通訳システムのためインクリメンタル音声合成の実現

HMMインクリメンタル音声合成の問題点
品質が通常のHMM音声合成へ制限
より高品質かつ言語特徴に依存しにくい音声合成の必要性
実験方法
End-to-End音声合成を用いて、合成単位について検討
実験結果
通常の日本語End-to-End音声合成の品質向上が必要
今後の展望
合成音声による音声品質の向上を検討
HMMインクリメンタル音声合成との比較
2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

14

End of slide

2019/3/7

NAIST, AHC LAB, ©TOMOYA YANAGITA

15