2-Q-21 Blizzard Challenge 2017のためのNITechテキスト音声合成システム◎沢田慶, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一 (名工大; NITech)
Blizzard Challenge 2017

NITechテキスト音声合成システム¢ Blizzard Challenge [Black et al. ’05]

同一の学習コーパスを用いてTTSシステムを構築
u 大規模主観評価実験によるTTSシステムの評価

Text
Linguistic features

DNN training(7時間)

Training part
Synthesis part
Input text

Parameter generation

Text analysis

Acoustic feature

Linguisticfeature

Vocoder decoding
Synthesized speech③ GVを考慮したトラジェクトリ学習を用いたDN② オーディオブックのための言語特徴の設計¢ フレーズ単位の言語特徴量uuuu

学習部
l 全てのフレーズに一意のコードを割り当て

構文解析と係り受け解析の情報l 固定次元の標準正規分布に基づく乱数ベクトル⇒ 平均化を回避し各フレーズのスタイルをモデル化

文の種類u

合成部

l 文の種類による発話スタイルの区別

l 学習・テストフレーズをdoc2vecによりベクトル化

引用符の情報l 学習・テストフレーズの類似度をdoc2vecで計算

l 地の文と会話文による発話スタイルの区別

l 最も類似度が高い学習フレーズのコードを利用

単語コード

Training corpus for SPSS

フレーズコードl 各フレーズの区別と発話スタイルの再現

大規模主観評価実験¢ 学習コーパス自動構築の条件

56冊, 1258ページ
16 kHz
長さ: 25 ms，
フレーム
シフト: 10 ms
音響特徴量 12次元 MFCC + Δ + ΔΔ
3-state left-to-right
音響モデル
GMM-HMM
言語モデル
tri-gram
単語一致率閾値
単語一致率: 90%
学習コーパス921ページ
児童書
標本化周波数

音声サンプル

Input phrase code-0.2 -0.1 0.3 -0.1

Phrase textPhrase code
Come and see the friendly lion! 0.1 0.4 -0.3 0.2“I must tell the King.”-0.2 0.1 0.3 -0.1
The highest⁝⁝similarity
phrase text “Who's been sitting in my chair?” -0.1 -0.2 -0.1 0.3¢ TTSシステム構築の条件

標本化周波数44.1 kHz

フレーム

シフト: 5 ms

HMMの構造5-state left-to-rightMSD-HSMM

N (c|c̄, P ) N (v(c)|v(c̄), ⌃GV )wTc̄1 c̄2 ・・・ c̄T⌃1 ⌃2 ・・・ ⌃Tµ1 µ2 ・・・ µT

l1l2 ・・・ lT

925の質問3層の隠層，8000ユニット,活性化関数: シグモイド，MDNの構造
ドロップアウト率: 60%,
GV重み: 0.001
音響特徴量
(MDN)

69次元STRAIGHTメルケプ，34次元メルケプ非周期成分，
補間対数基本周波数，
有声無声情報

言語特徴量

925次元の言語特徴量,
10次元の継続長特徴,
150次元の単語コード,600次元のフレーズコードu

システム
l A: 自然音声システム

A (natural speech)
I (hybrid)l C: HMMベンチマーク
G (neural vocoder)l D: DNNベンチマーク
L (SPSS)l E-Q: 参加者のシステム
E (hybrid)l L: NITechシステム
P (hybrid)u 評価基準B (unit selection)l OI: overall impression
M (SPSS)l PL: pleasantness
K (hybrid)l SP: speech pauses
Q (unit selection)l ST: stress
D (SPSS)l IN: intonation
H (clustergene)l EM: emotion
J (SPSS)l LE: listening effort
F (SPSS)l NAT: naturalness
C (SPSS)l SIM: speaker similarity
O (SPSS)l WER: word error rate
N (SPSS)l B: Unitベンチマーク

OI
47
38
32
313131272626252524
22
21
16
118

PL
46
38
3130
32
312725
27
26
2324
21
22
15
118

⌃t : covariance mat.

Synthesized speechc̄1 c̄2 ・・・ c̄Tv(c̄) ⌃GV¢ 実験結果49次元STRAIGHTメルケプ,
音響特徴量 24次元メルケプ非周期成分,(HMM)
対数基本周波数，
上記のΔとΔΔ
質問の数v(c) GV
likelihood

lt : linguistic feature vec. ct : static-feature vec.
µt : mean vec.
c̄t : optimal static-feature vec.

⌃1 ⌃2 ・・・ ⌃Tl1

ページ単位
60段階MOSSP STIN
47
47
47
3636
373433333131312727283132
32
25
2627
2427
2626
2526
232324
30
28
26
25
25
23
24
23
2224
24
24
21
19
18
22
1916161312

P : sequence covariance mat.
v(·) : GV vec.
⌃GV : GV covariance mat.
w : GV weightµ1 µ2 ・・・ µT・・・

Input phrase text
“I must tell the Hamlet.”Trajectory c1 c2・・・ cT
likelihood・・・

l 各単語の区別u

トラジェクトリ学習 ⇒ 系列単位の最適化
u GVを考慮 ⇒ 過度な平滑化を抑制した最適化
ul 文単位以上の情報を利用

l 文の構造の情報を利用(GV) を考慮したトラジェクトリ学習¢ 系列内変動

Forward-propagation

ページ単位の情報

DNNの出力が単一正規分布のパラメータ

Synthesis partu¢ フレーズコードuTraining partu

doc2vecを言語特徴量として直接利用⇒ テキストと音声のスタイル不一致による平均化(DN)

Forward-propagationu¢ 密度ネットワーク

Back-propagation

システムの構築¢ 新たに導入した言語特徴量

ブックテキストと認識テキストを用いた単語ネットワークを構築
u 単語ネットワークに制限した音声認識⇒ 正解テキストと類似するテキストの推定u① 音声認識を用いた学習コーパスの自動構築② オーディオブックのための言語特徴量の設計③ 系列内変動 (GV) を考慮したトラジェクトリ
学習を用いた密度ネットワーク (DN)l 児童書を児童に読み聞かせるのに最適なTTS

テキストから得られる発音を表す特徴量
u 学習コーパスに適した設計が重要

単語一致率に閾値を設けたデータ選択⇒ 適切な閾値の利用により学習コーパスの品質向上¢ テキストの改善

タスク

u

ブックテキストと認識テキストの単語一致率
l 単語一致率が高 ⇒ 正解テキストと類似する可能性大u

キャラクター1
キャラクター2
地の文¢ 言語特徴量u

DNN-based
spectral andexcitation model

HMM-based
duration model

ブック適応言語モデルと話者適応音響モデル⇒ オーディオブックのデータを用いて音声認識性能改善¢ 学習データの選択

Phoneme-levelalignment

が学習コーパスとして配布
l イギリス英語の女性話者1名
l 音声データとテキストには不一致が存在
l 音声データには様々な発話スタイル・感情・キャラクターが存在uAcoustic features

データ"I'm king of the jungle," roared Lion.
"I'm going to eat you all up."
"No!" cried the jungle animals.

u

Vocoder encodingHMM trainingl 英語の児童書のオーディオブック56冊¢ 音声認識性能の改善
SpeechText analysis¢ Blizzard Challenge 2017u① 音声認識を用いた学習コーパスの自動構築

Training corpus for SPSSu

日本音響学会2017年秋季研究発表会
2017年9月26日

l2 ・・・ lTEM
47
38
34
33
32343026282824212025
181611

文単位
無意
5段階MOS 味文
LE NAT SIM WER
47 4.7 4.5
36 4.0 4.0 34
32 3.6 3.1 35
31 3.6 3.0 30
28 3.5 3.9 38
30 3.4 3.6 38
25 3.3 3.7 42
25 3.2 3.1 33
25 3.1 2.9 42
23 3.1 2.8 44
26 2.7 2.5 30
24 2.7 2.1 39
22 2.7 2.6 35
21 2.6 2.4 46
17 1.7 1.9 38
11 1.5 1.5 60
71.1 1.2 85