1-4-5
Blizzard Challenge 2018 のための NITech テキスト音声合成システム ∗◎沢田慶 (名工大/MSD), 吉村建慶, 橋本佳, 大浦圭一郎, 南角吉彦, 徳田恵一 (名工大)1

はじめにた [1]．オーディオブックは，書籍を朗読した音声を

本稿では，Blizzard Challenge 2018 [1] のために名古屋工業大学 (NITech) チームが開発したテキスト音
声合成 (text-to-speech; TTS) システムの構成と評価結果について述べる．Blizzard Challenge 2018 では，Blizzard Challenge 2016, 2017 [2, 3] と同様に，表現豊かな音声が数多く含まれる児童書のオーディオブッ
クを学習コーパスとして TTS システムを構築するタスクが行われた．我々は，これまでのチャレンジのために開発してきた学習コーパスの自動構築法 [4] と表現豊かな音声合成を実現する手法 [5] に加え，本チャンレンジではディープニューラルネットワーク (deepneural network; DNN) に基づくポーズ挿入モデルとWaveNet ボコーダを導入した．主催者による大規模主観評価実験の結果，NITech TTS システムは高いスコアを示した．

2

収録したコンテンツであり，音声とテキストの対を大量に収集することができることや，同一話者による比較的クリーンかつ同一環境で収録された音声が多く存在することから，TTS システムのための学習コーパスとして注目を集めている．しかし，本チャレンジ
で配布された児童書のオーディオブックには，TTSシステムを構築することを難しくするいくつかの挑戦的な点がある．まず，配布されたオーディオブックには言い間違いや言い淀み，擬音語等を含むため，音声とテキストは完全には一致するわけではない．また，TTS システム用の音声コーパスを想定した条件で収録されていないため，従来の TTS システムのための学習コーパスの品質には及ばない．さらに，複数のコーディックにより音声データが圧縮されている．
このような問題に取り組むことは，インターネット上に存在するデータ (found data) を用いて TTS システムを構築するための知見につながると考えられる．

Blizzard Challenge 2018

また，児童書のオーディオブックは，複数のキャラクTTS システムとは，任意のテキストに対応する音ターが登場することや子供を楽しませるために表現声を生成する技術のことである．近年では深層学習の豊かに読み上げていることから様々な発話スタイル導入により，合成音声の品質は劇的に向上している．の音声が含まれている．そのため，様々な発話スタイ

例えば，2016 年に提案された WaveNet [6] は，音声ルの学習・合成を実現するための枠組みを検討する必

波形の直接モデル化・生成を実現し，フレーム単位の要がある．以上のことから，Blizzard Challenge 2018

処理に基づくボコーダによる音声品質劣化の問題を解の学習コーパスを利用した TTS システム構築は挑戦決した．さらに，2018 年に提案された Tacotron2 [7]的なタスクであると言える．

は，自然音声の品質に近い音声の合成を実現した．しかし，人のような様々な発話スタイルを再現する TTSシステムを実現するためには改善の余地がある．

TTS システムを構築するための手法は数多く提案されているが，それらの手法を比較・評価することは容易ではない．これは，TTS システムの比較・評価に広く用いられている，受聴試験による主観評価結果は学習コーパス・タスク・受聴試験が異なる場合に，直接比較することが難しいからである．この問
題への取り組みのひとつとして，共通の学習コーパ
スを用いて TTS システムを構築して受聴試験を行う

Blizzard Challenge と題する評価会が 2005 年から毎年開催されている [8]．

Blizzard Challenge 2018 では，Blizzard Challenge
2016, 2017 と同様に，英語の児童書のオーディオブッ
ク 56 冊 (約 7 時間) が学習コーパスとして配布され∗3

NITech テキスト音声合成システム

3.1

Blizzard Challenge 2016, 2017 のためのNITech テキスト音声合成システム

NITech チームは，Blizzard Challenge 2016, 2017にも参加してきた．これまでのチャレンジでは，配布された音声とテキストの不一致の問題に対して，音声認識に基づく TTS システムのための学習コーパス自動構築法を提案した [4]．この手法により，十分に整備されていないデータから，高品質な学習コーパスの構築を実現した．また，児童書のオーディオブックのために，言語特徴量の設計を行った [5]．テキストのみから発話スタイルを予測し再現する言語特徴量の導入により，表現豊かな音声合成を可能とした．さらに，系列内変動を考慮したトラジェクトリ学習 [9] にOverview of the NITech text-to-speech system for the Blizzard Challenge 2018. by SAWADA, Kei (NagoyaInstitute of Technology / Microsoft Development Co., Ltd.), YOSHIMURA, Takenori, HASHIMOTO,Kei, OURA, Keiichiro, NANKAKU, Yoshihiko, and TOKUDA, Keiichi (Nagoya Institute of Technology)

日本音響学会講演論文集- 1091 -2018年9月

Training corpus for TTS system
Text

Speech waveform

Speech waveform
Acoustic feature
estimation	

Pause estimation

ASR

Pause

Acoustic feature
Model training	
Linguistic feature
with pause

Linguistic feature

Model training	

Linguistic feature
extraction	Speech waveform

STRAIGHT, RAPT,SWIPE’, REAPER

Linguistic feature
extraction
considering pause	

Model training	

Phoneme alignment
estimation	

Linguistic feature
with pause andphoneme duration

Text

Model training	

Acoustic feature
Acoustic feature
estimation	

Festival, syntactic and dependency
parsing，Word2Vec, Doc2Vec, etc.

DNN-based pause model

HMM-basedphoneme duration model	

DNN-based acoustic model

WaveNet-based vocoder

Linguistic feature
extraction	

Pause estimation	

Phoneme duration
estimation	

Acoustic feature
estimation	Speech waveform
estimation	

Text

Linguistic feature

Linguistic feature
with pause

Linguistic feature
with pause and phoneme duration

Training part
Synthesis partSpeech waveform

Acoustic feature

Fig. 1 Overview of the NITech TTS system
よる混合密度ネットワーク (mixture density network;

単語・文単位の言語特徴量のみとした．このポーズ挿MDN) [10] を音響モデルに用いた．これらの手法によ入モデルにより，学習コーパスのポーズ挿入スタイル

り，Blizzard Challenge 2017 では，NITech TTS シを再現することができると考えられる．

ステムは高い自然性と明瞭性を示した [3, 5]．

3.2.2

WaveNet ボコーダ

Blizzard Challenge 2018 のための NITech
テキスト音声合成システムを利用して音声を合成していたが，フレーム単位のBlizzard Challenge 2018 のための NITech TTS シ

処理に基づくボコーダの利用による音声品質の劣化

3.2

ステムの概要を Fig. 1 に示す．

3.2.1

これまでの NITech TTS システムでは STRAIGHTが問題となっていた．そこで，音声波形を直接モデル化・生成可能な WaveNet [6] をボコーダとして利ポーズ挿入モデル用する [11]．言語特徴量から音響特徴量への変換は自然な音声を合成するためには，適切な位置にポー

これまでの NITech TTS システムで開発してきたトズを挿入する必要がある．特にオーディオブックでラジェクトリ学習に基づく MDN [5, 9] を利用し，音は，登場人物の感情表現の一つとしてポーズを利用す

響特徴量から音声波形への変換に WaveNet を利用することもあるため，ポーズ挿入は重要な課題である．

る．WaveNet を学習する際には，自然音声から抽出

本システムでは，TTS システムのための学習コーパした音響特徴量ではなく，学習済みの MDN の音響

スのポーズ挿入スタイルを再現するポーズ挿入モデモデルから出力された音響特徴量を，WaveNet の補ルを導入する．

助特徴量として用いる．これは，学習時と合成時の補まず，学習コーパスに含まれるポーズを音声認識助特徴量の不一致による合成音声の品質劣化を防ぐ(音素アライメント推定) により予測する．音素アライメントは，全ての単語境界にショートポーズを持つ構造で推定する．ショートポーズモデルには，隠れマためである．

ルコフモデル (hidden Markov model; HMM) の状態

き生じる量子化ノイズは時間に依存しないため白色遷移において，状態のスキップを許可するモデル構造となる．音声は高周波数領域のエネルギーが少ないたを用いた．そして，推定されたショートポーズの継続め，特に量子化ノイズの高域の周波数成分が知覚され長が閾値以上の場合に，その単語境界にポーズが含やすく，これが合成音声の品質を低下させる要因になまれるとした．

ると考えられる．十分な量子化ビット数により量子化

WaveNet では，音声波形を精度良くモデル化するために，音声波形に対して量子化を適用する．このとポーズ挿入モデルには，音響モデルの入力にも利すれば量子化ノイズは減少するものの，WaveNet の用する言語特徴量を入力とし，単語の後にポーズが最適化が難しくなるという問題がある．本システム挿入されるか否かを出力とする DNN を用いた．ただでは，量子化ビット数は増加させず，メルケプストラし，入力に用いる言語特徴量は，Blizzard Challengeムに基づくノイズシェーピング量子化法およびプリ2017 のための NITech TTS システム [5] で設計したフィルタリング [12] を利用することで合成音声の品

日本音響学会講演論文集- 1092 -2018年9月

質を向上させる．この手法の基本的なアイディアは，の構造には，dilation を 1, 2, 4, . . . , 512 とした 10 層量子化ノイズが知覚されにくくなるように，メルケプからなるブロックを 3 段重ねて構造を用いた．また，ストラムを用いて音声波形を変形させることにある．

dilation, residual-connection, skip-connection [6] における畳み込み層のチャンネル数は 256 とした．Bliz-

これは WaveNet の学習における前処理であると見なせ，合成時には新たに追加となる処理を必要としない．詳しくは文献 [12] を参照されたい．

Blizzard Challenge 2018 評価実験

4zard Challenge 2018 のルールを満たすために，32kHzの合成音声を 48kHz にアップサンプリングした音声を提出した．
4.2

評価結果

本稿で述べた TTS システムを用いて，Blizzard

Blizzard Challenge 2018 の主催者により大規模主観

Challenge 2018 に参加した．Blizzard Challenge 2018

評価実験が行われた．ページ単位の合成音声を評価す

では，同一女性話者により収録された英語の児童書

るために 7 つの基準 (overall impression; OI, pleas-

56 冊の音声とテキストが学習コーパスとして配布された．

antness; PL, speech pause; SP, stress; ST, intona-

4.1

実験条件

音声認識に基づく TTS システムのための学習コー
パス自動構築法を用いて学習コーパスを構築した [4]．
学習データの取捨選択により，配布された 1258 ペー
ジの中，924 ページを学習コーパスとした．
言 語特徴 量 は Festival, Stanford Parser, Syn-taxNet, gensim を用いて抽出した．ポーズ挿入モデ
ルには，テキストから推定した 251 次元の 0–1 に正規化した言語特徴量を入力とする bi-directional gatedrecurrent unit (GRU) を用いた．Bi-directional GRUの中間層は 3 層の 128 ユニット，ドロップアウト率は0.2 とした．音響モデルのための言語特徴量には，925次元のテキストから推定した特徴，10 次元の継続長特徴，150 次元の単語コード，600 次元の句コードから構成される計 1685 次元を用いた [5]．ここで，単語・句コードは固定次元の平均 0 分散 1 の正規分布に基づく乱数ベクトルとした．音響特徴量には，配布された
サンプリング周波数 44.1kHz からダウンサンプリングした 32kHz の音声に対してフレームシフト 5ms で推定した 64 次の STRAIGHT メルケプストラム，無声部を有声部で線形補間した F0 と有声無声情報，32 次の非周期成分のメルケプストラムを用いた．精度の高い F0 を抽出するために，RAPT, SWIPE’, REAPERを用いて抽出した F0 の多数決の結果を利用した．音響モデル学習のために，言語特徴量は 0–1 で正規化し，音響特徴量は平均 0 分散 1 の正規分布となるように正規化した．MDN の中間層は 3 層の 8000 ユニット，ドロップアウト率は 0.6，GV 重みは 0.001 である [9]．活性化関数には隠れ層にシグモイド関数，出力層に線形関数を用いた．WaveNet の学習のために，32kHz の音声波形を µ-law アルゴリズムを用いて 8bit に量子化した．メルケプストラムに基づくノイズシェーピングおよびプリフィルタリングの強度を調整するパラメータ
は，それぞれ γ = 0.1, β = 0.1 とした [12]．WaveNet

日本音響学会講演論文集

tion; IN, emotion; EM, listening eﬀort; LE) の 60 段
階 MOS 試験，文単位の合成音声を評価するために 2つの基準 (naturalness; NAT, similarity; SIM) の 5 段
階 MOS 試験，合成音声の明瞭性を評価するために無意味文 (semantically unpredictable sentences; SUS)の書き取りテストが実施された．全被験者 (有償・無償被験者，非英語ネイティブを含む) による各評価基準の MOS と，英語ネイティブの有償被験者による書
き取りテストの単語誤り率 (word error rate; WER)
を表 1 に示す．表 1 において，システム A は自然音
声，システム B から E はベンチマークシステム，システム F から O は参加者のシステムを表し，NITech

TTS システムは I である．システム順は，NAT のMOS を基準に表記されている．また，表 1 の ∗ は
NITech TTS システム I と有意な差があるシステムを意味する．
表 1 より，システム I は，ページ・文単位ともに高い MOS を示した．さらに，参加システムの中で最も低い WER を示したことから，高い明瞭性の合成音声であることが示された．このことから，NITech

TTS システムは自然性・話者類似性・明瞭性が高い音声を合成できたと言える．
次に NITech 20171 と NITech 20182 の合成音声の違いについて考察する．WaveNet ボコーダの導入により，フレーム単位の処理に基づくボコーダによる音質劣化を回避することができ，自然・話者性が改善した．しかし，WaveNet ボコーダの予測精度は十分でなく，発音が不安定になることがあった．学習コーパ
スとして配布された音声データは複数のコーディックで圧縮されており，このことが波形を直接モデル化す
る WaveNet の学習を難しくしたと考えられる．さらに，学習コーパスには多くの表現豊かな音声が含まれるが，様々な発話スタイルをモデル化するための1 http://www.sp.nitech.ac.jp/∼swdkei/syn/Blizzard
2017/index.html
2 http://www.sp.nitech.ac.jp/∼swdkei/syn/Blizzard
2018/index.html- 1093 -2018年9月

Table 1

Evaluation results

Page domain
STSystemOIPLSPAKJILMBDEGFOCN
H

48 ± 7∗38 ± 10∗34 ± 1034 ± 1028 ± 11∗27 ± 11∗29 ± 11∗27 ± 10∗25 ± 9∗24 ± 10∗19 ± 10∗22 ± 10∗20 ± 9∗17 ± 9∗13 ± 7∗48 ± 7∗37 ± 10∗33 ± 1133 ± 1028 ± 11∗26 ± 11∗28 ± 12∗25 ± 10∗23 ± 9∗23 ± 10∗20 ± 10∗21 ± 9∗19 ± 9∗16 ± 8∗13 ± 7∗48 ± 7∗36 ± 11∗36 ± 11∗32 ± 1125 ± 12∗25 ± 13∗27 ± 13∗31 ± 1130 ± 11∗31 ± 1125 ± 11∗28 ± 12∗27 ± 12∗29 ± 11∗23 ± 12∗48 ± 8∗36 ± 12∗35 ± 11∗33 ± 1126 ± 12∗25 ± 12∗27 ± 13∗30 ± 12∗28 ± 11∗30 ± 11∗24 ± 12∗27 ± 12∗24 ± 11∗26 ± 12∗20 ± 11∗INEM

LE

48 ± 8∗37 ± 10∗35 ± 1133 ± 1126 ± 12∗25 ± 12∗27 ± 13∗28 ± 11∗26 ± 11∗27 ± 11∗21 ± 11∗25 ± 11∗22 ± 10∗23 ± 11∗17 ± 11∗48 ± 8∗38 ± 11∗35 ± 1135 ± 1129 ± 11∗30 ± 11∗31 ± 12∗27 ± 12∗27 ± 11∗25 ± 12∗19 ± 11∗23 ± 12∗22 ± 11∗21 ± 11∗18 ± 11∗49 ± 7∗37 ± 10∗34 ± 1033 ± 1025 ± 11∗23 ± 11∗25 ± 12∗28 ± 10∗25 ± 9∗27 ± 10∗21 ± 9∗24 ± 10∗21 ± 9∗20 ± 9∗14 ± 8∗

学習コーパスとしては十分な量ではなかったと考えられる．実際に，表現豊かな音声を合成することができる MDN 音響モデルから生成した音響特徴量を，WaveNet ボコーダに入力すると発音が不安定になることが多くあった．このことから，表現豊かな合成音声という点では NITech 2017 TTS システムの方が優れていると思われる．そのため，WaveNet ボコーダにおいても表現豊かな音声を合成することが今後の課題である．

むすび

5

本 稿 で は ，Blizzard Challenge 2018 の た め のNITech TTS システムの構成と評価結果を述べた．本チャレンジにおいて NITech チームは，ポーズ挿入モ
デルと WaveNet ボコーダを TTS システムに導入した．大規模主観評価実験の結果，NITech TTS システ
ムは高い自然・話者類似性と最も高い明瞭性を示した．今後の課題として，WaveNet ボコーダにおいて表現豊かな音声合成を安定して実現することや，複雑な TTS システムの構造を簡略化する End-to-Endモデルの導入が挙げられる．
謝辞

SCOPE (受付番号 162106106)，JSPS 基盤研

究 (A) 18H04128．

参考文献[1] Blizzard Challenge 2018, http://www.synsig.
org/index.php/Blizzard Challenge 2018.
[2] S. King et al., “The Blizzard Challenge 2016,”
Blizzard Challenge 2016 Workshop, 2016.

日本音響学会講演論文集

Sentence domain
NATSIM
4.8 ± 0.5∗
4.0 ± 0.9∗3.7 ± 0.9
3.5 ± 1.0
3.0 ± 1.2∗
3.0 ± 1.2∗
2.9 ± 1.1∗
2.8 ± 1.0∗
2.6 ± 1.0∗
2.6 ± 1.0∗
2.4 ± 0.9∗
2.3 ± 1.0∗
2.2 ± 0.9∗
1.8 ± 0.9∗
1.6 ± 0.8∗

4.5 ± 0.9∗
3.9 ± 1.0
3.6 ± 0.9
3.5 ± 1.1
3.4 ± 1.1
3.0 ± 1.2∗
3.2 ± 1.1
2.5 ± 1.0∗
2.5 ± 1.0∗
2.2 ± 1.0∗
1.9 ± 0.9∗
1.7 ± 0.8∗
2.1 ± 1.0∗
1.5 ± 0.7∗
1.5 ± 0.8∗

SUSWER–16181124∗22∗29∗
15141520∗
14151737∗[3] S. King et al., “The Blizzard Challenge 2017,”
Blizzard Challenge 2017 Workshop, 2017.
[4] K. Sawada et al., “The NITech text-to-speechsystem for the Blizzard Challenge 2016,” Blizzard Challenge 2016 Workshop, 2016.
[5] K. Sawada et al., “The NITech text-to-speechsystem for the Blizzard Challenge 2017,” Blizzard Challenge 2017 Workshop, 2017.
[6] A. van den Oord et al., “WaveNet: A generativemodel for raw audio,” arXiv:1609.03499, 2016.
[7] J. Shen et al., “Natural TTS synthesis by conditioning WaveNet on mel spectrogram predictions,” ICASSP 2018, pp. 4779–4783, 2018.
[8] A.W. Black et al., “The Blizzard Challenge– 2005: Evaluating corpus-based speech synthesis on common datasets,” Interspeech 2005,
pp. 77–80, 2015.
[9] K. Hashimoto et al., “Trajectory training considering global variance for speech synthesis
based on neural networks,” ICASSP 2016,
pp. 5600–5604, 2016.
[10] H. Zen et al., “Deep mixture density networks
for acoustic modeling in statistical parametric speech synthesis,” ICASSP 2014, pp. 3844–3848, 2014.
[11] A. Tamamori et al., ”Speaker-dependent
WaveNet vocoder, ” Interspeech 2017,
pp. 1118–1122, 2017.
[12] T. Yoshimura et al., ”Mel-cepstrum-based
quantization noise shaping applied to neuralnetwork-based speech waveform synthesis,”
IEEE/ACM Transactions on Audio, Speech,and Language Processing, vol. 26, no. 7,
pp. 1173-1180, 2018

- 1094 -2018年9月