The Blizzard Machine Learning
Challenge 2017の概要◎沢田慶, 徳田恵一 (名古屋工業大学),Simon King (エジンバラ大学),
Alan W Black (カーネギーメロン大学)
https://synsig.org/index.php/Blizzard_Challenge_2017
2018年3月15日

Blizzard Challenge¢ テキスト音声合成 (text-to-speech; TTS) システム

HMM・DNNなどの機械学習手法の導入により進展
u TTSシステムの評価
ul 受聴試験に基づく主観評価実験
l データセット・タスク・受聴試験が異なる

こんにちはTTSシステム

主観評価実験の結果を議論することは不適切¢ Blizzard Challenge [Black & Tokuda; ’05]u目的
l コーパスベースのTTSシステムのさらなる理解と手法の比較
l 競技会というよりは評価会 ⇒ “チャレンジの目的は知見の共有”u

方法l 参加者は共通のデータセットを用いてTTSシステムを構築
l 主催者は統一した受聴試験によりTTSシステムを評価uAnnual Blizzard Challenge 2005-2017
l TTSシステムに関する多くの知見を共有
l 高品質な音声を生成するには音声合成に関する多くの知見が必要⇒ 機械学習分野の研究者が参加することへの妨げに

2

Blizzard Machine Learning Challenge¢ Blizzard Machine Learning Challenge 2017

主催者により音声合成に関する知見を必要とする事前処理
u 参加者は機械学習に基づく音響モデル構築に集中u¢ 統計モデルを用いた音声合成

テキスト
テキスト解析
言語特徴量 : 音素，品詞，アクセント等
音響モデル
音響特徴量 : スペクトル包絡のメルケプ，
基本周波数，ボコーダ
非周期成分のメルケプ
音声波形

3

Blizzard Machine Learning Challenge¢ Blizzard Machine Learning Challenge 2017

主催者により音声合成に関する知見を必要とする事前処理
u 参加者は機械学習に基づく音響モデル構築に集中u¢ 統計モデルを用いた音声合成

テキスト
テキスト解析
言語特徴量?

HMM,DNNSeq2seq, Char2Wav,
Tacotron1, 2

音響モデル
音響特徴量

WaveNet, SampleRNN,WaveRNN

ボコーダ
音声波形

4

Blizzard Machine Learning Challenge¢ Blizzard Machine Learning Challenge 2017

主催者により音声合成に関する知見を必要とする事前処理
u 参加者は機械学習に基づく音響モデル構築に集中
u

¢ タスク

テキスト
テキスト解析

2017-ES1:
言語特徴量系列から音響特徴量系列を予測するタスク

言語特徴量
音響モデル
音響特徴量

2017-ES2:
言語特徴量系列から音声波形系列を予測するタスク

ボコーダ
音声波形

5

データセット (1/2)¢ データ

Usborne Publishing Ltd. にて市販されている児童書のオーディオブック
u Blizzard Challenge 2016と同様のデータ
u"I'm king of the jungle," roared Lion.
"I'm going to eat you all up."
"No!" cried the jungle animals.

キャラクター1
キャラクター2
地の文¢ データの取捨選択

過度に感情表現した音声データ (叫び声や歌声など)
u 音声データとテキストの不一致⇒ 音響モデル学習に悪影響u 音素アライメントエラーが含まれる音声データを削除
u 5時間 ⇒ 4時間の音声データ (文章単位の4651ファイル)u6

データセット (2/2)¢ 音声波形 (2017-ES2)
u44.1kHz 16 bits モノラルのWaveform Audio File Format (WAVE)¢ 音響特徴量 (2017-ES1)u

77次元の音響特徴
l Log F0 (無声部を有声部の値で線形補間)
l 有声無声情報
l スペクトル包絡の50次元メルケプストラル表現
l 非周期成分の25次メルケプストラル表現¢ 言語特徴量 (2017-ES1, 2017-ES2)u687次元のフレーム単位の言語特徴 (HTS形式)
l 強制音素アライメント
l 最大値と最小値を用いて0.0-1.0に正規化

7

システム
¢ 7チームが登録して3チームが提出¢ チームIDとチーム名のペアを用いた議論は禁止

ID

カテゴリ

タスク

手法

サンプリン
グ周波数

A

自然音声−−

44.1kHzFFNN

44.1kHzX

ベンチマーク
2017-ES1(HTS)

Y ベンチマーク 2017-ES1 FFNN + Trajectory training

44.1kHzH

参加者

2017-ES1

LSTM

44.1kHzI

参加者

2017-ES1

LSTM + GAN postfilter

44.1kHz

WaveNet16kHz

LSTM + WaveNet

22.05kHzZ ベンチマーク 2017-ES2
G

参加者

2017-ES2

合成音声8

受聴試験
¢ 受聴試験の設計

2017-ES1と2017-ES2のシステムを同一の受聴試験で評価
u 50人の有償被験者 (エジンバラ大学の学生)u¢ 評価基準u

自然性l 5段階 MOS (mean opinion score) テスト
l 1: completely unnatural – 5: completely naturalu話者類似性
l 5段階 MOS テスト
l 1: sounds like a different person – 5: sounds like the same personu

明瞭性l 無意味文 (SUS; semantically unpredictable sentence) の書き取りテスト
l 単語誤り率 (WER; word error rate)9自然性に関する評価結果

高い自然性

2017-ES1
2017-ES2

10自然性に関する評価結果
2017-ES1

高い自然性

言語特徴量

2017-ES2

LSTM
STFT

WaveNetオリジナルWaveNet

言語特徴量

言語特徴量
+
Log F0WaveNetWaveNet

音声波形

音声波形

音声波形

11

高い話者類似性

話者類似性に関する評価結果
2017-ES1
2017-ES212高い話者類似性

話者類似性に関する評価結果
2017-ES1
2017-ES2

言語特徴量
LSTM
音響特徴量
GAN
音響特徴量
ボコーダ
音声波形

13

明瞭性に関する評価結果
2017-ES1高い明瞭性

2017-ES214

明瞭性に関する評価結果
2017-ES1
2017-ES2

言語特徴量
WaveNet

高い明瞭性

音声波形

15

明瞭性に関する評価結果
2017-ES1
2017-ES216

むすび¢ Blizzard Machine Learning Challenge 2017u2017-ES1l 言語特徴量系列から音響特徴量系列の予測u2017-ES2l 言語特徴量系列から音声波形系列の予測u

受聴試験
l 自然性・話者類似性・明瞭性に関する主観評価実験

u

評価結果
l 最先端の機械学習手法に基づくシステムは高いスコアを達成¢ Blizzard Challenge 2018

2017と同様の児童書のオーディオブックを用いたタスク
u システム提出締め切り: 4月26日
u ベンチマークの学習スクリプトと合成音声を公開予定
uHMMDNNDNN Trj17