統計的機械学習問題としての音声合成
徳田 恵一（名古屋工業大学）
音学シンポジウム2013, 東京
2013年5月11日

はじめに
ルールベース： フォルマント合成（~’90s）– 手動ルールによる各音素の素片を構築

コーパスベース： 波形接続型音声合成（’90s~）– 音声データベースから音声素片を接続し合成• 単一インベントリ: ダイフォン音声合成• 複数インベントリ: 単位選択型音声合成

コーパスベース： 統計的パラメトリック音声合成– ソース・フィルタモデル＋統計的音響モデル• 隠れマルコフモデルによる音声合成（HMM音声合成）

統計的な枠組みにおいて音声合成に含まれる処理はどのように定式化されるべきか？


1

音声認識は技術
音声合成は芸術
音声合成も技術2

波形の接続による音声合成

あさああたいあああいう• 多様な声質，発話スタイルを得るためには，大量の音声データベースが必要• 数十MB～数百MBう

HMM音声合成
テキスト 「こんにちは」HMM「こんにちは」発声器官を制御1. 統計モデル⇒多様な音声を容易に実現可能
2. 低い言語依存性⇒多言語化が容易
3. 省メモリ⇒携帯デバイスでも実現が容易「こんにちは」
音声「こんにちは」

口やのどの形音声の生成過程を模擬
合成音声

声の高さ・大きさ

制御パラメータを推定

肺からの空気4音声合成の基本問題
音声データベース（音声波形と対応するテキスト）があるとき，任意に与えられたテキストに対応する音声波形を求めよ．

W : テキスト
X : 音声波形w : 合成テキスト
x : 合成音声波形

音声データベース与えられる情報?
5音声合成の統計的な定式化（1/8）
ベイズの枠組みによる予測問題から

W : テキスト
X : 音声波形を生成

音声データベース

w : 合成テキスト
x : 合成音声波形与えられる情報?

1. 与えられた情報から予測分布を推定
2. 予測分布からサンプルを生成
6

音声合成の統計的な定式化（2/8）
1. 予測分布の推定は困難 音響モデルのパラメータを導入⇓ 音響モデルの導入
生成

学習: 音響モデル (e.g. HMM)

7

音声合成の統計的な定式化（3/8）
2. 音声波形の直接的な利用は困難
 音声波形のパラメトリックな表現を導入⇓ 音声波形のパラメトリック表現の導入: 音声波形 のパラメトリック表現（e.g., メルケプストラム, LPC, LSP, F0, 非周期性）
8

音声合成の統計的な定式化（4/8）
3. 同一のテキストであっても複数の発音や品詞情報を持ちうる ラベルの導入⇓ テキストから得られるラベルの導入: テキスト から得られるラベル（e.g., 読み，品詞，アクセント，ポーズ等）
9音声合成の統計的な定式化（5/8）
4. 全変数の積分計算は困難
 全変数の同時最適化による近似⇓ 全変数の同時最適化による積分計算の近似を導入
ただし10音声合成の統計的な定式化（6/8）
5. 同時最大化は困難 ステップ毎の最適化に分解⇓ ステップ毎の最適化に分解⇐ 学習⇐ テキスト解析⇐ 音声パラメータ生成
11音声合成の統計的な定式化（7/8）
6. 学習時も同様なパラメータ表現が必要
 同様の近似を導入⇓ ステップ毎の最適化に分解⇐ ラベリング⇐ 特徴抽出⇐ 音響モデル学習: 音声波形のパラメトリック表現: テキストから抽出されたラベル
12音声合成の統計的な定式化（8/8）⇐ 特徴抽出⇐ ラベリング⇐ 音響モデル学習⇐ テキスト解析⇐ 音声パラメータ生成⇐ 音声波形生成13

概要
1. 定式化2. 各要素の実現
3. 多様な音声合成
4. むすび14

HMM音声合成の枠組み
音声データベース

音声波形

学習部
スペクトルパラメータ
抽出Lˆ = arg max P( L | W , Λ )L
テキスト解析

基本周波数
抽出

F0パラメータラベル

スペクトルパラメータ

HMMの学習λˆ = arg max P(O | Lˆ , λ)λテキストoˆ = arg max P(o | lˆ, λˆ) コンテキスト依存HMM
o& 状態継続長モデル

テキスト解析
音声パラメータ生成lˆ = arg max PF0パラメータ(l | w , Λ)
ラベル

l合成部

音源生成

スペクトルパラメータ

合成フィルタ

合成音声
15

HMM音声合成の枠組み
音声波形

音声データベース

テキスト解析

学習部

基本周波数
抽出

スペクトルパラメータ
抽出

F0パラメータ

スペクトルパラメータ

HMMの学習ラベル

テキスト

コンテキスト依存HMM& 状態継続長モデル

テキスト解析
音声パラメータ生成

ラベルF0パラメータ

合成部

音源生成

スペクトルパラメータ

合成フィルタ合成音声

16

スペクトルパラメータの最尤推定−−mm~mz
H ( z ) = expc)
exp∑(()cmz∑m==00mz −α−1− jω~~z ==e−11−α z−1

Warped frequency

MM(rad)

音声スペクトルのメルケプストラム表現
ππ2warped frequency
mel-scale frequency

0π /2Frequency ω (rad)π

メルケプストラムの最尤推定x : 音声波形（ガウス過程）
c = arg max p ( x | c ) c: メルケプストラムc

17

音声波形の分析再合成
元音声

F0

有声／無声

メルケプストラム

パルス列

合成フィルタ
白色ノイズ

励振源

e(n)

H (z )

音声波形

これらのパラメータをHMMを用いてモデル化

x(n)
18

HMM音声合成の枠組み
音声波形

音声データベース

テキスト解析

学習部

基本周波数
抽出

スペクトルパラメータ
抽出

F0パラメータ

スペクトルパラメータ

HMMの学習λˆ = arg max P(O | Lˆ , λ)

ラベル

λ

テキスト

コンテキスト依存HMM& 状態継続長モデル

テキスト解析
音声パラメータ生成

ラベル
F0パラメータ

合成部

音源生成

スペクトルパラメータ

合成フィルタ合成音声
19

隠れマルコフモデル（Hidden Markov model; HMM）
aij

: 状態遷移確率bq (ot ) : 状態出力確率

a111b1 (ot )a33

a22a122a23b2 (ot )3b3 (ot )観測系列

oo1 o2 o3 o4 o5  ・ ・ 

状態系列

q1 1 1 1 2  2 3oT

 320

観測ベクトル（音響特徴量ベクトル）の構造
スペクトルパラメータ（e.g., メルケプストラム, LSP）
スペクトル情報∆∆∆log F0, 有声／無声励振源情報∆∆∆21

文脈要因（コンテキスト）– 当該音素– 先行・後続音素– 当該音素のアクセント句でのモーラ位置– ｛先行，当該，後続｝の品詞，活用形，活用型– ｛先行，当該，後続｝のアクセント句の長さ，アクセント型– 当該アクセント句の位置，前後のポーズの有無– ｛先行，当該，後続｝の呼気段落の長さ– 当該呼気段落の位置– 文の長さ・・・・
膨大な組み合わせ数 ⇒ 全コンテキストについて推定することは困難
22

決定木に基づくコンテキストクラスタリング [Odell; ’95]

L=voice?

k-a+byes
L=“w”?

t-a+h
R=silence?

…

…

s-i+n

no…

C=unvoice?
C=vowel?
R=silence?
R=“cl”?
L=“gy”?
L=voice?

yes

yes

R=silence?
noyes

no
L=“gy”?

noyes

no

…

各リーフノードにおいてHMMのパラメータを共有

23

ストリーム依存決定木クラスタリング
状態継続長モデル

3-dimensional Gaussian

HMM

メルケプストラムの決定木

状態継続長の決定木

基本周波数の決定木
24

HMM音声合成の枠組み
音声波形

音声データベース

テキスト解析

学習部
スペクトルパラメータ
抽出

基本周波数
抽出
F0パラメータ

スペクトルパラメータ

HMMの学習ラベル

テキスト
テキスト解析

コンテキスト依存HMMˆˆoˆ = arg max P(o | l , λ) & 状態継続長モデルo

音声パラメータ生成

ラベル
F0パラメータ

合成部

音源生成

スペクトルパラメータ

合成フィルタ

合成音声25

音声パラメータ生成アルゴリズム [Tokuda; ’00]与えられた文HMMに対して出力確率が最大となる音声パラT
TT T
メータ系列 o = [o1 , o2 ,  , oT ] を推定
P(o | lˆ, λˆ) = ∑ P(o | q, λˆ)P(q | lˆ, λˆ)q≈ max P(o | q, λˆ) P(q | lˆ, λˆ)q⇒qˆ = arg max P(q | lˆ, λˆ)qoˆ = arg max P(o | qˆ , λˆ)o26生成される音声パラメータ系列の軌跡

27

HMM音声合成の枠組み
音声波形

音声データベース

テキスト解析

学習部

基本周波数
抽出

スペクトルパラメータ
抽出

F0パラメータ

スペクトルパラメータ

HMMの学習ラベル

テキスト

コンテキスト依存HMM& 状態継続長モデル

テキスト解析
音声パラメータ生成

ラベル
F0パラメータ

合成部

音源生成

スペクトルパラメータ

合成フィルタ

合成音声
28

概要
1. 定式化2. 各要素の実現
3. 多様な音声合成
4. むすび29感情音声合成平静

怒り「授業中に携帯いじってんじゃねえよ！
電源切っとけ！」「ミーティングには毎週参加しなさい！」※学習データ200発話

話者適応（声を真似る）

線形回帰による話者適応
適応データ（話者A）

不特定話者モデル

適応初期モデル
4発話による適応
50発話による適応
特定話者モデル（話者A）

適応後モデル？

発話スタイルの補間（声を混ぜる）

「平静」
モデル

「ハイテンション」
モデル

補間

平静

補外

ハイテンション

多言語音声合成
•
•
•
•
•
•
•
•
•
•
•
•

日本語
American English
Chinese (Mandarin) (by ATR)
Brazilian Portuguese (by Nitech, and ＵＦＲＪ)
European Portuguese (by Nitech, Univ of Porto, and UFRJ)
Slovenian(by Bostjan Vesnicer, University of Ljubljana, Slovenia)
Swedish (by Anders Lundgren, KTH, Sweden)
German (by University of Bonn, and Nitech)
Korean (by Sang-Jin Kim, ETRI, Korea)
Finish (by TKK, Finland)
Baby English (by Univ of Edinburgh, UK)
Polish, Slovak, Arabic, Farsi, Croatian, Polyglot, etc.

歌声合成
男性：
歌声データ

女性：

好きな曲を好きな声で合成可能
男性：
女性：

任意の楽譜

歌声モデル

こんな歌声も合成可能！
34

デモ（HMM歌声合成）
才野作詞作曲のオリジナル曲（HMMは収録した13曲すべてから学習）
リズムに乗っかってけばいくつになったって get down
ひとつ残らず今日は飲み込んでこう ほら
いつもと同じノリではしゃごうぜ皆で all the day
このビートのもっと向こうが 俺らの本場
2012/2/3 SIGMUS 94

35概要
1. 定式化2. 各要素の実現
3. 多様な音声合成
4. まとめ36

全要素の統計的統合
統計的パラメトリック音声合成の問題設定

P( x | w , X , W ) から x̂ を生成
P( x | w , X , W ) = ∑ ∫∫ P ( x | c ) P(c | l , λ ) P(l | w , Λ )
l, L

波形生成

音声パラメータ生成× P( λ | C , L)

テキスト解析

音響モデルパラメータ× P( L |W , Λ ) P(C|X ) P(Λ ) dλ dΛ dc dC

ラベリング

特徴抽出

事前分布37

むすび
音声合成における統計的アプローチ• 音声合成の全要素を統計的な枠組みによって記述• 統計的な問題として統一された視点• データベースの重要性
今後の課題• まだまだ解くべき問題はたくさんある:• 音声波形モデリング• テキスト解析部との統合• etc.

39

最後のメッセージ

音声合成は泥臭い問題か?

皆様も音声合成研究に是非ご参加を！

ご清聴ありがとうございました
40

Acknowledgement

Keiichi Tokuda would like to thank HTS working
group members, including Heiga Zen, KeiichiroOura, Junichi Yamagichi, Tomoki Toda, YoshihikoNankaku, Kei Hahimoto, and Sayaka Shiota for
their help.

41

References (1/4)
Sagisaka;'92 - "ATR nu-TALK speech synthesis system," ICSLP, '92.
Black;'96 - "Automatically clustering similar units...," Euro speech, '97.
Beutnagel;'99 - "The AT&T Next-Gen TTS system," Joint ASA, EAA, & DAEA meeting, '99.
Yoshimura;'99 - "Simultaneous modeling of spectrum ...," Eurospeech, '99.
Itakura;'70 - "A statistical method for estimation of speech spectral density...," Trans. IEICE, J53-A, '70.
Imai;'88 - "Unbiased estimator of log spectrum and its application to speech signal...," EURASIP, '88.
Kobayashi;'84 - "Spectral analysis using generalized cepstrum," IEEE Trans. ASSP, 32, '84.
Tokuda;'94 - "Mel-generalized cepstral analysis -- A unified approach to speech spectral...," ICSLP, '94.
Imai;'83 - "Cepstral analysis synthesis on the mel frequency scale," ICASSP, '83.
Fukada;'92 - "An adaptive algorithm for mel-cepstral analysis of speech," ICASSP, '92.
Itakura;'75 - "Line spectrum representation of linear predictive coefficients of speech...," J. ASA (57), '75.
Tokuda;'02 - "Multi-space probability distribution HMM," IEICE Trans. E85-D(3), '02.
Odell;'95 - "The use of context in large vocaburary...," PhD thesis, University of Cambridge, '95.
Shinoda;'00 - "MDL-based context-dependent subword modeling...," Journal of ASJ(E) 21(2), '00.
Yoshimura;'98 - "Duration modeling for HMM-based speech synthesis," ICSLP, '98.
Tokuda;'00 - "Speech parameter generation algorithms for HMM-based speech synthesis," ICASSP, '00.
Kobayashi;'85 - "Mel generalized-log spectrum approximation...," IEICE Trans. J68-A (6), '85.
Hunt;'96 - "Unit selection in a concatenative speech synthesis system using...," ICASSP, '96.
Donovan;'95 - "Improvements in an HMM-based speech synthesiser," Eurospeech, '95.
Kawai;'04 - "XIMERA: A new TTS from ATR based on corpus-based technologies," ISCA SSW5, '04.
Hirai;'04 - "Using 5 ms segments in concatenative speech synthesis," Proc. ISCA SSW5, '04.

References (2/4)
Rouibia;'05 - "Unit selection for speech synthesis based on a new acoustic target cost," Interspeech, '05.
Huang;'96 - "Whistler: A trainable text-to-speech system," ICSLP, '96.
Mizutani;'02 - "Concatenative speech synthesis based on HMM," ASJ autumn meeting, '02.
Ling;'07 - "The USTC and iFlytek speech synthesis systems...," Blizzard Challenge workshop, 07.
Ling;'08 - "Minimum unit selection error training for HMM-based unit selection...," ICASSP, 08.
Plumpe;'98 - "HMM-based smoothing for concatenative speech synthesis," ICSLP, '98.
Wouters;'00 - "Unit fusion for concatenative speech synthesis," ICSLP, '00.
Okubo;'06 - "Hybrid voice conversion of unit selection and generation...," IEICE Trans. E89-D(11), '06.
Aylett;'08 - "Combining statistical parametric speech synthesis and unit selection..." LangTech, '08.
Pollet;'08 - "Synthesis by generation and concatenation of multiform segments," Interspeech, '08.
Yamagishi;'06 - "Average-voice-based speech synthesis," PhD thesis, Tokyo Inst. of Tech., '06.
Yoshimura;'97 - "Speaker interpolation in HMM-based speech synthesis system," Eurospeech, '97.
Tachibana;'05 - "Speech synthesis with various emotional expressions...," IEICE Trans. E88-D(11), '05.
Kuhn;'00 - "Rapid speaker adaptation in eigenvoice space," IEEE Trans. SAP 8(6), '00.
Shichiri;'02 - "Eigenvoices for HMM-based speech synthesis," ICSLP, '02.
Fujinaga;'01 - "Multiple-regression hidden Markov model," ICASSP, '01.
Nose;'07 - "A style control technique for HMM-based expressive speech...," IEICE Trans. E90-D(9), '07.
Yoshimura;'01 - "Mixed excitation for HMM-based speech synthesis," Eurospeech, '01.
Kawahara;'97 - "Restructuring speech representations using a ...", Speech Communication, 27(3), '97.
Zen;'07 - "Details of the Nitech HMM-based speech synthesis system...", IEICE Trans. E90-D(1), '07.
Abdl-Hamid;'06 - "Improving Arabic HMM-based speech synthesis quality," Interspeech, '06.

References (3/4)
Hemptinne;'06 - "Integration of the harmonic plus noise model into the...," Master thesis, IDIAP, '06.
Banos;'08 - "Flexible harmonic/stochastic modeling...," V. Jornadas en Tecnologias del Habla, '08.
Cabral;'07 - "Towards an improved modeling of the glottal source in...," ISCA SSW6, '07.
Maia;'07 - "An excitation model for HMM-based speech synthesis based on ...," ISCA SSW6, '07.
Ratio;'08 - "HMM-based Finnish text-to-speech system utilizing glottal inverse filtering," Interspeech, '08.
Drugman;'09 - "Using a pitch-synchronous residual codebook for hybrid HMM/frame...", ICASSP, '09.
Dines;'01 - "Trainable speech synthesis with trended hidden Markov models," ICASSP, '01.
Sun;'09 - "Polynomial segment model based statistical parametric speech synthesis...," ICASSP, '09.
Bulyko;'02 - "Robust splicing costs and efficient search with BMM models for...," ICASSP, '02.
Shannon;'09 - "Autoregressive HMMs for speech synthesis," Interspeech, '09.
Zen;'06 - "Reformulating the HMM as a trajectory model...", Computer Speech & Language, 21(1), '06.
Wu;'06 - "Minimum generation error training for HMM-based speech synthesis," ICASSP, '06.
Hashimoto;'09 - "A Bayesian approach to HMM-based speech synthesis," ICASSP, '09.
Wu;'08 - "Minimum generation error training with log spectral distortion for...," Interspeech, '08.
Toda;'08 - "Statistical approach to vocal tract transfer function estimation based on...," ICASSP, '08.
Oura;'08 - "Simultaneous acoustic, prosodic, and phrasing model training for TTS...," ISCSLP, '08.
Ferguson;'80 - "Variable duration models...," Symposium on the application of HMM to text speech, '80.
Levinson;'86 - "Continuously variable duration hidden...," Computer Speech & Language, 1(1), '86.
Beal;'03 - "Variational algorithms for approximate Bayesian inference," PhD thesis, Univ. of London, '03.
Masuko;'03 - "A study on conditional parameter generation from HMM...," Autumn meeting of ASJ, '03.
Yu;'07 - "A novel HMM-based TTS system using both continuous HMMs and discrete...," ICASSP, '07.

References (4/4)
Qian;'08 - "Generating natural F0 trajectory with additive trees," Interspeech, '08.
Latorre;'08 - "Multilevel parametric-base F0 model for speech synthesis," Interspeech, '08.
Tiomkin;'08 - "Statistical text-to-speech synthesis with improved dynamics," Interspeech, '08.
Toda;'07 - "A speech parameter generation algorithm considering global...," IEICE Trans. E90-D(5), '07.
Wu;'08 - "Minimum generation error criterion considering global/local variance...," ICASSP, '08.
Toda;'09 - "Trajectory training considering global variance for HMM-based speech...," ICASSP, '09.
Saino;'06 - "An HMM-based singing voice synthesis system," Interspeech, '06.
Tsuzuki;'04 - "Constructing emotional speech synthesizers with limited speech...," Interspeech, '04.
Sako;'00 - "HMM-based text-to-audio-visual speech synthesis," ICSLP, '00.
Tamura;'98 - "Text-to-audio-visual speech synthesis based on parameter generation...," ICASSP, '98.
Haoka;'02 - "HMM-based synthesis of hand-gesture animation," IEICE Technical report,102(517), '02.
Niwase;'05 - "Human walking motion synthesis with desired pace and...," IEICE Trans. E88-D(11), '05.
Hofer;'07 - "Speech driven head motion synthesis based on a trajectory model," SIGGRAPH, '07.
Ma;'07 - "A MSD-HMM approach to pen trajectory modeling for online handwriting...," ICDAR, '07.
Morioka;'04 - "Miniaturization of HMM-based speech synthesis," Autumn meeting of ASJ, '04.
Kim;'06 - "HMM-Based Korean speech synthesis system for...," IEEE Trans. Consumer Elec., 52(4), '06.
Klatt;'82 - "The Klatt-Talk text-to-speech system," ICASSP, '82.

HTS Slides
released by HTS Working Group
http://hts.sp.nitech.ac.jp/
Copyright (c) 1999 - 2011
Nagoya Institute of Technology
Department of Computer Science
Some rights reserved.
This work is licensed under the Creative Commons Attribution 3.0 license.
See http://creativecommons.org/ for details.

Copyright for some samples
Some samples (icon is) are released under following license.

47