社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

HMM 音声合成における変調スペクトルに基づくポストフィルタ
高道慎之介†

戸田 智基†

GrahamNeubig†Sakriani

Sakti†

中村哲†† 奈良先端科学技術大学院大学 〒 630–0192 奈良県生駒市高山町 8916–5
E-mail: †{shinnosuke-t,tomoki}@is.naist.jp
あらまし隠れマルコフモデル (Hidden Markov Model：HMM) に基づく音声合成において，生成される音声パラ

メータ系列は過剰に平滑化される傾向にあり，合成音声の肉声感は劣化する．系列内変動 （Global Variance: GV）
は，過剰な平滑化を定量的に表現する特徴量として広く使用されるが，GV を考慮して生成されたパラメータ系列は，
未だに平滑化の影響を強く受ける．これに対し本稿では，過剰な平滑化の影響を表現する新たな特徴量としてパラメータ系列の変調スペクトル （Modulation Spectrum: MS）に着目し，生成パラメータ系列の MS を補償するポストフィルタを提案する．スペクトル及び F0 に対して提案法を適用し，その有効性を実験的に評価する．評価結果から，提案法により音質改善効果が得られることを示す．
キーワード

HMM 音声合成，過剰な平滑化，系列内変動，変調スペクトル，ポストフィルタ

Postfilter Based on Modulation Spectrum
in HMM-Based Speech Synthesis
Shinnosuke TAKAMICHI† , Tomoki TODA† , Graham NEUBIG† , Sakriani SAKTI† , and Satoshi
NAKAMURA†† Nara Institute of Science and Technology, Tatayama-cho 8916–5, Ikoma, Nara, 630–0192 Japan
E-mail: †{shinnosuke-t,tomoki}@is.naist.jp
Abstract In this paper, we propose a postﬁlter based on a modulation spectrum for high-quality HMM-based
speech synthesis. An over-smoothing eﬀect that is observed in the generated speech parameter sequence is a maincause of quality degradation in HMM-based speech synthesis. A Global Variance (GV) is well-known as a betterfeature to capture the over-smoothing eﬀect, and an eﬀectiveness of the parameter generation algorithm considering the GV have been conﬁrmed. However, the quality gap between natural speech and synthetic speech is stilllarge. In this paper, we introduce a Modulation Spectrum (MS) of speech parameter trajectory as a new feature toeﬀectively capture the over-smoothing eﬀect. The generated speech parameter sequence is ﬁltered to compensate
its MS. Experimental results show that quality improvements by the proposed methods applied to spectral and F0
components is yielded compared with conventional HMM-based speech synthesis.
Key words HMM-based speech synthesis, postﬁlter, modulation spectrum, over-smoothing, global variance

1. は じ め に
テキスト音声合成（Text-To-Speech：TTS）は，任意のテキストから音声を合成する技術であり，音声をインターフェース

を活用可能な点も，HMM 音声合成が利用される理由の一つである．一方で，統計処理による過剰な平滑化処理により，生成される音声パラメータ系列の詳細な特徴は失われ，合成音声の音質は，自然音声と比較して著しく劣化する [5] ．

としたコミュニケーションシステムにおいて大きな役割を担っパラメータの系列内変動（Global Variance： GV） [6] は，ている．隠れマルコフモデル（Hidden Markov Model：HMM）

過剰な平滑化を定量的に説明する特徴量として広く知られていに基づく音声合成技術 [1] は，統計的手法に基づく TTS の一つ

る．特徴量自体は，パラメータ系列の 2 次モーメントというシであり，声質制御の柔軟性 [2]〜[4] などの利点から，広く利用

ンプルな形式で表現されるものの，GV を考慮したパラメータされている．HMM に基づく音声認識の分野で蓄積された手法

生成法は，平滑化の影響を比較的抑えたパラメータ系列を生成

—1—

5

の音質と比較すると未だに大きく劣化している．

4

本稿では，合成音声の音質改善を目的として，パラメータ
系列の変調スペクトル （Modulation Spectrum: MS） に基づくポストフィルタを提案する．MS は，パラメータ系列のパワースペクトルとして定義され，音声知覚に関するスペクトル
キュー [7] や音声認識におけるスペクトルパラメータ [8] として使用される特徴量である．HMM 音声合成において生成される

Amplitude [dB]

可能である．しかしながら，その合成音声の音質は，自然音声

HMM+GV

3

Natural speech

2
1
0

HMM

-1
-2
-3
0.01

0.1
1
10
Modulation frequency [Hz]パラメータ系列の MS は，GV を考慮した場合においても，自100

然音声の MS と比較して大きく減衰する傾向にある．そこで，

図 1 横軸を対数変調周波数とした第 10 次メルケプストラム系列の変生成されたパラメータ系列の MS を補償するポストフィルタを調スペクトルの例
Fig. 1 An example of natural/generated 10th mel-cepstral coeﬃ-適用する．ポストフィルタは，学習データ内の自然音声および

cient sequences of log-scaled modulation frequency.

合成音声のパラメータ系列から事前に学習される．また，スペクトルのみでなく，F0 に対しても適用可能である．提案法により，GV を考慮したパラメータ生成法と比較し，合成音声の音質を改善できることを示す．

ラメータ系列から学習される．
式 (1) による生成パラメータの GV は，通常，自然音声のパラメータ系列の GV より小さくなる傾向にある．一方で，式(4) による生成パラメータ系列の GV は，GV 尤度を考慮する

2. HMM 音声合成のパラメータ生成法

ことで補償され，合成音声の音質は大きく改善する．しかしな

2. 1 HMM 尤度最大化基準 [9]がら，その音質は，依然として自然音声のものには及ばない．

HMM 音声合成では，自然音声のパラメータ系列からコンテ
キスト依存 HMM を学習する．生成時には，合成対象のテキス

3. パラメータ系列の変調スペクトルトに対応する文 HMM を形成し，静的・動的特徴量間の明示的MS は，本来，パラメータ系列をフーリエ変換した値を表な制約条件の下で HMM 尤度を最大化することで，パラメータ

す [10] が，本稿では，その対数パワースペクトルを MS と呼系列を生成する．HMM 尤度のみを考慮したパラメータ生成はぶ．パラメータ系列 c に対する変調スペクトル s (c) を次式で次式で示される．

定義する．

ĉ = argmax P (W c|λ)
c

(1)

[

⊤
⊤
ただし，c = c⊤
1 , · · · , ct , · · · , cT]⊤

は T フレームの音声パラ

メータ系列，ct = [ct (1) , · · · , ct (d) , · · · , ct (D)]⊤ は時刻 t に[

s (c) = s (1)⊤ , · · · , s (d)⊤ , · · · , s (D)⊤s (d) = [sd (0) , · · · , sd (m) , · · · , sd (M )]

]⊤

⊤

(5)
(6)

た だ し ，sd (m) は ，d 次 元 目 の パ ラ メ ー タ 系 列

おける D 次元の音声パラメータ，d は次元のインデックス，W[c1 (d) , · · · , ct (d) , · · · , cT (d)]⊤ に対する，周波数インデック

は動的特徴量の計算に用いる重み係数によって決定される行ス m の MS，M は離散フーリエ変換（Discrete Fourier Trans-

form：DFT）のサンプル数の半分を表す．本稿では，系列長

列 [9]，λ は HMM のパラメータセットを表す．
式 (1) により生成されるパラメータ系列は，自然音声パラ
メータ系列と比較して，過剰に平滑化される傾向にあり，こが 2M になるように零詰めをしたパラメータ系列の MS を計算する．

もった音質の合成音声を生み出す要因となる．

図 1 に，式 (1)（“HMM”）と式 (4)（“HMM+GV”）で生

2. 2 HMM 尤度・GV 尤度最大化基準 [6]

成された第 10 次メルケプストラム系列の MS の平均を示す．

GV は，パラメータ系列の 2 次モーメントとして定義される．

比較のため，自然音声（“Natural speech”）の同系列の MS の次式に示す通り，各次元のパラメータ系列の変動はスカラで表平均も示す．いずれの MS も，低変調周波数にパワーが集中し現される．

ていることが分かる．“HMM” の MS は，自然音声のパラメー

v (c) = [v (1) , · · · , v (d) , · · · , v (D)]⊤v (d) =

T
1 ∑

T

t=1

(

ct (d) −T
1 ∑T

タ系列の MS と比較して，大きく減衰していることが確認で)2cτ (d)

(2)
(3)

τ =1

生成時には，次式に示すように，HMM 尤度及び GV 尤度を最大化してパラメータ系列を生成する．

きる．これは，隠れマルコフモデルによる時間方向の平滑化によって生じるものであると予想される．“HMM+GV” の MS
は，GV の導入により比較的補償され，低変調周波数の MS は

“Natural speech” の MS に接近するが，それ以外の周波数においては，未だに大きく減衰していることが確認できる．
以上の結果より，MS が音質に寄与することが予想され，まĉ = argmax P (W c|λ) P (v (c) |λv )
c

w

(4)

た，MS の直接的な補償により，合成音声の音質改善がもたらされると期待される．

ただし，λv は GV の確率密度関数のパラメータセット，w はGV 尤度の重みを表す．GV の確率密度関数は，自然音声のパ—2—

Parameter sequence

Training
Training間に対してスプライン法に基づく補間処理を行うことで，連続的な F0 パターンを生成する．ただし，無音区間の F0 推定は補Statistical modelPower
calculation

Generation

ある，連続 F0 モデル [11] を導入する．[12] と同様に，無声区

Modulation spectrumPowercalculation

外処理となるため，スプライン法による推定精度の劣化が予想される．故に，有音区間のみの連続 F0 パターンを用いて MS

SynthesisPowercalculation

を計算する（注 1）．推定された連続 F0 モデルに対しては，知覚Postfilter

的な影響の小さいマイクロプロソディ [13] による MS の変動を
Phase

Generation

避けるために，低域通過フィルタ（Low Pass Filter：LPF）を適用する．また．連続 F0 パターンを推定する前に，零詰め処

図 2 提案するポストフィルタの学習・生成手順

Fig. 2 A schematic diagram of proposed training/synthesis processes.

理による不連続な遷移を避けるために，系列平均を 0 にするよ
うに F0 パターンにバイアスをかける．
合成時には，生成 F0 パターンの連続化を行う前に，系列の平均 F0 と有声/無声区間を抽出する．ポストフィルタ後の連続

4. 変調スペクトルに基づくポストフィルタ
生成パラメータ系列の MS を補償するポストフィルタを提案する．図 2 に示す手順の通り，ポストフィルタは学習データを用いて事前学習する．
自然音声のパラメータ系列から，次式に示す確率密度関数を
学習する．

(

P (s (c) |λs ) = N s (c) ; µ

(N)

(

,Σ

(N)

(N)

)2

[(

(N)

)2

σ1,0

設定した場合でも，フィルタ処理前後の F0 パターンは一致しないことに注意する．
パラメータ系列の GV を補償するポストフィルタ [14] との

(7)

[

)

と対角共分散行列 Σ(N) = diag(N)

平均 F0 と有声/無声区間を復元することで生成する．マイクロ4. 4 GV ポストフィルタとの関連性

)
(N)

(N)

(

)2 ]

ただし，N ·; µ(N) , Σ(N) は平均 µ(N) = µ1,0 , · · · , µD,M

規分布，µd,m と σd,mれ，最終的な F0 パターンは，この連続 F0 パターンに対して，
プロソディが除去されているため，フィルタ強度係数 k を 0 に

4. 1 学 習 部(

F0 パターンは，スペクトルパラメータの場合と同様に計算さ(N), · · · , σD,M]⊤

関連性について議論する．GV ポストフィルタでは，生成パラメータに対して次式の線形変換を行う．

√の正(GV,G)µd

は sd (m) の平均と分散，λs は MS の確率密度関数のパラメータセットを表す．同様に，HMM 音声合(成で生成されたパラメータ系列から正規分布 N ·; µ

(G)

,Σ

(G)

)

(GV,N)µdĉt (d) =(GV,N)

ただし，µd{ct (d) − ⟨ct (d)⟩} + ⟨ct (d)⟩(GV,G)，µd(9)はそれぞれ，学習データにおける d

次元目の自然音声パラメータ及び合成音声パラメータの GV のを学習する．なお，自然音声のパラメータ系列と生成パラメー

平均，⟨ct (d)⟩ は，d 次元目の合成音声パラメータの平均を表

タ系列間の継続長の違いが MS に影響することを避けるために，す．このポストフィルタでは時系列の分散値のみを補償するた

正規分布の学習に用いる生成パラメータ系列は，自然音声の継め，図１に示したように依然として MS には大きな違いが生じ

続長において生成する．

ており，自然音声のパラメータ系列に含まれる時間的変動の再4. 2 生 成 部

現は困難である．一方で，提案法では全変調周波数の MS を直生成されたパラメータ系列 c の MS に対して次式のポスト接補償するため，自然音声のパラメータ系列のような時間的変フィルタを適用する．

動を含んだパラメータ系列を生成することができる．そのため，提案法による音質改善が予想される．

s′d (m) = (1 − k)sd (m)

[ (N)

+ k

σd,m (
(G)

σd,m

(G)

)

]
(N)

sd (m) − µd,m + µd,m

パーセバルの定理より，フーリエ変換前後のパワーは一致す(8)

る．式 (3) で定義された GV は，直流成分を除いた系列のパワーに相当する．一方で，MS は系列のパワースペクトルであただし，k はポストフィルタ強度係数 (0 <= 1) を表す．フィ=k<るため，直流成分を除いた全変調周波数の MS の和は GV とルタ後の MS は，k = 1 の際には自然音声のパラメータ系列の一致する（注 2）．つまり MS とは，直流成分を除いた要素の和がMS に近い値となり，k = 0 の際にはポストフィルタ処理前とGV に一致するような特徴量であると解釈出来る．また，GV等価となる．ポストフィルタ後のパラメータ系列は，式 (8) でポストフィルタ処理は，音声パラメータの各次元において，直計算された MS と，フィルタ処理前のパラメータ系列の周波数

流成分を除いた全変調周波数の MS を一律に定数倍することに位相特性から計算する．

相当し，ポストフィルタ係数 1.0 における提案法の変換処理に，

4. 3 F0 パラメータへの適用提案するポストフィルタは連続遷移する時系列に対するフーリエ変換を用いるため，F0 系列に対する直接的な適用は不可能である．これに対して本稿では，無声区間においても連続的な F0 パターンが観測されるものとしてモデル化を行う手法で（注 1）：無音区間の F0 推定法には，系列の平均 F0 による置換，または，最近
傍の有声フレームの F0 による置換等が考えられるが，テストデータに対するMS 尤度を計算した結果，尤度が最も高くなった上記の手法を用いる．
（注 2）：正確には，線形パワーの和が GV と一致する．

—3—

次式の制約を付与することに等しい（注 3）．

{(·)
σd,m =

95

1(GV,·)µdm=0otherwise(10)

一方で，提案法では，各変調周波数において異なる倍率を用いて MS を補償することが可能である．

5. 実験的評価

Log-scaled likelihood(·)µd,m = 0,

HMM+GV+MS

85
80
75
70
65
60
55

5. 1 実 験 条 件

HMM+MS

90

Natural speech

00.2

学習データは女性話者による ATR 音素バランス文 [15] A-I

0.4
0.6
Filter coefficient

0.81(a) HMM 尤度

セット 450 文とする．評価データは同 J セット 53 文を使用する．
学習データのサンプリング周波数は 16 kHz，フレームシフトはよる 0 次から 24 次のメルケプストラム係数，音源特徴量は，対数 F0 ，5 周波数帯域における平均非周期成分 [17], [18] を使用す
る．5 状態 left-to-right 型の隠れセミマルコフモデル（Hidden

Semi-Markov Model：HSMM） [19] の学習を行う．変調スペ
クトルにおける DFT のサンプル数は 4096 点とする．これは，

100
Log-scaled likelihood

5 ms とする．スペクトル特徴量は，STRAIGHT 分析 [16] にNatural speech

50

HMM+GV+MS
HMM+MS

0
-50

-100

学習・評価データのパラメータ系列のフレーム数を十分に超え-150る値である．マイクロプロソディを除去するための LPF のカッ

00.2

トオフ周波数は，10Hz とする（注 4）．

0.4
0.6
Filter coefficient

0.8

1

0.8

1

(b) GV 尤度

用いる MS の確率密度関数の学習には，GV を考慮して生成されたパラメータを使用することに注意する．

“HMM”： 式 (1) で生成“HMM+MS”： 式 (1) で生成したパラメータ系列に対して提案法を適用“HMM+GV”： 式 (4) で生成“HMM+GV+MS”： 式 (4) で生成したパラメータ系列に対して提案法を適用

Log-scaled likelihood (x 0.001)

以下に示す手法を用いて評価を行う．“HMM+GV+MS” に-2Natural speech-4

HMM+GV+MS-6

HMM+MS

-8
-10
-12
-14
-16

0

まず，ポストフィルタ強度係数を決定するための評価を行う．

GV 尤度及び MS 尤度を計算する．同時に，自然音声（Natural
speech）のパラメータ系列に対する尤度も計算する．次に，提案法による音質改善効果を対比較実験により評価する（注 5）．評
価者には，ランダムに再生された音声から音質の高い方を強制選択させた．評価は 8 人の受聴者に対するプリファレンススコ
アとする．客観・主観評価はスペクトル・F0 毎に行い，提案法を適用しない音声パラメータは，“HMM” を使用する．

5. 2 HMM・GV・MS 尤度を用いた客観評価結果
ポストフィルタ強度係数を変化させた時の，ポストフィルタ
後のスペクトルパラメータ系列に対する HMM 対数尤度を図3(a) に，GV 対数尤度を図 3(b) に，MS 対数尤度を図 3(c) に示す．図 3(a) から，ポストフィルタ強度係数を大きくするに従0.40.6Filter coefficient(c) MS 尤度

ポストフィルタ強度係数を 0 から 1 まで 0.05 刻みで変化させ，
ポストフィルタ処理後のパラメータ系列に対する HMM 尤度，

0.2

図3

フィルタ後のスペクトルパラメータに対する尤度

Fig. 3 Likelihoods for ﬁltered spectral parameter sequences.

い，生成パラメータ系列に対する HMM 尤度は大きく減少する
ことがわかる．しかしながら，その尤度は自然音声のパラメー
タ系列に対する HMM 尤度よりも依然として大きい．一方，図3(b) から，ポストフィルタ強度係数を大きくするに従い GV 尤
度は変化し，ポストフィルタ強度係数を 0.85 に設定した場合に，“HMM+MS” と “HMM+GV+MS” の両方の尤度が自然
音声に接近していることがわかる．対して図 3(c) から，生成パラメータ系列に対する MS 尤度は，自然音声のパラメータ系
列に対する尤度よりも常に小さいことがわかる．以上の結果から，提案法の全尤度が自然音声の尤度よりも大きい係数は存在しないため，提案法と自然音声の GV 尤度が一致する係数 0.85
を，スペクトルパラメータのフィルタ強度係数として設定する．

（注 3）：MS を線形のパワースペクトルして扱った場合．
（注 4）：いくつかのカットオフ周波数において MS の確率密度関数の学習精度を同様に，ポストフィルタ後の F0 パラメータ系列に対する評価した結果，10Hz のカットオフ周波数が比較的良い性能となった．

HMM・GV・MS 尤度をそれぞれ図 4(a)，図 4(b)，図 4(c) に（注 5）：音 声 サ ン プ ル は ，http://isw3.naist.jp/~shinnosuke-t/sample_

示す．ポストフィルタ強度係数を大きくした時の各尤度の変化

mspf.html で受聴可能である．

—4—

95% confidence interval

3

Preference score

Log-scaled likelihood

1
HMM+MS

3.2

HMM+GV+MS

2.8
2.6
2.4
Natural speech

2.2
0

0.2

0.4
0.6
Filter coefficient

0.8

0.8
0.6
0.4
0.2
0

1

HMM
図5

(a) HMM 尤度

HMM+MS

HMM+GV HMM+GV+MS

スペクトルパラメータにおける主観評価結果

Log-scaled likelihood

3.6

4th mel-cepstral coefficientFig. 5 Preference score for spectral component.
HMM+GV+MS

3.4
3.2
3

HMM+MS

2.8

0.4
0.2
0

HMM
HMM+GV
HMM+GV+MS
Natural speech

-0.2

2.6

Natural speech

2.4
2.2

0.6

0

0.2

0.4
0.6
Filter coefficient

0.8

280

300

320
340
Frame index

1

360

380

図 6 生成された 4 次のメルケプストラム系列(b) GV 尤度

Fig. 6 Examples of natural and generated 4th mel-cepstral coefﬁcient sequence.

Log-scaled likelihood (x 0.001)

-1.60

1

-1.62

95% confidence interval
Natural speech-1.66

Preference score-1.64

HMM+MS-1.68

HMM+GV+MS

-1.70
-1.72
-1.74
0

0.2

0.4
0.6
Filter coefficient

0.8

1

0.8
0.6
0.4
0.2
0

HMM

HMM+MS

HMM+GV HMM+GV+MS(c) MS 尤度

図 7 F0 パラメータにおける主観評価結果
図 4 フィルタ後の F0 系列に対する尤度

Fig. 7 Preference score for F0 component.

Fig. 4 Likelihoods for ﬁltered F0 contours.

性が示された．
の傾向は，スペクトルパラメータの場合と同じであることが確認出来る．しかしながら，フィルタ強度係数 0.75 を超えると，“HMM+MS” 及び “HMM+GV+MS” の全尤度が．“natural
speech” の尤度を超えている事がわかる．また，係数を 1.0 に設定すると，MS 尤度が最大となることがわかる．以上の結果
から，F0 におけるポストフィルタ強度係数を 1.0 に設定する．

同様に，F0 パラメータにおける主観評価結果を図 7 に示す．

“HMM+MS” 及び “HMM+GV” のスコアが “HMM” のスコ
アよりも高いことから，F0 に対しても提案法の有効性が示された．自然音声及び合成音声の F0 パターンは共に緩やかに遷移するため，F0 に対する提案法による音質改善効果が，スペ
クトルパラメータの場合よりも小さくなったと思われる．

5. 3 音質に関する主観評価結果
スペクトルパラメータに提案法を適用した時の，音質の主観

6. ま と め

評価結果を図 5 に示す．また，パラメータ系列及びスペクトロ

本稿では，HMM 音声合成の音質改善を目的として，生成パグラムの例をそれぞれ，図 6 と図 8 に示す．“HMM” による生

ラメータ系列の変調スペクトルを補償するポストフィルタを提成パラメータ系列に対して提案法を適用することで，スコアが案し，スペクトル及び F0 における音質改善効果を実験的評価

著しく上昇し，“HMM+GV” と同等の音質が得られることがにより示した．今後は，変調スペクトルを考慮したパラメータ

分かる．また，“HMM+GV” におけるパラメータ系列に対す生成法の検討を行う．

る提案法の適用により，スコアは更に上昇することがわかる．
以上の結果から，スペクトルパラメータに対する提案法の有効

謝辞

本研究の一部は，JSPS 科研費 22680016 の助成を受け実施したものである．

—5—

Frequency (kHz) Frequency (kHz) Frequency (kHz) Frequency (kHz)

0
2
4
6
8
0
2
4
6
8
0
2
4
6
8
0
2
4
6
8

図8

スペクトログラム（上から，“HMM”，“HMM+GV”，“HMM+GV+MS”，自然音声を表す）
Fig. 8 Spectrogram (representing “HMM”, “HMM+GV”, “HMM+GV+MS”, and natu-

ral speech from top down.)

文献[1] H. Zen, K. Tokuda, and A. Black. Statistical parametricspeech synthesis. Speech Commun., Vol. 51, No. 11, pp.
1039–1064, 2009.
[2] T. Yoshimura, T. Masuko, K. Tokuda, T. Kobayashi, andT. Kitamura. Speaker interpolation for HMM-based speechsynthesis system. J. Acoust. Soc. Jpn. (E), Vol. 21, No. 4,
pp. 199–206, 2000.
[3] J. Yamagishi and T. Kobayashi. Average-voice-based speechsynthesis using HSMM-based speaker adaptation and adaptive training. IEICE Trans., Inf. and Syst., Vol. E90-D,
No. 2, pp. 533–543, 2007.
[4] T. Nose, J. Yamagishi, T. Masuko, and T. Kobayashi. A
style control technique for HMM-based expressive speechsynthesis. IEICE Trans., Inf. and Syst., Vol. E90-D, No. 9,
pp. 1406–1413, 2007.
[5] S. King and V. Karaiskos. The blizzard challenge 2011. In
Proc. Blizzard Challenge workshop, Turin, Italy, Sept. 2011.
[6] T. Toda and K. Tokuda. A speech parameter generation algorithm considering global variance for HMM-based speechsynthesis. IEICE Trans., Vol. E90-D, No. 5, pp. 816–824,
2007.
[7] R. Drullman, J .M. Festen, and R. Plomp. Eﬀect of reducing
slow temporal modulations on speech reception. J. Acoust.
Soc. of America, Vol. 95, pp. 2670–2680, 1994.
[8] S. Thomas, S. Ganapathy, and H. Hermansky. Phoneme
recgnition usng spectral envelop and modulation frequency
features. In Proc. ICASSP, pp. 4453–4456, Taipei, Taiwan,
April 2009.
[9] K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, andT. Kitamura. Speech parameter generation algorithms for
HMM-based speech synthesis. In Proc. ICASSP, pp. 1315–
1318, Istanbul, Turkey, June 2000.
[10] L. Atlas and S. A.Shamma. Joint acoustic and modulation
frequency. EURASIP Journal on Applied Signal Processing, Vol. 7, pp. 668–675, 2003.
[11] K. Yu and S. Young. Continuous F0 modeling for HMM
based statistical parametric speech synthesis. IEEE Trans.

[12]

[13]
[14]

[15]

[16]

[17]

[18]

[19]

Audio, Speech and Language, Vol. 19, No. 5, pp. 1071–1079,
2011.
K. Tanaka, T. Toda, G. Neubig, S. Sakti, and S. Nakamura.
A hybrid approach to electrolaryngeal speech enhansement
based on spectral subtraction and statistical voice conversion. In Proc. INTERSPEECH, pp. 3067–3071, Lyon,
France, Sep. 2013.
P. Taylor. Text-To-Speech synthesis. Cambridge Univ.
Press, 2009.
T. Toda, T. Muramatsu, and H. Banno. Implementation of
conputationally eﬃcient real-time voice conversion. In Proc.
INTERSPEECH, Portland, Oregon, U.S., Sept. 2012.
Y. Sagisaka, K. Takeda, M. Abe, S. Katagiri, T. Umeda,
and H. Kuawhara. A large-scale Japanese speech database.
In ICSLP90, pp. 1089–1092, Kobe, Japan, Nov. 1990.
H. Kawahara, I. Masuda-Katsuse, and A. D. Cheveigne.
Restructuring speech representations using a pitch-adaptive
time-frequency smoothing and an instantaneous-frequencybased F0 extraction: Possible role of a repetitive structure
in sounds. Speech Commun., Vol. 27, No. 3–4, pp. 187–207,
1999.
H. Kawahara, Jo Estill, and O. Fujimura. Aperiodicity extraction and control using mixed mode excitation and groupdelay manipulation for a high quality speech analysis, modiﬁcation and synthesis system STRAIGHT . In MAVEBA
2001, pp. 1–6, Firentze, Italy, Sept. 2001.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano. Maximum likelihood voice conversion based on GMM withSTRAIGHT mixed excitation. In Proc. INTERSPEECH,
pp. 2266–2269, Pittsburgh, U.S.A., Sep. 2006.
H. Zen, K. Tokuda, T. Kobayashi T. Masuko, and T. Kitamura. Hidden semi-markov model based speech synthesis
system. IEICE Trans., Inf. and Syst., E90-D, No. 5, pp.
825–834, 2007.

—6—