Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

統計的パラメトリック音声合成のための変調スペクトルを考慮した音声パラメータ生成アルゴリズム
高道 慎之介1,2,a)

戸田 智基1ブラック アラン2

中村 哲1

概要：統計的パラメトリック音声合成において生成パラメータの過剰な平滑化は，合成音声の音質を著しく劣化させる．これに対して，系列内変動を考慮したパラメータ生成法の有効性が知られている．近年，我々は，系列内変動の拡張である変調スペクトルが，過剰な平滑化をより高精度に捉える特徴量であることを明らかにしている．本稿では，過剰な平滑化をより一層緩和する手法として，変調スペクトルを考慮した音声パラメータ生成法を提案する．実験的評価により，系列内変動を考慮したパラメータ生成法と比較して，提案法により合成音声の音質が向上する事を示す．
キーワード：統計的パラメトリック音声合成，HMM 音声合成，GMM 声質変換，過剰な平滑化，系列内変動，変調スペクトル，パラメータ生成

Speech Parameter Generation Algorithm Considering Modulation
Spectrum for Statistical Parametric Speech Synthesis
Shinnosuke Takamichi1,2,a)

Tomoki Toda1

Alan W. Black2

Satoshi Nakamura1

Abstract: This paper proposes a novel speech parameter generation algorithm considering modulation spectrum for statistical parametric speech synthesis. The over-smoothing eﬀect that is observed in generated
speech parameter trajectories deteriorates the synthetic speech quality. A parameter generation algorithm
considering Global Variance (GV) is known as an eﬃcient approach to alleviating the over-smoothing eﬀect
but this eﬀect still remains to be addressed. Recently, we have found the Modulation Spectrum (MS) whichis regarded as an extension of the GV is capable of more sensitively detecting the over-smoothing eﬀect
than the GV. To further alleviate the over-smoothing eﬀect, the proposed algorithm integrates the MS into
the parameter generation. The experimental results demonstrate that the proposed parameter generation
algorithm considering the MS yields signiﬁcant improvements in synthetic speech quality compared to theconventional parameter generation algorithm considering the GV.
Keywords: statistical parametric speech synthesis, HMM-based text-to-speech synthesis, GMM-based voice
conversion, over-smoothing, global variance, modulation spectrum, parameter generation

1. はじめに秘めている．本稿で取り扱う，テキストから音声を合成するテキスト音声合成（TTS: Text-To-Speech） [1] と言入力情報から音声を生成する音声合成技術は，我々の語情報を保持しつつ声質を変換する声質変換（VC: Voice

コミュニケーション能力や身体機能を拡張する可能性をConversion） [2] は，音声合成技術の代表例である．1990

1

2

a)

奈良先端科学技術大学院大学 情報科学研究科
Graduate School of Information Science, Nara Institute of
Science and Technology (NAIST), Japan.
カーネギーメロン大学 言語技術研究所
Language Technologies Institute, Carnegie Mellon University (CMU), United States.
shinnosuke-t@is.naist.jpⓒ 2015 Information Processing Society of Japan

年代に提案され 2000 年代に急速に普及した統計的パラメ
トリック音声合成方式 [3], [4] は，合成器構築の容易さ及びその汎用性の高さ [5], [6] から，身障補助 [7], [8]，言語
教育支援 [9], [10]，アミューズメント [11], [12] 等に向けて広く研究されている．

1

Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

一方で，統計的パラメトリック音声合成方式における合

[
]
⊤
⊤ ⊤
ただし，Y t = y ⊤は，時刻 t における出t , ∆y t , ∆∆y t

成音声の音質は，自然音声と比較して著しく劣化する傾向

力音声の静的特徴量 y t = [yt (1) , · · · , yt (d) , · · · , yt (D)] とにある [13], [14]．その要因は，分析部・学習部・生成部のその一次と二次の動的特徴量 ∆y t ，∆∆y t の結合ベクト

各々に存在する [15] が，特に生成部では，統計処理によルを表す．T は総フレーム数，d は次元のインデックス，

る音声パラメータ系列の過剰な平滑化が大きな要因であD は y t の次元数を表す．HMM パラメータセットは Q 個る．パラメータ系列の系列内変動（GV: Global Variance）の HMM 状態から成り，状態インデックス q の HMM 状[4], [16] は，過剰な平滑化を定量的に説明する特徴量とし|X)
態は，平均ベクトルµq ) と共分散行列 Σ(Yの正規q((Y |X)(Y |X)
分布 N ·; µq, µqを有する．F0 パターンと状態て広く知られている．特徴量自体は，パラメータ系列の 2(Y |X)

次モーメントというシンプルな形式で表現されるものの，継続長は，それぞれ多空間確率分布 HMM（Multi-SpaceGV を考慮したパラメータ生成法は，平滑化の影響を比較

probability Distribution HMM: MSD-HMM） [23] と状態的抑えたパラメータ系列を生成可能であり，現在も広く応継続長モデル [24] でモデル化される．

用されている [17], [18]．しかしながら，その合成音声の音

2.1.2 GMM 声質変換

質は，自然音声の音質と比較すると未だに大きく劣化する．

[ GMM 声 質 変 換 で は]⊤入 力 音 声 の 特 徴 量 系 列 X =⊤⊤⊤X1 , · · · , Xt , · · · , XTと出力音声の特徴量系列 Y =
[
]⊤
⊤
⊤
Y⊤
から，GMM のパラメータセッ
1 ,···,Y t ,···,Y T

近年，我々は，GV の拡張形である変調スペクトル（MS:Modulation Spectrum）が，過剰な平滑化の定量化に一層効果的であること，また，生成パラメータ系列の MS を補償するポストフィルタが，音質改善に有効であることを明らかにしている [19], [20], [21]．しかしながらこの処理は，従来のパラメータ生成処理から独立したものであり，生成基準を無視してパラメータ系列を過剰に変形する．また，モデル適応 [6] や同時最適化学習 [17], [22] 等に代表される
統計的パラメトリック音声合成方式の恩恵を受けられない．
本稿では，HMM（Hidden Markov Model）音声合成 [3]と GMM（Gaussian Mixture Model）声質変換 [4] において，MS を考慮した音声パラメータ生成法を提案する．提案法は，HMM 尤度又は GMM 尤度と，MS 尤度から成る
目的関数を最大化するように，音声パラメータ系列を生成する．MS 尤度の使用により，生成パラメータの MS は自然音声パラメータの MS に近づくように補償される．実験的評価により，従来の GV を考慮したパラメータ生成法を超える音質改善効果が提案法により得られることを示す．

2. 統計的パラメトリック音声合成
HMM 音声合成と GMM 声質変換の学習部及び生成部にト λ を学習する．入出力音声の特徴量は，次式の結合確率密度関数でモデル化される．
([
]
)
([
] ) Q
∑
Xt
Xt
(X,Y )(X,Y )
αq N
; µq
, Σq
(2)
P
λ =
Yt
Yt
q=1
[ (X) ]
[
]
(XX)
(XY )
µ
Σ
Σ
q
q
q
)
)
µ(X,Y
=
, Σ(X,Y
=
(3)
q
q
(Y )
X)
Y)
µq
Σ(Y
Σ(Y
q
q
ただし，X t と Y t はそれぞれ，時刻 t における入出力音][⊤ ⊤と表される．GMM
声の特徴量であり，Y t = y ⊤t , ∆y t
パラメータセットは Q 個の混合要素を有し，インデックス(X,Y )

q の混合要素は，混合重み αq ，平均ベクトル µqと共分(X,Y ))
散行列 Σ(X,Yから成る正規分布で表される．µq
q

は，

(X)
(Y )
入出力音声の特徴量の平均ベクトルである µq と µq か)ら成る．また，Σ(X,Yは，入出力音声の特徴量の共分散
q
(XX)
Y)
行列である Σq及び Σ(Yと，相互共分散行列である
q
(Y X)
(XY )
Σq
及び Σq
から成る．

2.2 生成部

ついて論述する．ただし，生成部以降の記述を簡単化する

生成時にはまず，入力コンテキスト系列又は入力音声

ため，各合成方式間で対応するもの（例えば，HMM 音声

パラメータ系列 X から，対応する HMM 又は GMM 系列

合成における入力テキストのコンテキストと，GMM 声質を構築する．次に，次式に示すように，HMM 音声合成に変換における入力音声の特徴量）は変数名を共有する．

おける状態継続長モデルの尤度最大化 [25]，又は，GMM
声質変換における周辺化 GMM の事後確率最大化 [4] に

2.1 学習部

より，準最適な HMM の状態系列又は GMM の分布系列2.1.1 HMM 音声合成

q̂ = [q̂1 , · · · , q̂t , · · · , q̂T ] を決定する．

HMM 音声合成では入力テキストのコンテキスト系列
[
] X

⊤
⊤
と出力音声の特徴量系列 Y = Y ⊤1 ,···,Y t ,···,Y T⊤

かq̂ = argmax P ( q| X, λ)q(4)

ら，HMM のパラメータセット λ を学習する．出力音声の

ただし，q̂t は時刻 t における準最適な状態又は分布 q̂ であ

特徴量は，インデックス q の HMM 状態において，次式のる．合成音声のパラメータ系列は，静的・動的特徴量間の出力確率密度関数でモデル化される．

制約条件下で，次式の出力確率密度関数 L (y) を最大化することで得られる．

(

|X)
|X)
P ( Y t | X, q, λ) = N Y t ; µ(Y
, Σ(Y
q
q

ⓒ 2015 Information Processing Society of Japan

)
(1)

(
)
L (y) = P (W y|X, q̂, λ) = N W y; µq̂ , Σq̂(5)2

Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

[ ⊤
]
⊤ ⊤
y1 , · · · , y⊤は音声パラメーt , · · · , yT

[
]
(1)
(d)
(D)
(d)
ps , · · · , ps , · · · , psとする．ps は，DDs -by-Ds の

タ 系 列 ，W は 動 的 特 徴 量 の 計 算 に 用 い る 重 み 係 数行列である．本稿では発話毎に MS を計算し，平均ベクトに よ っ て 決 定 さ れ る 行 列 [25] で あ る ．出 力 確 率 密 度

ルと共分散行列を推定する．

た だ し ，y =関 数 は[正 規 分 布 と し て 表 現 さ れ] ，そ の 平 均 ベ ク ト ル⊤⊤⊤µq̂ = µ⊤と共分散行列 Σq̂ =q̂1 ,1 , · · · , µq̂t ,t , · · · , µq̂T ,Tdiag [Σq̂1 , · · · , Σq̂t , · · · , Σq̂T ] の各要素はそれぞれ，次式で3.2 変調スペクトルを考慮したパラメータ生成法

与えられる．
{(6)を最大化する．
)(ωLs (y) = N W y; µq̂ , Σq̂ N (s (y) ; µs , Σs ) s(7)

元数を s (y) の次元数で割った値に設定する．Ls (y) の最µq̂,t ={(Y |X)µq̂

(HMM)

Aq̂ X t + bq̂

(GMM)(Y |X)
Σq̂(HMM)
Σq̂,t =(Y Y )(XX) ⊤Σq̂− Aq̂ Σq̂Aq̂ (GMM)−1(Y X) (XX)(Y )(X)
Aq̂ = Σq̂
, bq̂ = µq̂ − Aq̂ µq̂Σq̂

提案するパラメータ生成法では，次式の目的関数 Ls (y)ここで ωs は MS 尤度の重みであり，本稿では，W y の次大化問題を解析的に解くのは困難であるため，最急降下法(8)式 (5) で 生 成 さ れ る パ ラ メ ー タ 系 列 は 過 剰 な 平 滑 化

ŷ (i+1) = ŷ (i) + α ( ∂ log Ls /∂y)|y =ŷ (i) により，反復的にパラメータ系列を生成する．i は反復インデックス，α は学習係数である．ここで，一次微分は次式で与えられる．

の 影 響 を 強 く 受 け る が ，GV を 考 慮 す る こ と で そ の∂ log Ls
⊤ −1
= −W ⊤ Σ−1q̂ W y + W Σq̂ µq̂
∂y
[
]
⊤
⊤
⊤ ⊤
+ωs s′1 , · · · , s′t , · · · , s′T

影 響 を 緩 和 で き る ．パ ラ メ ー タ 系 列 の GV v (y) =[v (1) , · · · , v (d) , · · · , v (D)]⊤の d 番目の要素 v (d) は次式で定義される．

⊤s′t = [st (1) , · · · , st (D)]1 ∑2v (d) =(yt (d) − ȳ (d))
T t=1
T

ここで，ȳ (d) = (1/T )(14)

st (d) = (s (y) − µs ) p(d)s f t (d)f t (d) = [ft,d (0) , · · · , ft,d (Ds − 1)]∑T

t=1 yt (d) である．GV を考慮し

(17)⊤

ft,d (f ) = −2 (Rd,f cos kt + Id,f sin kt)

たパラメータ生成法 [4], [16] では，式 (5) に GV 尤度を組み込んだ次式の目的関数 Lv (y) の最大化により，パラメー

(16)

⊤

(9)

(15)

(18)
(19)

3.2.1 初期化法

タ系列を生成する．
()
w
Lv (y) = N W y; µq̂ , Σq̂ N (v (y) ; µv , Σv ) v (10)尤度を最大化してパラメータ系列を生成し，他の尤度を最

ただし，µv と Σv はそれぞれ，GV の平均ベクトルと共分

MS 尤度を上昇させるように変形するため，MS を補償す

散行列であり，学習データから推定される．wv は GV 尤

るポストフィルタ [19] を採用し，次式のように MS sd (f )度の重みを表し，本稿では，W y の次元数を v (y) の次元を変形する．

初期化時には [4], [16] と同様に，HMM 尤度又は GMM
大化するようにそのパラメータ系列を変形する．本稿では，数で割った値に設定する．

′

sd (f ) =3. 提案するパラメータ生成法)
σd,f (
sd (f ) − µ′d,f + µd,f
′
σd,f

(20)

ただし，µd,f と σd,f はそれぞれ，sd (f ) の平均と標準偏差3.1 変調スペクトル（MS）
MS は，GV の拡張であり，パラメータ系列のパワース′である．µ′d,f と σd,fは，生成パラメータ系列の MS の平ペクトルとして定義される [19]．パラメータ系列 y の MS

均及び標準偏差であり，学習データに対する生成パラメー⊤

s (y) = [s (1) , · · · , s (d) , · · · , s (D)] は次式で表される．
s (d) = [sd (0) , · · · , sd (f ) , · · · , sd (Ds − 1)]22
sd (f ) = Rd,f
+ Id,f

=

( T
∑
t=1

yt (d) cos kt

)2
+

( T
∑

⊤

された MS と変形前のパラメータ系列の位相から計算され

(11)
(12)
)2

る．過強調を緩和するため，反復後のパラメータ系列に対して 50Hz カットオフのローパスフィルタを施す *1 ．

3.2.2 F0 パターン生成への適用

yt (d) sin kt (13)t=1

ただし，2Ds は離散フーリエ変換（DFT: Discrete Fourier

Transform）のタップ長，f は変調周波数のインデック
ス ，k = −πf /Ds は 変 調 周 波 数 を 表 す ．ま た ，MS の確率密度関数を，平均ベクトル µs と共分散行列 Σs から成る正規分布 N (s (y) ; µs , Σs ) で表し，更に，Σ−1=sⓒ 2015 Information Processing Society of Japan

タから事前推定される．初期パラメータ系列 ŷ (0) は，変形HMM 音声合成においては，MSD-HMM を用いた F0 パ
ターン生成に対しても，提案法を適用する．有声／無声境
界における不連続な遷移を認めるという条件の下，連結された有声フレームにおける F0 を生成する．本稿では，連結された有声フレームの F0 系列から MS を計算する．た*1

予備主観評価の結果，50Hz 以上の MS を除去した音声と分析再合成音の間に音質の差はないことが明らかになっている．

3Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

4. 実験的評価%&'

4.1 実験条件# $"  
!
 
 

(*)



.0/21

CMU ARCTIC 音声データベース [26] から学習データ

+-,

3 +5+
4


  


図 1と評価データを選択する．学習データのサンプリング周波数は 16 kHz，フレームシフトは 5 ms とする．スペクトル

特徴量は，STRAIGHT 分析 [27] による 0 次から 24 次のメルケプストラム係数，音源特徴量は，対数 F0 ，5 周波数

メルケプストラム系列の GV の例

帯域における平均非周期成分 [28] を使用する．MS を計算

Fig. 1 An example of the GV of the mel-cepstral coeﬃcientsequences.

+
:

59
8
7
34

は対数 F0 を線形変換する．詳細な実験条件は表 1 に示す．
以下の音声パラメータ系列を比較する．

?A@CB

(
6

5

&


*

;=<><

% *
012 '
. / %)(,%'&する DFT のタップ数は 8192 点とする．GMM 声質変換で

D E

HMM/GMM： 式 (5) で生成したパラメータ系列<GF

GV： 式 (10) で生成したパラメータ系列
MS： 式 (14) で生成したパラメータ系列 （提案法）
nat： 自然音声パラメータ系列

    "!$#

図 2 9 次のメルケプストラム系列の MS の例

Fig. 2 An example of the MS of the 9-th mel-cepstral coeﬃcient sequences.

提案法の影響を客観的に評価するため，パラメータ系列に対する HMM/GMM 尤度，GV 尤度，MS 尤度を計算する．
また，考察のために対数 MS log sd (f ) の尤度も計算する．

HMM/GMM 尤度では T で正規化した値を，MS 尤度と対数 MS の尤度では Ds で正規化した値を示す．次に，提案
法による音質改善効果を確認するため，“GV” と “MS” をだし [19] と同様に，式 (13) の yt (d) を yt (d) − ȳ (d) に変比較する．評価として，HMM 音声合成と GMM 声質変換

形し，系列平均を 0 とした MS を計算する．なお，上述のにおける音質に関するプリファレンス AB テスト，及び，初期化法は，有声／無声境界において F0 パターンを過剰

GMM 声質変換における話者性に関する XAB テストを実に変形するため，初期 F0 パターンの生成には，従来の GV

施する．XAB テストのリファンレス音声は，ターゲットに基づく初期化法を用いる．

話者の分析再合成音である．被験者数は，HMM 音声合成の評価では 8 人，GMM 声質変換の評価では 6 人である．

3.3 考察パラメータ生成基準に MS を組み込んだ提案法により，非周期成分における提案法の知覚的影響は小さいため，非周期成分には “GV” を使用する．

ポストフィルタ処理とは異なり，HMM 尤度および GMM
尤度を考慮しながら生成パラメータ系列の MS を補償する

4.2 客観評価結果

ことが可能となる．また，MS は GV を内包するため，提Fig. 3 から Fig. 5 にそれぞれ，HMM 音声合成にお案法は暗黙的に GV も補償する．Fig. 1 と Fig. 2 にそれぞけるスペクトルパラメータ系列と F0 系列，また，GMM

れ，自然音声パラメータ（“nat”）と生成パラメータの GV

声質変換におけるスペクトルパラメータ系列に対する，と MS の例を示す．“HMM”，“GV”，“MS” はそれぞれ，

HMM/GMM 尤度，GV 尤度，MS 尤度を示す．

式 (5)，式 (10)，式 (14) で生成したパラメータ系列の GV

HMM/GMM 尤度と GV 尤度： Fig. 3 から，提案法及び MS である．提案法により，MS のみならず GV も補で生成した各パラメータ系列に対する HMM/GMM 尤度償されていることが確認できる．一方で “GV” は，明らか（“MS”）は，従来の “HMM/GMM” と “GV” よりも低くに “nat” と異なる MS を有する．これは，GV が，MS を変調周波数で平均化した値のみを表現しているためである．

MS を補償するポストフィルタは，従来の生成基準を無

表 1

実験条件

Table 1 Experimental conditions.

視した変形を行うため，過剰に強調された音声を生成する．

HMM 音声合成

GMM 声質変換

593 文

50 文

一方で提案法は，従来の生成基準と MS 尤度を同時に最大学習データ化してパラメータ系列を生成する．また，提案法は数学的

評価データ

100 文

100 文

に定式化されているため，コンテキスト依存モデリング，

話者

男性及び女性男性及び女性

音響モデル

5 状態 HSMM

64 混合 GMM

提案法の適用スペクトル，F0

スペクトル

適応，同時最適化による学習等が容易である．

ⓒ 2015 Information Processing Society of Japan4

Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

2 3354!673D8E:F<F>" C# $ 23354!67398;:=<?>
.

"!
&&

,/1
-

!

,-

 
'(



,/0.

)*+

%&



B

A

!


  
図 3



4 3354$673D8;:=<?>
C  O
$
B 
 
A
# 


#
@ 
95 $GFH $JI LKNMD

各パラメータ系列の HMM/GMM 尤度

Fig. 3 HMM/GMM likelihoods for parameter sequences.

2
**
035
1
0342

( % 67798!:;7=<?>A@CB
!
"!
#%
&

01

 &
-./ '
+ , $#%
)*
"!
!

  

# F#
# F&
# F
EF 
EF "
EF #
EF &
EF

67798!:;7G<H>I@IB( ! 8S7798%:;7G<?>A@CB
R

% 

.0/

132

% 

.0/

1<2

% 

 $

 $

 $

,+  #

 #

 #

 "
) '((
& '(   !

 "

 "

 !

 !

-'(
(*+

.0/

1<2

 

 
  = >  ?         
54  67983:;
54  67@8;:3

図 7

音質に関する主観評価結果（エラーバーは 95% 信頼区間）

Fig. 7 Results of the subjective evaluations with 95% conﬁdence interval on speech quality.

を大幅に改善していることが分かる．以上の結果から，提案法は従来基準による効果を保持しているといえる．

MS 尤度と対数 MS の尤度： Fig. 5 から，スペクトルD

=9 %

 R

パラメータにおける “MS” は “HMM” と “GV” よりも高 ( !

い尤度となっており，提案法の効果が確認できる．一方で (RJIK %ML ONQPG

F0 の場合，同じ初期化法だが異なる目的関数を持つ “GV”と “MS” で，“MS” の方が高い尤度となっているため，提案法の反復的最大化により MS 尤度が改善されることが分

図 4

各パラメータ系列の GV 尤度

Fig. 4 GV likelihoods for parameter sequences.

1
))
/24
0
/231

/0
,-.

*+

()

"&%
&!#
"&
"&'
"&!
!%
"$#
!

56687!9:6<;>=@?BA

%F I

56687!9:6J;K=L?LA

GD!F %GD!F D
ED!F #GD!F H&%

7U6687$9:6J;>=@?BA

4
,,
257
3
2564

23
/01

-.

+,

'(%"
'&%"
"%"
$"!#"

899;:%<=9?>A@CBED

899;:%<=9J>K@LBLD

数 MS 領域における正規分布でより良くモデル化されるこED%!%とが分かる．ただし，提案法によるパラメータ生成処理に

ED$D%おける音質改善効果という面では，MS のモデル化と対数

ED#%MS のモデル化の間に大きな差はないことを，予備実験に":V99;:#<=9J>A@CBEDU"G%H Iらの結果では “nat” の尤度が高いため，妥当な結果であるといえる．これらの結果から，MS の確率密度関数は，対各パラメータ系列の MS 尤度

%H (

を考察するために，Fig. 6 に対数 MS の尤度を示す．こち"I!%Fig. 5 MS likelihoods for parameter sequences.

"
*$"
)#"

“HMM” の MS 尤度は “nat” の尤度よりも高い．この現象

"!%

ED!F
EDH% MLN $C % 
PO RQTSJ
<8 $
図 5かる．しかしながら，スペクトルと F0 の両方において，

G"%"
GU"G%H &
*$%"%"
 MLN #F " 
PO RQTSJ
?; #
図 6 各パラメータ系列の対数 MS の尤度

Fig. 6 Log-MS likelihoods for parameter sequences.

なっているが，依然として “nat” よりも高い値を保っていより確認している．

4.3 主観評価結果
各主観評価結果を Fig. 7 に示す．HMM 音声合成とGMM 声質変換の音質評価において提案法のスコアが上昇しているため，提案法の音質改善効果が確認できる．一方で，GMM 声質変換の話者性のスコアには有意な差が見られない．同様の傾向が [20] で得られている事から，変調周
波数成分において，個人性知覚に関わる音響的手掛かりの
内，HMM や GMM，GV では表現しきれないものは小さ
いと考えられる．

5. まとめ
本稿では，統計的パラメトリック音声合成の音質改善を目的として，変調スペクトルを考慮したパラメータ生成法を提案し，実験的評価により提案法の音質改善効果を確認した．今後は，トラジェクトリ学習 [29]，連続 F0 モデル[30] への導入，及びポストフィルタ [19] との比較を行う．

る．また Fig. 4 から，“MS” は，“GV” と同様に GV 尤度ⓒ 2015 Information Processing Society of Japan5

Vol.2015-SLP-105 No.1
2015/2/27

情報処理学会研究報告
IPSJ SIG Technical Report

謝辞 本研究の一部は，JSPS 特別研究員奨励費 26 · 10354，[16]

JSPS 科研費 26280060，及び，頭脳循環を加速する若手研究者
戦略的海外派遣プログラムの助成を受け実施した．

[17]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]
[15]

Y. Sagisaka. Speech synthesis by rule using an optimal selection of non-uniform synthesis units. In Proc.
ICASSP, pp. 679–682, New York, U.S.A, Apr. 1988.
Y. Stylianou, O. Cappe, and E. Moulines. Continuous probabilistic transform for voice conversion. IEEE
Trans. Speech and Audio Processing, Vol. 6, No. 2, pp.
131–142, Mar. 1988.
K. Tokuda, Y Nankaku, T. Toda, H. Zen, J. Yamagishi,
and K. Oura. Speech synthesis based on hidden markov
models. Proceedings of the IEEE, Vol. 101, No. 5, pp.
1234–1252, 2013.
T. Toda, A. W. Black, and K. Tokuda. Voice conversion based on maximum likelihood estimation of spectral parameter trajectory. IEEE Transactions on Audio, Speech and Language Processing, Vol. 15, No. 8,
pp. 2222–2235, 2007.
K. Oura, H. Zen, Y. Nankaku, A. Lee, and K. Tokuda.
Tying covariance matrices to reduce the footprint of
HMM-based speech synthesis systems. In Proc. INTERSPEECH, pp. 1759–1762, Brighton, U. K., 2009.
J. Yamagishi and T. Kobayashi. Average-voice-based
speech synthesis using HSMM-based speaker adaptation
and adaptive training. IEICE Trans., Inf. and Syst.,
Vol. E90-D, No. 2, pp. 533–543, 2007.
J. Yamagishi, C. Veaux, S. King, and S. Renals. Speechsynthesis technologies for individuals with vocal diabilities: Voice banking and reconstruction. Acoust. Sci.
technol., Vol. 33, pp. 1–5, 2012.
K. Tanaka, T. Toda, G. Neubig, S. Sakti, and S. Nakamura. A hybrid approach to electrolaryngeal speech enhancement based on noise reduction and statistical excitation generation. IEICE Trans. on Inf. and Syst., Vol.
E97-D, No. 6, pp. 1429–1437, Jun. 2014.
S. Aryal and R. G.-Osuna. Can voice conversion be used
to reduce non-native accents? In Proc. ICASSP, pp.
7929–7933, Florence, Italy, May 2014.
高道慎之介, 大島悠司, 戸田智基, Neubig Graham, Sakti
Sakriani, 中村哲. 日本人英語のための音声合成技術を用いた英語学習支援の検討. 教育システム情報学会研究報
告, Vol. 29, No. 5, pp. 111–116, Jan. 2015.
K. Shirota, K. Nakamura, K. Hashimoto, K. Oura,Y. Nankaku, and K. Tokuda. Integration of speakerand pitch adaptive training for HMM-based singing voicesynthesis. In Proc. ICASSP, pp. 2578–2582, Florence,
Italy, May 2014.
K. Kobayashi, T. Toda, H. Doi, T. Nakano, M. Goto,
G. Neubig, S. Sakti, and S. Nakamura. Voice timbre
control based on perceived age in singing voice conversion. IEICE Trans. on Inf. and Syst., Vol. E97-D, No. 6,
pp. 1419–1428, Jun. 2014.
S. King and V. Karaiskos. The blizzard challenge 2011.
In Proc. Blizzard Challenge workshop, Turin, Italy,
Sept. 2011.
Y. Stylianou. Voice transformation: A survey. In Proc.
ICASSP, pp. 3585–3588, Taipei, Taiwan, Apr. 2009.
H. Zen, K. Tokuda, and A. Black. Statistical parametricspeech synthesis. Speech Commun., Vol. 51, No. 11, pp.
1039–1064, 2009.

ⓒ 2015 Information Processing Society of Japan

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

T. Toda and K. Tokuda. A speech parameter generation
algorithm considering global variance for HMM-based
speech synthesis. IEICE Trans., Vol. E90-D, No. 5, pp.
816–824, 2007.
H. Hwang, Y. Tsao, H. Wang, Y. Wang, and S. Chen.
Incorporating global variance in the training phase ofGMM-based voice conversion. In Proc. APSIPA, pp.
1–6, Kaohsiung, Taiwan, Oct. 2013.
S. Takamichi, T. Toda, Y. Shiga, S. Sakti, G. Neubig,
and S. Nakamura. Parameter generation methods withrich context models for high-quality and ﬂexible text-tospeech synthesis. IEEE Journal of Selected Topics in
Signal Processing, Vol. 8, No. 2, pp. 239–250, May 2014.
S. Takamichi, T. Toda, G. Neubig, S. Sakti, and S. Nakamura. A postﬁlter to modify the modulation spectrum
in HMM-based speech synthesis. In Proc. ICASSP, pp.
290–294, Florence, Italy, May 2014.
S. Takamichi, T. Toda, A. W. Black, and S. Nakamura.
Modulation spectrum-based post-ﬁlter for gmm-based
voice conversion. In Proc. APSIPA ASC, Siem Reap,
Cambodia, Dec. 2014.
S. Takamichi, T. Toda, A. W. Black, and S. Nakamura. Modiﬁed modulation spectrum-based post-ﬁlter
for HMM-based speech synthesis. In Proc. GlobalSIP,
pp. 710–714, Atlanta, United States, Decc. 2014.
T. Toda and S. Young. Trajectory training considering global variance for HMM-based speech synthesis. In
Proc. ICASSP, pp. 4025–4028, Taipei, Taiwan, Aug.
2009.
K. Tokuda, T. Masuko, B. Miyazaki, and T. Kobayashi.
Multi-space probability distribution HMM.
IEICE
Trans., Inf. and Syst., Vol. E85-D, No. 3, pp. 455–464,2002.
吉村貴克, 徳田恵一, 益子貴史, 小林隆夫, 北村正. Hmmに基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル化. 電子情報通信学会論文誌, Vol. J83-D-II,
No. 5, pp. 2099–2107, Nov. 2000.
K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, andT. Kitamura. Speech parameter generation algorithms
for HMM-based speech synthesis. In Proc. ICASSP, pp.
1315–1318, Istanbul, Turkey, June 2000.
J. Kominek and A. W Black. The CMU ARCTIC
speech databases for speech synthesis research. In Tech.
Rep. CMU-LTI-03-177, Language Technologies Institute, Carnegie Mellon University, Pittsburgh, U.S.A,
2003.
H. Kawahara, I. Masuda-Katsuse, and A. D.
Cheveigne.
Restructuring speech representations
using a pitch-adaptive time-frequency smoothing and
an instantaneous-frequency-based F0 extraction: Possible role of a repetitive structure in sounds. SpeechCommun., Vol. 27, No. 3–4, pp. 187–207, 1999.
大谷大和, 戸田智基, 猿渡洋, 鹿野清宏. STRAIGHT 混
合励振源を用いた混合正規分布モデルに基づく最尤声質変換法. 電子情報通信学会論文誌, Vol. J91-D, No. 4, pp.
1082–1091, Apr. 2008.
H. Zen, Y. Nankaku, and K. Tokuda. Continuous
stochastic feature mapping based on trajectory HMMs.
IEEE Trans., Vol. 19, pp. 417–430, Jan. 2011.
K. Yu and S. Young. Continuous F0 modeling for HMM
based statistical parametric speech synthesis. IEEE
Trans. Audio, Speech and Language, Vol. 19, No. 5, pp.
1071–1079, 2011.

6