2-7-13
複合ウェーブレットトラジェクトリモデルに基づく音声合成∗☆北条伸克 1 ，亀岡弘和 1,2 ，嵯峨山茂樹 1(1 東大院 情報理工, 2 NTT CS 研)

1

はじめに

本稿では，高品質なテキスト音声合成方式へ将来的に組み込むことを見据え，音声スペクトル包絡時系列の生成過程の確率モデルを提案する．統計的モデルに基づくテキスト音声合成では，音声における様々な性質や挙動をいかに適切に生成モデルの形で記述できるかが合成音声の品質を左右する．特に，音声のダイナミクスを適切にモデル化することは，高品質なテキスト音声合成のために重要である．例えば，
スペクトル包絡特徴量の動的特徴には話者の個人性が現れることが知られている [1]．
トラジェクトリ HMM[2] では，音素やコンテキストラベルなどの離散的なシンボルと連続的に時間変化する音声スペクトルとの関係を，メルケプストラ
ムの静的，動的特徴を出力する隠れマルコフモデル(Hidden Markov Model; HMM) を用いてモデル化することにより，高品質な音声合成が可能となった．
我々の研究室では，スペクトル包絡系列を生成モデル化する際，その時間変化を，トラジェクトリ HMMと同様にスペクトル特徴量のダイナミクスのモデルにより表現することを目指す一方で，スペクトル包絡系列の情報において特に重要であるフォルマント周波数軌跡に着目し，その生成過程を直接モデル化する手法を検討している．例えば，我々の研究室では，複合ウェーブレットモデル (Composite WaveletModel; CWM)[4, 5] のフォルマント周波数に相当するパラメータの時間軌跡をモデル化することによりスペクトル包絡系列の生成過程をモデル化した [3]．
フォルマント周波数軌跡のモデルを考える際，無声音のスペクトル包絡をいかに表現するかが問題となる．声帯を振動源，声道をフィルタとして有声音の生成過程を捉えたとき，フォルマント周波数は声道における共振周波数として捉えられ，発話する音素系列に対応した声道の形状変化に基づき時間方向になめらかに変化すると考えられる．[3] の手法は，このようなフォルマントの性質に着目し，提案されたものであった．一方で，呼気の摩擦や破裂などにより生成される無声音のスペクトル包絡では，その生成過程が上記の有声音のものとは異なり，一般にフォルマントに相当するスペクトル包絡ピークは観測されない．
したがって，フォルマントによりスペクトル包絡系列全体を表現するような生成モデルにおいては，特に無声音区間において表現に無理があり，フォルマント周波数軌跡も不自然なものとなる可能性がある．
本稿では，フォルマントに相当するスペクトル包絡ピークを持つ有声音スペクトルモデルと，平坦な形状を持つ無声音スペクトルモデルとの重畳によりモデル化されるスペクトル包絡の時系列としてスペクトル包絡系列全体が表現可能であると仮定し，有声音，無声音のスペクトルモデルを，それぞれ異なる生成過程を経る CWM パラメータセットにより表現するモデルを提案する．このようなモデル化により，フォルマント周波数の時間軌跡と，無声音のスペクトル包絡の双方が自然に表現可能であると期待される．
本稿は，提案モデルの定式化及びパラメータ推定アルゴリズムについて述べ，実音声のスペクトル包絡からフォルマント周波数の時間軌跡を推定する実験∗Fig. 1 線形系によるフォルマント周波数軌跡の生成過程を通して，提案手法の有効性を確認する．

2

音声スペクトル生成過程の確率モデル化

2.1 複合ウェーブレットモデル
スペクトル包絡における各ピークを Gauss 分布関数で近似的に表現できるとすると，スペクトル包絡全体を Gauss 分布関数の重ね合わせ，すなわち混合 Gauss分布関数モデル（Gaussian Mixture Model; GMM）で表現することができる．このようなスペクトル包絡の表現を，複合ウェーブレットモデル（CompositeWavelet Model; CWM）[4, 5] と呼ぶ．CWM におけるスペクトル包絡モデル φω,l はφω,l =KXkw√ k,l exp
2πσk,(ω − µk,l )2−22σk,l(1)で与えられる．ただし，ω, l は周波数と時刻のインデックス，k は Gauss 関数のインデックスであり，K2は GMM の混合数である．また，µk,l , σk,l, wk,l は，それぞれ Gauss 分布関数を統計分布と見なした際の平均・分散・重みに対応し，各スペクトル包絡ピークの周波数・鋭さ・強度に対応するパラメータである．

2.2 複合ウェーブレットトラジェクトリモデル
2.2.1 フォルマント軌跡の生成過程に関する仮説
声帯振動が共振することによって生じるフォルマン
トの周波数軌跡には声道の運動に伴う何らかの物理的な制約が付随すると考えられるが，フォルマント周波数軌跡が藤崎の F0 パターン生成過程モデル [6] と同様のメカニズムによって生じると仮定する．具体的には，フォルマント周波数の対数の時間軌跡を，Fig. 1に示すように音素区間ごとに一定値をとる階段状の指令関数（以後，音素指令関数）にインパルス応答
 2 −αtα te(t ≥ 0)
G(t) =(2)0(t < 0)が畳み込まれ（α は固有角周波数），二次線形系の出力として生じたものと考える．なお，同様のフォルマント周波数軌跡のモデルが，規則音声合成 [7]，フォルマント周波数軌跡推定 [8] において過去に提案されている．また，二次線形系の仮定が置かれた他の音声生成過程モデルの例として，音素認識を目的とした調音運動の動的モデルが提案されている [9]．

2.2.2 確率モデルの定式化
前述のフォルマント軌跡モデルに基づきスペクトル包絡系列をモデル化する手法を考える．ここで，1Speech synthesis based on composite wavelet trajectory model．by HOJO, Nobukatsu, KAMEOKA Hirokazu, SAGAYAMA Shigeki (The University of Tokyo)

日本音響学会講演論文集- 313 -

2013年9月

2組みに組み込む際には，音素指令関数の生成過程は，[3] と同様に，音素に対応する HMM 状態の出力分布として定式化することが可能である．本稿では，提案モデルが HMM 音声合成のために十分なスペクトル包絡系列の表現能力があることを確認するため，提案モデルによる分析合成のための定式化を行う．分析合成においては，指令関数 {um,l }m,l は，各時刻 l で共通の分布に従い生成されると仮定する．次に，2.2.1
節で議論した様に，生成された指令関数 {um,l }m,l に二次線形系のインパルス応答が畳み込まれて Gauss
分布関数の平均値の軌跡 {µm,l }m,l が生じるとする．
提案モデルでは，それぞれの生成過程を，0log power−2−4−6−8−10−12024frequency[kHz]68(a) 音素/a/2P (um,l ) = N (um,l ; mm , ηm)

20(v)

2
P (µm,l |{um,l }l ) = LN (Gm,l ∗ um,l , νm)−2log power(3)l(4)とする．ここで LN (x; µ, σ 2 ) は対数正規分布であり，log x が正規分布 N (x; µ, σ 2 ) に従うことと等価である．また，各フォルマントの帯域幅やパワーに対応するパラメータの生成過程を，−4−6−8−10(v)−120

24frequency[kHz]

68(5)

(v)
P (ρm,l )(6)(b) 音素/s/Fig. 2 有声音スペクトルモデル (赤) と無声音スペ
クトルモデル (青) の CWM パラメータの例
章で述べたように，有声音のものとは性質の異なる無声音のスペクトル包絡をもフォルマントの存在を前提としてモデル化することは不自然である．したがって，有声音，無声音の双方が現れるスペクトル包絡系列をモデル化するためには，例えば，無声音のスペクトル包絡を別途モデル化する方法が考えられる．
また，有声子音では，呼気の摩擦や破裂等と声帯の振動が同時に生じるため，そのスペクトル包絡は有声音，無声音の双方の特徴を併せ持つ可能性がある．
以上より，スペクトル包絡系列の生成過程は，有声音，無声音の特徴をそれぞれ持つスペクトルや，その双方の特徴を併せ持つスペクトルが各時刻で生成される過程として見なすことができる．このようなスペクトル包絡系列の生成過程を自然にモデル化するためには，例えば，有声音，無声音のスペクトルを別途モデル化し，それらが重畳されたものをスペクトル包絡系列のモデルとする方法が可能であると考えられる．
複合ウェーブレットトラジェクトリモデルでは，有声音，無声音のスペクトルを，それぞれ異なる生成過程を経る CWM パラメータのセットによりモデル化し，それらを重畳することによりスペクトル包絡系列のモデルとする．便宜的に，以後 GMM の分散パラメータσ 2 の逆数 ρ をパラメータとみなし，有声音，無声音のスペクトルモデルの CWM パラメータセットをそれぞれ，{ρ(v) , w(v) , µ(v) }，{ρ(u) , w(u) , µ(u) } とする．
ここで m = 1, . . . , M , M は有声音スペクトルモデルの GMM 混合数，n = 1, . . . , N , N は無声音スペクト(v)ルモデルの GMM 混合数であり，ρ(v) = {ρm,l }m,l ，などとした．特に µ(v) はフォルマント周波数軌跡に対応すると見なすことができる．
提案モデルのパラメータ例を Fig. 2 に示した．有声音/a/のスペクトルは赤で示された有声音スペクトルモデルのパラメータにより，無声音/s/のスペクトルは青で示された無声音スペクトルモデルのパラメー
タにより主にモデル化される．
有声音スペクトルの生成過程は，2.2.1 節のフォルマント軌跡の生成過程に関する仮説に基づき定式化される．将来的に提案モデルを HMM 音声合成の枠

日本音響学会講演論文集

(v)

(v)
P (wm,l ) = Gamma(wm,l ; a(v)m , bm )(v)(v)= Gamma(ρm,l ; c(v)m , dm )の様にモデル化する．ただし，Gamma(x; a, b) はガンマ分布

Gamma(x; a, b) = xa−1

exp(−x/b)
Γ(a) ba(7)である．
以上のモデル化により，各フォルマント周波数，帯域幅及びパワーの先験的情報を，それぞれ (3)，(5) 及び (6) のパラメータの設定により，モデルに組み込むことが可能である．
続いて，無声音スペクトルの生成過程をモデル化する．提案モデルでは，
(u)

(u)

(u)
P (wn,l ) = Gamma(wn,l ; a(u)n , bn )(8)(u)
P (ρn,l )

(9)

(u)
(u)
= Gamma(ρn,l ; c(u)n , dn )(u)とモデル化し，各 Gauss 関数の平均パラメータ µn,lは定数とする．提案モデルでは特に，スペクトル包絡(u)の各帯域における緩やかな形状を表現するため，ρn,l(u)は，ρn,l に比べより帯域幅が広くなるように生成確率を与える．
最後に，各時刻の CWM パラメータが与えられた
ときに観測スペクトル包絡 yω,l が生じる確率を

φω,l =MX(v)ψm,ω,l +m=1(v)ψm,ω,l =MXs(v)wm,lm=1(u)ψn,ω,l =NX
n=1s(u)

wn,lN
X

(u)

ψn,ω,l(10)

n=1



(v)

ρm,l2π

exp

(v)

−(v)

ρm,l (ω − µm,l )2



2(11)

(u)

ρn,l2πexp

(u)

−(u)

ρn,l (ω − µn,l )2



2(12)

P (yω,l |ρ(v) , w(v) , µ(v) , ρ(u) , w(u) ) = Poisson(yω,l ; φω,l )(13)- 314 -

2013年9月

とする．ここで Poisson(x; λ) は Poisson 分布である．
なお，この仮定の下での λ の最尤推定問題は，スペクトル間の近さを測る尺度の一つとして近年音響信号処理分野で多用される I ダイバージェンスと呼ぶ歪み尺度を規準とした x と λ の最適フィッティング問題と等価となることが知られている [10]。
以上の提案モデルの推定すべきパラメータをまとめて Θ = {ρ(v) , w(v) , µ(v) , u, ρ(u) , w(u) } とする．ここで新たに u = {um,l }m,l とした．次章では，観測ス
ペクトル包絡系列 Y = {yω,l }ω,l が与えられた下での事後確率 P (Θ|Y ) を最大化するパラメータ推定アルゴリズムについて述べる．

3

パラメータ推定アルゴリズム

P (Θ|y) を最大化する Θ を解析的に求めることは難しいが，各変数について局所最適化を繰り返すことは可能である．この時 log P (Θ|Y ) は，clog P (Θ|Y ) = log P (Y |Θ) + log P (Θ)のように上界関数を設計することができる [11]．さら(v)に − log P (µ(v) |u) の中の (log µm,l )2 の項に関しては，(v)(log µm,l )2 ≤+(14)log P (µ(v) |u)(16)となることを用いれば，
X
yω,lcyω,l log− log P (Y |Θ) =− yω,l + φω,lφω,lω,lXc(φω,l − yω,l log φω,l )=ω,l'X(v)wm,l +m,lX(u)wn,l −n,lXyω,l log φω,l (17)ω,l(21)(u)ψn,ω,l(u)γn,ω,l =φω,l(22)λτ,m,l = P(23)

(v)

(24)

−yω,l log φω,l ≤ − yω,lm

Xで与えられる．
µ(v) 以外のパラメータの更新式は，
PG
log µmm+ τ ≥l k,τ −lν 2 m,τ2
ηmm
um,l =
PG2m,τ −l1+22 λτ ≥l νm
ηm
l,m,τ
P
(v)
(v)
−1)
+2(cmω yω,l γm,ω,l(v)ρm,l =P(v)(v) 22(v) +ω yω,l γm,ω,l (ω − µm,l )
dm
P(u)
(u)
2(cn − 1) + ω yω,l γn,ω,l(u)ρn,l =P(u)(u) 22(u) +ω yω,l γn,ω,l (ω − µn,l )dnP(v)(v)
am − 1 + ω yω,l γm,ω,l(v)wm,l =
1(v) + 1bm
P(u)(u)
an − 1 + ω yω,l γn,ω,l(u)wn,l =
1(u) + 1(v)3(v)(v)2(v)

p3 µm,l + p2 µm,l + p1 µm,l + p0 = 0X(v)(v)
yω,l γm,ω,l ρm,lp3 =(v)γm,ω,l log

(25)

(26)

(27)

(28)

(29)となる．µ(v) については，

ψm,ω,l(v)γm,ω,l(u)ψn,ω,l(u)γn,ω,l log (u)− yω,lγn,ω,ln(30)(31)ω2ξm,l log ξm,l + 1 X(v)(v)
yω,l γm,ω,l ρm,l ω−2 ξ22νmm,l
ω(32)
X
1
p1 = 1 − 2Gm,l−τ um,τ(33)
νmp2 =(18)のように上界関数を設計することができる．また，
2
P− log P (µ(v) |u) のの項に対し，
τ Gm,l−τ um,τ
二次関数の凸性を利用し，同様に Jensen の不等式を用いることで
X
2 X(Gm,l−τ um,τ )2Gm,l−τ um,τ≤(19)
λτ,m,lττ

日本音響学会講演論文集

ξm,l = µm,lbnが言える．この式の −yω,l log φω,l の項に対し，負の対数関数の凸性を利用し、Jensen の不等式を用いることでX(20)(v)ψm,ω,l(v)γm,ω,l =φω,lc=w(v)µm,l2ξm,lGm,l−τ um,τ
τ 0 Gm,l−τ 0 um,τ 0(15)と書ける．ここで，= は定数部分を除いた場合の等号を意味する．先述のように，− log P (Y |Θ) は定数項を除けば観測スペクトル包絡 yω,l とスペクトル包絡モデル φω,l との間の I ダイバージェンスと等しく[10]，さらに，rX
ρρ(ω − µ)2exp
w2π2ω
Z ∞r
ρ(w − µ)2ρ'w expdω
2π2−∞!のように上界関数を設計することができる [12]．こ(v)(u)
こで γm,ω,l , γn,ω,l , λτ,m,l , ξm,l は補助変数である．式(18)〜(20) より，− log p(Θ|Y ) の上界関数を設計することができ，これを補助関数として補助関数法を適用することができる．まず，補助変数の更新式は，上述の不等式の等号成立条件，すなわち，

c+ log P (ρ(u) ) + log P (w(u) )(v)µm,l2 log ξm,l1+ 2ξm,lξm,l+ | log ξm,l |2 − 2 log ξm,l −log P (Θ) = log P (ρ(v) ) + log P (w(v) )+ log P (u) +1τ ≤l1p0 = − 22νm(34)

とおいて，式 (30) の正の解のうち − log P (Θ|Y ) を(v)最も小さくする µk,l を選べばよい．

- 315 -

2013年9月

87frequency [kHz]65432
10sile Npitsuda t opauchIkara o i re tek akunod epausUp i i dogan i burunode a rusil

Fig. 3 No.436 のスペクトル包絡系列 (カラーマップ表示) と提案法による推定フォルマント周波数軌跡 (実線)(点線は音素境界)以上の更新則を十分な回数反復することで，P (Θ|Y ) を局所最大化するパラメータ Θ を推定することができる．

4

実験

提案モデルが実音声のフォルマント周波数の時間軌跡をよく表現できていることを確認するために実験を行った．フォルマント CWM パラメータセットの混合数は M=5，CWM パラメータセットの混合数
は N=7, αm = 30 とした．スペクトル包絡の解析は，STRAIGHT[13] により行った．
音声サンプルとして，HTS2.1 のデモスクリプト[14] に同梱された男性話者の音声 (サンプリング周波数 16kHz· サンプルサイズ 16bit) のうち，No.436 の音声を用いた実験結果を Fig. 3 に示した．図は，解析されたスペクトル包絡系列に提案した推定フォルマント周波数の時間軌跡を重ねて描いた図である．推定したスペクトルピークが実音声のフォルマント周波数軌跡をうまく表現できていることが確認できる．

5

おわりに

本稿では，フォルマント周波数軌跡モデルに基づくスペクトル包絡系列の生成モデルとして，有声音，無声音のスペクトルをそれぞれ異なる生成過程を経たCWM パラメータセットによりモデル化し，それらの重畳によりスペクトル包絡系列をモデル化する，複合ウェーブレットトラジェクトリモデルを提案した．
実験を通して，提案モデルが十分に観測スペクトルを表現し，フォルマント周波数軌跡が推定可能であることを確認した．今後は，提案モデルを HMM に組み込むことにより，テキスト音声合成の高品質化の実現を目指す．

参考文献[1] 嵯峨山, 板倉, “音声の動的尺度に含まれる個人性情報,” 音講論 (春), No. 3-2-7, pp. 589–590,
1979.
[2] K. Tokuda et al., “Trajectory modeling basedon HMMs with the explicit relationship between static and dynamic features,” in Proc.
of Eurospeech, pp. 837–840, 2004.

日本音響学会講演論文集[3] 吉里他, “フォルマント周波数軌跡を潜在パラメータとした音声スペクトル生成過程の確率モデル,”
音講論 (春), No. 1-7-7, pp. 277–280, 2013.
[4] 槐他, “複合ウェーブレットモデルに基づく音声の分析合成,” 信学技報, Vol. 105, No. 372, pp. 1–6,2005.
[5] P. Zolfaghari, T. Robinson, “Formant Analysis using Mixtures of Gaussians,” in Proc. ICSLP’96, Vol. 2, pp. 1229–1232, 1996.
[6] H. Fujisaki, In Vocal Physiology: Voice Production, Mechanisms and Functions, (O. Fujimura,ed.) Raven Press, pp. 347–355, 1988.
[7] L. R. Rabiner, “Speech synthesis by rule : An
acoustic domain approach,” Ph. D. thesis, M.
I. T., 1967.
[8] 板橋他，“線形 2 次系モデルによるホルマント軌跡の記述とセグメンテーション，” 電子技術総合研究所彙報， Vol. 6, No.40, pp. 530–541, 1976.
[9] 誉田, “調音モデルにもとづく音声の特徴抽出に関する研究,” 博士論文, 早稲田大学, 1977．
[10] H. Kameoka, “Statistical Approach to Multipitch Analysis,” Ph.D. Thesis, The University ofTokyo, 2007.
[11] 亀岡他, “音声のスパース性と非負制約つき畳み込みモデルに基づくパワースペクトル領域残響除去,” 音講論 (秋), No. 3-8-10, pp. 705–708, 2008.
[12] H. Kameoka et al., “Constrained and regularized variants of non-negative matrix factorization incorporating music-specific constraints,”
in Proc. ICASSP’12, pp. 5365–5368, 2012.
[13] H. Kawahara et al., “Restructuring speech
representations using a pitch-adaptive timefrequency smoothing and an instantaneousfrequency-based F0extraction,” Speech Communication，Vol. 27，No. 3-4，pp. 187–207，
1999．
[14] http://hts.sp.nitech.ac.jp/- 316 -2013年9月