2-2-1
複合ウェーブレットモデルと F0 パターン生成過程の確率モデルを用いたテキスト音声合成∗☆門脇健人 1 ，北条伸克 2 ，亀岡弘和 1,2(1 東大院・情報理工, 2 NTT)

1

はじめに

本稿ではこれまで我々が提案してきたスペクトルパラメータ生成法と F0 パターン生成法を併用したパ
ラメトリックテキスト音声合成方式を提案する．
HMM(Hidden Markov Model) 音声合成方式 [1] では通常, メルケプストラム係数とそのデルタ量を特徴量とし，それらの系列を生成する HMM を仮定する。状態出力分布に正規分布または GMM(GaussianMixture Model) を仮定した場合，学習において状態出力分布の平均は同一状態に割り当てられたすべての時刻の観測特徴量の平均となる．メルケプストラ
ムの平均をとる操作は対数スペクトルの平均をとる操作と等価であるため，各々が山と谷がはっきりしたスペクトルであってもそれらの平均をとると山と谷が平滑化されたスペクトルになってしまう．平滑化されたスペクトル包絡による合成音声は buzzy でこもった音になることが知られており，この問題の解決はパラメトリック音声合成における重要課題の一つである．[2] では，この問題に対し，従来のメルケプストラム系列を生成する GMM-HMM 系から脱却し，スペクトル系列を生成する複合ウェーブレットモデル (Composite Wavelet Model; CWM)[6, 7] とHMM の統合系を提案した．CWM はスペクトルのピークとパワーの両方に相当するパラメータを有していることが特色で，CWM-HMM 系の学習では各状態出力分布の平均はスペクトルのピークの周波数およびパワー方向に平均をとったものとなるため，従来のメルケプストラム GMM-HMM 系に比べ合成音声におけるスペクトル包絡の過剰平滑化が起きにくいのが特長である．
また，音声において音韻とともに韻律が果たす役割は重要で，HMM 音声合成方式では基本周波数 (F0 )パターンをいかに言語的に自然でかつ肉声らしいものにできるかも重要課題の一つである．従来の方式
では，学習データの量によっては過学習を起こし不自然な F0 パターンを生成することがあったが，言語的および物理的に不自然な F0 パターンを生成することをできるだけ防ぎたいという動機から [3] では F0 パターンの物理的生成過程を模した藤崎モデル [4] の確率モデル版 [8] を用いた韻律生成法を提案した．この方式では言語的かつ物理的に意味のあるパラメータが生成されるため，合成音声のイントネーションの話者性や発話スタイルを柔軟に加工できるという利点もある．
本稿では，当研究室で開発した上述の二つのモデルを併用したパラメトリック音声合成方式を提案し，それぞれの効果を検証する．

2

CWM-HMM 統合系

本章では，[2] で提案したスペクトル包絡系列の生成モデルについて概説する．
スペクトル包絡ピークの周波数とパワーをパラメータにもつ CWM により, その確率モデル化を行うことが可能である. CWM は,GMM によりスペクトル包絡を近似的に表現するモデルである.CWM によるス

∗Fig. 1

Fig. 2CWM によるスペクトル表現

CWM パラメータを出力する HMM の構成

ペクトル包絡 fω,l は,Fig. 1 のように,()K∑(ω − µk,l )2wk,l√exp −fω,l =22σk,l2πσk,lk=1(1)と表される．ただし，ω, l は周波数と時刻のインデックス，k は Gauss 関数のインデックスであり，K は2GMM の混合数である．また，µk,l , σk,l, wk,l は，それぞれ Gauss 分布関数を統計分布と見なした際の平均・分散・重みに対応し，各スペクトル包絡ピークの周波数・鋭さ・強度に対応するパラメータである．
以上の準備のもと，観測スペクトル系列が生成される過程を確率モデル化する．図 2 のような，各離2
散時刻 l ごとに平均 µk,l ，分散の逆数 ρk,l := 1/σk,l，
重み wk,l の CWM パラメータを出力する HMM を考える．HMM の各状態は，言語ラベルの一状態を表しており，例えば Fig. 2 のようにそれぞれ一つの音素に対応させることもできるが，HTS[1] などの手法と同様に，音素状態に加え，前後の音素のやアクセント位置などの情報を用いたコンテキストラベルの一状態を対応させることも可能である．時刻 l における状態番号を sl とし，本稿では状態出力分布（各状態における CWM パラメータの生成確率）を，後述のパラメータ推定アルゴリズムの導出の便宜上の都合により，
2P(µk,l |sl ) = N (µk,l ; mk,sl , ηk,s)
(2)
l(ρ)

(ρ)

(3)(w)(w)(4)

P(ρk,l |sl ) = Gamma(ρk,l ; ak,sl , bk,sl )P(wk,l |sl ) = Gamma(wk,l ; ak,sl , bk,sl )と 仮 定 し た ．こ こ で ，N (x; m, η 2 ) は 正 規 分 布 ，Gamma(x; a, b) はガンマ分布
exp(−x/b)
Gamma(x; a, b) = xa−1(5)Γ(a) baText-to-speech synthesis combining CWM-HMM and probabilistic Fujisaki model. by KADOWAKI Kento (The Univ. ofTokyo), Hojo Nobukatsu (NTT), KAMEOKA Hirokazu (The Univ. of Tokyo/NTT)

日本音響学会講演論文集- 249 -

2015年3月

である．また，上述の HMM により生成された CWM
パラメータの系列 µ = {µk }k,l , ρ = {ρk }k,l , w ={wk }k,l が与えられたとき，時刻 l において，観測ス
ペクトル yw,l が生成される確率分布についても後述のパラメータ推定アルゴリズムの導出の便宜上の都合により，P(yw,l |µ, ρ, w) = Poisson(yw,l |fw,l )(6)と定めた．ここで，fw,l は，cwm パラメータ系列µ, ρ, w が与えられたとき，時刻 l の cwm パラメー
タを用いて (1) で表されるスペクトル包絡モデルであり，Poisson(x; λ) はポアソン分布
λx e−λPoisson(x; λ) =.
(7)x!
である．上記の生成モデルを定めることにより，次節のパラメータ推定アルゴリズムを導出する．
スペクトル包絡系列生成モデルパラメータの推定は，スペクトル包絡生成モデルのいわば逆問題である．これは，観測スペクトル系列 Y = {yw,l }w,lが与えられたときに，スペクトル系列生成モデル
パラメータ Θ の事後確率 P(Θ|Y ) ∝ P (Y |Θ)P (Θ)
を最大化する問題として定式化される．推定すべき パ ラ メ ー タ Θ は，HMM の 出力 状 態列 (s ={sl }l )，HMM の各状態 i の出力分布パラメータ (θ =(σ) (σ) (w) (w){mk,i , ηk,i , ak,i , bk,i , ak,i , bk,i }k,i ) と，CWM パラ
メータ系列 (µ, ρ, w) である．
Θ の事後確率 P(Θ|Y ) を最大化する Θ を求めることは難しいが，各変数について局所最適化を繰り返すことは可能である．このとき P(Θ|Y ) は，clog P (Θ|Y ) = log P (Y |Θ) + α log P (Θ),(8)
clog P (Θ) = log P (s) + log P (ρ|s, θ)+ log P (w|s, θ) + log P (µ|s, u, θ) (9)cと書ける．ここで，また，= は定数部分を除いて一致することを意味する．P (Θ|y) を最大化（または−P (Θ|y) を最小化）する Θ を解析的に求めることは難しいが，補助関数法に基づいて局所最適化アルゴリズムを導くことができる．紙面の都合上詳細は省略するが，詳しくは [2] を参照されたい．

3Fig. 3 指令列生成 HMM の状態遷移モデル [3]．
パルス列状および矩形パルス列状の指令列関数であり，各パルスが同時刻には生起しない，という制約を満たす必要がある．[8, 9] では，両指令列関数のペア
o[k] = (up [k], ua [k])T を以下に示す HMM（以後，指令列生成 HMM）の出力系列と見なそうというアイディアにより，上述の制約を満たした指令列関数の確率モデルが提案されている．
[3] でも述べたように，藤崎モデルの指令列は言語情報との関連が深いので，フレーズ指令と呼気段落，アクセント指令とアクセント句が 1 対 1 に対応した状態へと拡張することによって，各指令の強度をコンテキストに依存するパラメータとして扱うことで，コンテキストラベルを用いた統計学習により指令強度とコンテキスト情報を紐付けた．
上述の確率モデルを，コンテキスト依存型のモデルとするため Fig. 3 に示すような HMM の状態遷移を考える．この様なモデルは新たに以下の HMM で表現できる．
出力系列: o[k] = (up [k], ua [k])T (k = 1, . . . , K)
状態集合: S = {p0 , · · · , pM , a0 , · · · , aN }状態系列: s = {sk ∈ S|k = 1, . . . , K}
出力分布k = i) = N (ci [k], Υ)(: P (o[k]|s)T[ 2](i ∈ p0 , a0 )(0, 0)Tυp,i0Υ
=ci [k] = A(m),0(i∈p)
2pm0
υa,i
((n) )T(i ∈ an )0, Aa
遷移確率: ϕi′ ,i = log P (sk = i|sk−1 = i′ )F0 パターン生成過程の確率モデル

本章では，F0 パターン生成過程の確率モデルに基づく韻律合成手法 [3] の概要を述べる．
藤崎モデル [4] は，甲状軟骨の二つの独立な運動（平行移動運動と回転運動）に伴う声帯の伸びの長さの和が声帯の固有振動数の対数（log F0 ）に比例する，という仮定をもとに，甲状軟骨の運動方程式を通してF0 パターンの生成過程を表現したモデルである．藤崎モデルをベースにした F0 パターンの生成過程の確率モデル [8, 9] は以下で定式化される．k を離散時刻のインデックスとし，yp [k], up [k], ya [k], ua [k] をそれぞれフレーズ成分 yp (t), フレーズ指令 up (t), アクセント成分 ya (t), アクセント指令 ua (t) の離散時間表
現として，観測 F0 パターンの対数値 y[k] を次のように表現する．
y[k] | up [k], ua [k] ∼ N (x[k], υn2 [k]),(10)x[k] = Gp [k] ∗ up [k] + Ga [k] ∗ ua [k] + ub .

(11)

ここで υn2 [k] は時刻 k における観測 F0 パターンの不確かさ を表すために導入した変数であり，これにより全時刻で正しい F0 の値が観測できるとは限らないという問題をノイズとして統一的に扱うことを可能にした．次に，up [k] と ua [k] は，それぞれイン

日本音響学会講演論文集

以上の指令列生成 HMM において，フレーズ指令，アクセント指令の生起時刻がそれぞれ呼気段落とアクセント句に対応する様な制約を加えるために，Left-to-Right 型の HMM をコンテキストラベルをもとに設計することによって，制約を考慮しつつ，パラメータ学習において指令列の強度と状態系列を未知パラメータとして観測 F0 パターンから推定することを考える [15]．ここで，以下の文字をまとめて，
K
y = {y[k]}K
k=1 , s = {sk }k=1 ,o = {(up [k], ua [k])T }K
k=1 ,M(n) Nθ = {{A(m)p }m=1 , {Aa }n=1 },及び，µp=(µp [1], . . . , µp [K])T , µa=(µa [1], . . . , µa [K])T ,y=(y[1], . . . , y[K])T ,22, υa,i, υb2 , υn2 [k],と表記する．簡単のため ϕi′ ,i , µb , υp,iα, β は定数と仮定すると，指令列生成 HMM の状態
系列 s と状態出力分布パラメータ θ が与えられた下- 250 -2015年3月

で F0 パターン y が生成される確率（s および θ の尤度関数）は，{}|Σ−1 |1/2
1
T −1
P (y|θ, s) =exp − (y − µ) Σ (y − µ) ,2(2π)K/2(12)µ = A−1 µp + B −1 µa + µb 1,( )−1( )−1
Σ = A−1 Σp AT+ B −1 Σa B T+ Σb .
によって与えられる．ただし，Aと B は，
ab0OO
0 abba1010a a ab b b
, B = A =  2 . .1 . .0 . .
 2 .1 .0 .
,.. .. ..
. . .
Oa 2 a1 a0
O
b2 b1 b0であり，a2 , a1 , a0 及び b2 , b1 , b0 は
a2 = (ψ − 1)2 , a1 = −2ψ(ψ − 1), a0 = ψ 2 ,b2 = (φ − 1)2 , b1 = −2φ(φ − 1), b0 = φ2 ,(13)(14)ψ = 1 + 1/αt0 , φ = 1 + 1/βt0 ,である．詳しい導出は [8] を参照されたい．
続いて，指令列生成 HMM を用いて指令列パラメータを学習・生成する手法について述べる．[15] で報告したように，F0 パターンを生成する場合にラベルからの指令列の時間ずれを考慮する必要があることが示唆されており，本節では指令列の強度およびラベルからの時間ずれをパラメータとして学習・生成する手法について検討する．
学習 F0 パターンに対して前節で導出した Left-toRight 型の指令列生成 HMM を用いて指令列の強度と時間ずれを推定し，推定された強度と時間ずれの両方に対してコンテキストクラスタリングを用いて決定木を学習するという多段的な手法を採用する．学習
F0 パターンに対して指令列を推定するアルゴリズムに関しては，[9] と同様の方針で導出できるので，詳細は省略する．ここで，コンテキストクラスタリングにおけるノード分割基準を以下に示す．
Dj1 ∑{(xp,i − µp,x,j )2MDLp =log(2πσp,x,j)+
22σp,x,jd=1(τp,i − µp,τ,j ) }2+ log(2πσp,τ,j)+2σp,τ,j+cJ log W,
Dj {MDLa =1∑22log(2πσa,x,j)+d=12+ log(2πσa,τ,j)+2+ log(2πσa,∆τ,j)+(15)(xa,i − µa,x,j )2σa,x,j(τa,i − µa,τ,j )2σa,τ,j(∆τa,i − µa,∆τ,j ) }2σa,∆τ,j+cJ log W.

(16)

ここで，xp,i は各葉ノードにおけるフレーズ指令の強度，τp,i は各葉ノードにおけるフレーズ指令生起時刻のラベルからの時間ずれ，xa,i は各葉ノードにおけるアクセント指令の強度，τa,i は各葉ノードにおけるア
クセント指令開始時刻のラベルからの時間ずれ，∆τa,iは各葉ノードにおけるアクセント指令のデュレーションのラベルからの時間ずれ，J は葉ノード数，j は選択されたノードインデックス，Dj はノード j における占有状態数である．さらに，入力テキストが与えられた時に対応する F0 パターンを生成する手順につい日本音響学会講演論文集て説明する．まず入力テキストが与えられた時に，対応するコンテキストラベルと学習された決定木からパラメータ θ, τ を得ることができる．ただし，τ はフレーズなら生起時刻の時間ずれのみを表し，アクセントならばアクセント開始時刻とデュレーションの両方の時間ずれを表す．θ は各指令に対応する強度パラメータである．以下の生成確率が最大となるように F0 パターン y を生成すればよい．
y = argmax P (y|s, θ).
(17)y
ここで，s は，コンテキストラベルと学習した時間ずれのパラメータ τ を用いて決定できる．

4

テキストからの音声合成手法

入力テキストから得られる音素状態系列に対し, 尤度最大化規範により CWM 特徴量系列を出力し, スペクトル包絡系列を得る. ただし,[1] と同様に音素状態を細かく分割し, さらに動的特徴量 (特徴量の 1 階,2階の時間差分量) のモデルを用いた．同様に韻律情報に対しても，入力テキストから対応する指令列パラメータを生成することによって，合成 F0 パターンを得ることができる．ただし，音素状態の duration に関するモデルが別途必要である. 従って今回は duration
に関して HTS2.1[11] の手法を採用した．

5

合成音声の評価実験

本節では，提案した F0 パターン生成手法が妥当であることを示すための客観評価実験と提案した音声合成システムが自然な音声を実現できるかを示すために行った主観評価実験について述べる．

5.1 平均二乗誤差と相関係数による客観評価
合成 F0 パターンの客観的な良さを測るために，実音声から観測された F0 パターンと合成 F0 パターンとの二乗平均平方根誤差 (RMSE) や相関係数 (Correlation) がよく使われており，以下のように表される．
vu
Tu1 ∑t(yi − xi )2 ,(18)
RMSE =T i=1∑T∑T∑Tyi xi − i=1 yi i=1 xiT√ ∑Corr = √ ∑ i=1.
T
T
T i=1 (yi )2 − yi2 T i=1 (xi )2 − x2i(19)
ただし Corr は相関係数，yi , xi はそれぞれ時刻 ti
における観測 F0 [Hz]，生成 F0 [Hz] の対数値であり，T はフレーム数である．以上の基準を用いて提案法と従来法 [1] の客観評価を行った．両者の手法とも，
HTS2.1[11] に同梱された男性話者の音声のうち，450文を学習データとして用い，残りの 53 文を評価の為に生成した．提案法の初期推定のパラメータは，
t0 = 5 ms， α = 3.0 rad/s， β = 20.0 rad/s，
υp2 [k] = 32 ， υa2 [k] = 0.32 ， υb2 は有声区間の最小値とし，有声区間において υn2 [k] = 102 ，無声区間において υn2 [k] = 0.12 ，ϕi′ ,i はラベルから決定されるduration が平均値となるようなガウス分布から得られる値とし，コンテキストクラスタリングは全てのノードが分割されるまで行った．ただし，どちらのF0 パターンも実音声と同じ duration のラベルを用いて生成した．従来手法による F0 パターンは有声・無声区間の判定が実音声のものと異なる区間が存在するので，どちらかが無声となる区間では評価しなかった．以上の結果を下の表に示す．
Table.1 からもわかるとおり，提案法のほうがより望ましい結果を得られていると確認できた．

- 251 -

2015年3月

Table 1 従来法と提案法によって生成された F0 パ
ターンと観測 F0 パターンとの RMSE と相関係数を比較した表．括弧内はその標準偏差を表している．
RMSE の低い方，相関係数の高い方を太字で表示した．
手法
RMSE
Correlation
提案手法
0.100(± 0.023)
0.720(± 0.458)× 104従来手法 [1]0.122(± 0.033)
0.288(± 0.188)× 104

Table 3 項目 (a)〜(d) に関する各手法におけるプリファレンススコア．太字で示されているスコアは二項検定により 5% 水準で統計的に有意に高いと評価されていることを表す．
(a) 音質の良さ

ABCD

5.2 主観評価
本節では，提案した音声合成システムが高品質な合成音声を生成できるかどうかを確かめるために行った主観評価実験について述べる．より細かく性能を評価するため，以下の四手法を評価対象とした．

6

まとめ

本稿では，より高品質なテキスト音声合成システ
ムを実現するため，CWM-HMM 統合モデルと F0 パターン生成過程の確率モデルによる音声合成システムを提案し，その概要について述べた．性能評価においては，F0 パターン生成手法について客観評価基準を用いて評価し，その妥当性を示した．さらに，主観評価実験によって，提案システムの効果を確認した．今後は，更に大規模な主観評価実験を行う予定である．

B
0.500
0.600
0.833

C0.4000.400
0.800

D0.0330.167
0.200-(b) 日本語らしいリズム感

Table 2 主観評価の対象とする四手法．ただし，hts
は従来手法 [1]，cwm は cwm-hmm 統合系モデルの略で 2 節で述べた手法，pfm は probabilistic fujisaki
model の略で 3 節で述べた手法である．
手法名 スペクトル包絡系列 F0 パターン
A
hts
hts
B
cwm
hts
C
hts
pfm
Dcwm
pfm

以上の四手法に対してプリファレンステスト (AB テスト) を実施して，合成音声の品質を評価した．ここ
で，品質を評価する項目に関しては，JEITA 規格 [14]における評価項目から選んだ四つの項目，具体的には (a) 音声の明瞭性：音質の良さ，(b) 音声の時間要
因：日本語らしいリズム感，(c) 音声の抑揚：抑揚・アクセントの自然性，流暢さ，(d) 音声の総合的な良さ：全体的な良し悪し，を用いた．この四手法に関して，受聴者は 4 手法全ての組み合わせの音声を聴き，各項目について良いと思った方を選択させる．受聴者は男性 5 名とする．実験は音声は HTS2.1 のデモ
スクリプトの j セット中の 5 文に対して行った．各項
目に関するプリファレンススコアを以下の表に示す．
表の各行が他の各手法と比較した場合のプリファレンススコアを表している．また，二項検定により 5%水準で統計的に有意にスコアが高いと評価されたス
コアは太字で示してある．
Table.3 から分かるとおり，提案音声合成手法は項目 (a)〜(d) に関して，他の全ての手法と比較して有意に高いスコアを示した．また，手法 B や C は手法
A と比較して統計的に有意に高いとは言えなかったが，手法 D では他の全ての手法と比べて有意に高いスコアを示していることから，音韻情報と韻律情報の相乗的な効果により音声の自然性が飛躍的に良くなるという可能性が考えられる．

A
0.500
0.600
0.967

AB
CDA
0.533
0.567
0.700

AB
CDA
0.400
0.633
0.600

ABCDA
0.500
0.600
0.967

B
0.467
0.600
0.767

C
0.433
0.400
0.700

D
0.300
0.233
0.300
-

(c) アクセントの自然性

B
0.600
0.667
0.800

C
0.367
0.333
0.567

D
0.400
0.200
0.433
-

(d) 全体的な良し悪し

B
0.500
0.600
0.833

C
0.400
0.400
0.800

D
0.033
0.167
0.200
-

参考文献
[1] K. Tokuda et al.,.in Proc. ICASSP, vol. 3,
pp. 1315–1318, 2000.
[2] N. Hojo et al., In 8th ISCA Workshop on Speech
Synthesis, pp.129–34,2013.
[3] K. Kadowaki et al, in Proc. The 15th Annual
Conference of the International Speech Communication Association (Interspeech 2014), pp.
2322-2326, Sep. 2014.
[4] H. Fujisaki, Raven Press, 1988.
[5] 門脇他, 日本音響学会春季研究発表会講演集, 36-17, pp. 361-364, Mar. 2014.
[6] 槐他, 信学技報, Vol. 105, No. 372, pp. 1–6, 2005.
[7] H. Kameoka et al., IEEE Transactions on Audio, Speech and Language Processing, Vol. 18,No. 6, pp. 1507–1516, Aug. 2010.
[8] H. Kameoka et al., in Proc. SAPA, pp. 43–48,
2010.
[9] K. Yoshizatoet al., in Proc. Interspeech, 2012.
[10] T. Mausko et al., IEIC Technical Report,
vol. 101, no. 323, pp. 41–42, 2001.
[11] http://hts.sp.nitech.ac.jp/[12] H. Kawahara et al., Speech Communication,
vol. 27, no. 3, pp. 187–207, 1999.
[13] T. Yoshimura et al., in Proc. of Eurospeech, pp.
2347–2350, 1999.
[14] http://www.jeita.or.jp/[15] 門脇 健人，亀岡 弘和，日本音響学会 2014 年秋
季研究発表会講演集, 3-7-3, pp. 261-264, Sep.
2014.

謝辞 本研究は JSPS 科研費 26280060，26730100 の助成を受けたものです．

日本音響学会講演論文集- 252 -2015年3月