1-11-4
HMM 音声合成における分散共有フルコンテキストモデルの有効性に関する検討∗☆高道 慎之介, 戸田 智基 (奈良先端大), 志賀 芳則，河井 恒 (NICT)，
サクテイ サクリアニ，中村 哲 (奈良先端大)1

はじめにHMM 音声合成において，汎化による生成パラメータの過剰な平滑化は音質劣化の一因となる．これに対し，素片選択型合成とのハイブリッド方式が提案されている [1]．波形素片の利用で音質改善が得られる
一方，HMM 音声合成の利点であるモデル適応処理などの実現が困難となる．本稿では，HMM 音声合成の利点を生かしたハイブリッド方式として，分散共有フルコンテキストモデル [2] を用いた尤度に基づくパラメータ生成法を提案し，実験的評価で有効性を示す．

2

3.2.1 GMM を用いる手法
クラス c に属する M 個の分散共有フルコンテキス
トモデルから，次式の GMM を計算する．
bc (o) =コンテキストクラスタリングによる汎化

HMM 音声合成において，考慮する文脈情報 (フルコンテキスト) は膨大であり，各フルコンテキストはしばしば一つの音声素片のみに対応する．故に，各フルコンテキストに対するフルコンテキストモデルのスパース性は高く，未知音声に対する頑健性に乏しい．そこで，各フルコンテキスト要因に対する質問で構成される決定木により，フルコンテキストモデルをクラスタリングして分布を共有する [3]．ここで，クラス c の出力確率密度関数は次式でモデル化される．
bc (ot ) = N (ot ; µc , Σc )
(1)
[ ⊤]
⊤⊤
ただし，ot = ct , ∆c⊤は，時刻 t におけt , ∆∆ct
る静的特徴量 ct とその一次と二次の動的特徴量 ∆ct ，∆∆ct の結合ベクトルを表し，N (·; µc , Σc ) は，平均µc ，共分散行列 Σc を持った正規分布を表す．
合成時には，合成音声のフルコンテキストに対するクラスを決定し，得られる分布系列からパラメー][⊤ ⊤を尤度基準で生成する [4]．
タ系列 c = c⊤
1 , · · · , cT
クラスタリングにより，多数の素片を一つの分布でモデル化するため，高い汎化性能が得られる半面，生成されるパラメータは過剰に平滑化される．

3するモデルを選択してパラメータ生成を行う必要がある．本稿では，生成パラメータ系列に対する尤度に基づく手法として，混合正規分布 (Gaussian MixtureModel： GMM) モデルを用いるパラメータ生成法と，単一分布近似を用いるパラメータ生成法を提案する．

分散共有フルコンテキストモデルに基づく合成法

3.1 分散共有フルコンテキストモデル
過剰な平滑化の影響を緩和しつつ未知音声に対する頑健性を向上させる方法として，分散共有フルコンテキストモデルが提案されている [2]．クラス c に属する要素番号 m の分散共有フルコンテキストモデル
bc,m の出力確率密度関数 bc,m は，フルコンテキスト毎（概ね素片毎）の平均 µc,m とクラスで共有する共分散行列 Σc を持つ正規分布により，次式で示される．
()
bc,m (o) = N o; µc,m , Σc(2)
学習時には，頑健なアライメント処理を行うために，コンテキストクラスタリングに基づくモデルにより十分統計量計算を行った後，フルコンテキスト毎のµc,m を推定する．
3.2 パラメータ生成法
合成するフルコンテキストに対応するクラスは決定木により求められるが，そのクラスに属する分散共有フルコンテキストモデルは多数存在するため，使用∗M∑()ωm N o; µc,m , Σc

(3)

m=1

ただし，ωm は重みであり，ωm = 1/M とする．状態継続長分布により決定された HMM 状態系列 q =⊤[q1 , · · · , qT ] を用いて，尤度関数は次式で表わされる．
∑P (o|q, λ) =P (o, m|q, λ)(4)
all m⊤

ただし，分布系列を m = [m1 , · · · , mT ] ，特徴量系][⊤ ⊤，HMM のパラメータセット
列を o = o⊤
1 , · · · , oTを λ とする．静的・動的特徴量間の制約（o = W c）の下で尤度関数を最大化することで，パラメータ系
列 ĉ を生成する．
∑ĉ = argmax
P (o, m|q, λ)
(5)
c

all m

ここで，W は，動的特徴量の計算に用いる重み係数によって決まる [5]．初期特徴量系列を決定し，EM アルゴリズムにより ĉ を更新することで最尤パラメータ系列を生成する [4]．
3.2.2 単一分布近似を用いる手法
式 (4) で示される尤度関数を単一分布系列 m により次式で近似する．
∑P (o, m|q, λ) ≃ P (o|m, q, λ)
(6)
all m

初期特徴量系列を決定した後に，次式に示す通り，単一分布系列の決定とパラメータの生成を繰り返すことで最尤パラメータ系列を生成する．

m̂ =argmax P (o|m, q, λ)(7)mĉ =argmax P (o|m̂, q, λ)(8)c

提案法は，各素片を分散共有フルコンテキストモ
デルで表わし，フレーム毎にモデルを選択する処理とみなせる．静的・動的特徴量の両者を考慮することで，素片選択処理と同様に連続性も考慮した選択処理が行われる．また，各音声パラメータ（スペクトルや F0 など）に対して独立に選択処理が可能なため，HMM 音声合成の利点であるモデル適応などの実現が容易である．GMM を用いた手法は，複数のモデルを選択・融合する処理とみなせる．なお，分布系列には HMM 状態内で同一の分布を用いる制約を入れることも容易である．

A Study on the Eﬀectiveness of Full-context Models with Tied-covariance Matrices in HMM-based Speech
Synthesis. by TAKAMICHI, Shinnosuke, TODA, Tomoki (NAIST), SHIGA, Yoshinori, KAWAI, Hisashi(NICT), SAKTI, Sakriani, NAKAMURA, Satoshi (NAIST)

日本音響学会講演論文集- 301 -2012年3月

実験的評価93

4.1 実験条件
学習データは女性話者による ATR 音素バランス
文 [6] A-I セット 450 文，評価データは同 J セット 53文を使用する．スペクトル特徴量は，STRAIGHT 分
析 [7] による 0 次から 24 次のメルケプストラム係数，音源特徴量は，対数 F0 ，5 周波数帯域における平均非周期成分を使用する．HMM は 5 状態 left-to-right型とし，パラメータ生成時には系列内変動（GlobalVariance: GV）[8] を考慮しない．本稿では，スペク
トル特徴量に対してのみ，分散共有フルコンテキス
トモデルを適用する．また，スペクトル特徴量の違いのみに着目するために，合成時に用いる状態系列として，自然音声の特徴量系列に対して，コンテキストクラスタリングによる従来モデルを用いて状態アライメントした結果を用いる．

9261

Before iteration
After iteration

5957
Log Likelihood

Log Likelihood

9190895553514988478745

Initial Feature

Initial Feature(a) 生成された特徴量

Fig. 1

Preference Score

4.2 初期特徴量に対する依存性提案法における初期特徴量系列の依存性を調査する．
単一分布近似を用いる手法において，初期特徴量系列により選択された分布系列（Before iteration）と，反復処理により最終的に選択された分布系列（Afteriteration）を，生成された特徴量系列と自然音声の特徴量系列に対する対数尤度により評価する．初期特徴量として，各クラスの分散共有フルコンテキストモデルから無作為抽出した分布から生成した特徴量（Randomized），従来のコンテキストクラスタリングによるモデルで生成した特徴量（Conventional），自然音声の特徴量（Target）の 3 種類を用いる．
実験結果を Fig.1 に示す．Fig.1(a) より，いずれの初期特徴量系列を用いた場合においても，反復処理により生成特徴量に対する尤度は上昇し，いずれも比較的近い値になる．一方，Fig.1(b) より，自然音声の特徴量に対する尤度は必ずしも上昇せず，初期特徴量に大きく依存する．従来モデルで生成した特徴量を用いて分布選択を行うことで，無作為に分布選択を行う場合と比較し，良好な結果が得られるが，生成される特徴量に対する尤度基準では最適な分布選択は困難であることが分かる．

63
Before iteration
After iteration

1
0.90.8
0.7
0.6
0.5
0.4
0.3
0.20.10(b) 自然音声の特徴量

各特徴量に対する出力分布系列の尤度

95% confidence interval
Preference Score

4

1
0.90.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
095% confidence interval

Proposed (target)(a) 手法間の比較(b) 分布系列決定単位の比較

Fig. 2 音質の主観評価結果

5

まとめ

本稿では，HMM 音声合成の利点を生かしたハイブリッド方式として，分散共有フルコンテキストモデルと尤度に基づくパラメータ生成法を提案し，実験的評価で提案法の有効性を示した．その結果，生成される特徴量に対する尤度基準では最適な分布選択は困難であることが明らかになった．今後は，最適な分布選択を行う基準について検討する．

4.3 提案法の有効性
提案法の有効性の評価と分布系列決定単位の比較を行う．提案法の有効性の評価では，従来モデル（Clustered），提案法における GMM（Proposed（GMM））， 謝辞 本研究は，（独）情報通信研究機構の委託研究
単一分布近似（Proposed（single））により得られる「知識・言語グリッドに基づくアジア医療交流支援シ合成音声の品質を主観評価する．その際に提案法のステムの研究開発」の一環として実施した．
理想的な場合として，自然音声の特徴量に対して選参考文献
択された分布（Proposed（target））により得られる合成音声についても評価する．提案法の初期特徴量[1] Z.Ling et al., in Proc. of Blizzard Challenge
として，従来モデルで生成した特徴量を用いる．分布
workshop, 2007,
系列決定単位の比較では，従来モデルと，提案法にお[2] Z.Yan et al., Interspeech 2009, pp. 1755-1758,
いて自然音声の特徴量に対してフレーム単位，及び2009.
状態単位で選択された分布から得られる合成音声の[3] 吉村 他, 信学論 (D-2), Vol. J83-D-2, pp. 2099品質を主観評価する．主観評価は，音質についてのプ
2107, 2000.
リファレンステストを行い，ランダムに提示された 2[4] K.Tokuda et al., ICASSP 2000, Vol. 3, pp. 1315種類の音声から被験者に音質の高い方を選択させて1318, 2000.
評価する．被験者は，各実験で男女 7 人とする．
[5] H. Zen et al., Speech Commun., 51(11), pp. 1039実験結果を Fig.2(a), Fig.2(b) に示す．Fig.2(a) よ1064, 2009.
[6] 阿部 他, ATR テクニカルレポート, TR-I-0166,
り，提案法により合成音声の品質が改善されることが1990.
分かる．また，GMM と単一分布近似に有意差がある[7] H.Kawahara et al., Speech Communication,
ことから，単一分布近似の有効性が示される．一方
vol.27, No. 3-4, pp.187-207, 1999.
で，自然音声の特徴量を用いて選択した分布を用い[8] T. Toda et al., IEICE Transactions, Vol. E90-D,たスコアには及ばず，最適な分布選択は困難であるこ
No. 5, pp. 816-824, 2007.とが分かる．Fig.2(b) より，決定単位の違いによる有意差はないため，必ずしもフレーム単位で分布を選択する必要性はないことが分かる．

日本音響学会講演論文集- 302 -2012年3月