2-2-1
HMM 音声合成における分散共有フルコンテキストモデルの選択法に関する検討∗☆高道 慎之介, 戸田 智基 (奈良先端大), 志賀 芳則 (NICT)，
Sakriani Sakti，Graham Neubig, 中村 哲 (奈良先端大)1

はじめに用いて計算される十分統計量に基づき推定する．

HMM 音声合成において，汎化による生成パラメー
タの過剰な平滑化は，音質劣化の一因となる．これに対し，我々は HMM 音声合成の利点を保持した素片選択型合成とのハイブリッド法として，分散共有フルコンテキストモデルを用いたパラメータ生成法を提案した [1]．この手法では，初期パラメータ系列を決定後，尤度最大化基準により，反復的にパラメータが生成されるが，得られる合成音声の音質は初期パラメータ系列に大きく依存する．本稿では，より音質の高い合成音声を得るために，コンテキストクラスタリングを用いた初期パラメータ決定法を提案し，実験的評価によりその有効性を示す．

2

分散共有フルコンテキストモデルとパラメータ生成法

2.1 分散共有フルコンテキストモデル
HMM 音声合成において，考慮するコンテキスト
情報 (フルコンテキスト) は膨大であり，学習データにおいて，各フルコンテキストはしばしば一つの音声素片のみに対応する．故に，各フルコンテキストに対するフルコンテキストモデルのスパース性は高く，未知音声に対する頑健性に乏しい．そこで，各フルコンテキスト要因に対する質問で構成される決定木により，HMM 状態毎にフルコンテキストモデルをクラスタリングして [2]，クラス c 毎に出力確率密度関数を正規分布でモデル化する．クラスタリング
基準として，次式で表される最小記述長（minimumdescription length: MDL）基準を用いる [3]．
1∑
Γ (c) log |Σc | + aCD log Γ (0)2 c=1
Cl(C) =(1)m=1

ただし，ωm は重みであり，ωm = 1/Mc とする．次に，状態継続長モデルにより与えられる HMM 状態⊤系列 q = [q1 , · · · , qT ] を用いた際の尤度関数を，次式で近似する．
P (o|q, λ) =∑P (o, m|q, λ) ≃ P (o, m|q, λ)(4)

all m][⊤ ⊤，モデル
ただし，特徴量系列を o = o⊤
1 , · · · , oT⊤
系列を m = [m1 , · · · , mT ] とし，HMM のパラメー
タセットを λ とする．
生成時には，初期パラメータ系列 c(0) を決定した
後，静的・動的特徴量の制約（o = W c）の下で尤度を最大にするように，単一モデル系列及び，静的パラメータ系列を次式にて反復的に更新する．
()m̂(i+1) = argmax P m|W c(i) , q, λ(5)m()
ĉ(i+1) = argmax P W c|m̂(i+1) , q, λ (6)c

ただし，C は総クラス数，D は次元数，Σc はクラスc の共分散行列，Γ (c) 及び Γ (0) は，それぞれクラス
c および決定木のルートにおける状態占有確率の総和を表す．a は総クラス数 C を制御するパラメータであり，a が小さいほど C が増加する．
標準的な設定（a = 1.0）によるコンテキストクラ
スタリングで得られる状態共有モデルは，多数の素片を一つの分布でモデル化するため，生成されるパラメータは過剰に平滑化される．これに対し，未知音声に対する頑健性を保ちつつ，過剰な平滑化の影響を緩和する方法として，分散共有フルコンテキス
トモデルがある [4]．クラス c に属する要素番号 m の分散共有フルコンテキストモデルの出力確率密度関数 bc,m は，フルコンテキスト毎（概ね素片毎）の平均 µc,m とクラスで共有する共分散行列 Σc を持つ正()規分布 N ·; µc,m , Σc により，次式で示される．
()
bc,m (ot ) = N ot ; µc,m , Σc
(2)
[ ⊤]
⊤⊤
ただし，ot = ct , ∆c⊤は，時刻 t におけt , ∆∆ct
る静的特徴量 ct とその一次と二次の動的特徴量 ∆ct ，∆∆ct の結合ベクトルを表す．
フルコンテキスト毎の µc,m は，状態共有モデルを∗

2.2 パラメータ生成法 [1]合成するフルコンテキストに対応するクラス c は決定木により求められるが，そのクラスに属する分散共有フルコンテキストモデルは多数存在するため，使用するモデルを選択してパラメータ生成を行う必要がある．まず，クラス c に属する Mc 個の分散共有フルコンテキストモデルから，次式の混合正規分布モデル（GMM）を構築する．
Mc∑()bc (ot ) =ωm N ot ; µc,m , Σc(3)][⊤ ⊤とし，ただし，パラメータ系列を c = c⊤
1 , · · · , cT
W は，動的特徴量の計算に用いる重み係数によって決まる行列である [5]．
2.3 初期パラメータ系列の影響
静的・動的特徴量に対する尤度を考慮することで，素片選択処理と同様に，時間的な連続性を考慮して各音声素片に対応する分散共有フルコンテキストモデルが選択される．一方で，反復処理により最終的に選択されるモデルは，初期パラメータ系列に大きく依存する．状態共有モデルから生成した特徴量を初期パラメータとすることで，合成音声の音質が改善されることが明らかになっているが [1]，過剰な平滑化の影響は未だに大きく，その音質は十分ではない．
これには，過剰に平滑化された初期パラメータ系列が影響していると考えられる．

3

コンテキストクラスタリングを用いた初期パラメータ系列の生成より適切な初期パラメータ系列を与えるため，サイズの大きな決定木に基づくコンテキストクラスタリングを用いる手法を提案する．コンテキストクラスタリングにおいて，MDL 基準のパラメータ a を小A Study on a Selection Method of Rich Context Models in HMM-based Speech Synthesis. byTAKAMICHI, Shinnosuke, TODA, Tomoki (NAIST), SHIGA, Yoshinori (NICT), SAKTI, Sakriani, NEUBIG, Graham, NAKAMURA, Satoshi (NAIST)

日本音響学会講演論文集- 273 -2012年9月

Log Likelihood

Preference score

Log likelihood-6059
さくすることで，決定木のクラス数（サイズ）を大きTargetくすることが可能である．この決定木におけるクラ58-70
Targetス毎のモデルはクラスに属する少数の音声素片から57-80計算され，生成されるパラメータは過剰な平滑化の56-90
影響が少ない．そのため，分散共有フルコンテキス
55-100
トモデルを用いたパラメータ生成時には，この初期
54 Conv-110
パラメータ系列の影響を大きく受け，平滑化の影響の53少ないモデル系列が選択されると予想される．一方，-12052
サイズの大きな決定木におけるクラス毎のモデルか-13051
ら生成されるパラメータは，しばしば時間的に不連-14050Conv
続な遷移を含む．これに対し，分散共有フルコンテキ
49-150ストモデルによるパラメータ生成法は，標準的な状
0.1 0.3 0.5 0.7 0.91.0
0.1 0.3 0.5 0.7 0.91.0
aa
態共有モデルの共分散行列の使用により汎化性能を高め，さらに静的・動的特徴量を考慮したモデル選択
Fig. 1 自然音声の特徴 Fig. 2 生成パラメータにを行う事で，時間的な不連続性を緩和する．
量に対する HMM 尤度 対する GV 尤度
決定木は，分散共有フルコンテキストモデルの計
Table 1 決定木のサイズ算時と同様の十分統計量を用いて構築する．この決1（フルコンテキストモデル 0.9 95% confidence interval
定木は，分散共有フルコンテキストモデルの決定木サイズに対する圧縮率）とは異なることに注意する．クラスタリング基準と0.8
して MDL 基準を用い，MDL 基準のパラメータ a は，
aTree size (%)
0.7
分散共有フルコンテキストモデルの決定木よりも小0.1
90.50.6さく設定する．
0.2
32.90.50.3
9.56
0.4
4 実験的評価
0.44.06
0.34.1 実験条件
0.51.76
0.20.61.25
学習データは女性話者による ATR 音素バランス
0.1
0.70.97
文 [6] A-I セット 450 文，評価データは同 J セット 530Conv a=0.5 a=0.1 Target
0.830.8文を使用する．スペクトル特徴量は，STRAIGHT 分
Proposed
0.90.75析 [7] による 0 次から 24 次のメルケプストラム係数，
0.70
1.0Fig.
3
主観評価結果音源特徴量は，対数 F0 ，5 周波数帯域における平均非周期成分を使用する．HMM は 5 状態 left-to-right型とし，パラメータ生成時には系列内変動（Globalとした場合の尤度と同等以上まで上昇することが分Variance: GV）[8] を考慮しない．分散共有フルコン
かる．
テキストモデルの決定木構築時には，MDL 基準の a
音質の主観評価結果を Fig. 3 に示す．提案法のうを 1.0 とする．本稿では，スペクトル特徴量に対してちa = 0.1 のスコアが最も高く，自然音声の特徴量をのみ，分散共有フルコンテキストモデルを適用する．
初期パラメータとした場合のスコアに接近している
まず，提案法により生成した初期パラメータ系列をことから，提案法の有効性が示される．この結果と用いて，反復処理により最終的に選択された分散共有
Fig. 2 から，合成音声の音質と GV 尤度との間には，フルコンテキストモデル系列と生成されたパラメー比較的高い相関があることが分かる．
タを評価する．評価基準は，自然音声の特徴量に対する HMM の対数尤度 logP (o|m, q, λ) 及び，生成5 まとめ
パラメータに対する GV の対数尤度 [8] とする．評価
本稿では，分散共有フルコンテキストモデルの選は，提案法の決定木の a を 0.1 から 1.0 まで 0.1 刻み択法として，コンテキストクラスタリングを用いるで変化させ，それぞれの決定木によるモデルから生初期パラメータ系列生成法を示し，実験的評価で有成された初期パラメータにおいて行う．同時に，自然効性を示した．今後は，モデル系列選択尺度の検討，音声の特徴量（Target）と標準的な状態共有モデルで及び，音源パラメータに対する提案法の適用を行う．
生成した特徴量（Conv）を初期パラメータとした場合の尤度も計算する．
参考文献
次に，提案法の音質を評価する．標準的な状態共[1] 高道 他, 情処研報, Vol. 2012-SLP-92, No. 10,有モデルで生成した特徴量（Conv），提案法の a =pp. 1–6, 2012.
0.5, 0.1 の決定木によるモデルを用いて生成した特徴[2]吉村 他, 信学論 (D-2), Vol. J83-D-2, pp. 2099–
量（Proposed），自然音声の特徴量（Target）の 4 種2107, 2000.
類の初期パラメータを用いて得られる合成音声の音[3] K. Shinoda et al., J. Acoust. Soc. Jpn.(E), Vol.
質を評価する．ただし，音源特徴量・継続長は標準的
21, No. 2, pp.79–86, 2000.
な状態共有モデルを用いる．評価は 7 人の受聴者に[4] Z. Yan et al., INTERSPEECH 2009, pp. 1755–対するプリファレンススコアとする．
1758, 2009.
[5] H. Zen et al., Speech Commun., 51(11), pp.
4.2 実験結果
1039–1064, 2009.
HMM の対数尤度を Fig. 1 に，GV の対数尤度を[6] 阿部 他, ATR テクニカルレポート, TR-I-0166,Fig. 2 に示す．また，パラメータ a を変化させたと1990.
きの決定木のサイズを Table 1 に示す．Fig. 1 から，[7] H. Kawahara et al., Speech Communication,
a を小さくするに従い HMM 尤度はわずかに上昇し，Vol. 27, No. 3–4, pp. 187–207, 1999.
a = 0.5 で最大となり，その後急激に減少する事が分[8] T. Toda et al., IEICE Transactions, Vol. E90かる．しかしながら，その尤度は自然音声の特徴量をD, No. 5, pp. 816–824, 2007.
初期パラメータとした場合の尤度に大きく及ばないことが分かる．一方，Fig. 2 から，a を減少させるに従い，GV 尤度は自然音声の特徴量を初期パラメータ

日本音響学会講演論文集- 274 -2012年9月