2-2-3
統計的パラメトリック音声合成における変調スペクトル制約付きトラジェクトリ学習 ∗〇 高道 慎之介（奈良先端大/CMU）, 戸田 智基（奈良先端大）,Alan W. Black（CMU）, 中村 哲 (奈良先端大)1

はじめに統計的パラメトリック音声合成の音質改善には，音声パラメータ生成部における変調スペクトル（MS:Modulation Spectrum）補償が有効である [1, 2]．しかしながら，生成部における補償処理は，短遅延合成処理を必要とするシステムに不向きである．そこで本稿では，HMM 音声合成 [3] と GMM 声質変換 [4] において，静的・動的特徴量の制約下で系列をモデル化するトラジェクトリモデル [5] を，変調スペクトル制約下で学習する手法を提案する．実験的評価により，従来の短遅延合成処理能力を維持しつつ，音質を改善できることを示す．

2

3.2 変調スペクトル（MS）
MS は，系列内変動（GV： Global Variance） [9, 4]の拡張であり，パラメータ系列のパワースペクトルとして定義される [1] ．パラメータ系列 y の MS s (y) =⊤[s (1) , · · · , s (D)] は次式で表される．
s (d) =L (y) = P (W y|X, q̂, λ) = N (W y; E q̂ , D q̂ )(1)

⊤ −1−1ŷ q̂ = R−1
W ⊤ D −1q̂ r q̂ = (W D q̂ W )q̂ E q̂ (2)][ ⊤⊤は T フレームの音声
ただし，y = y 1 , · · · , y ⊤T⊤
パラメータ系列，y t = [yt (1) , · · · , yt (D)] は時刻 tにおける D 次元の音声パラメータ，W は動的特徴量の計算に用いる重み係数によって決定される行列[6] である．準最適な HMM の状態系列又は GMM の分布系列 q̂ = [q̂1 , · · · , q̂T ] を用いた近似により，目的関数は，平均ベクトル E[q̂ = [E q̂1 ,1 , · · ·] , E q̂T ,T ]−1と精度行列 D −1= diag Σ−1から成q̂q̂1 , · · · , Σq̂Tる正規分布 N (·; E q̂ , D q̂ ) で与えられる．qt は時刻 t における HMM 状態もしくは GMM 分布イン
デックス q であり，1 ≤ q ≤ Q とする．Q はHMM 状態もしくは GMM 分布の総数である．µq,t ={}µq (HMM), Aq X t + bq (GMM) と Σ−1q はそれぞれ，時刻 t における q に対応する平均ベクトル及び精度行列である．µq ，Aq ，bq はそれぞれ，q に対応する平均ベクトル，変換行列，及び，バイアスベクトルであり，X t は，X における時刻 t のベクトルである．
コレスキー分解 [6] や短遅延生成アルゴリズム [7] により，ŷ q̂ は解析的に生成される．

提案する学習法

3.1 トラジェクトリモデル
トラジェクトリ HMM の学習部 [5] では，次式の目的関数 Ltrj を最大化するように λ を推定する．
)((3)
Ltrj = P (y|X, q̂, λ) = N y; ŷ q̂ , R−1q̂
一方で GMM 声質変換において，結合確率密度関数のトラジェクトリ GMM が提案されている [8] が，本∗⊤[sd (0) , · · · , sd (Ds′ − 1)](4)22
sd (f ) = Rd,f+ Id,f(5)( T)2 ( T)2∑∑=yt (d) cos kt +yt (d) sin kt (6)

従来の枠組みHMM 音声合成では入力テキストのコンテキストと出力音声のパラメータ系列から，GMM 声質変換
では入力・出力音声のパラメータから，各統計モデル
λ を学習する．生成時には，入力コンテキスト又は入力音声特徴量系列 X から決定される次式の目的関数 L (y) を，静的・動的特徴量間の制約条件下で最大化することで，パラメータ系列 ŷ q̂ を生成する．

3稿では式 (3) と同様に，条件付き確率密度関数としてトラジェクトリ GMM を定式化する．

t=1

t=1

ただし，2Ds は離散フーリエ変換（DFT）のタップ長，k = −πf /Ds は変調周波数を表す．Ds′ は MS の次元数を表し，Ds′ ≤ Ds である．本稿では，音声知覚に強く影響する低変調周波数帯域の MS のみを取り扱う．MS の確率密度関数を，平均ベクトル µs と共分散行列 Σs から成る正規分布 N (s (y) ; µs , Σs ) で(d)(D)(1)
表し，更に，Σ−1s = [ps , · · · , ps ] とする．ps は，s (d) の精度に対応する行列である．

3.3 変調スペクトル制約付きトラジェクトリ学習
提案法では，次式の目的関数 Lms を最大化するように λ を推定する．
() () ωs T
Lms = N y; ŷ q̂ , R−1N s(y); s(ŷ q̂ ), Σs Ds′ (7)q̂ωs は MS 尤度の重みであり，本稿では 1.0 に設定する．
⊤⊤ ⊤⊤ ⊤
ここで，ξ A = [A⊤
1 , · · · , AQ ] , ξ b = [b1 , · · · , bQ ] ,−1−1−1 ⊤⊤ ⊤⊤= [Σ1 , · · · , ΣQ ]µ = [µ1 , · · · , µQ ] , Σを，各々全ての Aq , bq ，µq ，Σ−1q を結合したパラ(i+1)(i)

メータとする．λ は，最急降下法 ξ A= ξA +α ( ∂ log Lms /∂ξA )|ξ =ξ(i) にて反復的に推定される．
AAi は反復インデックス，α は学習係数である．各結合パラメータに関する一次微分は次式で与えられる．
() ⊤∂ log Lms−1= S⊤[D −1q̂ diagq̂ W y − ŷ q̂ X
∂ξ A
ωs T
⊤
+ ′ D −1
W R−1(8)q̂ sq̂ X ]Ds q̂()∂ log Lms ∂ log Lms−1= S⊤=q̂ (D q̂ W y − ŷ q̂∂ξ b∂µωs T+ ′ D −1
W R−1(9)q̂ sq̂ )Ds q̂
∂ log Lms 1 ⊤⊤⊤= S q̂ diag−1 [W (R−1q̂ + ŷ q̂ ŷ q̂ − yy )2∂Σ−1()()⊤−E q̂ ŷ q̂ − y W ⊤ − W ŷ q̂ − y E ⊤q̂
()2ωs T−1+ ′ W Rq̂ sq̂ E q̂ − W ŷ q̂ ](10)
Ds

Modulation Spectrum-Constrained Trajectory Training Algorithm in Statistical Parametric Speech Synthesis, by TAKAMICHI, Shinnosuke (NAIST/CMU), TODA, Tomoki (NAIST), Black Alan (CMU),
NAKAMURA, Satoshi (NAIST)

日本音響学会講演論文集- 255 -

2015年3月

Table 1 実験条件
HMM 音声合成 GMM 声質変換
593 文
50 文
100 文
100 文
男性
男性及び女性5 状態 HSMM
64 混合 GMM
スペクトル，F0スペクトル

学習データ
評価データ
話者
音響モデル
提案法

ただし，S q̂ は q̂ を表現する行列である [5]．sq̂ は次式で与えられる．

sq̂
s′tst (d)⊤⊤= [s′1 , · · · , s′T ]⊤ ,=(11)⊤[st (1) , · · · , st (D)] ,(12)⊤= 2f t (d) p(d)(s (y) − s (ŷ)) , (13)s⊤

[ft,d (0) , · · · , ft,d (Ds′ − 1)] , (14)ft,d (f ) = R̂d,f cos kt + Iˆd,f sin kt,(15)ˆ
ただし，R̂d,f と Id,f は ŷ q̂ から計算される．本稿で
f t (d)=は，通常のトラジェクトリ学習による結果を初期値として，最急降下法による反復更新を行う．HMM 音声合成における F0 モデリングには連続 F0 モデル [10]を使用し，[1] と同様に系列平均を 0 とした MS を計算する．GMM 声質変換においては，結合 GMM パラメータの内，分布重みと，入力特徴量の平均ベクトル及び共分散行列については，更新しない．

3.4 考察
学習部における MS 制約により生成パラメータ ŷ q̂の変調スペクトルは補償されるため，生成部における補償は不要である．故に，式 (2) の生成処理を使用しつつ，音質改善が可能である．また，MS は GV を内包するため，提案法は暗黙的に GV も補償する．

4

実験的評価

4.1 実験条件
CMU ARCTIC 音声データベース [11] から学習データと評価データを選択する．学習データのサンプ
リング周波数は 16 kHz，フレームシフトは 5 ms とする．スペクトル特徴量は，STRAIGHT 分析 [12] による 0 次から 24 次のメルケプストラム係数，音源特徴量は，対数 F0 ，5 周波数帯域における平均非周期成分 [13] を使用する．ωs は 1.0 に設定する．Ds は 2048とする．Ds′ は，スペクトルにおいて Ds /2 (= 50Hz)[2]，F0 において Ds /10 (= 10Hz) [1] に設定する．詳細な実験条件は，表 1 参照とする．
以下の学習法を比較する．パラメータ生成法には式 (2) を使用する．
BASIC：通常の学習 [3, 4]
TRJ：トラジェクトリ学習 [5]1
GV：GV 制約付き（トラジェクトリ）学習 [14, 15]2
MS：MS 制約付きトラジェクトリ学習 （提案法）
評価として，HMM 音声合成と GMM 声質変換における音質に関するプリファレンス AB テスト，及び，GMM 声質変換における話者性に関する XAB テストを実施する．XAB テストのリファンレス音声は，ターゲット話者の分析再合成音である．被験者は，各評価に対して 6 人である。非周期成分における提案法の知覚的影響は小さいため，非周期成分の学習には “BASIC” を使用する．
1 トラジェクトリ HMM は [5] による定式化，トラジェクトリ
GMM は本稿による定式化である．
2 [15] はトラジェクトリ GMM を使用していない．

日本音響学会講演論文集' 
44
40H1320H132
0132
4I5 6879J:$<=?>45 6879J:<=?>45 6879;:$<=?>&/)*.- $%,-*  #+ )** "!
( )*KL  MN N  A@8  BCEDGFG A@8  BCDOFG
Fig. 1

主観評価結果（エラーバーは 95% 信頼区間）

4.2 実験結果
各主観評価結果を Fig. 1 に示す．HMM 音声合成とGMM 声質変換の音質評価において提案法（“MS”）のスコアが最も高い．一方で，“MS” の話者性のスコアは，“TRJ” より高いものの “GV” と同程度のスコアとなっている．これらの結果より，提案する変調ス
ペクトル制約付き学習により，解析的なパラメータ生成処理を保持しつつ，変調スペクトル補償による音質改善効果が得られることが明らかになった．

5

まとめ

本稿では，統計的パラメトリック音声合成において，単遅延合成処理能力を維持しつつ音質を改善させる手法として，変調スペクトル制約付きトラジェクトリ学習法を提案し，実験的評価により有効性を確認した．今後は，任意話者音声合成への応用を検討する．
謝辞 本研究の一部は，JSPS 特別研究員奨励費 26 ·10354，JSPS 科研費 26280060，及び，頭脳循環を加速する若手研究者戦略的海外派遣プログラムの助成を受け実施した．

参考文献[1] S. Takamichi et al., Proc. ICASSP, pp. 290–294, 2014.
[2] 高道 他, 音講論（春）, 2-2-2, 2015.
[3] K. Tokuda et al., Proc. IEEE, Vol. 111, No. 5,pp. 1234–1252, 2013.
[4] T. Toda et al., IEEE. Trans. on Audio, Speechand Language Processing, Vol. 15, No. 8, pp.
2222–2235, 2007.
[5] H. Zen et al., Computer Speech and Language,Vol. 21, No. 1, pp. 153–173, 2007.
[6] K. Tokuda et al., Proc. ICASSP, pp. 1315–1318, 2000.
[7] T. Muramatsu et al., Proc. INTERSPEECH,pp. 1076–1079, 2008.
[8] H. Zen et al., IEEE Trans., Vol. 19, pp. 417–430, 2011.
[9] T. Toda et al., IEICE on Trans. Inf. and Syst.,
Vol. E90-D, No. 5, pp. 816–824, 2007.
[10] K. Yu et al., IEEE Trans. on Audio, Speech andLanguage, Vol. 19, No. 5, pp. 1071–1079, 2011.
[11] J. Kominek et al., Tech. Rep. CMU-LTI-03-177,2003.
[12] H. Kawahara et al., Speech Comm., Vol. 27, No.
3–4, pp. 187–207, 1999.
[13] 大谷 他，信学論，Vol. J91-D，No. 4，pp. 1082–1091，2008.
[14] T. Toda et al., Proc. ICASSP, pp. 4025–4028,
2009.
[15] H. Hwang et al., Proc. APSIPA ASC, pp.1–6,
2014.

- 256 -2015年3月