3-P-24d
重回帰 HSMM に基づく音声合成における回帰行列の MAP 推定∗☆永田智洋, 森大毅 (宇都宮大), 能勢隆 (東工大)1

はじめに表情豊かな対話音声合成を実現するためには，言語情報だけではなくパラ言語情報を制御する必要がある。我々はこれまで，宇都宮大学パラ言語情報研究
向け音声対話データベース (UUDB)[1] の感情の次元説に基づいて記述されたパラ言語情報についての抽象次元と，重回帰 HSMM に基づく音声合成手法 [2]を用いることで対話音声合成におけるパラ言語情報の制御が可能であることを報告した [3]。
しかし，重回帰 HSMM における回帰行列を学習する決定木のリーフノードに含まれる学習データが極端に少ないノードが存在するために，合成音声の自然性が著しく低くなるものが存在した。そこで，本研究では重回帰 HSMM における回帰行列の最大事後確率(MAP) 推定を行い，ロバストな回帰行列の推定を行う。文献 [4] では，HSMM における平均パラメータのMAP 推定量から回帰行列を推定した。本研究では，HSMM における補助関数に回帰行列の事前分布を考慮することで，回帰行列の MAP 推定式を導出する。

2

ここで，Ωbi ∈ RM ×M と Φbi ∈ R(L+1)×(L+1) ，W bi ∈ RM ×(L+1) は MAP 推定における超パラメータである。
事前分布 P (H bi ) を HSMM における Q 関数に導入し，式 (5) に示す Q 関数を最大とする H bi を推定する。

Q(λ, bi ) =T ∑t∑γtd (i)t=1 d=1t∑log N (os ; µi , Σi )s=t−d+1+ log P (H bi )(5)

ここで，T は総フレーム数である。式 (5) を微分して0 とおき，Ωbi = τout Σi とすることで，H bi についての再推定式 (6) を得る。また，H pi に対しても同様の方法によって再推定式 (7) を得る。
{ T t}t∑∑∑⊤dH bi =os ξ + τout W bi Φbi ·γt (i)t=1 d=1{ T t∑∑

重回帰 HSMM によるパラ言語情報制御

s=t−d+1}−1γtd (i) · d · ξξ ⊤ + τout Φbi(6)

t=1 d=1

重回帰 HSMM では，HSMM の状態 i における出力確率分布の平均ベクトル µi および状態継続長分布の平均 mi が式 (1) で表せると仮定する。

µi = H bi ξ,mi = H pi ξξ = [1, v1 , v2 , · · · , vL ]⊤ = [1, v ⊤ ]⊤(1)(2)H bi ∈ RM ×(L+1) ，H pi ∈ R1×(L+1) はそれぞれ出力確率分布の平均ベクトル，状態継続長分布の平均に対する回帰行列である。ここで，R は実数の集合であり，L は重回帰モデルにおける独立変数で構成されるベクトル v の次元数，M は特徴ベクトルの次元数である。また，ξ は制御ベクトルである。
本研究では重回帰モデルの独立変数に，UUDB に記述されているパラ言語情報ラベルを用いることで合成音声のパラ言語情報の制御を行う。
ξ = [1, vpl , var , . . . ]⊤(3)

ここで，vpl , var , · · · はそれぞれ「快-不快（pleasantness）」，「覚醒-睡眠（arousal）」，· · · の項目に対応する変数である。

3回帰行列の MAP 推定

重回帰 HSMM の状態 i における出力確率分布の平均ベクトルに対する回帰行列 H bi の事前分布 P (H bi )に，式 (4) に示す行列正規分布を仮定する。

P (H bi ) = (2π) 2 |Ωbi |− 2 |Φbi |− 2 ·}{1⊤
−1exp − tr (H bi − W bi ) Ω−1(H−W)Φbbiibibi2(4)M (L+1)∗ML+1H pi ={ T t∑∑}⊤γtd (i) · d · ξ + τdur W pi Φpi

t=1 d=1{ T t∑∑·}−1γtd (i)ξξ ⊤ + τdur Φpi(7)t=1 d=1

ここで，os は時刻 s における特徴ベクトルであり，Tは特徴ベクトルの総フレーム数，γtd (i) は時刻 t−d+1から t まで状態 i に滞在する確率であり，状態占有確率と呼ばれる。また，W pi ∈ R1×(L+1) と Φpi ∈R(L+1)×(L+1) は H pi に対する MAP 推定時の超パラメータである。

4客観評価実験

4.1 実験条件
学習には UUDB の対話セッション C002 から C007に含まれる話者 FTS の 589 発話を用いた。550 発話の総時間は 17 分 25 秒である。スペクトルパラメー
タには，サンプリング周波数 16 kHz の音声信号から，分析周期 5 ms，分析窓長 25 ms のハミング窓を用いて求めた 0 次から 24 次のメルケプストラム係数を用いた。F0 パラメータは対数基本周波数とし，特徴ベクトルはこれらのパラメータにそれぞれの ∆，∆∆ パラメータを加えた 78 次元のベクトルとした。回帰行列の再推定に必要となる初期回帰行列は文献 [5] による初期化手法を用いた。制御ベクトルは，感情状態を表す一般的な指標とされている「快-不快」，「覚醒睡眠」を用いた式 (8) とし，各次元の値には UUDB

Conversational speech synthesis with controllability of paralinguistic information using MRHSMM. by
NAGATA, Tomohiro, MORI, Hiroki (Utsunomiya Univercity), NOSE Takashi (Tokyo Tech)

日本音響学会講演論文集- 493 -

2013年3月

に記述されているラベラ 3 名による平均評価値を用いた。

ξ = [1, vpl , var ]⊤(8)回帰行列の学習法は，従来の最尤 (ML) 法と，式(6) および式 (7) で示す MAP 推定法の 2 通りとした。
重回帰 HSMM における回帰行列は，決定木に基づくクラスタリングを行った後に，決定木の各リーフノードに対して学習される。MAP 推定時の超パラメータ
W bi ，W pi には，今回は回帰行列を学習するリーフ
ML(1)
ノードにおいて ML 法で学習された回帰行列 H biと，その兄弟ノードにおいて ML 法で学習された回ML(2)帰行列 H biを，それぞれのノードに含まれるコンテキストの種類による重み付き和で求めたものを用いた。これを式 (9)，式 (10) に示す。
(1)

W bi =

nb(1)

(2)

ML(1)

H bi(2)+nb + nbnp

H ML(1)+pi(2)(1)
np + np
(1)

nb(1)

ML(2)

(2)

nb + nb

H bi

(9)

(2)

(1)

W pi =

Table 1 ML 法におけるパラ言語情報の値と合成音声の音響特徴量との相関係数

np(1)
(2)
np + np

H ML(2)(10)pi(1)

ここで，nb ，np は回帰行列を学習するノードに含(2)(2)

まれるコンテキストの種類数であり，nb ，np は兄弟ノードに含まれるコンテキストの種類数である。また，Φbi ，Φpi はそれぞれ単位行列とした。
テストセットは UUDB の対話セッション C001 の話者 FTS の 95 発話とした。

4.2 客観評価
ML 法によって合成された音声と MAP 法によって合成された音声を比較した結果，不自然な音響特徴量が出力された結果が減少していた。例として，「快-不快」に 4，「覚醒-睡眠」に 2 を与えて合成された発話「で，ヘックションっつって，あ急に寒くなったっつったって」の対数基本周波数軌跡を図 1 に示す。MAPによる結果では，極端な対数基本周波数が出力されていないことがわかる。
次に，合成時に与えたパラ言語情報と合成された音声の音響特徴量を評価した。合成時に付与した「快不快」，「覚醒-睡眠」の値と合成された音声の音響特徴量の相関係数を示す。表 1 は ML 法による結果であF0 最大値
F0 平均値

快-不快0.020.00

覚醒-睡眠0.410.89

Table 2 MAP 法におけるパラ言語情報の値と合成音声の音響特徴量との相関係数
F0 最大値
F0 平均値

快-不快0.020.00

覚醒-睡眠0.570.91

り，表 2 は MAP 法による結果である。ここで，「快不快」の相関係数は，合成時に付与する「覚醒-睡眠」の値を 4 として「快-不快」の値を変化させたときの相関係数であり，「覚醒-睡眠」の相関係数は，合成時に付与する「快-不快」の値を 4 として「覚醒-睡眠」の値を変化させたときの相関係数である。また，音響特徴量は，発話における基本周波数最大値 (F0 最大値) および基本周波数平均値 (F0 平均値) とした。
表より，ML 法と MAP 法のどちらの場合においても「覚醒-睡眠」と音響特徴量との間には高い相関があることが確認できた。しかし，「快-不快」と音響特徴量の間には相関が確認されなかった。この原因を調べるために，発話ごとに「快-不快」と音響特徴量との相関係数を求めた。その結果，F0 最大値の場合には正の相関を持つ発話が 52 発話あり，負の相関を持つ発話が 43 発話，F0 平均値の場合には正の相関を持つ発話が 47 発話あり，負の相関を持つ発話が 48発話あった。また，どの発話についても強い相関が得られていた。このことから，「快-不快」を変化させたことによる音響特徴量の変化は，発話内容に依存し，「覚醒-睡眠」を変化させたことによる音響特徴量の変化は発話内容に依存しないことが確認できた。

5

おわりに

本研究では，重回帰 HSMM に基づく音声合成における回帰行列の MAP 推定を行った。合成時に付与したパラ言語情報と合成音声の音響特徴量との関係を評価し，各音響特徴量との依存性を調べた。
今後は，合成された音声を用いた主観評価実験を行い，合成音声の自然性を評価する。また，意図したパラ言語情報が表現可能であるかを示すために，パラ言語情報の表出実験を行う。

参考文献[1] Mori et al., Speech Communication, 53, 36-50,2011.
[2] Nose et al., IEICE Trans. Inf. & Syst., E90-D(9),1406-1413, 2007.
[3] 永田 他, 音講論 (春), 435–436, 2012.
[4] Nose et al., IEICE Trans. Inf. & Syst., E92-D(3),489-497, 2009[5] 能勢, 小林, 音講論 (秋), 329–330, 2011.
Fig. 1 発話の対数基本周波数軌跡

日本音響学会講演論文集- 494 -2013年3月