論 文
多空間上の確率分布に基づいた HMM
徳田 恵一†

益子 貴史††

宮崎昇††∗

小林 隆夫††

Multi-Space Probability Distribution HMM
Keiichi TOKUDA† , Takashi MASUKO†† , Noboru MIYAZAKI††∗ ,and Takao KOBAYASHI††
あらまし HMM（ hidden Markov model ）による時系列の統計的モデル化手法は，特に音声認識における音
声スペクトル列の統計的モデル化手法として広く成功を収めている．HMM は，離散的なシンボル列を扱う離散分布 HMM と，連続値をもったベクトル列を扱う連続分布 HMM とに大別されるが，実際の観測系列には，離散的なシンボルと連続値が時間的に混在したものがあり，従来の HMM でこのような観測系列をそのまま取り扱うことはできない．音声のピッチパターンは，このような系列の例である．この問題を解決するため，本論文では，可変次元の多空間上における確率分布に基づいた HMM を新たに定義し ，拡張された HMM のモデルパラ
メータの再推定アルゴ リズムを与えている．拡張された HMM は，離散分布 HMM，混合連続分布 HMM を特別な場合として含み，更に離散シンボルと連続値が時間的に混在した観測系列をモデル化することができる．
キーワード

隠れマルコフモデル，テキスト音声合成，ピッチ，多空間確率分布

1. ま え が きは，このような系列の例である．つまり，音声のピッHMM（ hidden Markov model ）による時系列の統間では無声であること表す離散シンボルとして観測さ計的モデル化手法は，様々な分野で広く用いられていれるため，通常の音声認識などで用いられる離散分布

るが，特に音声認識の分野では，音声スペクトル列のHMM や連続分布 HMM の枠組みを直接適用すること

チパターンは，有声区間では 1 次元の連続値，無声区

統計的モデル化手法として大きな成功を収めている．

はできない．これまでにも，ピッチパターンを HMM，

HMM の枠組みは，統計モデルという点では単純な考あるいは 統計モデルによりモデル化し よ うとする試え方であるが，非常に柔軟であり，例えば ，コンテク

みは行われているが ，そこでは，(1) 無声区間のピッスト依存モデル [1]，動的特徴 [2]，混合ガウス分布 [3]，tying 手法（ 例えば [4] ），話者/環境適応化手法（ 例えば [5] ）などの導入により，HMM に基づく音声認識シのピッチの値を 0 として，混合分布によりモデル化す

チとして分散の大きな乱数を与える [6]，(2) 無声区間
る [7]，(3) 無声区間のピッチの値は存在するが観測できなかったとし（ latent variable と考える ），EM ア

ステムの性能を大きく改善してきた．
ところで，HMM は，離散的なシンボル列を扱う離ルゴ リズムを適用する [8]，など の便宜的な方法が 用

散分布 HMM と，連続値をもったベクトル列を扱う連

いられている．(3) は，統計モデルとしては，適切な続分布 HMM とに大別され るが ，実際の観測系列にものであるが，実際には存在しない無声区間のピッチは，離散的なシンボルと連続値が時間的に混在したもを推定しようとする点に矛盾があり，また，臨界制動のがあり，従来の HMM でこのような観測系列をそのモデルのような強い制約をもったモデルのもとでなけ

まま取り扱うことはできない．音声のピッチパターン

れば ，適切なピッチの推定値を得ることはできない．

(1)，(2) は，統計モデルとして便宜的なものとなって† 名古屋工業大学知能情報システム学科，名古屋市
Faculty of Engineering, Nagoya Institute of Technology,†† 東京工業大学大学院総合理工学研究科，横浜市
Interdisciplinary Graduate School of Science and Engineering, Tokyo Institute of Technology, Yokohama-shi, 226–8502
Japan∗ 現在，NTT コミュニケーション科学基礎研究所

電子情報通信学会論文誌 D–IIいるため，コンテクストクラスタリング，話者/環境適応など ，統計的枠組みに立脚した手法を理論的な整合

Nagoya-shi, 466–8555 Japan

性をもって導出することはできないという問題がある．
本論文では，離散シンボルと連続値が時間的に混在した観測系列をそのまま HMM によりモデル化するこ

Vol. J83–D–II No. 7 pp. 1579–1589 2000 年 7 月

1579電子情報通信学会論文誌 2000/7 Vol. J83–D–II No. 7

Gとが可能となれば，更に広い分野で HMM を有効に適wg ，ただし，用できるであろうとの考えから，可変次元の多空間上

きには，各空間のもつ確率密度関数を wg Ng (x), x ∈における確率分布に基づいた HMM を新たに定義し ，

布 HMM，混合連続分布 HMM を特別な場合として含Rng とする．ただし， Ng (x)dx = 1 とする．また，
ng = 0 のときには，空間 Ωg は一つの標本点だけから
Gなるとする．条件
w = 1 及び Ng (x)dx = 1
g=1 g
より，全標本空間の確率 P (Ω) は，P (Ω) = 1 となる．

み，更に離散シンボルと連続値が時間的に混在した観以上の標本空間に対して，本文で考える観測事象は，拡張された HMM のモデルパラメータの再推定アルゴ リズムを与えている．拡張された HMM は，離散分

g=1

wg = 1 とする．更に，ng > 0 のと

空間インデックスの集合 X と，n 次元のベクトル x

測系列をモデル化することができる．
以下，2. で，本論文で考える多空間上の確率分布を定義した上で，それに基づいた HMM を 3. において定義する．4. では，新たに定義した HMM のモデルからなる確率変数 o によって表される．すなわち

o = (X, x)(2)

パラメータ再推定式を導出するととも，再推定の繰返

ただし ，X に含まれる空間インデックスが表す空間

しにより，ゆう度の局所的最大値を与えるモデルパラ

は，すべて x と同じ n 次元とする．一方，X は，必メータが得られることを証明する．5. において，従来

ずしも，次元が等しい空間のインデックスすべてを同の離散分布 HMM 及び 連続分布 HMM との関係を整時に含んでいるわけではないことに注意する（例えば，

理し ，6. で結論を述べる．

図 1 の o1 ，o2 ）．観測ベクトル x だけでなく，空間
インデックス集合 X も確率変数であり，いずれも何

2. 多空間上の確率分布

らかの観測装置（あるいは特徴抽出器）により，観測G 個の空間 Ω1 , Ω2 , . . . , ΩG からなる標本空間 Ω を考える（ 図 1 ）．



ごとに確定した値が与えられる．このとき，o の観測確率は，次式で定義することができる．

G

Ω=

Ωg

(1)

b(o) =

空間はそれぞれ異なった次元 ng をもつが，それらのうちのいくつかが同じ 次元であってもよい．
各空間 Ωg の確率を wg とする．つまり，P (Ωg ) =wg Ng (V (o))(3)

V (o) = x(4)g∈S(o)

g=1

各空間 Ωg は ng 次元の実空間 Rng とする．G 個の



ただし ，

S(o) = X,

0 次元空間からの観測事象 o は，空間インデックスの集合 X だけからなり，V (o) = x は存在しないことに注意する．つまり，式 (3) において，ng = 0 のとき
は，Ng (·) は存在しないが，ここでは記述の簡便性のため，Ng (·) ≡ 1，ng = 0 と定義している．
図 1 の例では，観測事象 o1 は，空間インデックスの集合 X1 = {1, 2, G} と，3 次元のベクトル x1 ∈ R3により表される．したがって，観測値 x1 は，三つの3 次元空間 Ω1 ，Ω2 ，ΩG のいずれかから出力されたものであり，このとき確率変数 x の確率密度関数は
w1 N1 (x) + w2 N2 (x) + wG NG (x) で与えられる．
以上で 定義され る確率分布は ，ng ≡ 0 のとき離散分布と等価となり，また ，ng ≡ m > 0，S(o) ≡{1, 2, . . . , G} のときには m 次元 G 混合の連続分布と等価となることから，離散分布及び連続混合分布を一般化したものであることがわかる．
図 1 多空間上の確率分布と観測事象
Fig. 1 Multi-space probability distribution andobservations.

1580

このような確率分布が現実世界の確率現象に即したものであることを示すため，一つの例を挙げる：

論文／多空間上の確率分布に基づいた HMM

池の中には，赤い魚，青い魚，亀がそれぞれ何匹
かおり，加えていくつかのゴミがある．釣り人は，1回の試行（ 釣り）で，これらのいずれかを無作為に抽出する．魚を得た場合には，その縦横の長さ（ 水平方向及び鉛直方向の長さ）が計測され，亀を得た
場合には，その甲羅の直径（ 甲羅は真円とする）が計測される．ゴ ミを得た場合には，その大きさは関心外であり，何も計測されない．
このとき，標本空間は以下の四つの空間からなる．

Ω1 ：赤い魚の縦横の長さを表す 2 次元空間
Ω2 ：青い魚の縦横の長さを表す 2 次元空間
Ω3 ：亀の直径を表す 1 次元空間
Ω4 ：ゴ ミを表す 0 次元空間
w1 ，w2 ，w3 ，w4 は，それぞれ，池の中にある赤い魚，

Fig. 2

青い魚，亀，ゴ ミの数の比率を表す．N1 (·) は赤い魚の，N2 (·) は青い魚の，それぞれ縦横の長さを表す 2次元確率分布密度関数となる．また，N3 (·) は，亀の=赤い魚が得られたときの観測値は，その魚の縦横の長=おり，夜になると長さは観測できるが色を判別するこ

=

T



all q

o = ({1, 2}, x) となる．

3. 多空間上の確率分布に基づく HMM(5)g∈S(o)

wqt g Nqt g (V (ot ))







aq0 q1 wq1 g Nq1 g (V (o1 ))

g∈S(o1 )···
aq1 q2 wq1 g Nq2 g (V (o2 ))


aqT −1 qT wqT g NqT g (V (oT ))

g∈S(oT )基づく HMM（ multi-space probability distribution

wig Nig (V (o))

g∈S(ot )

ここでは，このような HMM を多空間上の確率分布に

bi (o) =aqt−1 qtg∈S(o2 )前章で定義した多空間上の確率分布によって状態出力







確率を与えることにより，新たな HMM λ を定義する．

HMM: MSD-HMM ）と呼ぶことにする．λ の状態数を N としたとき，λ は，初期状態確率 π = {πi }Ni=1 ，N
状態遷移確率 A = {aij }i,j=1 ，各状態 i での出力確率
B = {bi (·)}N
i=1 からなる．ただし，

aqt−1 qt bqt (ot )all q t=1となる．また ，釣り人は昼夜を問わず 釣りを 続けてとができないとすると，夜間における魚の観測値は，T
all q t=1

直径を表す 1 次元確率分布密度関数である．例えば ，さを表す 2 次元ベクトルを x とし て，o = ({1}, x)

図 2 多空間上の確率分布に基づく HMM
An HMM based on multi-space probability
distribution.

=

T
 

aqt−1 qt wqt lt Nqt lt (V (ot ))(6)

all q,l t=1と書くことができる．ただし ，q = {q1 , q2 , . . . , qT }を許される状態系列，l = {l1 , l2 , . . . , lT } ∈ {S(o1 ) ×S(o2 ) × . . . × S(oT )} を観測系列 O に対して許される
空間インデックスの系列としている．また，aq0 i = πi

したがって，各状態 i は，それぞれ G 個の分布（ Ni1 ,とする．

Ni2 , . . . , NiG ）と空間の重み（ wi1 , wi2 , . . . , wiG ）
（た
G
w
=
1
）をもつ（
図
2
）
．このとき，観ig
g=1
測系列 O = (o1 , o2 , . . . , oT ) の出力確率は

αt (i)，後向き変数 βt (i) を用いることにより，式 (6)だし ，

P (O|λ)従来の HMM と同様，次式で定義される前向き変数のゆう度の演算量を削減することができる．

αt (i) = P (o1 , o2 , . . . , ot , qt = i|λ)

(7)
1581

電子情報通信学会論文誌 2000/7 Vol. J83–D–II No. 7

βt (i) = P (ot+1 , ot+2 , . . . , oT |qt = i, λ)(8)αt (i)，βt (i) は，それぞれ，以下の手順で再帰的に計算される．

［ 定理 1 ］

α1 (i) = πi bi (o1 ),

1<
=i<
=N

βT (i) = 1,

1<
=i<
=N

(9)

（ 2 ） 再帰：t = 1, 2, . . . , T − 1

まり，(i, g) の各組合せに対して，式 (15) で定義され

(10)

j=1

t = T − 1, 2, . . . , 1(11)

式 (6) の値は，これら α または β の終端の値の和によって与えられる．つまり，


N



i=1

ng + 1 個の V (ot ) のうち，任意の ng 個が線形独立（ linearly independent ）である．
このとき Q(λ , λ) は λ に関して唯一の大局的最大値をとり，この最大点が唯一の臨界点（ critical point ）N

αT (i) =る γt (i, g) が γt (i, g) > 0 となる ot が，少なくとも

ng + 1 個あり）
，その ng + 1 個の ot は以下の条件を満たすとする．

aij bj (ot+1 )βt+1 (j),

1<
=i<
= N,

P (O|λ) =(14)

ぞれについて ，ng + 1 個の観測事象 ot があり（ つαt (j)aji bi (ot+1 ),

1<
=i<
= N,
N





Q(λ , λ) >= Q(λ , λ ) → P (O, λ) >= P (O, λ )［ 定理 2 ］ すべての状態 i のすべての空間 Ωg それ

N

j=1

βt (i) =件を満たす楕円対称分布密度関数へ拡張することは容易である．

（ 1 ） 初期化：

αt+1 (i) =た ng 次元ガウス分布とする．なお，文献 [10] の手順にならえば ，Nig (·) をコルモゴ ロフの consistency 条となる．

aq0 i bi (o1 )β1 (i) (12)i=1［ 定理 3 ］ λ が再推定により変化しない場合に限り，λは P (O|λ) の臨界点となる．

前向き変数 αt (i)，後ろ向き変数 βt (i) は，次節で導定理 1，3 は通常の HMM の場合と同様にして証明出する再推定式を計算するため（ 具体的には式 (15)，できる．本手法においては，通常の HMM と状態出力(16) の計算）にも用いられる．

確率が異なるため，Q 関数の大局的最大点が存在する

4. モデルパラメータの再推定アルゴリズム

かど うかを新たに調べる必要があり，定理 2 は，その本章では，観測系列 O が与えられたときに式 (6) でここで Q(λ , λ) を最大にする λ を，λ からの再推与えられる観測ゆう度 P (O|λ) を最大にするようなモ定と定義する．本節の三つの定理により，λ を λ にデルパラメータ λ を求める手法を，文献 [3], [10] の手

代入して再推定を繰り返していけば ，λ がゆう度関数

結果を示している．定理 2 の証明は付録に示す．

順にならって導出する．

の臨界点に達するまでは P (O|λ) は単調に増加する．

4. 1 Q 関 数

したがって，λ の再推定を繰り返すことによりゆう度

観測系列 O に対して，P (O|λ) の局所的最大値を関数 P (O|λ) の局所的臨界点が得られる．

与える λ を求める式を導出するため，現在のモデル

4. 2 Q 関数の最大化

λ と，変数 λ を引数とする補助関数 Q(λ , λ) を定義

本節では，観測系列 O とモデル λ に対し，Q(λ , λ)する．

Q(λ , λ) =を最大にする λ の各パラメータを導出する．



P (O, q, l|λ ) log P (O, q, l|λ)all q,l(13)
以下，Q 関数に関する三つの定理を用いて P (O|λ) のはじめに，観測系列 O とモデル λ が与えられたときに，時刻 t で状態 i に存在し ，V (ot ) が空間 h から出力される確率 γt (i, h) を定義する．

γt (i, h)

局所的臨界点となる λ を求める手法を導出する．ここ= P (qt = i, lt = h|O, λ)では，Nig (·), ng > 0 を平均 µig ，共分散 Σ ig をもっ= P (qt = i|O, λ)P (lt = h|qt = i, O, λ)1582

論文／多空間上の確率分布に基づいた HMM==

P (qt = i, O|λ)P (lt = h|qt = i, O, λ)P (O|λ)αt (i)βt (i)N+αt (j)βt (j)また，観測系列 O とモデル λ が与えられたときに，時
刻 t + 1 において状態 i から j に遷移する確率 ξt (i, j)

(19)

あり，



P (O, q, l|λ ) log aq0 q1

all q,lを定義する．

=N ξt (i, j) = P (qt = i, qt+1 = j|O, λ)P (O, q1 = i, l|λ ) log aq0 i

i=1 all l

P (qt = i, qt+1 = j, O|λ)=P (O|λ)=NP (O, q1 = i|λ ) log πiαt (m)amk bk (ot+1 )βt+1 (k)式 (19) 第 2 項は，aij に関する項であり，



m=1 k=1

更に，観測事象 ot の空間インデックス集合が空間イ
ンデックス g を含むような時刻 t の集合 T (O, g) を

all q,l

=



T −1

P (O, q, l|λ )(16)

log aqt qt+1

t=1

N
N T −1




定義する．

P (O, qt = i, qt+1 = j, l|λ )i=1 j=1 t=1 all l

T (O, g) = {t|g ∈ S(ot )}· log aij(17)

この記法を導入することにより，以下の式操作は，従N T −1=

P (O, qt = i, qt+1 = j|λ ) log aij

i,j=1 t=1

来の混合連続 HMM の場合に類似した形式で進めるこ(21)とができる．
さて，観測系列 O と状態系列 q ，空間系列 l に対する対数ゆ う度は ，式 (6) から以下のよ うに与えら

log P (O, q, l|λ)=式 (19) 第 3 項は，wig に関する項であり，



れる．

T


P (O, q, l|λ )all q,l{log aqt−1 qt + log wqt lt=(18)

式 (18) を用いて Q 関数 (13) は以下のようになる．

=

N
G





P (O, qt = i, lt = g|λ ) log wig(22)

P (O, q, l|λ ) log aq0 q1

all q,l
all q,l

T −1

P (O, q, l|λ )all q,l+P (O, qt = i, lt = g|λ ) log wig

i=1 g=1 t∈T (O,g)

Q(λ , λ)+log wqt lt

t=1

i=1 t=1 g∈S(ot )+ log Nqt lt (V (ot ))}

=

T


N
T




t=1



(20)

i=1

αt (i)aij bj (ot+1 )βt+1 (j)N Nlog Nqt lt (V (ot ))t=1

式 (19) 第 1 項は ，aq0 q1 つまり πq1 に 関する項で

(15)

=

T


wig Nig (V (ot ))g∈S(ot )j=1

P (O, q, l|λ )all q,lw Nih (V (ot ))

ih

·



log aqt qt+1

T

t=1



P (O, q, l|λ )all q,lt=1

P (O, q, l|λ )式 (19) 第 4 項は，Nig (·) に関する項であり，log wqt lt=Tlog Nqt lt (V (ot ))

t=1

N
T




P (O, qt = i, lt = g|λ )i=1 t=1 g∈S(ot )1583電子情報通信学会論文誌 2000/7 Vol. J83–D–II No. 7

· log Nig (V (ot ))
=

N
G





P (O, qt = i, lt = g|λ )P (O, qt = i, lt = g|λ )t∈T (O,g)

wig =

G




P (O, qt = i, lt = h|λ )i=1 g=1 t∈T (O,g)· log Nig (V (ot ))h=1 t∈T (O,h)(23)と，それぞれ書くことができる．式 (20)，(21)，(22)Nt∈T (O,g)=Gui log yi の 形をし て おり，これ はN
Lagurange の未定乗数法により， i=1 yi = 1, yi >=0

は すべ て ，i=1の制約下で次の唯一の最大点に至る．

N


(24)

j=1

したがって，式 (20)，(21)，(22) をそれぞれ最大にする πi ，aij ，wig は以下のように定められる．

= P (q1 = i|O, λ )γ1 (i, g)(25)g∈S(o1 )



∂
∂µig



·

P (O, qt = i, qt+1 = j|λ )t=1

P (O, qt = i|λ )

=0
∂
∂Σ −1
ig

P (qt = i, qt+1 = j|O, λ )

t=1
T −1

P (qt = i|O, λ )P (O, qt = i, lt = g|λ )t∈T (O,g) 

ξt (i, j)

t=1

t=1 g∈S(ot )P (O, qt = i, lt = g|λ )t∈T (O,g)



=

T −1

 

(30)



· log Nig (V (ot ))

t=1

1584

P (O, qt = i, lt = g|λ )· Σ −1ig (V (ot ) − µig )

t=1= T −1t∈T (O,g)

T −1



∂
log Nig (V (ot ))
∂µig

=

T −1

=

P (O, qt = i, lt = g|λ )t∈T (O,g)

P (O, qt = i, qt+1 = k|λ )

T −1



P (O, qt = i, lt = g|λ )t∈T (O,g)

=



(29)

· log Nig (V (ot ))k=1 t=1=(28)を満たす µig ，Σ ig を求めることにより最大化される．

P (O, qt = i, qt+1 = j|λ )t=1
N T −1t∈T (O,g)· log Nig (V (ot )) = 0P (O, qt = i, lt = g|λ )· log Nig (V (ot )) = 0
∂P (O, qt = i, lt = g|λ )
−1
∂Σ ig

T −1

aij =



このような µig ，Σ ig は，



をもった ng 次元ガウス分布とすれば ，t∈T (O,g)

P (O, q1 = i|λ )P (O, q1 = i|λ )=πi = N
P (O|λ )P (O, q1 = j|λ )
j=1

=

(27)
γt (i, h)h=1 t∈T (O,h)

∂
∂µig

uj





式 (23) は，Nig (·), ng > 0 を平均 µig ，共分散 Σ ig

ui

yi =

γt (i, g)·(26)γt (i, g)=∂log Nig (V (ot ))
∂Σ −1
ig

1
2



t∈T (O,g)

P (O, qt = i, lt = g|λ )論文／多空間上の確率分布に基づいた HMM· Σ ig − (V (ot ) − µig )(V (ot ) − µig )T
=0

(31)

すべて の 観 測事 象 ot に 対し て S(ot ) が すべて のより，空 間を 示 すと き（ S(ot ) ≡ {1, 2, . . . , G} ），混 合 連



µig =

マルチラベリングに基づいた離散 HMM [11] に等価と続分布 HMM と等価になる．このことは ，ng ≡ 0，



P (O, qt = i, lt = g|λ )V (ot )|S(ot )| ≡ 1 のとき ，式 (25)〜(27) が ，コード ブッt∈T (O,g)

クサイズ G の離散分布 HMM の再推定式に ，また，

P (O, qt = i, lt = g|λ )ng ≡ m，S(ot ) ≡ {1, 2, . . . , G} のときに，式 (25)〜(27)，(32)，(33) が，m 次元 G 混合連続分布 HMMt∈T (O,g)=

なる．また，すべての空間の次元が等しく（ ng ≡ m ），γt (i, g)V (ot )t∈T (O,g)γt (i, g)の再推定式に等しくなることからも確かめることがで,ng > 0(32)t∈T (O,g)に，観測時刻ごとに異なる次元の x（ 0 次元，つまりP (O, qt = i, lt = g|λ )t∈T (O,g)

Σ ig =



きる．すなわち，多空間上の確率分布に基づく HMM
は，離散分布 HMM と連続分布 HMM を包含し ，更離散シンボルのみの場合も含む）が観測される場合に対応することができる．



なお，多空間上の確率分布に基づく HMM（ MSD-

(V (ot ) − µig )(V (ot ) − µig )THMM ）と 関連のあ る手法とし て ，上記以外に ，文

献 [9] の multi-channel HMM を挙げることができる．

P (O, qt = i, lt = g|λ )Multi-channel HMM は，本手法と類似した形式をもt∈T (O,g)

つが，すべてのチャネル（ 各チャネルは離散分布をもつ）が観測されることを前提としており，「観測されγt (i, g)t∈T (O,g)ない」を理論的な整合性をもって取り扱うことはできない．逆に，文献 [9] において最終的に導出されたモ(V (ot ) − µig )(V (ot ) − µig )T=γt (i, g)

デルは，以下の条件,t∈T (O,g)ng > 0• Multi-channel HMM の M 個のチャネルのす
べてのシンボルに 1 対 1 対応させて，0 次元空間を用

(33)

意する．

• 観測は，M 個の空間インデックスからなり，そで与えられる．定理 2 の条件より，Σ ig は正定となる．

れぞれ第 1〜第 M チャネルに対応した空間から一つ

4. 1 より，Q(λ , λ) を 最大に する λ を式 (25)〜(27)，(32)，(33) により求め，Q(λ , λ) の λ に再帰的に代入することにより，P (O|λ) の局所的最大値を与える λ が得られる．

ずつ選ばれるとする．

5. 考

察

5. 1 離散分布 HMM，連続分布 HMM との関係のもとで，MSD-HMM の特別な場合となる．

5. 2 ピッチパターンのモデル化への適用
音声のピッチの値は，有声区間においては連続値をとり，無声区間においては値が存在しない．このような観測系列は，1 次元空間における 1 次元確率分布からピッチの値が出力され，2. において定義した 0 次元の多空間上の確率分布は，離散分布分布と混合連続分

空間が無声であるという事象に対応すると考えること

布を特別な場合とし て含むため，新たに拡張されたにより，多空間分布によりモデル化することができる．

HMM は，離散分布 HMM と混合連続分布 HMM を特

つまり，2. において ng = 1 (g = 1, 2, . . . , G − 1)，

別な場合として含むものである．すべての空間の次元がnG = 0 とし ，

0 で（ ng ≡ 0 ），すべての観測事象 ot に対して S(ot )がただ一つの要素（ 空間）をもつとき（ |S(ot )| ≡ 1 ），離散分布 HMM と等価になる．S(ot ) が複数の要素をもつとき（ |S(ot )| > 1 ）には，拡張された HMM は，S(ot ) ={1, 2, . . . , G − 1},
{G},

(有声)
(無声)

(34)

としたとき，これらの空間上の確率分布に基づく HMM
1585電子情報通信学会論文誌 2000/7 Vol. J83–D–II No. 7

コンテクストクラスタリング手法を導出し ，用いているが，このようなことが可能であるのは，本手法が便宜的な仮定や近似を含まない統計モデルに基づいていることによる．
(a) natural pitch

6. む

す び

可変次元の多空間上の確率分布に基づいた HMM を定義し ，観測系列に対してゆう度の局所的最大値をとるモデルパラメータを求める再推定アルゴ リズムを導出した．本手法は，離散シンボルと連続値が時間的に混在する観測系列のモデル化手法として，多くの応用(b) generated pitch

図 3 ピッチパターンの生成例「 平均倍率を下げた形跡がある」
Fig. 3 Generated pitch pattern for a sentence“heikiNbairitsuwo sageta keisekiga aru.”が考えられる．音声のピッチパターンはその例であり，提案した HMM において，有声区間を 1 次元空間（複数の 1 次元空間でもよい ）からの出力，無声区間を
0 次元空間からの出力と考えることにより，ピッチパ
ターンを直接モデル化することが可能となった．

は無声区間を含むピッチパターンを観測系列として直接扱うことができる．このとき，有声区間のピッチの値は G − 1 混合の連続分布によりモデル化され ることになる．
文献 [12] において，実音声から抽出されたピッチパ
ターンを用いた学習を行ったが，その際，再推定の繰
返しが，4. の定理のとおり，学習データに対するゆう度を単調に増加させることを確かめている．また，学習した音素 HMM から，パラ メータ生成アルゴ リズ
ム [13] を用いて生成し たピッチパターンを図 3 に示す（ 注 1 ）．図より，自然発声から抽出したピッチパター

提案手法により，音声のスペクトル（ パワーを 含む ）[15]，継続長 [16]，ピッチパターン [12] を同時にHMM の枠組みでモデル化した音声合成システムの構築が可能となるが [14]，このようなシステムの実現については稿を改めて報告したい．また，スペクトルとピッチの同時モデル化は，音声認識システムの性能改善にも有用であることが期待される．
謝辞

本研究の一部は文部省科学研究費補助金（ 基

盤研究 B（ 2 ）課題番号 10555125），（ 財）中部電力基礎技術研究所研究助成金によった．実験に協力頂いた
名工大博士後期課程吉村貴克氏に感謝します．
文

ンをよく近似したパターンを得ることができていることがわかる．

[1]

献

S. Schwartz, Y. Chow, O. Kimball, S. Roucos, M.
Krasner, and J. Makhoul, “Context-dependent mod-

実世界の様々な時系列現象は，必ずしも，離散シン

eling for acoustic-phonetic recognition of continu-

ボルのみ，あるいは次元が一定の連続値ベクトルのみ，

ous speech,” Proc. ICASSP85, pp.1205–1208, Marchという形で観測されるわけではない．したがって，本
手法は，ピッチのモデル化のみならず，離散シンボル

1985.
[2]

nition using dynamic features of speech spectrum,”あるいは次元の異なる連続値として観測される様々なIEEE Trans. Acoust., Speech & Signal Process.,
vol.34, no.1, pp.52–59, Feb. 1986.

時系列の確率モデルとして役立つことが期待され る．
このような分野として，例えば ，人間の行動予測，経[3]stachastic

observationsofpp.1235–1249, July 1985.
[4]

J.J. Odell, The use of context in large vocabulary
speech recognition, Ph.D. Dissertation, Cambridge

立脚した各手法を，理論的整合性をもって拡張，導入
では，MSD-HMM の学習の際に，MDL 基準による

multivariate

Markov chains,” AT&T Technical J., vol.64, no.6,

枠組みは ，便宜的な仮定や近似を一切含まないため，することができるという利点をもつ．実際に図 3 の例

B.-H. Juang, “Maximum-likelihood estimation for
mixture済予測などを挙げることができる．また，提案手法の従来の HMM において開発されてきた統計的枠組みに

S. Furui, “Speaker independent isolated word recog-

University, March 1995.
[5]

C.-H. Lee, C.-H. Lin, and B.-H. Juang, “A study
on speaker adaptation of the parameters of continuous density hidden Markov models,” IEEE Trans.

（ 注 1）：詳細な実験条件などは，[14] を参照のこと．

1586

Acoust., Speech & Signal Process., vol.39, no.4,

論文／多空間上の確率分布に基づいた HMM（ 証明）

pp.806–814, April 1991.
[6]

G.J. Freij and F. Fallside, “Lexical stress recognition using hidden Markov models,” Proc. ICASSP88,
pp.135–138, April 1988.

[7](1) 4. 2 より，Q 関数は以下の形で表される．
Q(λ , λ)U. Jensen, R.K. Moore, P. Dalsgaard, and B. Lindberg, “Modelling intonation contours at the phrase=

level using continuous density hidden Markov mod-

N

i=1

els,” Computer Speech and Language, vol.8, no.3,
pp.247–260, July 1994.
[8]+

K. Ross and M. Ostendorf, “A dynamical sysESCA/IEEE Workshop on Speech Synthesis, pp.131–+

134, Sept. 1994.

N
G





log wig −·L.A. Liporace, “Maximum likelihood estimation for
multivariate observations of Markov sources,” IEEE
Trans. Inf. Theory, vol.IT-28, no.5, pp.729–734, Sept.

P (O, qt = i, lt = g|λ )ng
1log(2π) + log |C ig |2
2

1
− (V (ot ) − µig )T C ig (V (ot ) − µig )
2

1982.
[11]

P (O, qt = i, qt+1 = j|λ ) log aij

i=1 g=1 t∈T (O,g)

D. Xu, C. Fancourt, and C. Wang, “Multi-channel
HMM,” Proc. ICASSP, pp.841–844, 1996.

[10]

N T −1i,j=1 t=1

tem model for generating F0 for synthesis,” Proc.

[9]

P (O, q1 = i|λ ) log πi

M. Nishimura and K. Toshioka, “HMM-based speech(A·1)

recognition using multi-dimensional multi-labeling,”
Proc. ICASSP87, pp.1163–1166, 1987.
[12]

宮崎 昇，徳田恵一，益子貴史，小林隆夫，“多空間上の確率分布に基づいた HMM によるピッチパタン生成の検討，” 信学技報，SP98-12, April 1998.

[13]

[14]

徳田恵一，益子貴史，小林隆夫，今井 聖，“動的特徴を用いた HMM からの音声パラ メータ生成アルゴ リズム，”
音響誌，vol.53, no.3, pp.192–200, March 1997.
吉村貴克 ，徳 田恵一 ，益子貴史 ，小林隆夫 ，北村 正 ，ただし，C ig = Σ −1
ig とする．Σ ig が式 (33) により計算されているとすれば ，定理の観測事象 ot に関する条件より，Σ ig 及び Σ −1
ig は正定行列となることに注意する．
ここで 0 <
=θ<
= 1 なる θ を用いて λ を二つの点の結合により λ = θλ(1) + (1 − θ)λ(2) と表す．すなわち“HMM に基づく音声合成におけるスペクトル・ピッチ・” 信学技報，SP99-59, Aug.
状態継続長の同時モデル化，
1999.
[15]

益子貴史，徳田恵一，小林隆夫，今井 聖，“動的特徴を用いた HMM に基づく音声合成，” 信学論（ D-II ），vol.J79D-II, no.12, pp.2184–2190, Dec. 1996.

[16]

吉村貴克 ，徳 田恵一 ，益子貴史 ，小林隆夫 ，北村 正 ，“HMM に 基づ く音声合成シ ステムのための状態継続長” 信学技報，SP98-64/DSP98-85, Sept.
モデ ルの構築，
1998.



(1)

(2)

(A·2)

(1)
(2)
aij = θaij + (1 − θ)aij

(A·3)

(1)
(2)
wig = θwig + (1 − θ)wig

(A·4)

(1)
(2)
C ig = θC ig + (1 − θ)C ig

(A·5)

(1)
(2)
µig = θµig + (1 − θ)µig(A·6)

πi = θπi+ (1 − θ)πi

これらを式 (A·1) に代入して θ に関する 2 階の偏微分
を行うと，

付

録

臨界点において Q 関数が唯一の大局的最大値をと
る証明

∂2Q
∂θ 2
=

N

i=1

証明は以下の三つの部分に分かれる．
（ 1 ） Q 関数のパラメータ空間におけるあらゆる方+（ 2 ） λ がパラメータ空間の境界または無限遠に近づいたときに Q(λ , λ) → −∞ となる．すなわち大局
的最大値は極大点である．
（ 3 ） 臨界点は一つである．

N


(1)

−(πi
(1)

(θπi

(2)

− πi ) 2(2)+ (1 − θ)πi )2

P (O, qt = i, qt+1 = j|λ )i,j=1

向への 2 階微分が，臨界点においては負である．すな
わち臨界点は極となっている．

P (O, q1 = i|λ )

(1)

·

(2)

−(aij − aij )2(1)(2)(θaij + (1 − θ)aij )2

+

N
G





P (O, qt = i, lt = g|λ )i=1 g=1 t∈T (O,g)

1587

電子情報通信学会論文誌 2000/7 Vol. J83–D–II No. 7



(1)

(2)

−(wig − wig )2

·

+

(1)
(2)
(θwig + (1 − θ)wig )2

(1)

(1)

(2)

· θC ig + (1 − θ)C ig

(1)

(1)

(2)

(1)

ng
log(2π)
2

ng

ng

s=1

s=1

1
1
2
log yigs −yigs ztigs
+
2
2

(2)

(µig − µig )+ 2(µig − µig )T (C ig − C ig )log wig −

·

(2)



P (O, qt = i, lt = g|λ )i=1 g=1 t∈T (O,g)(1)(2)−(xigk − xigk )2
+
(1)
(2)
2
(θxigk + (1 − θ)xigk )2
k=1







ng
1

− (µig − µig )T

G
N 



(A·10)

yigs は C ig の固有値である．また，ztigs = (V (ot )− µig )T eigs であり，eigs , s = 1, 2, . . . , ng は C ig の

(2)



(1)
(2)
· [V (ot ) − (θµig + (1 − θ)µig )](A·7)

固有ベクトルからなり，正規直交系をつくる．
ここで，λ のパラメータが無限遠若しくはパラメー

ただし ，xigk 及び xigk は，U ig C ig U −1
ig の対角成分
(1)

(2)

(1)

(2)

xigk に対して xigk = θxigk + (1 − θ)xigk を満たすものであり，U ig は C ig を対角化する直交行列である．
臨界点においては（ 1 ） πi → 0（ 2 ） aij → 0（ 4 ） wig → 0（ 5 ） yigs → 0

(1)

(2)

µig = θµig + (1 − θ)µig（ 6 ） yigs → ∞条件（ 1 ）から（ 5 ）のうちのどれかが成り立つ場合に(1)(2)= (θC ig + (1 − θ)C ig )





·

は，式 (A·10) のうち少なくとも一つの項は −∞ とな

るので Q(λ , λ) → −∞ は明らかである．yigs → ∞P (O, qt = i, lt = g|λ )t∈T (O,g)·

どれかが成立する．

2（ 3 ） ztigs
→∞




∂Q 

∂µig 

タ空間の境界に近づいたとすると，少なくとも以下の(1)(2)
V (ot ) − (θµig + (1 − θ)µig )

の場合は観測事象 ot に関する仮定から，ある t にお2いて ztigs
が必ず非零の正の値をとる．したがって
2log yigs − ztigs
yigs → −∞

=0

(A·8)

(A·11)

が成り立ち，無限遠若しくはパラメータ空間の境界においては，Q(λ , λ) は −∞ となる．

が成立するので，式 (A·7) において [ ] で囲まれた部(3) 証明 (1) より，もし 臨界点が複数あるならば ，分に関する項が 0 となる．式 (A·7) の前半部分は明ら

それらは離れている．ここで C ig = τ Tig τ ig とする．

かにすべて負となるので，臨界点において λ(1) ，λ(2)に関係なく，あらゆる方向について∂2Q <0∂θ 2 =(A·9)(2) Q(λ , λ) は以下の形でも表される．
Q(λ , λ)N T −1

P (O, qt = i, qt+1 = j|λ ) log aij

i,j=1 t=1

P (O, q1 = i|λ ) log πi

N T −1i,j=1 t=1

1588

P (O, q1 = i|λ ) log πi

i=1



+

i=1

+

N


+



=

Q(λ , λ)=が成立する．

Nτ ig は三角行列で，固有値はすべて正とする．τ ig を用いると，式 (A·1) は

G
N





P (O, qt = i, lt = g|λ )i=1 g=1 t∈T (O,g)

P (O, qt = i, qt+1 = j|λ ) log aij

·

log wig −nglog(2π) + log |τ ig |2

論文／多空間上の確率分布に基づいた HMM−

1||τ ig (V (ot ) − µig )||22(A·12)と書ける．ここで，{πi , aij , wig , µig , C ig } → {πi , aij ,wig , µig , τ ig } への変数変換は微分同相写像であり，臨界点を臨界点に写像する．式 (A·12) は πi ，aij ，wig ，µig ，τ ig について凸であり，したがって，大局的最大点は唯一の臨界点である．
（ 平成 11 年 7 月 12 日受付，12 月 7 日再受付）

徳田

恵一 （ 正員）

昭 59 名工大・工・電子卒．平 1 東工大
大学院博士課程了．同年東工大電気電子工学科助手．平 8 名工大知能情報システム学科助教授．工博．音声分析・合成・符号化・認識，デ ィジタル信号処理，マルチモーダ
ルインタフェースの研究に従事．日本音響学会，情報処理学会，人工知能学会，IEEE 各会員．

益子

貴史 （ 正員）

平 5 東工大・工・情工卒．平 7 同大大学
院博士前期課程了（ 知能科学専攻）．同年東工大精密工学研究所助手．現在東工大大学
院総合理工学研究科物理情報システム創造
専攻助手．音声分析・合成・認識，マルチ
モーダルインタフェースの研究に従事．日
本音響学会，IEEE ，ISCA 各会員．

宮崎昇

平 7 東工大・工・情工卒．平 7 同大大学
院博士前期課程了（ 知能科学専攻）．現在，
NTT コミュニケーション科学基礎研究所

勤務．在学中，音声合成の研究に従事．日
本音響学会会員．

小林隆夫 （ 正員）

昭 52 東工大・工・電気卒．昭 57 同大大学院博士課程了．同年東工大精密工学研究所助手．同助教授を経て現在東工大大学院
総合理工学研究科物理情報システム創造専
攻教授．工博．デ ィジタルフィルタ，音声分析・合成・符号化・認識，マルチモーダ
ルインタフェースの研究に従事．日本音響学会，IEEE ，ISCA
各会員．

1589