HMM による音声合成の基礎
徳田 恵一
名古屋工業大学
知能情報システム学科〒 466-8555 名古屋市昭和区御器所町

近年，隠れマルコフモデル (hidden Markov model: HMM) は音声認識の一般的な手法となってきた。音声合成においても，大量の音声データベースの整備と，計算機によるデータ処理能力の向上を背景に，コー
パスベースと呼ばれる音声合成方式，あるいは音声合成システム構築法が数多く提案されている．このようなシステムを構築する際に，HMM が果たす役割が大きくなっていることから，本文では、HMM を音声合成に利用する方法について，HMM 自身から音声を合成する手法とも関連付けながら，概説することを目的とする。

音声合成，テキスト音声合成，隠れマルコフモデル，HMM，コーパス，

FUNDAMENTALS OF SPEECH SYNTHESIS BASED ON HMM
Keiichi Tokuda
Department of Computer Science
Nagoya Institute of Technology
Gokiso-cho, Shouwa-ku, Nagoya, 466-8555 Japan

The increasing availability of large speech databases makes it possible to construct speech synthesis
systems, which are referred to as corpus-based approach, by applying unit selection and statistical learningalgorithms. In constructing such a system, the use of hidden Markov models (HMMs) has arisen largely. This
paper aims to describe such approaches in relation to an approach in which synthetic speech is generated from
HMMs themselves.

speech synthesis, Text-to-Speech Translation, hidden Markov model, HMM, corpus

1.

まえがき

近年，大量の音声データベースの整備と，計算機によるデータ処理能力の向上を背景に，隠れマルコフモデル(hidden Markov model: HMM) に代表される統計的手法
が，音声認識の一般的なアプローチとなってきた。HMMの枠組は，統計モデルという点では単純な考え方であり，目的とする．また，上記 (4) の HMM 自身から音声を合成しようとする方式についても，他の手法と関連づけながら述べる．
以下，2. において，HMM に関する基本的な事項についてまとめる．3. では，HMM の利用について，特に音声単位選択方式における利用法を中心に述べる．4. で，数学的に取り扱いやすいという利点をもつ．加えて非常HMM からの音声合成手法について述べ，5. で結論を述に柔軟であり，例えば，コンテキスト依存モデル [1]，動べる．

的特徴 [2]，混合ガウス分布 [3]，tying 手法/コンテキス
トクラスタリング手法 (例えば [4])，話者/環境適応化手

2.

隠れマルコフモデル (HMM)

法 (例えば [5], [6]) などの導入により，HMM に基づいた

2.1

HMM の定義

音声認識システムの性能を大きく改善してきた．
音声合成においても，音声認識と同様の背景により，HMM は，図 1 に示すように，出力ベクトル ot を出力する確率分布が bi (ot ) であるような信号源（ 状態）が，コーパスベース（ あるいは speaker-driven, trainable な

状態遷移確率 aij = P (qt = j|qt−1 = i) をもって接続されど ) と称される音声合成方式，あるいは音声合成システムたものとして定義される．但し，i, j は状態番号とする．

構築法の研究が盛んに行われるようになってきた．これ

音声関連の応用では，出力ベクトル ot は，MFCC [16],らの方式は，従来の規則に基づいた合成方式の多くが発LPC ケプストラムなど ，音声の短時間的なスペクトルを見的な手法に基づいているのに対し ，大量のデータを用表現するパラメータである．HMM は時間方向とスペクいた自動学習や音声単位選択に基づいているため，高品

トル方向の変動を統計的にモデル化しており，様々な要

質で自然性の高い音声を合成しやすい，というだけでな因で変動する音声のパラメータ系列の表現として適してく，システムの自動学習が可能，音声データ提供話者の個いると言える．出力確率分布としては，多次元ガウス分

人性，更には発話様式が合成音によく反映される，など

布の重み付き和で表される多次元ガウス混合分布が用いの特徴をもつ．このような音声合成システムを構築する

られることが多いが，ここでは，簡単のため，単一の多際に，音声認識で用いられてきた HMM が何らかの形で次元ガウス分布を仮定することにする．つまり，利用されることが多くなってきており，その利用形態は，(1) 音声データベースのトランスクリプションやセグ メ
ンテーションに用いるもの (例えば [7])．

bi (o) = N (o|µi , U i )


1
1
 −1
= 
(o − µi ) U i (o − µi )exp2(2π)N |U i |(2) HMM の尤度や，HMM におけるコンテキストクラス
タリングの結果を利用して，音声データベースの中か(1)

ら，音声単位の inventory を選ぶもの (例えば [8], [9]).

ただし ，· は，行列の転置を表す．この場合，ガウス分(3) ランタイムに，HMM の尤度や，HMM におけるコ

布の平均ベクトル µi と共分散行列 U i が，出力確率分布

ンテキストクラスタリングの結果を利用して，複数の instance から選ぶもの (例えば [10], [11])．

(4) HMM 自身から音声を合成しようとするもの (例えbi (o) を特徴付けるパラメータとなる．
HMM の状態数を N としたとき，HMM のパラメー
タ λ は，初期状態確率 π = {πi }Ni=1 ，状態遷移確率 A =ば [12]–[14]) ．

a 33

a 22

a 11
などに分類することができる．(1), (2), (3) はいずれも，
音声単位の接続に基づいた手法における HMM の利用で

π1あり，これらの手法では，PSOLA 法 [15] などの利用によ

a 12

1

2

a 23

3

り（波形レベルで）自然性の高い合成音声が得られる利点
b 1(o t)がある．一方，(4) では，合成音声が，いわゆる vocodedb 2(o t)b 3(o t)speech となる欠点があるものの，HMM のパラメータを適切に変換することにより，データベース中に存在しなO:o1 o2 o3 o4 o5

Q:

1

oT

い様々な音声を出力できる可能性がある．
このような背景から，本文では，HMM の定義および

1

1

1

2

2

3

3

関連するアルゴ リズムについて簡単にまとめた上で，音声合成における HMM の利用法について解説することを

図1

隠れマルコフモデル (HMM) の例

i

P (O|λ) の値（ O に関する λ のゆう度）が単調に増加す

a 44
a 34

b 4(o 7)

ることが保証されており，P (O|λ) の局所的最大点を求めることができる．一般に，ひとつの HMM は，音素など

4

4

3

3

2

2

できる．音素境界が付与されていない場合には，音素境1の比較的短い音声単位をモデル化する．音素の初期モデ1

界の与えられた少量の音声データを用いて，初期モデル

ルは，学習用の音声データに音素境界が与えられている
場合には，セグ メンタル k-means 法によって得ることが

π1

1

2

3

5

4

6

7

T=8

t

をつくり，その後，音素境界の付与されていない大量の音声データにより，連結学習 (embedded training) を行う．連結学習は，トランスクリプション（ 発声内容に対図2

HMM の状態遷移

応した音素の系列）に従って，音素 HMM を連結し，すべての学習データを使って，すべての音素 HMM を学習

N{aij }Ni,j=1 ，各状態 i での出力確率 B = {bi (·)}i=1 によする方法である．学習用音声データすべてに音素境界がり λ = (A, B, π) と与えられる．このとき，状態が，Q =付与されている場合にも，その境界がモデル学習の観点{q1 , q2 , . . . , qT } と遷移して，出力ベクトル系列 O = (o1 ,から最適なものとは限らないため，連結学習を行うのがo2 , . . . , oT ) が出力される確率は，遷移確率と各状態で普通である．

の出力確率を掛け合わせることにより，

P (O, Q|λ) =

T


2.3
aqt−1 qt bqt (ot )

(2)

t=1

で与えられる．但し，aq0 i = πi とおいた．従って，出力ベクトル系列 O = (o1 , o2 , . . . , oT ) が λ から出力される最適状態系列の探索

音声認識は，I 個の単語あるいは文章などに対応する

HMM を，λ1 , λ2 , . . . , λI として2 ，与えられた O に対して，
imax= arg max P (λi |O)i

確率は，すべての可能な状態遷移の組合せについて和を= arg max

とることにより，
P (O|λ) =P (O, Q|λ)i=

aqt−1 qt bqt (ot )

Q

(3)



all Q t=1と書くことができる．式 (2) は，図 2 において，左下端のノード から，右上端のノード へ到る 1 本のパス上の確率をすべて掛け合わせたものである．一方，式 (3) は，可能なすべてのパスに対応する確率を加え合わせたものと
なる．

2.2

(5)

を求める操作である．その際，P (O|λi ) の部分は，

P (O|λi ) =P (O, Q|λi )

all Q
T
 

P (O|λi )P (λi )P (O)HMM のモデルパラメータ λ の学習は，与えられた学習用のベクトル系列 O に対して，式 (3) で与えられる観測尤度 P (O|λ) を最大にする λ を求めることである1 ．つ
まり，

Q

(6)

で計算される．与えられたベクトル系列 O と λ に対して，P (O, Q|λ) を最大にする状態系列 Q とそのときのP (O, Q|λ) の値を効率的に求めるのが，Viterbi アルゴ リ
ズムである．

2.4

HMM の学習max P (O, Q|λi )コンテキスト 依存モデルとクラスタリング

各音素のスペクトルパターンは，その前後の音素が何であるかにより，大きく変形を受けることが知られている．そのため，ひとつの音素に対して，その先行・後続音
素（音素環境）に依存して複数のモデルを用意する．このようなモデルをコンテキスト依存モデルと呼ぶ．例えば，

λmax = arg max P (O|λ)(4)λ

このためのアルゴリズムは，EM アルゴリズムに基づいて導出することができ，Baum-Welch 再推定式と呼ばれる．

「あらゆる現実を，すべて自分の方へねじ 曲げたのだ。」の「現実」の部分が次のような音素の系列になるとする．

g e N j i ts u

何らかの初期モデルから始めて，再推定式により与えられる λ を新たな λ とする操作を繰り返すことにより，
1 実際には，複数の学習用データ {Ç(1) , Ç(2) , . . . , Ç(m) } により，一つの HMM の学習が行われることに注意する．

このとき，先行・後続音素を考慮したモデルの系列は以下のように表現することができる．
2 これらは音素モデルを連結して作られる．

u-g+e g-e+N e-N+j N-j+i j-i+ts i-ts+u ts-u+o
このようなモデルは，音素の 3 組（トライフォン ）に依存するため，トライフォンモデルと呼ばれる．各トライ
フォンモデルは、中心の 1 音素分の時間長だけをモデル化することに注意する．
通常，音素は数十種類あるため，組合せによりトライ
フォンモデルの総数は膨大なものになる．それにともな
い，各モデル当たりの学習データは極端に少なくなり，適なお，HMM の基礎に関しては [17]–[22] などを参照されたい．英語になるが [23] も基本的である．また，HMMに関連したアルゴ リズムの多くは，ツールキットとして利用することができ [24]，そのマニュアルもよい解説書となっている．

3.

音声合成における HMM の利用

3.1

ト ランスクリプションとセグメンテーション

切なモデルパラメータを推定することが難しくなる．更単位選択型の音声合成方式は，大量の音声データベーに，大量の学習用音声データを用意しても，すべてのトスから，合成したい文章に対応する音声単位を選択し ，ライフォンがデータ中に出現することは期待できず，学接続することにより，任意の文章を合成するものである．

習データに存在しないトライフォンに対応するモデルを従って，大量の音声データを音素などの音声単位にラベつくることができないという問題が起こってくる．

ル付けしておく必要がある．しかし ，これをすべて人手

このためコンテキストのクラスタリングが行われる．ク

で行うことは容易ではないため，HMM を用いた自動的

ラスタリングは，トップダウンに行う方法とボトムアッ

ラベリングが広く利用されている [7]．つまり，トランス

プに行う方法があるが，いずれにせよ，学習データに出クリプションに従って，HMM を連結し ，2.3 で述べた

現しなかったトライフォンをどのクラスタに割り当てる

Viterbi アルゴ リズムにより，音声の特徴ベクトル系列 O

かが一意に定まる必要がある．決定木に基づいたクラスと状態系列 Q との対応付けを行い，その結果として音素

タリング [4] は，音韻学的な知識に基づいて，このような境界を得る．HMM は，不特定多数の話者のデータによ要請を自然な形で満たすことができるため，広く用いらり学習しておいた不特定話者 HMM を用いるが，これをれている．決定木に基づいたクラスタリングでは，音韻初期モデルとして，連結学習を行うことにより，セグ メ

に関する質問によりクラスタを 2 分していき（ 図 3 ），一ンテーションの精度を高めることができる．

種の回帰木を構築する．木をルート ノード から辿ること

音声データの発声内容からトランスクリプションへのにより，すべてのコンテキストは，必ずいずれかのリー変換は，発音辞書や変換規則に基づいて行うことができ

フに属することになる．クラスタリングは，図 3 に示しるが，無声化やポーズの挿入など ，規則的に行うことがたように，モデル毎ではなく，モデルの状態位置毎に別々できない部分もある．このような発音の変動を考慮したのクラスタリングが行われることが多い．

音素ネットワーク（ 複数音素の並列接続やポーズの挿入を許す）に対して Viterbi アルゴ リズムを適用することにより，発音の変動を自動的に検出することができる．発
声内容が未知の場合にも，HMM に基づいた音素認識を

k - a+n行うことにより，トランスクリプションを得ることができる．通常，合成音声の品質向上をはかるため，自動ラt - a+n

ベリングの後，手修正が施されるが，システムの自動構
i - a+t

築を目指し ，手修正を行わない方式も多い．
音声単位の長さは，diphone, phone，可変長単位 [25]などが考えられるが，連続した音声データから音声単位を選択する場合には，音声単位は短いほど 可能な接続点の候補が増え，接続歪の小さい接続ができる可能性が高Y

Nまる．このような観点から，文献 [26] では，half-phone

Y

ンによれば ，音素内を更に細かく（ 状態に対応する長さを単位として用いている．HMM によるセグ メンテーショ
YNNで ）分割することができるため，これを接続の単位とす
YNることも可能である [11]．

3.2
図3

HMM のコンテキストクラスタリング

音声単位の選択とクラスタリング

音声単位のスペクトルに影響を与える変動要因は，主として音韻情報（ 音素の場合には，先行・当該・後続音素）であり，これは，音声認識においてトライフォンを

表 1 コンテキストの例

考えたことに対応する．音声単位の音響的な性質として，• { 先行，当該，後続 } 音素
• 当該音素のアクセント句内でのモーラ位置• { 先行，当該，後続 } の品詞，活用形，活用型• { 先行，当該，後続 } アクセント句のモーラ長，
アクセント型• 当該アクセント句の位置，前後のポーズの有無• { 先行，当該，後続 } 呼気段落のモーラ長• 当該呼気段落の位置• 文のモーラ長スペクトル 3だけでなく，ピッチ，継続長なども考慮する
場合には，音韻情報だけでなく，アクセントに関連した要因，当該音素の位置，品詞など ，様々な変動要因を考慮する必要がある．これらの要因をすべて合わせたものを、ここでは「コンテキスト 」と呼ぶことにする．例えば，[27] の日本語音声合成システムにおいては，音素のコ
ンテキストとして，表 1 に示すものを考慮している．なお，音声認識においては，当該音素をコンテキストと考えることはしないが（ 認識結果の音素名がわからなくなの列を選択する．方法 (ii) には，スペクトル距離などのるため ），音声合成においては，当該音素名をコンテキ

客観基準によりクラスタリングを行うことができる，決ストと考えても差障りはない．また，別モジュールで予

定木に基づいたクラスタリングを行うことにより unseen

測された韻律（ピッチや継続長など ）を，ここで言うコ

コンテキストに対する汎化作用が期待できる，各クラス

ンテキストと同様に扱うこともある ([28] など )．

タに適切な数の音声単位 (instance) をおくことによりラ

コーパスベースの単位選択型音声合成における問題は，ンタイムに必要なデータサイズを制御しやすい，クラス

このようなコンテキストが与えられたときに，対応する

タ中心からのずれを DP の際のコストに組み込むことが音声単位を音声データベースの中から選び出すことであできる，などの利点がある．

る．選択は，システムの inventory 構築時に行う場合と，方法 (ii) において，音声データベースのラベリングがランタイムに行う場合がある．いずれの場合も，音声認識

HMM によって行われるのであれば ，単位選択のためののと同様，unseen コンテキストの問題に対処できなけれクラスタリングも HMM に基づいて行うのは，システムばならない．このため，単位選択型音声合成においては，全体に一貫性をもたせる意味で自然なことと考えられる．

(a) コンテキストの適合性（ target cost, context matching score などと呼ばれる）(b) 音声単位の接続コ スト (discontinuity, continuity
cost, concatenation cost などと呼ばれる)

実際に，そのような観点からのシステムが提案されている ([9], [11] など )．
なお，コーパスベース音声合成の歴史と展望については，[33], [34] を参照されたい．

の二つのコスト関数を最小化するように音声単位を選び，4.

パラメータ生成に基づく HMM 音声合成

接続することが目標とされる ([29], [28] など )．これを実

4.1

HMM からのパラメータ生成

現するための方法は，(i) コンテキスト間の距離を定義し，それに基づいて合成時に使用する音声単位を選択するもの ([30], [28], [26]など )(ii) 予めコンテキ スト クラスタリングを行い，合成時には，対応するクラスタ中の音声単位から選ぶもの([9], [11], [31], [32], など )に大別される．方法 (i) は，基準 (a) のコンテキスト適合

音声パラメータ生成に基づいた HMM からの音声合成
は，与えられた λ に対して，出力確率が最大となる長さ

T の出力ベクトル系列を求めること，つまり，
O max = arg min P (O|λ, T )Oを基本とする．λ は，音素 HMM を連結することにより，つくられた文に対応する HMM である．ここでは，問題を簡単化するため，式 (6) と同様の近似を適用する．

O max

性と基準 (b) の接続コストを同時に評価しながら，DP 法により文章に対応する音声単位の列を選択するものである．方法 (i) には，コンテキスト間距離の設定にヒューリスティクスが含まれる，合成時に必要となる音声デー(7)=

arg max P (O|λ, T )arg max max P (O, Q|λ, T )

O
O

Q

(8)

更に，

P (O, Q|λ, T ) = P (O|Q, λ, T )P (Q|λ, T )(9)

タのサイズが大きくなる，という短所がある．一方，方法 (ii) では，要求されたコンテキストに対応するクラス
タ内の instance すべてを候補として，基準 (b) の接続コ
ストに基づいた DP 法により，文章に対応する音声単位
3 パワーはスペクトルに含まれるとする．

と書けることから，Q を P (Q|λ) だけに基づいて定めた
後，O を定めることにすれば ，式 (8) の最適化問題は次のように書くことができる．

Qmax

=

arg max P (Q|λ, T )
Q

(10)

=

O max

arg max P (O|Qmax , λ)O

(11)

式 (10) に関しては，4.2 で検討することとし ，ここでは，式 (11) の問題を解くことを考える．式 (2), (1) より，

P (O | Q, λ, T ) の対数は，log P (O | Q, λ) = logT

くの要素は 0 となる．式 (18) の条件の下で，P (O|Q, λ)を最大にする C は，

∂ log P (W C|Q, λ)
= 0,
∂C

(20)

とおくことによって得られる線形方程式

bqt (ot )W  U −1 W C = W  U −1 M  .

(21)

t=1

=

1
1
− (O − M ) U −1 (O − M ) − log |U |22
+ Constにより定められ る．W  U −1 W が T M × T M の行列(12)と書くことができる．ここで，O= [o1 , o2 , . . . , oT ]

であることから，式 (21) を解くためには O(T 3 M 3 ) の演算量を必要とするが 4 ，W  U −1 W の特別な性質を利用すれば ，コレ スキー分解あるいは QR 分解を用いて

(13)

M

=

[µq1 , µq2 , ..., µqT ]

(14)

U

= diag[U q1 , U q2 , ..., U qT ](15)であり，µqt と U qt はそれぞれ，状態 qt の平均ベクトルと共分散行列である．式 (16)，(17) の制約を考えないとき，P (O | Q, λ) は O = M のときに最大化されることは明らかである．これは，出力ベクトル系列が平均ベク
トルの系列によって与えられることを意味する．
この問題は，音声認識で広く用いられている動的特徴 [2]を考慮することにより解決される．つまり，出力ベクトル ot は，静的な特徴ベクトル ct (例えば メルケプ ストラム) と，動的な特徴ベクトル ∆ct (例えばデルタメルケ

O(T M 3 L2 ) の演算量で解くことができる5 ．ただし，L =
(1)

(1)

(2)

(2)

max{L− , L+ , L− , L+ } とする. 式 (21) は，[36], [37]のアルゴ リズムによって解くこともでき，それによれば，
時間方向に再帰的な形で計算を行うことができる [38]. な
お，式 (7) および 式 (8) を解くアルゴ リズムも提案されており，それらは [39] にまとめられている．
生成された出力ベクトル（ここではメルケプストラム）から計算されたスペクトルの例を図 4 に示す．実験条件については [36] を参照されたい．動的特徴を用いない場
合には，状態が継続する間，一定のスペクトル形状をとり，状態が遷移するときに不連続な変化を起こしている．
それに対して，動的特徴を考慮した方法では，滑らかに変化するスペクトル系列が得られている様子がわかる．

プ ストラム) および ∆2 ct (例えばデルタデルタメルケプ
ストラム) で構成され，ot = [ct , ∆ct , ∆2 ct ] で表されるとする．但し ，∆ct および ∆2 ct の値は，静的特徴ベク
トル ct から
(1)

i

L+

∆ct

=



w1 (τ )ct+τ

(16)

(1)

τ =−L−
(2)

L+
2

∆ ct

=



w2 (τ )∆ct+τ

(17)

a

(2)
τ =−L−

state 3









state 2state 1state 3







state 2state 1により計算されるものとする．ここで，w1 (τ )，w2 (τ ) は
動的特徴量を計算するための重み係数である．
式 (16), (17) の条件は，行列形式により，

O = WC(18)と線形変換の形で書くことができる．ただし ，

C = [c1 , c2 , . . . , cT ](19)

0 1 2 3 4 5
(kHz)

(a)

(b)

図 4 音素モデル sil, a, i, sil を接続することによりつくられた HMM からのパラメータ生成例．(a) 動的特徴なし，(b)動的特徴あり．

とする．ct が M 次元とすれば，C, O は，それぞれ，T M

4次元，3T M 次元である．W は，3T M × T M の行列で5あり，1 部の要素に係数 1, w1 (τ ), w2 (τ ) をもち，他の多0 1 2 3 4 5
(kHz)

(1)

Í q,i が対角行列のときには，O(T 3 M ) となる．
Í q,i 対角行列のときには，O(T M L2 ) となる．更に，L(1)− = −1,

L+ = 0, w (2) (i) ≡ 0 のときには，O(T M ) となる [35]．

4.2

尤度最大化基準による状態継続長の決定

ル化する音声合成システムを構築することができる [27]．

図 1 のような構造の HMM を考える．時刻 t = 1 ∼ T

音素 HMM は，表 1 に示すコンテキストを考慮したものの間に状態 i = 1 ∼ K を通過するとし ，状態 i が di 回であり，その出力ベクトルは，スペクトルとピッチを連結継続する確率を pi (di ) とすれば，式 (10) 中の P (Q|λ, T )

し ，更にそれらの動的特徴を連結したもので，出力ベク

は，トルのスペクトルに関する部分とピッチに関する部分にlog P (Q|λ, T ) =K対し，別々に，図 3 と同様のクラスタリングを適用していlog pi (di )

(22)

i=1

と書くことができる．ただし，

K
i=1 di = T である．図 1の構造をもつ HMM の場合，式 (2) より，pi (d) は，

pi (d) =1 − aii d
aii
aii

(23)

る．継続長分布に関しても同様である．従来，音声合成において，韻律情報を統計モデルで制御する場合には，数量化 I 類 [43]，回帰木 [44]，それらを拡張した CTR [45]などが用いられるが，その意味では，本方式の韻律制御
は回帰木を用いるものに分類される．

HMM からの音声合成手法は，コンテキストクラスタと指数分布でモデル化されることになるが，これは継続リングに基づいているという点で方法 (ii)，特に，HMM長を適切に制御するためには単純過ぎ るモデルである．

を用いてクラスタリングを行っているという点から，文そこで，pi (d) をガウス分布でモデル化することにする．

献 [9], [11] との関連が深い．主な相違点のひとつは，各このとき，式 (10) の Qmax を与える {di }K
i=1 はクラスタにある複数の音声単位から一つを選ぶのではな

di=mi + ρ · σi2

ρ

=

T−

K


mi

(24)
K


く，これらから計算された統計量によりそのクラスタが表現され，合成時にはこの統計量から静的・動的特徴ベ

σi2

(25)

クトルに関する尤度最大化基準より音声パラメータが生と簡単に定められる [40]．但し，mi と σi2 は，それぞれ，は，クラスタ中心に近い音声単位を優先して選択するこ

k=1

k=1

状態 i に関するガウス分布の平均と分散である．T と ρ
は式 (25) で関係づけられているため，ρ を与えることにより，T を定めることができる．式 (25) よりわかるとおり，発話速度は，ρ の値が小さいほど 速く，大きいほど遅くなる．平均的な発話速度で音声を合成したい場合には，ρ = 0 とすればよい．

4.3

ピッチパタンのモデル化

音声のピッチパタンは，有声区間では 1 次元の連続値，無声区間では無声であること表す離散シンボルとして観測されるため，通常の音声認識などで用いられる離散分
布 HMM や連続分布 HMM の枠組みを直接適用することはできない．これまでにも，ピッチパタンを HMM，あるいは統計モデルによりモデル化しようとする試みは行な成される点である．方法 (ii) の音声単位選択法においてとができるが，これは，HMM からの音声合成法において，静的特徴量に関する尤度を考慮していることに対応している．また，音声単位選択法において，接続コストを考慮することは，HMM からの音声合成法が，動的特徴量に関する尤度を考慮していることと対応している．このような議論から，HMM からの音声合成手法と，方法(ii) の単位接続型の音声合成法は，一方は各クラスタの統計量から，他方はクラスタ内のマルチテンプレートから音声単位が生成される点が異なっているものの，いずれも類似した原理によって音声を生成していることが理解される [46]．

5.

むすび

われているが，無声区間の処理に関して，何らかの便宜的

最近のコーパスベースの音声合成における HMM の役

な仮定や手法が用いられていた．一方，可変次元の多空間割について概説することを目的とし ，HMM について簡上における確率分布に基づいた HMM(MSD-HMM)[41]

単にまとめた後，音声合成における HMM の利用法につは，離散分布 HMM，混合連続分布 HMM を特別な場合

いて述べた．また，ピッチ，継続長，スペクトルを同時として含むものであり，更に，離散シンボルと連続値がに HMM でモデル化し，HMM 自身から音声を合成する

時間的に混在した観測系列をモデル化することができる

手法についても，他の手法と関連付けながらまとめた．

ため，これにより，無声区間を含んだピッチパタンを確

自動学習に基づいた音声合成システムの構築に関する率理論的な整合性をもって HMM によりモデル化するこ研究は，今後，益々盛んになっていくものと思われる．特とが可能となる [42]．

に，共通に利用可能な音声合成のための音声データベースの整備が進むことにより，音声認識同様，競争的な環

4.4単位接続型音声合成方式との関係

境が生まれ，研究が飛躍的に推進することが期待される．

4.1–4.3 で述べた HMM からの音声合成手法により，ス

謝辞 ご 討論頂く東京工業大学大学院総合理工学研究

ペクトル，ピッチ，継続長を同時に HMM の枠組でモデ科小林隆夫教授，益子貴史助手に感謝致します．実験にご 協力頂く東京工業大学博士課程田村正統氏，名古屋工業大学博士課程吉村貴克氏に感謝します．

文

献[1] S. Schwartz, Y-L. Chow, O. Kimball, S. Roucos, M. Krasner,and J. Makhoul, “Context-dependent modeling for acousticphonetic of continuous speech,” Proc. ICASSP, pp.1205–
1208, 1985.
[2] S. Furui, “Speaker independent isolated word recognition
using dynamic features of speech spectrum,” IEEE Trans.
Acoust., Speech, Signal Processing, vol.34, pp.52–59, 1986.
[3] B.-H. Juang, “Maximum-likelihood estimation for mixture multivariate stochastic observations of Markov chains,”
AT&T Technical Journal, vol.64, no.6, pp.1235–1249, 1985.
[4] J. J. Odell, “The use of context in large vocabulary speech
recognition,” PhD dissertation, Cambridge University, 1995.
[5] C. H. Lee, C. H. Lin, and B. H. Juang, “A Study on speaker
adaptation of the parameters of continuous density hidden
Markov models,” IEEE Trans. Acoust., Speech, Signal Processing, vol.39, no.4, pp.806-814, Apr. 1992.
[6] M. J .F. Gales, and P. C. Woodland, “Mean and varianceadaptation within the MLLR framework,” Computer Speechand Language, vol.10, No.4, pp.249–264, Apr. 1996.
[7] A. Ljolje, J. Hirschberg and J. P. H. van Santen, “Automatic
speech segmentation for concatenative inventory selection,”in Progress in Speech Synthesis, ed. J. P. H. van Santen, R.
W. Sproat, J. P. Olive and J. Hirschberg, Springer-Verlag,
New York, 1997.
[8] R. E. Donovan and P. C. Woodland, “Automatic speechsynthesiser parameter estimation using HMMs,” Proc.
ICASSP, pp.640–643, 1995.
[9] X. Huang, A. Acero, H. Hon, Y. Ju, J. Liu, S. Meredith and
M. Plumpe, “Recent improvements on Microsoft’s trainabletext-to-speech system -Whistler,” Proc. ICASSP, 1997.
[10] H. Hon, A. Acero, X. Huang, J. Liu and M. Plumpe, “Automatic generation of synthesis units for trainable text-tospeech synthesis,” Proc. ICASSP, 1998.
[11] R. E. Donovan and E. M. Eide, “The IBM Trainable Speech
Synthesis System,” Proc. ICSLP, vol.5, pp.1703–1706, 1998.
[12] A. Falaschi, M. Giustiniani and M. Verola, “A hidden
Markov model approach to speech synthesis,” Proc. EUROSPEECH, pp.187–190, 1989.
[13] M. Giustiniani and P. Pierucci, “Phonetic ergodic HMM forspeech synthesis,” Proc. EUROSPEECH, pp.349–352, 1991.
[14] 益子貴史, 徳田恵一, 小林隆夫, 今井 聖, “動的特徴を用いた HMMに基づく音声合成,” 信学論 (D), vol.J79-D-II, no.12, pp.2184–
2190, Dec. 1996.
[15] E. Moulines, and F. Charpentier, “Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones,” Speech Communication, no.9, pp.453–467,
1985.
[16] S. B. Davis and P. Mermelstein, “Comparison of parametricrepresentations for monosyllabic word recognition in continuously spoken sentences,” IEEE trans. Acoust., Speech,
Signal Processing, vol.ASSP-33, pp.357–366, Aug. 1986.
[17] 中川 聖一, 確率モデルによる音声認識, 電子情報通信学会, 1988.
[18] 今井 聖, 音声認識, 共立出版, 1995.
[19] L. Rabinar and B.-J. Juang (古井貞煕 監訳), 音声認識の基礎(上)・(下), NTT アド バンストテクノロジ , 1995.
[20] 北 研二, 中村 哲, 永田昌明, 音声言語処理, 森北出版, 1996.
[21] 鹿野清宏, 中村 哲, 伊勢史郎, 音声・音情報のデ ィジタル信号処理, 昭晃堂, 1997.
[22] 古井貞煕, 音声情報処理, 森北出版, 1998.

[23] X. D. Huang, Y. Ariki and M. A. Jack, Hidden Markov
Models for Speech Recognition, Edinburgh University Press,
Edinburgh, 1990.
[24] http://htk.eng.cam.ac.uk/.
[25] Y. Sagisaka, N. Kaiki, N. Iwahashi and K. Mimura, “ATR
ν-talk speech synthesis system,” Proc. ICSLP, pp.483–486,
1992.
[26] B. Beutnagel, A. Conkie, J. Schroeter, Y. Stylianou and A.
Syrdal, “The AT&T Next-Gen TTS system,” Proc. Joint
ASA, EAA and DAEA Meeting, pp.15–19, Mar. 1999.
[27] 吉村貴克, 徳田恵一, 益子貴史, 小林隆夫, 北村正, “HMM に基づく音声合成におけるスペクトル・ピッチ・継続長の同時モデル
化,” 信学論 (D-II), vol.J83-D-II, no.11, Nov. 2000.
[28] A. W. Black and N. Campbell, “Optimising selection ofunits from speech databases for concatenative synthesis,”
Proc. EUROSPEECH, pp.581-584, Sep 1995.
[29] 岩橋直人, 海木延佳, 匂坂芳典, “音響的距離尺度に基づく複合音
声単位選択,” 信学技報, SP91-5, 1991.
[30] A. G. Hauptmann, “SPEAKEZ: A first experiment in concatenation synthesis from a large corpus,” Proc. EUROSPEECH, pp.1701–1704, 1993.
[31] A. W. Black P. Taylor, “Automatically clustering similar
units for unit selection in speech synthesis,” Proc. EUROSPEECH, pp.601–604, Sep 1997.
[32] M. W. Macon, A. E. Cronk and J. Wouters, ”Generalization and discrimination in tree-structured unit selection,”
Proc. ESCA/COCOSDA Workshop on Speech Synthesis,
Nov. 1998.
[33] 匂坂芳典, “コーパスベース音声合成,” Journal of Signal Processing, vol.2, no.6, Nov. 1998.
[34] 広瀬啓吉, “21 世紀に向けての音声合成の技術展望,” IPSJ Magazine, vol.41, no.3, Mar. 2000.
[35] A. Acero, “Formant analysis and synthesis using hidden
Markov models,” Proc. EUROSPEECH, Budapest, Hungary, pp.1047–1050, 1999.
[36] K. Tokuda, T. Kobayashi and S. Imai, “Speech parameter generation from HMM using dynamic features”, Proc.
ICASSP-95, pp.660–663, 1995.
[37] K. Tokuda, T. Masuko, T. Yamada, T. Kobayashi and
Satoshi Imai : “An Algorithm for Speech Parameter Generation from Continuous Mixture HMMs with Dynamic Features”, Proc. EUROSPEECH-95, pp.757–760, 1995.
[38] K. Koishida, K. Tokuda, T. Masuko and T. Kobayashi,“Vector quantization of speech spectral parameters using
statistics of dynamic features”, Proc. ICSP, vol.1, pp.247–
252, Aug. 1997.
[39] K. Tokuda, Takayoshi Yoshimura, T. Masuko, T. Kobayashi,
T. Kitamura, “Speech parameter generation algorithms for
HMM-based speech synthesis,” Proc. ICASSP, Turkey, June
2000.
[40] 徳田恵一, 益子貴史, 小林隆夫, 今井 聖, “動的特徴を用いた HMM
からの音声パラメータ生成アルゴリズム,” 日本音響学会誌, vol.53,
no.3, pp.192–200, Mar. 1997.
[41] 宮崎 昇, 徳田恵一, 益子貴史, 小林隆夫, “多空間上の確率分布に基づいた HMM とピッチパタンモデリングへの応用,” 信学技報,
SP98-11, pp.19–26, Apr. 1998.
[42] 宮崎昇, 徳田恵一, 益子貴史, 小林隆夫, “多空間上の確率分布を用いた HMM とピッチパタン生成の検討,” 信学技報, SP98-12,
pp.27–34, Apr. 1998.
[43] 阿部匡伸, 佐藤大和, “区分化音節モデルに基づく基本周波数の2 階層構造,” 日本音響学会誌, vol.49, no.10, pp.682–690, Oct.
1993.
[44] M. Riley, “Tree-Based Modelling of Segmental Duration,”
Talking Machines: Theories, Models, and Designs, Elsevier
Science Publishers, pp.265–273, 1992.
[45] N. Iwahashi and Y. Sagisaka, “Statistical Modelling of
Speech Segment Duration by Constrained Tree Regression,”
IEICE trans, vol.E83-D, no.7, pp.1550–1559, July 2000.
[46] 徳田恵一, “隠れマルコフモデルの音声合成への応用,” 信学技報,
SP99-61, pp.48–54, Aug. 1999.