隠れマルコフモデルの音声合成への応用
徳田 恵一
名古屋工業大学
知能情報システム学科〒 466-8555 名古屋市昭和区御器所町

大量の音声データベースの整備と，計算機によるデータ処理能力の向上を背景に，data-driven, corpusbased, speaker-driven あるいは trainable などと形容される音声合成方式，あるいは音声合成システム構築法の研究が盛んに行われている．このようなシステムを構築する際に，隠れマルコフモデル (hidden Markov model: HMM)を用いるものが多くなっているが，本文では，これらの中でも特に HMM 自身から音声を合成しようとする方式
について，他の手法とも関連づけながらまとめることを目的とする．HMM に基づいた音声合成において用いられる，動的特徴をもった HMM からの音声パラメータ生成法と，メルケプストラム分析合成法について述べた上で，合成システムの構成と，韻律情報（ピッチ，継続長）をスペクトル情報と同時に HMM の枠組でモデル化するアプ
ローチについて述べる．また，HMM からの音声合成手法の応用例を紹介する．
音声合成，隠れマルコフモデル，動的特徴，パラメータ生成

SPEECH SYNTEHSIS BASED ON HIDDEN MARKOV MODELS
Keiichi Tokuda
Department of Computer Science
Nagoya Institute of Technology
Gokiso-cho, Shouwa-ku, Nagoya, 466-8555 Japan

The increasing availability of large speech databases makes it possible to construct speech synthesis
systems, which are referred to as data-driven, corpus-based, speaker-driven, or trainable approach, by applying
statistical learning algorithms. This paper describes one of these approaches: HMM-based speech synthesis inwhich synthetic speech is generated from HMMs themselves. Algorithms for speech parameter generation from
HMMs, and a mel-cepstrum based vocoding technique are reviewed, and an approach to simultaneous modelingof spectrum, pitch and state duration is also described. The relation between the HMM-based approach andother concatenative speech synthesis approaches is also discussed.

speech synthesis, hidden Markov model, dynamic feature, parameter generation

1.

まえがき

いる．例えば，音声認識の分野では，近年 HMM の枠組の中で話者適応の問題を取り扱う手法が数多く提案され大量の音声データベースの整備と，計算機によるデーていることから，音声認識における話者適応と同様の手タ処理能力の向上を背景に，data-driven, corpus-based,法を用いることにより，様々な話者の声質を模倣したり，

speaker-driven あるいは trainable などと形容される音声

更には，異なる「話者」を異なる「発話スタイル」に対合成方式，あるいは音声合成システム構築法の研究が盛応づけることにより，多様な音声の合成が容易になるこんに行われている．これらの方式は，従来の規則に基づとも期待される．

いた (rule-based) 合成方式と異なり，大量のデータを用

このような背景から，本文では，特に上記 (3) の HMM

いた自動学習や音声素片選択に基づいているため，高品

自身から音声を合成しようとする方式について，他の手質で自然性の高い音声を合成しやすい，というだけでな法とも関連づけながら述べることを目的とする．以下，2.

く，システムの自動学習が可能，音声データ提供話者のにおいて，HMM に基づいた音声合成において用いられ個人性が合成音によく反映される，などの特徴をもつ．

る，動的特徴をもった HMM からの音声パラメータ生成

このような音声合成システムを構築する際に，何らかの法についてまとめ，3.で，メルケプストラム分析合成法

形で隠れマルコフモデル (hidden Markov model: HMM)について述べた上で，4. において，ピッチ情報をスペクを利用することが多くなっている．HMM は，音声認識のトル情報と同時に HMM の枠組でモデル化するアプロー

分野において，音声スペクトル系列の統計的モデル化手チについて述べる．また，5.では，合成システムの構成法として，広く成功を収めている．HMM の枠組は，統計と，他の多くの音声合成手法においても用いられており，モデルという点では単純な考え方であり，数学的に取り扱本手法でも本質的な役割を果たしているコンテキストク

いやすいという利点をもつが，加えて非常に柔軟であり，

ラスタリングに関連した考察を加える．6.で，HMM か

例えば，コンテキスト依存モデル [1]，動的特徴 [2]，混合

らの音声合成手法の応用例を紹介し，7.で結論を述べる．

ガウス分布 [3]，tying 手法/コンテキストクラスタリング
手法 (例えば [4])，話者/環境適応化手法 (例えば [5], [6])などの導入により，HMM に基づいた音声認識システムの性能を大きく改善してきた．

2.

尤度最大化基準による HMM からの音声パラメータ生成

HMM か ら 音 声 パ ラ メ ー タ を 生 成 す る こ と に よ り，

音声合成における HMM の利用は，(1) 音声データベー

HMM を音声合成や音声スペクトルパラメータの量子化

スの transcription やセグメンテーションに用いるもの (例に用いる手法として [14], [10], [11], [15], [16] などをあげ

えば [7])，から，(2) HMM の尤度や，HMM におけるコ

ることができる．これらのうち，文献 [14] は，乱数発生

ンテキストクラスタリングの結果を利用して，音声デー器を利用する手法 (2 次元単一分布 HMM の各分布の平均

タベースの中から，音声素片の inventory を選ぶもの (例と分散に従うガウス雑音系列を状態継続長分だけ発生さ

えば [8], [9])，(3) HMM 自身から音声を合成しようとす

せ、この系列を、デルタパラメータの標本平均が正か負るもの (例えば [10]–[12])，など，その形態と HMM へのかによって、昇順あるいは降順に並べる) であるが，それ依存の度合は様々である．

以外は，与えられた状態系列に対して，出力確率が最大(1), (2) はいずれも，音声素片の接続に基づいた手法にとなる音声パラメータ系列を生成すること，あるいはそおける HMM の利用であり，これらの手法では，PSOLA

れと同等なことを基本としている．このとき，音声パラ

法 [13] などの利用により（波形レベルで）自然性の高いメータは，ひとつの状態が継続している間は一定の値をと合成音声が得られる利点があるが，このことは，同時にり，状態の遷移のたびに不連続に変化してしまう [11] た

データベースに存在しない音は出力できないという限界

め，いくつかの対策がとられている．文献 [15] では，離散にも継っている．テキスト音声合成がヒューマンインタ

HMM を用いて，与えられた状態系列から出力シンボル

フェースのひとつとして広く普及するためには，合成音

系列 (ここでは音声パラメータ系列) を生成することを考

声の高品質化のみならず，多様な話者性あるいは発話ス

えているが，出力シンボル i に続き，j が出現する確率を，

タイルをもった音声を自在に合成できることが必須と思

板倉-斉藤距離により近似し，モデルに追加することによ

われるが，どんな大量の音声データを用いたとしても，り，出力シンボル系列が不連続に変化することを抑えてすべての音声現象を網羅することはできないため，いずいる．文献 [10] では，自己回帰 HMM を用いており，モデれ音声素片を適切に変形する何らかのメカニズムが必要

ルパラメータ (この場合は音声波形の自己相関) をヒューになると予想される．一方，(3) では，合成音声が，いわリスティックな状態滞在確率で重み付け和することによゆる vocoded speech となる欠点があるものの，HMM のり，出力ベクトル系列を平滑化している．文献 [16] では，

パラメータを適切に変換することにより，データベース

2 次元単一分布 HMM を用いており，平均ベクトルを，隣中に存在しない様々な音声を出力できる可能性をもって接する状態継続長区間の中心間で線形に補間している．

しかし，上記いずれも，補間や平滑化に関して便宜的によって定められる．この方程式は，文献 [17] の高速アな仮定や処理を導入したものとなっている．本節では，動ルゴリズムにより容易に解くことができ，特に時間方向的特徴 [2] をパラメータとして含む連続分布 HMM から尤

に再帰的な形式のアルゴリズム [18] として記述すること

度最大の意味で最適な音声パラメータ系列を生成する手ができる．得られる出力ベクトル系列は，静的および動法 [17] について述べ，動的特徴が重要な役割を果たして的特徴ベクトルの平均ベクトルだけでなく，それらの共いることを示す．

分散行列によって定められることになる．

2.1

動的特徴の導入

連続出力分布型 HMM λ が与えられたとき，λ から
長さ T の出力ベクトル系列 O = {o1 , o2 , . . . , oT } を生成することを考える．出力ベクトル ot は，静的な特徴
ベクトル ct (例えばメルケプストラム) と，動的な特徴
ベクトル ∆ct (例えばデルタメルケプストラム) および∆2 ct (例えばデルタデルタメルケプストラム) で構成さ
れ，ot = [ct , ∆ct , ∆2 ct ] で表されるとする．但し，∆ct
および ∆2 ct の値は，静的特徴ベクトル ct から

∆ct

=

L1


=

L2


て 最 大 化 す る こ と を 考 え る が ，こ こ で は ，こ れ を

maxQ P (O, Q | λ, T ) と近似し，最大化することにする．
この問題は，可能な全ての Q について，P (O, Q | λ, T )を最大化する C を求めれば解くことができる．一般には可能な Q の組合せは非常に多く，全ての Q について

P (O, Q | λ, T ) を求めることは現実的ではないが，異なる状態系列に対する解を再帰的に計算することのできるア
ルゴリズムにより，準最適なパラメータ系列を効率的に

w1 (τ )ct+τ

(1)w2 (τ )∆ct+τ

(2)

τ =−L1∆2 ct

次に，状態系列 Q が未知の場合，つまり P (O | λ, T ) =
Q P (O, Q | λ, T ) を式 (1)，(2) の制約下で O に関し求めることができる [17]．
このように，状態系列 Q を未知とする場合に，適切な状態系列を得るためには，スキップのない left-to-right モ

τ =−L2デルを考え，状態継続長分布を与える必要がある．状態
継続長に関する確率は，P (O, Q | λ, T ) = P (O | Q, λ, T )·により計算されるものとする．ここで，w1 (τ )，w2 (τ ) はP (Q | λ, T ) と書いたときの P (Q | λ, T ) であり，動的特徴量を計算するための重み係数である．
このとき，ある与えられた状態系列 Q = {q1 , q2 , . . . ,log P (Q | λ, T ) =Klog pqk (dqk )

(7)

k=1

qT } に沿って，パラメータ系列 O が λ から観測される確率（Q, λ の O に対する尤度）P (O | Q, λ, T ) を最大にすで与えられることになる．但し，T の間に通過する状態のる音声パラメータベクトル系列 C = {c1 , c2 , . . . , cT } お

数を K ，状態 qk が dqk 回継続する確率を pqk (dqk ) とする．

よびそのときの状態系列 Q を求めることを考える [17]．
ここで，λ の各状態が，単一ガウス分布をもつとすると，

P (O | Q, λ, T ) の対数は，log P (O | Q, λ)1
1= − (O − M ) U −1 (O − M ) − log |U |22
+ Const更に，P (Q | λ, T ) のみを最大化するように Q を定めることにすると，P (O, Q | λ, T ) = P (O | Q, λ, T )·P (Q | λ, T )の C に関する最大化は，状態系列が既知の場合と同じ問題となり，式 (6) を一度解くだけで，解を得ることができる．状態出力分布が混合ガウス分布の場合には，各混合
要素を単一ガウス分布をもった状態と考えて展開し，混(3)

合要素のみが未知であるとして状態系列の探索を行えばよい．
式 (1)，(2) の制約がない場合に，P (O | λ, T ) を局所最と書くことができる．ここで，M=[µq1 , µq2 , ..., µqT ]

(4)

U

=

diag[U q1 , U q2 , ..., U qT ](5)であり，µqt と U qt はそれぞれ，状態 qt の平均ベクトル大にする O は，EM アルゴリズムにより求めることができる．更に，式 (1)，(2) の制約下で，P (O | λ, T ) を C に関して局所最大化するアルゴリズムを導出することも可能である [19]．この場合，状態出力分布は，混合分布でと共分散行列である．式 (1)，(2) の制約を考えないとき，あってもよいし，状態系列だけが既知で混合要素が未知

P (O | Q, λ) は O = M のときに最大化されることは明らであってもよい．また，状態系列が既知で混合要素が未かである．これは，出力ベクトル系列が平均ベクトルの知の場合に，勾配法により P (O | λ, T ) を局所最大化する

系列によって与えられることを意味する．一方，式 (1)，アルゴリズムも提案されている [20]．

(2) の制約下では，log P (O | Q, λ) を最大にする C は線形

2.2

先で述べたように，P (Q | λ, T ) を最大化するように，

方程式∂ log P (O | Q, λ)=0∂C

尤度最大化基準による状態継続長の決定

状態継続長を定めることを考える．pqk (dqk ) が離散的な分(6)布のときには，Viterbi アルゴリズムによって，このよう/sil//a//i/にしかなくなる．しかし，最大化される尤度は，ct (2),/sil/∆ct (2), ∆2 ct (2) すべてに関するものであり，これら３種の尤度を妥協させる形で ct (2) の軌跡が定まっている様子
が図よりわかる．例えば，それぞれの音素モデルの始め

0と終りの状態では，動的および静的特徴の分散が比較的

c(2)

2.2

大きいため，パラメータ系列はひとつの状態が継続する

∆c(2)

-1.2
0.4

間にも適切な軌跡を描いて変化している．また，それぞ0

れの音素モデルの中心の状態では，動的および静的特徴∆ 2c(2)-0.5
0.2の分散は小さく，動的特徴の平均ベクトルはほとんど 00-0.2であるため，生成されたパラメータ系列は静的特徴の平
1

20

40
Frame number

6080

均ベクトルに近い一定値をとる傾向となっている．以上の例により，HMM から音声パラメータを生成する際に，

図1

音声パラメータの生成例

動的特徴が重要な働きをすることが示されている．

な Q を定めることができる．また，pqk (dqk ) がガウス分
布でモデル化されているときには，Q を与える {dqk }K
k=1

3.

メルケプストラム分析合成系

HMM の音声合成や音声符号化への応用においては
lsp 係数や自己回帰係数などを音声パラメータとするも

は

dqk
ρ

= mqk + ρ · σq2k
 K

K


mqk
σq2k
=
T−
k=1

のが多いが，音声認識の分野では，MFCC [23], LPC-

(8)
(9)

k=1

と簡単に定められる [17]．但し，mqk と σq2k は，それぞれ，
状態 qk に関するガウス分布の平均と分散である．T と ρは式 (9) で関係づけられているため，ρ を与えることにより，T を定めることができる．式 (9) よりわかるとおり，
発話速度は，ρ の値が小さいほど速く，大きいほど遅くなる．平均的な発話速度で音声を合成したい場合には，

ρ = 0 とすればよい．
なお，状態継続長分布を HMM に含めて学習を行った
場合 [21]，計算時間がかなり大きくなるが，状態継続長分布を含まない HMM の連結学習の最後の繰り返しで得られる状態滞在確率を用いて状態継続長分布を計算する
ことにより [22]，計算時間を短縮することも可能である．

2.3

音声パラメータの生成例

図 1に音韻バランス文 (503 文) を用いてトレーニングした混合数 1 の音素モデル sil, a, i, sil を結合することによって得た HMM から生成された音声パラメータ系列（メルケプストラムの第 2 次係数 ct (2) のみ）を示す [17]．
合わせて，∆ct (2), ∆2 ct (2) についても示す．但し，パラメータ生成の際には P (Q | λ, T ) だけで状態系列 Q を定め，状態系列の探索は行なっていない．図中の破線は各状態の平均を，網かけされた部分が標準偏差（対角分散行列を用いており，その分散の平方根）を表している．
式 (1)，(2) の制約を用いない場合には，P (O | Q, λ, T )を最大にするパラメータ系列は平均ベクトルの系列（図中の破線）となる．それに対して，式 (1)，(2) の制約を課した場合には，∆ct (2), ∆2 ct (2) は，それぞれ，ct (2),∆ct (2) の軌跡の傾きを表すものとなり，自由度は ct (2)derived mel-cepstrum (LPC-MCEP) [24], PLP-derived
cepstrum (PLP-CEP) [25] など、いずれも非直線周波数軸上で定義されたケプストラムに対応するパラメータが有効であることが知られている．従って，音声合成のための HMM においても，このような音声パラメータを用いることにより，精度良く音声スペクトル系列をモデル化できることが期待される．しかし，MFCC, PLP-CEP,

LPC-MCEP などでは，分析法と整合性をもった音声合成法が知られていないことが問題となる．それに対して，文献 [26] のメルケプストラム分析法によれば，MLSA フィ
ルタ [27], [28] を用いることにより，得られたメルケプス
トラム係数から，直接音声を合成することができる1 ．合成音声は，いわゆる vocoded speech となるが，近年，励振源の改良などにより，高い音声品質をもつボコーダが数多く提案されていることから [29]–[31]，これらの励振源生成手法を導入することにより，この問題は克服できるものと期待される．また，次節で述べる MSD-HMM[32]によれば，離散値，連続値が混在する音源パラメータの系
列を HMM の枠組の中でモデル化することも可能である．

4.

ピッチパタンのモデル化

音声の話者性，発話スタイル，感情表現などは，韻律，
つまり，声の高さ (ピッチ)，大きさ (パワー)，音素継続
長，ポーズなどに大きく影響される．しかし，音声のピッ
チパタンは，有声区間では 1 次元の連続値，無声区間では無声であること表す離散シンボルとして観測されるため，
通常の音声認識などで用いられる離散分布 HMM や連続
分布 HMM の枠組みを直接適用することはできない．これまでにも，ピッチパタンを HMM，あるいは統計モデ
1 メルケプストラム分析合成のソースコードは，学術研究用として
http://kt-lab.ics.nitech.ac.jp/~tokuda/SPTK/にて公開されている．

また，可能な全てのコンテキストの組合せを網羅する学
Context Dependent
Duration Models

習データを用意することは実際上不可能であり，学習できなかったコンテキストの組合せが，音声合成時に要求

Context Dependent
HMMs

TEXT

Synthesis

Context-basedLabel Sequence

State Duration
Densitiesを用いたコンテキストクラスタリング [4] を適用する．それぞれのコンテキストは，スペクトル，ピッチ，状態継続長に対して異なる影響を与えると考えられるため，ス

Sentence
HMM
State Duration

されることになる．この問題を解決するために，決定木

d1

ペクトル，ピッチ，状態継続長，それぞれ別々のクラス

d2

Pitch

p1 p2 p3 p4 p5 p 6

pT

Mel-Cepstrumc1 c2 c3 c 4 c 5 c 6

cT

MLSA Filter
SYNTHETIC SPEECH

タリングを行う．文献 [4] のコンテキストクラスタリング
手法は，文献 [36] において MSD-HMM に対し拡張されているため，ピッチのコンテキストクラスタリングもスペクトルと同様に行うことができる．
なお，音声合成において，韻律情報を統計モデルで制御する場合には，数量化 I 類 [38]，回帰木 [39]，それらを

図2

HMM に基づいた音声合成システムの構成

ルによりモデル化しようとする試みは行なわれているが，そこでは，(1) 無声区間のピッチとして分散の大きな乱数を与える [33]，(2) 無声区間のピッチの値を 0 として，混合分布によりモデル化する [34]，(3) 無声区間のピッチの値は存在するが観測できなかったとし (latent variable と考える)，EM アルゴリズムを適用する [35]，などの便宜的な方法が用いられている．一方，可変次元の多空間上における確率分布に基づいた HMM(MSD-HMM)[32] は，
離散分布 HMM，混合連続分布 HMM を特別な場合として含むものであり，更に，離散シンボルと連続値が時間的に混在した観測系列をモデル化することができるため，
これにより，無声区間を含んだピッチパタンを直接モデル化することが可能となる [36]．

拡張した MSR[40] などが用いられるが，本方式は，その意味では，回帰木を用いるものに分類される．

5.3

音声素片選択方式との関係

音声素片選択型の音声合成方式では，(a) コンテキストの適合性（target cost, context matching score などと呼ばれる），(b) 素片の接続コスト (discontinuity, continuity

cost, concatenation cost などと呼ばれる)，の二つのコスト関数を最小化するように素片を選び，接続することが目標とされる ([41], [42] など)．これを実現するための方法は，(i) コンテキスト間の距離を定義し，それに基づいて合成時に使用する音声素片を選択するもの ([42], [43]など)，(ii) 予めコンテキストクラスタリングを行い，合成時には，対応するクラスタ中の音声素片から選ぶもの([8], [9], [44] など)，に大別される．方法 (i) の利点は，基5.

HMM に基づいた音声合成システム

準 (a) のコンテキスト適合性と基準 (b) の接続コストを同

5.1

音声合成システムの構成時に評価しながら，素片の選択を行うことができる点に前節までで述べた要素技術を統合することにより構築される合成システム [37] を図 2に示す．

あるが，コンテキスト間距離の設定がヒューリスティックで難しい，合成時に必要となる音声データのサイズが大きスペクトル，ピッチモデルは連結学習により学習されくなる，という短所がある．一方，方法 (ii) では，スペクる．連結学習はラベル境界の情報を必要としないため，シトル距離などの客観基準によりクラスタリングを行うこ

ステムの自動学習に適している．但し，スペクトルモデとができる，各クラスタに適切な数の音声素片 (instance)

ル，ピッチモデルを別々に連結学習した場合，両者のモをおくことにより合成時に必要なデータサイズを制御しデル間で境界のずれが生じるため，スペクトル，ピッチ，

やすい，などの利点がある．

およびそれぞれの動的特徴量を結合したものを特徴ベク
トルとして HMM を学習する．

5.2

コンテキストクラスタリング

前節までで述べた HMM からの音声合成手法は，方法(ii)，特に，HMM を用いてクラスタリングを行っているという点で，文献 [8], [9] との関連が深い．主な相違点のスペクトル，ピッチ，継続長に影響を与えると考えらひとつは，各クラスタにある複数の音声素片から一つをれるコンテキスト（変動要因）には，アクセント型，品選ぶのではなく，これらから計算された統計量によりそ

詞，当該・先行・後続音素などがあるが，これらをすべてのクラスタが表現され，合成時にはこの統計量から静的・考慮したコンテキスト依存モデルを構築する．但し，考動的特徴量の尤度最大化基準より音声パラメータが生成

慮するコンテキストの種類の増加とともにその組合せはされる点である．

指数的に増大するため，モデル当たりの学習データが著ところで，音声素片選択法における，基準 (b) のためしく減少し，モデルのパラメータの推定精度が低下する．

の音声パラメータの不連続の度合のはかり方として，接続部分の引き続くフレームの音声パラメータの差分を考者適応の技術が種々検討されている．これは，標準的な慮しただけでは，元の音声データ自体が接続部分に対応

HMM を用意しておき，未知話者の入力音声が得られた段する位置で不連続な変化をしている可能性があり，必ず階で，HMM のパラメータをその話者に適合するように修しも適切ではない．このため，元の音声データベース中正するものである．話者適応の手法は，合成音声の声質変で隣に位置する音声素片の音声パラメータと，合成時に換にも応用が可能であり，コードブックマッピングに基づ隣に位置する音声素片の音声パラメータとの差分により，くスペクトル写像に応用した例などが報告されている [47]．

これを定義している [41], [42], [9]．このような接続歪み

前節で述べた音声合成システムでは，合成単位として音素の評価は，データベース中のデルタパラメータと合成時

HMM を利用していることから，このような話者適応によのデルタパラメータとの差をを評価していることと等価

る音素 HMM のパラメータ変換がより適切に機能するとであり，これは，HMM からの音声合成法が，動的特徴

考えられ，多様な声質での音声合成が可能になると期待さ量に関する尤度を考慮していることと対応している．まれる．話者適応手法の一例として MAP/VFS [48], MLLR

た，このことから，接続部分での音声パラメータの平滑[6] を用いた場合について，数文章の適応データで目標話化を行なう場合には，ただ不連続をなくせばよいという者に近い声質をもった合成音声が得られることが確かめものではなく，元の音声データが滑らかに変化していたられている [49], [50]．

か，不連続な変化をしていたかによって，異なる平滑化を行う必要があることがわかる．文献 [45] では，音声素片の統計量に基づいてこのような平滑化を行っているが，数学的には 2.で述べたパラメータ生成法と等価なものとなっている．
更に，方法 (ii) の音声素片選択法においては，クラス
タ中心に近い音声素片を優先して選択するが，これは，HMM からの音声合成法において，静的特徴量の尤度を考慮していることに対応していると考えられる．
以上の議論から，接続コストを考慮した音声素片の選択，および接続部分の平滑化に関して動的特徴が重要な役割を果たしていること，HMM からの音声合成手法と方法 (ii) の素片接続型の音声合成法は，一方は各クラスタの統計量から，他方はクラスタ内のマルチテンプレート
から音声素片が生成される点が異なっているものの，いずれも類似した原理によって音声を生成していることが理解される．

6.

応用

本節では，いくつかの応用について簡単に述べる．

6.1

話者補間に基づく音声合成

各話者の音声は，HMM によってモデル化されるため，

6.3

極低ビットレート音声符号化

100 ないし数百 bit/s 程度のビットレートで音声を符号化するためには，音素ボコーダ，あるいはセグメントボ
コーダを用いるのが最も一般的な方法である [51]–[55]．これらの符号化法では，音声を音素単位，または音響的なセ
グメント単位などの音声単位に分割し，得られた音声単
位のインデックス系列と継続長を復号化器側に伝送する．
復号化器側では，伝送されたインデックスと継続長に従い，音声単位を連結することにより音声を合成する．音素
ボコーダ，セグメントボコーダにおける符号化器は一種の音声認識器とみなすことができるため，近年の HMM に基づいた音声認識器の性能向上を考慮すると，HMM に基づいて音素ボコーダ，あるいはセグメントボコーダを構築することは一つの有効な方法と考えられる．文献 [56]では，HMM に基づいた音声合成方式を利用することにより，符号化器・復号化器を通して HMM に基づいた音素
ボコーダを構築し，その性能を評価しており，ピッチ情報
を除いて 146bit/s （26%の無音区間を含む）で，同じくピッチ情報を除いて 400bit/s（8 bit/frame×50 frame/s）のベクトル量子化に基づくボコーダと同等の性能を得ている．また，68bit/s の場合にも符号化音声の了解性を保統計的，情報理論的な尺度に基づいて，複数の話者 HMM

つことができている．

を補間することにより，多様な声質を実現することがで

6.4

話者照合システムの安全性の検証

きる [46]．ある男性話者によって学習した HMM と，別の話者照合は入力音声と申告話者の声が同一の話者によ

女性話者によって学習した HMM を，任意の比率で補間るものかを判定する技術であり，音声による本人確認手することにより，2 人の話者を声質を任意の比率で補間し段として，今後利用の拡大が期待されている．従来，発声た音声を合成できることが確かめられている．話者を発すべきテキストがその都度システムから指定されるテキ話スタイルや感情表現に置き換え，代表的ないくつかの

スト指定型話者照合システム [57] を用いれば，テープレ

発話スタイル/感情表現を補間することにより，任意の発コーダ等による録音音声を用いた詐称を防ぐことができ話スタイル/感情表現の音声を合成できる可能性がある．

るとされてきた．しかし，テキスト音声合成方式の進歩

6.2

話者適応に基づく声質変換

により，合成音声による詐称に関する検討も必要になっ

HMM に基づく音声認識の分野では，学習データに含まてきたと考えられる．HMM に基づいた音声合成方式をれない未知話者に対する認識精度を向上させるため，話用いた実験では，1 文章の適応データを用いて不特定話

者モデルを適応した場合にも，十分詐称が可能であるこ必要がある．

とが示されている [58]．今後は，このような攻撃に対す

謝辞 本文は，東京工業大学大学院総合理工学研究科

る話者照合システムの安全性を高めるために，どのよう小林隆夫教授，益子貴史助手との共同研究の成果に基づな対策をとればよいかを検討する必要がある．

いている．研究の初期段階において，HMM に基づいた

6.5

バイモーダル (audio-visual) 音声合成

実世界における人間同士の音声対話では，音声情報を担うのは音だけではなく，唇形状等の視覚的な情報が影響を与えることが知られており，このような音声のバイ
モダリティを考慮したヒューマンインタフェースに関する研究が盛んに行われている [59], [60]．トーキングヘッ
ドなどへの応用を考えたバイモーダル音声合成（音声と唇動画像の同時生成）もそのひとつである．前節までで述
べた音声合成手法を，このような唇動画像の生成に応用することができる．唇画像のモデル化手法は，唇の形状モ
デルを用いるモデルベース法，画素値をそのまま扱う画像ベース法に大別することができるが，いずれにおいても，HMM に基づいたパラメータ生成手法により，良好な唇動画像が生成できることが確かめられている [61], [62]．

7.

むすび

動的特徴を用いた HMM に基づいて音声を合成する手法について，他の手法とも関連づけながら述べた．その結果，HMM に基づいた音声合成手法は，最近の他の音声合成手法の特徴のいくつかを，HMM という枠組の上で実現していることが示された．更に，音声合成に必要な情報が HMM という統計モデルによって表現されている
ために，HMM のモデルパラメータを適切に変換することにより，元の音声データベースに存在しない多様な音声を合成できる可能性がある．HMM のモデルパラメー
タの変換は，音声認識の分野で，話者適応，環境適応な音声認識に関して様々な御教示を頂いた音声認識研究者の方々に感謝致します。

文献[1] S. Schwartz, Y-L. Chow, O. Kimball, S. Roucos, M. Krasner,and J. Makhoul, “Context-dependent modeling for acousticphonetic of continuous speech,” Proc. ICASSP, pp.1205–
1208, 1985.
[2] S. Furui, “Speaker independent isolated word recognition
using dynamic features of speech spectrum,” IEEE Trans.
Acoust., Speech, Signal Processing, vol.34, pp.52–59, 1986.
[3] B.-H. Juang, “Maximum-likelihood estimation for mixture multivariate stochastic observations of Markov chains,”
AT&T Technical Journal, vol.64, no.6, pp.1235–1249, 1985.
[4] J. J. Odell, “The use of context in large vocabulary speech
recognition,” PhD dissertation, Cambridge University, 1995.
[5] C. H. Lee, C. H. Lin, and B. H. Juang, “A Study on speaker
adaptation of the parameters of continuous density hidden
Markov models,” IEEE Trans. Acoust., Speech, Signal Processing, vol.39, no.4, pp.806-814, Apr. 1992.
[6] M. J .F. Gales, and P. C. Woodland, “Mean and varianceadaptation within the MLLR framework,” Computer Speechand Language, vol.10, No.4, pp.249–264, Apr. 1996.
[7] A. Ljolje, J. Hirschberg and J. P. H. van Santen, “Automatic
speech segmentation for concatenarive inventory selection,”in Progress in Speech Synthesis, ed. J. P. H. van Santen, R.
W. Sproat, J. P. Olive and J. Hirschberg, Springer-Verlag,
New York, 1997.
[8] X. Huang, A. Acero, H. Hon, Y. Ju, J. Liu, S. Meredith and
M. Plumpe, “Recent improvements on Microsoft’s trainabletext-to-speech system -Whistler,” Proc. ICASSP, 1997.
[9] R. E. Donovan and E. M. Eide, “The IBM Trainable Speech
Synthesis System,” Proc. ICSLP, vol.5, pp.1703–1706, 1998.
[10] A. Falaschi, M. Giustiniani and M. Verola, “A hidden
Markov model approach to speech synthesis,” Proc. EUROSPEECH, pp.187–190, 1989.

どを目的として，広く研究されており，理論的にもよく[11] M. Giustiniani and P. Pierucci, “Phonetic ergodic HMM forspeech synthesis,” Proc. EUROSPEECH, pp.349–352, 1991.

整備されているため，これらを利用することができる．

[12] 益子貴史, 徳田恵一, 小林隆夫, 今井 聖, “動的特徴を用いた HMMに基づく音声合成,” 信学論 (D), vol.J79-D-II, no.12, pp.2184–
2190, Dec. 1996.

このような利点の代償として，音声データベース中の音
声波形そのものを用いるのではなく，音声パラメータから音声を合成するため，合成音声が，いわゆる vocoded

speech となるが，最近提案されている高品質ボコーダの励振源生成手法を導入することにより，この問題は克服できるものと考えられる．
音声認識と音声合成を，HMM に基づいてひとつの枠組でとらえることができるため，テキスト音声合成以外にもいくつかの応用を考えやすくなる．このような応用についてもいくつかを簡単にまとめた．
今後，多様な発話スタイルをもった音声合成の研究を進めるためには，多様な発話スタイルで発声された音声のデータベースの整備が不可欠であるが，どのような音声をどのような収録条件で，またどのくらいの量を収集すればよいのかということがまだわかっておらず，このような目的のための音声データベース構築法を確立する[13] E. Moulines, and F. Charpentier, “Pitch-synchronous waveform processing techniques for text-to-speech synthesis using diphones,” Speech Communication, no.9, pp.453–467,
1985.
[14] A. Ljolje and F. Fallside, “Synthesis of natural sounding
pitch contous in isolated utterances using hidden Markov
models,” IEEE Trans. Acoust., Speech, Signal Processing,
vol.ASSP-34, no.5, pp.1074–1080, Oct. 1986.
[15] E. P. Farges and M. A. Clements, “Hidden Markov models
applied to very low rate speech coding,” Proc. ICASSP,
pp.433–436, 1986.
[16] T. Fukada, Y. Komori, T. Aso and Y. Ohora, “A study ofpitch pattern generation using HMM-based statistical information,” Proc. ICSLP, pp.723–726, 1994.
[17] 徳田恵一, 益子貴史, 小林隆夫, 今井 聖, “動的特徴を用いた HMM
からの音声パラメータ生成アルゴリズム,” 日本音響学会誌, vol.53,
no.3, pp.192–200, Mar. 1997.
[18] K. Koishida, K. Tokuda, T. Masuko and T. Kobayashi:“Vector quantization of speech spectral parameters using statistics of dynamic features”, Proc. ICASSP, vol.1, pp.247–
252, Aug. 1997.

[19] 徳田恵一, 益子貴史, 小林隆夫, “尤度最大化基準による HMM からの音声パラメータ生成法の検討,” 日本音響学会講論集, Sep.
1999(発表予定).

[41] 岩橋直人, 海木延佳, 匂坂芳典, “音響的距離尺度に基づく複合音
声単位選択,” 信学技報, SP91-5, 1991.

[20] 立和航, 古井貞煕, “HMM による規則音声合成の検討,” 日本音響学会講論集, 2-3-7, Mar. 1999.

[42] A. W. Black and N. Campbell, “Optimising selection of units from speech databases for concatenative synthesis,” Proc.
EUROSPEECH, pp.581-584, Sep 1995.

[21] Y. Ariki and M. A. Jack, “Enhanced time duration constraints in hidden Markov modelling for phoneme recognition,” Electronics Letters, vol.25, no.13, June 1989.

[43] B. Beutnagel, A. Conkie, J. Schroeter, Y. Stylianou and A.
Syrdal, “The AT&T Next-Gen TTS system,” Proc. Joint
ASA, EAA and DAEA Meeting, pp.15–19, Mar. 1999.

[22] 吉村貴克, 徳田恵一, 益子貴史, 小林隆夫, 北村 正, “HMM に基づく音声合成のための状態継続長モデルの構築,” 信学技報,
SP98-64, DSP98-85, 1998.

[44] A. W. Black P. Taylor, “Automatically clustering similar
units for unit selection in speech synthesis,” Proc. EUROSPEECH, pp.601–604, Sep 1997.

[23] S. B. Davis and P. Mermelstein, “Comparison of parametricrepresentations for monosyllabic word recognition in continuously spoken sentences,” IEEE trans. Acoust., Speech,
Signal Processing, vol.ASSP-33, pp.357–366, Aug. 1986.

[45] M. Plumpe, A. Acero, H. Hon and X. Huang, “HMM-based
Smoothing for Concatenative Speech Synthesis,” Proc. ICSLP, vol.6, pp.2751–2754, 1998.

[24] K. Shikano, “Evaluation of LPC spectral matching measures for phonetic unit recognition,” CMU Technical Report
CMU-CS-86-108, Computer Science Department, 1986.

[46] T. Yoshimura, T. Masuko, K. Tokuda, T. Kobayashi andK. Kitamura, “Speaker interpolation in HMM-based speechsynthesis system,” Proc. EUROSPEECH, vol.5, pp.25232526, Sep 1997.

[25] H. Hermansky, “Perceptual linear predictive (PLP) analysisof speech,” J. Acoust. Soc. America, vol. 87, pp.1738–1752,
Apr. 1990.

[47] 橋本 誠, 樋口宜男, “話者選択と移動ベクトル場平滑化による声質変換のためのスペクトル写像”, 信学論 (D), vol.J80-D-II, no.1,
pp.1–9, Jan. 1997.

[26] 徳田恵一, 小林隆夫, 深田俊明, 斎藤博徳, 今井 聖, “メルケプス
トラムをパラメータとする音声のスペクトル推定,” 信学論 (A),vol.J74-A, no.8, pp.1240–1248, Aug. 1991.

[48] 高橋淳一, 嵯峨山茂樹, “逐次型話者適応方式 MAP/VFS における分散適応,” 日本音響学会講論集, 2-5-5, Mar. 1995.

[27] 今井 聖, 住田一男, 古市千枝子, “音声合成のためのメル対数ス
ペクトル近似 (MLSA) フィルタ,” 信学論 (A), vol.J66-A, no.2,
pp.122-129, Feb. 1983.
[28] 徳田恵一, 小林隆夫, 深田俊明, 今井 聖, “音声の適応メルケプスト
ラム分析,” 信学論 (A), vol.J74-A, no.8, pp.1249–1256, Aug.
1991.
[29] A. V. McCree, T. P. Barnwell III, “A mixed excitation LPC
vocoder model for low bit rate speech coding,” IEEE Trans.
Speech and Audio Processing, vol.3, no.4, pp.242–250, July
1995.
[30] M. Nishiguchi, K. Iijima and J. Matsumoto, “Harmonic vector excitation coding of speech at 2.0 kbps,” Proc.
IEEE Workshop on Speech Coding for Telecommunications, pp.39–40, Pocono Manor, Pennsylvania, Sep. 1997.
[31] H. Kawahara, “Speech representation and transformation
using adaptive interpolation of weighted spectrum: vocoer
revisited,” Proc. ICASSP, pp.1303–1306, 1997.
[32] 宮崎 昇, 徳田恵一, 益子貴史, 小林隆夫, “多空間上の確率分布に基づいた HMM とピッチパタンモデリングへの応用,” 信学技報,
SP98-11, pp.19–26, Apr. 1998.
[33] G. J. Freij, and F. Fallside, “Lexical stress recognition using
hidden Markov models,” Proc. ICASSP, pp.135–138, 1988.
[34] U. Jensen, R. K. Moore, P. Dalsgaard, and B Lindberg,“Modeling intonation contours at the phrase level using continuous density hidden Markov models,” Computer Speechand Language, vol.8, no.3, pp.247–260, 1994.
[35] K. Ross, and M. Ostendorf, “A dynamical system model for
generating F0 for synthesis,” Proc. ESCA/IEEE Workshop
on Speech Synthesis, pp.131–134, 1994.
[36] 宮崎昇, 徳田恵一, 益子貴史, 小林隆夫, “多空間上の確率分布を用いた HMM とピッチパタン生成の検討,” 信学技報, SP98-12,
pp.27–34, Apr. 1998.
[37] 吉村貴克, 徳田恵一, 益子貴史, 小林隆夫, 北村正, “HMM に基づ
く音声合成におけるスペクトル・ピッチ・状態継続長の同時モデル化,” 信学技報, SP99-, Aug. 1999.
[38] 阿部匡伸, 佐藤大和, “区分化音節モデルに基づく基本周波数の2 階層構造,” 日本音響学会誌, vol.49, no.10, pp.682–690, Oct.
1993.
[39] M. Riley, “Tree-Based Modelling of Segmental Duration,”
Talking Machines: Theories, Models, and Designs, Elsevier
Science Publishers, pp.265–273, 1992.
[40] N. Iwahashi and Y. Sagisaka, “Duration Modelling with
Multiple Split Regression,” Proc. EUROSPEECH, pp.329–
332, 1993.

[49] T. Masuko, K. Tokuda, T. Kobayashi and S. Imai, “Voicecharacteristics conversion for HMM-based speech synthesis
system,” Proc. ICASSP, vol.3, pp.1611–1614, Apr. 1997.
[50] M. Tamura, T. Masuko, K. Tokuda and T. Kobayashi,”Speaker adaptation for HMM-based speech synthesis system using MLLR,” Proc. ESCA/COCOSDA Workshop on
Speech Synthesis, pp.273–276, Nov. 1998.
[51] S. Roucos and R. M. Schwartz and J. Makhoul, “A segment
vocoder at 150 b/s,” Proc. ICASSP-83, pp.61–64, 1983.
[52] Y. Shiraki and M. Honda, “LPC speech coding basedon variable-length segment quantization,” IEEE Trans.
Acoust., Speech, Signal Processing, vol.ASSP-36, no.9,
pp.1437–1444, Sep 1989.
[53] J. Picone and G. R. Doddington, ”A phonetic vocoder,”Proc. ICASSP-89, pp.580–583, May 1989.
[54] F. K. Soong, “A phonetically labeled acoustic segment (PLAS) approach to speech analysis-synthesis,” Proc.
ICASSP-89, pp.584–587, May 1989.
[55] Y. Hirata and S. Nakagawa, “A 100bit/s speech coding using
a speech recognition technique,” Proc. EUROSPEECH-89,
pp.290–293, Sep 1989.
[56] 広井 順, 徳田恵一, 益子貴史, 小林隆夫, 北村 正, “HMM に基づいた極低ビットレート音声符号化,” 信学技報, SP98-63, DSP98-84,
pp.39–44, Sep. 1998.
[57] 松井知子, 古井貞煕, “テキスト指定型話者認識,” 信学論 (D-II),
vol.J79-D-II, no.5, pp.647–656.
[58] T. Masuko T. Hitotsumatsu, K. Tokuda and T. Kobayashi,“On the security of HMM-based speaker verification systems against imposture using synthetic speech,” Proc. EUROSPEECH, Budapest, Hungary, Sep. 1999 (accepted).
[59] D. G. Stork, and M. E. Hennecke, eds., “Speechreading by
Humans and Machines,” NATO ASI Series, Springer Verlag,
Berlin, 1996.
[60] 中村 哲, 山本英理, 永井 論, 鹿野清宏, “HMM を用いた音声と唇画像の統合による音声認識と唇画像生成,” 情報処理学会研究会,
音声言語情報処理 15-17, Feb. 1997.
[61] 益子貴史, 小林隆夫, 徳田恵一, “HMM を用いた唇動画像の生成,”
信学技報, SP97-6, pp.33–38, May 1997.
[62] 広井 順, 徳田恵一, 益子貴史, 小林隆夫, 北村 正: “HMM に基づ
いた唇動画像の生成—画像ベースアプローチ—”, 日本音響学会
講論集, 2-P-22, pp.311–312, Mar. 1999.