セグメントモデルによる音声認識
NTTコミュニケーション科学基礎研究所
南 泰浩

セグメントモデルとは？
HMMの欠点• 継続時間モデルが導入されていない• 状態内の観測系列の時間依存性を反映できない
改良セグメントモデル
Copyright (C) NTT 2002

HMMとセグメントモデルの違い
ｙ1 ｙ2 ｙ3…ｙTｙt
Ps(ｙt)

Pa,T(ｙ1,ｙ2,ｙ3…ｙT)

sa

HMM

P(T|a)
セグメントモデル…

Copyright (C) NTT 2002

セグメントモデルの分類• 継続時間長制御モデル• 条件付ガウスモデル• 動的システムモデル• グラフィカルモデル• （ベイジアンネットワーク）• 制約付平均トラジェクトリモデル• パラメトリック、ノンパラメトリック• 非線形モデル• 生成モデルCopyright (C) NTT 2002

セグメントモデルの分類• 継続時間長制御モデル• 条件付分布（ガウス）モデル• 動的システムモデル• グラフィカルモデル（ベイジアンネットワーク）• 制約付平均トラジェクトリモデル
パラメトリック、ノンパラメトリック• 非線形モデル• 生成モデルCopyright (C) NTT 2002

条件付分布（ガウス）モデル• 出力確率を以下のように近似
Pa,T(ｙ1,ｙ2,ｙ3…ｙT)＝ΠP(ｙt|ｙt-1,a）（Wellekens, 高橋）• より複雑な条件付確率P(ｙt|ｙt-3,ｙt-2,ｙt-1,a) （中川）Copyright (C) NTT 2002

グラフィカルモデル
グラフィカルモデルとは？
依存関係をグラフを用いる統計モデルで表現したもの
例 因子分析、確率的主成分分析
独立成分分析
X1
Y1

Y2

XK

Λ
YD

以下Ghahramani に基づくグラフィカルモデルの分類
Copyright (C) NTT 2002

グラフィカルモデル
無向グラフィカルモデル
マルコフネットワーク
例 ボルツマンマシン
マルコフランダムフィールドCopyright (C) NTT 2002

グラフィカルモデル• 有向グラフィカルモデル、非巡回⇒ ベイジアンネットワーク
P(A,B,C,D) =P(A)P(C|A)P(D|C)P(B|C,D)

ＡＣ

ＢA, B, C, Dは離散、連続確率変数（隠れ変数の場合もある。）
Ｄ

Copyright (C) NTT 2002

グラフィカルモデル• ダイナミックベイジアンネットワーク（ＤＢＮ）
ベイジアンネットワークを時系列変数を扱えるように拡張
ＨＭＭ、線形動的システムを含む大きなモデル

ＨＭＭ／ＡＳＲ

ダイナミックベイジアンネット＊CLSP
ＷＳ２００１よりCopyright (C) NTT 2002

グラフィカルモデル• 例 ＨＭＭとの対応（隠れ変数が離散値）
Ｘ１

Ｘ２

Ｘ３

Ｘ４

Ｙ１

Ｙ２

Ｙ３

Ｙ４

P(x1,x2…xT,y1,y2…yT)=P(x1)P(y1|x１) Π P(xt|xt-1)P(yt|xt)
P(yt|xt): 出力確率（密度）P(xt|xt-1)： 遷移確率
Xt: 状態確率変数（離散値）
Copyright (C) NTT 2002

グラフィカルモデル
例 線形ガウス状態モデルとの対応（隠れ変数が連続値）
Ｘ１

Ｘ２

Ｘ３

Ｘ４

Ｙ１Ｙ２

Ｙ３

Ｙ４

P(x1,x2…xT,y1,y2…yT)=P(x1)P(y1|x1) Π P(xt|xt-1)P(yt|xt)
P(yt|xt): ←yt =Cxt+vｔ
P(xt|xt-1)： ←xt = Axt-1+wt
Xt: 状態確率変数（連続値）
wt, vt: 無相関、０平均ガウスノイズベクトル

Copyright (C) NTT 2002

グラフィカルモデル• ベイジアンネットによる音声認識
条件付分布（ガウス）モデルの拡張（Zweig）
Ｘ１

Ｘ２

Ｘ３

Ｘ４

ベクトルの各要素P(Yt|Yt-1)を表現
より複雑条件付モデル
Y1

Y2

Y3

Y4
Copyright (C) NTT 2002

グラフィカルモデル• ベイジアンネットによる音声認識
様々な変数の依存関係を記述できる
Ｘ１

Ｘ２

Ｘ３

Ｘ４

Ｙ１

Ｙ２

Ｙ３

Ｙ４

Deviren

Copyright (C) NTT 2002

グラフィカルモデル• ベイジアンネットによる音声認識• モデル構造（依存関係）の決定も可能• 尤度＋ＭＤＬ• 識別的構造学習法（Zweig）• ベイジアンネットの難しさ• 理論
実際の音声認識•→ＧＭＴＫ：ツールキット(Bilmes)• パラメータ数 ⇔ データ量
Copyright (C) NTT 2002

生成モデル
音声生成系を考慮して音声認識をモデル化•音声の連続性の拘束条件を導入したい。
•セグメント間の影響をモデル化したい

調音結合のモデル化

Copyright (C) NTT 2002

生成モデル生成モデルの例•線形動的システムと非線形処理を組み合わせたもの
Hidden Dynamic Model (Richards)
Vocal Tract Resonance dynamic model (Deng)

Copyright (C) NTT 2002

生成モデル
Hidden Dynamic Model (Richards, Bridle)
セグメンテーション Sj |a|b|a|d|c|

目標値
Ti

TargetSwitch

フィルター

ＭＬＰ
h(x)

E

音声信号 Ｘ
観測信号 Ｙ時間

Copyright (C) NTT 2002

生成モデルCenter for Language and Speech Processing(ＣＬＳＰ) Summer Work Shop 98の結果

ＨＭＭに比べ優位ではない
少なくとも音声特徴量上での連続性拘束は必要
Copyright (C) NTT 2002

生成モデル
HMMからのトラジェクトリ合成を使う(南)HMM
平均値(μ)

セグメンテーション Sj |a|b|a|d|c|TargetSwitchフィルター

E

音声信号 X
観測信号 Ｙ時間
Copyright (C) NTT 2002

ＨＭＭを用いて制約付平均トラジェクトリを生成する手法 (南）上位１０候補C

ビタービ
デコーディング

HMM

トラジェクトリ生成

尤度の計算
O

分散
特徴量と動的特徴量の間の制約候補の入れ替え
認識結果

Copyright (C) NTT 2002

認識実験による評価•学習データ：音響学会の503音韻バランス文•各状態の正規分布数：３•ＨＭＭタイプ：環境依存型ＨＭＭ•評価データ：100都市発声（男女各３５人）
１００都市認識での誤認識率
提案手法

HMM

エラー削減率

1.8%

2.2%

18.2%

連続性に関する拘束条件は重要

Copyright (C) NTT 2002

セグメントモデル• グラフィカルモデル
ＨＭＭ、線形動的システムを含む記述力の高いモデル
成功例（古山、 Zweig、 Deviren）
学習データの量 ⇔ パラメータの数数学モデル→実際の音声認識• 生成モデル
音声生成系を考慮して音声認識をモデル化
成功例少ＮＴＴの研究 → パラメータの連続性は重要
Copyright (C) NTT 2002

参考文献
セグメントモデルの分類のために参照とした文献• “From HMM’s to Segment Models: A Unified View ofStochastic Modeling for Speech Recognition”, M.
Ostendorf et al., IEEE Trans. SAP, 1996.
• 音声認識においてHMMとトライグラムを超えるもの（中川 人工知能学会誌 ２００２年1月）.
• 音声認識研究の動向（中川 電子情報通信学会 D－II ２０００年2月）.

Copyright (C) NTT 2002

参考文献
• 条件付ガウスモデル（様々な文献があるが、以下のものだけあげておく）
Wellekens et al, “Explicit correlation in hidden Markov
model for speech recognition”, ICASSP 1987.（条件付ガウスモデルを提案した初期の文献）
高橋他、“フレーム間相関を利用した音韻HMMによる音声認識、信学論、１９９４．（データの少なさを平滑化）
中川他、“セグメント統計量を用いた隠れマルコフモデルによる音声認識”、信学論、１９９６．
（時間的に長い条件を導入）より詳しく調べたい方は、Ostendorfの文献を参照してください。
Copyright (C) NTT 2002

参考文献
• グラフィカルモデル（音声認識音声認識関連）
Zweig et al. “Structurally discriminative graphical models for automatic speech recognition – results from the2001 Johns Hopkins summer workshop”, ICASSP 2002.2.
Zweig et al. “Probabilistic modeling with Bayesian networks for automatic speech recognition”, Australian
Journal of Intelligent Information Processing, 1999.
Deviren et al. “Structural learning of dynamic Bayesian networks in speech recognition”, Eurospeech 2001.
Murphy “Dynamic Bayesian networks: representation, inference and learning”, UC, Berkeley Dr. thesis, 2002.
Murphyのホームページのホームページ
http://www.ai.mit.edu/~murphyk/
Ｂｉｌｍｅｓ, “Buried Markov models for speech recognition”, ICASSP 1999.
Bilmes et al. “The graphical models toolkit: an open source software system for speech and time-series
processing”, ICASSP 2002.
Ozgur Cetin et al. “The 2001 GMTK-based SPINE ASR system”, ICSLP 2002．
Bilmes の発表論文のページ
http://ssli.ee.washington.edu/people/bilmes/pubs-frame.html
グラフィカルモデルツールキットのページ
http://ssli.ee.washington.edu/~bilmes/gmtk/
ＷＳ２００１のページ（ＣＬＳＰ）
http://www.clsp.jhu.edu/ws2001/groups/gmsr/

Copyright (C) NTT 2002

参考文献
• グラフィカルモデルの一般的な説明•

統計数理研究所公開講座のページ
http://juban.ism.ac.jp/seminar.html
Zoubin Ghahramani のレクチャページ
http://www-2.cs.cmu.edu/~zoubin/SALD/“Learning dynamic Bayesian networks”“Statistical approaches to learning and discovery”
グラフィカルモデル 朝倉書店
ベイジアンネットの一般的な説明
ベイジアンネットセミナー
http://www.aist.go.jp/ETL/~motomura/bn2001/
http://www.aist.go.jp/ETL/~motomura/bn2002/paper.html
ベイジアンネットの概要
http://www.etl.go.jp/~motomura/DS/
Copyright (C) NTT 2002

参考文献
•

調音器官モデルDeng et al., “A statistical coarticulatory model for the hidden vocal-tractresonance dynamics”, EUROSPEECH 1999.
Deng et al., “Spontaneous speech recognition using a statistical model of VTRdynamics”, WS98 Slide.
http://www.clsp.jhu.edu/ws98/projects/dynamic/presentations/final/ldeng/sld001.htm
R. Togneri et al., “An EKF-based algorithm for learning statistical hidden
dynamic model parameters for phonetic recognition”, ICASSP 2001.
Richards et al., “The HDM: a segmental hidden dynamic model ofcoarticulation”, ICASSP 1999.
Bridal et al., “An investigation of segmental hidden dynamic models of speech
coarticulation for automatic speech recognition”, WS98 final report.
Picone et all., “Initial evaluation of hidden dynamic models on conversationalspeech”, ICASSP, 1999.

Copyright (C) NTT 2002