(57)【特許請求の範囲】
【請求項１】
音響モデルに基づいて、選択された音声を認識するための装置であって、
該選択された音声のサンプルを表わす選択されたデータに応答して、該音響モデルを修正するためのプロセッサと、
各レベルが１つもしくは２つ以上のノードを有する複数のレベルを含む階層構造を規定する機構であって、該階層構造中で他のいずれかのレベルよりもより高く配置されている各レベルが該他のレベルよりもより小さな数のノードを有しており、各ノードが少なくとも該選択されたデータに基づいて決定される確率測度と関連づけられ、各レベル上の各ノードが２つもしくは３つ以上のノードを有するレベルよりも高い第２のレベル上のノードに接続されており、２つもしくは３つ以上のノードを有する各レベル上の各ノードと関連する確率測度が該第２のレベル上で接続されたノードと関連する少なくとも確率測度の関数であり、該音響モデルが選択されたレベル上の各ノードと関連する確率測度に少なくとも基づいて修正されるようになっている階層構造を規定する機構と、を含むことを特徴とする装置。
【請求項２】
請求項１に記載の装置において、前記音響モデルが隠れマルコフ・モデル（ＨＭＭ）による装置。
【請求項３】
請求項２に記載の装置において、前記ＨＭＭが連続密度ＨＭＭ（ＣＤＨＭＭ）を含む装置。
【請求項４】
複数のパラメータにより特性づけられる音響モデルに基づいて選択された音声を認識するためのシステムであって、
該選択された音声のサンプルを表わす選択されたデータを提供するデバイスと、
各々が１つもしくは２つ以上のノードを含む複数のレベルを含む構造を規定するプロセッサであって、各ノードが少なくとも該選択されたデータから引き出されるそれぞれの確率測度と関連づけられているようなプロセッサと、
少なくとも１つのノードの系列を異なるレベルのなかから識別する機構と、
該ノードの系列中の選択されたノードと関連する少なくとも確率測度に基づいて少なくとも１つのパラメータを修正するアダプタであって、該選択されたノードと関連する該確率測度が該ノードの系列中のいずれかの他のノードと関連する確率測度の関数であるようなアダプタと、を含むことを特徴とするシステム。
【請求項５】
請求項４に記載のシステムにおいて、前記構造中のレベルが一方向に順番に配置され、レベルがさらにより多数のノードを含む方向へ配置され、前記選ばれたノードがさらにすべてのレベルの方向に配置されたレベルから発しているシステム。
【請求項６】
請求項４に記載のシステムにおいて、前記選択されたノードと関連する確率測度が前記ノードの系列中の第２ノードと関連するの確率測度をスケーリングするための少なくとも１つの重みづけの関数でもあり、この重みづけが該構造中の他のレベルの位置に相対する該第２のノードが発しているレベルの位置によって変化するシステム。
【請求項７】
音響モデルに基づいて選択された音声を認識するための装置において用いる方法であって、
該選択された音声のサンプルを表わす選択されたデータに対応して該音響モデルを修正するステップと、
各々がその上に１つもしくは２つ以上のノードを有するような複数のレベルを含む階層構造を規定するステップであって、該構造中で他のいずれかのレベルよりもより高く配置されている各レベルが該他のレベルよりも小さな数のノードを有し、各ノードが少なくとも該選択されたデータに基づいて決定される確率測度と関連づけられており、２つもしくは３つ以上のノードを有する各レベル上の各ノードが２つもしくは３つ以上のノードを有するレベルよりも高い第２のレベル上のノードに接続されており、２つもしくは３つ以上のノードを有する各レベル上の各ノードと関連する確率測度が該第２のレベル上でそこに接続されたノードと関連する少なくとも確率測度の関数であり、該音響モデルが選択されたレベル上の各ノードと関連する少なくとも確率測度に基づいて修正されるようになっているステップと、を含むことを特徴とする方法。
【請求項８】
請求項７に記載の方法において、前記確率測度が少なくとも第二の音声のサンプルを表す第二のデータにも基づいて決定される方法。
【請求項９】
複数のパラメータにより特性づけられる音響モデルに基づいて選択された音声を認識するシステムにおいて用いる方法であって、
該選択された音声のサンプルを表わす選択されたデータを提供するステップと、
各々が１つもしくは２つ以上のノードを含む複数のレベルを含む構造を規定するステップであって、各ノードが少なくとも該選択されたデータから引き出されるそれぞれの確率測度と関連づけられているようなステップと、
少なくとも１つのノードの系列を異なるレベルから識別するステップと、
該ノードの系列中の選択されたノードと関連する少なくとも確率測度に基づいて該パラメータの少なくとも１つを修正するステップであって、該選択されたノードと関連する確率測度が該ノードの系列中の他のいずれかのノードと関連する確率測度の関数であるようなステップと、を含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、前記音響モデルが前記音声のサンプルの認識されたものにも基づいて修正される方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識システムおよび方法に関し、特に音声認識の学習段階における音響入力に適応化される隠れマルコフ・モデル（ＨＭＭ）を基盤とした音声認識のためのシステムおよび方法に関する。
【０００２】
【従来の技術、及び、発明が解決しようとする課題】
通信、データ処理および類似のシステムにおいては、ユーザがそれらのシステムの一つを操作しながら肉体的にある活動（例えば、自動車の運転）に携わることが予想される場合、音響設備を用いたユーザ・インターフェースに有利性が認められる。このようなシステムにおいて一定の作業を実施するために人間の音声を認識する技術が開発されている。
【０００３】
そのような技術の一つによれば、入力音声は個々の単語を構成する音素に対応する特徴ベクトルによって表される信号フレーム中で分析される。音素は隠れマルコフ・モデル（ＨＭＭ）を特徴とし、未知の発声に対応するそれぞれの音素の連接に最尤法的に最も適したＨＭＭの数列を特定するためにビタビ・アルゴリズムが使用される。
【０００４】
各ＨＭＭが、例えば、ガウスの分布を特徴とする混合構成要素のようなモデル・パラメータで構成されることはよく知られている。音声認識システムにおける学習段階では、ユーザの特定の音声特性に調整させるためにＨＭＭをユーザの入力音声に適応させ、こうして音声認識の精度を高める。従来の技術では、ＨＭＭの適応化処理のための二つの周知の方法、すなわちベイズ適応化手法および変換をベースとする方法とが採用されてきた。
【０００５】
ベイズ適応化手法によれば、従来の分布がＨＭＭにおけるモデル・パラメータとみなされ、モデル・パラメータの最大事後（ＭＡＰ）推定値が計算される。この方法の詳細については、C. Lee他、“A study on Speaker Adaptation of the Parameters of Continuous Density Hidden Markov Models,”IEEE Transactions on Signal Processing, Vol. 39, No. 4, 1991年4月、pp. 806-814；および J. Gauvain他、“Maximum a Posteriori Estimation for Multivariate Gaussian Mixture Observations of Markov Chains,”IEEE Transactions on Speach and Audio Processing, Vol. 2, No.2、1994年、291〜298ページを参照のこと。ベイズ適応化手法は、従来の分布の知識を基礎としたＭＡＰ推定値を利用するため、そのような知識に依拠しない。例えば、最尤（ＭＬ）推定値を利用するものと比べて、適応化のための入力音声データ所要量が少ない。
【０００６】
しかし、適応データが不足する場合は、ベイズ適応化手法よりも変換をベースとする方法の方がＨＭＭの適応効率が高いだろう。変換をベースとする方法によれば、別々のＨＭＭの間の相関関係を調査するために、例えば、推移または疑似変換などの変換が、音響特性空間、別名「ＨＭＭパラメータ空間」中に定義され、その相関関係が、適合データの不足にも関わらずＨＭＭの適合を支援する。その変換を特徴付けるパラメータは、その適応データを使用して推定される。変換をベースとする方法の実施に際しては、音響特性空間を複数の副空間に分け、各副空間について変換パラメータを推定することが望ましい。しかし、この方法で使用される変数変換パラメータの数が少なく改善が制約されるので、変換をベースとする方法を使用する音声認識の成績は適応データの量の増加にともなっての顕著な改善は見られない。
【０００７】
ベイズ適応化手法を変換をベースとする方法と組み合わせて音声認識成績を改善する試みがなされている。この試みについては、Chien他、“Improved Bayesian Learning of Hidden Markov Models for Speaker Adaptation,”ICASSP-97、1997、1027〜1030ページに記されている。しかし、このような試みの成功は、音響特性空間中の副空間の数をさまざまな量の適応データに合わせて最適化する、という通常では非現実的な要件に依存する。
【０００８】
このため、利用可能な適応データの量に関わらず実現可能な方法でベイズ適応化手法を変換をベースとする方法と組み合わせて音声認識成績を改善するという需要が存在する。
【０００９】
【課題を解決するための手段】
本発明によれば、音声認識システムにおけるＨＭＭは「構造的最大事後（ＳＭＡＰ）」方法を用いて学習段階中に適合される。本発明の方法によれば、木構造（ツリー構造）などの複数のレベルをもつ階層構造がＨＭＭパラメータ空間中に構築される。このような構造は、その構造のそれぞれのレベルに関連した変換パラメータを特徴とする。あるレベルに関連する変換パラメータは、「階層上の前段階」と称される、その下のレベルに関連する変換パラメータについての従来の知識を表す。構造の各レベルに関連する変換パラメータは、適合データおよびその上のレベルからの階層上の前段階に基づいて推定される。ＨＭＭパラメータはその構造の最下層レベルに関連する変換パラメータに基づいて更新され、したがって、これらは、少なくとも最下層レベル以外のレベルに関連する変換パラメータの関数である。
【００１０】
利用できる適合データの量を所与とすると、本発明のＳＭＡＰ方法は、前述の階層上の前段階の使用を特徴とするベイズ適応化手法を前述の階層構造の使用を特徴とする変換をベースとする方法と効果的に組み合わせ、協同してＨＭＭ適応の効果を発揮するので有利である。
【００１１】
【発明の実施の形態】
図１は、本発明の原理を具体化した音声認識システム１００を示す。図１に示すとおり、システム１００はアナログ・デジタル（Ａ／Ｄ）変換器１０３、特徴抽出器１０５、エンドポイント検知器１１３、音声認識装置１１７、単語モデル・プロセッサ１２５、スイッチ１３９、および遅延要素１４１を含む複数の機能ブロックを含む。システム１００の各ブロックの機能がそれぞれ別のプロセッサによって発揮されることも、あるいは数個またはすべてのブロックの機能性が同一のプロセッサによって発揮されることも可能である。しかも、各段階に複数の処理要素を含めることもできる。それらの段階はパイプラインで結ばれ、それらの操作は同期をとって実施される。
【００１２】
特に、一連の発声された言葉を含む入力音声は、マイクロホン（図示せず）を通ってシステム１００のＡ／Ｄ変換器１０３へ送られる。変換器１０３は従来の方法で入力音声のサンプルをとる。そのデジタル・サンプルは、次に特徴抽出器１０５へ送られる。
【００１３】
そのデジタル・サンプルを受け取ると、特徴抽出器１０５は受け取ったサンプルを約２０ｍｓの長さの音声フレームに整理し、各フレームについてそのフレーム中のエネルギー量と一組の短スペクトル・ベクトル、例えば、線形予測コーディング（ＬＰＣ）パラメータを測定する。このとき、ＬＰＣパラメータは、音声サンプルのフレームが蓄積される一定の時間にその信号スペクトルにもっともよく適合する全極モデルのスペクトルを指定する。ＬＰＣパラメータに基づき抽出器１０５はフレームごとの特徴ベクトルを作成するが、それは、例えば、１２個のケプストラム特性、１２個のデルタ・ケプストラム特性、および１個のデルタ・エネルギー特性を備える。周知の方法では、これらのケプストラムおよびデルタ・ケプストラム特性は、その音声フレームのスペクトルおよびその時間変化を特徴付ける。デルタ・エネルギー特性は、その音声フレームにおけるその前のフレームからのエネルギーの変化量を示す。
【００１４】
従来の設計におけるエンドポイント検知器１１３は、特徴抽出器１０５によるエネルギー測定と合わせてデルタ・エネルギー特性を音声信号の始点と終点を判断するために使用する。これは次に、２５の特性をそれぞれの特徴ベクトルに含んだデータ信号を、エンドポイントの判断とともに従来の設計の音声認識装置１１７へ渡す。このようなデータ信号および本発明による単語モデル・プロセッサ１２５から供給された単語モデルに基づき、認識装置１１７が発声された言葉が何であるかを判断する。
【００１５】
なかでもプロセッサ１２５は、例えば、この時点での連続密度（ＣＤ）ＨＭＭなどの隠れマルコフ・モデル（ＨＭＭ）をさまざまな発声された言葉について供給する。ビタビ・アルゴリズムに基づき、認識装置１１７は未知の発声に対応するそれぞれの音素の連結に最尤法的に最も適したＣＤＨＭＭの数列を特定する。このような特定プロセスは、従来の方法での動的計画法によって実現される。
【００１６】
ここで、システム１００は二つのモード、すなわち学習モードおよび通常操作モードで動くことに留意されたい。現在のモードである通常操作モードでは、スイッチ１３９は一連の認識された言葉を認識装置１１７からシステム１００の出力へとリレーするために第１ポジションにセットされている。
【００１７】
システム１００の製造中には、プロセッサ１２５中のＣＤＨＭＭのすべてのモデル・パラメータは、多数の話者による音声のサンプルに現われた練習データ（トレーニング・データ）をつかって従来の方法であらかじめ定義されている。しかし、ユーザがシステム１００を音声認識のためにはじめて使用するとき、システム１００は、ユーザの特殊な音声特徴に合わせて調整するためにＣＤＨＭＭがユーザの入力音声に適応され、こうしてシステム１００の認識の正確性を一層高める学習モードを経験する。
【００１８】
この時点での無管理学習を実施する際に、スイッチ１３９は学習モードの第２ポジションにセットされ、一連の認識された言葉を認識装置１１７からプロセッサ１２５へ戻す。無管理学習によれば、入力音声は管理されず、ユーザは管理学習の場合のように一定の言葉だけを話すように制限されることはない。ここで、「無管理学習」とは、予め定められた組の語をユーザに話させる必要のない学習をいい、また「管理学習」とは、予め定められた語をユーザに話させる必要のある学習をいう、ものとする。学習モードでは、遅延要素１４１が入力音声を表す認識装置１１７への入力に対して適当な量の遅延を与え、それが対応する認識された言葉と同期するようにする。プロセッサ１２５は認識装置１１７への入力および対応する認識された言葉を、その中でＣＤＨＭＭを適合させるための「適応データ」として使用する。
【００１９】
本発明によれば、音声認識システムにおけるＨＭＭ、例えば、システム１００は、「構造的最大事後（ＳＭＡＰ）」方法を用いて学習段階中に適応化される。本発明の方法によれば、木構造などの複数のレベルをもつ階層構造が、ＨＭＭパラメータ空間、別名「音響特性空間」中に構築される。このような構造は、その構造のそれぞれのレベルに関連した変換パラメータを特徴とする。あるレベルに関連する変換パラメータは、そのレベルの下の、またはそのレベルに従属するレベルに関連する、変換パラメータについての「階層上の前段階」と称される従来の知識を表す。構造の各レベルに関連する変換パラメータは、適応データおよびその上のレベルからの階層上の前段階の総体に基づいて推定される。その構造の最下層レベルに関連する推定変換パラメータは、学習段階におけるＨＭＭパラメータの更新に使用される。その結果、これら更新されたＨＭＭパラメータは、その構造に関連するそれぞれのレベルに応じて加重構造と連結されたすべての変換パラメータの組み合わせの関数である。各レベルの比重は、使用される適合データの量によって変わる。更新されたＨＭＭパラメータはシステム１００中のプロセッサ１２５で使用され、前述の音声認識用通常操作モードの間、ＨＭＭ、とくにＣＤＨＭＭを供給する。
【００２０】
本発明によるＨＭＭの適応化を十分に受け入れるために、ここではその適応化処理を単純化する規格化技術を説明する。Ｇ＝｛ｇｍ；ｍ＝１，．．．，Ｍ｝で、Ｇはプロセッサ１２５中のＣＤＨＭＭのすべての混合構成要素のセット（連合）とし、ここで、Ｍはプロセッサ１２５内にあるすべての状態のすべてのＣＤＨＭＭの混合構成要素の総数を表し、ｇｍは混合構成要素ｍについての正規確率密度関数を表す。ここで、「正規確率密度関数」とは、その確率密度が正規分布により表わされるような確率密度関数のことをいう。この正規確率密度関数はＮ（Ｘ｜μｍ，Ｓｍ）で示され、ここで、μｍは期待値ベクトルを表し、Ｓｍは共分散マトリックスを表す。
【００２１】
Ｘ＝｛ｘ１，．．．，ｘｔ．．．，ｘＴ｝で、Ｔの所与の見かけのベクトルのセットを示すものとし、これが適応データを表す。規格化においては、各サンプル・ベクトルｘｔは各混合構成要素ｍについて次のようにしてベクトルУｍｔへ変換される：
【数１】
0003742236.tif 000002
但し、ｔ＝１，．．．，Ｔ、およびｍ＝１，．．．，Ｍである。
【００２２】
前述のとおり、ここでのＣＤＨＭＭパラメータはすべて、システム１００の製造中に多数の話者から採取した音声サンプルから導出される訓練データを使って、従来の方法であらかじめ定義されている。訓練データと適応データの間に不整合がない場合は、Ｙｍ＝｛Уｍ１，．．．，Уｍｔ．．．，УｍＴ｝についての確率密度関数（ｐｄｆ）が標準正規分布Ｎ（Ｙ｜Ｏ，Ｉ）で表される可能性があることは明らかである。ここで、Ｏは、構成要素の値がゼロであるベクトルを表し、Ｉは一致マトリックスを表す。訓練データと適応データとが不整合の場合の別の方法では、Ｙｍについてのｐｄｆは一般的にＮ（Ｙ｜υ，η）で表すことができ、このとき、υ≠Ｏかつη≠Ｉである。訓練データによって示される音響特性と適応データによって示されるものとの差を表すために、「不整合ｐｄｆ」は下記のように定義される。音の差をモデル化するために必要な不整合ｐｄｆの数はＨＭＭの混合構成要素についてのｐｄｆの数より小さいことがわかる。
【００２３】
このため、必要なｐｄｆの数を減らすために、混合構成要素のセットＧを２個以上のサブセット（部分集合）Ｇｐ、１≦ｐ≦Ｐに分ける。ここで、Ｐは、混合構成要素の総数より少ないサブセットの総数、すなわちＭである。共通の不整合ｐｄｆであるｈｐ＝Ｎ（Ｙ｜υｐ，ηｐ）は、各サブセットＧｐ内のすべての混合構成要素によって共有される。
【００２４】
以下の議論では、サブセットＧｐ中の各混合構成要素ｇはｇ１（ｐ），．．．，ｇｍ（ｐ）．．．，ｇＭｐ（ｐ）としてあらためて番号が付され、このときＭｐはサブセットＧｐ中の混合構成要素の数を表す。見かけのベクトル数列Ｘ＝｛ｘ１，．．．，ｘＴ｝は、混合構成要素ｇｍ（ｐ）についてＸ＝｛Уｍ１（ｐ），．．．，УｍＴ（ｐ）｝と一般化される。
【００２５】
不整合ｐｄｆ用のパラメータは、周知の推定最大（ＥＭ）アルゴリズムを用いて推定される。遷移確率と混合構成要素の重量係数が特定されるとき、ＨＭＭパラメータについての補助関数Ωは以下のようにして求められる：
【数２】
0003742236.tif 000003
但し、Θ＝｛μｍ（ｐ），Ｓｍ（ｐ）；ｍ＝１，．．．，Ｍｐおよびｐ＝１，．．．，Ｐ｝は現在のＨＭＭパラメータのセットを表し；Θ＾＝｛μｍ＾（ｐ），＿ｍ（ｐ）；ｍ＝１，．．．，Ｍｐおよびｐ＝１，．．．，Ｐ｝は推定されるＨＭＭパラメータのセットを表し；γｍｔ（ｐ）は時間ｔの点で混合構成要素ｇｍ（ｐ）を使用した事後確率を表す。ＨＭＭパラメータと不整合ｐｄｆパラメータとの関係は、次のように規定される：
【数３】
0003742236.tif 000004
但し、Ｊｍ（ｐ）＝（Ｓｍ（ｐ））１／２は［１］で表された一般化のためのヤコビアン・マトリックスを表す。［３］の式に基づき、この補助関数は次のように修正できる：
【数４】
0003742236.tif 000005
微分関数［４］によって、不整合ｐｄｆパラメータの最尤（ＭＬ）推定値は次のように定義できる。
【数５】
0003742236.tif 000006
ここで、（Уｍｔ（ｐ）−υ〜ｐ）ｔは（Уｍｔ（ｐ）−υ〜ｐ）の転置を表す。これらの不整合ｐｄｆパラメータを使用して、対応するＨＭＭパラメータは次のように変更できる：
【数６】
0003742236.tif 000007
ここで、μ＾ｍ（ｐ）および＿ｍ（ｐ）はそれぞれ変更された期待値と共分散を表す。
【００２６】
もとになった対応するＨＭＭについての不整合ｐｄｆの最適数は、利用可能な適応データの量によって変わる。不整合ｐｄｆパラメータを前述の階層構造の構築用変換パラメータとして利用する手法があり、これは、与えられた適応データの量に関わらずその全体構造およびサブ構造がともに良好な音声認識成績を達成するのに適しているという利点をもっている。このために、セットＧについての木構造（ツリー構造）を本発明にしたがって具体化する。
【００２７】
図２は、このような木構造（ツリー構造）の一つを２００として示す。図２に示すとおり、木構造２００にはＨ個のレベルがあり、ここで、Ｈはゼロより大きい整数である。構造２００の第１のレベルは、ＣＤＨＭＭのＭ個の混合構成要素をすべて含むセットＧを表すルート・リード、即ち、親または根源と呼ばれるノード２０３を含む。構造２００の第Ｈ番目のレベルは、それぞれＣＤＨＭＭのＭ個の混合構成要素を表すＭ個のリーフ・ノード（木の葉ノード）を含む。第１レベルから第Ｈレベルまでの間の各中間ノードもしくは非終点ノードは、その中間ノードに従属する第Ｈレベル上のそれらのＭｐリーフ・ノードまたは終点ノードで表されるそれぞれＭｐの混合構成要素を含むＧのサブセット、すなわちＧｐを表す。リーフ・ノードがその中間ノードから「発散」される場合に、あるいは言葉を変えると、その発生源をたどると介在する経路を通ってその中間ノードへ戻る場合に、リーフ・ノードが中間ノードに従属する、という。例えば、構造２００では、中間ノード２２２に従属するリーフ・ノードは、それぞれ経路２２４、２２６および２２８を通ってノード２２２と接続されているリーフ・ノード２３１、２３３および２３５である。同様に、中間ノード２１１に従属するリーフ・ノードは、リーフ・ノード２３１、２３３、２３５、２３７、２３９、２４１、２４３、２４５および２４７である。もちろん、根元ノード（親ノード）２０３には第Ｈレベル上の各リーフ・ノードが従属している。構造２００を構築する手法は、以下に詳細に記す。
【００２８】
木構造２００中の各ノードＮについて、そのノードで表されるＧｐ中の混合構成要素によって共有される不整合ｐｄｆが割り当てられる。とくに各ノードＮについて、その不整合ｐｄｆパラメータのＭＬ推定値υ〜ｐおよびη〜ｐは、式［５］および［６］に基づく適応データを用いて決定される。
【００２９】
Ｇ中の各混合構成要素ｍについてのパラメータのセットΘｍ＝（μｍ，Ｓｍ）を、一般性を損なわずに推定しよう。便宜上、以下の議論では混合構成要素ｍに関連する各変数の添字「ｍ」は、その添字がないと混乱のおそれがある場合を除いて省略する。木構造２００中で、根元ノード２０３およびリーフ・ノードを含む各レベルから一つづつのノードをつないだ各連結ノードの順序は、そのリーフ・ノードで表される混合構成要素に対応する。混合構成要素ｍに対応する連結ノードの数列を｛Ｎ１，．．．，Ｎｋ，．．．，ＮＨ｝と表す。ここで、Ｎ１は根元ノード（親ノード）２０３を示し；Ｎｋはその数列中の中間ノードの一つを示し；ＮＨは混合構成要素ｍを表すリーフ・ノードを示す。
【００３０】
λｋ＝（υｋ，ηｋ）とし、ノードＮｋに関するｐｄｆパラメータのセットを表すものとする。このパラメータのセットλｋは、特徴ベクトルの数列Ｙを所与として、以下に説明する事後確率を最大化することによって決定される。一度λｋが決定されるとＨＭＭパラメータ・セットΘは上記の式［７］および［８］を用いて容易に求められることに留意されたい。
【００３１】
本発明のＳＭＡＰ方法によれば、λＨについての前述の「階層上の前段階」として、｛λ０，λ１，．．．λｋ．．．，λＨ−１｝のセットが使用される。但し、λ０＝（Ｏ，Ｉ）である。不整合ｐｄｆパラメータのセットλ０は根元ノード（親ノード）２０３に関わるパラメータ・セットλ１にとっての前段階であると仮定され、ノードＮｋに関わるパラメータ・セットλｋはその直接の従属ノードあるいは子ノードであるＮｋ＋１に関わるパラメータ・セットλｋ＋１にとっての前段階として使用される。
【００３２】
λｋの事後分布は、次の式で表される：
【数７】
0003742236.tif 000008
但し、
【数８】
0003742236.tif 000009
但し、ｋ＝Ｈ，．．．，１である。［９］の事後分布の評価を単純化するために、２つの概数が使用されている。最大事後（ＭＡＰ）推定によって求められる確率を用いる第１の概数は、次の式で表される：
【数９】
0003742236.tif 000010
但し、
【数１０】
0003742236.tif 000011
第２の概数は、次の式で表される：
【数１１】
0003742236.tif 000012
これらの概数を使うことで、各ノードＮｋについての不整合ｐｄｆパラメータのＭＡＰ推定値が次のように決定できる：
【数１２】
0003742236.tif 000013
ここで、Ｇｋは、ノードＮｋで表されるＧのサブセットである；（υ〜ｋ，η〜ｋ）は（υｋ，ηｋ）についてのＭＬ推定値を表す。パラメータΨ＞０、およびξ＞１は、標準的なコントロール・パラメータである。根元ノードＮ１からリーフ・ノードＮＨまでノードの順序にしたがって式［１８］および［１９］を連続してあてはめていくと、リーフ・ノードＮＨについての期待値υＨおよび分散ηＨが得られる。これらのυＨおよびηＨは、本発明のＳＭＡＰ方法により、式［７］および［８］中で混合構成要素を変更するためにそれぞれυｐおよびηｐとして使用される。
【００３３】
リーフ・ノードＮＨについて、式［１８］は次のように書き換えることができることに留意されたい：
【数１３】
0003742236.tif 000014
ここで、
【数１４】
0003742236.tif 000015
式［２１］から、ＳＭＡＰ方法による推定期待値υＨは木構造２００の異なるレベルにおけるＭＬ推定値υ〜ｋの加重合計として想像することができる。ノードＮｋでは利用できる適応データが多ければ多いほどΓｋが大きくなり、またｗｋも同様であることにも留意されたい。さらに、ノードＮｋにおけるυ〜ｋについての加重ｗｋは、ｋの値に対して指数的に減少する。こうして、利用できる適応データの量が相対的に少ない場合は、木構造２００の上位レベルに対応するＭＬ推定値υ〜ｋが［２１］の推定期待値において支配的となる。他方、利用できる適応データの量が相対的に多い場合は、下位レベルに対応するＭＬ推定値υ〜ｋがその推定期待値において支配的となる。
【００３４】
今度は木構造２００の構築手法を説明する。音響特性空間にはめ込まれた構造についての先見的な知識が、すべての混合構成要素のセットＧについての木構造２００の構築に使用されるべきである。この木構造の構築は、例えば、T. Watanabe他、“Speech Recognition Using Tree-Structured Probability Density Function,”Proc., of ICSLP-94, 1994, pp. 223-226に記載された手法に基づく。
【００３５】
この木構造の構築においては、混合構成要素の間の距離の尺度として、混合構成要素のｐｄｆ間の有名なクルバック発散が使用される。これによれば、２つの混合構成要素、たとえばｇｍとｇｎとの間の距離ｄ（ｍ，ｎ）は、次のように決定される：
【数１５】
0003742236.tif 000016
ここで、σｍ（ｉ）は、共分散Ｓｍの第ｉ番目の対角線要素を表す。ノードｐｄｆが、木構造２００の各ノードに割り当てられる。混合構成要素ｇｍ（ｋ）＝Ｎ（Ｘ｜μｍ（ｋ），Ｓｍ（ｋ））、ｍ＝１，．．．，Ｍｋ、が属するノードＮｋのｐｄｆパラメータは、次のようにして求められる：
【数１６】
0003742236.tif 000017
【００３６】
図３は、混合構成要素のクラスター化のための従来のｋ型クラスター化アルゴリズム３００を示す。このアルゴリズムによれば、各ノードからの分岐の数および木構造２００のレベルの数はあらかじめ決まっており、クラスター化は回帰的に実行される。とくに、ステップ３０５で示すように、最初に根元ノード（親ノード）２０３がノードｎになるように設定される。ステップ３０８で、ノードｎに子ノードがあるかどうかが判断される。ノードｎに子ノードがなければ、アルゴリズム３００は終了する。
【００３７】
他方、ノードｎに一つまたは複数の子ノードがある場合、ステップ３１１に示すように初期ｐｄｆは有名なミニマックス法を用いてその子ノードそれぞれに割り当てられる。ステップ３１５では、式［２３］を用いてその子ノードｐｄｆとその混合構成要素との間の距離を計算することによって、ノードｎで表される混合構成要素のセットが子ノードの間で分割される。各混合構成要素は、その混合構成要素にｐｄｆがもっとも近い子ノードに割り当てられる。次にｐｄｆは、式［２４］および［２５］に基づいて、ノードｎの各子ノードについてステップ３１８で計算される。各子ノードについて、子ノードｐｄｆからその子ノードで表される混合構成要素までの距離の合計が計算される。ノードｎのすべての子ノードについての距離の合計を加算して、総合計を算出する。次に、ステップ３２１に示すように、その総合計が収斂するかどうかを判断する。その総合計が収斂しない場合は、アルゴリズム３００はステップ３１５に戻る。逆にこれが収斂する場合は、ステップ３２２に示すように各子ノードがノードｎに設定される。それぞれの新しいノードｎについて、アルゴリズム３００はステップ３０８に戻る。
【００３８】
上記のことがらは、単に本発明の原則を示すものである。この分野に精通した人物なら、本文中に明示的に表示されあるいは記述されてはいないが本発明の原則を具体化し、したがって本発明の核心と範囲に含まれる多数のシステムを考案することができることを理解されたい。
【００３９】
例えば、ここに開示した実施形態では、音声認識システム１００による学習は管理されていない。つまり、ユーザが学習用に供給する音声は管理されていない。しかし、このような学習は管理を受けて行い、その中でユーザは一定のあらかじめ選ばれた学習用の単語だけを話すようにすることも可能であることを理解されたい。
【図面の簡単な説明】
【図１】  本発明による音声認識システムのブロック図である。
【図２】  それによって図１のシステム中のＨＭＭがその学習段階中に適応化される階層構造を示す。
【図３】  図２の階層構造を構築するためのアルゴリズムを示すフローチャートである。
【図１】
0003742236.tif 000018
【図２】
0003742236.tif 000019
【図３】
0003742236.tif 000020