(57)【特許請求の範囲】
【請求項１】
音声のサブセットに対するモデルを改善する方法であって、該モデルは、複数の状態を有しており、該複数の状態のそれぞれは、未決定のパラメータを有する状態確率関数に対応しており、該状態確率関数のそれぞれは、マスターコードブックに格納されている複数の所定の確率関数の混合によって表されており、該複数の所定の確率関数のそれぞれは、ガウス関数であり、
該方法は、
ａ）音声トレーニングデータから複数の特徴ベクトルを抽出するステップと、
ｂ）該複数の特徴ベクトルを用いて、該モデルの該複数の状態にそれぞれ関連付けられた複数の所定の確率関数に対する重み付け係数を表すパラメータを決定するステップと
を包含し、
該ステップｂ）は、
複数の状態確率関数を表す該複数の所定の確率関数の類似性に基づいて、該複数の状態を複数のクラスタにグループ化するステップであって、該複数のクラスタのそれぞれは、互いに類似する状態確率関数を有する複数の状態を含む、ステップと、
該マスターコードブックを分割することによって複数のクラスタコードブックを生成するステップであって、該複数のクラスタコードブックのそれぞれは、該複数のクラスタのうちの対応する１つに関連づけられており、該複数のクラスタコードブックのそれぞれは、各クラスタにおける該複数の状態によって共有される該複数の所定の確率関数のセットとして定義されている、ステップと、
該複数の所定の確率関数のうちの残りの重み付け係数よりも大きい重み付け係数を有する該複数の所定の確率関数のうちの少なくとも１つを保持し、かつ、該複数の所定の確率関数のうちの残りを削除することによって、各クラスタコードブックにおいて用いられる該所定の確率関数の個数を減らすように、該複数のクラスタコードブックを簡略化するステップと、
該簡略化するステップの後に、該クラスタにおける該複数の状態によりよくフィットするように各クラスタコードブックにおける該複数の所定の確率関数を推定し、かつ、該クラスタにおける各状態に対する該パラメータを推定するステップと
を包含する、方法。
【請求項２】
前記複数のクラスタの個数は、システムリソースと所望のパフォーマンス特性とに基づいて選択される任意の数である、請求項１に記載の方法。
【請求項３】
前記グループ化するステップにより、１つのクラスタのすべての状態が１個の音素およびその複数の異音の状態になる、請求項１に記載の方法。
【請求項４】
１個の単音を表す複数の状態は、異なる複数のクラスタコードブックに格納される複数の所定の確率関数によって表される状態確率関数に対応する、請求項１に記載の方法。
【請求項５】
前記モデルは、３状態の隠れマルコフモデルである、請求項１に記載の方法。
【請求項６】
音声のサブセットに対するモデルを改善する装置であって、
コンピュータと、
格納手段と、
該格納手段に格納される音声のサブユニットに対応する１セットのモデルであって、各モデルは、複数の状態を有しており、該複数の状態のそれぞれは、未決定のパラメータを有する状態確率密度関数に対応しており、該状態確率密度関数のそれぞれは、マスターコードブックに格納されている複数の所定の確率密度関数の混合によって表されており、該複数の所定の確率密度関数のそれぞれは、ガウス関数である、１セットのモデルと、
該コンピュータにおける特徴抽出器であって、該コンピュータにより処理されうる特徴データを音声信号から抽出する特徴抽出器と、
該コンピュータにおけるトレーニング手段であって、音声データの識別されたサンプルからの特徴を用いて該モデルをトレーニングし、かつ、該モデルによって用いられる該複数の所定の確率密度関数のマスタコードブックを生成するトレーニング手段と、
該コンピュータにおけるグループ化手段であって、該グループ化手段は、複数の状態確率密度関数を表す該複数の所定の確率密度関数の類似性に基づいて、該複数の状態を複数のクラスタにグループ化し、該複数のクラスタのそれぞれは、互いに類似する状態確率関数を有する複数の状態を含む、グループ化手段と、
該コンピュータにおける生成および簡略化手段であって、
該マスターコードブックを分割することによって複数のクラスタコードブックを生成することであって、該複数のクラスタコードブックのそれぞれは、該複数のクラスタのうちの対応する１つに関連づけられており、該複数のクラスタコードブックのそれぞれは、各クラスタにおける該複数の状態によって共有される該複数の所定の確率密度関数のセットとして定義されている、ことと、
該複数の所定の確率密度関数のうちの残りの重み付け係数よりも大きい重み付け係数を有する該複数の所定の確率密度関数のうちの少なくとも１つを保持し、かつ、各クラスタコードブックにおける該複数の所定の確率密度関数のうちの残りを削除することによって、各クラスタコードブックにおいて用いられる該所定の確率密度関数の個数を減らすように、該複数のクラスタコードブックを簡略化することとによって、該複数のクラスタコードブックを生成し、簡略化する生成および簡略化手段と、
該複数のクラスタコードブックを簡略化した後に、該クラスタにおける該状態に対する該モデルをトレーニングし、かつ、該クラスタコードブックのそれぞれにおける確率密度関数のサブセットのそれぞれに対する確率密度を計算する推定手段と、
音声データの認識されるべきサンプルからの特徴を該モデルとマッチングさせることによって、該モデルを介して最尤パスを生成する認識手段であって、該パスが、該音声データにおける最尤のサブユニットおよび単語を決定する、認識手段と
を備えている、装置。
【発明の詳細な説明】
著作権の注記
本特許書類の開示の一部は、著作権保護の対象となる素材を含んでいる。著作権所有者は、特許および商標庁の特許ファイルあるいは記録の中に存在するものである限り（そうでない場合には、発生しているすべての著作権を保有するものであるが）、本特許書類あるいは本特許の開示に関わる誰かによって複写機による複製がなされることに異議を申し立てる権利を有していない。
発明の分野
本発明は、一部は、海軍研究庁から契約番号第014-92-C-0154号で得られた許可により支援され、また一部は、カリフォルニア州、Menlo ParkのSRI Internationalによって支援された。政府は、この素材に対してある種の権利を有している。
本発明は、コンピュータによる音声認識に関しており、より具体的には、隠れマルコフモデル（ＨＭＭ）音声認識のためにガウス確率関数を部分的に共通化したガウス混合を用いて、多くの語彙から音声を認識するための方法に関している。
この技術は、隠れマルコフモデルを用いる音声認識システムに関する技術分野の現状に精通していることを前提とするのみならず、統計学およびマルコフプロセスにも基本的に精通していることを前提としている。この技術分野の現状の例として、以下の特許および出版物を参照する。これらの特許および出版物は、本発明に関連して本願発明者の注意を惹いたものである。ただし、これらの参考文献のすべてが、関連する先行技術に値するものではない。
発明者 米国特許番号 発行日
Bahlら            第4,817,156号        89年３月28日
Levinsonら        第4,587,670号        86年５月６日
Juangら           第4,783,804号        88年11月８日
Bahlら            第4,741,036号        88年４月26日
論文
Rabiner、“A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition”、Proc.IEEE、第77巻、第２号、1989年２月。
Gray、“Vector Quantization”、The ASSP Magazine、第１巻、第２号、第３〜29頁（1984年４月）。
L.R.Rabiner、B.H.Juang、S.E.LevinsonおよびM.M.Sondhi、“Recognition of Isolated Digits Using Hidden Markov Models with Continuous Mixture Densities”、Bell Systems Tech.Journal、第64（６）巻、第1211〜34頁、1985年。
X.D.HuangおよびM.A.Jack、“Performance Comparison Between Semicontinuous and Discrete Hidden Markov Models”、IEEE Electronics Letters、第24巻、第３号、第149〜150頁。
J.R.BellegardaおよびD.Nahamoo、“Tied Mixture Continuous Parameter Modeling for Speech Recognition”、IEEE Tans.ASSP、第38（12）巻、第2033〜2045頁、1990年12月。
C.Lee、L.Rabiner、R.PieracciniおよびJ.Wilpon、“Acoustic Modeling for Large Vocabulary Speech Recognition”、Computer Speech and Language、1990年４月、第127〜165頁。
D.Pallett、“Results for the Sept.1992 Resource Management Benchmark”、DARPA Workshop on Artificial Neural Networks and CSR、1992年９月。
D.B.PaulおよびE.A.Martin、“Speaker Stress-resistant Continuous Speech Recognition”、Proc.ICASSP、第283〜286頁、1988年４月。
K.F.Lee、“Context-Dependent Phonetic Hidden Markov Models for Speaker-Independent Continuous Speech Recognition”、IEEE Trans.ASSP、第599〜609頁、1990年４月。
L.R.Bahl、P.V.de Souza、P.S.Gopalakrishnan、D.Naha-mooおよびM.A.Picheny、“Context Dependent Modeling of Phones in Continuous Speech Using Decision Trees”、DARPA Workshop on Speech and Natural Language、第264〜269頁、1991年２月。
M.-Y.HwangおよびX.D.Huang、“Subphonetic Modeling with Markov States−Senone”、Proc.ICASSP、第I-33〜36頁、1992年３月。
H.Murveit、J.Butzberger、V.DigalakisおよびM.Weintraub、“Large Vocabulary Dictation using SRI’s DECIPHERTM Speech Recognition System: Progressive Search Techniques”、Proc.ICASSP、第II-319〜II-322頁、1993年４月。
S.J.Young、“The General Use of Tying in Phoneme-Based HMM Speech Recognizers”、Proc.ICASSP、第I-569〜I-572頁、1992年３月。
R.Haeb-UmbachおよびH.Ney、“Linear Discriminant Analysis for Improved Large Vocabulary Continuous Speech Recognition”、Proc.ICASSP、第I-13〜I-16頁、1992年３月。
J.L.GauvainおよびC.H.Lee、“Bayesian Learning of Gaussian Mixture Densities for Hidden Markov Models”、Proc.DARPA Speech and Natural Language Workshop、1991年２月。
V.Digalakis、P.MonacoおよびH.Murveit、“Acoustic Calibration and Search in SRI’s Large Vocabulary HMM-based Speech Recognition System”、Proc.IEEE ASR Workshop、Snowbird、1993年12月。
K.F.LeeおよびH.W.Hon、“Speaker Independent Phone Recognition Using Hidden Markov Models”、IEEE Trans ASSP、第1641〜1648頁、1989年。
D.Pallet、J.G.Fiscus、W.M.FisherおよびJ.S.Garofolo、“Benchmark Tests for the DARPA Spoken Language Program”、HLT Workshop、Princeton、1993年３月。
Rabinerの論文は、本発明を理解するための基礎である、隠れマルコフモデルの音声認識への応用に関する概説論文である。この論文は、本願でも参考として援用される。
それ以外の特許および出版物は、一般的な分野でのその他の研究を記載している。
Bahlら（第’156号）は、話者に対してマルコフモデルの音声認識機の統計をトレーニングする装置および方法に関するIBMの研究を記載している。この特許における方法は、トレーニングデータの量が少ない話者に対応する、マルコフモデルにおける遷移でのラベル出力確率を決定する。
隠れマルコフモデルについての標準的なトレーニングおよび認識アルゴリズムは、J.K.Baker、“Stochastic Modeling as a Means of Automatic Speech Recognition”、PhD Thesis Carnegie-Mellon University Computer Science Department、1975年４月、あるいはLevinsonら、“An Introduction to the Application of the Theory of Probabilistic Functions on a Markov Process to Automatic Speech Recognition”、Bell Sys.Tech.Journal、第62（４）巻、1983年４月に記載されている。
Levinsonらは、音声認識機に関するAT & T Bell Labsの研究を記載している。この音声認識機には、制約された隠れマルコフモデルのための複数の参照テンプレートと、その複数の参照テンプレートの所定の音響的特徴を表す１セットの信号とが格納されている。
Juangらは、隠れマルコフモデル音声認識構成に関する別のAT & T Bell Labsの研究を記載している。マルコフモデル音声パターンテンプレートは、識別された音声パターンを解析して、音響特徴信号のフレームシーケンスを生成することによって形成される。
Bahlら（第’036号）は、音素の語順を表すマルコフモデルのための確率ベクトルデータを重みづけすることによって、話者が類似した単語を発声した場合における単語間の判別が改善される、音声認識システムに関するIBMの研究を記載している。この重みづけベクトルは、ビタビ整合（alignment）および正しい認識多変数（multivariate）分布と、正しくない認識多変数分布との間の差を最大化する多変数解析を用いて類似した音響の発話を比較することによって、それぞれの参照単語について得られる。
部分的に共通化されたガウス混合は、Lee（90年）およびHaeb-Umbach（92年）に記載されている。これらの参考文献において、同一の音素の異音（同一の音素の異なる文脈における例）に属するHMM状態のみが、ガウス混合（すなわち、重みづけられたガウス確率関数の和）を求めるために用いられるガウス確率関数を共通化する。しかし、これらの音声学的に共通化された混合（PTM）が、認識のパフォーマンスを大幅に改善することはなかった。
発明の要旨
本発明によれば、音声認識のための隠れマルコフモデル（HMM）のセットを構築するための計算的に実行可能な方法を用いる音声認識機が提供される。この方法では、HMMは、部分的で、かつ最適な度合いの混合共通化を利用する。部分的に共通化されたHMMでは、完全に共通化されたHMMを用いるシステムに比べて少ない計算オーバーヘッドで、多くの語彙の単語集積（word corpus）について、完全に共通化されたHMMを用いるシステムよりも改善された認識精度が実現される。この計算的に実行可能な技術は、互いに近接するガウス混合を共用するHMM状態のクラスタを決定するステップと、これらのクラスタに対してサブセットコードブックを改善するステップと、クラスタリングされた状態をもっともよく表現するためにそのコードブックにおけるガウシアンを再び計算するステップと、を含んでいる。
本発明は、添付の図面と併せて以下の詳細な説明を参照すれば、もっとよく理解することができるであろう。
【図面の簡単な説明】
図１は、音声認識システムの設計時における公知の従来技術によるステップを示すフローチャートである。
図２は、単一の音素に対するHMMの図である。
図３は、ガウス曲線の混合を、ある音素のある状態について観測された特徴データにフィットさせる方法を示す図である。
図４は、本発明による部分的に共通化されたガウス混合を生成する方法を示すフローチャートである。
発明の詳細な説明
コンピュータによる自動音声認識の課題および技術をみなおせば、本発明をより容易に理解できるだろう。
図１は、音声認識システムを設計するときに利用されるよくある従来技術のステップをおおまかに示す。システムの設計者の最初の仕事は、発話音および単語を表現するためにコンピュータにおいて用いられるモデルを選択することである（ステップA1）。モデルを選択することは、システムが音声のどのサブユニットを処理し、認識しようとするかを決定することを伴い、かつ物理的な音声信号をモデリングされたサブユニットにマッチングさせるアルゴリズムを決定することを伴う。認識のためのよくあるサブユニットは、音素である。ある公知の音声認識システムにおいては、英語は４０の音素からなるものとしてとモデリングされる。例えば単語「water」のある発音は、４つの音素w、ao、t、およびaxrによって表現される。
与えられた音声信号における特定の音素を検出することは、複雑な仕事である。なぜなら発話のスタイルは、話者の間で大きく変化し、また、同じ話者であっても、時が異なれば大きく変化するからである。一般には、実際の信号データと、音素がどのように発音されうるかということについて音声認識システムが知っていることとの間の最もよいマッチングを決定するために、ある種の確率分析が音声信号に施される。入力音声を音素にマッチングさせるよくある方法は、隠れマルコフモデル（HMM）を用いる。あるHMM音声認識システムは、それぞれの音素について、３状態の方向付きHMM（図２に示す）を構築する。
いったんモデルが選択されると、音声認識システムをつくる中での次のステップは、モデルをトレーニングするのに用いるトレーニングデータのセットから特徴を抽出することである。音声データからの特徴抽出は、HMMをトレーニングすることにおいても、HMMを用いて音声信号中の単語を認識することにおいても用いられるプロセスである。特徴抽出プロセスは、音声入力を受け取り、時間的に音声入力をフレームに分割し（ある公知のシステムでは、フレームは10msの期間をもつ）、それぞれのフレームについて出力として複数の特徴ベクトルからなるストリングをつくる。
モデルのトレーニング（ステップA3）は、最適なモデルパラメータを決定するためにトレーニングデータからの特徴を用いることからなる。トレーニングデータは、典型的には既知の音声サンプルを話す何人かの異なる話者からの記録された音声データからなる。集められた音声データからいったんある特徴データが抽出されると、それぞれの音素についてHMM用のパラメータを決定するためにアルゴリズムが用いられる。このアルゴリズムは、モデルを用いて計算される特徴と、トレーニングデータにおいて観測される特徴との間の最もよいマッチングを与えるために、特定の音素のHMMに対するパラメータを選択する。
いったんそれぞれのHMMについてのパラメータが決定されると、トレーニングされたHMMは、それらのパラメータとともに音声認識システムに格納される（ステップS4）。すると、認識システムには、未知の音声信号を処理して、話されたいちばん尤もらしい単語を決定することの準備が整う。
本発明は、第一にトレーニングおよび格納ステップに関しており、HMMおよびHMMパラメータを最適に共通化されたガウシアン混合として改善するための改善された方法および装置を含む。
図２は、単語「water」の最初の母音の音を表現する音素「ao」のような単一の音素に対する、あるタイプの３状態HMMを示す。３つの状態s1、s2およびs3は、与えられたフレーム中に検出されるかもしれない特徴の集積と関連づけられている。状態間のそれぞれの遷移と関連づけられているのは、フレーム間のその遷移をとる確率である。この確率は、モデルが選択されるときには設定されず、実際の音声データを用いるトレーニングステップにおいて決定される。遷移確率分布は、異なる発話速度または異なる発音に起因する音声の異なる部分において起こりうる、音声の期間が変化することを暗示的にモデリングする。
３つの起こりうるHMM状態のそれぞれと関連つけられているのは、観測された特徴のセットyがそのそれぞれの状態において音声信号に対応する確率を与える確率関数Ｐ（ｙ｜s1）、Ｐ（ｙ｜s2）、Ｐ（ｙ｜s3）である。一例として、関数Ｐ（ｙ｜s1）は、特徴セットｙにより表現される音声の与えられたフレームが状態s1にある確率Ps1を与える。HMMは、さらに、関連づけられた確率関数Ｐ（s1｜s1）、Ｐ（s2｜s1）、Ｐ（s2｜s2）、Ｐ（s2｜s3）、Ｐ（s3｜s3）、Ｐ（s3｜sexit）とともに６つの遷移t1〜6を含む。このモデルによれば、遷移はフレームの境界ごとに起こり、上述の遷移確率関数が、システムがある特定の状態にあるものとした時の、その特定の遷移がとられる確率を決定する。
音声認識システムのためのモデルを選択する作業の一部として、システム設計者は、確率方程式Ｐ（ｙ｜s1）、Ｐ（ｙ｜s2）、Ｐ（ｙ｜s3）の形式を決定する。本発明によってつくられる音声認識システムは、音素に対するHMMにおいて用いられる確率関数を改善し、かつ、それらのHMMを音声認識のあいだに用いるために格納するための新規で改善された方法を用いる。
Ｐ（ｙ｜s1）のような与えられたHMM状態に対する確率関数を決定する作業は、図３に示される。曲線60は、観測されたトレーニング特徴データから決定されるＰ（ｙ｜s1）を表現する。音声認識システムの設計者は、ある特徴セットｙが与えられる時に、そのシステムが状態s1にある確率をつくる確率関数Ｐ（ｙ｜s1）を改善したいと願う。この確率関数は、観測されたデータ60に「フィット」しなければならない。現存する音声認識システムにおいては、トレーニングデータは、曲線62a〜eで示される重みづけされたガウス確率関数の和によって表現されうることがわかっている。この重みづけされたガウス和は、この技術分野では「ガウス混合」とよばれる。もしそれぞれガウス曲線62a〜eが重みづけされたガウス関数λiGi（ｙ）によって表現されるなら、確率Ｐ（ｙ｜s1）は、関数
（１）      Ｐ（ｙ｜ｓ）＝ΣλiGi（ｙ）
によって表現でき、このときｓはHMM状態を、ｙは与えられたフレームｔにおいて観測された特徴を、Gi（ｙ）は一連のガウス曲線を、λiは一連の重みづけ定数を表現する。
もしこの音声認識システムの設計者が方程式（１）のかたちの確率関数を用いるモデルを選ぶなら、トレーニングアルゴリズムの作業は、それぞれのHMM状態について観測されたトレーニングデータに最もよくフィットするガウス曲線Giと、重みづけ係数λiとのセットを決定することである。いったんガウス曲線および重みづけ係数が決定されると、それらは認識に用いるために格納される。
従来技術の認識機の差異をうむ１つの特徴は、格納されたガウス曲線62a〜eが異なるHMM状態間で共用される程度である。完全に連続なガウス混合を用いるシステムにおいては、ガウス曲線の共用は存在しない。ガウス曲線の異なるセットが評価され、それぞれ異なるHMM状態について格納される。
他のシステムは、それぞれの状態の確率密度を近似するために共通化されたガウス混合を用いていた。そのようなシステムにおいては、ガウス曲線の同じセットがシステム中の２つ以上のHMM状態について用いられ、重みづけ係数λiだけがそれぞれのHMM状態について修正される。システム中のすべてのHMM状態について同一のガウス曲線が用いられる場合、この技術分野では、そのようなシステムは、完全に共通化されたガウス混合システムとよばれる。ある典型的な、完全に共通化されたガウス混合システムにおいては、HMM確率密度を推定するためにトレーニングアルゴリズムは、250のガウス曲線を計算し、250のλi係数が決定され、それぞれのHMM状態について格納される。この技術分野では、語「コードブック」は、共通化された混合システムにおけるHMM状態を近似するために用いられるガウス曲線のセットGiをいうものとして定義される。
完全に共通化されたガウス混合システムおよび完全に連続なガウス混合を用いるシステムの相対的なパフォーマンスは、特定のタスクおよび利用できるトレーニングデータの量に依存する。完全に連続なガウス混合を用いるシステムは、典型的には、より多くの量のトレーニングデータと、システム中にそれぞれの状態のガウス曲線を格納するための、より多くの量のメモリとを必要とする。その結果、少量から中程度の量のトレーニングデータをもつ共通化された混合のHMMのパフォーマンスは、完全に連続なものより優れているようにみえるかもしれないが、より多くの量のトレーニングデータおよび適切なスムージングがあれば、完全に連続なHMMのパフォーマンスのほうがよい。
本発明によれば、音声認識機は、完全に共通化されたガウス混合と完全に連続なガウス混合との間となるようにHMM状態確率関数を改善し、かつ格納する方法を用いる。完全に連続でかつ完全に共通化された混合HMMの間のスペクトルにおいて１つの他の点だけが、従来技術において調べられた（90年のLeeおよび92年のHaeb-Umbachを参照）。これらの文献においては、同じ音素の異音に属するHMMの状態だけが同一の混合要素を共用する。これらの従来技術のシステムにおいては、コードブックの数は、システム中の音素の数に等しく、１つの音素のすべての異音およびその音素のすべての状態は、同じコードブックを共用していた。しかしこれらの音声学的に共通化された混合は、以前の研究においては大きく認識パフォーマンスを改善しなかった。
従来技術の共通化された混合は、いくつかの認識機において密度尤度のロバストな推定および効率的な計算を達成する。しかし、従来技術のシステムで用いられる典型的なコードブックのサイズは小さく、かつ音響空間のよい表現を提供しない。本発明によれば、システムにおいて用いられるコードブックの数を増し、かつ共通化の程度を減らすことによって解像度が改善される。本発明は、コードブックのサイズの減少と、異なるコードブックの数を増加とを同時におこなうアプローチにしたがう。よって本発明は、共通化の程度を減らし、２つの変更は、システム中のガウス曲線の総数が効率的に増やされ、解像度が改善されるようにバランスがとられる。
本発明においては、より効率的に混合要素を共用できるHMM状態のサブセットを特定する自動プロシージャを用いることによって、パフォーマンスが最適化されうる。本発明は、完全に共通化された混合システムのようなより高い程度の混合共通化をもつシステムからのブートストラップアプローチにしたがい、順次、混合の共通化を緩めていく。
図４は、完全に共通化されたガウスシステムから部分的に共通化されたガウス混合を改善する方法のフローチャートである。まずすべての音素のHMM状態が、統合型階層クラスタリングプロシージャにしたがいクラスタリングされる（ステップA10）。クラスタリングは、1990年にM.F.Leeにより開示されている、混合重みづけ分布のカウントによって重みづけされたエントロピーに基づいている。クラスタリングプロシージャは、HMMの状態のセットSを分解セット（つまり状態のクラスタCi）に分割する。
いったん状態がクラスタにグルーピングされると、クラスタは、分割されて、個々のコードブックがそれぞれのクラスタCiについてつくられる（ステップA12）。同じコードブックが特定のクラスタに属するすべてのHMM状態について用いられる。クラスタコードブックは、それから簡略化され（ステップA14）て、個々のコードブックのそれぞれにあるエントリの数を減らす。簡略化ステップにおいて、クラスタにおける複数のの状態の最も小さい成分であるガウス曲線は、コードブックから除去される。これらの簡略化されたコードブックは、こんどはシードコードブックとして次のフェーズで用いられる。
いったん別々のコードブックがそれぞれのクラスタについて改善されると、そのクラスタにおける状態についての確率関数の推定は、ある１つのクラスタの状態だけを見てパラメータおよびガウス関数を再推定することによって改善される（ステップA16）。ある具体的な実施態様においては、パラメータは、Baum-Welchのアルゴリズムを用いて再推定される。このステップは、クラスタコードブックが、マスタコードブック中の初期値から偏移し、確率分布のよりよい近似を達成することを可能にする。
上述のプロシージャは、図5Aおよび図5Bにグラフ的に図示されている。図5Aは、３つの３状態HMMであるM1、M2およびM3の表現を示している。これらのHMMのそれぞれの状態は、システムに対するマスタコードブックから取られた、重みづけされた混合であるガウス混合に関連づけられている。マスタコードブックは、楕円100により表現されている。この楕円の中の点は、HMMに対する混合を含むそれぞれ異なるガウス曲線を表現している。250のガウス曲線を用いる、上述した完全に共通化されたHMMシステムにおいては、それぞれの状態は、楕円100内の250個の異なる点を指している、250本の異なる重みのつけられた矢印によって表現されうる。図5A〜図5Dにおいて、それぞれの状態から楕円100内を指しているように示されている１本の矢印は、それら250本の矢印、つまり重みづけ係数の平均を表している。換言すれば、ある特定のHMM状態に対する矢印が指している全体領域（general area）におけるガウス曲線は、その状態のガウス混合の最大の要素である。
クラスタリングステップでは、図5Bに図示されているように、ガウス混合において類似したガウス曲線のグループを共用するHMM状態が識別され、クラスタにグルーピングされる。グルーピングされた状態は、参照番号101a〜b、102a〜c、103、104a〜bおよび105により表されている。
分割および簡略化ステップでは、図5Cに示されているように、マスタコードブックにおけるガウス曲線のサブセットを含む新しいコードブックが、それぞれのクラスタについてつくられ、それぞれのクラスタ内に格納されるガウス曲線の個数は、そのクラスタにおける状態に対応する確率関数について最も重い係数であるガウス曲線のみを選択し、残りを捨てることによって減らされる。
図5Dに図示されている再推定ステップでは、これらのクラスタコードブックは、再推定プロセスにより互いに独立したものにされる。これによって、それぞれのクラスタコードブックにおけるガウス曲線は、そのクラスタにおける状態に関連づけられた確率関数に最もよくフィットするものと再推定される。これらの独立したクラスタコードブックは、本願では、「ジェノン（genone）」と呼ばれる。
パラメータの再推定は、標準的なBaum-Welchの再推定式を用いれば実現される。なぜなら、共通化をおこなっても、Youngが1992年に指摘したように、その形式を改変するものではないからである。認識時において、さらには、ガウス最尤度の評価に伴う大量の計算を減らすために、本発明のある実施形態では、ベクトル量子化に基づいている、1993年にDigalakisによって記載された高速計算スキームを用いる。
HMMにおいて、音素ユニットまたは副音素のユニットのいずれかをクラスタリングすることは、1988年のPaul、1990年のLee、1991年のBahlおよび1992年のHwangにより記載された従来技術のシステムにおいて用いられていた。これらのシステムのどの１つも、本発明よりも低いパフォーマンスしか実現できない。なぜなら、互いに異なるHMM状態の混合−重みクラスタリングによってシステム内のフリーパラメータの個数を減らすことはできるが、音響空間が表現される解像度を改善することはできないからである。これは、システム内の要素密度の総数が同じままであるからである。本発明は、混合要素を共用するサブ音声領域（sub-phonetic regions）のセットを識別するためにクラスタリングを用いる。混合要素のオリジナルセットが多数のオーバーラップするコードブックに分割され、対応するクラスタに属する状態からのデータを用いて、それぞれのコードブックが再推定される、この方法の後続ステップにより、システム内の個別密度の数を効率よく増やし、音響空間の解像度に所望の詳細を与えることができる。
本発明によれば、システムにおけるクラスタおよびクラスタコードブックの最終的な数は任意である。ある特定のシステムに対するクラスタの最適な数は、システム設計者により選択されてもいいし、トレーニングアルゴリズムによって、ある与えられたセットの音声データを表現するのに最適なクラスタの数を決めるようにしてもよい。
実験結果
本発明による方法は、SRIのDECIPHERTM音声認識システムと、高速実験用のプログレシブサーチフレームワークとを用いて、Wall Street Journal（WSJ）集積の5,000語認識課題および64,000語認識課題について評価された。このアプローチでは、最初の高速認識パスは、改善セットにおけるすべての文章について単語の束（lattice）をつくる。これらの単語の束は、後続するすべての実験においてサーチ空間を制約するために用いられる。
我々の最初の改善は、データベースの5,000語の部分を用いておこなわれた。我々は、Lincoln研究所により提供されたバイグラム（bigram）言語モデルを用いた。表１は、18人の男性の話者と、360の文章とからなる改善セットに対する、共通化された混合（TM）、音声学に共通化された混合（PTM）およびジェノン的（genonic）混合（ジェノン）のパフォーマンスおよびフリーパラメータの数を比較している。この実験のためのトレーニングデータは、42人の話者からの3,500の文章を含んでいた。共通化の度合いの低いシステムは、従来の共通化された混合に比べて25％もそのパフォーマンスが勝っていること、また、同時に、コードブックのサイズの縮小されていることが原因でフリーパラメータの数も少なくなっていることがわかる。改善セットについてのパラメータを最適化した後、我々は、1992年11月のARPA評価セットを用いて、84人の話者からの7,200の文章に対してトレーニングされた性依存システムのパフォーマンスを評価した（表２を参照）。そのセットについては、495のジェノンをもつ最良のジェノン的混合は、音声学的に共通化された混合よりも14％だけパフォーマンスが勝っていることがわかる。
0004141495.tif 000002
0004141495.tif 000003
以下の１セットの実験において、我々は、データベースの64,000語の部分を用いた。20,000語のオープンボキャブラリ言語モデルが用いられた。トレーニングデータは、280人の話者からの37,000の文章から構成され、性依存モデルが作られた。20,000語の1992年11月の評価セットの男性サブセットが、バイグラム言語モデルと共に用いられた。いくらか驚くべき結果が、表３に示されている。第１行は、DECIPHERTMにおいて用いられる６つの静的および動的なスペクトルおよびエネルギーの特徴を独立した観測ストリームとしてモデリングするシステムの認識パフォーマンスを示している。第２行は、単一のストリームにおける６つの特徴をモデリングするシステムのパフォーマンスを示している。これら２つのシステムのパフォーマンスが類似していることがわかる。過去においては、独立したストリームを用いて特徴をモデリングすれば、パフォーマンスが大幅に向上することが示されていた（1989年のK.F.Leeを参照のこと）。しかし、この結果は、離散密度HMMに基づくものであった。本発明の場合は、少量の共通化により音響空間の精細な表現が可能になるので、それぞれの特徴を別個に「量子化」し、その外積をとることによって、解像度の正確さを改善することは不要になる。後続するすべての実験において、我々は、単一の観測ストリームを用いてすべての特徴をモデリングした。
0004141495.tif 000004
表４は、システムにおいて用いられるジェノンの個数を変えることによって、さまざまな度合いの共通化を比較している。利用可能なトレーニングデータの量が多くなっているので、PTMシステムに対するジェノン的システムのパフォーマンスが、5,000語の実験の場合よりもずっと大きくなっている（20％）ことがわかる。また、最良のパフォーマンスは、より多数のジェノン、つまり5,000語の実験で用いられた495の代わりに1,700のジェノンの場合に実現される。
0004141495.tif 000005
表５では、完全に連続なHMMにはない、本発明によりつくられたHMMによって増した自由度、すなわち、同一のクラスタ−コードブックにマッピングされた状態が互いに異なる混合重みを有しうることを調べる。ガウシアンに加えて混合の重みを共通化すると、認識パフォーマンスに大幅な劣化をもたらすことがわかる。この劣化は、多数のストリームを用いて特徴がモデリングされる時にはひどくなり、また、トレーニングデータの量およびクラスタコードブックの数が減る時にもひどくなる。
0004141495.tif 000006
同じシステムが、Haeb-Umbachにより記載されているプロシージャに類似したプロシージャによって得られた線形判別変換を用いて得られた特徴を加えて、1993年11月のARPA評価セットについて評価された。このシステムは、バイグラム言語モデルおよびトリグラム（trigram）言語モデルでそれぞれ、16.5％および14.5％の単語誤り率を実現した。
【図１】
0004141495.tif 000007
【図２】
0004141495.tif 000008
【図３】
0004141495.tif 000009
【図４】
0004141495.tif 000010
【図５Ａ】
0004141495.tif 000011
【図５Ｂ】
0004141495.tif 000012
【図５Ｃ】
0004141495.tif 000013
【図５Ｄ】
0004141495.tif 000014