(57)【要約】【課題】　ＨＭＭエラーモデル（ＨＥＭ）に対して雑音環境に対する適応化処理を行うことで、ＨＥＭの頑健性を向上させた音声認識システムを提供する。【解決手段】　音声認識システムにおいて、予め学習された複数の隠れマルコフモデルの各々は、複数個のガウス分布を有する混合ガウス分布をシンボル出力確率として有する隠れマルコフモデルにより、観測ベクトルを表現するフィルタモデルと、フィルタモデルのモデル化出力と観測ベクトルとの差を複数個ガウス分布を有する混合ガウス分布で表現する残差モデルとを含む。残差モデルの複数個のガウス分布の平均ベクトルが外部環境に応じて適応化される。【選択図】　　　　図３
2004139060.tif 000002
【特許請求の範囲】
【請求項１】
音声認識システムであって、
　発話に対応する音声に基づいて、前記音声を測定するフレームごとに特徴情報を抽出するための特徴抽出手段と、
　予め学習された複数の隠れマルコフモデルを格納するための記憶手段とを備え、
　前記隠れマルコフモデルの各々は、
　第１複数個のガウス分布を有する混合ガウス分布をシンボル出力確率として有する隠れマルコフモデルにより、観測ベクトルを表現するフィルターモデルと、
　前記フィルターモデルのモデル化出力と前記観測ベクトルとの差を第２複数個のガウス分布を有する混合ガウス分布で表現する残差モデルと、
　前記フィルターモデルを規定する第１のパラメータと前記残差モデルを規定する第２のパラメータのうちのいずれかを外部環境に応じて適応化する適応化手段とを含み、
　前記特徴抽出部の出力を受けて、前記隠れマルコフモデルに基づく音響モデルとのマッチングをとりつつ探索を行うことで音声認識を行う探索手段とを備える、音声認識システム。
【請求項２】
前記適応化手段は、前記第２のパラメータのうち、各前記第２複数個のガウス分布の平均ベクトルを適応化する、請求項１記載の音声認識システム。
【請求項３】
前記適応化手段は、前記第１のパラメータのうち、前記フィルターモデルのバイアスベクトルを適応化する、請求項１記載の音声認識システム。
【請求項４】
前記フィルターモデルの変換行列は対角行列であって、
前記適応化手段は、前記第１のパラメータのうち、前記フィルターモデルの前記対角行列の対角要素および前記フィルターモデルのバイアスベクトルを適応化する、請求項１記載の音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、音声認識を行なうためのシステムに関係し、より特定的には、雑音環境下で音声認識率を向上させることが可能な音声認識システムの構成に関する。
【背景技術】
【０００２】
　近年の音声認識システムは、統計的手法の導入と、大規模なデータベースの構築により、不特定話者連続音声認識においても、飛躍的に認識率が向上している。
【０００３】
　このような音声認識システムへの統計的手法の導入においては、いわゆる、「隠れマルコフモデル（以下、ＨＭＭと呼ぶ）」が採用されている。すなわち、ＨＭＭとは、一般的なマルコフモデルの確率的な自由度をより拡大したモデルといえる。
【０００４】
　このＨＭＭでは、状態（内部状態）と出力シンボルの２過程を考え、状態が確率的に遷移するとともに、それに応じてシンボルを確率的に出力すると考える。そのとき、外部からは状態の遷移は直接的には観測できず、出力シンボルのみが観測可能である。この意味で、このようなモデルが「ＨＭＭ（”隠れ”マルコフモデル）」と呼ばれる。
【０００５】
　図６は、このようなＨＭＭを図解的に示す概念図である。
【０００６】
　図６においては、状態数はｎ個であり、各状態間の遷移に対応して遷移確率ａｉｊが定義され、かつ各遷移にはシンボル出力確率が対応している。図６においては、遷移確率ａ１１の状態１から状態１への自己遷移に対応する出力確率のみを例示的に示している。
【０００７】
　ここでＨＭＭは、次の諸量を規定することによって定義される。
【０００８】
　１）　状態の集合：Ｓ＝｛ｓi｝
　２）　出力シンボルの集合：Ｙ＝｛ｙi｝
　３）　初期状態とその正規確率
　４）　状態遷移確率の集合Ａ＝｛ａij｝
　状態ｓiから状態ｓjに遷移する確率。マトリックス［ａij］で表わす。
【０００９】
　５）　各状態におけるシンボル出力確率の集合Ｂ＝｛ｂj（ｙ）｝
　状態ｓiから状態ｓjに遷移して、シンボルｙを出力する確率である。
【００１０】
　６）　終端状態の集合Ｑ＝｛ｑj｝
　以下、ＨＭＭによる音声認識についてさらに詳しく説明する。
【００１１】
　（１）　音声情報の離散シンボル化
　マルコフモデルを利用するためには、観測シンボルに対して、音声情報を（有限個の）シンボル集合からのシンボル系列で表現しなければならない。
【００１２】
　しかも、そのシンボルの総数があまり多くては処理が複雑化して実用的ではなくなる。このような音声情報を離散化する１つの方法としては、いわゆるケプストラム分析が用いられる。このケプストラム分析においては、まず波形を所定の時間間隔のフレームで切出した後、各フレーム毎にフーリエ変換および所定の演算処理を行なうことで、音声情報を有限個のケプストラム係数等の諸係数の集合として表現する。さらに、このようなケプストラム係数等に対して、ベクトル量子化が行なわれる。
【００１３】
　たとえば、このようなケプストラム分析によって、音声情報は、１３次元のケプストラム係数と１３次元のΔケプストラム係数と１３次元のΔΔケプストラム係数との合計３９次元の係数によって表現される。
【００１４】
　図６において、出力確率の横軸は、このような３９次元の係数のうちの１つを表わし、縦軸は、そのような係数の値が出力される連続的な確率を表現している。
【００１５】
　図６に示した例では、たとえば、２つのピークを有する連続的な確率分布となっている。
【００１６】
　（２）　認識の原理
　ＨＭＭを用いた音声認識では、以下のような手続が行なわれる。
【００１７】
　ａ）　認識すべき各音声（たとえば単語）に対応して、ＨＭＭが作られているとする。
【００１８】
　ｂ）　入力未知音声を分析し、音声シンボル系列を得る。
【００１９】
　ｃ）　観測された音声シンボル系列が、各単語モデルに従って得られる事後確率を計算する。
【００２０】
　ｄ）　事後確率を相互に比較して、最大の事後確率を与えるモデルに対応する単語を認識の結果とする。
【００２１】
　図７は、上述したようなケプストラム係数等のうち、第１のケプストラム係数Ｃ１および第２のケプストラム係数Ｃ２との相関関係を示す図である。
【００２２】
　図７において、点線で示す分布が母集団分布であるものとする。このような母集団分布を近似するためのモデル分布を実線で示す。
【００２３】
　上述したような３９次元の係数のすべての組合せについて、モデル分布を表現しようとする場合、各係数相互間でのすべての共分散のパラメータを用いることとすると、たとえば３９2個のパラメータが必要となる。
【００２４】
　これだけのすべての共分散を用いてモデルを構築することとすると、上述したような、音声認識を行なう際の計算量が膨大となってしまう。
【００２５】
　そこで、一般には、このような３９個の係数要素に対して、対角共分散のみを考慮し、複数のガウス分布の混合分布としてシンボル出力確率を近似することが行なわれる。
【００２６】
　図７では、このようにして、混合分布を採用した場合のモデル分布の構成を示している。
【００２７】
　なお、図７においては、４つのガウス分布によって、母集団分布が近似されている。より一般的には、｛１，２，…，ｍ，…，Ｍ｝で番号付けられるＭ個（Ｍ：自然数）のガウス分布によって、母集団分布が近似されているものとする。
【００２８】
　この場合、各ガウス分布を表現するためには、その各々の平均と分散２つのパラメータが必要となるため、３９個の要素に対して、必要となるパラメータの個数は、たとえば、（３９×２×Ｍ）個となる。
【００２９】
　以上の説明は、ＨＭＭを学習により形成する場合に、雑音のないクリーンな音声を用いること前提としている。
【００３０】
　しかしながら、実際に音声認識システムが使用されるのは、たとえば、車両内といった環境であり、実験室での環境に比べると、周囲の雑音が無視できない。音声認識システムは、このような周囲雑音に対して頑健な認識を行なえることが要求される。
【００３１】
　このような周囲環境に対するシステムの頑健さを向上させるためにさまざまな方法が提案されてきた。これらの方法は大きく２つのカテゴリに分けることができる。すなわち、特徴補償手法と外部環境モデル適応手法とである。
【００３２】
　後者の方法としては、ＭＬＬＲ法やＭＡＰ法が、それぞれ非特許文献１および非特許文献２に開示されている。
【００３３】
　これらのモデルによる適応方法は、頑健な音声認識の動作において向上を果たしてきた。しかしながら、今だ、標準的なＨＭＭの枠組の中に限られたものである。
【００３４】
　一方で、このような適応モデルをより一般的なモデルに適用することも原理的には可能なはずである。
【００３５】
　たとえば、非特許文献３には、このような一般的なモデルとして、ＨＭＭエラーモデル（以下、ＨＥＭと呼ぶ）、すなわち、標準的なＨＭＭの拡張モデルが提案されており、標準的なＨＭＭに対してさまざまな利点が示されている。
【非特許文献１】Leggetter, C.J. and P.C. Woodland, “Maximum Likelihood Linear Regression for Speaker Adaptation of Continuous Density Hidden Markov Models”, Computer Speech and Language, 1995, 9, pp. 171-185
【非特許文献２】Gauvain, J.L. and C.H. Lee, “Bayesian Learning of Gaussian Mixture Densities for Hidden Markov Models”, Proc of the DARPA Speech and Natural Language Workshop, 1991, Palo Alto, CA pp. 272-277
【非特許文献３】M.J.F. Gales, “The HMM Error Model”, ICASSP 2002, vol. I, pp. 937-940.
【発明の開示】
【発明が解決しようとする課題】
【００３６】
　しかしながら、従来、このようなより一般的なモデルであるＨＥＭに対して、いかにして外部雑音に対する適応処理を行うべきかが、必ずしも明確でないという問題があった。
【００３７】
　本発明は、このような問題点を解決するためになされたものであって、ＨＥＭに対して雑音環境に対する適応化処理を行うことで、ＨＥＭの頑健性を向上させた音声認識システムを提供することを目的とする。
【課題を解決するための手段】
【００３８】
　上記のような目的を達成するために、本発明に係る音声認識システムは、発話に対応する音声に基づいて、音声を測定するフレームごとに特徴情報を抽出するための特徴抽出手段と、予め学習された複数の隠れマルコフモデルを格納するための記憶手段とを備え、隠れマルコフモデルの各々は、第１複数個のガウス分布を有する混合ガウス分布をシンボル出力確率として有する隠れマルコフモデルにより、観測ベクトルを表現するフィルターモデルと、フィルターモデルのモデル化出力と観測ベクトルとの差を第２複数個のガウス分布を有する混合ガウス分布で表現する残差モデルと、フィルターモデルを規定する第１のパラメータと残差モデルを規定する第２のパラメータのうちのいずれかを外部環境に応じて適応化する適応化手段とを含み、特徴抽出部の出力を受けて、隠れマルコフモデルに基づく音響モデルとのマッチングをとりつつ探索を行うことで音声認識を行う探索手段とを備える。
【００３９】
　好ましくは、適応化手段は、第２のパラメータのうち、各第２複数個のガウス分布の平均ベクトルを適応化する。
【００４０】
　好ましくは、適応化手段は、第１のパラメータのうち、フィルターモデルのバイアスベクトルを適応化する、請求項１記載の音声認識システム。
【００４１】
　好ましくは、フィルターモデルの変換行列は対角行列であって、
適応化手段は、第１のパラメータのうち、フィルターモデルの対角行列の対角要素およびフィルターモデルのバイアスベクトルを適応化する。
【発明の効果】
【００４２】
　本発明に係る音声認識システムにおいては、ＨＥＭに対して雑音環境に対する適応化処理を行うことで、ＨＥＭの頑健性を向上させることが可能である。
【発明を実施するための最良の形態】
【００４３】
　［システムの構成］
　図１は、本発明の実施の形態１の音声認識システム１００の構成を示す概略ブロック図である。
【００４４】
　図１を参照して、音声認識システム１００は、話者（システム利用者）２からの音声を受け取るためのマイクロフォン１０２と、マイクロフォン１０２からの音声入力を受けて音声認識を行うための認識処理部１１０と、認識処理部１１０からの認識結果を表示するための表示出力部（たとえば、ディスプレイ）１２０とを備える。
【００４５】
　認識処理部１１０は、認識処理部１１０と外部とのデータの授受を制御するためのデータ入出力部７０と、音声入力を受けて、デジタル信号に変換するためのＡ／Ｄ変換器１０と、Ａ／Ｄ変換器１０の出力を受けて、フィルタリング等の信号処理を行なうための信号処理部２０と、信号処理部２０の出力を受けて、ケプストラム係数等の特徴ベクトルを抽出するための特徴ベクトル抽出部３０と、予め学習等により生成されるＨＭＭによる音韻モデルデータを格納しておくための音響モデルデータベース４０と、認識するべき単語の事前確率に対応する統計データを格納している言語モデルデータベース５０と、特徴ベクトル抽出部３０からの出力を受けて、音響モデルデータベース４０中のデータおよび言語モデルデータベース５０中のデータとに基づいて、入力された特徴ベクトルに対応する認識すべき各音声（たとえば単語）を探索するための探索部６０とを備える。探索部６０は、データ入出力部７０を介して、音声認識の結果を表示出力部１２０出力する。
【００４６】
　なお、以下に説明するような音声認識システム１００の処理は、特徴ベクトル抽出部３０や探索部６０が行う処理を記述するためのプログラムと音響モデルデータベース４０と言語モデルデータベース５０とに保持されるべき初期データとを格納した記録媒体から、音声入力機能を有するコンピュータにこれらのプログラムおよびデータをインストールすることによっても実現可能である。このような記録媒体としては、特に限定されないが、たとえば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等を用いることができる。あるいは、これらのプログラムやデータは、インターネット等の通信回線を介して、音声入力機能を有するコンピュータにダウンロードすることも可能である。
【００４７】
　［音響モデルデータベース４０中の音響モデル］
　以下、音響モデルデータベース４０に格納される本発明の音響モデルデータについてさらに詳しく説明する。
【００４８】
　［本発明におけるＨＥＭ（ＨＭＭエラーモデル）］
　標準的なＨＭＭでは、１つの状態遷移の流れとして、１つの隠れ状態系列のみが存在する。
【００４９】
　本発明におけるＨＥＭにおいては、このようなモデルのトポロジーが拡張されて、２つのストリーム（流れ）が存在する。
【００５０】
　１つのストリームは、隠れ状態系列であり、もう１つの流れは、ガウス混合分布モデル（ＧＭＭ）である。
【００５１】
　第１の流れは、データを観測空間から、その空間におけるデータが独立であって、かつ均一に分布しているようなデータの正規化された空間に変換をする。この第１の流れは、データを１つの空間から他の空間へとフィルタリングするものである。したがって、これは「フィルターモデル」と呼ばれる。
【００５２】
　第２の流れは、上述した正規化された空間におけるデータをモデル化している。それは、「残差」データをモデル化しているので、これは「残差モデル」と呼ばれる。
【００５３】
　標準的なＨＭＭは、ＨＥＭの特別な場合である。ここでは、残差モデルがガウス分布Ｎ（０，１）で表わされている。
【００５４】
　これに対して本発明におけるＨＥＭは、標準的なＨＭＭに対して、複数のガウス分布の混合として、残差データの分布をモデリングすることによって、より柔軟性を有している。
【００５５】
　図２は、本発明におけるＨＥＭを示す概念図である。
【００５６】
　フィルターモデルは、標準的なＨＭＭモデルのトポロジーを有しており、残差モデルはガウス混合分布モデルである。
【００５７】
　図において、ベクトルＯtは、観測された特徴ベクトルである。つまり、上述したようなケプストラム係数等により離散化された音声情報を表す。
【００５８】
　標準的なＨＭＭに対しては、残差モデルは存在しない。これに対して、ＨＥＭは、付加的な残差モデルを有しており、これは、フィルターモデルによって観測データ空間から変換された正規化空間をモデル化している。
【００５９】
　すなわち、本発明においては、以下の手続きにより音声認識を行うことになる。
【００６０】
　１）不特定多数の発話者による、雑音等の混入を極力排除した音声により、ＨＭＭの学習を行い、フィルターモデルを初期的に決定する。
【００６１】
　このとき、観測ベクトルＯtは、このようにして生成されたＨＭＭにより、ｙ´＝ＡＯt＋ｂに変換される。このベクトルｙ´と観測値との差を、さらに混合ガウス分布による残差モデルでモデル化する。
【００６２】
　２）対象の環境（雑音環境）に応じて、後に説明するように、フィルターモデルまたは残差モデルを特徴づけるパラメータを更新する。
【００６３】
　３）雑音環境下での音声認識を行う。このとき、観測される音声は、雑音のために学習音声とは、異なった特徴を有する音声となる。
【００６４】
　ここで、フィルターモデルの１つの状態ｓを考えてみると、これは、Ｍ個のガウス分布要素によってモデル化されている。残差モデルは、Ｋ個の要素からなるガウス混合分布モデルである。状態ｓの尤度は、以下のように書き表わすことができる。
【００６５】
【数１】
2004139060.tif 000003
【００６６】
　ここで、Ａ(m)，ｂ(m)は、フィルターモデルの状態における変換マトリックスとバイアスベクトルである（ｍ＝１，…、Ｍ）。
【００６７】
　また、μ(k)，Σ(k)は、それぞれ残差モデルにおける平均ベクトルと共分散マトリックスとである（ｋ＝１，…、Ｋ）。さらに、ｗ(m)，ｗ(k)は、フィルターモデルの状態におけるｍ番目のガウス分布要素と残差モデルにおけるｋ番目のガウス分布要素との重みをそれぞれ表わしている。
【００６８】
　［ＨＥＭ（ＨＭＭエラーモデル）の適応処理］
　適応処理は、モデルとテストデータとの間の不一致を少量の較正データで最小化する。
【００６９】
　以下に説明するとおり本発明においては、ＨＥＭのパラメータを外部環境に合わせて適応化する。
【００７０】
　ＨＥＭにおいては、適応化は２つの場所で実施することができる。１つは、フィルターモデルにおけるパラメータの適応化であり、もう１つは残差モデルにおけるパラメータの適応化である。
【００７１】
　［残差モデルの適応化］
　図３は、残差モデルにおいて適応化を行う処理（残差モデル適応化：ＲＡ）を説明するための概念図である。
【００７２】
　残差モデルにおいて平均ベクトルに対して変換を実施する。すなわち、混合ガウス分布密度関数において、ｋ番目の平均ベクトルμ(k)は、以下の等式に従って変換される。
【００７３】
【数２】
2004139060.tif 000004
【００７４】
　ここで、式（４）は、以下の式（５）のように簡略化して表現できる。
【００７５】
【数３】
2004139060.tif 000005
【００７６】
　ここで、Ｘ＝［ｚ　Ｙ］および／μ(k)＝［１　μ(k)T］Tである。なお、本文中では、変数の上部に記載される“−”を、“／”で代用することにする。
【００７７】
　Ｙおよびｚは、適応回帰マトリックスおよびバイアスベクトルである。
【００７８】
　Ｘのパラメータ評価は、いわゆるＥＭ（Expectation-Maximization）アルゴリズムを用いることで行なわれる。最大化の対象となる補助関数の形式は、非特許文献１に記載されているＭＬＬＲ変換の評価関数と同様である。
【００７９】
　残差モデルの共分散マトリックスが対角行列に制限されている場合、このような変換は行ごとに計算される。その計算式を示すと以下の式のとおりである。
【００８０】
　なお、計算の詳細は、別途、後の（補遺１）に記載する。
【００８１】
【数４】
2004139060.tif 000006
【００８２】
　上記式（６）において、各項はさらに以下のように計算される。
【００８３】
【数５】
2004139060.tif 000007
【００８４】
　ここで、Ｘq，Ｚqは、行列ＸおよびＺのｑ番目の行をそれぞれ表わしている。
【００８５】
　また、ν(k)qは、行列Ｖkのｑ番目の対角要素である。γ(mk)tは、時刻ｔにおいて、フィルターモデルのｍ番目のガウス分布に存在し、かつ残差モデルのｋ番目のガウス分布に存在している事後確率である。
【００８６】
　Ｔは、フレームの総数である。Ｍはフィルターモデルにおける変換要素の総数である。Ｋは、残差モデルにおけるガウス分布要素の個数である。
【００８７】
　以上のような処理により、図２で説明したＨＥＭにおいて、残差モデルを構成する各ガウス分布の平均ベクトルを、外部環境に応じて更新することで、モデルの適応化を行うことができる。
【００８８】
　［フィルターモデルの適応処理］
　次に、図２で説明したＨＥＭにおいて、フィルターモデルを構成する各ガウス分布を、外部環境に応じて更新する処理について説明する。
【００８９】
　フィルターモデルにおいては、変換マトリックスとバイアスベクトルとを適応化処理することができる。しかしながら、完全な適応回帰マトリックスを用いる場合には、これらの双方を同時に適応処理することは非常に複雑な処理となる。
【００９０】
　そこで、以下のような２種類の制限された方法を用いることができる。１つは、フィルターモデルにおいて、バイアスベクトルの適応化処理を行なうことである。以下このような適応処理をバイアスフィルターモデルベクトル適応化（ＢＦＡ）と呼ぶことにする。
【００９１】
　図４は、ＢＦＡの処理を説明するための概念図である。
【００９２】
　このようなＢＦＡの適応化処理は、以下の式で表現される。
【００９３】
【数６】
2004139060.tif 000008
【００９４】
　このような適応化処理を行なった場合の評価の手法は、残差モデルを適応化処理した場合と同様である。なお、計算の詳細は、別途、後の（補遺２−１）に記載する。
【００９５】
　もう１つの方法は、変換マトリックスとフィルターモデルにおけるバイアスベクトルとを同時に適応化処理することである。ただし、この場合は、フィルターモデルにおける変換マトリックス、残差モデルにおける共分散マトリックスおよび適応化処理における回帰マトリックスは、すべて対角行列に限定される。そこで、このような処理を対角変換フィルターモデル適応化（ＤＦＡ）と呼ぶ。
【００９６】
　図５は、ＤＦＡの処理を説明するための概念図である。
【００９７】
　この場合、適応化処理は以下の式（１２）のように表現される。さらに、評価関数は、以下の式（１３）で示される関係を満たす。
【００９８】
【数７】
2004139060.tif 000009
【００９９】
　ここで、ａi(m)，ｂi(m)，σi(k)2，ｙiは、それぞれ、ベクトルＡ(m)，ｂ(m)，Σ(k)，Ｙのそれぞれｉ番目の要素である。なお、計算の詳細は、別途、後の（補遺２−２）に記載する。
【０１００】
　以上のような適応化処理をオーロラ２タスクに対して評価した。
【０１０１】
　このようなオーロラ２データベースについては、H.G.Hirsch and D. Pearce, “The AURORA Experimental Framework for the Performance Evaluations of Speech Recognition System under Noisy Conditions”, ISCA ITRW ASR2000 Paris, France, September 18-20, 2000で開示されている。
【０１０２】
　表１は、３種類の適応化処理の結果を示すものである。
【０１０３】
【表１】
2004139060.tif 000010
【０１０４】
　テストデータは、「地下鉄」データであって、それぞれ異なった信号対雑音比（ＳＮＲ）を有している。
【０１０５】
　ＨＥＭは、ベースラインのＨＭＭを初期値としている。したがって、ＨＥＭは、ベースラインとほぼ同一のパラメータサイズを有している。
【０１０６】
　テストデータからの１０個の文が適応化処理のために用いられた。ＳＮＲが高い場合（１５ｄＢ以上）、適応化方法はベースラインのモデルとほぼ同等の特性を示している。ＳＮＲが小さくなった場合には、適応化を用いた場合は、改善が見られている。
【０１０７】
　たとえば、ＳＮＲが５ｄＢである場合は、ベースラインの認識精度は５２．２３％である。これが、残差モデルにおける適応化によっては、６１．４７％まで改善され、ＤＦＡでは６０．７０％に、ＢＦＡでは６３．４３％にそれぞれ改善されている。平均として、３つの方法によって得られたエラーレートは、１０％、１１％および５％ずつ低減されていることがわかる。
【０１０８】
　（補遺１）
　残差モデルにおける平均ベクトルの適応処理を考える。ＨＥＭにおける状態ｓの尤度は、もう一度記載すると、以下のように書き表わすことができる。
【０１０９】
【数８】
2004139060.tif 000011
【０１１０】
　ここで、Ｍは、フィルターモデルにおける変換要素の総個数である。すなわち、フィルターモデルの１つの状態ｓを考えてみると、これは、Ｍ個のガウス分布要素によってモデル化されている。Ｋは、残差モデルにおけるガウス分布の要素の個数である。
【０１１１】
　また、上述したとおり、ｗ(m)，ｗ(k)は、フィルターモデルの状態におけるｍ番目のガウス分布要素と残差モデルにおけるｋ番目のガウス分布要素との重みをそれぞれ表わしている。Ｗ(m)＝［Ａ(m)　ｂ(m)］は、フィルターモデルの状態における変換マトリックスＡ(m)とバイアスベクトルｂ(m)から構成される（ｍ＝１，…、Ｍ）。また、μ(k)，Σ(k)は、それぞれ残差モデルにおける平均ベクトルと共分散マトリックスとである（ｋ＝１，…、Ｋ）。
【０１１２】
　このとき、ＨＥＭの補助関数は以下のとおりである。
【０１１３】
【数９】
2004139060.tif 000012
【０１１４】
　ここにおいて、パラメータψは、μ(k)の部分独立（part independent）であり、γt(mk)は、時刻ｔでの、要素ｍおよび残差要素ｋにおける事後確率である。Ｔはフレームの総数である。
【０１１５】
　以下の式（Ａ３）〜（Ａ５）のとおりに、変換の定義を行うこととする。
【０１１６】
【数１０】
2004139060.tif 000013
【０１１７】
　すると、式（Ａ３）および式（Ａ２）は、以下のとおり書き直すことができる。
【０１１８】
【数１１】
2004139060.tif 000014
【０１１９】
　ここで、Ｘは、適応データの尤度を最大化するｎ×（ｎ＋１）のマトリックスである。
【０１２０】
　関数Ｑを、Ｘについて微分して０に等しいとおくことで、関数Ｑの最大値をもとめる。すなわち、以下の式（Ａ８）のようにおくことで、式（Ａ９）を得る。
【０１２１】
【数１２】
2004139060.tif 000015
【０１２２】
　ここで、さらに式（Ａ１０）〜（Ａ１２）のとおり定義すると、式（Ａ９）は、Ｚを使って、以下の式（Ａ１３）のとおり書き換えられる。
【０１２３】
【数１３】
2004139060.tif 000016
【０１２４】
　ＨＥＭにおいては、Σ(k)は対角行列であるので、この変換は、行ごとに計算できる。つまり、式（Ａ１３）は以下のように書ける。
【０１２５】
【数１４】
2004139060.tif 000017
【０１２６】
　ここで、Ｘq，Ｚqは、それぞれＸおよびＺのｑ番目の行である。νq(k)は、Ｖkのｑ番目の対角要素である。したがって、Ｘは、以下の式（Ａ１５）のとおり、式（Ａ１４）から計算することができる。
【０１２７】
【数１５】
2004139060.tif 000018
【０１２８】
　（補遺２−１）
　変換式を以下の式（Ｂ１）のとおり定義する。
【０１２９】
【数１６】
2004139060.tif 000019
【０１３０】
　ここで、式（Ｂ２）〜（Ｂ３）のとおり定義すると、式（Ｂ１）は、式（Ｂ４）のとおり書くことができる。
【０１３１】
【数１７】
2004139060.tif 000020
【０１３２】
　補助関数Ｑは、以下のとおりとなる。
【０１３３】
【数１８】
2004139060.tif 000021
【０１３４】
　以下の式（Ｂ６）のとおり、関数ＱをＸについて微分して０とおくことにより、式（Ｂ７）を得ることができる。
【０１３５】
【数１９】
2004139060.tif 000022
【０１３６】
　ここで、さらに式（Ｂ８）〜（Ｂ１０）のとおり定義すると、式（Ｂ７）は、Ｚを使って、以下の式（Ｂ１１）のとおり書き換えられる。
【０１３７】
【数２０】
2004139060.tif 000023
【０１３８】
　ＨＥＭにおいては、Σ(k)は対角行列であるので、この変換は、行ごとに計算できる。つまり、式（Ｂ１１）は以下のように書ける。
【０１３９】
【数２１】
2004139060.tif 000024
【０１４０】
　ここで、Ｘq，Ｚqは、それぞれＸおよびＺのｑ番目の行である。νq(k)は、Ｖkのｑ番目の対角要素である。したがって、Ｘは、以下の式（Ｂ１３）のとおり、式（Ｂ１２）から計算することができる。
【０１４１】
【数２２】
2004139060.tif 000025
【０１４２】
　（補遺２−２）
　変換式を以下の式（Ｂ１５）のとおり定義する。
【０１４３】
【数２３】
2004139060.tif 000026
【０１４４】
　補助関数Ｑは、以下のとおりとなる。
【０１４５】
【数２４】
2004139060.tif 000027
【０１４６】
　Ｙを対角行列に限定すると、式（Ｂ１６）は以下の式（Ｂ１７）ように書き換えられる。
【０１４７】
【数２５】
2004139060.tif 000028
【０１４８】
　ここで、ａi(m)，ｂi(m)，σi(k)2，ｙiは、それぞれ、ベクトルＡ(m)，ｂ(m)，Σ(k)，Ｙのそれぞれｉ番目の要素である。
【０１４９】
　関数Ｑを式Ｙについて微分し、０とおくと以下の式（Ｂ１８）のようになる。
【０１５０】
【数２６】
2004139060.tif 000029
【０１５１】
　したがって、以下の関係式（Ｂ１９）が成り立つことになる。これは、式（１３）と同様の式である。
【０１５２】
【数２７】
2004139060.tif 000030
【０１５３】
　この式（Ｂ１９）を、関数Ｑを最大化する値を求めるとの条件のもとに、解くことにより、ｙiを求めることができる。
【０１５４】
　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１５５】
【図１】本発明の実施の形態１の音声認識システム１００の構成を示す概略ブロック図である。
【図２】本発明におけるＨＥＭを示す概念図である。
【図３】残差モデルにおいて適応化を行う処理を説明するための概念図である。
【図４】ＢＦＡの処理を説明するための概念図である。
【図５】ＤＦＡの処理を説明するための概念図である。
【図６】ＨＭＭを図解的に示す概念図である。
【図７】第１のケプストラム係数Ｃ１および第２のケプストラム係数Ｃ２との相関関係を示す図である。
【符号の説明】
【０１５６】
　２　話者、１０　Ａ／Ｄ変換器、２０　信号処理部、３０　特徴ベクトル抽出部、４０　音響モデルデータベース、５０　言語モデルデータベース、６０　探索部、７０　データ入出力部、１００　音声認識システム、１０２　マイクロフォン、１１０　認識処理部、１２０　表示出力部。
【図１】
2004139060.tif 000031
【図２】
2004139060.tif 000032
【図３】
2004139060.tif 000033
【図４】
2004139060.tif 000034
【図５】
2004139060.tif 000035
【図６】
2004139060.tif 000036
【図７】
2004139060.tif 000037