(57)【要約】      （修正有）【課題】雑音環境における音声認識方式を提供する。【解決手段】音声認識の方法は、観測値のシーケンスを含む第１の雑音環境における音声入力を受け取ることと、音響モデルを使用して観測値のシーケンスから生じる単語のシーケンスの尤度を求めることとを備える。上記モデルは、第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する。上記求めることはさらに、第２の環境において学習されたモデルを第１の環境のモデルに適応させることも備える。【選択図】図６
2011022555.tif 000002
【特許請求の範囲】
【請求項１】
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取り、
音響モデルを使用して前記観測値のシーケンスから生じる単語のシーケンスの尤度を求め、第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供し、前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させることにより、言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求め、
前記音響モデルと前記言語モデルとによって求められた前記尤度を組み合わせ、
前記音声入力信号から識別された単語のシーケンスを出力する音声認識方法であって、
前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させることは、
前記第２の雑音環境において学習された前記モデルの前記モデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して前記第１の雑音環境のモデルパラメータに適応させ、
近似変換パラメータを含む線形回帰型分布を使用して前記目標分布を近似し、
前記近似変換パラメータを推定することを特徴とする音声認識方法。
【請求項２】
観測値のシーケンスを含む第１の雑音環境における音声入力信号を受け取り、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供し、第２の環境において学習されたモデルを第１の環境のモデルに適応させることにより、音響モデルを使用して前記観測値のシーケンスから生じる単語のシーケンスの尤度を求め、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求め、
前記音響モデルと前記言語モデルとによって求められた前記尤度を組み合わせ、前記音声入力信号から認識された音声を出力し、
前記認識音声を異なる言語に翻訳し、
前記認識音声を前記異なる言語で出力する音声認識方法であって、
前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させることは、
前記第２の雑音環境において学習された前記モデルの前記モデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して前記第１の雑音環境のモデルパラメータに適応させ、
近似変換パラメータを含む線形回帰型分布を使用して前記目標分布を近似し、
前記近似変換パラメータを推定することを含むことを特徴とする音声認識方法。
【請求項３】
第１の雑音環境と第２の雑音環境の間で音声認識モデルを適応させ、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供し、
前記第２の環境において学習された前記モデルを、前記第１の環境のモデルに適応させる方法であって、
前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させることは、前記第２の雑音環境において学習された前記モデルの前記モデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して前記第１の雑音環境のモデルパラメータに適応させ、
近似変換パラメータを含む線形回帰型分布を使用して前記目標分布を近似し、
前記近似変換パラメータを推定することを特徴とする方法。
【請求項４】
雑音環境における音響モデルを備える音声認識システムであって、前記モデルが、単語または単語の部分の確率分布を観測値または発声に関連付ける複数のモデルパラメータを有し、前記モデルパラメータが、正準モデルパラメータと、前記雑音環境において前記正準モデルパラメータを前記モデルパラメータに関連付ける目標分布を近似するのに使用される線形回帰型分布から推定される、学習時に前記正準モデルパラメータを前記モデルの前記雑音環境に関連付ける近似変換パラメータとを備え、前記目標分布の変換パラメータが、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する音声認識システムを学習する方法であって、
期待最大化アルゴリズムの補助関数を、正準モデルパラメータと近似変換パラメータとして表し、
前記期待最大化アルゴリズムに適用される最尤法を使用して近似変換パラメータと正準モデルパラメータを推定することを特徴とする方法。
【請求項５】
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取る受信機と、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供する手段と、前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させる手段とを備える、前記音響モデルを使用した前記観測値のシーケンスから生じる単語のシーケンスの尤度の決定を行う手段と、言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求める手段と、前記音響モデルと前記言語モデルとによって求められる前記尤度を組み合わせる手段とを備えるプロセッサと、
前記音声入力信号から識別される単語のシーケンスを出力するように構成された出力手段と、を備える音声認識システムであって、
前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させる手段は、
前記第２の雑音環境において学習された前記モデルの前記モデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して前記第１の雑音環境のモデルパラメータに適応させる手段と、
近似変換パラメータを含む線形回帰型分布を使用して前記目標分布を近似する手段と、
前記近似変換パラメータを推定する手段と、
を備えることを特徴とする音声認識システム。
【請求項６】
コンピュータに、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取るステップと、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供するステップと、前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させるステップとを含み、前記音響モデルを使用して前記観測値のシーケンスから生じる単語のシーケンスの尤度を求めるステップと、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求めるステップと、
前記音響モデルと前記言語モデルとによって求められた前記尤度を組み合わせ、前記音声入力信号から識別された音声を出力するステップとを実行させる音声認識プログラムであって、
前記第２の環境において学習された前記モデルを前記第１の環境のモデルに適応させるステップは、
前記第２の雑音環境において学習された前記モデルの前記モデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して前記第１の雑音環境のモデルパラメータに適応させるステップと、
近似変換パラメータを含む線形回帰型分布を使用して前記目標分布を近似するステップと、
前記近似変換パラメータを推定するステップとを含むことを特徴とする音声認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパターン認識の技術分野に関し、具体的には音声認識に関する。より詳細には、本発明は、雑音環境における音声認識に関する。
【背景技術】
【０００２】
音声認識は、隠れマルコフモデル（ＨＭＭ）といった学習されたモデルを利用して、オーディオ音声信号を表示したり、さらに処理したりすることのできる認識可能な単語に復号する技術である。さらに処理することは、テキストを言語翻訳機器に出力することや、音声制御装置に使用するための理解可能な命令に変換することを含み得る。
【０００３】
一般にこれらのモデルは、雑音のない環境において学習される。しかし、使用に際してシステムは、一般には、実験室学習環境と比べて比較的雑音の多い環境で使用される。
【０００４】
雑音環境における音声認識では、２つの有効な技術が開発されている。このうちの第１の技術が、ＶＴＳ（ｖｅｃｔｏｒ  Ｔａｙｌｏｒ  ｓｅｒｉｅｓ、ベクトルテイラー級数）法である。ＶＴＳ法は、Ａｃｅｒｏら、「雑音音声認識のためのＶＴＳ法を使用したＨＭＭ適応化（ＨＭＭ  ａｄａｐｔａｔｉｏｎ  ｕｓｉｎｇ  ｖｅｃｔｏｒ  Ｔａｙｌｏｒ  ｓｅｒｉｅｓ  ｆｏｒ  ｎｏｉｓｙ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）」、ＩＣＳＬＰ−２０００、第３巻、８６９〜８７２頁に記載されている。ＶＴＳ法では、各ガウス混合分布レベルでＨＭＭを補償する。システムは、各混合の平均値をテイラー展開点として使用し、各混合のテイラー展開行列を計算する。この場合、認識時の尤度は以下のように表される。
【０００５】
ｐ（ｙ｜ｍ）＝Ｎ（ｙ；μｙｍ；Σｙｍ）    （ａ）
式中、ｐ（ｙ｜ｍ）は雑音音声特徴ｙからのガウス混合分布ｍの尤度であり、μｙとΣｙは、ガウス混合分布の平均値と分散である。
【０００６】
ＶＴＳでは、雑音特徴と無雑音特徴の関係が、
【数１】
2011022555.tif 000003
【０００７】
であるものと仮定され、式中、ｙは、雑音音声特徴であり、ｘは、対応する無雑音特徴であり、Ｃは、離散コサイン変換行列であり、ｎとｈは、それぞれ、加法性雑音と乗法性雑音の静的特徴である。
【０００８】
テイラー展開点（ｘｅ，ｎｅ，ｈｅ）が与えられたとすると、上記非線形関係は、以下のように、一次テイラー級数によって線形近似することができる。
【０００９】
ｙ≒ｘｅ＋ｈｅ＋ｇ（ｘｅ，ｎｅ，ｈｅ）＋Ｗ（ｘ−ｘｅ）
＋（Ｉ−Ｗ）ｇ（ｘｅ，ｎｅ，ｈｅ）（ｎ−ｎｅ）＋Ｗ（ｈ−ｈｅ）
Ｗ＝Ｉ＋∇ｘｇ（ｘｅ，ｎｅ，ｈｅ）    （ｃ）
上記関係を使用すれば、無雑音音声のガウス分布の平均値と分散を、雑音音声のガウス分布の平均値と分散に関連付けることが可能になる。これは、受信信号の静的部分、デルタ部分およびデルタ−デルタ部分について行うことができる。これらの変換を適用すれば、雑音環境に学習された無雑音モデルを適応させることが可能になる。
【００１０】
上記方法は、変換パラメータがＨＭＭにおいてガウス分布ごとに計算させる必要があるため、計算上非常に面倒であるという点で問題が生じる。一般に、この手順では、一次テイラー級数展開のみが使用される。
【００１１】
別の方法は、いわゆるＪＵＤ（ｊｏｉｎｔ  ｕｎｃｅｒｔａｉｎｔｙ  ｄｅｃｏｄｉｎｇ、同時不確実性復号）法であり、これは、Ｌｉａｏ，Ｈ．／Ｇａｌｅｓ，Ｍ．Ｊ．Ｆ．（２００５）：「耐雑音音声認識のための同時不確実性復号（Ｊｏｉｎｔ  ｕｎｃｅｒｔａｉｎｔｙ  ｄｅｃｏｄｉｎｇ  ｆｏｒ  ｎｏｉｓｅ  ｒｏｂｕｓｔ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）」、ＩＮＴＥＲＳＰＥＥＣＨ−２００５、３１２９〜３１３２頁に記載されている。ＪＵＤ法では、混合ｍの出力確率を以下のように計算する。
【００１２】
ｐ（Ｙ｜ｍ）＝｜Ａｒ｜Ｎ（ＡｒＹ＋ｂｒ；Λｘｍ，Ξｘｍ＋Ξｂｒ）    （ｄ）
混合ｍは、この方法がクラスごとに行われる際の第ｒの回帰クラスのものと仮定される。これは、同じ回帰クラスに関連するＪＵＤ変換が以下のように定義されることを意味する。
【００１３】
Ａｒ＝Ξｘｒ（Ξｙｘｒ）−１、ｂｒ＝Λｘｒ−ＡｒΛｙｒ
Ξｂｒ＝ＡｒΞｙｒＡｒＴ−Ξｘｒ    （ｅ）
式中、Λｘｒ、Ξｘｒ、Λｙｒ、およびΞｙｒは、それぞれ、回帰クラスｒにおける無雑音音声と雑音音声との平均値と共分散であり、Ξｙｘｒは、相互共分散行列である。
【００１４】
ＪＵＤ変換は普通、テイラー展開によって求められるため、ＪＵＤは、各回帰クラスごとにテイラー展開を計算するのみであることを除いては、ＶＴＳと同じである。さらに、ＪＵＤにおける大部分の補償は、ＨＭＭパラメータではなく特徴ベクトル上で適用され、このため、適応プロセスがＨＭＭのサイズと無関係になる。したがってＪＵＤは、適応時にＶＴＳよりずっと高速である。
【００１５】
しかし、ＪＵＤの一つの問題は、非対角変換を適用するのが難しいことである。というのは、これによって復号のための非対角共分散行列がもたらされ、計算コストが極度に高くなるからである。結果として、ＪＵＤの実施では多くの場合対角変換を使用し、この性能はＶＴＳに比べてはるかに劣ることがわかっている。
【発明の概要】
【００１６】
発明者らは、上記問題に対処し、計算上はＪＵＤ法と同等であるが、ＶＴＳ法と同様の正確さを達成する音声認識の方法を導出しようと試みた。
【００１７】
本発明は、少なくとも一部は上記問題に対処するものであり、第１の態様では、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取ることと、
音響モデルを使用して観測値のシーケンスから生じる単語のシーケンスの尤度を求めることであり、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取ることと、
音響モデルを使用して観測値のシーケンスから生じる単語のシーケンスの尤度を求めることであり、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、
第２の環境において学習されたモデルを、第１の環境のモデルに適応させることと
を備えることと、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求めることと、
音響モデルと言語モデルとによって求められた尤度を組み合わせ、上記音声入力信号から識別された単語のシーケンスを出力することと
を備える音声認識の方法であり、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることは、
第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに適用される、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、
近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、
近似変換パラメータを推定することと
を備える方法を提供する。
【００１８】
好ましい実施形態では、第２の雑音環境において学習されたモデルのモデルパラメータは、
【数２】
2011022555.tif 000004
【００１９】
という型のＶＴＳ−ＪＵＤ補償を使用して第１の雑音環境のモデルパラメータに適応され、式中、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示す成分指数であり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列であり、また、
【数３】
2011022555.tif 000005
【００２０】
であり、式中、 
【数４】
2011022555.tif 000006
【００２１】
は、それぞれ、各回帰クラスにおける第２の雑音環境と第１の雑音環境との平均値、共分散、および相互共分散である。
【００２２】
ＶＴＳ−ＪＵＤは、ブロック対角ＪＵＤ変換を用いてＨＭＭ平均値を補償することができる。これは、優れたモデル補償をもたらすが、この代償として、ＪＵＤと比べて効率が低下する。線形回帰型分布の使用は、変換が特徴空間において適用されることを可能にする。また、特徴空間において適用され得る変換を用いて目標分布を近似するのには、別の型の分布も使用され得る。
【００２３】
別の好ましい実施形態では、線形回帰型分布は、
【数５】
2011022555.tif 000007
【００２４】
という形のＰＣＭＬＬＲ型分布であり、式中、
【数６】
2011022555.tif 000008
【００２５】
は、ＰＣＭＬＬＲ変換であり、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示す成分指数であり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列である。
【００２６】
前述のように、ＰＣＭＬＬＲの枠組みは、変換が特徴空間において適用されることを可能にする。
【００２７】
近似変換パラメータは、線形回帰型分布と目標分布の間の乖離を最小化することによって推定され得る。この乖離は、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒダイバージェンスとして計算され得る。
【００２８】
好ましい実施形態では、目標分布は平均値と共分散とを備え、目標分布における上記共分散は、近似変換パラメータを求めるときに対角化される。
【００２９】
例えば、目標分布が、ＰＣＭＬＬＲを使用して近似されるＶＴＳ−ＪＵＤを使用する場合、共分散行列の非対角項は近似誤差の影響を受けやすく、したがって、対角型の共分散が望ましい。
【００３０】
好ましい実施形態では、近似変換パラメータの推定は、すべての確率分布について行われる必要のある計算を、回帰クラス依存の計算から分離することと、すべての確率分布について行われる必要のある計算の結果を別個に求め、キャッシュに入れることとを備える。
【００３１】
また、平均分散を用いて分散を近似することも望ましい場合がある。というのは、これにより、ＰＣＭＬＬＲ変換を推定するために二次統計を計算するときの計算コストが低減されることがわかっているからである。
【００３２】
一般に、確率関数はガウス分布であり、音響モデルは隠れマルコフモデルである。
【００３３】
多くの場合、第１の環境は雑音環境であり、第２の環境は雑音のない環境である。しかし本発明は、異なる雑音レベルを有する任意の２環境の間でモデルを適応させるのに使用することができることが、当分野の技術者には理解されるであろう。
【００３４】
この方法は、システムにおいて、システムが常に、環境の雑音量についていかなる試験も行わずにこの方法を適用するように実施され得る。代替として、雑音条件が前述のようなモデル補償の使用を正当化するかどうか調べるために、まず雑音試験が行われてもよい。
【００３５】
この方法は、上記方法の出力が異なる言語に翻訳され、上記認識音声が上記異なる言語で出力される音声翻訳システムの一部として使用されてもよい。出力することは、テキスト／音声変換法を使用することを備えていてもよい。
【００３６】
よって、第２の態様において、本発明は、
前述のような音声入力信号を認識することと、
上記認識音声を異なる言語に翻訳することと、
上記認識音声を上記異なる言語で出力することと
を備える音声変換の方法を提供する。
【００３７】
上記認識音声を出力することは、テキスト／音声変換法を使用することを備えていてもよい。
【００３８】
また本発明は、第２の環境において学習されているモデルを第１の環境において動作するように適応させるのにも使用され得る。
【００３９】
よって、第３の態様において、本発明は、第１の雑音環境と第２の雑音環境の間で音声認識モデルを適応させる方法であって、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることと
を備え、
（第２の環境において学習されたモデルを第１の環境のモデルに適応させることが、）第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに適用される、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、
近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、
近似変換パラメータを推定することと
を備える方法を提供する。
【００４０】
また本発明は、音声認識で使用されるべき音響モデルのための学習方法も提供する。したがって、第４の実施形態において、本発明は、雑音環境において、音響モデルを備える音声認識システムであり、上記モデルが、単語または単語の部分の確率分布を観測値または発声に関連付ける複数のモデルパラメータを有し、上記モデルパラメータが、正準モデルパラメータと、雑音環境において正準モデルパラメータをモデルパラメータに関連付ける目標分布を近似するのに使用される線形回帰型分布から推定される、学習時に正準モデルパラメータをモデルの雑音環境に関連付ける近似変換パラメータとを備え、上記目標分布の変換パラメータが、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに適用される音声認識システムを学習する方法であって、
上記モデルを学習することが、
期待最大化アルゴリズムの補助関数を、正準モデルパラメータと近似変換パラメータとして表すことと、
上記期待最大化アルゴリズムに適用される最尤法を使用して近似変換パラメータと正準モデルパラメータを推定することと
を備える方法を提供する。
【００４１】
上記の方法は、適応的にも、非適応的にも行われ得る。非適応的に使用されるときには、すべての学習データが同じ方法で使用される。適応的学習では、変換を使用して各学習発声内の雑音が正規化され、次いで音響モデルが学習される。したがって、適応的に学習されたモデルは、学習が進むに従って雑音が除去されるため、より良いものになるはずである。
【００４２】
第５の態様において、本発明は、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取る受信機と、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることと
を備える、音響モデルを使用した観測値のシーケンスから生じる単語のシーケンスの尤度の決定を行い、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求め、
音響モデルと言語モデルとによって求められる尤度を組み合わせる
ように構成されたプロセッサと、
上記音声入力信号から識別される単語のシーケンスを出力するように構成された出力と
を備え、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることが、
第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに適用される、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、
近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、
近似変換パラメータを推定することと
を備える音声認識システムを提供する。
【００４３】
第６の態様において、本発明は、コンピュータに、上記方法のいずれかを行わせるように構成されたコンピュータプログラムを実行するコンピュータプログラムを提供する。
【００４４】
本発明は、ハードウェアとしても、汎用コンピュータにおけるソフトウェア上でも実施することができる。さらに本発明は、ハードウェアとソフトウェアの組み合わせとしても実施することができる。また本発明は、単一の処理装置によっても、処理装置の分散ネットワークによっても実施することができる。
【００４５】
本発明は、ソフトウェアによって実施することができるため、本発明は、任意の適切な搬送媒体上で汎用コンピュータ提供されるコンピュータコードを包含するものである。搬送媒体は、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、磁気デバイスやプログラマブル・メモリ・デバイスといった任意の記憶媒体、あるいは電気信号、光信号、マイクロ波信号などの任意の信号といった任意の一過性の媒体を備えることができる。
【図面の簡単な説明】
【００４６】
【図１】一般的な音声認識システムを示す概略図である。
【図２】音声認識プロセッサの構成要素を示す概略図である。
【図３】ガウス分布確率関数を示す概略図である。
【図４】確率密度関数と観測ベクトルの両方を表す音響空間を示す概略図である。
【図５】本発明の一実施形態による音声認識の方法を示す流れ図である。
【図６】本発明の別の実施形態による音声認識の方法を示す流れ図である。
【発明を実施するための形態】
【００４７】
図１は、非常に基本的な音声認識システムの概略図である。ユーザ（不図示）がマイクロフォン１またはオーディオシステムの他の集音機器に向かって発話する。機器１は、以前に記録されたオーディオデータを含むメモリで代用することもでき、リモート位置からオーディオデータを受信するネットワーク接続としてもよい。
【００４８】
次いで音声信号は音声プロセッサ３に送られる。音声プロセッサ３については図２を参照してより詳細に説明する。
【００４９】
音声プロセッサ３は、音声信号を取り込み、これを、音声信号に対応するテキストに換える。多くの異なる形の出力が利用できる。例えばこの出力は、画面に出力されるディスプレイ５の形とすることもできる。あるいはこの出力は、プリンタなどに宛先指定することもできる。またこの出力は、別のシステム９に提供される電子信号の形とすることもできる。例えば、別のシステム９は、プロセッサ３からの出力テキストを取り込み、これを異なる言語に変換する音声翻訳システムの一部とすることもできる。次いで変換されたテキストは、別のテキストまたは音声システムを介して出力される。
【００５０】
あるいは、プロセッサ３によって出力されたテキストは、異なる種類の装置を動作させるのに使用することもでき、例えば、ユーザが音声によって様々な機能を制御する移動電話、自動車などの一部とすることもできる。この出力は、車内ナビゲーションンシステムにおいて、ユーザを指定された場所まで誘導するのに使用することもできる。
【００５１】
図２は、図１に示す型の音声認識プロセッサ３の標準構成要素のブロック図である。マイクロフォンから、ネットワークを介して、または記録媒体１から受け取られた音声信号は、フロント・エンド・ユニット１１に送られる。
【００５２】
フロント・エンド・ユニット１１は、受け取った音声信号をディジタル化し、これを等しい長さのフレームに分割する。次いで音声信号に様々なパラメータを求めるためのスペクトル解析が施され、これらのパラメータが「特徴空間の音響空間」にプロットされる。導出されるパラメータについては、後でより詳しく論じる。
【００５３】
またフロント・エンド・ユニット１１は、音声信号ではないと思われる信号および他の無関係な情報も除去する。よくあるフロント・エンド・ユニットは、フィルタバンク（Ｆ  ＢＡＮＫ）パラメータ、メル周波数ケプストラム係数（ＭＦＣＣ）およびＰＬＰ（Perceptual Linear Predictive）パラメータを使用する装置を備える。フロント・エンド・ユニットの出力は、ｎ次元の音響空間である入力ベクトルの形とされる。
【００５４】
次いで入力ベクトルは、音響モデル部１５と言語モデル部１７の両方と協働する復号器１３に供給される。音響モデル部１５は一般に、隠れマルコフモデルを使用して動作する。しかし、コネクショニストモデルおよびハイブリッドモデルに基づく音響モデルを使用することも可能である。
【００５５】
音響モデルユニット１５は、音響入力のみに基づいて、単語または単語の部分に対応する観測値のシーケンスの尤度を導出する。
【００５６】
言語モデル部１７は、所与の言語においてある単語または単語の部分のシーケンスが相互の後に続く確率に関する情報を含む。一般には、静的モデルが使用される。最も一般的な方法はＮ−ｇｒａｍモデルである。
【００５７】
次いで復号器１３は、従来通り動的計画法（ＤＰ）の手法を使用して、音響モデル１５と言語モデル１７の結果を使用して、所与の音声発声の最善の翻音を探し出す。
【００５８】
次いでこれが、テキストを表示させ、音声／音声翻訳などの別の用途のためや、音声駆動機器を制御するために提示させ、変換させる出力機器１９を介して出力される。
【００５９】
この説明は主に、隠れマルコフモデル（ＨＭＭ）である音響モデルの使用に関連するものである。しかし、他のモデルに使用することもできる。
【００６０】
この実施形態で使用される実際のモデルは標準モデルであり、これの詳細は、本特許出願の範囲外である。しかしモデルは、単語または単語の部分に関連付けられている音響ベクトル（音声ベクトルまたは特徴ベクトル）で表される観測値の確率に関連する確率密度関数（ｐｄｆ）の提供を必要とする。一般に、この確率分布は、ｎ次元空間におけるガウス分布になる。
【００６１】
一般的なガウス分布の略図の例が図３に示されている。図３において、横軸はある次元の入力ベクトルのパラメータに対応し、確率分布は、観測値に関連付けられている特定の単語または単語の部分についてのものである。例えば図３では、音響ベクトルｘに対応する観測値は、図３にこれの確率分布が示されている単語に対応する確率ｐ１を有する。ガウス分布の形状および位置は、これの平均値と分散によって定義される。これらのパラメータは、音響モデルの語彙のための学習時に決定され、これらのパラメータを「モデルパラメータ」と呼ぶ。
【００６２】
ＨＭＭでは、モデルパラメータが決定されると、このモデルを使用して、単語または単語の部分のシーケンスに対応する観測値のシーケンスの尤度を求めることができる。
【００６３】
図４は、観測値が観測ベクトルまたは特徴ベクトルｘ１で表される音響空間の概略的グラフである。白丸ｇは、音響空間において表されたガウス分布または他の確率分布関数の平均値に対応する。
【００６４】
復号時に、音響モデルは、特徴ベクトルｘ１が、ガウス分布で表される単語または単語の部分に対応するいくつかの異なる尤度を計算する。次いでこれらの尤度は、音響モデルにおいて使用され、言語モデルからの確率と組み合わされて、発話されたテキストが決定される。
【００６５】
音響モデルは一般に、雑音のない、すなわちいわゆる「無雑音」条件下で学習される。しかし、システムの誤り率は、システムに入力される音声がより雑音の多い条件下で収集される場合には増大する。図２を参照して説明したフロント・エンド・ユニット１１は、この雑音の一部を除去することができる。しかし、雑音の中には、入力音声信号にしっかりと組み込まれていて、この早い段階において除去することが不可能なものもある。
【００６６】
図５は、無雑音条件下で学習されている音響モデルを使用するときに雑音入力信号に対処するための、本発明の一実施形態による方法の流れ図である。まず、Ｓ５１で雑音入力信号が収集される。これについては、図１および図２を参照して説明されている。
【００６７】
次いでステップＳ５３おいて、この信号に含まれる雑音を推定する。雑音を推定する一つの方法としては、入力信号のうちの音声のない部分を評価するものである。多くの場合、最初と最後の少数のフレームが、音声がないものと仮定される。信号が有声音であるか無声音であるか調べるためのチェックを行わずに信号中の雑音を推定するといった、他の方法が使用されてもよい。
【００６８】
ステップＳ５５で、無雑音条件下で学習されているモデルが、変換パラメータを使用して、この好ましい実施形態では、公知のＶＴＳ（Ｖｅｃｔｏｒ  Ｔａｙｌｏｒ  Ｓｅｒｉｅｓ）と公知のＪＵＤ（Ｊｏｉｎｔ  Ｕｎｃｅｒｔａｉｎｔｙ  Ｄｅｃｏｄｉｎｇ）の組み合わせである分布を使用して、雑音環境に変換される。
【００６９】
従来の隠れマルコフモデル（ＨＭＭ）ベースのＡＳＲでは、中核的部分は、以下のように、ＧＭＭでモデル化されるＨＭＭ状態遷移確率の計算である。
【数７】
2011022555.tif 000009
【００７０】
式中、ｘは、無雑音音声特徴であり、ＳはＨＭＭ状態であり、Ｎ（ｘ；μｘ（ｍ），Σｘ（ｍ））は、平均値μｘ（ｍ）、共分散行列Σｘ（ｍ）、混合重みｃｍを有する混合ｍのガウス分布ＰＤＦである。
【００７１】
入力音声に雑音が存在するとき、無雑音音声特徴ｘはもはや観測できない。代わりに、以下のように、混合ｍ上の雑音音声特徴ｙの出力確率を求めることができる。
【００７２】
ｐ（ｙ｜ｍ）＝∫ｐ（ｙ｜ｘ，ｍ）ｐ（ｘ｜ｍ）ｄｘ    （２）
モデルベースの結合補償では、多くの場合、各ＨＭＭ混合ｍが固定された回帰クラスｒｍに割り当てられ、以下のように、結合分布ｐ（ｙ，ｘ｜ｒｍ）をガウス分布によってモデル化することができる。
【数８】
2011022555.tif 000010
【００７３】
式中、 
【数９】
2011022555.tif 000011
【００７４】
は、各回帰クラスにおける無雑音音声と雑音音声との平均値、共分散および相互共分散であり、 
【数１０】
2011022555.tif 000012
【００７５】
は通常、対角であるものと仮定される。
【００７６】
したがって、式（２）は、
【数１１】
2011022555.tif 000013
【００７７】
になる。
【００７８】
また変換は、
【数１２】
2011022555.tif 000014
【００７９】
として求められる。
【００８０】
式（４）も式（５）も、ＨＭＭ適応化に使用することができる。ＨＭＭパラメータ上ですべての変換を適用すると、式（４）は、混合ごとに補償を行わなければならず、特にＨＭＭのサイズが大きいときには非常に低速になる。これに対して、式（５）は、変換の大部分が特徴ベクトル上で行われるため、はるかに効率がよい。
【数１３】
2011022555.tif 000015
【００８１】
を求める方法は複数ある。最も効率のよい方法の１つは、以下のように、静的部分に関しての無雑音音声と雑音音声との関係を線形近似する一次テイラー展開である。
【数１４】
2011022555.tif 000016
【００８２】
ｎは加法性雑音を表し、ｈは乗法性雑音を表し、ｓは静的部分を表し、μｎｓは雑音の静的平均値であり、Ｉは単位行列であり、Ｃは離散コサイン変換行列である。
【００８３】
雑音は、音声信号の収集時にフレームごとに変化する。しかし、前述のフレームから、加法性雑音の平均値、加法性雑音の分散、乗法性雑音の平均値、および乗法性雑音の分散を推定することが可能である。一般に、乗法性雑音は、発声ごとに一定であるものと仮定され、したがって、これの分散は０であると仮定される。
【００８４】
また、雑音の平均値と分散のデルタ項およびデルタ−デルタ項を推定することも可能である。デルタ項は、平均値または分散の時間に対する第１の導関数であり、デルタ−デルタ項は、平均値または分散の時間に対する第２の導関数である。
【００８５】
式７から、
【数１５】
2011022555.tif 000017
【００８６】
である。
【００８７】
Ｗは通常完全行列であるため、明らかに、
【数１６】
2011022555.tif 000018
【００８８】
もブロック対角構造を有する。式（６）によれば、この結果、 
【数１７】
2011022555.tif 000019
【００８９】
はブロック対角になる。
【００９０】
ブロック対角構造は、ＨＭＭのための優れた補償を提供するが、式（４）および式（５）における適応共分散行列もブロック対角にし、復号のための計算コストがきわめて高くなる。
【数１８】
2011022555.tif 000020
【００９１】
を対角化すれば、式（５）における共分散を対角にすることができる。しかしこれは、ｙの共分散行列における対角成分の問題を引き起こすため、正しく機能しない。実際には、この問題は、好ましい実施形態のＪＵＤまたはＶＴＳ−ＪＵＤによって解決することができる。
【００９２】
ＪＵＤ（Ｊｏｉｎｔ  Ｕｎｃｅｒｔａｉｎｔｙ  Ｄｅｃｏｄｉｎｇ）では、式（５）が使用され、結合分布における共分散項 
【数１９】
2011022555.tif 000021
【００９３】
が対角化される。式（６）によれば、これは 
【数２０】
2011022555.tif 000022
【００９４】
をもたらし、これの第ｉの要素は、
【数２１】
2011022555.tif 000023
【００９５】
として求められ、式中、 
【数２２】
2011022555.tif 000024
【００９６】
における第ｉの対角要素である。
【００９７】
次いでＪＵＤの補償が、以下のように、特徴次元ごとに独立に実行される。
【数２３】
2011022555.tif 000025
【００９８】
明らかに、ＪＵＤを用いた補償は非常に効率がよい。というのは、ＪＵＤが式（５）の効率的な形に基づくものであり、次元ごとのスカラを用いた単純な計算のみですむからである。しかし、
【数２４】
2011022555.tif 000026
【００９９】
は、ＨＭＭ上で、特に平均ベクトル上で不十分な補償をもたらすため、認識性能にマイナスの影響を及ぼす。
【０１００】
本発明の一実施形態によれば、補償は、新しい適応化式ＶＴＳ−ＪＵＤ（Ｖｅｃｔｏｒ  Ｔａｙｌｏｒ  Ｓｅｒｉｅｓ  −  Ｊｏｉｎｔ  Ｕｎｃｅｒｔａｉｎｔｙ  Ｄｅｃｏｄｉｎｇ）を使用して行われる。ＶＴＳ−ＪＵＤは、ブロック対角共分散の問題を処理するのに用いられる。ＪＵＤと異なり、ＶＴＳ−ＪＵＤは、式（４）に基づいてＨＭＭを補償し、以下のように最終の適応ＨＭＭを対角化する。
【数２５】
2011022555.tif 000027
【数２６】
2011022555.tif 000028
【０１０１】
はブロック対角であるため、ＶＴＳ−ＪＵＤは、ＨＭＭ平均値に関して優れた補償をもたらし、適応共分散部分が対角化され、復号プロセスが効率よくなる。ＶＴＳ−ＪＵＤの欠点は、ＨＭＭを混合ごとに適応させる必要があることである。これは、ＪＵＤと比べて適応化の効率を低下させる。
【０１０２】
ＪＵＤも新しいＶＴＳ−ＪＵＤも、公知のＶＴＳ（Ｖｅｃｔｏｒ  Ｔａｙｌｏｒ  Ｓｅｒｉｅｓ）にリンクされている。ＶＴＳはモデル補償のための強力な方法である。ＶＴＳは以下のように働く。
【０１０３】
ｐ（ｙ｜ｍ）＝Ｎ（ｙ；μｙ（ｍ），ｄｉａｇ（Σｙ（ｍ）））
＝Ｎ（ｙ；Ｂ（ｍ）（μｘ（ｍ）−ｂ（ｍ）），ｄｉａｇ（Ｂ（ｍ）Σｘ（ｍ）Ｂ（ｍ）Ｔ））    （１３）
式中、μｙ（ｍ）およびΣｙ（ｍ）は、式（７）の一次テイラー展開から求められる。よって、一次テイラー展開は、 
【数２７】
2011022555.tif 000029
【０１０４】
を求めるために、混合ｍごとに行われなければならず、ＨＭＭは、混合ごとに適応化される必要がある。これは、この方法の効率性に影響を及ぼす。式（４）と式（６）の両方を使用すれば、ＪＵＤおよびＶＴＳ−ＪＵＤは以下のように定式化し直すことができる。
【数２８】
2011022555.tif 000030
【０１０５】
式中、 
【数２９】
2011022555.tif 000031
【０１０６】
はＪＵＤでは対角であり、ＶＴＳ−ＪＵＤではブロック対角である。
【０１０７】
式（１４）によれば、ＶＴＳ−ＪＵＤとＪＵＤは、 
【数３０】
2011022555.tif 000032
【０１０８】
に用いられる異なる構造を除いて、実際には同じである。回帰クラスの数が混合の数と等しい、すなわち、ｒｍ＝ｍであるとき、 
【数３１】
2011022555.tif 000033
【０１０９】
は相殺され、式（１４）は式（１３）になる。この場合、ＶＴＳ−ＪＵＤはＪＵＤと同じであり、どちらの技術もＶＴＳに収束する。よって、ＶＴＳはＪＵＤとＶＴＳ−ＪＵＤとの特殊な場合とみなすことができる。回帰クラスの数が混合の数よりずっと小さい通常の場合には、これら３つの技術は遠く隔たったものであり、異なる振る舞いをする。ＶＴＳ−ＪＵＤとＪＵＤは各回帰クラスごとに変換を計算するのみであり、ＶＴＳよりはるかに変換の効率がよくなる。ＪＵＤは、対角変換を使用することによって効率に重きを置き、この結果、認識性能が低下する。
【０１１０】
好ましい実施形態によるＶＴＳ−ＪＵＤ法は、よりＶＴＳに類似したものである。というのはどちらもブロック対角変換を適用し、混合ごとにＨＭＭを補償する必要があるからである。よって、ＶＴＳ−ＪＵＤは、ＶＴＳと同様の認識性能を有するが、ＪＵＤと比べて効率性がより低いものと期待される。
【０１１１】
効率性の問題に対処するために、ステップＳ５７で、ＶＴＳ−ＪＵＤ分布が別の分布によって近似される。この実施形態では、この別の分布は、予測制約付き最尤線形回帰（ＰＣＭＬＬＲ）によって提供される。この欠点はＰＣＭＬＬＲによって対処される。
【０１１２】
ＣＭＬＬＲ［７］は、モデル適応化のための一般的な方法とされている。
【数３２】
2011022555.tif 000034
【０１１３】
ＣＭＬＬＲ変換は、普通、標準の期待値最大化（ＥＭ）アルゴリズムを使用して試験発声に関する尤度を最大化することによって推定される。式（１５）は、すべての変換が特徴ベクトル上にあるため、モデル補償には非常に効率がよい。
【０１１４】
またＰＣＭＬＬＲは、適応化にも式（１５）を使用する。しかし、ＰＭＣＬＬＲは、ＣＭＬＬＲ分布に目標分布を最適に近似させる適切なＣＭＬＬＲ変換を見つけようとする。
【数３３】
2011022555.tif 000035
【０１１５】
は、以下のように、式（１５）で定義されるＣＭＬＬＲ分布と、近似されるべき目標分布 
【数３４】
2011022555.tif 000036
【０１１６】
の間のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒダイバージェンスを最小化することによって求められる。 
【数３５】
2011022555.tif 000037
【０１１７】
上記式を解くと、ＰＣＭＬＬＲ変換は、ＣＭＬＬＲと類似の形式を有する。すなわち、以下のように、ＰＣＭＬＬＲ変換の第ｉ行は、
【数３６】
2011022555.tif 000038
【０１１８】
の関数である。
【数３７】
2011022555.tif 000039
【０１１９】
式中、期待値は、
【数３８】
2011022555.tif 000040
【０１２０】
から推定され、γ（ｍ）は、学習から求められる混合占有である。
【数３９】
2011022555.tif 000041
【０１２１】
はＣＭＬＬＲ法では公知であり、例えば、Ｍ．Ｊ．Ｆ．Ｇａｌｅｓ、「ＨＭＭに基づく音声認識のための最尤線形変換（Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  Ｌｉｎｅａｒ  ｔｒａｎｓｆｏｒｍｓ  ｆｏｒ  ＨＭＭ  ｂａｓｅｄ  Ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ）」、コンピュータ音声・言語（Ｃｏｍｐｕｔｅｒ  Ｓｐｅｅｃｈ  ａｎｄ  Ｌａｎｇｕａｇｅ）、第１２巻、１９９８年１月、セクション２．２を参照されたい。
【０１２２】
理想的には、目標分布は、
【数４０】
2011022555.tif 000042
【０１２３】
を有するガウス分布であるものと仮定されるｙの真の分布となるはずであり、式（１７）の期待値εは、
【数４１】
2011022555.tif 000043
【０１２４】
として求められる。
【０１２５】
ｙの真の分布は利用できないため、この実施形態では、ブロック対角変換を適用することができるという理由で、ＶＴＳ−ＪＵＤ分布が使用される。この場合、統計における期待値は、
【数４２】
2011022555.tif 000044
【０１２６】
として求められる。
【０１２７】
式（１９）には、共分散部分を対角化せず、ブロック対角共分散を直接使用するという選択肢がある。これは次式をもたらす。 
【数４３】
2011022555.tif 000045
【０１２８】
理想的には、真の分布における
【数４４】
2011022555.tif 000046
【０１２９】
が使用されるはずであるため、式（１９）と式（２０）の２つの形は、真の統計への異なる近似をもたらす。式（２０）のブロック対角共分散は、全共分散により近い構造を有する。しかし、ＶＴＳ対応化共分散における非対角項は、近似誤りの影響を非常に受けやすいことがこれまでの研究で示されている。このことはＶＴＳ−ＪＵＤにも当てはまるため、ブロック対角共分散を使用した 
【数４５】
2011022555.tif 000047
【０１３０】
の近似は信頼性が低い。好ましい実施形態では、 
【数４６】
2011022555.tif 000048
【０１３１】
のロバストな近似を得るために、代わりに式（１９）において対角共分散が使用される。
【０１３２】
近似誤りは、ＶＴＳ−ＪＵＤが使用されるか、それともＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲが使用されるかによって異なる。ＶＴＳ−ＪＵＤでは、ＨＭＭの共分散と近似誤りが尤度計算に直接影響を及ぼすため、復号に対角共分散が使用される。これに対して、ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲでは、ｙの平方平均を計算するためのみに対角共分散を使用する。また平方平均は、非対角項を決定することもあるε｛ｙ｜ｍ｝ε｛ｙＴ｜ｍ｝にも依存するため、近似誤りは、
【数４７】
2011022555.tif 000049
【０１３３】
に対してずっと小さい影響しか及ぼさないと期待される。したがって、ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲは、近似誤りの影響をより受けにくく、潜在的に、ＶＴＳ−ＪＵＤより優れた性能をもたらすことができる。
【０１３４】
効率のために、統計の主要部分が再定式化される。例えば、 
【数４８】
2011022555.tif 000050
【０１３５】
の統計の１つは、
【数４９】
2011022555.tif 000051
【０１３６】
に変更することができる。明らかに、αｉおよびβｉは、最初に一度計算され、キャッシュに入れられさえすればよい。この後は、ＰＣＭＬＬＲの統計を効率よく求めることができる。というのは、 
【数５０】
2011022555.tif 000052
【０１３７】
などの変換は、各回帰クラスごとに１度適用されれば十分だからである。これについて１つの例外は、 
【数５１】
2011022555.tif 000053
【０１３８】
における二次統計の計算の場合である。これは、 
【数５２】
2011022555.tif 000054
【０１３９】
の計算を必要とする。
【０１４０】
Ωｉは完全行列であり、この部分は各回帰クラスおよび次元ごとに計算される必要がある。特徴ベクトルにＲ個の回帰クラスとｎ次元があるものと仮定すると、この部分のコストはＯ（Ｒｎ４）である。この部分での近似は、 
【数５３】
2011022555.tif 000055
【０１４１】
を平均分散で置き換えることによって求めることができる。すなわち、
【数５４】
2011022555.tif 000056
【０１４２】
である。この場合、
【数５５】
2011022555.tif 000057
【０１４３】
である。すると、この部分の計算コストは、Ｏ（Ｒｎ３）まで低減される。というのは、行列乗算が各回帰クラスごとに１度ですむからである。全体コストを表１に記載する。
【表１】
2011022555.tif 000058
【０１４４】
ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲのコストはＨＭＭサイズＭとは無関係であることが示されている。通常はＭ＞＞Ｒであるため、ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲは他の方法より効率がよくなると期待される。
【０１４５】
前述のように変換パラメータが推定されると、ステップＳ６１で、ＨＭＭを変更されたパラメータと共に使用することができ、ステップＳ６３で識別された単語が出力され得る。
【０１４６】
要約すると、基本のステップは以下とすることができる。
【０１４７】
１．まず、ｍ個の独立項、例えば、 
【数５６】
2011022555.tif 000059
【０１４８】
が計算され、キャッシュに入れられる。これは１度行われさえすればよい。
【０１４９】
２．雑音推定およびＶＴＳ−ＪＵＤ変換（Ａｒ，ｂｒ，Σｂｒ）を行う。
【０１５０】
３．式（１７）に従って
【数５７】
2011022555.tif 000060
【０１５１】
を計算する。
【０１５２】
４． 
【数５８】
2011022555.tif 000061
【０１５３】
を推定し、式（１５）を使用してモデルを補償する。
【０１５４】
図６は、本発明の別の実施形態による方法の流れ図である。図６の方法は適応学習を使用する。
【０１５５】
適応学習は、音声認識、特に、学習データベースにおいて話者の違いを正規化するのに広く使用されている。適応学習によって学習されたＨＭＭを正準モデルといい、これは、従来のＭＬ学習ＨＭＭより優れた音響モデリングをもたらすことが証明されている。
【０１５６】
適応学習という考え方は、学習データベースにおける雑音差を正規化するのに容易に適用することができる。これは、特徴ベースの技術によって、またはモデルベースの結合補償の技術によって行うことができる。モデルベースの補償は特徴ベースの補償よりも強力であることが一般に認められている。したがって、モデルベースの適応学習は特徴ベースの適応学習よりもうまく機能すると期待される。以前のモデルベースの学習法では、ＪＵＤベースの適応学習（ＪＡＴ）が導入される。ＪＡＴは、補償に式（５）を使用し、次いで以下のように、ＥＭ補助関数を最大化することによって、最適なＨＭＭパラメータ 
【数５９】
2011022555.tif 000062
【０１５７】
を探し出す。
【数６０】
2011022555.tif 000063
【０１５８】
式中、Ｍは最後のＥＭ反復からのＨＭＭパラメータであり、状態ｓおよび混合ｍに関しての事後確率γｔ（ｍ，ｓ）を求めるのに使用される。
【０１５９】
ＶＴＳはＪＵＤの特殊なケースであり、混合の数が回帰クラスの数と等しいとき、ＪＡＴはＶＴＳベースの適応学習（ＶＡＴ）になることを容易に示すことができる。一般には、ＶＡＴは、学習データに関してＪＡＴより優れたモデリングをもたらす。というのは、ＶＴＳは雑音補償についてＪＵＤより強力だからである。しかし、ＪＡＴでもＶＡＴでも、目的関数は、勾配法（ｇｒａｄｉｅｎｔ  ｄｅｓｃｅｎｔ  ａｌｇｏｒｉｔｈｍ）により（完全に、または部分的に）最適化されなければならず、これは些細な問題ではなく、学習プロセスを非常に長くするものである。さらに、学習と試験のための補償を一致させるために、ＪＵＤは通常、ＪＡＴ  ＨＭＭが実施されるときの復号に使用され、ＶＴＳはＶＡＴ  ＨＭＭと共に用いられる。これは復号性能を損なう。というのは、ＪＵＤは復号の際の非対角変換使用に問題があり、ＶＴＳはこれの効率性に問題があるからである。
【０１６０】
ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲは、ＨＭＭを適応させるのに適した解を提供する。ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲは、ＶＴＳよりも高速であり、ブロック対角変換を容易に適用することができるため、ＪＵＤよりもうまく機能する。したがって、本明細書では、ＶＴＳ−ＪＵＤベースの適応学習用ＰＣＭＬＬＲ（ＰＡＴ）を適用するよう提案する。ＰＣＭＬＬＲは補償式としてＣＭＬＬＲを使用するため、ＰＡＴの目的関数は、以下のように、ＣＭＬＬＲベースの話者適応学習において使用される目的関数と同じであり、
【数６１】
2011022555.tif 000064
【０１６１】
最も重要なことには、ＨＭＭ更新には閉じた形の解がある。例えば、ＨＭＭ平均値は以下のように求められる。
【数６２】
2011022555.tif 000065
【０１６２】
ＰＡＴの学習手順は以下の通りである。
【０１６３】
１）ＨＭＭのための標準ＭＬ学習を実行し、初期モデルとしてＭＬ−ＨＭＭを使用する。
【０１６４】
２）ステップＳ７３に示すように、学習発声ごとに、式（８）および式（６）によって、雑音パラメータを推定し、ＪＵＤ変換を計算する。
【０１６５】
３）ステップＳ７５に示すように、式（１９）および式（１７）に基づいて、
【数６３】
2011022555.tif 000066
【０１６６】
を計算する。
【０１６７】
４）すべての発声のＰＣＭＬＬＲ変換が与えられた場合、ステップＳ７７およびステップＳ７９に示すように、式（２８）によってＨＭＭパラメータを更新する。
【０１６８】
５）新しく推定されたＨＭＭを用いて次の反復のためにステップ２Ｓ７３に進む。
【０１６９】
ステップ２のＰＡＴのための雑音推定部分には様々な方法がありえる。ＶＡＴで使用される場合、従来のＶＴＳベースのＥＭ雑音推定をここで適用することができる。しかし、この実施形態による実施に際しては、異なる方法、すなわちＪＵＤベースのＥＭ雑音推定が用いられる。ＶＴＳベースの方法と比べると、この技術でもやはり、試験発声の尤度を最大にすることによって最適な雑音パラメータを見つけるが、雑音による（特徴量／パラメータの）変形は、ＶＴＳではなくＪＵＤによってモデル化される。ＪＵＤベースの雑音推定の補助関数は、
【数６４】
2011022555.tif 000067
【０１７０】
であり、式中、ＪＵＤ変換は、
【数６５】
2011022555.tif 000068
【０１７１】
である。ＪＵＤを用いた雑音推定は、ＶＴＳベースの雑音推定と同じ反復手順に従うが、変換が回帰クラスレベルでのみ計算されるため、はるかに高速である。発明者らの実験は、ＪＵＤベースの雑音推定は、ＶＴＳベースの技術と比べて、雑音推定に関してほぼ同じ正確さを達成することができることを示している。さらに、ＶＴＳ−ＪＵＤは、ＰＡＴのモデル補償のためにＰＣＭＬＬＲにおいて適用されるため、雑音推定にＪＵＤを使用すれば、全ＰＡＴプロセスが一貫性のあるものになり、より優れた性能が期待できる。これまで、ＳＰＬＩＣＥを使用し、線形変換の集合を用いて学習データベース内のすべての特徴を変換することによる特徴ベースの適応学習の技術が提案されている。ＰＡＴは、線形変換の集合に基づく特徴ベクトルの補償も行うが、ＳＰＬＩＣＥベースの技術とは大きく異なる。第１に、ＳＰＬＩＣＥのような特徴ベースの技術は、１つの雑音特徴に対しては、1度だけ変換を適用し、改善された特徴を復号に使用する。これに対して、ＰＡＴにおけるＣＭＬＬＲ変換はモデル依存である。すなわち、特徴量がどのＨＭＭ混合でスコア計算されるかに基づいて、同じ特徴が異なる変換を使用し得る。
【０１７２】
モデル依存の変換は、柔軟性の改善を可能にし、純粋の特徴ベースの技術よりはるかに優れた補償の性能を提供し得ることが示されている。第２に、ＰＡＴで生成されるＣＭＬＬＲ変換は、モデルベースの適応技術ＶＴＳ−ＪＵＤの振る舞いを近似するものと想定される。これは、特徴ベースの適応学習によっては決して実現することができないものである。最後に、ＳＰＬＩＣＥで使用される変換は、固定されたものであり、通常は、ある一定の学習データ上で事前に学習される。これらの変換はＨＭＭを更新するためのみに使用される。ＰＡＴにおいて、変換は、実際には、ＨＭＭに関連付けられている。すなわち、変換の生成はＨＭＭパラメータに依存する。したがってＰＡＴ変換は、ＨＭＭの方法と併せて最適化し、学習データによりうまく適合させることができる。
【０１７３】
東芝の車内タスクに関して、電話番号（ＰＨ）、４ケタ（４Ｄ）、コマンド制御（ＣＣ）および都市名（ＣＮ）を実際の運転条件において記録する実験を行った。各タスクは、エンジン作動（ＥＮ）と、幹線道路運転中（ＨＷ）という２つの雑音条件を含む。ＥＮ条件は、４４０１発声を含み、平均ＳＮＲ３５ｄＢを有し、ＨＷ条件は、ＳＮＲ約１８ｄＢの４５８２文を含む。本明細書で用いるフロントエンドは、３９次元ＭＦＣＣである。各特徴ベクトルは、第０の係数と、デルタ成分およびデルタ−デルタ成分を有する１３次元の静的特徴からなる。２つの学習集合が使用される。一方の集合は、ウォール・ストリート・ジャーナル（Ｗａｌｌ  Ｓｔｒｅｅｔ  Ｊｏｕｒｎａｌ）からの１２０時間の無雑音音声を含む無雑音ＨＭＭ学習のためのものである。他方の集合は、ウォール・ストリート・ジャーナル、ＴＩＤＩＧＩＴＳ、ＴＩＭＩＴおよび内部で収集された雑音学習データからの３１２時間のデータを含む、多条件学習（ｍｕｌｔｉ−ｃｏｎｄｉｔｉｏｎ  ｔｒａｉｎｉｎｇ）（ＭＴＲ）および適応学習のためのものである。
【０１７４】
学習されたすべてのＨＭＭは６５０状態を有するトライフォンである。ＨＭＭの音声状態ごとに１２の混合、無音状態ごとに２４の混合があり、ＨＭＭ中の混合の全体数を約８０００とする。モデル適応化のためにＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲまたはＪＵＤが実施されるときには、６４の回帰クラスが用いられる。無雑音学習を用いた２つの雑音条件での平均の単語誤り率（ＷＥＲ）を表ＩＩに示す。この場合、ＶＴＳ、ＶＴＳ−ＪＵＤ、ＪＵＤおよびＰＣＭＬＬＲの雑音パラメータを推定するのにＪＵＤベースのＥＭ雑音推定が使用されている。ＶＴＳは、平均ＷＥＲを４．６％まで低減することにより、かなり良好な雑音の補償をもたらし得ることが示されている。しかしこれには、計算コストの増加という代償を伴う。ＪＵＤで対角変換が使用されるときには、対角変換がもたらす補償が不十分なため、性能は５．０％まで低下する。式（１２）として実施されるＶＴＳ−ＪＵＤは非常に強力で、ＶＴＳとほぼ同じ良好な性能を有し、ＨＭＭ平均値に関して非対角変換を使用することの重要性を示している。
【０１７５】
この場合のＶＴＳとＶＴＳ−ＪＵＤの唯一の違いは、使用される変換数であり、ＶＴＳでは８０００、ＶＴＳ−ＪＵＤでは６４であって、この結果は、変換数を低減させることは認識性能にあまり大きな影響を及ぼさないことを示すものである。ＰＣＭＬＬＲの結果を表ＩＩＩに示す。ＰＣＭＬＬＲにおいて目標分布としてＶＴＳを使用することは、ＶＴＳを直接使用するのと同程度に高くつくが、表には参照のためにこの結果も含まれている。ブロック対角構造がＰＣＭＬＬＲ変換に使用されるとき、提案のＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲは、ＷＥＲを４．１％まで低減させることが示されており、これはＶＴＳベースのＰＣＭＬＬＲ（４．０％）に匹敵するものである。対角構造がＰＣＭＬＬＲ変換のために適用されるときには、特に、幹線道路条件で劣化が観測される。これは、低ＳＮＲ環境ではブロック対角構造が不可欠であることを示している。加えて、どんな適応化技術が用いられようとも、この技術をＰＣＭＬＬＲと併用すれば常に、単独で使用するよりもよい結果が得られる。具体的には、ＶＴＳベースのＰＣＭＬＬＲはＶＴＳより効率がよく、ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲはＶＴＳ−ＪＵＤより優れている。これは、ＶＴＳ−ＪＵＤベースのＰＣＭＬＬＲが認識性能に関してＶＴＳ−ＪＵＤに打ち勝つことができることを示している。最後に、式（２５）で提示される近似も評価されている。ある程度の低下は観測されるが、全般的性能はやはりＶＴＳより優れている。
【０１７６】
表ＩＶに、多条件学習データでの結果を示す。ＶＡＴが、学習と認識の両方でモデル補償のためのＶＴＳをＶＴＳベースの雑音推定と共に使用して実施された。ＭＬ学習と比べて、ＶＡＴは性能を２．５％まで改善し、ＰＡＴはさらに一層優れた性能２．２％でＶＡＴに打ち勝つことができる。ＰＡＴは、これの効率性を考慮すると、これまでのところ、雑音補償のための最善の適応学習技術であるように思われる。
【表２】
2011022555.tif 000069
【０１７７】
ＪＵＤベースの方法が６４回帰クラスを使用する場合の無雑音ＨＭＭ学習を用いた様々な方法での各タスクの平均ＷＥＲ（％）
【表３】
2011022555.tif 000070
【０１７８】
ＰＣＭＬＬＲが６４回帰クラスを使用する場合の無雑音ＨＭＭ学習を用いたＰＣＭＬＬＲでの各タスクの平均ＷＥＲ（％）
【表４】
2011022555.tif 000071
【０１７９】
ＪＵＤベースの方法が６４回帰クラスを使用する場合のＭＴＲ学習を用いた様々な方法での各タスクの平均ＷＥＲ（％）
付記
（１）一態様において、実施形態は、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取ることと、
音響モデルを使用して観測値のシーケンスから生じる単語のシーケンスの尤度を求めることと、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、
第２の環境において学習されたモデルを、第１の環境のモデルに適応させることと
を備えることと、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求めることと、
音響モデルと言語モデルとによって求められた尤度を組み合わせ、上記音声入力信号から識別された単語のシーケンスを出力することと
を備える音声認識の方法であり、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることは、
第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、
近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、
近似変換パラメータを推定することと
を備える方法を提供する。
【０１８０】
（２）一態様において、実施形態は、（１）による方法であって、第２の雑音環境において学習されたモデルのモデルパラメータを第１の雑音環境のモデルパラメータに適応させることは、
【数６６】
2011022555.tif 000072
【０１８１】
という型のＶＴＳ−ＪＵＤ補償を使用することを備え、式中、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示す成分指数であり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列であり、また、 
【数６７】
2011022555.tif 000073
【０１８２】
であり、式中、 
【数６８】
2011022555.tif 000074
【０１８３】
は、それぞれ、各回帰クラスにおける第２の雑音環境と第１の雑音環境との平均値、共分散、および相互共分散である方法を提供する。
【０１８４】
（３）一態様において、実施形態は、（１）または（２）による方法であって、線形回帰型分布は、
【数６９】
2011022555.tif 000075
【０１８５】
という形のＰＣＭＬＬＲ型分布であり、式中、 
【数７０】
2011022555.tif 000076
【０１８６】
は、ＰＣＭＬＬＲ変換であり、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示すインデックスであり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列である方法を提供する。
【０１８７】
（４）一態様において、実施形態は、（１）〜（３）のいずれかによる方法であって、近似変換パラメータを推定することは、線形回帰型分布と目標分布の間の乖離を最小化することを備える方法を提供する。
【０１８８】
（５）一態様において、実施形態は、（１）〜（４）のいずれかによる方法であって、目標分布は平均値と共分散を備え、目標分布における上記共分散は、近似変換パラメータを求めるときに対角化される方法を提供する。
【０１８９】
（６）一態様において、実施形態は、（１）〜（５）のいずれかによる方法であって、近似変換パラメータの推定は、すべての確率分布について行われる必要のある計算を回帰クラス依存の計算から分離し、すべての確率分布について行われる必要のある計算の結果を別個に求め、キャッシュに入れることを備える方法を提供する。
【０１９０】
（７）一態様において、実施形態は、（３）による方法であって、近似変換パラメータの推定は、平均分散を用いて分散を近似することを備える方法を提供する。
【０１９１】
（８）一態様において、実施形態は、（１）〜（７）のいずれかによる方法であって、確率分布関数はガウス関数である方法を提供する。
【０１９２】
（９）一態様において、実施形態は、（１）〜（８）のいずれかによる方法であって、音響モデルは隠れマルコフモデルである方法を提供する。
【０１９３】
（１０）一態様において、実施形態は、（１）〜（９）のいずれかによる方法であって、第１の環境は雑音環境であり、第２の環境は無雑音環境である方法を提供する。
【０１９４】
（１１）一態様において、実施形態は、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取ることと、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、第２の環境において学習されたモデルを第１の環境のモデルに適応させることとを備える、音響モデルを使用して観測値のシーケンスから生じる単語のシーケンスの尤度を求めることと、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求めることと、
音響モデルと言語モデルとによって求められた尤度を組み合わせ、上記音声入力信号から認識された音声を出力することと、
上記認識音声を異なる言語に翻訳することと、
上記認識音声を上記異なる言語で出力することと
を備え、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることが、第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、近似変換パラメータを推定することとを備える音声変換の方法を提供する。
【０１９５】
（１２）一態様において、実施形態は、（１１）による方法であって、上記認識音声を出力することは、テキスト／音声変換法を使用することを備える方法を提供する。
【０１９６】
（１３）一態様において、実施形態は、雑音環境において、音響モデルを備える音声認識システムであり、上記モデルが、単語または単語の部分の確率分布を観測値または発声に関連付ける複数のモデルパラメータを有し、上記モデルパラメータが、正準モデルパラメータと、雑音環境において正準モデルパラメータをモデルパラメータに関連付ける目標分布を近似するのに使用される線形回帰型分布から推定される、学習時に正準モデルパラメータをモデルの雑音環境に関連付ける近似変換パラメータとを備え、上記目標分布の変換パラメータが、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する音声認識システムを学習する方法であって、
上記モデルを学習することが、
期待最大化アルゴリズムの補助関数を、正準モデルパラメータと近似変換パラメータとして表すことと、
上記期待最大化アルゴリズムに適用される最尤法を使用して近似変換パラメータと正準モデルパラメータを推定することと
を備える方法を提供する。
【０１９７】
（１４）一態様において、実施形態は、（１３）による音声認識システムを学習する方法であって、目標分布は、
【数７１】
2011022555.tif 000077
【０１９８】
という型のＶＴＳ−ＪＵＤ補償であり、式中、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示す成分指数であり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列であり、また、
【数７２】
2011022555.tif 000078
【０１９９】
であり、式中、 
【数７３】
2011022555.tif 000079
【０２００】
は、それぞれ、各回帰クラスにおける第２の雑音環境と第１の雑音環境との平均値、共分散、および相互共分散である方法を提供する。
【０２０１】
（１５）一態様において、実施形態は、（１３）または（１４）による音声認識システムを学習する方法であって、線形回帰型分布は、
【数７４】
2011022555.tif 000080
【０２０２】
という形のＰＣＭＬＬＲ型分布であり、式中、 
【数７５】
2011022555.tif 000081
【０２０３】
は、ＰＣＭＬＬＲ変換であり、ｙは、雑音音声の特徴ベクトルであり、ｍは、単語または単語の部分を特徴ベクトルに関連付ける確率分布を示す成分指数であり、μｘ（ｍ）は、第２の雑音環境における分布ｍの平均値であり、Σｘ（ｍ）は、第２の雑音環境における分布ｍの共分散行列である方法を提供する。
【０２０４】
（１６）一態様において、実施形態は、
観測値のシーケンスを含む第１の雑音環境における音声入力を受け取る受信機と、
第２の雑音環境において音声を認識するように学習されており、観測値に関連付けられている単語または単語の部分の確率分布に関連する複数のモデルパラメータを有する、観測値のシーケンスを含む入力信号に対する音声認識を行うための音響モデルを提供することと、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることと
を備える、音響モデルを使用した観測値のシーケンスから生じる単語のシーケンスの尤度の決定を行い、
言語モデルを使用して所与の言語において発生する観測値のシーケンスの尤度を求め、
音響モデルと言語モデルとによって求められる尤度を組み合わせる
ように構成されたプロセッサと、
上記音声入力信号から識別される単語のシーケンスを出力するように構成された出力と、
を備え、
第２の環境において学習されたモデルを第１の環境のモデルに適応させることが、
第２の雑音環境において学習されたモデルのモデルパラメータを、ブロック対角型を有し、それぞれが複数の確率分布を含む回帰クラスに依存する、目標分布を生成するための変換パラメータを使用して第１の雑音環境のモデルパラメータに適応させることと、
近似変換パラメータを含む線形回帰型分布を使用して目標分布を近似することと、
近似変換パラメータを推定することと、
を備える音声認識システムを提供する。
【０２０５】
（１７）
一態様において、実施形態は、（１６）による装置を提供し、出力は、ディスプレイ、プリンタまたは別の装置が読み取ることのできる電子信号を備える。
【図１】
2011022555.tif 000082
【図２】
2011022555.tif 000083
【図３】
2011022555.tif 000084
【図４】
2011022555.tif 000085
【図５】
2011022555.tif 000086
【図６】
2011022555.tif 000087
【外国語明細書】
2011022555000001.pdf