(57)【要約】【課題】　雑音のない音声スペクトル特徴を推定することに、より効果のある雑音除去方法を提供する。【解決手段】　雑音のない信号および雑音とともに未知の位相の影響を明確に示すモデルを作成し、マイクロプロセッサ２０２のモデルに関するデジタル演算処理により雑音が含まれる信号内の雑音を低減する。【選択図】　図２
2004102287.tif 000002
【特許請求の範囲】
【請求項１】
　雑音が含まれる入力信号内の雑音を低減する方法であって、
　前記雑音が含まれる入力信号のフレームを入力特徴ベクトルに変換するステップと、
　ｙを前記入力特徴ベクトル、ｎを雑音推定値とする式
【数１】
2004102287.tif 000068
を使用して雑音低減特徴ベクトルを求めるステップを含むことを特徴とする方法。
【請求項２】
　コンピュータ実行可能命令を格納するコンピュータ読取り可能媒体であって、前記コンピュータ実行可能命令は、
　前記雑音が含まれる入力信号のフレームを入力特徴ベクトルに変換するステップと、
　ｙを前記入力特徴ベクトル、ｎを雑音推定値とする式
【数２】
2004102287.tif 000069
を使用して雑音低減特徴ベクトルを求めるステップと
　を含むことを特徴とするコンピュータ読取り可能媒体。
【請求項３】
　コンピュータ実行可能命令を格納するコンピュータ読取り可能媒体であって、前記コンピュータ読取り可能命令は、
　雑音が含まれる入力信号のフレームを入力特徴ベクトルに変換する第１のモジュールと、
　音響環境の音響モデルを使用して雑音低減特徴ベクトルの推定値を求める第２のモジュールであって、そこでは前記モデルは前記入力特徴ベクトル、雑音のない特徴ベクトル、雑音特徴ベクトル、および前記雑音のない特徴ベクトルと前記雑音特徴ベクトルの混合を示す位相関係との間の関係を記述する非線形関数に基づいており、前記位相関係は統計的分布を有する位相ファクターを含む第２のモジュールと
　を含むことを特徴とするコンピュータ読取り可能媒体。
【請求項４】
　前記統計的分布がゼロ平均ガウス分布を含むことを特徴とする請求項３に記載のコンピュータ読取り可能媒体。
【請求項５】
　前記音響モデルが前記入力特徴ベクトル、前記雑音のない特徴ベクトル、および２つの次元を持つ変数の変化に対する前記雑音特徴ベクトルを含む座標空間の回転に基づくことを特徴とする請求項４に記載のコンピュータ読取り可能媒体。
【請求項６】
　前記音響モデルの１つの次元がほぼガウス分布であることを特徴とする請求項５に記載のコンピュータ読取り可能媒体。
【請求項７】
　前記第２のモジュールが前記音響モデルの１つの次元について数式処理による積分を実行する関数として前記雑音低減特徴ベクトルの前記推定値を求める命令を含むことを特徴とする請求項６に記載のコンピュータ読取り可能媒体。
【請求項８】
　前記第２のモジュールが前記音響モデルの第２の次元について数値積分を実行する関数として前記雑音低減特徴ベクトルの前記推定値を求める命令を含むことを特徴とする請求項６に記載のコンピュータ読取り可能媒体。
【請求項９】
　前記第２のモジュールがテイラー級数近似の関数として前記雑音低減特徴ベクトルの推定値を求める命令を含むことを特徴とする請求項３に記載のコンピュータ読取り可能媒体。
【請求項１０】
　前記第２のモジュールが雑音低減特徴ベクトルの事前推定値の関数として前記雑音低減特徴ベクトルの推定値を求めるコンピュータ実行可能命令を含むことを特徴とする請求項９に記載のコンピュータ読取り可能媒体。
【請求項１１】
　前記第２のモジュールが選択された反復回数について後の計算で前記雑音低減特徴ベクトルの直前推定値を繰り返し使用する関数として前記雑音低減特徴ベクトルの推定値を求めるコンピュータ実行可能命令を含むことを特徴とする請求項１０に記載のコンピュータ読取り可能媒体。
【請求項１２】
　雑音が含まれる入力信号内の雑音を低減する方法であって、
　前記雑音が含まれる入力信号のフレームを入力特徴ベクトルに変換するステップと、
　音響環境の音響モデルを取得するステップであって、そこでは、前記音響モデルは前記入力特徴ベクトル、雑音のない特徴ベクトル、雑音特徴ベクトル、および前記雑音のない特徴ベクトルと前記雑音特徴ベクトルの混合を示す位相関係との間の関係を記述する非線形関数に基づいており、前記位相関係が前記雑音のない特徴ベクトルと前記雑音特徴ベクトルと同じ領域にあるステップと、
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップを含むことを特徴とする方法。
【請求項１３】
　前記音響モデルを取得するステップが統計的分布を持つ位相ファクターとの前記位相関係をモデル化するステップを含むことを特徴とする請求項１２に記載の方法。
【請求項１４】
　前記統計的分布がゼロ平均ガウス分布を含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
　前記音響モデルを取得するステップが前記入力特徴ベクトル、前記雑音のない特徴ベクトル、および２つの次元を持つ変数の変化を求めるための前記雑音特徴ベクトルを含む前記音響モデルの座標空間を回転するステップを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
　前記音響モデルの１つの次元がほぼガウス分布であることを特徴とする請求項１５に記載の方法。
【請求項１７】
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップが前記音響モデルの１つの次元について数式処理による積分を実行するステップを含むことを特徴とする請求項１６に記載の方法。
【請求項１８】
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップが前記音響モデルの第２の次元について数値積分を実行するステップを含むことを特徴とする請求項１７に記載の方法。
【請求項１９】
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップがテイラー級数近似を使用するステップを含むことを特徴とする請求項１３に記載の方法。
【請求項２０】
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップが前記雑音低減特徴ベクトルの事前推定値を使用するステップを含むことを特徴とする請求項１９に記載の方法。
【請求項２１】
　前記入力特徴ベクトル、前記雑音特徴ベクトル、および前記音響モデルを使用して、前記雑音低減特徴ベクトルを推定するステップが、選択された反復回数について後の計算で前記雑音低減特徴ベクトルの直前推定値を繰り返し使用するステップを含むことを特徴とする請求項１０に記載のコンピュータ読取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は雑音低減に関する。特に、本発明は、パターン認識で使用する信号内の雑音を低減することに関する。
【背景技術】
【０００２】
　音声認識システムなどのパターン認識システム（ｐａｔｔｅｒｎ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ）は、入力信号を受け取って、その信号を復号化してその信号によって表されるパターンを見つけようとする。たとえば、音声認識システムでは、音声信号が認識システムに入ると、復号化され、音声信号によって表される単語列が識別される。
【０００３】
　しかし、入力信号は、何らかの形の加法的雑音（ａｄｄｉｔｉｖｅ　ｎｏｉｓｅ）により劣化するのがふつうである。したがって、パターン認識システムのパフォーマンスを改善するために、加法的雑音を推定し、その推定結果を使用して雑音のない（クリーンな）信号を提供することが多くの場合望ましい。
【０００４】
　以前は、特に自動音声認識システムで、雑音除去にスペクトル減算（Ｓｐｅｃｔｒａｌ　ｓｕｂｔｒａｃｔｉｏｎ）を使用していた。世間一般の通念では、完全な雑音推定値が得られる場合は、基本的なスペクトル減算は雑音を除去するのによい働きをするが、この場合はそれに当てはまらなかった。
【０００５】
　標準のスペクトル減算は、雑音と音声スペクトルが線形的に混合しているという観測結果がきっかけとなっており、したがって、スペクトルは以下に従って混合する必要がある。
【０００６】
【数１】
2004102287.tif 000003
【０００７】
　通常、この式は、｜Ｘ［ｋ］｜２について解かれるが、負の出力特殊密度が生じないように、最大減衰フロア（ａｔｔｅｎｕａｔｉｏｎ　ｆｌｏｏｒ）Ｆが設定される。
【０００８】
【数２】
2004102287.tif 000004
【０００９】
【非特許文献１】H.G. Hirsch and D. Pearce in "The Aurora Experimental Framework for the Performance Evaluations of Speech Recognition Systems Under Noisy Conditions," ISCA ITRW ASR 2000 "Automatic Speech Recognition: Challenges for the Next Millennium", Paris, France, Sept. 2000
【発明の開示】
【発明が解決しようとする課題】
【００１０】
　いくつかの実験を行って、ｎの真のスペクトル、およびｅ−２０〜ｅ−２のフロアＦを使用して式１（ＥＱ．１）の性能を調べた。各発話の真の加法的雑音時系列から真の雑音スペクトルを計算して求めた。実験はすべて、（たとえば、非特許文献１参照）で説明されているＡｕｒｏｒａ　２評価用フレームワークに用意されているデータ、コード、およびトレーニングスクリプトを使用して実施した。さまざまなフロアに対して以下の桁誤り率（ｄｉｇｉｔ　ｅｒｒｏｒ　ｒａｔｅ）が得られた。
【００１１】
【表１】
2004102287.tif 000005
【００１２】
　前記から、雑音スペクトルが正確に判明している場合でさえ、スペクトル減算は完全には実行されず、改善を行えることは明白である。これを考慮すると、雑音のない音声スペクトル特徴を推定することに、より効果のある雑音除去手法が必要である。
【課題を解決するための手段】
【００１３】
　新しい統計モデルでは、加法的雑音が原因で生じるスペクトル特徴の破損が説明される。特に、このモデルは観測されていない雑音のない信号および雑音とともに未知の位相の影響を明確に示す。モデルを作成することにより、雑音が含まれる信号内の雑音をモデルの関数として低減する３つの手法を実現した。
【００１４】
　一般に、２つの手法で利用している本発明の一態様として、雑音が含まれる入力信号のフレームは入力特徴ベクトルに変換される。雑音が低減された特徴ベクトルの推定では、音響環境のモデルを使用する。このモデルは、入力特徴ベクトル、雑音のない特徴ベクトル、雑音特徴ベクトルと、雑音のない特徴ベクトルおよび雑音特徴ベクトルの混合を示す位相関係との間の関係を記述する非線形関数に基づいている。位相関係の数学的表現を含めることにより、正確なモデルを作成する。位相関係のユニークな特徴は、これが雑音のない特徴ベクトルと雑音特徴ベクトルと同じ領域内にあるという点である。もう１つ別の際立った特徴として、位相関係は統計的分布を持つ位相ファクターを含むという点があげられる。
【００１５】
　他の態様では、雑音が含まれる入力信号内の雑音を低減する方法は、雑音が含まれる入力信号のフレームを入力特徴ベクトルに変換するステップと、以下の式を使用して雑音低減特徴ベクトルを求めるステップを含む。
【００１６】
【数３】
2004102287.tif 000006
【００１７】
　ここで、ｙは入力特徴ベクトル、ｎは雑音推定値である。
【発明を実施するための最良の形態】
【００１８】
　本発明の態様を説明する前に、コンピューティング環境例について簡単に説明する。　　図１は、本発明を実施するのに適しているコンピューティングシステム環境１００の一実施例を示す。コンピューティングシステム環境１００は、適当なコンピューティング環境の一例にすぎず、本発明の用途または機能性の範囲に関する限定を提案する意図はない。コンピューティング環境１００は、オペレーティング環境例１００に示されている１つのコンポーネントまたはその組合せに関係する依存関係または要求条件を備えていると解釈すべきでない。
【００１９】
　本発明は、他の数多くの汎用または専用コンピューティングシステム環境または構成を使って動作する。本発明とともに使用するのに適していると思われるよく知られているコンピューティングシステム、環境、および／または構成の例として、以下の物に限定しないが、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドもしくはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話技術システム、上記システムまたはデバイスを含む分散コンピューティング環境などがある。
【００２０】
　本発明は、コンピュータによって実行される、プログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストに関して説明することができる。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。以下では、図の助けを借りて、プログラムおよびモジュールにより実行されるタスクについて説明する。当業者であれば、説明および図を、後述のコンピュータ読取り可能媒体の形態で実現できるコンピュータ実行可能命令として実装することができる。
【００２１】
　また、本発明は、通信ネットワークを通じてリンクされているリモート処理デバイスによりタスクが実行される分散コンピューティング環境で実践することもできる。分散コンピューティング環境では、プログラムモジュールをメモリ記憶デバイスなどのローカルとリモートの両方のコンピュータ記憶メディアに配置できる。
【００２２】
　図１では、本発明を実装するシステム例は、コンピュータ１１０の形態をとる汎用コンピューティングデバイスを備える。コンピュータ１１０のコンポーネントは、以下の物に限定しないが、処理装置１２０、システムメモリ１３０、およびシステムメモリを含むさまざまなシステムコンポーネントを処理装置１２０に結合するシステムバス１２１を備えることができる。システムバス１２１には、さまざまなバスアーキテクチャを使用するメモリバスまたはメモリコントローラ、周辺機器バス、およびローカルバスを含む数種類のバス構造がある。たとえば、このようなアーキテクチャとしては、Ｉｎｄｕｓｔｒｙ　Ｓｔａｎｄａｒｄ　Ａｒｃｈｉｔｅｃｔｕｒｅ（ＩＳＡ）バス、Ｍｉｃｒｏ　Ｃｈａｎｎｅｌ　Ａｒｃｈｉｔｅｃｔｕｒｅ（ＭＣＡ）バス、Ｅｎｈａｎｃｅｄ　ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ　Ｅｌｅｃｔｒｏｎｉｃｓ　Ｓｔａｎｄａｒｄｓ　Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、およびＭｅｚｚａｎｉｎｅバスとも呼ばれるＰｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ（ＰＣＩ）バスがあるがこれらに限定しない。
【００２３】
　コンピュータ１１０は通常、さまざまなコンピュータ読取り可能媒体を含む。コンピュータ読取り可能媒体は、コンピュータ１１０によってアクセスできる媒体であればどのような媒体でも使用でき、揮発性および不揮発性媒体、取外し可能および取外し不可能媒体を含む。たとえば、限定しないが、コンピュータ読取り可能媒体は、コンピュータ記憶媒体および通信媒体を含むことができる。コンピュータ記憶媒体は、コンピュータ読取り可能命令、データ構造体、プログラムモジュール、その他のデータなどの情報を格納する方法または技術で実装される揮発性および不揮発性、取外し可能および取外し不可能媒体を含む。コンピュータ記憶媒体としては、以下の物に限定しないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多目的ディスク（ＤＶＤ）またはその他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、目的の情報を格納するために使用することができコンピュータ１１０によりアクセスできるその他の媒体がある。通信媒体は、通常、コンピュータ読取り可能命令、データ構造体、プログラムモジュール、または搬送波やその他のトランスポートメカニズムなどの変調データ信号によるその他のデータを実現し、情報配信媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化する方法でその特性のうち１つまたは複数を設定もしくは変更した信号を意味する。たとえば、通信媒体としては、限定しないが、有線ネットワークや直接配線接続などの有線媒体、および、音響、ＲＦ、赤外線、その他の無線媒体などの無線媒体がある。上記のいずれかの組合せもコンピュータ読取り可能媒体の範囲に収まるであろう。
【００２４】
　システムメモリ１３０は、読取り専用メモリ（ＲＯＭ）１３１やランダムアクセスメモリ（ＲＡＭ）１３２などの揮発性および／または不揮発性メモリの形態のコンピュータ記憶媒体を備える。起動時などにコンピュータ１１０内の要素間の情報転送を助ける基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ）は通常、ＲＯＭ　１３１に格納される。通常、ＲＡＭ　１３２には、処理装置１２０に直接アクセス可能な、かつ／または現在操作されているデータおよび／またはプログラムモジュールを格納する。たとえば、限定しないが、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７を示している。
【００２５】
　コンピュータ１１０はさらに、その他の取外し可能／取外し不可能な揮発性／不揮発性コンピュータ記憶媒体を備えることもできる。たとえば、図１は、取外し不可能な不揮発性磁気媒体の読み書きを行うハードディスクドライブ１４１、取外し可能な不揮発性磁気ディスク１５２の読み書きを行う磁気ディスクドライブ１５１、およびＣＤ−ＲＯＭやその他の光媒体などの取外し可能な不揮発性光ディスク１５６の読み書きを行う光ディスクドライブ１５５を示している。操作環境例で使用できる他の取外し可能／取外し不可能な揮発性／不揮発性コンピュータ記憶媒体としては、以下の物に限定しないが、磁気テープカセット、フラッシュメモリカード、デジタル多目的ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどがある。ハードディスクドライブ１４１は、通常、インタフェース１４０などの取外し不可能なメモリインタフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インタフェース１５０などの取外し可能なメモリインタフェースによりシステムバス１２１に接続される。
【００２６】
　図１に示されている上記のドライブおよび関連コンピュータ記憶媒体は、コンピュータ１１０用のコンピュータ読取り可能命令、データ構造体、プログラムモジュール、およびその他のデータを格納する機能を備える。たとえば、図１では、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７を格納する物として示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じである場合もあれば異なる場合もあることに注意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７に対しては、ここで、異なる番号を割り当てて、最低でも、それが異なるコピーであることを示している。
【００２７】
　ユーザは、キーボード１６２やマイク１６３やマウス、トラックボール、タッチパッドなどのポインティングデバイス１６１などの入力デバイスを介してコンピュータ１１０にコマンドおよび情報を入力できる。他の入力デバイス（図に示されていない）としては、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどがある。これらの入力デバイスやその他の入力デバイスは、システムバスに結合されているユーザ入力インタフェース１６０を介して処理装置１２０に接続されることが多いが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ）などの他のインタフェースおよびバス構造により接続することもできる。モニタ１９１やその他のタイプの表示デバイスも、ビデオインタフェース１９０などのインタフェースを介してシステムバス１２１に接続される。モニタのほかに、コンピュータはさらにスピーカー１９７やプリンタ１９６などの他の周辺出力デバイスも備えることができ、これらは出力周辺インタフェース１９０を介して接続することができる。
【００２８】
　コンピュータ１１０は、リモートコンピュータ１８０などの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバー、ルーター、ネットワークＰＣ、ピアデバイス、またはその他の共通ネットワークノードでもよく、通常は、コンピュータ１１０に関係する上述の要素の多くまたはすべてを含む。図１に示されている論理接続は、ローカルエリアネットワーク（ＬＡＮ）１７１とワイドエリアネットワーク（ＷＡＮ）１７３を含むが、他のネットワークを含むこともできる。このようなネットワーキング環境は、事務所、企業規模のコンピュータネットワーク、イントラネットおよびインターネットではよくある。
【００２９】
　ＬＡＮネットワーキング環境で使用する場合は、コンピュータ１１０はネットワークインタフェースすなわちアダプタ１７０を介してＬＡＮ　１７１に接続される。ＷＡＮネットワーキング環境で使用する場合は、コンピュータ１１０は通常、モデム１７２またはインターネットなどのＷＡＮ　１７３上で通信を確立するためのその他の手段を備える。モデム１７２は、内蔵でも外付けでもよいが、ユーザ入力インタフェース１６０またはその他の適切なメカニズムを介してシステムバス１２１に接続できる。ネットワーク環境では、コンピュータ１１０またはその一部に関して述べたプログラムモジュールは、リモートメモリ記憶デバイスに格納できる。たとえば、限定しないが、図１には、リモートアプリケーションプログラム１８５がリモートコンピュータ１８０に常駐しているように示されている。図に示されているネットワーク接続は例であり、コンピュータ間に通信リンクを確立するのにその他の手段を使用できることは理解されるであろう。
【００３０】
　図２は、コンピューティング環境例であるモバイルデバイス２００のブロック図である。モバイルデバイス２００は、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）コンポーネント２０６、およびリモートコンピュータまたはその他のモバイルデバイスと通信するための通信インタフェース２０８を備える。一実施形態では、上述のコンポーネントは適当なバス２１０で相互に通信できるように結合されている。
【００３１】
　メモリ２０４は、バッテリバックアップモジュール付きランダムアクセスメモリ（ＲＡＭ）（図に示されていない）などの不揮発性電子メモリとして実装され、メモリ２０４内に格納されている情報は、モバイルデバイス２００全体への電力が途絶えても失われることがない。メモリ２０４の一部をプログラム実行用のアドレス指定可能なメモリとして割り振り、メモリ２０４のそれ以外の部分を、ディスクドライブ上の記憶領域をシミュレートするなど、記憶用に使用するのが好ましい。
【００３２】
　メモリ２０４は、オペレーティングシステム２１２、アプリケーションプログラム２１４、さらにオブジェクトストア２１６を備える。動作時に、オペレーティングシステム２１２は、メモリ２０４からプロセッサ２０２により実行されるのが好ましい。オペレーティングシステム２１２は、好ましい一実施形態では、Ｍｉｃｒｏｓｏｆｔ　Ｃｏｒｐｏｒａｔｉｏｎが市販しているオペレーティングシステム、Ｗｉｎｄｏｗｓ（登録商標）ＣＥである。オペレーティングシステム２１２は、モバイルデバイス用に設計されているのが好ましく、公開されている一組のアプリケーションプログラミングインタフェースおよびメソッドを介してアプリケーション２１４で利用できるデータベース機能を実装する。オブジェクトストア２１６内のオブジェクトは、少なくとも一部は、公開されているアプリケーションプログラミングインタフェースおよびメソッドへの呼出しに応答してアプリケーション２１４およびオペレーティングシステム２１２により保持される。
【００３３】
　通信インタフェース２０８は、モバイルデバイス２００で情報を送受信するためのさまざまなデバイスおよび技術を表している。デバイスの２、３例として、有線および無線のモデム、衛星放送受信機、および放送チューナーがある。モバイルデバイス２００は、さらに、コンピュータに直接接続して、データ交換を行うことができる。このような場合、通信インタフェース２０８は、赤外線トランシーバまたはシリアルもしくはパラレル通信接続とすることができ、すべてストリーミング情報を伝送することができる。
【００３４】
　入出力コンポーネント２０６としては、タッチセンシティブスクリーン、ボタン、ローラー、マイクなどのさまざまな入力デバイス、さらにオーディオジェネレータ、振動デバイス、およびディスプレイをはじめとするさまざまな出力デバイスがある。上記のデバイスは例として示しているのであり、モバイルデバイス２００にすべて存在している必要はない。さらに、本発明の範囲内で、他の入出力デバイスをモバイルデバイス２００に取り付けたり、備えることができる。
【００３５】
　本発明の一態様では、パターン認識信号から雑音を除去するシステムおよび方法を提案している。そのために、本発明のこの態様では、パターン認識信号、特に加法的雑音により生じる音声認識スペクトル特徴に対する破損を説明する新しい統計的モデルを使用している。このモデルは観測されていない雑音のない音声および雑音とともに未知の位相の影響を３つの隠し変数として明確に示している。このモデルを使用して、自動音声認識のためのロバスト（堅固な）特徴を生成する。後述のように、このモデルは、対数Ｍｅｌ周波数特徴領域（Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ　ｆｅａｔｕｒｅ　ｄｏｍａｉｎ）で作成される。この領域の利点として、次元が低く推論の学習が効率的であるという点があげられる。対数Ｍｅｌ周波数スペクトル係数はさらに、Ｍｅｌ周波数ケプストラム係数（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ　Ｃｅｐｓｔｒｕｍ　Ｃｏｅｆｆｉｃｉｅｎｔｓ）（ＭＦＣＣ）と線形の関係にあり、認識システムで使用している特徴に対応する。さらに、線形チャネルと加法的雑音からの崩壊は、個々のＭｅｌ周波数範囲内で局在化されており、そのため、それらの特徴の各次元の処理が個別に可能である。
【００３６】
　前述のように、本発明のモデルは、対数Ｍｅｌ周波数スペクトル領域で作成される。各スペクトルフレームを大きさ平方演算（ｍａｇｎｉｔｕｄｅ−ｓｑｕａｒｅｄ　ｏｐｅｒａｔｉｏｎ）、Ｍｅｌ周波数フィルタバンク（Ｍｅｌ−ｆｒｅｑｕｅｎｃｙ　ｆｉｌｔｅｒｂａｎｋ）、および対数演算に渡して処理する。
【００３７】
　一般に、雑音信号または観測（Ｙ）信号は音声（Ｘ）と雑音（Ｎ）の一次結合で、Ｙ［ｋ］＝Ｘ［ｋ］＋Ｎ［ｋ］で表される。したがって、雑音が含まれる対数Ｍｅｌスペクトル特徴ｙｉは、観測されていないスペクトルＸ［ｋ］とＮ［ｋ］に直接関連付けることができ、以下の式で表すことができる。
【００３８】
【数４】
2004102287.tif 000007
【００３９】
　ここで、
【００４０】
【数５】
2004102287.tif 000008
【００４１】
　は、ｉ番目のＭｅｌ周波数フィルタバンクのｋ番目の係数である。変数θｋは、Ｘ［ｋ］とＮ［ｋ］との位相差である。雑音のない信号および雑音が相関していない場合、θｋは無相関であり、範囲［−π、π］で一様な分布を示す。
【００４２】
　式２（ＥＱ．２）は、雑音が含まれる対数スペクトルエネルギーｙｉが観測されない対数スペクトルエネルギーｘｉとｎｉに関してどのように変化するかを示すように書き換えることができる。
【００４３】
【数６】
2004102287.tif 000009
【００４４】
　このモデルの結果として、ｙｉが観測された場合、実際には３つの観測されないランダム変数がある。最初の２つは、雑音のない対数スペクトルエネルギーおよび混合がなければ発生したであろう雑音対数スペクトルエネルギーを含む。第３の変数αｉは、２つのソースの間の未知の位相を記述する。
【００４５】
　一般の場合、αｉは、Ｘ［ｋ］とＮ［ｋ］の関数となる。しかし、大きさスペクトルが特定のフィルタバンクの帯域幅にわたって一定であると仮定した場合、αｉの定義は以下の複数の独立ランダム変数の重み付き和に簡約される。
【００４６】
【数７】
2004102287.tif 000010
【００４７】
　図３Ｄは、いくつかの周波数範囲に対する真の分布を示している。これらは、未知のαについて解くことで接続雑音（ｊｏｉｎｔ　ｎｏｉｓｅ）、雑音のない音声、および雑音が含まれる音声データの集まりから推定された。周波数が高く、帯域幅が高いフィルタであるほど、α分布はガウス分布に近づく。設計上、Ｍｅｌ周波数フィルタバンクの低い周波数範囲では、帯域幅が狭く、帯域幅は周波数とともに上がる。これは、式５（ＥＱ．５）の項の実際の個数も周波数とともに増えることを意味する。その結果、ガウス分布に関する仮定は、最低周波数範囲に対してはきわめて悪く、フィルタの帯域幅が高くなるとかなりよくなる。帯域幅が増えると、式５（ＥＱ．５）の実際の項の数も増えて、中心極限定理の適用が始まる。実際、周波数依存のガウス近似
【００４８】
【数８】
2004102287.tif 000011
【００４９】
　もうまく機能する。　
　このときに、小さな学習データ集合からパラメータ
【００５０】
【数９】
2004102287.tif 000012
【００５１】
　を推定することができることに留意されたい。推定値は、α（ｌ）のすべての標本値から計算で求めた標本分散である（ｌ＝１、２、．．．Ｌ、Ｌ＝Ｍｅｌフィルタバンクの総数）。直線回帰線は、ｌの関数として計算された
【００５２】
【数１０】
2004102287.tif 000013
【００５３】
　に当てはまる。
【００５４】
　条件付き観測確率
　式３（ＥＱ．３）では、４つのランダム変数にきつい制約条件を課しており、実際、自由度は３である。これは、ｙについて解き、以下のように条件付き確率分布を書くと表すことができる。
【００５５】
【数１１】
2004102287.tif 000014
【００５６】
　条件付き確率ｐ（ｙ｜ｘ，ｎ）は、分布ｐ（ｙ，α｜ｘ，ｎ）を形成し、αについて無視することで求められる。ｐ（α｜ｘ，ｎ）＝ｐ（α）を仮定しているが、これは妥当であることに留意されたい。
【００５７】
【数１２】
2004102287.tif 000015
【００５８】
　恒等式
【００５９】
【数１３】
2004102287.tif 000016
【００６０】
　を使って、積分を閉形式で評価すると以下のようになる。
【００６１】
【数１４】
2004102287.tif 000017
【００６２】
　ｐα（α）のガウス近似を導入した場合、尤度関数は以下のようになる。
【００６３】
【数１５】
2004102287.tif 000018
【００６４】
　移動不変性（Ｓｈｉｆｔ　Ｉｎｖａｒｉａｎｃｅ）
　条件付き確率（式７（ＥＱ．７））は、一見して、３つの独立変数があるように見える。ところが、音声と観測の相対値（ｘ−ｙ）と雑音と観測の相対値（ｎ−ｙ）の２つの変数の関数でしかない。
【００６５】
　ｙ、ｘ、およびｎの絶対値を扱う代わりに、式７（ＥＱ．７）を以下のように書き換えることができる。
【００６６】
【数１６】
2004102287.tif 000019
【００６７】
　ここで、
【００６８】
【数１７】
2004102287.tif 000020
【００６９】
　正規化した値を操作することにより、３つの独立変数が２つに減った。
【００７０】
　モデル挙動
　図３Ａには、この条件付き確率分布のグラフが示されている。図３Ｂは、データから直接推定した同等のグラフを示しており、これにより、式７Ａ（ＥＱ．７Ａ）を確認できる。
【００７１】
　既存のデータを説明できるかどうかを調べるか、または漸近的挙動を調べることにより、モデルの信頼を確立できる。
【００７２】
　図３Ａには、式７Ａ（ＥＱ．７Ａ）で表されるモデルの条件付き確率分布のグラフが示されている。このモデルの移動不変性により、グラフには独立項が２つしかないことに留意されたい。
【００７３】
　これと図３Ｂを比較するのだが、この図は集合Ａ、地下鉄騒音１０ｄＢ　ＳＮＲでのすべての発話にわたる単一周波数範囲に対するｘ−ｙとｎ−ｙとを対比したヒストグラムである。このモデルがデータを正確に説明していることは明らかである。一部の以前のモデルではＳＮＲに独立のエラーモデルがあることに注意しなければならない。新しいモデルでは、異なるＳＮＲ仮説に対してその分散を自動的に調節する。
【００７４】
　図３Ａのグラフでｎ＝ｙに沿って左に移動すると、この直線に垂直な分散が減少する。これは、音声対観測の比が小さくなるほど雑音値に関する確実性が高まることに対応している。この低ＳＮＲ仮説の限界で、モデルはｎ＝ｙというその不確実性を０に下げる。音声と雑音の事前確率分布がこの領域内に集中している場合、モデルは以下に帰着する。
【００７５】
【数１８】
2004102287.tif 000021
【００７６】
　それと対称的に、同じグラフのｘ＝ｙに沿って下に移動すると、この直線に垂直な分散が減少する。雑音対観測比が減少すると、モデルのｘ＝ｙの確度が高まる。この領域を高ＳＮＲ仮説と呼ぶ。音声と雑音の事前確率分布がこの領域内に集中している場合、モデルは以下に帰着する。
【００７７】
【数１９】
2004102287.tif 000022
【００７８】
　このグラフには、さらに、原点から始まり、正のｘおよびｎ方向に移動する注目する第３の領域がある。この領域では、音声と雑音の両方が観測結果よりも大きい。これは、ｘおよびｎが似た大きさを持ち、互いに破壊的干渉をしている場合に最も頻繁に発生する。この場合、関連するθが領域
【００７９】
【数２０】
2004102287.tif 000023
【００８０】
　内に存在する。
【００８１】
　スペクトル減算との関係
　式７Ａ（ＥＱ．７Ａ）を使用して、スペクトル減算の新しい公式を導くことができる。第１のステップでは、ｎおよびｙを固定して、ｘの最大尤度推定値を求める。式７Ａ（ＥＱ．７Ａ）をｘについて微分し、０に等しいと置くと、以下の式８（ＥＱ．８）が得られる。
【００８２】
【数２１】
2004102287.tif 000024
【００８３】
　この公式は、挙動が標準スペクトル減算よりもすでによい。２つの正の数の和の平方根をとるので第１の項は常に実数である。さらに、第２の項の大きさは決して、第１の項の大きさよりも大きくなることはなく、したがって、式８（ＥＱ．８）の両側は非負である。この式全体では、ｎ＝ｙにちょうど１個のゼロがある。このため、自動的に、スペクトル減算で負の数の対数をとることがなくなるため、フロアＦの最大減衰度を緩和できる。
【００８４】
【数２２】
2004102287.tif 000025
【００８５】
　と式８（ＥＱ．８）をｘについて解くと、結果は新しいスペクトル減算であり、予期していない絶対値演算が含まれる。
【００８６】
【数２３】
2004102287.tif 000026
【００８７】
　式１（ＥＱ．１）と式９（ＥＱ．９）との差は、図４Ａおよび４Ｂに示されているように、領域ｙ＜ｎに制約される。
【００８８】
　スペクトル減算では、ｙ＝ｎよりも下の観測はフロアＦの信号対雑音比と同等であり、最大減衰が得られる。
【００８９】
　図３Ｂに示されているデータはこの仮定に反しており、領域ｎ＞ｙに非ゼロの確率質量があることを示す。最終的結果は、真の雑音について完全に知っていたとしても、スペクトル減算でのこれらの点の扱い方はうまくない。
【００９０】
　式９（ＥＱ．９）は、この領域でそれよりは妥当な挙動を示す。観測が雑音推定値よりもかなり低くなると、この関数はｘ＝ｎに近づく。新しいモデルから、最も可能性の高い状態はｘおよびｎの大きさが似ているという状態であり、軸では弱め合う位相干渉を生じることがわかる。
【００９１】
　表ＩＩでは、真の雑音スペクトルが利用できる場合に、音声認識に式１および９（ＥＱ．１および９）を使用することの相対的精度を比較している。新しい方法ではフロアを設定して負数の対数をとらないようにする必要はないが、誤差率がわずかに改善するので含めている。
【００９２】
【表２】
2004102287.tif 000027
【００９３】
　フロアに対し選んだ値に関係なく、新しい方法は古いスペクトル減算規則よりも優れている。古い方法は選んだ値に対しきわめて敏感であるが、新しい方法はそうではなく、すべてのテストで桁誤り率が１０％未満となる。
【００９４】
　一実施形態では、雑音が含まれる音声フレームは互いに独立に処理される。非静止雑音（ｎｏｎ　ｓｔａｔｉｏｎａｒｙ　ｎｏｉｓｅ）の対数スペクトルを推定するシーケンシャルトラッカー（ｓｅｑｕｅｎｔｉａｌ　ｔｒａｃｋｅｒ）を使用して、フレーム毎に雑音推定を行うことができる。適当な雑音推定器は、（たとえば、METHOD OF ITERATIVE NOISE ESTIMATION IN A RECURSIVE FRAMEWORK (Attorney Docket No. M61.12-0443)参照）に記載されている。
【００９５】
　ＩＶ．ベイズ的アプローチ
　条件付き観測確率式７Ａ（ＥＱ．７Ａ）を導く他の利点として、統一ベイズ的モデルに組み込むことができるという点があげられる。このモデルでは、観測変数ｙは、統一確率モデルを通じてｘおよびｎを含む隠し変数に関係している。
【００９６】
【数２４】
2004102287.tif 000028
【００９７】
　このモデルから、ＭＭＳＥ（最小平均平方誤差）と最大尤度推定値を含む隠し変数ｘおよびｎに関して事後分布を推論できる。このようにして、雑音が含まれる観測結果は隠されている雑音のない音声信号に関する確率分布に変換される。
【００９８】
　従来の復号に対する雑音を取り除いた後の特徴を出力するために、このモデルの条件付き期待値を求める。
【００９９】
【数２５】
2004102287.tif 000029
【０１００】
【数２６】
2004102287.tif 000030
【０１０１】
　ベイズ的アプローチでは、さらに、Ｅ［ｘ｜ｙ］の推定値の分散を生成できる。この分散は、復号器内で単語精度を改善するために容易に活用できる。適当な復号化手法については、（たとえば、米国特許出願10/152,127号参照）で説明されている。この不確定性復号化形態では、静的特徴ストリームをｐ（ｙ｜ｘ）の推定値で置き換える。雑音除去プロセスでは、低いＳＮＲ特徴については高分散を出力し、ＳＮＲが高い場合は低い分散を出力する。このフレームワークをサポートするために、以下の式が使用される。
【０１０２】
【数２７】
2004102287.tif 000031
【０１０３】
【数２８】
2004102287.tif 000032
【０１０４】
　混合モデルなど雑音のない音声に対する強い事前確率分布では、さらに良い結果が得られる。
【０１０５】
【数２９】
2004102287.tif 000033
【０１０６】
　混合モデルを使用する場合、式１０、１１、１２、および１３（ＥＱ．１０、１１、１２および１３）は、混合ｍについて条件が定められ、評価され、その後、標準的な方法で組み合わされる。
【０１０７】
【数３０】
2004102287.tif 000034
【０１０８】
　観測尤度の近似
　上述のように、ｐ（ｙ｜ｘ，ｎ）について導いた式は、直接代数的操作には役立たない。さらに、これはガウス近似ではきちんとモデル化されていない結合分布を出力できる。その結果、雑音除去に必要な積分を計算するためにいくつかのステップが実行される。
【０１０９】
　計算があまり問題にならない場合、ｐ（ｙ｜ｘ，ｎ）のかなり細かな非反復的近似を使用できる。この近似により、条件付き観測確率の大域的形状が維持されるため、モデルの有用性は近似により隠されることはない。
【０１１０】
　完全に妥当であるが、膨大な計量を必要とするオプションでは、式７Ａ（ＥＱ．７Ａ）の近似を行わない。結合確率ｐ（ｙ，ｘ，ｎ）は、各観測ｙについてｘおよびｎ内の点のグリッドに沿って評価することができる。これらの値の重み付き合計から、必要なモーメントのすべてに対する正確な近似値が得られる。適切な領域を選択することは自明でない作業であるが、それは、その領域が現在の観測と雑音および音声事前確率に依存しているからである。より具体的には、不要な計算を避けるために、結合確率が最大の質量を持つ領域に限定しなければならないということである。本質的に、解に対する適切なパラメータを選択する前に問題を解く必要がある場合に循環パラドックスのあることが理解される。
【０１１１】
　他の妥当なアプローチとして、単一ガウス分布で結合確率を近似するという方法がある。これは、ベクトルテイラー級数（ＶＴＳ）近似の中心的アイデアである。ｘおよびｎに対する事前確率分布によりｐ（ｙ｜ｘ，ｎ）の範囲が限定されるため、この局所的近似は大域的近似に比べて適切であると思われる。しかし、この方法には２つの潜在的な落とし穴が待ち受けている。第１に、事前確率分布が単一モードであっても、ｐ（ｙ｜ｘ，ｎ）を適用することで、さらに多くのモードが結合確率に持ち込まれる可能性がある。第２に、ｘとｎに沿った二次展開では、ｎ＜＜ｙまたはｘ＜＜ｙであってもｐ（ｙ｜ｘ，ｎ）の形状が求まらないということである。
【０１１２】
　その代わりに、本発明の一態様では、これら２つの方法について妥協策をとっている。特に、ガウス近似を使用して、同時にｐ（ｙ｜ｘ，ｎ）の真の形状を維持しながら二次元グリッドでの総和を回避している。これは、ガウス近似で一方の次元をつぶし、残りの次元に沿って強引な総和をとるという方法である。
【０１１３】
　尤度に対する正規近似
　本発明のこの態様では、ガウス近似を１つの次元のみに沿って使用しているため、ｐ（ｙ｜ｘ，ｎ）の真の形状を維持することができ、また残りの次元に沿って数値積分を実行できる。
【０１１４】
　重み付きガウス近似は、図５の符号２５０に示されている４つのステップで行う。まず、ステップ２５２で座標空間を回転させる。ステップ２５４で、展開点を選択する。ステップ２５６で、二次テイラー級数近似を実行する。次に、ステップ２５８で、この近似を重み付きガウス分布のパラメータとして表す。
【０１１５】
　ｘまたはｎに沿った直接的な展開では問題が生じる可能性があるため、座標回転が必要である。４５度回転させ、ｐ（ｙ｜ｘ，ｎ）がｖの値毎にｕに沿ってほぼガウス分布になるようにする。
【０１１６】
【数３１】
2004102287.tif 000035
【０１１７】
　新しい座標ｕおよびｖはｙ、ｘ、およびｎの一次関数になっているが、この時点で面倒な関数表記を省くことができる。　
　この変数の変更の後、条件付き観測尤度は以下の式で表される。
【０１１８】
【数３２】
2004102287.tif 000036
【０１１９】
　次に、ｖを一定に保ち、ｕに沿った重み付きテイラー級数近似を求める。各ｖについて、式３（ＥＱ．３）の変数の変更を実行し、ｖを一定に保ち、α＝０と置き、ｕについて解くことでテイラー級数展開点を求める。すると、
【０１２０】
【数３３】
2004102287.tif 000037
【０１２１】
　という結果が得られる。　
　展開の係数は、ｕｖで評価したｐ（ｙ｜ｘ，ｎ）の微分である。
【０１２２】
【数３４】
2004102287.tif 000038
【０１２３】
【数３５】
2004102287.tif 000039
【０１２４】
　次に、ｖの各値でのｐ（ｙ｜ｘ，ｎ）の二次近似をｕに沿ったガウス分布で表すことができる。最終的な近似は以下の式で与えられる。
【０１２５】
【数３６】
2004102287.tif 000040
【０１２６】
　図３Ｃに示されているように、この最終近似は、ｐ（ｙ｜ｘ，ｎ）の形状をきわめてうまく捕らえることができる。また、後述のように、ｕに沿ったガウス近似を利用して、かなりの計算量をなくすことができる。
【０１２７】
　結合確率の作成
　ｐ（ｙ｜ｘ，ｎ）の近似は完了しており、事前確率ｐｘ（ｘ）およびｐｎ（ｎ）と組み合わせて、結合確率分布を得る。条件付き観測確率の近似に一致させるため、（ｕ，ｖ）座標空間への事前確率分布を変換し、ｕの平均と分散がｖの関数であるようなｕでガウス分布として書き換える。
【０１２８】
【数３７】
2004102287.tif 000041
【０１２９】
　積分
　結合確率から、式１０、１１、１２、および１３（ＥＱ．１０、１１、１２および１３）を計算する。それぞれの式では、少なくとも１つのｘとｎに関する二重積分が必要であり、これはｕとｖに関する二重積分と同等である。たとえば、以下のとおりである。
【０１３０】
【数３８】
2004102287.tif 000042
【０１３１】
　ここでは、この方法で、ｘに対して式１４（ＥＱ．１４）を、ｐ（ｙ，ｘ，ｎ）に対して式１５（ＥＱ．１５）および式１６（ＥＱ．１６）を使用する。ガウス近似により、ｕに関して積分を数式処理で解くことができるが、ｖに関する積分はそのままである。
【０１３２】
　ｖの積分は、現在は、数値積分、ｖの離散値に沿った重み付き総和として実行される。一実施形態では、範囲［−２０，２０］内の５００個の等間隔に並んだ点が使用される。必要な値のほとんどを事前に計算して表形にしておくことにより、計算速度を高めることができる。
【０１３３】
　テイラー級数展開に基づくＭＭＳＥ推定器
　上では、軸を回転した後、音声除去のためＭＭＳＥ推定値を計算する新しいスペクトル減算公式（式９（ＥＱ．９））と数値積分について説明した。次に、他の手法、特に、反復テイラー級数展開を使用してＭＭＳＥ（最小平均平方誤差）推定値を解析的形態で計算し、上述の音響環境の位相依存モデルを使って雑音を除去する。
【０１３４】
　対数領域雑音音声観測ｙを与えると、雑音のない音声χに対するＭＭＳＥ推定器
【０１３５】
【数３９】
2004102287.tif 000043
【０１３６】
　は以下の条件付き期待値となる。
【０１３７】
【数４０】
2004102287.tif 000044
【０１３８】
　ここで、
【０１３９】
【数４１】
2004102287.tif 000045
【０１４０】
は、示したばかりの確率論的環境モデルによって決定される。式１８（ＥＱ．１８）の雑音のない音声ｐ（ｘ）の事前確率モデルはガウス混合ＰＤＦを持つものと仮定している。
【０１４１】
【数４２】
2004102287.tif 000046
【０１４２】
　ここで、パラメータは、対数領域の雑音のない音声データから事前に学習している。これにより、式１８（ＥＱ．１８）は以下のように書くことができる。
【０１４３】
【数４３】
2004102287.tif 000047
【０１４４】
　上で
【０１４５】
【数４４】
2004102287.tif 000048
【０１４６】
　を計算する際の主な難題は、
【０１４７】
【数４５】
2004102287.tif 000049
【０１４８】
　の非ガウス的性質である。この難題に対処するため、切り捨てた二次テイラー級数展開を使用して、以下の指数を近似する。
【０１４９】
【数４６】
2004102287.tif 000050
【０１５０】
　つまり、以下の関数を近似する。
【０１５１】
【数４７】
2004102287.tif 000051
【０１５２】
　以下の式を使用する。
【０１５３】
【数４８】
2004102287.tif 000052
【０１５４】
　式２２（ＥＱ．２２）では、単一点展開点χ０を使用することで（つまり、χ０は混合成分ｍに依存しない）、計算効率を大幅に改善しており、χ０を繰り返し更新して精度を高め、雑音のない音声ｘの真の値に近づけている。テイラー級数展開の係数は、以下の閉形式をとる。
【０１５５】
【数４９】
2004102287.tif 000053
【０１５６】
【数５０】
2004102287.tif 000054
【０１５７】
　であることに留意されたい。つまり、ゼロ平均のガウス分布を上述の、またこの実施形態で使用している、新しいモデル内の位相ファクターαに対して使用するということである。
【０１５８】
　式２２（ＥＱ．２２）を標準二次形式に当てはめると、以下の式が得られる。
【０１５９】
【数５１】
2004102287.tif 000055
【０１６０】
　ここで、
【０１６１】
【数５２】
2004102287.tif 000056
【０１６２】
　これにより、式２０（ＥＱ．２０）の積分を閉形式で計算できる。
【０１６３】
【数５３】
2004102287.tif 000057
【０１６４】
式２０（ＥＱ．２０）の分母は以下の式に従って計算される。
【０１６５】
【数５４】
2004102287.tif 000058
【０１６６】
　式２３および２４（ＥＱ．２３および２４）を式２０（ＥＱ．２０）に代入すると、以下のように最終的なＭＭＳＥ推定器が得られる。
【０１６７】
【数５５】
2004102287.tif 000059
【０１６８】
　ここで、重み係数は以下のとおりである。
【０１６９】
【数５６】
2004102287.tif 000060
【０１７０】
　式２４（ＥＱ．２４）の
【０１７１】
【数５７】
2004102287.tif 000061
【０１７２】
および
【０１７３】
【数５８】
2004102287.tif 000062
【０１７４】
は、すべて、雑音推定器
【０１７５】
【数５９】
2004102287.tif 000063
【０１７６】
　に依存しており、これは、上で引用した同時係属出願で説明しているような適当な雑音追跡推定器から求めることができる。
【０１７７】
　本発明のこの態様では、現在のフレームｘｔ＋１の雑音のない音声推定値は、図６の流れ図に示されている反復方法を使用して何回か計算される。
【０１７８】
　図６の方法は、事前確率雑音のない音声混合モデルの分布パラメータが雑音のない学習データの集まりから事前に学習されるステップ３００から始まる。特に、Ｍ混合成分の集まり内の各混合成分ｍについて平均値μｍ、共分散σｍ、および各混合重みｃｍが決定される。
【０１７９】
　ステップ３０２で、推定雑音ベクトルｎが与えられた場合に、現在の反復ｊに対してテイラー級数近似で使用している展開点
【０１８０】
【数６０】
2004102287.tif 000064
【０１８１】
　を、（最大尤度の意味で）雑音が含まれる音声観測ベクトルｙを最もよく説明する雑音のない音声のガウス混合モデルの平均ベクトルに等しくなるように設定できる。
【０１８２】
　ステップ３０４で、雑音のない音声に対するＭＭＳＥ推定器を式２５（ＥＱ．２５）に従って計算する。
【０１８３】
　ステップ３０６で、次の反復のテイラー級数展開点
【０１８４】
【数６１】
2004102287.tif 000065
【０１８５】
は、現在の反復
【０１８６】
【数６２】
2004102287.tif 000066
【０１８７】
　について見つかった雑音推定値に設定される。式の項では以下のとおりである。
【０１８８】
【数６３】
2004102287.tif 000067
【０１８９】
　式２６（ＥＱ．２６）に示されている更新ステップにより、テイラー級数展開によって与えられる推定値が改善され、次の反復で計算が改善される。
【０１９０】
　ステップ３０８で、ステップ３１０で反復Ｊの設定された数と比較する前に反復カウンタｊをインクリメントする。反復カウンタが設定された反復回数よりも小さい場合、さらに反復が実行され、プロセスがステップ３０４に戻り、新規に更新された展開点を使ってステップ３０４、３０６、３０８、および３１０を繰り返す。
【０１９１】
　ステップ３１０でＪ回の反復を実行した後、現在のフレームの雑音のない音声推定の最終値が求められ、ステップ３１２で、次のフレームの変数が設定される。一実施形態では、Ｊは３に設定されている。特に、反復カウンタｊは０に設定され、フレーム値ｔは１だけインクリメントされ、次のフレームの第１の反復に対する展開点χ０が設定される。
【０１９２】
　音声認識で本発明を使用するための方法とシステムが図７のブロック図に示されている。この方法は、雑音が含まれる音声信号を特徴ベクトルのシーケンスに変換することから始まる。そのために、図７のマイク４０４で、スピーカー４００と１つまたは複数の加法的雑音源４０２からの音波を電気信号に変換する。電気信号は、アナログ−デジタルコンバータ４０６によりサンプリングされ、デジタル値列が生成され、フレームコンストラクタモジュール（ｆｒａｍｅ　ｃｏｎｓｔｒｕｃｔｏｒ　ｍｏｄｕｌｅ）４０８により値のフレームにグループ化される。一実施形態では、アナログ−デジタルコンバータ４０６が１６ｋＨｚ、１６ビット／サンプルの速さでアナログ信号をサンプリングして、毎秒３２ＫＢの音声データを生成し、フレームコンストラクタモジュール４０８が２５ミリ秒分のデータを含む新しいフレームを１０ミリ秒毎に生成する。
【０１９３】
　フレームコンストラクタモジュール４０８から供給されるデータの各フレームが特徴抽出器（ｆｅａｔｕｒｅ　ｅｘｔｒａｃｔｏｒ）４１０により特徴ベクトルに変換される。このような特徴ベクトルを識別する方法は、当業ではよく知られており、１３次元Ｍｅｌ周波数ケプストラム係数（ＭＦＣＣ）抽出を含む。
【０１９４】
　雑音が含まれる音声信号の特徴ベクトルが図７の雑音推定モジュール４１１に送られる。雑音推定モジュール４１１は、現在のフレームの中の雑音を推定し、その雑音推定を表す特徴ベクトル、つまりその分布を、雑音が含まれる音声信号とともに、雑音低減モジュール４１２に供給する。
【０１９５】
　雑音低減モジュール４１２では、上述の手法のうちの１つ（式９（ＥＱ．９）の新しいスペクトル減算、重み付きガウス近似を使用するベイズ的アプローチ、またはＭＭＳＥ推定器）を、雑音低減パラメータ記憶領域４１１内に格納されている、対応する実装方程式のモデルパラメータとともに使用して、雑音が含まれる特徴ベクトルのシーケンス、つまりその分布から雑音低減特徴ベクトルのシーケンスを出力する。
【０１９６】
　雑音低減モジュール４１２の出力は、雑音低減特徴ベクトルの一系列である。入力信号が学習信号である場合、この雑音低減特徴ベクトルの系列が学習器４２４に送られ、その学習器は雑音低減特徴ベクトルおよび学習テキスト４２６を使用して音響モデル４１８の学習を実行する。このようなモデルの学習を行う手法は、当業では知られており、発明を理解するうえでそれらの説明は必要ない。
【０１９７】
　入力信号がテスト信号の場合、雑音低減特徴ベクトルが復号器４１４に送られ、そこで、特徴ベクトルのストリーム、語彙４１５、言語モデル４１６、および音響モデル４１８に基づいて最も可能性の高い単語列を識別する。復号化に使用する特定の方法は本発明にとっては重要でなく、復号化に関して知られているいくつかの方法のうちどれでも使用できる。
【０１９８】
　仮説単語（ｈｙｐｏｔｈｅｓｉｓ　ｗｏｒｄｓ）の最も確率の高いシーケンスが信頼度測定モジュール（ｃｏｎｆｉｄｅｎｃｅ　ｍｅａｓｕｒｅ　ｍｏｄｕｌｅ）４２０に送られる。信頼度測定モジュール４２０は、一部は、二次音響モデル（図に示されていない）に基づき、音声認識器により正しく識別されていない可能性が最も高い単語を識別する。その後、信頼度測定モジュール４２０は、仮説単語のシーケンスを、正しく識別されていない可能性のある単語を示す識別子とともに、出力モジュール４２２に送る。当業者であれば、信頼度測定モジュール４２０が本発明を実施するうえで必要ではないことを理解するであろう。
【０１９９】
　図７には音声認識システムが示されているが、本発明は、録音の雑音除去などの他の雑音除去アプリケーションで使用したり、雑音のないデータを送信するためにデータの送信の前段に使用することができる。このようにして、パターン認識システムもまた、音声に限られない。
【０２００】
　本発明は、特定の実施形態を参照しながら説明したが、当業者は本発明の精神と範囲を逸脱することなく形態と詳細について変更を加えられることを認識するであろう。
【図面の簡単な説明】
【０２０１】
【図１】本発明を実施できる一コンピューティング環境のブロック図である。
【図２】本発明を実施できる他のコンピューティング環境のブロック図である。
【図３Ａ】ｐα（α）の正規近似を持つ条件付き観測確率ｐ（ｙ｜ｘ，ｎ）のグラフを示す図である。
【図３Ｂ】フィルタバンクの標本分布のグラフを示す図である。
【図３Ｃ】ｖの関数として表されるｐ（ｙ｜ｘ，ｎ）の正規近似のグラフを示す図である。
【図３Ｄ】複数の周波数範囲に対するαの分布のグラフを示す図である。
【図４Ａ】既知のスペクトル減算に対する出力ＳＮＲ対入力ＳＮＲのグラフを示す図である。
【図４Ｂ】本発明の新しいスペクトル減算方法に対する出力ＳＮＲ対入力ＳＮＲのグラフを示す図である。
【図５】本発明のモデルにおける重み付きガウス近似を求めるためのステップを示す方法の図である。
【図６】雑音のない音声を推定する他の方法の流れ図である。
【図７】本発明を使用できるパターン認識システムのブロック図である。
【符号の説明】
【０２０２】
　１００　コンピューティングシステム環境
　１１０　コンピュータ
　１２０　処理装置
　１２１　システムバス
　１３０　システムメモリ
　１３１　読取り専用メモリ（ＲＯＭ）
　１３２　ランダムアクセスメモリ（ＲＡＭ）
　１３３　入出力システム
　１３４　オペレーティングシステム
　１３５　アプリケーションプログラム
　１３６　その他のプログラムモジュール
　１３７　プログラムデータ
　１４０　インタフェース
　１４１　ハードディスクドライブ
　１４４　オペレーティングシステム
　１４５　アプリケーションプログラム
　１４６　その他のプログラムモジュール
　１４７　プログラムデータ
　１５１　取外し可能な不揮発性磁気ディスク
　１５２　磁気ディスクドライブ
　１５５　不揮発性光ディスク
　１６１　ポインティングデバイス
　１６２　キーボード
　１６３　マイク
　１７１　ローカルエリアネットワーク（ＬＡＮ）
　１７２　モデム
　１７３　ワイドエリアネットワーク（ＷＡＮ）
　１８０　リモートコンピュータ
　１８５　リモートアプリケーションプログラム
　１９０　ビデオインタフェース
　１９１　モニタ
　１９７　スピーカー
　１９６　プリンタ
　２００　モバイルデバイス
　２０２　マイクロプロセッサ
　２０４　メモリ
　２０６　入出力（Ｉ／Ｏ）コンポーネント
　２０８　通信インタフェース
　４００　スピーカー
　４０２　加法的雑音源
　４０４　マイク
　４０６　アナログ−デジタルコンバータ
　４０８　フレームコンストラクタモジュール
　４１０　特徴抽出器
　４１１　雑音推定モジュール
　４１２　雑音低減モジュール
　４１４　復号器
　４１５　語彙
　４１６　言語モデル
　４１８　音響モデル
　４２０　信頼度測定モジュール
　４２４　学習器
　４２６　学習テキスト
【図１】
2004102287.tif 000070
【図２】
2004102287.tif 000071
【図３Ａ】
2004102287.tif 000072
【図３Ｂ】
2004102287.tif 000073
【図３Ｃ】
2004102287.tif 000074
【図３Ｄ】
2004102287.tif 000075
【図４Ａ】
2004102287.tif 000076
【図４Ｂ】
2004102287.tif 000077
【図５】
2004102287.tif 000078
【図６】
2004102287.tif 000079
【図７】
2004102287.tif 000080