"試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元するための方法であって、トレーニング無歪音声信号をトレーニング無歪基本成分の合成成分として表すことと、トレーニング雑音除去音声信号をトレーニング有歪基本成分の合成成分として表すことと、前記試験雑音除去信号を前記トレーニング有歪基本成分の合成成分として分解することと、前記無歪試験音声信号を前記トレーニング無歪基本成分の前記合成成分として推定することであって、前記合成成分は、前記トレーニング有歪基本成分の前記合成成分と同一である、推定することとを含む、試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元するための方法。前記試験雑音除去音声信号を生成するためのプロセスは、未知であり、理想的な無損失雑音除去関数によって前記プロセスをモデル化することであって、仮想的に無損失である雑音除去信号を生成する、モデル化することと、前記雑音除去信号を、前記スペクトル成分を減衰させる歪関数に通すこととを更に含む、請求項1に記載の方法。前記基本成分は、全て加法的であり、各基本成分は、重みに関連付けられる、請求項1に記載の方法。前記歪関数は、他の基本成分から独立して任意の基本成分を変換する、請求項2に記載の方法。全ての音声信号を振幅スペクトログラムとして表すことを更に含み、前記振幅スペクトログラムは、前記音声信号の短時間フーリエ変換STFTの振幅を求めることによって得られる、請求項1に記載の方法。前記トレーニング無歪基本成分および前記トレーニング有歪基本成分は、トレーニングデータの振幅スペクトログラムの共同解析によって求められ、前記トレーニングデータは、記録のペアを含み、各ペアは、明瞭な音声信号と、該明瞭な音声信号を人為的に劣化させたバージョンとを含み、前記人為的に劣化させたバージョンは、雑音を付加し、その後、前記人為的に劣化させたバージョンから雑音を除去することによって劣化している、請求項1に記載の方法。前記明瞭な音声信号のサンプル、および前記明瞭な音声信号を人為的に劣化させて雑音を除去した前記バージョンのサンプルを時間的に整合させる、請求項6に記載の方法。前記無歪トレーニング基本成分および前記有歪トレーニング基本成分は、前記記録の前記ペアの共同解析によって求められる、請求項7に記載の方法。前記トレーニング無歪基本成分および前記トレーニング有歪基本成分は、事例ベースモデルを用いて求められ、前記トレーニング無歪基本成分および前記トレーニング有歪基本成分は、前記トレーニング無歪基本成分および前記トレーニング有歪基本成分のための振幅スペクトルベクトルの中からランダムに選択される、請求項1に記載の方法。前記重みは、非負である、請求項3に記載の方法。前記重みは、非負行列因子分解NMFによって求められる、請求項3に記載の方法。前記試験無歪音声信号の帯域幅を拡張することを更に含む、請求項1に記載の方法。前記トレーニング無歪基本成分は、最大帯域幅の明瞭な音声信号から得られ、前記トレーニング有歪基本成分は、縮小された帯域幅を有し、雑音で人為的に劣化させ、雑音を除去した音声信号から得られる、請求項6または12に記載の方法。前記推定された試験無歪音声信号は、非負行列因子分解NMFによって求められた重みを用いて前記トレーニング無歪基本成分を合成することによって得られる、請求項1に記載の方法。前記試験無歪音声信号の推定振幅短時間フーリエ変換STFTを構成する最後の振幅スペクトルは、推定された無歪スペクトルにウィーナーフィルター定式化を用いることを適用することによって得られる、請求項1に記載の方法。前記推定された試験無歪音声信号は、逆変換された推定振幅STFTと前記試験雑音除去音声信号のSTFTから得られた位相とを合成し、結果として生成された複素STFTを逆変換することによって得られる、請求項15に記載の方法。前記推定された試験無歪音声信号の前記STFTの4kHzよりも高い周波数成分は、前記トレーニング無歪基本成分の前記合成成分から直接得られる、請求項15に記載の方法。前記STFTの4kHzよりも高い周波数成分のための位相は、前記推定された試験無歪音声信号の前記STFTの4kHz未満の低周波成分の位相を複製することによって得られる、請求項16または17に記載の方法。雑音は、音声信号を劣化させ、知覚品質、了解度、および下流における処理、例えば、送信または音声認識のための符号化に影響を及ぼす。それゆえ、雑音を含む音声から雑音が除去される。通常、雑音除去方法は、雑音の推定値を減算またはフィルタリングするが、その推定値は、多くの場合に不正確である。結果として、雑音を除去することによって、音声のスペクトル成分が減衰し、了解度が低下する可能性がある。トレーニング無歪音声信号がトレーニング無歪基本成分の合成成分として表される。トレーニング雑音除去音声がトレーニング有歪基本成分の合成成分として表される。試験雑音除去音声信号をトレーニング有歪基本成分の合成成分として分解することによって。その後、対応する試験無歪音声信号を、トレーニング無歪基本成分の同一の合成成分として推定することができる。本発明の実施の形態は、試験音声信号の雑音を除去する結果として試験雑音除去音声信号内で減衰したスペクトル成分を復元し、雑音除去信号における音声の了解度を高めるための方法を提供する。その方法は、雑音除去の実施態様によって制約を受ける。第一に、雑音除去は、通常ブラックボックスである。雑音が推定される方法、および実際の雑音低減手順は、不明である。第二に、通常、雑音自体を別に記録することは、不可能であるか、または実用的ではなく、雑音除去が音声の任意のスペクトル成分にいかに影響を及ぼしたかを理解するために、雑音の外部推定値を入手することはできない。第三に、その処理は、信号に雑音を再び導入することなく、音声の減衰したスペクトル成分を復元しなければならない。その方法は、音声信号の合成特性評価compositionalcharacterizationを使用し、それは、信号を加法的基本成分の加算的な合成成分constructivecompositionとして表すことができるものと仮定する。実施の形態では、この特性評価は、非負行列因子分解NMF:Non-negativeMatrixFactorizationによって得られるが、他の方法を用いることもできる。NMFは、1つの行列を非負の要素を有する行列に分解する。NMFは、混合された音声信号を分離し、音声の雑音を除去するために使用されてきた。帯域制限された信号の帯域幅を拡張するために、合成モデルも使用されてきた。しかしながら、知られている限り、NMFは、雑音除去音声信号内の減衰したスペクトル成分を復元するという特定の問題のために使用されていない。加法的基本成分の合成成分が雑音除去によって影響を及ぼされる態様は、相対的に一定であり、トレーニング無歪信号およびトレーニング有歪音声信号のステレオペアを含むトレーニングデータから得ることができる。雑音除去信号が加法的基本成分の合成成分の観点からいかに表されるかを特定することによって、減衰したスペクトル構造を基本成分の無歪バージョンから推定し、その後、復元して、無歪音声を与えることができる。雑音除去モデル図1に示されるように、本発明の実施の形態は、雑音含有音声Sのスペクトル成分を不適切に減衰させる有損失雑音除去プロセスG100を、いかなる音声スペクトル成分も減衰させることなく信号内の雑音を減衰させる無損失雑音除去機構F110と、無損失雑音除去信号Xを変更して有損失信号Yを生成する歪関数D120との組み合わせとしてモデル化する。すなわち、雑音含有音声信号Sを、理想的な無損失雑音除去関数FS110によって処理して、仮想的な無損失雑音除去信号Xを生成する。その後、その雑音除去信号Xを歪関数DX120に通し、歪関数は、スペクトル成分を減衰させて有損失信号Yを生成する。その目的は、有損失信号Yのみを与えるときに、雑音除去信号Xを推定することである。本発明の実施の形態は、無損失信号Xを重み付けされた加法的基本成分wiBiの合成成分として表す。基本成分Biは、雑音除去音声信号Xを構成する個々のスペクトル構造を形成する無相関の構成単位を表すものと仮定する。歪関数Dは、基本成分に歪を加えて、基本成分が表すスペクトル構造を変更する。したがって、任意の基本成分Biが歪関数によってBidistorted=DBiに変換される。歪は、他の基本成分から独立して任意の基本成分を変換すると仮定される、すなわち、以下の式が成り立つ。ただし、DBi|Bj:j≠iは、他の基本成分Bj:j≠iも同時に存在する場合の、基本成分Biの歪を表す。この仮定は、基本成分が、重なり合わない完全なスペクトル構造を表さない限り妥当ではない。また、信号を構成するために基本成分が合成される態様は、歪によって変更されないことも仮定する。これらの仮定は、その方法を簡単にするために行われる。上記の仮定が意味することは、以下の通りである。式2は、全ての基本成分Biおよびその歪んだバージョンBidistortedが既知であり、かつ歪んだ基本成分がYを構成する態様を特定できる、すなわち、重みwiを推定できる場合には、雑音除去信号Xを推定できるという結論をもたらす。復元モデル概説図2は、試験雑音除去音声信号203内のスペクトル成分を復元するための方法200のステップを示す。トレーニング無歪音声信号201が、トレーニング無歪基本成分211の合成成分として表される210。トレーニング雑音除去音声202が、トレーニング有歪基本成分221の合成成分として表される220。トレーニング有歪基本成分221の合成成分に従って試験雑音除去音声信号203を分解すること230によって、対応する試験無歪音声信号204をトレーニング無歪基本成分211の合成成分として推定することができ240、その合成成分は、トレーニング有歪基本成分221の合成成分と同一である。上記の方法のステップは、当該技術分野において既知であるような、メモリおよび入力/出力インターフェースに接続されたプロセッサにおいて実行することができる。信号を表現する図1において説明および図示されたモデルは、本来スペクトルモデルである。そのモデルは、無相関信号の合成成分の特性を評価し、無相関信号の電力スペクトルは、加法的であるので、そのモデルは、全ての信号のスペクトルの特性を評価する。それゆえ、全ての音声信号は、信号の短時間フーリエ変換STFT:Short-TimeFourierTransformを求め、その成分の振幅を計算することによって得られる振幅スペクトログラムとして表される。理論的には、それは、加法的である電力スペクトルである。しかしながら、経験的には、振幅スペクトルの場合の方が、良好に加法性が成り立つ。STFTのための最適な解析フレームは、40~64msである。それゆえ、音声信号にわたって64msの窓をスライドさせることによって、その信号をセグメント化し、フレームを生成する。各フレームにわたってフーリエスペクトルを計算し、複素スペクトルベクトルを得る。ベクトルの大きさを求め、振幅スペクトルベクトルを得る。全てのフレームのための複素スペクトルベクトルの集合が、その信号のための複素スペクトログラムを構成する。全てのフレームのための振幅スペクトルベクトルが振幅スペクトログラムを構成する。個々のフレームのためにスペクトルは、ベクトル、例えば、Xt、Ytとして表される。S、XおよびYがそれぞれ雑音含有音声、無損失雑音除去音声および有損失雑音除去音声の振幅スペクトログラムを表すものとする。基本成分Biおよびその有歪バージョンBidistortedは、振幅スペクトルベクトルを表す。Xtとして表される、信号Xの第iの解析フレームの振幅スペクトルは、以下のように、無損失基本成分Biから構成されるものと仮定される。また、有損失信号Yの対応するフレームの振幅スペクトルは、以下の通りである。また、式のモデル内の重みの符号は、基本成分のためのスペクトルの位相の中に包含され、信号の振幅スペクトルと基本成分の振幅スペクトルとの間の関係には、現れないので、重みwiは、ここでは全ての非負である。そのスペクトル復元モデルは、有損失信号の振幅スペクトログラムYから無損失振幅スペクトログラムXを推定する。推定された振幅スペクトログラムは、時間領域信号に逆変換される。そのために、有損失信号の複素スペクトログラムからの位相が用いられる。復元モデル詳述復元のために、トレーニング段階において、トレーニングデータ、すなわち、トレーニング無歪音声信号201およびトレーニング雑音除去音声信号202から、信号Xのための無損失基本成分Bi211および信号Yのための対応する有損失基本成分Bidistorted221が得られる。トレーニング後、その方法の動作中に、これらの基本成分を用いて、雑音除去信号Xを推定する。基本成分を得る歪関数D120は、未知であるので、成分BiおよびBidistortedは、信号Xおよび対応する信号Yの共同記録を解析することから一緒に得られる。それゆえ、トレーニング段階において、トレーニング信号XおよびYの共同記録が必要とされる。しかしながら、信号Xは、直接入手できず、代わりに、以下の近似が用いられる。デジタル形式で雑音を付加することによって無歪明瞭なトレーニング音声信号Cを人為的に劣化させて、雑音含有信号Sを得る。その後、雑音除去プロセス110によって信号Sを処理し、対応する信号Yを得る。無損失雑音除去信号Xは、仮想的な存在物であり、同じく未知である。代わりに、元の無歪明瞭信号Cがその信号に対するXの代わりとして用いられる。雑音除去プロセスおよび歪関数は、信号の中に遅延を導入し、それにより、YおよびCのための信号が互いに時間的にシフトされるようになる。式2のモデルは、Xの各フレームとYの対応するフレームとの間の一対一対応を仮定しているので、信号CおよびYの記録されたサンプルを時間的に整合させて、雑音除去によって導入された任意の相対的な時間シフトを除去する。その時間シフトは、信号Cの各フレームと信号Yの対応するフレームとの相互相関によって推定される。基本成分Biは、信号Xのための構成用の基本成分であると仮定される。基本成分は、NMFを用いて、信号の振幅スペクトルを解析することによって得ることができる。しかしながら、更なる制約として、有歪基本成分Bidistortedが、実際に、その対応する無歪基本成分Biの歪みであることが確実にわからなければならない。それゆえ、事例ベースモデルが用いられ、そのような対応が確保される。信号Xのための基本成分Biとして、信号Cから多数の振幅スペクトルベクトルがランダムに選択される。信号Yのトレーニング事例から、対応するベクトルがBidistortedとして選択される。これは、Bidistortedが実際にBiの概ね厳密な有歪バージョンであることを確実にする。基本成分は、音声内のスペクトル構造を表しており、音声内のスペクトル構造の潜在的な数は、実質的に無制限であるので、多数、例えば、5000以上のトレーニング基本成分が選択される。それゆえ、式1のモデルは、過完全になり、信号自体の次元数よりも多くの要素を合成する。重みを推定する試験雑音除去信号Y203内のスペクトル成分を復元するための方法は、Yの各スペクトルベクトルYtが有歪基本成分によっていかに構成されるかを決定する。上記のように、Yt=ΣiwitBidistortedが成り立つ。全てのトレーニング有歪基本成分221からなる集合が行列として表され、重みの集合{wit}がベクトル:Wt=[w1tw2t...]Tとして表される場合には、以下の式が成り立つ。ベクトルWtは、推定中に非負であるという制約を受ける。重みを学習するための種々の更新規則が既知である。音声信号およびオーディオ信号の場合、Ytととの間の一般化カルバックライブラー距離を最小化する更新規則を用いることが最も実効的である。ただし、は、成分ごとの乗算を表し、全ての除算も成分ごとに行われる。その表現は、過完全である、すなわち、Ytの次元よりも多くの基本成分が存在するので、その式は、劣決定であり、Wtに対する複数の解が存在し、それらの解は、Ytを等しく良好に特性評価する。復元されたスペクトル成分を有する音声を推定する任意のYtに対して重みWt=[w1tw2t...]Tが決定された後に、式2によって、対応する無損失スペクトルXtを、Xt=ΣiwitBiとして推定することができる。その推定手順は、繰返し行われるので、式3における厳密な等式は、決して達成されない。代わりに、行列がYtに対する唯一の近似である。信号Y内の全エネルギーを考慮に入れるために、以下のウィーナーフィルター定式化を用いて、Xのスペクトルベクトルを推定する。上記の全ての除算および乗算は、成分ごとに行われ、ε>0にすることより、Yt=0であっても減衰したスペクトル成分を依然として復元できるのを確実にする。図3は、重みが推定された後の、無歪試験信号を復元するための全プロセス300を示す。式5の分子によって示される初期推定値は、推定された重み306にしたがってトレーニング無歪基本成分211を合成することによって求められる301。その後、その結果は、ウィーナーフィルター推定302において用いられる。結果として生成されたSTFTは、雑音除去試験信号のSTFTからの位相と合成され303、最後に、逆STFT304を実行することによって時間領域信号305に変換される。帯域幅を拡張する多くの場合に、記録され、雑音除去された音声信号は、縮小された帯域幅を有し、例えば、その音声が電話によって取り込まれた場合には、その音声は、4kHzまでの低い周波数のみを含むことができ、4kHzよりも高い周波数は失われる。これらの場合に、その方法を拡張して、信号の中に高い周波数スペクトル成分を復元することができる。これは、信号の了解度を改善することも予想される。帯域幅を拡張するために、帯域幅再構成手順を用いることができる。引用することにより本明細書の一部をなす、2010年4月13日にRamakrishnan他に対して発行されたConstructingbroad-bandacousticsignalsfromlower-bandacousticsignalsという名称の米国特許第7,698,143号を参照されたい。その手順は,低い帯域の音響信号から広帯域の音響信号を構成することにのみ関係し、本明細書の場合のような、雑音除去音声信号には、関係しない。この場合、トレーニングデータは、トレーニング無歪信号Cのための広帯域信号も含む。CおよびYのためのトレーニング記録を時間的に整合させて、同一の解析フレームを用いてSTFT解析が実行される。これは、任意の共同記録内で、信号CおよびYのためのスペクトルベクトルが一対一に対応するのを確実にする。結果として、Yのトレーニング事例から引き出された基本成分Bidistorted221は、縮小帯域幅の信号を表し、一方、対応する基本成分Bi211は、広帯域信号を表し、高周波成分を含む。信号から雑音が除去された後に、式5を用いて、低周波成分が復元され、高周波成分は、以下の式として得られる。ただし、fはXtおよびBiの固有の周波数成分に対するインデックスである。上記の推定は、スペクトルの振幅のみを求める。振幅スペクトルを時間領域に逆変換するために、信号位相も取り込まれる。低周波成分のための位相は、縮小帯域幅の有損失雑音除去信号から直接得られる。高い方の周波数の場合、低い方の周波数からの位相項を複製すれば十分である。図4は、重みが推定された後の、帯域幅拡張を用いて無歪試験信号を復元するための全プロセスを示す。式5の分子によって示される、低周波成分および高周波成分両方のための初期推定値が求められる401。ステップ401からの高周波推定値を保持しながら、ウィーナーフィルター推定402を用いて低周波成分が更新される。結果として生成されたSTFTは、低周波数の雑音除去試験信号のSTFTからの位相と合成される403。低周波数の位相が高周波数に対して複製され404、最後に、逆STFT405を実行することによって時間領域信号に変換される。"