(57)【要約】【課題】この発明の方法およびシステムは、音響信号と雑音信号とを含む混合信号の雑音を除去する。【解決手段】制約付き非負行列因数分解（ＮＭＦ）が前記混合信号に適用される。前記ＮＭＦは雑音除去モデルによって制約され、該雑音除去モデルは、トレーニング音響信号とトレーニング雑音信号とのトレーニング基礎マトリクス、および該トレーニング基礎マトリクスの重みの統計値を含む。上記適用により、前記混合信号の内の音響信号の基底行列の重みが生成される。前記音響信号を再構成するために、前記音響信号の基底行列の重みと、前記トレーニング音響信号と前記トレーニング雑音信号とのトレーニング基礎マトリクスとの積が取られる。前記混合信号は音声と雑音であり得る。【選択図】図１
2009128906.tif 000002
【特許請求の範囲】
【請求項１】
制約付き非負行列因数分解（ＮＭＦ）を混成信号に適用する工程であって、前記ＮＭＦは雑音除去モデルによって制約され、前記雑音除去モデルはトレーニング音響信号とトレーニング雑音信号とのトレーニング基礎マトリクスおよび該トレーニング基礎マトリクスの重みの統計値とからなり、前記適用により前記混成信号の内の前記音響信号の基底行列の重みを生成する工程と、
前記音響信号を再構成するために、該音響信号の基底行列の重みと、前記トレーニング音響信号と前記トレーニング雑音信号とのトレーニング基礎マトリクスとの積を取る工程と、
を含む、音響信号と雑音信号とを含む混成信号の雑音を除去するための方法。
【請求項２】
前記雑音信号は非定常である、請求項１の方法。
【請求項３】
前記統計値はトレーニング基礎マトリクスの重みの平均と共分散とを含む、請求項１の方法。
【請求項４】
前記音響信号は音声である、請求項１の方法。
【請求項５】
前記雑音除去はリアルタイムで行われる、請求項１の方法。
【請求項６】
雑音除去モデルはメモリに記憶される、請求項１の方法。
【請求項７】
すべての信号がデジタル化されたスペクトログラムの形式である、請求項１の方法。
【請求項８】
前記トレーニング音響信号を表すマトリクスＶｓｐｅｅｃｈと、前記トレーニング基礎マトリクスと前記トレーニング音響信号の重みとを表すマトリクスＷｓｐｅｅｃｈ、Ｈｓｐｅｅｃｈとの間のカルバック・ライブラー発散を最小にする工程と、
前記トレーニング雑音信号を表すマトリクスＶｎｏｉｓｅと、前記トレーニング雑音マトリクスおよび前記トレーニング雑音信号の重みを表すマトリクスＷｎｏｉｓｅ、Ｈｎｏｉｓｅとの間のカルバック・ライブラー発散を最小にする工程と、
をさらに備える、請求項１に記載の方法。
【請求項９】
前記統計は対数ドメインで決定される、請求項１の方法。
【請求項１０】
制約付き非負行列因数分解（ＮＭＦ）を混成信号に適用する手段であって、前記ＮＭＦは雑音除去モデルによって制約され、前記雑音除去モデルはトレーニング音響信号とトレーニング雑音信号とのトレーニング基礎マトリクスおよび該トレーニング基礎マトリクスの重み統計値とからなり、前記適用により前記混成信号の内の前記音響信号の基底行列の重みを生成する手段と、
前記音響信号を再構成するために、前記音響信号の基底行列の重みと、前記トレーニング音響信号と前記トレーニング雑音信号とのトレーニング基礎マトリクスとの積を取る手段と、
を含む、音響信号と雑音信号とを含む混成信号の雑音を除去するためのシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、一般に、音響信号を処理することに関わり、特に、制約付き非負行列因数分解を使用して、音声などの音響信号から加法（付加的）雑音（ノイズ）を削除することに関する。
【背景技術】
【０００２】
雑音（ノイズ）
【０００３】
音声などの音響信号から加法雑音を取り除くことは、電話技術、オーディオボイス（可聴音声）の録音、およびの電子音声通信おいて多数の応用を有する。雑音（ノイズ）は、都市環境、工場、飛行機、車などで蔓延している。
【０００４】
環境における実際のノイズをより正確に反映する、経時的に変動するノイズを除去することは特に難しい。典型的には、静的（定常的）な雑音モデルを使用する抑圧技術により、非定常な雑音の消去を実現することはできない。スペクトルサブトラクションやウイナー（Ｗｉｅｎｅｒ）フィルタリングなどの従来の手法は、静的（定常的）或いはゆっくり変動する雑音の推定を伝統的に使用しており、したがって定常または準定常雑音に制限されてきた。
【０００５】
非負行列因数分解
【０００６】
非負行列（マトリックス）因数分解（ＮＭＦ）は式
【数１】
2009128906.tif 000003
を最適に解決する。
【０００７】
ＮＭＦの従来の定式化は以下の通り定義される。目標は、非負ＭｘＮマトリクスＶから始めて、２つの非負マトリクスＷとＨの積としてマトリクスＶを近似することである。マトリクスＶが積ＷＨによって近似的に再構成されるとき、エラーは最小にされる。これは信号Ｖを非負マトリクスの凸結合に分解する方法を提供する。
【０００８】
信号Ｖがスペクトログラムであり、マトリクスが１組のスペクトル形状であるときに、ＮＭＦは、マトリクスの異なる列を異なる音源に関連させることによって、音の単一チャネルのミクスチャ（混合）を分離することができる。２００５年１０月６日付けで出願された、Ｓｍａｒａｇｄｉｓ外による、「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｓｅｐａｒａｔｉｎｇ  ｍｕｌｔｉｐｌｅ  ｓｏｕｎｄ  ｓｏｕｒｃｅｓ  ｆｒｏｍ  ｍｏｎｏｐｈｏｎｉｃ  ｉｎｐｕｔ  ｗｉｔｈ  ｎｏｎ−ｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒ  ｄｅｃｏｎｖｏｌｕｔｉｏｎ（非負行列因子逆たたみ込みでモノラルの入力から複数音源を分離するための方法とシステム）」という名称の米国特許出願番号２００５０２２２８４０を参照、この文献は本明細書中に引用により援用される。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ＮＭＦは、異なる音響信号に対するスペクトログラムが十分に異なっているとき、音を分離するために、うまく働く。たとえば、フルートなどの１つの音源が倍音だけを生成して、小太鼓などの別の音源が非倍音だけを生成するならば、１つの音源に対するスペクトログラムは他の音源のスペクトログラムと異なっている。
【００１０】
音声
【００１１】
音声は倍音および非倍音を含んでいる。倍音は、異なる時間に異なる基本周波数を持つことができる。音声は、広い範囲の周波数に亘るエネルギーを持つことができる。非定常雑音のスペクトルは音声と類似する場合がある。したがって、音声から雑音を除去する適用例において、一方の「音源」が音声であり、他方の「音源」が加法雑音であるような場合、音声モデルおよび雑音モデルの間のオーバラップにより雑音除去の性能が劣化する。
【００１２】
したがって、非負行列因数分解を、付加的な非定常雑音の混じった音声から雑音を除去する問題に適合させることが望ましい。
【課題を解決するための手段】
【００１３】
この発明によれば、混合音響信号の雑音を除去するための方法とシステムを提供する。特に、この発明の方法は音声信号の雑音を除去する。雑音の除去には、統計的な音声および雑音モデルと組み合わせて制約付き非負行列因数分解（ＮＭＦ）を使用する。
【発明の効果】
【００１４】
この発明の実施の形態による方法は、非定常雑音があるときでも、音声から雑音を除去することができる。この発明で得られる結果は、種々の雑音タイプの範囲上で静的な雑音モデルにより雑音を除去する従来のウィーナフィルタと比較して、優れた性能を示す。
【発明を実施するための最良の形態】
【００１５】
実施の形態１．
図１は、この発明の実施の形態１による音響信号および雑音信号のミクスチャ（混合）から雑音を除去するための方法１００を示す。本方法は、１回のトレーニング２００とリアルタイムの雑音除去３００とを含んでいる。
【００１６】
１回のトレーニング２００への入力は、トレーニング音響信号（ＶＴｓｐｅｅｃｈ）１０１とトレーニング雑音信号（ＶＴｎｏｉｓｅ）１０２とを含む。トレーニング信号は雑音を除去される信号のタイプ、たとえば、非定常雑音を伴う音声を表している。他のタイプの音響信号、たとえばミュージック（音楽）、から雑音を除去するため、トレーニング信号をそれに応じて変えることによって、本方法を適合させることができることを、理解すべきである。トレーニングの出力は雑音除去モデル１０３である。このモデルは、後で使用するため、メモリに記憶することができる。
【００１７】
リアルタイムの雑音除去への入力は、モデル１０３と混合信号（Ｖｍｉｘ）１０４、たとえば音声および非定常雑音、とを含む。雑音除去の出力は、混合信号の音響（音声）部分１０５の推定値である。
【００１８】
１回のトレーニングの間、非負行列因数分解（ＮＭＦ）２１０が、モデル１０３を生成するために、音響信号１０１と雑音信号１０２とに独立して（別々に）適用される。
【００１９】
ＮＭＦ２１０は、トレーニング基礎マトリクス（ＷＴ）２１１−２１２および（ＨＴ）、音響および音声信号に対するトレーニング基礎マトリクスの重み２１３−２１４とをそれぞれ別個に生成する。統計値２２１−２２２、すなわち平均および共分散（ｍｅａｎ  ａｎｄ  ｃｏｖａｒｉａｎｃｅ）、が重み２１３−２１４に対して決定される。トレーニング基礎マトリクス２１１−２１２と、トレーニング音声および雑音信号の平均および共分散２２１−２２２とは、雑音除去モデル１０３を形成する。
【００２０】
リアルタイムの雑音除去の間、この発明の実施の形態１による制約付き非負行列因数分解（ＣＮＭＦ）が混合信号（Ｖｍｉｘ）１０４に適用される。ＣＮＭＦはモデル１０３によって制約される。具体的には、ＣＮＭＦは、トレーニングの間に得られた事前（ｐｒｉｏｒ）学習行列（マトリクス）２１１が混合信号１０４の音響部分の分布を正確に表す、と仮定する。したがって、ＣＮＭＦの間、基底行列はトレーニング基底行列２１１として固定される。また、固定トレーニング基底行列２１１に対する重み（Ｈａｌｌ）３０２は、ＣＮＭＦ３１０の間、そのモデルの先の統計値（平均および共分散）２２１−２２２にしたがって最適に決定される。そして、最適な重み３０２と先の基礎マトリクス２１１の積を取ることによって、出力音声信号１０５を再構成することができる。
【００２１】
トレーニング
【００２２】
図２に示されたトレーニング２００の間、大きさｎｆ×ｎｓｔの音声スペクトログラムＶｓｐｅｅｃｈ１０１、および大きさｎｆ×ｎｎｔの雑音スペクトログラムＶｎｏｉｓｅ１０２があり、ここで、ｎｆは周波数階級の数、ｎｓｔは音声フレームの数、ｎｎｔは雑音フレームの数である。
【００２３】
総ての信号は、ここに記述したように、スペクトログラムの形式であるが、当該技術分野で知られているように、デジタル化され、フレームにサンプリングされる。音響信号について言及するとき、具体的には、既知の或いは識別可能なオーディオ信号、たとえば音声や音楽、のことを意味する。ランダムノイズは、この発明の目的に対して識別可能な音響信号であるとは見なされない。混合信号１０４は音響信号を雑音に結合している。この発明の目的は、雑音を取り除いて、識別可能な音響部分１０５が残るようにすることである。
【００２４】
異なる目的関数はＮＭＦの異なる変種につながる。たとえば、Ｄ（Ｖ  ｜｜  ＷＨ）で表される、マトリクスＶとＷＨとの間のカルバック・ライブラー（ＫＬ）発散は、音源の分離のためにうまく働く、Ｓｍａｒａｇｄｉｓ外を参照。したがって、我々の雑音を除去する発明の実施の形態１において、ＫＬ発散を使用するのが好ましい。それらの技術を使用して他の目的関数へ一般化することは単純（簡単）にできる。Ａ．  Ｃｉｃｈｏｃｋｉ，  Ｒ．  Ｚｄｕｎｅｋ，  ａｎｄ  Ｓ．  Ａｍａｒｉ，  “Ｎｅｗ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｎｏｎ−ｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｉｎ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｂｌｉｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ（ブラインド信号源の分離への応用における非負行列因数分解のための新アルゴリズム）”，  ｉｎ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ，  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，  ２００６，  ｖｏｌ．  ５，  ｐｐ．  ６２１−６２５を参照、この文献は本明細書中に引用により援用される。
【００２５】
トレーニングの間、各基礎マトリクスがＷＴｓｐｅｅｃｈ２１１とＷＴｎｏｉｓｅ２１２および各重みＨＴｓｐｅｅｃｈ２１３とＨＴｎｏｉｓｅ２１４を生成するために、ＮＭＦ２１０が、音声スペクトログラム１０１と雑音スペクトログラム１０２とに別々に適用される。
【００２６】
Ｄ（ＶＴｓｐｅｅｃｈ｜｜ＷＴｓｐｅｅｃｈＨＴｓｐｅｅｃｈ）およびＤ（ＶＴｎｏｉｓｅ｜｜ＷＴｎｏｉｓｅＨＴｎｏｉｓｅ）はそれぞれ最小にされる。マトリクスＷｓｐｅｅｃｈおよびＷｎｏｉｓｅはそれぞれの大きさがｎｆ×ｎｂであり、ここで、ｎｂは各音源を表す基礎関数の数である。重みマトリクスＨｓｐｅｅｃｈおよびＨｎｏｉｓｅは、大きさがそれぞれｎｂ×ｎｓｔおよびｎｂ×ｎｎｔであり、トレーニング基礎マトリクスの経時的に変動する起動レベルを表す。
【００２７】
重みマトリクスＨＴｓｐｅｅｃｈおよびＨＴｎｏｉｓｅの対数値の平均および共分散統計値が、経験的に決定２２０される。具体的には、音声重みの平均μｓｐｅｅｃｈおよび共分散Λｓｐｅｅｃｈ２２１、並びに雑音重みの平均μｓｐｅｅｃｈおよび共分散Λｓｐｅｅｃｈｗ２２２が決定される。各平均μは長さのｎｂベクトルであり、また、各共分散Λはｎｂ×ｎｂマトリクスである。
【００２８】
演算（計算）の便宜のために、このガウシャン形表示が暗黙のうちに選択される。対数ドメインは、線形領域に比べてより良い結果をもたらす。これは、線形領域におけるガウシャン形表示が正および負の値の両方を許容するであろうという事実（それはマトリクスＨ上の非負制約条件と矛盾するが）と一致する。
【００２９】
大きさｎｆ×２ｎｂのマトリクスＷａｌｌ２１５を形成するために、２組の基礎マトリクス２１１および２１３が連結される。この連結された組の基礎マトリクスは、音声および独立した雑音のミクスチャ（混合）を含む信号を表すために使用される。また、統計値μＷａｌｌ＝［μｓｐｅｅｃｈ；μｎｏｉｓｅ］およびΛａｌｌ＝［Λｓｐｅｅｃｈ０；０Λｎｏｉｓｅ］が連結される。連結された基礎マトリクス２１１、２１３および連結された統計値２２１−２２２は、我々の雑音除去モデル１０３を形成する。
【００３０】
雑音除去
【００３１】
モデル１０３の連結されたマトリクスＷａｌｌ２１５が我々が処理しようと欲する音声および雑音のタイプを正確に表すという前提で、図３に示されるようなリアルタイムの雑音除去の間、該マトリックスは固定された状態に保持される。
【００３２】
目的関数
【００３３】
次式（１）および（２）の値を最小にする最適重みＨａｌｌ３０２を決定することが、我々の目的である。
【００３４】
【数２】
2009128906.tif 000004
【００３５】
ここで、Ｄｒｅｇは正規化された（ｒｅｇｕｌａｒｉｚｅｄ）ＫＬ発散目的関数であり、ｉは周波数に関するインデックスであり、また、ｋは、時間に関するインデックスであり、尤度関数Ｌ（Ｈ）の全体的な目的関数Ｄｒｅｇへの影響を制御する調整可能なパラメータである。αがゼロ（零）であるときには、この式（１）はＫＬ発散目的関数と等しい。ノンゼロ（零以外）αに対しては、対数（ｌｏｇ）Ｈに対する我々の共同（ｊｏｉｎｔ）ガウスモデルの下で負型対数尤度に比例する付加ペナルティがある。この項は、結果として得られたマトリクスＨａｌｌを、トレーニングの間に経験的に決定されるようなマトリックスＨｓｐｅｅｃｈおよびＨｎｏｉｓｅの統計値２２１−２２２と整合させるように働く。αを変動させることにより、我々が、全体（観測された混合音声）をフィットさせることと、「一部」の予想された統計値（音声および雑音統計値）を一致させることとの間のトレードオフを制御することが可能になり、我々のモデルの下で高い尤度を達成できる。
【００３６】
Ｃｉｃｈｏｃｋｉ外にしたがって、重み行列Ｈａｌｌに対する乗法型更新規則は次式のように表される。
【００３７】
【数３】
2009128906.tif 000005
【００３８】
ここで、［  ］εは、非負制約条件の違反を防止し且つゼロによる除算を回避するために、小さな正の定数より小さな角括弧内の任意の値がεにより置換されることを示す。
【００３９】
トレーニング基底行列２１１およびマトリクスＨａｌｌの上端のｎｂ行を使用して、雑音を除去されたスペクトログラム、たとえばクリーンな音声１０５、が次式のように再構成３２０される。
【００４０】
【数４】
2009128906.tif 000006
【００４１】
この発明の実施の形態１による方法は、非定常雑音があるときでも、音声から雑音を除去することができる。この発明で得られる結果は、種々の雑音タイプの範囲上で静的な雑音モデルにより雑音を除去する従来のウィーナフィルタと比較して、優れた性能を示す。
【００４２】
この発明は好適な実施の形態を例に挙げて説明したが、この発明の精神および範囲内で種々の他の改変および変更を行うことができることを理解すべきである。したがって、この発明の精神および範囲内に入るすべての変更例および変形例をカバーすることが、付加されたクレームの目的である。
【図面の簡単な説明】
【００４３】
【図１】この発明の実施の形態１による、音響信号の雑音を除去する方法のフローチャートである。
【図２】図１の方法のトレーニングステージに関するフローチャートである。
【図３】図１の方法の雑音除去ステージに関するフローチャートである。
【図１】
2009128906.tif 000007
【図２】
2009128906.tif 000008
【図３】
2009128906.tif 000009
【外国語明細書】
2009128906.tif 000010
2009128906.tif 000011
2009128906.tif 000012
2009128906.tif 000013
2009128906.tif 000014
2009128906.tif 000015
2009128906.tif 000016
2009128906.tif 000017
2009128906.tif 000018
2009128906.tif 000019
2009128906.tif 000020
2009128906.tif 000021
2009128906.tif 000022
2009128906.tif 000023
2009128906.tif 000024
2009128906.tif 000025