(57)【要約】  方法が、クリーン音声信号の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、クリーン音声信号のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、雑音信号を表す隠れ変数の少なくとも１つのシーケンスとを含む隠れ変数のシーケンスを、入力雑音混入信号から求める。これらの隠れ変数のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数を含む。この求めることは、励振コンポーネントおよびフィルターコンポーネントを表す隠れ変数を、ある期間にわたって統計的に依存するように制約する非負値ソースフィルタ力学系（ＮＳＦＤＳ）を含むクリーン音声信号のモデルを用いる。この方法は、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成する。
2016522421.tif 000002
【特許請求の範囲】
【請求項１】
入力雑音混入信号を強調する方法であって、該入力雑音混入信号は、クリーン音声信号および雑音信号の混合したものであり、該方法は、
前記クリーン音声信号の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、前記クリーン音声信号のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、前記雑音信号を表す隠れ変数の少なくとも１つのシーケンスとを含む隠れ変数のシーケンスを、前記クリーン音声信号のモデルおよび前記雑音信号のモデルを用いて前記入力雑音混入信号から求めるステップであって、前記クリーン音声信号の前記モデルは、前記励振コンポーネントを表す前記隠れ変数を、ある期間にわたって統計的に依存するように制約するとともに、前記フィルターコンポーネントを表す前記隠れ変数を、ある期間にわたって統計的に依存するように制約する非負値ソースフィルタ力学系（ＮＳＦＤＳ）を含み、前記隠れ変数のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数を含む、求めるステップと、
前記励振コンポーネントおよび前記フィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成するステップと、
を含み、該方法の各ステップは、プロセッサによって実行される、入力雑音混入信号を強調する方法。
【請求項２】
前記励振コンポーネントまたは前記フィルターコンポーネントの前記隠れ変数は、離散状態マルコフ連鎖を形成する状態変数を含む、請求項１に記載の方法。
【請求項３】
前記励振コンポーネントまたは前記フィルターコンポーネントの前記隠れ変数は、連続状態マルコフ連鎖を形成する状態変数を含む、請求項１に記載の方法。
【請求項４】
前記隠れ変数の前記シーケンスは、利得コンポーネントを表す少なくとも１つのシーケンスを含み、前記出力信号は、前記励振コンポーネントおよび前記フィルターコンポーネントならびに前記利得コンポーネントを表す前記対応する隠れ変数の積として生成される、請求項１に記載の方法。
【請求項５】
前記利得コンポーネントの前記シーケンスは、マルコフ連鎖を形成する、請求項４に記載の方法。
【請求項６】
前記利得コンポーネントの前記シーケンスは、ガンママルコフ連鎖を形成する、請求項４に記載の方法。
【請求項７】
前記求めるステップは、最大事後推定を用いる、請求項１に記載の方法。
【請求項８】
前記求めるステップは、ベイズ法を用いる、請求項１に記載の方法。
【請求項９】
前記求めるステップは、適応的であり、前記入力雑音混入信号に対してオンラインで行われる、請求項１に記載の方法。
【請求項１０】
前記励振コンポーネントまたは前記フィルターコンポーネントの前記隠れ変数は、ガンママルコフ連鎖を形成する状態変数を含む、請求項１に記載の方法。
【請求項１１】
前記雑音信号の前記モデルのパラメーターは、トレーニング雑音信号のデータベースから推定される、請求項１に記載の方法。
【請求項１２】
前記雑音信号の前記モデルのパラメーターは、入力雑音混入信号から推定される、請求項１に記載の方法。
【請求項１３】
前記雑音信号の前記モデルは、非負値基底関数の非負値線形結合である、請求項１に記載の方法。
【請求項１４】
前記雑音信号の前記モデルは、非負値力学系である、請求項１に記載の方法。
【請求項１５】
前記雑音信号の前記モデルは、非負値ソースフィルタ力学系である、請求項１に記載の方法。
【請求項１６】
クリーン音声信号の前記モデルのパラメーターは、トレーニングクリーン音声信号のデータベースから推定される、請求項１に記載の方法。
【請求項１７】
入力雑音混入信号を強調するシステムであって、該入力雑音混入信号は、クリーン音声信号および雑音信号の混合したものであり、該システムは、
前記クリーン音声信号のモデルを記憶するメモリであって、該クリーン音声信号の該モデルは、非負値ソースフィルタ力学系（ＮＳＦＤＳ）を含む、メモリと、
前記クリーン音声信号の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、前記クリーン音声信号のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンスとを含む隠れ変数のシーケンスを、前記ＮＳＦＤＳを用いて前記入力雑音混入信号から求め、前記励振コンポーネントおよび前記フィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成するプロセッサであって、前記ＮＳＦＤＳは、前記励振コンポーネントおよび前記フィルターコンポーネントを表す前記隠れ変数を、ある期間にわたって統計的に依存するように制約し、前記隠れ変数のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数を含む、プロセッサと、
を備える、入力雑音混入信号を強調するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、音響信号を処理することに関し、より詳細には、音声信号等の音響信号から加法性雑音を除去することに関する。
【背景技術】
【０００２】
音声信号等の音響信号から加法性雑音を除去することは、電話通信、オーディオ音声録音、および電子音声通信において多数の用途を有する。雑音は、都市環境、工場、飛行機、車両等に広がっている。
【０００３】
環境における現実の雑音をより正確に反映した時間変化する雑音を雑音除去することは、特に困難である。通常、非定常雑音の消去は、静的雑音モデルを用いる抑制技法によって達成することはできない。スペクトルサブトラクションおよびウィーナフィルタリング等の従来の手法は、通常、静的雑音推定値またはゆっくりと変化する雑音推定値を用い、したがって、定常雑音または擬似定常雑音に限られている。
【０００４】
音声は、倍音および非倍音を含む。倍音は、経時的に異なる基本周波数を有することがある。音声は、広範囲の周波数にわたるエネルギーを有することがある。非定常雑音のスペクトルは、音声と類似していることがある。したがって、一方の「ソース」が音声であり、他方の「ソース」が加法性雑音である音声雑音除去アプリケーションでは、音声モデルと雑音モデルとが重複することによって、雑音除去の性能が劣化する。
【０００５】
音声および雑音を別々にモデル化することに依拠したモデルベースの音声強調方法は、多くの異なる問題設定において、大きな効果を有することが示されてきた。実際によくあることだが、雑音の構造が任意のものとなる可能性があるとき、モデルベースの方法は、良好な音声モデルを開発することに的を絞らなければならず、このモデルの品質が、モデルベースの方法の性能の鍵となる。
【０００６】
モデル化のストラテジーの観点から、２つの幅広い手法が存在する。１つの手法は、ガウス混合モデル等の離散状態モデリングに基づいている。もう１つの手法は、非負値行列因子分解およびそれらを拡張したもの等の基底関数の連続重み付け結合を用いる。一般的なトレードオフは、離散状態手法が、特にそれらの時間的力学において、より正確である可能性があるのに対して、連続的手法が、利得および部分空間可変性に関して、より柔軟である可能性があるということである。
【０００７】
例えば、特許文献１は、トレーニング音響信号およびトレーニング雑音信号のトレーニング基底行列を含むモデルと、これらのトレーニング基底行列の重みの統計とを用いて、混合信号、例えば、音声信号および雑音信号を雑音除去することを記載している。しかしながら、一般に、ゆっくりと変化する雑音に的を絞った従来の方法は、雑音混入環境において、マイクロフォンを用いることによって受けるような高速に変化する非定常雑音には不十分である。加えて、高速に変化する加法性雑音の補償には、多数の起こり得る全ての雑音および音声の変動を補償することができる方法が、急速に計算的に法外なものとなるおそれがあるほどの高い計算能力が必要とされる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第８０１５００３号
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、動的で適応的な音声強調方法を提供することが望まれている。
【課題を解決するための手段】
【００１０】
本発明のいくつかの実施の形態は、雑音混入音声信号を強調する確率モデルを用いる。いくつかの実施の形態の１つの目的は、基本となる音声生成プロセスだけでなく、その力学も考慮に入れることによって、音声を正確にモデル化することである。本発明の様々な実施の形態によれば、この確率モデルは、非負値力学系としてモデル化される励振部分およびフィルター部分を有する非負値ソースフィルタ力学系（ＮＳＦＤＳ）である。
【００１１】
例えば、モデルの状態は、フィルターの離散コンポーネント、すなわち、音素の状態と、励振状態とに因子分解することができ、これらの状態は、音声強調方法のトレーニング部分および雑音除去部分の簡略化を可能にする。加えて、ＮＳＦＤＳは、励振コンポーネントおよびフィルターコンポーネントの対応する状態を、ある時間にわたって統計的に依存してマルコフ連鎖を形成するように制約する。これらの制約は、階乗ＨＭＭ（Hidden Markov Model：隠れマルコフモデル）と非負値力学系手法とのハイブリッドを与える、音声の力学を表すことができる。
【００１２】
また、いくつかの実施の形態では、ＮＳＦＤＳは、励振コンポーネントおよびフィルターコンポーネントを表す隠れ変数が非負値基底関数の非負値線形結合として求められるように、励振コンポーネントおよびフィルターコンポーネントを非負値力学系としてモデル化する。例えば、非負値基底関数の非負値線形結合を用いてパワースペクトルをモデル化することによって、利得および信号内の他の変動がモデル化されることに適合するという問題が解決される。異なる実施の形態は、例えば、ある期間にわたる統計的依存関係の形態の力学的制約、もしくは励振−フィルター因子分解制約、またはそれらの組み合わせのいずれかを別々に加えたものである。
【００１３】
全体的に、力学的制約は、ある期間にわたる推論された信号における非現実的な遷移から生じる不正確さに対処し、励振−フィルター制約は、全ての結合をモデル化するのではなく、励振特性およびフィルター特性を別々に表すので、不十分なトレーニングデータに起因した不正確さに対処する。力学的制約と励振−フィルター制約との組み合わせを用いて非負値基底関数の非負値線形結合を用いたパワースペクトルのモデル化を拡張することによって、音声の強調の計算コストをリアルタイムアプリケーションに適したものに維持しつつ、力学的制約を追加することの利点および励振−フィルター制約を追加することの利点をともに得ることが可能になる。
【００１４】
加えて、励振コンポーネントおよびフィルターコンポーネントに対して別々の力学を用いることによって、より正確で効率的なモデル化という付加的な利益が得られる。なぜならば、音声の励振特性およびフィルター特性は、話者の口および喉における物理プロセスを別々に展開することによって統制されるからである。
【００１５】
したがって、１つの実施の形態は、入力雑音混入信号を強調する方法を開示し、この入力雑音混入信号は、クリーン音声信号および雑音信号の混合したものである。本方法は、クリーン音声信号の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、クリーン音声信号のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、雑音信号を表す隠れ変数の少なくとも１つのシーケンスとを含む隠れ変数のシーケンスを、クリーン音声信号のモデルおよび雑音信号のモデルを用いて入力雑音混入信号から求めることであって、クリーン音声信号のモデルは、励振コンポーネントを表す隠れ変数を、ある期間にわたって統計的に依存するように制約するとともに、フィルターコンポーネントを表す隠れ変数を、ある期間にわたって統計的に依存するように制約する非負値ソースフィルタ力学系（ＮＳＦＤＳ）を含み、隠れ変数のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数を含むことと、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成することと、を含む。本方法のステップは、プロセッサによって実行される。
【００１６】
別の実施の形態は、入力雑音混入信号を強調するシステムを開示し、この入力雑音混入信号は、クリーン音声信号および雑音信号の混合したものである。本システムは、クリーン音声信号のモデルを記憶するメモリであって、クリーン音声信号のモデルは、非負値ソースフィルタ力学系（ＮＳＦＤＳ）を含む、メモリと、クリーン音声信号の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンスと、クリーン音声信号のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンスとを含む隠れ変数のシーケンスを、ＮＳＦＤＳを用いて入力雑音混入信号から求め、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成するプロセッサであって、ＮＳＦＤＳは、励振コンポーネントおよびフィルターコンポーネントを表す隠れ変数を、ある期間にわたって統計的に依存するように制約し、隠れ変数のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数を含む、プロセッサと、を備える。
【図面の簡単な説明】
【００１７】
【図１Ａ】本発明のいくつかの実施の形態による、音声信号および雑音信号の混合したものを雑音除去する方法の全体ブロック図である。
【図１Ｂ】本発明のいくつかの実施の形態による、雑音と混合した音声を雑音除去するシステムの一例を示す図である。
【図１Ｃ】本発明のいくつかの実施の形態による、図１Ｂのシステムを備えるインストルメンタルパネルの一例の概略図である。
【図２】本発明のいくつかの実施の形態による非負値ソースフィルタ力学系（ＮＳＦＤＳ）の概略図である。
【図３Ａ】本発明のいくつかの実施の形態による、ＮＳＦＤＳのコンポーネントの経験値の説明図である。
【図３Ｂ】本発明のいくつかの実施の形態による音声のＮＳＦＤＳモデルのグラフである。
【図４】本発明の１つの実施の形態による、雑音混入音声信号を強調する方法のブロック図である。
【図５】いくつかの実施の形態の原理を用いる一例示の方法のブロック図である。
【図６】クリーン音声の変数の更新ルールを示す表である。
【発明を実施するための形態】
【００１８】
図１Ａは、本発明のいくつかの実施の形態による、音声信号および雑音信号の混合したものを雑音除去する方法の全体ブロック図を示している。この方法は、ワンタイム音声モデルトレーニング１２６およびワンタイム雑音モデルトレーニング１２８ならびにリアルタイム雑音除去１２７の部分を備える。
【００１９】
ワンタイム音声モデルトレーニング１２６への入力は、トレーニング音響信号（ＶＴｓｐｅｅｃｈ）１２１を含み、ワンタイム雑音モデルトレーニング１２８への入力は、トレーニング雑音信号（ＶＴｎｏｉｓｅ）１２２を含む。これらのトレーニング信号は、雑音除去される信号のタイプ、例えば、音声および非定常雑音を代表するものである。トレーニングの出力は、クリーン音声信号のモデル２００および雑音信号のモデル２０１である。本発明の様々な実施の形態では、モデル２００は、以下でより詳細に説明する非負値ソースフィルタ力学系（ＮＳＦＤＳ）である。このモデルは、後の使用に備えてメモリに記憶することができる。
【００２０】
リアルタイム雑音除去１２７への入力は、クリーン音声のモデル２００、雑音のモデル２０１、および入力信号（Ｖｍｉｘ）１２４を含む。この入力信号は、クリーン音声および雑音の混合したものである。雑音除去の出力信号は、混合入力信号の音響（音声）部分の推定値１２５である。
【００２１】
ＮＳＦＤＳモデル２００がトレーニングされた後、このモデルは、音声強調アプリケーションにおいて用いることができ、および／または、例えば、音声が非定常自動車雑音下で観測される自動車等の雑音混入環境において音声を認識する音声処理アプリケーションの一部として用いることができる。この方法は、メモリおよび入力／出力インターフェースに作動接続されたプロセッサにおいて実行することができる。
【００２２】
図１Ｂは、本発明のいくつかの実施の形態による、雑音と混合した音声信号を雑音除去することが可能なシステム１の一例を示している。システム１は、このシステムの全体または複数部分の動作を制御する中央処理ユニット（ＣＰＵ）１００を備える。システム１は、メモリ１０１とインタラクトする。このメモリは、このシステムのオペレーティングシステム（ＯＳ）に関連したソフトウェア１０１０と、ＣＰＵ１００によって実行されて、ディクテーションおよび誤り訂正等の特定の機能をシステムのユーザーに提供することができるアプリケーションプログラム１０１１と、音声認識に関連したソフトウェア１０１２とを含む。ＮＳＦＤＳモデル２００も、メモリ１０１に記憶することができる。
【００２３】
システム１は、マイクロフォン１０３によって取得することができる音声、または外部システムから取得される音声等の外部入力１０４から受信される音声を受信するオーディオインターフェース（Ｉ／Ｆ）１０２も備えることができる。システム１は、ディスプレイ１０６の動作を制御するディスプレイコントローラー１０５等の１つまたはいくつかのコントローラーをさらに備えることができる。このディスプレイは、例えば、液晶ディスプレイ（ＬＣＤ）または他のタイプのディスプレイとすることができる。ディスプレイ１０６は、システム１の光学式ユーザーインターフェースとしての機能を果たし、例えば、システム１のユーザーに単語のシーケンスを提示することを可能にする。システム１は、オーディオ出力システム１１２、例えば、１つまたは複数のスピーカーの動作を制御するオーディオ出力コントローラー１１１にさらに接続することができる。システム１は、ジョイスティック１０８からの入力を受信するジョイスティックコントローラー１０７およびキーパッド１１０からの入力を受信するキーパッドコントローラー１０９等の１つまたは複数の入力インターフェースにさらに接続することができる。ジョイスティックおよび／またはキーパッドの使用は、本質が例示的なものにすぎないことが容易に理解される。全く同様に、トラックボールまたは矢印キーを用いて、必要とされる機能を実施することができる。加えて、ディスプレイ１０６は、ユーザーからの入力を受信するインターフェースとしての機能を果たすタッチスクリーンディスプレイとすることができる。さらに、音声認識を実行することができることに起因して、システム１は、あらゆる非音声関連インターフェースを完全に不要にすることができる。オーディオＩ／Ｆ１０２、ジョイスティックコントローラー１０７、キーパッドコントローラー１０９、およびディスプレイコントローラー１０５は、ＣＰＵ１００が現在実行しているＯＳ１０１０および／またはアプリケーションプログラム１０１１に従ってＣＰＵ１００によって制御される。
【００２４】
図１Ｃに示すように、システム１は、車両１９９のインストルメンタルパネル１５０に組み込むことができる。システム１の動作を制御する様々な制御部１３１〜１３３は、ハンドル１３０上に配置することができる。これに代えてまたはこれに加えて、制御部１２５は、制御モジュール１２０上に設置することができる。システム１は、車両を動作させる雑音混入環境において音声の解釈を改善するように構成することができる。
【００２５】
非負値ソースフィルタ力学系
図２は、本発明のいくつかの実施の形態による非負値ソースフィルタ力学系（ＮＳＦＤＳ）の概略図を示している。ＮＳＦＤＳは、励振ソースと、声道のフィルタリングとを別々の因子として表すソースフィルターモデルに従っている。具体的には、ＮＳＦＤＳは、声帯等の音源と、声道および放射特性の音響フィルターとの組み合わせとして、音声をモデル化する。
【００２６】
したがって、ＮＳＦＤＳ２００は、特定のピッチを有する声帯振動（有声化）、乱気流雑音（摩擦音）、および気流オンセット／オフセット音（ストップ）、ならびにそれらの組み合わせによって主に形成される信号の励振部分に対応するクリーン音声の励振コンポーネント２１０を含む。また、ＮＳＦＤＳ２００は、異なる母音（「ah」対「ee」）または異なって変調される摩擦音モード（「s」対「sh」）の場合のように、音のスペクトル包絡線に対する声道の影響に対応するクリーン音声のフィルターコンポーネント２２０も含む。
【００２７】
いくつかの実施の形態では、励振コンポーネントおよびフィルターコンポーネントは、以下で説明するように、対応する隠れ変数２３５によって表される。隠れ変数は、それらの隠れ変数が混合雑音混入音声から測定されるのではなく、推定されることから、隠れと呼ばれる。ソースフィルタ手法を用いた音声の近似によって、隠れ変数のモデルおよび推定のトレーニングを簡略化することが可能になる。
【００２８】
ＮＳＦＤＳモデル２００は、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数を、ある期間にわたって統計的に依存するように制約する。例えば、ＮＳＦＤＳは、励振コンポーネントを表す隠れ変数を、ある期間にわたって統計的に依存するように制約する（２１５）とともに、フィルターコンポーネントを表す隠れ変数も、ある期間にわたって統計的に依存するように制約する（２１６）。いくつかの実施の形態では、依存関係２１５および／または２１６は、マルコフ連鎖として形成される。これらの制約によって、音声の力学を表現することが可能になり、階乗ＨＭＭと非負値力学系手法とのハイブリッドがもたらされる。
【００２９】
加えて、ＮＳＦＤＳは、非負値基底関数の非負値線形結合を用いて励振コンポーネントおよび／またはフィルターコンポーネントをモデル化する。すなわち、隠れ変数２３５のシーケンスは、非負値基底関数の非負値線形結合として求められた隠れ変数２３６を含む。非負値基底関数の非負値線形結合を用いて、例えば、音声のパワースペクトルをモデル化することによって、音量および信号内の他の変動がモデル化されることに適合するという問題が解決される。異なる実施の形態は、例えば、ある期間にわたる統計的依存関係の形態の力学的制約、もしくは励振−フィルター因子分解制約、またはそれらの組み合わせのいずれかを別々に加えたものである。
【００３０】
全体的に、力学的制約は、ある期間にわたる推論された信号における非現実的な遷移から生じる不正確さに対処し、励振−フィルター制約は、全ての結合をモデル化するのではなく、励振特性およびフィルター特性を別々に表すので、不十分なトレーニングデータに起因した不正確さに対処する。力学的制約と励振−フィルター制約との組み合わせを用いて非負値基底関数の非負値線形結合を用いたパワースペクトルのモデル化を拡張することによって、力学的制約を追加することの利点および励振−フィルター制約を追加することの利点を、ともに得ることが可能になる。
【００３１】
加えて、励振コンポーネントおよびフィルターコンポーネントに対して別々の力学を用いることによって、より正確で効率的なモデル化という追加の利益が得られる。なぜならば、音声の励振特性およびフィルター特性は、話者の口および喉における物理プロセスを別々に展開することによって統制されるからである。
【００３２】
図３Ａは、ＮＳＦＤＳのコンポーネントの経験値の説明図を示している。ブロック図上の矢印は、コンポーネント間の関係を示している。このモデルの目的は、混合雑音混入音声信号に存在するクリーン音声３０１を推定する（３５０）ことである。
【００３３】
図３Ｂは、本発明のいくつかの実施の形態によるＮＳＦＤＳモデル２００のグラフ３００を示している。グラフ３００において、ノード３３０および３３５等の円形ノードは、連続確率変数を示し、ノード３４０および３４５等の矩形ノードは、離散確率変数を示し、ノード３５０等の陰影付きノードは、観測された変数を示す。矢印は、条件付き独立関係構造を決定する。
【００３４】
複素スペクトル
【数１】
2016522421.tif 000003
におけるＮＳＦＤＳモデルは、以下の式の条件付きゼロ平均複素ガウス分布として記述することができる。
【００３５】
【数２】
2016522421.tif 000004
【００３６】
この分布の分散は、フィルターコンポーネント３７５
【数３】
2016522421.tif 000005
と、励振コンポーネント３７０
【数４】
2016522421.tif 000006
と、利得３５５ｇｎとの積としてモデル化される。ここで、ｆは、周波数インデックスを示し、ｎは、フレームインデックスを示す。フィルターコンポーネントは、音素の時間変化する構造を捕捉することを目的とするのに対し、励振コンポーネントは、音声の時間変化するピッチおよび他の励振モードを捕捉することを目的とする。利得コンポーネントは、このモデルが音声信号の振幅の変化を追跡するのを援助する。
【００３７】
このモデル化手法は、パワースペクトルにわたる指数分布ｓｆｎ＝｜ｘｆｎ｜２を、
【数５】
2016522421.tif 000007
を用いて仮定することと同等である。このモデル上の最尤推定は、ｓｆｎと
【数６】
2016522421.tif 000008
との間のＩｔａｋｕｒａ−Ｓａｉｔｏ（板倉・斉藤）ダイバージェンスを最小にすることと同等である。
【００３８】
所与の時間フレームｎについて、励振コンポーネント
【数７】
2016522421.tif 000009
は、励振辞書３６０
【数８】
2016522421.tif 000010
の列であると仮定される。
【００３９】
【数９】
2016522421.tif 000011
【００４０】
ここで、［・］は指示関数である。すなわち、ｘが真である場合、［ｘ］＝１であり、そうでない場合、［ｘ］＝０である。
【００４１】
ここで、離散確率変数
【数１０】
2016522421.tif 000012
３４５は、「励振ラベル」と呼ばれ、ピッチおよび他の励振モードを決定する。
【００４２】
ＮＳＦＤＳは、フィルターコンポーネント３７５  Ｖｒを、フィルター辞書３６５
【数１１】
2016522421.tif 000013
と、アクティベーション行列３３０
【数１２】
2016522421.tif 000014
とを乗算したものとしてモデル化する。ここで、Ｕの定義域は、Ｕの各列が、アクティベーション辞書３３１
【数１３】
2016522421.tif 000015
の列の雑音混入実現値となるように制限される。
【００４３】
【数１４】
2016522421.tif 000016
【００４４】
式（３）において、フィルター辞書Ｗｒは、その基底関数
【数１５】
2016522421.tif 000017
によって表され、フィルターコンポーネントの少なくともいくつかの隠れ変数は、非負値基底関数の非負値線形結合として求められる。いくつかの代替の実施の形態では、励振コンポーネントの隠れ変数は、励振コンポーネントの隠れ変数に加えてまたはこれに代えて、非負値基底関数の非負値線形結合として求められる。
【００４５】
変数３４０
【数１６】
2016522421.tif 000018
は、本明細書において、「音素ラベル」と呼ばれ、
【数１７】
2016522421.tif 000019
は、時間フレームｎにおいて選択されたＢの列３３１を決定する。ガンマ分布Ｇは、形状パラメーターおよび逆スケールパラメーターを用いて定義される。
【００４６】
１つの実施の形態では、連続力学を導入するとともに平滑性を実施するために、ＮＳＦＤＳは、利得変数３３５  ｇに対してガンママルコフ連鎖を用いる。
【００４７】
【数１８】
2016522421.tif 000020
【００４８】
１つの実施の形態は、計算を簡略化するために、イノベーションεを、α＝β、φ=ψとすることによって平均１を有するように制約する。加えて、いくつかの実施の形態は、文脈情報を遷移行列３４１  Ａｒおよび３４６  Ａｅと組み合わせるために、音素ラベルｈｒおよび励振ラベルｈｅに関して、マルコフ事前確率を仮定する。
【００４９】
【数１９】
2016522421.tif 000021
【００５０】
上記の実施の形態のいくつかの変形形態では、フィルターおよび励振のマルコフ連鎖は、それらの統計的関係を、より良好にモデル化するために相互依存もする。代替の実施の形態では、フィルターおよび励振のマルコフ連鎖は、わずかに独立している。なぜならば、そのような依存関係は、モデルの複雑さを増大させるからである。
【００５１】
したがって、１つの実施の形態では、ＮＳＦＤＳモデルは、式（１）〜（５）の組み合わせに基づいて求められる。パワースペクトルＳは、フィルター部分Ｖｒと、励振部分Ｖｅと、利得ｇとの積として分解される。平滑重複フィルター辞書Ｗｒは、Ｖｒを、スペクトルの平滑な包絡線を捕捉するように暗黙的に制限する。辞書Ｗｅは、励振モードのスペクトル形状を捕捉する。
【００５２】
【数２０】
2016522421.tif 000022
は、例えば、
【数２１】
2016522421.tif 000023
に従って求められた励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数の積を用いて求められた出力信号のモデル予測である。
【００５３】
図４は、本発明の１つの実施の形態による雑音混入音声信号を強調する方法のブロック図を示している。この方法のステップは、プロセッサ、例えばＣＰＵ１００によって実行される。この方法は、クリーン音声および雑音の混合したものとして入力信号を受信する（４１０）。例えば、入力信号は、特徴ベクトルのシーケンス４１５として表すことができる。この入力信号について、この方法は、クリーン音声の励振コンポーネントを表す隠れ変数の少なくとも１つのシーケンス４３０、クリーン音声のフィルターコンポーネントを表す隠れ変数の少なくとも１つのシーケンス４４０を含む隠れ変数のシーケンスを、雑音混入音声信号のモデル２００を用いて求める（４２０）。いくつかの実施の形態では、この方法は、雑音を表す隠れ変数の少なくとも１つのシーケンスも求める。次に、この方法は、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数の積を用いて出力信号を生成する（４５０）。
【００５４】
雑音混入音声信号のモデル２００は、励振コンポーネントおよびフィルターコンポーネントを表す対応する隠れ変数を、ある期間にわたって統計的に依存するように制約する非負値ソースフィルタ力学系（ＮＳＦＤＳ）である。統計的依存関係は、マルコフ連鎖を用いて実施することができる。例えば、マルコフ連鎖は、離散的なものまたは連続的なものとすることができる。ＮＳＦＤＳは、非負値基底関数の非負値線形結合を用いて励振コンポーネントおよびフィルターコンポーネントをモデル化する。
【００５５】
確率モデルを用いた音声雑音除去の例
図５は、いくつかの実施の形態の原理を用いた一例示の方法のブロック図を示している。この方法は、上記で説明したように、励振コンポーネントおよびフィルターコンポーネントのいくつかの音声（オーディオ）トレーニングデータ５０５に関する基底Ｗおよび遷移行列Ａを推定することによって、音声５０６のモデルパラメーターを構成する（５０１）。
【００５６】
同様に、この方法は、基底Ｗ（ｎ）および遷移行列Ａ（ｎ）を用いて雑音モデル３０７を構成し、これらの２つのモデル３０６および３０７を組み合わせる。モデル２００は、入力オーディオ信号ｘ  ５０９を強調するのに用いられる。この方法は、時間周波数特徴表現を求め（５１０）、変動する励振コンポーネントおよびフィルターコンポーネントの隠れ変数の推定値、すなわち、ラベルｈ、アクティベーション行列Ｕ、励振コンポーネントおよびフィルターコンポーネントＶ、ならびに強調された音声の推定値Ｓを求める（５２０）。
【００５７】
このように、音声および雑音を組み合わせた単一のモデルが取得される。その後、このモデルが用いられて、強調された音声
【数２２】
2016522421.tif 000024
５４０の複素値短時間フーリエ変換（ＳＴＦＴ）行列Ｘが再構成される（５３０）。時間領域信号は、非常に長い入力信号と有限インパルス応答フィルターとの離散畳み込みの値を求める重畳加算法を用いて再構成することができる。例えば、１つの実施の形態は、強調された音声
【数２３】
2016522421.tif 000025
の逆ＳＴＦＴを取ることによって時間領域音声推定値を再構成する。
【００５８】
いくつかの実施の形態は、ＮＳＦＤＳモデルにおいて最大事後（ＭＡＰ）推定の収束保証付き更新ルールを用いる。例えば、１つの実施の形態は、各反復において構成される扱いやすい上界を最小化することによって、扱いにくいＭＡＰ目的関数を単調減少させるマジョライゼーション最小化（ＭＭ）法を用いる。この方法は、現在の値が与えられた各潜在因子と他の因子との交互の更新を実行するブロック座標降下法である。ＭＭ法は、ＢおよびＷｅの以下の更新を与える。
【００５９】
【数２４】
2016522421.tif 000026
【００６０】
図６は、クリーン音声の変数Ｕおよびｇの更新ルールを示している。Ｕおよびｇの更新は、２次多項式の根を見つけることを伴う。列６５０の各変数は、各反復において、各変数のパラメーターａ、ｂ、およびｃの異なる値６２０、６３０、および６４０を用いて、
【数２５】
2016522421.tif 000027
に更新することができる。対応する式は、表６１０に与えられている。
【００６１】
他の全ての変数が与えられると、ｈｒおよびｈｅの最適値は、各反復において、例えば、ビタビアルゴリズムを介して求めることができる。遷移行列ＡｒおよびＡｅは、トレーニングデータにおける遷移カウントから推定される。
【００６２】
雑音混入音声モデル
いくつかの実施の形態は、音声と加法性雑音との混合したものを考える。これは、複素スペクトル領域における線形関係
【数２６】
2016522421.tif 000028
を与える。この関係は、音声および雑音がともに条件付きゼロ平均複素ガウス分布を用いてモデル化される場合に、パワースペクトルの加法性、他の多くの方法によってなされる以下の式の近似の仮定を回避する。
【００６３】
【数２７】
2016522421.tif 000029
【００６４】
ここで、
【数２８】
2016522421.tif 000030
は、ＮＳＦＤＳ、すなわち、式２〜４において定義された
【数２９】
2016522421.tif 000031
によってモデル化される。雑音の場合、いくつかの実施の形態は、以下の式の平滑ＮＭＦ（ＳＮＭＦ）法を用いる。
【００６５】
【数３０】
2016522421.tif 000032
【００６６】
ここで、
【数３１】
2016522421.tif 000033
は、スペクトル辞書Ｗｎｏｉｓｅとその対応するアクティベーションＨｎｏｉｓｅとの積であると仮定される。ＳＮＭＦは、平滑性を実施するためにアクティベーションにガンママルコフ連鎖を課すＮＭＦの拡張である。ここでは、αｎｏｉｓｅ＝βｎｏｉｓｅと設定して、イノベーションは、平均１を有するように制約される。
【００６７】
いくつかの実施の形態は、変数ｈｒ、ｈｅ、Ｕ、ｇ、Ｗｎｏｉｓｅ、およびＨｎｏｉｓｅを推定する。これらの変数が推定された後、複素クリーン音声スペクトルのＭＡＰ推定値、すなわち、等価的には、最小平均二乗推定値（ＭＭＳＥ）
【数３２】
2016522421.tif 000034
がウィーナフィルタリングによって与えられる。
【００６８】
【数３３】
2016522421.tif 000035
【００６９】
いくつかの実施の形態は、
【数３４】
2016522421.tif 000036
の逆ＳＴＦＴを取ることによって時間領域音声推定値を再構成する。
【００７０】
トレーニング手順
トレーニング中、例示の実施の形態は、フィルターラベルｈｒおよび励振ラベルｈｅの基準情報を利用し、トレーニングプロセス全体を通して、それらのラベルをそれらの基準値に固定して維持する。フィルターラベルｈｒの場合、例示の実施の形態は、音声データベースを用いて提供される音素注釈を基準ラベルとして用いる。励振ラベルｈｅの場合、例示の実施の形態は、励振状態を各無声音素に割り当て、音声トレーニングデータ上でピッチ推定器を実行して、取得されたピッチ推定値をｋ平均アルゴリズムを用いて量子化することによって、残りの（有声）状態を推定する。
【００７１】
平滑フィルターコンポーネントＶｒを実施するために、いくつかの例示の実施の形態は、基本フィルターＷｒとして、メル周波数スケール上に一様に分布した重複サイン形状帯域通過フィルターを用いる。基本フィルターの数Ｋｒは、フィルター部分が励振部分を捕捉することを防止するために少なくされるべきである。Ｗｒに平滑重複フィルターを用いることによって、フィルター部分Ｖｒは、スペクトルの平滑包絡線を捕捉するように制限される。
【００７２】
Ｗｅを初期化するために、例示の実施の形態は、まず、ケプストラムＣ＝ＤＣＴ｛ｌｏｇＳ｝を計算する。ここで、ＤＣＴは、離散コサイン変換を表し、Ｓは、トレーニングデータのパワースペクトルである。例示の実施の形態は、ケプストラムの低い部分を削除して音素関連情報を除去し、以下の式のハイパスフィルタリングされたスペクトルを規定する。
【００７３】
【数３５】
2016522421.tif 000037
【００７４】
ここで、ｆ＞ｆｃである場合には、
【数３６】
2016522421.tif 000038
であり、そうでない場合には０であり、ｆｃは、カットオフ周波数である。Ｗｅの各列は、以下の式のように、フィルタリングされたスペクトルの対応する列の平均として初期化される。
【００７５】
【数３７】
2016522421.tif 000039
【００７６】
変数Ｕおよびｇは、一様分布の下でランダムに初期化される。これらの変数が初期化された後、ＮＳＦＤＳモデルは、例えば、式（６）において記述した更新ルールを用いてトレーニングされる。
【００７７】
上記で説明した実施の形態は、多数の方法のうちの任意のもので実施することができる。例えば、実施の形態は、ハードウェア、ソフトウェアまたはそれらの組み合わせを用いて実施することができる。ソフトウェアで実施される場合、ソフトウェアコードは、単一のコンピューターに設けられるのかまたは複数のコンピューター間に分散されるのかにかかわらず、任意の適したプロセッサまたはプロセッサの集合体において実行することができる。そのようなプロセッサは、１つまたは複数のプロセッサを集積回路部品に有する集積回路として実装することができる。ただし、プロセッサは、任意の適したフォーマットの回路類を用いて実装することができる。
【００７８】
さらに、コンピューターは、ラックマウント型コンピューター、デスクトップコンピューター、ラップトップコンピューター、ミニコンピューターまたはタブレットコンピューター等の複数の形態のいずれにおいても実現できることが理解されるべきである。また、コンピューターは、１つまたは複数の入力システムおよび出力システムを有することができる。これらのシステムは、特に、ユーザーインターフェースを提示するのに用いることができる。そのようなコンピューターは、ローカルエリアネットワークまたはワイドエリアネットワークとしてエンタープライズネットワークまたはインターネット等を含む１つまたは複数のネットワークによって任意の適した形態で相互接続することができる。そのようなネットワークは、任意の適した技術に基づくことができ、任意の適したプロトコルに従って動作することができ、無線ネットワーク、有線ネットワークまたは光ファイバーネットワークを含むことができる。
【００７９】
また、本発明の実施の形態は、例が提供された方法として実施することができる。この方法の一部として実行される動作は、任意の適切な方法で順序付けすることができる。したがって、動作が示したものと異なる順序で実行される実施の形態を構築することができ、これには、例示の実施の形態では一連の動作として示されたにもかかわらず、いくつかの動作を同時に実行することを含めることもできる。
【００８０】
請求項の要素を修飾する、特許請求の範囲における「第１」、「第２」等の序数の使用は、それ自体で、１つの請求項の要素の別の請求項の要素に対する優先順位も、優位性も、順序も暗示するものでもなければ、方法の動作が実行される時間的な順序も暗示するものでもなく、請求項の要素を区別するために、単に、ある特定の名称を有する１つの請求項の要素を、同じ（序数の用語の使用を除く）名称を有する別の要素と区別するラベルとして用いられているにすぎない。
【図１Ａ】
2016522421.tif 000040
【図１Ｂ】
2016522421.tif 000041
【図１Ｃ】
2016522421.tif 000042
【図２】
2016522421.tif 000043
【図３Ａ】
2016522421.tif 000044
【図３Ｂ】
2016522421.tif 000045
【図４】
2016522421.tif 000046
【図５】
2016522421.tif 000047
【図６】
2016522421.tif 000048
【国際調査報告】
2016522421.tif 000049
2016522421.tif 000050
2016522421.tif 000051