(57)【要約】【課題】主・副マイクロホンが出力する受音信号にスパース性が成立せず、時間周波数成分間にエネルギ差がない場合でも雑音抑圧を良好に行えるようにすること。【解決手段】時間周波数変換部11,12は、主・副マイクロホンが出力する受音信号x1(t),x2(t)を分析し、それぞれを時間周波数成分X1(f,t),X2(f,t)に変換する。時間周波数成分乗算部13は、X2(f,t)に乗算値Gfを付与する。パワースペクトル算出部14は、時間周波数成分X1(f,t)、GfX2(f,t)のパワースペクトルを算出し、マスクパターン生成部15はパワースペクトルからマスクパターンm1(f,t)を生成する。マスキング処理部16は、マスクパターンm1(f,t)を用いて時間周波数成分X1(f,t)をマスキングする。時間周波数合成部17は、マスキング処理部16から出力される時間周波数成分Y1(f,t)を合成する。【選択図】図１
2010239424.tif 000002
【特許請求の範囲】
【請求項１】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する雑音抑圧方法において、
主・副マイクロホンの信号経路において、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する第１のステップと、
副マイクロホンの信号経路において、時間周波数成分へ変換される前の受音信号、あるいは時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する第２のステップと、
前記第１のステップにより変換された後の主マイクロホンの時間周波数成分のパワースペクトルと前記第２のステップにより乗算値が乗算された副マイクロホンの時間周波数成分のパワースペクトルとを算出する第３のステップと、
前記第３のステップで算出された主・副マイクロホンのパワースペクトルからマスクパターンを生成する第４のステップと、
前記第１のステップにより変換された後の主マイクロホンの時間周波数成分を、前記第４のステップにより生成されるマスクパターンを用いてマスキングする第５のステップと、
前記第５のステップにより出力される主マイクロホンの時間周波数成分を合成する第６のステップを有することを特徴とする雑音抑圧方法。
【請求項２】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する雑音抑圧方法において、
主・副マイクロホンの信号経路において、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する第１のステップと、
主マイクロホンの信号経路において、時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する第２のステップと、
前記第２のステップにより乗算値を乗算された後の主マイクロホンの時間周波数成分のパワースペクトルと前記第１のステップにより変換された副マイクロホンの時間周波数成分のパワースペクトルとを算出する第３のステップと、
前記第３のステップで算出された主・副マイクロホンのパワースペクトルからマスクパターンを生成する第４のステップと、
前記第２のステップにより乗算値を乗算された時間周波数成分を該乗算値で除算する第５のステップと、
前記第５のステップにより除算された後の時間周波数成分を、前記第４のステップにより生成されるマスクパターンを用いてマスキングする第６のステップと、
前記第６のステップにより出力される時間周波数成分を合成する第７のステップを有することを特徴とする雑音抑圧方法。
【請求項３】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する雑音抑圧装置において、
主・副マイクロホンの信号経路に設けられ、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する変換手段と、
副マイクロホンの信号経路に設けられ、時間周波数成分へ変換される前の受音信号、あるいは時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する乗算手段と、  前記主マイクロホンの時間周波数成分のパワースペクトルと前記乗算手段により乗算された後の副マイクロホンの時間周波数成分のパワースペクトルとを生成するパワースペクトル算出手段と、
前記パワースペクトル算出手段で生成された主マイクロホンの時間周波数成分のパワースペクトルと前記乗算値が乗算された副マイクロホンの時間周波数成分のパワースペクトルからマスクパターンを生成するマスクパターン生成手段と、
前記主マイクロホンの時間周波数成分を、前記マスクパターン生成手段により生成されたマスクパターンを用いてマスキングするマスキング処理手段と、
前記マスキング処理手段より出力される主マイクロホンの時間周波数成分を合成する合成手段とを有することを特徴とする雑音抑圧装置。
【請求項４】
前記副マイクロホンの時間周波数成分を、前記マスクパターン生成手段により生成されたマスクパターンを用いてマスキングするマスキング処理手段と、
前記マスキング処理手段より出力される副マイクロホンの時間周波数成分を合成する合成手段とをさらに有することを特徴とする請求項３に記載の雑音抑圧装置。
【請求項５】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する雑音抑圧装置において、
主・副マイクロホンの信号経路に設けられ、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する変換手段と、
主マイクロホンの信号経路に設けられ、時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する乗算手段と、
前記乗算手段により乗算値を乗算された後の時間周波数成分のパワースペクトルと前記変換された副マイクロホンの時間周波数成分のパワースペクトルとを生成するパワースペクトル算出手段と、
前記パワースペクトル算出手段で生成された前記乗算値が乗算された主マイクロホンの時間周波数成分のパワースペクトルと前記副マイクロホンの時間周波数成分のパワースペクトルからマスクパターンを生成するマスクパターン生成手段と、
前記乗算手段により乗算値を乗算された主マイクロホンの時間周波数成分を該乗算値で除算する除算手段と、
前記除算手段により除算された後の時間周波数成分を、前記マスクパターン生成手段により生成されたマスクパターンを用いてマスキングするマスキング処理手段と、
前記マスキング処理手段より出力される主マイクロホンの時間周波数成分を合成する合成手段とを有することを特徴とする雑音抑圧装置。
【請求項６】
前記乗算手段で乗算される乗算値は、妨害音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分間にパワースペクトル差を生じさせ、かつ目的音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分のパワースペクトルの大小関係が逆転しないように、一定値あるいは周波数依存値に設定されることを特徴とする請求項３ないし５のいずれかに記載の雑音抑圧装置。
【請求項７】
前記マスクパターン生成手段は、過去のマスクパターンを平均して、または過去のマスクパターンほど寄与度が低くなるように忘却係数を乗じた上で平均して、マスクパターンを生成することを特徴とする請求項３ないし６のいずれかに記載の雑音抑圧装置。
【請求項８】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する機能を実現するプログラムであって、コンピュータに、
主・副マイクロホンの信号経路において、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する第１の機能と、
副マイクロホンの信号経路において、時間周波数成分へ変換される前の受音信号、あるいは時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する第２の機能と、
前記第１の機能により変換された後の主マイクロホンの時間周波数成分のパワースペクトルと前記第２の機能により乗算値が乗算された副マイクロホンの時間周波数成分のパワースペクトルとを算出する第３の機能と、
前記第３の機能で算出された主・副マイクロホンのパワースペクトルからマスクパターンを生成する第４の機能と、
前記第１の機能により変換された後の主マイクロホンの時間周波数成分を、前記第４の機能により生成されるマスクパターンを用いてマスキングする第５の機能と、
前記第５の機能により出力される主マイクロホンの時間周波数成分を合成する第６の機能とを実行させるプログラム。
【請求項９】
主・副マイクロホンが出力する受音信号から少なくとも目的音成分を分離して出力する機能を実現するプログラムであって、コンピュータに、
主・副マイクロホンの信号経路において、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する第１の機能と、
主マイクロホンの信号経路において、時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する第２の機能と、
前記第２の機能により乗算値を乗算された後の主マイクロホンの時間周波数成分のパワースペクトルと前記第１の機能により変換された副マイクロホンの時間周波数成分のパワースペクトルとを算出する第３の機能と、
前記第３の機能で算出された主・副マイクロホンのパワースペクトルを各時間周波数成分からマスクパターンを生成する第４の機能と、
前記第２の機能により乗算値を乗算された時間周波数成分を該乗算値で除算する第５の機能と、
前記第５の機能により除算された後の時間周波数成分を、前記第４の機能により生成されるマスクパターンを用いてマスキングする第６の機能と、
前記第６の機能により出力される時間周波数成分を合成する第７の機能とを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、雑音抑圧方法、装置およびプログラムに関し、特に、２個のマイクロホンが出力する受音信号に基づいて、目的音と妨害音を分離して目的音を抽出する雑音抑圧方法、装置およびプログラムに関する。
【背景技術】
【０００２】
街頭、車内あるいは駅のプラットホームなどに代表される雑音環境下では、ハンドセットやヘッドセットなどの口元に近接配置されたマイクロホンを用いても、目的音である所望の音声に妨害音である他の音声や周囲雑音が混入してしまうことがある。この問題を解決するため、これまでに様々な音源分離手法や雑音抑圧手法が提案されている。これらの手法は、単一のマイクロホンを使用するものと複数のマイクロホンを使用するものとに大別できる。複数のマイクロホンを使用するものでは、単一のマイクロホンを使用するものと比較して、より高い音源分離性能あるいは雑音抑圧性能を得ることができる。
【０００３】
複数のマイクロホンを使用する手法のうち、人の聴覚モデルに基づくバイナリマスキングあるいは時間周波数マスキングと呼ばれる手法がある。この手法は、人の聴覚マスキング現象を模擬したものであり、より強い信号はそれより弱い信号をマスクするという仮定に基づいている。この処理は、時間周波数領域で行われ、マイクロホンＸ１が出力する受音信号X1(f,t)のうち、目的音である所望の音声を含む周波数成分はそのまま出力し、妨害音である他の音声や雑音を含む周波数成分はマスキングすることで、目的音Y1(f,t)を得る。このマスキング処理は、具体的には、下記の数１の式で定義される。ここで、m1(f、t)はマスクパターンと呼ばれる。また、C1は目的音である所望の音声を含む周波数成分のクラスタである。
【０００４】
【数１】
2010239424.tif 000003
【０００５】
下記の非特許文献１〜３には、前記マスクパターンm1(f、t)とクラスタC1の決定において、ある時間ｔにおける各マイクロホンが出力する受音信号の時間周波数成分のパラメータとして、パワースペクトル、それらの差を利用したバイナリマスキング、又は時間周波数マスキングと呼ばれる手法を用いることが開示されている。これらの手法は、音声と音声の分離、あるいは音声の抽出に大きな効果を奏する。これは、音声に時間周波数領域で局在する性質、すなわちスパース性を有しているためである。なお、このスパース性とは、音声信号のエネルギが一部の時間周波数領域に集中し、その他の時間周波数領域ではほぼ０であるような性質をいう。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】P.J.Bloom: "Evaluation of two-input speech dereverberation techniques, "In Proc. ICASSP. 1982.
【非特許文献２】R.F.Lyon: "A computational model of binaural localization and separation, " In Proc. ICASSP, 1983.
【非特許文献３】M. Bodden: "Modeling human sound-source localization and the cocktail-party-effect," Acta Acoustica, vol.1, pp.43--55, 1993.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、音声と雑音の分離あるいは抽出を目的とする場合、雑音は時間周波数領域全体を占めていることが多く、雑音にスパース性が成立することは希である。この結果、バイナリマスキングあるいは時間周波数マスキングと呼ばれる手法に基づき音声と雑音を分離あるいは音声を抽出する場合には、十分な音源分離性能あるいは雑音抑圧性能を得ることができないという課題がある。
【０００８】
本発明は前記した従来技術の課題に鑑みてなされたものであり、その目的は、複数のマイクロホンで受音された受音信号間にスパース性が成立しない場合でも、音源分離性能あるいは雑音抑圧性能が劣化することなく、かつ簡易な構成を有する雑音抑圧方法、装置およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の雑音抑圧装置は、主・副マイクロホンの信号経路に設けられ、主・副マイクロホンが出力する受音信号をそれぞれ時間周波数成分に変換する変換手段と、副マイクロホンの信号経路に設けられ、時間周波数成分へ変換される前の受音信号、あるいは時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する乗算手段と、前記主マイクロホンの時間周波数成分のパワースペクトルと前記乗算手段により乗算された後の副マイクロホンの時間周波数成分のパワースペクトルとを生成するパワースペクトル算出手段と、前記パワースペクトル算出手段で生成された主マイクロホンの時間周波数成分のパワースペクトルと前記乗算値が乗算された副マイクロホンの時間周波数成分のパワースペクトルからマスクパターンを生成するマスクパターン生成手段と、前記主マイクロホンの時間周波数成分を、前記マスクパターン生成手段により生成されたマスクパターンを用いてマスキングするマスキング処理手段と、前記マスキング処理手段より出力される主マイクロホンの時間周波数成分を合成する合成手段とを有する点に特徴がある。
【００１０】
また、本発明は、前記乗算手段で乗算される乗算値は、妨害音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分間にパワースペクトル差を生じさせ、かつ目的音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分のパワースペクトルの大小関係が逆転しないように、一定値あるいは周波数依存値に設定されるようにする点に特徴がある。
【００１１】
また、本発明は、主マイクロホンの信号経路に設けられ、時間周波数成分へ変換された後の時間周波数成分に乗算値を乗算する乗算手段と、前記乗算手段により乗算値を乗算された後の時間周波数成分のパワースペクトルと前記変換された副マイクロホンの時間周波数成分のパワースペクトルとを生成するパワースペクトル算出手段と、前記パワースペクトル算出手段で生成された前記乗算値が乗算された主マイクロホンの時間周波数成分のパワースペクトルと前記副マイクロホンの時間周波数成分のパワースペクトルからマスクパターンを生成するマスクパターン生成手段と、前記乗算手段により乗算値を乗算された主マイクロホンの時間周波数成分を該乗算値で除算する除算手段と、前記除算手段により除算された後の時間周波数成分を、前記マスクパターン生成手段により生成されたマスクパターンを用いてマスキングするマスキング処理手段とを有する点に特徴がある。
【００１２】
なお、本発明は、雑音抑圧装置としてだけでなく、受音信号の処理手順で特定される雑音抑圧方法としても特徴があり、さらにコンピュータに音源分離や妨害音抑圧の機能を実現させるためのプログラムとしても特徴がある。
【発明の効果】
【００１３】
本発明では、主・副マイクロホンの信号経路の少なくとも一方に時間周波数成分乗算部を設け、該信号経路を通る受音信号あるいは時間周波数成分のパワースペクトルに乗算値を乗算することにより、主・副マイクロホンが出力する受音信号の時間周波数成分間にパワースペクトル差を生じさせ、その後にマスクパターンを生成するので、主・副マイクロホンが出力する受音信号にスパース性が成立せず、それらの時間周波数成分間にエネルギ差がない場合でも、音源分離や妨害音抑圧の性能を劣化することがなく、雑音を良好に抑圧できる。
【００１４】
また、前記マスクパターンを過去のマスクパターンを考慮して生成することにより、より良好に雑音を抑圧できる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る雑音抑圧装置の実施形態を示すブロック図である。
【図２】マスクパターン生成の一方法の説明図である。
【図３】時間周波数成分乗算部での乗算値付与動作の説明図である。
【図４】本発明に係る雑音抑圧装置の他の実施形態を示すブロック図である。
【図５】本発明に係る雑音抑圧装置のさらに他の実施形態を示すブロック図である。
【図６】本発明に係る雑音抑圧装置の変形例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明を詳細に説明する。図１は、本発明に係る雑音抑圧装置の一実施形態の構成を示すブロック図である。なお、本発明は、雑音抑圧装置としてだけでなく、受音信号の処理手順で特定される雑音抑圧方法としても実現でき、さらにコンピュータに雑音抑圧の機能を実現させるためのプログラムとしても実現できる。また、雑音抑圧装置における各部は、ハードウエアでもソフトウエアでも実現できる。
【００１７】
図１の雑音抑圧装置は、時間周波数変換部１１、１２、時間周波数成分乗算部１３、パワースペクトル算出部１４、マスクパターン生成部１５、マスキング処理部１６および時間周波数合成部１７を備える。本実施形態では、時間周波数変換部１１、マスキング処理部１６および時間周波数合成部１７により主マイクロホンの信号経路が構成され、時間周波数変換部１２および時間周波数成分乗算部１３により副マイクロホンの信号経路が構成されている。
【００１８】
時間周波数変換部１１，１２はそれぞれ、主・副マイクロホンが出力する受音信号を時間周波数領域で分析し、各時間周波数成分を出力する。時間周波数成分乗算部１３は、入力される受音信号の各時間周波数成分に所定の値を乗算する。
【００１９】
パワースペクトル算出部１４は、時間周波数変換部１１と時間周波数成分乗算部１３からそれぞれ出力される各時間周波数成分のパワースペクトルを算出する。
【００２０】
マスクパターン生成部１５は、パワースペクトル算出部１４により生成された各時間周波数成分のパワースペクトルに従って、時間周波数変換部１１から出力される時間周波数成分をマスキングするマスクパターンを生成する。マスキング処理部１６は、マスクパターン生成部１５によって生成されたマスクパターンに従って、時間周波数変換部１１から出力される時間周波数成分をマスキングする。時間周波数合成部１７は、マスキング処理部１６から出力される時間周波数成分を合成する。
【００２１】
次に、図１の雑音抑圧装置の動作を説明する。
【００２２】
時間周波数変換部１１には、主マイクロホンが出力する受音信号x1(t)が入力される。携帯端末(例えば携帯電話)の場合、目的音は通話での音声である。主マイクロホンは、高レベルの目的音を受音するために、例えば、携帯端末の前面に配置される。主マイクロホンは、目的音に比べて低レベルではあるが、該目的音を妨害する周囲雑音などの妨害音も受音する。したがって、受音信号x1(t)は、高レベルの目的音と低レベルの妨害音が混在されたものとなる。時間周波数変換部１１は、受音信号x1(t)を時間周波数成分X1(f,t)に変換する。
【００２３】
一方、時間周波数変換部１２には、副マイクロホンが出力する受音信号x2(t)が入力される。副マイクロホンは、妨害音を受音するために、例えば携帯端末の背面に配置される。副マイクロホンは、主マイクロホンが受音する目的音より低レベルである目的音と、妨害音を受音する。副マイクロホンが受音する目的音は、主マイクロホンが受音する目的音よりかなり低レベルであり、副マイクロホンが受音する妨害音は、主マイクロホンが受音する妨害音と同レベルである。受音信号x2(t)は、妨害音と低レベルの目的音が混在されたものとなる。時間周波数変換部１２は、受音信号x2(t)を時間周波数成分X2(f,t)に変換する。
【００２４】
時間周波数成分乗算部１３は、主・副マイクロホンの空間的な位置関係、妨害音の性質などから事前に算出された乗算値Gfを時間周波数成分X2(f,t)に付与し、乗算値Gfが付与された時間周波数成分Gf・X2(f,t)を出力する。乗算値Gfは、目的音に対して主・副マイクロホンがそれぞれ出力する受音信号間のエネルギ差を考慮し、さらに、妨害音の受音信号は低周波数領域では高レベルであり、高周波数領域では低レベルであるという一般的性質を考慮して、例えば周波数成分ごとに設定する。乗算値Gfは、1より大きい周波数依存値とするのが好適である。
【００２５】
目的音に対して主・副マイクロホンがそれぞれ出力する受音信号間のエネルギ差は、主・副マイクロホンのインパルス応答を予め測定することにより得ることができる。このエネルギ差は、目的音の音源と主・副マイクロホンとの間の距離、携帯端末の筐体における主・副マイクロホンの設置位置などに依存する。また、妨害音の受音信号の性質は、様々な周囲音源の受音信号を測定し、それらの周波数特性から平均的な周囲音源の受音信号の周波数ごとのエネルギを算出することにより得ることができる。
【００２６】
時間周波数成分乗算部１３が付与する乗算値Gfは、妨害音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分間にエネルギ差を生じさせ、かつ目的音に対して主・副マイクロホンがそれぞれ出力する受音信号の時間周波数成分のエネルギの大小関係が逆転しないようなものとすればよい。
【００２７】
パワースペクトル算出部１４は、時間周波数成分X1(f,t)とGf・X2(f,t)のパワースペクトルを算出する。時間周波数成分X1(f,t)とX2(f,t)のパワースペクトルは、それぞれ、X1(f,t)２、X2(f,t)２となる。
マスクパターン生成部１５は、下記の数２の式によりクラスタC1(f,t)とマスクパターンm1(f,t)を生成する。マスクパターン生成部１５により生成されたマスクパターンm1(f,t)は、マスキング処理部１６に出力される。数２の式から明らかなように、マスクパターン生成部１５では、X1(f,t)２＞Gf・X2(f,t)２の場合１、他の場合０のクラスタC1(f,t)が生成され、主マイクロホンの受音信号x1(t）の時間周波数成分X1(f,t)が該クラスタC1(f,t)に含まれておれば１、他の場合には０のマスクパターンm1(f,t)が生成される。
【００２８】
【数２】
2010239424.tif 000004
【００２９】
また、マスクパターン生成部１５は、時間周波数成分の時間ｔにおけるパワースペクトルと、さらに過去の時間t-1，t-2，・・・，t-Nにおける音声フレームのパワースペクトルから、目的音である所望の音声を含む時間ｔにおける時間周波数成分あるいは妨害音である他の音声や雑音の時間ｔにおける時間周波数成分のマスクパターンを生成することができる。
【００３０】
具体的には、図２に示されているように、時間t-1におけるマスクパターンm1，t-1(f, t)、時間t-2におけるマスクパターンm1，t-2(f, t)、・・・、時間t-Nにおけるマスクパターンm1, t-N(f, t)を平均して、下記の数３に示されているようにして、マスクパターンm1,t(f, t)を生成することができる。
【００３１】
【数３】
2010239424.tif 000005
【００３２】
さらに、数３の変形として、過去のマスクパターンほど寄与度が低くなるように忘却係数を乗じた上で平均してマスクパターンm1,t(f, t)を生成するようにしてもよい。さらに、論理和や論理積などの論理演算を施すことで、時間ｔにおける最適なマスクパターンm1(f,t)を生成するようにしてもよい。
【００３３】
マスキング処理部１６は、時間周波数変換部１１から入力される時間周波数成分X1(f,t)を、マスクパターンm1(f,t)が１の場合通過、０の場合不通過のマスキングを実行する。したがって、マスキング処理部１６からは、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみが出力される。
【００３４】
時間周波数合成部１７は、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみを合成し、出力信号y1(t)を送出する。
【００３５】
図３は、時間周波数成分乗算部１３での乗算値付与動作の説明図である。同図(a),(b)はそれぞれ、ある時間において、主・副マイクロホンが出力する受音信号の各周波数成分ごとのエネルギを示す。ここで、白部分は、目的音の受音信号の周波数成分であり、黒部分は、妨害音の受音信号の周波数成分である。
【００３６】
例えば、f１付近の周波数成分は、目的音の受音信号のみであり、主・副マイクロホンが出力する受音信号間にかなり大きなエネルギ差があり、このエネルギ差を利用して目的音を分離することができる。しかし、f２付近の周波数成分は、妨害音の受音信号のみであり、主・副マイクロホンが出力する受音信号のエネルギはほぼ同じである。このエネルギの大小関係は状況によって変わるので、f２付近の周波数成分は、目的音として分離されたり、妨害音として分離されたりする。
【００３７】
そこで、図３(c)に示すように、副マイクロホンが出力する受音信号の各周波数成分X2(f,t)に乗算値Gfを付与し、主・副マイクロホンが妨害音の受音信号のみを出力する場合でも、主・副マイクロホンが出力する受音信号の周波数成分間にエネルギ差が生じるようにして、それが目的音として分離されないようにする。ここでは、乗算値Gfを高周波数領域で低下させることによって該領域の目的音を分離されやすくしている。
【００３８】
乗算値Gfは、妨害音に対して主・副マイクロホンが出力する受音信号の周波数成分間にエネルギ差を生じさせ、かつ目的音に対して主・副マイクロホンがそれぞれ出力する受音信号の周波数成分間のエネルギ差を打ち消さない、つまり、目的音に関しては両者の大小関係を逆転させないようなものとすればよい。
【００３９】
しかし、特定周波数成分の目的音あるいは妨害音が重畳された目的音が分離されないように、乗算値Gfを付与することもできる。例えば、図３(b)において、f３付近の周波数成分に対する乗算値Gfを極めて大きくすれば、該周波数成分では目的音を含めて分離されなくなる。乗算値Gfを調整あるいは選択できるようにしてもよい。
【００４０】
図４は、本発明に係る雑音抑圧装置の他の実施形態を示すブロック図であり、図１と同一または同等部分には同じ符号を付してある。本実施形態は、時間周波数変換部１２と時間周波数成分乗算部１３を図１と逆に配置したものであり、本実施形態でも、時間周波数変換部１１、マスキング処理部１６および時間周波数合成部１７により主マイクロホンの信号経路が構成され、時間周波数成分乗算部１３および時間周波数変換部１２により副マイクロホンの信号経路が構成されている。
【００４１】
時間周波数変換部１１は、主マイクロホンが出力する受音信号x1(t)を入力とし、受音信号x1(t)を時間周波数成分X1(f,t)に変換する。
【００４２】
時間周波数成分乗算部１３は、主・副マイクロホンの空間的な位置関係、妨害音の性質などから事前に算出された乗算値Gを、副マイクロホンが出力する受音信号x2(t)に付与し、乗算値Gが付与された受音信号G・x2(t)を出力する。乗算値Gは、１より大きい一定値である。
【００４３】
時間周波数変換部１２には、副マイクロホンが出力する受音信号x2(t)が時間周波数成分乗算部１３を介して入力される。したがって、時間周波数変換部１２は、ゲインが付与された受音信号G・x2(t)を時間周波数成分G・X2(f,t)に変換する。
【００４４】
パワースペクトル算出部１４は、時間周波数成分X1(f,t)とG・X2(f,t)のパワースペクトルを算出し、マスクパターン生成部１５は、該算出されたパワースペクトルを基に前記の数２の式によりクラスタC1(f,t)とマスクパターンm1(f,t)を生成する。つまり、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分以外をマスクするマスクパターンm1(f,t)を生成する。マスクパターン生成部１５により生成されたマスクパターンm1(f,t)は、マスキング処理部１６に出力される。
【００４５】
マスキング処理部１６は、時間周波数変換部１１から入力される時間周波数成分X1(f,t)をマスクパターンm1(f,t)によりマスキングする。したがって、マスキング処理部１６からは、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみが出力される。
【００４６】
時間周波数合成部１７は、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみを合成し、出力信号y1(t)を送出する。
【００４７】
図５は、本発明に係る雑音抑圧装置のさらに他の実施形態を示すブロック図であり、図１と同一または同等部分には同じ符号を付してある。
【００４８】
本実施形態では、時間周波数変換部１１、時間周波数成分乗算部１３、時間周波数成分除算部１８、マスキング処理部１６および時間周波数合成部１７により主マイクロホンの信号経路が構成され、時間周波数変換部１２により副マイクロホンの信号経路が構成されている。
【００４９】
時間周波数変換部１１には、主マイクロホンが出力する受音信号x1(t)が入力される。時間周波数変換部１１は、受音信号x1(t)を時間周波数成分X1(f,t)に変換する。
【００５０】
時間周波数成分乗算部１３は、主・副マイクロホンの空間的な位置関係、妨害音の性質などから事前に算出された乗算値Gfを時間周波数成分X1(f,t)に付与し、乗算値Gfが付与された時間周波数成分Gf・X1(f,t)を送出する。乗算値Gfは、１より小さい周波数依存値である。
【００５１】
一方、時間周波数変換部１２には、副マイクロホンが出力する受音信号x2(t)が入力される。時間周波数変換部１２は、受音信号x2(t)を時間周波数成分X2(f,t)に変換する。
【００５２】
パワースペクトル算出部１４は、時間周波数成分Gf・X1(f,t)とX2(f,t)のパワースペクトルを算出し、マスクパターン生成部１５は、該算出されたパワースペクトルを基に前記の数２の式によりクラスタC1(f,t)とマスクパターンm1(f,t)を生成する。つまり、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分以外をマスクするマスクパターンm1(f,t)を生成する。マスクパターン生成部１５により生成されたマスクパターンm1(f,t)は、マスキング処理部１６に出力される。
【００５３】
時間周波数成分除算部１８は、時間周波数成分Gf・X1(f,t)に対し、時間周波数成分乗算部１３と逆の処理を施し、時間周波数成分X1(f,t)をマスキング処理部１６に出力する。時間周波数成分除算部１８は、時間周波数成分乗算部１３での乗算値付与に起因する出力信号y1(t)の歪みをなくすために設けているが、歪みが許容できる場合には省略することができる。 また、時間周波数成分除算部１８は、マスキング処理部１６の出力側に設けてもよい。
【００５４】
マスキング処理部１６は、時間周波数成分除算部１８から入力される時間周波数成分X1(f,t)をマスクパターンm1(f,t)によりマスキングする。したがって、マスキング処理部１６からは、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみが出力される。
【００５５】
時間周波数合成部１７は、主マイクロホンが出力する受音信号x1(t)の時間周波数成分X1(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分Y1(f,t)のみを合成し、出力信号y1(t)を送出する。
【００５６】
以上、実施形態について説明したが、本発明は、上記実施形態に限定されず、種々に変形することができる。例えば、時間周波数成分乗算部は、図１および図４の実施形態では副マイクロホンの信号経路に設けられ、図５の実施形態では主マイクロホンの信号経路に設けられたが、主・副マイクロホンの信号経路の両方に時間周波数成分乗算部を設け、それらの乗算値を調整するようにすることもできる。ただし、主マイクロホンの信号経路において乗算値Gf(周波数依存値)を付与する場合には、主マイクロホンが出力する受音信号が乗算値Gfによって変形されるので、図５の実施形態と同様に、時間周波数成分除算部を設けることが好ましい。
【００５７】
また、上記実施形態は、目的音の受音信号を分離して出力するものであるが、これに加えて妨害音の受音信号を分離して出力したり、妨害音の受音信号のみを分離して出力するようにもできる。妨害音の受音信号は、例えば、周囲雑音の測定、携帯端末の背面方向から到来する音声の抽出などに用いることができる。
【００５８】
図６は、目的音および妨害音の受音信号をそれぞれ分離して出力する場合の変形例を示すブロック図である。同図において、時間周波数変換部１１、１２、時間周波数成分乗算部１３、パワースペクトル算出部１４、マスキング処理部１６および時間周波数合成部１７は、図１と同じものであるが、マスクパターン生成部１５は、マスクパターンm1(f,t)の他に、これが反転されたマスクパターンm2(f,t)を、下記の数４の式により生成する。
【００５９】
【数４】
2010239424.tif 000006
【００６０】
マスキング処理部１９は、時間周波数成分乗算部１３から入力される時間周波数成分Gf・X2(f,t)をマスクパターンm2(f,t)によりマスキングする。したがって、マスキング処理部１９からは、時間周波数成分Gf・X2(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分を除いた成分、すなわち雑音の時間周波数成分のみが出力される。
【００６１】
時間周波数合成部２０は、時間周波数成分Gf・X2(f,t)のうち、主マイクロホンが出力する受音信号x1(t)が支配的な成分を除いた成分Gf・Y2(f,t)、すなわち雑音の時間周波数成分Gf・Y2(f,t)のみを合成し、出力信号Gf・y2(t)を出力する。
【符号の説明】
【００６２】
１１，１２・・・時間周波数変換部、１３・・・時間周波数成分乗算部、１４・・・パワースペクトル算出部、１５・・・マスクパターン生成部、１６，１９・・・マスキング処理部、１７，２０・・・時間周波数合成部、１８・・・時間周波数成分徐算部
【図１】
2010239424.tif 000007
【図２】
2010239424.tif 000008
【図３】
2010239424.tif 000009
【図４】
2010239424.tif 000010
【図５】
2010239424.tif 000011
【図６】
2010239424.tif 000012