(57)【特許請求の範囲】
【請求項１】
入力信号に重畳している騒音を推定する騒音推定部と、
前記騒音推定部が推定した騒音の統計量を用いて、前記入力信号に重畳している騒音を除去すると共にフロアリング処理する騒音除去部と、
騒音除去した前記入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の所定の密集度を算出する密集度算出部と、
前記時間周波数平面上の注目点の密集度が閾値未満の場合に、当該注目点のパワーを、前記騒音除去部が前記フロアリング処理で用いたフロアリング値に置き換える部分抑圧部とを備える雑音除去装置。
【請求項２】
密集度算出部は、注目点の周辺に位置する各点の騒音除去部でのフロアリング処理の有無から非フロアリング処理点の密集度を算出することを特徴とする請求項１記載の雑音除去装置。
【請求項３】
密集度算出部は、注目点の周辺に位置する各点の単一周波数成分の局所ＳＮＲ（信号対雑音比）の値の密集度を算出することを特徴とする請求項１記載の雑音除去装置。
【請求項４】
密集度算出部は、注目点周辺のフロアリング処理の有無を２値化して、重み関数を用いて重み付けした値を用いて密集度を算出することを特徴とする請求項２記載の雑音除去装置。
【請求項５】
密集度算出部は、注目点周辺の各点の局所ＳＮＲに重み関数を用いて重み付けした値を用いて密集度を算出することを特徴とする請求項３記載の雑音除去装置。
【請求項６】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定部と、
大域ＳＮＲに対応する重み関数を保持する重み関数記憶部と、
前記大域ＳＮＲ推定部が推定した大域ＳＮＲに対応する重み関数を、前記重み関数記憶部から選択する重み関数選択部とを備え、
密集度算出部は、前記重み関数選択部が選択した重み関数を用いることを特徴とする請求項４記載の雑音除去装置。
【請求項７】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定部と、
大域ＳＮＲに対応する重み関数を保持する重み関数記憶部と、
前記大域ＳＮＲ推定部が推定した大域ＳＮＲに対応する重み関数を、前記重み関数記憶部から選択する重み関数選択部とを備え、
密集度算出部は、前記重み関数選択部が選択した重み関数を用いることを特徴とする請求項５記載の雑音除去装置。
【請求項８】
重み関数は、時間周波数平面上の注目点からの距離に応じて重みが変化することを特徴とする請求項４記載の雑音除去装置。
【請求項９】
重み関数は、時間周波数平面上の注目点からの距離に応じて重みが変化することを特徴とする請求項５記載の雑音除去装置。
【請求項１０】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定部と、
大域ＳＮＲに対応する閾値を保持する閾値記憶部と、
前記大域ＳＮＲ推定部が推定した大域ＳＮＲに対応する閾値を、前記閾値記憶部から選択する閾値選択部とを備え、
部分抑圧部は、前記閾値選択部が選択した閾値を用いることを特徴とする請求項１記載の雑音除去装置。
【請求項１１】
コンピュータを、入力信号に重畳している騒音を推定する騒音推定手段と、
前記騒音推定手段が推定した騒音の統計量を用いて、前記入力信号に重畳している騒音を除去すると共にフロアリング処理する騒音除去手段と、
騒音除去した前記入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の所定の密集度を算出する密集度算出手段と、
前記時間周波数平面上の注目点の密集度が閾値未満の場合に、当該注目点のパワーを、前記騒音除去手段が前記フロアリング処理で用いたフロアリング値に置き換える部分抑圧手段として機能させるための雑音除去プログラム。
【請求項１２】
密集度算出手段は、注目点の周辺に位置する各点の騒音除去手段でのフロアリング処理の有無から非フロアリング処理点の密集度を算出することを特徴とする請求項１１記載の雑音除去プログラム。
【請求項１３】
密集度算出手段は、注目点の周辺に位置する各点の単一周波数成分の局所ＳＮＲの値の密集度を算出することを特徴とする請求項１１記載の雑音除去プログラム。
【請求項１４】
密集度算出手段は、注目点周辺のフロアリング処理の有無を２値化して、重み関数を用いて重み付けした値を用いて密集度を算出することを特徴とする請求項１２記載の雑音除去プログラム。
【請求項１５】
密集度算出手段は、注目点周辺の各点の局所ＳＮＲに重み関数を用いて重み付けした値を用いて密集度を算出することを特徴とする請求項１３記載の雑音除去プログラム。
【請求項１６】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定手段と、
大域ＳＮＲに対応する重み関数を保持する重み関数記憶手段と、
前記大域ＳＮＲ推定手段が推定した大域ＳＮＲに対応する重み関数を、前記重み関数記憶手段から選択する重み関数選択手段とを備え、
密集度算出手段は、前記重み関数選択手段が選択した重み関数を用いることを特徴とする請求項１４記載の雑音除去プログラム。
【請求項１７】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定手段と、
大域ＳＮＲに対応する重み関数を保持する重み関数記憶手段と、
前記大域ＳＮＲ推定手段が推定した大域ＳＮＲに対応する重み関数を、前記重み関数記憶手段から選択する重み関数選択手段とを備え、
密集度算出手段は、前記重み関数選択手段が選択した重み関数を用いることを特徴とする請求項１５記載の雑音除去プログラム。
【請求項１８】
重み関数は、時間周波数平面上の注目点からの距離に応じて重みが変化することを特徴とする請求項１４記載の雑音除去プログラム。
【請求項１９】
重み関数は、時間周波数平面上の注目点からの距離に応じて重みが変化することを特徴とする請求項１５記載の雑音除去プログラム。
【請求項２０】
入力信号の複数周波数成分の大域ＳＮＲを推定する大域ＳＮＲ推定手段と、
大域ＳＮＲに対応する閾値を保持する閾値記憶手段と、
前記大域ＳＮＲ推定手段が推定した大域ＳＮＲに対応する閾値を、前記閾値記憶手段から選択する閾値選択手段とを備え、
部分抑圧手段は、前記閾値選択手段が選択した閾値を用いることを特徴とする請求項１１記載の雑音除去プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、雑音除去後に残留するミュージカルノイズを除去する雑音除去装置及びそのプログラムに関するものである。
【背景技術】
【０００２】
音声認識処理及びハンズフリー通話では、音声に雑音が重畳することにより、音声認識性能及び明瞭性が低下するという問題がある。この問題を解決するために、様々な雑音除去方法が提案されており、最も一般的な方法としてスペクトルサブトラクション法（以下、ＳＳ法）が知られている。ＳＳ法では、音声信号のうちの音声のない非音声区間から騒音（雑音）スペクトルを推定し、音声信号の任意フレームのスペクトルから推定した騒音スペクトルを減算することで雑音除去を行う。しかし、推定した騒音スペクトルと音声信号に重畳している実際の騒音スペクトルとの間に誤差がある場合、騒音の周波数によっては引き過ぎ及び引き残りが生じる。引き過ぎの場合はフロアリング処理によって埋め戻しが行われるが、引き残りの成分はそのまま残る。この引き残りの成分がミュージカルノイズと呼ばれる人工的な音として知覚され、認識性能及び明瞭性が低下する原因となる。【０００３】
ミュージカルノイズを削減するためには、以下の３つの対策が考えられる。
（１）減算係数を大きくして、引き残り成分を少なくする
（２）騒音スペクトルの推定精度を改善し、引き去り誤差を少なくする
（３）減算後に引き残り成分を推定し抑圧する
上記（１）のアプローチでは、音声区間でも雑音を大きく減算するために、音声スペクトルが歪み、音声認識性能に悪影響を与える。上記（２）のアプローチとして様々な方法が提案されているが、フレームに重畳している雑音は基本的に未知であり、誤差を０にすることはできない。上記（３）のアプローチとして、時間周波数平面上の注目点周辺のパワー比を算出し、ミュージカルノイズ成分を除去する従来方法（例えば、非特許文献１参照）が知られている。具体的には、時間周波数平面上の注目点を中心とした距離Ｎで囲まれた領域の累積パワーＡと距離Ｍ（Ｎ＜Ｍ）で囲まれた領域の累積パワーＢとを算出し、（Ａ−Ｂ）×α＜Ｂの場合に、注目点の距離Ｎで囲まれた領域をミュージカルノイズ成分とみなしてパワーを０にすることでミュージカルノイズ成分を除去する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Ｇａｒｙ  Ｗｈｉｐｐｌｅ  “Ｌｏｗ  ｒｅｓｉｄｕａｌ  ｎｏｉｓｅ  ｓｐｅｅｃｈ  ｅｎｈａｎｃｅｍｅｎｔ  ｕｔｉｌｉｚｉｎｇ  ｔｉｍｅ−ｆｒｅｑｕｅｎｃｙ  ｆｉｌｔｅｒｉｎｇ”  ＩＣＡＳＳＰ９４，１９９４
【発明の概要】
【０００５】
従来のミュージカルノイズ除去方法は以上のように構成されているので、騒音のパワー変動が大きくなり、引き残り成分のパワー変動も大きくなると騒音スペクトルの推定誤りが生じ、その結果、ミュージカルノイズ成分を除去せずそのまま残したり、音声成分とみなすべき点をミュージカルノイズ成分として除去したりするという課題があった。
また、ミュージカルノイズ成分除去後は、注目点の近傍領域のパワーが０になるため、時間上の不連続性が生じてしまうという課題があった。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、騒音のパワー変動が大きく引き残り成分のパワー変動も大きくなる場合でも、ミュージカルノイズ成分を適切に判別して抑圧すると共に、ミュージカルノイズ成分をフロアリング値を用いて抑圧して時間的な不連続性が生じることを回避することを目的とする。
【０００７】
この発明に係る雑音除去装置は、入力信号に重畳している騒音を推定する騒音推定部と、騒音推定部が推定した騒音の統計量を用いて、入力信号に重畳している騒音を除去すると共にフロアリング処理する騒音除去部と、騒音除去した入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の所定の密集度を算出する密集度算出部と、時間周波数平面上の注目点の密集度が閾値未満の場合に、当該注目点のパワーを、騒音除去部がフロアリング処理で用いたフロアリング値に置き換える部分抑圧部とを備えるものである。
【０００８】
この発明に係る雑音除去プログラムは、コンピュータを、入力信号に重畳している騒音を推定する騒音推定手段と、騒音推定手段が推定した騒音の統計量を用いて、入力信号に重畳している騒音を除去すると共にフロアリング処理する騒音除去手段と、騒音除去した入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の所定の密集度を算出する密集度算出手段と、時間周波数平面上の注目点の密集度が閾値未満の場合に、当該注目点のパワーを、騒音除去手段がフロアリング処理で用いたフロアリング値に置き換える部分抑圧手段として機能させるものである。
【０００９】
この発明によれば、騒音除去した入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の所定の密集度を算出し、密集度が閾値未満の場合に、当該注目点のパワーをフロアリング値に置き換えるようにしたので、騒音のパワー変動が大きく引き残り成分のパワー変動も大きい場合でも、ミュージカルノイズ成分を適切に判別して抑圧することができる。また、フロアリング値を用いてミュージカルノイズ成分を抑圧するので時間的な不連続性が生じることを回避できる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１に係る雑音除去装置の構成を示すブロック図である。
【図２】図１に示す騒音推定部１００の動作を示すフローチャートである。
【図３】図１に示す騒音除去部１０２の動作を示すフローチャートである。
【図４】図１に示す密集度算出部１０４の動作を示すフローチャートである。
【図５】図１に示す密集度算出部１０４の密集度算出に用いる重み関数を説明する図である。
【図６】図１に示す密集度算出部１０４の密集度算出に用いる重み関数を説明する図であり、図５とは異なる重み関数を用いる場合を示す。
【図７】図１に示す密集度算出部１０４の密集度算出の具体例を示す図である。
【図８】図１に示す部分抑圧部１０５の動作を示すフローチャートである。
【図９】図１に示す部分抑圧部１０５の部分抑圧処理の具体例を示す図であり、図９（ａ）は部分抑圧処理前、図９（ｂ）は部分抑圧処理後のスペクトログラムである。
【図１０】この発明の実施の形態２に係る雑音除去装置１の構成を示すブロック図である。
【図１１】図１０に示す騒音除去部１０２の動作を示すフローチャートである。
【図１２】図１０に示す密集度算出部１０４の動作を示すフローチャートである。
【図１３】この発明の実施の形態３に係る雑音除去装置１の構成を示すブロック図である。
【図１４】図１３に示す大域ＳＮＲ推定部１０７及び閾値選択部１０８の動作を示すフローチャートである。
【図１５】図１３に示す閾値メモリ１０９が格納する大域ＳＮＲ−閾値対応テーブルの一例を示す図である。
【図１６】この発明の実施の形態４に係る雑音除去装置１の構成を示すブロック図である。
【図１７】図１６に示す重み関数選択部１１０の動作を示すフローチャートである。
【図１８】図１６に示す重み関数メモリ１１１が格納する大域ＳＮＲ−近傍数−重み関数−閾値対応テーブルの一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る雑音除去装置１の構成を示すブロック図である。図１において、雑音除去装置１は、入力信号に重畳している騒音を除去し、さらに騒音除去後に残るミュージカルノイズ成分も除去する装置であって、騒音推定部１００、騒音スペクトルメモリ１０１、騒音除去部１０２、フロアリング値メモリ１０３、密集度算出部１０４、部分抑圧部１０５を備える。
【００１２】
騒音推定部１００は、入力信号に重畳している騒音スペクトルを推定し、その推定騒音スペクトルの統計量を計算して更新し、騒音スペクトルメモリ１０１に出力する。騒音スペクトルメモリ１０１は、騒音推定部１００が出力する推定騒音スペクトルの統計量を記憶しておく記憶部である。騒音除去部１０２は、騒音スペクトルメモリ１０１から推定騒音スペクトルの統計量を取得して入力信号のスペクトルから減算すると共に、過剰な減算を防止するためにフロアリング処理して、時間周波数毎のフロアリング値とフロアリング処理の有無をフロアリング値メモリ１０３に出力する。
【００１３】
密集度算出部１０４は、フロアリング値メモリ１０３から時間周波数毎のフロアリングの有無の情報を取得して２値化し、重み関数との積和を求めることにより時間周波数平面（スペクトログラム）上の注目点の密集度を算出して部分抑圧部１０５へ出力する。部分抑圧部１０５は、密集度算出部１０４から出力された密集度と閾値とを比較し、閾値未満の注目点のパワーをフロアリング値メモリ１０３が記憶しているフロアリング値に置き換えることによりミュージカルノイズ成分を抑圧する。
入力信号のうち、音声部分と非音声部分とでは、注目点の周辺グリッド中にフロアリングが生じる頻度が有意に異なるため、周辺グリッドの非フロアリング処理点の密集度を算出して閾値未満の注目点をミュージカルノイズ成分と判別することができる。
【００１４】
なお、雑音除去装置１は、騒音推定部１００、騒音スペクトルメモリ１０１、騒音除去部１０２、フロアリング値メモリ１０３、密集度算出部１０４及び部分抑圧部１０５をそれぞれ専用の回路によってハードウェアとして構成してもよいし、汎用的なＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等で構成した制御回路とコンピュータプログラムとの組み合わせにより実現する構成にしてもよい。雑音除去装置１をコンピュータで構成する場合には、騒音推定部１００、騒音スペクトルメモリ１０１、騒音除去部１０２、フロアリング値メモリ１０３、密集度算出部１０４及び部分抑圧部１０５の処理内容を記述している雑音除去プログラムをコンピュータのメモリに格納し、コンピュータの汎用的なＣＰＵ等の制御回路が、メモリに格納されている雑音除去プログラムを実行するようにすればよい。
さらに、本発明の要旨を逸脱しない範囲の設計の変更などがあっても本発明に含まれることは言うまでもない。
【００１５】
次に、雑音除去装置１の動作を説明する。
先ず、騒音推定部１００の動作を説明する。図２は、図１に示す騒音推定部１００の動作を示すフローチャートである。騒音推定部１００は、以下の手順で周波数番号ｆの推定騒音スペクトルの平均値μ（ｆ）と標準偏差σ（ｆ）を算出する。
【００１６】
先ず、騒音推定部１００は、入力信号から、サンプルフレーム数ＮＦＲＡＭＥのフレームをサンプルとして切り出す（ステップＳＴ１００）。続いて騒音推定部１００は、切り出したＮフレームにハニング窓等の窓関数を適用して（ステップＳＴ１０１）、ポイント数をＮ＿ＦＦＴ点としたＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ）を行う（ステップＳＴ１０２）。
【００１７】
続いて騒音推定部１００は、周波数番号ｆに０を設定し（ステップＳＴ１０３）、この周波数番号ｆとＦＦＴポイント数Ｎ＿ＦＦＴとを比較する（ステップＳＴ１０４）。周波数番号ｆがＦＦＴポイント数Ｎ＿ＦＦＴより小さい場合（ステップＳＴ１０４“ＹＥＳ”）、処理はステップＳＴ１０５へ進み、そうでない場合（ステップＳＴ１０４“ＮＯ”）は処理終了となる。
【００１８】
続いて騒音推定部１００はステップＳＴ１０５にて、フレーム番号ｔが初期化フレーム数ＩＮＩＴ＿ＦＲＡＭＥより小さいか、又は、下式（１）の条件を満たす場合（ステップＳＴ１０５“ＹＥＳ”）にステップＳＴ１０６へ進み、そうでない場合（ステップＳＴ１０５“ＮＯ”）はステップＳＴ１０７へ進む。
0005383828.tif 000002
ここで、Ｐ（ｔ，ｆ）はフレーム番号ｔの周波数番号ｆのパワースペクトルである。ｋは更新パラメータであり、ｋ値が大きいと騒音変動に対する追従性が高くなり、ｋ値が小さいと騒音変動に対する追従性が低くなる。
【００１９】
なお、初期化フレーム数ＩＮＩＴ＿ＦＲＡＭＥは、平均値μ（ｆ）と標準偏差σ（ｆ）の初期値を学習するフレーム数である。騒音推定部１００は、上式（１）を満たす場合に、後述するように平均値μ（ｆ）と標準偏差σ（ｆ）を逐次更新するが、ある程度のフレーム数でこれら平均値μ（ｆ）と標準偏差σ（ｆ）の初期値を学習する必要があるためである。
音声認識及び通話用途等を目的とする場合、雑音除去装置１が起動してから音声が発話される前にある程度の無音区間があるので、初期化フレーム数ＩＮＩＴ＿ＦＲＡＭＥを適切な値にすることで初期学習が可能となる。
【００２０】
続いて騒音推定部１００はステップＳＴ１０６にて、下式（２）〜（８）に基づき平均値μ（ｆ）と標準偏差σ（ｆ）を更新する。
0005383828.tif 000003
ｉｆ  ｃｎｔ（ｆ）＞ＢＵＦＳＩＺＥ
0005383828.tif 000004
ｉｆ  ｃｎｔ（ｆ）＞ＢＵＦＳＩＺＥ
0005383828.tif 000005
0005383828.tif 000006
0005383828.tif 000007
0005383828.tif 000008
0005383828.tif 000009
ここで、ＳＵＭ１（ｆ），ＳＵＭ２（ｆ）は周波数番号ｆに対する加算用バッファ、ＢＵＦＳＩＺＥは統計量を算出するフレーム数、ｃｎｔ（ｆ）は周波数番号ｆのカウンタ、ｏｌｄｅｓｔは加算用バッファ内で加算されている最も古いフレーム番号ｔを表す。
【００２１】
続いて騒音推定部１００はステップＳＴ１０７にて、周波数番号ｆを１インクリメントして、再びステップＳＴ１０４へ戻り、次の周波数番号ｆの処理を行う。
以上の処理により、騒音推定部１００が推定騒音スペクトルの統計量である平均値μ（ｆ）と標準偏差σ（ｆ）を算出し、これらの値を騒音スペクトルメモリ１０１に記憶させる。
【００２２】
次に、騒音除去部１０２の動作を説明する。図３は、図１に示す騒音除去部１０２の動作を示すフローチャートである。騒音除去部１０２は騒音スペクトルメモリ１０１から平均値μ（ｆ）と標準偏差σ（ｆ）を取得して、以下の手順で入力信号から騒音を除去する。
【００２３】
先ず、騒音除去部１０２は周波数番号ｆに０を設定し（ステップＳＴ１１０）、この周波数番号ｆとＦＦＴポイント数Ｎ＿ＦＦＴとを比較する（ステップＳＴ１１１）。周波数番号ｆがＦＦＴポイント数Ｎ＿ＦＦＴより小さい場合（ステップＳＴ１１１“ＹＥＳ”）、処理はステップＳＴ１１２へ進み、そうでない場合（ステップＳＴ１１１“ＮＯ”）は処理終了となる。
【００２４】
続いて騒音除去部１０２はステップＳＴ１１２にてＳＳ法による騒音除去、即ち下式（９）に基づき入力信号から定常騒音を除去すると共に、フロアリング処理により引き過ぎの埋め戻しを行う。Ｐ’（ｔ，ｆ）は、定常騒音が除去された入力信号のパワースペクトルである。
0005383828.tif 000010
ここで、αは推定騒音スペクトルを何倍して入力信号のスペクトルから減算するかを指定するサブトラクト係数であり、γは過剰な減算（即ち引き過ぎ）を防止するためのフロアリング係数である。
【００２５】
続いて騒音除去部１０２はステップＳＴ１１３にて、下式（１０）の条件を満たす場合、即ち定常騒音除去後のスペクトルにフロアリングが生じていない場合（ステップＳＴ１１３“ＹＥＳ”）にステップＳＴ１１４に進み、そうでない場合（ステップＳＴ１１３“ＮＯ”）はステップＳＴ１１５へ進む。
0005383828.tif 000011
【００２６】
フロアリングが生じていない場合、騒音除去部１０２はステップＳＴ１１４にて、以下の式（１１），（１２）に従って非フロアリングフラグｇ（ｔ，ｆ）とフロアリング値のバックアップＢ（ｔ，ｆ）に値を代入する。
0005383828.tif 000012
0005383828.tif 000013
【００２７】
一方、フロアリングが生じている場合、騒音除去部１０２はステップＳＴ１１５にて、以下の式（１３），（１４）に従って非フロアリングフラグｇ（ｔ，ｆ）とフロアリング値のバックアップＢ（ｔ，ｆ）に値を代入する。
0005383828.tif 000014
0005383828.tif 000015
【００２８】
続いて騒音除去部１０２はステップＳＴ１１６にて、周波数番号ｆを１インクリメントして、再びステップＳＴ１１１へ戻り、次の周波数番号ｆの処理を行う。
以上の処理により、騒音除去部１０２が入力信号に重畳している騒音を除去すると共に引き過ぎの成分をフロアリング処理によって埋め戻し、さらに、引き残りの成分であるミュージカルノイズ成分抑圧のために、騒音除去時のフロアリング値であるフロアリング値のバックアップＢ（ｔ，ｆ）とフロアリングの有無を示す非フロアリングフラグｇ（ｔ，ｆ）をフロアリング値メモリ１０３に記憶させる。
【００２９】
次に、密集度算出部１０４の動作を説明する。図４は、図１に示す密集度算出部１０４の動作を示すフローチャートである。密集度算出部１０４はフロアリング値メモリ１０３から非フロアリングフラグｇ（ｔ，ｆ）を取得して、以下の手順で密集度の算出を行う。
【００３０】
先ず、密集度算出部１０４は周波数番号ｆを、密集度算出に使用するグリッドの大きさを表す近傍数Ｌに設定し（ステップＳＴ１２０）、この周波数番号ｆとＦＦＴポイント数から近傍数Ｌを引いた変数Ｎ＿ＦＦＴ−Ｌとを比較する（ステップＳＴ１２１）。周波数番号ｆが変数Ｎ＿ＦＦＴ−Ｌより小さい場合（ステップＳＴ１２１“ＹＥＳ”）、処理はステップＳＴ１２２へ進み、そうでない場合（ステップＳＴ１２１“ＮＯ”）は処理終了となる。
【００３１】
続いて密集度算出部１０４はステップＳＴ１２２にて、非フロアリングフラグｇ（ｔ，ｆ）から、下式（１５）に基づき密集度Ｄ（ｔ，ｆ）を算出する。
0005383828.tif 000016
ここで、ｗ（ｌt，ｌf）は密集度算出用の重み関数であり、Ｌは近傍数、ｌt，ｌfは中心点（即ち注目点）からの位置を示すインデックスである。重み関数の詳細は後述する。
【００３２】
続いて密集度算出部１０４はステップＳＴ１２３にて、周波数番号ｆを１インクリメントして、再びステップＳＴ１２１へ戻り、次の周波数番号ｆの処理を行う。
以上の処理により、密集度算出部１０４が密集度Ｄ（ｔ，ｆ）を算出し、部分抑圧部１０５へ出力する。
【００３３】
この重み関数には、用途又は使用環境に応じて様々な関数を適用可能である。図５は、近傍数Ｌ＝３、重み関数ｗ（ｌt，ｌf）＝１の場合のグリッド内の各点の重みを示す図である。この場合、注目点（ｔ，ｆ）（図では●）を中心とした（２Ｌ＋１）×（２Ｌ＋１）のグリッド内においてフロアリングされていない点数をカウントする場合と等価になり、最も単純な重み関数であると考えられる。
【００３４】
また、図６は、近傍数Ｌ＝３、下式（１６）に示す重み関数ｗ（ｌt，ｌf）の場合のグリッド内の各点の重みを示す図である。ここで、ｄｉｓはグリッド中心にある注目点（ｔ，ｆ）（図では●）からの市街地距離である。図６に示す場合、注目点に近い程重みが大きいため、（２Ｌ＋１）×（２Ｌ＋１）のグリッド内のフロアリングされていない点数が同じ場合でも、その点が中心に集まっている場合に密集度が大きくなるという効果がある。
0005383828.tif 000017
【００３５】
図７は、密集度算出部１０４による密集度算出の具体例を示す図である。図７において、時間周波数平面（スペクトログラム）Ａから、注目点（図では●）を中心とした（２Ｌ＋１）×（２Ｌ＋１）のグリッドＢを切り出し、このグリッドＢ内の各点の非フロアリングフラグｇ（ｔ，ｆ）の値を並べて、０，１で２値化する。そして、各点の非フロアリングフラグｇ（ｔ，ｆ）に重み関数ｗ（ｌt，ｌf）をそれぞれ掛け合わせ、それらの総和が密集度Ｄ（ｔ，ｆ）＝１１４となる。
【００３６】
次に、部分抑圧部１０５の動作を説明する。図８は、図１に示す部分抑圧部１０５の動作を示すフローチャートである。部分抑圧部１０５はフロアリング値メモリ１０３から非フロアリングフラグｇ（ｔ，ｆ）及びフロアリング値のバックアップ値Ｂ（ｔ，ｆ）と、密集度算出部１０４から出力される密集度Ｄ（ｔ，ｆ）とを取得して、以下の手順で、騒音除去部１０２において定常騒音が除去された入力信号に対してミュージカルノイズ成分の抑圧を行う。
【００３７】
先ず、部分抑圧部１０５は周波数番号ｆに近傍数Ｌを設定し（ステップＳＴ１３０）、この周波数番号ｆと変数Ｎ＿ＦＦＴ−Ｌとを比較する（ステップＳＴ１３１）。周波数番号ｆが変数Ｎ＿ＦＦＴ−Ｌより小さい場合（ステップＳＴ１３１“ＹＥＳ”）、処理はステップＳＴ１３２へ進み、そうでない場合（ステップＳＴ１３１“ＮＯ”）は処理終了となる。
【００３８】
続いて部分抑圧部１０５はステップＳＴ１３２にて、非フロアリングフラグｇ（ｔ，ｆ）が１で、かつ、密集度Ｄ（ｔ，ｆ）が閾値ＴＨDよりも小さい場合（ステップＳＴ１３２“ＹＥＳ”）に定常騒音除去後の入力信号のパワースペクトルＰ’（ｔ，ｆ）がミュージカルノイズ成分であると判断してステップＳＴ１３３に進み、そうでない場合（ステップＳＴ１３２“ＮＯ”）はステップＳＴ１３４へ進む。
【００３９】
非フロアリングフラグｇ（ｔ，ｆ）が１で、かつ、密集度Ｄ（ｔ，ｆ）が閾値ＴＨDよりも小さい場合、部分抑圧部１０５はステップＳＴ１３３にて、フロアリング値のバックアップ値Ｂ（ｔ，ｆ）をパワースペクトルＰ’（ｔ，ｆ）に代入する。
続いて部分抑圧部１０５はステップＳＴ１３４にて、周波数番号ｆを１インクリメントして、再びステップＳＴ１３１へ戻り、次の周波数番号ｆの処理を行う。
【００４０】
図９は、部分抑圧部１０５の部分抑圧処理の具体例を示す図であり、図９（ａ）は部分抑圧処理前、図９（ｂ）は部分抑圧処理後のスペクトログラムである。このように、雑音除去後のパワースペクトルＰ’（ｔ，ｆ）をフロアリングの有無で２値化し、注目点近傍のフロアリング実施点の密集度を算出して、密集度の低い注目点をミュージカルノイズ成分として強制的にフロアリングするようにしたので、図９（ｂ）に示すようにミュージカルノイズの成分が抑圧されていることが分かる。
以上の処理により、部分抑圧部１０５がミュージカルノイズ成分を抑圧する。
【００４１】
以上より、実施の形態１によれば、雑音除去装置１が、入力信号に重畳している騒音を推定する騒音推定部１００と、騒音の統計量を記憶しておく騒音スペクトルメモリ１０１と、騒音の統計量を用いて、入力信号に重畳している騒音を除去すると共にフロアリング処理する騒音除去部１０２と、時間周波数毎のフロアリング値及びフロアリング処理の有無を示すフラグを記憶しておくフロアリング値メモリ１０３と、騒音除去した入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点のフロアリング処理の有無を示すフラグから非フロアリング処理点の密集度を算出する密集度算出部１０４と、注目点の密集度が閾値未満の場合に、注目点のパワーをフロアリング値に置き換える部分抑圧部１０５とを備えるように構成した。このため、従来のような方法と比較して、騒音のパワー変動が大きく引き残り成分のパワー変動も大きい場合でも、ミュージカルノイズ成分を適切に判別して抑圧することができる。また、フロアリング値を用いてミュージカルノイズ成分を抑圧することにより、信号に時間的な不連続性が生じることを回避できる。
【００４２】
実施の形態２．
図１０は、この発明の実施の形態２に係る雑音除去装置１の構成を示すブロック図であり、図１と同一又は相当の部分については同一の符号を付し説明を省略する。図１０に示す雑音除去装置１は、図１の雑音除去装置１に対して新たに局所ＳＮＲメモリ１０６を設けた構成である。
【００４３】
局所ＳＮＲメモリ１０６は、騒音除去部１０２が出力するフレーム番号ｔ、周波数番号ｆの局所的なＳＮＲ（信号対雑音比）の値（以下、局所ＳＮＲ値）を記憶するための記憶部である。
スペクトログラムにおいて、局所ＳＮＲ値が高い部分が密集している領域は音声成分である可能性が高く、そうでない領域は雑音成分である可能性が高い。そこで、局所ＳＮＲ値の密集度を算出して局所ＳＮＲ値が高い部分が密集しているか否かを判定することで、ミュージカルノイズ成分か否かを判別することができる。
【００４４】
次に、雑音除去装置１の動作を説明する。なお、ここでは騒音除去部１０２、局所ＳＮＲメモリ１０６及び密集度算出部１０４の動作を説明することとし、その他の各部の動作は上記実施の形態１と同様であるため説明を省略する。
【００４５】
図１１は、図１０に示す騒音除去部１０２の動作を示すフローチャートである。図１１において、上記実施の形態１の図３と同一又は相当の動作（ステップＳＴ１１０〜ＳＴ１１６）については同一の符号を付し説明を省略する。騒音除去部１０２において上記実施の形態１と異なるのは、ステップＳＴ２００にて、下式（１７）に従ってフレーム番号ｔ、周波数番号ｆの局所ＳＮＲ値ｒ（ｔ，ｆ）を算出し、局所ＳＮＲメモリ１０６に記憶する点である。
0005383828.tif 000018
ここで、Ｐ（ｔ，ｆ）はフレーム番号ｔ、周波数番号ｆのパワースペクトルであり、μ（ｆ）は周波数番号ｆの推定騒音スペクトルの平均値である。
【００４６】
次に、密集度算出部１０４の動作を説明する。図１２は、図１０に示す密集度算出部１０４の動作を示すフローチャートである。上記実施の形態１と異なるのは、ステップＳＴ２０１にて、局所ＳＮＲメモリ１０６から局所ＳＮＲ値ｒ（ｔ，ｆ）を取得して、下式（１８）に従って注目点の周辺に位置する各点の局所ＳＮＲ値の密集度Ｄ（ｔ，ｆ）を算出する点である。この密集度Ｄ（ｔ，ｆ）は後段の部分抑圧部１０５において閾値ＴＨＤと比較され、密集度Ｄ（ｔ，ｆ）が閾値ＴＨＤ以上なら（即ち、局所ＳＮＲ値が高い部分が密集している領域なら）音声成分、閾値ＴＨＤより小さければミュージカルノイズ成分と判断される。
0005383828.tif 000019
ここで、ｗ（ｌｔ，ｌｆ）は上式（１５）と同様に密集度算出用の重み関数であり、Ｌは近傍数、ｌt，ｌfは中心点（即ち注目点）からの位置を示すインデックスである。重み関数には、上記実施の形態１と同様に用途又は使用環境に応じて様々な関数を適用可能である。
【００４７】
また、局所ＳＮＲ値ｒ（ｔ，ｆ）がある基準値以上の場合を１、基準値未満の場合を０というように２値化してから、上式（１８）に従って密集度Ｄ（ｔ，ｆ）を算出する形態も本発明の範囲内であることは言うまでもない。
【００４８】
以上より、実施の形態２によれば、雑音除去装置１が、フレーム番号ｔおよび周波数番号ｆの単一周波数成分の局所ＳＮＲ値を保持する局所ＳＮＲメモリ１０６を新たに備え、密集度算出部１０４は、騒音除去した入力信号の時間周波数平面上の注目点について、当該注目点の周辺に位置する各点の局所ＳＮＲ値の密集度を算出し、部分抑圧部１０５は、注目点の密集度が閾値未満の場合に当該注目点のパワーを騒音除去部１０２がフロアリング処理で用いたフロアリング値に置き換えるように構成した。このため、上記実施の形態１と同様に、騒音のパワー変動が大きく引き残り成分のパワー変動も大きい場合でも、ミュージカルノイズ成分を適切に判別して抑圧することができる。また、フロアリング値を用いてミュージカルノイズ成分を抑圧することにより、信号に時間的な不連続性が生じることを回避できる。
【００４９】
実施の形態３．
図１３は、この発明の実施の形態３に係る雑音除去装置１の構成を示すブロック図であり、図１と同一又は相当の部分については同一の符号を付し説明を省略する。図１３に示す雑音除去装置１は、図１の雑音除去装置１に対して新たに大域ＳＮＲ推定部１０７、閾値選択部１０８及び閾値メモリ１０９を設けた構成である。
【００５０】
大域ＳＮＲ推定部１０７は、入力信号の大域ＳＮＲの値を推定し、閾値選択部１０８へ出力する。
ここで、大域ＳＮＲと上記実施の形態２で説明した局所ＳＮＲとの違いについて説明する。局所ＳＮＲは、上式（１７）に示すように単一の周波数成分から算出されるＳＮＲであるが、大域ＳＮＲは複数の周波数成分から算出される入力信号全体（又は所定の上下限周波数成分）のＳＮＲである。
【００５１】
閾値メモリ１０９は、大域ＳＮＲと閾値との対応を規定した大域ＳＮＲ−閾値対応テーブルを記憶しておく記憶部である。閾値選択部１０８は、閾値メモリ１０９の大域ＳＮＲ−閾値対応テーブルを参照して、大域ＳＮＲ推定部１０７が出力する大域ＳＮＲ推定値に対応する閾値を選択する。なお、大域ＳＮＲ−閾値対応テーブルは、大域ＳＮＲ別に、部分抑圧部１０５にて最適な判別性能が得られる閾値を、事前に学習用データを用いて決定して、作成しておく。
閾値選択部１０８が選択した閾値は、部分抑圧部１０５へ出力され、部分抑圧部１０５が閾値ＴＨDとして使用することとなる。
【００５２】
次に、雑音除去装置１の動作を説明する。なお、ここでは大域ＳＮＲ推定部１０７及び閾値選択部１０８の動作を説明することとし、その他の各部の動作は上記実施の形態１と同様であるため説明を省略する。
図１４は、図１３に示す大域ＳＮＲ推定部１０７及び閾値選択部１０８の動作を示すフローチャートである。先ず、大域ＳＮＲ推定部１０７がステップＳＴ３００にて、下式（１９）に基づき、大域ＳＮＲ推定値ＳＮＲEST（ｔ）を算出する。
0005383828.tif 000020
ここで、ｓｆは大域ＳＮＲ推定値算出に用いる下限周波数番号、ｅｆは大域ＳＮＲ推定値算出に用いる上限周波数番号である。
【００５３】
続いて、閾値選択部１０８がステップＳＴ３０１にて、閾値メモリ１０９の大域ＳＮＲ−閾値対応テーブルを参照し、大域ＳＮＲ推定部１０７が推定した大域ＳＮＲ推定値ＳＮＲEST（ｔ）に対応する閾値ＴＨ（ＳＮＲEST（ｔ））を選択し、閾値ＴＨDに代入する。
【００５４】
図１５は、閾値メモリ１０９が記憶している大域ＳＮＲ−閾値対応テーブルの一例である。このテーブルには、各大域ＳＮＲ推定値に対応する閾値が格納されており、この例では、音声部分の誤抑圧を防止するために、大域ＳＮＲ推定値が高くなるにつれ閾値を小さくしている。また、大域ＳＮＲ推定値が２０以上の場合は、入力信号において雑音に比べ音声成分が完全に優位であると考え、負の閾値を設定することにより部分抑圧部１０５が部分抑圧処理を実施しないようにしている。他方、ミュージカルノイズ成分の抑圧漏れを防止するために、大域ＳＮＲ推定値が低くなるにつれ閾値を大きくしている。
以上の処理により、部分抑圧部１０５が部分抑圧処理に使用する閾値ＴＨDが決定される。
【００５５】
以上より、実施の形態３によれば、雑音除去装置１が、入力信号の大域ＳＮＲを推定する大域ＳＮＲ推定部１０７と、各大域ＳＮＲ推定値に対応する閾値を保持する閾値メモリ１０９と、大域ＳＮＲ推定部１０７が推定した大域ＳＮＲ推定値に対応する閾値を、閾値メモリ１０９から選択する閾値選択部１０８とを備え、部分抑圧部１０５は、閾値選択部１０８が選択した閾値を用いてミュージカルノイズ成分をフロアリング値へ置き換えるか否かの判定をする構成にした。このため、入力信号の大域ＳＮＲ推定値に応じて最適な閾値を選択することができるので、大域ＳＮＲ推定値が低い場合のミュージカルノイズ抑圧漏れ、及び大域ＳＮＲ推定値が高い場合の音声成分の誤抑圧を防止することができ、正確にミュージカルノイズの抑圧を行うことができる。
【００５６】
なお、実施の形態３を実施の形態１に適用する例を説明したが、これに限定されるものではなく、実施の形態２に適用することもできる。
【００５７】
実施の形態４．
上記実施の形態３に係る雑音除去装置１は大域ＳＮＲ推定値に応じて最適な閾値ＴＨDを選択する構成としたが、本実施の形態４に係る雑音除去装置１は密集度算出時の重み関数ｗ（ｌt，ｌf）及び近傍数Ｌについても大域ＳＮＲ推定値に応じた最適な値を選択する構成にする。
図１６は、この発明の実施の形態４に係る雑音除去装置１の構成を示すブロック図であり、図１及び図１３と同一又は相当の部分については同一の符号を付し説明を省略する。図１６に示す雑音除去装置１は、図１及び図１３の雑音除去装置１に対して新たに重み関数選択部１１０及び重み関数メモリ１１１を設けた構成である。
【００５８】
重み関数選択部１１０は、重み関数メモリ１１１の大域ＳＮＲ−近傍数−重み関数−閾値対応テーブルを参照して、大域ＳＮＲ推定部１０７が出力する大域ＳＮＲ推定値に対応する近傍数、重み関数及び閾値を選択する。重み関数メモリ１１１は、大域ＳＮＲ−近傍数−重み関数−閾値対応テーブルを記憶しておく記憶部であり、このテーブルは、大域ＳＮＲ別に、密集度算出部１０４及び部分抑圧部１０５にて最適な判別性能が得られる近傍数、重み関数及び閾値を、事前に学習用データを用いて決定して、作成しておく。
【００５９】
次に、雑音除去装置１の動作を説明する。なお、ここでは重み関数選択部１１０の動作を説明することとし、その他の各部の動作は上記実施の形態１，３と同様であるため説明を省略する。
図１７は、図１６に示す重み関数選択部１１０の動作を示すフローチャートである。重み関数選択部１１０はステップＳＴ４００にて、重み関数メモリ１１１の大域ＳＮＲ−近傍数−重み関数−閾値対応テーブルを参照し、大域ＳＮＲ推定部１０７が推定した大域ＳＮＲ推定値ＳＮＲEST（ｔ）に対応する近傍数Ｌ（ＳＮＲEST（ｔ））を選択し、近傍数Ｌに代入する。
【００６０】
続いて重み関数選択部１１０はステップＳＴ４０１にて、大域ＳＮＲ推定値ＳＮＲEST（ｔ）に対応する重み関数ＷSNREST(t)（ｌt，ｌf）を選択し、重み関数Ｗ（ｌt，ｌf）に代入する。ここで、−Ｌ≦ｌt≦Ｌ、−Ｌ≦ｌf≦Ｌとする。
【００６１】
続いて重み関数選択部１１０はステップＳＴ４０２にて、大域ＳＮＲ推定値ＳＮＲEST（ｔ）に対応する閾値ＴＨ（ＳＮＲEST（ｔ））を選択し、閾値ＴＨDに代入する。
【００６２】
図１８は、重み関数メモリ１１１が記憶している大域ＳＮＲ−近傍数−重み関数−閾値対応テーブルの一例である。このテーブルには、各大域ＳＮＲ推定値に対応する近傍数、重み関数及び閾値が格納されている。この例では、密集度算出部１０４において大域ＳＮＲ推定値に応じて近傍数と重み関数を変更することにより、大域ＳＮＲ推定値が低い場合はより大域的な情報を重視し、反対に大域ＳＮＲ推定値が高い場合はより局所的な情報を重視するようにして、部分抑圧部１０５によるミュージカルノイズ成分の判別精度向上を図っている。また、大域ＳＮＲ推定値が２０以上の場合は、入力信号において雑音に比べ音声成分が完全に優位であると考え、負の閾値を設定することにより部分抑圧部１０５が部分抑圧処理を実施しないようにしている。他方、ミュージカルノイズ成分の抑圧漏れを防止するために、大域ＳＮＲ推定値が低くなるにつれ閾値を大きくしている。
以上の処理により、密集度算出部１０４が密集度算出処理に使用する近傍数Ｌ及び重み関数ｗ（ｌt，ｌf）、並びに部分抑圧部１０５が部分抑圧処理に使用する閾値ＴＨDが決定される。
【００６３】
以上より、実施の形態４によれば、雑音除去装置１が、入力信号の大域ＳＮＲを推定する大域ＳＮＲ推定部１０７と、各大域ＳＮＲ推定値に対応する重み関数及び閾値を保持する重み関数メモリ１１１と、大域ＳＮＲ推定部１０７が推定した大域ＳＮＲ推定値に対応する重み関数及び閾値を、重み関数メモリ１１１から選択する重み関数選択部１１０とを備え、密集度算出部１０４は、重み関数選択部１１０が選択した重み関数を用いてフロアリングの有無を示すフラグを重み付けし、部分抑圧部１０５は、重み関数選択部１１０が選択した閾値を用いてミュージカルノイズ成分をフロアリング値へ置き換えるか否かの判定をする構成にした。このため、入力信号の大域ＳＮＲ推定値に応じて最適な近傍数及び重み関数を選択することができるので、大域ＳＮＲ推定値が低い場合はより大域的な情報を重視し、大域ＳＮＲ推定値が高い場合はより局所的な情報を重視してミュージカルノイズ成分の判定を行うことができ、その結果、判別精度を向上させることができる。また、閾値を用いることによる効果は上記実施の形態３で述べたとおりである。
【００６４】
なお、実施の形態４を実施の形態３に適用する例を説明したが、これに限定されるものではなく、実施の形態２に適用することもできる。
また、重み関数選択部１１０が重み関数のみ選択し、密集度算出部１０４がその重み関数を用いてフロアリングの有無を示すフラグを重み付けするように構成してもよい。この場合、部分抑圧部１０５がミュージカルノイズ成分の判定に用いる閾値は任意でよい。
【産業上の利用可能性】
【００６５】
上記実施の形態１〜４に係る雑音除去装置は、特定の用途に限定されるものではないが、例えばカーナビゲーションシステム、携帯電話、及び情報端末等において、騒音環境下の音声認識性能又は通話品質の向上を実現するために特に有用である。
【図１】
0005383828.tif 000021
【図２】
0005383828.tif 000022
【図３】
0005383828.tif 000023
【図４】
0005383828.tif 000024
【図５】
0005383828.tif 000025
【図６】
0005383828.tif 000026
【図７】
0005383828.tif 000027
【図８】
0005383828.tif 000028
【図９】
0005383828.tif 000029
【図１０】
0005383828.tif 000030
【図１１】
0005383828.tif 000031
【図１２】
0005383828.tif 000032
【図１３】
0005383828.tif 000033
【図１４】
0005383828.tif 000034
【図１５】
0005383828.tif 000035
【図１６】
0005383828.tif 000036
【図１７】
0005383828.tif 000037
【図１８】
0005383828.tif 000038