(57)【要約】【課題】  様々な振動源からの外来ノイズを効果的に低減できるとともに、専用の一過性ノイズ検出器や音声区間検出器を不要とする音声信号前処理装置、音声信号前処理方法、音声信号前処理用のプログラム、音声信号処理装置を提供する。【解決手段】  本発明の音声信号前処理装置１０は、音声を含む入力信号を処理して入力信号に含まれる雑音成分を低減するものであり、非音響雑音参照センサ（第二雑音参照センサ）３０から雑音参照信号３０ａを受信する雑音参照信号入力部と、雑音参照信号３０ａの雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインref-calibを演算する校正部４４と、雑音参照信号３０ａと校正ゲインに基づいたスペクトラムゲインを入力信号へ適用するスペクトラムゲインフィルタ４０と、校正ゲインref-calibの変化率が所定の閾値を越えて変化しないように、校正ゲインを制限する制限部４４とを備える。【選択図】  図７
2008070877.tif 000002
【特許請求の範囲】
【請求項１】
音声を含む入力信号を処理して前記入力信号に含まれる雑音成分を低減する音声信号前処理装置において、
該音声信号前処理装置は、
非音響雑音参照センサから雑音参照信号を受信する雑音参照信号入力部と、
前記雑音参照信号の雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインを演算する校正部と、
前記雑音参照信号と前記校正ゲインに基づいたスペクトラムゲインを前記入力信号へ適用するスペクトラムゲインフィルタと、
前記校正ゲインの変化率が所定の閾値を越えて変化しないように、前記校正ゲインを制限する制限部と、
を備えることを特徴とする音声信号前処理装置。
【請求項２】
前記制限部は、少なくとも一つ前に生成された校正ゲインの値と関連した比較値と新たに生成された校正ゲインの値とを比較するように構成されており、この２つの値の差が前記閾値を超える場合、前記新たに生成された校正ゲインは前記比較値によって置き換えられることを特徴とする請求項１に記載の音声信号前処理装置。
【請求項３】
前記比較値は、前記新たに生成された校正ゲインの値が生成される前に前記制限部から出力されることを特徴とする請求項２に記載の音声信号前処理装置。
【請求項４】
前記比較値は、前記新たに生成された校正ゲインの値が生成される前に前記制限部から出力される複数の前記比較値の平均値であることを特徴とする請求項２に記載の音声信号前処理装置。
【請求項５】
前記閾値は前記比較値の所定割合となっていることを特徴とするクレーム１乃至４のいずれか一項に記載の音声信号前処理装置。
【請求項６】
前記所定割合は、２０％であることを特徴とする請求項５に記載の音声信号前処理装置。
【請求項７】
前記校正部は、前記伝達関数の大きさの推定値に所定の倍率をかけることで前記校正ゲインを演算するように構成されていることを特徴とする請求項１乃至６のいずれか一項に記載の音声信号前処理装置。
【請求項８】
前記倍率は可変であり、車両速度に依存することを特徴とする請求項１乃至７のいずれか一項に記載の音声信号前処理装置。
【請求項９】
前記倍率は、約０．７から１の間の可変値であることを特徴とする請求項７又は８に記載の音声信号前処理装置。
【請求項１０】
前記雑音参照信号は、前記電気音声信号に含まれる雑音成分とスペクトラムパワーにて関連する請求項１乃至９のいずれか一項に記載の音声信号前処理装置。
【請求項１１】
前記非音響雑音参照センサは、車両の振動を感知するように構成されていることを特徴とする請求項１乃至１０のいずれか一項に記載の音声信号前処理装置。
【請求項１２】
前記制限部は前記校正ゲインにスムージングフィルタリングを適用することを特徴とする請求項１乃至１１のいずれか一項に記載の音声信号前処理装置。
【請求項１３】
上記（１）乃至（１２）のいずれか一項に記載の音声信号前処理装置と、
音響信号を集音して前記音声信号前処理装置への入力として前記電気音声信号を供給するマイクロホンと、
前記電気音声信号に含まれる雑音成分とコヒーレントであり、かつ前記雑音成分とスペクトラムパワーにて関連している雑音参照信号を生成し、さらに前記雑音参照信号を前記音声信号前処理装置に供給する前記非音響雑音参照センサとを備える音声信号処理装置。
【請求項１４】
音声信号を含む入力信号を処理して前記入力信号含まれる雑音成分を低減させる音声信号前処理方法であって、
該音声信号前処理方法は、
非音響雑音参照信号を受信し、前記雑音参照信号の雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインを演算する工程と、
前記雑音参照信号と前記校正ゲインとに基づいて求められるスペクトラル−ゲイン関数にて前記入力信号にスペクトラム−ゲインフィルタリングを実行する工程と
前記校正ゲインの変化率が所定の閾値を越えて変化しないように前記校正ゲインを制限する工程とを備えることを特徴とする音声信号前処理方法。
【請求項１５】
請求項１４に記載の方法をコンピュータに実行させることを特徴とする音声信号前処理用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声含有信号を前処理し、その信号に含まれる外来ノイズ成分を低減する音声信号前処理装置、音声信号処理方法、音声信号前処理用のプログラム及び音声信号処理装置に関するものである。
【０００２】
特に、音声認識システムや電話（例えば、ハンズフリー電話）へ入力される信号の処理に特に適している。更に、本発明は、比較的大量の外来ノイズが音声認識処理を妨げることで音声認識の精度や信頼性に影響を及ぼす車両環境での使用に特に適している。
【背景技術】
【０００３】
車載電気機器のハンズフリー操作に音声を使用したり、車室内にてハンズフリー電話を用いることに広く関心が示されている。マイクロホンによって集音されたボイス指令やその他の発話情報の認識に電子音声認識技術が用いられる一方で、これら音声認識技術は、外来ノイズを含有しない比較的「クリーン」なボイス信号に適している。しかし、集音されたオーディオ信号の品質をひどく劣化する様々な外来ノイズ源が車両環境中には存在し、音声認識が困難になったり、音声認識の信頼性が落ちる。例えば、外来ノイズ源とは、道路ノイズ、エンジン音、タイヤノイズ、風音、雨音、ラジオや音楽プレイヤからの音、車両内のガタ音や振動、ガラス窓ふきワイパー音や、車両外の一過性ノイズ等である。希望する音声信号の多くの成分を破壊することなく、音声認識結果に関わるこれら様々な外来ノイズをフィルタリングすることは困難である。更には、車両メーカや車両部品メーカに受け入れられるためには、これらの技術は、コスト面、また、新たな機器や処理装置を多く追加することなく、相当の性能を発揮しなければならない。
【０００４】
従来技術は、それらノイズを低減し、音声含有信号に含まれる音声成分の質を高める様々な技術を提示している。
【０００５】
そのうちの一つとして、集音の指向特性を制御するのに、マイクロホンネットワークやビームフォーミング技法を用いる方法がある。例えば、ビームフォーミング技法は、運転手の方向や位置に指向特性を向けることができる。しかしながら、車両室内の特定方向からのノイズは主要な原因であることはまれであるため、これだけでは外来ノイズの小幅な低減だけに留まり、複数のマイクロホンを追加することでコストが発生することを考えると、あまり効果的ではない。
【０００６】
他の方法として、２つのマイクロホンを用い、一方は音声と外来ノイズの両方を集音する方向に向く第一マイクロホンで、他方は主に外来ノイズを集音する方向に向く第二マイクロホンである。第二マイクロホンは、第一マイクロホンが集音した音声含有信号からノイズを低減するノイズキャンセリングフィルタへ入力されるノイズ参照信号を提供する。しかしながら、この技術は、マイクロホンの配置によっては不適切な場合もある。第二マイクロホンが集音する音声量を減らすには、第二マイクロホンを第一マイクロホンから離間して配置する必要がある。しかし、第二マイクロホンと第一マイクロホンの離間距離が長くなるほど、第一マイクロホン周辺の局所雑音（外来ノイズ）の参照信号としての第二マイクロホンの性能が悪化する。
【０００７】
車載オーディオ系のスピーカを駆動するのに直接用いる電気駆動信号を受信する音声信号処理装置が開示されている（特許文献１参照）。特許文献１では、この電気駆動信号は、マイクロホンが集音した信号（以下、マイクロホン信号）から低減されるべきオーディオ系の外来音に正確に代替するものであり、ノイズキャンセルフィルタへ雑音参照信号として提供されるので、雑音参照信号を得るのにセンサを追加する必要が無い。
【０００８】
特許文献２には、マイクロホン信号を複数の周波数バンドや各バンドに分割する、連続ノイズキャンセルシステムが開示されている。特許文献２では、主要外来ノイズ成分が原則コヒーレントか非コヒーレントかを決定する。コヒーレントノイズキャンセリングフィルタか適応非コヒーレントノイズキャンセリングフィルタのいずれかがその決定に応じて選択的に実行される。各バンド毎に最適な方法でフィルタリングした後、信号を再生するのに複数の周波数バンドが合成される。フィルタリング性能を不安定にする一過性ノイズはメインフィルタリング開始前に検出される。適応非コヒーレントノイズキャンセリングフィルタは、振動センサのような外部非音響センサからの信号を受信し、マイクロホンと非音響センサ間の伝達関数の推定値にてスペクトラルパワーフィルタリングを実行する。音声区間検出器は伝達関数の推定値を適宜更新する信号を伝送し、音声区間検出器がボイス信号を検出した場合にはその更新が中断される。伝達関数は一般的に変動が激しくなく、話者が発声している間は一定であると考えられているので、特許文献２には、音声区間検出器の検出結果に細かく左右される必要は無いと記載されている。
【特許文献１】特開平２−２４４０９９号公報
【特許文献２】特開２００６−２７６８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
ところが、特許文献１の音声信号処理装置では、本装置は、エンジン、道路、タイヤ、風、雨や車両等の振動といった他の様々な振動源からの外来ノイズを低減できない。また、特許文献２のノイズキャンセルシステムであっても、音声区間検出器は依然として必要である。
【００１０】
そこで、本発明は、様々な振動源からの外来ノイズを効果的に低減でき、音声区間検出器を必要としない音声信号前処理装置、音声信号処理装置、音声信号前処理方法、及び音声信号前処理用のプログラムを提供するものである。
【課題を解決するための手段】
【００１１】
上記課題を解決するものは以下の通りである。
【００１２】
（１）音声を含む入力信号を処理して前記入力信号に含まれる雑音成分を低減する音声信号処理装置において、該音声信号前処理装置は、非音響雑音参照センサから雑音参照信号を受信する雑音参照信号入力部と、前記雑音参照信号の雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインを演算する校正部と、前記雑音参照信号と前記校正ゲインに基づいたスペクトラムゲインを前記入力信号へ適用するスペクトラムゲインフィルタと、前記校正ゲインの変化率が所定の閾値を越えて変化しないように、前記校正ゲインを制限する制限部と、を備えることを特徴とする音声信号前処理装置。
【００１３】
（２）前記制限部は、少なくとも一つ前に生成された校正ゲインの値と関連した比較値と新たに生成された校正ゲインの値とを比較するように構成されており、この２つの値の差が前記閾値を超える場合、前記新たに生成された校正ゲインは前記比較値によって置き換えられることを特徴とする上記（１）に記載の音声信号前処理装置。
【００１４】
（３）前記比較値は、前記新たに生成された校正ゲインの値が生成される前に前記制限部から出力されることを特徴とする上記（２）に記載の音声信号前処理装置。
【００１５】
（４）前記比較値は、前記新たに生成された校正ゲインの値が生成される前に前記制限部から出力される複数の前記比較値の平均値であることを特徴とする上記（２）に記載の音声信号前処理装置。
【００１６】
（５）前記閾値は前記比較値の所定割合となっていることを特徴とするクレーム（１）乃至（４）のいずれか一項に記載の音声信号前処理装置。
【００１７】
（６）前記所定割合は、２０％であることを特徴とする上記（５）に記載の音声信号前処理装置。
【００１８】
（７）前記校正部は、前記伝達関数の大きさの推定値に所定の倍率をかけることで前記校正ゲインを演算するように構成されていることを特徴とする上記（１）乃至（６）のいずれか一項に記載の音声信号前処理装置。
【００１９】
（８）前記倍率は可変であり、車両速度に依存することを特徴とする上記（１）乃至（７）のいずれか一項に記載の音声信号前処理装置。
【００２０】
（９）前記倍率は、約０．７から１の間の可変値であることを特徴とする上記（７）又は（８）に記載の音声信号前処理装置。
【００２１】
（１０）前記雑音参照信号は、前記電気音声信号に含まれる雑音成分とスペクトラムパワーにて関連する上記（１）乃至（９）のいずれか一項に記載の音声信号前処理装置。
【００２２】
（１１）前記非音響雑音参照センサは、車両の振動を感知するように構成されていることを特徴とする上記（１）乃至（１０）のいずれか一項に記載の音声信号前処理装置。
【００２３】
（１２）前記制限部は前記校正ゲインにスムージングフィルタリングを適用することを特徴とする上記（１）乃至（１１）のいずれか一項に記載の音声信号前処理装置。
【００２４】
（１３）上記（１）乃至（１２）のいずれか一項に記載の音声信号前処理装置と、音響信号を集音して前記音声信号前処理装置への入力として前記電気音声信号を供給するマイクロホンと、前記電気音声信号に含まれる雑音成分とコヒーレントであり、かつ前記雑音成分とスペクトラムパワーにて関連している雑音参照信号を生成し、さらに前記雑音参照信号を前記音声信号前処理装置に供給する前記非音響雑音参照センサとを特徴とする音声信号処理装置。
【００２５】
（１４）音声信号を含む入力信号を処理して前記入力信号含まれる雑音成分を低減させる音声信号前処理方法であって、該音声信号前処理方法は、非音響雑音参照信号を受信し、前記雑音参照信号の雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインを演算する工程と、前記雑音参照信号と前記校正ゲインとに基づいて求められるスペクトラル−ゲイン関数にて前記入力信号にスペクトラム−ゲインフィルタリングを実行する工程と前記校正ゲインの変化率が所定の閾値を越えて変化しないように前記校正ゲインを制限する工程と、を備えることを特徴とする音声信号前処理方法。
【００２６】
（１５）上記（１４）に記載の方法をコンピュータに実行させる音声信号前処理用のことを特徴とするプログラム。
【００２７】
また、前記所定の閾値の上限値は、前記校正ゲインが前記伝達関数の大きさの変化に適応できる程度に高く設定されることが好ましい。
【００２８】
また、前記所定閾値の下限値は、前記伝達関数に関連していない成分を急速に変化されることで前記校正ゲインが不安定にならないような程度に低く設定されることが好ましい。
【００２９】
また、前記校正部は、前記校正ゲインを周期的に生成することが好ましい。また、前記音声信号前処理装置は、車両音響雑音低減用に車両に適用されることが好ましい。また、前記音声信号前処理装置は集積回路により作動することが好ましい。また、前記音声信号前処理装置は、音声認識部を更に有することが好ましい。
【発明の効果】
【００３０】
請求項１の音声信号前処理装置によれば、様々な振動源からの外来ノイズを効果的に低減できる。また、請求項１の発明によれば、制限部が一過性ノイズや音声に起因する乱れを自動的に阻止されるため、専用の一過性ノイズ検出器や音声区間検出器が不要となる。
【００３１】
請求項１３の音声信号処理装置によれば、様々な振動源からの外来ノイズを効果的に低減できるとともに、一過性ノイズや音声に起因する乱れを自動的に阻止するため、専用の一過性ノイズ検出器や音声区間検出器が不要となる。
【００３２】
請求項１４の音声信号前処理方法によれば、様々な振動源からの外来ノイズを効果的に低減できるとともに、一過性ノイズや音声に起因する乱れを自動的に阻止するため、専用の一過性ノイズ検出器や音声区間検出器が不要となる。
【００３３】
請求項１５のプログラムによれば、様々な振動源からの外来ノイズを効果的に低減できるとともに、一過性ノイズや音声に起因する乱れを自動的に阻止するため、専用の一過性ノイズ検出器や音声区間検出器が不要となる。
【発明を実施するための最良の形態】
【００３４】
本発明の概要について説明する。
【００３５】
本発明の実施形態１は、複数の雑音の効果的なフィルタリングに関するものである。
【００３６】
実施形態１の音声信号前処理装置（音声信号処理装置）は、互いに連続する第一フィルタ２０と第二フィルタ２２とを備えている。第一、第二フィルタ２０，２２の一方がコヒーレントな外来ノイズ成分を低減するコヒーレントフィルタであり、他方が非コヒーレント外来ノイズ成分を低減する非コヒーレントフィルタである。第一フィルタ２０と第二フィルタ２２は連続的に配置されている。このような連続的なフィルタの組み合わせによって、音声信号は、コヒーレントフィルタと非コヒーレントフィルタの両方にて順次フィルタリングされるため、様々な外来ノイズ成分を効果的にフィルタリングできる。特に、車両使用に適している。
【００３７】
一つの形として、第一フィルタ２０がコヒーレントフィルタで、第二フィルタ２２が非コヒーレントフィルタである。非コヒーレントフィルタリングの前にコヒーレントフィルタリングを実行することで、コヒーレント成分を最適に低減でき、更には、コヒーレントフィルタリングによって除去もしくは少なくとも低減されうる成分によって非コヒーレントフィルタリングが偏調されることを回避できる。
【００３８】
コヒーレントフィルタおよび非コヒーレントフィルタは、それぞれの雑音参照源からの雑音参照信号を受信する。各雑音参照源は非音響雑音参照源である。非音響とは、雑音参照源が空気中の振動を直接検出しないことを意味する。しかし、非音響雑音参照源は、車両のある箇所において可聴周波数範囲の振動を検出し、そして、可聴周波数範囲の成分を示す信号を生成する。
【００３９】
本発明の実施形態２は、スペクトルパワー（スペクトル−ゲイン）フィルタリングに関するものである。ここで使用されるフィルタ４０は反復フィルタである。このフィルタは、雑音参照源とマイクロホン間の伝達関数の大きさの推定値に関連する校正ゲインを生成する。校正ゲインは単一の値／信号か、スペクトル値／信号である。
【００４０】
また、本発明の音声信号前処理装置は、校正ゲインの最大許容変化率をモニタし制限する制限部４４を備えている。これは、伝達関数の大きさは変化するが比較的ゆっくり変化するという認識に基づく（つまり、変化率がある限界値よりも小さい）。生成された校正ゲインが早い変化率で変動し始める場合、これは、音声や一過性ノイズといった雑音参照源に関連しない他成分によって、マイクロホン信号が不安定になっていることを示す。
【００４１】
このように、制限部４４が一過性ノイズや音声に起因する乱れを自動的に阻止するので、専用の一過性ノイズ検出器や専用の音声区間検出器備える必要性が無い。
【００４２】
好ましくは、伝達関数の大きさの変化に校正ゲインが対応できるように、閾値の上限値は、予想される変化率範囲内にて充分大きく設定されていることが好ましい。更には、伝達関数に関連しない成分の急速な変動によって校正ゲインが乱されないように、閾値の下限値は、充分小さく設定されていることが好ましい。
【００４３】
校正ゲインは周期的に生成され、新たに生成された校正ゲインは、比較（参照）値と比較される。比較値は、校正ゲインの一つもしくは複数の前の値から求められる。新しい校正ゲインと比較値の差異が一定の閾値を超える場合、新しい校正ゲインは比較値へ置き換えられる。この閾値とは、比較値の所定割合、たとえば、比較値の約２０％である。
【００４４】
校正ゲインは、可変倍率を有する。速度に関連したノイズを考慮するために、可変倍率は車速に依存してもよい。
【００４５】
本発明の実施形態では、マイクロホン信号から車両ノイズを低減する技術を説明する。これによると、よりクリアな音声信号を得ることができ、車載音声認識システムやハンズフリー電話用に音声をより効果的に認識することができる。第一の態様によると、コヒーレントフィルタリングと非コヒーレントフィルタリングを順に実行する。各フィルタリングは、それぞれに対応する非音響雑音参照源に基づいて行われる。コヒーレントフィルタリングは、非コヒーレントフィルタリングの前に実行されてもよい。他の態様によると、雑音参照源とマイクロホン間の伝達関数の大きさの推定値に関連する校正ゲインの最大許容変化率を制限することで、スペクトル−ゲインフィルタリングを実行する。このように、校正ゲインの最大許容変化率を制限することで、一過性ノイズや音声に起因する乱れを自動的に阻止することができ、結果、従来のように音声区間検出器の必要性が無くなる。
【００４６】
実施形態１及び実施形態２は、別々に実施しても、組み合わせてもよい。
【００４７】
次に、本発明の実施形態を具体的に説明する。
【００４８】
（実施形態１）
図１は、本発明の実施形態１に係る音声信号処理装置１（音声信号前処理装置１０）の作動原理を示す。
【００４９】
図１に示すように、音声信号処理装置１は、音声信号前処理装置１０と、マイクロホン１２と、音声認識部１６と、第１雑音参照センサ（非音響コヒーレント雑音センサ）２８と、第２雑音参照センサ（請求項でいう非音響雑音参照センサ、または、非音響非コヒーレント雑音センサ）３０とを備えている。図１において、音声信号前処理装置１０は、マイクロホン１２が受信した音声信号から外来ノイズを低減するように構成されている。本発明の実施形態１の音声信号処理前処理装置１０は、コスト上の理由で一つのマイクロホン１２に対して適用されるが、必要に応じて、複数のマイクロホンによって構成されたより高価なネットワークに対して適用されてもよい。音声信号前処理装置１０の出力１４は、音声認識部１６へ入力される。音声信号前処理装置１０は、車両内で発生する幾つかの外来ノイズを低減するように特に構成されている。音声認識部１６の出力は、例えば、車載電気機器への入力信号の生成に使用される。更にはもしくはあるいは、音声信号前処理装置１０は音声認識の有無に関わらずフィルタリングされたボイス信号を出力し、それらボイス信号は携帯電話のような車両通信システムに用いられる。携帯電話は、ハンズフリータイプの電話も含む。
【００５０】
音声信号前処理装置１０は、専用のハードウェア回路、構築可能なハードウェア、プロセッサが実行するフィルタリングアルゴリズム、もしくはこれらのいずれかを組み合わせることで実行される。更に、音声信号前処理装置１０は、例えば特定用途向けＩＣ（ＡＳＩＣ）のような集積回路内にて実行され、同一集積回路内にて音声認識部１６と共に作動してもよい。
【００５１】
一般に、マイクロホン１２が受信した音響信号x(n)は、以下成分のうち少なくとも一つを有する。
【００５２】
音声信号成分s(n)：話者が発話している間に含まれる成分で、音声認識部１６へ出力されるべき、ノイズが付加されていない希望信号。 
コヒーレント雑音成分c(n)：少なくとも一つの第一雑音参照信号とコヒーレントな成分で、例えば車両オーディオ系統（例：ラジオ、オーディオ、ビデオプレーヤ）の出力である。
【００５３】
非コヒーレント雑音成分nc(n)：車両内の雑音参照信号と非コヒーレントな成分で、以下成分のうち少なくとも一つを有する。
【００５４】
非コヒーレント車両成分ncv(n)：第二車両雑音参照信号と非コヒーレントであるが、パワースペクトラムにて第二車両雑音参照信号と相関関係にある成分。例えばエンジン音やタイヤノイズである。
【００５５】
外部の比較的安定した成分（外部定常成分）d(n)：厳密に言うと第二車両雑音参照信号と関連は無いが、時間の経過とともに比較的ゆっくり変化する成分。例えば道路ノイズ、雨音や風音などである。
【００５６】
一過性成分t(n)：車両のホーン、他車両によるノイズ、車両外部の一過性ノイズなどである。よって、nc(n)= ncv(n)+ d(n)+ t(n)
一般に、音声信号前処理装置１０は、第一フィルタ２０と第二フィルタ２２とを有し、これら第一、第二フィルタ２０、２２は、互いに関連しているかもしくは順に実行される。第一、第二フィルタ２０、２２の一方は、コヒーレント雑音低減アルゴリズムＣＮＲＡ（例えば線形フィルタ）に従って雑音を低減するコヒーレントフィルタ２４である。コヒーレントフィルタ２４は、コヒーレント雑音成分c(n)を低減する。第一、第二フィルタ２０、２２の他方は、非コヒーレントアルゴリズム（例：非線形フィルタ、非線形雑音低減アルゴリズムＮＬＮＲ）に従って雑音を低減する非コヒーレントフィルタ２６である。非コヒーレントフィルタ２６は、非コヒーレント雑音成分nc(n)（即ち、非コヒーレント車両成分ncv(n)か、さらに選択的に、外部定常成分d(n)を加えてもよい）を低減する。
【００５７】
本発明の実施形態１では、コヒーレントフィルタ２４の後に非コヒーレントフィルタ２６が実行されるので、フィルタリング性能が向上する。また、コヒーレントフィルタ２４によってより効率的に低減される雑音成分によって、非コヒーレントフィルタ２６が偏調されることを防ぐ。
【００５８】
コヒーレントフィルタと非コヒーレントフィルタを順番に実行することで、従来に比べ、様々な外来ノイズ成分をより広範囲（様々なノイズの種類）に渡って低減できる。
【００５９】
コヒーレントフィルタ２４および非コヒーレントフィルタ２６はそれぞれ、第一雑音参照センサ２８の第一雑音参照信号と第二雑音参照センサ３０の第二雑音参照信号を受信する。これら第一、第二雑音参照信号は、コヒーレントもしくは非コヒーレント雑音成分を低減するのに用いられる。第一、第二雑音参照センサ２８、３０は非音響参照センサであるので、マイクロホン１２を介して受信する音声信号との混信が回避される。コヒーレントフィルタ２４用の第一雑音参照センサ２８は、例えば、車両のラジオプレーヤおよび／もしくはミュージックプレーヤ（オーディオ系統）のスピーカー駆動信号へ直結（たとえば非音響）しているが、電気的接続であってもよい。スピーカー駆動信号は、モノラル信号、ステレオ信号、もしくは多次元信号（例えばサラウンド・サウンド）である。ステレオ信号や多次元信号の場合、別々の信号が個々の雑音参照信号として適用されるので、コヒーレントフィルタ２４へは複数の雑音参照信号が入力される。このように、複数の雑音参照信号が入力される場合、コヒーレントフィルタ２４のフィルタリング性能は増大するが、フィルタリングが複雑化するおそれがある。一方、複数のもしくは全ての受信信号をダウンミックスして、雑音参照信号の数を減らす場合は、フィルタリングの複雑化を低減できる。例えば、ステレオ信号がモノラル信号へダウンミックスされると、元の二つのステレオ信号成分を基に生成された単一の雑音参照信号がフィルタ２４、２６へ入力されることとなる。信号のダウンミックスは、コヒーレントフィルタ２４の最終性能特性を下げることにはなるが、実際には、フィルタリング性能には著しく有効であることが立証されている。このようなダウンミックスは、所望の性能レベル範囲内にて費用対性能比を最適化する。複数の信号は、適宜同等にダウンミックスされてもよいし、重み付けされてもよい。
【００６０】
非コヒーレントフィルタ２６用の第二雑音参照センサ３０は非音響センサであり、例えば、車体や車両フロアに搭載される加速度計や振動センサである。図２は、第一雑音参照センサ２８、第二雑音参照センサ３０およびマイクロホン１２の配置を模式的に図示する。マイクロホン１２は、車室の運転手近くに配置され、発話者（この場合は運転手）の話言葉を受信する。第一雑音参照源２８は車両オーディオ系に直結している。第二雑音参照センサ３０は、一般的には、車体や車両フロアに取り付けられ、機械的信号を受信する。
【００６１】
図３は、音声信号前処理装置１０の詳細な構造を図示する。音声信号前処理装置１０は、マイクロホン１２から受信される信号、第一雑音参照センサ２８および第二雑音参照センサ３０から供給される信号を受信する入力部３２を備える。入力部３２は、受信した信号がデジタル形式で無い場合にその信号をデジタル化（２値化）するデジタル部を有する。入力部３２は、生成したデジタル信号を重複フレームへ分割するフレーム部を有する。各フレーム時間は、例えば、１フレーム当たり略１０ｍｓである。入力部３２は、Ｎ個（所定値）の周波数バンドへ受信信号を分離するバンド分離部を更に有する。例えば、バンド分離部は高速フーリエ変換（ＦＦＴ）を用いて実行される。周波数バンドは、周波数領域内にて対数尺度で記載される。これにより、数オクターブにわたる信号の質を一様に維持することができ、処理が複雑化することを抑制できる。マイクロホン１２、第一雑音参照センサ２８および第二雑音参照センサ３０から受信される信号は、入力部３２にてデジタル化され、信号１２ａ、２８ａおよび３０ａというデジタル形式で入力部３２から出力される。これら信号１２ａ、２８ａおよび３０ａは、時間領域にてフレームへ分割され、周波数領域のＮ周波数バンドへも分割されたものである。周波数バンド数Ｎは、２５０Ｈｚ〜６ｋＨｚの周波数領域において約１１に定められる。
【００６２】
音声信号前処理装置１０は、フィルタリングされたＮ個のサブバンド信号を合成することで出力信号を生成する出力部３６を更に備える。出力部３６は、周波数領域から時間領域へＮサブバンド信号を変換する逆ＦＦＴ（逆フーリエ変換）と、信号を生成する重複加算部を有する。
【００６３】
コヒーレントフィルタ２４および非コヒーレントフィルタ２６としていずれのフィルタも適用できるが、コヒーレントフィルタ２４は第一雑音参照信号とコヒーレントなノイズを低減する線形フィルタであり、非コヒーレントフィルタ２６は第二雑音参照信号と非コヒーレントでもパワースペクトラムにて相関関係にあるノイズを低減する非線形フィルタである。図４、５は、コヒーレントフィルタ２４の一例を図示する。図４を参照すると  （および、車両のスピーカーから供給されるコヒーレント外来ノイズだけを考慮する）、マイクロホン１２の信号（以下、マイクロホン信号）x(n)は、以下のとおり示される。
【００６４】
x(n)=s(n)+gc(a(n))
ここで、s(n)はサンプリングされた音声成分信号で、外来ノイズが含まれていない希望信号である。a(n)はスピーカーへ送信される信号で、第一雑音参照センサ２８からの第一雑音参照信号である。gcはスピーカーからマイクロホン１２への伝達関数であり、線形である。時系列信号を重複フレームへ分割し、各信号にＦＦＴ（フーリエ変換）を施した後、各フレームiに対して周波数を２値化表示した次式にてXi(k)を求める。Xi(k)=FFT(xi),Si(k)=FFT(si),Ai(k) =FFT(ai) and Gic(k)=FFT(gic)
このような表記でコヒーレントフィルタ２４は図５に示される。ここで、kは周波数に対応するビンの数を示す変数であり、フレーム数を示すiは簡略化のため省略されている。
【００６５】
X(k)現在のフレームにおけるマイクロホン信号を示し、
S(k)は現在のフレームにおけるノイズが付加されていない音声信号を示し、
Gc(k)は現在のフレームにおけるスピーカーとマイクロホン間の伝達関数を示し、
A(k)は現在のフレームにおけるオーディオ参照信号を示し、
H(k)は現在のフレームにおける改良型ウィナーアルゴリズムによる伝達関数Gc(k)の推定値を示し、数１は現在のフレームにおけるコヒーレントフィルタ２４の出力値であり、音声が強調された音声信号を示す。
【数１】
2008070877.tif 000003
【００６６】
関数H(k)は、周波数領域内でのウィナーフィルターという雑音低減方法に基づく。複数のスピーカーからマイクロホン１２への音響伝達は線形であると考えられる。関数H(k)を推定するアルゴリズムは、適応処理というよりむしろ反復処理である。反復処理を使う場合、フィルタ更新は、入力値A(k) およびX(k)にのみ依存し出力値（数１）とは無関係である。よって、フィルタ更新の安定性が向上する。
【００６７】
例えば、フィルタ係数Hは、以下のアルゴリズムにより繰り返し推定される。
【００６８】
H(k)=γXA(k)γ-1AA(k)
ここで、γXA(k)は、マイクロホン信号とオーディオ参照信号間のクロススペクトラムの推定値を示し、γAA(k)は、オーディオ参照信号スペクトラムの推定値を示し、γXA(k)とγAA(k)は、現在のフレームにおいて繰り返し推定され、先のフレームにおけるそれぞれの値と現在のフレームにおける瞬間スペクトラム値とクロススペクトラム値に依存する。
【００６９】
コヒーレントフィルタ２４は、車両用ミュージックプレーヤ／ラジオが現在ＯＮ状態かどうかを決定する第一スイッチング部３４を更に備える、もしくはそれと関連している。スイッチング部３４は、車両用ミュージックプレーヤ／ラジオがＯＮ状態の時、コヒーレントフィルタ２４のみが作動するように制御する。たとえば、スイッチング部３４は、車両用ミュージックプレーヤ／ラジオから供給される”ON/OFF”表示信号を直接受信するか、もしくは第一雑音参照センサからの入力信号２８ａからの入力信号の値がある閾値より大きいかを決定する閾値スイッチを有してもよい。スイッチング部３４は、コヒーレントフィルタ２４の全バンドに対して単一のon/off制御をするか、各バンドに対して個別制御を行う。
【００７０】
（実施形態２）
図６，図７を用いて非コヒーレントフィルタ２６の一例を図示する。図示される一例は、特に実施形態１の音声信号前処理装置１０での使用に適しているが、実施形態２はこれに限らず、スペクトラルパワーにて低減されるノイズに関連する雑音参照信号に基づいてノイズを低減する装置（特に車載装置）に適用できる。
【００７１】
実施形態２の特徴事項は、音声区間検出器（ＶＡＤ）モジュールを用いずにフィルタリングすることにある。ＶＡＤ検出器は、従来のスペクトルサブトラクションフィルタでは一般に必要とされているが、安定性にかけるという問題がある。
【００７２】
本実施形態２詳細な説明の前に、理解を深めるために、ＶＡＤモジュールを有する１チャンネル用のスペクトルサブトラクションの原理を説明する。１チャンネルスペクトルサブトラクションの原理は、以下のとおりである。
【００７３】
図１０に示すとおり、x(n)は、サンプル音声s(n)と雑音b(n)を含有するマイクロホンからのサンプル信号を示す。
【００７４】
出力値（数２）は、強調された音声信号である。
【数２】
2008070877.tif 000004
【００７５】
同じ周波数領域において各フレーム毎に前述と同じ記号を用いると、出力値（数２）は数３の通り求められる。
【数３】
2008070877.tif 000005
【００７６】
ここで、G(k)（数５）はゲイン関数で、数４は無発声中の雑音推定値である。
【数４】
2008070877.tif 000006
【数５】
2008070877.tif 000007
【００７７】
h(.)は、スペクトラムの変化に基づく関数である。これらは、（S.V.Vaseghi、「Advanced Digital Signal Processing and Noise Reduction」誌、John Wiley & Sons Ltd出版、２０００年）に開示されている。
【００７８】
１チャンネルスペクトルサブトラクションは効果的である一方、雑音を含む音声フレームと雑音のみのフレームを識別するのにＶＡＤの性能に大変依存する。
【００７９】
図６に示す実施形態２は、x(n)は、マイクロホン１２から伝送されるサンプル信号を示すが、実施形態１コヒーレントフィルタ２４にてすでに低減されたコヒーレント成分はこのサンプル信号には含まれていない。
【００８０】
図６に示す実施形態２では、コヒーレントフィルタ２４の図示及び説明を省略するが、実施形態１と同様にこれら２つのフィルタ２４，２６は連続して実行されてもよい。
【００８１】
x(n)は、サンプル音声成分s(n)と非コヒーレント雑音成分 nc(n)を含有する。nc(n)は、非コヒーレント車両成分ncv(n)、外部定常成分d(n)および一過性成分t(n)から構成される。マイクロホン１２で受信した非コヒーレント車両成分ncv(n)は、非線形関数fNC:ncv(n)=fNC(r(n))によって第二雑音参照センサ３０で受信する信号r(n)に関連付けられている。時系列信号を互いに少しずつ重複するフレームへ分割し各信号にフーリエ変換（ＦＦＴ）を施した後、各フレームi、周波数ビンkに対してXi(k)を求める。 
Xi(k)=FFT(xi),Si(k)=FFT(si), NCVi(k)=FFT(ncvi), Di(k)=FFT(di), Ti(k)=FFT(ti)
非線形フィルタ２６ は、これらの表記法を用いて図７に示される。ここで、kは周波数に対応するビンを表す変数であり、フレーム番号を示すiは簡略化のため省略されている。
【００８２】
X(k)=S(k)+NCV(k)+D(k)+T(k)
マイクロホン１２が受信するノイズの多くは振動センサによっても受信されると仮定すると、振動センサは雑音参照センサとして用いられ、スペクトルサブトラクションに基づく技法によって線形フィルタの出力である信号に含まれる雑音を低減する。ここで、線形フィルタから出力されるノイズ成分と振動参照信号成分は非コヒーレントであるがパワースペクトラムにおいては互いに関連している点がポイントである。
【００８３】
非コヒーレントフィルタ２６は、マイクロホン信号Xへスペクトルサブトラクション関数GNCを適用することで、スペクトルサブトラクションを行うゲイン部４０を有する。スペクトルサブトラクション関数GNCは、GNC(k)=GNC[R(k),X(k),ref_calib]と表される非線形関数である。非コヒーレントフィルタ２６は非線形フィルタであるので、スペクトルサブトラクションによってノイズをキャンセルする用に実行される。GNCは、１チャンネルのスペクトルサブトラクションで用いられるゲインに似ている。推定音声信号（数６）は、数７の通り演算される。
【数６】
2008070877.tif 000008
【数７】
2008070877.tif 000009
【００８４】
ゲイン部４０は、マイクロホン信号X(k)と、校正ゲインref_calibで増幅した雑音参照信号R(k)である、新たな雑音参照信号４２ref_calib*R(k)を受信する。校正ゲインref_calibは、例えば校正部４４にて算出される。校正ゲイン “ref_calib” は、参照信号センサとマイクロホン間の伝達関数の２乗値の大きさの推定値であるか、もしくはそれに関連した値である。校正ゲインref_calibは、単一の値もしくは信号であるか、スペクトル成分を有する。非コヒーレントフィルタ２６は、第二雑音参照源の信号R(k)に校正ゲインref_calibを掛け合わせる乗算部４６を有する。校正ゲイン“ref_calib”の推定は、以下原則に則り、更新アルゴリズムにより連続的に行われる。
【００８５】
(ａ)雑音参照信号とマイクロホン間の伝達関数は、比較的ゆっくりとした時間で（例えば、秒オーダ）変化する。車両の通常運転中は、マイクロホン信号のスペクトラル変動幅は、第二雑音参照センサ３０の信号のスペクトラル変動幅とおおよそ比例する。また、マイクロホン信号と第二雑音参照センサ３０の信号それぞれが急速に変化するとしても、依然としてスペクトラル変動幅は互いに比例関係である。これは、非コヒーレント車両成分NCV(k)と雑音参照信号R(k)がパワースペクトラムにおいて互いに関連していることによるものである。
【００８６】
(ｂ)外部の比較的安定した成分D(k)は、比較的ゆっくりと、かつ車両速度と共に変動すると仮定される。外部の比較的安定した成分D(k)は、校正ゲインref_calibの倍率λによって調整される。
【００８７】
(ｃ) 校正ゲインref_calibの推定方法としてはいくつかあるが、次式で推定してもよい。         ref_calib=λEx/Er
ここで、Exは、マイクロホン信号の瞬時パワーの推定値を示す。例えば、Exは数８の通り求められる。
【数８】
2008070877.tif 000010
【００８８】
ここで、 フレームＬは、通常、秒単位、たとえば０．５秒間継続する。Erは、第二雑音参照信号の瞬時パワーの推定値を示す。例えば、Erは以下の数９の通り求められる。
【数９】
2008070877.tif 000011
【００８９】
ここで、フレームＬは、通常、秒単位、たとえば０．５秒間継続する。λ(1)は、非コヒーレント車両成分NCV(k)の割合（寄与度）を過大に推定せずに、また外部の比較的安定な成分D(k)も考慮するために用いられる要素である。λは一般に、約０．７〜約１の範囲にて変動し、その変動率は車両速度に依存する。
【００９０】
パワースペクトラムの大きさは一般に約０．５〜１秒間毎に推定され、校正ゲインref_calibは一般に約１〜約３秒間毎に推定される。
【００９１】
(ｄ)  伝達関数（雑音参照センサとマイクロホン間）と│D(k)│2は比較的ゆっくり変化するので、両信号X(k)とR(k)の２乗値の大きさ間で不均衡な差異が生じる場合、これは、音声信号S(k)もしくは一過性ノイズT(k)中に外部混乱が存在することを示す。変化閾値もしくは変化率閾値が推定部４４によって求められた校正ゲインref_calibに適用されることで、校正ゲインref_calibはそういった外部雑音によってゆがめられないようにすることができる。例えば、校正ゲインref_calibの値が前回値より約２０％より大きく変化している場合、その変化は反映されず、校正ゲインref_calibの前回値が代用される。
【００９２】
上記のように、校正ゲインの変化率が所定の閾値を越えて変化しないように、校正ゲインが制限部４４により制限される。
【００９３】
この技法により、本実施形態２では、ＶＡＤを用いる必要が無く、一過性雑音検出器を用いる必要も無い。これらに代わって変化閾値を用いることで、校正ゲインref_calibをグローバルコントロールできるようになり、音声信号S(k)もしくは一過性ノイズT(k)による外乱を回避できる。ＶＡＤは従来の処理回路において効果的に実装するために問題があるため、ＶＡＤの必要性が無いというのは技術的に大変有意義である。
【００９４】
(ｅ)  変化閾値は、以下のように選定されてもよい。
【００９５】
（イ）校正ゲインref_calib  が、振動センサとマイクロホンとの間の伝達関数値の通常の変化に追従する程度十分に大きくなるように変化閾値を選定する。
【００９６】
（ロ）上記の伝達関数の大きさの変化率が速すぎて変化できない程の変化率をもつ信号成分によって、校正ゲインref_calibが、外乱を受けないように十分に小さい値に変化閾値を選定する。上記の通り、約２０％程度の変化閾値が効果的である。
【００９７】
図８からも明らかな通り、非コヒーレントフィルタ２６は、実施形態１の場合と同様に複数の周波数バンドを持つように分割設定される。非コヒーレントフィルタ２６は、入力値を時間毎にフレーム分割し、入力信号x(n)と非コヒーレント雑音参照センサからの入力信号r(n)を周波数バンドへ分割する入力部５０を有する。入力部５０は、それら信号を周波数バンドへ分割するＦＦＴ部を有する。非コヒーレントフィルタ２６は、複数のサブフィルタ部２６'からの信号を合成する出力部５２を有する。出力部５２は逆ＦＦＴ部を有する。本実施形態２の非コヒーレントフィルタ２６が実施形態１に含まれる場合、入力部５０及び出力部５２は、本実施形態１の入力部３２と出力部３６によって代わりに実行されてもよく、非コヒーレントフィルタ２６中にて再度実行されなくてもよい。
【００９８】
図９は、実施形態２が独立して実施される場合のマイクロホン１２と非音響非コヒーレント雑音参照信号センサ３０の車両中での一配置例を示す。マイクロホン１２は、運転手近くに設置され、運転手の音声を音響的に受信する。非音響非コヒーレント雑音参照信号センサ３０は、車体もしくは車両フロアに通常備え付けられ、機械的振動を受信する。非コヒーレントフィルタ２６の出力信号は、実施形態１と同様に、音声認識回路（図示無し）に送信される。
【００９９】
本発明は、音声信号を含む入力信号を処理して前記入力信号含まれる雑音成分を低減させる音声信号前処理方法であって、該音声信号前処理方法は、非音響雑音参照信号を受信し、前記雑音参照信号の雑音源と音声を含む入力信号との間の伝達関数の大きさの推定値に関連する校正ゲインを演算する工程と、前記雑音参照信号と前記校正ゲインとに基づいて求められるスペクトラル−ゲイン関数にて前記入力信号にスペクトラム−ゲインフィルタリングを実行する工程と前記校正ゲインの変化率が所定の閾値を越えて変化しないように前記校正ゲインを制限する工程とを備えるものであってもよい。
【０１００】
また、本発明は、上記方法をコンピュータに実行させることを特徴とする音声信号前処理用のプログラムであってもよい。
【図面の簡単な説明】
【０１０１】
【図１】図１は、実施形態１の音声信号前処理装置原理を模式的に示した概略図である。
【図２】図２は、車両内でのマイクロホンと非音響雑音参照センサとの配置を模式的に示した概略図である。
【図３】図３は、音声信号前処理装置の詳細を模式的に示したブロック図である。
【図４】図４は、コヒーレントフィルタリングの原理を模式的に示した概略図である。
【図５】図５は、コヒーレントフィルタの構造の詳細を模式的に示した概略図である。
【図６】図６は、実施形態２の非コヒーレントフィルタリングの原理を模式的に示した概略図である。
【図７】図７は、非コヒーレントフィルタを模式的に示したブロック図である。
【図８】図８は、非コヒーレントフィルタの構造の詳細を模式的に示したブロック図である。
【図９】図９は、実施形態２が実施形態１とは独立して用いられる場合のマイクロホンと非音響雑音参照センサの配置を模式的に示す図である。
【図１０】図１０は、１チャンネルスペクトルサブトラクションの原理を模式的に示す図である。
【符号の説明】
【０１０２】
１  音声信号処理装置
１０  音声信号前処理装置
１２  マイクロホン
１６  音声認識部
２０  第一フィルタ
２２  第二フィルタ
２８  第一雑音参照センサ（非音響コヒーレント雑音センサ）
３０  第二雑音参照センサ（非音響非コヒーレント雑音センサ、非音響雑音参照センサ）
【図１】
2008070877.tif 000012
【図２】
2008070877.tif 000013
【図３】
2008070877.tif 000014
【図４】
2008070877.tif 000015
【図５】
2008070877.tif 000016
【図６】
2008070877.tif 000017
【図７】
2008070877.tif 000018
【図８】
2008070877.tif 000019
【図９】
2008070877.tif 000020
【図１０】
2008070877.tif 000021