(57)【特許請求の範囲】
【請求項１】
メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力する処理とを、
行うことを含むことを特徴とするデュアルマイクに基づく音声残響低減方法。
【請求項２】
前記メインマイク入力信号の後期残響推定信号を得た後、時間ドメインから周波数ドメインへの変換を行う前に、
前記メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなるように、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行うことと、
この周波数補償が行われた信号に対して時間ドメインから周波数ドメインへの変換を行って、前記メインマイク入力信号の後期残響スペクトルを得ることとを、
更に含むことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
【請求項３】
前記伝達関数ｈ（ｔ）によって残響の強さを判断することは、下記の式によって残響の強さを表すパラメータρを算出し、
0005785674.tif 000054
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸において指定された境界点であり、
前記利得函数の調節因子βを算出することは、下記の式によってβを算出し、
0005785674.tif 000055
そのうち、ρ１とρ２が設定値である、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
【請求項４】
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出することは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出し、
0005785674.tif 000056
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、
0005785674.tif 000057
がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
【請求項５】
前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得することは、
伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得ることを含む、
ことを特徴とする請求項１に記載のデュアルマイクに基づく音声残響低減方法。
【請求項６】
メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、そのうち、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力して、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してからメインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とするデュアルマイクに基づく音声残響低減装置。
【請求項７】
前記残響スペクトル推定ユニットは、伝達関数算出ユニット、伝達関数テーリング算出ユニット、残響強さ判断ユニット、後期残響推定ユニット及び第一の時間／周波数変換ユニットを含み、更に周波数補償ユニットを含み、
前記スペクトル減算ユニットは、第二の時間／周波数変換ユニット、利得函数算出ユニット、残響除去ユニット、周波数／時間変換ユニット及び重畳加算ユニットを含み、そのうち、
伝達関数算出ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット及び残響強さ判断ユニットに出力するために用いられ、
伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求めて後期残響推定ユニットに出力するために用いられ、
残響強さ判断ユニットは、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出して利得函数算出ユニットに出力するために用いられ、
後期残響推定ユニットは、前記補助マイク入力信号を受信し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニットに出力するために用いられ、
周波数補償ユニットは、前記メインマイク入力信号の後期残響推定信号に対して周波数補償を行って、第一の時間／周波数変換ユニットに出力するために用いられ、そのうち、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなり、
第一の時間／周波数変換ユニットは、前記周波数補償されたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニットに出力するために用いられ、
第二の時間／周波数変換ユニットは、前記メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得て利得函数算出ユニットに出力するために用いられ、
利得函数算出ユニットは、前記第二の時間／周波数変換ユニットから出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニットから出力された利得函数の調節因子β及び第一の時間/周波数変換ユニットから出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出して、残響除去ユニットに出力するために用いられ、
残響除去ユニットは、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得て、周波数／時間変換ユニットに出力し、
周波数／時間変換ユニットは、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、重畳加算ユニットに出力するために用いられ、
重畳加算ユニットは、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、
ことを特徴とする請求項６に記載のデュアルマイクに基づく音声残響低減装置。
【請求項８】
前記残響強さ判断ユニットは、下記の式によって残響の強さを表すパラメータρを算出するために用いられ、
0005785674.tif 000058
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点であり、
そして、下記の式によって利得函数の調節因子βを算出するために用いられ、
0005785674.tif 000059
そのうち、ρ１とρ２が設定値である、
ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
【請求項９】
前記利得函数算出ユニットは、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出するために用いられ、
0005785674.tif 000060
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、
0005785674.tif 000061
がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである、
ことを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
【請求項１０】
前記伝達関数テーリング算出ユニットは、前記伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得るために用いられることを特徴とする請求項７に記載のデュアルマイクに基づく音声残響低減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声強調技術分野に関し、特に、デュアルマイクに基づく音声残響低減方法及びその装置に関する。
【背景技術】
【０００２】
音響信号が室内での伝播過程中、壁、地面等のハードインターフェイスの音響に対する反射のため、マイクロフォンに到達した音響は、音源から直接に伝わってきた直接音に加えて、一回又は複数回の反射を経て伝わってきた音響信号も含まれており、これらの非直接音が残響信号を構成している。一回又は少ない回数の反射を経た音響信号が早期反射信号と称され、早期反射信号が早期残響信号を構成しており、早期残響信号が音声に対して強調作用を果たすことがある。複数回の反射を経た音響信号が後期反射信号と称され、後期反射信号が後期残響信号を構成しており、後期残響が強いと音声の明瞭度を低減することになる。
【０００３】
一部のハンズフリー音声通信において、通話者がマイクロフォンから遠く離れており、音声の明瞭度が部屋の残響によって低下してしまい、通話品質が低下することになる。そのため、残響を低減し音声の明瞭度を高める技術が必要とされる。マイクロフォン受信信号は、直接音信号と残響信号とを含み、また、前述から分かるように、残響は、早期残響と後期残響に更に分かれている。そのうち、音声の明瞭度を低減するのは、主に後期残響であり、早期残響は、通常、音声に対して強調作用を果たす。従って、明瞭度を高める肝心な点は、後期残響信号を低減することである。
【０００４】
種々の残響低減技術において、デュアルマイクに基づくスペクトル減算の残響除去方法が広く注目されている。従来の、デュアルマイクに基づくスペクトル減算の残響除去方法において、適応ビーム形成（ＧＳＣ）構造は二つの通路の信号が得られ、第一通路の信号が遅延／加算ビームフォーマの出力であり、第二通路の信号がブロッキング行列の出力である。二つの通路の信号のエネルギーエンベロープは、適応フィルタによって第一通路信号の残響を推定してから、スペクトル減算法によって残響を除去する。この方法には、以下の欠点がある。
１）早期残響が除去されて、処理後の音響が薄くなる。
２）残響の強さに対して判断せず、異なる残響の場合においても同じスペクトル減算処理を用いることで、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷する可能性がある。
３）直接音の到来方向を正確に推定して、直接音を分離する必要があるので、マイクロフォンに高い一致性が要求され、音響設計に対しても厳しい制限がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、上記問題に鑑みて、上記問題が解消されるか又は少なくとも部分的に解消されるデュアルマイクに基づく音声残響低減方法及びその装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の一つの局面によると、メインマイク入力信号及び補助マイク入力信号を受信し、フレームごとにメインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する処理と、
前記伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、該伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する処理と、
前記補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得る処理と、
前記メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得て、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得る処理と、
前記メインマイク入力信号の周波数スペクトル、前記利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって、利得函数を算出する処理と、
前記メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得る処理と、
前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得る処理と、
前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力する処理とを行う、
デュアルマイクに基づく音声残響低減方法が提供される。
【０００７】
本発明のもう一つの局面によると、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、残響スペクトル推定ユニットとスペクトル減算ユニットとを含み、
前記残響スペクトル推定ユニットは、メインマイク入力信号及び補助マイク入力信号を受信し、前記メインマイク入力信号及び補助マイク入力信号によって、前記補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、該伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、前記伝達関数ｈ（ｔ）によって残響の強さを判断し、利得函数の調節因子βを算出してスペクトル減算ユニットに出力し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニットに出力するために用いられ、
前記スペクトル減算ユニットは、メインマイク入力信号、前記残響スペクトル推定ユニットから出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、前記メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、前記メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、前記メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行ってメインマイク入力信号の残響除去後の時間ドメイン信号を得て、前記メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響除去後の連続信号を出力するために用いられる、デュアルマイクに基づく音声残響低減装置が提供される。
【発明の効果】
【０００８】
上記から分かるように、本発明は、メインマイク入力信号及び補助マイク入力信号によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出し、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取って、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出し、そして、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、即ち、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、処理後の音響が薄くなることがなく、音声の品質が向上する。同時に、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような手段において、直接音の到来方向を正確に推定する必要がないため、マイクロフォンが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例に挙げられた励磁信号からマイクロフォン入力信号までの伝達関数のグラフである。
【図２】本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数のグラフである。
【図３】本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。
【図４】本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。
【図５Ａ】本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。
【図５Ｂ】本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。
【図５Ｃ】本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。
【図５Ｄ】本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。
【図６Ａ】本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。
【図６Ｂ】本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。
【図７Ａ】本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。
【図７Ｂ】本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。
【図７Ｃ】本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。
【図７Ｄ】本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。
【図８】本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。
【図９】本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。
【発明を実施するための形態】
【００１０】
まず、初めに、本出願書類の記載において、出願書類の簡潔のために、「マイクロフォン」を「マイク」と略称することとする。
従来技術に対する分析により、より良く残響を低減するために、後期残響を除去すると同時に直接音と早期残響とを保護する必要があるので、正確で安定な後期残響推定及び残響強さ判断が必要とされる。
【００１１】
本発明は、デュアルマイク（メインマイク及び補助マイク）に基づく残響除去の手段を提出しており、残響とデュアルマイク空間の伝達関数との間の近似関係を十分に利用しており、デュアルマイク空間の伝達関数によって後期残響を推定するとともに残響の強さを判断し、スペクトル減算モジュールに合わせて、種々の残響環境においても明瞭度が満たされると同時に、最適に近い音声品質が得られる。また、本発明における手段は、直接音を分離する必要もなく、到来方向の推定を行う必要もないため、マイクの一致性が要求されることなく、音響設計に対する要求が緩和される。
【００１２】
本発明の基本的な原理は、下記の通りになる。デュアルマイクの間の伝達関数の尾部によって後期残響を推定するため、スペクトル減算において直接音と早期残響を良好に保留することができる。そして、後期残響を推定するプロセスに、更に、デュアルマイクの間の伝達関数の頭部と尾部とのエネルギー差によって部屋の残響度合いを推定し、スペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、音声品質を保護する。
【００１３】
本発明の技術手段を明らかにするために、以下、本発明の技術原理について分析説明を行う。
早期残響信号は、音声に対して強調作用を果たすことができるが、後期残響は、音声の明瞭度を低減することになる。図１は、本発明の実施例に挙げられた励磁信号からマイク入力信号までの伝達関数のグラフである。図１を参照して、励磁信号からマイク入力信号までの伝達関数において、ピークが最大の箇所は、直接音に対応しており、通常、最大ピークから離れた或る点を、早期反射と後期反射との境界点として、最大ピークから境界点までの部分が早期残響に対応し、境界点以降の部分が後期残響に対応する。図１において、該境界点が５０ｍｓである。
【００１４】
励磁信号をｓ（ｔ）、マイク入力信号をｘ（ｔ）、励磁信号からマイク入力信号までの伝達関数をｔｆ（ｔ）、直接音と早期残響に対応する部分の伝達関数をｔｆｄ（ｔ）、後期残響に対応する部分の伝達関数をｔｆｒ（ｔ）とそれぞれ記すと、マイク入力信号は、励磁信号と伝達関数との畳み込みｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）と表すことができ、マイク入力信号の直接音と早期残響成分は、ｘｄ（ｔ）＝ｓ（ｔ）＊ｔｆｄ（ｔ）と表すことができ、マイク入力信号の後期残響成分は、ｘｒ（ｔ）＝ｓ（ｔ）＊ｔｆｒ（ｔ）と表すことができる。従って、マイク入力信号はｘ（ｔ）＝ｓ（ｔ）＊ｔｆ（ｔ）＝ｓ（ｔ）＊（ｔｆｄ（ｔ）＋ｔｆｒ（ｔ））＝ｘｄ（ｔ）＋ｘｒ（ｔ）と表すこともできる。
【００１５】
音声の明瞭度はＣ５０で表してもよい。その数式は、下記の通りになる。
0005785674.tif 000002
（１）
ｗ（ｔ）は、励磁信号からマイク入力信号までの伝達関数である。０〜５０ｍｓが直接音と早期残響部分に対応し、５０ｍｓ以降が後期残響部分に対応する。残響が強いほど、Ｃ５０の値が小さくなる。残響除去前後のＣ５０の向上が残響除去効果を反映し得るため、Ｃ５０は、残響除去の客観的評価指標としてもよい。
【００１６】
本発明において、デュアルマイク（メインマイク及び補助マイク）に基づく残響推定原理は、下記の通りになる。図２に示すように、メインマイクの入力信号をｘ２（ｔ）、補助マイクの入力信号をｘ１（ｔ）、補助マイクからメインマイクまでの伝達関数をｈ（ｔ）とそれぞれ記す。図２は、本発明の実施例に挙げられた補助マイクからメインマイクまでの伝達関数ｈ（ｔ）のグラフである。
【００１７】
メインマイクの入力信号ｘ２（ｔ）が、補助マイクの入力信号ｘ１（ｔ）と伝達関数ｈ（ｔ）との畳み込みに等しい。
0005785674.tif 000003
（２）
ｈ（ｔ）は、頭部と尾部との二つの部分に分けることができる。
0005785674.tif 000004
（３）
そのうち、ｈｄ（ｔ）がｈ（ｔ）の頭部を表し、ｈｒ（ｔ）がｈ（ｔ）の尾部を表す。
ｈ（ｔ）のテーリング部分ｈｒ（ｔ）は、信号の、空間における複数回の反射を反映しているため、ｈ（ｔ）のテーリング部分ｈｒ（ｔ）と補助マイク入力信号ｘ１（ｔ）との畳み込み信号
0005785674.tif 000005
は、メインマイクの後期残響成分に近く、メインマイク後期残響成分の推定信号とされる。ｈ（ｔ）において一つの点を選び取ってｈｄ（ｔ）とｈｒ（ｔ）の境界点として、ｈ（ｔ）の境界点の前の値を０にセットして、ｈｒ（ｔ）が得られる。境界点からｈ（ｔ）の最大ピークまでの距離範囲を３０ｍｓ〜８０ｍｓ（経験値）に設置することができる。経験により、境界点からｈ（ｔ）までの最大ピークが５０ｍｓ以上である場合、メインマイクの後期残響推定信号
0005785674.tif 000006
には、直接音と早期反射成分がまったく残留せず、音声への損傷を低減し得るため、本発明の実施例において、境界点として５０ｍｓを取ることを例として説明を行う。
【００１８】
本発明の目的、技術手段及び利点を更に明らかにするために、以下、図面を参照しながら、本発明の実施形態について更に詳しい説明を行う。
図３は、本発明の一つの実施例におけるデュアルマイクに基づく音声残響低減方法の流れの模式図である。図３に示すように、該方法は、主に、残響スペクトル推定部分とスペクトル減算部分とを含み、具体的には、フレームごとに下記の処理を行う。
【００１９】
ステップ１．１  メインマイク入力信号ｘ２（ｔ）及び補助マイク入力信号ｘ１（ｔ）を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．２  伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得する。
ステップ１．３  そして、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出する。
ステップ１．４  補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号
0005785674.tif 000007
を得る。
ステップ１．５  メインマイク入力信号の後期残響推定信号
0005785674.tif 000008
に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトル
0005785674.tif 000009
を得る。
【００２０】
ステップ２．１  メインマイク入力信号ｘ２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルＸ２を得る。
ステップ２．２  メインマイク入力信号の周波数スペクトルＸ２、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトル
0005785674.tif 000010
によって、利得函数Ｇを算出する。
ステップ２．３  メインマイク入力信号の周波数スペクトルＸ２に利得函数Ｇを乗算して、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．４  メインマイク入力信号の残響除去後の周波数スペクトルＤに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）を得る。
ステップ２．５  メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）を出力する。
【００２１】
図３に示す方法において、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号の後期残響推定信号を得てから、スペクトル減算法によってメインマイク入力信号の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトルを差し引くため、メインマイクの入力信号からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。また、図３に示す方法では、後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度がそもそも高い場合に音声品質を損傷しないことが保証され、音声品質が保護される。そして、このような方法において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
【００２２】
本発明の一つの実施例において、図３に示す方法に加えて、メインマイク入力信号の後期残響推定信号とメインマイク入力信号の真実の後期残響成分とを比べ、後期残響推定信号の低周波数域部分での推定不足という問題を更に考慮して、異なるマイク間隔に応じて、ローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行う。具体的には、図４に示す実施例を参照する。
【００２３】
図４は、本発明のその他の実施例におけるデュアルマイクに基づく音声残響低減方法の全体的な流れの模式図である。図４に示すように、システム全体の入力が補助マイク入力信号ｘ１（ｔ）及びメインマイク入力信号ｘ２（ｔ）であり、出力が残響低減後の信号ｘｄ（ｔ）である。大きくいうと、残響スペクトル推定プロセスとスペクトル減算プロセスという二つの部分を含む。図４は、図３に示す方法の流れと比べると、後期残響推定信号に対して周波数補償を行うステップが追加される（図４において、後期残響推定信号に対して周波数補償を行うステップがステップ１．４５であり、時間ドメイン／周波数ドメイン変換ステップは図３と同じくステップ１．５と記す）。以下、図４を参照しながら該方法を詳しく説明する。
【００２４】
１．残響スペクトル推定
入力：補助マイクの入力信号ｘ１（ｔ）、メインマイクの入力信号ｘ２（ｔ）。
出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）、メインマイク入力信号の後期残響スペクトル
0005785674.tif 000011
（スペクトル減算プロセスにおいての一つの入力とする）。
残響スペクトル推定は、ステップ１．１、ステップ１．２、ステップ１．３、ステップ１．４、ステップ１．４５、ステップ１．５との六つのステップを含む。
【００２５】
２．スペクトル減算
入力：メインマイク入力信号ｘ２（ｔ）、利得函数の調節因子β（残響スペクトル推定プロセスにおいての出力）、メインマイク入力信号の後期残響スペクトル
0005785674.tif 000012
（残響スペクトル推定プロセスにおいての出力）。
出力：メインマイク入力信号の残響低減後の信号ｘｄ（ｔ）（システム全体の出力でもある）。
スペクトル減算プロセスは、ステップ２．１、ステップ２．２、ステップ２．３、ステップ２．４、ステップ２．５との五つのステップを含む。
【００２６】
以下、残響スペクトル推定プロセス及びスペクトル減算プロセスにおける各ステップ及びそれらの間の関係を詳しく説明する。
１．残響スペクトル推定プロセス
ステップ１．１  補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出する。
ステップ１．１の入力：補助マイクの入力信号ｘ１（ｔ）及びメインマイクの入力信号ｘ２（ｔ）。
ステップ１．１の出力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．２の入力とする）。
【００２７】
本発明の一つの実施例において、補助マイク入力信号ｘ１（ｔ）とメインマイク入力信号ｘ２（ｔ）とのクロスパワースペクトルＰｘ２ｘ１及び補助マイク入力信号ｘ１（ｔ）のパワースペクトルＰｘ１ｘ１を用いて伝達関数Ｈを算出する。
0005785674.tif 000013
（４）
周波数ドメインの伝達関数Ｈに対して逆フーリエ変換を行って、時間ドメインの伝達関数ｈ（ｔ）を得る。
本発明のその他の実施例において、ｈ（ｔ）の計算は、例えば適応フィルタリングの方法等の異なる方法を用いてもよく、ここでは詳述しない。
【００２８】
ステップ１．２  伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求める。
ステップ１．２の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．２の出力：補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）（ステップ１．４の入力とする）。
【００２９】
本発明の実施例において、伝達関数ｈ（ｔ）の時間軸において、早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）における該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得る。本発明の一つの好ましい実施例において、伝達関数ｈ（ｔ）において一つの点を選び取って、この点のｈ（ｔ）までの最大ピークの距離を５０ｍｓにして、ｈ（ｔ）における該点の前の値を０にセットして、テーリング部分ｈｒ（ｔ）と記す。
【００３０】
ステップ１．３  補助マイクからメインマイクまでの伝達関数ｈ（ｔ）により残響の強さを判断し、利得函数の調節因子βを求める。
ステップ１．３の入力：補助マイクからメインマイクまでの伝達関数ｈ（ｔ）（ステップ１．１の出力）。
ステップ１．３の出力：利得函数の調節因子β（スペクトル減算プロセスにおいての一つの入力とする）。
【００３１】
残響が弱い場合の残響除去による音声に対する損傷を減少するため、このステップ１．３において、残響の強さを判断することで利得函数の調節因子βを算出する。本発明の実施例において、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーとテーリング部分のエネルギーとの比に対して、対数を取ってρと記す。
0005785674.tif 000014
（５）
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数であり、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。該境界点Ｔは、必ずしも早期残響と後期残響との境界点ではないが、該境界点Ｔの前は、必ず直接音を含み、更に、早期残響の一部又は全部を含んでもよい。
【００３２】
図５Ａは、本発明の実施例における音源からメインマイクまでの距離が０．５ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝０．５ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝１２．３ｄＢ、ρ＝９．４ｄＢである。
【００３３】
図５Ｂは、本発明の実施例における音源からメインマイクまでの距離が１ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝１ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝８．１ｄＢ、ρ＝６．０ｄＢである。
【００３４】
図５Ｃは、本発明の実施例における音源からメインマイクまでの距離が２ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝２ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝５．４ｄＢ、ρ＝３．７ｄＢである。
【００３５】
図５Ｄは、本発明の実施例における音源からメインマイクまでの距離が４ｍである時の補助マイクからメインマイクまでの伝達関数のグラフである。音源からメインマイクまでの距離がＬ＝４ｍであると、Ｔの数値範囲が２０ｍｓ〜５０ｍｓであり、ここでＴが５０ｍｓ（即ち境界点Ｔがｈ（ｔ）の最大ピークから５０ｍｓ離れた時間点）を取る時、音声の明瞭度指標がＣ５０＝４．５ｄＢ、ρ＝２．２ｄＢである。
【００３６】
音源がマイクから遠ざかるほど、残響が強くなる。図５Ａ〜図５Ｄから分かるように、残響が強くなるにつれて、補助マイクからメインマイクまでの伝達関数の頭部のエネルギーが低くなり、テーリング部分のエネルギーが高くなり、二者の比について取る対数ρが残響の強さを反映することができる。残響が強くなるにつれて、ρの値がだんだん小さくなる。従って、ρの値によって残響の強さを判断するとともに、これによって利得函数の調節因子βを求める。
【００３７】
前記調節因子βを算出するには複数の方式があり、式（６）は、本発明の実施例におけるβを算出する経験式である。
0005785674.tif 000015
（６）
ρ１及びρ２が設定値を取り、経験値であり、本発明の実施例において、ρ１が９ｄＢ、ρ２が２ｄＢを取る（マイク間隔が６ｃｍである）。
【００３８】
ステップ１．４  補助マイクの入力信号ｘ１（ｔ）と、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）とに畳み込みを行って、メインマイク入力信号の後期残響推定信号
0005785674.tif 000016
を得る。
ステップ１．４の入力：補助マイクの入力信号ｘ１（ｔ）、補助マイクからメインマイクまでの伝達関数のテーリング部分ｈｒ（ｔ）（ステップ１．２の出力）。
ステップ１．４の出力：メインマイク入力信号の後期残響推定信号
0005785674.tif 000017
（ステップ１．４５の入力とする）。
具体的には、下記の式のようになる。
0005785674.tif 000018
（７）
【００３９】
ステップ１．４５  メインマイク入力信号の後期残響推定信号
0005785674.tif 000019
に対して周波数補償を行い、補償後の信号
0005785674.tif 000020
を得る。
ステップ１．４５の入力：メインマイク入力信号の後期残響推定信号
0005785674.tif 000021
（ステップ１．４の出力）。
ステップ１．４５の出力：周波数補償が行われたメインマイク入力信号の後期残響推定信号
0005785674.tif 000022
（ステップ１．５の入力とする）。
【００４０】
メインマイク入力信号の後期残響推定信号
0005785674.tif 000023
とメインマイク入力信号の真実の後期残響成分とを比べると、後期残響推定信号
0005785674.tif 000024
は、低周波数域部分において推定不足である。そのため、本発明において、メインマイク入力信号の後期残響推定信号
0005785674.tif 000025
に対して周波数補償を行う。メインマイクと補助マイクとの間の間隔は、後期残響推定信号
0005785674.tif 000026
に影響を及ぼすため、本発明の実施例において、異なるマイク間隔に応じてローパスフィルタを設けて、後期残響推定信号に対して対応する周波数補償を行い、補償後の後期残響推定信号
0005785674.tif 000027
を得る。
【００４１】
図６Ａは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が６ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。図６Ｂは、本発明の実施例におけるメインマイクと補助マイクとの間の間隔が１８ｃｍである時の周波数補償フィルタの振幅周波数特性のグラフである。ここから分かるように、本発明の実施例において、メインマイクと補助マイクとの間の距離が大きいほど、メインマイク入力信号の後期残響推定信号
0005785674.tif 000028
の低周波数域部分に対して周波数補償を行う度合いが小さくなる。
【００４２】
ステップ１．５  周波数補償が行われたメインマイク入力信号の後期残響推定信号
0005785674.tif 000029
を時間ドメインから周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル
0005785674.tif 000030
を得る。
ステップ１．５の入力：周波数補償が行われたメインマイク入力信号の後期残響推定信号
0005785674.tif 000031
（ステップ１．４５の出力）。
ステップ１．５の出力：メインマイク入力信号の後期残響スペクトル
0005785674.tif 000032
（スペクトル減算プロセスにおいての一つの入力とする）。
周波数補償が行われたメインマイクの後期残響推定信号
0005785674.tif 000033
を周波数ドメインに変換して、メインマイク入力信号の後期残響スペクトル
0005785674.tif 000034
が得られる。
0005785674.tif 000035
（８）
【００４３】
２．スペクトル減算プロセス
ステップ２．１  メインマイクの入力信号ｘ２（ｔ）を時間ドメインから周波数ドメインに変換して、Ｘ２と記す。
ステップ２．１の入力：メインマイクの入力信号ｘ２（ｔ）。
ステップ２．１の出力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．２の入力とされる）。
具体的には、下記の式のようになる。
0005785674.tif 000036
（９）
【００４４】
ステップ２．２  メインマイク入力信号の周波数スペクトルＸ２及び推定されたメインマイクの後期残響スペクトル
0005785674.tif 000037
から利得函数Ｇを算出するとともに、調節因子βによって利得函数を調節する。
ステップ２．２の入力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．１の出力）、メインマイクの後期残響スペクトル
0005785674.tif 000038
（残響スペクトル推定プロセスにおいてのステップ１．５の出力）、利得函数の調節因子β（残響スペクトル推定プロセスにおいてのステップ１．３の出力）。
ステップ２．２の出力：利得函数Ｇ（ステップ２．３の一つの入力とする）。
【００４５】
本発明の一つの実施例において、パワースペクトル減算法を用いて、下記の式によって利得函数Ｇ（ｌ，ｋ）を算出する。
0005785674.tif 000039
（１０）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、
0005785674.tif 000040
がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである。
【００４６】
式（１０）から分かるように、利得函数の調節因子βによって利得函数Ｇ（ｌ，ｋ）の大きさを調節することができる。こうして、残響が弱い時にスペクトル減算を少なくするか又はしないようにすることができ、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。
【００４７】
ステップ２．３  メインマイク入力信号の振幅スペクトル｜Ｘ２｜に利得函数Ｇを乗算して、メインマイク入力信号の位相と組合わせて、メインマイク入力信号の残響除去後の周波数スペクトルＤを得る。
ステップ２．３の入力：メインマイク入力信号の周波数スペクトルＸ２（ステップ２．１の出力）、利得函数Ｇ（ステップ２．２の出力）。
ステップ２．３の出力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．４の入力とする）。
具体的には、下記の式によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。
0005785674.tif 000041
（１１）
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ２（ｌ，ｋ）｜がメインマイク入力信号の振幅スペクトル、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。
【００４８】
ステップ２．４  メインマイク入力信号の残響除去後の周波数スペクトルＤを時間ドメインに変換して、ｄ（ｔ）と記す。
ステップ２．４の入力：メインマイク入力信号の残響除去後の周波数スペクトルＤ（ステップ２．３の出力）。
ステップ２．４の出力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．５の入力とする）。
0005785674.tif 000042
（１２）
【００４９】
ステップ２．５  メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算して、メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）を得る。
ステップ２．５の入力：メインマイク入力信号の残響除去後の時間ドメイン信号ｄ（ｔ）（ステップ２．４の出力）。
ステップ２．５の出力：メインマイク入力信号の残響低減後の連続信号ｘｄ（ｔ）（システム全体の出力）。
【００５０】
図７Ａは、本発明の実施例におけるメインマイク入力信号の時間ドメインの図である。図７Ｂは、本発明の実施例におけるメインマイクに対して残響除去後の時間ドメインの図である。図７Ｃは、本発明の実施例におけるメインマイク入力信号の音声スペクトログラムである。図７Ｄは、本発明の実施例におけるメインマイクに対して残響除去後の音声スペクトログラムである。
【００５１】
図７Ａ〜７Ｄを参照して、本実施例において、メインマイク及び補助マイクは音源と正対面しており、音源からデュアルマイクまでの垂直距離が２ｍで、メインマイクと補助マイクとの間隔が１８ｃｍである時、メインマイク入力信号から残響除去する前のＣ５０が６．８ｄＢであり、図４に示す方法を用いて残響除去した後のＣ５０が１０．５ｄＢであり、ここから分かるように、本発明の方法を採用した後、Ｃ５０が３．７ｄＢ向上した。
【００５２】
図８は、本発明の実施例におけるデュアルマイクに基づく音声残響低減装置の全体構成図である。該装置は、メインマイク及び補助マイクに受信された信号に対してフレームごとに処理を行い、図８に示すように、残響スペクトル推定ユニット７００とスペクトル減算ユニット８００とを含む。
【００５３】
前記残響スペクトル推定ユニット７００は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、伝達関数ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出してスペクトル減算ユニット８００に出力し、そして、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行ってメインマイク入力信号の後期残響推定信号を得て、メインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力するために用いられる。
【００５４】
前記スペクトル減算ユニット８００は、メインマイク入力信号、残響スペクトル推定ユニット７００から出力された利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルを受信し、メインマイク入力信号に対して時間ドメインから周波数ドメインへの変換を行ってメインマイク入力信号の周波数スペクトルを得て、メインマイク入力信号の周波数スペクトル、利得函数の調節因子β及びメインマイク入力信号の後期残響スペクトルによって利得函数を算出し、メインマイク入力信号の周波数スペクトルに利得函数を乗算してメインマイク入力信号の残響除去後の周波数スペクトルを得て、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得て、メインマイク入力信号の残響除去後の時間ドメイン信号を、フレームごとに重畳加算してから、メインマイク入力信号の残響低減後の連続信号を出力するために用いられる。
【００５５】
本発明の一つの実施例において、残響スペクトル推定ユニット７００は、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから、まずメインマイク入力信号の後期残響推定信号に対して周波数補償を行い、そして、周波数補償された信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てからスペクトル減算ユニット８００に出力する。
【００５６】
図９は、本発明の一つの好ましい実施例におけるデュアルマイクに基づく音声残響低減装置の詳細な構成及びその入出力模式図である。図９を参照して、該デュアルマイクに基づく音声残響低減装置は、残響スペクトル推定ユニット９１とスペクトル減算ユニット９２とを含む。そのうち、残響スペクトル推定ユニット９１は、伝達関数算出ユニット９１１、伝達関数テーリング算出ユニット９１２、残響強さ判断ユニット９１３、後期残響推定ユニット９１４、周波数補償ユニット９１５及び第一の時間／周波数変換ユニット９１６を含む。スペクトル減算ユニット９２は、第二の時間／周波数変換ユニット９２１、利得函数算出ユニット９２２、残響除去ユニット９２３、周波数／時間変換ユニット９２４及び重畳加算ユニット９２５を含む。
【００５７】
前記伝達関数算出ユニット９１１は、メインマイク入力信号及び補助マイク入力信号を受信し、メインマイク入力信号及び補助マイク入力信号によって、補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出するとともに、伝達関数ｈ（ｔ）を伝達関数テーリング算出ユニット９１２及び残響強さ判断ユニット９１３に出力するために用いられる。
【００５８】
前記伝達関数テーリング算出ユニット９１２は、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を求めて後期残響推定ユニット９１４に出力するために用いられる。伝達関数テーリング算出ユニット９１２は、具体的に、伝達関数ｈ（ｔ）の時間軸において早期残響と後期残響との境界点を取って、伝達関数ｈ（ｔ）の該境界点の前の値を０にセットして、伝達関数ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を得る。
【００５９】
前記残響強さ判断ユニット９１３は、伝達関数ｈ（ｔ）によって残響の強さを判断するとともに、利得函数の調節因子βを算出して利得函数算出ユニット９２２に出力するために用いられる。具体的に、残響強さ判断ユニット９１３は、前記の式（５）によって残響の強さを表すパラメータρを算出する。即ち、
0005785674.tif 000043
そのうち、ｈ（ｔ）が補助マイクからメインマイクまでの伝達関数、Ｔがｈ（ｔ）の時間軸においての指定された境界点である。
そして、残響強さ判断ユニット９１３は、前記の式（６）によって利得函数の調節因子βを算出する。即ち、
0005785674.tif 000044
そのうち、ρ１とρ２が設定値を取る。例えば、ρ１が９ｄＢ、ρ２が２ｄＢを取る（マイクの間隔が６ｃｍである）。
【００６０】
後期残響推定ユニット９１４は、補助マイク入力信号を受信し、補助マイク入力信号を用いてｈｒ（ｔ）に畳み込みを行って、メインマイク入力信号の後期残響推定信号を得てから周波数補償ユニット９１５に出力するために用いられる。
【００６１】
周波数補償ユニット９１５は、メインマイク入力信号の後期残響推定信号に対して周波数補償を行い、周波数補償が行われた信号を第一の時間／周波数変換ユニット９１６に出力するために用いられる。メインマイクと補助マイクとの間の距離が大きいほど、周波数補償ユニット９１５がメインマイク入力信号の後期残響推定信号に対して周波数補償を行う度合いが小さくなる。
【００６２】
第一の時間／周波数変換ユニット９１６は、周波数補償が行われたメインマイク入力信号の後期残響推定信号に対して時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の後期残響スペクトルを得てから利得函数算出ユニット９２２に出力するために用いられる。
【００６３】
第二の時間／周波数変換ユニット９２１は、メインマイク入力信号を受信し、時間ドメインから周波数ドメインへの変換を行って、メインマイク入力信号の周波数スペクトルを得てから利得函数算出ユニット９２２及び残響除去ユニット９２３に出力するために用いられる。
【００６４】
利得函数算出ユニット９２２は、第二の時間／周波数変換ユニット９２１から出力されたメインマイク入力信号の周波数スペクトル、残響強さ判断ユニット９１３から出力された利得函数の調節因子β及び第一の時間／周波数変換ユニット９１６から出力されたメインマイク入力信号の後期残響スペクトルによって、利得函数を算出してから残響除去ユニット９２３に出力するために用いられる。利得函数算出ユニット９２２は、前記の式（１０）によって利得函数Ｇ（ｌ，ｋ）を算出し得る。即ち、
0005785674.tif 000045
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、βが利得函数の調節因子、
0005785674.tif 000046
がメインマイク入力信号の後期残響周波数スペクトル、Ｘ２がメインマイク入力信号の周波数スペクトルである。
【００６５】
残響除去ユニット９２３は、メインマイク入力信号の周波数スペクトルに利得函数を乗算して、メインマイク入力信号の残響除去後の周波数スペクトルを得てから、周波数／時間変換ユニット９２４に出力する。本実施例において、残響除去ユニット９２３は、前記の式（１１）によって、メインマイク入力信号の残響除去後の周波数スペクトルＤ（ｌ，ｋ）を算出する。即ち、
0005785674.tif 000047
そのうち、ｌがフレーム番号、ｋが周波数ポイント番号、｜Ｘ２（ｌ，ｋ）｜がメインマイク入力信号の振幅、Ｇ（ｌ，ｋ）が利得函数、ｐｈａｓｅ（ｌ，ｋ）がメインマイク入力信号の位相である。
【００６６】
周波数／時間変換ユニット９２４は、メインマイク入力信号の残響除去後の周波数スペクトルに対して周波数ドメインから時間ドメインへの変換を行って、メインマイク入力信号の残響除去後の時間ドメイン信号を得てから重畳加算ユニット９２５に出力するために用いられる。
【００６７】
重畳加算ユニット９２５は、周波数／時間変換ユニット９２４から出力された時間ドメイン信号に対してフレームごとに重畳加算して、メインマイク入力信号の残響除去後の連続信号を得るために用いられる。
【００６８】
以上をまとめて、本発明の実施例のようなデュアルマイクに基づく音声残響低減装置は、メインマイク及び補助マイクに受信された信号に対して、フレームごとに処理を行う。該装置における残響スペクトル推定ユニット７００は、メインマイクの入力信号ｘ２（ｔ）及び補助マイク入力信号ｘ１（ｔ）を受信し、ｘ２（ｔ）及びｘ１（ｔ）によって補助マイクからメインマイクまでの伝達関数ｈ（ｔ）を算出して、ｈ（ｔ）のテーリング部分ｈｒ（ｔ）を取得するとともに、ｈ（ｔ）によって残響の強さを判断して、利得函数の調節因子βを算出して該装置におけるスペクトル減算ユニット８００に出力する。このとき、ｘ１（ｔ）を用いてｈｒ（ｔ）に畳み込みを行って、ｘ２（ｔ）の後期残響推定信号
0005785674.tif 000048
を得て、
0005785674.tif 000049
に対して時間ドメインから周波数ドメインへの変換を行って、ｘ２（ｔ）の後期残響スペクトル
0005785674.tif 000050
を得てから該装置におけるスペクトル減算ユニット８００に出力するために用いられる。該装置におけるスペクトル減算ユニット８００は、ｘ２（ｔ）に対して時間ドメインから周波数ドメインへの変換を行って、ｘ２（ｔ）の周波数スペクトルを得て、ｘ２（ｔ）の周波数スペクトル、前記β及び
0005785674.tif 000051
によって利得函数を算出し、ｘ２（ｔ）の周波数スペクトルに利得函数を乗算して、ｘ２（ｔ）の残響除去後の周波数スペクトルを得て、周波数ドメインから時間ドメインへの変換を行って、ｘ２（ｔ）の残響除去後の時間ドメイン信号を得るために用いられる。
【００６９】
本発明のような装置において、補助マイク入力信号ｘ１（ｔ）とｈｒ（ｔ）に畳み込みを行うことによりメインマイク入力信号ｘ２（ｔ）の後期残響推定信号
0005785674.tif 000052
を得てから、スペクトル減算法によって、メインマイク入力信号ｘ２（ｔ）の周波数スペクトルからメインマイク入力信号の後期残響推定スペクトル
0005785674.tif 000053
を差し引くため、メインマイクの入力信号ｘ２（ｔ）からその後期残響を効果的に除去するとともに早期残響を保留することができ、音声の品質が向上する。同時に、本発明の後期残響を推定するプロセスに、残響の強さによってスペクトル減算の強度を調節し、残響が弱い時にスペクトル減算を少なくするか又はしないようにして、残響が弱く、音声の明瞭度が高い場合に音声を損傷しないことが保証され、音声品質が保護される。そして、このような装置において、直接音の到来方向を正確に推定する必要がないため、マイクが高い一致性を持つことが要求されることなく、音響設計に対しても厳しい制限がない。
【００７０】
ここから分かるように、本発明の技術手段は、残響を除去すると同時に音声を有効に保護し、部屋の残響の強さの度合いを自動的に推定し、種々の環境においても適切な処理を選択して、最適に近い音声品質に達する。そして、マイクの一致性及び音響設計に対して厳しい制限がなく、応用がより柔軟で便利である。
【００７１】
上述したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたあらゆる変更、均等置換、改良等は、いずれも本発明の保護範囲内に含まれるものとする。
【図１】
0005785674.tif 000062
【図２】
0005785674.tif 000063
【図３】
0005785674.tif 000064
【図４】
0005785674.tif 000065
【図５Ａ】
0005785674.tif 000066
【図５Ｂ】
0005785674.tif 000067
【図５Ｃ】
0005785674.tif 000068
【図５Ｄ】
0005785674.tif 000069
【図６Ａ】
0005785674.tif 000070
【図６Ｂ】
0005785674.tif 000071
【図７Ａ】
0005785674.tif 000072
【図７Ｂ】
0005785674.tif 000073
【図７Ｃ】
0005785674.tif 000074
【図７Ｄ】
0005785674.tif 000075
【図８】
0005785674.tif 000076
【図９】
0005785674.tif 000077