(57)【要約】【課題】残響が含まれる観測信号からの残響の除去を、信号の観測開始直後から効果的に実現する。【解決手段】周波数分割処理部１１０が時間領域観測信号を周波数領域観測信号に変換し、ブロック分割部２２０がそれを所定の時間間隔ごとのブロックに分割し、音源信号事前ＰＤＦ推定部２４０がブロック単位で逐次受け取った周波数領域観測信号から音源信号事前ＰＤＦを逐次推定し、ＡＲ係数事後ＰＤＦ推定部２５０がブロック単位で逐次受け取った周波数領域観測信号と当該各ブロックに対応する音源信号事前ＰＤＦとＡＲ係数事前ＰＤＦとからＡＲ係数事後ＰＤＦを逐次推定し、残響事後ＰＤＦ推定部２７０がそのＡＲ係数事後ＰＤＦと周波数領域観測信号とから残響事後ＰＤＦを推定し、残響除去部２８０がそれを用いて周波数領域観測信号から残響成分を除去して周波数領域音源信号を推定し、周波数統合処理部１９０がそれを時間領域に変換する。【選択図】図１
2010044150.tif 000002
【特許請求の範囲】
【請求項１】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割部と、
上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定部と、
上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）を記憶するＡＲ係数事前ＰＤＦ記憶部と、
上記周波数領域観測信号が与えられたもとでのＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を記憶するＡＲ係数事後ＰＤＦ記憶部と、
上記ブロック単位で上記周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する上記音源信号事前ＰＤＦを逐次受け取り、更に上記ＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを読み出し、これらから上記ＡＲ係数事後ＰＤＦを逐次推定して、上記ＡＲ係数事後ＰＤＦ記憶部に書き込むＡＲ係数事後ＰＤＦ推定部と、
上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、これらから残響の周波数領域におけるＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定部と、
上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去部と、
上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
を備える残響除去装置。
【請求項２】
請求項１に記載の残響除去装置において、
上記音源信号事前ＰＤＦ推定部は、更に上記ＡＲ係数事後ＰＤＦを逐次受け取り、周波数領域観測信号とＡＲ係数事後ＰＤＦとから音源信号事前ＰＤＦを繰り返し推定し、
上記ＡＲ係数事後ＰＤＦ推定部は、上記音源信号事前ＰＤＦ推定部が繰り返し推定した音源信号事前ＰＤＦを逐次受け取ってＡＲ係数事後ＰＤＦを繰り返し推定し、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点でＡＲ係数事後ＰＤＦを上記ＡＲ係数事後ＰＤＦ記憶部に書き込む
ことを特徴とする残響除去装置。
【請求項３】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割部と、
上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定部と、
上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）を記憶するＡＲ係数事前ＰＤＦ記憶部と、
上記周波数領域観測信号が与えられたもとでのＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を記憶するＡＲ係数事後ＰＤＦ記憶部と、
上記ブロック単位で上記周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する上記音源信号事前ＰＤＦを逐次受け取り、更に上記ＡＲ係数事前ＰＤＦ記憶部から当該各ブロックに対応するＡＲ係数事前ＰＤＦを逐次読み出し、これらから上記ＡＲ係数事後ＰＤＦを逐次推定して、上記ＡＲ係数事後ＰＤＦ記憶部に書き込むＡＲ係数事後ＰＤＦ推定部と、
上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、これらから音源信号の事後ＰＤＦを逐次推定して、その期待値を周波数領域の音源信号（以下、「周波数領域音源信号」という）として推定する残響除去部と、
上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
を備える残響除去装置。
【請求項４】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理部と、
周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）を記憶するＡＲ係数事前ＰＤＦ記憶部と、
上記周波数領域観測信号を逐次受け取るとともに、上記ＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを逐次読み出し、これらから残響の周波数領域におけるＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定部と、
上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去部と、
推定した上記周波数領域音源信号を時間領域に変換する周波数統合処理部と、
を備える残響除去装置。
【請求項５】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割ステップと、
上記ブロック単位の上記周波数領域観測信号を用いて、上記音源信号の周波数領域における確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定ステップと、
上記ブロック単位の上記周波数領域観測信号と、当該各ブロックに対応する上記音源信号事前ＰＤＦと、上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、上記周波数領域観測信号が与えられたもとでのＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を逐次推定するＡＲ係数事後ＰＤＦ推定ステップと、
上記周波数領域観測信号と上記ＡＲ係数事後ＰＤＦとから、残響の周波数領域におけるＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定し、ＡＲ係数事後ＰＤＦ記憶部に書き込む残響事後ＰＤＦ推定ステップと、
上記ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを読み出し、これを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去ステップと、
上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
を実行する残響除去方法。
【請求項６】
請求項５に記載の残響除去方法において、
上記音源信号事前ＰＤＦ推定ステップは、更に上記ＡＲ係数事後ＰＤＦを用い、周波数領域観測信号とＡＲ係数事後ＰＤＦとから音源信号事前ＰＤＦを繰り返し推定し、
上記ＡＲ係数事後ＰＤＦ推定ステップは、上記音源信号事前ＰＤＦ推定ステップにて繰り返し推定した音源信号ＰＤＦを逐次受け取ってＡＲ係数事後ＰＤＦを繰り返し推定し、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点でＡＲ係数事後ＰＤＦ記憶部に書き込む
ことを特徴とする残響除去方法。
【請求項７】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）を、所定の時間間隔ごとのブロックに分割するブロック分割ステップと、
上記ブロック単位で上記周波数領域観測信号を逐次受け取り、上記音源信号の周波数領域における確率密度関数（以下、「音源信号事前ＰＤＦ」という）を逐次推定する音源信号事前ＰＤＦ推定ステップと、
上記ブロック単位の上記周波数領域観測信号と、当該各ブロックに対応する上記音源信号事前ＰＤＦと、当該各ブロックに対応する上記周波数領域観測信号に含まれる残響成分を推定する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、上記周波数領域観測信号が与えられたもとでのＡＲ係数の確率密度関数（以下、「ＡＲ係数事後ＰＤＦ」という）を逐次推定するＡＲ係数事後ＰＤＦ推定ステップと、
上記周波数領域観測信号と上記ＡＲ係数事後ＰＤＦとから、音源信号の事後ＰＤＦを逐次推定して、その期待値を周波数領域の音源信号（以下、「周波数領域音源信号」という）として推定する残響除去ステップと、
上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
を備える残響除去方法。
【請求項８】
音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で逐次収音し、その収音した信号（以下、「観測信号」という）を周波数領域に変換する周波数分割処理ステップと、
上記周波数領域観測信号と周波数領域に変換した上記観測信号（以下、「周波数領域観測信号」という）に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）の確率密度関数（以下、「ＡＲ係数事前ＰＤＦ」という）とから、残響の周波数領域におけるＰＤＦ（以下、「残響事後ＰＤＦ」という）を逐次推定する残響事後ＰＤＦ推定ステップと、
上記残響事後ＰＤＦを用いて上記周波数領域観測信号から残響成分を除去することにより、周波数領域の音源信号（以下、「周波数領域音源信号」という）を逐次推定する残響除去ステップと、
推定した上記周波数領域音源信号を時間領域に変換する周波数統合処理ステップと、
を備える残響除去方法。
【請求項９】
請求項１〜４のいずれかに記載した装置としてコンピュータを機能させるためのプログラム。
【請求項１０】
請求項９に記載したプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音源が放音した音響信号（以下、「音源信号」という）を残響のある部屋で収音して得られる信号（以下、「観測信号」という）から、残響成分を取り除いた音源信号を抽出する、残響除去装置、残響除去方法、そのプログラム及び記録媒体に関する。
【背景技術】
【０００２】
音源信号は、残響のある環境で収音されると、本来の音源信号に残響が重畳された信号として観測される。そのため、本来の音源信号の性質を抽出することが困難になるとともに、音自体の明瞭度が低下する。残響除去処理は、観測信号に重畳した残響成分を取り除くことによって音源本来の性質を抽出しやすくするとともに、音の明瞭度を回復するために行われる。
【０００３】
図１０に非特許文献１にて開示されている従来の残響除去装置１００の機能構成例を示す。残響除去装置１００は、周波数分割処理部１１０、音源信号ＰＤＦ推定部１４０、ＡＲ係数推定部１５０、残響推定部１７０、残響除去部１８０及び周波数統合処理部１９０から構成される。残響除去装置１００は、音源１０から放音され入力部２０で収音された時間領域の観測信号を、あらかじめ全時系列について受け取ってから処理を行う。周波数分割処理部１１０は、受け取った時間領域の観測信号を周波数領域の観測信号（以下、「周波数領域観測信号」という）に変換する。音源信号ＰＤＦ推定部１４０は、周波数領域観測信号に基づき、音源信号の周波数領域での確率密度関数（確率密度関数を以下、「ＰＤＦ」という）を各周波数ごとに推定する。ＡＲ係数推定部１５０は、全時系列の周波数領域観測信号と音源信号ＰＤＦ推定部１４０にて推定した音源信号の周波数領域のＰＤＦとから、観測信号に含まれる残響を予測する長時間自己回帰係数（以下、「ＡＲ係数」という）を各周波数ごとに推定する。残響推定部１７０は、ＡＲ係数推定部１５０で推定したＡＲ係数を周波数領域観測信号に適用して残響の推定値（期待値）を求める。残響除去部１８０は、周波数領域観測信号から残響の推定値を減算して、周波数領域の音源信号を推定する。そして最後に、周波数統合処理部１９０が、推定した周波数領域の音源信号を時間領域の音源信号に変換し、残響除去処理を完了する。
【非特許文献１】Tomohiro Nakatani et al. "BLIND SPEECH DEREVERBERATION WITH MULTI-CHANNEL LINEAR PREDICTION BASED ON SHORT TIME FOURIER TRANSFORM REPRESENTATION ", IEEE International Conference on Acoustics, Speech, and Signal Processing(ICASSP-2008), 2008, p.85-88
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の残響除去装置は、残響除去処理に先立ち全時系列分の観測信号を受け取る必要があったため、信号の観測開始直後から逐次的に残響除去処理することができなかった。また、その対策として、観測信号を数秒程度の小さなブロックに分割して各ブロック毎に逐次的に残響除去処理を行う方法も考えられるが、従来の残響除去装置においては、ＡＲ係数を観測信号のみに基づき推定するため、観測信号長が短いとＡＲ係数の推定精度が悪くなり、残響除去後の信号品質が劣化するという問題があった。
【０００５】
本発明の目的は、信号の観測開始直後から効果的に残響除去処理を行うことが可能な残響除去装置、残響除去方法、そのプログラム及び記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の残響処理装置は、周波数分割処理部、ブロック分割部、音源信号事前ＰＤＦ推定部、ＡＲ係数事前ＰＤＦ記憶部、ＡＲ係数事後ＰＤＦ記憶部、ＡＲ係数事後ＰＤＦ推定部、残響事後ＰＤＦ推定部、残響除去部及び周波数統合処理部から構成される。
【０００７】
周波数分割処理部は、音源信号を残響のある部屋で逐次収音し、この収音した観測信号を周波数領域観測信号に変換する。ブロック分割部は、周波数領域観測信号を所定の時間間隔ごとのブロックに分割する。音源信号事前ＰＤＦ推定部は、ブロック単位で周波数領域観測信号を逐次受け取り、音源信号事前ＰＤＦを逐次推定する。ＡＲ係数事前ＰＤＦ記憶部は、ＡＲ係数事前ＰＤＦを記憶する。ＡＲ係数事後ＰＤＦ記憶部は、ＡＲ係数事後ＰＤＦを記憶する。ＡＲ係数事後ＰＤＦ推定部は、ブロック単位で周波数領域観測信号を逐次受け取るとともに当該各ブロックに対応する音源信号事前ＰＤＦを逐次受け取り、更にＡＲ係数事前ＰＤＦ記憶部からＡＲ係数事前ＰＤＦを読み出し、これらからＡＲ係数事後ＰＤＦを逐次推定して、ＡＲ係数事後ＰＤＦ記憶部に書き込む。残響事後ＰＤＦ推定部は、周波数領域観測信号を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部からＡＲ係数事後ＰＤＦを逐次読み出し、これらから残響事後ＰＤＦを逐次推定する。残響除去部は、残響事後ＰＤＦを用いて周波数領域観測信号から残響成分を除去することにより、周波数領域音源信号を逐次推定する。周波数統合処理部は、周波数領域音源信号を時間領域に変換する。
【発明の効果】
【０００８】
本発明の残響除去装置においては、ＡＲ係数の推定に際し観測信号に加え、予め用意したＡＲ係数の事前ＰＤＦを用いることで、信号の観測開始直後においてもＡＲ係数を精度良く推定し、効果的に残響除去処理を行うことができる。
【０００９】
また本発明では、観測信号から除去する残響について、従来技術のように単に期待値のみを求めるだけでなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、一般的な音響伝達関数をモデル化するためにＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。
【発明を実施するための最良の形態】
【００１０】
〔第１実施形態〕
図１に本発明の残響処理装置２００の機能構成例を、図２にその処理フローを示す。残響処理装置２００は、周波数分割処理部１１０、ブロック分割部２２０、ＡＲ係数事前ＰＤＦ記憶部２３０、音源信号事前ＰＤＦ推定部２４０、ＡＲ係数事後ＰＤＦ推定部２５０、ＡＲ係数事後ＰＤＦ記憶部２６０、残響事後ＰＤＦ推定部２７０、残響除去部２８０及び周波数統合処理部１９０から構成される。
【００１１】
周波数分割処理部１１０と周波数統合処理部１９０は、背景技術にて説明した残響処理装置１００の同名の各構成部位と同様に、周波数分割処理部１１０は時間領域の入力信号を周波数領域に、周波数統合処理部１９０は周波数領域の入力信号を時間領域にそれぞれ変換して出力する。周波数分割処理部１１０には例えば、短時間分析窓と短時間フーリエ変換に基づく周波数分割処理や、サブバンド処理による周波数分割処理などの既存の手法を用いることができる。また、周波数統合処理部１９０には例えば、短時間逆フーリエ変換とオーバラップ加算処理に基づく周波数統合処理や、サブバンド処理による周波数統合処理などの既存の手法を用いることができる。なお、これら以外にもウェーブレット変換や離散コサイン変換など、様々な周波数分割に基づく信号分析合成処理系を用いてもよい。
【００１２】
以下の各実施形態の説明においては、１個の音源１０からの音源信号ｓtをＭ個の入力部２０で収音する際に、ｍ番目の入力部の観測信号の残響除去を行う場合を例にとって説明する。また、分割統合処理には短時間フーリエ変換を用いることとし、ｔを短時間フーリエ変換のフレームのインデックス、ｘt(m)をｍ番目の入力部におけるフレームｔの時間領域の観測信号とする。
【００１３】
周波数分割処理部１１０は、時間領域の観測信号ｘt(m)が入力されると、所定の周波数ビンの数（例えばＫ個）分の周波数領域の観測信号ｘt,k(m)（ｋはｋ番目の周波数ビン）に分割・変換して出力する（Ｓ１）。
【００１４】
ブロック分割部２２０は、周波数領域観測信号ｘt,k(m)を所定のフレーム個数（例えばＮＢ個）単位でブロック化する（Ｓ２）。τ番目のブロック（τ＝０、１、・・・）が含むフレームｔの集合を以下のようにＢτと表現する。なお、ｔ0は観測開始時刻である。
【００１５】
【数１】
2010044150.tif 000003
また、τ番目のブロックの時点で、周波数ビンｋについて、利用可能な観測信号ｘt,k(m)の全体を以下のようにξτ,kと表現する。
【００１６】
【数２】
2010044150.tif 000004
ＡＲ係数事前ＰＤＦ記憶部２３０には、ＡＲ係数事前ＰＤＦを予め記憶しておく。本発明では、音源１０から入力部２０までの室内伝達関数を、例えば音源の位置や室温に依存して変動する確率変数とみなす。更に、ＡＲ係数を伝達関数の変動に応じて変動する要因や後述する式(4)によるモデル化誤差による要因などに基づく確率変数とみなす。
【００１７】
周波数領域観測信号 ｘt,k(m)は、周波数ごとの長時間自己回帰（ＡＲ）過程として以下のようにモデル化することができる。
【００１８】
【数３】
2010044150.tif 000005
ここで、ｄはフレームｔの観測信号 ｘt,k(m)を予測するのに用いる過去の信号系列の遅延の量であり、ｓt,kは周波数領域の音源信号であり、ｒt,k = vckH・vxt-d,kとおいたとき、ｒt,kは周波数領域観測信号 ｘt,k(m)に含まれる周波数領域の残響成分を表す。vckとvxt-d,kは、周波数領域観測信号 ｘt,k(m)がＴ次のＡＲ過程に従うとの仮定の下、vckはＴ次のＡＲ係数ｃt,k(m)を含むベクトルとして、vxt-d,kはフレームｔからｄフレーム以上過去の周波数領域観測信号の系列を含むベクトルとして、それぞれ以下のように定義されているものとする。
【００１９】
【数４】
2010044150.tif 000006
以上のように定義されたvckについて、ＡＲ係数事前ＰＤＦ p(vck)を次のように定義する。
【００２０】
【数５】
2010044150.tif 000007
ここで、Ｎ（ａ；μ，Σ)は、ベクトルａ又はスカラーａに対する、期待値μ、共分散行列Σの多変量ガウス過程のＰＤＦを表す。
【００２１】
室内インパルス応答の位相は、話者と入力部の位置に応じて大きく変動するため、一般的な音響伝達関数をモデル化すべく、ＡＲ係数事前ＰＤＦの期待値μkはゼロとおくことがひとつの有効な方法である。また、共分散行列Σkは、Ｅを期待値の演算子として、
【００２２】
【数６】
2010044150.tif 000008
と定義することができる。なお、Ｈは行列、ベクトル又はスカラーの複素転置を表す。
【００２３】
いま、期待値μk＝０とすると、以下のように共分散行列Σkが対角行列であると仮定することで、話者と入力部の位置の変動に対する残響除去処理の頑健性を更に向上することができる。
【００２４】
【数７】
2010044150.tif 000009
式(6)〜(8)からわかるように、この場合のＰＤＦはＡＲ係数のパワー時間包絡のみにより特徴づけられているといえる。我々の予備実験において、ＡＲ係数のパワー時間包絡は入力部や話者の位置の違いに敏感ではないことが確認されていることから、このＰＤＦは、ひとつの部屋のＡＲ係数の一般的な事前ＰＤＦとして用いることができると考える。
【００２５】
様々な方法で、共分散行列Σkは事前に求めることができる。例えば、ひとつの部屋の室内インパルス応答を異なる設定でいくつか測定して各設定に対応するＡＲ係数を求めた上で、式(6)〜(8)に従って求めることができる。また、ある程度の長さの観測信号を集めて、ＡＲ係数を非特許文献１に示されるような既存の残響除去アルゴリズムにより計算した上で、式(6)〜(8)に従って求めることもできる。
【００２６】
一方、音源や入力部の位置がある程度限定されているような環境であれば、期待値をゼロとせずに実際に計測した期待値を用いることで、より精度の高い残響除去が実現できる。この場合の期待値と共分散行列は、例えば想定される音源と入力部の位置に近いいくつかの設定で室内インパルス応答を測定して各インパルス応答に対応するＡＲ係数を求め、それらの期待値と共分散行列として求めることができる。また、ある程度の長さの観測信号を集めて、後述する方法でＡＲ係数事後ＰＤＦ p(vck|ξτ,k)を求め、その期待値evckと共分散行列ＣkをＡＲ係数事前ＰＤＦの期待値と共分散行列として定めることができる。具体的には、後述する式(18)及び(19)においてη＝０として求めたevckとＣkを新たにＡＲ係数事前ＰＤＦの期待値μk、共分散行列Σkとして以下のように定めることができる。
【００２７】
【数８】
2010044150.tif 000010
ここで、ＬxはＡＲ係数事前ＰＤＦを定めるために用いた観測信号の長さ（秒）を表し、共分散行列を観測信号長で正規化するために用いている。
【００２８】
音源信号ＰＤＦ事前推定部２４０は、音源信号の事前ＰＤＦ p(vst)を推定する（Ｓ３）。本発明では、時変多変量複素ガウス過程を音源信号の事前ＰＤＦとして採用する。その有効性は非特許文献１に示された既存の残響除去方法において確認されている。
【００２９】
音源信号の事前ＰＤＦ p(vst)を以下のように定義する。
【００３０】
【数９】
2010044150.tif 000011
vstはフレームｔにおける、音源信号の全周波数ビンを含むベクトルを表す。なお、簡略化のため本発明ではΣtを以下のような対角行列と仮定する。
【００３１】
【数１０】
2010044150.tif 000012
式(12)及び(13)からわかるように、この場合のＰＤＦは音源信号のパワースペクトルのみにより特徴づけられていると言える。このとき、p(vst)は各周波数ビンごとのＰＤＦの要素の積に分解することができ、以下のように書くこともできる。
【００３２】
【数１１】
2010044150.tif 000013
もっとも、音源信号のパワースペクトルは事前に与えられないため、何らかの方法で近似する必要がある。そこで、本発明では式(13)において観測信号のパワースペクトル |ｘt,k(m)|2を音源信号のパワースペクトル |ｓt,k|2の近似として用いる。このアプローチについても、既存の残響除去方法において有効性が確認されている。
【００３３】
ＡＲ係数事後ＰＤＦ推定部２５０は、ＡＲ係数事前ＰＤＦ記憶部２３０に記憶されたＡＲ係数事前ＰＤＦ p(vck)と、音源信号事前ＰＤＦ推定部２４０で推定された音源信号事前ＰＤＦ p(vst)とから、ＡＲ係数事後ＰＤＦ p(vck|ξτ,k)を推定し、ＡＲ係数事後ＰＤＦ記憶部２６０に書き込む（Ｓ４）。
【００３４】
ＡＲ係数事後ＰＤＦ p(vck|ξτ,k)は、ベイズ規則を用いて以下のように表すことができる。
【００３５】
【数１２】
2010044150.tif 000014
また、式(15)中のp(ξτ,k|vck)は、式(4)を用いて式(16)のように書き換えることができる。
【００３６】
【数１３】
2010044150.tif 000015
ここで、p(ｓt,k)は式(14)で定義される音源信号事前ＰＤＦ p(vst)の要素である。そのため、ＡＲ係数事後ＰＤＦ推定部２５０は、式(15)に基づく推定に際し、p(ｓt,k)を音源信号事前ＰＤＦ推定部２４０から逐次受け取る。
【００３７】
式(15)は、式(5)、(11)及び(16)に基づき、式(17)〜(21)により表わされる多変量複素ガウスＰＤＦになるため、ＡＲ係数事後ＰＤＦ推定部２５０は、これらの式からＡＲ係数事後ＰＤＦ p(vck|ξτ,k)を推定することができる。
【００３８】
【数１４】
2010044150.tif 000016
ここで、式(18)及び(19)のηは、ＡＲ係数事前ＰＤＦから得られる情報と観測信号から得られる情報とがＡＲ係数事後ＰＤＦ推定に与える影響を制御する制御パラメータで、η≧０である。例えばηに大きな値を設定するほど、ＡＲ係数事前ＰＤＦがＡＲ係数事後ＰＤＦ推定に与える影響は大きくなる。
なお、式(20)のvdτ,kと式(21)のＤτ,kは、それぞれ以下の更新式を用いてブロックごとに逐次的に推定することもできる。
【００３９】
【数１５】
2010044150.tif 000017
また、上記の更新式は以下のように忘却係数ζ（０＜ζ≦１）を導入することで、比較的近い過去の観測信号の値を重視したＡＲ係数事後ＰＤＦを推定することもできる。
【００４０】
【数１６】
2010044150.tif 000018
残響事後ＰＤＦ推定部２７０は、周波数領域観測信号ｘt,k(m)を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦ p(vck|ξτ,k)を読み出し、これらから残響事後ＰＤＦ p(rt,k|ξτ,k)を推定する（Ｓ５）。
周波数領域観測信号ｘt,k(m)に含まれる残響成分ｒt,kは式(4)のところで説明した通り、ｒt,k = vckH・vxt-d,kと表現されることから、p(vck|ξτ,k)が式(17)〜(21)のように与えられると、残響事後ＰＤＦ p(rt,k|ξτ,k)は、以下のように推定することができる。
【００４１】
【数１７】
2010044150.tif 000019
ただし、上式の導出において、vckの各要素はξτ,kが与えられた下で相互に無相関と仮定している。
【００４２】
なお、観測信号を受け取り始めた直後で非常に短い観測信号しか得られない場合には、式(20)のvdτ,kと式(21)のＤτ,kは実質的にゼロとなるため、式(29)と(30)はそれぞれ以下のように簡略化できる。
【００４３】
【数１８】
2010044150.tif 000020
更に、一般的な音響伝達関数をモデル化すべく、ＡＲ係数事前ＰＤＦの期待値μkをゼロとし、共分散行列Σkを対角行列とした場合は、より簡略化され以下のようになる。
【００４４】
【数１９】
2010044150.tif 000021
ここで、Ｒt,kは、ＡＲ係数と過去の観測信号とのパワースペクトル領域での畳み込みとして計算される。従って、後述する残響除去部２８０において、式(35)〜(37)に従い観測信号からＲt,kをパワースペクトル領域で単純に減算することで残響を除去することができる。すなわち、本発明では観測信号から除去する残響について、従来技術のように単に期待値を求めるだけでなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、ＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに、残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。
【００４５】
残響除去部２８０は、残響事後ＰＤＦを用いて周波数領域観測信号ｘt,k(m)から残響成分を除去することにより、周波数領域音源信号gst,kを推定する（Ｓ６）。式(28)より残響のパワーは、観測信号ξτ,kが与えられた条件下での|ｒt,k|2の条件付期待値Ｅ{|ｒt,k|2|ξτ,k}として、以下のように求めることができる。
【００４６】
【数２０】
2010044150.tif 000022
そして式(4)より、観測信号ｘt,k(m)は、音源信号ｓt,kに残響ｒt,k = vckH・vxt-d,kを加算したものであることから、残響のパワーが式(35)により求められると、周波数領域音源信号の推定値gst,kは、観測信号から残響をパワー領域で減算するスペクトル減算技術を用いて、例えば以下のように求めることができる。
【００４７】
【数２１】
2010044150.tif 000023
ここでα、βは、スペクトル減算において過剰にパワーを減算することが原因でしばしば生じるミュージカル雑音を低減するための制御パラメータで、例えば０≦α≦０．２および０．３≦β≦１．０の範囲の値をとるように設定する。
【００４８】
上記の計算方法以外にもＧt,kは、例えば以下のように計算することができる。
音源信号事後ＰＤＦ p(st,k|ξτ,k)は、ＡＲ係数事後ＰＤＦp(vck|ξτ,k)を用いて、以下のように求めてもよい。
【００４９】
【数２２】
2010044150.tif 000024
この音源信号事後ＰＤＦを用いると音源信号のパワーを、観測信号ξτ,kが与えられた下での|ｓt,k|2の条件付期待値Ｅ{|st,k|2|ξτ,k}として、以下のように求めることができる。
【００５０】
【数２３】
2010044150.tif 000025
これを用いて、Ｇt,kは以下のように計算することができる。
【数２４】
2010044150.tif 000026
最後に、周波数統合処理部１９０は、周波数領域音源信号の推定値gst,kを時間領域の信号gstに変換し、出力部３０に送出する（Ｓ７）。
【００５１】
以上に示した第１実施形態の処理フローの例を、図２に従い改めて説明する。
事前に、ＡＲ係数事前ＰＤＦ記憶部２３０に、上述した方法により予め用意した、すべての周波数ビンについてのＡＲ係数事前ＰＤＦの期待値μk、共分散行列Σkを記憶させておく。また、ＡＲ係数事後ＰＤＦ記憶部２６０に、ＡＲ係数事後ＰＤＦの期待値及び共分散行列の初期値をそれぞれevck＝μk、Ｃk＝Σkとして記憶させておく。
【００５２】
音源１０からの音源信号ｓtを、ｍ個目の入力部２０で逐次収音した時間領域の観測信号ｘt(m)を周波数分割処理部１１０において短時間フレームに分割しつつ、短時間フーリエ変換を適用して周波数領域の観測信号ｘt,k(m)に分割・変換する（Ｓ１）。続いて、ブロック分割部２２０が観測信号のフレーム列を逐次的にフレームブロックに分割する（Ｓ２）。続いて、逐次的に各ブロックに対して、音源信号事前ＰＤＦ推定部２４０が、式(13)のσt,k2について観測信号に基づきσt,k2＝|ｘt,k(m)|2であるとして音源信号事前ＰＤＦを逐次推定し（Ｓ３）、ＡＲ係数事後ＰＤＦ推定部２５０が式(17)〜(25)に従いＡＲ係数事後ＰＤＦを逐次推定し、これをＡＲ係数事後ＰＤＦ記憶部２６０に書き込んでＡＲ係数事後ＰＤＦを更新する（Ｓ４）。続いて、逐次的に残響事後ＰＤＦ推定部２７０が観測信号のフレーム列を受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦを読み出し、式(28)〜(30)に従い残響事後ＰＤＦを逐次推定し（Ｓ５）、残響除去部２８０が逐次的に受け取った観測信号のフレーム列と残響事後ＰＤＦとから式(35)〜(37)に従い周波数領域音源信号を逐次推定し（Ｓ６）、最後に周波数統合処理部１９０が逆フーリエ変換とオーバラップ加算により時間領域の信号に変換して、出力部３０に送出する（Ｓ７）。
【００５３】
なお、ＡＲ係数事後ＰＤＦは、信号が伝搬する部屋の残響状態を表すパラメータであり、式(17)〜(21)からわかるように個別のフレーム毎ではなくフレーム累積的に推定・更新され、残響除去処理はその処理の時点で最新のＡＲ係数事後ＰＤＦを用いて行う。従って、（Ｓ２）〜（Ｓ４)のＡＲ係数事後ＰＤＦを推定する処理と（Ｓ５）〜（Ｓ６)の個別のフレームに対する残響除去処理とは、必ずしも同期をとる必要はなく、並列・非同期的に処理しても構わない。
【００５４】
第１実施形態の残響除去装置２００においては、観測信号を所定の時間間隔ごとのブロックに分割して逐次残響除去処理を行うとともに、ＡＲ係数の推定に際し観測信号に加え、予め用意したＡＲ係数の事前ＰＤＦを用いることで、観測開始直後からＡＲ係数を精度良く推定し、効果的に残響除去処理を行うことができる。
【００５５】
また、本発明ではＡＲ係数事前ＰＤＦと観測信号とからＡＲ係数事後ＰＤＦを求め、更にこのＡＲ係数事後ＰＤＦと観測信号とから残響の事後ＰＤＦを求め、この残響の事後ＰＤＦを用いて残響除去を実現する。すなわち、本発明では観測信号から除去する残響について、従来技術のように単に期待値を求めるだけではなく、ＰＤＦとして期待値と共分散行列を求め、それらに基づき残響のパワーを推定して残響除去処理を行う。従って、一般的な音響伝達関数をモデル化するためにＡＲ係数事前ＰＤＦの期待値をゼロと設定していて、かつ、信号の観測開始直後で非常に短い観測信号しか得られずに、残響の期待値がゼロになってしまうような場合でも、共分散行列にある程度の残響の特性が表現されるため、このような場合においても効果的に残響を除去することができる。
【００５６】
〔第２実施形態〕  
第１実施形態においては、音源信号の事前ＰＤＦとして観測信号のみから求めた事前ＰＤＦを用いた。しかし、第１実施形態の処理の中で得られたＡＲ係数事後ＰＤＦを用いると、式(38)〜(40)に示したように音源信号の事後ＰＤＦを求めることができる。そして、この事後ＰＤＦを用いて再度事前ＰＤＦを求めることで、観測信号のみから求めた事前ＰＤＦと比較して、より精度の高い推定をすることができると考えられる。そこで第２実施形態においては、音源信号の事前ＰＤＦとして、観測信号とＡＲ係数事後ＰＤＦとから求めた事後ＰＤＦを用いる。
【００５７】
第２実施形態の処理フローの例を図３に従い説明する。なお、機能構成については、ＡＲ係数事後ＰＤＦ推定部２５０から音源信号ＰＤＦ推定部２４０に向けた矢印（点線で表記）が加わるという点以外、第１実施形態と同様である。
【００５８】
まず、Ｓ１、Ｓ２については第１実施形態と同様の処理を行う。続いて、逐次的に各ブロックに対して、音源信号事前ＰＤＦ推定部２４０が、式(13)のσt,k2について観測信号に基づきσt,k2＝|ｘt,k(m)|2であるとして音源信号事前ＰＤＦを推定し（Ｓ３´−１）、続いてＡＲ係数事後ＰＤＦ推定部２５０は式(17)〜(25)に基づきＡＲ係数事後ＰＤＦを推定する（Ｓ４´−１）。続いて、音源信号事前ＰＤＦ推定部２４０が観測信号とＡＲ係数事後ＰＤＦとから式(38)〜(40)に基づき音源信号事後ＰＤＦを求め、式(13)のσt,k2についてσt,k2＝|est,k|2＋Ｓt,kであるとして音源信号事前ＰＤＦを推定する（Ｓ３´−２）。続いて、ＡＲ係数事後ＰＤＦ推定部２５０は再度Ｓ４´−１を実行し、以降Ｓ３´−２とＳ４´−１とを繰り返す。そして、ＡＲ係数事後ＰＤＦが収束するか又は所定の繰り返し回数に達した時点で、ＡＲ係数事後ＰＤＦをＡＲ係数事後ＰＤＦ記憶部に書き込む（Ｓ４´−２）。Ｓ５〜７については第１実施形態と同様である。
【００５９】
〔第３実施形態〕
第３実施形態は、残響除去部２８０における計算方法が第１実施形態の式(36)及び(37)と異なる形態であり、残響除去部２８０の入出力内容、及び全体の機能構成・処理フローは第１実施形態と共通である。
【００６０】
残響rt,kは、残響事後ＰＤＦの期待値ert,kと期待値からの偏差ｅt,kとに以下のように分解することができる。
【００６１】
【数２５】
2010044150.tif 000027
このとき、観測信号ξτ,kが与えられた下でのｅt,kの条件付分散は以下のように表現することができる。
【００６２】
【数２６】
2010044150.tif 000028
次に、wxt,k＝ｘt,k(m)−ert,kとおくと、式(13)は以下のように書き換えることができる。
【００６３】
【数２７】
2010044150.tif 000029
式(45)においてｅt,kはｓt,kに対して平均ゼロ、共分散行列E{|et,k|2|ξτ,k}の加法性雑音として振る舞う。従って、ｅt,kの推定パワー（＝Ｒt,k)をwxt,kのパワーから式(45)に従いスペクトル減算等を用いて減算することで周波数領域音源信号の推定値gst,kを求めることができる。このスペクトル減算処理は例えば、以下のように実現することができる。
【００６４】
【数２８】
2010044150.tif 000030
gst,kをこのように計算することで、推定された残響成分のうち期待値ert,kは複素スペクトル領域でwxt,k＝ｘt,k(m)−ert,kのように減算し、共分散はパワースペクトル領域で式(46)、(47)のように減算することになる。一般に、複素スペクトル領域では、信号のパワーだけでなく位相も含めた推定になるのに対し、パワースペクトル領域では信号のパワーのみの推定となる。従って、上記の計算により本実施形態では、期待値に関しては音源信号の位相までをも推定する処理となるため、第１実施形態と比較した場合に、より正確な音源信号を推定できる可能性があると期待される。
【００６５】
〔第４実施形態〕
図４に本発明の残響処理装置３００の機能構成例を、図５にその処理フローを示す。残響処理装置３００は、周波数分割処理部１１０、ブロック分割部２２０、ＡＲ係数事前ＰＤＦ記憶部２３０、音源信号事前ＰＤＦ推定部２４０、ＡＲ係数事後ＰＤＦ推定部２５０、ＡＲ係数事後ＰＤＦ記憶部２６０、残響除去部３８０及び周波数統合処理部１９０から構成される。残響除去部３８０以外の各構成部の機能は第１実施形態と同様であるため、それらの機能の説明は省略する。
【００６６】
第４実施形態は、図２に示す第１実施形態の処理フローのＳ１〜Ｓ４までを実行してＡＲ係数事後ＰＤＦを推定するまでの処理は第１実施形態と同様であるが、周波数領域音源信号の推定方法が異なる。具体的には、ＡＲ係数事後ＰＤＦを用いて式(38)〜(40)により求めた音源信号事後ＰＤＦの期待値をそのまま周波数領域音源信号の推定値とする。そのため残響処理部３８０は、周波数領域観測信号ｘt,k(m)を逐次受け取るとともに、ＡＲ係数事後ＰＤＦ記憶部２６０からＡＲ係数事後ＰＤＦを逐次読み出し、式(38)〜(40)により音源信号事後ＰＤＦを求めて、
【００６７】
【数２９】
2010044150.tif 000031
として周波数領域音源信号の推定値を得る（Ｓ８）。なお、Ｓ７については第１実施形態と同様である。
【００６８】
第４実施形態の構成では、残響の事後ＰＤＦを用いないため、観測開始直後で非常に短い観測信号しか得られない場合において、一般的な音響伝達関数をモデル化すべくＡＲ係数事前ＰＤＦの期待値をゼロと設定している場合には残響除去効果が得られない（ＡＲ係数事後ＰＤＦの期待値evckがゼロになり、式(39)においてest,k＝ｘt,k(m)となるため）が、それ以外の場合には上記の各実施形態より簡易な構成で観測開始直後から効果的に残響を除去することができる。
【００６９】
〔第５実施形態〕
図６に本発明の残響処理装置４００の機能構成例を、図７にその処理フローを示す。残響処理装置４００は、周波数分割処理部１１０、ＡＲ係数事前ＰＤＦ記憶部２３０、残響事後ＰＤＦ推定部４７０、残響除去部２８０及び周波数統合処理部１９０から構成される。残響事後ＰＤＦ推定部４７０以外の各構成部の機能は第１実施形態と同様であるため、それらの機能の説明は省略する。
【００７０】
残響の事後ＰＤＦ p(ｒt,k|ξτ,k)の期待値ert,kと共分散行列Ｒt,kとを推定するのにあたり、式(31)と(32)、又は、式(33)と(34)のみを用いることとした場合には、図１に示す第１実施形態の機能構成のうちＡＲ係数事後ＰＤＦの推定に係る部分は不要になる。第５実施形態はこのような場合の実施形態であり、ＡＲ係数事後ＰＤＦの推定値を用いないため、観測開始直後以外ではＡＲ係数事後ＰＤＦの推定値を用いる場合より残響除去の精度が低下するが、より簡易な機能構成で、かつ、より少ない計算量で残響除去を実現したい場合に有効である。
【００７１】
処理フローは、Ｓ１については図１に示す第１実施形態の処理フローと同様である。続いて、残響事後ＰＤＦ推定部４７０が逐次的に、周波数分割処理部１１０から周波数領域観測信号ｘt,k(m)を受け取るとともに、ＡＲ係数事前ＰＤＦ記憶部２３０からＡＲ係数事前ＰＤＦを読み出し、式(31)と(32)、又は、式(33)と(34)により残響事後ＰＤＦを推定する（Ｓ９）。続くＳ６、Ｓ７については第１実施形態と同様である。
【００７２】
上記の各実施形態の残響除去装置の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００７３】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよいが、具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００７４】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００７５】
また、上述した実施形態とは別の実行形態として、コンピュータが可搬型記録媒体から直接このプログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００７６】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【００７７】
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００７８】
〔効果の確認〕
本発明の第２実施形態の残響除去方法（以下、「Ｐｒｏｐ」という）の効果を、非特許文献１の残響除去方法（以下、「Ｂａｓｅｌｉｎｅ」という）との比較で確認した。ただし、Ｂａｓｅｌｉｎｅではバッチ処理により、ＡＲ係数を全観測信号が得られた後で全観測信号を用いて推定し、得られたＡＲ係数を用いて観測信号全体の残響除去を実行した（つまり、観測開始直後における観測信号不足による問題は生じない）。これに対しＰｒｏｐでは、ＡＲ係数の事後ＰＤＦを各ブロックごとに更新し、そのブロックの残響除去はこの事後ＰＤＦに基づき実行した。また、ＡＲ係数に関する事前知識が残響除去に与える効果を検証するために、Ｐｒｏｐを更に２つの異なる条件で動作させた。１つは、ＰｒｏｐをＡＲ係数事前ＰＤＦによる事前知識無しで、すなわち式(18)及び(19)でη＝０とおいて動作させた（この条件でのＰｒｏｐの動作を以下、「Ｐｏｓｔｅｒｉｏｒ」という）。もう１つは、ＰｒｏｐをＡＲ係数事前ＰＤＦによる事前知識だけで動作させたもので、第５実施形態に該当する（この条件でのＰｒｏｐの動作を以下、「Ｐｒｉｏｒ」という）。Ｐｒｏｐ、Ｐｏｓｔｅｒｉｏｒ及びＰｒｉｏｒはすべて逐次処理で動作させた。本実験では逐次処理によらないＢａｓｅｌｉｎｅの結果を逐次処理の性能上限値として扱う。
【００７９】
各手法の効果を検証するために、各２人の話者（男性１名、女性１名）からの各５発話、計１０発話を用意した。各発話は５単語列で構成されている。観測信号は、各発話に残響のある部屋（残響時間ＲＴ６０＝０．５秒）で測定された１チャンネル室内インパルス応答を畳み込んで合成した。残響除去は各発話単位で実行し、残響除去性能は残響除去前後の信号のケプストラム歪み（以下、「ＣＤ」という）で評価した。ＣＤ（ｄＢ）は以下のように定義される。
【００８０】
【数３０】
2010044150.tif 000032
ここで、gβkとβkは、それぞれ評価対象の推定音源信号と残響を含まない原音源（発話）信号のケプストラム係数であり、Ｄ＝１２とした。残響除去後の信号に残存する初期反射音の影響を低減するために、ＣＤを計算する前に、両信号に対し平均ケプストラム減算処理を施した。この評価尺度で、エネルギー時間パターン歪みとスペクトル包絡歪みが評価できる。標本化周波数は８ｋＨｚ、周波数分割・統合処理には複素サブバンド処理を用い、サブバンドの数を１２９とし、間引き率は１／１２８とした。逐次処理のブロックサイズは１６フレーム（＝２５６ｍｓ）とした。これは、ＡＲ係数事後ＰＤＦの更新周期に相当する。ＰｒｏｐとＰｒｉｏｒで用いるＡＲ係数の事前ＰＤＦを定めるために、同じ部屋の別の場所で測定された室内インパルス応答を畳み込んだ女性の一発話に対し、Ｂａｓｅｌｉｎｅを適用して得られたＡＲ係数を用いて、式(6)によりΣｋを定めた。各周波数ビンにおけるＡＲ係数の次数は２４とした。
【００８１】
図８は、観測信号、Ｂａｓｅｌｉｎｅ、Ｐｒｏｐ、Ｐｒｉｏｒ及びＰｏｓｔｅｒｉｏｒを用いて残響除去した信号の平均ＣＤを示したものである。異なる発話にわたって、１番目から５番目の単語までを別々に平均ＣＤを計算した。図８より、ＰｒｏｐとＰｏｓｔｅｒｉｏｒは、発話中の最初の単語では比較的ＣＤが高いが、残りの単語に対して性能は急速に改善し、Ｂａｓｅｌｉｎｅの性能に迫っている。ＰｒｏｐとＰｏｓｔｅｒｉｏｒとを比べると、Ｐｒｏｐは最初の単語の品質をＰｏｓｔｅｒｉｏｒより大幅に改善できている。一方、Ｐｒｉｏｒも平均ＣＤを安定して最初から低減できているが、改善量は比較的小さい。これらの結果は、ＡＲ係数事前ＰＤＦによる事前知識が、Ｐｒｏｐに、逐次処理で発話の最初から非常に少ないアルゴリズム遅延内で効果的に残響除去を実現させることができていることを示している。
【００８２】
図５は、残響除去前後のスペクトログラムを示したものである。図５より、Ｐｒｉｏｒが発話の最初から効果的に残響のパワーを抑圧している一方、Ｐｏｓｔｅｒｉｏｒは発話中の２単語目で急速に残響除去性能を改善していることがわかる。これらに対し、ＰｒｏｐはＰｒｉｏｒとＰｏｓｔｅｒｉｏｒ双方の方法の効果を享受して逐次処理が実現できていることがわかる。
【産業上の利用可能性】
【００８３】
本発明は、残響除去を行う音響装置等が、信号の観測開始直後から効果的に残響除去を行う必要がある用途のものである場合に特に有用である。
【図面の簡単な説明】
【００８４】
【図１】第１、第２実施形態の残響除去装置２００の機能構成例を示す図
【図２】第１実施形態の処理フローを示す図
【図３】第２実施形態の処理フローを示す図
【図４】第４実施形態の残響除去装置３００の機能構成例を示す図
【図５】第４実施形態の処理フローを示す図
【図６】第５実施形態の残響除去装置４００の機能構成例を示す図
【図７】第５実施形態の処理フローを示す図
【図８】各動作条件ごとのケプストラム歪みの改善状況の相違を示す図
【図９】残響除去前後の各信号のスペクトログラムの相違を示す図
【図１０】従来技術による残響除去装置１００の機能構成例を示す図
【図１】
2010044150.tif 000033
【図２】
2010044150.tif 000034
【図３】
2010044150.tif 000035
【図４】
2010044150.tif 000036
【図５】
2010044150.tif 000037
【図６】
2010044150.tif 000038
【図７】
2010044150.tif 000039
【図８】
2010044150.tif 000040
【図９】
2010044150.tif 000041
【図１０】
2010044150.tif 000042