(57)【要約】  本発明は、観測信号を受信して、初期化（１０００）の後で、フーリエ変換（４０００）を含む尤度最大化（２０００）を実施することにより音声残響除去を達成する。即ち、本発明に係る音声残響除去装置は、尤度関数を最大化する音源信号推定値を決定する尤度最大化ユニットを備え、前記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
2009535674.tif 000002
【特許請求の範囲】
【請求項１】
尤度関数を最大化する音源信号推定値を決定する尤度最大化ユニットを備え、前記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去装置。
【請求項２】
前記尤度関数は、未知パラメータと、欠測値の第１確率変数と、観測値の第２確率変数とによって値が定まる確率密度関数に基づいて定義され、前記未知パラメータは、前記音源信号推定値と、室内伝達関数の逆フィルターを表す欠測値の前記第１確率変数と、前記観測信号及び前記初期音源信号推定値を参照して定義される前記観測値の第２確率変数とを参照して定義される請求項１記載の音声残響除去装置。
【請求項３】
前記尤度最大化ユニットは、反復最適化アルゴリズムを用いて前記音源信号推定値を決定する請求項２記載の音声残響除去装置。
【請求項４】
前記反復最適化アルゴリズムは、期待値最大化アルゴリズムである請求項３記載の音声残響除去装置。
【請求項５】
前記尤度最大化ユニットは、
前記観測信号と、前記第２分散と、前記初期音源信号推定値および更新された更新音源信号推定値のうちの一つとを参照して逆フィルター推定値を計算する逆フィルター推定ユニットと、
前記逆フィルター推定値を前記観測信号に適用して、フィルターされたフィルター信号を生成するフィルタリングユニットと、
前記初期音源信号推定値と、前記第１分散と、前記第２分散と、前記フィルター信号とを参照して前記音源信号推定値を計算し、前記音源信号推定値の収束が得られたか否かを判定し、前記音源信号推定値の収束が得られれば、前記音源信号推定値を残響除去された残響除去信号として出力する音源信号推定及び収束チェックユニットと、
前記音源信号推定値を前記更新音源信号推定値に更新し、前記音源信号推定値の収束が得られなければ、前記更新音源信号推定値を前記逆フィルター推定ユニットに供給し、初期更新ステップにおいて前記初期音源信号推定値を前記逆フィルター推定ユニットに供給する更新ユニットと
を更に備えた請求項１記載の音声残響除去装置。
【請求項６】
前記尤度最大化ユニットは、
波形観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施し、前記変換観測信号を前記観測信号として前記逆フィルター推定ユニットと前記フィルタリングユニットとに供給する第１長時間フーリエ変換ユニットと、
前記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施し、前記変換フィルター信号を前記フィルター信号として前記音源信号推定及び収束チェックユニットに供給するＬＴＦＳ−ＳＴＦＳ変換ユニットと、
前記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施し、前記音源信号推定値の収束が得られなければ、前記変換音源信号推定値を前記音源信号推定値として前記更新ユニットに供給するＳＴＦＳ−ＬＴＦＳ変換ユニットと、
波形初期音源信号推定値を第１変換初期音源信号推定値に変換する第２長時間フーリエ変換を実施し、前記第１変換初期音源信号推定値を前記初期音源信号推定値として前記更新ユニットに供給する第２長時間フーリエ変換ユニットと、
前記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換を実施し、前記第２変換初期音源信号推定値を前記初期音源信号推定値として前記音源信号推定及び収束チェックユニットに供給する短時間フーリエ変換ユニットと
を更に備えた請求項５記載の音声残響除去装置。
【請求項７】
前記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施する逆短時間フーリエ変換ユニットを更に備えた請求項１記載の音声残響除去装置。
【請求項８】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成する初期化ユニットを更に備えた請求項１記載の音声残響除去装置。
【請求項９】
前記初期化ユニットは、
前記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数および有声度合を推定する基本周波数推定ユニットと、
前記基本周波数および前記有声度合に基づいて前記第１分散を決定する音源信号不確定性決定ユニットと
を更に備えた請求項８記載の音声残響除去装置。
【請求項１０】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成する初期化ユニットと、
前記尤度最大化ユニットから前記音源信号推定値を受信し、前記音源信号推定値の収束が得られたか否かを判定し、前記音源信号推定値の収束が得られれば、前記音源信号推定値を残響除去された残響除去信号として出力し、前記音源信号推定値の収束が得られなければ、前記音源信号推定値を前記初期化ユニットに供給して、前記音源信号推定値に基づいて前記初期音源信号推定値と前記第１分散と前記第２分散とを前記初期化ユニットに生成させる収束チェックユニットと
を備えた請求項１記載の音声残響除去装置。
【請求項１１】
前記初期化ユニットは、
前記観測信号を第１変換観測信号に変換する第２短時間フーリエ変換を実施する第２短時間フーリエ変換ユニットと、
第１選択出力を生成するための第１選択動作と第２選択出力を生成するための第２選択動作を実施する第１選択ユニットと、
前記第２選択出力を受信し、前記第２選択出力から各短時間フレームについて基本周波数および有声度合を推定する基本周波数推定ユニットと、
前記第１選択出力と、前記基本周波数および前記有声度合を受信し、前記基本周波数および有声度合に基づいて前記第１選択出力の調波構造を強調して前記初期音源信号推定値を生成する適応調波フィルタリングユニットとを更に備え、
前記第１選択動作および第２選択動作は相互に独立であり、前記第１選択動作は、前記第１選択ユニットが前記第１変換観測信号を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第１選択出力として前記第１変換観測信号を選択するためのものであると共に、前記第１選択ユニットが前記第１変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第１選択出力として前記第１変換観測信号および前記音源信号推定値のうちの一つを選択するためのものであり、前記第２選択動作は、前記第１選択ユニットが前記第１変換観測信号の入力を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第２選択出力として前記第１変換観測信号を出力するためのものであると共に、前記第１選択ユニットが前記第１変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第２選択出力として前記第１変換観測信号および前記音源信号推定値のうちの一つを選択するためのものである請求項１０記載の音声残響除去装置。
【請求項１２】
前記初期化ユニットは、
前記観測信号を第２変換観測信号に変換する第３短時間フーリエ変換を実施する第３短時間フーリエ変換ユニットと、
第３選択出力を生成するための第３選択動作を実施する第２選択ユニットと、
前記第３選択出力を受信し、前記第３選択出力から各短時間フレームについて基本周波数および有声度合を推定する基本周波数推定ユニットと、
前記基本周波数および前記有声度合に基づいて前記第１分散を決定する音源信号不確定性決定ユニットとを更に備え、
前記第３選択動作は、前記第２選択ユニットが前記第２変換観測信号の入力を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第３選択出力として前記第２変換観測信号を選択するためのものであると共に、前記第２選択ユニットが前記第２変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第３選択出力として第２変換観測信号および前記音源信号推定値のうちの一つを選択するためのものである請求項１０記載の音声残響除去装置。
【請求項１３】
前記音源信号推定値の収束が得られれば、前記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施する逆短時間フーリエ変換ユニットを更に備えた請求項１０記載の音声残響除去装置。
【請求項１４】
尤度関数を最大化する逆フィルター推定値を決定する尤度最大化ユニットを備え、前記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去装置。
【請求項１５】
前記尤度関数は、第１未知パラメータと、第２未知パラメータと、観測値の第１確率変数とによって値が定まる確率密度関数に基づいて定義され、前記第１未知パラメータは、音源信号推定値を参照して定義され、前記第２未知パラメータは、室内伝達関数の逆フィルターを参照して定義され、前記観測値の第１確率変数は、前記観測信号と前記初期音源信号推定値とを参照して定義され、前記逆フィルター推定値は、前記室内伝達関数の前記逆フィルターの推定値である請求項１４記載の音声残響除去装置。
【請求項１６】
前記尤度最大化ユニットは、反復最適化アルゴリズムを用いて前記逆フィルター推定値を決定する請求項１５記載の音声残響除去装置。
【請求項１７】
前記逆フィルター推定値を前記観測信号に適用して音源信号推定値を生成する逆フィルター適用ユニットを更に備えた請求項１４記載の音声残響除去装置。
【請求項１８】
前記逆フィルター適用ユニットは、
前記逆フィルター推定値を変換逆フィルター推定値に変換する第１逆長時間フーリエ変換を実施する第１逆長時間フーリエ変換ユニットと、
前記変換逆フィルター推定値および前記観測信号を受信し、前記変換逆フィルター推定値で前記観測信号を畳み込み演算して前記音源信号推定値を生成する畳み込みユニットと
を更に備えた請求項１７記載の音声残響除去装置。
【請求項１９】
前記逆フィルター適用ユニットは、
前記観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施する第１長時間フーリエ変換ユニットと、
前記逆フィルター推定値を前記変換観測信号に適用して、フィルターされたフィルター音源信号推定値を生成する第１フィルタリングユニットと、
前記フィルター音源信号推定値を前記音源信号推定値に変換する第２逆長時間フーリエ変換を実施する第２逆長時間フーリエ変換ユニットと
を更に備えた請求項１７記載の音声残響除去装置。
【請求項２０】
前記尤度最大化ユニットは、
前記観測信号と、前記第2分散と、前記初期音源信号推定値及び更新された更新音源信号推定値のうちの一つとを参照して逆フィルター推定値を計算する逆フィルター推定ユニットと、
前記逆フィルター推定値の収束が得られたか否かを判定し、前記音源信号推定値の収束が得られれば、前記観測信号を残響除去するためのフィルターとして前記逆フィルター推定値を出力する収束チェックユニットと、
前記音源信号推定値の収束が得られなければ、前記収束チェックユニットから前記逆フィルター推定値を受信し、前記逆フィルター推定値を前記観測信号に適用してフィルターされたフィルター信号を生成するフィルタリングユニットと、
前記初期音源信号推定値と、前記第1分散と、前記第２分散と、前記フィルター信号とを参照して前記音源信号推定値を計算する音源信号推定ユニットと、
前記音源信号推定値を前記更新音源信号推定値に更新し、初期更新ステップで前記初期音源信号推定値を前記逆フィルター推定ユニットに供給し、前記初期更新ステップ以外の更新ステップで前記更新音源信号推定値を前記逆フィルター推定ユニットに供給する更新ユニットと
を更に備えた請求項１４記載の音声残響除去装置。
【請求項２１】
前記尤度最大化ユニットは、
波形観測信号を変換観測信号に変換する第２長時間フーリエ変換を実施し、前記変換観測信号を前記観測信号として前記逆フィルター推定ユニット及び前記フィルタリングユニットに供給する第２長時間フーリエ変換ユニットと、
前記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施し、前記変換フィルター信号を前記フィルター信号として前記音源信号推定ユニットに供給するＬＴＦＳ−ＳＴＦＳ変換ユニットと、
前記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施し、前記変換音源信号推定値を前記音源信号推定値として前記更新ユニットに供給するＳＴＦＳ−ＬＴＦＳ変換ユニットと、
波形初期音源信号推定値を第1変換初期音源信号推定値に変換する第３長時間フーリエ変換を実施し、前記第1変換初期音源信号推定値を前記初期音源信号推定値として前記更新ユニットに供給する第３長時間フーリエ変換ユニットと、
前記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換を実施し、前記第２変換初期音源信号推定値を前記初期音源信号推定値として前記音源信号推定ユニットに供給する短時間フーリエ変換ユニットと
を更に備えた請求項２０記載の音声残響除去装置。
【請求項２２】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第1分散と、前記第2分散とを生成する初期化ユニットを更に備えた請求項１４記載の音声残響除去装置。
【請求項２３】
前記初期化ユニットは、
前記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数および有声度合を推定する基本周波数推定ユニットと、
前記基本周波数及び前記有声度合に基づいて前記第1分散を決定する音源信号不確定性決定ユニットと
を更に備えた請求項２２記載の音声残響除去装置。
【請求項２４】
尤度関数を最大化する音源信号推定値を決定するステップを含み、前記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去方法。
【請求項２５】
前記尤度関数は、未知パラメータと、欠測値の第１確率変数と、観測値の第２確率変数とによって値が定まる確率密度関数に基づいて定義され、前記未知パラメータは、前記音源信号推定値と、室内伝達関数の逆フィルターを表す前記欠測値の第１確率変数と、前記観測信号及び前記初期音源信号推定値を参照して定義される前記観測値の第２確率変数とを参照して定義される請求項２４記載の音声残響除去方法。
【請求項２６】
前記音源信号推定値は、反復最適化アルゴリズムを用いて決定される請求項２５記載の音声残響除去方法。
【請求項２７】
前記反復最適化アルゴリズムは、期待値最大化アルゴリズムである請求項２６記載の音声残響除去方法。
【請求項２８】
前記音源信号推定値を決定するステップは、
前記観測信号と、前記第２分散と、前記初期音源信号推定値および更新された更新音源信号推定値のうちの一つとを参照して逆フィルター推定値を計算するステップと、
前記逆フィルター推定値を前記観測信号に適用してフィルターされたフィルター信号を生成するステップと、
前記初期音源信号推定値と、前記第１分散と、前記第２分散と、前記フィルター信号とを参照して前記音源信号推定値を計算するステップと、
前記音源信号推定値の収束が得られたか否かを判定するステップと、
前記音源信号推定値の収束が得られれば、前記音源信号推定値を残響除去された残響除去信号として出力するステップと、
前記音源信号推定値の収束が得られなければ、前記音源信号推定値を前記更新音源信号推定値に更新するステップと
を更に含む請求項２４記載の音声残響除去方法。
【請求項２９】
前記音源信号推定値を決定するステップは、
波形観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施するステップと、
前記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施するステップと、
前記音源信号推定値の収束が得られなければ、前記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施するステップと、
波形初期音源信号推定値を第１変換初期音源信号推定値に変換する第２長時間フーリエ変換を実施するステップと、
前記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換を実施するステップと
を更に含む請求項２８記載の音声残響除去方法。
【請求項３０】
前記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施するステップを更に含む請求項２４記載の音声残響除去方法。
【請求項３１】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップを更に含む請求項２４記載の音声残響除去方法。
【請求項３２】
前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップは、
前記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数および有声度合を推定するステップと、
前記基本周波数および前記有声度合に基づいて前記第１分散を決定するステップと
を更に含む請求項３１記載の音声残響除去方法。
【請求項３３】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップと、
前記音源信号推定値の収束が得られたか否かを判定するステップと、
前記音源信号推定値の収束が得られれば、前記音源信号推定値を、残響除去された残響除去信号として出力するステップと、
前記音源信号推定値の収束が得られなければ、前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップに処理を戻すステップと
を含む請求項２４記載の音声残響除去方法。
【請求項３４】
前記初期音源信号推定値と、前記第1分散と、前記第2分散とを生成するステップは、
前記観測信号を第１変換観測信号に変換する第２短時間フーリエ変換を実施するステップと、
第１選択出力を生成するための第１選択動作を実施するステップと、
第２選択出力を生成するための第２選択動作を実施するステップと、
前記第２選択出力から各短時間フレームについて基本周波数および有声度合を推定するステップと、
前記基本周波数および前記有声度合に基づいて前記第１選択出力の調波構造を強調して前記初期音源信号推定値を生成するステップとを更に含み、
前記第１選択動作は、前記第１変換観測信号を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第１選択出力として前記第１変換観測信号を選択するためのものであると共に、前記第１変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第１選択出力として前記第１変換観測信号および前記音源信号推定値のうちの一つを選択するためのものであり、
前記第２選択動作は、前記第１変換観測信号の入力を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第２選択出力として前記第１変換観測信号を出力するためのものであると共に、前記第１変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第２選択出力として前記第１変換観測信号および前記音源信号推定値のうちの一つを選択するためのものである請求項３３記載の音声残響除去方法。
【請求項３５】
前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップは、
第３選択出力を生成するための第３選択動作を実施するステップと、
前記第３選択出力から各短時間フレームについて基本周波数および有声度合を推定するステップと、
前記基本周波数および前記有声度合に基づいて前記第１分散を決定する音源信号不確定性決定ユニットとを更に備え、
前記第３選択動作は、前記第２変換観測信号の入力を受信するが前記音源信号推定値の如何なる入力も受信しない場合に前記第３選択出力として前記第２変換観測信号を選択するためのものであると共に、前記第２変換観測信号および前記音源信号推定値の各入力を受信する場合に前記第３選択出力として第２変換観測信号および前記音源信号推定値のうちの一つを選択するためのものである請求項３３記載の音声残響除去方法。
【請求項３６】
前記音源信号推定値の収束が得られれば、前記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施するステップを更に含む請求項３３記載の音声残響除去方法。
【請求項３７】
尤度関数を最大化する逆フィルター推定値を決定するステップを備え、前記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去方法。
【請求項３８】
前記尤度関数は、第１未知パラメータと、第２未知パラメータと、観測値の第１確率変数とによって値が定まる確率密度関数に基づいて定義され、前記第１未知パラメータは、音源信号推定値を参照して定義され、前記第２未知パラメータは、室内伝達関数の逆フィルターを参照して定義され、前記観測値の第１確率変数は、前記観測信号と前記初期音源信号推定値とを参照して定義され、前記逆フィルター推定値は、前記室内伝達関数の前記逆フィルターの推定値である請求項３７記載の音声残響除去方法。
【請求項３９】
前記逆フィルター推定値は、反復最適化アルゴリズムを用いて決定される請求項３８記載の音声残響除去方法。
【請求項４０】
前記逆フィルター推定値を前記観測信号に適用して音源信号推定値を生成するステップを更に含む請求項３７記載の音声残響除去方法。
【請求項４１】
前記逆フィルター推定値を前記観測信号に適用するステップは、
前記逆フィルター推定値を変換逆フィルター推定値に変換する第１逆長時間フーリエ変換を実施するステップと、
前記変換逆フィルター推定値で前記観測信号を畳み込み演算して前記音源信号推定値を生成するステップと
を更に含む請求項４０記載の音声残響除去方法。
【請求項４２】
前記逆フィルター推定値を前記観測信号に適用するステップは、
前記観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施するステップと、
前記逆フィルター推定値を前記変換観測信号に適用して、フィルターされたフィルター音源信号推定値を生成するステップと、
前記フィルター音源信号推定値を前記音源信号推定値に変換する第２逆長期フーリエ変換を実施するステップと
を更に含む請求項４０記載の音声残響除去方法。
【請求項４３】
前記逆フィルター推定値を決定するステップは、
前記観測信号と、前記第2分散と、前記初期音源信号推定値及び更新された更新音源信号推定値のうちの一つとを参照して逆フィルター推定値を計算するステップと、
前記逆フィルター推定値の収束が得られたか否かを判定するステップと、
前記逆フィルター推定値の収束が得られれば、前記観測信号を残響除去するためのフィルターとして、前記逆フィルター推定値を出力するステップと、
前記逆フィルター推定値の収束が得られなければ、前記逆フィルター推定値を前記観測信号に適用してフィルター信号を生成するステップと、
前記初期音源信号推定値と、前記第1分散と、前記フィルター信号とを参照して前記音源信号推定値を計算するステップと、
前記音源信号推定値を前記更新音源信号推定値に更新するステップと
を更に含む請求項３７記載の音声残響除去方法。
【請求項４４】
前記逆フィルター推定値を決定するステップは、
波形観測信号を変換観測信号に変換する第2長時間フーリエ変換を実施するステップと、
前記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施するステップと、
前記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施するステップと、
波形初期音源信号推定値を第1変換初期音源信号推定値に変換する第3長時間フーリエ変換を実施するステップと、
前記波形初期音源信号推定値を第2変換初期音源信号推定値に変換する短時間フーリエ変換を実施するステップと
を更に含む請求項４３記載の音声残響除去方法。
【請求項４５】
前記観測信号に基づいて、前記初期音源信号推定値と、前記第1分散と、前記第2分散とを生成するステップを更に含む請求項３７記載の音声残響除去方法。
【請求項４６】
前記初期音源信号推定値と、前記第１分散と、前記第２分散とを生成するステップは、
前記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数および有声度合を推定するステップと、
前記基本周波数及び前記有声度合に基づいて前記第1分散を決定するステップと
を更に含む請求項４５記載の音声残響除去方法。
【請求項４７】
尤度関数を最大化する音源信号推定値を決定するステップを含み、前記決定が、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去方法を実施するためにコンピュータに実行されるプログラム。
【請求項４８】
尤度関数を最大化する逆フィルター推定値を決定するステップを含み、前記決定が、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第1分散と、音響環境不確定性を表す第2分散とを参照してなされる音声残響除去方法を実施するためにコンピュータに実行されるプログラム。
【請求項４９】
尤度関数を最大化する音源信号推定値を決定するステップを含み、前記決定が、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去方法を実施するためにコンピュータに実行されるプログラムを格納した記録媒体。
【請求項５０】
尤度関数を最大化する逆フィルター推定値を決定するステップを含み、前記決定が、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる音声残響除去方法を実施するためにコンピュータに実行されるプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、音声残響除去(speech dereverberation)のための方法及び装置に関し、更に詳しくは、音源と室内音響の確率モデルに基づく音声残響除去のための方法及び装置に関する。
【背景技術】
【０００２】
以下、本願明細書において引用または特定される全ての特許、特許出願、特許公報、科学論文などは、本発明が関連する技術の状況をより十分に記述するために、そのまま参照することにより本明細書に組み込まれる。
【０００３】
通常の室内で遠隔マイクロホンによって収音された音声信号は不可避的に残響を含み、その残響は、音声信号の知覚品質と明瞭度に悪影響を与えると共に、自動音声認識(ASR; Automatic Speech Recognition)システムの性能を低下させる。認識性能は、残響時間が０．５秒よりも長くなると、たとえ同一の残響条件下で学習された音響モデルを用いたとしても改善することはできない。このことは、B.KingsburyとN.Morganにより、「“Recognition reverberant speech with rasta-plp,” Proc. 1997 IEEE International Conference Acoustic Speech and Signal Processing (ICASSP-97), vol.2, pp.1259-1262, 1997」に開示されている。音声信号の残響除去は、それが高品質なレコーディング及び再生のためであろうが、自動音声認識（ＡＳＲ）のためであろうが、欠くことのできないものである。
【０００４】
音声信号のブラインド残響除去は、いまだに困難な課題ではあるが、近年、多くの技術が提案されている。信号の短時間領域内での相関を保ちながらも、観測信号を無相関(de-correlate)にする技術が提案された。この技術は、B.W.GillespieとL.E.Atlasにより、「“Strategies for improving audible quality and speech recognition accuracy of reverberant speech,” Proc. 2003 IEEE International Conference Acoustics, Speech and Signal Processing (ICASSP-2003), vol.1, pp.676-679, 2003」に開示されている。また、この技術は、H.Buchner、R.Aichner、およびW.Kellermannにより、「“Trinicon: a versatile framework for multichannel blind signal processing” Proc. of the 2004 IEEE International Conference Acoustics, Speech and Signal Processing (ICASSP-2004), vol.III, pp.889-892, May 2004」に開示されている。
【０００５】
室内の音響応答における極(pole)を推定し等化するための手法が提案されている。この手法は、T.HikichiとM.Miyoshiにより、「“Blind algorithm for calculating common poles based on linear prediction,” Proc. of the 2004 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2004), vol. IV, pp. 89-92, May 2004」に開示されている。また、この手法は、J.R.HopgoodとP.J.W.Raynerにより、「“Blind single channel deconvolution using nonstationary signal processing,” IEEE Transactions Speech and Audio processing, vol. 11,no. 5,pp.467-488, September 2003」に開示されている。
【０００６】
また、音声信号の本質的特徴に基づいて提案された二つのアプローチ、即ち調波性(harmonicity)ベースの残響除去（以下、これをＨＥＲＢと称す）と、スパース性(sparseness)ベースの残響除去（以下、これをＳＢＤと称す）が提案されている。ＨＥＲＢは、T.NakataniとM.Miyoshiにより、「“Blind dereverberation of single channel speech signal based on harmonic structure,” Proc. ICASSP-2003. vol.1, pp.92-95, Apr., 2003」に開示されている。日本の特許公開公報第２００４−２７４２３４号には、ＨＥＲＢの従来技術の一例が開示されている。ＳＢＤは、K.Kinoshita、T.Nakatani、及びM.Miyoshiにより、「“Efficient blind dereverberation framework for automatic speech recognition,” Proc. Interspeech-2005, September 2005」に開示されている。
【０００７】
これらの手法は、音源信号(source signal)の初期推定値における各音声の特徴を広範に利用する。そして、初期の音源信号の推定値と観測された残響信号は、残響除去用の逆フィルターを推定するのに一緒に使用され、それは音源信号の推定値の更なる改善を可能にする。初期の音源信号推定値を得るために、ＨＥＲＢは、適応型調波フィルターを利用し、ＳＢＤは、最小統計(minimum statistics)に基づくスペクトル減算法を利用する。実験的には、これらの手法は、信号が十分に長ければ、観測された残響信号のＡＳＲ性能を著しく改善することが明らかにされている。
【０００８】
上述の事柄を考慮すれば、音声残響除去のための改善された装置及び／又は方法に対する要請が存在することは、この開示内容から当業者には明らかであろう。本発明は、この要請のみならず、他の要請も解決するものであり、このことは、この開示内容から当業者に明らかになるであろう。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従って、本発明の第１の目的は、音声残響除去装置を提供することである。
本発明の他の目的は、音声残響除去方法を提供することである。
本発明の更なる目的は、音声残響除去方法を実施するためにコンピュータによって実行されるプログラムを提供することである。
本発明のまた更なる目的は、音声残響除去方法を実施するためにコンピュータによって実行されるプログラムを格納する記録媒体を提供することである。
【課題を解決するための手段】
【００１０】
本発明の第１の態様によれば、音声残響除去装置は、尤度関数を最大化する音源信号推定値を決定する尤度最大化ユニットを備える。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００１１】
好ましくは、尤度関数は、未知のパラメータと、欠測値の第１確率変数と、観測値の第２確率変数とによって値が定まる確率密度関数に基づき定義される。上記未知のパラメータは、上記音源信号推定値を参照して定義される。上記欠測値の第１確率変数は、室内伝達関数の逆フィルターを表す。上記観測値の第２確率変数は、上記観測信号及び上記初期音源信号推定値を参照して定義される。
【００１２】
好ましくは、上記尤度最大化ユニットは、反復最適化アルゴリズムを用いて上記音源信号推定値を決定してもよい。好ましくは、上記反復最適化アルゴリズムは、期待値最大化アルゴリズムであってもよい。
【００１３】
上記尤度最大化ユニットは、更に、逆フィルター推定ユニットと、フィルタリングユニットと、音源信号推定及び収束チェックユニットと、更新ユニットを備えてもよいが、これに限定されない。上記逆フィルター推定ユニットは、上記観測信号と、上記第２分散と、上記初期音源信号推定値および更新音源信号推定値のうちの一つとを参照して、逆フィルター推定値を計算する。上記フィルタリングユニットは、上記逆フィルター推定値を上記観測信号に適用し、フィルター信号を生成する。上記音源信号推定及び収束チェックユニットは、更に、上記初期音源信号推定値と、上記第１分散と、上記第２分散と、上記フィルター信号とを参照して、上記音源信号推定値を計算する。上記音源信号推定及び収束チェックユニットは、更に、上記音源信号推定値の収束が得られたか否かを判定する。上記音源信号推定及び収束チェックユニットは、更に、上記音源信号推定値の収束が得られれば、残響除去信号として上記音源信号推定値を出力する。上記更新ユニットは、上記音源信号推定値を更新音源信号推定値に更新する。上記更新ユニットは、更に、上記音源信号推定値の収束が得られなければ、上記更新音源信号推定値を上記逆フィルター推定ユニットに供給する。上記更新ユニットは、更に、初期更新ステップで、上記初期音源信号推定値を上記逆フィルター推定ユニットに供給する。
【００１４】
上記尤度最大化ユニットは、更に、第１長時間フーリエ変換ユニットと、ＬＴＦＳ−ＳＴＦＳ変換ユニットと、ＳＴＦＳ−ＬＴＦＳ変換ユニットと、第２長時間フーリエ変換ユニットと、短時間フーリエ変換ユニットを備えてもよいが、これに限定されない。上記第１長時間フーリエ変換ユニットは、波形観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施する。上記第１長時間フーリエ変換ユニットは、更に、上記観測信号として上記変換観測信号を上記逆フィルター推定ユニットと上記フィルタリングユニットとに供給する。上記ＬＴＦＳ−ＳＴＦＳ変換ユニットは、上記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施する。上記ＬＴＦＳ−ＳＴＦＳ変換ユニットは、更に、上記フィルター信号として上記変換フィルター信号を上記音源信号推定と収束チェックユニットとに供給する。上記ＳＴＦＳ−ＬＴＦＳ変換ユニットは、上記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施する。上記ＳＴＦＳ−ＬＴＦＳ変換ユニットは、更に、上記音源信号推定値の収束が得られなければ、上記音源信号推定値として変換音源信号推定値を上記更新ユニットに供給する。上記第２長時間フーリエ変換ユニットは、波形初期音源信号推定値を第１変換初期音源信号推定値に変換する第２長時間フーリエ変換を実施する。上記第２長時間フーリエ変換ユニットは、更に、上記初期音源信号推定値として上記第１変換初期音源信号推定値を上記更新ユニットに供給する。上記短時間フーリエ変換ユニットは、上記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換を実施する。上記短時間フーリエ変換ユニットは、更に、上記初期音源信号推定値として上記第２変換初期音源信号推定値を上記音源信号推定及び収束チェックユニットに供給する。
【００１５】
本音声残響除去装置は、更に、上記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施する逆短時間フーリエ変換ユニットを備えてもよいが、これに限定されない。
【００１６】
本音声残響除去装置は、更に、上記観測信号に基づいて、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成する初期化ユニットを備えてもよいが、これに限定されない。この場合、上記初期化ユニットは、基本周波数推定ユニットと、音源信号不確定性決定ユニットとを備えてもよいが、これに限定されない。上記基本周波数推定ユニットは、上記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて有声度合と基本周波数を推定する。上記音源信号不確定性決定ユニットは、上記基本周波数と上記有声度合とに基づいて上記第１分散を決定する。
【００１７】
本音声残響除去装置は、更に、初期化ユニットと、収束チェックユニットとを備えてもよいが、これに限定されない。上記初期化ユニットは、上記観測信号に基づいて、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成する。上記収束チェックユニットは、上記尤度最大化ユニットから上記音源信号推定値を受信する。上記収束チェックユニットは、上記音源信号推定値の収束が得られたか否かを判定する。上記収束チェックユニットは、更に、上記音源信号推定値の収束が得られれば、残響除去信号として上記音源信号推定値を出力する。上記収束チェックユニットは、更に、上記音源信号推定値の収束が得られなければ、上記音源信号推定値を上記初期化ユニットに供給して、上記初期化ユニットが上記音源信号推定値に基づいて上記初期音源信号推定値と上記第１分散と上記第２分散とを生成することを可能にする。
【００１８】
最後に述べたケースでは、上記初期化ユニットは、更に、第２短時間フーリエ変換ユニットと、第１選択ユニットと、基本周波数推定ユニットと、適応型調波フィルタリングユニットを備えてもよいが、これに限定されない。上記第２短時間フーリエ変換ユニットは、上記観測信号を第１変換観測信号に変換する第２短時間フーリエ変換を実施する。上記第１選択ユニットは、第１選択出力を生成する第１選択動作と、第２選択出力を生成する第２選択動作とを実施する。上記第１選択動作と第２選択動作は互いに独立である。上記第１選択動作は、上記第１選択ユニットが、上記第１変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第１選択出力として上記第１変換観測信号を選択するためのものである。また、上記第１選択動作は、上記第１選択ユニットが上記第１変換観測信号及び上記音源信号推定値の各入力を受信する場合に、上記第１選択出力として上記第１変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。上記第２選択動作は、上記第１選択ユニットが上記第１変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第２選択出力として上記第１変換観測信号を選択するためのものである。また、上記第２選択動作は、上記第１選択ユニットが上記第１変換観測信号及び上記音源信号推定値の各入力を受信する場合に、上記第２選択出力として上記第１変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。上記基本周波数推定ユニットは上記第２選択出力を受信する。また、上記基本周波数推定ユニットは、上記第２選択出力から各短時間フレームについて基本周波数と有声度合とを推定する。上記適応型調波フィルタリングユニットは、上記第１選択出力と、上記基本周波数と上記有声度合とを受信する。上記適応型調波フィルタリングユニットは、上記基本周波数と上記有声度合とに基づいて上記第１選択出力の調波構成(harmonic structure)を強調して、上記初期音源信号推定値を生成する。
【００１９】
上記初期化ユニットは、更に、第３短時間フーリエ変換ユニットと、第２選択ユニットと、基本周波数推定ユニットと、音源信号不確定性決定ユニットとを備えてもよいが、これに限定されない。上記第３短時間フーリエ変換ユニットは、上記観測信号を第２変換観測信号に変換する第３短時間フーリエ変換を実施する。上記第３選択ユニットは、第３選択出力を生成するための第３選択動作を実施する。上記第３選択動作は、上記第２選択ユニットが上記第２変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第３選択出力として上記第２変換観測信号を選択するためのものである。また、上記第３選択動作は、上記第２選択ユニットが上記第２変換観測信号及び上記音源信号推定値の各入力を受信する場合に、上記第３選択出力として上記第２変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。上記基本周波数推定ユニットは、上記第３選択出力を受信する。上記基本周波数推定ユニットは、上記第３選択出力から各短時間フレームについて基本周波数と有声度合とを推定する。上記音源信号不確定性決定ユニットは、上記基本周波数と上記有声度合とに基づいて上記第１分散を決定する。
【００２０】
上記音声残響除去装置は、更に、上記音源信号推定値の収束が得られれば、上記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施する逆短時間フーリエ変換ユニットを備えてもよいが、これに限定されない。
【００２１】
本発明の第２の態様によれば、音声残響除去装置は、尤度関数を最大化する逆フィルター推定値を決定する尤度最大化ユニットを備える。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００２２】
好ましくは、上記尤度関数は、第１未知パラメータと、第２未知パラメータと、観測値の第１確率変数とによって値が定まる確率密度関数に基づいて定義される。上記第１未知パラメータは、音源信号推定値を参照して定義される。上記第２未知パラメータは、室内伝達関数の逆フィルターを参照して定義される。上記観測値の第１確率変数は、上記観測信号と上記初期音源信号推定値とを参照して定義される。上記逆フィルター推定値は、上記室内伝達関数の逆フィルターの推定値である。
【００２３】
好ましくは、上記尤度最大化ユニットは、反復最適化アルゴリズムを用いて上記逆フィルター推定値を決定してもよい。
【００２４】
本音声残響除去装置は、更に、上記逆フィルター推定値を上記観測信号に適用して、音源信号推定値を生成する逆フィルター適用ユニットを備えてもよいが、これに限定されない。
【００２５】
上記逆フィルター適用ユニットは、更に、第１逆長時間フーリエ変換ユニットと、畳み込みユニットを備えてもよいが、これに限定されない。上記第１逆長時間フーリエ変換ユニットは、上記逆フィルター推定値を変換逆フィルター推定値に変換する第１逆長時間フーリエ変換を実施する。上記畳み込みユニットは、上記変換逆フィルター推定値と上記観測信号とを受信する。上記畳み込みユニットは、上記変換逆フィルター推定値で上記観測信号を畳み込み演算して上記音源信号推定値を生成する。
【００２６】
上記逆フィルター適用ユニットは、更に、第１長時間フーリエ変換ユニットと、第１フィルタリングユニットと、第２逆長時間フーリエ変換ユニットを備えてもよいが、これに限定されない。上記第１長時間フーリエ変換ユニットは、上記観測信号を変換観測信号に変換する第１長時間フーリエ変換を実施する。上記第１フィルタリングユニットは、上記逆フィルター推定値を上記変換観測信号に適用する。上記第１フィルタリングユニットは、フィルター音源信号推定値を生成する。上記第２逆長時間フーリエ変換ユニットは、上記フィルター音源信号推定値を上記音源信号推定値に変換する第２逆長時間フーリエ変換を実施する。
【００２７】
上記尤度最大化ユニットは、更に、逆フィルター推定ユニットと、収束チェックユニットと、フィルタリングユニットと、音源信号推定ユニットと、更新ユニットを備えてもよいが、これに限定されない。上記逆フィルター推定ユニットは、上記観測信号と、上記第２分散と、上記初期音源信号推定値及び更新音源信号推定値のうちの一つとを参照して逆フィルター推定値を計算する。上記収束チェックユニットは、上記逆フィルター推定値の収束が得られたか否かを判定する。上記収束チェックユニットは、更に、上記音源信号推定値の収束が得られれば、上記観測信号を残響除去するためのフィルターとして上記逆フィルター推定値を出力する。上記フィルタリングユニットは、上記音源信号推定値の収束が得られなければ、上記収束チェックユニットから上記逆フィルター推定値を受信する。上記フィルタリングユニットは、更に、上記逆フィルター推定値を上記観測信号に適用する。上記フィルタリングユニットは、更に、フィルター信号を生成する。上記音源信号推定ユニットは、上記初期音源信号推定値と、上記第１分散と、上記第２分散と、上記フィルター信号とを参照して上記音源信号推定値を計算する。上記更新ユニットは、上記音源信号推定値を上記更新音源信号推定値に更新する。上記更新ユニットは、更に、初期更新ステップで、上記逆フィルター推定ユニットに上記初期音源信号推定値を供給する。上記更新ユニットは、更に、上記初期更新ステップ以外の更新ステップで、上記逆フィルター推定ユニットに上記更新音源信号推定値を供給する。
【００２８】
上記尤度最大化ユニットは、更に、第２長時間フーリエ変換ユニットと、ＬＴＦＳ−ＳＴＦＳ変換ユニットと、ＳＴＦＳ−ＬＴＦＳ変換ユニットと、第３長時間フーリエ変換ユニットと、短時間フーリエ変換ユニットとを備えても良いが、これに限定されない。上記第２長時間フーリエ変換ユニットは、波形観測信号を変換観測信号に変換する第２長時間フーリエ変換を実施する。上記第２長時間フーリエ変換ユニットは、更に、上記観測信号として上記変換観測信号を上記逆フィルター推定ユニットと上記フィルタリングユニットとに供給する。上記ＬＴＦＳ−ＳＴＦＳ変換ユニットは、上記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換を実施する。上記ＬＴＦＳ−ＳＴＦＳ変換ユニットは、更に、上記フィルター信号として上記変換フィルター信号を上記音源信号推定ユニットに供給する。上記ＳＴＦＳ−ＬＴＦＳ変換ユニットは、上記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換を実施する。上記ＳＴＦＳ−ＬＴＦＳ変換ユニットは、更に、上記音源信号推定値として上記変換音源信号推定値を上記更新ユニットに供給する。上記第３長時間フーリエ変換ユニットは、波形初期音源信号推定値を第１変換初期音源信号推定値に変換する第３長時間フーリエ変換を実施する。上記第３長時間フーリエ変換ユニットは、更に、上記初期音源信号推定値として上記第１変換初期音源信号推定値を上記更新ユニットに供給する。上記短時間フーリエ変換ユニットは、上記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換を実施する。上記短時間フーリエ変換ユニットは、更に、上記初期音源信号推定値として上記第２変換初期音源信号推定値を上記音源信号推定ユニットに供給する。
【００２９】
本音声残響除去装置は、更に、上記観測信号に基づき、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成する初期化ユニットを備えてもよいが、これに限定されない。
【００３０】
上記初期化ユニットは、更に、基本周波数推定ユニットと、音源信号不確定性決定ユニットとを備えてもよいが、これに限定されない。上記基本周波数推定ユニットは、上記観測信号の短時間フーリエ変換によって与えられる変換信号から、各短時間フレームについて基本周波数と有声度合とを推定する。上記音源信号不確定性決定ユニットは、上記基本周波数と上記有声度合とに基づいて上記第１分散を決定する。
【００３１】
本発明の第３の態様によれば、音声残響除去方法は、尤度関数を最大化する音源信号推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００３２】
好ましくは、上記尤度関数は、未知パラメータと、欠測値の第１確率変数と、観測値の第２確率変数とによって値が定まる確率密度関数に基づいて定義される。上記未知パラメータは、上記音源信号推定値を参照して定義される。上記欠測値の第１確率変数は、室内伝達関数の逆フィルターを表す。上記観測値の第２確率変数は、上記観測信号と上記初期音源信号推定値とを参照して定義される。
【００３３】
好ましくは、上記音源信号推定値は、反復最適化アルゴリズムを用いて決定されてもよい。好ましくは、上記反復最適化アルゴリズムは、期待値最大化アルゴリズムであってもよい。
【００３４】
上記音源信号推定値を決定するための処理は、更に、次の処理を含んでもよいが、これに限定されない。逆フィルター推定値は、上記観測信号と、上記第２分散と、上記初期音源信号推定値及び更新音源信号推定値のうちの一つとを参照して計算される。上記逆フィルター推定値は、フィルター信号を生成するために上記観測信号に適用される。上記音源信号推定値は、上記初期音源信号推定値と、上記第１分散と、上記第２分散と、上記フィルター信号とを参照して計算される。上記音源信号推定値の収束が得られるか否かに関して判定がなされる。上記音源信号推定値は、上記音源信号推定値の収束が得られれば、残響除去信号として出力される。上記音源信号推定値は、上記音源信号推定値の収束が得られなければ、上記更新音源信号推定値に更新される。
【００３５】
上記音源信号推定値を決定するための処理は、更に、次の処理を含んでもよいが、これに限定されない。波形観測信号を変換観測信号に変換するために第１長時間フーリエ変換が実施される。上記フィルター信号を変換フィルター信号に変換するためにＬＴＦＳ−ＳＴＦＳ変換が実施される。上記音源信号推定値の収束が得られなければ、上記音源信号推定値を変換音源信号推定値に変換するためにＳＴＦＳ−ＬＴＦＳ変換が実施される。波形初期音源信号推定値を第１変換初期音源信号推定値に変換するために第２長時間フーリエ変換が実施される。上記波形初期音源信号推定値を第２変換初期音源信号推定値に変換するために短時間フーリエ変換が実施される。
【００３６】
本音声残響除去方法は、更に、上記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施するステップを備えてもよいが、これに限定されない。
【００３７】
本音声残響除去方法は、更に、上記観測信号に基づいて、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成するステップを含んでもよいが、これに限定されない。
【００３８】
上述の最後のケースでは、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成するステップは、更に、次の処理を含んでもよいが、これに限定されない。上記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数と有声度合の推定がなされる。上記有声度合及び上記基本周波数に基づいて上記第１分散の決定がなされる。
【００３９】
本音声残響除去方法は、更に、次の処理を含んでもよいが、これに限定されない。上記初期音源信号推定値と、上記第１分散と、上記第２分散は、上記観測信号に基づいて生成される。上記音源信号推定値の収束が得られるか否かについての判定がなされる。上記音源信号推定値は、上記音源信号推定値の収束が得られれば、残響除去信号として出力される。上記音源信号推定値の収束が得られなければ、処理は、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成するステップを繰り返す。
【００４０】
上述の最後のケースでは、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成するステップは、更に、次の処理を含んでもよいが、これに限定されない。上記観測信号を第１変換観測信号に変換するために上記第２短時間フーリエ変換が実施される。第１選択出力を生成するために第１選択動作が実施される。上記第１選択動作は、上記第１変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第１選択出力として上記第１変換観測信号を選択するためのものである。上記第１選択動作は、また、上記第１変換観測信号及び上記音源信号推定値の各入力を受信する場合に、上記第１選択出力として上記第１変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。第２選択出力を生成するために第２選択動作が実施される。上記第２選択動作は、上記第１変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第２選択出力として上記第１変換観測信号を選択するためのものである。上記第２選択動作は、また、上記第１変換観測信号及び上記音源信号推定値の各入力を受信する場合に、上記第２選択出力として上記第１変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。上記第２選択出力から各短時間フレームについて基本周波数と有声度合との推定がなされる。上記初期音源信号推定値を生成するために、上記基本周波数と上記有声度合とに基づいて上記第１選択出力の調波構成の強調がなされる。
【００４１】
上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成するステップは、更に、次の処理を含んでもよいが、これに限定されない。上記観測信号を第２変換観測信号に変換するために第３短時間フーリエ変換が実施される。第３選択出力を生成するために第３選択動作が実施される。上記第３選択動作は、上記第２変換観測信号の入力を受信するが、上記音源信号推定値の如何なる入力も受信しない場合に、上記第３選択出力として上記第２変換観測信号を選択するためのものである。上記第３選択動作は、また、上記第２変換観測信号及び上記音源信号推定値の入力を受信する場合に、上記第３選択出力として上記第２変換観測信号及び上記音源信号推定値のうちの一つを選択するためのものである。上記第３選択出力から各短時間フレームについて有声度合及び基本周波数が推定される。上記基本周波数及び上記有声度合に基づいて上記第１分散が決定される。
【００４２】
本音声残響除去方法は、更に、上記音源信号推定値の収束が得られれば、上記音源信号推定値を波形音源信号推定値に変換する逆短時間フーリエ変換を実施するステップを含んでもよいが、これに限定されない。
【００４３】
本発明の第４の態様によれば、音声残響除去方法は、尤度関数を最大化する逆フィルター推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００４４】
好ましくは、上記尤度関数は、第１未知パラメータと、第２未知パラメータと、観測値の第１確率変数とによって値が定まる確率密度関数に基づいて定義される。上記第１未知パラメータは、音源信号推定値を参照して定義される。上記第２未知パラメータは、室内伝達関数の逆フィルターを参照して定義される。観測値の上記第１確率変数は、上記観測信号と、上記初期音源信号推定値とを参照して定義される。上記逆フィルター推定値は、上記室内伝達関数の逆フィルターの推定値である。
【００４５】
好ましくは、上記逆フィルター推定値は、反復最適化アルゴリズムを用いて決定されてもよい。
【００４６】
本音声残響除去方法は更に上記逆フィルター推定値を上記観測信号に適用して音源信号推定値を生成するステップを含んでもよいが、これに限定されない。
【００４７】
或る例では、最後に述べた上記逆フィルター推定値を上記観測信号に適用するための処理は更に次の処理を含んでもよいが、これに限定されない。上記逆フィルター推定値を変換逆フィルター推定値に変換するために第１逆長時間フーリエ変換が実施される。上記音源信号推定値を生成するために、上記変換逆フィルター推定値で上記観測信号を畳み込み演算する。
【００４８】
他の例では、最後に述べた上記逆フィルター推定値を上記観測信号に適用するための処理は更に次の処理を含んでもよいが、これに限定されない。上記観測信号を変換観測信号に変換するために第１長時間フーリエ変換が実施される。フィルター音源信号推定値を生成するために、上記逆フィルター推定値は上記変換観測信号に適用される。上記フィルター音源信号推定値を上記音源信号推定値に変換するために第２逆長時間フーリエ変換が実施される。
【００４９】
更に他の例では、上記逆フィルター推定値を決定するステップは次の処理を含んでもよいが、これに限定されない。上記観測信号と、上記第２分散と、上記初期音源信号推定値及び更新音源信号推定値のうちの一つとを参照して逆フィルター推定値が計算される。上記逆フィルター推定値の収束が得られたか否かについて判定がなされる。上記音源信号推定値の収束が得られれば、上記観測信号を残響除去するためのフィルターとして上記逆フィルター推定値が出力される。上記音源信号推定値の収束が得られなければ、フィルター信号を生成するために上記逆フィルター推定値が上記観測信号に適用される。上記初期音源信号推定値と、上記第１分散と、上記第２分散と、上記フィルター信号とを参照して上記音源信号推定値が計算される。上記音源信号推定値が上記更新音源信号推定値に更新される。
【００５０】
最後に述べた例では、上記逆フィルター推定値を決定するための処理は更に次の処理を含んでもよいが、これに限定されない。波形観測信号を変換観測信号に変換する第２長時間フーリエ変換が実施される。上記フィルター信号を変換フィルター信号に変換するＬＴＦＳ−ＳＴＦＳ変換が実施される。上記音源信号推定値を変換音源信号推定値に変換するＳＴＦＳ−ＬＴＦＳ変換が実施される。波形初期音源信号推定値を第１変換初期音源信号推定値に変換する第３長時間フーリエ変換が実施される。上記波形初期音源信号推定値を第２変換初期音源信号推定値に変換する短時間フーリエ変換が実施される。
【００５１】
上記音声残響除去方法は、更に、上記観測信号に基づき、上記初期音源信号推定値と、上記第１分散と、上記第２分散を生成するステップを含んでもよいが、これに限定されない。
【００５２】
或る例では、最後に述べた、上記初期音源信号推定値と、上記第１分散と、上記第２分散とを生成する処理は更に次の処理を含んでもよいが、これに限定されない。上記観測信号の短時間フーリエ変換によって与えられる変換信号から各短時間フレームについて基本周波数と有声度合との推定がなされる。上記基本周波数と上記有声度合とに基づいて上記第１分散の決定がなされる。
【００５３】
本発明の第５の態様によれば、音声残響除去方法を実施するコンピュータによって実行されるプログラムは、尤度関数を最大化する音源信号推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００５４】
本発明の第６の態様によれば、音声残響除去方法を実施するコンピュータによって実行されるプログラムは、尤度関数を最大化する逆フィルター推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００５５】
本発明の第７の態様によれば、音声残響除去方法を実施するコンピュータによって実行されるプログラムを格納する記録媒体は、尤度関数を最大化する音源信号推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、初期音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００５６】
本発明の第８の態様によれば、音声残響除去方法を実施するコンピュータによって実行されるプログラムを格納する記録媒体は、尤度関数を最大化する逆フィルター推定値を決定するステップを含む。上記決定は、観測信号と、初期音源信号推定値と、音源信号不確定性を表す第１分散と、音響環境不確定性を表す第２分散とを参照してなされる。
【００５７】
本発明のこれらの目的及び他の目的、特徴、態様、及び利点は、本発明の実施形態を例示する添付の図面を参照する以下の詳細な説明から当業者に明らかになるであろう。
【発明を実施するための最良の形態】
【００５８】
本発明の第１の態様によれば、単チャネル音声残響除去方法が提供され、この方法では、音源信号と室内音響の特性が確率密度関数（ｐｄｆ）によって表され、上記音源信号は、上記確率密度関数（ｐｄｆ）に基づいて定義される尤度関数を最大化することにより推定される。上記音源信号について、二つの本質的な音声信号の特性、即ち調波性(harmonicity)とスパース性(sparseness)とに基づいて二つのタイプの確率密度関数（ｐｄｆ）が導入される一方、室内音響について、確率密度関数（ｐｄｆ）が逆フィルター処理に基づいて定義される。この最大尤度問題を効率的に解決するため、期待値最大化（ＥＭ）アルゴリズムが使用される。結果的に得られたアルゴリズムは、期待値最大化（ＥＭ）反復を通じて室内音響特性とその音源信号特性を統合することにより、その音源信号特性のみに基づいて与えられる初期音源信号推定値の精度を改善する。本方法の有効性は、残響除去されたインパルス応答のエネルギー減衰曲線の観点から示される。
【００５９】
前述したＨＥＲＢ及びＳＢＤは、残響除去フィルターを得るのに音声信号特性を効果的に利用するが、それらは、ＨＥＲＢ及びＳＢＤの性能が最適化される解析フレームワークを提供するものではない。本発明の一態様によれば、前述したＨＥＲＢ及びＳＢＤは、最大尤度（ＭＬ）推定問題として再定式化され、上記音源信号は、上記観測信号が与えられた場合の尤度関数を最大化するものとして決定される。このために、上記期待値最大化（ＥＭ）アルゴリズムに基づいて尤度関数を最大化するために、二つの確率密度関数（ｐｄｆ）が上記初期音源信号推定値と上記残響除去フィルターとについて導入される。実験結果は、ＨＥＲＢ及びＳＢＤの性能が、同数の観測信号が与えられた場合の残響除去インパルス応答のエネルギー減衰曲線の観点から更に改善され得ることを示す。以下の説明では、本発明の一態様で使用されるフーリエスペクトルを対象とする。
【００６０】
＜短時間フーリエスペクトル及び長時間フーリエスペクトル＞
本発明の一態様は、音源特性の主な原因となる音声信号特性に関する情報と、残響効果の主な原因となる室内音響特性とを統合することである。１０ミリセカンドオーダーの短時間のフレーム(short time frame)の連続的な適用は、このような時間的に変化する音声特性を分析するのに有用ではあるが、その一方、室内音響特性を計算するために、通常、１０００ミリセカンドオーダーの比較的長時間のフレーム(long time frame)が必要とされる。本発明の一態様は、二つの分析フレーム(analysis frame)に基づく二つのタイプのフーリエスペクトル、即ち、短時間フーリエスペクトル（以下、“ＳＴＦＳ”と称す）と長時間フーリエスペクトル（以下、“ＬＴＦＳ”と称す）とを導入することである。ＳＴＦＳにおける各周波数成分とＬＴＦＳにおける各周波数成分は、ｓ(r)l,m,kのように添え字“(r)”を有するシンボルと、ｓl,k’のような添え字のない別のシンボルによって示され、ここで、ｓl,k’のlは、ＬＴＦＳについての長時間フレームのインデックスであり、k’は、ＬＴＦＳについての周波数インデックスであり、ｓ(r)l,m,kのlは、ＳＴＦＳについての短時間フレームを含む長時間フレームのインデックスであり、ｓ(r)l,m,kのmは、長時間フレームに含まれる短時間フレームのインデックスであり、そして、ｓ(r)l,m,kのｋは、ＳＴＦＳについての周波数インデックスである。短時間フレームは、長時間フレームの構成要素と見ることができる。従って、ＳＴＦＳにおける周波数成分は、l及びmの両方の添え字を有する。上記二つのスペクトルは次のように定義される。
【００６１】
【数１】
2009535674.tif 000003
【００６２】
ここで、ｓ[n]は、デジタル化された波形信号であり、ｇ(r)[n]及びｇ[n]、Ｋ(r)及びＫ、ｔl,m及びｔlは、それぞれ、ＳＴＦＳ及びＬＴＦＳについての、窓関数、離散型フーリエ変換（ＤＦＴ）ポイントの数、時間インデックスである。ｔl,mとｔlとの間の関係は、ｔl,m=ｔl+mτ（ただし、m=0〜M-1）のように設定され、ここで、τは、連続する短時間フレームの間のフレームシフト量である。さらに、次の正規化条件が導入される。
【００６３】
【数２】
2009535674.tif 000004
【００６４】
ここでκは整数定数である。これを用いれば、ＳＴＦＳのｓ(r)l,m,kとＬＴＦＳのｓl,k’との間には次の数式が成り立ち、ここで、k’=κkである。
【００６５】
【数３】
2009535674.tif 000005
【００６６】
ここで、η=ｅj2πkτ/K(r)である。ＬＳm,k｛・｝で表される逆の演算が定義され、長時間フレームｌでk’=1-KについてのＬＴＦＳビンｓl,k’のセット｛ｓl,k’｝を、次のように周波数インデックスと短時間フレームmでのＳＴＦＳビンに変換する。
【００６７】
【数４】
2009535674.tif 000006
【００６８】
この変換は、逆長時間フーリエ変換と短時間フーリエ変換とをカスケード(cascade)させることにより実施することができる。明らかに、ＬＳm,k｛・｝は線形演算子である。
【００６９】
三つのタイプの信号表現、即ち、波形デジタル化信号、短時間フーリエスペクトル（ＳＴＦＳ）及び長時間フーリエスペクトル（ＬＴＦＳ）は同一の情報を含み、そして主要な情報を欠くことなく、既知の変換を使用して或るものから他のものに変換することができる。
【００７０】
＜音源と室内音響の確率モデル＞
用語を次のように定義する。
なお、以下の説明文では、表記の便宜上、数式中で変数の上部に付されるハット記号「^」、チルダ記号「〜」、バー記号「−」を、その変数の右肩に付すこととする。
【００７１】
【数５】
2009535674.tif 000007
ｘ(r)l,m,k          ：観測された残響信号のＳＴＦＳ
ｓ(r)l,m,k          ：未知の音源信号のＳＴＦＳ
ｓ^(r)l,m,k ：初期の音源信号推定値のＳＴＦＳ
ｗk’            ：未知の逆フィルター(k’=κk)のＬＴＦＳ
【００７２】
ｘ(r)l,m,k、ｓ(r)l,m,k、ｓ^(r)l,m,k、ｗk’は、それぞれ、確率過程Ｘ(r)l,m,k、Ｓ(r)l,m,k、Ｓ^(r)l,m,k、Ｗk’の実現値であり、ｓ^(r)l,m,kは、調波性(harmonicity)およびスパース性(sparseness)のような音声信号特性に基づいて観測信号から与えられる。
【００７３】
以下に述べる本発明の一実施形態では、ｓ(r)l,m,kまたはｓl,k’は、未知パラメータとして取り扱われ、ｗk’は、欠測値の第１確率変数として取り扱われ、ｘ(r)l,m,kまたはｘl,k’は、第２確率変数の一部として取り扱われ、そして、ｓ^(r)l,m,kまたはｓ^l,k’は、上記第２確率変数の他の一部として取り扱われる。
【００７４】
或る時間区間(time duration)についてｘ(r)l,m,k及びｓ^(r)l,m,kが与えられれば、ｚ(r)k=｛｛ｘ(r)l,m,k｝k,｛ｓ^(r)l,m,k｝k｝が与えられるとし、ここで、｛・｝kは、周波数インデックスkでのＳＴＦＳビンの時系列を表す。これを使えば、次のように各周波数インデックスkで定義される尤度関数を最大化する音源信号を推定することにより、音声が残響除去されると考えられる。
【００７５】
【数６】
2009535674.tif 000008
【００７６】
ここで、Θk=｛Ｓ(r)l,m,k｝k 、θk=｛ｓ(r)l,m,k｝kであり、k’=κkは、ＬＴＦＳビンについての周波数インデックスである。θkの上記数式における積分は、ｗk’の実数部と虚数部に関する単純な二重積分である。逆フィルターｗk’は、それは観測されないが、上記尤度関数における欠測値として取り扱われ、上記積分を通じて周辺化(marginalize)される。この関数を分析するために、｛Ｓ^(r)l,m,k｝kと、｛Ｘ(r)l,m,k｝k及びｗk’のジョイントイベント(joint event)とは、｛Ｓ(r)l,m,k｝kが与えられた場合に、統計的に独立であるとする。これを用いて、上記数式（６）におけるｐ｛ｗk’,ｚk|Θk｝は、次のように二つの関数に分割することができる。
【００７７】
【数７】
2009535674.tif 000009
【００７８】
前者は、室内音響に関連した確率密度関数（ｐｄｆ）であり、即ち、音源信号が与えられた場合の観測信号と逆フィルターとの同時確率密度変数（ｐｄｆ）である。後者は、初期推定により供給される情報に関連した他の確率密度関数（ｐｄｆ）であり、即ち、音源信号が与えられた場合の初期音源信号推定値の確率密度関数（ｐｄｆ）である。第２の成分は、真の音源信号が与えられた場合の音声特性の確率的存在として解釈される。以下において、それらを、それぞれ、“音響確率密度関数（音響ｐｄｆ）”および“音源確率密度関数（音源ｐｄｆ）”と称す。理想的には、逆変換関数ｗk’は、ｘl,k’をｓl,k’に変換し、即ち、ｗk’ｘl,k’=ｓl,k’である。しかしながら、実際の音響環境では、この数式は、室内伝達関数の変動および不十分な逆フィルター長などのような理由から、或る誤差ε(a)l,k’=ｗk’ｘl,k’-ｓl,k’を含む可能性がある。従って、音響ｐｄｆは、ｐ｛ｗk’,｛ｘ(r)l,m,k｝k|Θk｝=ｐ｛｛ε(a)l,k’｝k’|Θk｝のように、この誤差についての確率密度関数（ｐｄｆ）と考えることができる。同様に、音源確率密度関数（音源ｐｄｆ）は、ｐ｛｛ｓ^(r)l,m,k｝k|Θk｝=ｐ｛｛ε(sr)l,m,k｝k|Θk｝のように、誤差ε(sr)l,m,k=ｓ^(r)l,m,k-S(r)l,m,kについての他の確率密度関数（ｐｄｆ）と考えることができ、または、音源信号と特性ベースの信号との差分と考えることができる。簡略化のために、これらの誤差は、｛Ｓ(r)l,m,k｝kが与えられた場合に、時間的(sequentially)に独立な確率過程であるものとする。上記の二つの誤差過程の実数部と虚数部は、分散が同一で相互に独立であり、各々平均ゼロのガウス確率過程によってモデル化することが出来るとする。これらの仮定を用いて、誤差確率密度関数（誤差ｐｄｆ）は次のように表される。
【００７９】
【数８】
2009535674.tif 000010
【００８０】
ここで、σ(a)l,k’及びσ(sr)l,m,kは、それぞれ、上記二つの確率密度関数（ｐｄｆ）についての分散であり、以下では、音響環境不確定性および音源信号不確定性と称す。これら二つの値は、音声信号と室内音響の特性に基づいて与えられるものとする。
【００８１】
＜ＥＭアルゴリズムの説明＞
期待値最大化（ＥＭ）アルゴリズムは、欠測値を含む所与の尤度関数を最大化するパラメータのセットを見つけ出すための最適化方法論である。これは、A.P.Dempster、N.M.LairdおよびD.B.Rubinにより、「“maximum likelihood from incorporate data via the EM algorithm,” Journal of the Royal Statistical Society, Series B, 39(1):1-38, 1977」に開示されている。一般に、尤度関数は次のように表される。
【００８２】
【数９】
2009535674.tif 000011
【００８３】
ここで、ｐ｛・|Θ｝は、パラメータのセットΘが与えられ、且つ、Ｘ及びＹが確率変数であるという条件下で、確率変数の確率密度関数（ｐｄｆ）を表す。Ｘ=xは、ｘがＸに関する観測値として与えられることを意味する。上述の尤度関数において、Ｙは、観測されないものとし、欠測値と称され、従って、確率密度関数（ｐｄｆ）はＹで周辺化される。最大尤度問題は、尤度関数を最大化するパラメータのセットΘ=θの実現値を見つけ出すことにより解決することができる。
【００８４】
期待値最大化（ＥＭ）アルゴリズムによれば、補助関数Ｑ｛Θ|θ｝を用いる期待値ステップ（Ｅステップ）と最大化ステップ（Ｍステップ）は、それぞれ次のように定義される。
【００８５】
【数１０】
2009535674.tif 000012
【００８６】
ここで、上記数式（１０）のうち“Ｅステップ”のラベルが付された上段の数式におけるＥ|θ｛・|θ｝は、Θ=θが固定された条件下での期待値関数であり、更に詳しくは、それはＥステップの２行目の数式として定義される。尤度関数Ｌ｛Θ｝は、最大化ステップ（Ｍステップ）と期待値ステップ（Ｅステップ）の１反復(one iteration)を通じてΘ=θ~でΘ=θを更新することにより増加することが示され、ここで、Ｑ｛Θ|θ｝は期待値ステップ（Ｅステップ）で計算される一方、Ｑ｛Θ|θ｝を最大化するΘ=θ~は最大化ステップ（Ｍステップ）で得られる。最大尤度問題に対する解法は、上記反復を繰り返すことにより得られる。
【００８７】
＜ＥＭアルゴリズムに基づく解法＞
θkの上記数式（６）を解く効果的な方法は、上述の期待値最大化（ＥＭ）アルゴリズムを使用することである。このアプローチを用いて、補助関数Ｑ（Θk|θk）を用いる期待値ステップ（Ｅステップ）と、最大化ステップ（Ｍステップ）は、それぞれ、音声残響除去について次のように定義される。
【００８８】
【数１１】
2009535674.tif 000013
【００８９】
ここで、ｚ(r)kは、次の数式の確率過程の実現値であるものとする。
Ｚ(r)k=｛｛Ｘ(r)l,m,k｝k ,｛Ｓ^(r)l,m,k｝k｝
【００９０】
ＥＭアルゴリズムによれば、対数尤度log ｐ｛ｚ(r)k|θk｝はＥＭ反復を通じて得られるθ~kでθkを更新することにより増加し、そして、それは上記反復を繰り返すことにより定留点解(stationary point solution)に収束する。
【００９１】
＜解＞
Ｅステップ及びＭステップの直接的な計算に代えて、Ｑ（Θk|θk）-Ｑ（θk|θk）はＱ（Θk|θk）と同じΘkで最大値を有するため、これを分析することにする。Ｑ（Θk|θk）-Ｑ（θk|θk）に或る変形(arrangement)を加えた後にΘkを含む項のみを抽出すると、次の関数が得られる。
【００９２】
【数１２】
2009535674.tif 000014
【００９３】
ここで、“＊”は複素共役を意味する。注目すべきことは、ＱΘ｛Θk|θk｝を最大化するΘkはＱ（Θk|θk）も最大化することであり、そのΘkは、ＱΘ｛Θk|θk｝＞ＱΘ｛θk|θk｝とし、また、Ｑ（Θk|θk）＞Ｑ（θk|θk）とする。ＱΘ｛Θk|θk｝を最大化するΘkは、それをＳ(r)l,m,kで微分し、それをゼロと置き、その結果得られる連立方程式を解くことにより得られる。しかしながら、上記解を得るための計算コストは予想以上に高く、その理由は、ｌ，ｋのそれぞれについてＭ個の未知変数を用いてこの数式を解く必要があるからである。
【００９４】
或いは、より効率的な方法で上記数式のＱΘ（Θk|θk）を最大化するために、次の仮定を導入する。ＬＴＦＳビンのパワーは、前述の数式（３）に基づきＬＴＦＳビンを構成するＳＴＦＳビンのパワーの和によって近似することができ、即ち次のように表すことができるものとする。
【００９５】
【数１３】
2009535674.tif 000015
【００９６】
この仮定を用いれば、上述の数式（１２）によって与えられるＱΘ（Θk|θk）は次のように書き直すことができる。
【００９７】
【数１４】
2009535674.tif 000016
【００９８】
上記数式を微分して、それをゼロと置くことにより、上述の数式（１１）のＭステップによって与えられるθ~kについて次のように閉形式解が得られる。
【００９９】
【数１５】
2009535674.tif 000017
【０１００】
＜検討＞
このアプローチを用いれば、残響除去は、上述の数式（１２）によって与えられるｗ~k’と、上述の数式（１５）によって与えられるｓ~(r)l,m,kを繰り返し演算することによって達成される。
【０１０１】
上述の数式（１２）におけるｗ~k’は、上記初期音源信号推定値をｓl,k’とし、上記観測信号をｘl,k’とした場合に、従来のＨＥＲＢ及びＳＢＤアプローチによって得られる残響除去フィルターに相当する。
【０１０２】
上述の数式（１２）は、ｘl,k’とｗ~k’とを乗算して得られる音源推定値と初期音源信号推定値ｓ^(r)l,m,kとの重み付き平均(a weighted average)によって音源推定値を更新する。上記重みは、音源信号不確定性と音響環境不確定性に従って決定される。換言すれば、一つのＥＭ反復は、音源と室内音響特性に基づいて得られる二つのタイプの音源推定値を統合することにより音源推定値を合成する。
【０１０３】
別の観点から、上述の数式（１２）によって計算される逆フィルター推定値ｗk’=ｗ~k’は、θkが固定された条件下では、次のように定義される尤度関数を最大化するものとしてとらえることができる。
【０１０４】
【数１６】
2009535674.tif 000018
【０１０５】
ここで、前述の数式（８）と同じ定義が、上述の尤度関数における確率密度変数（ｐｄｆ）について採用される。加えて、上記数式（１５）により計算される音源信号推定値θk=θ~kもまた、逆フィルター推定値ｗ~k’が固定された条件下で上記尤度関数を最大化する。従って、上述の尤度関数を最大化する音源信号推定値θ~kおよび逆フィルター推定値ｗ~k’は、上記数式（１２）および（１５）をそれぞれ繰り返して計算することにより得られる。換言すれば、上記尤度関数を最大化する逆フィルター推定値ｗ~k’は、この反復最適化アルゴリズムを通じて計算することができる。
【０１０６】
以下では、本発明の選ばれた実施形態について、図面を参照して説明する。本発明の実施形態の以下の記述は、例示のために提供されるものに過ぎず、添付の特許請求の範囲およびそれと等価なものによって定められる本発明を限定することを目的とするものではないことは、この開示内容から当業者には明らかである。
【０１０７】
＜第１の実施形態＞
図１は、本発明の第１実施形態による音源と室内音響の確率モデルに基づく音声残響除去のための装置のブロック図である。音声残響除去装置１００００は、観測信号ｘ[n]の入力を受信して波形信号ｓ~[n]の出力を生成するように協調動作する１組の機能ユニットによって実現することができる。機能ユニットのそれぞれは、所定の機能を実行するように構成またはプログラムされたハードウェア及び／又はソフトウェアから構成されてもよい。用語“適合される(adapted)”及び／又は“構成される(configured)”は、上記所望の１つの機能または複数の機能を実行するように構成及び／又はプログラムされたハードウェア及び／又はソフトウェアを記述するために使用される。音声残響除去装置１００００は、例えば、コンピュータまたはプロセッサによって実現することができる。音声残響除去装置１００００は、音声残響除去のための動作を実施する。音声残響除去方法は、コンピュータによって実行されるプログラムによって実現することができる。
【０１０８】
音声残響除去装置１００００は、典型的には、初期化ユニット１０００と、尤度最大化ユニット２０００と、逆短時間フーリエ変換ユニット４０００とを備える。初期化ユニット１０００は、デジタル化された波形信号（デジタル化波形信号）である観測信号ｘ[n]を受信するように構成されてもよく、ここで、ｎはサンプルインデックスである。デジタル化波形信号ｘ[n]は、残響の程度が未知である音声信号を含んでもよい。音声信号は、１つのマイクロホンまたは複数のマイクロホンなどの装置によって得ることができる。初期化ユニット１０００は、観測信号から、初期音源信号推定値と、音源信号及び音響環境に関連する不確定性とを抽出するように構成される。また、初期化ユニット１０００は、初期音源信号推定値と、音源信号不確定性と、音響環境不確定性とを定式化するように構成されてもよい。これらの表現は、全てのインデックスｌ，ｍ，ｋ，ｋ’について、デジタル化された波形初期音源信号推定値（デジタル化初期音源信号推定値）であるｓ^[n]と、音源信号不確定性を表す分散(variance)又はばらつき(dispersion)であるσ(sr)l,m,kと、音響環境不確定性を表す分散又はばらつきであるσ(a)l,k’として列挙される。即ち、初期化ユニット１０００は、上記観測信号としてデジタル化波形信号ｘ[n]の入力を受信し、そしてデジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性を表す分散又はばらつきを表すσ(sr)l,m,kと、音響環境不確定性を表す分散又はばらつきを表すσ(a)l,m,kとを生成するように構成されてもよい。
【０１０９】
尤度最大化ユニット２０００は、初期化ユニット１０００と協調動作してもよい。即ち、尤度最大化ユニット２０００は、初期化ユニット１０００から、デジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性σ(sr)l,m,kと、音響環境不確定性σ(a)l,m,kとの各入力を受信するように構成されてもよい。また、尤度最大化ユニット２０００は、上記観測信号として、デジタル化波形観測信号ｘ[n]の別の入力を受信するように構成されてもよい。ｓ^[n]は、デジタル化波形初期音源信号推定値である。σ(sr)l,m,kは、音源信号不確定性を表す第１分散である。σ(a)l,m,kは音響環境不確定性を表す第２分散である。また、尤度最大化ユニット２０００は、尤度関数を最大化する音源信号推定値θkを決定するように構成されてもよく、ここで、上記決定は、上記デジタル化波形観測信号ｘ[n]と、デジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,m,kとを参照してなされる。通常、尤度関数は、音源信号推定値を参照して定義される未知パラメータと、室内伝達関数の逆フィルターを表す欠測値の第１確率変数と、観測信号および初期音源信号推定値を参照して定義される上記観測値の第２確率変数とによって値が定まる確率密度関数に基づいて定義されてもよい。音源信号推定値θkの決定は、反復最適化アルゴリズムを用いて実施される。
【０１１０】
反復最適化アルゴリズムの代表例は、上述の期待値最大化アルゴリズムを含んでもよいが、これに限定されない。一例において、尤度最大化ユニット２０００は、全てのｋについて音源信号θk=｛ｓ~(r)l,m,k｝kを検索し、次のように定義される尤度関数を最大化する音源信号を推定するように構成されてもよい。
Ｌ｛θk｝=log ｐ｛ｚ(r)k|Θk =θk｝
【０１１１】
ここで、ｚ(r)k=｛｛ｘ(r)l,m,k｝k ,｛ｓ^(r)l,m,k｝k｝は、今のところ、短時間観測ｘ(r)l,m,kと初期音源信号推定値ｓ^(r)l,m,kとの共同イベントである。この関数の詳細は、既に、前述の数式（６）を参照して述べられた。従って、尤度最大化ユニット２０００は、尤度関数を最大化する音源信号推定値ｓ^(r)l,m,kを決定して出力するように構成されてもよい。
【０１１２】
逆短時間フーリエ変換ユニット４０００は尤度最大化ユニット２０００と協調動作してもよい。即ち、逆短時間フーリエ変換ユニット４０００は、尤度最大化ユニット２０００から、尤度関数を最大化する音源信号推定値ｓ~(r)l,m,kの入力を受信するように構成されてもよい。また、逆短時間フーリエ変換ユニット４０００は、音源信号推定値ｓ~(r)l,m,kをデジタル化波形信号ｓ~[n]に変換し、このデジタル化波形信号ｓ~[n]を出力するように構成されてもよい。
【０１１３】
尤度最大化ユニット２０００は、尤度関数を最大化する音源信号推定値ｓ~(r)l,m,kを決定して出力するために相互に協調動作する１組のサブ機能ユニットによって実現することができる。図２は、図１に示された尤度最大化ユニット２０００の構成を示すブロック図である。一例において、尤度最大化ユニット２０００は、更に、長時間フーリエ変換ユニット２１００と、更新ユニット２２００と、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００と、逆フィルター推定ユニット２４００と、フィルタリングユニット２５００と、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００と、音源信号推定及び収束チェックユニット２７００と、短時間フーリエ変換ユニット２８００と、長時間フーリエ変換ユニット２９００とを備える。これらのユニットは、協調動作して、尤度関数を最大化する音源信号推定値が決定されるまで反復動作の実施を継続する。
【０１１４】
長時間フーリエ変換ユニット２１００は、初期化ユニット１０００から、観測信号としてデジタル化波形観測信号ｘ[n]を受信するように構成される。また、長時間フーリエ変換ユニット２１００は、長時間フーリエスペクトル（ＬＴＦＳ）としてデジタル化波形観測信号ｘ[n]を変換観測信号ｘl,k’に変換する長時間フーリエ変換を実施するように構成される。
【０１１５】
短時間フーリエ変換ユニット２８００は、初期化ユニット１０００から、デジタル化波形初期音源信号推定値ｓ^[n]を受信するように構成される。短時間フーリエ変換ユニット２８００は、デジタル化波形初期音源信号推定値ｓ^[n]を初期音源信号推定値ｓ^(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。
【０１１６】
長時間フーリエ変換ユニット２９００は、初期化ユニット１０００から、デジタル化波形初期音源信号推定値ｓ^[n]を受信するように構成される。長時間フーリエ変換ユニット２９００は、デジタル化波形初期音源信号推定値ｓ^[n]を初期音源信号推定値ｓ^l,k’に変換する長時間フーリエ変換を実施するように構成される。
【０１１７】
更新ユニット２２００は、長時間フーリエ変換ユニット２９００およびＳＴＦＳ−ＬＴＦＳ変換ユニット２３００と協調動作する。更新ユニット２２００は、長時間フーリエ変換ユニット２９００から反復の初期ステップで初期音源信号推定値ｓ^l,k’を受信するように構成され、更に、｛ｓ^l,k’｝k’の代わりに音源信号推定値θk’を用いるように構成される。更にまた、更新ユニット２２００は、更新された音源信号推定値θk’を逆フィルター推定ユニット２４００に送信するように構成される。また、更新ユニット２２００は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から反復の後続ステップで音源信号推定値ｓ~l,k’を受信するように構成されると共に、音源信号推定値θk’を｛ｓ~l,k’｝k’に置き換えるように構成される。また、更新ユニット２２００は、更新された音源信号推定値θk’を逆フィルター推定ユニット２４００に送信するように構成される。
【０１１８】
逆フィルター推定ユニット２４００は、長時間フーリエ変換ユニット２１００、更新ユニット２２００、初期化ユニット１０００と協調動作する。逆フィルター推定ユニット２４００は、長時間フーリエ変換ユニット２１００から観測信号ｘl,k’を受信するように構成される。また、逆フィルター推定ユニット２４００は、更新ユニット２２００から、更新された音源信号推定値（以下、更新音源信号推定値）θk’を受信するように構成される。また、逆フィルター推定ユニット２４００は、初期化ユニット１０００から、音響環境不確定性を表す第２分散σ(a)l,k’を受信するように構成される。更に、逆フィルター推定ユニット２４００は、前述の数式（１２）に従って、観測信号ｘl,k’と、更新音源信号推定値θk’と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて逆フィルター推定値ｗ~k’を計算するように構成される。更に、逆フィルター推定ユニット２４００は、逆フィルター推定値ｗ~k’を出力するように構成される。
【０１１９】
フィルタリングユニット２５００は、長時間フーリエ変換ユニット２１００および逆フィルター推定ユニット２４００と協調動作する。フィルタリングユニット２５００は、長時間フーリエ変換ユニット２１００から観測信号ｘl,k’を受信するように構成される。また、フィルタリングユニット２５００は、逆フィルター推定ユニット２４００から逆フィルター推定値ｗ~k’を受信するように構成される。また、フィルタリングユニット２５００は、観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用して、フィルタされた音源信号推定値（以下、フィルター音源信号推定値）ｓ-l,k’を生成するように構成される。観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用するためのフィルタリング処理の代表例は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することであるが、これに限定されない。この場合、フィルター音源信号推定値ｓ-l,k’は観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’によって与えられる。
【０１２０】
ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、フィルタリングユニット２５００と協調動作する。ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、フィルタリングユニット２５００からフィルター音源信号推定値ｓ-l,k’を受信するように構成される。更に、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、フィルター音源信号推定値ｓ-l,k’を、変換されたフィルター音源信号推定値（以下、変換フィルター音源信号推定値）ｓ-(r)l,m,kに変換するＬＴＦＳ−ＳＴＦＳ変換を実施するように構成される。フィルタリング処理が観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することである場合、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、更に、積ｗ~k’ｘl,k’を、変換された信号ＬＳm,k｛｛ｗ~k’ｘl,k’｝l｝に変換するＬＴＦＳ−ＳＴＦＳ変換を実施するように構成される。この場合、積ｗ~k’ｘl,k’はフィルター音源信号推定値ｓ-l,k’を表し、変換された信号ＬＳm,k｛｛ｗ~k’ｘl,k’｝l｝は変換フィルター音源信号推定値ｓ-(r)l,m,kを表す。
【０１２１】
音源信号推定及び収束チェックユニット２７００は、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００、短時間フーリエ変換ユニット２８００、初期化ユニット１０００と協調動作する。音源信号推定及び収束チェックユニット２７００は、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００から、変換フィルター音源信号推定値ｓ-(r)l,m,kを受信するように構成される。また、音源信号推定及び収束チェックユニット２７００は、初期化ユニット１０００から、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’とを受信するように構成される。また、音源信号推定及び収束チェックユニット２７００は、短時間フーリエ変換ユニット２８００から、初期音源信号推定値ｓ^(r)l,m,kを受信するように構成される。更に、音源信号推定及び収束チェックユニット２７００は、変換フィルター音源信号推定値ｓ-(r)l,m,kと、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’と、初期音源信号推定値ｓ^(r)l,m,kとに基づいて音源信号ｓ~(r)l,m,kを推定するように構成され、ここで、この推定は、前述の数式（１５）に従ってなされる。
【０１２２】
更に、音源信号推定及び収束チェックユニット２７００は、例えば、現在推定された音源信号推定値ｓ~(r)l,m,kの現在の値を以前に推定された音源信号推定値ｓ~(r)l,m,kと比較し、そして現在の値が以前の値から或る所定量よりも小さい量だけ逸脱しているか否かをチェックすることにより、反復処理の収束の状態を判定するように構成される。もし、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの現在の値がその以前の値から上記所定量よりも小さい量だけ逸脱していることを確認すれば、音源信号推定及び収束チェックユニット２７００は、音源信号推定値ｓ~(r)l,m,kの収束が得られたと認識する、もし、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの現在の値がその以前の値から上記或る所定量よりも小さくない量だけ逸脱していれば、音源信号推定及び収束チェックユニット２７００は、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないと認識する。
【０１２３】
反復の回数が或る所定値に到達したときに反復処理が終了するような変形が可能である。即ち、音源信号推定及び収束チェックユニット２７００は、反復の回数が或る所定値に到達したことを確認し、そして音源信号推定及び収束チェックユニット２７００は、音源信号推定値ｓ~(r)l,m,kの収束が得られたことを認識する。もし、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの収束が得られたことを確認すれば、音源信号推定及び収束チェックユニット２７００は、逆短時間フーリエ変換ユニット４０００に第1出力として音源信号推定値ｓ~(r)l,m,kを供給する。もし、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないことを確認すれば、音源信号推定及び収束チェックユニット２７００は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００に第2出力として音源信号推定値ｓ~(r)l,m,kを供給する。
【０１２４】
ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、音源信号推定及び収束チェックユニット２７００と協調動作する。ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、音源信号推定及び収束チェックユニット２７００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、音源信号推定値ｓ~(r)l,m,kを、変換された音源信号推定値（以下、変換音源推定値）ｓ~l,k’に変換するＳＴＦＳ−ＬＴＦＳ変換を実施するように構成される。
【０１２５】
反復処理の後続ステップにおいて、更新ユニット２２００は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から音源信号推定値ｓ~l,k’を受信し、｛ｓ~l,k’｝k’の代わりにθk’を用い、そして、更新された音源信号推定値（以下、更新音源信号推定値）θk’を逆フィルター推定ユニット２４００に送信する。
【０１２６】
上述の反復処理は、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの収束が得られたことを確認するまで継続される。反復の初期ステップでは、更新音源信号推定値θk’は、長時間フーリエ変換ユニット２９００から供給される｛ｓ^l,k’｝k’である。上記反復の２番目または後続ステップでは、更新音源信号推定値θk’は｛ｓ~l,k’｝k’である。
【０１２７】
もし、音源信号推定及び収束チェックユニット２７００が、音源信号推定値ｓ~(r)l,m,kの収束が得られたことを確認すれば、音源信号推定及び収束チェックユニット２７００は、逆短時間フーリエ変換ユニット４０００に第１出力として上記音源信号推定値ｓ~(r)l,m,kを供給する。逆短時間フーリエ変換ユニット４０００は、音源信号推定値ｓ~(r)l,m,kをデジタル化された波形信号（以下、デジタル化波形信号）ｓ~[n]に変換し、このデジタル化波形信号ｓ~[n]を出力するように構成されてもよい。
【０１２８】
図２を参照して、尤度最大化ユニット２０００の動作を説明する。
【０１２９】
反復の初期ステップでは、デジタル化波形観測信号ｘ[n]は、初期化ユニット１０００から長時間フーリエ変換ユニット２１００に供給される。デジタル化波形観測信号ｘ[n]が長時間フーリエスペクトル（ＬＴＦＳ）としての変換観測信号ｘl,k’に変換されるように、長時間フーリエ変換ユニット２１００によって長時間フーリエ変換が実施される。デジタル化波形初期音源信号推定値ｓ^[n]は、初期化ユニット１０００から短時間フーリエ変換ユニット２８００と長時間フーリエ変換ユニット２９００に供給される。デジタル化波形初期音源信号推定値ｓ^[n]が初期音源信号推定値ｓ^(r)l,m,kに変換されるように、短時間フーリエ変換ユニット２８００によって短時間フーリエ変換が実施される。デジタル化波形初期音源信号推定値ｓ^[n]が初期音源信号推定値ｓ^l,k’に変換されるように、長時間フーリエ変換ユニット２９００によって長時間フーリエ変換が実施される。
【０１３０】
初期音源信号推定値ｓ^l,k’は長時間フーリエ変換ユニット２９００から更新ユニット２２００に供給される。音源信号推定値θk’は、更新ユニット２２００によって、初期音源信号推定値｛ｓ^l,k’｝k’の代わりに置き換えられる。そして、初期音源信号推定値θk’=｛ｓ^l,k’｝k’は更新ユニット２２００から逆フィルターユニット２４００に供給される。観測信号ｘl,k’は、長時間フーリエ変換ユニット２１００から逆フィルター推定ユニット２４００に供給される。音響環境不確定性を表す第２分散σ(a)l,k’は、初期化ユニット１０００から逆フィルター推定ユニット２４００に供給される。逆フィルター推定値ｗ~k’は、観測信号ｘl,k’と、初期音源信号推定値θk’と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて逆フィルター推定ユニット２４００によって計算され、ここで、上記計算は、前述の数式（１２）に従ってなされる。
【０１３１】
逆フィルター推定値ｗ~k’は、逆フィルター推定ユニット２４００からフィルタリングユニット２５００に供給される。観測信号ｘl,k’は、更に、長時間フーリエ変換ユニット２１００からフィルタリングユニット２５００に供給される。逆フィルター推定値ｗ~k’は、フィルターされた音源信号推定値（以下、フィルター音源信号推定値）ｓ-l,k’を生成するために、フィルタリングユニット２５００によって観測信号ｘl,k’に適用される。観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用するためのフィルタリング処理の代表例は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することである。この場合、フィルター音源信号推定値ｓ-l,k’は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’によって与えられる。
【０１３２】
フィルター音源信号推定値ｓ-l,k’は、フィルタリングユニット２５００からＬＴＦＳ−ＳＴＦＳ変換ユニット２６００に供給される。フィルター音源信号推定値ｓ-l,k’が、変換されたフィルター音源信号推定値（以下、変換フィルター音源信号推定値）ｓ-(r)l,m,kに変換されるように、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００によってＬＴＦＳ−ＳＴＦＳ変換が実施される。フィルタリング処理が、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することである場合、この積ｗ~k’ｘl,k’は、変換された信号LSm,k｛｛ｗ~k’ｘl,k’｝l｝に変換される。
【０１３３】
変換フィルター音源信号推定値ｓ-(r)l,m,kは、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００から音源信号推定及び収束チェックユニット２７００に供給される。音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’は、初期化ユニット１０００から音源信号推定及び収束チェックユニット２７００に供給される。音源信号推定値ｓ^(r)l,m,kは、短時間フーリエ変換ユニット２８００から音源信号推定及び収束チェックユニット２７００に供給される。音源信号推定値ｓ~(r)l,m,kは、変換フィルター音源信号推定値ｓ-(r)l,m,kと、音源信号不確定性を表す第１分散σ(sr)l,m,と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて音源信号推定及び収束チェックユニット２７００により計算され、ここで、上記計算は、前述の数式（１５）に従ってなされる。
【０１３４】
反復の初期ステップでは、音源信号推定値ｓ~(r)l,m,kは、音源信号推定及び収束チェックユニット２７００からＳＴＦＳ−ＬＴＦＳ変換ユニット２３００に供給されて、音源信号推定値ｓ~(r)l,m,kが変換音源信号推定値ｓ~l,k’に変換される。変換音源信号推定値ｓ~l,k’は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から更新ユニット２２００に供給される。音源信号推定値θk’は、更新ユニット２２００により、変換音源信号推定値｛ｓ~l,k’｝の代わりに置き換えられる。更新された音源信号推定値（以下、更新音源信号推定値）θk’は、更新ユニット２２００から逆推定ユニット２４００に供給される。
【０１３５】
そして、上記反復の２番目または後続ステップでは、音源信号推定値θk’=｛ｓ~l,k’｝k’が、更新ユニット２２００から逆フィルター推定ユニット２４００に供給される。また、観測信号ｘl,k’が、長時間フーリエ変換ユニット２１００から逆フィルター推定ユニット２４００に供給される。音響環境不確定性を表す第２分散σ(a)l,k’は、初期化ユニット１０００から逆フィルター推定ユニット２４００に供給される。更新された逆フィルター推定値（以下、更新逆フィルター推定値）ｗ~k’は、観測信号ｘl,k’と、更新音源信号推定値θk’=｛ｓ~l,k’｝k’と、音響環境不確定性を表す第2分散σ(a)l,k’とに基づいて逆フィルター推定ユニット２４００により計算され、ここで、上記計算は、前述の数式（１２）に基づいてなされる。
【０１３６】
更新逆フィルター推定値ｗ~k’が、逆フィルター推定ユニット２４００からフィルタリングユニット２５００に供給される。また、観測信号ｘl,k’が、長時間フーリエ変換ユニット２１００からフィルタリングユニット２５００に供給される。観測信号ｘl,k’は、フィルターされた音源信号推定値（以下、フィルター音源信号推定値）ｓ-l,k’を生成するために、フィルタリングユニット２５００によって更新逆フィルター推定値ｗ~kに適用される。
【０１３７】
更新フィルター音源信号推定値ｓ-l,k’は、フィルタリングユニット２５００からＬＴＦＳ−ＳＴＦＳ変換ユニット２６００に供給される。更新フィルター音源信号推定値ｓ-l,k’が、変換されたフィルター音源信号推定値（以下、変換フィルター音源信号推定値）ｓ-(r)l,m,kに変換されるように、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００によってＬＴＦＳ−ＳＴＦＳ変換が実施される。
【０１３８】
更新フィルター音源信号推定値ｓ-(r)l,m,kは、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００から音源信号推定及び収束チェックユニット２７００に供給される。また、音源信号不確定性を表す第1分散σ(sr)l,mおよび音響環境不確定性を表す第２分散σ(a)l,k’の両方が、初期化ユニット１０００から音源信号推定及び収束チェックユニット２７００に供給される。更新フィルター音源信号推定値ｓ^(r)l,m,kは、短時間フーリエ変換ユニット２８００から音源信号推定及び収束チェックユニット２７００に供給される。音源信号推定値ｓ~(r)l,m,kは、変換されたフィルター音源信号推定値ｓ-(r)l,m,kと、音源信号不確定性を表す第1分散σ(sr)l,mと、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて音源信号推定及び収束チェックユニット２７００によって計算され、ここで、上記計算は、前述の数式（１５）に従ってなされる。現在推定された音源信号推定値ｓ~(r)l,m,kの現在の値は、以前に推定された音源信号推定値ｓ~(r)l,m,kの以前の値と比較される。音源信号推定及び収束チェックユニット２７００によって、現在の値が或る以前の値から所定量よりも小さい量だけ逸脱しているか否かが検証される。
【０１３９】
もし、音源信号推定及び収束チェックユニット２７００によって、音源信号推定値ｓ~(r)l,m,kの現在の値がその以前の値から或る所定の量よりも小さな量だけ逸脱していることが確認されれば、音源信号推定値ｓ~(r)l,m,kの収束が得られたことが音源信号推定及び収束チェックユニット２７００によって認識される。第1出力としての音源信号推定値ｓ~(r)l,m,kは、音源信号推定及び収束チェックユニット２７００から逆短時間フーリエ変換ユニット４０００に供給される。この音源信号推定値ｓ~(r)l,m,kは、逆短時間フーリエ変換ユニット４０００によってデジタル化された波形音源信号推定値ｓ~[n]に変換される。
【０１４０】
もし、音源信号推定及び収束チェックユニット２７００により、音源信号推定値ｓ~(r)l,m,kの現在の値がその以前の値から或る所定量よりも小さな量だけ逸脱していないことが確認されれば、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないことが音源信号推定及び収束チェックユニット２７００により認識される。音源信号推定値ｓ~(r)l,m,kは、音源信号推定及び収束チェックユニット２７００からＳＴＦＳ−ＬＴＦＳ変換ユニット２３００に供給されて、音源信号推定値ｓ~(r)l,m,kが変換音源信号推定値ｓ~l,k’に変換される。変換された音源信号推定値ｓ~l,k’は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から更新ユニット２２００に供給される。音源信号推定値θk’は、更新ユニット２２００によって、変換された音源信号推定値｛ｓ~l,k’｝k’の代わりに置き換えられる。更新された音源信号推定値θk’は、更新ユニット２２００から逆フィルター推定ユニット２４００に供給される。
【０１４１】
反復の回数が或る所定値に到達したときに反復処理が終了するという変形例も可能である。即ち、反復の回数が或る所定値に到達したことが音源信号推定及び収束チェックユニット２７００によって確認されると、音源信号推定値ｓ~(r)l,m,kの収束が得られたことが音源信号推定及び収束チェックユニット２７００によって認識される。もし、音源信号推定値ｓ~(r)l,m,kの収束が得られたことが音源信号推定及び収束チェックユニット２７００によって確認されれば、第１出力としての音源信号推定値ｓ~(r)l,m,kは、音源信号推定及び収束チェックユニット２７００から逆短時間フーリエ変換ユニット４０００に供給される。もし、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないことが音源信号推定及び収束チェックユニット２７００によって確認されれば、第２出力としての音源信号推定値ｓ~(r)l,m,kは、音源信号推定及び収束チェックユニット２７００からＳＴＦＳ−ＬＴＦＳ変換ユニット２３００に供給されて、音源信号推定値ｓ~(r)l,m,kが、変換された音源信号推定値ｓ~l,k’に変換される。更に、音源信号推定値θk’は、変換された音源信号推定値ｓ~l,k’の代わりに置き換えられる。
【０１４２】
上述の反復処理は、音源信号推定値ｓ~(r)l,m,kの収束が得られたことが音源信号推定及び収束チェックユニット２７００によって確認されるまで継続される。反復の初期ステップでは、更新された音源信号推定値θk’は、｛ｓ^l,k’｝k’であり、それは、長時間フーリエ変換ユニット２９００から供給される。反復の２番目または後続ステップでは、更新された音源信号推定値θk’は、｛ｓ~l,k’｝k’である。
【０１４３】
もし、音源信号推定値ｓ~(r)l,m,kの収束が得られたことが音源信号推定及び収束チェックユニット２７００によって確認されれば、第１出力としての音源信号推定値ｓ~(r)l,m,kが、音源信号推定及び収束チェックユニット２７００から逆短時間フーリエ変換ユニット４０００に供給される。音源信号推定値ｓ~(r)l,m,kは、逆短時間フーリエ変換ユニット４０００によってデジタル化波形音源信号推定値ｓ~[n]に変換され、そして逆短時間フーリエ変換ユニット４０００がデジタル化波形音源信号推定値ｓ~[n]を出力する。
【０１４４】
図３Ａは、図２に示されたＳＴＦＳ−ＬＴＦＳ変換ユニット２３００の構成を示すブロック図である。ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、逆短時間フーリエ変換ユニット２３１０および長時間フーリエ変換ユニット２３２０を備えてもよい。逆短時間フーリエ変換ユニット２３１０は、音源信号推定及び収束チェックユニット２７００と協調動作する。逆短時間フーリエ変換ユニット２３１０は、音源信号推定及び収束チェックユニット２７００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。逆短時間フーリエ変換ユニット２３１０は、更に、音源信号推定値ｓ~(r)l,m,kを出力としてのデジタル化波形音源信号推定値ｓ~[n]に変換するように構成される。
【０１４５】
長時間フーリエ変換ユニット２３２０は、逆短時間フーリエ変換ユニット２３１０と協調動作する。長時間フーリエ変換ユニット２３２０は、逆短時間フーリエ変換ユニット２３１０からデジタル化波形音源信号推定値ｓ~[n]を受信するように構成される。長時間フーリエ変換ユニット２３２０は、更に、デジタル化波形音源信号推定値ｓ~[n]を出力としての変換音源信号推定値ｓ~l,k’に変換するように構成される。
【０１４６】
図３Ｂは、図２に示されたＬＴＦＳ−ＳＴＦＳ変換ユニット２６００の構成を示すブロック図である。ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、逆長時間フーリエ変換ユニット２６１０と、短時間フーリエ変換ユニット２６２０を備えてもよい。逆長時間フーリエ変換ユニット２６１０はフィルタリングユニット２５００と協調動作する。逆長時間フーリエ変換ユニット２６１０は、フィルタリングユニット２５００からフィルター音源信号推定値ｓ-l,k’を受信するように構成される。逆長時間フーリエ変換ユニット２６１０は、更に、フィルター音源信号推定値ｓ-l,k’を出力としてのデジタル化波形フィルター音源信号推定値ｓ-[n]に変換するように構成される。
【０１４７】
短時間フーリエ変換ユニット２６２０は逆長時間フーリエ変換ユニット２６１０と協調動作する。短時間フーリエ変換ユニット２６２０は、逆長時間フーリエ変換ユニット２６１０から、デジタル化波形フィルター音源信号推定値ｓ-[n]を受信するように構成される。短時間フーリエ変換ユニット２６２０は、更に、デジタル化波形フィルター音源信号推定値ｓ-[n]を出力としての変換フィルター音源信号推定値ｓ-(r)l,m,kに変換するように構成される。
【０１４８】
図４Ａは、図２に示された長時間フーリエ変換ユニット２１００の構成を示すブロック図である。長時間フーリエ変換ユニット２１００は、ウィンドウユニット(windowing unit)２１１０と、離散フーリエ変換ユニット２１２０を備えてもよい。ウィンドウユニット２１１０は、デジタル化波形観測信号ｘ[n]を受信するように構成される。このウィンドウユニット２１１０は、更に、次のように、分析窓関数ｇ[n]をデジタル化波形観測信号ｘ[n]に繰り返し適用するように構成される。
ｘl[n]=ｇ[n]ｘ[nl+n]
ここで、ｎlは、長時間フレームｌが開始するサンプルインデックスである。ウィンドウユニット２１１０は、全てのｌについて、セグメント化された波形観測信号ｘl[n]を生成するように構成される。
【０１４９】
離散フーリエ変換ユニット２１２０はウィンドウユニット２１１０と協調動作する。離散フーリエ変換ユニット２１２０は、ウィンドウユニット２１１０から、セグメント化された波形観測信号ｘl[n]を受信するように構成される。また、離散フーリエ変換ユニット２１２０は、次のように、セグメント化された波形信号ｘl[n]のそれぞれを変換観測信号ｘl,k’に変換するＫ点離散フーリエ変換を実施するように構成される。
【０１５０】
【数１７】
2009535674.tif 000019
【０１５１】
図４Ｂは、図３に示された逆長時間フーリエ変換ユニット２６１０の構成を示すブロック図である。逆長時間フーリエ変換ユニット２６１０は、逆離散フーリエ変換ユニット２６１２と、オーバーラップ付加合成ユニット２６１４を備えてもよい。逆離散フーリエ変換ユニット２６１２はフィルタリングユニット２５００と協調動作する。逆離散フーリエ変換ユニット２６１２は、フィルター音源信号推定値ｓ-l,k’を受信するように構成される。また、逆離散フーリエ変換ユニット２６１２は、フィルター音源信号推定値ｓ-l,k’の各フレームを出力としてのセグメント化された波形フィルター音源信号推定値ｓ-[n]に変換する対応逆離散フーリエ変換を適用し、それは次のように与えられる。
【０１５２】
【数１８】
2009535674.tif 000020
【０１５３】
オーバーラップ付加合成ユニット２６１４は逆離散フーリエ変換ユニット２６１２と協調動作する。オーバーラップ付加合成ユニット２６１４は、逆離散フーリエ変換ユニット２６１２から、セグメント化された波形フィルター音源信号推定値ｓ-l[n]を受信するように構成される。オーバーラップ付加合成ユニット２６１４は、更に、デジタル化波形フィルター音源信号推定値ｓ-[n]を得るために、オーバーラップ付加合成ウィンドウｇs[n]を用いるオーバーラップ負荷合成技術に基づいて、全てのｌについて、セグメント化された波形フィルター音源信号推定値ｓ-[n]を結合(connect)または合成(systhesize)するように構成され、それは次のように与えられる。
【０１５４】
【数１９】
2009535674.tif 000021
【０１５５】
図５Ａは、図３Ｂに示された短時間フーリエ変換ユニット２６２０の構成を示すブロック図である。短時間フーリエ変換ユニット２６２０は、ウィンドウユニット２６２２と、離散フーリエ変換ユニット２６２４を備えてもよい。ウィンドウユニット２６２２は、逆長時間フーリエ変換ユニット２６１０と協調動作する。ウィンドウユニット２６２２は、逆長時間フーリエ変換ユニット２６１０からデジタル化波形フィルター音源信号推定値ｓ-[n]を受信するように構成される。また、ウィンドウユニット２６２２は、セグメント化されたフィルター音源信号推定値ｓ-l,m[n]を生成するために、ウィンドウシフトτを用いてデジタル化波形フィルター音源信号推定値ｓ-[n]に分析窓関数ｇ(r)[n]を繰り返し適用するように構成され、それは次のように与えられる。
【０１５６】
【数２０】
2009535674.tif 000022
【０１５７】
ここで、ｎl,mは、時間フレームが開始するサンプルインデックスである。ウィンドウユニット２６２２は、全てのｌおよびｍについて、セグメント化された波形フィルター音源信号推定値ｓ-l,m[n]を生成する。
【０１５８】
離散フーリエ変換ユニット２６２４はウィンドウユニット２６２２と協調動作する。離散フーリエ変換ユニット２６２４は、ウィンドウユニット２６２２から、セグメント化された波形フィルター音源信号推定値ｓ-l,m[n]を受信するように構成される。離散フーリエ変換ユニット２６２４は、更に、セグメント化された波形フィルター音源信号推定値ｓ-l,m[n]のそれぞれを変換フィルター音源信号推定値ｓ-(r)l,m,kに変換するＫ(r)点離散フーリエ変換を実施するように構成され、それは次のように与えられる。
【０１５９】
【数２１】
2009535674.tif 000023
【０１６０】
図５Ｂは、図３Ａに示された逆短時間フーリエ変換ユニット２３１０の構成を示すブロック図である。逆短時間フーリエ変換ユニット２３１０は、逆離散フーリエ変換ユニット２３１２と、オーバーラップ付加合成ユニット２３１４を備えてもよい。逆離散フーリエ変換ユニット２３１２は、音源信号推定及び収束チェックユニット２７００と協調動作する。逆離散フーリエ変換ユニット２３１２は、音源信号推定及び収束チェックユニット２７００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。逆離散フーリエ変換ユニット２３１２は、更に、対応逆離散フーリエ変換を音源信号推定値ｓ~(r)l,m,kの各フレームに適用し、セグメント化された音源信号推定値ｓ~l,m[n]を生成するように構成され、それは次のように与えられる。
【０１６１】
【数２２】
2009535674.tif 000024
【０１６２】
オーバーラップ付加合成ユニット２３１４は逆離散フーリエ変換ユニット２３１２と協調動作する。オーバーラップ付加合成ユニット２３１４は、逆離散フーリエ変換ユニット２３１２からセグメント化された波形音源信号推定値ｓ~l,m[n]を受信するように構成される。また、オーバーラップ付加合成ユニット２３１４は、デジタル化波形音源信号推定値ｓ~[n]を得るために、合成ウィンドウｇs(r)[n]を用いたオーバーラップ付加合成技術に基づいて、全てのｌおよびｍについて、セグメント化された波形音源信号推定値ｓ~l,m[n]を結合または合成するように構成され、それは次のように与えられる。
【０１６３】
【数２３】
2009535674.tif 000025
【０１６４】
初期化ユニット１０００は、３つの動作、即ち、初期音源信号推定と、音源信号不確定性決定と、音響環境不確定性決定を実施するように構成される。上述したように、初期化ユニット１０００は、デジタル化波形観測信号ｘ[n]を受信し、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’と、デジタル化波形初期音源信号推定値ｓ^[n]を生成するように構成される。詳細には、初期化ユニット１０００は、デジタル化波形観測信号ｘ[n]からデジタル化波形初期音源信号推定値ｓ^[n]を生成する初期音源信号推定を実施するように構成される。また、初期化ユニット１０００は、デジタル化波形観測信号ｘ[n]から、音源信号不確定性を表す第１分散σ(sr)l,m,kを生成する音源信号不確定性決定を実施するように構成される。また、初期化ユニット１０００は、デジタル化波形観測信号ｘ[n]から、音響環境不確定性を表す第２分散σ(a)l,k’を生成する音響環境不確定性決定を実施するように構成される。
【０１６５】
初期化ユニット１０００は、３つの機能サブユニット、即ち、初期音源信号推定を実施する初期音源信号推定ユニット１１００と、音源信号不確定性決定を実施する音源信号不確定性ユニット１２００と、音響環境不確定性決定を実施する音響環境不確定性決定ユニット１３００とを備えてもよい。図６は、図１に示された初期化ユニット１０００に備えられた初期音源信号推定ユニット１１００の構成を示すブロック図である。図７は、図１に示された初期化ユニット１０００に備えられた音源信号不確定性決定ユニット１２００の構成を示すブロック図である。図８は、図１に示された初期化ユニット１０００に備えられた音響環境不確定性決定ユニット１３００の構成を示すブロック図である。
【０１６６】
図６を参照すると、初期音源信号推定ユニット１１００は、短時間フーリエ変換ユニット１１１０と、基本周波数推定ユニット１１２０と、適応調波フィルターユニット１１３０を備えてもよい。短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を受信するように構成される。短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を、出力としての変換観測信号ｘ(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。
【０１６７】
基本周波数推定ユニット１１２０は短時間フーリエ変換ユニット１１１０と協調動作する。基本周波数推定ユニット１１２０は、短時間フーリエ変換ユニット１１１０から変換観測信号ｘ(r)l,m,kを受信するように構成される。また、基本周波数推定ユニット１１２０は、変換観測信号ｘ(r)l,m,kから、各短時間フレームについて、基本周波数ｆl,mと有声度合ｖl,mとを推定するように構成される。
【０１６８】
適応調波フィルターユニット１１３０は、短時間フーリエ変換ユニット１１１０及び基本周波数推定ユニット１１２０と協調動作する。適応調波フィルターユニット１１３０は、短時間フーリエ変換ユニット１１１０から変換観測信号ｘ(r)l,m,kを受信するように構成される。適応調波フィルターユニット１１３０は、また、基本周波数推定ユニット１１２０から基本周波数ｆl,mおよび有声度合ｖl,mを受信するように構成される。また、適応調波フィルターユニット１１３０は、調波構造の強調が、出力として結果的に得られるデジタル化波形初期音源信号推定値ｓ^[n]を生成するように、有声度合ｖl,mおよび基本周波数ｆl,mに基づいてｘ(r)l,m,kの調波構造を強調するように構成される。この例の処理フローは、Tomohiro Nakatani, Masao Miyoshi, Keisuke Kinoshitaにより、「“Single Microphone Blind Dereverberation” in Speech Enhancement (Benesty, J.Makino, S., and Chen, J.Eds), Chapter 11, pp.247-270, Spring 2005」に詳細に開示されている。
【０１６９】
図７を参照すると、音源信号不確定性決定ユニット１２００は、更に、短時間フーリエ変換ユニット１１１０と、基本周波数推定ユニット１１２０と、音源信号不確定性決定サブユニット１１４０を備えてもよい。短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を受信するように構成される。短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を、出力としての変換観測信号ｘ(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。
【０１７０】
基本周波数推定ユニット１１２０は、短時間フーリエ変換ユニット１１１０と協調動作する。基本周波数推定ユニット１１２０は、短時間フーリエ変換ユニット１１１０から、変換観測信号ｘ(r)l,m,kを受信するように構成される。また、基本周波数推定ユニット１１２０は、変換観測信号ｘ(r)l,m,kから、各短時間フレームについて、有声度合ｖl,mと基本周波数ｆl,mを推定するように構成される。
【０１７１】
音源信号不確定性決定サブユニット１１４０は、基本周波数推定ユニット１１２０と協調動作する。音源信号不確定性決定サブユニット１１４０は、基本周波数推定ユニット１１２０から有声度合ｖl,mと基本周波数ｆl,mを受信するように構成される。また、音源信号不確定性決定サブユニット１１４０は、有声度合ｖl,mと基本周波数ｆl,mに基づいて、音源信号不確定性を表す第１分散σ(sr)l,m,kを決定するように構成される。音源信号不確定性を表す第１分散σ(sr)l,m,kは次のように与えられる。
【０１７２】
【数２４】
2009535674.tif 000026
【０１７３】
ここで、G｛u｝は、例えば、或る正の定数“ａ”および“ｂ”を用いて、Ｇ｛u｝=ｅ-a(u-b)として定義され、高調波周波数は、その基本周波数およびその倍数周波数のうちの一つについての周波数インデックスを意味する。
【０１７４】
図８を参照すると、音響環境不確定性決定ユニット１３００は、音響環境不確定性決定サブユニット１１５０を備えてもよい。音響環境不確定性決定サブユニット１１５０は、デジタル化波形観測信号ｘ[n]を受信するように構成される。また、音響環境不確定性決定サブユニット１１５０は、音響環境不確定性を表す第２分散σ(a)l,k’を生成するように構成される。典型的な一例において、第２分散σ(a)l,k’は、全てのl及びｋ’について一定であり、即ち、図８に示されるように、σ(a)l,k’=1である。
【０１７５】
残響信号は、フィードバック処理を実施するフィードバックループを備えた、改善された音声残響除去装置２００００によって効果的に残響除去することができる。フィードバック処理のフローによれば、音源信号推定値ｓ~(r)l,m,kの品質は、フィードバックループで同じ処理フローを繰り返すことによって改善することができる。デジタル化波形観測信号ｘ[n]のみが初期ステップにおけるフローの入力として使用することができるが、事前のステップで得られた音源信号推定値ｓ~(r)l,m,kも次のステップにおける入力として使用することができる。音源確率密度関数（音源ｐｄｆ）のパラメータｓ^(r)l,m,kおよびσ(sr)l,m,kの推定を行うために、観測信号ｘ[n]を用いるよりは、音源信号推定値ｓ~(r)l,m,kを用いる方が好ましい。
【０１７６】
＜第２の実施形態＞
図９は、本発明の第２の実施形態によるフィードバックループを更に備えた他の音声残響除去装置の構成を示すブロック図である。改善された音声残響除去装置２００００は、初期化ユニット１０００と、尤度最大化ユニット２０００と、収束チェックユニット３０００と、逆短時間フーリエ変換ユニット４０００を備えてもよい。初期化ユニット１０００と、尤度最大化ユニット２０００と、短時間フーリエ変換ユニット４０００の構成および動作は前述のものと同様である。本実施形態では、収束チェックユニット３０００が、尤度最大化ユニット２０００と逆短時間フーリエ変換ユニット４０００との間に追加的に備えられ、それにより、収束チェックユニット３０００は、尤度最大化ユニット２０００から出力された音源信号推定値ｓ~(r)l,m,kの収束をチェックする。もし、収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの収束が得られたと認識すれば、収束チェックユニット３０００は、その音源信号推定値ｓ~(r)l,m,kを逆短時間フーリエ変換ユニット４０００に送信する。もし、収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないと認識すれば、収束チェックユニット３０００は、その音源信号推定値ｓ~(r)l,m,kを初期化ユニット１０００に送信する。以下では、第１の実施形態と第２の実施形態との違いに焦点を当てて説明する。
【０１７７】
収束チェックユニット３０００は、初期化ユニット１０００および尤度最大化ユニット２０００と協調動作する。収束チェックユニット３０００は、尤度最大化ユニット２０００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。また、収束チェックユニット３０００は、例えば、音源信号推定値ｓ~(r)l,m,kの現在の更新値が、音源信号推定値ｓ~(r)l,m,kの以前の値から或る所定量よりも小さい量だけ逸脱しているか否かを検証することにより、反復処理の収束の状態を判定するように構成される。もし、収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの現在の更新値が音源信号推定値ｓ~(r)l,m,kの以前の値から或る所定量よりも小さい量だけ逸脱していることを確認すれば、収束チェックユニット３０００は、音源信号推定値ｓ~(r)l,m,kの収束が得られたと認識する。もし、収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの現在の更新値が音源信号推定値ｓ~(r)l,m,kの以前の値から或る所定量よりも小さい量だけ逸脱していないことを確認すれば、収束チェックユニット３０００は、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないと認識する。
【０１７８】
フィードバックまたは反復の回数が或る所定値に到達したときにフィードバック処理が終了されるような変形例も可能である。収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの収束が得られたことを確認した場合、収束チェックユニット３０００は、その音源信号推定値ｓ~(r)l,m,kを逆短時間フーリエ変換ユニット４０００に送信する。もし、収束チェックユニット３０００が、音源信号推定値ｓ~(r)l,m,kの収束がまだ得られていないことを確認すれば、収束チェックユニット３０００は、その音源信号推定値ｓ~(r)l,m,kを出力として初期化ユニット１０００に供給して、上述の反復のステップを更に実施する。
【０１７９】
収束チェックユニット３０００は、フィードバックループを初期化ユニット１０００に提供する。即ち、初期化ユニット１０００は、収束チェックユニット３０００と協調動作する。従って、初期化ユニット１０００は、フィードバックループに適合するように構成される必要がある。第１の実施形態によれば、初期化ユニット１０００は、初期音源信号推定ユニット１１００と、音源信号不確定性決定ユニット１２００と、音響環境不確定性決定ユニット１３００を備える。第２の実施形態によれば、改善された初期化ユニット１０００は、改善された初期音源信号推定ユニット１４００と、改善された音源信号不確定性決定ユニット１５００と、音響環境不確定性決定ユニット１３００を備える。以下の説明では、改善された初期音源信号推定ユニット１４００と、改善された音源信号不確定性決定ユニット１５００とに焦点を当てる。
【０１８０】
図１０は、図９に示された初期化ユニット１０００に備えられた、改善された初期音源信号推定ユニット１４００の構成を示すブロック図である。改善された初期音源信号推定ユニット１４００は、更に、短時間フーリエ変換ユニット１１１０と、基本周波数推定ユニット１１２０と、適応調波フィルターユニット１１３０と、信号スイッチユニット１１６０を備える。信号スイッチユニット１１６０の追加により、デジタル化波形初期音源信号推定値ｓ^[n]の精度を改善する。
【０１８１】
短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を受信するように構成される。短時間フーリエ変換ユニット１１１０は、デジタル化波形観測信号ｘ[n]を、出力としての変換観測信号ｘ(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。信号スイッチユニット１１６０は、短時間フーリエ変換ユニット１１１０及び収束チェックユニット３０００と協調動作する。信号スイッチユニット１１６０は、短時間フーリエ変換ユニット１１１０から変換観測信号ｘ(r)l,m,kを受信するように構成される。信号スイッチユニット１１６０は、収束チェックユニット３０００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。信号スイッチユニット１１６０は、第１出力を生成するための第１選択動作を実施するように構成される。また、信号スイッチユニット１１６０は、第２出力を生成するための第２選択動作を実施するように構成される。第１および第２選択動作は互いに独立である。第１選択動作は、変換観測信号ｘ(r)l,m,k及び音源信号推定値ｓ~(r)l,m,kのうちの一つを選択するためのものである。一例では、第１選択動作は、限られた一つのステップまたは複数のステップを除く反復の全てのステップにおいて変換観測信号ｘ(r)l,m,kを選択するためのものである。例えば、第１選択動作は、その最後の１つのステップまたは２つのステップのみを除く反復の全てのステップにおいて変換観測信号ｘ(r)l,m,kを選択するためのものであると共に、最後の１つまたは２つのステップにおいて音源信号推定値ｓ~(r)l,m,kを選択するためのものであってもよい。一例において、第２選択動作は、初期ステップを除く反復の全てのステップにおいて音源信号推定値ｓ~(r)l,m,kを選択するためのものであってもよい。反復の初期ステップにおいては、信号スイッチユニット１１６０は、変換観測信号ｘ(r)l,m,kのみを受信し、この変換観測信号ｘ(r)l,m,kのみを選択する。基本周波数ｆl,mおよび有声度合ｖl,mの両方の推定の観点から、変換観測信号ｘ(r)l,m,kを用いるよりも音源信号推定値ｓ~(r)l,m,kを用いる方が好ましい。
【０１８２】
信号スイッチユニット１１６０は、第１選択動作を実施して第１出力を生成する。信号スイッチユニット１１６０は、第２選択動作を実施して第２出力を生成する。
【０１８３】
基本周波数推定ユニット１１２０は、信号スイッチユニット１１６０と協調動作する。基本周波数推定ユニット１１２０は、信号スイッチユニット１１６０から第２出力を受信するように構成される。即ち、基本周波数推定ユニット１１２０は、反復の初期または最初のステップにおいて信号スイッチユニット１１６０から変換観測信号ｘ(r)l,m,kを受信するように構成されると共に、反復の２番目または後続ステップにおいて信号スイッチユニット１１６０から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。基本周波数推定ユニット１１２０は、更に、変換観測信号ｘ(r)l,m,kまたは音源信号推定値ｓ~(r)l,m,kに基づいて各短時間フレームについて有声度合ｖl,mおよび基本周波数ｆl,mを推定するように構成される。
【０１８４】
適応調波フィルターユニット１１３０は、信号スイッチユニット１１６０および基本周波数推定ユニット１１２０と協調動作する。適応調波フィルターユニット１１３０は、信号スイッチユニット１１６０から第１出力を受信するように構成されると共に、基本周波数推定ユニット１１２０から有声度合ｖl,mおよび基本周波数ｆl,mを受信するように構成される。即ち、適応調波フィルターユニット１１３０は、信号スイッチユニット１１６０から、その最後の一つまたは二つのステップを除く反復の全てのステップにおいて変換観測信号ｘ(r)l,m,kを受信するように構成される。また、適応調波フィルターユニット１１３０は、反復の最後の１つまたは二つのステップにおいて信号スイッチユニット１１６０から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。また、適応調波フィルターユニット１１３０は、反復の全てのステップにおいて基本周波数推定ユニット１１２０から有声度合ｖl,mおよび基本周波数ｆl,mを受信するように構成される。また、適応調波フィルターユニット１１３０は、有声度合ｖl,mおよび基本周波数ｆl,mに基づいて、音源信号推定値ｓ~(r)l,m,kまたは観測信号ｘ(r)l,m,kの調波構造を強調するように構成される。上記強調動作は、推定の精度が改善されたデジタル化波形初期音源信号推定値ｓ^[n]を生成する。
【０１８５】
上述のように、有声度合ｖl,mおよび基本周波数ｆl,mの両方の推定の観点から、基本周波数推定ユニット１１２０は、観測信号ｘ(r)l,m,kを使用するよりも、音源信号推定値ｓ~(r)l,m,kを使用する方が好ましい。従って、観測信号ｘ(r)l,m,kに代えて、反復の２番目または後続ステップにおいて音源信号推定値ｓ~(r)l,m,kを基本周波数推定ユニット１１２０に供給することにより、デジタル化波形初期音源信号推定値ｓ^[n]の推定を改善することができる。
【０１８６】
或る例では、デジタル化波形初期音源信号推定値ｓ^[n]のより良い推定を得るためには、適応調波フィルターを、観測信号ｘ(r)l,m,kに適用するよりも、音源信号推定値ｓ~(r)l,m,kに適用する方がいっそう適切である。残響除去ステップの一つの反復は、音源信号推定値ｓ~(r)l,m,kに或る特殊な歪みを与え、その歪みは、適応調波フィルターを音源信号推定値ｓ~(r)l,m,kに適用するときに、デジタル化波形初期音源信号推定値ｓ^[n]に直接的に受け継がれる。加えて、この歪みは、反復残響除去ステップを通じて、音源信号推定値ｓ~(r)l,m,kに蓄積される。この歪みの蓄積を回避するためには、音源信号推定値ｓ~(r)l,m,kの推定が精度よくなされる反復の終了前に最後の一つのステップまたは最後のわずかな複数のステップを除いて、観測信号ｘ(r)l,m,kを適応調波フィルターユニット１１３０に与えるように信号スイッチユニット１１６０が構成されることが効果的である。
【０１８７】
図１１は、図９に示された初期化ユニット１０００に備えられた改善された音源信号不確定性決定ユニット１５００の構成を示すブロック図である。この改善された音源信号不確定性決定ユニット１５００は、更に、短時間フーリエ変換ユニット１１１２と、基本周波数推定ユニット１１２２と、音源信号不確定性決定ユニット１１４０と、信号スイッチユニット１１６２を備えてもよい。信号スイッチユニット１１６２の追加により、音源信号不確定性σ(sr)l,m,kの推定を改善することができる。第２の実施形態によれば、尤度最大化ユニット２０００の構成は、第１実施形態で述べたものと同一である。
【０１８８】
短時間フーリエ変換ユニット１１１２は、デジタル化波形観測信号ｘ[n]を受信するように構成される。短時間フーリエ変換ユニット１１１２は、デジタル化波形観測信号ｘ[n]を、出力としての変換観測信号ｘ(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。信号スイッチユニット１１６２は、短時間フーリエ変換ユニット１１１０及び収束チェックユニット３０００と協調動作する。信号スイッチユニット１１６２は、短時間フーリエ変換ユニット１１１２から変換観測信号ｘ(r)l,m,kを受信するように構成される。信号スイッチユニット１１６２は、収束チェックユニット３０００から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。信号スイッチユニット１１６２は、第１出力を生成するための第１選択動作を実施するように構成される。第１選択動作は、観測信号ｘ(r)l,m,k及び音源信号推定値ｓ~(r)l,m,kのうちの一つを選択するためのものである。
【０１８９】
一例において、第１選択動作は、その初期ステップを除く反復の全てのステップにおいて音源信号推定値ｓ~(r)l,m,kを選択するためのものである。反復の初期ステップにおいては、信号スイッチユニット１１６２は、変換観測信号ｘ(r)l,m,kのみを受信し、この変換観測信号ｘ(r)l,m,kを選択する。有声度合ｖl,mおよび基本周波数ｆl,mの両方の推定の観点から、変換観測信号ｘ(r)l,m,kを用いるよりも、音源信号推定値ｓ~(r)l,m,kを用いる方が好ましい。
【０１９０】
基本周波数推定ユニット１１２２は信号スイッチユニット１１６２と協調動作する。基本周波数推定ユニット１１２２は、信号スイッチユニット１１６２から第１出力を受信するように構成される。即ち、基本周波数推定ユニット１１２２は、反復の初期ステップにおいて変換観測信号ｘ(r)l,m,kを受信するように構成されると共に、その初期ステップを除く反復の全てのステップにおいて音源信号推定値ｓ~(r)l,m,kを受信するように構成される。基本周波数推定ユニット１１２２は、更に、各短時間フレームについて、基本周波数ｆl,mと、その有声度合ｖl,mを推定するように構成される。この推定は、変換観測信号ｘ(r)l,m,kまたは音源信号推定値ｓ~(r)l,m,kを参照してなされる。
【０１９１】
音源信号不確定性決定サブユニット１１４０は、基本周波数推定ユニット１１２２と協調動作する。音源信号不確定性決定サブユニット１１４０は、基本周波数推定ユニット１１２２から基本周波数ｆl,mと有声度合ｖl,mを受信するように構成される。音源信号不確定性決定ユニット１１４０は、更に、音源信号不確定性σ(sr)l,m,kを決定するように構成される。前述したように、有声度合ｖl,mおよび基本周波数ｆl,mの両方の推定の観点から、観測信号ｘ(r)l,m,kを用いるよりも、音源信号推定値ｓ~(r)l,m,kを用いる方が好ましい。
【０１９２】
＜第３の実施形態＞
図１２は、本発明の第３の実施形態による音源と室内音響の確率モデルに基づく音声残響除去のための装置を示すブロック図である。音声残響除去装置３００００は、観測信号ｘ[n]の入力を受信し、デジタル化波形音源信号推定値ｓ~[n]またはフィルター音源信号推定値ｓ-[n]の出力を生成するように協調動作する一組の機能ユニットによって実現することができる。音声残響除去装置３００００は、例えば、コンピュータまたはプロセッサによって実現することができる。音声残響除去装置３００００は、音声残響除去のための動作を実施する。
【０１９３】
音声残響除去装置３００００は、典型的には、上述の初期化ユニット１０００と、上述の尤度最大化ユニット２０００−１と、逆フィルター適用ユニット５０００を備えてもよい。初期化ユニット１０００は、デジタル化波形観測信号ｘ[n]を受信するように構成されてもよい。デジタル化波形観測信号ｘ[n]は、残響の程度が未知の音声信号に含まれてもよい。音声信号は、１つのマイクロホンまたは複数のマイクロホンのような装置によって得ることができる。初期化ユニット１０００は、観測信号から、音源信号および音響環境に関する不確定性と初期音源信号推定値を抽出するように構成されてもよい。また、初期化ユニット１０００は、初期音源信号推定値と、音源信号不確定性および音響環境不確定性を定式化するように構成されてもよい。これらの表現は、全てのインデックスｌ、ｍ、ｋ、ｋ’について、デジタル化波形初期音源信号推定値であるｓ^[n]と、音源信号不確定性を表す分散又はばらつきであるσ(sr)l,m,kと、音響環境不確定性を表す分散又はばらつきであるσ(a)l,k’として列挙することができる。即ち、初期化ユニット１０００は、観測信号のような値化波形信号ｘ[n]の入力を受信して、デジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性を表す分散又はばらつきσ(sr)l,m,kと、音響環境不確定性を表す分散またはばらつきσ(a)l,k’を生成するように構成されてもよい。
【０１９４】
尤度最大化ユニット２０００−１は、初期化ユニット１０００と協調動作してもよい。即ち、尤度最大化ユニット２０００−１は、初期化ユニット１０００から、デジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性σ(sr)l,m,kと、音響環境不確定性σ(a)l,k’とを受信するように構成されてもよい。また、尤度最大化ユニット２０００−１は、観測信号としてデジタル化波形観測信号ｘ[n]の別の入力を受信するように構成されてもよい。ｓ^[n]はデジタル化波形初期音源信号推定値である。σ(sr)l,m,kは、音源信号不確定性を表す第１分散である。σ(a)l,k’は、音響環境不確定性を表す第２分散である。また、尤度最大化ユニット２０００−１は、尤度関数を最大化する逆フィルター推定値ｗ~k’を決定するように構成されてもよく、ここで、上記決定は、デジタル化波形観測信号ｘ[n]と、デジタル化波形初期音源信号推定値ｓ^[n]と、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’を参照してなされる。通常、尤度関数は、第１の未知パラメータと、第２の未知パラメータと、観測値の第１確率変数とによって値が定まる確率密度関数に基づいて定義されてもよい。第１の未知パラメータは音源信号推定値を参照して定義される。第２の未知パラメータは、室内伝達関数の逆フィルターを参照して定義される。観測値の第１確率変数は、観測信号および初期音源信号推定値を参照して定義される。逆フィルター推定値は、室内伝達関数の逆フィルターの推定値である。逆フィルター推定値ｗ~k’の決定は、反復最適化アルゴリズムを用いて実施される。
【０１９５】
反復最適化アルゴリズムは、上述の期待値最大化アルゴリズムを用いずに構成されてもよい。例えば、逆フィルター推定値ｗ~k’および音源信号推定値θ~kは、次のように定義される尤度関数を最大化するものとして得ることができる。
【０１９６】
【数２５】
2009535674.tif 000027
【０１９７】
この尤度関数は、次の反復アルゴリズムによって最大化することができる。
第１ステップでは、初期値を、θk=θ^kのように設定する。
第２ステップでは、θkが固定された条件下で尤度関数を最大化する逆フィルター推定値ｗk’=ｗ~k’を計算する。
第３ステップでは、ｗk’が固定された条件下で尤度関数を最大化する音源信号推定値θk=θ~kを計算する。
第４ステップでは、反復の収束が確認されるまで上述の第２および第３ステップを繰り返す。
【０１９８】
上述の尤度関数における確率密度関数（ｐｄｆ）について、上述の数式（８）と同じ定義を導入すれば、上述の第２ステップにおける逆フィルター推定値ｗ~k’と、上述の第３ステップにおける音源信号推定値θ~kは、それぞれ、上述の数式（１２）および（１５）によって得られることが容易に示される。第４ステップにおける上述の収束の確認は、逆フィルター推定値ｗ~k’について現在得られる値と逆フィルター推定値ｗ~k’について以前に得られた値との差分が所定の閾値よりも小さいかどうかをチェックすることにより行うことができる。最後に、観測信号は、上述の第２ステップにおいて得られた逆フィルター推定値ｗ~k’を観測信号に適用することにより残響除去することができる。
【０１９９】
逆フィルター適用ユニット５０００は、尤度最大化ユニット２０００−１と協調動作してもよい。即ち、逆フィルター適用ユニット５０００は、尤度最大化ユニット２０００−１から、尤度関数（１６）を最大化する逆フィルター推定値ｗ~k’の入力を受信するように構成されてもよい。また、逆フィルター適用ユニット５０００は、デジタル化波形観測信号ｘ[n]を受信するように構成されてもよい。また、逆フィルター適用ユニット５０００は、再生されたデジタル化波形音源信号推定値ｓ~[n]またはフィルターされたデジタル化波形音源信号推定値ｓ-[n]を生成するために、逆フィルター推定値ｗ~k’をデジタル化波形観測信号ｘ[n]に適用するように構成されてもよい。
【０２００】
一例において、逆フィルター適用ユニット５０００は、長時間フーリエ変換をデジタル化波形観測信号ｘ[n]に適用して、変換観測信号ｘl,k’を生成するように構成されてもよい。逆フィルター適用ユニット５０００は、更に、各フレームにおける変換観測信号ｘl,k’に逆フィルター推定値ｗ~k’を乗算して、フィルターされた音源信号推定値ｓ-l,k’=ｗ~k’ｘl,k’を生成するように構成されてもよい。逆フィルター適用ユニット５０００は、更に、逆長時間フーリエ変換を、フィルタされた音源信号推定値ｓ-l,k’=ｗ~k’ｘl,k’に適用して、フィルターされたデジタル化波形音源信号推定値ｓ-[n]を生成するように構成されてもよい。
【０２０１】
他の例では、逆フィルター適用ユニット５０００は、逆長時間フーリエ変換を逆フィルター推定値ｗ~k’に適用してデジタル化波形逆フィルター推定値ｗ~[n]を生成するように構成されてもよい。逆フィルター適用ユニット５０００は、デジタル化波形逆フィルター推定値ｗ~[n]でデジタル化波形観測信号ｘ[n]を畳み込み演算して、再生されたデジタル化波形音源信号推定値ｓ-[n]=Σmｘ[n-m]ｗ~[m]を生成するように構成されてもよい。
【０２０２】
尤度最大化ユニット２０００−１は、尤度関数を最大化する逆フィルター推定値ｗ~k’を決定して出力するために相互に協調動作する１組のサブ機能ユニットによって実現されてもよい。図１３は、図１２に示された尤度最大化ユニット２０００−１の構成を示すブロック図である。一例において、尤度最大化ユニット２０００−１は、更に、上述の長時間フーリエ変換ユニット２１００と、上述の更新ユニット２２００と、上述のＳＴＦＳ−ＬＴＦＳ変換ユニット２３００と、上述の逆フィルター推定ユニット２４００と、上述のフィルタリングユニット２５００と、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００と、音源信号推定ユニット２７１０と、収束チェックユニット２７２０と、上述の短時間フーリエ変換ユニット２８００と、上述の長時間フーリエ変換ユニット２９００とを備えてもよい。これらのユニットは、協調動作して、尤度関数を最大化する逆フィルター推定値が決定されるまで反復処理の実施を継続する。
【０２０３】
長時間フーリエ変換ユニット２１００は、初期化ユニット１０００から観測信号としてデジタル化波形観測信号ｘ[n]を受信するように構成される。また、長時間フーリエ変換ユニット２１００は、デジタル化波形観測信号ｘ[n]を、長時間フーリエ変換スペクトル（ＬＴＦＳ）としての変換観測信号ｘl,k’に変換する長時間フーリエ変換を実施するように構成される。
【０２０４】
短時間フーリエ変換ユニット２８００は、初期化ユニット１０００からデジタル化波形初期音源信号推定値ｓ^[n]を受信するように構成される。短時間フーリエ変換ユニット２８００は、デジタル化波形初期音源信号推定値ｓ^[n]を初期音源信号推定値ｓ^(r)l,m,kに変換する短時間フーリエ変換を実施するように構成される。
【０２０５】
長時間フーリエ変換ユニット２９００は、初期化ユニット１０００からデジタル化波形初期音源信号推定値ｓ^[n]を受信するように構成される。長時間フーリエ変換ユニット２９００は、デジタル化波形初期音源信号推定値ｓ^[n]を初期音源信号推定値ｓ^l,k’に変換する長時間フーリエ変換を実施するように構成される。
【０２０６】
更新ユニット２２００は、長時間フーリエ変換ユニット２９００およびＳＴＦＳ−ＬＴＦＳ変換ユニット２３００と協調動作する。更新ユニット２２００は、長時間フーリエ変換ユニット２９００から反復の初期ステップにおいて初期音源信号推定値ｓ^l,k’を受信するように構成され、更には｛ｓ^l,k’｝k’の代わりに音源信号推定値θk’を用いるように構成される。また、更新ユニット２２００は、更新された音源信号推定値θk’を逆フィルター推定ユニット２４００に送信するように構成される。また、更新ユニット２２００は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から反復の後続ステップにおいて音源信号推定値ｓ~l,k’を受信するように構成されると共に、｛ｓ~l,k’｝k’の代わりに音源信号推定値θk’を用いるように構成される。また、更新ユニット２２００は、更新された音源信号推定値θk’を逆フィルター推定ユニット２４００に送信するように構成される。
【０２０７】
逆フィルター推定ユニット２４００は、長時間フーリエ変換ユニット２１００、更新ユニット２２００、および初期化ユニット１０００と協調動作する。逆フィルター推定ユニット２４００は、長時間フーリエ変換ユニット２１００から観測信号ｘl,k’を受信するように構成される。また、逆フィルター推定ユニット２４００は、更新ユニット２２００から、更新された音源信号推定値θk’を受信するように構成される。また、逆フィルター推定ユニット２４００は、初期化ユニット１０００から、音響環境不確定性を表す第２分散σ(a)l,k’を受信するように構成される。逆フィルター推定ユニット２４００は、更に、上述の数式（１２）に従って、観測信号ｘl,k’と、更新された音源信号推定値θk’と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて逆フィルター推定値ｗ~k’を計算するように構成される。逆フィルター推定ユニット２４００は、更に、逆フィル推定値ｗ~k’を出力するように構成される。
【０２０８】
収束チェックユニット２７２０は、逆フィルター推定ユニット２４００と協調動作する。収束チェックユニット２７２０は、逆フィルター推定ユニット２４００から逆フィルター推定値ｗ~k’を受信するように構成される。収束チェックユニット２７２０は、例えば、現在推定される逆フィルター推定値ｗ~k’の現在の値と以前に推定された逆フィルター推定値ｗ~k’の以前の値とを比較して、現在の値が以前の値から或る所定量よりも少ない量だけ逸脱しているか否かをチェックすることにより、反復処理の収束の状態を判定するように構成される。もし、収束チェックユニット２７２０が、逆フィルター推定値ｗ~k’の現在値がその以前の値から或る所定量よりも小さい量だけ逸脱していれば、収束チェックユニット２７２０は、逆フィルター推定値ｗ~k’の収束が得られたことを認識する。もし、収束チェックユニット２７２０が、逆フィルター推定値ｗ~k’の現在値がその以前の値から少なくとも上記或る所定量だけ逸脱していれば、収束チェックユニット２７２０は、逆フィルター推定値ｗ~k’の収束がまた得られていないことを認識する。
【０２０９】
反復の回数が或る所定値に到達したときに反復処理が終了されるような変形例も可能である。即ち、収束チェックユニット２７２０は、反復の回数が或る所定値に到達したことを確認し、そして、収束チェックユニット２７２０は、逆フィルター推定値ｗ~k’の収束が得られたことを認識する。収束チェックユニット２７２０が、逆フィルター推定値ｗ~k’の収束が得られたことを確認すれば、収束チェックユニット２７２０は、逆フィルター適用ユニット５０００に第１出力として逆フィルター推定値ｗ~k’を供給する。もし、収束チェックユニット２７２０が、逆フィルター推定値ｗ~k’の収束がまだ得られていないことを確認すれば、収束チェックユニット２７２０は、フィルタリングユニット２５００に第２出力として逆フィルター推定値ｗ~k’を供給する。
【０２１０】
フィルタリングユニット２５００は、長時間フーリエ変換ユニット２１００および収束チェックユニット２７２０と協調動作する。フィルタリングユニット２５００は、長時間フーリエ変換ユニット２１００から観測信号ｘl,k’を受信するように構成される。また、フィルタリングユニット２５００は、収束チェックユニット２７２０から逆フィルター推定値ｗ~k’を受信するように構成される。また、フィルタリングユニット２５００は、観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用して、フィルターされた音源信号推定値ｓ-l,k’を生成するように構成される。観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用するためのフィルタリング処理の典型例は、観測信号ｘl,k’と逆フィル推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することであるが、これに限定されない。この場合、フィルターされた音源信号推定値ｓ-l,k’は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’によって与えられる。
【０２１１】
ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、フィルタリングユニット２５００と協調動作する。ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、フィルタリングユニット２５００から、フィルターされた音源信号推定値ｓ-l,k’を受信するように構成される。ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、更に、フィルターされた音源信号推定値ｓ-l,k’を変換フィルター音源信号推定値ｓ-(r)l,m,kに変換するＬＴＦＳ−ＳＴＦＳ変換を実施するように構成される。フィルタリング処理が、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することである場合、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００は、更に、積ｗ~k’ｘl,k’を変換信号ＬＳm,k｛｛ｗ~k’ｘl,k’｝l｝に変換するＬＴＦＳ−ＳＴＦＳ変換を実施するように構成される。この場合、積ｗ~k’ｘl,k’は、フィルターされた音源信号推定値ｓ-l,k’を表し、変換信号ＬＳm,k｛｛ｗ~k’ｘl,k’｝l｝は、変換されたフィルター音源信号推定値ｓ-(r)l,m,kを表す。
【０２１２】
音源信号推定ユニット２７１０は、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００、短時間フーリエ変換ユニット２８００、および初期化ユニット１０００と協調動作する。音源信号推定ユニット２７１０は、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００から、フィルターされた音源信号推定値ｓ-(r)l,m,kを受信するように構成される。また、音源信号推定ユニット２７１０は、初期化ユニット１０００から、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’とを受信するように構成される。また、音源信号推定ユニット２７１０は、短時間フーリエ変換ユニット２８００から初期音源信号推定値ｓ^(r)l,m,kを受信するように構成される。音源信号推定ユニット２７１０は、更に、変換されたフィルター音源信号推定値ｓ-(r)l,m,kと、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’と、初期音源信号推定値ｓ^(r)l,m,kとに基づいて音源信号ｓ~(r)l,m,kを推定するように構成され、ここで、上記推定は、前述の数式（１５）に従ってなされる。
【０２１３】
ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、音源信号推定ユニット２７１０と協調動作する。ＳＴＦＳ−ＬＴＦＳ変換２３００は、音源信号推定ユニット２７１０から音源信号推定値ｓ~(r)l,m,kを受信するように構成される。ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００は、音源信号推定値ｓ~(r)l,m,kを変換音源信号推定値ｓ~l,k’に変換するＳＴＦＳ−ＬＴＦＳ変換を実施するように構成される。
【０２１４】
上記反復動作の後続ステップでは、更新ユニット２２００は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から音源信号推定値ｓ~l,k’を受信し、｛ｓ~l,k’｝k’の代わりに音源信号推定値θk’を用い、そして、更新された音源信号推定値θk’を逆フィルター推定ユニット２４００に送信する。反復の初期ステップでは、更新された音源信号推定値θk’は、長時間フーリエ変換ユニット２９００から供給される｛ｓ^l,k’｝k’である。上記反復の２番目または後続ステップでは、更新された音源信号推定値θk’は、｛ｓ~l,k’｝k’である。
【０２１５】
図１３を参照して、尤度最大化ユニット２０００−１の動作を説明する。
反復の初期ステップでは、デジタル化波形観測信号ｘ[n]は、長時間フーリエ変換ユニット２１００に供給される。デジタル化波形観測信号ｘ[n]が長時間フーリエスペクトル（ＬＴＦＳ）としての変換観測信号ｘl,k’に変換されるように、長時間フーリエ変換ユニット２１００によって長時間フーリエ変換が実施される。デジタル化波形初期音源信号推定値ｓ^[n]は、初期化ユニット１０００から、短時間フーリエ変換ユニット２８００および長時間フーリエ変換ユニット２９００に供給される。デジタル化波形初期音源信号推定値ｓ^[n]が初期音源信号推定値ｓ^(r)l,m,kに変換されるように、短時間フーリエ変換ユニット２８００によって短時間フーリエ変換が実施される。デジタル化波形初期音源信号推定値ｓ^[n]が初期音源信号推定値ｓ^l,k’に変換されるように、長時間フーリエ変換ユニット２９００によって長時間フーリエ変換が実施される。
【０２１６】
初期音源信号推定値ｓ^l,k’は、長時間フーリエ変換ユニット２９００から更新ユニット２２００に供給される。音源信号推定値θk’は、更新ユニット２２００によって初期音源信号推定値｛ｓ^l,k’｝k’に置き換えられる。そして、初期音源信号推定値θk’=｛ｓ^l,k’｝k’は、更新ユニット２２００から逆フィルター推定ユニット２４００に供給される。観測信号ｘl,k’は、長時間フーリエ変換ユニット２１００から逆フィルター推定ユニット２４００に供給される。音響環境不確定性を表す第２分散σ(a)l,k’は、初期化ユニット１０００から逆フィルター推定ユニット２４００に供給される。逆フィルター推定値ｗ~k’は、観測信号ｘl,k’と、初期音源信号推定値θk’と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて逆フィルター推定ユニット２４００によって計算され、ここで、上記計算は、前述の数式（１２）に従ってなされる。
【０２１７】
逆フィルター推定値ｗ~k’は、逆フィルター推定ユニット２４００から収束チェックユニット２７２０に供給される。上記反復処理の収束の状態に関する判定は、収束チェックユニット２７２０によってなされる。例えば、上記判定は、現在推定された逆フィルター推定値ｗ~k’と以前に推定された逆フィルター推定値ｗ~k’と比較することによりなされる。上記現在の値が上記以前の値から或る所定量だけ逸脱しているか否かが収束チェックユニット２７２０によってチェックされる。もし、収束チェックユニット２７２０によって、逆フィルター推定値ｗ~k’の現在の値が以前の値から上記或る所定量よりも小さい量だけ逸脱していることが確認されれば、逆フィルター推定値ｗ~k’の収束が得られたことが収束チェックユニット２７２０によって認識される。もし、収束チェックユニット２７２０によって、逆フィルター推定値ｗ~k’の現在の値が以前の値から少なくとも上記或る所定量だけ逸脱していることが確認されれば、逆フィルター推定値ｗ~k’の収束がまだ得られていないことが収束チェックユニット２７２０によって認識される。
【０２１８】
もし、逆フィルター推定値ｗ~k’の収束が得られれば、逆フィルター推定値ｗ~k’は、収束チェックユニット２７２０から逆フィルター推定ユニット５０００に供給される。もし、逆フィルター推定値ｗ~k’の収束がまだ得られていなければ、逆フィルター推定値ｗ~k’は、収束チェックユニット２７２０からフィルタリングユニット２５００に供給される。観測信号ｘl,k’は、更に、長時間フーリエ変換ユニット２１００からフィルタリングユニット２５００に供給される。逆フィルター推定値ｗ~k’は、フィルターされた音源信号推定値ｓ-l,k’を生成するために、フィルタリングユニット２５００によって観測信号ｘl,k’に適用される。観測信号ｘl,k’を逆フィルター推定値ｗ~k’に適用するためのフィルタリング処理の典型例は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することであってもよい。この場合、フィルターされた音源信号推定値ｓ-l,k’は、観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’によって与えられる。
【０２１９】
フィルターされた音源信号推定値ｓ-l,k’は、フィルタリングユニット２５００からＬＴＦＳ−ＳＴＦＳ変換ユニット２６００に供給される。フィルターされた音源信号推定値ｓ-l,k’が変換フィルター音源信号推定値ｓ-(r)l,m,kに変換されるように、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００によってＬＴＦＳ−ＳＴＦＳ変換が実施される。フィルタリング処理が観測信号ｘl,k’と逆フィルター推定値ｗ~k’との積ｗ~k’ｘl,k’を計算することである場合、上記積ｗ~k’ｘl,k’は変換信号ＬＳm,k｛｛ｗ~k’ｘl,k’｝l｝に変換される。
【０２２０】
変換フィルター音源信号推定値ｓ-(r)l,m,kは、ＬＴＦＳ−ＳＴＦＳ変換ユニット２６００から音源信号推定ユニット２７１０に供給される。音源信号不確定性を表す第１分散σ(sr)l,m,kおよび音響環境不確定性を表す第２分散σ(a)l,k’の両方が、初期化ユニット１０００から音源信号推定ユニット２７１０に供給される。初期音源信号推定値ｓ^(r)l,m,kは、短時間フーリエ変換ユニット２８００から音源信号推定ユニット２７１０に供給される。音源信号推定値ｓ~(r)l,m,kは、音源信号推定ユニット２７１０により、変換されたフィルター音源信号推定値ｓ-(r)l,m,kと、音源信号不確定性を表す第１分散σ(sr)l,m,kと、音響環境不確定性を表す第２分散σ(a)l,k’と、初期音源信号推定値ｓ^(r)l,m,kとに基づいて計算され、ここで、上記計算は前述の数式（１５）に基づいてなされる。
【０２２１】
音源信号推定値ｓ~(r)l,m,kは、音源信号推定ユニット２７１０からＳＴＦＳ−ＬＴＦＳ変換ユニット２３００に供給されて、この音源信号推定値ｓ~(r)l,m,kが変換音源信号推定値ｓ~l,k’に変換される。変換音源信号推定値ｓ~l,k’は、ＳＴＦＳ−ＬＴＦＳ変換ユニット２３００から更新ユニット２２００に供給される。音源信号推定値θk’は、更新ユニット２２００によって、変換音源信号推定値｛ｓ~l,k’｝k’に置き換えられる。更新された音源信号推定値θk’は、更新ユニット２２００から逆フィルター推定ユニット２４００に供給される。
【０２２２】
反復の２番目または後続ステップでは、音源信号推定値θk’=｛ｓ~l,k’｝k’は、更新ユニット２２００から逆フィルター推定ユニット２４００に供給される。また、観測信号ｘl,k’は、長時間フーリエ変換２１００から逆フィルター推定ユニット２４００に供給される。音響環境不確定性を表す第２分散σ(a)l,k’は、初期化ユニット１０００から逆フィルター推定ユニット２４００に供給される。更新された逆フィルター推定値ｗ~k’は、逆フィルター推定ユニット２４００によって、観測信号ｘl,k’と、更新された音源信号推定値θk’=｛ｓ~l,k’｝k’と、音響環境不確定性を表す第２分散σ(a)l,k’とに基づいて計算され、ここで、上記計算は、前述の数式（１２）に従ってなされる。
【０２２３】
更新された逆フィルター推定値ｗ~k’は、逆フィルター推定ユニット２４００から収束チェックユニット２７２０に供給される。反復処理の収束の状態に関する判定は、収束チェックユニット２７２０によってなされる。
【０２２４】
上述の反復処理は、逆フィルター推定値ｗ~k’の収束が得られたことが収束チェックユニット２７２０によって確認されるまで継続される。
【０２２５】
図１４は、図１２に示された逆フィルター適用ユニット５０００の構成を示すブロック図である。逆フィルター適用ユニット５０００の典型例は、逆長時間フーリエ変換ユニット５１００と、畳み込みユニット５２００とを備えてもよいが、これに限定されない。逆長時間フーリエ変換ユニット５１００は尤度最大化ユニット２０００−１と協調動作する。逆長時間フーリエ変換ユニット５１００は、尤度最大化ユニット２０００−１から逆フィルター推定値ｗ~k’を受信するように構成される。逆長時間フーリエ変換ユニット５１００は、更に、逆フィルター推定値ｗ~k’をデジタル化波形逆フィルター推定値ｗ~[n]に変換する逆長時間フーリエ変換を実施するように構成される。
【０２２６】
畳み込みユニット５２００は、逆長時間フーリエ変換ユニット５１００と協調動作する。畳み込みユニット５２００は、逆長時間フーリエ変換ユニット５１００からデジタル化波形逆フィルター推定値ｗ~[n]を受信するように構成される。また、畳み込みユニット５２００は、デジタル化波形観測信号ｘ[n]を受信するように構成される。また、畳み込みユニット５２００は、デジタル化波形逆フィルター推定値ｗ~[n]でデジタル化波形観測信号ｘ[n]を畳み込み演算するための畳み込み処理を実施して、残響除去された信号として、再生されたデジタル化波形音源信号推定値ｓ^[n]=Σmｘ[n-m]ｗ~[m]を生成するように構成される。
【０２２７】
図１５は、図１２に示された逆フィルター適用ユニット５０００の構成を示すブロック図である。逆フィルター適用ユニット５０００の典型例は、長時間フーリエ変換ユニット５３００と、フィルタリングユニット５４００と、逆長時間フーリエ変換ユニット５５００とを備えてもよいが、これに限定されない。長時間フーリエ変換ユニット５３００は、デジタル化波形観測信号ｘ[n]を受信するように構成される。長時間フーリエ変換ユニット５３００は、デジタル化波形観測信号ｘ[n]を変換観測信号ｘl,k’に変換する長時間フーリエ変換を実施するように構成される。
【０２２８】
フィルタリングユニット５４００は、長時間フーリエ変換ユニット５３００および尤度最大化ユニット２０００−１と協調動作する。フィルタリングユニット５４００は、長時間フーリエ変換ユニット５３００から変換観測信号ｘl,k’を受信するように構成される。また、フィルタリングユニット５４００は、尤度最大化ユニット２０００−１から逆フィルター推定値ｗ~k’を受信するように構成される。フィルタリングユニット５４００は、更に、逆フィルター推定値ｗ~k’を変換観測信号ｘl,k’に適用して、フィルターされた音源信号推定値ｓ-l,k’=ｗ~k’ｘl,k’を生成するように構成される。変換観測信号ｘl,k’に対する逆フィルター推定値ｗ~k’の適用は、各フレームにおける変換観測信号ｘl,k’に逆フィルター推定値ｗ~k’を乗算することによりなされる。
【０２２９】
逆長時間フーリエ変換ユニット５５００は、フィルタリングユニット５４００と協調動作する。逆長時間フーリエ変換ユニット５５００は、フィルタリングユニット５４００から、フィルターされた音源信号推定値ｓ-l,k’を受信するように構成される。逆長時間フーリエ変換ユニット５５００は、フィルターされた音源信号推定値ｓ-l,k’を、残響除去された信号としてのフィルターされたデジタル化波形音源信号推定値ｓ-[n]に変換する逆長時間フーリエ変換を実施するように構成される。
【０２３０】
＜実験＞
本発明の性能を確認する目的で簡単な実験を実施した。Tomohiro NakataniとMasao Miyoshiにより、「“Blind dereverberation of single channel speech signal based on harmonic structure,” Proc. ICASSP-2003, vol.1, pp.92-95, Apr., 2003」に詳細に開示されているように、ＲＴ６０時間を、０．１秒、０．２秒、０．５秒、１．０秒として、同一の語発声(word utterances)の音源信号および同一のインパルス応答が導入された。観測信号は、インパルス応答で音源信号推定値を畳み込み演算することにより合成された。ＨＥＲＢおよびＳＢＤについて使用されるものと同じ二つのタイプの初期音源信号推定値、即ち、ｓ^(r)l,m,k=H｛ｘ(r)l,m,k｝と、ｓ^(r)l,m,k=Ｎ｛ｘ(r)l,m,k｝が準備され、ここで、Ｈ｛・｝とＮ｛・｝は、それぞれ、ＨＥＲＢについて使用される調波フィルターと、ＳＢＤについて使用されるノイズ低減フィルターである。音源信号不確定性σ(sr)l,m,kは、有声度合ｖl,mとの関連で決定され、それは、観測信号の各短時間フレームについて発声状態を判定するためにＨＥＲＢと共に使用される。この測定によれば、固定された閾値δについて、ｖl,m＞δである場合、フレームは、有声(voiced)として決定される。具体的には、σ(sr)l,m,kは、次のような実験で決定される。
【０２３１】
【数２６】
2009535674.tif 000028
【０２３２】
ここで、Ｇ｛u｝は、Ｇ｛u｝=ｅ-160(u-0.95)として定義される非線形正規化関数である。他方、σ(a)l,k’は、定数の１に設定される。結果として、上述の数式（１５）におけるｓ^(r)l,m,kについての重みは、Ｇ｛u｝におけるｕが０から１に変化するに従って０から１に変化するシグモイド関数(a sigmoid function)になる。各実験について、ＥＭステップが４回反復された。加えて、フィードバックループを有する繰り返し推定スキームもまた導入された。分析条件として、４２ミリ秒に対応するＫ(r)=５０４と、１０．９秒に対応するＫ=１３０８００と、１ミリ秒に対応するτ=１２と、１２ｋＨｚのサンプリング周波数が採用された。
【０２３３】
＜エネルギー減衰曲線＞
図１２Ａから１２Ｈは、女性と男性によって発声された１００語の観測信号を用いて、ＥＭアルゴリズムの有／無の場合についてＨＥＲＢおよびＳＢＤにより残響除去されたインパルス応答と室内インパルス応答のエネルギー減衰曲線を示す。図１２Ａは、女性が発声した場合のＲＴ６０＝１．０秒でのエネルギー減衰曲線を示す。図１２Ｂは、女性が発声した場合のＲＴ６０＝０．５秒でのエネルギー減衰曲線を示す。図１２Ｃは、女性が発声した場合のＲＴ６０＝０．２秒でのエネルギー減衰曲線を示す。図１２Ｄは、女性が発声した場合のＲＴ６０＝０．１秒でのエネルギー減衰曲線を示す。図１２Ｅは、男性が発声した場合のＲＴ６０＝１．０秒でのエネルギー減衰曲線を示す。図１２Ｆは、男性が発声した場合のＲＴ６０＝０．５秒でのエネルギー減衰曲線を示す。図１２Ｇは、男性が発声した場合のＲＴ６０＝０．２秒でのエネルギー減衰曲線を示す。図１２Ｈは、男性が発声した場合のＲＴ６０＝０．１秒でのエネルギー減衰曲線を示す。図１２Ａから１２Ｈは、ＥＭアルゴリズムがＨＥＲＢおよびＳＢＤの両方で残響を効果的に低減することができることを明確に示している。
【０２３４】
よって、上述したように、本発明の一態様は、新規な残響除去を対象とし、ここで、音源信号と室内音響の特性は、ガウス確率密度関数（ｐｄｆ）によって表され、上記音源信号は、これらの確率密度関数に基づいて定義される尤度関数を最大化する信号として推定される。反復最適化アルゴリズムが、この最適化問題を効率的に解くために導入された。実験結果は、本方法が、残響除去されたインパルス応答のエネルギー減衰曲線の観点から、音声信号特性に基づく二つの残響除去方法、即ちＨＥＲＢおよびＳＢＤの性能を顕著に改善できることを示した。ＨＥＲＢおよびＳＢＤは、残響環境において得られる音声信号についてのＡＳＲ性能を改善するのに効果的であるので、本方法は、観測信号が少ない状態での性能を改善することができる。
【０２３５】
本発明の好ましい実施形態を説明したが、これらの実施形態は本発明の一例に過ぎず、本発明を限定するものと解すべきではない。また、本発明の要旨を逸脱することなく、付加、省略、置換および他の変形が可能である。従って、本発明は、上述の説明に限定されるものと解すべきではなく、添付の特許請求の範囲によってのみ制限されるものである。
【図面の簡単な説明】
【０２３６】
【図１】本発明の第１の実施形態における音源及び室内音響の確率モデルに基づく音声残響除去のための装置のブロック図である。
【図２】図１に示された音声残響除去装置に備えられた尤度最大化ユニットの構成を示すブロック図である。
【図３Ａ】図２に示された尤度最大化ユニットに備えられたＳＴＦＳ−ＬＴＦＳ変換ユニットの構成を示すブロック図である。
【図３Ｂ】図２に示された尤度最大化ユニットに備えられたＬＴＦＳ−ＳＴＦＳの構成を示すブロック図である。
【図４Ａ】図２に示された尤度最大化ユニットに備えられた長時間フーリエ変換ユニットの構成を示すブロック図である。
【図４Ｂ】図３Ｂに示されたＬＴＦＳ−ＳＴＦＳ変換ユニットに備えられた逆長時間フーリエ変換ユニットの構成を示すブロック図である。
【図５Ａ】図３Ｂに示されたＬＴＦＳ−ＳＴＦＳ変換ユニットに備えられた短時間フーリエ変換ユニットの構成を示すブロック図である。
【図５Ｂ】図３Ａに示されたＳＴＦＳ−ＬＴＦＳ変換ユニットに備えられた逆短時間フーリエ変換ユニットの構成を示すブロック図である。
【図６】図１に示された初期化ユニットに備えられた音源信号推定ユニットの構成を示すブロック図である。
【図７】図１に示された初期化ユニットに備えられた音源信号不確定性決定ユニットの構成を示すブロック図である。
【図８】図１に示された初期化ユニットに備えられた音響環境不確定性決定ユニットの構成を示すブロック図である。
【図９】本発明の第２の実施形態による他の音声残響除去装置の構成を示すブロック図である。
【図１０】図９に示された初期化ユニットに備えられた改善された初期音源信号推定ユニットの構成を示す図である。
【図１１】図９に示された初期化ユニットに備えられた改善された初期音源信号不確定性決定ユニットの構成を示す図である。
【図１２】本発明の第３の実施形態による更なる他の音声残響除去装置の構成を示すブロック図である。
【図１３】図１２に示された音声残響除去装置に備えられた尤度最大化ユニットの構成を示すブロック図である。
【図１４】図１２に示された音声残響除去装置に備えられた逆フィルター適用ユニットの構成を示す図である。
【図１５】図１２に示された音声残響除去装置に備えられた他の逆フィルター適用ユニットの構成を示す図である。
【図１６Ａ】女性が発声した場合のＲＴ６０＝１．０秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｂ】女性が発声した場合のＲＴ６０＝０．５秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｃ】女性が発声した場合のＲＴ６０＝０．２秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｄ】女性が発声した場合のＲＴ６０＝０．１秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｅ】男性が発声した場合のＲＴ６０＝１．０秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｆ】男性が発声した場合のＲＴ６０＝０．５秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｇ】男性が発声した場合のＲＴ６０＝０．２秒でのエネルギー減衰曲線を示す特性図である。
【図１６Ｈ】男性が発声した場合のＲＴ６０＝０．１秒でのエネルギー減衰曲線を示す特性図である。
【符号の説明】
【０２３７】
１０００；初期化ユニット、
１１００；初期音源信号推定ユニット、
１１１０；短時間フーリエ変換ユニット、
１１１２；短時間フーリエ変換ユニット、
１１２２；基本周波数推定ユニット、
１１２０；基本周波数推定ユニット、
１１３０；適応調波フィルタリングユニット、
１１４０；音源信号不確定性決定ユニット、
１１５０；音響環境不確定性決定ユニット、
１１６０；信号スイッチユニット、
１１６２；信号スイッチユニット、
１２００；音源信号不確定性ユニット、
２０００，２０００−１；尤度最大化ユニット、
２１００；長時間フーリエ変換ユニット、
２１１０；ウィンドウユニット、
２１２０；離散フーリエ変換ユニット、
２２００；更新ユニット、
２３００；ＳＴＦＳ−ＬＴＦＳ変換ユニット、
２３１０；逆短時間フーリエ変換ユニット、
２３１２；逆離散フーリエ変換ユニット、
２３１４；オーバーラップ付加合成ユニット、
２３２０；長時間フーリエ変換ユニット、
２４００；逆フィルター推定ユニット、
２５００；フィルタリングユニット、
２６００；ＬＴＦＳ−ＳＴＦＳ変換ユニット、
２６１０；逆長時間フーリエ変換ユニット、
２６１２；逆離散フーリエ変換ユニット、
２６１４；オーバーラップ付加合成ユニット、
２６２０；短時間フーリエ変換ユニット、
２６２２；ウィンドウユニット、
２６２４；離散フーリエ変換ユニット、
２７００；音源信号推定及び収束チェックユニット、
２７２０；収束チェックユニット、
２８００；短時間フーリエ変換ユニット、
２９００；長時間フーリエ変換ユニット、
３０００；収束チェックユニット、
４０００；逆短時間フーリエ変換ユニット、
５０００；逆フィルター適用ユニット、
５１００；逆長時間フーリエ変換ユニット、
５２００；畳み込みユニット、
５３００；長時間フーリエ変換ユニット、
５４００；フィルタリングユニット、
５５００；逆長時間フーリエ変換ユニット、
１００００，２００００，３００００；音声残響除去装置。
【図１】
2009535674.tif 000029
【図２】
2009535674.tif 000030
【図３Ａ】
2009535674.tif 000031
【図３Ｂ】
2009535674.tif 000032
【図４Ａ】
2009535674.tif 000033
【図４Ｂ】
2009535674.tif 000034
【図５Ａ】
2009535674.tif 000035
【図５Ｂ】
2009535674.tif 000036
【図６】
2009535674.tif 000037
【図７】
2009535674.tif 000038
【図８】
2009535674.tif 000039
【図９】
2009535674.tif 000040
【図１０】
2009535674.tif 000041
【図１１】
2009535674.tif 000042
【図１２】
2009535674.tif 000043
【図１３】
2009535674.tif 000044
【図１４】
2009535674.tif 000045
【図１５】
2009535674.tif 000046
【図１６Ａ】
2009535674.tif 000047
【図１６Ｂ】
2009535674.tif 000048
【図１６Ｃ】
2009535674.tif 000049
【図１６Ｄ】
2009535674.tif 000050
【図１６Ｅ】
2009535674.tif 000051
【図１６Ｆ】
2009535674.tif 000052
【図１６Ｇ】
2009535674.tif 000053
【図１６Ｈ】
2009535674.tif 000054
【国際調査報告】
2009535674.tif 000055
2009535674.tif 000056
2009535674.tif 000057
2009535674.tif 000058