(57)【特許請求の範囲】
【請求項１】
いくつかの入力オーディオ信号の残響を除去するための信号処理装置であって、
入力変換係数を取得するために前記いくつかの入力オーディオ信号を変換領域に変換するように構成された変換器であって、前記入力変換係数が入力変換係数行列を形成するように配置される、変換器と、
信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器であって、前記フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器と、
出力変換係数を取得するために前記フィルタ係数行列のフィルタ係数により前記入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタであって、前記出力変換係数が出力変換係数行列を形成するように配置される、フィルタと、
いくつかの出力オーディオ信号を取得するために前記変換領域から前記出力変換係数行列を逆変換するように構成された逆変換器と
を備え、
前記フィルタ係数決定器が、前記入力変換係数に基づいて入力自動コヒーレンス係数を決定するように構成され、前記入力自動コヒーレンス係数が、現在の時間間隔および過去の時間間隔に関連付けられた前記入力変換係数のコヒーレンスを示し、前記入力自動コヒーレンス係数が、入力自動コヒーレンス行列を形成するように配置され、前記フィルタ係数決定器が、前記入力自動コヒーレンス行列に基づいて前記フィルタ係数を決定するようにさらに構成される、信号処理装置。
【請求項２】
前記フィルタ係数決定器が、前記入力変換係数行列の入力自動相関行列に基づいて、前記信号空間を決定するように構成される、請求項1に記載の信号処理装置。
【請求項３】
前記変換器が、前記入力変換係数を取得するために、前記いくつかの入力オーディオ信号を周波数領域に変換するように構成される、請求項1または2に記載の信号処理装置。
【請求項４】
前記変換器が、前記入力変換係数を取得するために、いくつかの過去の時間間隔について、前記いくつかの入力オーディオ信号を前記変換領域に変換するように構成される、請求項1から3のいずれか一項に記載の信号処理装置。
【請求項５】
いくつかの入力オーディオ信号の残響を除去するための信号処理装置であって、
入力変換係数を取得するために前記いくつかの入力オーディオ信号を変換領域に変換するように構成された変換器であって、前記入力変換係数が入力変換係数行列を形成するように配置される、変換器と、
信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器であって、前記フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器と、
出力変換係数を取得するために前記フィルタ係数行列のフィルタ係数により前記入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタであって、前記出力変換係数が出力変換係数行列を形成するように配置される、フィルタと、
いくつかの出力オーディオ信号を取得するために前記変換領域から前記出力変換係数行列を逆変換するように構成された逆変換器と
を備え、
前記フィルタ係数決定器が、以下の式
【数１】
0006363213.tif 000048
に従って前記フィルタ係数行列を決定するように構成され、
Hが前記フィルタ係数行列を表記し、xが前記入力変換係数行列を表記し、S0が補助変換係数行列を表記し、Φxxが前記入力変換係数行列の入力自動相関行列を表記し、ΓxS0が前記入力変換係数行列と前記補助変換係数行列との間の相互コヒーレンス行列を表記する、信号処理装置。
【請求項６】
前記いくつかの入力オーディオ信号に基づいて、いくつかの補助オーディオ信号を生成するように構成された補助オーディオ信号生成器と、
補助変換係数を取得するために前記いくつかの補助オーディオ信号を前記変換領域に変換するように構成されたさらなる変換器であって、前記補助変換係数が前記補助変換係数行列を形成するように配置される、さらなる変換器と
をさらに備える、請求項5に記載の信号処理装置。
【請求項７】
いくつかの入力オーディオ信号の残響を除去するための信号処理装置であって、
入力変換係数を取得するために前記いくつかの入力オーディオ信号を変換領域に変換するように構成された変換器であって、前記入力変換係数が入力変換係数行列を形成するように配置される、変換器と、
信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器であって、前記フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器と、
出力変換係数を取得するために前記フィルタ係数行列のフィルタ係数により前記入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタであって、前記出力変換係数が出力変換係数行列を形成するように配置される、フィルタと、
いくつかの出力オーディオ信号を取得するために前記変換領域から前記出力変換係数行列を逆変換するように構成された逆変換器と
を備え、
前記フィルタ係数決定器が、以下の式
【数２】
0006363213.tif 000049
に従って前記フィルタ係数行列を決定するように構成され、
Hが前記フィルタ係数行列を表記し、xが前記入力変換係数行列を表記し、Φxxが前記入力変換係数行列の入力自動相関行列を表記し、
【数３】
0006363213.tif 000050
が推定自動コヒーレンス行列を表記する、信号処理装置。
【請求項８】
前記フィルタ係数決定器が、以下の式
【数４】
0006363213.tif 000051
に従って前記推定自動コヒーレンス行列を決定するように構成され、
【数５】
0006363213.tif 000052
が前記推定自動コヒーレンス行列を表記し、xが前記入力変換係数行列を表記し、ΓxXが前記入力変換係数行列の入力自動コヒーレンス行列を表記し、IMが行列次元Mの恒等行列を表記し、Uが前記入力自動コヒーレンス行列に基づいて実行される固有値分解の固有値行列を表記する、
請求項7に記載の信号処理装置。
【請求項９】
いくつかの入力オーディオ信号の残響を除去するための信号処理装置であって、
入力変換係数を取得するために前記いくつかの入力オーディオ信号を変換領域に変換するように構成された変換器であって、前記入力変換係数が入力変換係数行列を形成するように配置される、変換器と、
信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器であって、前記フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器と、
出力変換係数を取得するために前記フィルタ係数行列のフィルタ係数により前記入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタであって、前記出力変換係数が出力変換係数行列を形成するように配置される、フィルタと、
いくつかの出力オーディオ信号を取得するために前記変換領域から前記出力変換係数行列を逆変換するように構成された逆変換器と
を備え、
前記入力変換係数行列の前記入力変換係数および前記フィルタ係数行列の前記フィルタ係数に基づいて、チャネル変換係数を決定するように構成されたチャネル決定器であって、前記チャネル変換係数がチャネル変換行列を形成するように配置される、チャネル決定器
をさらに備え、前記チャネル決定器が、以下の式
【数６】
0006363213.tif 000053
に従って前記チャネル変換行列を決定するように構成され、
【数７】
0006363213.tif 000054
が前記チャネル変換行列を表記し、xが前記入力変換係数行列を表記し、Hが前記フィルタ係数行列を表記し、X1〜XPが入力変換係数を表記する、信号処理装置。
【請求項１０】
前記いくつかの入力オーディオ信号が、いくつかのオーディオ信号源に関連付けられたオーディオ信号部分を備え、前記信号処理装置が、前記いくつかの入力オーディオ信号に基づいて、前記いくつかのオーディオ信号源を分離するように構成される、
請求項1から9のいずれか一項に記載の信号処理装置。
【請求項１１】
いくつかの入力オーディオ信号の残響を除去するための信号処理方法であって、
入力変換係数を取得するために前記いくつかの入力オーディオ信号を変換領域に変換するステップであって、前記入力変換係数が入力変換係数行列を形成するように配置される、ステップと、
信号空間の固有値に基づいてフィルタ係数を決定するステップであって、前記フィルタ係数がフィルタ係数行列を形成するように配置される、ステップと、
出力変換係数を取得するために前記フィルタ係数行列のフィルタ係数により前記入力変換係数行列の入力変換係数を畳み込むステップであって、前記出力変換係数が出力変換係数行列を形成するように配置される、ステップと、
いくつかの出力オーディオ信号を取得するために前記変換領域から前記出力変換係数行列を逆変換するステップと
を含み、
前記フィルタ係数を決定する前記ステップが、
前記入力変換係数に基づいて入力自動コヒーレンス係数を決定するステップであって、前記入力自動コヒーレンス係数が、現在の時間間隔および過去の時間間隔に関連付けられた前記入力変換係数のコヒーレンスを示し、前記入力自動コヒーレンス係数が、入力自動コヒーレンス行列を形成するように配置される、ステップと、
前記入力自動コヒーレンス行列に基づいて前記フィルタ係数を決定するステップと
を含む、信号処理方法。
【請求項１２】
前記入力変換係数行列の入力自動相関行列に基づいて、前記信号空間を決定するステップ
をさらに備える、請求項11に記載の信号処理方法。
【請求項１３】
コンピュータ上で実行されると、請求項11または12のいずれか一項に記載の前記信号処理方法を実施するためのプログラムコードを備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ信号処理の分野に関し、詳細には、残響除去および音源分離の分野に関する。
【背景技術】
【０００２】
残響除去および音源分離は、マルチチャネルオーディオ取得、音声取得、またはモノチャネルオーディオ信号のアップミキシングなどの、いくつかのアプリケーションにおける大きな課題である。適用可能な技法は、シングルチャネル技法およびマルチチャネル技法に分類することができる。
【０００３】
シングルチャネル技法は、最小統計値原理に基づくことができ、オーディオ信号の周辺部および直接部を別々に推定することができる。シングルチャネル技法はさらに、統計システムモデルに基づくことができる。しかしながら、一般のシングルチャネル技法は、複雑な音響シナリオにおける制限された性能に悩まされ、マルチチャネルシナリオに一般化されない場合がある。
【０００４】
マルチチャネル技法は、いくつかのオーディオ信号源とマイクロフォンとの間の多入力／多出力有限インパルス応答（MIMO FIR）システムを反転させることを目的とすることができ、オーディオ信号源とマイクロフォンとの間の各音響経路は、FIRフィルタによってモデル化することができる。マルチチャネル技法は、高次の統計値に基づくことができ、トレーニングデータを使用するヒューリスティック統計モデルを利用することができる。しかしながら、一般のマルチチャネル技法は、高い計算複雑度に悩まされ、シングルチャネルシナリオにおいて適用可能ではない場合がある。
【０００５】
Herbert Buchnerら、「Trinicon for dereverberation of speech and audio signals」、Speech Dereverberation、 Signals and Communication Technology、ページ311〜385、Springer London、2010の文書では、理想的な反転システムを推定する手法が記載されている。
【０００６】
Andreas Waltherら、「Direct−Ambient Decomposition and Upmix of Surround Signals」、IEEE Workshop on Applications of Signal Processing to Audio and Acoustics、2011の文書では、拡散オーディオ成分および直接オーディオ成分を推定する手法が記載されている。
【発明の概要】
【課題を解決するための手段】
【０００７】
いくつかの入力オーディオ信号の残響を除去するための効率的な概念を提供することが、本発明の目的である。その概念は、いくつかの入力オーディオ信号内の音源分離に適用することもできる。
【０００８】
この目的は、独立請求項の機能によって実現される。さらなる実装形態は、独立請求項、説明、および図から明らかである。
【０００９】
本発明の態様および実装形態は、各出力オーディオ信号が結果としての時間間隔のセット内のそれ自体の履歴にコヒーレントであり、他の音源信号の履歴に直交するような方法で、フィルタ係数行列が設計され得ることを見出すことに基づく。フィルタ係数行列は、音源信号の初期推測に基づいて、またはブラインド推定手法に基づいて、決定することができる。本発明は、シングルチャネルオーディオ信号ならびにマルチチャネルオーディオ信号を使用して、適用することができる。
【００１０】
第1の態様によれば、本発明はいくつかの入力オーディオ信号の残響を除去するための信号処理装置に関し、信号処理装置は、入力変換係数を取得するためにいくつかの入力オーディオ信号を変換領域に変換するように構成された変換器であって、入力変換係数が入力変換係数行列を形成するように配置される、変換器と、信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器であって、フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器と、出力変換係数を取得するためにフィルタ係数行列のフィルタ係数により入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタであって、出力変換係数が出力変換係数行列を形成するように配置される、フィルタと、いくつかの出力オーディオ信号を取得するために変換領域から出力変換係数行列を逆変換するように構成された逆変換器とを備える。入力オーディオ信号の数は、1つまたは2つ以上であり得る。このようにして、残響除去および／または音源分離の効率的な概念を実現することができる。
【００１１】
そのような第1の態様による装置の第1の実装形態では、フィルタ係数決定器は、入力変換係数行列の入力自動相関行列に基づいて、信号空間を決定するように構成される。このようにして、信号空間は、入力オーディオ信号の相関特性に基づいて決定することができる。
【００１２】
そのような第1の態様による装置の第2の実装形態または第1の態様の任意の先行する実装形態では、変換器は、入力変換係数を取得するために、いくつかの入力オーディオ信号を周波数領域に変換するように構成される。このようにして、入力オーディオ信号の周波数領域特性は、入力変換係数を取得するために使用することができる。入力変換係数は、離散フーリエ変換（DFT）または高速フーリエ変換（FFT）の、たとえばインデックスkを有する周波数ビンに関係することができる。
【００１３】
そのような第1の態様による装置の第3の実装形態または第1の態様の任意の先行する実装形態では、変換器は、入力変換係数を取得するために、いくつかの過去の時間間隔について、いくつかの入力オーディオ信号を変換領域に変換するように構成される。このようにして、現在の時間間隔および過去の時間間隔内の入力オーディオ信号を時間領域特性は、入力変換係数を取得するために使用することができる。入力変換係数は、短時間フーリエ変換（STFT）の、たとえばインデックスnを有する時間間隔に関係することができる。
【００１４】
第1の態様の第3の実装形態による装置の第4の実装形態では、フィルタ係数決定器は、入力変換係数に基づいて入力自動コヒーレンス係数を決定するように構成され、入力自動コヒーレンス係数は、現在の時間間隔および過去の時間間隔に関連付けられた入力変換係数のコヒーレンスを示し、入力自動コヒーレンス係数は、入力自動コヒーレンス行列を形成するように配置され、フィルタ係数決定器は、入力自動コヒーレンス行列に基づいてフィルタ係数を決定するようにさらに構成される。このようにして、入力オーディオ信号内のコヒーレンスは、フィルタ係数を決定するために使用することができる。
【００１５】
そのような第1の態様による装置の第5の実装形態または第1の態様の任意の先行する実装形態では、フィルタ係数決定器は、以下の式に従ってフィルタ係数行列を決定するように構成される。
【数１】
0006363213.tif 000002
ここで、Hはフィルタ係数行列を表記し、xは入力変換係数行列を表記し、S0は補助変換係数行列を表記し、Φxxは入力変換係数行列の入力自動相関行列を表記し、ΓxS0は入力変換係数行列と補助変換係数行列との間の相互コヒーレンス行列を表記する。このようにして、フィルタ係数行列は、補助変換係数行列の初期推測に基づいて効率的に決定することができる。
【００１６】
第1の態様の第5の実装形態による装置の第6の実装形態では、信号処理装置は、いくつかの入力オーディオ信号に基づいていくつかの補助オーディオ信号を生成するように構成された補助オーディオ信号生成器と、補助変換係数を取得するためにいくつかの補助オーディオ信号を変換領域に変換するように構成されたさらなる変換器であって、補助変換係数が補助変換係数行列を形成するように配置される、さらなる変換器とをさらに備える。このようにして、補助変換係数行列は、入力オーディオ信号に基づいて決定することができる。
【００１７】
補助オーディオ信号生成器は、ビームフォーミング技法、たとえば遅延和ビームフォーミング技法を使用して、かつ／またはスポットマイクロフォンのオーディオ信号を使用することによって、いくつかの補助オーディオ信号を生成することができる。補助オーディオ信号生成器は、したがって、いくつかの音源の初期分離を実現することができる。
【００１８】
そのような第1の態様による装置の第7の実装形態または第1の態様の第1から第4の実装形態では、フィルタ係数決定器は、以下の式に従ってフィルタ係数行列を決定するように構成される。
【数２】
0006363213.tif 000003
ここで、Hはフィルタ係数行列を表記し、xは入力変換係数行列を表記し、Φxxは入力変換係数行列の入力自動相関行列を表記し、
【数３】
0006363213.tif 000004
は推定自動コヒーレンス行列を表記する。このようにして、フィルタ係数行列は、推定自動コヒーレンス行列に基づいて効率的に決定することができる。
【００１９】
第1の態様の第7の実装形態による装置の第8の実装形態では、フィルタ係数決定器は、以下の式に従って推定自動コヒーレンス行列を決定するように構成される。
【数４】
0006363213.tif 000005
ここで、
【数５】
0006363213.tif 000006
は推定自動コヒーレンス行列を表記し、xは入力変換係数行列を表記し、ΓxXは入力変換係数行列の入力自動コヒーレンス行列を表記し、IMは行列次元Mの恒等行列を表記し、Uは入力自動コヒーレンス行列に基づいて実行される固有値分解の固有値行列を表記する。このようにして、推定自動コヒーレンス行列は、固有値分解に基づいて効率的に決定することができる。
【００２０】
そのような第1の態様による装置の第9の実装形態または第1の態様の任意の先行する実装形態では、信号処理装置は、入力変換係数行列の入力変換係数およびフィルタ係数行列のフィルタ係数に基づいて、チャネル変換係数を決定するように構成されたチャネル決定器をさらに備え、チャネル変換係数は、チャネル変換行列を形成するように配置される。このようにして、ブラインドチャネル推定を実行することができる。
【００２１】
第1の態様の第9の実装形態による装置の第10の実装形態では、チャネル決定器は、以下の式に従ってチャネル変換行列を決定するように構成される。
【数６】
0006363213.tif 000007
ここで、
【数７】
0006363213.tif 000008
はチャネル変換行列を表記し、xは入力変換係数行列を表記し、Hはフィルタ係数行列を表記し、X1〜XPは入力変換係数を表記する。このようにして、チャネル変換行列は、効率的に決定することができる。
【００２２】
そのような第1の態様による装置の第11の実装形態または第1の態様の任意の先行する実装形態では、いくつかの入力オーディオ信号は、いくつかのオーディオ信号源に関連付けられたオーディオ信号部分を備え、信号処理装置は、いくつかの入力オーディオ信号に基づいていくつかのオーディオ信号源を分離するように構成される。このようにして、残響除去および／または音源分離を実行することができる。
【００２３】
第2の態様によれば、本発明はいくつかの入力オーディオ信号の残響を除去するための信号処理方法に関し、信号処理方法は、入力変換係数を取得するためにいくつかの入力オーディオ信号を変換領域に変換することであって、入力変換係数が入力変換係数行列を形成するように配置される、変換することと、信号空間の固有値に基づいてフィルタ係数を決定することであって、フィルタ係数がフィルタ係数行列を形成するように配置される、決定することと、出力変換係数を取得するためにフィルタ係数行列のフィルタ係数により入力変換係数行列の入力変換係数を畳み込むことであって、出力変換係数が出力変換係数行列を形成するように配置される、畳み込むことと、いくつかの出力オーディオ信号を取得するために変換領域から出力変換係数行列を逆変換することとを備える。入力オーディオ信号の数は、1つまたは2つ以上であり得る。このようにして、残響除去および／または音源分離の効率的な概念を実現することができる。
【００２４】
信号処理方法は、信号処理装置によって実施することができる。信号処理方法のさらなる機能は、信号処理装置の機能性から直接もたらすことができる。
【００２５】
そのような第2の態様による方法の第1の実装形態では、信号処理方法は、入力変換係数行列の入力自動相関行列に基づいて、信号空間を決定することをさらに備える。このようにして、信号空間は、入力オーディオ信号の相関特性に基づいて決定することができる。
【００２６】
第3の態様によれば、本発明は、コンピュータ上で実行されると、そのような第2の態様または第2の態様の任意の実装形態による信号処理方法を実施するためのプログラムコードを備える、コンピュータプログラムに関する。このようにして、方法は、自動的および繰返し可能な方式で実施することができる。
【００２７】
コンピュータプログラムは、機械可読コードの形態で提供することができる。コンピュータプログラムは、コンピュータのプロセッサ向けの一連のコマンドを備えることができる。コンピュータのプロセッサは、コンピュータプログラムを実行するように構成することができる。コンピュータは、プロセッサ、メモリ、および／または入力／出力手段を備えることができる。
【００２８】
本発明は、ハードウェアおよび／またはソフトウェアに実装することができる。
【００２９】
本発明のさらなる実施形態は、以下の図に関して記載される。
【図面の簡単な説明】
【００３０】
【図１】一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置の図である。
【図２】一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理方法の図である。
【図３】一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置の図である。
【図４】一実装形態による、オーディオ信号取得シナリオの図である。
【図５】一実装形態による、自動コヒーレンス行列の構造図である。
【図６】一実装形態による、中間行列の構造図である。
【図７】一実装形態による、入力オーディオ信号のスペクトログラムおよび出力オーディオ信号のスペクトログラムを示す図である。
【図８】一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置の図である。
【発明を実施するための形態】
【００３１】
図1は、一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置100の図を示す。
【００３２】
信号処理装置100は、入力変換係数を取得するためにいくつかの入力オーディオ信号を変換領域に変換するように構成された変換器101であって、入力変換係数が入力変換係数行列を形成するように配置される、変換器101と、信号空間の固有値に基づいてフィルタ係数を決定するように構成されたフィルタ係数決定器103であって、フィルタ係数がフィルタ係数行列を形成するように配置される、フィルタ係数決定器103と、出力変換係数を取得するためにフィルタ係数行列のフィルタ係数により入力変換係数行列の入力変換係数を畳み込むように構成されたフィルタ105であって、出力変換係数が出力変換係数行列を形成するように配置される、フィルタ105と、いくつかの出力オーディオ信号を取得するために変換領域から出力変換係数行列を逆変換するように構成された逆変換器107とを備える。
【００３３】
図2は、一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理方法200の図を示す。
【００３４】
信号処理方法200は、入力変換係数を取得するためにいくつかの入力オーディオ信号を変換領域に変換すること201であって、入力変換係数が入力変換係数行列を形成するように配置される、変換すること201と、信号空間の固有値に基づいてフィルタ係数を決定すること203であって、フィルタ係数がフィルタ係数行列を形成するように配置される、決定すること203と、出力変換係数を取得するためにフィルタ係数行列のフィルタ係数により入力変換係数行列の入力変換係数を畳み込むこと205であって、出力変換係数が出力変換係数行列を形成するように配置される、畳み込むこと205と、いくつかの出力オーディオ信号を取得するために変換領域から出力変換係数行列を逆変換すること207とを備える。
【００３５】
信号処理方法200は、信号処理装置100によって実施することができる。信号処理方法200のさらなる機能は、上述され、下記でさらに詳細に記載される、信号処理装置100の機能性から直接もたらすことができる。
【００３６】
図3は、一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置100の図を示す。信号処理装置100は、変換器101と、フィルタ係数決定器103と、フィルタ105と、逆変換器107と、補助オーディオ信号生成器301と、さらなる変換器303と、ポストプロセッサ305とを備える。
【００３７】
変換器101は、短時間フーリエ変換（STFT）変換器であり得る。フィルタ係数決定器103は、アルゴリズムを実行することができる。フィルタ105は、フィルタ係数行列Hによって特徴付けることができる。逆変換器107は、逆短時間フーリエ変換（ISTFT）変換器であり得る。補助オーディオ信号生成器301は、たとえば、遅延和技法および／またはスポットマイクロフォンオーディオ信号を使用することによって、初期推測を提供することができる。さらなる変換器303は、短時間フーリエ変換（STFT）変換器であり得る。ポストプロセッサ305は、後処理機能、たとえば、自動音声認識（ASR）および／またはアップミキシングを提供することができる。
【００３８】
数Qの入力オーディオ信号は、変換器101および補助オーディオ信号生成器301に供給することができる。補助オーディオ信号生成器301は、さらなる変換器303に数Pの補助オーディオ信号を供給することができる。さらなる変換器303は、フィルタ係数決定器103に数Pの行または列の補助変換係数行列を供給することができる。フィルタ105は、逆変換器107に数Pの行または列の出力変換係数行列を供給することができる。逆変換器107は、数Pの後処理されたオーディオ信号をもたらすポストプロセッサ305に、数Pの出力オーディオ信号を供給することができる。
【００３９】
図は、装置100の全体的なアーキテクチャを示す。装置100への入力は、マイクロフォン信号であり得る。これらは、場合によっては、空間選択性、たとえば遅延和ビームフォーマを提供するアルゴリズムによって前処理することができる。前処理された信号および／またはマイクロフォン信号は、STFTによって分析することができる。次いで、マイクロフォン信号は、場合によっては、様々な周波数ビン用の可変サイズを有するバッファに記憶することができる。アルゴリズムは、バッファリングされたオーディオ信号の時間間隔またはフレームに基づいて、フィルタ係数を計算することができる。バッファリングされた信号は、計算された複素フィルタを用いて、各周波数ビン内でフィルタリングすることができる。フィルタリングの出力は、時間領域に逆変換することができる。処理されたオーディオ信号は、場合によっては、自動音声認識（ASR）またはアップミキシングなどのために、ポストプロセッサ305に供給することができる。
【００４０】
いくつかの実装形態は、未知の部屋の音響的影響のブラインドシングルチャネル最小化および／またはブラインドマルチチャネル最小化に関係することができる。それらは、モバイルおよびタブレットのための、特にハンズフリーモードにおける信号の残響除去による、および同様にモノ信号のアップミキシングのための、取り込まれた音響シーン、音声、および信号の増強の一部に焦点を合わせるシステムの能力を高めるためのテレプレゼンス内のマルチチャネル取得システムにおいて利用することができる。
【００４１】
この目的のために、ブラインド残響除去および／または音源分離用の手法を使用することができる。その手法は、シングルチャネルの場合に特化することができ、ブラインド音源分離の後処理段階として使用することができる。
【００４２】
通常の条件下の音源からあらかじめ定義された測定点への音波の伝搬は、所与の境界条件下の非均質波方程式を解くことができるグリーン関数を用いて、音源信号を畳み込むことによって記述することができる。しかしながら、境界条件は、制御可能ではない場合があり、不十分な了解度をもたらす可能性がある長い残響時間などの、不要な音響特性をもたらす場合がある。ユーザ定義の音響環境を合成することができる高度通信システムでは、録音ルームの影響を軽減し、きれいな励起信号のみを維持して望ましい仮想音響環境内でそれを適切に統合することが必要であり得る。
【００４３】
録音ルーム内の分散マイクロフォンアレイによって取り込まれた複数の音源、たとえばスピーカの場合、残響除去は、分離され、レコーディングルームの影響のない元のきれいな音源信号、たとえば、無響室内の単一のスピーカの口に隣接するマイクロフォンによって録音されたはずの音声信号を提供することができる。
【００４４】
残響除去技法は、室内インパルス応答の遅れた部分の影響を最小化することを目的とすることができる。しかしながら、マイクロフォン信号の完全なデコンボリューションは課題であり得るし、出力は、分離された音源信号ではない音源信号の残響が少ない混合であり得る。
【００４５】
残響除去技法は、シングルチャネル技法およびマルチチャネル技法に分類することができる。理論的な制限に起因して、理想的なデコンボリューションは、通常、録音マイクロフォンの数Qがアクティブな音源、たとえばスピーカの数Pよりも多くなることができる、マルチチャネルの場合に実現することができる。
【００４６】
マルチチャネル残響除去技法は、音源とマイクロフォンとの間の多入力／多出力有限インパルス応答、すなわちMIMO FIRシステムを反転させることを目的とすることができ、音源とマイクロフォンとの間の各音響経路は、長さLのFIRフィルタによってモデル化することができる。MIMOシステムは、それが正方形であり正規である場合反転可能であり得る行列として、時間領域内で提示することができる。したがって、以下の2つの条件が保持される場合、理想的な反転を実行することができる。
【００４７】
第1に、有限反転フィルタの長さL'は、
【数８】
0006363213.tif 000009
を満たす。
【００４８】
第2に、MIMOシステムの個々のフィルタは、z領域内の共通根を表現しない。
【００４９】
理想的な反転システムを推定する手法を利用することができる。その手法は、音源信号の非ガウス性、非白色性、および非定常性を活用することに基づくことができる。その手法は、高次の統計値の計算についての高い計算複雑度のコストに対する最小のひずみを特徴とすることができる。その上、その手法は、理想的な反転問題を解決することを目的とすることができるので、システムが音源よりも多くのマイクロフォンを有することを必要とする場合があり、シングルチャネル問題には適用可能でない場合がある。
【００５０】
マルチチャネル録音の残響を除去するさらなる手法は、信号部分空間を推定することに基づくことができる。オーディオ信号の周辺部および直接部は、別々に推定することができる。遅れた残響は、雑音として処理することができる。したがって、その手法は、それを取り消すことができるために、周辺部、すなわち遅れた残響の正確な推定値を必要とする場合がある。マルチチャネル信号部分空間を推定することに基づく手法は、残響を低減することに専用であり、音源をデミックス、すなわち分離することに専用ではない可能性がある。その手法は、通常、マルチチャネルセットアップに適用され、シングルチャネル残響除去問題を解決するために使用されない場合がある。加えて、残響を推定し、周辺部を低減するヒューリスティック統計モデルを利用することができる。これらのモデルは、トレーニングデータに基づく場合があり、高い複雑度に悩まされる場合がある。
【００５１】
スペクトル領域内の拡散成分および直接成分を推定するさらなる手法を利用することができる。マルチチャネル信号の短時間スペクトルは、X1（k、n）およびX2（k、n）にダウンミックスすることができ、ここで、kおよびnは、周波数ビンのインデックスおよび時間間隔またはフレームのインデックスを表記する。実係数H（k、n）は、
【数９】
0006363213.tif 000010
に従って、ダウンミックスから直接成分
【数１０】
0006363213.tif 000011
および
【数１１】
0006363213.tif 000012
を抽出するために、導出することができる。
【００５２】
ダウンミックス内の直接成分および拡散成分が相互に無相関であり、ダウンミックス内の拡散成分が等しい電力を有すると仮定すると、実係数H（k、n）は、
【数１２】
0006363213.tif 000013
に従って、ウィーナー最適化基準に基づいて計算することができ、
ここで、PSおよびPAは、ダウンミックス内の直接成分および拡散成分の短時間電力スペクトル推定値の合計である。PSおよびPAは、Re（E｛X1X2*｝）として、ダウンミックスの相互相関に基づいて導出することができる。これらのフィルタはさらに、対応する直接成分および周辺成分を生成するために、マルチチャネルオーディオ信号に適用することができる。この手法は、マルチチャネルセットアップに基づくことができ、シングルチャネル残響除去問題を解決するために使用されない場合がある。その上、この手法は、大量のひずみをもたらす場合があり、分離を実行することができない。
【００５３】
シングルチャネル残響除去ソリューションは、最小統計値原理に基づくことができる。したがって、それらは、オーディオ信号の周辺部および直接部を別々に推定することができる。トレーニングデータに基づくことができる統計システムモデルを組み込む手法を利用することができる。さらなる手法は、高品質リスニング体験用ではなく、自動音声認識用に最適化することができるので、特にオーディオ信号品質に関して、複雑な音声シーン内で制限された性能しか提供しない、シングルチャネルセットアップに適用することができる。
【００５４】
いくつかの実装形態は、シングルチャネルおよびマルチチャネルの残響除去技法に関係することができる。ドライ出力オーディオ信号を取得するために、P個の出力、すなわちオーディオ信号源の数、およびQ個の入力、すなわち入力オーディオ信号の数、マイクロフォンの数、または、ビームフォーマ、たとえば遅延和ビームフォーマなどの前処理段階の出力の数を有するSTFT領域内のM個のタップのMIMO FIRフィルタを適用することができる。フィルタ105は、各出力オーディオ信号が結果としての時間間隔またはフレームのあらかじめ定義されたセット内のそれ自体の履歴にコヒーレントであり得るし、他の音源信号の履歴に直交することができるような方法で、設計することができる。
【００５５】
以下において、残響除去手法を導出するために使用される数学的セットアップおよび信号モデルが導入される。時刻tにおける入力オーディオ信号xqは、p番目の音源にグリーン関数を用いて畳み込まれたドライ励起音源信号s（t）：＝［s1（t）、s2（t）、．．．、sp（t）］Tの、q番目の入力またはマイクロフォンgq（t）：＝［g1q（t）、g2q（t）、．．．、gpq（t）］Tへの畳み込みとして与えることができる。
【数１３】
0006363213.tif 000014
【００５６】
短時間フーリエ領域内でこの式を考慮することによって、それは、
Xq（k、n）≒［S1、S2、．．．、SP］・［G1q、G2q、．．．、GPq］H  （3）
のように近似することができ、ここで、kは周波数ビンのインデックスを表記し、時間間隔またはフレームはnによってインデックス付けされ、｛・｝Hはエルミート転置を表記し、オーディオ信号の音源信号と（n、k）に対するグリーン関数の両方の依存関係は、記法を明確にするために回避される。完全なマルチチャネル表現の場合、それは、MIMOシステムについて以下のように書くことができる。
【００５７】
【数１４】
0006363213.tif 000015
ここで、
X：＝［X1（k、n）、X2（k、n）、．．．、XQ（k、n）］T  （5）
S：＝［S1（k、n）、S2（k、n）、．．．、SP（k、n）］T  （6）
【数１５】
0006363213.tif 000016
【００５８】
残響除去は、たとえば、以下に従ってFIRフィルタを適用することに基づいて、STFT領域内でFIRフィルタを使用して実行することができる。
【００５９】
【数１６】
0006363213.tif 000017
【００６０】
ここで、入力オーディオ信号
【数１７】
0006363213.tif 000018
上のSTFT領域において、hpq（k、n）：＝［Hpq（k、n）、Hpq（k、n−1）、．．．、Hpq（k、n−M＋1）］Tである。
ここで、入力オーディオ信号の一連のM個の連続するSTFT領域の時間間隔またはフレームは、
Xq（k、n）：＝［Xq（k、n）、Xq（k、n−1）、．．．、XQ（k、n−M＋1）］T  （10）
および
【数１８】
0006363213.tif 000019
【数１９】
0006363213.tif 000020
として定義される。
【００６１】
Mは周波数ビンごとに個別に選択できることに留意されたい。たとえば、16kHzのサンプリング周波数、320のSTFTウィンドウサイズ、512のSTFT長、0.5の重複因子、および約1秒の残響時間を使用する音声信号の場合、Mは、低い129ビンの場合4に設定することができ、高い128ビンの場合2に設定することができる。
【００６２】
フィルタ係数行列Hは、未知のドライ音源信号の自動相関行列の最大固有ベクトルを近似することができる。ドライ音源信号の無ひずみ推定値を取得することが必要であり得る。これは、FIRフィルタがドライ音源信号のコヒーレントな部分への忠実度を表すことを意味することができる。
【００６３】
入力オーディオ信号は、以下に従って、ドライ音源信号の初期推定値にコヒーレントな部分xc、およびコヒーレントでない部分xiに分解することができる。
x（k、n）＝xc（k、n）＋xi（k、n）  （13）
ここで、
xc（k、n）＝ΓxS（k、n）・S（k、n）  （14）
ここで、ドライ音源信号の相互コヒーレンス行列は、以下による正規化相関行列として定義することができる。
【数２０】
0006363213.tif 000021
ここで、
【数２１】
0006363213.tif 000022
は期待値の推定値を表記し、自動相関行列の期待値の推定値は、
【数２２】
0006363213.tif 000023
である。
【００６４】
相互コヒーレンス行列ΓxSは、入力オーディオ信号の自動相関行列の強制固有ベクトル行列として理解することができる。
【００６５】
期待値の推定値は、
【数２３】
0006363213.tif 000024
【数２４】
0006363213.tif 000025
によって反復的に計算することができる。ここで、αは忘却因子を表記する。
【００６６】
したがって、残響除去フィルタ用の条件は、
【数２５】
0006363213.tif 000026
のように設定することができる。
【００６７】
再構成することによって、以下の式を得ることができる。
HHΓxS＝IP×P  （20）
ここで、Iは単位元行列を表記する。したがって、フィルタ係数行列Hは、信号部分空間の基底ベクトルΓxSと同時に発生することができる。
【００６８】
STFT領域内の最適な残響除去FIRフィルタを導出することができる。最適なフィルタを取得するために、（20）によって制約され得る以下のコスト関数を設定することができる。
J＝HHΦxxH＋λ（HHΓxS−IP×P）  （21）
ここで、
【数２６】
0006363213.tif 000027
であり、ここで、λはラグランジュ乗数行列を表記する。このコスト関数の最小値において、勾配は0になることができ、フィルタの最適な式は、
【数２７】
0006363213.tif 000028
として得ることができる。
【００６９】
フィルタは、所与の条件下でドライオーディオ信号のエントロピーを最大化することができる。
【００７０】
相互コヒーレンス行列は、近似することができる。以下では、欠落した未知のドライ音源信号を扱う2つの可能性が提案される。
【００７１】
図4は、一実装形態による、オーディオ信号取得シナリオ400の図を示す。オーディオ信号取得シナリオ400は、第1のオーディオ信号源401と、第2のオーディオ信号源403と、第3のオーディオ信号源405と、マイクロフォンアレイ407と、第1のビーム409と、第2のビーム411と、スポットマイクロフォン413とを備える。第1のビーム409および第2のビーム411は、ビームフォーミング技法により、マイクロフォンアレイ407によって合成される。
【００７２】
図は、3つのオーディオ信号源401、403、405、またはスピーカ、たとえば、ビームフォーミング、たとえば遅延和ビームフォーマを使用して専用の方向に高感度を実現する能力を有するマイクロフォンアレイ407、および、1つのオーディオ信号源に隣接するスポットマイクロフォン413を有するオーディオ信号取得シナリオ400を示す。最小化されたルーム影響を有する分離された音源401、403、405が必要であり得る。ビームフォーマおよびスポットマイクロフォン413の補助オーディオ信号の出力は、相互コヒーレンス行列ΓxSを計算または推定するために使用することができる。
【００７３】
アルゴリズムは、ビームフォーマおよびスポットマイクロフォンの出力、すなわち補助オーディオ信号を初期推測として扱い、分離を向上させ、3つの音源信号または音声信号のきれいなバージョンを供給するために、入力オーディオ信号またはマイクロフォンアレイ信号の残響を最小化することができる。
【００７４】
導出されたフィルタ係数行列を計算するために、相互コヒーレンス行列の計算を実行することができる。したがって、前処理段階、たとえば、ドライ音源信号s01、s02、．．．、s0pの初期推測供給するビームフォーミングと組み合わされた音源定位段階、または音源のサブセット用のスポットマイクロフォンとの組合せさえも利用することができる。
【００７５】
フィルタの場合、以下の式を得ることができる。
【数２８】
0006363213.tif 000029
ここで、ΓxS0は、式（15）と同じ式ではあるが、ドライ音源信号の代わりに初期推測を使用することによって定義することができる。
【００７６】
図5は、一実装形態による、自動コヒーレンス行列501の構造図を示す。図は、ブロック対角構造を示す。自動コヒーレンス行列501は、ΓsSに関係することができる。自動コヒーレンス行列501は、M×P個の行およびP個の列を備えることができる。
【００７７】
図6は、一実装形態による、中間行列601の構造図を示す。図はさらに、自動コヒーレンス行列603を示す。中間行列601は、Cに関係することができる。中間行列601または行列Cは、P＝3の入力オーディオ信号またはマイクロフォンを有するシステムに基づいて、構築することができる。自動コヒーレンス行列603は、M個の行を有する部分を備えることができ、Q個の列を備えることができる。自動コヒーレンス行列603は、ΓxXに関係することができる。
【００７８】
P＝Qの場合、（20）における条件は、
HHΓsS＝IP×P  （25）
に従って、出力オーディオ信号のコヒーレンス用に修正することができる。
【００７９】
P＝Qの場合、ドライ音源信号の各音源がそれ自体の履歴に関してコヒーレントであると仮定することができる。その仮定に基づいて、ΓxSの代わりにΓsSを使用することができる。残響および干渉信号は、非コヒーレントであり得る。
【００８０】
音源信号の自動コヒーレンス行列は、
【数２９】
0006363213.tif 000030
として定義することができる。
ここで、量Φssは、（16）と同様の定義を有することができる。
【数３０】
0006363213.tif 000031
音源の自動コヒーレンス行列ΓsSは、ブロック対角であり得る。さらに、ΓxSの趣旨では、入力オーディオ信号の自動コヒーレンス行列は、
【数３１】
0006363213.tif 000032
として導入することができる。
ここで、量Φxxは、（16）と同様の定義を有することができる。
【数３２】
0006363213.tif 000033
（4）におけるグリーン関数が考えられるM回の時間間隔またはフレームについて一定であると仮定することによって、それは、以下のように見ることができる。
【数３３】
0006363213.tif 000034
ここで、
【数３４】
0006363213.tif 000035
ΓsS用の式を得るために、音源信号が依存していない、すなわち、ΦSSが対角であり得るし、
【数３５】
0006363213.tif 000036
がブロック対角であり得ると仮定することによって、かつP＝Qの場合に関係（30）を考慮に入れることによって近似を行うことができる。
【数３６】
0006363213.tif 000037
ここで、
【数３７】
0006363213.tif 000038
はクロネッカー積を表記する。したがって、ΓsSを近似するために、ΓxXを使用することができ、オフ対角ブロックをゼロに設定することができる。これは、その行が入力オーディオ信号の自動コヒーレンス行列の（j・M＋1）番目の行である、正方形の、必ずしも対称とは限らない、中間行列Cを設定することによって実現することができ、j∈｛0、．．．、P−1｝である。順序は維持されない場合があることに留意されたい。
【００８１】
固有値分解により、積U・C・U−1としてCを書くことが可能になり得るし、ここで、Cは対角であり得る。Γ用のブロック対角形態についての推定値
【数３８】
0006363213.tif 000039
は、
【数３９】
0006363213.tif 000040
として取得することができる。
【００８２】
オーディオ信号源のコヒーレントな部分を供給するフィルタ係数行列を取得するために、式（24）と同様に以下を設定することができる。
【数４０】
0006363213.tif 000041
【００８３】
加えて、ブラインドチャネル推定を実行することができる。推定逆チャネルの式は、XP（k、n）≠0の場合に以下の考慮によって取得することができる。
【数４１】
0006363213.tif 000042
ここで、演算子diag｛・｝は、主対角線上に引数ベクトルを有する対角正方行列を作成する。この式を（3）におけるSTFT領域内の仮定されたチャネルモデルと比較すると、
【数４２】
0006363213.tif 000043
が導かれる。
【００８４】
図7は、一実装形態による、入力オーディオ信号のスペクトログラム701および出力オーディオ信号のスペクトログラム703を示す。スペクトログラム701、703では、対応する短時間フーリエ変換（STFT）の振幅は、秒単位の時間およびヘルツ単位の周波数にわたって色分けされている。
【００８５】
スペクトログラム701はさらに、残響マイクロフォン信号に関係することができ、スペクトログラム703はさらに、推定ドライ音源信号に関係することができる。シングルチャネルについてのこの例では、残響信号のスペクトログラム701は不鮮明にされる。比較上、残響除去アルゴリズムを適用することによる推定ドライ音源信号のスペクトログラム703は、典型的なドライ音声信号の構造を表す。
【００８６】
図8は、一実装形態による、いくつかの入力オーディオ信号の残響を除去するための信号処理装置100の図を示す。信号処理装置100は、変換器101と、フィルタ係数決定器103と、フィルタ105と、逆変換器107と、補助オーディオ信号生成器301と、ポストプロセッサ305とを備える。
【００８７】
変換器101は、短時間フーリエ変換（STFT）変換器であり得る。フィルタ係数決定器103は、アルゴリズムを実行することができる。フィルタ105は、フィルタ係数行列Hによって特徴付けることができる。逆変換器107は、逆短時間フーリエ変換（ISTFT）変換器であり得る。補助オーディオ信号生成器301は、たとえば、遅延和技法および／またはスポットマイクロフォンオーディオ信号を使用することによって、初期推測を提供することができる。ポストプロセッサ305は、後処理機能、たとえば、自動音声認識（ASR）および／またはアップミキシングを提供することができる。
【００８８】
数Qの入力オーディオ信号は、補助オーディオ信号生成器301に供給することができる。補助オーディオ信号生成器301は、変換器101に数Pの補助オーディオ信号を供給することができる。変換器101は、フィルタ係数決定器103およびフィルタ105に数Pの行または列の入力変換係数行列を供給することができる。フィルタ105は、逆変換器107に数Pの行または列の出力変換係数行列を供給することができる。逆変換器107は、数Pの後処理されたオーディオ信号をもたらすポストプロセッサ305に、数Pの出力オーディオ信号を供給することができる。
【００８９】
本発明はいくつかの利点を有する。それは、初期推測用の低複雑度ソリューションと同等に、最適な分離を実現する音源分離用の後処理に使用することができる。これは、強化された音場録音に使用することができる。それはさらに、モバイルおよびタブレットを使用するハンズフリーアプリケーションのための音声了解度への恩恵であり得る、シングルチャネル残響除去にも使用することができる。それはさらに、モノ録音からのマルチチャネル再生用のアップミキシング、および自動音声認識（ASR）用の前処理に使用することができる。
【００９０】
いくつかの実装形態は、残響の音響環境内で1つまたは複数のオーディオ信号源を録音することによって取得された、マルチチャネルまたはシングルチャネルのオーディオ信号を修正する方法に関係することができ、方法は、部屋が原因の残響の影響を最小化することと、録音されたオーディオの音源を分離することとを備える。録音は、オーディオ信号源の定位、およびビームフォーミング、たとえば遅延和ビームフォーミングとして前処理を実行する能力を有するマイクロフォンアレイと、オーディオ信号源のサブグループに隣接する、分散マイクロフォン、たとえばスポットマイクロフォンとの組合せによって行うことができる。
【００９１】
前処理されていない入力オーディオ信号またはアレイ信号、および利用可能な分散スポットマイクロフォンとともに前処理された信号は、短時間フーリエ変換（STFT）を使用して分析することができ、バッファリングすることができる。バッファの長さ、たとえば長さMは、周波数帯域ごとに個別に選択することができる。バッファリングされた入力オーディオ信号は、オーディオ信号の時間間隔間またはフレーム間の統計値を活用することができるサブバンドごとに、2多次元複素フィルタを取得するために、短時間フーリエ変換領域内で組み合わせることができる。ドライ出力オーディオ信号、すなわち分離および／または残響除去された入力オーディオ信号は、それらのフィルタを用いて入力オーディオ信号またはアレイマイクロフォン信号の多次元畳み込みを実行することによって、取得することができる。畳み込みは、短時間フーリエ変換領域内で実行することができる。
【００９２】
フィルタは、以下に従って、片側の前処理されたオーディオ信号および分散されたスポットマイクロフォンと、反対側の入力オーディオ信号またはアレイマイクロフォン信号との間のコヒーレンス、たとえば正規化相互相関を維持することによって制約される、STFT領域内の出力オーディオ信号の最大エントロピーの条件を満たすように設計することができる。
【数４３】
0006363213.tif 000044
【００９３】
いくつかの実装形態はさらに、方法に関係することができ、前処理段階は利用不可であり得るし、フィルタは、以下に従って、各音源信号のそれ自体の履歴へのコヒーレンスおよびSTFT領域内のオーディオ信号源の独立性を維持するように設計することができる。
【数４４】
0006363213.tif 000045
【００９４】
音源信号の自動コヒーレンス行列の推定値は、その行が入力オーディオ信号またはマイクロフォン信号の自動コヒーレンスの行から選択することができる、正方行列の固有値分解によって計算することができる。行の数は、最大で入力またはマイクロフォンの数であり得る、分離可能なオーディオ信号源の数によって決定することができる。そのように構築された行列Cの固有ベクトルをその列に包含する行列Uは反転することができ、音源の自動コヒーレンス行列の推定値は、
【数４５】
0006363213.tif 000046
によって計算することができる。
【００９５】
いくつかの実装形態はさらに、以下に従って計算された最適な2次元フィルタに基づいて、音響伝達関数を推定する方法に関係することができる。
【数４６】
0006363213.tif 000047
【００９６】
いくつかの実装形態は、STFT領域内の処理を可能にすることができる。それは、固有のバッチブロック処理および高いスケーラビリティのせいで、高いシステム追跡機能を提供することができ、すなわち、時間領域内および周波数領域内の解像度は、適切なウィンドウを使用することによって自由に選択することができる。システムは、STFT領域内で近似的に分離することができる。したがって、処理は、周波数ビンごとに並列化することができる。さらに、様々なサブバンドは独立して扱うことができ、たとえば、様々なサブバンド用の残響除去についての様々なフィルタ順序を使用することができる。
【００９７】
いくつかの実装形態は、STFT領域内でマルチタップ手法を使用することができる。したがって、ドライオーディオ信号の時間間隔間またはフレーム間の統計値を活用することができる。各ドライオーディオ信号は、それ自体の履歴にコヒーレントであり得る。したがって、それは、ただ1つの固有ベクトルによってあらかじめ定義された時間にわたって、統計的に表すことができる。音源信号の固有ベクトルは、直交することができる。
【符号の説明】
【００９８】
100  信号処理装置
101  変換器
103  フィルタ係数決定器
105  フィルタ
107  逆変換器
200  信号処理方法
301  補助オーディオ信号生成器
303  さらなる変換器
305  ポストプロセッサ
400  オーディオ信号取得シナリオ
401  第1のオーディオ信号源
403  第2のオーディオ信号源
405  第3のオーディオ信号源
407  マイクロフォンアレイ
409  第1のビーム
411  第2のビーム
413  スポットマイクロフォン
501  自動コヒーレンス行列
601  中間行列
603  自動コヒーレンス行列
701  入力オーディオ信号のスペクトログラム
703  出力オーディオ信号のスペクトログラム
【図１】
0006363213.tif 000055
【図２】
0006363213.tif 000056
【図３】
0006363213.tif 000057
【図４】
0006363213.tif 000058
【図５】
0006363213.tif 000059
【図６】
0006363213.tif 000060
【図７】
0006363213.tif 000061
【図８】
0006363213.tif 000062