(57)【要約】【課題】目的信号強調装置の残響抑圧フィルタ制御の効率を改善することで、長い時間の残響を抑圧可能にする。【解決手段】目的信号強調装置は、主処理部、残響抑圧フィルタ部、残響抑圧フィルタ制御部、ステアリング逆共分散行列計算部、を備え、残響抑圧フィルタ制御部は、観測信号の積の時系列を計算する観測信号積時系列算出手段と、ステアリング逆共分散行列計算部が出力するステアリング逆共分散行列を入力として、ステアリング逆共分散行列の各要素を時間経過順に並べ替えたステアリング逆共分散時系列を生成するステアリング逆共分散時系列生成手段と、観測信号の積の時系列と、ステアリング逆共分散時系列の相互相関係数を高速フーリエ変換を用いて計算する相互相関係数算出手段と、相互相関係数を並べ替えて修正相関行列と修正相関ベクトルを生成する並べ替え手段と、を含む。【選択図】図３
2011039265.tif 000002
【特許請求の範囲】
【請求項１】
マイクロホンによって観測された広帯域音声信号を狭帯域の観測信号に分割して出力するフィルタバンク分析部と、上記観測信号を入力として目的信号の推定値を生成する主処理部と、上記目的信号の推定値を広帯域信号に合成して出力するフィルタバンク合成部とから成る目的信号強調装置であって、
上記主処理部は、
上記観測信号から残響が抑圧された残響抑圧信号を出力する残響抑圧フィルタ部と、
上記残響抑圧信号の共分散行列の逆行列の推定値であるステアリング逆共分散行列を計算するステアリング逆共分散行列計算部と、
上記観測信号の積の時系列を計算する観測信号積時系列算出手段と、上記ステアリング逆共分散行列を入力として上記ステアリング逆共分散行列の各要素を時間経過順に並べ替えたステアリング逆共分散時系列を生成するステアリング逆共分散時系列生成手段と、
上記観測信号の積の時系列と、上記ステアリング逆共分散時系列の相互相関係数を高速フーリエ変換を用いて計算する相互相関係数算出手段と、上記相互相関係数を並べ替えて修正相関行列と修正相関ベクトルを生成する並べ替え手段とを含み、上記残響抑圧フィルタ部に残響成分を取り除くのに最適な残響抑圧フィルタのパラメータの集合を出力する残響抑圧フィルタ制御部と、
を備える目的信号強調装置。
【請求項２】
フィルタバンク分析部が、マイクロホンによって観測された広帯域音声信号を狭帯域の観測信号に分割して出力するフィルタバンク分析過程と、主処理部が、上記観測信号を入力として目的信号の推定値を生成する主処理過程と、フィルタバンク合成部が、上記目的信号の推定値を広帯域信号に合成して出力するフィルタバンク合成過程とを含む目的信号強調方法であって、
上記主処理過程は、上記観測信号から残響が抑圧された残響抑圧信号を出力する残響抑圧フィルタ過程と、上記残響抑圧信号の共分散行列の逆行列の推定値であるステアリング逆共分散行列を計算するステアリング逆共分散行列計算過程と、
観測信号積時系列算出手段が、上記観測信号の積の時系列を計算する観測信号積時系列算出ステップと、
ステアリング逆共分散時系列生成手段が、上記ステアリング逆共分散行列計算過程で計算するステアリング逆共分散行列を入力として上記ステアリング逆共分散行列の各要素を時間経過順に並べ替えたステアリング逆共分散時系列を生成するステアリング逆共分散時系列生成ステップと、
相互相関係数算出手段が、上記観測信号の積の時系列と上記ステアリング逆共分散時系列の相互相関係数を高速フーリエ変換を用いて計算する相互相関係数算出ステップと、
並べ替え手段が、上記相互相関係数を並べ替えて修正相関行列と修正相関ベクトルを生成する並べ替えステップとを含み、
上記残響抑圧フィルタ過程に残響成分を取り除くのに最適な残響抑圧フィルタのパラメータの集合を出力する残響抑圧フィルタ制御過程と、
を備える目的信号強調方法。
【請求項３】
請求項１に記載した目的信号強調装置としてコンピュータを機能させるための装置プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、マイクロホン或いはマイクロホンアレイで観測した残響を含む音声から、残響成分を抑圧して目的信号を強調する目的信号強調装置と、その方法とプログラムに関する。
【背景技術】
【０００２】
一般的に、残響抑圧技術は、マルチオーディオ、デジタル補聴器、テレビ会議システム、自動音声認識システム等に利用され、それらのシステム内の音源分離や残響抑圧を行う目的信号強調装置に用いられる。従来の目的信号強調装置８００を、図８を参照して説明する。目的信号強調装置８００は、図示しないマイクロホンの個数ＮMに対応する数のフィルタバンク分析部８０1〜８０ＮMと、周波数帯域の個数Ｌに対応する数の主処理部８１0〜８１Ｌ-1と、目的信号の個数ＮS個に対応する数のフィルタバンク合成部８２1〜８２ＮＳ、を備える。
【０００３】
ＮM個（ＮM≧１）の内ｍ番目のマイクロホンで観測された広帯域音声信号ｙm（ｎ）がフィルタバンク分析部８０mに入力される。フィルタバンク分析部８０mは、間引き後の狭帯域信号ｙｍt,e（以降、観測信号と称する）を出力する。ここでｔは間引き後の時間のインデックス、ｅは周波数帯域のインデックスであり、それぞれ０≦ｔ≦ＮＴ−１，０≦ｅ≦Ｌ−１である。全マイクロホンの第ｅ周波数帯域における観測信号ｙ１t,e，…ｙＭt,eが、主処理部８１eに入力される。
【０００４】
各周波数帯域インデックスｅ（ｅ＝０，…，Ｌ−１）について、主処理部８１eは、ＮS個の目的信号の推定値ｓ1t,e，…，ｓNSt,e（１≦ｍ≦ＮS）を、フィルタバンク合成部８２1〜８２MSにそれぞれ出力する。各音源インデックスｍについて、フィルタバンク合成部８２mは、全周波数帯域に亘る目的信号の推定値ｓmt,0，…，ｓmt,L-1を合成して広帯域信号ｓm（ｎ）を出力する。
【０００５】
各フィルタバンク分析部８０1，…，８０NMはそれぞれ同一の動作を行う。同様に、各主処理部８１0〜８１L-1もそれぞれ同一の動作を行い、各フィルタバンク合成部８２1〜８２NSもそれぞれ同一の動作を行う。
【０００６】
観測信号ｙ１t,e，…ｙNMt,eを式（１）、目的信号の推定値ｓmt,eを式（２）に示すようにそれぞれベクトルにまとめて表記する。
【０００７】
【数１】
2011039265.tif 000003
【０００８】
Ｔは転置を表す。ベクトルｙt,e（あるいはｓt,e）はｙ1t,e，…，ｙNMt,e（あるいはｓ1t,e，ｓNSt,e）と等価であるから、以降では、ｙt,ｅなどの信号のベクトルを単に信号と呼称することがある。また、読み易くする目的で周波数帯域のインデックスｅを適宜省略して例えばｙt,eをｙｔと書く。
【０００９】
図９に、非特許文献１に開示されている目的信号強調装置８００の主処理部８１の機能構成を示してその動作を簡単に説明する。主処理部８１は、残響抑圧フィルタ部８１０、分離フィルタ部８１２、分離フィルタ制御部８１１、切り替え部８１３、ステアリング逆共分散行列計算部８１４、残響抑圧フィルタ制御部８１５、を備える。
【００１０】
残響抑圧フィルタ部８１０は、ＮＭ入力ＮＬ出力であり、観測信号ｙ１t,e，…ｙＮＭt,eを入力として、観測信号から残響が抑圧された信号（残響抑圧信号と称する）ｘｔ＝[ｘ１ｔ，…，ｘＮＬｔ]Ｔ（ＮＬ次元列ベクトル）を分離フィルタ制御部８１１と分離フィルタ部８１２に出力する。
【００１１】
分離フィルタ制御部８１１は、残響抑圧信号ｘ１ｔ，…，ｘＮＬｔを分離するのに最適な分離フィルタのパラメータの集合Ｗを、分離フィルタ部８１２とステアリング逆共分散行列計算部８１４に出力する。分離フィルタ部８１２は、ＮＬ入力ＮＳ出力であり、分離された信号である目的信号推定値ｓｔ（ＮＳ次元列ベクトル）を、切り替え部８１３に出力する。
【００１２】
切り替え部８１３は、内部カウンタ８１３ａを備え、目的信号推定値ｓｔが入力される毎にカウントアップする。そのカウント値が所定回数ＮＲに達していなければ目的信号推定値ｓｔを、ステアリング逆共分散行列計算部８１４に出力する。カウント値がＮＲに達すれば、目的信号推定値ｓｔをフィルタバンク合成部８２1〜８２NSに出力する。
【００１３】
ステアリング逆共分散行列計算部８１４は、目的信号推定値ｓｔと、分離フィルタのパラメータの集合Ｗを入力として残響抑圧信号ｘｔの共分散行列の逆行列の推定値Λｔ（ＮＬ行ＮＬ列）を、残響抑圧フィルタ制御部８１５に出力する。なお、非特許文献２と３には、残響抑圧信号ｘtのみを入力としてステアリング逆共分散行列Λtを計算する構成が示されている。
【００１４】
残響抑圧フィルタ制御部８１５は、観測信号ｙ１t，…ｙＮＭtから残響成分を取り除くのに最適な残響抑圧フィルタのパラメータの集合ＧＳ（後述する回帰行列群）を求めて残響抑圧フィルタ部８１０に出力する。
【００１５】
ここで、図１０に残響抑圧フィルタ部８１０の具体的な構成例を示す。残響抑圧フィルタ部８１０は、例えば、複数の遅延素子８１１〜８１３と、乗算器８２１〜８２３と、加算器８３１〜８３３とで構成されるＦＩＲ（Finite Impulse response）フィルタであり、残響抑圧信号ｘｔを式（３）に示す計算で求める。選択器８４０は、Ｍ次元の観測信号ベクトル（すなわち、ＮM個ある観測信号）ｙｔを、ＮＬ次元のｙ〜ｔに減ずる動作を行う。この動作を例えば、ｙ〜ｔ＝「ｙ１t，…，ｙNLt」T（ＮL次元列ベクトル）として実施される。遅延素子８１１〜８１３内のｚ−1の指数−１は、時刻インデックスｔを１時刻遅らせることを意味する。
【００１６】
【数２】
2011039265.tif 000004
【００１７】
ここで、Ｇｋは回帰行列であり、Ｇｋの集合が、最適な残響抑圧フィルタのパラメータの集合ＧＳ（回帰行列群）である。また、Ｈは共役転置である。ｋは残響を考慮する過去の時刻を指定するインデックスである。式（３）によると、残響抑圧フィルタは、時刻ｔにおけるＮL個の観測信号ｙ〜ｔに含まれる残響成分を、時刻ｔ−Ｄ〜ｔ−（Ｄ＋Ｋ−１）における観測信号ｙt-D，…，ｙt-(D+K-1)と回帰行列Ｇｋとを用いて推定し、それを減算することで残響抑圧処理を実現する。ここで、Ｄは残響を過大に抑圧するのを防ぐための制御パラメータ、Ｋは残響抑圧フィルタの次数である。
【００１８】
図１１に残響抑圧フィルタ制御部８１５の機能構成例を示す。その動作フローを図１２に示す。残響抑圧フィルタ制御部８１５は、観測信号ブロック生成手段８１５０、選択手段８１５５、修正相関行列計算手段８１５１、修正相関ベクトル計算手段８１５２、回帰係数ベクトル生成手段８１５３、回帰行列群生成手段８１５４、を備える。
【００１９】
観測信号ブロック生成手段８１５０は、式（６）で定義される各時間インデックスｔに対する観測信号ブロックＹｔを生成する（ステップＳ８１５０）。観測信号ブロックＹtは、ＮL行、ＮL×ＮM×Ｋ列の行列である。
【００２０】
【数３】
2011039265.tif 000005
【００２１】
修正相関行列計算手段８１５１は、観測信号ブロックＹｔと、ステアリング逆共分散行列Λtを入力として、修正相関行列Ｒを計算する（式（５）、ステップＳ８１５１）。修正相関行列Ｒは、ＮL×ＮM×Ｋ行、ＮL×ＮM×Ｋ列である。
【００２２】
修正相関ベクトル計算手段８１５２は、それらの入力の他に、ＮＭ個ある観測信号を、選択手段８１５５でＮＬ個に減じた観測信号のベクトルｙ〜ｔを入力として、修正相関ベクトルｒを計算する（式（６）、ステップＳ８１５２）。修正相関ベクトルｒは、ＮL×ＮM×Ｋ次元の列ベクトルである。
【００２３】
【数４】
2011039265.tif 000006
【００２４】
回帰係数ベクトル生成手段８１５３は、修正相関行列Ｒと修正相関ベクトルｒを用いて式（７）にしたがって回帰係数ベクトルｇを計算する（ステップＳ８１５３）。
【００２５】
【数５】
2011039265.tif 000007
【００２６】
回帰行列群生成手段８１５４は、この回帰係数ベクトルｇから回帰行列群ＧＳを構成する。まず、式（８）に示すように回帰係数ベクトルｇの各成分を、マイクロホンの個数ＮＭ個毎の部分ベクトルに分割する。ただし、式（８）の区切り線は見易さのために付したものであり、数学的意味を何ら持たない。
【００２７】
【数６】
2011039265.tif 000008
【００２８】
このＮＭ次元列ベクトルｇｍｋ（１≦ｍ≦ＮＬ）は、ＮM行ＮL列行列である回帰行列Ｇｋ（Ｄ≦ｋ≦Ｄ＋Ｋ−１）の第ｍ列となる。すなわち、各回帰行列Ｇｋは式（９）に示すように構成される。
【００２９】
【数７】
2011039265.tif 000009
【００３０】
そしてＧｋの集合である回帰行列群ＧＳ、つまり、ＧＳ＝{ＧＤ，…，ＧＤ＋Ｋ−１}を生成する（ステップＳ８１５４）。
【００３１】
観測信号ブロックＹｔの通常の重み付けされていない相関行列ＰＡは式（１０）で計算される。
【００３２】
【数８】
2011039265.tif 000010
【００３３】
これに対して式（５）で計算される修正相関行列Ｒは、各時刻ｔ＝０，…，ＮＴ−１においてステアリング逆共分散行列Λｔによって重み付けされた相関行列と解釈することが出来る。
【００３４】
このステアリング逆共分散行列Λｔによる重み付けは、音声のパワーが、例えば母音と子音の発声時で異なるのを吸収する役割を担っており、高い残響抑圧性能を達成する上で重要である。修正相関ベクトルｒも同様の意味を持つ。
【００３５】
このように従来の目的信号強調装置の主処理部８１では、修正相関行列Ｒと修正相関ベクトルｒの両方を、ステアリング逆共分散行列Λｔで重み付けした値として計算していた。
【先行技術文献】
【非特許文献】
【００３６】
【非特許文献１】T.yoshioka, T.Nakatani,and M.Miyoshi,”An integrated method for blind separation and dereverberation of convolutive audio mixtures,”in Proc.Eur.Signal Process. Conf.,2008,CD-ROM Proceedings.
【非特許文献２】T.yoshioka, T.Nakatani,and M.Miyoshi,”Enhancement of noisy reverberant speech by linear filtering followed by nonlinear noise suppression,”in Proc.Int’l Worksh.Acoust.Echo,Noise Contr.,2008,CD-ROM Proceedings.
【非特許文献３】T.Nakatani,T.Yoshioka,K.Kinoshita,M.Miyoshi,and B.-H.Juang,”Blind speech dereverberation with multichannel linear prediction based on short time Fourier transform representation,”in Proc. Int’l Conf. Acoust.,Speech,Signal Process.,2008,pp.85-88.
【発明の概要】
【発明が解決しようとする課題】
【００３７】
従来技術のように修正相関行列Ｒと修正相関ベクトルｒを、ステアリング逆共分散行列Λｔで重み付けした値として計算する方法では、計算効率が悪く、現実的な時間で残響抑圧フィルタを動作させられないという課題があった。
【００３８】
重み付けされていない相関行列であれば高速フーリエ変換を用いて効率的に計算することが可能であるが、重みがある場合には高速フーリエ変換を使う方法をそのまま適用できない。つまり、下記に示す擬似コードのように時刻ｔを１ずつずらしながら修正相関行列Ｒと修正相関ベクトルｒを計算するしか方法がなかった。
【００３９】
【数９】
2011039265.tif 000011
【００４０】
この従来の方法は、膨大な計算量を必要とするため、実際の残響時間よりも短い時間の観測信号の残響成分しか抑圧できなかった。
【００４１】
この発明は、このような問題点に鑑みてなされたものであり、修正相関行列Ｒと修正相関ベクトルｒの計算を現実的な時間で計算できるように効率化した目的信号強調装置とその方法と、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００４２】
この発明の目的信号強調装置は、マイクロホンによって観測された広帯域音声信号を狭帯域の観測信号に分割して出力するフィルタバンク分析部と、その観測信号を入力として目的信号の推定値を生成する主処理部と、その目的信号の推定値を広帯域信号に合成して出力するフィルタバンク合成部とから成る目的信号強調装置であって、主処理部は、残響抑圧フィルタ部と、ステアリング逆共分散行列計算部と、残響抑圧フィルタ部とを備える。
【００４３】
残響抑圧フィルタ部は、観測信号から残響が抑圧された残響抑圧信号を出力する。ステアリング逆共分散行列計算部は、残響抑圧信号の共分散行列の逆行列の推定値であるステアリング逆共分散行列を計算する。
【００４４】
残響抑圧フィルタ制御部は、観測信号の積の時系列を計算する観測信号積時系列算出手段と、ステアリング逆共分散行列計算部が出力するステアリング逆共分散行列を入力としてステアリング逆共分散行列の各要素を時間経過順に並べ替えたステアリング逆共分散時系列を生成するステアリング逆共分散時系列生成手段と、観測信号の積の時系列と、ステアリング逆共分散時系列の相互相関係数を高速フーリエ変換を用いて計算する相互相関係数算出手段と、相互相関係数を並べ替えて修正相関行列と修正相関ベクトルを生成する並べ替え手段とを含み、残響抑圧フィルタ部に残響成分を取り除くのに最適な残響抑圧フィルタのパラメータの集合、すなわち回帰行列群を出力する。
【発明の効果】
【００４５】
この発明の目的信号強調装置によれば、観測信号の積の時系列と、ステアリング逆共分散の時系列を求めた後に、相互相関係数算出手段がその２つの時系列の相互相関係数を高速フーリエ変換を用いて計算する。そして、その相互相関係数を用いて残響抑圧に必要な修正相関行列と修正相関ベクトルとを生成する。この方法は、修正相関行列と修正相関ベクトルが、観測信号の積の時系列とステアリング逆共分散の時系列の相互相関係数で構成されるという性質を用いている。また、一般に、この２つの時系列の相互相関係数列のフーリエ変換は、各時系列のフーリエ変換の積であるという性質がある。この性質に基づいて、上記相互相関係数を高速フーリエ変換によって効率的に計算することで、残響抑圧フィルタの制御を高効率化することができる。この結果、長い残響時間の抑圧が出来る目的信号強調装置を実現することが出来る。
【図面の簡単な説明】
【００４６】
【図１】修正相関行列Ｒの部分行列Ｒm,nを示す図
【図２】修正相関ベクトルｒの補助行列の部分行列Ｒ〜mを示す図。
【図３】この発明の目的信号強調装置１００の機能構成例を示す図。
【図４】残響抑圧フィルタ制御部１０の機能構成例を示す図。
【図５】残響抑圧フィルタ制御部１０の動作フローを示す図。
【図６】修正相関行列Ｒと修正相関ベクトルｒを示す図であり、（ａ）は修正相関行列Ｒ、（ｂ）は修正相関ベクトルｒである。
【図７】この発明の修正相関行列Ｒと修正相関ベクトルｒの計算方法の擬似コードの一例を示す図。
【図８】従来の目的信号強調装置８００の機能構成を示す図。
【図９】目的信号強調装置８００の主処理部８１の機能構成を示す図。
【図１０】残響抑圧フィルタ部８１０の具体例を示す図。
【図１１】残響抑圧フィルタ制御部８１５の機能構成を示す図。
【図１２】残響抑圧フィルタ制御部８１５の動作フローを示す図。
【図１３】実験を行った部屋のレイアウトを示す図。
【図１４】効果確認実験の結果を示す図。
【発明を実施するための形態】
【００４７】
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「→」、「〜」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。ベクトルの各要素単位で行われる処理は、特に断りが無い限り全てのベクトルの全ての要素に対して適用されるものとする。
【００４８】
実施例の説明の前に、この発明の考えについて説明する。
【００４９】
〔この発明の考え〕
ステアリング逆共分散行列Λｔは、式（１１）で表せる。
【００５０】
【数１０】
2011039265.tif 000012
【００５１】
式（４）に示した修正相関行列Ｒは、式（１）で定義した観測信号ｙtと、式（６）で定義した観測信号ブロックＹｔを代入し、更に式（１１）のステアリング逆共分散行列Λｔを乗ずることで、式（１２）で表せる。ステアリング逆共分散行列Λｔの各要素であるλtq1q2のｑ1，ｑ2は、残響抑圧フィルタ部８１０のＮL個の出力チャネルのいずれかを示す番号である。
【００５２】
【数１１】
2011039265.tif 000013
【００５３】
式（１２）の部分行列Ｒm,nは図１に示す式（１４）で定義される。同様に式（５）で
示した修正相関ベクトルｒは、式（１３）で表せる。
【００５４】
【数１２】
2011039265.tif 000014
【００５５】
ここで、Σ→は行列に対して、行毎に和をとる演算を表すものとする。式（１２）の修正相関行列Ｒの部分行列Ｒm,nは図１に示す式（１４）で定義される。修正相関ベクトルｒの補助行列Ｒ〜m（Ｄ≦ｍ，ｎ≦Ｄ＋Ｋ−１）は図２に示す式（１５）で定義される。なお、図１と図２の行列中の区切り線は見易さのために付したものであり、数学的な意味を持たない。
【００５６】
式（１４）と（１５）に示すように、修正相関行列Ｒと修正相関ベクトルｒの全ての構成要素は、λtq1q2ｙt-mp1*ｙt-np2という形式の時刻ｔ（０≦ｔ≦Ｎｔ−１）に関する和になって  いる。つまり、修正相関行列Ｒと修正相関ベクトルｒは、観測信号の積の時系列ｙt-mp1*ｙtp2  と、ステアリング逆共分散行列Λtの各要素λtq1,q2の時系列の相互相関係数から成るという特徴がある。
【００５７】
この発明は、この特徴点に着目して残響抑圧フィルタの制御を行わせるようにしたものである。具体的には、観測信号の積の時系列ｙt-mp1*ｙtp2と、ステアリング逆共分散行列の各要素λtq1,q2の時系列を別々に計算した後に、これらの相互相関係数を求める。一般に、２つの時系列の相互相関係数列のフーリエ変換は、各時系列のフーリエ変換の積であるという性質がある。この性質を用いて上記相互相関係数は、高速フーリエ変換を用いて効率的に計算することができる。
【００５８】
従来の計算方法では、時刻ｔの値が０，…，ＮＴ−１と進む毎に、毎回、任意のマイクロホン間ｐ1，ｐ2、残響抑圧フィルタ部８１０の任意の出力チャネル間ｑ1，ｑ2、時間遅れｍ，ｎに対して、λtq1q2ｙt-mp1*ｙt-np2を計算している。例えば、修正相関行列Ｒの部分行列ＲD,Dの（１，１）要素（式（１６））と、ＲD+1,D+1の（１，１）要素（式（１７））に着目すると、従来の方法はこれらを別々に計算しており無駄が生じていることが分かる。
【００５９】
【数１３】
2011039265.tif 000015
【００６０】
具体的には、式（１６）と式（１７）の相違は、和をとる際の重みがλt1,1か、λt+11,1かの違いだけである。この式から明らかなように、各部分行列を別々に計算する従来の方法は、ｙt-D1*ｙt-D1の計算を繰り返す無駄を含む。
【００６１】
この従来の方法に対して、観測信号の積の時系列ｙt-mp1*ｙtp2と、ステアリング逆共分散行列の各要素λtq1,q2の時系列を別々に計算した後に、これらの相互相関係数を求めるこの発明の方法では、このような無駄な計算は生じない。さらに、２つの時系列の相互相関係数は高速フーリエ変換を用いて効率的に求めることが出来るという性質によって、高い効率で残響抑圧フィルタの制御を行うことが可能になる。
【実施例１】
【００６２】
図３にこの発明の目的信号強調装置１００の機能構成例を示す。目的信号強調装置１００は、複数のマイクロホンによって観測された広帯域音声信号を狭帯域の観測信号に分割して出力するフィルタバンク分析部８０1〜８０ＮM と、観測信号を入力として目的信号の推定値を生成する主処理部１１０0〜１１０Ｌ-1と、目的信号の推定値を広帯域信号に合成して出力するフィルタバンク合成部８２1〜８２ＮＳとから成る目的信号強調装置である。基本的な構成は、従来技術で説明した目的信号強調装置１００と同じであり、主処理部１１０0〜１１０Ｌ-1の機能構成のみが異なる。図３では、１個の主処理部１１０0のみを図示し、他の主処理部を省略している。目的信号強調装置１００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。
【００６３】
目的信号強調装置１００の主処理部１１０は、従来の目的信号強調装置８００の主処理部８１と同様に、残響抑圧フィルタ部８１０、ステアリング逆共分散行列計算部８１４他、を備える基本的な機能構成は同じであるが、残響抑圧フィルタ制御部１０の構成のみが従来のものと異なる。
【００６４】
残響抑圧フィルタ制御部１０は、観測信号積時系列算出手段１１と、ステアリング逆共分散時系列生成手段１２と、相互相関係数算出手段１３と、並べ替え手段１４と、従来技術の残響抑圧フィルタ制御部８１５と同じ回帰係数ベクトル生成手段８１５３と、回帰行列生成手段８１５４と、を備える。なお、図３では回帰係数ベクトル生成手段８１５３と回帰行列生成手段８１５４とを省略している。
【００６５】
観測信号積時系列算出手段１１は、観測信号の積の時系列を計算する。ステアリング逆共分散時系列生成手段１２は、ステアリング逆共分散行列計算部８１４が出力するステアリング逆共分散行列を入力として、ステアリング逆共分散行列の各要素を時間経過順に並べ替えたステアリング逆共分散時系列を生成する。
【００６６】
相互相関係数算出手段１３は、観測信号の積の時系列と、ステアリング逆共分散時系列の相互相関係数を高速フーリエ変換を用いて計算する。並べ替え手段１４は、相互相関係数を並べ替えて修正相関行列Ｒと修正相関ベクトルｒを生成する。
【００６７】
そして、回帰係数ベクトル生成手段８１５３は、修正相関行列Ｒと修正相関ベクトルｒを用いて残響成分を取り除くのに最適な回帰係数ベクトルｇを計算し、回帰係数行列群生成手段８１５４が回帰係数ベクトルｇから回帰行列群ＧSを生成し、これを残響抑圧フィルタ部８１０に出力する。
【００６８】
以上述べたように、目的信号強調装置１００は、観測信号の積の時系列と、ステアリ
ング逆共分散行列の各要素の時系列と、を別々に求め、その後に、それらの相互相関係数を高速フーリエ変換を用いて求める。２つの時系列の相互相関係数のフーリエ変換は、各時系列のフーリエ変換の積であるという性質に基づいて、高速フーリエ変換を用いて効率的に計算することができる。その結果、高効率に残響抑圧フィルタ制御部１０を動作させることができる目的信号強調装置１００を実現することが出来る。
【００６９】
図４に、この実施例１の主要部である残響抑圧フィルタ制御部１０の機能構成例を示してその動作を更に詳しく説明する。図５にその動作フローを示す。残響抑圧フィルタ制御部１０は、観測信号積時系列算出手段１１と、ステアリング逆共分散時系列生成手段１２と、相互相関係数算出手段１３と、並べ替え手段１４と、回帰係数ベクトル生成手段８１５３と、回帰行列群生成手段８１５４と、を具備する。
【００７０】
観測信号積時系列算出手段１１は、フィルタバンク分析部８０が出力する観測信号ｙtを入力として観測信号の積の時系列ｙ→mp1p2を計算する（式（１８）、ステップＳ１１）。
【００７１】
【数１４】
2011039265.tif 000016
【００７２】
ここでｐ1,ｐ2は任意のマイクロホン番号、ＮＴは音声を観測した時間長（例えば５秒）に対応するフレーム数、ｍは時間遅れ、である。
【００７３】
ステアリング逆共分散時系列生成手段１２は、ステアリング逆共分散行列計算部８１４が出力するステアリング逆共分散行列Λtを入力として、その各要素を時間経過順に並べ替えたステアリング逆共分散時系列λ→q1q2（式１９）を生成する（ステップＳ１２）。
【００７４】
【数１５】
2011039265.tif 000017
【００７５】
ここでｑ1，ｑ2は、残響抑圧フィルタ部８１０の出力チャネル番号である。
【００７６】
相互相関係数算出手段１３は、観測信号の積の時系列ｙ→mp1p2と、ステアリング逆共分散時系列λ→ｑ1ｑ2との相互相関係数列ｃ→m,p1,p2,q1,q2を計算する（式（２０）、ステップＳ１３１）。この相互相関係数列ｃ→m,p1,p2,q1,q2の計算は、出力チャネル番号ｑ1＝１，ｑ2＝１、マイクロホン番号ｐ1＝１，ｐ2＝１、時間遅れｍ＝０を初期値（ステップＳ１３０）として、それぞれの値がＮＬ，ＮＬ，ＮＭ，ＮＭ，Ｄ＋Ｋ−１に達する（ステップＳ１３２）まで、何れかを１だけ増加（ステップＳ１３３）させながら繰り返し計算される（ステップＳ１３１）。
【００７７】
【数１６】
2011039265.tif 000018
【００７８】
ここで、相互相関係数列ｃ→m,p1,p2,q1,q2の各要素（すなわち、各相互相関係数）が、修正相関行列Ｒと修正相関ベクトルｒのどの部分に該当するかを説明する。図６（ａ）に修正相関行列Ｒの構造を示す。修正相関行列Ｒは、式（１２）に示した行列であるが、図６（ａ）は、第（ｍ＋１）ブロックの対角上の部分行列であるＲm+n,n（Ｄ≦ｎ≦Ｄ＋Ｋ−１−ｍ）に着目した図である。なお、ｍ＝０，…，Ｋ−１、第１対角は主対角に該当する。
【００７９】
修正相関行列Ｒの第（ｍ＋１）ブロックの対角部分行列上の各部分行列は、全てのｐ1,ｐ2，ｑ1,ｑ2に関する観測信号の積の時系列ｙ→mp1p2とステアリング逆共分散時系列λ→ｑ1ｑ2の相互相関係数で成り立っている。具体的には、Ｒm+n,nの第（（ｑ1−１）ＮＭ＋ｐ1，（ｑ2−1）ＮＭ＋ｐ2）要素は、遅れｎの相互相関係数（すなわち、ｃ→m,p1,p2,q1,q2の第ｎ＋１要素、式（２１））である。
【００８０】
【数１７】
2011039265.tif 000019
【００８１】
Ｄ≦ｎ≦Ｄ＋Ｋ−１−ｍだから、各ｍ，ｐ1，ｐ2，ｑ1，ｑ2について、観測信号の積の時系列ｙ→mp1p2とステアリング逆共分散時系列λ→ｑ1ｑ2の相互相関係数は、遅れＤからＤ＋Ｋ−１だけ必要になる。
【００８２】
図６（ｂ）に修正相関ベクトルｒを示す。同様に補助行列Ｒ〜の第ｍ部分行列であるＲ〜Ｄ+m-1（１≦ｍ≦Ｋ）に着目する。補助行列の部分行列Ｒ〜D+m-1は、全てのｐ1，ｑ1，ｑ2に関する観測信号の積の時系列ｙ→mp1ｑ2とステアリング逆共分散時系列λ→ｑ1ｑ2の相互相関係数で成り立っている。具体的には、補助行列の部分行列Ｒ〜D+m-1の第（（ｑ1−１）ＮＭ＋ｐ1，ｑ2）要素は、観測信号の積の時系列ｙ→mp1p2とステアリング逆共分散時系列λ→ｑ1ｑ2の遅れ０の相互相関係数（すなわち、ｃ→m,p1,p2,q1,q2の第１要素、式（２２））である。
【００８３】
【数１８】
2011039265.tif 000020
【００８４】
よって、各ｍ，ｐ1，ｑ1，ｑ2について、観測信号の積の時系列ｙ→mp1p2とステアリング逆共分散時系列λ→ｑ1ｑ2の遅れ０の相互相関係数が必要になる。
【００８５】
以上のことから、各ｍ，ｐ1，ｐ2，ｑ1，ｑ2について、観測信号の積の時系列ｙ→mp1p2とステアリング逆共分散時系列λ→ｑ1ｑ2の相互相関係数は、遅れ０からＤ＋Ｋ−１だけ必要であり、このうち、遅れＤからＤ＋Ｋ−１−ｍの相互相関係数は、修正相関行列の部分行列Ｒm+n,nの第（（ｑ1−１）ＮＭ＋ｐ1，（ｑ2−1）ＮＭ＋ｐ2）要素になることが分かる。また、遅れ０でのｐ2＝ｑ2の相互相関係数は、補助行列の部分行列Ｒ〜D+m-1の第（（ｑ1−１）ＮＭ＋ｐ1，ｑ2）要素になる、ということが分かる。
【００８６】
並べ変え手段１４は、相互相関係数算出手段１３で計算された相互相関係数を、図６で説明した関係に基づいて並べ替えて修正相関行列Ｒと修正相関ベクトルｒを生成する。修正相関行列Ｒと修正相関ベクトルｒは、回帰係数ベクトル生成手段８１５３に入力される。回帰係数ベクトル生成手段８１５３と、回帰行列群生成手段８１５４とは、従来技術と同じ説明済みの動作によって回帰行列群ＧＳを生成する。
【００８７】
図７に、以上説明した観測信号積時系列算出手段１１と、ステアリング逆共分散時系列生成手段１２と、相互相関係数算出手段１３と、並べ替え手段１４とを、例えばコンピュータで実現した場合のそれらの動作を表す擬似コードを示す。擬似コード中の[ｎ]は時系列の第ｎ要素を、[ｍ，ｎ]は行列の第（ｍ，ｎ）要素を、参照する操作を表す。
【００８８】
図７の特徴点は、相互相関係数列ｃ→m,p1,p2,q1,q2の計算が高速フーリエ変換を用いて計算される点である。この部分を「発明が解決しようとする課題」で示した従来技術の擬似コードと比較すると、時刻ｔを１ずつずらしながら修正相関行列Ｒと修正相関ベクトルｒを計算する繰り返し計算のループが、図７に無い点に気が付く。この実施例では、時刻ｔに関する繰り返しループが無いことにより、従来方法よりも残響フィルタ部の制御を高速に行うことを可能にする。
【００８９】
〔実験結果〕
この発明による残響抑圧方法を組み込んだ目的信号強調装置を用いて、この発明の効果を確認する実験を行った。目的信号強調装置１００は、プログラムで実現し、その実装にはＭＡＴＬＡＢを使用した。また、そのプログラムは２.４ＧＨｚクアッドコアプロセッサを搭載したコンピュータ上で実行させた。
【００９０】
その実験条件を説明する。この確認実験では、４個のマイクロホンで観測した２個の音声信号の畳み込み混合を、残響抑圧して音源分離するという課題を設定した。１６８名（男性１１２名、女性５６名）の話者による合計１３４４個の発話を用い、これらの発話から６７２個の発話ペアを作成した。
【００９１】
各発話ペアについて、その音声信号を図１３に示す部屋で収録したインパルス応答を用いて畳み込み混合することで残響付き混合音声を作成し、その残響付き混合音声に対してプログラムを実行させることで残響抑圧と音源分離を実施した。なお、図１３に示す部屋の残響時間は凡そ０.５秒であった。また、標本化周波数は１６ｋＨｚとした。
【００９２】
フィルタバンク分析部８０では、帯域分割数を２５６（Ｌ＝２５６）、オーバーサンプリングレートを２倍とした。Ｄの値は２とし、Ｋの値は観測信号の周波数に依存して変化させた。具体的には、８００Ｈｚ未満の周波数帯域ではＫ＝２５、８００Ｈｚ以上１５００Ｈｚ未満の周波数帯域ではＫ＝２０、１５００Ｈｚ以上３０００Ｈｚ未満の周波数帯域ではＫ＝１５、３０００Ｈｚ以上の周波数帯域ではＫ＝１０とした。
【００９３】
主処理部１１０において、残響抑圧フィルタ部８１０、分離フィルタ制御部８１１、分離フィルタ部８１２、切り替え部８１３、ステアリング逆共分散行列計算部８１４、残響抑圧フィルタ制御部１０から成る繰り返し回数は２回として実行した。また、相互相関係数を計算するための高速フーリエ変換の点数ＮFFTは２のべき乗に設定した。具体的には次式に従って定めた。
【００９４】
【数１９】
2011039265.tif 000021
【００９５】
ここで、ｆNextPow2(x)は、任意の実数ｘに対して２ｐ≧|ｘ|なる自然数ｐの内で最小のものである。
【００９６】
図１４に確認実験の結果を示す。横軸は観測音声信号の長さ（秒）、縦軸は残響抑圧と音源分離に要した計算時間(秒)を表す。図１４から、処理時間の観測音声長に対する比である実時間ファクタは、凡そ４〜６であることが見てとれる。これは、従来の方法と比較して１０倍以上高速である。
【００９７】
観測音声信号の長さが２秒と４秒を超えたところで計算時間が不連続に増加している。その理由は、相互相関係数を計算するためのＦＦＴの点数ＮFFTが不連続に倍増するためである。２秒と４秒のポイントで、完全に不連続にならない理由は、Ｋの値を周波数帯域に応じて変更して設定することにより、ＮFFTが倍増する観測音声長が周波数帯域間で少しずつ異なったためである。
【００９８】
以上述べたようにこの発明の方法によれば、残響抑圧・音源分離処理を従来方法と比較して１０倍以上高速にすることが出来る。この方法を用いた目的信号強調装置は、より長い残響時間の抑圧を可能にする。なお、この発明の目的信号強調方法は、残響抑圧・音源分離を実施する目的信号強調システムだけでなく、非特許文献２，３に記載された別の目的信号強調システムにも適用可能である。
【００９９】
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１００】
また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。
【０１０１】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１０２】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１０３】
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2011039265.tif 000022
【図２】
2011039265.tif 000023
【図３】
2011039265.tif 000024
【図４】
2011039265.tif 000025
【図５】
2011039265.tif 000026
【図６】
2011039265.tif 000027
【図７】
2011039265.tif 000028
【図８】
2011039265.tif 000029
【図９】
2011039265.tif 000030
【図１０】
2011039265.tif 000031
【図１１】
2011039265.tif 000032
【図１２】
2011039265.tif 000033
【図１３】
2011039265.tif 000034
【図１４】
2011039265.tif 000035