(57)【特許請求の範囲】
【請求項１】
ソース信号から複数の線形伝達経路を経て観測された観測信号から、伝達経路を推定する伝達経路推定方法において、
多チャネル観測信号を蓄積する多チャネル信号蓄積処理と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成処理と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成処理と、
前記過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出処理と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、現信号空間行列を過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出処理と、
射影残差信号行列Eのランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して射影残差信号行列とする射影残差信号行列補正処理と、
前記補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定処理と、
を含むことを特徴とする伝達経路推定方法。
【請求項２】
ソース信号から複数の線形伝達経路を経て観測された観測信号から、伝達経路とソース信号を推定する残響除去方法において、
多チャネル観測信号を蓄積する多チャネル信号蓄積処理と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成処理と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成処理と、
前記過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出処理と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、前記現信号空間行列を前記過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出処理と、
射影残差信号行列Eのランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号行列とする射影残差信号行列補正処理と、
補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定処理と、
推定された伝達経路インパルス応答から逆フィルタを求める逆フィルタ算出処理と、
逆フィルタを多チャネル観測信号に適用してソース信号推定結果を出力する逆フィルタ処理と、
とを含むことを特徴とする残響除去方法。
【請求項３】
複数のソース信号が複数の線形伝達経路を経て混合された観測信号から、ソース信号を推定する音源分離方法において、
多チャネル観測信号を蓄積する多チャネル信号蓄積処理と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成処理と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成処理と、
過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出処理と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、前記現信号空間行列を前記過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出処理と、
射影残差信号行列Eランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号行列とする射影残差信号行列補正処理と、
補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定処理と、
推定された伝達経路インパルス応答から残響除去フィルタを求める残響除去フィルタ算出処理と、
多チャネル観測信号に対して前記残響除去フィルタ算出処理で求めた残響除去フィルタを適用する残響除去フィルタリング処理と、
残響除去処理後段の信号を入力として音源分離処理を行う音源分離処理と、
を含むことを特徴とする音源分離方法。
【請求項４】
ソース信号から複数の線形伝達経路を経て観測された観測信号から、伝達経路を推定する伝達経路推定装置において、
多チャネル観測信号を蓄積する多チャネル信号蓄積手段と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成手段と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成手段と、
前記過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出手段と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、前記現信号空間行列を前記過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出手段と、
射影残差信号行列Eのランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号行列とする射影残差信号行列補正手段と、
前記補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定手段と、
を備えることを特徴とする伝達経路推定装置。
【請求項５】
ソース信号から複数の線形伝達経路を経て観測された観測信号から、伝達経路とソース信号を推定する残響除去装置において、
多チャネル観測信号を蓄積する多チャネル信号蓄積手段と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成手段と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成手段と、
前記過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出手段と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、前記現信号空間行列を過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出手段と、
射影残差信号行列Eランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号行列とする射影残差信号行列補正手段と、
補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定手段と、
推定された伝達経路インパルス応答から逆フィルタを求める逆フィルタ算出手段と、
逆フィルタを多チャネル観測信号に適用してソース信号推定結果を出力する逆フィルタ手段と、
を備えることを特徴とする残響除去装置。
【請求項６】
複数のソース信号が複数の線形伝達経路を経て混合された観測信号から、ソース信号を推定する音源分離装置において、
多チャネル観測信号を蓄積する多チャネル信号蓄積手段と、
蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成手段と、
蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成手段と、
前記過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出手段と、
前記現信号空間行列と前記過去未来信号空間の直交基底から、前記現信号空間行列を前記過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号抽出手段と、
射影残差信号行列Eのうちランクｒから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち前記冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号行列とする射影残差信号行列補正手段と、
前記補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャンネル伝達経路のインパルス応答を求める伝達経路推定手段と、
推定された伝達経路インパルス応答から残響除去フィルタを求める残響除去フィルタ算出手段と、
前記多チャネル観測信号に対して前記残響除去フィルタ算出手段で求めた残響除去フィルタを適用する残響除去フィルタリング手段と、
残響除去処理後段の信号を入力として音源分離処理を行う音源分離手段と、
を備えたことを特徴とする音源分離装置。
【請求項７】
コンピュータが解読可能なプログラム言語によって記述され、コンピュータに請求項４乃至６記載の装置として機能させるプログラム。
【請求項８】
コンピュータが読み取り可能な記録媒体によって構成され、この記録媒体に請求項７記載のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、１入力多出力もしくは多入力多出力の線形伝達経路からの多チャネル出力信号から、伝達経路の事前情報をもちいずに、伝達経路や入力信号を推定する伝達経路推定方法、装置、プログラムおよび記録媒体、および、これを利用した残響除去方法、音源分離方法、これらの装置、プログラム、記録媒体に関する。
【背景技術】
【０００２】
線形伝達経路を経た観測信号から、伝達経路およびソース信号の知識を全く使用せずに伝達経路やソース信号を推定する問題は、ブラインド推定問題と呼ばれ、音声音響信号処理や無線通信の分野で研究が進められている。
音声音響信号処理の分野では、室内で収録された音声に壁等からの反射で生じる残響が混入し、音声の明瞭性が低下して認識しにくくなる問題がある。ブラインド推定問題を解くことで、音声の明瞭性を回復して、認識しやすくできる。また無線通信では、ビル等の建築物による反射も受信することでゴーストが生じ、伝送誤りが生じさせやすくなる。ブラインド推定問題を解くことで、伝送誤りを減らして伝送速度を向上させることができる。
【０００３】
これら残響やゴーストの現象は、図１０に示すようにソース信号をs(k)、Pチャネル観測信号をy1(k)〜yP(k)として、モデル化することができる。
【数１】
0004422692.tif 000002
ただしh1(k)…hP(k)は伝達経路のインパルス応答であり、Nはインパルス応答の長さになる。
無線通信のブラインド推定問題では、観測信号の周波数特性は伝達経路に由来することがほとんどである。一方、音声音響分野のブラインド推定問題では、観測信号の周波数特性がソース信号と伝達経路の両方に由来し、推定が一層困難になっている。
上記ブラインド推定問題に関して、有色のソース信号から伝達経路を推定する方法として、Least Square Smoothing法（以下LSS法と表記）とその拡張であるJ-LSS法が提案されている（非特許文献１）。
【０００４】
LSS法の処理を、図９乃至図１２を用いて説明する。LSS法では、実際のインパルス応答長Nが既知であることを前提とし、これを伝達経路インパルス応答の想定長jとして図９に示す現信号空間行列生成手段１１１、過去信号空間行列生成手段１１２、未来信号空間行列生成手段１１３に設定する。尚、ここで図９に示す多チャネル信号蓄積手段１０１に蓄積されている多チャネル信号について、図１１を用いて説明する。多チャネル信号蓄積手段１０１には或る時刻における所定時間長の多チャネル信号を蓄積する。蓄積された多チャネル信号の時間軸方向のほぼ中央に位置する信号からなるベクトルで張られる空間を現信号空間と称し、この現信号より時間的に古い信号ベクトルが張る空間を過去信号空間、現信号空間より時間的に新しい信号ベクトルが張る空間を未来信号空間と称すものである。
【０００５】
ステップSP1（図１２参照）：多チャネル信号蓄積手段１０１に蓄積されたPチャネル観測信号から、過去信号空間、未来信号空間、現信号空間を求める。
以下では、Pチャネル収音信号の時刻ｋの値y1(k)〜yP(k)からなる縦ベクトル
【数２】
0004422692.tif 000003
をベースとして説明を進める。
過去信号空間行列生成手段１１２は、多チャネル信号蓄積手段１０１に蓄積された多チャネル信号から、多チャネル過去信号空間として過去信号空間行列ZP（非特許文献１の“past data matrix”）を生成する。未来信号空間行列生成手段１１３は、同様に多チャネル未来信号空間として未来信号空間行列をZF（非特許文献１の“future data matrix”）を生成する。
【数３】
0004422692.tif 000004
wの推奨値はjである。またTについては、T>2wに設定する。行列ZP、ZFは（P× w）行（T+1）列の行列になる。
【０００６】
現信号空間行列生成手段１１１は、多チャネル現信号空間として（P× w）行（T+1）列の現信号空間行列Y（非特許文献１の“current data matrix”）を生成する。
【数４】
0004422692.tif 000005
ステップSP2：Z行列生成手段１１５にて、多チャネル過去信号空間行列ZPと多チャネル未来信号空間行列ZFから過去未来信号空間行列Z（非特許文献１の“future-past data matrix”）を生成する。
【数５】
0004422692.tif 000006
【０００７】
ステップSP3：多チャネル現信号空間を、多チャネル過去信号空間および多チャネル未来信号空間に射影して、射影残差信号空間を求める。そのために、過去未来信号空間直交基底算出手段１２１において、過去未来信号空間に対応する行列Zの直交基底を求める。この直交基底Vは行列Zを
Z＝UΣVT
のように特異値分解することで得られる。
【０００８】
射影残差信号行列抽出手段１３１において、現信号空間の過去未来信号空間への射影をYVVTで求める。そして射影残差信号空間を
E＝Y−YVVT
により、射影残差信号空間行列E（非特許文献１の“projection error matrix”）として求める。
【０００９】
ステップSP4：伝達経路推定手段１６１において、
射影残差信号空間行列Eを特異値分解し、最大特異値に対応する左特異ベクトルを取り出すPチャネル収音経路のインパルス応答を
【数６】
0004422692.tif 000007
とし、h^1(0)とh1(0)の推定値とした場合、前記の左特異ベクトルの各成分は、
【数７】
0004422692.tif 000008
のようにPチャネル収音経路インパルス応答の推定値と対応する。
【００１０】
このため、左特異ベクトルの成分を、P個ごとに取り出してベクトル化することで、Pチャネル収音経路インパルス応答の推定値に応答するP本のベクトル
【数８】
0004422692.tif 000009
を得ることができる。このP本のベクトルにより伝達経路推定手段１６１は伝達経路を推定することができ、この伝達経路推定値を用いて逆フィルタ算出手段２０１は逆フィルタ係数を算出し、逆フィルタ手段２０２のフィルタ特性を設定する。以上がLSS法の処理となる。
【００１１】
LSS法では、実際のインパルス応答長Nは既知なことを前提としたが、実際には不明なため、応答長を確定させるための処理が必要となる。この処理を含む方法が非特許文献２に記載されているJ−LSS法である。
J−LSS法を図１３及び図１４を用いて説明する。図１３に示すJ−LSS法の特徴とする構成は、射影残差信号行列抽出手段１３１と伝達経路推定手段１６１’の応答長推定手段１４１を設けた点と、これに伴って伝達経路推定手段１６１の手順をわずかに変更し、１６１’とした点である。全体の処理の流れとしては図１４に示すようにステップSP1〜SP3の処理はLSS法とJ−LSS法で共通なため、J−LSS法における処理として、以下ではステップSP6以降を図１４を用いて説明する。
【００１２】
ステップSP6：応答長推定手段１４１において、射影残差信号空間行列Eを特異値分解する。
E＝UEΣEVET
そして応答長を仮定する。これを仮定長k（１≦k≦j）とする。一例としてjに設定することが考えられる。
【００１３】
ステップSP7：行列Eの小さい方からP（j＋1）−j＋k−1個の特異値に対応する左特異ベクトルを行列UEから取り出す。その左特異ベクトルを行にもつ行列Dを生成し、行列Dを
D＝|D1…Dj|
のようにj個に等分割し、これからブロックHankel行列Γk(D)
【数９】
0004422692.tif 000010
を生成する。
【００１４】
ステップSP8：仮定長kの妥当性を調べるために、上記ブロックHankel行列に関する一次式
Γk(D)f＝0
が０ベクトル以外の解を持つか否かを調べる。この一次式が０ベクトル以外の解を持つとき、その仮定長kはインパルス応答長Nと一致すると判定し、ステップSP10に行く。０ベクトル以外の解を持たないとき、ステップSP9に行く。
【００１５】
ステップSP9：仮定長kを変えて、ステップSP7に戻る。一例として、最初に仮定長kをjに設定した場合には、k←k−1のように仮定長kを変えることが考えられる。
ステップSP10：伝達経路推定手段１６１’において、
Γk(D)f＝0
の０ベクトル以外の解fとして、インパルス応答を求める。fとインパルス応答との対応は、ステップSP4における特異ベクトルとインパルス応答との対応と同じになる。
【非特許文献１】L.Tong and Q. Zhao, "Joint Order Detection and Blind Channel Estimation by Least Squares Smoothing," IEEE Transactions on signal processing, Vol. 47, No.9 1999.
【発明の開示】
【発明が解決しようとする課題】
【００１６】
上記J−LSS法（従来技術）では、インパルス応答の仮定長kの妥当性を仮定を少しずつ変えながら繰り返し検証することにより最適なインパルス応答長を求めるため、伝達経路または入力信号の推定には膨大な演算を必要とする問題がある。
本発明の目的は、インパルス応答長の仮定を変更して繰り返し検証する処理を行なわず、少ない演算量で伝達経路または入力信号を推定することにある。
【課題を解決するための手段】
【００１７】
この発明では、最初に得られた射影残差信号空間から最適な応答長を直接に推定する。そして、この最適応答長に基づいて射影残差信号空間を補正して補正射影残差信号空間を求め、補正射影残差信号空間から伝達経路のインパルス応答を推定する処理手順を基本動作とする。
以下にこの発明による伝達経路推定方法、この伝達経路推定方法を利用して動作する残響除去方法、音源分離方法の具体的な手順を説明する。
この発明による伝達経路推定方法はソース信号から複数の線形伝達経路を経て観測された観測信号から、伝達経路を推定する伝達経路推定方法において、多チャネル観測信号を蓄積する多チャネル信号蓄積処理手段と、蓄積された多チャネル観測信号から現信号空間行列を求める現信号空間行列生成処理と、蓄積された多チャネル観測信号から過去未来信号空間行列を生成する過去未来信号空間行列生成処理と、過去未来信号空間行列の直交基底を求める過去未来信号空間直交基底算出処理と、現信号空間行列と前記過去未来信号空間の直交基底から、現信号空間行列を過去未来信号空間に射影したときの射影残差信号空間行列を求める射影残差信号行列抽出処理と、射影残差信号行列Eのランクrから冗長射影残差信号空間行列Ebを求め、射影残差信号空間行列Eのうち冗長射影残差信号空間行列Ebに直交する成分を取り出して補正射影残差信号空間行列とする射影残差信号行列補正処理と、補正射影残差信号行列を特異値分解し、最大特異値に対応する左特異ベクトルを取り出して多チャネル伝達経路のインパルス応答を求める伝達経路推定処理とを含むことを特徴とする。
【００１８】
この発明による残響除去方法は上記伝達経路推定方法で適用する各処理に加えて、推定された伝達経路インパルス応答から逆フィルタを求める逆フィルタ算出処理と、逆フィルタを多チャネル観測信号に適用してソース信号推定結果を出力する逆フィルタ処理とを含むことを特徴とする。
【００１９】
更に、この発明による音源分離方法では上記伝達経路推定方法で用いる各処理に加えて、推定された伝達経路インパルス応答から残響除去フィルタを求める残響除去フィルタ算出処理と、多チャネル観測信号に対して残響除去フィルタ算出処理で求めた残響除去フィルタを適用する残響除去フィルタリング処理と、残響除去処理後段の信号を入力として音源分離処理を行なう音源分離処理とを含むことを特徴とする。
【発明の効果】
【００２０】
本発明は、現信号空間行列を未来過去信号空間行列に射影して求めた射影残差信号空間から最適な応答長を直接に推定する。そして、この最適応答長に基づいて射影残差信号空間を補正して補正射影残差信号空間を求めて、補正射影残差信号空間から伝達経路のインパルス応答を推定する。これにより、本発明は従来法（J−LSS法）のような繰り返し処理の必要がなくなることから、従来技術（J−LSS法）に比べて少ない演算量で伝達経路のインパルス応答を推定することができる。従って、推定するインパルス応答長が大きい可能性がある場合には、本発明は特に有効である。
【発明を実施するための最良の形態】
【００２１】
本発明による伝達経路推定方法、残響除去方法、音源分離方法及びこれらの装置は全てハードウェアによって実現することができるが、最も簡素に実現するにはコンピュータに本発明による伝達経路推定プログラム、残響除去プログラム、音源分離プログラムをインストールし、コンピュータにこれらの装置として機能させる形態が最良の形態である。
【００２２】
コンピュータを伝達経路推定装置として機能させる場合、コンピュータには伝達経路推定プログラムをインストールし、このプログラムによりコンピュータ内に多チャネル信号蓄積手段と、現信号空間行列生成手段と、過去信号空間行列生成手段と、過去未来信号空間直交基底算出手段と、射影残差信号行列抽出手段と、射影残差信号行列補正手段と、伝達経路推定手段とを構築し、伝達経路推定装置として機能させる。
【００２３】
コンピュータを残響除去装置として機能させる場合、コンピュータには残響除去プログラムをインストールし、このプログラムによりコンピュータ内に上記の伝達経路推定装置の構成に、逆フィルタ算出手段と、逆フィルタ手段とを加えた構成を構築し、残響除去装置として機能させる。
コンピュータを音源分離装置として機能させる場合、コンピュータに音源分離プログラムをインストールし、このプログラムによってコンピュータ内に上記伝達経路推定装置の構成に残響除去フィルタ算出手段と、残響除去フィルタリング手段と、音源分離手段とを追加した構成を構築し、音源分離装置として機能させる。
【実施例１】
【００２４】
図１乃至図３を用いて本発明の第１の実施例を説明する。なお図９に示した従来技術と同じ処理を行うブロックには同一の符号を付して示している。
まず最初に伝達経路インパルス応答想定長jを、インパルス応答長N以上と見込まれる値にあらかじめ図１の現信号空間行列生成手段１１１、過去信号空間行列生成手段１１２、未来信号空間行列生成手段１１３に設定する。尚、図１に示す実施例１では過去信号空間行列生成手段１１２と未来信号空間行列生成手段１１３を設け、これらで生成した過去信号空間行列と未来信号空間行列からZ行列を生成する構成を示すが、過去信号空間行列生成手段１１２と未来信号空間行列生成手段１１３を介することなくZ行列を生成する方法も存在するため、ここでは過去信号空間行列生成手段１１２と未来信号空間行列生成手段１１３とZ行列生成手段１１５を含めてZ行列生成部１０２と称すことにする。
【００２５】
ステップ１：現信号空間行列生成手段１１１が、多チャネル信号蓄積手段１０１に蓄積された多チャネル信号から現信号空間行列Yを求める。同様にして、過去信号空間行列生成手段１１２が過去信号空間行列をZP求め、未来信号空間行列生成手段１１３が未来信号空間行列ZFを求める。詳細な処理内容は「背景技術」のステップSP1と同一なのでここでは説明を省略する。
【００２６】
ステップ２：Z行列生成部１０２が、過去信号空間行列ZPと未来信号空間行列ZFから
【数１０】
0004422692.tif 000011
により行列Zを生成する。詳細な処理内容は「背景技術」のステップSP2と同一なのでここでは説明を省略する。
【００２７】
ステップ３：過去未来信号空間直交基底算出手段１２１において行列Zの直交基底Vを求め、射影残差信号空間行列Eを
E＝Y−YVVT
により求める。詳細な処理内容は「背景技術」のステップSP2と同一なのでここでは説明を省略する。
【００２８】
ステップ４：射影残差信号行列補正手段１５１において、射影残差信号空間行列Eのランクrを求め、j−r＋1を最適な応答長とする。射影残差信号空間行列Eの下からP×（r−１）行を取り出して、冗長射影残差信号空間行列Ebとする。その大きさはP×（r−１）行（T＋1）列となる。
【００２９】
ここでは射影残差信号空間行列Eを下記のように行列Eaと冗長射影残差信号空間行列Ebに分割されるものとみなし、射影残差信号空間行列Eから冗長射影残差信号空間行列Ebのみを取り出す。
【数１１】
0004422692.tif 000012
次に、取り出した冗長射影残差信号空間行列Ebの直交基底Vbを、後述のように特異値分解等を経由して求め、
E2＝Ea−EaVbVbT
により補正された射影残差信号行列E2を求める。このステップ４が背景技術のLSS法にもJ−LSS法にも無い本願特有の処理である。
【００３０】
ステップ５：伝達経路推定手段１６１において、補正された射影残差行列E2を特異値分解し、最大特異値に対応する左特異ベクトルから、多チャネル収音経路のインパルス応答推定値を得る。入力が射影残差行列Eの代わりに補正された射影残差行列E2となっている以外の詳細な処理内容は「背景技術」LSS法のステップSP4と同一なのでここでは説明を省略する。
【００３１】
ここで補足説明を図２を用いて行なう。図２Ａに示すYは現信号空間行列生成手段１１１と、過去信号空間行列生成手段１１２、未来信号空間行列生成手段１１３で生成した各行列を示す。この行列Yには冗長部分Xを含んでいるとする。上記ステップ４で求めた射影残差信号行列E2は図２Ｂに示すように冗長部分Xの量を割り出し、その冗長部分Xを除去し、適正量に補正した射影残差信号行列である。この補正された射影残差信号行列E2を用いて伝達経路の推定を行なうことにより、適正なインパルス応答長で伝達経路の推定を行なうことができることになる。
【００３２】
従って、本発明によれば過去未来信号空間直交基底抽出処理と、射影残差信号行列抽出処理と、射影残差信号行列補正処理を一度実行するだけで補正された射影残差信号行列E2を得ることができるから、その演算量を少なくすることができる。
従来技術J−LSS法では、応答長の仮定を少しずつ変えて、仮定の妥当性を検証する処理を繰り返し行う必要がある。一方本発明では、J−LSS法における繰り返し処理（図１４に示すステップSP7−SP8−SP9のループ）が不要となる。
【００３３】
実施例１の手法の有効性を示すために行ったシミュレーションの結果を図３に示す。図３に示すシミュレーションは、８kHzサンプリングの音声信号をソース信号とし、１入力２出力の伝達経路を経て観測された観測信号から伝達経路の推定と逆フィルタの推定を行なう。上記１入力２出力伝達経路のインパルス応答長をN=５００に設定し、最初のインパルス応答長の想定をJ=550に設定している。上記伝達経路は、サンプリング周波数８」kHzで測定された残響時間２００ｍｓの室内インパルス応答を５００タップに打ち切って使用している。
【００３４】
図３に示すＡ１、Ａ２は、信号源から伝達経路後段までのインパルス応答（真値）である。また、図３に示すＣ１、Ｃ２は実施例１の手法によるインパルス応答の推定結果である。Ａ１とＣ１およびＡ２とＣ２を比較すると両者はほぼ同一波形となっており、実施例１の手法でインパルス応答が良好に推定されているのが分かる。
実施例１の変形：また射影残差信号行列Eからランク経由で最適な応答長を求めた後に、伝達経路のインパルス応答を求める方法として、行列Y、Z、Eを再計算する下記の実施方法も考えられる。
（１）想定長をj−r＋1（r＋1は冗長分）に再設定し、実施例１のステップ１を適用して行列Yを求める。
（２）  想定長をj−r＋1に再設定し、実施例１のステップ２を適用して行列Zを求める。
（３）実施例１のステップ３を適用して、射影残差行列を再計算する。
（４）再計算された射影残差行列を入力として、実施例１のステップ５を適用する。
実施例１の方法は、P×（r−1）行（T＋1）列の行列E2の直交基底を求めればよい。
【００３５】
但し、上記の再計算による実施方法ではｗ＝j−r＋1として（2P×ｗ）行（T＋1）列の行列Zの直交基底を求める必要がある。実施例１の方法と比較すると、再計算による実施方法では、行列Zと行列E2のサイズ差に応じた演算量が余分に必要となる。
【実施例２】
【００３６】
本発明の第２の実施例を図４をもちいて説明する。第２実施例では、第１実施例による伝達経路インパルス応答の推定結果をもちいて、残響を除去したソース信号を推定する。なお図９の従来技術と同じ処理を行うブロックには同一の符号を付している。
ステップ１：第１実施例の方法をもちいて多チャネル収音経路のインパルス応答推定値を得る。
ステップ２：逆フィルタ算出手段２０１において、この推定された伝達経路インパルス応答から、特開昭６２−１９０９３５公報に記載の方法をもちいて逆フィルタを求める。
ステップ３：逆フィルタ手段２０２において、この逆フィルタを多チャネル観測信号に適用して、本来のソース信号を推定する。
実施例２の手法の有効性を示すために、第１実施例のシミュレーションと同一の設定をもちいて、シミュレーションを行った。実施例２の手法により求めた逆フィルタを用いたときの信号源から逆フィルタ後段までのインパルス応答を図５に示す。このインパルス応答は、ほぼ直接波のみのインパルス応答になっており、残響がうまく除去されていることが分かる。
【実施例３】
【００３７】
次に図６をもちいて本発明の第３の実施例を説明する。
この実施例では図７のような多入力多出力伝達経路を経て観測された信号の残響除去と分離を目的とする。多入力多出力伝達経路のインパルス応答長をN、その想定長をN以上と見込まれる値jに設定する。ここで音源数はQで既知とし、収音チャネル数はPである。但し、Q<Pである。
【００３８】
ステップ１：多チャネル信号蓄積手段１０１に蓄積された多チャネル観測信号から、現信号空間、過去信号空間、未来信号空間を求める。
以下では、Pチャネル収音信号の時刻kの値y1(k)〜yP(k)からなる縦ベクトル
【数１２】
0004422692.tif 000013
をベースとして説明を進める。
同様に多チャネル信号蓄積手段１０１に蓄積された多チャネル信号から、過去信号空間行列生成手段１１２により、多チャネル過去信号空間として行列ZFを生成する。
【数１３】
0004422692.tif 000014
但し、音源数Qをもちいて、w≧Q×jに設定する。またTについては、T>2wに設定する。行列ZP、ZFのサイズは（P×w）行（T＋1）列である。
現信号空間行列生成手段１１１は、多チャネル信号蓄積手段１０１に蓄積された多チャネル観測信号から、多チャネル現信号空間として、行列Yを生成する。このとき行列Yのサイズは（P×j）行（T＋1）列になる。
【数１４】
0004422692.tif 000015
【００３９】
ステップ２：Z行列生成手段１１５にて、過去信号空間行列ZPと未来信号空間行列ZFから
【数１５】
0004422692.tif 000016
により行列Zを生成する。
【００４０】
ステップ３：過去未来信号空間直交基底算出手段１２１において行列Zの直交基底Vを求め、射影残差信号空間行列Eを
E＝Y−YVVT
により求める。
【００４１】
ステップ４：射影残差信号行列補正手段１５１において、射影残差信号行列Eのランクrを求める。このランクrをもちいて、射影残差信号空間行列Eの下からP×（r−Q）行を取り出して、冗長射影残差信号空間行列Ebとする。行列Ebの大きさは、P×（r−Q）行（T＋1）列となる。行列Eは下記のように行列Eaと冗長射影残差信号空間行列Ebに分割される。
【数１６】
0004422692.tif 000017
冗長射影残差信号空間行列Ebの直交基底Vbを、上述のように特異値分解等を経由して求め、
E2＝Ea−EaVbVbT
により補正された射影残差信号空間行列を求める。
【００４２】
ステップ５：伝達経路推定手段１６１において、補正された射影残差信号行列E2を特異値分解し、最大特異値に対応する左特異ベクトルから大きさがQ番目の特異値に対応する左特異ベクトルまでを取り出す。第q番目の特異ベクトルを
【数１７】
0004422692.tif 000018
とすると、
【数１８】
0004422692.tif 000019
はq番目の音源に関するPチャネル収音経路のインパルス応答推定値になっている。
【００４３】
ステップ６：残響除去フィルタ算出手段２０３において、ステップ５にて推定された伝達経路インパルス応答から、前出の特開昭６２−１９０９３５号公報に記載の方法をもちいて残響除去フィルタを求める。
【００４４】
ステップ７：残響除去フィルタリング手段２０４において、この残響除去フィルタを多チャネル観測信号に適用して、残響成分の取り除かれた多チャネル信号を推定する。
【００４５】
ステップ８：残響成分の取り除かれた多チャネル信号に音源分離手段３０１で音源分離処理を適用し、音源信号を取り出す。
【００４６】
音源分離処理には参考文献１に記載の独立成分解析（ICA）に基づくブラインド分離アルゴリズムを用いることができる。（参考文献１：「J.F. Cardoso,Blind Signal Separation: Statistical Principles, Proceedings of the IEEE, VOL.86, NO.10, pp.2009-2025, 1998.」）
上記の残響除去処理に含まれる伝達経路推定方法は、LSS法（非特許文献１）をベースとする。ただしLSS法は、音源が単一有色信号で伝達経路が１入力多出力系の場合のみを扱っている。
LSS法では、多チャネル信号から、過去信号空間行列ZPおよび未来信号空間行列ZFを生成する際に、wとして想定インパルス応答長jを推奨している。しかしLSS法をそのまま多入力多出力系の観測信号に適用しても、所望の結果を得ることができない。
【００４７】
そこで本発明では、LSS法を多入力多出力系に拡張するために、w≧Q×jに設定している。ただしQを音源数Qとする。
また実施例３の畳み込み混合された信号を分離する問題に対して特開２００３−３３３６８２号公報に記載されている周波数領域ブラインド音源分離（周波数領域BSS）という技術が従来よく用いられている。
【００４８】
しかし周波数領域BSSでは、除去したい音の直接音成分はほぼ完全に除去できるが、除去したい音の残響成分（間接音成分）はうまく除去できずに残留雑音となり、クロストーク成分の大きさは−１０ｄB前後となって、分離性能が大幅に低下することが知られている。
分離性能の改善を狙い、周波数領域ブラインド音源分離処理の後段に残響対応処理として雑音抑圧処理（クロストーク成分抑圧処理）を行なう方法も特開２００３−９９０９３号公報で提案されている。この特許文献に記載されている構成を図８に示す。雑音抑圧手段３０２の雑音抑圧処理では、推定された直接音成分の遅延とゲインを調整した信号として残響成分をモデル化する。このモデルにもとづき、音源分離手段３０１の音源分離処理後の信号に含まれるクロストーク成分を推定して差し引く。しかし残響成分を数次程度の反射波として簡略にモデル化しているため、分離性能の改善は平均３〜４ｄBにとどまる。
【００４９】
これに対し、実施例３の手法をもちいることにより、クロストーク成分を−３０ｄB前後にまで抑えながら、所望の音を残響成分なく抽出することが可能となる。
以上実施例１で説明した伝達経路推定装置、実施例２で説明した残響除去装置、実施例３で説明した音源分離装置は全て、それぞれの実施例で説明した手順に従ってコンピュータを動作させる伝達経路推定プログラム、残響除去プログラム、音源分離プログラムによってコンピュータを機能させることにより実現することができる。
各プログラムはコンピュータが解読可能なプログラム言語によって記述され、コンピュータが読み取り可能な例えば磁気ディスク、CD-ROM或いは半導体メモリ等の記録媒体に記録される。これらの記録媒体から或いは通信回線を通じてコンピュータにインストールされ、コンピュータに備えられたCPUに解読されて実行される。
【産業上の利用可能性】
【００５０】
本発明による伝達経路推定装置、残響除去装置、音源分離装置はそれぞれハンズフリーの音声通話システム等の分野に活用される。
【図面の簡単な説明】
【００５１】
【図１】この発明の実施例１を説明するためのブロック図。
【図２】実施例１の動作を説明するための図。
【図３】実施例１の効果を説明するための波形図。
【図４】この発明の実施例２を説明するためのブロック図。
【図５】実施例２の効果を説明するための波形図。
【図６】この発明の実施例３を説明するためのブロック図。
【図７】実施例３の利用状況を説明するための配置図。
【図８】公知文献に記載された音源分離手段と雑音抑圧手段の接続関係を説明するためのブロック図。
【図９】従来技術を説明するためのブロック図。
【図１０】従来技術の利用状況を説明するための配置図。
【図１１】多チャネル信号蓄積手段の内部の様子を説明するための図。
【図１２】背景技術を説明するためのフローチャート。
【図１３】背景技術の他の例を説明するためのブロック図。
【図１４】図１３に示した他の背景技術を説明するためのフローチャート。
【符号の説明】
【００５２】
１０１    多チャネル信号蓄積手段              １３１    射影残差信号行列抽出手段
１０２    Ｚ行列生成部                        １４１    応答長推定手段
１１１    現信号空間行列生成手段              １５１    射影残差信号行列補正手段
１１２    過去信号空間行列生成手段    １６１、１６１’  伝達経路推定手段
１１３    未来信号空間行列生成手段            ２０１    逆フィルタ算出手段
１１５    Ｚ行列生成手段                      ２０２    逆フィルタ手段
１２１    過去未来信号空間直交基底算出手段
【図１】
0004422692.tif 000020
【図２】
0004422692.tif 000021
【図３】
0004422692.tif 000022
【図４】
0004422692.tif 000023
【図５】
0004422692.tif 000024
【図６】
0004422692.tif 000025
【図７】
0004422692.tif 000026
【図８】
0004422692.tif 000027
【図９】
0004422692.tif 000028
【図１０】
0004422692.tif 000029
【図１１】
0004422692.tif 000030
【図１２】
0004422692.tif 000031
【図１３】
0004422692.tif 000032
【図１４】
0004422692.tif 000033