(57)【特許請求の範囲】
【請求項１】
複数の信号源から発せられた被分離信号を複数の観測手段で観測してそれらの観測信号のみを使って源信号を分離するブラインド信号分離処理装置において、
前記被分離信号を検出する複数個のセンサーと、
各センサーが検出した被分離信号を保存する被分離信号格納部と、
該被分離信号格納部から信号を取り出して被分離信号を各信号源の信号に分離する処理を行う信号処理部と、
該信号処理部で分離した被分離信号を格納する分離信号格納部とからなり、
前記信号格納部は、
前記被分離信号をウインドウフーリエ変換により離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部と、
前記ＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部と、
前記周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出し、前記分離行列と前記ＤＦＦＴ処理後の信号の積を各周波数成分ごとに算出する信号分離処理部と、
前記信号分離処理部で得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号との積に基づき離散逆フーリエ変換の演算を行って前記被分離信号を分離・再生するＩ−ＤＦＦＴ処理部と、
から構成され、前記混合行列推定処理部は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分と隣接する周波数成分の混合行列の推定値を用いることを特徴とするブラインド信号分離処理装置。
【請求項２】
前記各センサーがマイクロフォンであり、前記被分離信号が複数の音源からの音信号で
あって、複数の音源からの音信号を各音源の信号に分離することを特徴とする請求項１に記載のブラインド信号分離処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、背景雑音、反射、マルチパス等が存在する実環境において混合された電波、光、音等の被分離信号をブラインド分離処理するブラインド信号分離処理装置に関する。
【０００２】
【従来の技術】
従来、ブラインド信号分離処理では、以下に説明する原理に従って行われている。
【０００３】
今、Ｎ個の信号源からの信号ｓ1(t),ｓ2(t),…ｓN(t)からなる信号群ｓ(t)を以下に記載するベクトルで表す。
【０００４】
ｓ(t)＝（ｓ1(t),ｓ2(t),・・・,ｓN(t))T          (1)
ただし、ｓ(t)の平均値は０であり、各信号（ベクトルの成分）は互いに独立であるとする。ここで、記号(…)Tはベクトルとマトリクスの転置を表すものとする。ブラインド信号分離処理の対象はディジタル化された信号であり、時間は離散値をとる。このため、時間tはサンプリングの順番を表す番号と一致し、
ここでは、    t＝0,1,2・・・                  (2)
であるとする。
また、信号ｓ（ｔ）に対する観測信号を、
x(t)＝（x1(t),x2(t),・・・,xN(t))T          (3)
と表す。
【０００５】
ここで、観測信号x(t)の各成分はそれぞれ、0,1,2,・・・,Nのセンサーで観測された各観測信号に対応する。一般には、センサーの個数と信号源の個数とは必ずしも一致しないが、ここでは一致しているものと仮定する。
【０００６】
ブラインド信号分離処理では、s(t)とx(t)との間に、
x(t)＝A(t)*s(t)、                (4)
なる線形関係を仮定する。ただし、A(t)はN×Nの未知の伝達関数を表す行列で、符号「*」は畳み込み積分を表す。
【０００７】
ここでいう「畳み込み」とは、伝搬路で入力信号が遅延されて、所定の係数が乗算された後、加算される操作をいう。図１はその畳み込み混合の簡単な例を示すもので、源信号ｓ１（ｔ）、ｓ２（ｔ）は、伝達関数が行列Ａ（ｔ）で表される伝搬路を介して、観測信号ｘ１（ｔ）、ｘ２（ｔ）としてセンサー１、センサー２に到達する。ここで、伝搬路の伝達関数Ａ（ｔ）の要素はＡ１１、Ａ１２、Ａ２１、Ａ２２である。図１には、源信号ｓ１（ｔ）はＡ１１及びＡ２１と、源信号ｓ２（ｔ）は、Ａ１２及びＡ２２と畳み込み積分された後、ｓ１（ｔ）＊Ａ１１とｓ２（ｔ）＊Ａ１２が加算されて、センサー１で観測される信号ｘ１（ｔ）が生成され、ｓ１（ｔ）＊Ａ２１とｓ２（ｔ）＊Ａ２２が加算されてセンサー２で観測される信号ｘ２が生成された状態が示されている。
【０００８】
行列Ａ（ｔ）や源信号ｓ（ｔ）に関する事前情報を利用せずに、観測した信号ｘ（ｔ）から、その観測信号のみを使って源信号を分離する処理が、ブラインド信号処理と呼ばれている。
【０００９】
分離処理は信号源から発生した信号が観測されるまでの間に受けた伝搬路上の影響をN×Nの行列で表される関数として予測し、その逆行列B(t)を求め、
u(t)＝B(t)*x(t)、                 (5)
で求まる各成分の互いに独立な時間領域分離信号u(t)を再構成することにある。
【００１０】
行列A(t)の各成分が実数である場合、式(4)による混合は単純な線形混合であり、実数以外の場合は畳み込み線形混合である。また、信号が伝搬する環境を表すため、行列A(t)の各成分をFIR(Finite Impulse Response）フィルターと仮定する手段がよく使われる。この場合、式(4)は、式(6)を用いて表せる。
【００１１】
【数１】
0004616529.tif 000002
【００１２】
このような観測データから元の信号源の信号を復元する手段の代表が、このFIRの係数をブラインドで推定し、逆フィルターを構成して分離する手法である。
【００１３】
FIRの係数をブラインドで推定する問題を簡略化するため、式(6)をWindowed  Fourier変換（ウインドウフーリエ変換）する。ωを周波数、tsを窓関数の位置、s(t)、x(t)、A(t)の変換対象をそれぞれ
s〜(ω,ts),x〜(ω,ts),A〜(ω)とすると、（８）式が成り立つ。
【００１４】
【数２】
0004616529.tif 000003
【００１５】
ただし、任意の時間関数f(t)のWindowed Fourier変換f〜(ω,ts)の定義は以下の通りである。
【００１６】
【数３】
0004616529.tif 000004
【００１７】
ここで、Ｍは離散Fourier変換の点数、w(t)は窓関数であり、ΔＴは窓関数の移動時間である。
【００１８】
時間−周波数領域での混合行列A〜(ω)の要素は以下に記載する（１０）式で表わされる。
【００１９】
【数４】
0004616529.tif 000005
【００２０】
ここでHm,n(ω)は伝達関数の振幅を表し、τm,nはｎ番目の原信号がｍ番目のセンサーに到達するまでの遅延時間を表す。
【００２１】
以上のように、Windowed Fourier 変換後の任意の周波数成分に対して、式(8)の右辺は単純な複素数の行列の積となっており、ブラインド分離処理が簡略化されることがわかる。
【００２２】
ある周波数ωに対して混合行列A〜(ω)の推定を行い、分離行列W(ω)を求め、時間−周波数領域での信号を以下の（１１）式に記載するように分離したとする。ここで、分離行列W(ω)は混合行列A〜(ω)の逆行列である。
【００２３】
【数５】
0004616529.tif 000006
【００２４】
この結果得られたu〜(ω,ts)をすべての周波数で集め、時系列信号に戻すことによって、信号分離が完了する。
【００２５】
A〜(ω)の推定に関してはいくつかのアルゴリズムが適用できる（参考文献[1-7]参照）が、大別して２つの手法がある。
【００２６】
１つは確率分布の独立性に基づく分離Infomax（参考文献［２］参照）等がある。もう一つは、時間相関に基づく分離法で、例として、ＴＤＤ（Time Dilayed Deconvolution 参考文献［５，６］参照）等がある。
【００２７】
【発明が解決しようとする課題】
ところで、ブラインド分離手法を実際の環境に応用する場合、以下に説明する２つの問題がある。参考文献［９］、［１０］はその実環境への適用を提案している。
（１）チャネルの入れ違い問題
式（１１）を用いて信号を分離したとき、分離された信号ｕ〜（ω，ｔs）の各成分の順番はＢＳＳ（Blind Source Separation（ブラインド分離手法））だけでは決まらず、曖昧さが生じる。このため、ある周波数ω1での分離信号ｕ〜（ω1，ｔs）の各成分の順番が、他の周波数ω2で分離した順番と一致するとは限らない。これが、各周波数における入れ違い（チャネルの入れ違い）問題と呼ばれる現象である。
【００２８】
この入れ違い問題を解決するため、参考文献［９］では、信号の各周波数成分の長スケールでの類似性を利用する方法を提案している。
【００２９】
一方、参考文献［１０］では、信号の各周波数成分と対応する伝達関数のCoherencyを利用する手法が提案されている。
【００３０】
しかし、実際にはいずれの手法も、入れ違い問題の解決には不十分であり、誤った順番の周波数成分が残るという問題がある。また、従来の技術ではこの入れ違い問題を解決する計算処理が複雑であり、膨大な数の信号処理を行わなければならないために処理が遅延し、このため実時間処理が不可能であった。
（２）背景雑音に関する問題
更に、従来技術では、背景雑音がある場合、この処理についての検討も不十分である。背景雑音については、参考文献［１０］によるサブスペース法を利用する手法等があるが、必要とするセンサーの個数が多く実用的ではないという問題があった。
【００３１】
本発明は、上記事情に鑑みて為されたもので、背景雑音が存在しかつ畳み込み混合された実環境での信号（音声、画像、電波などの信号）から、源信号をブラインドで分離することが可能なブラインド信号分離処理装置を提供する。
【００３２】
【課題を解決するための手段】
請求項１に記載のブラインド信号分離処理装置は、複数の信号源から発せられた被分離信号を複数の観測手段で観測してそれらの観測信号のみを使って源信号を分離するブラインド信号分離処理装置において、
前記被分離信号を検出する複数個のセンサーと、
各センサーが検出した被分離信号を保存する被分離信号格納部と、
該被分離信号格納部から信号を取り出して被分離信号を各信号源の信号に分離する処理を行う信号処理部と、
該信号処理部で分離した被分離信号を格納する分離信号格納部とからなり、
前記信号格納部は、
前記被分離信号をウインドウフーリエ変換により離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部と、
前記ＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部と、
前記周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出し、前記分離行列と前記ＤＦＦＴ処理後の信号の積を各周波数成分ごとに算出する信号分離処理部と、
前記信号分離処理部で得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号との積に基づき離散逆フーリエ変換の演算を行って前記被分離信号を分離・再生するＩ−ＤＦＦＴ処理部と、
から構成され、前記混合行列推定処理部は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分と隣接する周波数成分の混合行列の推定値を用いることを特徴とする。
【００３３】
請求項２に記載のブラインド信号分離処理装置は、前記各センサーがマイクロフォンであり、前記被分離信号が複数の音源からの音信号であって、複数の音源からの音信号を各音源の信号に分離することを特徴とする。
【００３６】
【発明の実施の形態】
（本発明の原理）
本発明は、チャネルの入れ違い問題の対策として隣接周波数での分離行列（式（１１）のＷ（ω））のリレー処理を適用する。このリレー処理を行うために、複素数化されたFastICA（参考文献の［７］［８］参照）を利用する。
【００３７】
以下、これらについて説明する。
（１）周波数における分離行列のリレー処理
任意の２つの周波数における混合行列の間の関係は以下の（１２）式を用いて表すことができる。
【００３８】
【数６】
0004616529.tif 000007
【００３９】
ここで、Ｔ（ω2，ω1）は回転行列である。隣接周波数ω1とω2を考えれば、ω2＝ω1＋Δωの関係がある。Windowed Fourier変換のサンプル数が十分大きい場合、この周波数の差Δωは十分小さく、この両者のCoherencyは非常に高いと考えられる。
【００４０】
すなわち、（１３）式又は（１４）式が成り立つと考えられる。
【００４１】
【数７】
0004616529.tif 000008
【００４２】
今、周波数ω1での混合行列の推定結果をＡ〜（ω1）と表現することとする。また、この推定値によって分離された信号の順番をＰ1と表すことにする。そして、周波数ω2での混合行列を推定するために、周波数ω2における推定の初期値をＡ〜initial（ω2）＝Ａ〜（ω1）と設定する。推定結果Ａ〜（ω1）の精度が十分高ければ、式（１３），（１４）に示されるように、この推定値は周波数ω2においてもＰ1と同じ順番を得るための混合行列の真の値に十分近づくことになる。
【００４３】
すなわち、隣接する周波数での混合行列の推定結果を次の周波数での推定の初期値とすることにより、分離信号に関して同じ順番を得るための混合行列の最適推定値が得られる。ここでは、この手法を「隣接周波数における分離行列のリレー処理」ということにする。
（２）FastICAの複素数化
「隣接周波数における分離行列のリレー処理」を適用するためには、推定処理アルゴリズムとしてFastICAを利用する必要がある。ただし、本発明ではFastICAを時間−周波数領域で利用するため、FastICAを複素数化しなければならない。
【００４４】
FastICAを利用することによる効果としては、大きな背景雑音が存在する場合でも、混合行列の推定における演算が安定して収束し、背景雑音に対するロバスト性が得られる。また、上記「隣接周波数における分離行列のリレー処理」による入れ違い問題の対策では、乗法や加法計算を殆ど必要としないため、演算処理部を極めて簡単にできる。
【００４５】
更に、隣接周波数での最終推定値を次の周波数における推定処理の初期値として利用するため収束速度が極めて速い上に、採用したFastICAは、この混合行列の推定速度を更に改善する効果もある。
（実施例）
図２に本発明に係わるブラインド分離処理装置のブロック回路図を示す。その図２において、１は被分離信号（観測信号ともいう）を検出するセンサー（観測手段ともいう）である。ここでは、センサー１の個数はＮ個であり、順番に番号づけられている。各センサー１が検出した被分離信号は被分離信号格納部２に保存される。その被分離信号格納部２に保存されている被分離信号は信号処理部３に入力される。
【００４６】
信号処理部３は被分離信号格納部２に保存されている被分離信号を取り出してこの被分離信号を各信号源の信号に分離する処理を行う。
【００４７】
信号処理部３は、その被分離信号をWindowed FFT（Windowed Fourier変換)で離散フーリエ変換して時間−周波数領域の成分に変換するＤＦＦＴ処理部4と、そのＤＦＦＴ処理後の信号に基づき混合行列を各周波数成分ごとに推定する混合行列推定処理部５と、
周波数成分ごとに推定した混合行列に基づき各周波数成分ごとに分離行列を算出して、分離行列とＤＦＦＴ処理後の信号との積を各周波数成分ごとに算出する信号分離処理部６と、信号分離処理部６により得られた全ての周波数成分についての分離行列とＤＦＦＴ処理後の信号の積に基づき離散逆フーリエ変換の演算を行って被分離信号を分離・再生するＩ−ＤＦＦＴ処理部７とから構成されている。
【００４８】
その混合行列推定処理部５は、各周波数成分における混合行列を推定する際の設定初期値として、目的周波数成分に隣接する周波数成分の混合行列の推定値を用いる。その混合行列推定処理部５における混合行列の推定アルゴリズムは、複素数化されたFastICAのアルゴリズムである。
その信号処理部３で分離された被分離信号は分離信号格納部８に出力され、各信号源からの信号が後段の回路に出力される。
【００４９】
図３は本発明に係わるブラインド分離信号処理装置の作用を説明するためのフローチャートを示し、まず、被分離信号ｘ（ｔ）をWindowedFFTで離散フーリエ変換し、時間一周波数領域の成分ｘ〜（ωk，ｔs）を得る（Ｓ．１、Ｓ．２）。次いで、ｋ＝１のときには、Ａ〜＝Ａconstと設定する（Ｓ．３）。
【００５０】
次に、各周波数成分毎に複素数化されたFastICAによる混合行列の推定処理を行う。
【００５１】
ここで、最初の周波数成分に関しては、混合行列を推定するための初期値を任意に選択することになる。ここでは、混合行列の初期値として、
Ａ〜initial(ωk)＝Ａconstを用いる（Ｓ．４）。
【００５２】
引き続く周波数成分については、その初期値として前の周波数において推定した混合行列の値を利用する「隣接周波数における分離行列のリレー処理」を適用する。
【００５３】
この実施例では、周波数が増加する順番に処理する場合が示されており、混合行列のリレー関係は下記の式（１５）を用いて表すことができる。
【００５４】
【数８】
0004616529.tif 000009
【００５５】
ただし、ｋは周波数成分ωの順番を示し、周波数成分ωはｋを用いて下記の式（１６）で表される。
【００５６】
【数９】
0004616529.tif 000010
【００５７】
FastICAを用いた学習過程を通して推定された混合行列Ａ〜（ωk）を用い（Ｓ．５）、その逆行列Ａ〜（ωk）-1として得られる分離行列Ｂ〜（ωk）を利用することによって（Ｓ．６）、混合信号から元の独立の信号を分離することができる。すなわち、分離信号ｕ〜（ωk）を成分ｘ〜（ωk，ｔs）と分離行列Ｂ〜（ωk）との積を用いて求め（Ｓ．７）、ｋがｋmax（＝Ｍ−１）よりも大きいか小さいかを判定し（Ｓ．８）、ｋがｋmaxよりも小さいときには前回求められた推定混合行列Ａ〜（ωk）を今回求める推定混合行列Ａ〜の初期値として設定すると共に、順番ｋに「＋１」を加えて（Ｓ．９）、Ｓ．４に戻り、再び、Ｓ．４からＳ．７までの処理をｋmax（Ｎ個のセンサ）まで繰り返し、Ｓ．８において、ｋがｋmaxを越えたときには、分離信号ｕ〜（ωk）を離散逆フーリ工変換（Windowed IFET）処理によって（Ｓ．１０）、目的の信号、すなわち、時間領域分離信号ｕ（ｔ）を得て分離信号格納部に保存する（Ｓ．１１）。
【００５８】
図４〜図７は、この実施例に係わるブラインド信号処理装置を音響信号の分離に適用した場合のシミュレーションを示すものである。
【００５９】
ここでは、図４に示すように、独立の信号としては２人の人間２０、２１から発生された音声と背景雑音とを想定している。図１に示す伝搬路に対応する式（１７）に従う混合条件によりセンサ１としてのマイク２２に入力される混合信号を作成している。
Ａ11（ｎ）＝１．０−０．７ｎ-1＋０．１ｎ-2
Ａ12（ｎ）＝０．１＋０．８ｎ-1＋０．３ｎ-2
Ａ21（ｎ）＝０．０−０．１ｎ-1＋０．６ｎ-2      （１７）
Ａ22（ｎ）＝１．０＋０．５ｎ-1−０．３ｎ-2
なお、ｎはサンプリングの番号（ｎ-1は１サンプル後の値、ｎ-2は２サンプル後の値）を示し、雑音のタイプは白色加法性雑音、信号と背景雑音とのＳＮＲは１５．０ｄＢである。想定した２つマイク間の距離１０．０ｃｍである。更に、FastICAの非線形タイプは、Ｇ（ｙ）＝（ａ＋ｙ）1/2である。
【００６０】
その図４では、２つのマイク２２により採取した混合音が入力としてブラインド信号分離処理装置に入力される。
【００６１】
図５（ａ）は人間２０による混合前の音声波形を示し、図５（ｂ）は人間２１による混合前の音声波形を示し、図６（ａ）は一方のマイク２２に入力される混合信号の音波形を示し、図６（ｂ）は他方のマイク２２に入力される混合信号の音波形を示し、これは式（１７）に従って作成されたものである。
【００６２】
また、図７（ａ）、（ｂ）はブラインド信号分離処理装置を用いて分離された音声信号波形（シミュレーションによる）を示し、図７（ａ）は一方のマイクに入力された混合信号の分離波形を示し、図７（ｂ）は他方のマイクに入力された混合信号の分離波形を示しており、図６、図７に示すブラインド分離処理前後の波形の比較から明らかなように、背景雑音が存在する環境においても入れ違いの問題を生じることなく独立の音声を忠実に分離することが可能であることが分かる。
【００６３】
なお、明細書中で用いた記号ｕ〜、Ｘ〜、Ａ〜、Ｂ〜、ｓ〜、ｆ〜は下記の記号を意味する。
【００６４】
【数１０】
0004616529.tif 000011
【００６５】
また、なお、発明の詳細な説明に使用した参考文献を表１に示す。
【００６６】
【表１】
0004616529.tif 000012
【００６７】
【発明の効果】
本発明によれば、背景雑音が存在しかつ畳み込み混合された実環境での信号（音声、画像、電波など）から、源信号をブラインドで分離することが可能である。
【００６８】
また、信号が伝搬路において受ける影響を表す混合行列の推定にFastICAを利用しているので、大きな背景雑音が存在する場合でも混合行列の推定演算が安定して収束し、背景雑音に対する高いロバスト性が得られる。
【００６９】
また、「隣接周波数における分離行列のリレー処理」による入れ違い問題の対策には、乗法や加法計算をほとんど必要としないので、演算処理部を極めて簡単にできる。更に、リレー処理では、最終推定値を次の周波数における推定処理の初期値として利用するので、収束速度が極めて速いという効果もある。
【図面の簡単な説明】
【図１】  たたみ込み混合の一例を示す模式図である。
【図２】  本発明に係わるブラインド信号分離処理装置のブロック回路図である。
【図３】  本発明に係わるブラインド信号分離処理装置の作用を説明するためのフローチャートである。
【図４】  音声をブラインド信号分離処理装置で分離する場合の説明図である。
【図５】  図４に示す音声源の音声波形を示し、（ａ）は一方の人間の音声波形を示し、（ｂ）は他方の人間の音声波形を示す。
【図６】  図４に示すマイクロホンに到達するまでの伝送路において畳み込み混合された音声波形を示し、（ａ）は一方のマイクロホンに入力される混合信号波形を示し、（ｂ）は他方のマイクロホンに入力される混合信号波形を示している。
【図７】  図４に示すブラインド信号分離処理装置によって分離された音声信号波形を示し、（ａ）は図５（ａ）に示す音声波形に対応し、（ｂ）は図５（ｂ）に示す音声波形に対応し、ブラインド信号処理装置から分離された音声波形が後段のスピーカー装置にそれぞれ分離出力された状態が示されている。
【符号の説明】
１…センサー
２…被分離信号格納部
３…信号処理部
４…ＤＦＦＴ処理部
５…混合行列推定処理部
６…信号分離処理部
７…Ｉ−ＤＦＦＴ処理部
８…信号格納部
【図１】
0004616529.tif 000013
【図２】
0004616529.tif 000014
【図３】
0004616529.tif 000015
【図４】
0004616529.tif 000016
【図５】
0004616529.tif 000017
【図６】
0004616529.tif 000018
【図７】
0004616529.tif 000019