(57)【特許請求の範囲】
【請求項１】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離装置であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算する手段と、デジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換する手段とを有するＩＣＡによる分離手段と、分離手段の入力部に直列接続した指定された周波数帯域のみを通過させる手段とを有する分離システムを複数個備え、
上記各分離システム毎にそのデジタルフィルタの長さが異なり、
観測した混合信号から２つの信号源の方向を推定する信号源方向推定手段と、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算する時間差計算手段と、時間差と信号の周波数から決まる位相差の差に基づき前記各分離システムが通過させる最大周波数を決定する周波数範囲決定手段を備え、
さらに、それら複数の分離システムの出力を統合する手段を備えたことを特徴とする信号分離装置。
【請求項２】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離装置であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算する手段と、デジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換する手段とを有するＩＣＡによる分離手段と、分離手段の入力部に直列接続した指定された周波数帯域のみを通過させる手段とを有する分離システムを複数個備え、
上記複数のセンサ間の相対位置が各分離システム毎に異なり、観測した混合信号から２つの信号源の方向を推定する信号源方向推定手段と、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算する時間差計算手段と、時間差と信号の周波数から決まる位相差の差に基づき前記各分離システムが通過させる最大周波数を決定する周波数範囲決定手段を備え、
さらに、それら複数の分離システムの出力を統合する手段を備えたことを特徴とする信号分離装置。
【請求項３】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離装置であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算する手段と、デジタルフィルタの係数を離散フーリエ変換して各フィルタの周波数特性を求める離散フーリエ変換手段と、各フィルタの周波数特性から指定された周波数以外の通過を制限して新たな周波数特性を求める帯域制限処理手段と、新たな周波数特性を反映するデジタルフィルタの係数を求める逆離散フーリエ変換手段と、新たな周波数特性を反映するデジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換する手段とを有する分離システムを複数個備え、
上記各分離システム毎にそのデジタルフィルタの長さが異なり、
観測した混合信号から２つの信号源の方向を推定する信号源方向推定手段と、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算する時間差計算手段と、時間差と信号の周波数から決まる位相差の差に基づき前記各分離システムが通過させる最大周波数を決定する周波数範囲決定手段を備え、
さらに、それら複数の分離システムの出力を統合する手段を備えたことを特徴とする信号分離装置。
【請求項４】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離装置であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算する手段と、デジタルフィルタの係数を離散フーリエ変換して各フィルタの周波数特性を求める離散フーリエ変換手段と、各フィルタの周波数特性から指定された周波数以外の通過を制限して新たな周波数特性を求める帯域制限処理手段と、新たな周波数特性を反映するデジタルフィルタの係数を求める逆離散フーリエ変換手段と、新たな周波数特性を反映するデジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換する手段とを有する分離システムを複数個備え、
上記複数のセンサ間の相対位置が各分離システム毎に異なり、観測した混合信号から２つの信号源の方向を推定する信号源方向推定手段と、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算する時間差計算手段と、時間差と信号の周波数から決まる位相差の差に基づき前記各分離システムが通過させる最大周波数を決定する周波数範囲決定手段を備え、
さらに、それら複数の分離システムの出力を統合する手段を備えたことを特徴とする信号分離装置。
【請求項５】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離方法であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算するステップと、デジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換するステップと、分離信号の分離前に指定された周波数帯域のみを通過させるステップの組を複数有し、
それらステップの組ごとにそのデジタルフィルタの長さを異ならせ、観測した混合信号から２つの信号源の方向を推定するステップと、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算するステップと、時間差と信号の周波数から決まる位相差の差に基づき通過させる最大周波数を決定するステップを備え、
それら複数組のステップで生成された信号を統合するステップとを備えたことを特徴とする信号分離方法。
【請求項６】
空間内で混合された複数の独立な信号を、複数のセンサで観測した混合信号から分離する信号分離方法であって、
混合信号を分離信号に変換するためのデジタルフィルタの係数をＩＣＡ（独立成分分析）を用いて計算するステップと、デジタルフィルタの係数を離散フーリエ変換して各フィルタの周波数特性を求めるステップと、各フィルタの周波数特性から指定された周波数以外の通過を制限して新たな周波数特性を求めるステップと、新たな周波数特性を反映するデジタルフィルタの係数を求めるステップと、新たな周波数特性を反映するデジタルフィルタの係数によりデジタルフィルタを用いて混合信号を分離信号に変換するステップの組を複数備え、
それらステップの組ごとにそのデジタルフィルタの長さを異ならせ、
観測した混合信号から２つの信号源の方向を推定するステップと、推定された方向と各分離システムが用いる２センサの間隔から２つの信号源からの信号が２センサそれぞれに到達する時間差を計算するステップと、時間差と信号の周波数から決まる位相差の差に基づき通過させる最大周波数を決定するステップを備え、
それら複数組のステップで生成された信号を統合するステップとを備えたことを特徴とする信号分離方法。
【請求項７】
請求項１乃至４何れかに記載した信号分離装置として、コンピュータを機能させるための信号分離プログラム。
【請求項８】
請求項７記載の信号分離プログラムを記録したコンピュータにより読み出し可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は信号処理の技術分野に属し、複数の信号が空間内で混合されたものから、源信号をできるだけ正確に復元する信号分離の技術に関する。本技術により、様々な妨害信号が発生する実環境において、目的の信号を精度良く取り出すことが可能となる。本発明の音信号に対する応用例としては、話者とマイクが離れた位置にありマイクが話者の音声以外の音を拾ってしまうような状況でも、認識率の高い音声認識器を構成できることがあげられる。
【０００２】
【従来の技術】
まず、信号分離の定式化を行う。Ｎ個の信号が混合されてＭ個のセンサで観測されたとする。本発明では、信号源からセンサまでの距離により信号が減衰・遅延し、また壁などにより信号が反射して残響が発生する状況を扱う。このような混合は、信号源ｓp（ｔ）からセンサｘq（ｔ）へのインパルス応答ｈqpを用いて
【数１】
0003887247.tif 000002
と表現できる。ここで＊は畳み込み、ｔは時間を示す。インパルス応答ｈqpは遅延や残響を表現するためにある程度の長さを持つ。
信号分離の目的は、分離のためのＦＩＲ(Finite Impulse Response)フィルタ係数ｗrqと
【数２】
0003887247.tif 000003
を求めることにある。残響も含めて分離するためには、フィルタ係数ｗrqもある程度の長さを持つ必要がある。室内で定常状態になっている音源の音を止めた後にその音圧レベルが60dB下がるまでの時間を残響時間と呼ぶが、フィルタ長が残響時間に比べて短かすぎれば、フィルタ長を超える残響の部分の分離ができなくなり分離性能が低下する。逆に長いフィルタは、求めるべきフィルタ係数１個当たりの観測信号量の低下という代償を支払うため、フィルタ長が残響時間に比べて長すぎても分離性能が低下する。従って、分離のためのフィルタは、残響時間に応じた長さを持つのが望ましい。
【０００３】
特殊な状況以外では、信号源ｓp（ｔ）やインパルス応答ｈqpを正確に知ることはできず、センサでの観測信号ｘq（ｔ）からフィルタ係数ｗrqを求める必要がある。一般に源信号ｓp（ｔ）は独立であるため、独立成分分析(ICA:Independent Component Analysis)を用いて分離のためのフィルタ係数ｗrqを計算できる。ＩＣＡを用いた信号分離の手法には様々なものがあるが、残響に対処するためには周波数領域での手法が有効である。上記の畳み込み混合の問題が、各周波数毎の瞬時混合の問題に置き換えることができるからである。センサｑでの観測信号ｘq（ｔ）に短時間離散フーリエ変換を適用した結果をＸq(ｆ,ｍ)とする。ここでｆは周波数、ｍはフレーム番号である。各周波数毎に見ると、分離のための周波数特性Ｗrq（ｆ）と
【数３】
0003887247.tif 000004
を、瞬時混合のＩＣＡを適用して求めることになる。全周波数にわたって周波数特性Ｗrq（ｆ）を求めたら、これに逆離散フーリエ変換を適用することで、分離のためのフィルタ係数ｗrqが最終的に求まる。
【０００４】
ＩＣＡによって作られる分離フィルタの周波数特性を解析すると、多くの場合は、除去したい信号の方向に適応的に死角を向けていることが分かる。つまり、複数のセンサで観測される信号の位相差が信号の到来方向に依存することを利用し、除去したい方向から来る信号のパワーが小さくなるように分離フィルタの周波数特性Ｗrq（ｆ）を調整している。ここで発生する位相差は、信号の周波数とセンサの間隔に依存する。センサ間隔が一定であれば、周波数が高くなるほど位相差が大きくなる。また、周波数が一定であれば、センサ間隔が広くなるほど位相差が大きくなる。十分な分離性能を達成するためには、ある程度の位相差が発生するのが望ましい。従って、低周波数の信号を分離するためには、センサ間隔を広くするのが良い。しかし、高周波数の信号に対してセンサ間隔を広くしすぎると、位相差が２πを超えて複数の方向に死角を向けることになり、除去したくない方向の信号まで除去することになる。
【０００５】
【発明が解決しようとする課題】
上記のように、分離フィルタの長さは残響時間に応じたものがふさわしい。しかし実際には、残響時間は周波数毎に異なっており、低周波数ほど長く、高周波数ほど短い。また、センサ間隔に関しては、低周波数には広いものが望ましく、高周波数には狭いものが望ましい。このように、周波数毎に適切なフィルタ長やセンサ間隔は異なる。
従来の技術では、全周波数帯域を１つの分離システムで分離するため、周波数が大きく異なる帯域に対しても同じフィルタ長やセンサ間隔で処理を行わなければならず、上記の要望に対応することができない。そこで本発明の目的は、上記の要望に鑑み、周波数帯域毎に適切なフィルタ長やセンサ間隔を適用できる信号分離装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、混合信号を分離信号に変換するためのデジタルフィルタの係数を計算する手段と、該デジタルフィルタを用いて混合信号を分離信号に変換する手段を備える分離システムが複数個存在する。そして、信号をいくつかの周波数帯域に分割するために、各分離システムは指定された周波数帯域のみを通過させる手段を持ち、全体としてはそれら複数の分離システムの出力を統合する手段を持つ。さらに、周波数帯域毎に高い分離性能を得るために、混合信号を分離信号に変換するデジタルフィルタの長さや、混合信号を観測する複数のセンサ間の相対位置が各分離システム毎に異なる。
また、本発明を２信号の分離に適用する場合においては、２つの信号源の方向を推定し、推定された方向と各分離システムが用いる２センサの間隔から、２信号が２センサそれぞれに到達する時間差を計算し、各分離システムが通過させる周波数帯域を決定する手段を備える。
【０００７】
【発明の実施の形態】
[全体構成]
図１は、本発明の信号分離装置の構成を示すブロック図である。
センサ（マイクロフォン）１は、空間内で混合された源信号ｓを収音し、混合信号（観測信号）ｘを出力する。観測信号ｘは複数の分離システム２に入力され、観測信号を分離信号ｙ’に変換する。それぞれの分離システムから出力される分離信号は統合部３で統合して統合分離信号、すなわち、復元された源信号ｙが生成される。
信号分離装置において、基本となる分離システム２が複数個存在する。各分離システムは、指定された周波数帯域の信号のみを分離して通過させる。また、通過させる周波数帯域の特性に合わせて、分離するためのデジタルフィルタの長さが異なったり、用いる複数のセンサの相対位置が異なったりしている。各分離システムの出力は、後段に位置する統合部３で統合され、全体として全周波数帯域の分離信号が得られる。
次に、信号分離方法を説明する。
複数の分離システム２は、入力された混合信号ｘを分離信号ｙ’に変換するためのデジタルフィルタの係数を計算し（ステップ１）、計算されたデジタルフィルタ係数によりデジタルフィルタを用いて混合信号を分離信号に変換し（ステップ２）、指定された周波数帯域のみを通過させる（ステップ３）を有する。なお、（ステップ３）は、（ステップ１）の前、（ステップ２）の後（図２  参照）、あるいは（ステップ１）と（ステップ２）の間（図３  参照）のいずれでもよい。統合部３においては、複数の（ステップ１〜３）により生成された分離信号ｙ’を統合して復元された源信号ｙを生成する（ステップ４）。
【０００８】
[分離システム]
基本となる分離システム２の実施形態を２種類示す。
１つ目は、図２に示すように、一般の帯域フィルタ２−２を、ＩＣＡによる分離部と分離フィルタから構成されるＩＣＡによる分離部に直列接続した構成である。帯域フィルタ２−２は分離信号の分離前、分離後どちらにでも接続できる。
このような構成は、良く知られている帯域フィルタを流用できることが利点となるが、一方で、処理される信号が通過すべきデジタルフィルタの総和長が長くなり、観測信号から分離信号への遅延が大きくなるという欠点もある。
２つ目は、分離のためのフィルタに帯域制限の機能を同時に持たせる構成である。本構成では、１つ目の構成ほどフィルタ長が長くならないという利点がある。
【０００９】
図３を参照して分離フィルタに帯域制限の機能を持たせる分離システム、方法について説明する。
まず、ＩＣＡによるフィルタ係数生成部２−３は、ＩＣＡを用いて帯域制限を行わない普通の分離を行い、分離のためのフィルタ係数ｗrqを求める。次に、離散フーリエ変換部２−４は、これらに離散フーリエ変換を適用し、各フィルタの周波数特性Ｗrq（ｆ）を求める。そして、帯域制限処理部２−５は、指定された周波数帯域以外の通過を制限するために、指定された周波数帯域以外の周波数特性を０にして新たな周波数特性Ｗrq'（ｆ）を求める。最後に、逆フーリエ変換部２−６において、これらを逆フーリエ変換して求めた周波数特性を反映するフィルタ係数ｗrq'とし、分離フィルタ２−７は、これらを用いて実際に信号分離を行う。ただしこのままでは、遮断周波数付近で急峻な特性となり、現実的な長さのフィルタでは実現すべき周波数特性との誤差が大きくなる。これを緩和するには、得られたフィルタ係数にハニング(Hanning)窓などの窓を掛ければ良い。
【００１０】
[フィルタ長を変化させる例]
次に、分離フィルタの長さを各分離システム毎に異なるものにする実施例を示す。
残響時間は、信号が混合する環境（部屋の大きさ、壁の材質など）に依存し、前もって正確に知ることは難しいが、音の場合では、125Hzから250Hzにかけて最も長くなり、1000Hz以上では短めに安定するのが一般的である。従って、サンプリング周波数8000Hzの場合の例としては、500Hz以下を通過させる分離システムではフィルタ長を4096(512ms)とし、500Hz以上を通過させる分離システムではフィルタ長を2048(256ms)とする。分離フィルタはその長さの半分ほどの残響に対応できるため、この場合は、500Hz以下では256msまでの残響を500Hz以上では128msまでの残響を分離することができる。
【００１１】
[センサ間隔を変化させる例]
次に、センサ間隔を各分離システム毎に異なるものにする実施例として、間隔が28.3mmであるセンサを用いる分離システムと、間隔が141.5mmであるセンサを用いる分離システムを備えた音信号分離装置を考える。間隔ｄを141.5mmとしても複数の方向に死角を作らない周波数の範囲を考えると、その条件はｃを音速として２πｆｃ-1ｄ＜πであり、結果としてｆ＜1201.4Hzである。従って、センサ間隔が141.4mmである分離システムでは1201Hz以下を通過させ、センサ間隔が28.3mmである分離システムでは1201Hz以上を通過させる。これにより、複数の方向に死角を作らない範囲で、できるだけ広い幅のセンサを利用することができる。
【００１２】
[信号源方向を推定してより適切な周波数範囲を決定]
しかし、信号源方向が推定できれば、より適切な周波数範囲を求めることが可能となる。本発明では、信号源の数が２である場合にその装置、方法を提供する。
図４を参照して、センサ間隔がｄである分離システムが扱うべき最大周波数を求める構成、方法、すなわち推定信号源方向による周波数帯域の決定部、方法を説明する。
まず、信号源方向推定部４−１は、ＭＵＳＩＣ法などの良く知られた信号源方向を推定する方法を用いて、観測信号から信号源方向θ1、θ2を推定する。時間差計算部４−２は、信号源方向θ1、θ2とセンサ間の間隔ｄをもとに次の計算を行う。信号の到来方向はセンサを結ぶ線に垂直となる方向を90°とすると、間隔ｄの２つのセンサに到達する時間差は、θ1方向から来る信号の場合はｃ-1ｄcosθ1、θ2方向から来る信号の場合はｃ-1ｄcosθ2となる。ただしｃは信号の速度である。次にこれらの差を周波数ｆにおける位相差として考えると、２πｆｃ-1ｄcosθ1および２πｆｃ-1ｄcosθ2となる。周波数範囲決定部４−３は、以下に示すように周波数帯域を決定する。これらの位相差の差（２πｆｃ-1ｄcosθ1−２πｆｃ-1ｄcosθ2）がπに近づくほど、ゲイン特性の差を大きくすることができるため、信号分離の性能を高めやすい。そして、位相差の差がπを超えて２πに近づくにつれて、ゲイン特性の差が小さくなり分離性能が除々に低下する。また、πを超えた場合には、θ1とθ2の間のゲイン特性が最大となる方向ができるため、残響を多く拾ってしまう恐れがある。従って本実施例では、位相差がπを大きく超えない範囲の周波数を扱うことにし、（２πｆｃ-1ｄcosθ1−２πｆｃ-1ｄcosθ2）≦απとする。ここでαは、位相差の差がπをどれだけ超えても良いかを設定するパラメータであり、１か１を少し超える値である。本条件を整理すると、扱う最大周波数はｆmax＝αｃ／[２ｄ（cosθ1−cosθ2）]となる。
【００１３】
本発明の信号分離装置は、ＣＰＵやメモリ等を有するコンピュータと利用者端末と記録媒体から構成することができる。
記録媒体は、ＣＤ−ＲＯＭ、磁気ディスク装置、半導体メモリ等の機械読み取り可能な記録媒体であり、ここに記録された信号分離プログラムは、コンピュータに読み取られ、コンピュータの動作を制御し、コンピュータ上に前述した各構成要素、すなわち、分離システム、統合部等を実現する。
【００１４】
【発明の効果】
従来技術および本発明を用いて、２音源を分離した際の分離性能の比較を図５に示す。
本結果を得るに際し、ＲＷＣＰ(Real World Computing partnership：新情報処理開発機構) 実環境音声・音響データベースから選んだ残響時間300msのインパルス応答に、ＡＳＪ(The Acoustical Society of Japan:日本音響学会)研究用音声コーパスから選んだ８秒の音声データを畳み込んで混合信号を作成した、横軸はフィルタ長とマイク間隔の組み合わせを示し、「2048」および「4096」はフィルタ長を、「28.3」と「141.5」はそれぞれマイク間隔をmmで示している。
左側の４組み合わせは従来技術によるものであり、フィルタ長やマイク間隔を周波数毎に変えることはできない。
右側の５組み合わせは本発明によるものであり、フィルタ長やマイク間隔を周波数帯域毎に変えることができる。
「項２」および「項３」は、それぞれ請求項３および請求項４の発明を利用したことを示す。
「項２」の場合は、基本となる分離システムを２つ備え、796Hz以下の周波数に対してはフィルタ長を4096とし、796Hz以上4000Hz以下の周波数に対してはフィルタ長を2048とした。
「項３」の場合も同様に基本となる分離システムを２つ備え、796Hz以下の周波数に対してはマイク間隔を141.5mmとし、796Hz以上4000Hz以下の周波数に対してはマイク間隔を28.3mmとした。
796Hzという境界は、請求項３および請求項４記載の発明の実施例においてα＝１、音速ｃ＝340m／s、センサ間隔ｄ＝141.5mm、推定信号源方向θ1＝50°、θ2＝150°として決定された。
比較のため、全ての組み合わせにおいて低域（796Hz以下）での分離性能と高域（796Hz以上4000Hz以下）での分離性能を示した。
従来技術の４組み合わせの結果を見ると、低域の分離性能を高めようとすると、高域の分離性能が低下してしまうことが分かる、一方、本発明では、高域の分離性能を保ったまま、低域の分離性能を高めることが可能となる。
例えば、「項２」と「28.3」の組み合わせでは、従来技術における「2048」と「28.3」の組み合わせの高域の分離性能を保ったまま、「4096」と「28.3」の組み合わせの低域の分離性能を達成できる。
このように、本発明によれば、扱う信号の周波数帯域毎に適切なフィルタ長とセンサ間隔を設定することが可能となり、全帯域に対して単一のフィルタ長とセンサ間隔しか設定できなかった従来技術よりも分離性能が向上していることが分かる。
また、請求項３と請求項４の発明を併用することで、さらに分離性能を向上させることも可能であることが分かる。
【図面の簡単な説明】
【図１】本発明の構成を示すブロック図。
【図２】帯域フィルタを分離部に直列接続した分離システム構成図。
【図３】分離フィルタに帯域制限の機能を持たせる分離システム構成、及び方法の説明図。
【図４】推定信号源方向による周波数帯域の決定部の構成、及び方法の説明図。
【図５】分離性能の比較を示す図。
【符号の説明】
１・・・センサ
２・・・分離システム
２−１・・ＩＣＡによる分離部、２−２・・・帯域フィルタ、２−３・・・ＩＣＡによるフィルタ係数生成部、２−４・・・離散フーリエ変換部、２−５・・・帯域制限処理部、２−６・・・逆離散フーリエ変換部、２−７・・・分離フィルタ
４−１・・・信号源方向推定部、４−２・・・時間差計算部、４−３・・・周波数範囲決定部
【図１】
0003887247.tif 000005
【図２】
0003887247.tif 000006
【図３】
0003887247.tif 000007
【図４】
0003887247.tif 000008
【図５】
0003887247.tif 000009