(57)【要約】【課題】ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり，比較的小さな演算負荷により，信号の遅延時間が短く，広範囲の周波数帯域に渡って高い音源分離性能が得られること。【解決手段】時間領域の混合音響信号を周波数領域の信号ｘ1(ｆ)，ｘ2a(ｆ)，ｘ2b(ｆ)へ離散フーリエ変換し，その信号から，それが入力されるマイクロホン相互の間隔ｄ１，ｄ２に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分をハイパスフィルタ処理部３１及びローパスフィルタ処理部３２により抽出し，その抽出信号（ｘ1H(ｆ)とｘ2H(ｆ)，ｘ1L(ｆ)とｘ2L(ｆ)）に基づいて周波数領域におけるＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行い，得られた第１の分離信号を周波数帯域が異なるものどうし統合することにより第２の分離信号ｙ1T(ｆ)，ｙ2T(ｆ)を生成し，その信号を時間領域の信号へ逆フーリエ変換する。【選択図】図１
2008278406.tif 000002
【特許請求の範囲】
【請求項１】
３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成する音源分離装置であって，
時間領域における複数の前記混合音響信号を周波数領域における複数の混合音響信号へ変換する離散フーリエ変換手段と，
前記周波数領域における複数の混合音響信号から，それが入力される前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分を抽出する帯域抽出手段と，
前記複数組の信号の組合せごとに，前記帯域抽出手段による抽出信号に基づいて周波数領域における独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行することによって前記音源の個別の出力音響に対応する第１の分離信号を分離生成するＦＤＩＣＡ音源分離手段と，
前記ＦＤＩＣＡ音源分離手段により分離生成された前記第１の分離信号をその周波数帯域が異なるものどうし統合することにより，前記音源の個別の出力音響に対応する第２の分離信号を生成する信号統合手段と，
前記信号統合手段により生成された前記第２の分離信号を時間領域の信号へ変換する逆フーリエ変換手段と，
を具備してなることを特徴とする音源分離装置。
【請求項２】
３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成する処理をコンピュータに実行させるための音源分離プログラムであって，
コンピュータに，
時間領域における複数の前記混合音響信号を周波数領域における複数の混合音響信号へ変換して変換後の信号を記憶手段に記憶させる離散フーリエ変換工程と，
前記周波数領域における複数の混合音響信号から，それが入力される前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分を抽出して抽出信号を記憶手段に記憶させる帯域抽出工程と，
前記複数組の信号の組合せごとに，前記帯域抽出工程による抽出信号に基づいて周波数領域における独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行することによって前記音源の個別の出力音響に対応する第１の分離信号を分離生成し，該第１の分離信号を記憶手段に記憶させるＦＤＩＣＡ音源分離工程と，
前記ＦＤＩＣＡ音源分離工程により分離生成された前記第１の分離信号をその周波数帯域が異なるものどうし統合することにより，前記音源の個別の出力音響に対応する第２の分離信号を生成し，該第２の分離信号を記憶手段に記憶させる信号統合工程と，
前記信号統合工程により生成された前記第２の分離信号を時間領域の信号へ変換する逆フーリエ変換工程と，
を実行させてなることを特徴とする音源分離プログラム。
【請求項３】
３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成する処理をコンピュータにより実行する音源分離方法であって，
コンピュータにより，
時間領域における複数の前記混合音響信号を周波数領域における複数の混合音響信号へ変換して変換後の信号を記憶手段に記憶させる離散フーリエ変換工程と，
前記周波数領域における複数の混合音響信号から，それが入力される前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分を抽出して抽出信号を記憶手段に記憶させる帯域抽出工程と，
前記複数組の信号の組合せごとに，前記帯域抽出工程による抽出信号に基づいて周波数領域における独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行することによって前記音源の個別の出力音響に対応する第１の分離信号を分離生成し，該第１の分離信号を記憶手段に記憶させるＦＤＩＣＡ音源分離工程と，
前記ＦＤＩＣＡ音源分離工程により分離生成された前記第１の分離信号をその周波数帯域が異なるものどうし統合することにより，前記音源の個別の出力音響に対応する第２の分離信号を生成し，該第２の分離信号を記憶手段に記憶させる信号統合工程と，
前記信号統合工程により生成された前記第２の分離信号を時間領域の信号へ変換する逆フーリエ変換工程と，
を実行してなることを特徴とする音源分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，複数の音源が存在する音響環境下でマイクロホンを通じて入力される混合音響信号に基づいて，各音源の出力音響に対応する分離信号を分離生成するための音源分離装置，音源分離プログラム及び音源分離方法に関するものである。
【背景技術】
【０００２】
電話会議システム，テレビ会議システム，券売機，カーナビゲーションシステム等，話者等の音源が発する音響を入力する機能を備えた装置においては，マイクロホンを通じて入力される音響信号から，ある音源から発せられる音の信号（音源信号）と他の音源信号とを高い精度で分離することが要求される。
ところで，所定の音響空間に複数の音源と複数のマイクロホンとが存在する場合，その複数のマイクロホンごとに，複数の音源各々が個別に発する音響信号（以下，音源信号という）が重畳された混合音響信号が入力される。このようにして入力された複数の混合音響信号のみに基づいて，前記音源信号各々を同定した分離信号を生成する音源分離処理の方式は，ブラインド音源分離方式（Blind Source Separation方式，以下，ＢＳＳ方式という）と呼ばれる。
さらに，ＢＳＳ方式の音源分離処理の１つに，独立成分分析法（Independent Component Analysis，以下，ＩＣＡ法という）に基づくＢＳＳ方式の音源分離処理がある。このＩＣＡ法に基づくＢＳＳ方式は，複数のマイクロホンを通じて入力される複数の混合音響信号において，前記音源信号どうしが統計的に独立であることを利用して所定の分離行列（逆混合行列）を学習計算により最適化し，入力された複数の混合音響信号に対して最適化された分離行列によるフィルタ処理を施すことによって前記音源信号の同定（音源分離）を行う処理方式である。
ここで，ＩＣＡ法に基づくＢＳＳ方式の音源分離処理によれば，分離信号各々は，混合音響信号の入力数（＝マイクロホンの数）と同じ数の出力端各々を通じて出力される。
また，特許文献１には，複数の混合音響信号それぞれについて複数の周波数帯域でサブバンド分析を行い，そのサブバンド分析後の信号に基づいて周波数帯域ごとにＩＣＡ法に基づくＢＳＳ方式の音源分離処理を実行し，それによって生成される分離信号を統合する装置について示されている。
【特許文献１】特開２００３−２７１１６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら，ＩＣＡ法に基づくＢＳＳ方式の音源分離処理においては，音源信号の周波数帯域に応じて，音源分離に適したマイクロホン相互の間隔（距離）が異なるため，一部の周波数帯域について十分な音源分離性能が得られない場合があるという問題点があった。即ち，音源信号における特定の周波数帯域に対し，マイクロホン相互の間隔が大き過ぎる（広すぎる）と，分離行列の最適化においていくつかの不感領域が生じてしまい音源分離性能が悪化する。また，音源信号における特定の周波数帯域に対し，マイクロホン相互の間隔が小さ過ぎる（狭すぎる）と，音源信号の各マイクロホンにおける音圧差が十分に得られずに音源分離性能が悪化する。
一方，特許文献１に示される技術では，サブバンド分析のために時間領域の混合音響信号に離散フーリエ変換を施し，さらにサブバンド分析後の信号を時間領域の信号に変換（逆フーリエ変換）し，さらにサブバンド統合を行うために音源分離処理後の信号に離散フーリエ変換を施し，最終的に音響出力を行うために再び時間領域の信号に変換（逆フーリエ変換）を行う。このような処理を実行すると，離散フーリエ変換及び逆フーリエ変換を行うごとに信号遅延が発生し，処理全体として信号の遅延時間が大き過ぎて実用上支障が生じるという問題点があった。さらに，時間領域の混合音響信号についてＩＣＡ法に基づくＢＳＳ方式の音源分離処理を行う演算負荷は大きく，その処理を電話機等に搭載可能な実用的なプロセッサ（比較的処理能力の低いプロセッサ）で実行すると，やはりリアルタイムでの音源分離処理が難しいという問題点もあった。
従って，本発明は上記事情に鑑みてなされたものであり，その目的とするところは，ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり，比較的小さな演算負荷により，信号の遅延時間が短く，広範囲の周波数帯域に渡って高い音源分離性能が得られる音源分離装置，音源分離プログラム及び音源分離方法を提供することにある。
【課題を解決するための手段】
【０００４】
上記目的を達成するために本発明に係る音源分離装置は，３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成する装置であり，次の（１−１）〜（１−５）に示す各構成要素を備えるものである。
（１−１）時間領域における複数の前記混合音響信号を周波数領域における複数の混合音響信号へ変換する離散フーリエ変換手段。
（１−２）前記周波数領域における複数の混合音響信号から，それが入力される前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分を抽出する帯域抽出手段。
（１−３）前記複数組の信号の組合せごとに，前記帯域抽出手段による抽出信号に基づいて周波数領域における独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行することによって前記音源の個別の出力音響に対応する第１の分離信号を分離生成するＦＤＩＣＡ音源分離手段。
（１−４）前記ＦＤＩＣＡ音源分離手段により分離生成された前記第１の分離信号をその周波数帯域が異なるものどうし統合することにより，前記音源の個別の出力音響に対応する第２の分離信号を生成する信号統合手段。
（１−５）前記信号統合手段により生成された前記第２の分離信号を時間領域の信号へ変換する逆フーリエ変換手段。
なお，前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域は，より具体的には，入力元となる前記マイクロホン相互の間隔が相対的に大きい（広い）前記混合音響信号の組について相対的に低い周波数帯域が予め設定され，入力元となる前記マイクロホン相互の間隔が相対的に小さい（狭い）前記混合音響信号の組について相対的に高い周波数帯域が予め設定される。
【０００５】
本発明に係る音源分離装置においては，時間領域の混合音声信号が，周波数領域の混合音響信号に変換（離散フーリエ変換）され，その周波数領域の混合音声信号に基づいて，周波数領域における独立成分分析法に基づくブラインド音源分離方式（以下，ＦＤＩＣＡ方式という）の音源分離処理が実行される。このＦＤＩＣＡ方式の音源分離処理は，複数の狭帯域における瞬時混合問題を解く処理となり，時間領域における音源分離処理に比べ，比較的低い処理負荷（演算負荷）で分離フィルタ（分離行列）の学習計算を行うことができる。
また，本発明に係る音源分離装置においては，混合音声信号の入力元となるマイクロホン相互の間隔と，その混合音声信号からの抽出信号（即ち，音源分離処理の対象となる信号）の周波数帯域とが音源分離に適した関係となるように，周波数帯域ごとに個別にＦＤＩＣＡ方式の音源分離処理が行われ，それにより得られた分離信号（前記第１の分離信号）が統合されて最終的な分離信号が生成される。その結果，広範囲の周波数帯域に渡って高い音源分離性能が得られる。
さらに，離散フーリエ変換処理の対象となる信号の単位である１フレーム分の混合音響信号が入力されるごとに，離散フーリエ変換処理及び逆フーリエ変換処理を１回行うだけで１フレーム分の分離信号（前記第２の分離信号）を生成できるため，信号の遅延時間を最小限に抑えることができる。
【０００６】
また，本発明は，以上に示した本発明に係る音源分離装置が行う処理をコンピュータに実行させるための音源分離プログラム，又は同処理をコンピュータによって実行する音源分離方法として捉えることもできる。
即ち，本発明に係る音源分離プログラムは，３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成する処理をコンピュータに実行させるためのプログラムであり，コンピュータに次の（２−１）〜（２−５）に示す各工程を実行させるためのプログラムである。
（２−１）時間領域における複数の前記混合音響信号を周波数領域における複数の混合音響信号へ変換して変換後の信号を記憶手段に記憶させる離散フーリエ変換工程。
（２−２）前記周波数領域における複数の混合音響信号から，それが入力される前記マイクロホン相互の間隔に応じて予め設定された複数組の信号の組合せごとに異なる周波数帯域の信号成分を抽出して抽出信号を記憶手段に記憶させる帯域抽出工程。
（２−３）前記複数組の信号の組合せごとに，前記帯域抽出工程による抽出信号に基づいて周波数領域における独立成分分析法に基づくブラインド音源分離方式の音源分離処理を実行することによって前記音源の個別の出力音響に対応する第１の分離信号を分離生成し，該第１の分離信号を記憶手段に記憶させるＦＤＩＣＡ音源分離工程。
（２−４）前記ＦＤＩＣＡ音源分離工程により分離生成された前記第１の分離信号をその周波数帯域が異なるものどうし統合することにより，前記音源の個別の出力音響に対応する第２の分離信号を生成し，該第２の分離信号を記憶手段に記憶させる信号統合工程。
（２−５）前記信号統合工程により生成された前記第２の分離信号を時間領域の信号へ変換する逆フーリエ変換工程。
同様に，本発明に係る音源分離方法は，３つ以上のマイクロホンそれぞれを通じて入力されそれぞれ複数の音源信号が重畳された３つ以上の混合音響信号に基づいて，前記音源の個別の出力音響に対応する分離信号を分離生成するにあたり，コンピュータにより，前記（２−１）〜（２−５）に示す各工程を実行する方法である。
本発明に係る音源分離プログラム及び音源分離方法によっても，前述した本発明に係る音源分離装置と同様の作用効果が得られる。
【発明の効果】
【０００７】
本発明によれば，ＩＣＡ法に基づくＢＳＳ方式による音源分離処理を行うに当たり，比較的小さな演算負荷により，信号の遅延時間が短く，広範囲の周波数帯域に渡って高い音源分離性能が得られる音源分離処理を実行することができる。
【発明を実施するための最良の形態】
【０００８】
以下添付図面を参照しながら，本発明の実施の形態について説明し，本発明の理解に供する。尚，以下の実施の形態は，本発明を具体化した一例であって，本発明の技術的範囲を限定する性格のものではない。
ここに，図１は本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図である。
【０００９】
以下，図１に示すブロック図を参照しつつ，本発明の実施形態に係る音源分離装置Ｘについて説明する。
音源分離装置Ｘは，３つ以上（図１に示す例は３つ）のマイクロホン１，２ａ，２ｂを備え，そのマイクロホン１，２ａ，２ｂそれぞれを通じて逐次入力される３つ以上（図１に示す例は３つ）の混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)に基づいて，音源の個別の出力音響の信号（以下，音源信号という）を同定した分離信号（即ち，音源信号に対応した同定信号）ｙ1T (ｔ)，ｙ2T (ｔ)を逐次分離生成し，その分離信号ｙ1T (ｔ)，ｙ2T (ｔ)をスピーカに対してリアルタイム出力するものである。各マイクロホン１，２ａ，２ｂは，複数の音源（ノイズ音源を含む）が存在する音響空間にそれぞれ所定の間隔ｄ１，ｄ２を隔てて配置され，前記混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)は，それぞれ複数の音源信号が重畳された音響信号である。
前記マイクロホンは，相互の間隔が相対的に狭い（＝ｄ１）マイクロホン１及び２ａの組合せと，相互の間隔が相対的に広い（＝ｄ２）マイクロホン１及び２ｂの組合せとがそれぞれセットになっており，その間隔ｄ１，ｄ２は，分離対象とする音源信号の周波数帯域に応じて設定されている。
例えば，分離対象とする音源信号の周波数帯域が数ｋＨｚ程度の帯域から２０ｋＨｚ程度の帯域までの範囲に渡る場合，８ｋＨｚ以下の帯域（音声の帯域）に対応するマイク間隔ｄ２を，その帯域の最大周波数（８ｋＨｚ）の音響信号の波長（４２．５ｍｍ）の二分の一以下（例えば，２０ｍｍ程度）とし，２０ｋＨｚまでの帯域に対応するマイク間隔ｄ１を，その帯域の最大周波数（２０ｋＨｚ）の音響信号の波長（１７．０ｍｍ）の二分の一以下（例えば，８ｍｍ程度）とする。
なお，図１には，入力される混合音響信号の数（即ち，マイクロホンの数）が３つであり，マイク間隔に応じた混合音響信号の組合せは，１つの混合音響信号ｘ1(ｔ)を共用しつつ，２つの混合音響信号の組合せ（即ち，２つのマイクロホンの組合せ）が２組設けられた例を示しているがこれには限らない。
例えば，図１に示すマイクロホンの構成に加え，さらに，マイクロホン２ａに対して間隔ｄ１だけ隔てて配置されたマイクロホン３ａ（不図示）と，マイクロホン２ｂに対して間隔ｄ２だけ隔てて配置されたマイクロホン３ｂ（不図示）とが設けられることにより，２つの混合音響信号の組合せが２組設けられた構成も考えられる。この場合，マイクロホン１，２ａ，３ａそれぞれを通じて入力される３つの混合音声信号が１つの組合せを構成し，マイクロホン１，２ｂ，３ｂそれぞれを通じて入力される３つの混合音声信号が１つの組合せを構成する。また，複数組の組合せそれぞれに同じ混合音響信号（図１における混合音響信号ｘ1(ｔ)に相当）が重複して含まれないような構成も考えられる。いずれの場合においても，組合せ（セット）ごとに，（混合音響信号の数ｎ）≧（分離したい音源信号の数ｍ）とする。
【００１０】
図１に示すように，音源分離装置Ｘは，３つ以上のマイクロホン（１，２ａ，２ｂ）に加え，さらに，Ａ／Ｄコンバータ１１〜１３，デジタル信号処理装置Ｙ及びＤ／Ａコンバータ（７１，７２）を備えている。
また，前記デジタル信号処理装置Ｙは，ＦＦＴ処理部２１〜２３，ハイパスフィルタ処理部３１，ローパスフィルタ処理部３２，ＦＤＩＣＡ音源分離処理部（４Ｈ，４Ｌ），信号統合処理部（５１，５２）及びＩＦＦＴ処理部（６１，６２）を備えている。ここで，前記デジタル信号処理装置Ｙは，ＤＳＰ（Digital Signal Processor）やＡＳＩＣ等のデジタル処理回路（素子）や計算機であり，演算用のプロセッサ及びそのプロセッサにより実行されるプログラムが記憶されたＲＯＭ等の記憶手段，並びにＲＡＭ等のその他の周辺装置を備えて構成されている。そして，前記デジタル信号処理装置Ｙが備える各構成要素｛ＦＦＴ処理部２１〜２３，ハイパスフィルタ処理部３１，ローパスフィルタ処理部３２，ＦＤＩＣＡ音源分離処理部（４Ｈ，４Ｌ），信号統合処理部（５１，５２）及びＩＦＦＴ処理部（６１，６２）｝は，それぞれの処理に対応したプログラムを実行するプロセッサ（前記デジタル信号処理装置Ｙが備えるプロセッサ（コンピュータ））によって具現されている。なお，本発明は，前記デジタル信号処理装置Ｙが備える各構成要素が行う処理（後述）をコンピュータに実行させるためのプログラム（音源分離プログラム）として具現されることも考えられる。
図１において，各構成要素を結ぶ矢印線は，信号の伝送経路及び伝送方向を表し，その矢印線により表される手順（流れ）に従って，所定単位の信号（１フレーム分の信号）に対する各構成要素の処理が実行される。即ち，図１は，音源分離装置Ｘが実行する処理の手順を表すフロー図でもある。
【００１１】
前記Ａ／Ｄコンバータ１１〜１３は，マイクロホン１，２ａ，２ｂにより得られる複数（３つ以上）の混合音響信号（アナログ信号）それぞれを所定のサンプリング周期でサンプリングすることにより，デジタルの混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)に変換するすものである。なお，デジタル変換後の混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)は，不図示のメモリに一時記憶される。
前記ＦＦＴ処理部２１〜２３は，マイクロホン１，２ａ，２ｂを通じて逐次入力される時間領域における前記混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)それぞれを，所定の周期ごとに区分された単位であるフレーム毎に短時間離散フーリエ変換処理（Short Time Discrete Fourier Transform）の実行によって周波数領域における複数（３つ以上）の混合音響信号ｘ1(ｆ)，ｘ2a(ｆ)，ｘ2b(ｆ)へ変換するものである（前記離散フーリエ変換手段の一例）。なお，変換後の混合音響信号ｘ1(ｆ)，ｘ2a(ｆ)，ｘ2b(ｆ)は，不図示のメモリに一時記憶される。
【００１２】
前記ハイパスフィルタ処理部３１は，周波数領域における混合音響信号ｘ1(ｆ)，ｘ2a(ｆ)から予め定められた第１の周波数帯域（例えば，８ｋＨｚよりも高い周波数帯域）の信号成分を抽出するハイパスフィルタ処理を実行し，処理後の信号ｘ1H(ｆ)，ｘ２H(ｆ)を不図示のメモリに一時記憶させるものである。
また，前記ローパスフィルタ処理部３２は，周波数領域における混合音響信号ｘ1(ｆ)，ｘ2b(ｆ)から予め定められた第２の周波数帯域（例えば，８ｋＨｚ以下の周波数帯域（即ち，前記第１の周波数帯域よりも低い周波数帯域））の信号成分を抽出するローパスフィルタ処理を実行し，処理後の信号ｘ1L(ｆ)，ｘ２L(ｆ)を不図示のメモリに一時記憶させるものである。
このように，前記ハイパスフィルタ処理部３１及び前記ローパスフィルタ処理部３２は，周波数領域における複数の混合音響信号ｘ1(ｆ)，ｘ2a(ｆ)，ｘ2b(ｆ)から，それが入力されるマイクロホン相互の間隔ｄ１，ｄ２に応じて予め設定された複数組の信号の組合せ（ｘ1(ｆ)とｘ2a(ｆ)との組合せ，及びｘ1(ｆ)とｘ2b(ｆ)との組合せ）ごとに異なる周波数帯域の信号成分を抽出する（前記帯域抽出手段の一例）。
【００１３】
前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌは，前記複数組の信号の組合せ（抽出信号ｘ1H(ｆ)及びｘ2H(ｆ)の組合せ，及び抽出信号ｘ1L(ｆ)及びｘ2L(ｆ)の組合せ）ごとに，前記ハイパスフィルタ処理部３１及び前記ローパスフィルタ処理部３２それぞれによる抽出信号に基づいて，周波数領域における独立成分分析法（ＩＣＡ法）に基づくブラインド音源分離方式（ＢＳＳ方式）の音源分離処理（以下，ＦＤＩＣＡ音源分離処理という）を実行することにより，音源個別の出力音響に対応する分離信号（以下，第１の分離信号という）を分離生成するものである（前記ＦＤＩＣＡ音源分離手段の一例）。前記第１の分離信号は，不図示のメモリに一時記憶される。
ここで，一方のＦＤＩＣＡ音源分離処理部４Ｈは，高帯域側の抽出信号ｘ1H(ｆ)，ｘ2H(ｆ)に基づいて，高帯域側の第１の分離信号ｙ1H(ｆ)，ｙ2H(ｆ)を分離生成する。また，他方のＦＤＩＣＡ音源分離処理部４Ｌは，低帯域側の抽出信号ｘ1L(ｆ)，ｘ2L(ｆ)に基づいて，低帯域側の第１の分離信号ｙ1L(ｆ)，ｙ2L(ｆ)を分離生成する。これらＦＤＩＣＡ音源分離処理部４Ｈ及び４Ｌは，それぞれ入力される信号の内容（周波数帯域）が異なるだけで，同じ処理をそれぞれ独立して実行するものである。
前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌは，それぞれ分離演算処理部４１及び学習演算部４２を備えている。
前記分離演算処理部４１は，フィルタ処理後の抽出信号（ｘ1H(ｆ)及びｘ2H(ｆ)，又はｘ1L(ｆ)及びｘ2L(ｆ)）に対し，分離行列Ｗ(ｆ)を用いた行列演算を施すことにより，各音源の一部の周波数帯域（前記ハイパスフィルタ処理部３１及び前記ローパスフィルタ処理部３２のいずれか一方の抽出周波数範囲）の信号成分に対応する前記第１の分離信号（ｙ1H(ｆ)及びｙ2H(ｆ)，又はｙ1L(ｆ)及びｙ2L(ｆ)）を逐次生成し，その第１の分離信号を不図示のメモリに一時記憶させる。
また，前記学習演算部４２は，予め定められた時間長分（１フレーム分）の前記抽出信号（ｘ1H(ｆ)及びｘ2H(ｆ)，又はｘ1L(ｆ)及びｘ2L(ｆ)）と，前記分離演算処理部４１により分離生成された前記第１の分離信号（ｙ1H(ｆ)及びｙ2H(ｆ)，又はｙ1L(ｆ)及びｙ2L(ｆ)）とに基づいて，前記分離演算処理部４１で用いられる前記分離行列Ｗ(ｆ)の学習計算及び更新を行うものである。
なお，前記抽出信号（ｘ1H(ｆ)，ｘ2H(ｆ)，ｘ1L(ｆ)，ｘ2L(ｆ)）は，所定周期でサンプリングされたデジタル信号であるので，その時間長を規定することは信号のサンプル数を規定することと同義である。
【００１４】
以下，前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌが実行する処理の内容について説明する。前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌは，それぞれＩＣＡ−ＢＳＳ方式の一種であるＦＤＩＣＡ方式（Frequency-Domain ICA）に基づく音源分離処理を行うものである。以下，ｆは周波数ビンを，ｍは分析フレーム番号をそれぞれ表す。
ＦＤＩＣＡ方式の音源分離処理では，離散フーリエ変換後の信号である入力信号Ｘ(ｆ，ｍ)について，前記分離演算処理部４１により分離行列Ｗ(ｆ)に基づく行列演算処理を施すことによって分離信号の分離生成（音源分離）を行う。ここで分離信号Ｙ(ｆ，ｍ)は，次の（１）式のように表すことができる。
【数１】
2008278406.tif 000003
ここで，分離行列Ｗ(ｆ)の更新式は，例えば次の（２）式のように表すことができる。
【数２】
2008278406.tif 000004
なお，（１）式における入力信号Ｘ(ｆ，ｍ)は，前記ＦＤＩＣＡ音源分離処理部４Ｈにおいては，前記抽出信号ｘ1H(ｆ)及びｘ2H(ｆ)それぞれにおけるｍ番目フレームの周波数ビンｆの信号成分を表し，前記ＦＤＩＣＡ音源分離処理部４Ｌにおいては，前記抽出信号ｘ1L(ｆ)及びｘ2L(ｆ)それぞれにおけるｍ番目フレームの周波数ビンｆの信号成分を表す。また，（１）式における分離信号Ｙ(ｆ，ｍ)は，前記ＦＤＩＣＡ音源分離処理部４Ｈにおいては，前記第１の分離信号ｙ1H(ｆ)及びｙ2H(ｆ)それぞれにおけるｍ番目フレームの周波数ビンｆの信号成分を表し，前記ＦＤＩＣＡ音源分離処理部４Ｌにおいては，前記第１の分離信号ｙ1L(ｆ)及びｙ2L(ｆ)それぞれにおけるｍ番目フレームの周波数ビンｆの信号成分を表す。
このＦＤＩＣＡ方式の音源分離処理は，各狭帯域における瞬時混合問題として取り扱われ，比較的低い演算負荷で，安定的に分離行列Ｗ(ｆ)の学習計算を実行できる。
また，音源分離装置Ｘにおいては，前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌそれぞれにより，複数に区分された周波数帯域（例えば，８ｋＨｚ以下の帯域及びその他の帯域）ごとに独立してＦＤＩＣＡ方式の音源分離処理が実行されるので，前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌそれぞれにおける周波数ビンｆの区分数が少なくなり，全周波数帯域について一括してＦＤＩＣＡ音源分離処理を実行する場合に比べ，より低い演算負荷で分離行列Ｗ(ｆ)の学習計算を実行できる。
【００１５】
前記信号統合処理部５１，５２は，それぞれ前記ＦＤＩＣＡ音源分離処理部４Ｈ，４Ｌによって分離生成された前記第１の分離信号を，その周波数帯域が異なるものどうし統合する（即ち，ｙ1H(ｆ)とｙ1L(ｆ)とを統合し，ｙ2H(ｆ)とｙ2L(ｆ)とを統合する）ことにより，音源の個別の出力音響に対応する分離信号（以下，第２の分離信号ｙ1T(ｆ)，ｙ2T(ｆ)という）を生成するミキサである（前記信号統合手段の一例）。なお，生成された第２の分離信号ｙ1T(ｆ)，ｙ2T(ｆ)は，不図示のメモリに一時記憶される。
また，前記ＩＦＦＴ処理部６１，６２は，それぞれ前記信号統合処理部５１，５２によって生成された周波数領域の信号である前記第２の分離信号ｙ1T(ｆ)，ｙ2T(ｆ)を，時間領域の分離信号ｙ1T(ｔ)，ｙ2T(ｔ)へ変換する逆フーリエ変換処理を実行するものである（前記逆フーリエ変換手段の一例）。なお，変換後の分離信号ｙ1T(ｔ)，ｙ2T(ｔ)は，不図示のメモリに一時記憶される。
これらＩＦＦＴ処理部６１，６２それぞれから出力される分離信号ｙ1T(ｔ)，ｙ2T(ｔ)は，前記Ｄ／Ａコンバータ７１，７２それぞれによってアナログ信号に変換された後にスピーカに伝送される。
【００１６】
以上に示した音源分離装置Ｘにおいては，混合音声信号の入力元となるマイクロホン相互の間隔ｄ１，ｄ２と，その混合音声信号からの抽出信号（ｘ1H(ｆ)とｘ2H(ｆ)との組合せ，及びｘ1L(ｆ)とｘ2L(ｆ)との組合せ）の周波数帯域とが音源分離に適した関係となるように，周波数帯域ごとに個別にＦＤＩＣＡ方式の音源分離処理が行われ，それにより得られた前記第１の分離信号（ｙ1H(ｆ)とｙ1L(ｆ)との組合せ，及びｙ2H(ｆ)とｙ2L(ｆ)との組合せ）が統合されて最終的な分離信号が生成される。その結果，広範囲の周波数帯域に渡って高い音源分離性能が得られる。
また，音源分離装置Ｘにおいては，離散フーリエ変換処理の対象となる信号の単位である１フレーム分の混合音響信号ｘ1(ｔ)，ｘ2a(ｔ)，ｘ2b(ｔ)が入力されるごとに，離散フーリエ変換処理及び逆フーリエ変換処理を１回行うだけで１フレーム分の前記第２の分離信号ｙ1T(ｔ)，ｙ2T(ｔ)を生成できるため，信号の遅延時間を最小限に抑えることができる。
【産業上の利用可能性】
【００１７】
本発明は，音源分離装置への利用が可能である。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図。
【符号の説明】
【００１９】
Ｘ  ：本発明の実施形態に係る音源分離装置
１  ，２ａ，２ｂ：マイクロホン
１１，１２，１３：Ａ／Ｄコンバータ
２１，２２，２３：ＦＦＴ処理部
３１：ハイパスフィルタ処理部
３２：ローパスフィルタ処理部
４Ｈ，４Ｌ：ＦＤＩＣＡ音源分離処理部
４１：分離演算処理部
４２：学習演算部
５１，５２：信号統合処理部
６１，６２：ＩＦＦＴ処理部
７１，７２：Ｄ／Ａコンバータ
【図１】
2008278406.tif 000005