(57)【要約】本発明は、特定数の方向について、音場のマイクロホンアレイ録音から得られた球面調和分解係数から計算したステアード応答関数の辞書ベース表示の空間的重み付けにより、音源の音の到来方向の推定及び音源分離を可能にする方法に関するものである。平面波の空間帯域制限関数を用いて音場のより複雑な方向マップを表現することが、本発明のアルゴリズムを構成する。これらの関数は（球面のような）分析面上で所定方向について計算する。音源の音の到来方向を同じ方法で計算して、音源の推定値をグループ化して音源を定位する。これにより、マイクロホンアレイを用いて捕捉した音源の録音から到来方向を得ることができ、これに続いて、この方向情報または所定音源の音の到来方向を用いることによって音源を分離することができる。
2022500710.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによって実行され、１つ以上の音源の混合体からの音の到来方向の推定、及び音源の分離を可能にする方法であって、
複数のマイクロホンまたはセンサ、及び／または音場からの１つ以上のデジタル音響信号データの球面調和分解を、インタフェースからの入力として得るステップと、
前記入力が前記複数のマイクロホンまたはセンサからの音響信号データである場合に、前記音響信号データの球面調和分解を実行して、球面調和分解係数の時間−周波数表現を提供するステップと、
前記入力が球面調和分解係数である場合に、該球面調和分解係数の時間−周波数表現を提供するステップと、
所望方向における所望の選択性を有する空間フィルタを形成するステップと、
前記空間フィルタを用いることによって、前記空間調和分解係数からビームを形成するステップと、
前記ビームを所定数の方向へ指向させることによって、前記音場の振幅の方向マップを得るステップと、
非直交テンプレート・ベクトル及び／または非直交行列の冗長列を用いることによって、前記得られた方向マップを有限個の方向要素の組合せとして示すステップと、
前記非直交テンプレート・ベクトル及び／または前記非直交行列が前記時間−周波数表現中に用いられる使用頻度の分布を得るステップと、
前記使用頻度の分布から前記音の到来方向を計算するステップと、
前記時間−周波数表現に、前記計算した音の到来方向に応じた重み付けをするステップと、
前記重み付けした時間−周波数表現からの時間−周波数変換を得るステップと、
時間−周波数逆変換を実行することによって、分離された音源を特定して、該分離された音源を得るステップと
を含む方法。
【請求項２】
コンピュータによって実行され、２つ以上の音源の混合体からの音源の分離を可能にする方法であって、
複数のマイクロホンまたはセンサ、及び／または音場からの１つ以上のデジタル音響信号データを、インタフェースからの入力として得るステップと、
前記入力が前記複数のマイクロホンまたはセンサからの音響信号データである場合に、前記音響信号データの球面調和分解を実行して、球面調和分解係数の時間−周波数表現を提供するステップと、
前記入力が球面調和分解係数である場合に、該球面調和分解係数の時間−周波数表現を提供するステップと、
所望方向における所望の選択性を有する空間フィルタを形成するステップと、
前記空間フィルタを用いることによって、前記空間調和分解係数からビームを形成するステップと、
前記ビームを所定数の方向へ指向させることによって、前記音場の振幅の方向マップを得るステップと、
非直交テンプレート・ベクトル及び／または非直交行列の冗長列を用いることによって、前記得られた方向マップを有限個の方向要素の組合せとして示すステップと、
方向に依存する関数を用いて、前記時間−周波数表現に重み付けをするステップと、
前記重み付けした時間−周波数表現からの時間−周波数変換を得るステップと、
時間−周波数逆変換を実行することによって、分離された音源を特定して、該分離された音源を得るステップと
を含む方法。
【請求項３】
コンピュータによって実行され、１つ以上の音源の音の到来方向の推定を可能にする方法であって、
複数のマイクロホンまたはセンサ、及び／または音場からの１つ以上のデジタル音響信号データの球面調和分解を、インタフェースからの入力として得るステップと、
前記入力が前記複数のマイクロホンまたはセンサからの音響信号データである場合に、前記音響信号データの球面調和分解を実行して、球面調和分解係数の時間−周波数表現を提供するステップと、
前記入力が球面調和分解係数である場合に、該球面調和分解係数の時間−周波数表現を提供するステップと、
所望方向における所望の選択性を有する空間フィルタを形成するステップと、
前記空間フィルタを用いることによって、前記空間調和分解係数からビームを形成するステップと、
前記ビームを所定数の方向へ指向させることによって、前記音場の振幅の方向マップを得るステップと、
非直交テンプレート・ベクトル及び／または非直交行列の冗長列を用いることによって、前記得られた方向マップを有限個の方向要素の組合せとして示すステップと、
前記非直交テンプレート・ベクトル及び／または前記非直交行列が前記時間−周波数表現中に用いられる使用頻度の分布を得るステップと、
前記使用頻度の分布から前記音の到来方向を計算するステップと
を含む方法。
【請求項４】
前記重み付けに用いる値を、単一の全域的最大値を有する方向関数から例示することを特徴とする、請求項１または２に記載の方法。
【請求項５】
前記重み付けに用いる値を、前記計算した音の到来方向に応じて適応させることを特徴とする、請求項１、２、４のいずれかに記載の方法。
【請求項６】
前記非直交テンプレート・ベクトル及び／または前記非直交行列の前記冗長列が、帯域制限関数で形成されることを特徴とする、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記非直交テンプレート・ベクトル及び／または前記非直交行列の前記冗長列が、方向定位関数から例示される、請求項１〜６のいずれかに記載の方法。
【請求項８】
前記非直交テンプレート・ベクトル及び／または前記非直交行列の前記冗長列が、実数値関数から例示される、請求項１〜７のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明は、音源の音の到来方向の推定及び音源分離を可能にする方法に関するものであり、この方法は、特定数の方向について球面調和分解係数から計算したステアード（指向）応答関数の辞書ベース表現の空間的重み付けによるものであり、これらの球面調和分解係数は、音場のマイクロホンアレイ録音から、あるいは他の手段を用いることによって、のいずれかで得られる。
【背景技術】
【０００２】
従来技術
複数のマイクロホンから成るマイクロホンアレイを用いて、音響源を録音して、音場の空間的特徴が抽出される。単一のマイクロホンを用いる代わりに複数のマイクロホンを用いることの基本的利点は、音源の音の到来方向を推定する能力、及び音場をフィルタ処理して音場の空間分析を実行する能力にある。時間−周波数領域内でオーバーラップ（重複）する複数の音響信号の到来方向の推定及び分離は、リアルタイムの動作に悪影響を与える重大な技術的困難性を含む。さらに、利用可能な方法は、高レベルの反響音を有する閉鎖環境では良好に機能しない。機械学習を用いる既存の方法の一部では、速度及び異なるマイクロホンアレイへの適応といった問題が生じる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上述した欠点、及び既存の解決策が上記の問題を解決するには不十分であることにより、関係する技術分野において進展がなされることが必要であると考えられてきた。
【課題を解決するための手段】
【０００４】
発明の目的
複数の音源が動作する環境内でマイクロホンを用いて録音された音響信号を、これらの音源の混合音と称する。本発明の主目的は、音源の混合音からの音源の分離を可能にすることにあり、この分離は、有限個の方向について、球面調和分解係数を用いて計算したステアード応答関数の辞書ベース表現の空間的重み付けにより、これらの球面調和分解係数は、音場のマイクロホンアレイ録音から、あるいは他の方法を用いる（例えば、合成する）ことによって、のいずれかで得られる。辞書中に存在し、上記辞書ベース表現において用いられるテンプレート・ベクトルを原子（アトム）と称する。本発明中に開示するアルゴリズムは、平面波を表現する空間的な帯域制限関数の有限個の点で取得したサンプルをその要素として含む（即ち、線形代数的な意味での）ベクトルの使用に基づく。これらの関数は、（球面のような）分析面上の所定位置において計算する。
【０００５】
ステアード応答関数を用いて得られる方向マップを十分良好に表現することができる原子、及びこれらの原子の振幅を決定する。音源の音の到来方向も、同じ方法を用いて、隣接関係を用いて音源候補をグループ化することによって計算される。このようにして、到来方向は、マイクロホンアレイを用いて捕捉した音源の録音から得ることができる。その後に、方向情報及び／または所定音源の音の到来方向を用いて、音源を分離する。
【０００６】
音源分離に用いられる最も基本的な方法の１つを最大指向係数ビーム形成と称する。最大指向係数ビーム形成と比べると、ＳＩＲ（Signal to Interference Ratio：信号対干渉雑音（混信）比）、ＳＤＲ（Signal to Distortion Ratio：信号対歪み比）、及びＳＡＲ（Signal to Artifacts Ratio：信号対アーティファクト比）の８〜１０dBの範囲内の改善が、大きい残響時間を有する音響環境内で開示する方法を用いて得られる。
【０００７】
構造的及び特性的な特徴、及びその利点の全部を、以下の詳細な説明を用いて、添付した図面を参照しながら説明する。
【図面の簡単な説明】
【０００８】
【図１】音源の定位及び分離の流れ図である。
【図２】分離方法の流れ図である。
【図３】定位方法の流れ図である。
【図４】単一の時間−周波数ビンから得ることができるステアード応答関数を用いて得られる方向マップを示す図である。
【図５】応答関数を表現するに当たり用いることができるいくつかの辞書要素を示す図である。
【図６】ヒストグラム中のピークの（異なる原子を分類する方法に関係する）隣接関係を示す図である。
【図７】フォン・ミーゼス関数の異なるｋ値について得られる方向応答性、及び最大指向性（最大ＤＦ）の方向応答性を示す図である。
【発明を実施するための形態】
【０００９】
これらの図面は必ずしも原寸に比例しておらず、本発明の明確な理解にとって重要でない細部は省略していることがある。このこととは別に、少なくとも実質的に同一の要素、あるいは少なくとも実質的に同じ機能を有する要素は、同じ参照番号を用いて示している。
【００１０】
発明の詳細な説明
この詳細な説明では、本発明の好適な実施形態を説明し、これらの実施形態は、限定的効果を何ら有さず、主題をさらに説明するために提供する。
【００１１】
本発明は、音源の定位及び分離のための２つの異なるアルゴリズムを含む。これらのアルゴリズムは、一緒に用いることも互いに独立して用いることもできる。開示する発明の流れを示すブロック図を図１に示す。
【００１２】
図２に、音源分離方法のブロック図を示す。入力は音源位置及びマイクロホンアレイ録音であり、出力は分離された音声（サウンド）ファイルである。このアルゴリズムの異なるステップの細部は以下に挙げる。
【００１３】
Ａ．球面調和分解係数の計算：マイクロホンアレイ録音、及びこうしたアレイが含むマイクロホンの位置を用いて、調和級数を計算することができる。調和級数を用いて、マイクロホンアレイの周りの音場を、球関数または円柱関数の周期関数を用いて定義する。開示する方法は、この音場の球面調和分解を直接用いることもできる。こうした入力が存在する場合、このステップを実行する必要がない。
【００１４】
Ｂ．時間−周波数変換：処理すべき球面調和係数級数の各々を、時間−周波数領域内で適切な可逆表現により表現する。さらなるステップにおける手順は、時間−周波数ビン毎に別個に実行する。ステップＡにおける手順は線形であるので、これらの手順は逆の順序で実行することもできる。
【００１５】
Ｃ．ビーム形成：次のステップで使用する信号を、時間−周波数ビン毎に、球面調和係数を得た原点から放射状に外向きの有限個の方向に、最大の指向係数のビームを指向させることによって計算する。このことは、球面調和分解係数に適切な重み付けをすることによって実現される。このアルゴリズムが用いるパラメータは、ビームを指向させる方向の数である。
【００１６】
Ｄ．決定した方向における辞書原子の生成：平面波については、最大の指向性を有するビームの方向応答を、以下に述べるように閉形式の関数として理論的に記述することができる。このステップでは、ステアード・ビーム形成関数の表現中に用いる原子が、この関数を球面（または他の分析面）上で有限個の方向においてサンプリングすることによって得られる。このプロセスは、方法を加速させるためにオフラインで実行することができるだけでなく、以前の分析の結果として得られた音源方向に基づいて、実行時にビン毎に別個に適用することもできる。
【００１７】
Ｅ．表現：このステップは、最小数の原子を用いた特定基準による経済的な方法での、上記ビーム形成結果の表現の計算を含む。上述した辞書原子をこのステップで用いる。このステップの結果は、前に計算した指定方向の原子の線形和として音場を表現することによる、分析される時間−周波数ビン内のこれらの原子毎の複素数値または実数値の係数の計算である。
【００１８】
Ｆ．ステップＤで決定した辞書原子を、所定の音源方向を用いて空間フィルタで処理する。このプロセスについては、方向が既知である原子毎に計算した係数に、分離すべき方向を強調する方向性ゲインを乗算する。ここでは、閉形式で定義した重み関数を用いて、この方向性ゲインを計算することができる。方向性の重み付けを適応的に実行することもできる。方向性の重み付けをしたビーム形式は、上記の重み付けした係数、及び時間−周波数ビン毎の対応する原子を用いて得ることができる。
【００１９】
Ｇ．再構成：分離した音源を時間領域内で再構成し、この再構成は、前のステップで得られた新たな時間−周波数表現を反転させることによって行う。
【００２０】
図３に、上記の測位方法のブロック図を示す。上述したＡ、Ｂ、Ｃ、Ｄ、Ｅのステップは上記２つのアルゴリズムに共通であり、以下に記述する追加的なステップは音源方向推定のみに用いる。
【００２１】
Ｈ．選択した原子に基づく方向ヒストグラムの形成：特定の時間範囲におけるステアード・ビーム形式を表現するために用いる原子の統計的分布を、ヒストグラムまたは他の方法で形成する。ヒストグラムを用いる場合、ビンの数は辞書内の原子の数と同じになるように選択する。
【００２２】
Ｉ．クラスタリング（分類）：前のステップの結果として得られる分布のピーク点を計算する。到来方向は、これらのピークに対応する原子間の隣接関係を用いることによって推定することができる。
【００２３】
上記で概略的に表現した定義は、以下に記述する好適なパラメータによる解決策の実施形態として用いている。音場の球面調和分解は、剛体球マイクロホンアレイで行った録音から得られる。短時間フーリエ変換を時間−周波数変換として用いる。詳細は以下に挙げるルジャンドル（Legendre）インパルス関数を球面上でサンプリングして、辞書原子を生成する。直交マッチング追跡アルゴリズムを表現段階で使用し、最大指向係数ビーム形成を用いてステアード・ビームを計算する。球面上で定義されるフォン・ミーゼス（Von Mises）関数を、位置依存性の重み付けに用いる。到来方向推定用の分布は、ヒストグラムを用いることによって得られる。好適な実施形態では、時間−周波数変換と球面調和分解の順序を交換し、このことは関係する演算の線形性により等価な結果をもたらす。
【００２４】
短時間フーリエ変換：マイクロホンアレイから得られる信号の各々を、短時間フーリエ変換を用いて時間−周波数領域に変換する。あらゆる種類の窓関数及び時間長をこのプロセス用に用いることができるが、好適な実施形態では、２０４８サンプルのハン（Hann）窓（ハニング・ウィンドウ）を５０%のオーバーラップで用いる。
【００２５】
球面調和分解の計算：このステップでは、球面調和分解を時間−周波数ビン毎に次式のように計算する：
【数１】
2022500710.tif 000003
【００２６】
ここに、Ｍはマイクロホンの数であり、γiは関係する方形球面上の重みであり、ｋは短時間フーリエ変換を用いることによって得られた時間−周波数ビンの指標（インデックス）であり、Ωi＝(θi,φi)は球面上のマイクロホンの位置である。球面調和関数
（外１）
2022500710.tif 000004
は次式のように定義される：
【数２】
2022500710.tif 000005
【００２７】
最大指向性ビーム形成：このプロセスは平面波分解としても知られている。最大指向性ビーム形成は球面調和係数を用いて次式のように計算することができる：
【数３】
2022500710.tif 000006
【００２８】
ここに、Ω＝(θ,φ)は最大指向係数のビームの指向方向であり、ｊn(・)、
（外２）
2022500710.tif 000007
、ｊ’n(・)、及び
（外３）
2022500710.tif 000008
は球ベッセル関数及び球ハンケル（Hankel）関数であり、その一次微分γaは球状マイクロホンの半径であり、周波数等価関数は次式のように与えられる：
【数４】
2022500710.tif 000009
【００２９】
所定方向における平面波ルジャンドル・インパルス関数の定義：
有限個のＳ平面波についての最大指向係数のビーム形式は以下のように与えられる：
【数５】
2022500710.tif 000010
【００３０】
ここに、
【数６】
2022500710.tif 000011
はΩ＝(θs,φs)の所に最大値を有するルジャンドル・インパルスである。この関数を球面上の有限個の点でサンプリングして、以下のステップにおける直交マッチング追跡アルゴリズムで用いて辞書内の原子を得る。
【００３１】
直交マッチング追跡：直交マッチング追跡は、所定の時間−周波数ビン内のステアード応答関数を少数の辞書原子を用いて表現するために用いる反復法である。
【００３２】
このため、所定の時間−周波数ビンにおけるステアード応答関数は、辞書要素の適切な選択を用いて表現することができる。アルゴリズムの流れは以下の通りである：
１．最大指向係数のビームを指向させて、分析する時間−周波数ビンについて、球面全体をカバーする異なる方向におけるステアード応答関数を計算して、この所定の時間−周波数ビンについての音場の方向マップを生じさせる。
２．これらの値で形成されるベクトルに、辞書原子から成る行列を乗算して、結果的なベクトル中の最高値に対応する原子を選択する。
３．この原子を用いて得られる近似値を上記ベクトルから減算して、残差ベクトルを形成する。
４．この残差ベクトルに辞書原子から成る行列を乗算して、結果的なベクトル内の最高値に対応する原子を選択する。
５．残差ベクトルのノルムが所定閾値を下回るまで、第３及び第４ステップを反復する。
６．原子の線形結合から成る近似の係数を、最小二乗アルゴリズムを用いることによって得る。
【００３３】
例えば、図４中のステアード応答関数は、図５中に挙げる辞書原子のうち１番目及び２番目の原子のみを用いることによって得ることができる。３番目の原子は使用しない。
【００３４】
方向ヒストグラムを形成する：直交追跡アルゴリズムを用いてステアード応答関数を適切に表現する原子を見出した後に計算されるヒストグラムは、所定の期間中にこれらの原子が用いられる頻度を示す。
【００３５】
ヒストグラム分類（クラスタリング）及び音源定位：音源定位は、ヒストグラム中の極大点の方向の隣接関係に基づく分類原理に基づいている。位置の隣接関係はサイド（副）情報であり、音源が位置する方向は、分類された位置のそれぞれに向かう方向の平均をとることによって計算される。この段階の出力が、環境内の音源の成分及び方向である。ヒストグラム中のピークどうしの隣接関係を図６に示す。従って、グループ１はＰ７、Ｐ１３から成り；グループ２はＰ６、Ｐ２１及びＰ２２から成る。
【００３６】
計算した音源方向、及びこれらの方向に対応する線形の重みを、この段階で用いる。本発明の好適な実施形態では、各原子に対応する線形の重みが、当該原子の中心方向において求められた所望音源の方向に平均値を有するフォン・ミーゼス関数によって重み付けされる。フォン・ミーゼス関数による重み付けを用いて得られた空間フィルタを図７に、異なる密度パラメータ（ｋ）について示す。最大指向係数のビームも比較のために示す。ｋの値がフォン・ミーゼス関数の空間的選択性を決定する。この値が小さいと、この値は、上記方法に、この方法の入力をより広い方向範囲でフィルタ処理させ、この値を増加させることは、より高い選択性を有するより尖鋭なビームを生じさせて、より正確な音源の分離を生じさせる。このステップでは、各時間−周波数ビンにおいて分離されることになる音源毎に１つの複素数値が得られる。
【００３７】
逆短時間フーリエ変換：各音源毎に得られた新たな時間−周波数表現を、逆短時間フーリエ変換を用いて変換して時間領域に戻して、分離された音源信号を得る。
【図１】
2022500710.tif 000012
【図２】
2022500710.tif 000013
【図３】
2022500710.tif 000014
【図４】
2022500710.tif 000015
【図５】
2022500710.tif 000016
【図６】
2022500710.tif 000017
【図７】
2022500710.tif 000018
【国際調査報告】
2022500710.tif 000019
2022500710.tif 000020