(57)【要約】  マイクロホンアレイ音声強調のための既存のポストフィルタリング方法は、２つの共通の欠点を有する。第１に、それらの方法では雑音が白色雑音または拡散性雑音であると仮定するので、点干渉物に対処することができない。第２に、それらの方法では一度に２つのマイクロホンしか用いないでポストフィルタ係数を推定し、すべてのマイクロホン対を通じて平均化して、準最適解を得る。提供される方法は、白色雑音、拡散性雑音、および点干渉物を扱う信号モデルを実装する、ポストフィルタリング解を記述する。この方法は、マイクロホンアレイにおけるマイクロホンの全体最適化された最小二乗手法も実装し、既存の従来方法よりも最適な解を提供する。実験結果によって、記載の方法が様々な音響シナリオにおいて従来方式より優れた性能を有することを実証する。
2019508719.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが実行する方法であって、
環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、
受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、
受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、
仮定した前記音場シナリオに基づき共分散行列モデルを決定する工程と、
受信した前記オーディオ信号に基づき共分散行列を計算する工程と、
前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、
推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、
受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、を備える方法。
【請求項２】
複数の出力信号を生成するための複数の音場シナリオを仮定する工程をさらに備える、請求項１に記載の方法。
【請求項３】
生成された前記複数の出力信号が比較され、複数の出力生成信号のうち最大の信号対雑音比を有する出力信号が最終出力信号として選択される、請求項２に記載の方法。
【請求項４】
前記パワーの推定はフロベニウス・ノルムに基づく、請求項１に記載の方法。
【請求項５】
前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、請求項４に記載の方法。
【請求項６】
前記音場シナリオを仮定し、前記共分散行列モデルを決定し、前記共分散行列を計算するために、音源位置特定法を用いて前記音源のうちの１つ以上の位置を決定する工程をさらに備える、請求項１に記載の方法。
【請求項７】
前記共分散行列モデルは、複数の仮定された音場シナリオに基づき生成される、請求項１に記載の方法。
【請求項８】
雑音を低減する目的関数を最大化するように１つの共分散行列モデルが選択される、請求項７に記載の方法。
【請求項９】
目的関数は、最終出力オーディオ信号の標本分散である、請求項８に記載の方法。
【請求項１０】
装置であって、
１または複数の処理デバイスと命令を記憶する１または複数のストレージ・デバイスとを備え、前記命令は、前記１または複数の処理デバイスによる実行時、前記１または複数の処理デバイスに、
環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、
受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、
受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、
仮定した前記音場シナリオに基づき共分散行列モデルを決定する工程と、
受信した前記オーディオ信号に基づき共分散行列を計算する工程と、
前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、
推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、
受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、を行わせる、装置。
【請求項１１】
複数の出力信号を生成するための複数の音場シナリオを仮定する工程をさらに備える、請求項１０に記載の装置。
【請求項１２】
生成された前記複数の出力信号が比較され、複数の出力生成信号のうち最大の信号対雑音比を有する出力信号、請求項１１に記載の装置。
【請求項１３】
前記パワーの推定はフロベニウス・ノルムに基づく、請求項１０に記載の装置。
【請求項１４】
前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、請求項１３に記載の装置。
【請求項１５】
前記音場シナリオを仮定し、前記共分散行列モデルを決定し、前記共分散行列を計算するために、音源位置特定法を用いて前記音源のうちの１つ以上の位置を決定する工程をさらに備える、請求項１０に記載の装置。
【請求項１６】
コンピュータ可読媒体であって、環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、
受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、
受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、
仮定した音場シナリオに基づき共分散行列モデルを決定する工程と、
受信した前記オーディオ信号に基づき共分散行列を計算する工程と、
前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、
推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、
受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、のための命令のセットを含む、コンピュータ可読媒体。
【請求項１７】
複数の出力信号を生成するための複数の仮定された音場シナリオ、請求項１６に記載のコンピュータ可読媒体。
【請求項１８】
生成された前記複数の出力信号が比較され、複数の出力生成信号のうち最大の信号対雑音比を有する出力信号、請求項１７に記載のコンピュータ可読媒体。
【請求項１９】
前記パワーの推定はフロベニウス・ノルムに基づく、請求項１６に記載のコンピュータ可読媒体。
【請求項２０】
前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、請求項１６に記載のコンピュータ可読媒体。
【請求項２１】
コンピュータによる実行時、請求項１に記載の方法を実行する命令のセットを含むコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、音声強調のための全体最適化した最小二乗法ポストフィルタリングに関する。
【背景技術】
【０００２】
マイクロホンアレイは、不利な音響環境における音声獲得において、雑音、干渉、および反響を抑える有効なツールとして、次第に認識されつつある。用途には、いくつか例を挙げると、ロバストな音声認識、ハンズフリー音声通信およびテレビ会議、ならびに補聴が含まれる。ビームフォーミングは、空間フィルタリングの一形態を提供する従来のマイクロホンアレイ処理技術であり、特定の方向からの信号を受信しつつ、他の方向からの信号を減衰させる。空間フィルタリングは可能であるものの、信号の再構築の観点からすると、最小平均二乗誤差（ＭＭＳＥ）の意味では最適でない。
【０００３】
ポストフィルタリングのための１つの従来の方法は、マルチチャンネル・ウィナー・フィルタ（ＭＣＷＦ）であり、これは最小分散無歪応答（ＭＶＤＲ）ビームフォーマおよびシングルチャンネル・ポストフィルタへと分解されることが可能である。現在知られている従来のポストフィルタリング方法は、ビームフォーミング後に音声品質を改善することが可能である。しかしながら、そのような既存の方法には、２つの共通の制限または欠陥が存在する。第１に、それらの方法では、関連する雑音は白色（コヒーレントでない）雑音または拡散性雑音の一方のみであると仮定する。そのため、それらの方法では点干渉物（ｐｏｉｎｔ  ｉｎｔｅｒｆｅｒｅｒ）には対処されない。点干渉物とは、例えば、複数人が話しており１人が所望の音響源である環境における、他の話し手からの所望されない雑音のことである。第２に、それら既存の手法ではヒューリスティック技術が適用され、一度に２つのマイクロホンを用いてポストフィルタ係数が推定され、次いで、すべてのマイクロホン・ペアを通じて平均化されるので、準最適な結果が導かれる。
【図面の簡単な説明】
【０００４】
【図１】本明細書に記載の１または複数の実施形態による、仮定した音場シナリオに基づき、ポストフィルタリングされた出力信号を生成するための一例のシステムを示す機能ブロック図。
【図２】一例のシステムにおける、雑音環境から生成されるビームフォームされたシングルチャンネル出力を示す機能ブロック図である。
【図３】一例のシステムにおける、仮定された音場シナリオに基づく共分散行列モデルの決定を示す機能ブロック図である。
【図４】周波数ビンに対するポストフィルタ推定を示す機能ブロック図である。
【図５】本開示の一実施形態による、周波数ビンに対するポストフィルタ係数を計算するためのステップ例を示すフローチャートである。
【図６】実験結果に関連するマイクロホンアレイと音源との空間配置を示す。
【図７】例示的な１つのコンピューティング・デバイスを示すブロック図である。
【発明を実施するための形態】
【０００５】
このサマリでは、本開示のいくつかの態様に関する基礎的な理解を提供するために、単純化した形式により一選択の概念を導入する。この要約は開示の外延的な概観ではなく、本開示のキーとなるまたは重要な要素を識別することや、本開示の範囲を線引きすることを意図したものではない。この要約は、以下に提供する詳細な説明の序として本開示の概念のうちのいくつかを示すものに過ぎない。
【０００６】
一般に、本明細書に記載の主題の一態様は、方法、装置、およびコンピュータ可読媒体により、具体化されることが可能である。一例のデバイスは、１または複数の処理デバイスと命令を記憶する１または複数のストレージ・デバイスとを含み、この命令は、１または複数の処理デバイスによる実行時、１または複数の処理デバイスに一例の方法を実行させる。一例のコンピュータ可読媒体は、一例の方法を実行する命令のセットを含む。本開示の一実施形態は、ポストフィルタ用の雑音を低減するための係数値を推定する方法に関する。この方法は、環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、仮定した前記音場シナリオに基づき共分散行列モデルを決定する工程と、受信した前記オーディオ信号に基づき共分散行列を計算する工程と、前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、を備える。
【０００７】
１または複数の実施形態では、本明細書に記載の方法は、随意で次の追加の特徴のうちの１または複数を備える。複数の出力信号を生成するための複数の音場シナリオを仮定する工程であって、複数の生成された出力信号が比較され、複数の出力の生成された信号のうち最高の信号対雑音比を有する出力信号。パワーの推定はフロベニウス（Ｆｒｏｂｅｎｉｕｓ）・ノルムに基づき、フロベニウス・ノルムは、共分散行列のエルミート対称性を用いて計算される。音場シナリオを仮定し、共分散行列モデルを決定し、共分散行列を計算するために、音源位置特定法を用いて音源のうちの１つ以上の位置を決定する工程。共分散行列モデルは、複数の仮定された音場シナリオに基づき生成され、雑音を低減する目的関数を最大化するように１つの共分散行列モデルが選択され、目的関数は、最終出力オーディオ信号の標本分散である。
【０００８】
本開示の適用可能なさらなる範囲は、以下に与えられる詳細な説明から明らかとなるであろう。しかしながら、この詳細な説明から本開示の精神および範囲内の様々な変更および修正が当業者には明らかとなるので、この詳細な説明は、好適な実施形態について記載しているものの、単なる例示として与えられるものであることが理解されるものである。
【０００９】
本開示のこれらおよび他の目的、特徴、および特性は、添付の特許請求の範囲および図面（それらの全てが本明細書の一部を形成する）とともに以下の詳細な説明を精読することによって、当業者には、より明らかとなるであろう。
【００１０】
本明細書に提供される見出しは便宜的なものであり、特許請求の範囲の範囲や意味に必ずしも影響を与えるものでは無い。
本開示は、一般にオーディオ信号処理用のシステムおよび方法に関する。より詳細には、本開示の態様は、マイクロホンアレイ音声強調用のポストフィルタリング技術に関する。
【００１１】
以下の記載では、本開示の完全な理解および実施可能な記載のための特定の詳細を提供する。しかしながら、関連する技術の当業者は、本明細書に記載の実施形態が、それらの詳細の多くがなくても実施され得ることを理解するであろう。同様に、関連する技術の当業者は、本明細書に記載の実施形態例は、本明細書に詳細には記載されていない多くの他の明らかな特徴を含み得ることも理解するであろう。これに加えて、いくつかの周知の構造または機能は、関連する記載を不要に不明瞭にすることを避けるために、以下では詳細に示さないまたは記載しない場合がある。
【００１２】
１．導入
本開示の一定の実施形態および特徴は、拡散および白色雑音だけでなく点干渉源にも対処する信号モデルを利用する、ポストフィルタリング・オーディオ信号のための方法およびシステムに関する。より詳細に以下に記載されるように、方法およびシステムは、マイクロホンアレイにおけるマイクロホンの全体最適化された最小二乗法（ＬＳ）解を得るように設計されている。一定の実装では、開示の方法の性能は、合成された拡散および白色雑音を含む、所望の源および干渉源についての現実の記録されたインパルス応答を用いて評価される。インパルス応答は、インパルスと呼ばれる簡潔な入力信号に対する動的システムの出力または反応である。
【００１３】
図１は、仮定された音場シナリオ（１１１）に基づき、ポストフィルタリングされた出力信号（１７５）を生成するための一例のシステムを示す。仮定された音場シナリオ（１１１）は、雑音環境（１０５）における雑音成分（１０６−１０８）の構成を決定する。実施の際、実際の音場組成についての正確な知識がアクセス不能である場合、可能な組成に関するいくつかの異なる仮説を作成することが可能である。これらの仮説の各々は、次いで、独立に処理され、最良の結果が出力される。この戦略では、各仮定した音場組成は、仮定した音場シナリオと呼ばれることがある。本明細書に開示のシステムおよび方法では、複数の合成シナリオが用いられ、各合成シナリオは、音源の各々の物理的な位置および／または物理的な種類であるシナリオのセットから構成されており、所望の音源に対するシナリオのセットを通じて目的関数を最大化し、干渉音源のうちの少なくとも１つに対するシナリオのセットを通じて同目的関数を最小化することに基づき、１つの合成シナリオが選択される。結果として、この開示の手法は、他の多シナリオ手法のより一般化された形式と見なすことが可能である。この例の実施形態では、１つの仮定された音場シナリオ（１１１）が、出力される／所望の信号（１７５）を生成するために、様々な周波数ビンＦ１〜Ｆｎ（１６５ａ−ｃ）に入力される。１つの仮定された音場シナリオ（１１１）について、信号が周波数領域へ変換される。ビームフォームおよびポストフィルタリングは、周波数から周波数へと独立に実行される。
【００１４】
この例の実施形態では、仮定された音場シナリオは１つの干渉源を含む。他の例の実施形態では、仮定された音場シナリオはより複雑であってよく、複数の干渉シナリオを含む。所望の音源に加えて拡散性雑音のみが存在し、干渉音源が存在しない他の例の実施形態では、より単純な仮定された音場シナリオが用いられ得る。複数の干渉音源が存在する他の場合では、より多数の音響成分を有する、より複雑な仮定された音場シナリオが用いられる。
【００１５】
また、他の例の実施形態では、複数の出力信号を生成するために複数の仮定された音場シナリオが決定されてもよい。関連する技術の当業者は、複数の音場シナリオが、既知であるまたはその環境に関して決定される情報など、様々な因子に基づき仮定されてよいことを理解するであろう。当業者は、出力信号の品質が、信号対雑音比（例えば、以下に説明する実験において測定される）を測定することなど、様々な因子を用いて決定されてよいことを理解するであろう。他の例の実施形態では、当業者は、音場シナリオを仮定するとともに出力信号の品質を決定するために他の方法を適用してもよい。
【００１６】
図１には、１または複数の雑音成分（１０６−１０８）を含み得る雑音環境（１０５）を示す。環境（１０５）における雑音成分（１０６−１０８）は、例えば、拡散性雑音、白色雑音、および／または点干渉雑音源を含み得る。環境（１０５）における雑音成分（１０６−１０８）または雑音源は、様々な位置に配置され、様々な向きに、また様々なパワー／強度レベルにて、雑音を発する。各雑音成分（１０６−１０８）は、マイクロホンアレイ（１３０）の複数のマイクロホンＭ１．．Ｍｎ（１１５，１２０，１２５）によって受信され得るオーディオ信号を生成する。環境（１０５）における雑音成分（１０６−１０８）によって生成され、マイクロホンアレイ（１３０）のマイクロホン（１１５，１２０，１２５）の各々によって受信されるオーディオ信号は、例示の明瞭さのため、１つの矢印１０９として示す。
【００１７】
マイクロホンアレイ（１３０）は、複数の個別の全方向性マイクロホン（１１５，１２０，１２５）を含む。この実施形態では、全方向性マイクロホンを仮定する。他の例の実施形態では、共分散行列モデルを変更し得る他の種類のマイクロホンを実装してもよい。マイクロホンＭ１からＭｎ（１１５，１２０，１２５）（ここで「ｎ」は任意の整数）の各々によって受信されるオーディオ信号（１０９）は、例えば、離散時間フーリエ変換（ＤＴＦＴ）（１１６，１２１，１２６）などの変換方法を介して周波数領域に変換され得る。他の例の変換方法は、次に限定されないが、ＦＦＴ（高速フーリエ変換）、またはＳＴＦＴ（短時間フーリエ変換）を含み得る。簡単のため、１つの周波数に対応するＤＴＦＴ（１１６，１２１，１２６）の各々を介して生成される出力信号は、１つの矢印によって表す。例えば、マイクロホンＭ１（１１５）によって受信されるオーディオによって生成される第１の周波数ビンＦ１（１６５ａ）のＤＴＦＴオーディオ信号は、１つの矢印１１７ａとして表される。
【００１８】
図１には、様々なコンポーネントを含む複数の周波数ビン（１６５ａ−ｃ）も示す。各周波数ビンのポストフィルタ・コンポーネントはポストフィルタ出力信号を生成する。例えば、周波数ビンＦ１（１６５ａ）のポストフィルタ・コンポーネント（１６０ａ）は、第１の周波数ビン（１６１ａ）のポストフィルタ出力信号を生成する。各周波数ビン（１６５ａ−ｃ）の出力信号は、所望されない雑音が低減された最終的な時間領域出力／所望の信号（１７５）を生成するように、逆ＤＴＦＴコンポーネント（１７０）に入力される。この例のシステム（１００）の周波数ビン（１６５ａ−ｃ）における様々なコンポーネントの詳細および工程について、以下でさらに詳細に説明する。
【００１９】
２．信号モデル
図２には、雑音環境（１０５）から生成されるビームフォームされたシングルチャンネル出力（１３６ａ）を示す。本明細書において説明しないシステム１００全体（図１に示した）からのコンポーネントは、簡単のため図２では省略している。雑音環境（１０５）は、音として出力を生成する様々な雑音成分（１０６−１０８）を含む。雑音成分１０６は所望される音を出力し、雑音成分１０７，１０８は、白色雑音、拡散性雑音、または点干渉雑音の形態であり得る所望されない音を出力する。雑音成分（１０６−１０８）の各々は音を生成するが、しかしながら、簡単のため、雑音成分（１０６−１０８）の結合した出力を１つの矢印１０９として示す。アレイ（１３０）のマイクロホン（１１５，１２０，１２５）は、マイクロホンの物理的な位置と、環境雑音（１０９）内の到来オーディオ信号の向きおよび強度とに基づき、様々な時間間隔で環境雑音（１０９）を受信する。マイクロホン（１１５，１２０，１２５）の各々における受信オーディオ信号は、１つの単一周波数についてのシングルチャンネル出力（１３７ａ）を生成するように変換され（１１６，１２１，１２６）、ビームフォームされる（１３５ａ）。固定ビームフォーマ（１３５ａ）のシングルチャンネル出力（１３７ａ）は、ポストフィルタ（１６０ａ）に渡される。ビームフォーム係数（１３８ａ）（以下の式（６）に関連してｈ（ｊω）として表される）は、ビームフォーム・フィルタ（１３６ａ）を生成し、これはポストフィルタ係数（１５５ａ）を計算するために渡される。
【００２０】
環境雑音（１０９）をキャプチャし、ビームフォームされたシングルチャンネル出力信号（１３７ａ）およびビームフォーム・フィルタ（１３６ａ）を生成することに関するより詳細な説明を、ここに記載する。雑音の多い（ｎｏｉｓｙ）音響環境（１０５）において所望点音源（１０６）から信号ｓ（ｔ）をキャプチャする、Ｍ個の要素（１１５，１２０，１２５）からなるマイクロホンアレイ（１３０）を考える。ここで、Ｍ（任意の整数値）は、アレイ（１３０）におけるマイクロホンの数である。時間領域における第ｍ番目のマイクロホンの出力は次式のように記述される。
【００２１】
【数１】
2019508719.tif 000003
【００２２】
ここで、ｇｓ，ｍは、所望の成分（１０６）から第ｍ番目のマイクロホン（例えば、１２５）までのインパルス応答を表し、＊は、線形畳み込みを表し、また、ψｍ（ｔ）は、望まれない相加性雑音（すなわち、雑音成分１０７，１０８によって生成される音）である。
【００２３】
開示の方法は、複数の点干渉源に対処することができるが、しかしながら、明瞭さのため、本明細書において提供される例では１つの点干渉物について説明する。相加性雑音は、一般に異なる３つの種類の音声成分からなる。すなわち、１）点干渉源からのコヒーレント雑音ｖ（ｔ）、２）拡散性雑音ｕｍ（ｔ）、および３）白色雑音ｗｍ（ｔ）である。また、次式が成り立つ。
【００２４】
【数２】
2019508719.tif 000004
【００２５】
ここで、ｇｖ，ｍは、点雑音源から第ｍ番目のマイクロホンまでのインパルス応答である。この例の実施形態では、所望の信号およびこれらの雑音成分（１０６−１０８）は短時間で変化せず、相互に関連しないと仮定する。他の例の実施形態では、雑音成分は異なって構成されてもよい。例えば、動き回る複数の所望される音源と目標の所望される音源とを含む雑音環境が、時間を通じて変化してもよい。換言すると、２人の人が会話をしながら歩いている混み合った部屋である。
【００２６】
周波数領域では、式（１）におけるこの一般化されたマイクロホンアレイ信号モデルは次式へと変形される。
【００２７】
【数３】
2019508719.tif 000005
【００２８】
ここで、
【００２９】
【数４】
2019508719.tif 000006
【００３０】
であり、ωは角周波数であり、Ｘｍ（ｊω），Ｇｓ，ｍ（ｊω），Ｓ（ｊω），Ｇｖ，ｍ（ｊω），Ｖ（ｊω），Ｕ（ｊω），Ｗ（ｊω）は、それぞれｘｍ（ｔ），ｇｓ，ｍ，ｓ（ｔ），ｇｖ，ｍ，ｖ（ｔ），ｕ（ｔ），ｗ（ｔ）の離散時間フーリエ変換（ＤＴＦＴ）である。この例の実施形態では、ＤＴＦＴが実装されるが、しかしながら、これは本発明の範囲を限定するように解釈されるものではない。他の例の実施形態では、ＳＴＦＴ（短時間フーリエ変換）またはＦＦＴ（高速フーリエ変換）など他の方法を実装してもよい。式（３）はベクトル／行列形式では次の通りである。
【００３１】
【数５】
2019508719.tif 000007
【００３２】
ここで、
【００３３】
【数６】
2019508719.tif 000008
【００３４】
であり、（・）Ｔは、ベクトルまたは行列の転置を表す。マイクロホンアレイの空間共分散行列は、このとき、次式のように決定される。
【００３５】
【数７】
2019508719.tif 000009
【００３６】
ここで、相互に関連しない信号を仮定すると、
【００３７】
【数８】
2019508719.tif 000010
【００３８】
であり、Ｅ｛・｝，（・）Ｈ，（・）＊は、数学的期待値、ベクトルまたは行列のエルミート転置、複素変数の共役をそれぞれ表す。
ビームフォーマ（１３５ａ）は、有限インパルス応答（ＦＩＲ）フィルタＨｍ（ｊω）（ｍ＝１，２，・・・，Ｍ）によって各マイクロホン信号のフィルタリングを行うとともに、その結果を合算してシングルチャンネル出力（１３７ａ）（次式）およびビームフォーム・フィルタ（１３６ａ）を生成する。
【００３９】
【数９】
2019508719.tif 000011
【００４０】
ここで、
【００４１】
【数１０】
2019508719.tif 000012
【００４２】
である。
式（６）では、所望される音源の共分散行列もモデル化される。所望される音源および干渉源の両方は点源であるので、所望される音源のモデルは干渉源のモデルと同様である。それらはマイクロホンアレイに対する向きが異なっている。
【００４３】
３．雑音共分散行列のモデル化
図３には、仮定した音場シナリオ（１１１）に基づき共分散行列モデルを決定する工程を示す。本明細書において説明しないシステム１００全体（図１に示した）からのコンポーネントは、簡単のため図３では省略している。仮定された音場シナリオ（１１１）は、雑音環境（１０５）における雑音成分（１０６−１０８）の構成に基づき決定され、各周波数ビン（１６５ａ−ｃ）の共分散モデル（１４０ａ−ｃ）にそれぞれ入力される。
【００４４】
１つの実際の環境では、雑音成分の構成、すなわち、点干渉源の数および位置と、白色雑音源または拡散性雑音源の存在が既知でない場合がある。したがって、音場シナリオが仮定される。上記の式（２）は、１つの点干渉源と、拡散性雑音と、白色雑音とを含むシナリオを表しており、４つの既知でない変数を得る。シナリオが点干渉源を仮定せず、白色雑音および拡散性雑音のみを仮定する場合、上記の式（５）は既知でない変数を３つとするように単純化することができる。
【００４５】
式（５）では、３つの干渉／雑音関連成分（１０６−１０８）を次の通りモデル化する。
（１）点干渉物：点干渉源ｖ（ｔ）による共分散行列Ｐｇｖ（ｊω）は、階数１を有する。一般に、反響が存在するか、干渉源がマイクロホンアレイの近場に存在する場合、インパルス応答ベクトルｇｖの複素成分は異なる大きさを有してよい。しかしながら、直接のパスのみを考慮する場合、または点光源が遠場にある場合には、次式が成り立つ。
【００４６】
【数１１】
2019508719.tif 000013
【００４７】
この式では、共通の基準点に対する複数のマイクロホンτｖ，ｍ（ｍ＝１，２，・・・，Ｍ）の干渉物の到達の時間差だけが組み込まれる。
（２）拡散性雑音：拡散性雑音場は、球状または円筒状に等方性であると考えられ、同時に複数の向きに伝播する等しいパワーの関連しない複数の雑音信号によって特徴付けられる。その共分散行列は、次式によって与えられる。
【００４８】
【数１２】
2019508719.tif 000014
【００４９】
ここで、Γｕｕ（ω）の第（ｐ，ｑ）番目の要素は次式であり、
【００５０】
【数１３】
2019508719.tif 000015
【００５１】
ｄｐｑは、第ｐ番目のマイクロホンと第ｑ番目のマイクロホンとの間の距離であり、ｃは音速であり、Ｊ０（・）は０次の第１種ベッセル関数である。
（３）白色雑音：相加性白色雑音の共分散行列は、単に重み付けされた単位行列である。
【００５２】
【数１４】
2019508719.tif 000016
【００５３】
４．マルチチャンネル・ウィナーフィルタ（ＭＣＷＦ）、ＭＶＤＲビームフォーミング、およびポストフィルタリング
マイクロホンアレイが所望の広帯域音信号（例えば、音声および／または音楽）をキャプチャするために用いられる場合、その意図は、ωについて式（６）におけるＹ（ｊω）とＳ（ｊω）との間の距離を最小化することである。ＭＭＳＥ感知において最適なＭＣＷＦは、ＭＶＤＲビームフォーマとそれに続くシングルチャンネル・ウィナーフィルタ（ＳＣＷＦ）とに分解可能である。
【００５４】
【数１５】
2019508719.tif 000017
【００５５】
ここで
【００５６】
【数１６】
2019508719.tif 000018
【００５７】
は、それぞれＭＶＤＲビームフォーマの出力における所望の信号のパワーおよび雑音である。この分解によって、マイクロホンアレイ音声獲得用の続く構造が導かれる。すなわち、ＳＣＷＦは、ＭＶＤＲビームフォーマの後のポストフィルタと見なされる。
【００５８】
５．ポストフィルタ推定
図４は、周波数ビンにおけるポストフィルタ推定工程を示す。式（１１）により与えられるフロントエンドのＭＶＤＲビームフォーマとポスト・プロセッサとしてのＳＣＷＦとを実装するために、マイクロホン信号の計算された共分散行列からの信号・雑音共分散行列が推定される。マルチチャンネル・マイクロホン信号は、最初にフレームにより窓処理され（例えば、重み付けされた重畳加算解析窓によって）、次いで、ｘ（ｊω，ｉ）を決定するためにＦＦＴによって変換される。ここで、ｉはフレーム・インデックスである。マイクロホン信号の共分散行列（１４５ａ）の推定は、次式によって再帰的に更新される（動的に、またはメモリ・コンポーネントを用いて）。
【００５９】
【数１７】
2019508719.tif 000019
【００６０】
ここで、０＜λ＜１は忘却因子である。
ここでも、式（７）と同様、反響は無視することができ、次式を得る。
【００６１】
【数１８】
2019508719.tif 000020
【００６２】
ここで、τｓ，ｍは、共通の基準点に対する第ｍ番目のマイクロホンについての所望の信号の到達の時間差である。
別の例では、τｓ，ｍおよびτｖ，ｍの両方が既知であり、時間を通じて変化しないと仮定する。したがって、式（５）により、式（８）および式（１０）を用いると、第ｉ番目の時間フレームにおいて、共分散行列モデル（１４０ａ）の決定は次式のように決定されることができる。
【００６３】
【数１９】
2019508719.tif 000021
【００６４】
この等式は、式（１４）の左辺と右辺との間の差のフロベニウス・ノルムに基づく基準を定義することを可能とする。そのような基準を最小化することによって、
【００６５】
【数２０】
2019508719.tif 000022
【００６６】
のＬＳ推定が導出される。なお、式（１４）の行列はエルミート行列である。この定式化における余分な情報は明瞭さのために省略している。
Ｍ×Ｍエルミート行列Ａ［＝ａｐｑ］について、２つのベクトルが定義される。一方のベクトルは対角成分であり、他方は、その下三角部分の非対角半ベクトル化（ｏｆｆ−ｄｉａｇｏｎａｌ  ｈａｌｆ  ｖｅｃｔｏｒｉｚａｔｉｏｎ；ｏｄｈｖ）である。
【００６７】
【数２１】
2019508719.tif 000023
【００６８】
同じ大きさの複数のＮ個のエルミート行列が次のように定義される。
【００６９】
【数２２】
2019508719.tif 000024
【００７０】
これらの表記を用いることによって、式（１４）から次式を得ると考えられる。
【００７１】
【数２３】
2019508719.tif 000025
【００７２】
ここで、パラメータｊωは明瞭さのために省略されており、
【００７３】
【数２４】
2019508719.tif 000026
【００７４】
である。ここで、得られるのはＭ（Ｍ＋１）／２個の式と４つの既知でない変数である。Ｍ≧３である場合、これは優決定系の問題である。すなわち、既知でない変数よりも多くの式が存在する。
【００７５】
上述の誤差基準は次式のように記述される。
【００７６】
【数２５】
2019508719.tif 000027
【００７７】
音源のパワーを推定する（１５０ａ）ように実装された、この基準を最小化することによって、次式が導かれる。
【００７８】
【数２６】
2019508719.tif 000028
【００７９】
ここで、次式は複素数／ベクトルの実部を表す。
【００８０】
【数２７】
2019508719.tif 000029
【００８１】
推測上は、次式による推定誤差は、ＩＩＤ（独立同分布の）確率変数である。
【００８２】
【数２８】
2019508719.tif 000030
【００８３】
したがって、ポストフィルタ係数の計算（１５５ａ）において実装されるように、式（２１）により与えられるＬＳ（最小二乗法）解は、ＭＭＳＥ感知において最適である。この推定を式（１１）に置き換えることによって、本開示において参照されるように、ＬＳポストフィルタ（ＬＳＰＦ）（１６０ａ）が導かれる。
【００８４】
上記の例の実施形態では、導出されるＬＳ解ではＭ≧３を仮定している。これは、４種類の音響信号からなる、より一般化された音場モデルの使用のためである。いくつかの種類の干渉信号を無視できる（例えば、点干渉物が存在しないおよび／または白色雑音しか存在しない）など、音場に関する追加の情報が利用可能である他の例の実施形態では、それら無視できる音源に相当する式（１９）中の列は除去可能であり、本開示に記載のＬＳＰＦは、Ｍ＝２の場合であっても依然として導入される。
【００８５】
図５は、本開示の一実施形態による、周波数ビン（１６５ａ）に対するポストフィルタ係数を計算するためのステップ例を示すフローチャートである。以下の図５による例示は、上述の詳細および上述の数学的概念の一例の実装を反映したものである。開示の工程は、例示として与えられるものに過ぎない。当業者には明らかであるように、いくつかの工程は、本詳細な説明の精神および範囲内において、並列にまたは代替の順序により実行されてよい。
【００８６】
図５を参照すると、この例の工程は工程５０１から開始する。工程５０２では、環境（１０５）における音源（１０６−１０８）によって生成（１０９）される雑音からマイクロホンアレイ（１３０）を介してオーディオ信号が受信される。工程５０３では、音場シナリオ（１１１）が仮定される。工程５０４では、固定のビームフォーマ係数（１３８ａ）が、周波数ビン（１６５ａ）について、受信されるオーディオ信号（１１７ａ，１２２ａ，１２７ａ）に基づき計算される。工程５０５では、仮定した音場シナリオ（１１１）に基づき共分散行列モデル（１４０ａ）が決定される。工程５０６では、受信したオーディオ信号（１１７ａ，１２２ａ，１２７ａ）に基づき共分散行列（１４５ａ）が計算される。工程５０７では、音源のパワー（１５０ａ）が、決定した共分散行列モデル（１４０ａ）と計算した共分散行列（１４５ａ）とに基づき、推定される。工程５０８では、推定した音源のパワー（１５０ａ）および計算した固定のビームフォーマ係数（１３８ａ）に基づき、ポストフィルタ係数（１５５ａ）が計算される。この例の工程は、終了工程５０９に進み得る。ポストフィルタリングされた出力信号（１６１ａ−ｃ）をそれぞれ生成するために、前述の工程が周波数ビン（１６５ａ−ｃ）毎に実装されてもよい。ポストフィルタリングされた信号（１６１ａ−ｃ）は、次いで、出力／所望の信号（１７５）を生成するように変換されてよい（１７０）。
【００８７】
上述の通り、従来のポストフィルタリング方法は最適なものではなく、本明細書に記載の方法およびシステムと比較して欠点を有する。既存の手法の限界および欠点について、本開示に関連して、以下にさらに説明する。
【００８８】
（ａ）ゼリンスキー（Ｚｅｌｉｎｓｋｉ）ポストフィルタ（ＺＰＦ）では、次を仮定する：１）点干渉物が存在しない。すなわち、次式が成り立つ。
【００８９】
【数２９】
2019508719.tif 000031
【００９０】
２）拡散性雑音が存在しない。すなわち、次式が成り立つ。
【００９１】
【数３０】
2019508719.tif 000032
【００９２】
３）相加性の非コヒーレントな白色雑音のみが存在する。したがって、式（１９）は次のように単純化される。
【００９３】
【数３１】
2019508719.tif 000033
【００９４】
式（２１）を用いて次式について最適なＬＳ解を計算する代わりに、
【００９５】
【数３２】
2019508719.tif 000034
【００９６】
ＺＰＦでは、式（２２）の下のｏｄｈｖ部分だけを用いて次式を得る。
【００９７】
【数３３】
2019508719.tif 000035
【００９８】
なお、式（１３）から次式が成り立つ。
【００９９】
【数３４】
2019508719.tif 000036
【０１００】
したがって、式（２３）は次式となる。
【０１０１】
【数３５】
2019508719.tif 000037
【０１０２】
ＬＳＰＦについての同じ音響モデルをＺＰＦに用いる場合（例えば、白色雑音のみ）、Ｍ＝２ではＺＰＦとＬＳＰＦとが等しいことを示すことが可能である。しかしながら、Ｍ≧３では、両者は基本的に異なる。
【０１０３】
（ｂ）マッカウアン（ＭｃＣｏｗａｎ）ポストフィルタ（ＭＰＦ）では、次を仮定する：１）点干渉物が存在しない。すなわち、次式が成り立つ。
【０１０４】
【数３６】
2019508719.tif 000038
【０１０５】
２）、相加性白色雑音が存在しない。すなわち、次式が成り立つ。
【０１０６】
【数３７】
2019508719.tif 000039
【０１０７】
３）拡散性雑音のみが存在する。これらの仮定の下では、式（１９）は次式となる。
【０１０８】
【数３８】
2019508719.tif 000040
【０１０９】
なお、式（９）から、次式が成り立つ。
【０１１０】
【数３９】
2019508719.tif 000041
【０１１１】
式（２５）は優決定系である。ここでも、続く式（２１）によって大域ＬＳ解を発見する代わりに、ＭＰＦでは、次式のようなサブシステムを形成するべく、第ｐ番目のマイクロホンと第ｑ番目のマイクロホンとの対に対応する式（２５）からの３つの式を適用する。
【０１１２】
【数４０】
2019508719.tif 000042
【０１１３】
ここで、
【０１１４】
【数４１】
2019508719.tif 000043
【０１１５】
ＭＰＦ方法では、
【０１１６】
【数４２】
2019508719.tif 000044
【０１１７】
について式（２６）を解き、次式を得る。
【０１１８】
【数４３】
2019508719.tif 000045
【０１１９】
Ｍ（Ｍ−１）／２個の異なるマイクロホン対が存在するので、最終的なＭＰＦ推定は次式のように単純にサブシステムの結果の平均である。
【０１２０】
【数４４】
2019508719.tif 000046
【０１２１】
拡散性雑音モデルは、実際の場合には、白色雑音モデルよりも一般的である。白色雑音モデルは、次式のときの拡散性雑音モデルの特別な場合と見なすことができる。
【０１２２】
【数４５】
2019508719.tif 000047
【０１２３】
しかしながら、式（２５）を解くためのＭＰＦの手法はヒューリスティックなものであり、やはり最適ではない。ここでも、ＬＳＰＦが拡散性雑音のみのモデルを用いる場合、Ｍ＝２のときはＭＰＦと等しいが、しかしながら、Ｍ≧３では、それらは基本的に異なる。
【０１２４】
（ｃ）ロイキミアチス（Ｌｅｕｋｉｍｍｉａｔｉｓ）ポストフィルタは、次式を推定するためにＭＰＦにおいて提案されたアルゴリズムに続く。
【０１２５】
【数４６】
2019508719.tif 000048
【０１２６】
ロイキミアチスらは、単に、式（１１）におけるポストフィルタの分母が
【０１２７】
【数４７】
2019508719.tif 000049
【０１２８】
でなく
【０１２９】
【数４８】
2019508719.tif 000050
【０１３０】
であるという、ゼリンスキーおよびマッカウアンのポストフィルタにおけるバグを修正する。
６．実験結果
以下では、本開示のＬＳＰＦ方法およびシステムを検証するために行われる音声強調実験例の結果を提供する。図６には、本実験のマイクロホンアレイ（６１０）および音源（６２０，６３０）の空間配置を示す。図中の要素の位置は、正確な縮尺または距離を伝えるように意図されたものでなく、それらは以下の記載において提供される。マイクロホンアレイ（６１０）の最初の４つのマイクロホンＭ１−Ｍ４（６０１−６０４）を考慮する１組の実験を提供する。ここで、マイクロホンの各々の間の間隔は３ｃｍである。６０ｄＢの残響時間は３６０ミリ秒である。所望の源（６２０）はアレイのブロードサイド（０°）にあり、干渉源（６３０）は４５°方向にある。それらはアレイから２ｍ離れている。明瞭で連続的な１６ｋＨｚ／１６ビットの音声信号が、これらの点音源には用いられる。所望の源（６２０）は女性の話者であり、干渉源（６３０）は男性の話者である。２つの信号の有声部分には多くの重なり合いがある。したがって、インパルス応答は１６ｋＨｚで再サンプリングされ、４０９６個のサンプルに切り詰められ、球状に等方性の拡散性雑音が生成される。本実験のシミュレーションでは、大きな球体上で分散された７２の×３６＝２５９２個の点源が用いられる。信号は２０秒に切り詰められる。
【０１３１】
上記の実験では、３つの全帯域尺度が音場（添字ＳＦ）を特徴付けるように定義される：すなわち、以下のＳＩＲ（ｓｉｇｎａｌ−ｔｏ−ｉｎｔｅｒｆｅｒｅｎｃｅ  ｒａｔｉｏ）、ＳＮＲ（信号対雑音比；ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ）、およびＤＷＲ（ｄｉｆｆｕｓｅ−ｔｏ−ｗｈｉｔｅ−ｎｏｉｓｅ  ｒａｔｉｏ）である。
【０１３２】
【数４９】
2019508719.tif 000051
【０１３３】
性能評価については、２つの客観的なメトリクスが解析される：ＳＩＮＲ（ｓｉｇｎａｌ−ｔｏ−ｉｎｔｅｒｆｅｒｅｎｃｅ−ａｎｄ−ｎｏｉｓｅ  ｒａｔｉｏ）およびＰＥＳＱ（ｐｅｒｃｅｐｔｕａｌ  ｅｖａｌｕａｔｉｏｎ  ｓｐｅｅｃｈ  ｑｕａｌｉｔｙ）である。ＳＩＮＲおよびＰＥＳＱは、各マイクロホンにおいて計算され、それぞれ入力ＳＩＮＲ、ＰＥＳＱとして平均化される。出力ＳＩＮＲ、ＰＥＳＱ（ＳＩＮＲｏ、ＰＥＳＱｏによってそれぞれ表される）が同様に推定される。入力尺度と出力尺度との間の差（すなわち、デルタ値）が解析される。出力における雑音低減および音声ひずみの量をよりよく評価するために、ＩＮＲ（ｉｎｔｅｒｆｅｒｅｎｃｅ  ａｎｄ  ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ）およびｄＰＥＳＱ（ｄｅｓｉｒｅｄ−ｓｐｅｅｃｈ  ｏｎｌｙ  ＰＥＳＱ）も計算される。ｄＰＥＳＱについては、処理された所望の音声および明瞭な音声が、ＰＥＳＱ評価部に渡される。出力ＰＥＳＱは強調された信号の品質を示し、ｄＰＥＳＱ値は導入された音声ひずみの量を定量する。フーとロイズのＰＥＳＱ用Ｍａｔｌａｂコード（Ｈｕ＆Ｌｏｉｚｏｕ’ｓ  Ｍａｔｌａｂ  ｃｏｄｅｓ  ｆｏｒ  ＰＥＳＱ）が本研究では用いられる。
【０１３４】
室内反響によるＭＶＤＲ（最小分散無歪応答）ビームフォーマにおける周知の信号打ち消し問題を回避するために、遅延和（Ｄ＆Ｓ）ビームフォーマがフロントエンド処理用に実装され、次の４つの異なるポストフィルタリング・アルゴリズム、すなわち、無し、ＺＰＦ、ＭＰＦ、ＬＳＰＦと比較される。Ｄ＆Ｓのみの実装はベンチマークとして用いられる。ＺＰＦおよびＭＰＦについては、ロイキミアチス訂正を用いた。テストは次の異なる３つの設定の下で行われた：１）白色雑音のみ：ＳＩＲＳＦ＝３０ｄＢ、ＳＮＲＳＦ＝５ｄＢ、ＤＷＲＳＦ＝−３０ｄＢ、２）拡散性雑音のみ：ＳＩＲＳＦ＝３０ｄＢ、ＳＮＲＳＦ＝１０ｄＢ、ＤＷＲＳＦ＝３０ｄＢ、３）混合雑音／干渉物：ＳＩＲＳＦ＝０ｄＢ、ＳＮＲＳＦ＝１０ｄＢ、ＤＷＲＳＦ＝０ｄＢ。結果は以下の通りである：
【０１３５】
【表１】
2019508719.tif 000052
【０１３６】
これらのテストでは、平方根ハミング窓および５１２点のＦＦＴがＳＴＦＴ解析用に用いられる。２つの隣り合う窓のサンプルは５０％重なり合っている。重み付けされた重畳加算方法が、処理された信号を復元するために用いられる。
【０１３７】
実験結果はテーブル１にまとめられている。最初に、白色雑音のみの音場の結果を解析する。これはＺＰＦ方法によって対処される種類の音場であるので、ＺＰＦは、雑音を抑制して音声品質を高める際、相応に良い仕事をする。しかしながら、提案されるＬＳＰＦは、わずかに低いｄＰＥＳＱを伴うより多くの音声ひずみを導入するものの、より多くの雑音低減を達成し、より高出力のＰＥＳＱを与える。ＭＰＦは、そのＳＩＮＲ利得がＺＰＦおよびＬＳＰＦのものより低いので、見かけ上、高いＩＮＲを生成する。これは、ＭＰＦが雑音だけでなく音声信号も有意に抑制することを意味する。そのＰＥＳＱおよびｄＰＥＳＱは、ＬＳＰＦのものより低い。
【０１３８】
第２の音場では、期待されるとおり、Ｄ＆Ｓビームフォーマは拡散性雑音に対処するのにはそれほど有効でなく、ＺＰＦの性能も低下する。この場合、ＭＰＦの性能は相応に良いものの、依然としてＬＳＰＦが明らかに最良の結果を生じる。
【０１３９】
第３の音場は、時間で変化する干渉音声源の存在のため、明らかに最も挑戦的な場合である。しかしながら、ＬＳＰＦは、すべてのメトリクスにおいてその他の従来の方法より性能が優れている。
【０１４０】
最後に、これらの純粋に客観的な性能評価結果が、少数の我々の同僚により行われた非公式のリスニングテストにおける４つの技術による主観的な認識と一致していることが注目される。
【０１４１】
本開示では、マイクロホンアレイ用途のためのＬＳポストフィルタリング方法用の方法およびシステムについて記載する。従来のポストフィルタリング技術と異なり、記載の方法は拡散および白色雑音だけでなく点干渉物も考慮する。さらに、マイクロホンアレイによって収集される情報を従来方法よりも効率的に利用する全体最適解である。さらにまた、既存の方法を超える開示の技術の利点が、様々な音響シナリオによるシミュレーションによって検証および定量化された。
【０１４２】
図７は、コンピューティング・デバイス（７００）の上のアプリケーションを示す高位ブロック図である。基本構成（７０１）では、コンピューティング・デバイス（７００）は、通常、１または複数のプロセッサ（７１０）、システム・メモリ（７２０）、およびメモリ・バス（７３０）を備える。メモリ・バスは、プロセッサとシステム・メモリとの間の通信を行うために用いられる。この構成が、上述の方法を実装するスタンドアロン型のポストフィルタリング・コンポーネント（７２６）も備えてもよく、アプリケーション（７２２，７２３）に統合されてもよい。
【０１４３】
様々な構成に応じて、プロセッサ（７１０）は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせであってよい。プロセッサ（７１０）は、Ｌ１キャッシュ（７１１）およびＬ２キャッシュ（７１２）など、１または複数のレベルのキャッシュ、プロセッサコア（７１３）、およびレジスタ（７１４）を備えてよい。プロセッサコア（７１３）は、算術論理演算ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはそれらの任意の組み合わせを備えてよい。メモリ・コントローラ（７１６）は独立部分であることも、プロセッサ（７１０）の内部部分であることも可能である。
【０１４４】
所望の構成に応じて、システム・メモリ（７２０）は、以下に限定されないが、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含む、任意の種類のものであることが可能である。システム・メモリ（７２０）は、通常、オペレーティング・システム（７２１）、１または複数のアプリケーション（７２２）、およびプログラム・データ（７２４）を含む。アプリケーション（７２２）は、ポストフィルタリング・コンポーネント（７２６）、または音声強調用の全体最適化された最小二乗ポストフィルタリングを適用するシステムおよび方法（７２３）を含んでもよい。プログラム・データ（７２４）は、１または複数の処理デバイスによる実行時、記載の方法およびコンポーネントのためのシステムおよび方法（７２３）を実装する命令を記憶することを含む。あるいは、方法の命令および実装は、ポストフィルタリング・コンポーネント（７２６）を介して実行されてもよい。いくつかの実施形態では、アプリケーション（７２２）は、オペレーティング・システム（７２１）上でプログラム・データ（７２４）を用いて動作するように構成されることが可能である。
【０１４５】
コンピューティング・デバイス（７００）は、追加の特徴または機能を有すること、また基本構成（７０１）と任意の要求されるデバイスおよびインタフェースとの間の通信を可能とする追加のインタフェースを有することが可能である。
【０１４６】
システム・メモリ（７２０）は、コンピュータ記憶媒体の一例である。コンピュータ記憶媒体は、次に限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル・バーサタイル・ディスク（ＤＶＤ）、または他の光ストレージ、磁気カセット、磁気テープ、磁気ディスク・ストレージ、または他の磁気ストレージ・デバイス、または所望の情報を記憶するために使用可能でありコンピューティング・デバイス７００によってアクセス可能である他の媒体を含む。任意のそうしたコンピュータ記憶媒体がデバイス（７００）の一部であることが可能である。
【０１４７】
コンピューティング・デバイス（７００）は、携帯電話機、スマートフォン、携帯情報端末（ＰＤＡ）、パーソナル・メディア・プレーヤ・デバイス、タブレット・コンピュータ（タブレット）、無線ウェブ閲覧デバイス、パーソナル・ヘッドセット・デバイス、アプリケーション特有のデバイス、または上述の機能のいずれかを備えるハイブリッド・デバイスなど、スモールフォームファクタのポータブル（またはモバイル）電子デバイスの一部として実装可能である。また、コンピューティング・デバイス（７００）は、ラップトップ・コンピュータ構成および非ラップトップ・コンピュータ構成の両方を含むパーソナルコンピュータとしても実装可能である。
【０１４８】
上述の詳細な記載では、ブロック図、フローチャート、および／または実施例の使用を介して、デバイスおよび／または処理の様々な実施形態について述べた。そのようなブロック図、フローチャート、および／または実施例が１つまたは複数の機能および／または動作を含む限り、広い範囲のハードウェア、ソフトウェア、ファームウェア、または事実上それらの任意の組み合わせによって、そのようなブロック図、フローチャート、または実施例内の各機能および／または動作が個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。一実施形態では、本明細書に記載の主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、または他の集積フォーマットを介して実装されてよい。しかしながら、本明細書に開示の実施形態のいくつかの態様は、全体的にまたは部分的に、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータ・プログラムとして、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして、ファームウェアとして、または事実上それらの任意の組み合わせとして、集積回路に同等に実装可能であること、また回路の設計および／またはソフトウェアおよび／またはファームウェア用のコードの記述は、本開示に照らして十分に当業者の能力の範囲内であることが、当業者には認識されるであろう。加えて、本明細書に記載の主題の機構は、プログラム製品として様々な形式により配布可能であること、また本明細書に記載の主題の例示の一実施形態は、配布を実際に行うために使用される特定の種類の非一時的な信号保持媒体に関わらずに適用されることが、当業者には認められるであろう。非一時的な信号保持媒体の例は、以下に限定されないが、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリなどの記録可能型媒体と、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバーケーブル、導波管、有線通信リンク、無線通信リンクなど）などの透過型媒体とを含む。
【０１４９】
本明細書の任意の複数形および／または単数形の用語の使用に関して、当業者は、文脈および／または適用に適切であるように、複数形から単数形に、および／または単数形から複数形に変換することが可能である。様々な単数／複数の交換が、本明細書において明瞭さのために明示的に述べられてよい。
【０１５０】
以上、本主題の特定の実施形態について記載した。他の実施形態は添付の特許請求の範囲内にある。いくつかの場合では、請求項に記載された動作は異なる順番で実行可能であり、それでもなお所望の結果を達成する。加えて、添付の図面に記載の処理は、所望の結果を達成するにあたり、示された特定の順、または順番を必ずしも必要としない。ある実装では、マルチタスク化および並列処理が有利であり得る。
【０１５１】
以下では、本開示によるシステムおよび方法のさらなる例について記載する。
第１の例のコンピュータが実行する方法は、環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、仮定した前記音場シナリオに基づき共分散行列モデルを決定する工程と、受信した前記オーディオ信号に基づき共分散行列を計算する工程と、前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、を備える。
【０１５２】
第２の例：第１の例の方法は、複数の出力信号を生成するための複数の音場シナリオを仮定する工程をさらに備える。
第３の例：第２の例の方法は、複数の生成された出力信号が比較され、複数の出力の生成された信号のうち最高の信号対雑音比を有する出力信号が最終出力信号として選択される。
【０１５３】
第４の例：前記パワーの推定はフロベニウス・ノルムに基づく、第１〜第３の例のうちの１つの方法。
第５の例：前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、第１〜第４の例のうちの１つの方法。
【０１５４】
第６の例：前記音場シナリオを仮定し、前記共分散行列モデルを決定し、前記共分散行列を計算するために、音源位置特定法を用いて前記音源のうちの１つ以上の位置を決定する工程を更に備える、第１〜第５の例のうちの１つの方法。
【０１５５】
第７の例：前記共分散行列モデルは、複数の仮定された音場シナリオに基づき生成される、第１〜第６の例のうちの１つの方法。
第８番の例：雑音を低減する目的関数を最大化するように１つの共分散行列モデルが選択される、例７の方法。
【０１５６】
第９の例：目的関数は、最終出力オーディオ信号の標本分散である、例８の方法。
第１０の例：装置であって、１または複数の処理デバイスと命令を記憶する１または複数のストレージ・デバイスとを備え、前記命令は、前記１または複数の処理デバイスによる実行時、前記１または複数の処理デバイスに、環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、仮定した前記音場シナリオに基づき共分散行列モデルを決定する工程と、受信した前記オーディオ信号に基づき共分散行列を計算する工程と、前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、を実行させる装置。
【０１５７】
第１１の例：複数の出力信号を生成するための複数の音場シナリオを仮定する工程をさらに備える、例１０の装置。
第１２の例：複数の生成された出力信号が比較され、複数の出力の生成された信号のうち最高の信号対雑音比を有する出力信号、例１１の装置。
【０１５８】
第１３の例：前記パワーの推定はフロベニウス・ノルムに基づく、例１０〜１２のうちの１つの装置。
第１４の例：前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、例１０〜１３のうちの１つの装置。
【０１５９】
第１５の例：前記音場シナリオを仮定し、前記共分散行列モデルを決定し、前記共分散行列を計算するために、音源位置特定法を用いて前記音源のうちの１つ以上の位置を決定する工程をさらに備える、例１０〜１４のうちの１つの装置。
【０１６０】
第１６の例：コンピュータ可読媒体であって、環境中の音源からマイクロホンアレイを介してオーディオ信号を受信する工程と、受信した前記オーディオ信号に基づき音場シナリオを仮定する工程と、受信した前記オーディオ信号に基づき固定のビームフォーマ係数を計算する工程と、仮定した音場シナリオに基づき共分散行列モデルを決定する工程と、受信した前記オーディオ信号に基づき共分散行列を計算する工程と、前記音源のパワーを推定し、決定した前記共分散行列モデルと計算した前記共分散行列との間の差を最小化する解を発見する工程と、推定した前記パワーに基づきポストフィルタ係数を計算し、適用する工程と、受信した前記オーディオ信号と前記ポストフィルタ係数とに基づき、出力オーディオ信号を生成する工程と、のための命令のセットを含む。
【０１６１】
第１７の例：複数の出力信号を生成するための複数の仮定された音場シナリオ、例１６のコンピュータ可読媒体。
第１８の例：複数の生成された出力信号が比較され、複数の出力の生成された信号のうち最高の信号対雑音比を有する出力信号、例１７のコンピュータ可読媒体。
【０１６２】
第１９の例：前記パワーの推定はフロベニウス・ノルムに基づく、例１６〜１８のうちの１つのコンピュータ可読媒体。
第２０の例：前記フロベニウス・ノルムは、前記共分散行列のエルミート対称性を用いて計算される、例１６〜１９のうちの１つのコンピュータ可読媒体。
【０１６３】
第２１の例：コンピュータによる実行時、例１〜９のうちの１つの方法を実行する命令のセットを含むコンピュータ・プログラム。
マイクロホンアレイ音声強調のための既存のポストフィルタリング方法は、２つの共通の欠点を有する。第１に、それらの方法では雑音が白色雑音または拡散性雑音であると仮定するので、点干渉物に対処することができない。第２に、それらの方法では一度に２つのマイクロホンしか用いないでポストフィルタ係数を推定し、すべてのマイクロホン対を通じて平均化して、準最適解を得る。本明細書に記載の実施形態によれば、白色雑音、拡散性雑音、および点干渉物を扱う信号モデルを実装する、ポストフィルタリング解を記述する方法が提供されている。実施形態によれば、この方法は、マイクロホンアレイにおけるマイクロホンの全体最適化された最小二乗手法も実装し、既存の従来方法よりも最適な解を提供する。実験結果によって、記載の方法が様々な音響シナリオにおいて従来方式より優れた性能を有することを実証する。
【図１】
2019508719.tif 000053
【図２】
2019508719.tif 000054
【図３】
2019508719.tif 000055
【図４】
2019508719.tif 000056
【図５】
2019508719.tif 000057
【図６】
2019508719.tif 000058
【図７】
2019508719.tif 000059
【国際調査報告】
2019508719.tif 000060
2019508719.tif 000061
2019508719.tif 000062