(57)【要約】少なくとも１人の話者に関連する増強音声データを生成するシステムおよび方法。増強音声データを生成するプロセスは、遠隔音響センサから遠隔信号データを受信するステップと、遠隔音響センサよりも話者の近くに配置された近接音響センサから近接信号データを受信するステップと、話者のエリアにおいて音響信号を光学的に検出するように構成された光ユニットから発する光データを受信し、話者の音声に関連するデータを出力するステップと、音声基準および雑音基準を生成するために、遠隔信号データおよび近接信号データを処理するステップと、雑音基準を使用して、定常および／または過渡雑音信号成分を識別する適応雑音推定モジュールを動作させるステップと、増強音声データを作成するために、光データ、音声基準、および適応雑音推定モジュールから識別された雑音信号成分を使用するポスト・フィルタリング・モジュールを動作させ、出力するステップとを含む。【選択図】図２
2017537344.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１人の話者に関連する増強音声データを生成する方法であって、
ａ）少なくとも１つの遠隔音響センサから遠隔信号データを受信するステップと、
ｂ）前記少なくとも１つの遠隔音響センサよりも前記話者の近くに配置された少なくとも１つの他の近接音響センサから近接信号データを受信するステップと、
ｃ）前記話者のエリアにおいて音響信号を光学的に検出するように構成された少なくとも１つの光ユニットから発する光データを受信し、前記話者の音声に関連するデータを出力するステップと、
ｄ）音声基準および雑音基準を生成するために、前記遠隔信号データおよび前記近接信号データを処理するステップと、
ｅ）定常および／または過渡雑音信号成分を識別するように構成された適応雑音推定モジュールを動作させるステップであって、前記適応雑音推定モジュールが前記雑音基準を使用する、ステップと、
ｆ）増強音声基準データを作成するために、前記光データ、音声基準、および前記適応雑音推定モジュールから識別された前記雑音信号成分を使用するポスト・フィルタリング・モジュールを動作させ、出力するステップと、
を含む、方法。
【請求項２】
請求項１記載の方法において、前記光データが、音声および非音声、並びに／または前記光センサによって検出された音響信号の音声活動関係周波数を示す、方法。
【請求項３】
請求項１または２記載の方法において、前記光信号が、前記話者の音声の音声活動(voice activity)およびピッチを示し、前記光信号が、音声活動検出（ＶＡＤ）およびピッチ検出プロセスを使用することによって得られる、方法。
【請求項４】
請求項１から３のいずれか１項記載方法において、前記ポスト・フィルタリング・モジュールが、更に、前記適応雑音推定モジュールを更新するように構成される、方法。
【請求項５】
請求項１から４のいずれか１項記載の方法において、前記方法が、更に、暫定定常雑音低減プロセスを含み、このプロセスが、
・前記近接および遠隔音響センサの定常雑音を検出するステップと、
・前記近接信号データおよび遠隔信号データから定常雑音を抽出するステップと、
を含み、前記暫定定常雑音低減プロセスが、前記遠隔および近接信号データの処理のステップ（ｄ）の前に実行される、方法。
【請求項６】
請求項１から５のいずれか１項記載の方法において、前記暫定定常雑音低減プロセスが、少なくとも１つの音声確率推定プロセスを使用して実行される、方法。
【請求項７】
請求項１から６のいずれか１項記載の方法において、前記暫定定常雑音低減プロセスが、ＯＭＬＳＡに基づくアルゴリズムを使用して実行される、方法。
【請求項８】
請求項１から７のいずれか１項記載の方法において、前記音声基準が、前記近接データを前記遠隔データに重畳することによって生成され、前記雑音基準が、前記遠隔データを前記近接データから減算することによって生成される、方法。
【請求項９】
請求項１から８のいずれか１項記載の方法であって、前記雑音および音声基準に対して短期フーリエ変換（ＳＴＦＴ）作用素を動作させるステップであって、前記適応雑音低減モジュールおよび前記ポスト・フィルタリング・モジュールが、前記雑音低減プロセスのために、前記変換された基準を使用する、ステップと、
時間ドメインにおいて前記増強音声データを生成するために、逆ＳＴＦＴ（ＩＳＴＦＴ）を使用して、前記変換を逆変換するステップと、
を含む、方法。
【請求項１０】
請求項１から９のいずれか１項記載の方法において、その全てのステップが、リアル・タイムでまたはほぼリアル・タイムで実行される、方法。
【請求項１１】
少なくとも１人の話者に関連する増強音声データを生成するシステムであって、
ａ）遠隔信号データを出力する少なくとも１つの遠隔音響センサと、
ｂ）前記少なくとも１つの遠隔音響センサよりも前記話者の近くに配置された少なくとも１つの近接音響センサであって、近接信号データを出力する、近接音響センサと、
ｃ）前記話者のエリアにおいて音響信号を光学的に検出し、それに関連する光信号を出力するように構成された少なくとも１つの光ユニットと、
ｄ）モジュールを動作させる少なくとも１つのプロセッサと、
を含み、前記プロセッサが、
・前記音響および光センサから近接データ、遠隔データ、および光データを受信し、
・時間ドメインの音声基準および雑音基準を生成するために、前記遠隔信号データおよび前記近接信号データを処理し、
・定常および／または過渡雑音信号成分を識別するように構成された適応雑音推定モジュールを動作させ、前記適応雑音推定モジュールが前記雑音基準を使用し、
・増強音声基準データを作成するために、前記光データ、音声基準、および前記適応雑音推定モジュールからの前記識別された雑音信号成分を使用するポスト・フィルタリング・モジュールを動作させ、増強音声基準データを出力する、
ように構成される、システム。
【請求項１２】
請求項１１記載のシステムにおいて、前記近接音響センサがマイクロフォンを含み、前記遠隔音響センサがマイクロフォンを含む、システム。
【請求項１３】
請求項１１または１２記載のシステムにおいて、前記光センサが、コヒーレント光源と、送信されたコヒーレント光ビームの反射の検出によって、前記話者の音声に関係する前記話者の振動を検出する少なくとも１つの光検出器とを含む、システム。
【請求項１４】
請求項１１から１３のいずれか１項記載のシステムにおいて、前記音響近接および遠隔センサ、ならびに前記光センサが、各々が話者に向けられるように位置付けられる、システム。
【請求項１５】
請求項１１から１４のいずれか１項記載のシステムにおいて、前記光データが、音声および非音声、並びに／または前記光センサによって検出された前記音響信号の音声活動関係周波数を示す、システム。
【請求項１６】
請求項１１から１５のいずれか１項記載のシステムにおいて、前記光データが、前記話者の音声の音声活動(voice activity)およびピッチを示し、前記光データが、音声活動検出（ＶＡＤ）およびピッチ検出プロセスを使用することによって得られる、システム。
【請求項１７】
請求項１１から１６のいずれか１項記載のシステムであって、残留雑音を識別し、前記適応雑音推定モジュールを更新するように構成されたポスト・フィルタリング・モジュールを含む、システム。
【請求項１８】
請求項１１から１７のいずれか１項記載のシステムであって、前記システムが車両システムとして実装され、前記少なくとも１つの遠隔音響センサが車両内部に配置され、前記少なくとも１つの近接音響センサが前記車両内部に配置され、前記少なくとも１つの近接音響センサが、前記少なくとも１つの遠隔音響センサに関して、前記車両の運転者座席に近づけて配置される、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願に対する相互引用
[0001]  本願は、２０１４年１１月６日に出願された米国仮特許出願第６２／０７５，９６７号の優先権を主張し、その利益を享受するものである。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。更に、本願は、２０１５年１月２９日に出願された米国特許出願第１４／６０８，３７２号の優先権および権利も主張する。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。
【０００２】
[0002]  本発明は、一般に、音響信号(acoustic signal)および／またはオーディオ信号(audio signal)から雑音を低減する方法およびシステムに関し、更に特定すれば、音声の検出および増強の目的で音響信号および／またはオーディオ信号から雑音を低減する方法およびシステムに関するものである。
【背景技術】
【０００３】
[0003]  音響信号を取り込むために、種々のタイプの電子デバイスが音響マイクロフォン(acoustic microphone)を利用する。例えば、セルラ・フォン、スマートフォン、およびラップトップ・コンピュータは、通例、音響信号を取り込むことができるマイクロフォンを含む。生憎、このようなマイクロフォンは、所望の音響信号（例えば、話している人の音声）を取り込むことに加えてまたはその代わりに、雑音および／または干渉も取り込むのが通例である。
【発明の概要】
【課題を解決するための手段】
【０００４】
[0004]  本発明のある実施形態によれば、音響信号および／またはオーディオ信号から雑音を低減し、および／またはそれに関連する増強音声データを生成する方法を提供する。ある実施形態では、この方法は、例えば、（ａ）少なくとも１つの遠隔（または遠端）音響センサまたはオーディオ・センサまたは音響マイクロフォンから遠隔（または遠端）信号データを受信するステップと、（ｂ）少なくとも１つの遠隔音響センサよりも話者の近くに配置された少なくとも１つの他の近接（近端)(proximal)音響センサ（または、オーディオ・センサ若しくは音響マイクロフォン）から同じ時間ドメインの近接（または近端）信号データを受信するステップと、（ｃ）話者のエリア（例えば、空間エリア若しくは空間領域、または空間近傍若しくは推定空間近傍）において音響信号を光学的に検出するように構成された少なくとも１つの光センサ（例えば、光マイクロフォン、レーザ・マイクロフォン、レーザ・ベース・マイクロフォン）から発する同じ時間ドメインの光データを受信し、話者の音声に関連するデータを出力するステップと、（ｄ）時間ドメインの音声基準および雑音基準を生成し、遠隔信号データおよび近接信号データを処理するステップと、（ｅ）更新雑音基準を出力するために、近接および遠隔信号データに加えて光データを使用することによる、定常および過渡雑音の識別によって、雑音基準を更新する、および／または雑音基準の精度を高めるための少なくとも１つの適応フィルタを使用する適応雑音推定モジュールを自動的に動作させる（または適応雑音推定プロセスを自動的に実行する）ステップと、（ｆ）更新雑音基準を音声基準から差し引く(deduct)ことによって、増強音声データを生成するステップとを含む。
【０００５】
[0005]  本発明のある実施形態によれば、光データは、音声および非音声、並びに／または少なくとも１つの光センサによって検出された音響信号の音声活動関係周波数を示す。例えば、光データは話者の音声の音声活動およびピッチを示し、光データは、音声活動検出（ＶＡＤ）および／またはピッチ検出プロセス、またはその他の適したプロセスを使用することによって得られる。
【０００６】
[0006]  ある実施形態では、この方法は、更に、任意に、残留雑音成分を更に低減し、適応雑音推定モジュールによって使用される少なくとも１つの適応フィルタを更新するように構成されたポスト・フィルタリング・モジュールを動作させ、例えば、ポスト・フィルタリング・モジュールが、光データを受信しそれを処理して、音声および非音声、および／または少なくとも１つの光センサによって検出された音響信号の音声活動関係周波数の識別によって過渡雑音を識別するようにしたステップを含む。
【０００７】
[0007]  以上のことに加えてまたはその代わりに、この方法は、任意に、暫定定常雑音低減プロセスを含み、このプロセスが、近接および遠隔音響センサにおける定常雑音を検出するステップと、近接信号データおよび遠隔信号データから定常雑音を低減するステップとを含む。例えば、暫定定常雑音低減プロセスは、遠隔および近接信号データの処理のステップ（ｄ）の前に実行されてもよい。他の適した実行順序（１つまたは複数）が使用されてもよい。
【０００８】
[0008]  任意に、暫定定常雑音低減プロセスは、少なくとも１つの音声確率推定プロセスを使用して実行される。ある実施形態では、暫定定常雑音低減プロセスが、最適修正平均二乗誤差対数スペクトル振幅（ＯＭＬＳＡ）に基づくアルゴリズムまたはプロセスを使用して実行される。
【０００９】
[0009]  任意に、音声基準は、近接データを遠隔データに重畳することによって生成され、雑音基準は、遠隔データを近接データから減算することによって生成される。
【００１０】
[0010]  加えてまたは代わりに、この方法は、更に、雑音および音声基準に対して短期フーリエ変換（ＳＴＦＴ）作用素(operator)を動作させるステップであって、適応雑音低減モジュールが、雑音低減プロセスのために、変換された基準を使用するステップと、増強音声データを生成するために、逆ＳＴＦＴ（ＩＳＴＦＴ）を使用して、変換を逆変換するステップとを含む。
【００１１】
[0011]  任意に、この方法は、更に、少なくとも１つのオーディオ出力デバイス（例えば、オーディオ・スピーカ、オーディオ・イヤホン等）を使用して、雑音低減音声音響信号(noise-reduced speech acoustic signal)である増強音声データを使用して増強音響信号を出力するステップを含む。
【００１２】
[0012]  加えてまたは代わりに、例えば、話者が話す間に雑音が消去または軽減または除去されるか、あるいは話者が話す間に同時にそうされるように、この方法の一部または全部のステップが、リアル・タイムでまたはほぼリアル・タイムで、あるいは実質的にリアル・タイムで実行される。
【００１３】
[0013]  本発明のある実施形態によれば、音響信号からの雑音を低減し、それに関連する増強音声データを生成するシステムを提供する。このシステムは、例えば、（ａ）遠隔信号データを出力する少なくとも１つの遠隔音響センサまたはマイクロフォンと、（ｂ）少なくとも１つの遠隔音響センサよりも話者の近くに配置された少なくとも１つの他の近接音響センサまたはマイクロフォンであって、近接信号データを出力する、近接音響センサと、（ｃ）話者のエリア（または近傍、または推定位置）において音響信号を光学的に検出し、それに関連する光データを出力するように構成された少なくとも１つの光センサ（例えば、レーザ・マイクロフォン、レーザ・ベース・マイクロフォン、光マイクロフォン）と、（ｄ）話者のエリアにおけるその音声を増強するために音響センサおよび光センサからの受信データを処理するように構成されたモジュールを動作させる少なくとも１つのプロセッサまたはコントローラまたはＣＰＵまたはＤＳＰまたは集積回路（ＩＣ）または論理ユニットとを含む。
【００１４】
[0014]  ある実施形態では、プロセッサ（または他の適したモジュールまたはユニット）は、（ｉ）音響および光センサから近接データ、遠隔データ、および光データを受信し、（ｉｉ）時間ドメインの音声基準および雑音基準を生成するために、遠隔信号データおよび近接信号データを処理し、（ｉｉｉ）更新雑音基準を出力するために、近接および遠隔信号データに加えて光データを使用することによる、定常および過渡雑音の識別によって、雑音基準を更新するおよび雑音基準の精度を高めるための少なくとも１つの適応フィルタを使用する適応雑音推定モジュールを動作させ、（ｉｖ）更新雑音基準を音声基準から差し引くことによって、増強音声データを生成するように構成することができるモジュールを動作させる。
【００１５】
[0015]  任意に、少なくとも１つの近接音響センサはマイクロフォンを含み、少なくとも１つの遠隔音響センサはマイクロフォンを含む。
【００１６】
[0016]  加えてまたは代わりに、少なくとも１つの光センサは、コヒーレント光源またはコヒーレント・レーザ源と、送信されたコヒーレント光ビームまたはコヒーレント・レーザ・ビームの反射の検出によって、話者の音声に関係する話者の振動を検出する少なくとも１つの光検出器とを含む。
【００１７】
[0017]  ある実施形態では、音響近接および遠隔センサ、ならびに少なくとも１つの光センサは、各々が話者に(to)、または話者の方に(toward)、あるいは話者の概略位置または概略近傍の方に、あるいは話者の推定近傍の方に向けられるように位置付けられる。
【００１８】
[0018]  任意に、光データは、音声および非音声、および／または光センサによって検出された音響信号の音声活動関係周波数を示す。光データは、話者の音声の音声活動(voice activity)およびピッチを具体的に示すのでもよく、光データは、音声活動検出（ＶＡＤ）およびピッチ検出プロセスを使用することによって得られてもよい。
【００１９】
[0019]  更に、このシステムは、任意に、例えば、光データを受信し、それを処理して、音声および非音声の識別、および／または光センサによって検出された音響信号の音声活動関係周波数によって過渡雑音を識別することによって、残留雑音を識別し、適応雑音推定モジュールによって使用される少なくとも１つの適応フィルタを更新するように構成されたポスト・フィルタリング・モジュールを含む。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明のある実施形態によるスピーカの既定エリア内に配置された１つの近接マイクロフォン、１つの遠隔マイクロフォン、および１つの光センサを有する、雑音低減および音声増強システムの模式図である。
【図２】図２は、本発明のある実施形態によるシステムの動作を模式的に示すブロック図である。
【図３】図３は、本発明のある実施形態による雑音低減および音声増強のプロセスを模式的に示すフローチャートである。
【発明を実施するための形態】
【００２１】
[0023]  以下に続く種々の実施形態の詳細な説明では、その一部を形成する添付図面を参照する。図面では、例示として、本発明を実施することができる具体的な実施形態が示されている。尚、本発明の範囲から逸脱することなく、他の実施形態を利用してもよく、構造的な変更を行ってもよいことは言うまでもない。
【００２２】
[0024]  本発明は、そのいくつかの実施形態において、雑音低減および音声認識を改良するために、補助の１つ以上の非接触光センサを使用するシステムおよび方法を提供する。例えば、本発明は、光センサ（１つまたは複数）、または光マイクロフォン（１つまたは複数）またはレーザ・マイクロフォン（１つまたは複数）を利用することができる。これらは、話者の身体や顔には接触しなくてもよく、話者の身体または顔から離れて、または遠くに配置されてもよい。本発明の音声増強プロセス（１つまたは複数）は、雑音低減および音声認識を改良するために、話者の既定エリア内における話者に関して異なる距離に配置された音響マイクロフォンというような複数の音響センサと、話者に近接して配置されるが必ずしも話者の皮膚には接触しなくてもよい１つ以上の光センサとを効率的に使用する。ある実施形態では、この雑音低減および音声増強プロセスの出力は、話者の音声を示す増強雑音低減音響信号データとなる。
【００２３】
[0025]  音響センサからのデータは、最初に、音声および雑音基準を作成するために処理され、これらの基準は、光センサからのデータと組み合わせて使用され、高度雑音低減および音声認識を実行して、大幅に雑音低減して話者の音声のみを表す音響信号を示すデータを出力する。
【００２４】
[0026]  これより図１を参照すると、図１は、本発明のある実施形態による、既定エリアにいる話者１０から発する音声音響信号の雑音低減および音声増強のためのシステム１００を模式的に示す。システム１００は、少なくとも３つのセンサ、好ましくは話者に近接して配置された近接マイクロフォン１１２のような少なくとも１つの近接音響センサ、近接マイクロフォン１１２よりも話者１０から離れた距離のところに配置された遠隔マイクロフォン(distant microphone)１１１のような少なくとも１つの遠隔音響センサ、および好ましくは話者１０に向けられた、光マイクロフォンのような、少なくとも１つの光センサ・ユニット１２０を使用する。加えて、システム１００は、プロセッサ１１０のような１つ以上のプロセッサも含む。プロセッサ１１０は、遠隔および近接マイクロフォン１１１および１１２それぞれから到達するデータ、ならびに光センサ・ユニット１２０から到達するデータを受信および処理して、劇的に雑音が低減されたオーディオ信号データを出力する。この信号は話者１０の増強音声データである。これが意味するのは、システム１００が、１１１、１１２、および１２０のセンサからのデータを使用し、更に音響センサ１１１および１１２の相対的な定位(localization)を使用して、１つ以上に非常に高度な雑音低減および音声活動検出（ＶＡＤ：voice activity detection）プロセスを処理することによって、主に話者の音声関係信号を増強するように構成されているということである。
【００２５】
[0027]  ある実施形態によれば、光センサ・ユニット１２０は、音声関係音響信号を光学的に測定および検出して、それを示すデータを出力するように構成されている。例えば、レーザ・ベースの光マイクロフォンは、コヒーレント光源と光検出器とを有し、プロセッサ・ユニットが、ドプラに基づく分析または干渉パターンに基づく技能等の、振動測定法に基づく技法のような抽出技法を使用して、オーディオ信号データの抽出を可能にする。光センサは、ある実施形態では、コヒーレント光信号を話者に向けて送信し、話者の振動面から反射した光反射パターンを測定する。光学的に話者（１人または複数）のオーディオ・データを決定するためには、任意の他のセンサ・タイプおよび技法を使用することもできる。
【００２６】
[0028]  ある実施形態では、センサ・ユニット１２０は、レーザ・ベースの光源と光検出器とを含み、話者または他の反射面からの検出された反射光を示す生光信号データを単に出力するだけである。これらの場合、データは、例えば、音声検出およびＶＡＤプロセスを使用することによって（例えば、話者の音声ピッチ(voice pitch)の識別によって）、光センサから音声信号データを推論する(deduce)ためにプロセッサ１１０によって更に処理される。他の場合では、センサ・ユニットは、検出器の出力信号の処理の少なくとも一部を実行することを可能にするプロセッサを含む。双方の場合において、光センサ・ユニット１２０は、音声関係光データを推論することを可能にする。光関係光データを、ここでは短くして「光データ」と呼ぶ。
【００２７】
[0029]  遠隔および近接センサからの出力信号、例えば、遠隔および近接マイクロフォン１１１および１１２それぞれからの出力信号は、暫定雑音低減プロセスによって、最初に処理することができる。例えば、定常雑音成分を識別するために、定常雑音低減プロセスを実行し、各音響センサ（例えば、マイクロフォン１１１および１１２）の出力信号からこれらを低減するのでもよい。他の実施形態では、最適修正平均二乗誤差対数スペクトル振幅（ＯＭＬＳＡ）アルゴリズムまたは当技術分野において周知の音響センサ出力用の任意の他の雑音低減技法のような、１つ以上の音声確率推定プロセスを使用して、定常雑音を識別し低減することもできる。
【００２８】
[0030]  遠隔および近接センサのオーディオ・データ（初期雑音低減プロセスによって改良されたか、またはセンサの生出力信号かには関係なく）は、ここでは短くして遠隔オーディオ・データおよび近接オーディオ・データとそれぞれ呼ばれ、音声信号を示すアレイまたはマトリクスのようなデータ・パケットである音声基準と、音声信号と同じ時間ドメインの音声信号を示すアレイまたはマトリクスのようなデータ・パケットである雑音基準とを生成するために処理される。
【００２９】
[0031]  次いで、雑音基準は、更に、適応雑音推定モジュールによって処理および改良され、改良された雑音基準は、次いで、光ユニット１２０からのデータと共に使用され、ポスト・フィルタリング・モジュールを使用して、音声基準からの雑音を更に低減し、増強音声データを出力する。増強音声データは、スピーカ３０のような１つ以上のオーディオ出力デバイスを使用して、増強音声オーディオ信号として出力することができる。
【００３０】
[0032]  本発明のある実施形態によれば、センサ１１１、１１２および１２０の出力信号の処理は、プロセッサが埋め込まれた、１つ以上の指定されたコンピュータ化システムによって、並びに／または１つ以上の他のハードウェアおよび／若しくはソフトウェア手段(instrument)を通じて、リアル・タイムでまたはほぼリアル・タイムで実行することができる。
【００３１】
[0033]  図２は、本発明のある実施形態によるシステムのアルゴリズム動作を模式的に示すブロック図である。このプロセスは４つの主要な部分、（ｉ）遠隔および近接マイクロフォン（ブロック１）から発したデータを多少増強し、光センサ（ブロック２）から音声活動検出（ＶＡＤ）およびピッチ情報を抽出する前処理部、ｉｉ）音声および雑音基準信号の生成（それぞれ、ブロック３および４）、ｉｉｉ）適応雑音推定（ブロック５）、およびｉｖ）Cohen et al., 2003 Aに記載されているフィルタリング技法を任意に使用するポスト・フィルタリングによるポスト・フィルタリング手順（ブロック６）を含む。
【００３２】
[0034]  ある実施形態によれば、２つの音響センサからの出力（ｚ１（ｎ）によって表される近接マイクロフォン１２の出力、およびｚ２（ｎ）によって表される遠隔マイクロフォン１１の出力）は、最初に、ブロック３および４を処理する１つ以上の雑音低減アルゴリズム１１ａおよび１２ａを使用して、暫定雑音低減プロセス（ブロック１）によって増強され、遠隔および近接マイクロフォン１１および１２の初期雑音低減出力から音声基準および雑音基準を作成する。音声基準をｙ（ｎ）で示し、雑音基準をｕ（ｎ）で示す。更に、これらの基準（例えば、信号またはデータ・パケットとして出力される）は、例えば、短時間フーリエ変換（ＳＴＦＴ）作用素１５／１６を使用することによって、時間−周波数ドメインに変換される。雑音基準信号の変換出力をＵ（ｋ,ｌ）で示す。変換雑音基準Ｕ（ｋ，ｌ）は、更に、適応雑音推定作用素またはモジュール１７によって処理され、変換音声基準からの定常および過渡雑音成分を抑制して、初期増強音声基準Ｙ（ｋ，ｌ）を出力する。音声基準変換信号Ｙ（ｋ，ｌ）は、最終的に、ブロック６によって、ポスト・フィルタリング・モジュール１８を使用して、光センサ・ユニット２０からの光データを使用して、ポスト・フィルタリング処理され、変換音声基準から残留雑音成分を低減する。また、このブロックは、任意に過渡（非定常）雑音の識別および音声検出のために、ＶＡＤのような光センサ・ユニットからの情報と、ブロック２において導かれたピッチ推定値とを合体するincorporate)。したがって、ブロック６において、どのカテゴリ（定常雑音、過渡雑音、音声）に所与の時間−周波数ビンが属するか判定するために、ある仮説検査を実行する。これらの判断も、適応雑音推定プロセス（ブロック５）および基準信号生成（ブロック３〜４）に組み込まれる。例えば、光学系仮説判断(optically-based hypothesis decision)が、基準信号の抽出、ならびに定常および過渡雑音成分に関係する適応フィルタの推定を改良するために、信頼性のある時間−周波数ＶＡＤとして使用される。結果的に得られた増強音声オーディオ信号は、最終的に、逆ＳＴＦＴ（ＩＳＴＦＴ）１９によって時間ドメインに変換され、
【数１】
2017537344.tif 000003
が得られる。次の副章では、各ブロックについて端的に説明する。
【００３３】
[0035]  ブロック１：定常雑音低減
このアルゴリズムの第１ステップ、前処理ステップでは、近接および遠隔マイクロフォン信号は、定常雑音成分を抑制することによって、多少増強される。この雑音抑制は任意であり、Cohen et al., 2001に記載されているような従来のＯＭＬＳＡアルゴリズムを使用することによって実行することができる。具体的には、音声存在不確実性の下で対数スペクトルの平均二乗誤差を最小化することによって、スペクトル−利得関数を評価する。このアルゴリズムは、Cohen et al., 2003Bに記載されているような、改良最小値制御再帰平均（ＩＭＣＲＡ：improved minima-controlled recursive averaging）アルゴリズムによって得られる定常雑音スペクトル推定量(stationary-noise spectrum estimator)、ならびに利得関数を評価するための信号対雑音比（ＳＮＲ）および音声確率推定量(estimator)を採用する。音声の理解可能性を損なうことなく雑音を低減する方法で、増強−アルゴリズム・パラメータを調整する。このブロック機能は、ブロック３および４のために信頼性のある音声および雑音基準信号を連続的に生成するために必要とされる。
【００３４】
[0036]  ブロック２：ＶＡＤおよびピッチ抽出
このブロックは、前処理ステップの一部であり、光ユニット２０の出力データからできるだけ多くの情報を抽出しようとする。具体的には、ある実施形態によれば、このアルゴリズムは、光信号が音響干渉を寄せ付けない(immune)ことを本質的に想定し、例えば、Avargel et al., 2013に記載されている技法を使用して、空間高調波パターンを検索することによって、所望の話者のピッチ周波数を検出する。ピッチ追跡は繰り返し動的−プログラミングに基づくアルゴリズム(iterative dynamic-programming-based algorithm)によって遂行され、結果的に得られたピッチは、最終的に、ソフト判断音声活動検出（ＶＡＤ）を行うために使用される。
【００３５】
[0037]  ブロック３：音声基準信号の生成
ある実施形態によれば、このブロックは、所望の話者とは異なる方向から来るコヒーレント雑音成分を消去する(nulling out)ことによって、音声基準信号を生成するように構成されている。このブロックは、ビーム形成、近接カーディオイド、近接超カーディオイド等のような、近接および遠隔マイクロフォン１２および１１からそれぞれ発する出力または改良出力（暫定定常雑音低減後）の可能な異なる重畳を含む。
【００３６】
[0038]  ブロック４：雑音基準信号の生成
このブロックは、例えば、しかるべき遅延および利得を利用することによって、所望の話者方向から到来するコヒーレント音声成分を消去することによって、雑音基準信号を生成することを目的とし、遠隔カーディオイド極パターンを生成することができる（Chen et al., 2004を参照のこと）。その結果、雑音基準信号は殆ど雑音で構成する(consist of)ことができる。
【００３７】
[0039]  ブロック５：適応雑音推定
このブロックはＳＴＦＴドメインにおいて利用され、固定ビーム形成（ブロック３）のサイド・ローブから(through)漏れる定常および過渡双方の雑音成分を識別し排除するように構成されている。具体的には、各周波数ビンにおいて、２組以上の適応フィルタを定める。第１組のフィルタは定常雑音成分に対応し、一方、第２組のフィルタは過渡（非定常）雑音成分に関係する。したがって、これらのフィルタは、正規化最少平均二乗（ＮＬＭＳ）アルゴリズムを使用して、推定された仮説（ブロック６において導かれる定常および過渡）に基づいて、適応的に更新される。次いで、これらの組のフィルタの出力は、個々の周波数において音声基準信号から減算されて、ＳＴＦＴドメインにおいて部分的なまたは初期増強された音声基準信号Ｙ（ｋ，ｌ）を生成する。
【００３８】
[0040]  ブロック６：ポスト・フィルタリング
このモジュールは、音声存在不確実性の下で対数スペクトルの平均二乗誤差を最小化するスペクトル−利得関数（Cohen et al., 2003Bを参照のこと）を推定することによって、残留雑音成分を低減するために使用される。具体的には、このブロックは、所与の時間−周波数ドメインにおいて、改良された音声基準信号（適応フィルタリング後）と雑音基準信号との間の比率を使用して、仮説の各々−定常雑音、過渡雑音、および所望の音声−の間で適正に区別する。更に信頼性の高い仮説判断を達成するために、光信号（ブロック２）からの先見的音声情報(priori speech information)（活動検出およびピッチ周波数）も合体する。この仮説検査は、光情報と組み合わせて、効率的なＳＮＲおよび音声確率推定量(speech-probability estimator)、ならびに背景雑音パワー・スペクトル密度（ＰＳＤ）推定（定常および過渡成分双方に対する）を得るために採用される。次いで、結果的に得られた推定値は、最適なスペクトル利得Ｇ（ｋ，ｌ）を評価するときに使用され、一方最適なスペクトル利得Ｇ（ｋ，ｌ）は、以下の式によって、所望の話者の明確なＳＴＦＴ推定量を生成する。
【数２】
2017537344.tif 000004
【００３９】
[0041]  最後に、逆ＳＴＦＴ（ＩＳＴＦＴ）を適用して、時間ドメインの所望の話者推定量
【数３】
2017537344.tif 000005
を得る。これは話者の音声の増強オーディオ信号データを示す。
【００４０】
[0042]  これより図３を参照する。図３は、本発明のある実施形態による雑音低減および音声増強方法を模式的に示すフローチャートである。このプロセスは、話者の音声の検出のために、遠隔音響センサ３１ａからデータ／信号を受信し、近接音響センサ３１ｂからデータ／信号を受信し、光センサ・ユニット３１ｃからデータ／信号を受信するステップを含む。これらは全て既定エリアの音響を示し、遠隔音響センサは近接音響センサよりも、話者から離れて配置されている。任意に、音響センサのデータは、例えば、ＯＭＬＳＡのような定常雑音低減作用素を使用することによって、ステップ３２ａおよび３２ｂに示すように、暫定雑音低減プロセスによって処理される。
【００４１】
[0043]  次いで、音響センサからの生信号、または音響センサから発した固定雑音低減信号を処理して、雑音基準および音声基準３３を作成する。双方のセンサのデータは、各基準の計算のために考慮に入れられる。例えば、音声基準信号を計算するために、所望の話者とは異なる方向からの雑音成分が大幅に低減されるように、近接および遠隔センサをしかるべき遅延させて合計する。雑音基準も同様に生成するが、ここでは、近接および遠隔センサの適正な利得および遅延によって、コヒーレントな音声(coherent speaker)が除外されることだけが異なる。
【００４２】
[0044]  任意に、例えば、ＳＴＦＴ３４によって雑音および音声基準信号を周波数ドメインに変換し、ここではこの変換された信号データを音声データと呼ぶ。雑音成分の識別精度を高めるために、例えば、非定常（過渡）雑音成分および更に他の定常雑音成分を識別するために、適応雑音推定モジュール（例えば、アルゴリズム）３５を使用して、更に雑音データを処理する。適応雑音推定モジュールは、計算アルゴリズムにおいて雑音基準データ（即ち、変換された雑音基準信号）を使用して定常雑音成分を計算する第１フィルタおよび非定常過渡雑音成分を計算する第２フィルタのような、１つ以上のフィルタを使用して、追加の雑音成分を計算する。計算アルゴリズムは、光ユニット３１ｃからの光データおよび音声基準データを考慮に入れるポスト・フィルタリング・モジュールによって更新することができる。次いで、追加の雑音成分を濾波して、部分的に増強された音声基準データ３６を作成する。
【００４３】
[0045]  更に、部分的に増強された音声基準データを、ポスト・フィルタリング・モジュール３７によって処理する。ポスト・フィルタリング・モジュール３７は、光ユニットから発した光データを使用する。ある実施形態では、ポスト・フィルタリング・モジュールは、光ユニットからの音声識別３１ｃ（話者のピッチ識別のような）およびＶＡＤ情報を受信するように、または光ユニットの検出器から発した生センサ・データを使用して音声およびＶＡＤコンポーネントを識別するように構成されている。更に、ポスト・フィルタリング・モジュールは、音声基準データ（即ち、変換音声基準）を受信し、これによって音声関係成分の識別を増強するように構成されている。
【００４４】
[0046]  最後に、ポスト・フィルタリング・モジュールは、最終音声増強信号３７を計算して出力し、更に任意に、特定のエリアおよびその中にいる話者に関係する音響センサ・データ３８の次の処理のために、適応雑音推定モジュールを更新する。
【００４５】
[0047]  以上で説明した話者の増強音声データを生成するための雑音低減および音声検出プロセスは、リアル・タイムでまたはほぼリアル・タイムで実行することができる。
【００４６】
[0048]  本発明は、音声内容認識アルゴリズム、即ち、単語認識等のような、および／または１つ以上のオーディオ・スピーカのような音響／オーディオ出力デバイスを使用してマイクロフォン出力の音響品質を改良するために、一層明確なオーディオ信号を出力するための他の音声認識システムおよび方法においても実現することができる。
【００４７】
[0049]  本発明のある実施形態では、「安全な」レーザ・ビームまたはレーザ源だけ、例えば、人体および／または人間の目に危害を与えないことが知られているレーザ・ビーム（１つまたは複数）またはレーザ源（１つまたは複数）、あるいは事故で短い時間期間人間の目に当たっても危害を与えないことが知られているレーザ・ビーム（１つまたは複数）またはレーザ源（１つまたは複数）が使用されてもよい。ある実施形態は、例えば、アイ・セーフ・レーザ、赤外線レーザ、赤外線光信号（１つまたは複数）、低強度レーザ、および／または他の適したタイプ（１つまたは複数）の光信号、光ビーム（１つまたは複数）、レーザ・ビーム（１つまたは複数）、赤外線ビーム（１つまたは複数）等を利用してもよい。尚、本発明のシステムおよび方法を安全にそして効率的に実現するために、１つ以上の適したタイプのレーザ・ビーム（１つまたは複数）またはレーザ源（１つまたは複数）を選択して利用すればよいことは、当業者には認められてしかるべきである。
【００４８】
[0050]  ある実施形態では、光マイクロフォン（または光センサ）および／またはそのコンポーネントは、自己混合モジュール(self-mix module)として実装されてもよい（または含んでもよい）。例えば、レーザ・ビームが物体から反射して逆にレーザに入射する、自己混合干渉測定技法（またはフィードバック干渉法、または誘導変調干渉法、または後方散乱変調干渉法）を利用する。反射光は、レーザ内部で生成される光と干渉し、これがレーザの光学的プロパティおよび／または電気的プロパティにおける変化の原因となる。目標物体およびレーザ自体についての情報は、これらの変化を分析することによって得ることができる。
【００４９】
[0051]  本発明は、雑音低減および／または音声増強から利益を得ることができる種々のデバイス若しくはシステムにおいて、これらと共に、またはこれらと併せて利用することができる。例えば、スマートフォン、セルラ・フォン、コードレス・フォン、テレビ会議システム、陸線電話システム、セルラ電話システム、音声メッセージング・システム、ボイス・オーバー・ＩＰシステム若しくはネットワーク、またはデバイス、車両、車両のダッシュボード、車両のオーディオ・システム若しくはマイクロフォン、聞き取り(dictation)システム若しくはデバイス、音声認識（ＳＲ）デバイス、モジュール若しくはシステム、自動音声認識（ＡＳＲ）モジュール、デバイス若しくはシステム、音声−テキスト変換器、変換システム若しくはあデバイス、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ノートブック・コンピュータ、タブレット、フォーン・タブレット若しくは「ファブレット」(phablet)デバイス、ゲーミング・デバイス、ゲーミング・コンソール、ウェアラブル・デバイス、スマート・ウオッチ、仮想現実（ＶＲ）デバイス若しくはヘルメット、めがね若しくはヘッドギア、拡張現実（ＡＲ）デバイス若しくはヘルメット、めがね若しくはヘッドギア、音声ベース・コマンド若しくはオーディオ・コマンドを利用するデバイス、システム若しくはモジュール、オーディオ信号、音声および／若しくは音響信号を取り込む、記録する、処理する、および／若しくは分析するデバイス若しくはシステム、並びに／またはその他の適したシステムおよびデバイスがあげられる。
【００５０】
[0052]  本発明のある実施形態では、レーザ・ビームまたは光ビームを、推定される話者の概略的な位置に向けること、あるいは話者がいる可能性があるまたは話者がいると推定される既定の目標エリアまたは目標領域に向けることができる。例えば、レーザ源を車両内部に配置してもよく、運転者の頭部が通例位置する概略的な位置を目標に定めることができる。他の実施形態では、システムは、任意に、例えば、画像認識に基づいて、ビデオ分析または画像分析に基づいて、既定の品目または物体に基づいて（例えば、話者が、特定の形状および／または色および／または特性を有する帽子あるいは襟のような特定の品目を身につけている場合もある）等で、人（または話者）の顔または口または頭を、例えば、突き止めるまたは発見するまたは検出するまたは追跡することができることができる１つ以上のモジュールを含むこともできる。ある実施形態では、レーザ源（１つまたは複数）は定常または固定でもよく、概略的な位置に向けて、または推定した話者の位置に向けて固定して指し示すこともできる。他の実施形態では、レーザ源（１つまたは複数）は固定されなくてもよく、あるいは、例えば、話者の概略的な位置または推定位置または正確な位置を追跡するためあるいはそれに向けて目標を定めるために、その向きを自動的に動かすおよび／または変えることができてもよい。ある実施形態では、複数のレーザ源（１つまたは複数）を並列に使用することもでき、これらを固定させるおよび／または動かすこともできる。
【００５１】
[0053]  ある実施形態では、本システムおよび方法は、効率的に、レーザ・ビーム（１つまたは複数）または光信号（１つまたは複数）が実際に話者の顔または口または口領域に当たっている（または達している、または接触している）時間期間（１つまたは複数）は少なくとも動作することもできる。ある実施形態では、本システムおよび／または方法は、必ずしも、連続音声増強や連続雑音低減を行う必要はなく、逆に、ある実施形態では、音声増強および／または雑音低減は、レーザ・ビーム（１つまたは複数）が実際に話者の顔に当たっている時間期間だけ行われればよい。他の実施形態では、例えば、レーザ・ビームが運転者の頭部または顔の位置に向けられる車両システムにおいては、連続的または実質的に連続的な雑音低減および／または音声増強を行うことができる。
【００５２】
[0054]  本明細書における論述には、実証の目的に限って、有線リンクおよび／または有線通信に関係する部分があるが、実施形態はこれに関して限定されず、１つ以上の有線リンクまたはワイヤレス・リンクを含むこともでき、ワイヤレス通信の１つ以上のコンポーネントを利用することもでき、１つ以上のワイヤレス通信方法またはプロトコル等を利用することもできる。ある実施形態は、有線通信および／またはワイヤレス通信を利用することもできる。
【００５３】
[0055]  本発明のシステム（１つまたは複数）は、任意に、適したハードウェア・コンポーネントおよび／またはソフトウェア・コンポーネントを含むことができ、あるいはこれらを利用することによって実現することもできる。例えば、プロセッサ、ＣＰＵ、ＤＳＰ、回路、集積回路、コントローラ、メモリ・ユニット、記憶ユニット、入力ユニット（例えば、タッチ・スクリーン、キーボード、キーパッド、スタイラス、マウス、タッチパッド、ジョイスティック、トラックボール、マイクロフォン）、出力ユニット（例えば、画面、タッチ・スクリーン、モニタ、ディスプレイ・ユニット、オーディオ・スピーカ）、有線あるいはワイヤレス・モデムまたは送受信機または送信機または受信機、および／または他の適したコンポーネントおよび／またはモジュールがあげられる。本発明のシステム（１つまたは複数）は、任意に、同じ位置に配されたコンポーネント、離れたコンポーネントまたはモジュール、「クラウド・コンピューティング」サーバまたはデバイスまたはストレージ、クライアント／サーバ・アーキテクチャ、ピア・ツー・ピア・アーキテクチャ、分散型アーキテクチャ、および／または他の適したアーキテクチャまたはシステム・トポロジまたはネットワーク・トポロジを利用することによって実現することもできる。
【００５４】
[0056]  計算、動作、および／または判定は、１つのデバイス内部でローカルに実行することができ、複数のデバイスによってまたはこれらに跨がって実行することができ、任意に、通信チャネルを利用して生データおよび／または処理済みデータおよび／または処理結果を交換することによって、部分的にローカルにそして部分的にリモートに（例えば、リモート・サーバにおいて）実行することができる。
[0057]  本発明の１つ以上の実施形態を参照して本明細書において説明した機能、動作、コンポーネント、および／または特徴は、本発明の１つ以上の他の実施形態を参照して本明細書において説明した１つ以上の他の機能、動作、コンポーネント、および／または特徴と組み合わせることができ、あるいはこれらと組み合わせて利用することができる。つまり、本明細書において説明したモジュールまたは機能またはコンポーネントが、以上の論述の異なる位置または異なる章で論じられていても、またはこれらが異なる図面または複数の図面に跨がって示されていても、本発明は、その一部または全部のあらゆる可能なまたは適した組み合わせ、再構成、組み立て、再組み立て、あるいは他の利用も含むことができる。
【００５５】
[0058]  本発明のある実施形態は、以下の引用物のいずれかに記載されている１つ以上のデバイス、システム、ユニット、アルゴリズム、方法、および／またはプロセスを利用することができ、これらを含むことができ、あるいはこれらと関連付けてまたはこれらと併合して利用することができる。[1]. M. Graciarena, H. Franco, K. Sonmez, and H. Bratt, "Combining standard and throat microphones for robust speech recognition"（ロバストな音声認識のための標準的マイクロフォンおよび咽喉マイクロフォンの合体）、IEEE Signal Process. Lett., vol. 10, no. 3, pp. 72-74, Mar. 2003。[2]. T. Dekens, W. Verhelst, F. Capman, and F. Beaugendre, "Improved speech recognition in noisy environments by using a throat microphone for accurate voicing detection"（高精度音声検出のために咽喉マイクロフォンを使用することによる雑音環境における音声認識の改良）、in 18th European Signal Processing Conf. (EUSIPCO), Aallborg, Denmark, Aug. 2010, pp. 23-27。[3]. Y. Avargel and I. Cohen, "Speech measurements using a laser Doppler vibrometer sensor: Application to speech enhancement"（レーザ・ドプラ振動センサを使用した音声測定：音声増強への応用）、in Proc. Hands-free speech comm. and mic. Arrays (HSCMA), Edingurgh, Scotland, May 2011 A。[4]. Y. Avargel, T. Bakish, A. Dekel, G. Horovitz, Y. Kurtz, and A. Moyal, "Robust Speech Recognition Using an Auxiliary Laser-Doppler Vibrometer Sensor"（補助レーザ・ドプラ振動センサを使用するロバストな音声認識）in Proc. Speech Process, Conf., Tel- Aviv, Israel, , June 2011 B。[5] Y. Avargel and Tal Bakish, "System and  Method for Robust Estimation and Tracking the Fundamental Frequency of Pseudo Periodic Signals in the Presence of Noise"（雑音が存在するときに擬似周期信号の基本周波数をロバストに推定し追跡するシステムおよび方法）、 US/2013/0246062 Al, 2013。[6] T. Bakish, G. Horowitz, Y. Avargel, and Y. Kurtz, "Method and System for Identification of Speech Segments"（音声セグメントの識別方法およびシステム）、US2014/0149117 Al, 2014。[7]. I. Cohen, S. Gannot, and B. Berdugo, "An Integrated Real-Time Beamforming and Postfiltering System for Nonstationary Noise Environments"（非定常雑音環境用の統合リアル・タイム・ビーム形成およびポストフィルタリング・システム）、EURASIP Journal on Applied Signal Process., vol. 11 , pp. 1064-1073, Jan. 2003 A。[8]. I. Cohen and B. Berdugo, "Speech enhancement for nonstationary noise environment"（非定常雑音環境用の音声増強）、Signal Process., vol. 81, pp. 2403-2418, Nov. 2001。[9]. I. Cohen, "Noise spectrum estimation in adverse environments: Improved minima controlled recursive averaging"（悪環境における雑音スペクトルの推定：改良最小値制御回帰平均）、IEEE Trans. Speech Audio Process., vol. 11, no. 5, pp. 466-475, Sep. 2003B。[10] J. Chen, L. Shue, K. Phua, and H. Sun, "Theoretical Comparisons of Dual Microphone Systems"（二重マイクロフォン・システムの論理的比較）、ICASSP, 2004。
【００５６】
[0059]  以上、本明細書では本発明の一定の特徴について例示し説明したが、多くの修正、交換、変更、および等価が当業者には想起されよう。したがって、特許請求の範囲は、このような修正、交換、変更、および等価の全てを包含することを意図している。
【図１】
2017537344.tif 000006
【図２】
2017537344.tif 000007
【図３】
2017537344.tif 000008
【国際調査報告】
2017537344.tif 000009
2017537344.tif 000010
2017537344.tif 000011
2017537344.tif 000012
2017537344.tif 000013
2017537344.tif 000014
2017537344.tif 000015
2017537344.tif 000016