(57)【要約】信号処理システムと共に用い、音響信号からノイズを消去する発声活動検出（ＶＡＤ）デバイス、システムおよび方法を提供する。信号処理システムおよび／またはＶＡＤシステムのコンポーネントは、音響信号および発声活動信号を受信する。発声活動信号から制御信号を自動的に発生する。信号処理システムおよび／またはＶＡＤシステムのコンポーネントは、制御信号を用いて、音響信号の周波数サブバンドのデータに適した脱ノイズ方法を自動的に選択する。選択した脱ノイズ方法を音響信号に適用して、脱ノイズ音響信号を発生する。
2005520211.tif 000002
【特許請求の範囲】
【請求項１】
音響信号の脱ノイズ・システムであって、
脱ノイズ・サブシステムであって、当該脱ノイズ・システムのコンポーネントに環境の音響信号を供給するように結合された少なくとも１つの受信機を含む、脱ノイズ・サブシステムと、
前記脱ノイズ・サブシステムに結合されている発声検出サブシステムであって、人の発声活動の情報を含む発声活動信号を受信し、前記発声検出サブシステムのコンポーネントが前記発声活動信号の情報を用いて制御信号を自動的に発生する、発声検出サブシステムと、
を備えており、
前記脱ノイズ・サブシステムのコンポーネントは、前記制御信号を用いて、前記音響信号の少なくとも１つの周波数サブバンドのデータに適した少なくとも１つの脱ノイズ方法を自動的に選択し、
前記脱ノイズ・サブシステムのコンポーネントは、前記選択した脱ノイズ方法を用いて前記音響信号を処理して、脱ノイズ音響信号を発生する、
音響信号の脱ノイズ・システム。
【請求項２】
請求項１記載のシステムにおいて、前記受信機は、前記音響信号を検出する少なくとも１つのマイクロフォン・アレイに結合する、システム。
【請求項３】
請求項２記載のシステムにおいて、前記マイクロフォン・アレイは、少なくとも２つの密接に配置したマイクロフォンを含む、システム。
【請求項４】
請求項１記載のシステムにおいて、前記発声検出サブシステムは、センサを介して、前記発声活動信号を受信し、前記センサは、加速度計、ユーザの皮膚と物理的に接触する皮膚面マイクロフォン、人間組織振動検出器、無線周波数（ＲＦ）振動検出器、レーザ振動検出器、エレクトログロットグラフ（ＥＧＧ）デバイス、およびコンピュータ・ビジョン組織振動検出器の少なくとも１つから選択する、システム。
【請求項５】
請求項１記載のシステムにおいて、前記発声検出サブシステムは、前記受信機に結合されているマイクロフォン・アレイを介して前記発声活動信号を受信し、前記マイクロフォン・アレイは、マイクロフォン、勾配マイクロフォン、および１対の単一指向性マイクロフォンの内少なくとも１つを含む、システム。
【請求項６】
請求項１記載のシステムにおいて、前記発声検出サブシステムは、前記受信機に結合されているマイクロフォン・アレイを介して前記発声活動信号を受信し、前記マイクロフォン・アレイは、第２単一指向性マイクロフォンと同じ場所に位置付けられた第１単一指向性マイクロフォンとを含み、第１単一指向性マイクロフォンは、当該第１指向性マイクロフォンの空間応答曲線の最大値が、第２単一指向性マイクロフォンの空間応答曲線の最大値から方位方向に約４５ないし１８０度の範囲に来るように配向されている、システム。
【請求項７】
請求項１記載のシステムにおいて、前記発声検出サブシステムは、前記信機に結合されているマイクロフォン・アレイを介して発声前記活動信号を受信し、マ前記イクロフォン・アレイは、第２単一指向性マイクロフォンと同一直線上に位置付けられた第１単一指向性マイクロフォンを含む、システム。
【請求項８】
音響信号の脱ノイズ方法であって、
音響信号と発声活動信号を受信するステップと、
前記発声活動信号のデータから制御信号を自動的に発生するステップと、
前記制御信号を用いて、前記音響信号の少なくとも１つの周波数サブバンドのデータに適した少なくとも１つの脱ノイズ方法を自動的に選択するステップと、
前記選択した脱ノイズ方法を適用して、脱ノイズ音響信号を発生するステップと、を含む、
音響信号の脱ノイズ方法。
【請求項９】
請求項８記載の方法において、選択するステップは、更に、有声発話を含む周波数サブバンドのために第１脱ノイズ方法を選択するステップを含む、方法。
【請求項１０】
請求項９記載の方法において、選択するステップは、更に、無声発話を含む周波数サブバンドのために第２脱ノイズ方法を選択するステップを含む、方法。
【請求項１１】
請求項８記載の方法において、選択するステップは、更に、発話のない周波数サブバンドのために脱ノイズ方法を選択するステップを含む、方法。
【請求項１２】
請求項８記載の方法において、選択するステップは、更に、前記受信した音響信号のノイズ情報に応答して、脱ノイズ方法を選択するステップを含み、前記ノイズ情報は、ノイズの振幅、ノイズの種類、およびスピーカに対するノイズの方位の内少なくとも１つを含む、方法。
【請求項１３】
請求項８記載の方法において、選択するステップは、更に、前記受信した音響信号のノイズ情報に応答して、脱ノイズ方法を選択するステップを含み、前記ノイズ情報は、スピーカに対するノイズ源の動きを含む、方法。
【請求項１４】
音響信号からノイズを除去する方法であって、
音響信号を受信するステップと、
人の発声活動に関連する情報を受信するステップと、
前記音響信号からのノイズ除去の制御において用いるため少なくとも１つの制御信号を発生するステップと、
前記制御信号に応答して、少なくとも１つの周波数サブバンドにおける前記音響信号の処理において用いるため少なくとも１つの伝達関数を自動的に発生するステップと、
前記発生した伝達関数を前記音響信号に適用するステップと、
前記音響信号からノイズを除去するステップと、
から成る方法。
【請求項１５】
請求項１４記載の方法であって、更に、前記受信した音響信号を複数の周波数サブバンドに分割するステップを含む、方法。
【請求項１６】
請求項１４記載の方法において、伝達関数を発生するステップは、更に、前記制御信号が、サブバンドの前記音響信号に発声情報がないことを示す場合、サブバンドの前記音響信号を表す少なくとも１つの第１伝達関数の係数を適応させるステップを含む、方法。
【請求項１７】
請求項１４記載の方法において、伝達関数を発生するステップは、更に、前記制御信号が、サブバンドの前記音響信号に発声情報があることを示す場合、サブバンドの前記音響信号を表す少なくとも１つの第２伝達関数を発生するステップを含む、方法。
【請求項１８】
請求項１４記載の方法において、発生した伝達関数を発生するステップは、更に、
前記音響信号のノイズに関連する推定ノイズ波形を発生するステップと、
前記音響信号が発話とノイズとを含む場合、前記音響信号から推定ノイズ波形を減算するステップと、
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ここに開示する実施形態は、音響ノイズの存在の下で所望の信号を検出し処理するシステムおよび方法に関する。
【背景技術】
【０００２】
関連出願
本願は、以下の米国特許出願の優先権を主張する。
２００２年３月５日出願のPATHFINDER-BASED VOICE ACTIVITY DETECTION (PVAD) USED WITH PATHFINDER NOISE SUPPRESSION（パスファインダ・ノイズ抑制と共に用いる、パスファインダに基づく発声活動検出（ＰＶＡＤ））と題する米国特許出願第６０／３６２，１６２号、
２００２年３月５日出願のACCELEROMETER-BASED VOICE ACTIVITY DETECTION (PVAD) WITH PATHFINDER NOISE SUPPRESSION（パスファインダ・ノイズ抑制を用いた、加速度計に基づく発声活動検出（ＰＶＡＤ）と題する米国特許出願第６０／３６２，１７０号、
２００２年３月５日出願のARRAY-BASED VOICE ACTIVITY DETECTION (AVAD) AND PATHFINDER NOISE SUPPRESSION（アレイに基づく発声活動検出（ＡＶＡＤ）およびパスファインダ・ノイズ抑制）と題する米国特許出願第６０／３６１，９８１号、
２００２年３月５日出願のPATHFINDER NOISE SUPPRESSION USING AN EXTERNAL VOICE ACTIVITY DETECTION (VAD) DEVICE （外部発声活動検出（ＶＡＤ）デバイスを用いたパスファインダ・ノイズ抑制）と題する米国特許出願第６０／３６２，１６１号、
２００２年３月５日出願のACCELEROMETER-BASED VOICE ACTIVITY DETECTION（加速度計に基づく発声活動検出）と題する米国特許出願第６０／３６２，１０３号、および
２００２年３月２７日出願のTWO-MICROPHONE FREQUENCY-BASED VOICE ACTIVITY DETECTION（二マイクロフォン周波数に基づく発声活動検出）と題する米国特許出願第６０／３６８，３４３号。
【０００３】
これらは全て現在係属中である。
更に、本願は、以下の米国特許出願に関連がある。
２００１年７月１２日出願のMETHOD AND APPARATUS FOR REMOVING NOISE FROM ELECTRONIC SIGNALS（電子信号からノイズを除去する方法および装置）と題する米国特許出願第０９／９０５，３６１号、
２００２年５月３０日出願のDETECTING VOICED AND UNVOICED SPEECH USING BOTH ACOUSTIC AND NONACOUSTIC SENSORS（音響および非音響センサを用いた有声および無声発話の検出）と題する米国特許出願第１０／１５９，７７０号、および
２００２年１１月２１日出願のMETHOD AND APPARATUS FOR REMOVING NOISE FROM ELECTRONIC SIGNALS（電子信号からノイズを除去する方法および装置）と題する米国特許出願第１０／３１０，２３７号。
【０００４】
長年の間に多くのノイズ抑制アルゴリズムおよび技法が開発されてきている。今日発話通信システムに用いられているノイズ抑制システムの殆どは、単一マイクロフォン・スペクトル減算技法に基づいている。これは、１９７０年台に最初に開発され、例えば、S.F.Bollの"Suppression of Acoustic Noise in Speech using Spectral Subtraction" （スペクトル減算を用いた発話における音響ノイズの抑制）、IEEE Trans. on ASSP, pp. 113-120, 1979に記載されている。これらの技法は、年を経るにしたがって洗練されていったが、動作の基本的な原理は同じままである。例えば、McLaughlin, et al.の米国特許第５，６８７，２４３号、およびVilmur , et al.の米国特許第４，８１１，４０４号を参照のこと。概して言えば、これらの技法は、単一マイクロフォンの発声活動検出器（ＶＡＤ）を利用して、背景ノイズ特性を判定する。ここで、「発声」とは、一般に、人の有声発話(voiced speed)、無声発話(unvoiced speech)、または有声および無声発話の組み合わせを含むものと理解されている。
【０００５】
ＶＡＤは、ディジタル・セルラ・システムにおいても用いられている。このような使用の一例として、Ashleyの米国特許第６，４５３，２９１号を参照のこと。ここには、ディジタル・セルラ・システムのフロント・エンドに適したＶＡＤの構成が記載されている。更に、符号分割多元接続（ＣＤＭＡ）システムの中には、ＶＡＤを利用して、用いる有効無線スペクトルを極力減らすことによって、システム容量を増大を図ったものもある。また、汎ヨーロッパ・ディジタル移動通信システム（ＧＳＭ）システムは、同一チャネル干渉を低減し、更にクライアント即ち加入者デバイスにおけるバッテリ消費を低減するために、ＶＡＤを含むことができる。
【特許文献１】米国特許第５，６８７，２４３号
【特許文献２】米国特許第４，８１１，４０４号
【特許文献３】米国特許第６，４５３，２９１号
【非特許文献１】S.F.Bollの"Suppression of Acoustic Noise in Speech using Spectral Subtraction" （スペクトル減算を用いた発話における音響ノイズの抑制）、IEEE Trans. on ASSP, pp. 113-120, 1979
【発明の開示】
【発明が解決しようとする課題】
【０００６】
これら典型的な単一マイクロフォンＶＡＤシステムでは、分析を行う際に典型的な信号処理技法が用いられており、単一のマイクロフォンが受信する音響情報の分析の結果として、能力が著しく制限されている。即ち、これら単一マイクロフォンＶＡＤの性能の限界は、信号対ノイズ比（ＳＮＲ）が低い信号を処理するとき、および背景ノイズが素早く変化する場合の設定において、顕在化する。このため、これら単一マイクロフォンＶＡＤを用いたノイズ抑制システムにおいても、同様の限界が見られる。
【課題を解決するための手段】
【０００７】
図面において、同じ参照番号は、同一または実質的に同様の要素または動作を特定する。いずれの特定の要素または動作の論述をも容易に識別するために、参照番号における１つまたは複数の最上位桁は、当該要素を最初に紹介した図面の番号を示す（例えば、要素１０４について言うと、最初に図１において紹介し、これに関して論じている）。
【０００８】
多数の発声活動検出（ＶＡＤ）デバイスおよび方法を、適応ノイズ抑制システムと共に用いる場合について以下に説明する。更に、ここに記載するＶＡＤデバイスや方法をノイズ抑制システム、即ち、カリフォルニア州、サンフランシスコのＡｌｉｐｈ社(http://www.aliph.com)から入手可能なパスファインダ・ノイズ抑制システムのコンポーネントとして用いた実験から得られた結果も以下に示す。しかしながら、実施形態はこれに限定される訳ではない。以下の説明では、パスファインダ・ノイズ抑制システムについて言及するが、ノイズ波形を推定しそれを信号から除去するノイズ抑制システムや、信頼性高い動作のためにＶＡＤ情報を用いるまたは用いることができるノイズ抑制システムもその言及に含まれることを、忘れてはならない。パスファインダは、単に、所望の発話信号をノイズと共に有する信号に対して動作するシステムの一実施形態であり、便宜的に引用したに過ぎない。
【０００９】
ここに記載するＶＡＤデバイスおよび方法をノイズ抑制システムと共に用いる場合、ＶＡＤ信号をノイズ抑制システムとは独立して処理し、ＶＡＤ情報の受信および処理を、ノイズ抑制に伴う処理からは独立させるようにしているが、実施形態はそうすることに限定される訳ではない。この独立性は、物理的に（即ち、ＶＡＤおよびノイズ抑制に関する信号の受信および処理に異なるハードウェアを用いる）、処理によって（即ち、同じハードウェアを用いて信号を受信してノイズ抑制システムに入力しつつ、独立した技法（ソフトウェア、アルゴリズム、ルーチン）を用いて受信信号を処理する）、ならびに異なるハードウェアおよび異なるソフトウェアの組み合わせによって達成する。
【００１０】
以下の説明では、「音響」(acoustic)という用語は、一般に、空中を伝搬する音響波として定義する。空気以外の媒体における音響波の伝搬は、そのように注記する。「発話」(speech)または「発声」(voice)に対して言及する場合、一般に、有声発話、無声発話、および／または有声と無声発話の組み合わせを意味する。必要なときには、無声発話および有声発話を区別する。「ノイズ抑制」という用語は、一般に、電子信号におけるノイズを低減または除去するためのあらゆる方法を記述する。
【００１１】
更に、「ＶＡＤ」という用語は、総じて、ベクトルまたはアレイ信号、データ、あるいはディジタルまたはアナログ・ドメインにおける発話の発生を何らかの態様で表す情報として定義する。ＶＡＤ情報の一般的な表現は、対応する音響信号と同じレートでサンプルした１ビット・ディジタル信号であり、０の値は、対応する時間サンプル中に発話が生じなかったことを表し、１の値は、対応する時間サンプル中に発話が生じたことを示す。ここに記載する実施形態は一般にディジタル・ドメインにおいて説明するが、その説明はアナログ・ドメインでも有効である。
【００１２】
ここに記載するＶＡＤデバイス／方法は、一般に、振動および動きセンサ、音響センサ、および手動ＶＡＤデバイスを含むが、それに限定される訳ではない。一実施形態では、加速度計を皮膚の上に置き、人の発話と相関がある皮膚表面の振動を検出するために用いる。これらの記録した振動は、次に、ＶＡＤ信号を計算するために用いられる。ＶＡＤ信号は、発話およびノイズ双方を含む、同時に（数ミリ秒以内）記録した音響信号から環境音響ノイズを抑制する際に、適応ノイズ抑制アルゴリズムとともに用いられるか、またはこのアルゴリズムによって用いられる。
【００１３】
ここに記載するＶＡＤデバイス／方法の別の実施形態は、メンブレーンを用いて改造し、空気中の音響的振動をもはや効率的に検出しないようにした音響マイクロフォンを含む。しかし、メンブレーンは、人の皮膚のように、物理的に接触する物体における音響的振動を、マイクロフォンに検出させる（高い機械的インピーダンス整合を可能にする）。即ち、音響マイクロフォンは、もはや空中の音響的振動は検出しないが（もはや高い物理的インピーダンス整合を有していない）、マイクロフォンが接触している物体においてのみ音響的振動を検出するように、何らかの方法で改造する。こうして、加速度計のように、人の発話生成に伴うその人の皮膚の振動を検出するが、空中の音響環境ノイズを効率的に検出しないように、マイクロフォンを構成する。検出した振動を処理してＶＡＤ信号を形成し、以下に詳細を述べるように、ノイズ抑制システムにおいて用いる。
【００１４】
ここに記載するＶＡＤの更に別の実施形態は、皮膚の振動を検出する無線周波数振動計（ＲＦ）またはレーザ振動計のような、電磁振動センサを用いる。更に、ＲＦ振動計は、頬の内面または気管壁のような、身体内部の組織の動きも検出する。発話生成に伴う外部皮膚および内部組織双方の振動を用いれば、ＶＡＤ信号を形成でき、ノイズ抑制システムに用いることができる。これについては、以下で詳細に述べる。
【００１５】
ここに記載するＶＡＤデバイス／方法の更に別の実施形態は、直接声帯襞の動きを検出するエレクトログロットグラフ(ＥＧＧ：electroglottograph)を含む。ＥＧＧは、声帯襞接触面積を測定する、交流（ＡＣ）に基づく方法である。ＥＧＧが十分な声帯襞の接触を示す場合、その結果有声発話が生じていることが想定され、有声発話を表す対応のＶＡＤ信号を発生して、ノイズ抑制システムにおいて用いる。これについては、以下で詳細に述べる。同様に、付加的なＶＡＤの実施形態は、ビデオ・システムを用いて、人の声帯交合器(vocal articulator)の動き、即ち、発話が生成されていることの指示を検出する。
【００１６】
ここに記載するＶＡＤデバイス／方法の別の１組は、１つ以上の音響マイクロフォンで受信した信号を、対応する信号処理技法と共に用いて、殆どの環境ノイズ条件の下で精度高く、信頼性高くＶＡＤ信号を生成する。これらの実施形態は、無指向性および単一指向性の音響マイクロフォンの単純なアレイ、ならびにこれらを同じ場所に配置した（またはほぼそうした）組み合わせを含む。ＶＡＤ実施形態のこの組における最も単純な構成は、ユーザの口に非常に近づけて配置した単一のマイクロフォンの使用を含み、比較的高いＳＮＲで信号を記録する。このマイクロフォンは、例えば、勾配(gradient)または「クロストーク」マイクロフォンとすることができる。他の構成では、単一指向性および無指向性マイクロフォンの組み合わせを様々な配向および構成で用いることを含む。これらのマイクロフォンで受信した信号は、伴う信号処理と共に、ＶＡＤ信号を計算するために用いられ、ノイズ抑制システムと共に用いられる。これについては、以下で詳しく論ずる。また、ウオーキー・トーキー(walkie-talkie)のような、手動で、またはシステムの観察者によって、作動させるＶＡＤシステムについても、以下で説明する。
【００１７】
先に引用したように、ここに記載するＶＡＤデバイスおよび方法は、例えば、カリフォルニア州、サンフランシスコのＡｌｉｐ社から入手可能なパスファインダ・ノイズ抑制システム（ここでは、「パスファインダ・システム」と呼ぶ）のような、ノイズ抑制システムと共に用いる。この中でのＶＡＤデバイスに関する説明は、パスファインダ・ノイズ抑制システムに関連付けて行うが、ＶＡＤデバイスおよび方法は、当技術分野では公知の様々なノイズ抑制システムおよび方法と共に用いることができることを、当業者は認めよう。
【００１８】
パスファインダ・システムは、ディジタル信号プロセッサ（ＤＳＰ）に基づく音響ノイズ抑制およびエコー・キャンセレーション・システムである。パスファインダ・システムは、発話処理システムのフロント・エンドに結合することができ、ＶＡＤ情報および受信した音響情報を用いて、所望の音響信号におけるノイズを低減または除去する。その際、ノイズ波形を推定し、発話およびノイズ双方を含む信号からこれを減算する。パスファインダ・システムについて、以下で、そして関連する用途において更に説明する。
【発明を実施するための最良の形態】
【００１９】
図１は、一実施形態の下における、パスファインダ・ノイズ抑制システム１０１およびＶＡＤシステム１０２を含む、信号処理システム１００のブロック図である。信号処理システム１００は、２つのマイクロフォンＭＩＣ１  １１０およびＭＩＣ２  １１２を含み、これらは、少なくとも１つの発話信号源１２０および少なくとも１つのノイズ源１２２からの信号または情報を受信する。発話信号源１２０からＭＩＣ１までのパスｓ（ｎ）、およびノイズ源１２２からＭＩＣ２までのパスｎ（ｎ）は１つとみなす。更に、Ｈ1（ｚ）は、ノイズ源１２２からＭＩＣ１までのパスを表し、Ｈ2（ｚ）は、発話信号源１２０からＭＩＣ２までのパスを表す。パスファインダ・システム１０１を含む信号処理システム１００とは対照的に、図２は、当技術分野では公知の伝統的な適応ノイズ・キャンセレーション・システム２０２を組み込んだ信号処理システム２００のブロック図である。
【００２０】
信号処理システム１００のコンポーネント、例えば、ノイズ抑制システム１０１は、ワイヤレス結合、ワイヤード結合、および／またはワイヤレスとワイヤード結合の組み合わせによって、マイクロフォンＭＩＣ１およびＭＩＣ２に結合する。同様に、ＶＡＤシステム１０２は、ノイズ抑制システム１０１のような信号処理システム１００のコンポーネントに、ワイヤレス結合、ワイヤード結合、および／またはワイヤレスとワイヤード結合の組み合わせによって結合する。一例として、ＶＡＤシステム１０２のコンポーネントとして以下に説明するＶＡＤデバイスおよびマイクロフォンは、信号処理システムの他のコンポーネントとのワイヤレス通信のために、Bluetoothワイヤレス仕様に準拠することができるが、これに限定される訳ではない。
【００２１】
図１を参照すると、ＶＡＤシステム１０２からのＶＡＤ信号１０４は、ここに記載するようにして得られ、ノイズのタイプ、振幅、および／または方位には関係なく、受信信号からのノイズ除去を制御する。ＶＡＤ信号１０４が発声のないことを示す場合、パスファインダ・システム１０１はＭＩＣ１およびＭＩＣ２の信号を用いて、受信信号の予め指定したサブバンドにおける伝達関数Ｈ1（ｚ）のモデルのために係数を計算する。ＶＡＤ信号１０４が発声の存在を示す場合、パスファインダ・システム１０１はＨ1（ｚ）の更新を止め、受信信号の予め指定したサブバンドにおける伝達関数Ｈ2（ｚ）のための係数を計算し始める。Ｈ1係数の更新は、サブバンドにおけるＳＮＲが低い場合、発話生成の間サブバンドにおいて係属することができる（尚、Ｈ1（ｚ）およびＨ2（ｚ）は、それぞれ、便宜上Ｈ1およびＨ2と呼ぶ場合もある）。一実施形態のパスファインダ・システム１０１は、最小二乗（ＬＭＳ）技法を用いてＨ1およびＨ2を計算する。これについては、B.WidrowおよびS.Stearnsによる"Adaptive Signal Processing"（適応信号処理）, Prentice-Hall Publishing, ISBN 0-13-004029-0に更に記載されているが、そのように限定される訳ではない。伝達関数は、時間ドメイン、周波数ドメイン、または時間／周波数ドメイン双方の組み合わせにおいても計算することができる。パスファインダ・システムは、続いて、伝達関数Ｈ1（ｚ）およびＨ2（ｚ）の組み合わせを用いて対象の受信音響信号からノイズを除去することによって、少なくとも１つの脱ノイズ音響ストリームを発生する。
【００２２】
パスファインダ・システムは、様々な方法で実施することができるが、実施形態の全てに共通なのは、精度が高く信頼性も高いＶＡＤデバイスおよび／または方法を拠り所としている。ＶＡＤデバイス／方法が高精度であるはずなのは、パスファインダ・システムは、発話がないときまたは発話中のＳＮＲが低いときに、そのフィルタ係数を更新するからである。係数更新の間十分な発話エネルギがあると、同様のスペクトル特性を有する後続の発話を抑制する可能性がある。これは望ましくない出来事である。ＶＡＤデバイス／方法は、種々の環境条件の下において高い精度を支持するため、ロバストでなければならない。ある条件下ではＶＡＤデバイス／方法が満足に動作しない可能性があることは明らかであるが、通常の状況では、ＶＡＤデバイス／方法は、最大限ノイズを抑制しつつ、対象の発話信号に対する悪影響を殆ど及ぼさないように動作するはずである。
【００２３】
ノイズ抑制システムと共にＶＡＤデバイス／方法を用いる場合、ＶＡＤ信号は、ノイズ抑制システムとは独立して処理し、ＶＡＤ情報の受信および処理が、ノイズ抑制に伴う処理とは独立するようにするが、実施形態はそのように限定される訳ではない。この独立性は、物理的に（即ち、ＶＡＤおよびノイズ抑制に関する信号の受信および処理に異なるハードウェアを用いる）、処理によって（即ち、同じハードウェアを用いて信号を受信してノイズ抑制システムに入力しつつ、独立した技法（ソフトウェア、アルゴリズム、ルーチン）を用いて受信信号を処理する）、ならびに異なるハードウェアおよび異なるソフトウェアの組み合わせによって達成する。
【００２４】
図１Ａは、一実施形態の下において、ＶＡＤに関する信号を受信し処理する際に用いるハードウェアを含むＶＡＤシステム１０２Ａのブロック図である。ＶＡＤシステム１０２Ａは、対応するＶＡＤアルゴリズム１４０にデータを供給するように結合されているＶＡＤデバイス１３０を含む。尚、代替実施形態のノイズ抑制システムは、当業者には自明ないずれの方法でも、ＶＡＤアルゴリズムの一部または全ての機能を、ノイズ抑制処理と統合可能であることを注記しておく。
【００２５】
図１Ｂは、一実施形態の下において、ＶＡＤ情報１６４を受信する際に用いる、関連するノイズ抑制システム１０１のハードウェアを用いたＶＡＤシステム１０２Ｂのブロック図である。ＶＡＤシステム１０２Ｂは、対応する信号処理システム１００のＭＩＣ１およびＭＩＣ２、または他のコンポーネントからのデータ１６４を受信するＶＡＤアルゴリズム１５０を含む。ノイズ抑制システムの代替実施形態は、当業者には自明ないずれの方法でも、ＶＡＤアルゴリズムの一部または全ての機能を、ノイズ抑制処理と統合可能である。
振動／動きに基づくＶＡＤデバイス／方法
振動／動きに基づくＶＡＤデバイスは、ＶＡＤおよびノイズ抑制に関する信号を受信し処理する際に用いる物理的ハードウェア・デバイスを含む。話者またはユーザが発話を生成すると、その結果生ずる振動は、話者の組織を通って伝搬し、したがって、種々の方法を用いて、皮膚上およびその直下で検出することができる。これらの振動は、優れたＶＡＤ情報源である。何故なら、これらは有声および無声発話双方と強い関連があり（無声発話の方が振動は遥かに弱く、検出は更に困難であるが）、一般に環境音響ノイズによる影響はわずかに過ぎないからである（あるデバイス／方法、例えば、以下で説明する電磁振動計は、環境音響ノイズの影響を受けない）。これらの組織の振動または動きは、多数のＶＡＤデバイスを用いて検出され、例えば、加速度計に基づくデバイス、皮膚表面マイクロフォン（ＳＳＭ:skin surface microphone）デバイス、無線周波数（ＲＦ）振動計およびレーザ振動計の双方を含む電磁（ＥＭ）振動計デバイス、直接言語運動測定デバイス(direct glottal motion measurement device)、ならびにビデオ検出デバイスを含む。
加速度計に基づくＶＡＤデバイス／方法
加速度計は、発話に伴う皮膚の振動を検出することができる。したがって、図１および図１Ａを参照すると、一実施形態のＶＡＤシステム１０２Ａは、加速度計に基づくデバイス１３０を含み、皮膚の振動のデータを、関連するアルゴリズム１４０に供給する。一実施形態のアルゴリズムは、エネルギ計算技法を、以下で述べる閾値比較と共に用いるが、そのように限定される訳ではない。尚、更に複雑なエネルギに基づく方法も当業者には利用可能であることを注記しておく。
【００２６】
図３は、一実施形態の下において、加速度計使用のＶＡＤを用いて有声および無声発話を判定する方法のフロー図３００である。一般に、エネルギを計算するには、標準的なウィンドウ・サイズを規定し、そこにおいて計算を行い、以下のように、振幅の二乗を経時的に合算する。
【００２７】
【数１】
2005520211.tif 000003
【００２８】
ここで、ｉはディジタル・サンプル・スクリプトであり、ウィンドウの先端からウィンドウの終端までの範囲を有する。
図３を参照すると、動作は、ブロック３０２において、加速度計のデータを受信したときに開始する。ＶＡＤに伴う処理は、ブロック３０４において、加速度計からのデータを濾波してエリアシングを除外し、濾波したデータを処理のためにディジタル化することを含む。ブロック３０６において、ディジタル化したデータを長さ２０ミリ秒（ｍｓｅｃ）のウィンドウに区分し、データを一度に８ｍｓｅｃずつ進ませる。更に、ブロック３０８において、処理は、区分けした(windowed)データを濾波して、ノイズによって汚染されたスペクトル情報、またはそれ以外で不要なスペクトル情報を除去する。各ウィンドウにおけるエネルギを計算するには、ブロック３１０において、前述のように、振幅の二乗を合算する。計算したエネルギ値は、エネルギ値をウィンドウの長さで除算することによって正規化することができるが、これには余分な計算を伴い、ウィンドウの長さが変わらない限り不要である。
【００２９】
ブロック３１２において、計算した、または正規化したエネルギ値を閾値と比較する。ブロック３１４において、加速度計のデータに対応する発話は、加速度計データのエネルギが閾値以上であるときには、有声発話と指定する。同様に、ブロック３１６において、加速度計データに対応する発話は、加速度計データのエネルギが閾値未満であるときには、無声発話と指定する。代替実施形態のノイズ抑制システムは、多数の閾値を用いて、発声信号の相対的な強度または信頼度を示すことができるが、そのように限定される訳ではない。多数のサブバンドを処理して、精度を高めることもできる。
【００３０】
図４は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）４０２を、対応する加速度計に基づくＶＡＤ信号４０４、対応する加速度計出力信号４１２、およびＶＡＤ信号４０４を用いたパスファインダ・システムによる処理の後の脱ノイズオーディオ信号４２２と共に含むプロットを示す。この例では、加速度計データは、５００および２５００Ｈｚの間でバンドパス・フィルタで処理され、５００Ｈｚ未満で加速度計に結合する可能性のある、不要の音響ノイズを除去する。オーディオ信号４０２は、Ａｌｉｐｈ社のマイクロフォン・セットおよび標準的な加速度計を用いて、１辺が６フィートで、天井の高さが８フィートの部屋の内側のバブル・ノイズ環境(babble noise environment)において記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施される。生のオーディオ信号４０２および脱ノイズ・オーディオ信号４２２における差は、約２５〜３０ｄＢの範囲でノイズが抑制されていること、および所望の発話信号には殆ど歪みがないことを示す。このように、加速度計使用のＶＡＤ情報を用いた脱ノイズは有効である。
皮膚表面マイクロフォン（ＳＳＭ）ＶＡＤデバイス／方法
再度図１および図１Ａを参照すると、一実施形態のＶＡＤシステム１０２Ａは、関連するアルゴリズム１４０にデータを供給するＳＳＭ  ＶＡＤデバイス１３０を含む。ＳＳＭは、従来のマイクロフォンであり、空中の音響情報がマイクロフォンの検出エレメントと結合するのを防止するように改良されている。シリコン・ゲルの層またはその他の被膜が、マイクロフォンのインピーダンスを変化させ、空中の音響情報が有意な程度で検出されるのを妨げる。このため、このマイクロフォンは、空中音響エネルギから遮蔽されているが、媒体と物理的な接触を維持している限り、空気以外の媒体内を伝達する音響波を検出することができる。効率的に音響エネルギを人の皮膚において検出するためには、ゲルを皮膚の機械的インピーダンス特性と一致させる。
【００３１】
発話の間に、ＳＳＭを頬または首に装着すると、発話生成に伴う振動が容易に検出される。しかし、空中音響データは、ＳＳＭによっては有意に検出されることはない。組織から生ずる音響信号は、ＳＳＭによる検出時に、加速度計に基づくＶＡＤ信号と共に用いられるエネルギ／スレシホルド方法および図３を参照しながら先に説明したように、対象の信号を処理しノイズ除去する際に、ＶＡＤ信号を発生するために用いられる。
【００３２】
図５は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）５０２を、対応するＳＳＭに基づくＶＡＤ信号５０４、対応するＳＳＭ出力信号５１２、およびＶＡＤ信号５０４を用いたパスファイダ・システムによる処理の後の脱ノイズ・オーディオ信号５２２と共に含むプロットを示す。オーディオ信号５０２は、Ａｌｉｐｈ社のマイクロフォン・セットおよび標準的な加速度計を用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号５０２および脱ノイズ・オーディオ信号５２２における差は、約２０〜２５ｄＢの範囲でノイズが抑制されていること、および所望の発話信号には殆ど歪みがないことを明確に示す。このように、ＳＳＭに基づくＶＡＤ情報を用いた脱ノイズは有効である。
電磁（ＥＭ）振動計ＶＡＤデバイス／方法
図１および図１Ａを参照すると、一実施形態のＶＡＤシステム１０２Ａは、ＥＭ振動計ＶＡＤデバイス１３０を含み、関連するアルゴリズムにデータを供給する。ＥＭ振動計ＶＡＤデバイスも、組織の振動を検出するが、離れたところで、測定の目標である組織と直接接触しなくても、それを行うことができる。更に、一部のＥＭ振動計デバイスは、人体の内部組織の振動を検出することができる。ＥＭ振動計は、音響ノイズによる影響を受けず、高ノイズ環境で用いるには、これらは最適な選択となる。一実施形態のパスファインダ・システムは、ＥＭ振動計からＶＡＤ情報を受信する。ＥＭ振動計は、限定ではなく、ＲＦ振動計およびレーザ振動計を含み、その各々について順に以下で説明する。
【００３３】
ＲＦ振動計は、電子スペクトルの無線からマイクロ波の部分で動作し、発話生成に伴う人の内部組織の相対的運動を測定することができる。人の内部組織は、気管、頬、顎、および／または鼻／鼻道の組織を含むが、これらに限定される訳ではない。ＲＦ振動計は、低電力の無線波を用いて動きを検知し、これらのデバイスからのデータは、較正されたターゲットと非常に良く対応することが示されている。ＲＦ振動計信号に音響ノイズがないことの結果、一実施形態のＶＡＤシステムは、これらのデバイスからの信号を用いて、加速度計に基づくＶＡＤおよび図３を参照して先に説明したエネルギ／閾値方法を用いて、ＶＡＤを構築する。
【００３４】
ＲＦ振動計の一例は、カリフォルニア州、サンフランシスコのＡｌｉｐｈ社から入手可能な汎用電磁動きセンサ（ＧＥＭＳ）無線振動計である。その他のＲＦ振動計は、関連出願、およびGregory C. Burnettによる"The Physiological Basis of Glottal Electromagnetic Micropower Sensors (GEMS) and Their Use in Defining an Excitation function for Human Vocal Tract"（言語電磁微小電力センサ（ＧＥＭＳ）の心理学的基礎および人の声道に対する励起関数を定義する際におけるそれらの使用） Ph.D. Thesis, University of California Davis, January 1999に記載されている。
【００３５】
レーザ振動計は、光の可視周波数またはその付近で動作し、したがって、前述の加速度計およびＳＳＭと同様に、表面振動の検出のみに制限される。ＲＦ振動計と同様、レーザ振動計の信号に伴う音響ノイズはない。したがって、一実施形態のＶＡＤシステムは、これらのデバイスからの信号を用いて、加速度計に基づくＶＡＤおよび図３を参照して先に説明したエネルギ／閾値方法を用いてＶＡＤを構築する。
【００３６】
図６は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）６０２を、対応するＧＥＭＳに基づくＶＡＤ信号６０４、対応するＧＥＭＳ出力信号６１２、およびＶＡＤ信号６０４を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号６２２と共に含むプロットを示す。ＧＥＭＳに基づくＶＡＤ信号６０４は、気管に装着した、カリフォルニア州、サンフランシスコにあるＡｌｉｐｈ社のＧＥＭＳ無線振動計から受信した。オーディオ信号６０２は、Ａｌｉｐｈ社のマイクロフォン・セットを用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号６０２および脱ノイズ・オーディオ信号６２２における差は、約２０〜２５ｄＢの範囲でノイズが抑制されていることを示している。このように、ＧＥＭＳに基づくＶＡＤ情報を用いた脱ノイズは有効である。尚、ＶＡＤ信号および脱ノイズ双方は、ＧＥＭＳが無声発話を検出していなくても、有効であることは明らかである。無声発話は、通常エネルギが非常に低く、Ｈ1（ｚ）の集束には大きな影響を及ぼさず、したがって脱ノイズ発話の音質にも影響を及ぼさない。
直接言語運動測定ＶＡＤデバイス／方法
図１および図１Ａを参照すると、一実施形態のＶＡＤシステム１０２Ａは、直接言語運動測定ＶＡＤデバイス１３０を含み、関連するアルゴリズム１４０にデータを供給する。一実施形態のパスファインダ・システムの直接言語運動測定ＶＡＤデバイスは、エレクトログロットグラフ（ＥＧＧ）、および声帯襞の動きまたは位置を直接測定するいずれかのデバイスを含む。ＥＧＧは、甲状軟骨の両側に配した２つ以上の電極を用いて、声帯襞接触面積に対応する信号を戻す。少量の交流電流が、１つ以上の電極から、首の組織（声帯襞を含む）を通って、更に首の他方側にある他の電極（複数の電極）を通じて伝達する。襞が互いに接触し合っている場合、１組の電極から他方に流れる電流量は増大する。これらが接触していない場合、流れる電流量は減少する。ＥＭ振動計およびＳＳＭ双方と同様、ＥＧＧの信号に伴う音響ノイズはない。したがって、一実施形態のＶＡＤシステムは、ＥＧＧからの信号を用いて、加速度計を用いたＶＡＤおよび図３を参照しながら先に説明したエネルギ／閾値方法を用いて、ＶＡＤを構築する。
【００３７】
図７は、一実施形態の下において、英語を話す男性が発話し記録した音響データ７０２を、対応するＥＧＧに基づくＶＡＤ信号７０４、および対応するハイパス・フィルタをかけたＥＧＧ出力信号７１２と共に含むプロットを示す。音響データ７０２とＥＧＧ出力信号との比較によって、ＥＧＧは、声帯襞が接触しない、無声発話や非常に柔らかな有声発話を検出することはできないが、有声発話の検出は正確であることが示される。しかしながら、実験では、無声発話および柔らかな有声発話（双方ともエネルギが非常に弱い）を検出できないことは、システムの正常な環境条件の下において発話からノイズを消去する能力には重大な影響を及ぼさなかった。ＥＧＧに関するこれ以上の情報は、D.G. ChildersおよびA.K. Krishmanurthyの"A Critical Review of Electroglottography"（エレクトログロットグラフィの批判的検討） CRC Crit Rev Biomedical Engineering, 12, pp.131-161, 1985から得られる。
ビデオ検出ＶＡＤデバイス／方法
図１および図１Ａを参照すると、一実施形態のＶＡＤシステム１０２Ａは、ビデオ検出ＶＡＤデバイス１３０を含み、関連するアルゴリズム１４０にデータを供給する。一実施形態のビデオ・カメラおよび処理システムは、顎、唇、歯、および舌を含む声帯交合器の動きを検出する。現在開発中のビデオおよびコンピュータ・システムは、三次元のコンピュータ映像に対応するので、ビデオに基づくＶＡＤが可能となる。このようなシステムを構築するためのツールに関する情報は、http: //www.intel.com/research/mrl/research/opencv/.において入手可能である。
【００３８】
一実施形態のパスファインダ・システムは、ビデオ・システムのコンポーネントを用いて、交合器の運動を検出し、ＶＡＤ情報を発声することができる。図８は、一実施形態の下において、ビデオに基づくＶＡＤを用いて有声発話を判定する方法のフロー図８００である。ブロック８０２において、ビデオ・システムのコンポーネントは、ユーザの顔および声帯交合器の位置を突き止め、ブロック８０４において、交合器の動きを計算する。ブロック８０６において、ビデオ・システムおよび／またはパスファインダ・システムのコンポーネントは、計算した交合器の動きが閾値速度よりも速く、発振状（前後に動き、単純な並進運動とは区別可能）であるか否か判定を行う。動きが閾値速度よりも遅い場合、および／または発振状でない場合、動作は前述のブロック８０２に進む。
【００３９】
動きが閾値速度よりも速く、発振状であるとブロック８０６において判定された場合、ビデオ・システムおよび／またはパスファインダ・システムのコンポーネントは、ブロック８０８において、動きが閾値よりも大きいか否か判定を行う。動きが閾値未満である場合、動作は前述のブロック８０２に進む。動きが閾値よりも大きい場合、ブロック８１０において、ビデオＶＡＤシステムのコンポーネントは、発声が行われていると判定し、ブロック８１２において、関連するＶＡＤ情報をパスファインダ・システムに転送する。このビデオに基づくＶＡＤは、音響ノイズの影響には耐性があり、ユーザまたは話者から離れたところで動作することができるので、調査のための運用には特に有用である。
音響情報に基づくＶＡＤデバイス／方法
図１および図１Ｂを参照しながら先に説明したように、ノイズ抑制システムと共にＶＡＤを用いる場合、ＶＡＤ信号をノイズ抑制システムとは独立して処理することにより、ＶＡＤ情報の受信および処理を、ノイズ抑制に伴う処理からは独立させる。音響情報に基づくＶＡＤデバイスは、ノイズ抑制システムと同じハードウェアを用いて信号を受信しつつ、独立した技法（ソフトウェア、アルゴリズム、ルーチン）を用いて受信信号を処理するという処理によって、この独立性を達成する。しかしながら、場合によっては、音響マイクロフォンをＶＡＤ構築のために用いることもあるが、ノイズ抑制のためには用いない。
【００４０】
一実施形態の音響情報に基づくＶＡＤデバイス／方法は、１つ以上の従来の音響マイクロフォンを拠り所として、対象の発話を検出する。このため、これらは、環境音響ノイズの影響を一層受けやすく、一般にはあらゆるノイズ環境では信頼性高く動作しない。しかしながら、音響情報に基づくＶＡＤの方が単純で、安価であり、ＶＡＤおよび音響データ・マイクロフォン双方に同じマイクロフォンを用いることができるという利点がある。したがって、コストの方が高ノイズ性能よりも重要な用途では、これらのＶＡＤの解決策の方が好ましい場合もある。一実施形態の音響情報に基づくＶＡＤデバイス／方法は、限定ではないが、以下に説明するように、単一マイクロフォンＶＡＤ、パスファインダＶＡＤ、ステレオＶＡＤ（ＳＶＡＤ）、アレイＶＡＤ（ＡＶＡＤ）、およびその他の単一マイクロフォンの従来のＶＡＤデバイス／方法を含む。
単一マイクロフォンＶＡＤ
これは、恐らく、ユーザが発話していることを検出する最も単純な方法である。図１および図１Ｂを参照すると、一実施形態のＶＡＤシステム１０２Ｂは、ＶＡＤアルゴリズム１５０を含み、対応する信号処理システム１００の単一のマイクロフォンからデータ１６４を受信する。マイクロフォン（通常は「クロストーク」（または勾配）マイクロフォン）を、ユーザの口に非常に接近して、時には唇に直接接触するように配置する。勾配マイクロフォンは、当該マイクロフォンから数センチメートルよりも離れて発するサウンド（通常１ｋＨｚ未満の周波数範囲）には比較的不感応であり、したがって、勾配マイクロフォンの信号は、一般に比較的高いＳＮＲを有する。勿論、単一のマイクロフォンから実現される性能は、ユーザの口とマイクロフォンとの間の距離、環境ノイズの過酷性、およびユーザが彼または彼女の唇に非常に近く何かを配置することに対するユーザの気分によって左右される。近接配置した単一マイクロフォンからの記録したデータまたは信号のスペクトルの少なくとも一部は、通例では比較的高いＳＮＲを有するので、一実施形態のパスファインダ・システムは、単一のマイクロフォンからの信号を用い、加速度計に基づくＶＡＤおよび図３を参照しながら先に説明したエネルギ／閾値方法を用いて、ＶＡＤを構築することができる。
【００４１】
図９は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）９０２を、対応する単一（勾配）マイクロフォンを用いたＶＡＤ信号９０４、対応する勾配マイクロフォンの出力信号９１２、およびＶＡＤ信号９０４を用いたパスファインダ・システムによる処理の後の脱ノイズ信号９２２と共に含むプロットを示す。オーディオ信号９０２は、Ａｌｉｐｈ社のマイクロフォン・セットを用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号９０２および脱ノイズ・オーディオ信号９２２における差は、約２５〜３０ｄＢの範囲でノイズが抑制されていることを示している。しかしながら、これらの結果は、単一のマイクロフォンを用いたＶＡＤ情報は有効であり得ることを示す。
パスファインダＶＡＤ（ＰＶＡＤ）デバイス／方法
図１および図１Ｂを参照すると、一実施形態のＰＶＡＤシステム１０２Ｂは、ＰＶＡＤアルゴリズム１５０を含み、対応する信号処理システム１００のマイクロフォン・アレイからのデータ１６４を受信する。マイクロフォン・アレイは２つのマイクロフォンを含むが、そのように限定される訳ではない。一実施形態のＰＶＡＤは、時間ドメインにおいて動作し、互いに数センチメートル以内のマイクロフォン・アレイの２つのマイクロフォンを位置を突き止める。これらのマイクロフォンの内少なくとも１つは、指向性マイクロフォンである。
【００４２】
図１０は、一実施形態の下において、マイクロフォン・アレイの単一のカルディオイド単一指向性マイクロフォン１００２を、関連する空間応答曲線１０１０と共に示す。単一指向性マイクロフォン１００２は、ここでは発話マイクロフォン１００２またはＭＩＣ１と呼ぶが、ユーザの口が発話マイクロフォン１００２の空間応答１０１０における最大値１０１４またはその付近に来るように配向されている。しかしながら、このシステムは、カルディオイド指向性マイクロフォンには限定されない。
【００４３】
図１１は、一実施形態の下における、ＰＶＡＤシステムのマイクロフォン・アレイ１１００を示す。マイクロフォン・アレイ１１００は、２つのカルディオイド単一指向性マイクロフォンＭＩＣ１  １００２およびＭＩＣ２  １１０２を含み、各々、空間応答曲線１０１０および１１１０をそれぞれ有する。マイクロフォン・アレイ１１００において用いる場合、発話マイクロフォンＭＩＣ１として用いるマイクロフォンの種類には制約はない。しかしながら、最高の性能が発揮されるのは、発話マイクロフォンＭＩＣ１が単一指向性マイクロフォンであり、ユーザの口が空間応答曲線１０１０における最大値またはその付近に来るように配向したときである。これによって、マイクロフォン信号における差が、発話が発生しているときは確実に大きくなる。
【００４４】
ＭＩＣ１およびＭＩＣ２を含むマイクロフォン構成の一実施形態では、マイクロフォンをユーザの耳付近に配置する。この構成では、発話マイクロフォンＭＩＣ１をユーザの口に向けて配向し、ノイズ・マイクロフォンＭＩＣ２をユーザの頭部から離れるように配向し、各マイクロフォンの空間応答曲線の最大値が、互いに約９０度変位するようにしている。これによって、ノイズ・マイクロフォンＭＩＣ２は、頭部の前方から十分にノイズを捕獲しつつ、同時にユーザからの発話は捕獲し過ぎないようにすることができる。
【００４５】
マイクロフォン構成の２つの代替実施形態では、各マイクロフォンの空間応答曲線がそれぞれ互いから約７５度および１３５度変位されるように、マイクロフォン１１０２および１００２を配向する。ＰＶＡＤシステムのこれらの構成では、マイクロフォンを互いにできるだけ近づくように配置し、Ｈ1（ｚ）の計算を簡略化し、発話マイクロフォンＭＩＣ１が殆どの発話を検出し、ノイズ・マイクロフォンＭＩＣ２が殆どのノイズ（即ち、Ｈ2（ｚ）は比較的小さい）を検出するように、マイクロフォンを配向する。各マイクロフォンの空間応答曲線の最大値間の変位は、約１８０度まで可能であるが、約４５度未満とするとよい。
【００４６】
ＰＶＡＤシステムは、発話マイクロフォンとノイズ・マイクロフォンとの間の差分経路を計算し（パスファインダでは、Ｈ1として知られており、ここに記載している通りである）、ＶＡＤを計算する際の補助とする。ノイズ抑制のためにこの情報を用いる代わりに、ＶＡＤシステムは、Ｈ1の利得を用いて、ノイズを消去するときを判断する。発話マイクロフォンにおける信号のエネルギのノイズ・マイクロフォンにおけるそれとの比率を試験して、ＰＶＡＤＨ1利得（ここでは、利得と呼ぶ）を次のように計算する。
【００４７】
【数２】
2005520211.tif 000004
【００４８】
ここで、ｘiは、発話マイクロフォンのディジタル化信号のｉ番目のサンプル、ｙiはノイズ・マイクロフォンのディジタル化信号のｉ番目のサンプルである。このＶＡＤの用途では、Ｈ1を適応的に計算する必要はない。この例はディジタル・ドメインにおけるものであるが、結果はアナログ・ドメインにおいても同様に有効である。利得は、時間ドメインまたは周波数ドメインのいずれでも同様に計算することができる。周波数ドメインでは、利得パラメータは、Ｈ1係数の二乗の和である。前述のように、ウィンドウの長さは、エネルギ計算には含まれていない。何故なら、エネルギの比率を計算するとき、対象のウィンドウの長さが相殺されるからである。最後に、この例は、単一の周波数サブバンドについてのものであるが、あらゆる数の所望のサブバンドにも有効である。
【００４９】
再度図１１を参照すると、マイクロフォン・アレイ１１００についての空間応答曲線１０１０および１１１０は、第１半球１１２０では１よりも大きい利得を示し、第２半球１１３０では１よりも小さい利得を示すが、そのように限定される訳ではない。これは、発話マイクロフォンＭＩＣ１のユーザの口に対する相対的な近接度と共に、ノイズから発話を差別化するのに役立つ。
【００５０】
ＰＶＡＤの実施形態のマイクロフォン・アレイ１１００は、パスファインダ・システムの最適な性能をもたらしつつ、同じ２つのマイクロフォンをＶＡＤおよび脱ノイズのために用いることを可能とすることによって、システムのコストを低減するという、付加的な利点がある。しかしながら、ＶＡＤの最適な性能のためには、２つのマイクロフォンを逆方向に配向し、この構成に対する非常に大きな利得変化を利用する。
【００５１】
代替実施形態のＰＶＡＤは、第３単一指向性マイクロフォンＭＩＣ３（図示せず）を含むが、そのように限定される訳ではない。第３マイクロフォンＭＩＣ３は、ＭＩＣ１に対向するように配向され、ＶＡＤのみのために用いられ、一方ＭＩＣ２はノイズ抑制のみのために用いられ、そしてＭＩＣ１はＶＡＤおよびノイズ抑制の双方のために用いられる。この結果、追加のマイクロフォンを費やすことによってシステム全体の性能が向上し、５０％多い音響データの処理が行える。
【００５２】
一実施形態のパスファインダ・システムは、ＰＶＡＤからの信号を用いて、加速度計に基づくＶＡＤおよび図３を参照しながら先に説明したエネルギ／スレシホルド方法を用いて、ＶＡＤを構築する。しかしながら、マイクロフォン・データ内にはかなりの量のノイズがあり得るので、加速度計に基づくＶＡＤの実施形態のエネルギ／閾値ＶＡＤ検出アルゴリズムは常に用いることができる訳ではない。代わりのＶＡＤ実施形態では、利得の過去の値（ノイズのみの時間中）を用いて、以下に説明するように、発声が行われているか否か判定を行う。
【００５３】
図１２は、ＰＶＡＤの代替実施形態の下において、利得値を用いて有声および無声発話を判定する方法のフロー図１２００である。動作は、ブロック１２０２において、システムのマイクロフォンによって信号を受信することから始まる。ブロック１２０４において、ＰＶＡＤシステムのコンポーネントがデータを濾波してエリアシングを除外し、濾波したデータをディジタル化する。ブロック１２０６において、マイクロフォンからのディジタル化データを、長さが２０ｍｓｅｃのウィンドウ２０に区分し、一度に８ｍｓｅｃずつデータを進ませる。更に、区分けしたデータを濾波して、不要なスペクトル情報を除去する。ブロック１２０８において、ノイズのみのウィンドウ（ベクトルＯＬＤ＿ＳＴＤ）からの最後の約５０回の利得計算の標準偏差を、ＯＬＤ＿ＳＴＤの平均（ＡＶＥ）と共に計算するが、実施形態はそのように限定される訳ではない。ブロック１２１０において、ＡＶＥおよびＳＤの値を、予め指定した最小値と比較し、最小値よりも小さい場合、それぞれ、最小値まで増大させる。
【００５４】
次に、ブロック１２１２において、ＰＶＡＤシステムのコンポーネントは、ＡＶＥをＳＤの倍数と合算することによって、発声閾値を計算する。低い方の閾値は、ＡＶＥとＳＤの１．５倍とを合算することによって得られ、一方高い方の閾値はＡＶＥとＳＤの４倍とを合算することによって得られる。各ウィンドウにおけるエネルギは、ブロック１２１４において、振幅の二乗を合算することによって計算する。更に、ブロック１２１４において、ＭＩＣ１におけるエネルギのＭＩＣ２におけるエネルギに対する比を取ることによって、利得を計算する。小さなカットオフ値をＭＩＣ２のエネルギに加算して、安定性を確保するが、実施形態はそのように限定される訳ではない。
【００５５】
ブロック１２１６において、計算した利得を閾値と比較すると、３つの結果が可能である。利得が低い方の閾値よりも小さい場合、ウィンドウは有声発話を含んでいないと判定し、ＯＬＤ＿ＳＴＤベクトルを新たな利得値で更新する。利得が低い方の閾値よりは大きく高い方の閾値よりも小さい場合、ウィンドウは有声発話を含んでいないと判定するが、発話は有声発話であることが疑われ、ＯＬＤ＿ＳＴＤを新たな利得値で更新しない。利得が低い方および高い方の閾値双方よりも大きい場合、ウィンドウは有声発話を含むと判定し、ＯＬＤ＿ＳＴＤベクトルを新たな利得値で更新しない。
【００５６】
この方法の実現例には関係なく、この考えは、発話が行われているときのＨ1（ｚ）＝Ｍ1（ｚ）／Ｍ2（ｚ）の大きい方の利得を用いて、ノイズのある背景からこれを差別化する。発話の間に計算した利得の方が大きいはずである。何故なら、マイクロフォンの構成のために、発話は、発話マイクロフォン（ＭＩＣ１）における方が、ノイズ・マイクロフォン（ＭＩＣ２）におけるよりも遥かに音が大きいからである。逆に、ノイズの方が幾何学的に拡散する場合が多く、ＭＩＣ２における方がＭＩＣ１におけるよりも音が大きいことが多い。無指向性マイクロフォンを発話マイクロフォンとして用いた場合、システムが処理可能なノイズのレベルを制限する場合があるので、これは常にあてはまるとは限らない。
【００５７】
尚、音響のみの脱ノイズ方法は、環境ノイズの影響を受けやすいことを注記しておく。しかしながら、検査では、前述の単一指向性−単一指向性マイクロフォン構成では、満足の行く結果が得られ、ＭＩＣ１におけるＳＮＲは０ｄＢよりも僅かに低かった。このように、このＰＶＡＤに基づくノイズ抑制システムは、ユーザが遭遇する可能性があるノイズ環境の殆ど全てにおいて、効果的に動作することができる。また、必要であれば、ＭＩＣ１のＳＮＲの向上も、マイクロフォンをユーザの口に近づけることによって実現することができる。
【００５８】
図１３は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）１３０２を、対応するマイクロフォンに基づくＰＶＡＤ信号１３０４、対応するＰＶＡＤ利得信号１３１２、およびＰＶＡＤ信号１３０４を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号１３２２と共に含むプロットを示す。オーディオ信号１３０２は、Ａｌｉｐｈ社のマイクロフォン・セットを用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号１３０２および脱ノイズ・オーディオ信号１３２２における差は、約２０〜２５ｄＢの範囲でノイズが抑制されていること、および所望の発話信号には殆ど歪みがないことを示す。このように、マイクロフォンに基づくＶＡＤ情報を用いた脱ノイズは有効である。
ステレオＶＡＤ（ＳＶＡＤ）デバイス／方法
図１および図１Ｂを参照すると、一実施形態のＳＶＡＤシステム１０２Ｂは、ＳＶＡＤアルゴリズム１５０を含み、対応する信号処理システム１００の周波数に基づく二マイクロフォン・アレイからのデータ１６４を受信する。ＳＶＡＤアルゴリズムは、受信発話の周波数スペクトルはそれをノイズから区別することができるという理論に基づいて動作する。したがって、ＳＶＡＤデバイス／方法に伴う処理は、マイクロフォン間における平均ＦＦＴの比較を含む。ＳＶＡＤは、先に図１１を参照して説明したＰＶＡＤと同様の配向とした２つのマイクロフォンを用い、以前のウィンドウからのノイズ・データに依存して、現ウィンドウが発話を含有するか否か判定を行う。ＰＶＡＤデバイス／方法について先に説明したように、発話マイクロフォンをここではＭＩＣ１と呼び、ノイズ・マイクロフォンをＭＩＣ２と呼ぶ。
【００５９】
図１を参照すると、パスファインダ・ノイズ抑制システムは、発話（ＭＩＣ１）およびノイズ（ＭＩＣ２）を特徴付ける２つのマイクロフォンを用いる。当然、双方のマイクロフォンには発話およびノイズの混合があるが、ＭＩＣ１のＳＮＲはＭＩＣ２のそれよりも大きいと仮定する。これは、一般に、ＭＩＣ１の方が発話源（ユーザ）に関してＭＩＣ２よりも近くにまたは正しく配向されていること、そしていずれのノイズ源も、ＭＩＣ１およびＭＩＣ２からは、発話源よりも遠くに位置することを意味する。しかしながら、無指向性および単一指向性または同様のマイクロフォンの組み合わせを用いることにより、同じ効果を得ることができる。
【００６０】
２つのマイクロフォン間におけるＳＮＲの差は、時間ドメインまたは周波数ドメインのいずれでも利用することができる。発話からノイズを分離するためには、ノイズの経時的な平均スペクトルを計算する必要がある。これは、以下のように指数平均法を用いて行う。
【００６１】
【数３】
2005520211.tif 000005
【００６２】
ここで、αは平均処理の平滑性を制御する（０．９９９のときは、非常に平滑な平均が得られ、０．９は非常に平滑ではない）。変数Ｌ（ｉ，ｋ）およびＳ（ｉ，ｋ）は、それぞれ、平均および瞬時変数であり、ｉは離散時間サンプルを表し、ｋは周波数ビンを表し、その数はＦＦＴの長さによって決められる。従来の平均処理または移動平均を用いても、これらの値を決定することができる。
【００６３】
図１４は、一実施形態の下において、ステレオＶＡＤを用いて有声および無声発話を判定する方法のフロー図１４００である。この例では、データは、図１を参照して説明したように、２つのマイクロフォンを用いて８ｋＨｚで記録した（エリアシングを除外するように適正な注意を払った）。用いたウィンドウの長さは２０ミリ秒で、８ミリ秒刻みとした。
【００６４】
ブロック１４０２において、２つのマイクロフォンで信号を受信したときに動作が開始する。マイクロフォン信号からのデータを適正に濾波してエリアシングを除外し、処理のためにディジタル化する。更に、ブロック１４０４において、ＭＩＣ１およびＭＩＣ２からの以前の１６０サンプルを、ハミング・ウィンドウを用いて区分する。ステップ１４０６および１４０８において、ＳＶＡＤシステムのコンポーネントは、区分けしたデータのＦＦＴの大きさを計算し、ＦＦＴ１およびＦＦＴ２を得る。
【００６５】
ブロック１４１０において、前述の指数平均法を、０．８５のα値と共に用いて、ＦＦＴ１およびＦＦＴ２を指数的に平均化し、ＭＦ１およびＭＦ２を生成する。ブロック１４１２において、ＭＦ１およびＭＦ２を用いて、システムは、以下のように、ＭＦ１とＭＦ２およびカットオフとの比の平均として、ＶＡＤ＿ｄｅｔを計算する。
【００６６】
【数４】
2005520211.tif 000006
【００６７】
ここで、ｉは対象のウィンドウ、ｋは周波数ビン、そしてカットオフは、ＭＩＣ２の周波数ビンの振幅が非常に小さいときに、しかるべき大きさの比を維持する。ＦＦＴは、長さが１２８であり、結果を１２８で除算して、比率の平均値を得る。
【００６８】
ブロック１４１４において、パスファインダ・システムのコンポーネントは、決定要因であるＶＡＤ＿ｄｅｔを発声閾値Ｖ＿Ｔｈｒｅｓｈと比較する。更に、比較に応答して、システムのコンポーネントは、ＶＡＤ＿ｄｅｔの値がＶ＿ｔｈｒｅｓｈ未満の場合、ＶＡＤ＿ｓｔａｔｅを０に設定し、ＶＡＤ＿ｄｅｔの値がＶ＿ｔｈｒｅｓｈより大きい場合、ＶＡＤ＿ｓｔａｔｅを１に設定する。
【００６９】
ブロック１４１６において、ＶＡＤ＿ｓｔａｔｅが１に等しいか否か判定を行う。ＶＡＤ＿ｓｔａｔｅが１に等しい場合、ブロック１４１７において、パスファインダ・システムのコンポーネントは、ＶＡＤ＿ｄｅｔの最も大きい値を記録する連続発声区間のカウンタと共に、パラメータを更新し、動作は、以下に述べるブロック１４２０に進む。有声ウィンドウの後に無声ウィンドウが現れた場合、直前の連続有声区間（１つ以上のウィンドウを含む可能性がある）における最も大きなＶＡＤ＿ｄｅｔの記録を調べ、有声指示が誤りでなかったか否か確認する。この区間における最も大きなＶＡＤ＿ｄｅｔが設定した閾値（例えば、低決定要因レベルに、低および高決定要因レベル間の差の４０％を加算した値）よりも小さい場合、発声状態を、そのウィンドウに対してマイナス１（−１）の値に設定する。これは、直前の有声区間は、実際には有声であることが疑わしいことを脱ノイズ・アルゴリズムに警告するために用いることができ、パスファインダ・システムはその係数計算を補正することができる。
【００７０】
ブロック１４１６において、ＳＶＡＤシステムがＶＡＤ＿ｓｔａｔｅが０に等しいと判定した場合、ＳＶＡＤシステムのコンポーネントは、ブロック１４１８において、最も大きなＶＡＤ＿ｄｅｔを含むパラメータをリセットする。また、直前のウィンドウが有声であった場合、直前の有声区間は擬陽性であったか否か判定するためにチェックを行う。次いで、ブロック１４２０において、パスファインダ・システムのコンポーネントは、発声閾値Ｖ＿ｔｈｒｅｓｈを計算する際に用いられる、高および低決定要因レベルを更新する。次に、動作はブロック１４０２に戻る。
【００７１】
この実施形態における低および高決定要因レベルは、双方とも、指数平均を用いて計算し、α値は、現在のＶＡＤ＿ｄｅｔが低および高決定要因レベルよりも高いかまたは低いかに応答して、以下のように決定する。低決定要因レベルでは、ＶＡＤ＿ｄｅｔの値が現在の低決定要因レベルよりも大きい場合、αの値を０．９９９に等しく設定し、そうでなければ、０．９を用いる。高決定要因レベルでは、同様の方法を用いるが、ＶＡＤ＿ｄｅｔの現在値が現在の高決定要因レベルよりも小さいときにαを０．９９９に等しく設定し、ＶＡＤ＿ｄｅｔの現在値が現在の高決定要因レベルよりも大きいときにαを０．９に等しく設定することを除く。従来の平均化または移動平均は、種々の代替実施形態においてこれらのレベルを決定するために用いることができる。
【００７２】
一実施形態の閾値は、概略的に、低決定要因レベルに、低および高決定要因レベルの間の差の１５％を加算した値に設定し、絶対最小閾値も指定するが、実施形態はそのように限定される訳ではない。絶対最小閾値は、静寂環境においてＶＡＤがランダムに起動されないように設定するとよい。
【００７３】
ＳＶＡＤを用いて有声および無声発話を判定する方法の代替実施形態は、マイクロフォン間の平均ＦＦＴの比較を行う際に、ウィンドウ・サイズ、ＦＦＴサイズ、カットオフ値、およびα値を含む、異なるパラメータを用いることができる。ＳＶＡＤデバイス／方法は、マイクロフォンのＳＮＲの差が十分であれば、いかなる種類のノイズとでも作用する。絶対ＳＮＲは、２つのマイクロフォンの相対ＳＮＲ程重要な要因ではなく、したがって、比較的大きなＳＮＲの差のために総じてＶＡＤ性能が向上するようにマイクロフォンを構成する。
【００７４】
ＳＶＡＤデバイス／方法は、多数の異なるマイクロフォン構成、ノイズの種類、およびノイズ・レベルで用いて、好結果が得られている。一例として、図１５は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）１５０２を、対応するＳＶＡＤ信号１５０４、およびＳＶＡＤ信号１５０４を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号１５２２と共に含むプロットを示す。オーディオ信号１５０２は、Ａｌｉｐｈ社のマイクロフォン・セットを用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号１５０２および脱ノイズ・オーディオ信号１５２２における差は、約２５〜３０ｄＢの範囲でノイズが抑制されていること、および所望の発話信号には殆ど歪みがないことを示す。
アレイＶＡＤ（ＡＶＡＤ）デバイス／方法
図１および図１Ｂを参照すると、一実施形態のＡＶＡＤシステム１０２Ｂは、対応する信号処理システム１００のマイクロフォン・アレイからデータ１６４を受信するＡＶＡＤアルゴリズム１５０を含む。ＡＶＡＤに基づくシステムのマイクロフォン・アレイは、２つ以上のマイクロフォンから成るアレイを含み、ユーザの発話を環境ノイズから区別するように作用するが、そのように限定される訳ではない。一実施形態では、２つのマイクロフォンは、予め指定した距離だけ離して位置付けることによって、これらのマイクロフォンを結ぶ線の軸上、またはその線の中点上というような、特定の方向に位置する音響源の強調に対応する。代替実施形態は、ビーム形成または音源追跡を用いて、アレイの視野における所望の信号を突き止め、ＶＡＤ信号を構築して、パスファインダ・システムのような関連する適応ノイズ抑制システムが使用する。別の代替案も、例えば、BrandsteinおよびD.Wardによる"Microphone Arrays"（マイクロフォン・アレイ）,2001, ISBN 3-540-41953-5に見られるような情報を適用すれば、当業者には自明であろう。
【００７５】
一実施形態のＡＶＡＤは、Panasonic社の単一指向性マイクロフォンを用いて構築した二マイクロフォン・アレイを含む。マイクロフォンの単一指向性により、音響源の検出を、アレイの前方、即ち、前側にある音響源に限定するのに役立つ。しかしながら、単一指向性マイクロフォンの使用は必須ではなく、特に、壁上におけるように、一方側からしかサウンドが近づけないようにアレイを取り付ける場合に言える。３つのマイクロフォンを直線距離で約３０．５センチメートル（ｃｍ）だけ分離し、ロー・ノイズ増幅器が、マイクロフォンからのデータを増幅し、National Instruments社のLabview 5.0を用いてパーソナル・コンピュータ（ＰＣ）上で記録するが、実施形態はそのように限定される訳ではない。このアレイを用いると、システムのコンポーネントは、１２ビットおよび３２ｋＨｚでマイクロフォン・データを記録し、データをディジタル的に濾波しデシメートして、１６ｋＨｚに落とす。代替実施形態では、大幅に低い分解能（恐らくは８ビット）およびサンプリング・レート（数ｋＨｚまで落とす）を、適当なアナログ予備フィルタリングと共に用いることができる。何故なら、音響データの忠実性には殆どまたは全く関与がないからである。
【００７６】
対象の信号源（話者）を、マイクロフォン・アレイの中線上で、マイクロフォンから約３０ｃｍ離れて位置付けた。この構成によって、対象の信号源に対しては、ＭＩＣ１およびＭＩＣ２間の遅延は０となり、他の全ての音源に対しては非ゼロの遅延となった。代替実施形態は、多数の代わりの構成を用いることができ、各遅延は、対象の音源を位置付けることができるアクティブ・エリアを規定するので、各々、異なる遅延値に対応する。
【００７７】
この実験では、２つのラウドスピーカがノイズ信号を供給し、一方のラウドスピーカをマイクロフォン・アレイの右約５０ｃｍの距離に配置し、第２ラウドスピーカは、話者の右背後約１５０ｃｍの距離に配置した。これらのラウドスピーカによって、約２から５ｄＢの範囲のＳＮＲを有する街中ノイズおよびトラックのノイズを再生した。更に、較正の目的のために、添加ノイズがない状態で記録を数回行った。
【００７８】
図１６は、一実施形態の下において、ＡＶＡＤを用いて有声および無声巣ピーとを判定する方法のフロー図１６００である。ブロック１６０２において、２つのマイクロフォンにて信号を受信したときに動作が開始する。ＶＡＤに伴う処理は、ステップ１６０４において、マイクロフォンからのデータを濾波してエリアシングを除外すること、および濾波したデータを処理のためにディジタル化することを含む。ブロック１６０６において、ディジタル化した信号を、長さが２０ミリ秒（ｍｓｅｃ）のウィンドウに区分し、データを一度に８ｍｓｅｃずつ進ませる。更に、処理は、ブロック１６０８において、区分けしたデータを濾波して、ノイズによって汚染されたか、またはいずれにしろ不要なスペクトル情報を除去する。
【００７９】
ブロック１６１０において、ＭＩＣ１からの区分けデータを、ＭＩＣ２からの区分けデータと合算し、その結果を次のように二乗する。
【００８０】
【数５】
2005520211.tif 000007
【００８１】
マイクロフォン・データを合算することにより、得られるデータのゼロ遅延要素を強調する。これによって、同相のＭＩＣ１およびＭＩＣ２の部分を、強め合うように加算し、一方ノイズ源（その位相関係は周波数と共に変動する）は、総じて弱め合うように加算する。次いで、得られた信号を二乗し、ゼロ遅延要素を大幅に増大させる。ゼロ遅延要素が大幅に増大したので、単純なエネルギ／閾値アルゴリズムを用いれば、得られた信号から発声を検出することができる（加速度計使用のＶＡＤおよび図３を参照して先に説明した通り）。
【００８２】
続いて、ブロック１６１２において、前述のように振幅の二乗を合算することによって、得られたベクトルにおけるエネルギを計算する。ブロック１６１４において、最後の５０個のノイズのみのウィンドウ（ベクトルＯＬＤ＿ＳＴＤ）の標準偏差（ＳＤ）を、ＯＬＤ＿ＳＴＤの平均（ＡＶＥ）と共に計算する。ブロック１６１６において、ＡＶＥおよびＳＤの値を、予め指定してある最小値と比較し、最小値よりも小さい場合、この最小値までそれぞれ増大させる。
【００８３】
パスファインダ・システムのコンポーネントは、次に、ブロック１６１８においてＡＶＥをＳＤの倍数と加算することによって、発声閾値を計算する。低い方の閾値は、ＡＶＥにＳＤの１．５倍を加算することによって得られ、一方高い方の閾値は、ＡＶＥにＳＤの４倍を加算することによって得られる。次に、ブロック１６２０においてエネルギを閾値と比較する。ここでは、可能な結果が３通りある。エネルギが低い方の閾値未満の場合、ウィンドウは有声発話を含んでいないと判定し、ＯＬＤ＿ＳＴＤベクトルを新たな利得値で更新する。エネルギが低い方の閾値よりは大きく、高い方の閾値よりは小さい場合、ウィンドウは有声発話を含んでいないが、発話は有声発話の疑いがあると判定し、ＯＬＤ＿ＳＴＤベクトルを新たな利得値で更新しない。エネルギが低い方および高い方双方の閾値よりも大きい場合、ウィンドウは有声発話を含むと判定し、ＯＬＤ＿ＳＴＤを新たな利得値で更新しない。
【００８４】
図１７は、一実施形態の下において、ＡＶＡＤシステムの各マイクロフォンからのオーディオ信号１７１０および１７２０を、対応するＶＡＤ信号１７１２および１７２２それぞれと共に含むプロットを示す。また、オーディオ信号１７１０および１７２０を合算して発生した結果信号１７３０も示す。話者は、マイクロフォン・アレイの中線から約３０ｃｍの距離の所に位置し、用いたノイズはトラックのノイズであり、ＳＮＲは双方のマイクロフォンにおいて０ｄＢ未満であった。ＶＡＤ信号１７１２および１７２２は、パスファインダ・システムまたはその他のノイズ抑制システムへの入力として供給することができる。
従来の単一マイクロフォンＶＡＤデバイス／方法
ノイズ抑制システムの一実施形態は、二マイクロフォン・システムの内一方のマイクロフォンの信号を用いてＶＡＤ情報を発生するが、そのように限定される訳ではない。図１８は、一実施形態の下における、パスファインダ・ノイズ抑制システム１０１および単一マイクロフォンＶＡＤシステム１０２Ｂを含む信号処理システム１８００のブロック図である。システム１８００は、主マイクロフォンＭＩＣ１、即ち、発話マイクロフォンと、基準マイクロフォンＭＩＣ、即ち、ノイズ・マイクロフォンとを含む。主マイクロフォンＭＩＣ１は、信号をＶＡＤシステム１０２Ｂおよびパスファインダ・システム１０１双方に結合する。基準マイクロフォンＭＩＣ２は、信号をパスファインダ・システム１０１に結合する。その結果、主マイクロフォンＭＩＣ１からの信号は発話およびノイズ・データをパスファインダ・システム１０２Ｂに供給し、データをＶＡＤシステム１０２Ｂに供給し、これからＶＡＤ情報が得られる。
【００８５】
ＶＡＤシステム１０２Ｂは、米国特許第４，８１１，４０４号および第５，６８７，２４３号に記載されているのと同様のＶＡＤアルゴリズムを含み、ＶＡＤ信号を計算し、得られた情報１０４をパスファインダ・システム１０１に供給するが、実施形態はそのように限定される訳ではない。システムの基準マイクロフォンＭＩＣ２を介して受信した信号は、ノイズ抑制のみに用いられる。
【００８６】
図１９は、一実施形態の下において、単一マイクロフォンＶＡＤを用いて発声情報を発生する方法のフロー図１９００である。ブロック１９０２において、主マイクロフォンで信号を受信したときに動作が開始する。ＶＡＤに伴う処理は、ブロック１９０４において、主マイクロフォンからのデータを濾波してエリアシングを除外し、濾波した信号を、処理のために、適切なサンプリング・レート（一般的には８ｋＨｚ）においてディジタル化する。ブロック１９０６において、従来のＶＡＤに適するように、ディジタル化した信号を区分し、濾波する。ブロック１９０８において、ＶＡＤアルゴリズムによってＶＡＤ情報を計算し、ブロック１９１０において、パスファインダ・システムに供給し、脱ノイズ動作に用いる。
空気流導出ＶＡＤデバイス／方法
空気流ＶＡＤデバイス／方法は、ユーザの口および／または鼻からの空気流を用いてＶＡＤ信号を構築する。空気流は、当技術分野では公知の多数の方法のいずれを用いても測定することができ、呼吸および総運動流(gross motion flow)から分離して、正確なＶＡＤ情報を生成する。空気流を呼吸および総運動流から分離するには、フロー・データをハイパス・フィルタにかける。何故なら、呼吸および総運動流は、殆ど低周波（１００Ｈｚ未満）エネルギで構成されているからである。空気流を測定するデバイスの一例は、Glottal Enterprise社のPneumotach Masksであり、詳しい情報はhttp://www.glotal.comから入手可能である。
【００８７】
空気流に基づくＶＡＤデバイス／方法を用いると、空気流には比較的音響ノイズがない。何故なら、空気流は口および鼻の非常に近くで検出されるからである。したがって、エネルギ／閾値アルゴリズムを用いれば、加速度計に基づくＶＡＤおよび図３を参照して先に説明したように、発声を検出し、ＶＡＤ信号を発生することができる。空気流に基づくＶＡＤデバイスおよび／または関連するノイズ抑制システムの代替実施形態は、別のエネルギに基づく方法を用いて、ＶＡＤ信号を発生することができる。これは、当業者には公知である。
【００８８】
図２０は、一実施形態の下において、空気流に基づくＶＡＤを用いて有声および無声発話を判定する方法のフロー図２０００である。ブロック２００２において、動作は空気流データの受信から開始する。ＶＡＤに伴う処理は、ブロック２００４において、空気流データを濾波してエリアシングを除外すること、および濾波したデータを処理のためにディジタル化することを含む。ブロック２００６において、ディジタル化したデータを長さ２０ミリ秒（ｍｓｅｃ）のウィンドウに区分し、データを一度に８ｍｓｅｃずつ進ませる。ブロック２００８において、処理は、更に、区分けしたデータを濾波して、低周波数の動きおよび呼吸アーチファクト(breathing artifacts)、ならびにその他の不要なスペクトル情報を除去することも含む。ブロック２０１０において、前述のように振幅の二乗を合算することによって、各ウィンドウにおけるエネルギを計算する。
【００８９】
ブロック２０１２において、計算したエネルギ値を閾値と比較する。ブロック２０１４において、ウィンドウのエネルギが閾値以上であるとき、空気流データに対応するウィンドウの発話を有声発話と指定する。ブロック２０１６において、有声データの情報をパスファインダ・システムに渡し、ＶＡＤ情報として用いる。代替実施形態のノイズ抑制システムは、多数の閾値を用いて、発声信号の相対的強度または信頼度を示すことができるが、そのように限定される訳ではない。
手動ＶＡＤデバイス／方法
一実施形態の手動ＶＡＤデバイスは、ＶＡＤデバイスを含み、例えば、押しボタンまたはスイッチ・デバイスを用いて、ユーザまたは観察者による手動活性化の機能を備えている。手動ＶＡＤデバイスの活性化、即ち、前述のような自動ＶＡＤデバイスを手動で無視することの結果、ＶＡＤ信号が発生する。
【００９０】
図２１は、一実施形態において、ノイズのあるオーディオ信号２１０２を、手動で活性化／計算した対応するＶＡＤ信号２１０４、およびパスファインダ・システムの処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。オーディオ信号２１０２は、Ａｌｉｐｈ社のマイクロフォン・セットを用い、１辺が６フィートで、天井の高さが８フィートの部屋の内部におけるバブル・ノイズ環境にて記録した。パスファインダ・システムは、約１０ｍｓｅｃの遅延を伴い、リアル・タイムで実施する。生のオーディオ信号２１０２および脱ノイズ・オーディオ信号２１２２における差は、約２５〜３０ｄＢの範囲でノイズが抑制されていること、および所望の発話信号には殆ど歪みがないことを明確に示す。このように、手動ＶＡＤ情報を用いた脱ノイズは有効である。
【００９１】
所望の音響情報およびノイズの双方を含む信号を処理する多数の電子システムは、前述のＶＡＤデバイス／方法の利点を得られることを当業者は認めよう。一例として、前述のＶＡＤデバイスの１つを含むイヤホンまたはヘッドセットは、ワイヤードおよび／またはワイヤレス結合を介して、セルラ電話機のようなハンドセットにリンクすることができる。具体的には、例えば、イヤピースまたはヘッドセットは、前述の皮膚面マイクロフォン（ＳＳＭ）ＶＡＤを含み、パスファインダ・システムの脱ノイズに対応する。
【００９２】
他の例として、従来のマイクロフォンがハンドセットに結合し、ハンドセットセットが、ＶＡＤの判定および脱ノイズを行う１つ以上のプログラムのホストとなる。例えば、１つ以上の従来のマイクロフォンを用いるハンドセットは、ＰＶＡＤおよびパスファインダ・システムを何らかの組み合わせで用いて、ＶＡＤの判定および脱ノイズを実行する。
パスファインダ・ノイズ抑制システム
前述のように、図１は、一実施形態の下において、パスファインダ・ノイズ抑制システム１０１およびＶＡＤシステム１０２を含む、信号処理システムのブロック図である。信号処理システム１００は、２つのマイクロフォンＭＩＣ１  １１０およびＭＩＣ２  １１２を含み、これらが少なくとも１つの発話源１２０および少なくとも１つのノイズ源１２２から信号または情報を受信する。発話源１２０からＭＩＣ１までのパスｓ（ｎ）、およびノイズ源１２２からＭＩＣ２までのパスｎ（ｎ）は、１つと見なす。更に、Ｈ1（ｚ）は、ノイズ源１２２からＭＩＣ１までのパスを表し、Ｈ2（ｚ）は信号源１２０からＭＩＣ２までのパスを表す。
【００９３】
いずれかの態様で得られたＶＡＤ信号１０４を用いて、ノイズ除去方法を制御する。ＭＩＣ１に入力する音響情報をｍ1（ｎ）で示す。ＭＩＣ２に入力する情報を、同様に、ｍ2（ｎ）で示す。ｚ（ディジタル周波数）ドメインでは、これらをＭ1（ｚ）およびＭ2（ｚ）と表すことができる。すると、
【００９４】
【数６】
2005520211.tif 000008
【００９５】
となる。
これは、全ての二マイクロフォン・システムについての一般的な場合である。実際のシステムでは、常に多少のノイズ漏れがあってＭＩＣ１に混入し、更に多少の信号漏れがＭＩＣ２に混入する。式１は、４つの未知数と２つのみの既知数の関係であり、したがって明示的に解くことはできない。
【００９６】
しかしながら、恐らくは式１における未知数の一部について解く何らかの方法がある。信号が発生していない場合、即ち、ＶＡＤが、発声が行われていないことを示す場合を検討する。この場合、ｓ（ｎ）＝Ｓ（ｚ）＝０であり、式１は次のように変形する。
【００９７】
【数７】
2005520211.tif 000009
【００９８】
ここで、変数Ｍの下付き文字ｎは、ノイズのみを受けていることを示す。これから、次の式が導かれる。
【００９９】
【数８】
2005520211.tif 000010
【０１００】
ここで、Ｈ1（ｚ）は、利用可能なシステム識別アルゴリズムのいずれか、およびシステムがノイズのみを受けていることが確実なときのマイクロフォン出力を用いて計算することができる。この計算は適応的に行い、システムはノイズ変化に反応することができるようにしなければならない。
【０１０１】
式１における未知数の１つについて解いた後、発声が行われており殆どノイズがないときをＶＡＤを用いて判定することによって、Ｈ2（ｚ）を解くことができる。ＶＡＤが発声を示すが、マイクロフォンの最新（１秒程度）履歴は低いノイズのレベルを示す場合、ｎ（ｓ）＝Ｎ（ｚ）〜０と仮定する。すると、式１は、次のように変形する。
【０１０２】
【数９】
2005520211.tif 000011
【０１０３】
一方、これから次の式が導かれる。
【０１０４】
【数１０】
2005520211.tif 000012
【０１０５】
このＨ2（ｚ）の計算は、Ｈ1（ｚ）の計算の丁度逆のように見えるが、異なる入力を用いていることを忘れてはならない。尚、常に単一の音源（ユーザ）しかなく、ユーザと両マイクロフォン間の相対的な位置は比較的一定でなければならないので、Ｈ2（ｚ）は比較的一定であるはずであることを注記しておく。Ｈ2（ｚ）計算の小さな適応利得を用いると、うまく行き、ノイズがあっても計算を一層ロバストにする。
【０１０６】
Ｈ1（ｚ）およびＨ2（ｚ）を計算した後、これらを用いて信号からノイズを除去する。式１を次のように書き換えると、
【０１０７】
【数１１】
2005520211.tif 000013
【０１０８】
Ｓ（ｚ）について解くことができる。
【０１０９】
【数１２】
2005520211.tif 000014
【０１１０】
一般に、Ｈ2（ｚ）は非常に小さく、Ｈ1（ｚ）は１よりも小さいので、殆どの周波数における殆どの状況では、
【０１１１】
【数１３】
2005520211.tif 000015
【０１１２】
となり、信号は、次の式を用いて計算することができる。
【０１１３】
【数１４】
2005520211.tif 000016
【０１１４】
したがって、Ｈ2（ｚ）は不要であり、Ｈ1（ｚ）が計算すべき唯一の伝達関数であると仮定する。望ましければＨ2（ｚ）を計算することができるが、マイクロフォンの設置および配向を正しく行えば、Ｈ2（ｚ）を計算する必要性を未然になくすことができる。
【０１１５】
大幅なノイズ抑制が達成できるのは、音響ノイズの処理において、多数のサブバンドを用いる場合のみである。その理由は、伝達関数を計算する際に用いる適応フィルタの殆どが、ＦＩＲ型であり、これはゼロおよび極双方を含むシステムを計算するにも、ゼロだけを用い、極を用いないからである。つまり、
【０１１６】
【数１５】
2005520211.tif 000017
【０１１７】
このようなモデルは、十分なタップが与えられれば、十分な精度が得られるが、このために計算コストおよび集束時間が著しく増大する可能性がある。最小二乗（ＬＭＳ）システムのようなエネルギに基づく適応フィルタ・システムにおいて一般に起こるのは、他の周波数よりも多くのエネルギを含む小さな範囲の周波数において、振幅(magnitude)および位相がぴったりと一致するということである。これによって、ＬＭＳはその要求を遂行し、誤差のエネルギをその能力の最大まで極少化することができるが、この当てはめ(fit)によって、一致する周波数の外側のエリアでノイズが増大し、ノイズ抑制の有効性が低下する虞れがある。
【０１１８】
サブバンドの使用によって、この問題が軽減する。主および副マイクロフォン双方からの信号を濾波して多数のサブバンドに分け、各サブバンドから得られるデータ（望ましければ、周波数シフトし、デシメートすることができるが、必ずしも必要ではない）をそれ自体の適応フィルタに送る。これによって、適応フィルタにデータを、信号内でエネルギが最高のところではなく、それ自体のサブバンドに当てはめさせる。各サブバンドからのノイズを抑制した結果を共に合算して、最後に最終的な脱ノイズ信号を形成することができる。全てを時間整合した状態に保持し、フィルタのシフトを補償することは容易ではないが、その結果は、費用および処理要件の増大があっても、システムにとって遥かに優れたモデルとなる。
【０１１９】
一見すると、パスファインダ・アルゴリズムは、図２に示した伝統的なＡＮＣ（適応ノイズ・キャンセレーション）のような他のアルゴリズムに非常に似通っているかに思えるかもしれない。しかしながら、詳しく調べると、ノイズ抑制性能に関して全く異なるエリアがいくつかあることが判明する。これに含まれるのは、ＶＡＤ情報を用いてノイズ抑制システムの受信信号に対する適応性を制御すること、多数のサブバンドを用いて対象のスペクトル全域において適当な集束を補償すること、そしてシステムの基準マイクロフォンにおいて対象の音響信号を用いた動作に対応することであり、以下に順に説明する。
【０１２０】
ＶＡＤを用いてノイズ抑制システムの受信信号に対する適応性を制御することに関して、伝統的なＡＮＣはＶＡＤ情報を用いない。発話生成の間、基準マイクロフォンには信号があり、発話の時間中にＨ1（ｚ）（ノイズから主マイクロフォンまでのパス）の係数を適応させると、対象信号から発話エネルギの大部分が除去される結果となる。その結果、信号の歪みや減少（脱信号(de-signaling)が生ずる。したがって、前述の種々の方法は、ＶＡＤ情報を用いて十分な精度のＶＡＤを構築し、いつＨ1（ノイズのみ）およびＨ2（必要であれば、発話を生成しているとき）を適応させるべきか、パスファインダ・システムに命令する。
【０１２１】
伝統的なＡＮＣとパスファインダ・システムとの間の重要な相違には、前述のように、音響データをサブバンドに分割することが含まれる。パスファインダ・システムは、多くのサブバンドを用いて、サブバンドの情報に個々にＬＭＳアルゴリズムを適用する支援を行うことにより、対象のスペクトル全域にわたって適当な集束を保証し、パスファインダ・システムがこのスペクトル全域にわたって有効となれるようにする。
【０１２２】
ＡＮＣアルゴリズムは、一般に、ＬＭＳ適応フィルタを用いてＨ1をモデル化し、このモデルは全てのゼロを用いてフィルタを構築するので、「本当に」機能するシステムをこのようにして精度高くモデル化できることはあり得ない。機能するシステムは、殆ど常に極およびゼロの双方を有し、したがってＬＭＳフィルタとは全く異なる周波数応答を有する。多くの場合、ＬＭＳに可能な最良のことは、実システムの位相および振幅を単一の周波数（または非常に狭い範囲）において一致させることであるので、この周波数以外では、モデルの適合性は非常に貧弱であり、その結果これらのエリアではノイズ・エネルギが増大する可能性がある。したがって、対象の音響データのスペクトル全域にＬＭＳアルゴリズムを適用すると、振幅／位相の一致度が低い周波数において、対象信号の劣化が生ずることが多い。
【０１２３】
最後に、パスファインダ・アルゴリズムは、システムの基準マイクロフォンにおいて、対象の音響信号を用いた動作に対応する。音響信号を基準マイクロフォンに受信させることは、マイクロフォンを、従来のＡＮＣ構成よりも互いに大きく近づけて配置できることを意味する。このように間隔を狭めることにより、適応フィルタの計算が簡単になり、マイクロフォンの構成／ソリューション(solution)を一層コンパクトにすることができる。また、信号の歪みおよび脱信号を極力抑え、対象の信号源と基準マイクロフォンとの間の信号経路のモデリングに対応する特殊なマイクロフォン構成も開発されている。
【０１２４】
一実施形態では、指向性マイクロフォンの使用により、伝達関数が１に近づかないことを確保する。指向性マイクロフォンを用いても、ある信号はノイズ・マイクロフォンが受信する。これを無視し、Ｈ2（ｚ）＝０と仮定すると、完全なＶＡＤを想定するならば、ある程度の歪みはある。これは、式２を参照し、Ｈ2（ｚ）が含まれないときの結果について解くことによって、確認することができる。
【０１２５】
【数１６】
2005520211.tif 000018
【０１２６】
これは、信号が［１−Ｈ2（ｚ）Ｈ1（ｚ）］倍歪むことを示す。したがって、歪みの種類および量はノイズ環境に応じて変化する。ノイズが殆どない場合、Ｈ1（ｚ）はほぼ０となり、歪みは殆どない。ノイズがある場合、歪みの量は、ノイズ源（複数のノイズ源）の種類、位置、および強度によって変化する可能性がある。マイクロフォン構成を正しく設計すれば、これらの歪みは最小に抑えられる。
【０１２７】
各サブバンドにおけるＨ1の計算を実施するのは、発声が行われていることをＶＡＤが示すとき、または発声が行われているがサブバンドのＳＮＲが十分低いときである。逆に、Ｈ2を各サブバンドにおいて計算できるのは、発話が行われており、サブバンドのＳＮＲが十分に高いことをＶＡＤが示すときである。しかしながら、マイクロフォンの配置および処理を適正に行えば、信号歪みを極力抑えることができ、Ｈ1だけを計算すれば済む。これによって、必要な処理が大幅に減少し、パスファインダ・アルゴリズムの実施が簡略化する。伝統的なＡＮＣが、信号がＭＩＣに入力するのを全く許さない場合、パスファインダ・アルゴリズムは、適切なマイクロフォン構成を用いたときのＭＩＣ２内の信号を許容する。先に図１１を参照して説明したように、適切なマイクロフォン構成の一実施形態は、２つのカルディオイド単一指向性マイクロフォン、ＭＩＣ１およびＭＩＣ２を用いたものである。この構成では、ＭＩＣ１をユーザの口に向けて配向する。更に、この構成では、ＭＩＣ２をＭＩＣ１にできるだけ近づけて配置し、ＭＩＣ２をＭＩＣ１に対して９０度に配向する。
【０１２８】
恐らくノイズ抑制のＶＡＤに対する依存性を実証する最も良い方法は、ＶＡＤが異常という状況で脱ノイズに対するＶＡＤの誤りの影響を調べることである。起こる可能性がある誤りには２種類ある。擬陽性（ＦＰ：false positive）となるのは、ＶＡＤが、発声が行われていないときに、それが行われたことを示す場合であり、擬陰性（ＦＮ：false negative）となるのは、発話が行われたことをＶＡＤが検出しないときである。擬陽性が厄介なのは、余りに頻繁に発声する場合のみである。何故なら、ときどきＦＰが発生しても、Ｈ1の係数の更新が短時間止まるに過ぎないからでありこれはノイズ抑制性能には認めら得る程の影響を及ぼさないことが、経験から示されている。一方、擬陰性は、特に失った発話のＳＮＲが高い場合には、問題の原因となる。
【０１２９】
システムの双方のマイクロフォンに発話およびノイズがあり、ＶＡＤが異常となって擬陰性を戻したために、システムがノイズのみを検出するようになったと仮定すると、ＭＩＣ２における信号は、
【０１３０】
【数１７】
2005520211.tif 000019
【０１３１】
となる。ここで、ｚは明確化のために除外した。ＶＡＤはノイズの存在のみを示すので、システムは、次の式にしたがって、単一ノイズおよび単一信号伝達関数として、前述のシステムをモデル化しようとする。
【０１３２】
【数１８】
2005520211.tif 000020
【０１３３】
パスファインダ・システムは、ＬＭＳアルゴリズムを用いてＨ1~を計算するが、ＬＭＳアルゴリズムは、一般に、時間変動全零系(time-variant, all-zero system)をモデル化するのが最良である。ノイズおよび発話信号を相関付けることはあり得ないので、システムは、一般に、ＭＩＣ１におけるデータのＳＮＲ、Ｈ1およびＨ2をモデル化する能力、ならびにＨ1およびＨ2の時間不変性に応じて、発話およびそれに伴う伝達関数、またはノイズおよびそれに伴う伝達関数のいずれかをモデル化する。以下、これについて説明する。
【０１３４】
ＭＩＣ１におけるデータのＳＮＲに関して、ＳＮＲが非常に低いと（０未満）、パスファインダ・システムをノイズの伝達関数に集束させる傾向がある。対照的に、ＳＮＲが高いと（０よりも大きい）、パスファインダ・システムを発話の伝達関数に集束させる傾向がある。Ｈ1をモデル化する能力については、Ｈ1またはＨ2のいずれかが、ＬＭＳ（全零モデル）を用いてモデル化し易い場合、パスファインダ・システムは、その伝達関数に集束する傾向がある。
【０１３５】
システム・モデリングのＨ1およびＨ2の時間不変性に対する依存性について説明すると、ＬＭＳは時間不変系をモデル化するのが最良であると仮定する。つまり、Ｈ2はＨ1が変化し得るよりも遥かにゆっくりと変化するので、パスファインダ・システムは、総じてＨ2に集束する傾向がある。
【０１３６】
ＬＭＳがノイズの伝達関数にも跨って発話の伝達関数をモデル化すると、ＬＭＳフィルタの係数が同一のまままたは同様である限り、発話は、ノイズと分類され、除去される。したがって、パスファインダ・システムが発話の伝達関数Ｈ2のモデルに集束した後（数ミリ秒程度で起こり得る）、後続のあらゆる発話（ＶＡＤが異常でないときの発話でさえ）のエネルギが除去され、しかもシステムは、この発話をノイズであると「想定する」。何故なら、その伝達関数は、ＶＡＤが異常となったときにモデル化した伝達関数に類似しているからである。この場合、Ｈ2を主にモデル化しており、ノイズには影響が及ばないか、あるいは部分的に除去されるだけである。
【０１３７】
このプロセスの最終的な結果は、浄化した発話の音量および歪みの減少であり、その度合いは、前述の変数によって決定される。システムがＨ1に集束する傾向がある場合、後に起こる発話の利得低下および歪みはたいしたことはない。しかしながら、システムがＨ2に集束する傾向がある場合、発話が著しく歪む可能性がある。
【０１３８】
このＶＡＤの異常分析は、サブバンドの使用や、マイクロフォンの配置、種類、および配向に伴う微妙さを記述しようとしているのではなく、ＶＡＤの重要性を脱ノイズに向けることを意味する。前述の結果は、単一サブバンド、または任意の数のサブバンドにも適用可能である。何故なら、各サブバンドにおける相互作用は同一であるからである。
【０１３９】
加えて、ＶＡＤに対する依存性、および先のＶＡＤの異常分析において記載したＶＡＤの誤りから生ずる問題は、パスファインダ・ノイズ抑制システムだけに限られることではない。ＶＡＤを用いてどのように脱ノイズするか決定するあらゆる適応フィルタ・ノイズ抑制システムも、同様に影響を受ける。この開示では、パスファインダ・ノイズ抑制システムに言及する場合、多数のマイクロフォンを用いてノイズ波形を推定し、信号およびノイズの双方を含む信号からこれを減算するノイズ抑制システムの全て、および信頼性の高い動作がＶＡＤに依存するノイズ抑制システムの全てがその言及には含まれることを念頭においておくべきである。パスファインダは、単に引用に便利な実現例に過ぎない。
【０１４０】
パスファインダ・システムのように、ノイズ抑制システムと共に用いるための、前述したＶＡＤデバイスおよび方法は、音響信号を脱ノイズ化するシステムを含み、このシステムは、脱ノイズ・サブシステムであって、環境の音響信号を当該脱ノイズ・サブシステムのコンポーネントに供給するように結合された少なくとも１つの受信機を含む脱ノイズ・サブシステムと、脱ノイズ・サブシステムに結合されている発声検出サブシステムであって、人の発声活動の情報を含む発声活動信号を受信する発声検出サブシステムとを備えており、発声検出サブシステムのコンポーネントが、発声活動信号の情報を用いて自動的に制御信号を発生し、脱ノイズ・サブシステムのコンポーネントが、制御信号を用いて、音響信号の少なくとも１つの周波数サブバンドのデータに適した少なくとも１つの脱ノイズ方法を自動的に選択し、脱ノイズ・サブシステムのコンポーネントが、選択した脱ノイズ方法を用いて、音響信号を処理し、脱ノイズ音響信号を発生する。
【０１４１】
脱ノイズ・サブシステムの一実施形態の受信機は、音響信号を検出する少なくとも１つのマイクロフォン・アレイに結合する。
一実施形態のマイクロフォン・アレイは、少なくとも２つの密接配置されたマイクロフォンを含む。
【０１４２】
一実施形態の発声検出サブシステムは、センサを通じて、発声活動信号を受信し、センサは、加速度計、ユーザの皮膚と物理的に接触する皮膚面マイクロフォン、人間組織振動検出器、無線周波数（ＲＦ）振動検出器、レーザ振動検出器、エレクトログロットグラフ（ＥＧＧ）デバイス、およびコンピュータ・ビジョン組織振動検出器(computer vision tissue vibration detector)の少なくとも１つから選択する。
【０１４３】
一実施形態の発声検出サブシステムは、受信機に結合されているマイクロフォン・アレイを介して発声活動信号を受信し、マイクロフォン・アレイは、マイクロフォン、勾配マイクロフォン、および１対の単一指向性マイクロフォンの内少なくとも１つを含む。
【０１４４】
一実施形態の発声検出サブシステムは、受信機に結合されているマイクロフォン・アレイを介して発声活動信号を受信し、マイクロフォン・アレイは、第２単一指向性マイクロフォンと同じ場所に位置付けられた第１単一指向性マイクロフォンとを含み、第１単一指向性マイクロフォンは、当該第１指向性マイクロフォンの空間応答曲線の最大値が、第２単一指向性マイクロフォンの空間応答曲線の最大値から方位方向に約４５ないし１８０度の範囲に来るように配向されている。
【０１４５】
一実施形態の発声検出サブシステムは、受信機に結合されているマイクロフォン・アレイを介して発声活動信号を受信し、マイクロフォン・アレイは、第２単一指向性マイクロフォンと同一直線上に位置付けられた第１単一指向性マイクロフォンを含む。
【０１４６】
パスファインダ・システムに類似したノイズ抑制システムと共に用いる、前述のＶＡＤ方法は、音響信号の脱ノイズ方法を含む。この方法は、音響信号と発声活動信号を受信するステップと、発声活動信号のデータから制御信号を自動的に発生するステップと、制御信号を用いて、音響信号の少なくとも１つの周波数サブバンドのデータに適した少なくとも１つの脱ノイズ方法を自動的に選択するステップと、選択した脱ノイズ方法を適用し、脱ノイズ音響信号を発生するステップとを含む。
【０１４７】
一実施形態では、選択するステップは、更に、有声発話を含む周波数サブバンドのために第１脱ノイズ方法を選択するステップを含む。
一実施形態では、選択するステップは、更に、無声発話を含む周波数サブバンドのために第２脱ノイズ方法を選択するステップを含む。
【０１４８】
一実施形態では、選択するステップは、更に、発話のない周波数サブバンドのために脱ノイズ方法を選択するステップを含む。
一実施形態では、選択するステップは、更に、受信した音響信号のノイズ情報に応答して、脱ノイズ方法を選択するステップを含み、ノイズ情報は、ノイズの振幅、ノイズの種類、およびスピーカに対するノイズの方位の内少なくとも１つを含む。
【０１４９】
一実施形態では、選択するステップは、更に、受信した音響信号のノイズ情報に応答して、脱ノイズ方法を選択するステップを含み、ノイズ情報は、スピーカに対するノイズ源の動きを含む。
【０１５０】
パスファインダ・システムに類似したノイズ抑制システムと共に用いる、前述のＶＡＤ方法は、音響信号からノイズを除去する方法を含む。この方法は、音響信号を受信するステップと、人の発声活動に関連する情報を受信するステップと、音響信号からのノイズ除去を制御する際に用いる少なくとも１つの制御信号を発生するステップと、制御信号に応答して、少なくとも１つの周波数サブバンドにおいて音響信号を処理する際に用いる少なくとも１つの伝達関数を自動的に発生するステップと、発生した伝達関数を音響信号に適用するステップと、音響信号からノイズを除去するステップとを含む。
【０１５１】
一実施形態の方法は、更に、受信した音響信号を複数の周波数サブバンドに分割するステップを含む。
一実施形態では、伝達関数を発生するステップは、更に、制御信号が、あるサブバンドの音響信号に発声情報がないことを示す場合、サブバンドの音響信号を表す少なくとも１つの第１伝達関数の係数を適応させるステップを含む。
【０１５２】
一実施形態では、伝達関数を発生するステップは、更に、制御信号が、あるサブバンドの音響信号に発声情報があることを示す場合、サブバンドの音響信号を表す少なくとも１つの第２伝達関数を発生するステップを含む。
【０１５３】
一実施形態では、発生した伝達関数を適用するステップは、更に、音響信号のノイズに関連する推定ノイズ波形を発生し、音響信号が発話とノイズとを含む場合、音響信号から推定ノイズ波形を減算するステップを含む。
【０１５４】
本発明の種々の形態は、種々の回路のアレイにプログラムする機能性として実施することができ、種々の回路は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、プログラマブル・アレイ・ロジック（ＰＡＬ）デバイス、電気的プログラム可能ロジックおよびメモリ・デバイスおよび標準的なセルを用いたデバイス、特定用と集積回路（ＡＳＩＣ）等のプログラマブル・ロジック・デバイス（ＰＬＤ）を含む。本発明の形態を実施する他の多数の可能性には、メモリ（電子的消去可能プログラマブル・リード・オンリ・メモリ（ＥＥＰＲＯＭ））、埋め込み型マイクロプロセッサ、ファームウェア、ソフトウェアなどが含まれる。本発明の形態をソフトウェアとして具体化する場合、製造中における少なくとも１つの段階において（例えば、ファームウェアまたはＰＬＤに埋め込む前）、磁気的または光学的に読み取り可能なディスク（固定またはフロッピ）のような、いずれかのコンピュータ読み取り可能媒体によって担持し、キャリア信号上に変調するか、あるいは送信する等としてもよい。
【０１５５】
更に、本発明の形態は、ソフトウェアに基づく回路エミュレーションを有するマイクロプロセッサ、ディスクリート・ロジック（連続または組み合わせ）、カスタム・デバイス、ファジイ（ニューラル）ロジック、量子デバイス、および上述のデバイス品種のいずれもの混成において具体化することもできる。勿論、基礎となるデバイス技術は、種々のコンポーネント品種、例えば、相補金属酸化物半導体（ＣＭＯＳ）のような金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）技術、エミッタ結合ロジック（ＥＣＬ）のようなバイポーラ技術、ポリマ技術（例えば、シリコン共役ポリマおよび金属共役ポリマ金属構造）、アナログおよびディジタルの混合等において提供することができる。
【０１５６】
特に文脈上明らかに必要でない限り、本記載および特許請求の範囲を通じて、「備える」(comprise)、「備えている」(comprising)等の単語は、排他的または網羅的な意味ではなく、包含的意味で解釈するものとする。即ち、「含むが、限定されない」という意味である。単数または複数を用いる単語も、それぞれ、複数または単数も含むものとする。加えて、「ここでは」(herein)、「これ以降」(hereunder)、「以上」(above)、「以下」(below)および同様の趣旨の単語は、本願において用いる場合、本願全体を指し、本願のいずれかの特定部分を指すのではないこととする。「または」(or)という用語が２つ以上の品目のリストに関して用いられる場合、この用語は、リスト内の品目のいずれか、リスト内の品目の全て、およびリスト内の品目のあらゆる組み合わせといった、当該用語の解釈全てに及ぶものとする。
【０１５７】
例示した本発明の実施形態についての以上の説明は、それで全てであることも、開示された正確な形態に本発明を限定することも意図してはいない。例示の目的で本発明の具体的な実施形態や例についてここでは説明したが、本発明の範囲内で種々の等価な変更が可能なことは、当業者であれば認識するところである。ここに提示した本発明の教示は、前述の処理システムだけでなく、その他の処理システムおよび通信システムにも適用することができる。
【０１５８】
前述の種々の実施形態の要素および動作(act)を組み合わせて、更に別の実施形態を得ることができる。これらおよびその他の変更は、先の詳細な説明に鑑みれば行うことができる。
【０１５９】
この中で引用したあらゆる引例または米国特許出願は、その引用により、本願にも含まれることとする。必要であれば、本発明の形態を変更し、前述した種々の特許および出願のシステム、機能および概念を採用し、本発明の更に別の実施形態を得ることも可能である。
【０１６０】
一般に、特許請求の範囲では、用いられる用語は、明細書に開示されている具体的な実施形態や特許請求の範囲に限定するように解釈してはならず、特許請求の範囲の下で動作して、データ・ファイルまたはストリームを圧縮および伸張する方法を提供する、あらゆる処理システムを含むように解釈してしかるべきである。したがって、本発明は、本開示によって限定されるのではなく、代わりに、本発明の範囲は、特許請求の範囲によって全面的に決定されるものとする。
【０１６１】
本発明のある一定の形態を明白な請求項の形式で提示するが、本発明は、本発明の種々の形態をいかなる数の請求項の形態でも想定している。例えば、本発明の一形態のみを、コンピュータ読み取り可能媒体に具体化したものとして説明しているが、他の形態も同様にコンピュータ読み取り可能媒体に具体化することができる。したがって、本発明者は、本願を出願した後も追加の請求項を付加し、本発明の他の形態のためにこのような追加の請求項を追求する権利を保有することとする。
【図面の簡単な説明】
【０１６２】
【図１】図１は、一実施形態の下における、パスファインダ・ノイズ抑制システムおよびＶＡＤシステムを含む信号処理システムのブロック図である。
【図１Ａ】図１Ａは、一実施形態の下において、ＶＡＤに関する信号を受信し処理する際に用いるハードウェアを含むＶＡＤシステムのブロック図である。
【図１Ｂ】図１Ｂは、代替実施形態の下において、ＶＡＤ情報を受信する際に用いる、関連するノイズ抑制システムのハードウェアを用いるＶＡＤシステムのブロック図である。
【図２】図２は、当技術分野では公知の、伝統的な適応ノイズ・キャンセレーション・システムを組み込んだ信号処理システムのブロック図である。
【図３】図３は、一実施形態の下において、加速度計利用のＶＡＤを用いて有声および無声発話を判定する方法のフロー図である。
【図４】図４は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応する加速度計に基づくＶＡＤ信号、対応する加速度計出力信号、およびＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図５】図５は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応するＳＳＭに基づくＶＡＤ信号、対応するＳＳＭ出力信号、およびＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図６】図６は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応するＧＥＭＳに基づくＶＡＤ信号、対応するＧＥＭＳ出力信号、およびＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図７】図７は、一実施形態の下において、ディジタル的に付加したノイズを有する記録発話音響データを、対応するＥＧＧに基づくＶＡＤ信号、および対応するハイパス・フィルタ処理したＥＧＧ出力信号と共に含むプロットを示す。
【図８】図８は、一実施形態の下において、ビデオ系ＶＡＤを用いて有声発話を判定する方法のフロー図８０である。
【図９】図９は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応する単一（勾配）マイクロフォンに基づくＶＡＤ信号、対応する勾配マイクロフォン出力信号、およびＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図１０】図１０は、一実施形態の下において、関連する空間応答曲線と共に、マイクロフォン・アレイの単一カルディオイド単一指向性マイクロフォンを、関連する空間応答曲線と共に示す。
【図１１】図１１は、一実施形態の下における、ＰＶＡＤシステムのマイクロフォン・アレイを示す。
【図１２】図１２は、ＰＶＡＤの代替実施形態の下において、Ｈ1（ｚ）利得値を用いて有声および無声発話を判定する方法のフロー図である。
【図１３】図１３は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応するマイクロフォンに基づくＰＶＡＤ信号、対応するＰＶＡＤ利得対時間信号、およびＰＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図１４】図１４は、一実施形態の下において、ステレオＶＡＤを用いて有声および無声発話を判定する方法のフロー図である。
【図１５】図１５は、一実施形態の下において、ノイズのあるオーディオ信号（生録音）を、対応するＳＶＡＤ信号、およびＳＶＡＤ信号を用いてパスファインダ・システムによる処理の後の脱ノイズ信号と共に含むプロットを示す。
【図１６】図１６は、一実施形態の下において、ＡＶＡＤを用いて有声および無声発話を判定する方法のフロー図である。
【図１７】図１７は、一実施形態の下において、ＡＶＡＤシステムの各マイクロフォンからのオーディオ信号を、対応する合成エネルギ信号と共に含むプロットを示す。
【図１８】図１８は、一実施形態の下における、パスファインダ・ノイズ抑制システムおよび単一マイクロフォン（従来の）ＶＡＤシステムを含む信号処理システムのブロック図である。
【図１９】図１９は、一実施形態の下において単一マイクロフォンＶＡＤを用いて有声情報を発生する方法のフロー図である。
【図２０】図２０は、一実施形態の下において、空気流に基づくＶＡＤを用いて有声および無声発話を判定する方法のフロー図である。
【図２１】図２１は、一実施形態の下において、ノイズのあるオーディオ信号を、手動で活性化／計算した対応するＶＡＤ信号、および手動ＶＡＤ信号を用いたパスファインダ・システムによる処理の後の脱ノイズ・オーディオ信号と共に含むプロットを示す。
【図１】
2005520211.tif 000021
【図１Ａ】
2005520211.tif 000022
【図１Ｂ】
2005520211.tif 000023
【図２】
2005520211.tif 000024
【図３】
2005520211.tif 000025
【図４】
2005520211.tif 000026
【図５】
2005520211.tif 000027
【図６】
2005520211.tif 000028
【図７】
2005520211.tif 000029
【図８】
2005520211.tif 000030
【図９】
2005520211.tif 000031
【図１０】
2005520211.tif 000032
【図１１】
2005520211.tif 000033
【図１２】
2005520211.tif 000034
【図１３】
2005520211.tif 000035
【図１４】
2005520211.tif 000036
【図１５】
2005520211.tif 000037
【図１６】
2005520211.tif 000038
【図１７】
2005520211.tif 000039
【図１８】
2005520211.tif 000040
【図１９】
2005520211.tif 000041
【図２０】
2005520211.tif 000042
【図２１】
2005520211.tif 000043
【国際調査報告】
2005520211.tif 000044
2005520211.tif 000045
2005520211.tif 000046