(57)【要約】  マイクロフォンアレイに構成された多数のマイクロフォンを備えたオーディオデバイス。マイクロフォンアレイと通信するオーディオ信号処理システムは、複数のマイクロフォンから複数のオーディオ信号を取得し、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用して、所望の音に対して所望しない音よりもアレイの感度を高め、受信した音を所望の音または所望しない音のいずれかに分類し、分類された受信音と受信音の分類を使用して、フィルタトポロジを変更するように構成される。
2020505648.tif 000002
【特許請求の範囲】
【請求項１】
マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンであって、前記マイクロフォンは音を受信するように適合された、マイクロフォンと、
前記マイクロフォンアレイと通信する処理システムであって、
前記複数のマイクロフォンから複数のオーディオ信号を得、
前記アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、
受信音を所望の音または所望しない音のいずれかに分類し、
前記分類された受信音と、前記受信音の前記分類を使用して、前記フィルタトポロジを変更するように構成される、前記処理システムと、を含む、
オーディオデバイス。
【請求項２】
オーディオ信号が得られている音源の種類を検出するように構成された検出システムをさらに含む、請求項１に記載のオーディオデバイス。
【請求項３】
特定の種類の音源から得られた前記オーディオ信号は、前記フィルタトポロジの変更のために使用されない、請求項２に記載のオーディオデバイス。
【請求項４】
前記特定の種類の音源は、音声ベースの音源を含む、請求項３に記載のオーディオデバイス。
【請求項５】
前記検出システムは、音声ベースの音源を検出するために使用されるように構成された音声アクティビティ検出器を含む、請求項２に記載のオーディオデバイス。
【請求項６】
前記オーディオ信号処理システムは、受信音の信頼性スコアを計算するようにさらに構成され、前記信頼性スコアは、前記フィルタトポロジの前記変更において使用される、請求項１に記載のオーディオデバイス。
【請求項７】
前記信頼性スコアは、前記フィルタトポロジの前記変更に対する前記受信音の寄与に重みづけするために使用される、請求項６に記載のオーディオデバイス。
【請求項８】
前記信頼性スコアを計算することは、受信音がウェイクアップワードを含むという信頼度に基づく、請求項６に記載のオーディオデバイス。
【請求項９】
受信音は経時的に収集され、および特定の期間で収集された分類された受信音は前記フィルタトポロジを変更するために使用される、請求項１に記載のオーディオデバイス。
【請求項１０】
前記受信音の収集期間は固定されている、請求項９に記載のオーディオデバイス。
【請求項１１】
より古い受信音は、より新しい収集された受信音よりもフィルタトポロジの変更に対する効果が少ない、請求項９に記載のオーディオデバイス。
【請求項１２】
前記フィルタトポロジの変更に対する収集された受信音の前記効果は、一定の割合で減衰する、請求項１１に記載のオーディオデバイス。
【請求項１３】
前記オーディオデバイスの前記環境における変化を検出するように構成された検出システムをさらに含む、請求項１に記載のオーディオデバイス。
【請求項１４】
前記収集された受信音のどれが前記フィルタトポロジを変更するために使用されるかは、前記環境における前記検出された変化に基づく、請求項１３に記載のオーディオデバイス。
【請求項１５】
前記オーディオデバイスの前記環境における変化が検出されたとき、前記オーディオデバイスの前記環境における前記変化が検出される前に収集された受信音は、前記フィルタトポロジを変更するためにもはや使用されない、請求項１４に記載のオーディオデバイス。
【請求項１６】
オーディオ信号をサーバに送信するように構成された通信システムをさらに含む、請求項１に記載のオーディオデバイス。
【請求項１７】
前記通信システムが、前記サーバから変更されたフィルタトポロジパラメータを受信するようにさらに構成される、請求項１６に記載のオーディオデバイス。
【請求項１８】
変更されたフィルタトポロジは、前記サーバから受信した前記変更されたフィルタトポロジパラメータと、分類された受信音との組み合わせに基づく、請求項１７に記載のオーディオデバイス。
【請求項１９】
前記オーディオ信号は、前記マイクロフォンアレイによって検出された音フィールドの、各マイクロフォンについて少なくとも１つのチャネルを含むマルチチャネル表現を含む、請求項１に記載のオーディオデバイス。
【請求項２０】
前記オーディオ信号は、メタデータをさらに含む、請求項１９に記載のオーディオデバイス。
【請求項２１】
前記オーディオ信号は、マルチチャネルオーディオ記録を含む、請求項１に記載のオーディオデバイス。
【請求項２２】
前記オーディオ信号は、クロスパワースペクトル密度行列を含む、請求項１に記載のオーディオデバイス。
【請求項２３】
所望の、および所望しない音が、前記フィルタトポロジを異なるように変更する、請求項１に記載のオーディオデバイス。
【請求項２４】
マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンであって、前記マイクロフォンは音を受信するように適合された、マイクロフォンと、
前記マイクロフォンアレイと通信する処理システムであって、
前記複数のマイクロフォンから複数のオーディオ信号を得、
前記アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、
受信音を所望の音または所望しない音のいずれかに分類し、
受信音について信頼性スコアを決定し、
前記分類された受信音と、前記受信音の前記分類と、前記信頼性スコアと、を使用して、前記フィルタトポロジを変更するように構成される、前記処理システムと、を含み、
受信音は経時的に収集され、および特定の期間で収集された分類された受信音は前記フィルタトポロジを変更するために使用される、
オーディオデバイス。
【請求項２５】
マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンであって、前記マイクロフォンは音を受信するように適合された、マイクロフォンと、
オーディオ信号が得られている音源の種類を検出するように構成された音源検出システムと、
オーディオデバイスの環境における変化を検出するように構成された環境変化検出システムと、
前記マイクロフォンアレイと、前記音源検出システムと、前記環境変化検出システムと、通信する処理システムであって、
前記複数のマイクロフォンから複数のオーディオ信号を得、
前記アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、
受信音を所望の音または所望しない音のいずれかに分類し、
受信した音について信頼性スコアを決定し、
前記分類された受信音と、前記受信音の前記分類と、前記信頼性スコアと、を使用して、前記フィルタトポロジを変更するように構成される、前記処理システムと、を含み、
受信音は経時的に収集され、および特定の期間で収集された分類された受信音は前記フィルタトポロジを変更するために使用される、
オーディオデバイス。
【請求項２６】
オーディオ信号をサーバに送信するように構成された通信システムをさらに含み、前記オーディオ信号は、前記マイクロフォンアレイによって検出された音フィールドの、各マイクロフォンについて少なくとも１つのチャネルを含むマルチチャネル表現を含む、請求項２５に記載のオーディオデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
本開示は、マイクロフォンアレイを有するオーディオデバイスに関する。
【０００２】
ビームフォーマは、雑音の存在下において、デバイスに向けられた音声コマンドなどの所望の音の検出を改善するためにオーディオデバイスで使用される。ビームフォーマは通常、慎重に制御された環境において収集されたオーディオデータに基づき、データは所望の、あるいは所望しないといったラベル付けをされることができる。しかしながら、オーディオデバイスが現実世界の状況で使用されるとき、理想化されたデータに基づくビームフォーマは、近似に過ぎず、期待通りに動作しないことがある。
【発明の概要】
【０００３】
以下に言及される全ての例と機能は、技術的に可能な方法で組み合わせることができる。
【０００４】
一態様において、オーディオデバイスは、マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンを含み、マイクロフォンは音を受信するように適合される。マイクロフォンアレイと通信し、複数のマイクロフォンから複数のオーディオ信号を得、アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、受信音を所望の音または所望しない音のいずれかに分類し、分類された受信音と、受信音の分類を使用して、フィルタトポロジを変更するように構成される、処理システムがある。１つの非限定的な例において、所望の、および所望しない音は、フィルタトポロジを異なるように変更する。
【０００５】
実施形態は、以下の特徴のうちの１つ、またはそれらの任意の組み合わせを含んでもよい。オーディオデバイスは、オーディオ信号が得られている音源の種類を検出するように構成された検出システムを含んでもよい。特定の種類の音源から得られ得るオーディオ信号は、フィルタトポロジの変更のために使用されない。特定の種類の音源は、音声ベースの音源を含んでもよい。検出システムは、音声ベースの音源を検出するために使用されるように構成された音声アクティビティ検出器を含んでもよい。オーディオ信号は、例えば、マルチチャネルオーディオ記録、あるいはクロスパワースペクトル密度行列を含んでもよい。
【０００６】
実施形態は、以下の特徴のうちの１つ、またはそれらの任意の組み合わせを含んでもよい。オーディオ信号処理システムは、受信音の信頼性スコアを計算するようにさらに構成されてもよく、信頼性スコアは、フィルタトポロジの変更において使用される。信頼性スコアは、フィルタトポロジの変更に対する受信音の寄与に重みづけするために使用されてもよい。信頼性スコアを計算することは、受信音がウェイクアップワードを含むという信頼度に基づいてもよい。
【０００７】
実施形態は、以下の特徴のうちの１つ、またはそれらの任意の組み合わせを含んでもよい。受信音は経時的に収集され、および特定の期間で収集された分類された受信音はフィルタトポロジを変更するために使用されることができる。受信音の収集期間は固定されていても、固定されていなくてもよい。より古い受信音は、より新しい収集された受信音よりもフィルタトポロジの変更に対する効果が少なくてもよい。フィルタトポロジの変更に対する収集された受信音の効果は、一例において、一定の割合で減衰してもよい。オーディオは、オーディオデバイスの環境における変化を検出するように構成された検出システムも含むことができる。特定の収集された受信音のどれがフィルタトポロジを変更するために使用されるかは、環境における検出された変化に基づいてもよい。一例において、オーディオデバイスの環境における変化が検出されたとき、オーディオデバイスの環境における変化が検出される前に収集された受信音は、フィルタトポロジを変更するためにもはや使用されない。
【０００８】
実施形態は、以下の特徴のうちの１つ、またはそれらの任意の組み合わせを含んでもよい。オーディオ信号は、マイクロフォンアレイによって検出された音フィールドの、各マイクロフォンについて少なくとも１つのチャネルを含むマルチチャネル表現を含むことができる。オーディオ信号は、メタデータを含むこともできる。オーディオデバイスは、オーディオ信号をサーバに送信するように構成された通信システムを含むことができる。通信システムは、サーバから変更されたフィルタトポロジパラメータを受信するように構成されることもできる。変更されたフィルタトポロジは、サーバから受信した変更されたフィルタトポロジパラメータと、分類された受信音との組み合わせに基づいてもよい。
【０００９】
別の態様において、オーディオデバイスは、マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンであって、マイクロフォンは音を受信するように適合された、マイクロフォンと、マイクロフォンアレイと通信する処理システムであって、複数のマイクロフォンから複数のオーディオ信号を得、アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、受信音を所望の音または所望しない音のいずれかに分類し、受信音について信頼性スコアを決定し、分類された受信音と、受信音の分類と、信頼性スコアと、を使用して、フィルタトポロジを変更するように構成される、処理システムと、を含み、受信音は経時的に収集され、および特定の期間で収集された分類された受信音はフィルタトポロジを変更するために使用される。
【００１０】
別の態様において、オーディオデバイスは、マイクロフォンアレイ内に構成された空間分離された複数のマイクロフォンであって、マイクロフォンは音を受信するように適合された、マイクロフォンと、オーディオ信号が得られている音源の種類を検出するように構成された音源検出システムと、オーディオデバイスの環境における変化を検出するように構成された環境変化検出システムと、マイクロフォンアレイと、音源検出システムと、環境変化検出システムと、通信する処理システムであって、複数のマイクロフォンから複数のオーディオ信号を得、アレイを所望しない音よりも所望の音に対してより高感度にするように、オーディオ信号を処理するフィルタトポロジを操作するために以前のオーディオデータを使用し、受信音を所望の音または所望しない音のいずれかに分類し、受信した音について信頼性スコアを決定し、分類された受信音と、受信音の分類と、信頼性スコアと、を使用して、フィルタトポロジを変更するように構成される、処理システムと、を含み、受信音は経時的に収集され、および特定の期間で収集された分類された受信音はフィルタトポロジを変更するために使用される。１つの非限定的な例において、オーディオデバイスは、オーディオ信号をサーバに送信するように構成された通信システムをさらに含み、オーディオ信号は、マイクロフォンアレイによって検出された音フィールドの、各マイクロフォンについて少なくとも１つのチャネルを含むマルチチャネル表現を含む。
【図面の簡単な説明】
【００１１】
【図１】オーディオデバイスとオーディオデバイスフィルタ変更システムの概略ブロック図である。
【図２】部屋の中で使用される、図１で示されるようなオーディオデバイスを示す。
【発明を実施するための形態】
【００１２】
マイクロフォンアレイ内に構成された2つ以上のマイクロフォンを有するオーディオデバイスにおいて、所望の音（例えば、人間の声など）を所望しない音（例えば、雑音など）から区別するのを助けるために、ビームフォーミングアルゴリズムのようなオーディオ信号処理アルゴリズム又はトポロジが使用される。オーディオ信号処理アルゴリズムは、所望のおよび所望しない音によって生成される理想的な音フィールドの制御された録音に基づくことができる。これらの録音は、無響環境で行うことが好ましいが、必ずしもそうではない。オーディオ信号処理アルゴリズムは、所望の音源と比較して所望しない音源を最適な除去をするように設計されている。しかしながら、現実世界で所望のおよび所望しない音源によって生成される音フィールドは、アルゴリズム設計において使用される理想的な音フィールドには一致しない。
【００１３】
オーディオ信号処理アルゴリズムは、現在のフィルタの変更により、無響環境と比較して、現実世界における使用のためにより正確にされることができる。これは、デバイスが現実世界で使用されている間にオーディオデバイスによって取得された現実世界のオーディオデータでアルゴリズム設計を変更することによって達成される。所望の音であると決定された音は、ビームフォーマによって使用される所望の音のセットを変更するために使用されることができる。所望しない音であると決定された音は、ビームフォーマによって使用される所望しない音のセットを変更するために使用されることができる。したがって、所望のおよび所望しない音は、ビームフォーマを異なるように変更する。信号処理アルゴリズムに対する変更は、人や追加の機器による介入を必要とせずに、自律的に、受動的に行われる。その結果、特定の時間で使用されるオーディオ信号処理アルゴリズムが、事前に測定された本来の場所の音フィールドデータの組み合わせに基づくことができる。したがって、オーディオデバイスは、雑音やその他の所望しない音が存在する場合でも、所望の音をより適切に検出することができる。
【００１４】
例示的なオーディオデバイス１０が図１に示される。デバイス１０は、異なる物理的位置にある2つ以上のマイクロフォンを含むマイクロフォンアレイ１６を有する。マイクロフォンアレイは、線形でもそうでなくてもよく、2つのマイクロフォン、あるいは3つ以上のマイクロフォンを含むことができる。マイクロフォンアレイは、スタンドアロンのマイクロフォンアレイにすることができ、あるいは、例えばラウドスピーカやヘッドフォンなどといったオーディオデバイスの一部にすることもできる。マイクロフォンアレイは、当技術分野において周知であるため、ここではさらに説明しない。マイクロフォンとアレイは、任意の特定のマイクロフォン技術、トポロジ、または信号処理に限定されない。トランスデューサ、ヘッドフォン、または他の種類のオーディオデバイスへの任意の言及は、ホームシアターシステム、ウェアラブルスピーカなどの任意のオーディオデバイスが含まれることを理解されたい。
【００１５】
オーディオデバイス１０の１つの使用例は、ハンズフリー、音声対応スピーカ、あるいは例としてＡｍａｚｏｎ  ＥｃｈｏTMとＧｏｏｇｌｅ  ＨｏｍｅTMが含まれる「スマートスピーカ」である。スマートスピーカは、１つまたは複数のマイクロフォンと１つ又は複数のスピーカを含み、処理および通信性能を備えた、インテリジェントパーソナルアシスタントの一種である。あるいは、デバイス１０は、スマートスピーカとして機能しないが、依然としてマイクロフォンアレイと処理および通信性能を備えるデバイスであることができる。そのような代替のデバイスの例は、Ｂｏｓｅ  Ｓｏｕｎｄ  Ｌｉｎｋ（登録商標）ワイヤレススピーカのようなポータブルワイヤレススピーカを含むことができる。いくつかの例において、Ａｍａｚｏｎ  Ｅｃｈｏ  ＤｏｔやＢｏｓｅ  Ｓｏｕｎｄ  Ｌｉｎｋ（登録商標）スピーカといった2つ以上のデバイスを組み合わせてスマートスピーカを提供する。オーディオデバイスのさらに別の例は、スピーカフォンである。また、スマートスピーカとスピーカフォンの機能は単一のデバイスにおいて有効にされることができる。
【００１６】
オーディオデバイス１０は、さまざまなタイプとレベルの雑音が存在する可能性がある家やオフィス環境でしばしば使用される。そのような環境において、例えば音声コマンドのような音声を正しく検出することに関する課題がある。このような課題は、所望のおよび所望しない音のソースの相対的な位置、所望しない音（雑音など）の種類と音量、および例えば壁や家具などを含み得る、音を反射し吸収する表面といった、マイクロフォンアレイによってキャプチャされる前に音フィールドを変更するものの存在を含む。
【００１７】
オーディオデバイス１０は、本明細書で説明されるように、オーディオ処理アルゴリズム（例えば、ビームフォーマ）を使用および変更するために必要な処理を達成することができる。このような処理は、「デジタルシグナルプロセッサ」（ＤＳＰ）２０とラベル付けされたシステムによって達成される。ＤＳＰ２０は、実際にはオーディオデバイス１０の複数のハードウェアおよびファームウェアの態様を含んでもよいことに留意されたい。しかしながら、オーディオデバイスにおけるオーディオ信号処理は、当技術分野において周知であるため、ＤＳＰ２０のそのような特定の態様は、ここではさらに図示または説明される必要はない。マイクロフォンアレイ１６のマイクロフォンからの信号は、ＤＳＰ２０に提供される。信号は、音声区間検出器（ＶＡＤ）３０にも提供される。オーディオデバイス１０は、電気音響変換器２８を含んでもよく（含まなくともよく）そうすることによって音を再生する。
【００１８】
マイクロフォンアレイ１６は、所望の音源１２と所望しない音源１４の一方または両方から音を受信する。本明細書で使用される場合、「音」「雑音」および類似の用語は可聴音響エネルギーを指す。常時、所望のおよび所望しない音源の両方またはいずれかがマイクロフォンアレイ１６によって受信される音を生成していてもよく、あるいはいずれもマイクロフォンアレイ１６によって受信される音を生成しなくともよい。また、所望の音及び／又は所望しない音のソースが１つ、または複数存在し得る。１つの非限定的な例において、オーディオデバイス１０は、人間の声を「所望の」音源として、他の全ての音を「所望しない」として検出するように適合されている。スマートスピーカの例において、デバイス１０は「ウェイクアップワード」を感知するために継続的に動作していてもよい。ウェイクアップワードは、「オッケーグーグル（okay Google）」など、Ｇｏｏｇｌｅ  ＨｏｍｅTMスマートスピーカ製品向けのウェイクアップワードとして使用されることができる、スマートスピーカに対するコマンドの先頭で話される単語またはフレーズであることができる。デバイス１０は、クラウドにおいて達せされる処理のような、スマートスピーカ、またはスマートスピーカと通信する別のデバイスまたはシステムによって実行されることを意図したコマンドとして一般的に解釈される発話といった、ウェイクアップワードに続く発話（つまり、ユーザからの音声）を検出（および場合によっては解析）するように適合されることもできる。ウェイクアップワードを検出するように構成されたスマートスピーカまたは別のデバイスを含むがこれらに限定されないオーディオデバイスの全ての種類において、サブジェクトフィルタの変更は、雑音のある環境における音声認識（つまり、ウェイクアップワード認識）の改善に役立つ。
【００１９】
オーディオシステムがアクティブであるかまたは本来の場所での使用の間、所望しない音から所望の音を区別するのを助けるために使用されるマイクロフォンアレイオーディオ信号処理アルゴリズムは、音が所望の音であるかまたは所望しない音であるかの任意の明確な識別を有しない。しかしながら、オーディオ信号処理アルゴリズムは、この情報に依存する。従って、現在のオーディオデバイスフィルタ変更方法論は、入力音が所望のまたは所望しないものとしても識別されないということを扱うための１つまたは複数のアプローチを含む。所望の音は、通常は人の音声であるが、人の音声に限定される必要はなく、代わりに非音声の人の音（例えば、スマートスピーカに赤ちゃんモニターアプリケーションを含む場合は泣いている赤ちゃん、あるいはスマートスピーカにホームセキュリティアプリケーションが含まれている場合はドアが開く音やガラスが割れる音）などの音を含むことができる。所望しない音は、所望の音以外の全ての音である。デバイスに向けられたウェイクアップワードまたは他の音声を感知するように適合されたスマートスピーカまたは他のデバイスの場合、所望の音はデバイスに向けられた音声であり、他の全ての音は所望されない。
【００２０】
本来の場所での所望のおよび所望しない音との間の区別することに取り組むための第1のアプローチは、マイクロフォンアレイが本来の場所で受信するオーディオデータの全てまたは少なくとも大部分を所望しない音として考慮することを含む。これは一般に、家庭、例えば居間や台所で使用されるスマートスピーカデバイスの場合である。多くの場合、家電、テレビ、その他の音源または通常の生活の中で話している人々といった、継続的な雑音と他の所望しない音（つまり、スマートスピーカに向けられた音声以外の音）が存在する。この場合のオーディオ信号処理アルゴリズム（例えば、ビームフォーマ）は、事前に録音された所望の音データのみを「所望の」音データのそのソースとして使用するが、その所望しない音データを本来の場所で録音された音で更新する。したがって、アルゴリズムはオーディオ信号処理への所望しないデータの寄与に関して、使用されるとして調整されることができる。
【００２１】
本来の場所での所望のおよび所望しない音との間の区別することに取り組む別のアプローチは、音源の種類を検出し、この検出に基づいて、データを使用してオーディオ処理アルゴリズムを変更するか否かを決定することを含む。例えば、オーディオデバイスが収集を意味する種類のオーディオデータは、１つのデータのカテゴリとなることができる。スマートスピーカ、スピーカフォン、またはデバイスに向けられた人の音声データを収集するための別のオーディオデバイスについて、オーディオデバイスは、人の声のオーディオデータを検出する性能を含むことができる。これは、音声区間検出器（ＶＡＤ）３０を用いて達成されることができ、これは音声が発話であるか否かを区別することができるオーディオデバイスの一態様である。ＶＡＤは、当技術分野において周知であるため、さらに説明する必要はない。ＶＡＤ３０は、音源検出システム３２に接続され、音源識別情報をＤＳＰ２０に提供する。例えば、ＶＡＤ３０を介して収集されたデータは、システム３２によって所望のデータとしてラベル付けされることができる。ＶＡＤ３０をトリガしないオーディオ信号は、所望しない音であると見なされることができる。オーディオ処理アルゴリズムの更新プロセスは、そのようなデータを所望のデータのセットに含めるか、そのようなデータを所望しないデータのセットから除外することができる。後者の場合、ＶＡＤを介して収集されないすべてのオーディオ入力は、所望しないデータとみなされ、上述のように所望しないデータセットを変更するために使用されることができる。
【００２２】
本来の場所での所望のおよび所望しない音との間の区別することに取り組む別のアプローチは、オーディオデバイスの別のアクションに基づいて決定を行うことを含む。例えば、スピーカフォンにおいて、アクティブな通話が継続中に収集された全てのデータは、所望の音としてラベル付けされることができ、他の全てのデータを所望しないものとすることができる。ＶＡＤは、このアプローチと組み合わせて使用されると、アクティブな通話の間に音声ではないデータを除外できる可能性がある。別の例は、キーワードに応答して起動する「常に聴く」デバイスを含み、キーワードデータとキーワードの後に収集されたデータ（次の発話）は、所望のデータとしてラベル付けされることができ、他の全てのデータは所望しないものとしてラベル付けされることができる。キーワードスポッティングやエンドポイント検出といった既知の技術は、キーワードと発話を検出するために使用されることができる。
【００２３】
本来の場所での所望のおよび所望しない音との間の区別することに取り組むさらに別のアプローチは、オーディオ信号処理システム（例えば、ＤＳＰ２０を介する）が受信音についての信頼性スコアを計算できるようにすることを含み、信頼性スコアは、音または音セグメントが所望のまたは所望しない音のセットに属しているという信頼性に関連する。信頼性スコアは、オーディオ信号処理アルゴリズムの変更に使用されることができる。例えば、信頼性スコアは、オーディオ信号処理アルゴリズムの変更に対して、受信音の寄与に重みをつけるために使用されることができる。音が所望のものである信頼性が高い場合（例えば、ウェイクアップワードと発話が検出された場合）、信頼性スコアを１００％に設定することができ、これはオーディオ信号処理アルゴリズムで使用される所望の音のセットを変更するために音が使用されることを意味する。音が所望のもの、あるいは音が所望しないものである信頼性が１００％未満の場合、全体の結果に対する音サンプルの寄与が重みづけされるように、１００％未満の信頼性重みづけが割り当てられることができる。この重みづけのもう一つの利点は、以前に録音されたオーディオデータが再分析され、そのラベル（所望の/所望しない）が新しい情報に基づいて確認される、あるいは変更されることである。例えば、キーワードスポッティングアルゴリズムも使用されている場合、キーワードが検出されると、次の発話が所望のものである高い信頼性が得られる。
【００２４】
本来の場所での所望のおよび所望しない音との間の区別することに取り組む上記のアプローチは、それ自体によって、または任意の望ましい組み合わせで使用されることができ、本来の場所でデバイスを使用するときに、オーディオ処理アルゴリズムによって使用される所望のおよび所望しない音のデータセットの１つまたは両方を変更して、所望しない音から所望の音を区別するのを助けることを目的としている。
【００２５】
オーディオデバイス１０は、オーディオデータの異なる種類を記録する能力を含む。記録されたデータは、音フィールドのマルチチャネル表現を含むことができる。音フィールドのこのマルチチャネル表現は、通常、アレイの各マイクロフォンのための少なくとも１つのチャネルを含む。物理的に異なる場所から発される複数の信号は、音源の定位に役立つ。また、メタデータ（各記録の日時など）も記録されることができる。例えば、メタデータを使用して、異なる時間帯や異なる季節に対して異なるビームフォーマを設計し、これらのシナリオ間の音響的な違いを説明することができる。ダイレクトマルチチャネル録音は、収集が簡単で、最小限の処理が必要であり、全てのオーディオ情報をキャプチャし、オーディオ信号処理アルゴリズムの設計又は変更アプローチに使用され得るオーディオ情報は破棄されない。あるいは、記録されたオーディオデータは、周波数軸ごとのデータ相関の手段であるクロスパワースペクトル行列を含むことができる。これらのデータは、比較的短い期間で計算されることができ、長期的な推定が必要であるか、または有用な場合は、平均化されるか、そうでなければ融合されることができる。このアプローチは、マルチチャネルデータの記録よりも少ない処理とメモリを使用し得る。
【００２６】
デバイスが本来の場所にある間（つまり、現実世界で使用中）、オーディオデバイスによって取得されるオーディオデータを用いたオーディオ処理アルゴリズム（ビームフォーマなど）の設計の変更は、デバイスが使用されるときに発生する変更について説明するように構成されることができる。任意の特定の時間に使用されるオーディオ信号処理アルゴリズムは、通常、事前に測定された音フィールドデータと本来の場所で収集された音フィールドデータとの組み合わせに基づいているため、オーディオデバイスが移動した場合、あるいは周囲の環境が変化した場合（例えば、部屋または家の別の場所に移動する、壁や家具などの表面を反射または吸収する音に関連して移動する、あるいは部屋の中で家具を動かす）、本来の場所で事前に収集されたデータは、現在のアルゴリズム設計における使用に適さない場合がある。現在の特定の環境条件を適切に反映している場合、現在のアルゴリズム設計は、最も正確となる。したがって、オーディオデバイスは古いデータを削除または置換する能力を含むことができ、これは現在用いられない状況下で収集されたデータを含むことができる。
【００２７】
アルゴリズム設計が最も関連性の高いデータに基づくことを保証するのに役立つことを意図した、考えられるいくつかの特定の方法がある。１つの方法は、過去の一定時間から収集されたデータのみを組み込むことである。アルゴリズムが特定のアルゴリズム設計のニーズを満たすのに十分なデータを有する限り、古いデータは削除されることができる。これは、収集されたデータがアルゴリズムによって使用される、移動時間窓と考えられることができる。これは、オーディオデバイスの最新の状況に最も関連したデータが使用されていることを保証するのに役立つ。別の方法は、音フィールドメトリックスを時定数とともに減衰する。時定数は、事前に決定されることができ、あるいは収集されているオーディオデータの種類や量といった指標に基づいて可変にすることもできる。例えば、設計手順がクロスパワースペクトル密度（PSD）行列の計算に基づく場合、次のような時定数を有する新しいデータを組み込んだ実行中の推定値が保持されることができる。
【数１】
2020505648.tif 000003
ここで、Ct(f)はクロスPSDの現在の実行中の推定値であり、Ct-1(f)は最後の時間ステップでの実行中の推定値であり、
【数２】
2020505648.tif 000004
は、最後の時間ステップ内で収集されたデータからのみ推定されるクロスPSDであり、αは更新パラメータである。これ（または類似のスキーム）を用いると、時間が経過するにつれて古いデータは非強調される。
【００２８】
上述したように、オーディオデバイスの動き、またはデバイスによって検出された音フィールドに影響を与えるオーディオデバイスの周囲の環境の変化は、移動前のオーディオデータの使用を問題にする方法で音フィールドをオーディオ処理アルゴリズムの精度に変更してもよい。例えば、図２は、オーディオデバイス１０ａのためのローカル環境７０を示す。話者８０から受信した音は多くのパスを介してデバイス１０ａに移動し、そのうち２つ、直接パス８１と音が壁７４から反射される間接パス８２が示される。同様に、雑音源８４（テレビや冷蔵庫など）からの音は、多くのパスを介してデバイス１０ａに移動し、そのうち２つ、直接パス８５と音が壁７２から反射される間接パス８６が示される。家具７６も、例えば音を吸収または反射することにより、音の伝達に影響を及ぼし得る。
【００２９】
オーディオデバイスの周囲の音フィールドは変化する可能性があるため、可能な限り、デバイスが移動する前、または音フィールド内のアイテムが移動される前に収集されたデータを破棄するのが最善である。そのために、いつオーディオデバイスが移動されたか、または環境が変わったかを判断する何らかの方法が必要である。これは環境変化検出システム３４によって図1に大まかに示される。システム３４を達成する１つの方法は、デバイスとのインターフェースに使用される、デバイス、リモートコントロールデバイス、またはスマートフォンアプリ上のボタンのようなユーザインタフェースを介して、ユーザがアルゴリズムをリセットできるようにすることである。別の方法は、オーディオデバイスにアクティブな非オーディオベースの動き検出メカニズムを組み込むことである。例えば、加速度計が動きを検出するために使用されることができ、およびＤＳＰは次いで動きの前に収集されたデータを破棄することができる。あるいは、オーディオデバイスがエコーキャンセラを含む場合、オーディオデバイスが移動するとき、そのタップが変化することが知られている。したがって、ＤＳＰはエコーキャンセラタップの変化を動きの指標として使用することができる。過去のデータが全て破棄されると、アルゴリズムの状態は、十分な新しいデータが収集されるまで、現在の状態を維持することができる。データ削除の場合のより良い解決策は、デフォルトのアルゴリズム設計に戻し、新たに収集されたオーディオデータに基づいて変更を再開することである。
【００３０】
複数の個別のオーディオデバイスが、同じユーザ、または異なるユーザによって使用される場合、アルゴリズム設計の変更は、２つ以上のオーディオデバイスによって収集されたオーディオデータに基づいてされることができる。例えば、多くのデバイスからのデータが現在のアルゴリズム設計に寄与する場合、慎重に制御された測定に基づくその初期の設計と比較して、アルゴリズムは、デバイスの現実世界の平均的な使用に対してより正確であり得る。これに適応するために、オーディオデバイス１０は、両方向で外界と通信する手段を含むことができる。例えば、通信システム２２は、１つまたは複数の他のオーディオデバイスと（無線で、又は有線で）通信するために使用されることができる。図１に示される例において、通信システム２２は、インターネット４０を介してリモートサーバ５０と通信するように構成される。複数の個別のオーディオデバイスがサーバ５０と通信する場合、サーバ５０は、データを融合し、ビームフォーマを変更するためにそれを使用することができ、また修正されたビームフォーマパラメータを、例えばクラウド４０と通信システム２２を介してオーディオデバイスにプッシュすることができる。このアプローチの結果、ユーザがこのデータ収集スキームをオプトアウトした場合、ユーザは、ユーザの一般的な集団に対して行われる更新からまだ利益を得ることができる。サーバ５０によって表される処理は、単一のコンピュータ（ＤＳＰ２０またはサーバ５０であることができる）またはデバイス１０またはサーバ５０と同一の広がりをもつかまたは別個の分散システムによって提供されることができる。処理は、１つ以上のオーディオデバイスに対して完全にローカルで、完全にクラウドで、あるいは、あるいは２つに分けて達成されることができる。上述したように達成された様々なタスクは、一緒に組み合わされるか、あるいはより多くのサブタスクに分割されることができる。各タスクおよびサブタスクは、異なるデバイスまたはデバイスの組み合わせによって、ローカルまたはクラウドベースで、または別のリモートシステムで実行され得る。
【００３１】
当業者には明らかであるように、主題のオーディオデバイスフィルタ変更は、ビームフォーマ以外の処理アルゴリズムで使用されることができる。いくつかの非限定的な例は、マルチチャネルウィナーフィルタ（MWF）を含み、これはビームフォーマに非常に類似しており、収集された所望のおよび所望しない信号データは、ビームフォーマとほぼ同じ方法で使用されることができる。また、アレイベースの時間周波数マスキングアルゴリズムが使用されることができる。これらのアルゴリズムは、入力信号を時間周波数ビンに分解し、次いで各ビンに、そのビン内の信号が所望のものである場合と所望しないものである場合の推定値であるマスクを掛けることを伴う。マスク推定技術は多数存在するが、そのほとんどは所望のおよび所望しないデータの現実世界の例から利益を得ることができる。さらに、ニューラルネットワークまたは同様の構成を使用した機械学習音声強化が使用されることができる。これは、所望のおよび所望しない信号を記録することを有することに大きく依存し、これはラボで作成されたもので初期化されることができるが、現実世界のサンプルで大幅に改善される。
【００３２】
図の要素が、ブロック図中の個別の要素として示され、説明される。これらは、アナログ回路またはデジタル回路の1つまたは複数として実装され得る。代替または追加として、これらは、ソフトウェア命令を実行する1つまたは複数のマイクロプロセッサで実装され得る。ソフトウェア命令は、デジタル信号処理命令を含むことができる。動作は、アナログ回路によって、またはマイクロプロセッサがアナログ動作に相当することを行うソフトウェアを実行することによって、行われてもよい。信号線は、個別のアナログもしくはデジタル信号線として、別々の信号を処理することができる適切な信号処理を備えた個別のデジタル信号線として、および/またはワイヤレス通信システムの要素として、実装されてもよい。
【００３３】
ブロック図においてプロセスが表される、または暗に示されるとき、ステップは、1つの要素または複数の要素によって行われてもよい。ステップは、合わせて行われる、または異なる時間に行われてもよい。活動を行う要素は、物理的に同じもしくは互いに近い場合があり、または物理的に分かれていてもよい。1つの要素は、2つ以上のブロックのアクションを行ってもよい。オーディオ信号は、符号化される、または符号化されない場合があり、デジタル形式またはアナログ形式のいずれかで送信され得る。従来のオーディオ信号処理機器および動作は、いくつかの事例では図面から省かれている。
【００３４】
上記で説明したシステムおよび方法の実施形態は、当業者には明らかであるコンピュータ構成要素、およびコンピュータ実装ステップを含む。たとえば、コンピュータ実装ステップは、たとえば、フロッピーディスク、ハードディスク、光ディスク、フラッシュROM、不揮発性ROM、およびRAMなどのコンピュータ可読媒体上に、コンピュータ実行可能命令として記憶される場合があることを、当業者は理解されたい。さらに、コンピュータ実行可能命令は、たとえば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどの様々なプロセッサ上で実行される場合があることを、当業者は理解されたい。説明を容易にするために、上述のシステムおよび方法のすべてのステップまたは要素が、コンピュータシステムの一部として本明細書で説明されているわけではないが、各ステップまたは要素が対応するコンピュータシステムまたはソフトウェア構成要素を有する場合があることは当業者には認識されよう。そのようなコンピュータシステムおよび/またはソフトウェア構成要素は、したがってその対応するステップまたは要素(すなわち、その機能)を説明することによって有効にされ、本開示の範囲内にある。
【００３５】
いくつかの実装形態について説明した。それでもなお、本明細書に記載する発明の概念の範囲を逸脱することなく、さらなる変更形態が作製される場合があり、したがって他の実施形態が、以下の特許請求の範囲内にあることは理解されよう。
【符号の説明】
【００３６】
１０  オーディオデバイス
１２  所望の音源
１４  所望しない音源
１６  マイクロフォンアレイ
２２  通信システム
２８  電気音響変換器
３０  音声区間検出器（ＶＡＤ）
３２  音源検出システム
３４  環境変化検出システム
４０  インターネット
５０  リモートサーバ
７２  壁
７４  壁
７６  家具
８０  話者
８１  直接パス
８２  間接パス
８４  雑音源
８５  直接パス
８６  間接パス
【図１】
2020505648.tif 000005
【図２】
2020505648.tif 000006
【国際調査報告】
2020505648.tif 000007
2020505648.tif 000008
2020505648.tif 000009