(57)【要約】  音声認識オーディオシステム、およびヘッドセットを装着しているユーザが音楽または任意の他のオーディオ源を聴いている間に外部音響環境を認識する方法。調節可能な音響認識ゾーンは、はるか遠くの音声を聞くことを回避する柔軟性をユーザに与える。周波数領域で外部音響を分析して、発振周波数候補を選択して、時間領域で、発振周波数候補が、関心のある信号であるかどうかを判断することができる。外部音響を対象とする信号を関心のある信号であると判断した場合、外部音響は、オーディオ源からのオーディオと混合される。【特許請求の範囲】
【請求項１】
音声認識オーディオシステムであって、
オーディオ源からオーディオを受信するように構成されたヘッドホンと、
外部音響環境の中で外部音響を検出して、前記外部音響を対象とする信号を生成するように構成された、前記ヘッドホンに関連する少なくとも１つのマイクロホンと、
前記外部音響を対象とする信号が、関心のある信号であるかどうかを判断するための分析器モジュールと
を備え、前記外部音響を対象とする前記信号が、前記関心のある信号である場合、前記外部音響は、前記オーディオ源からの前記オーディオと混合される
音声認識オーディオシステム。
【請求項２】
前記分析器モジュールは、周波数領域で、前記外部音響を対象とする前記信号を分析して、発振周波数候補を選択して、時間領域で、前記発振周波数候補が前記関心のある信号であるかどうかを判断するように構成される、請求項１に記載の音声認識オーディオシステム。
【請求項３】
前記分析器モジュールは、入力バッファで前記外部音響を対象とする前記信号を受信し、前記周波数領域での前記分析は、前記入力バッファ内の前記信号のＦＦＴを使用して、入力フレームを生成し、前記時間領域での前記分析は、前記入力フレームと共に副フレームを再帰的に使用する、請求項２に記載の音声認識オーディオシステム。
【請求項４】
前記周波数領域での前記分析は、ウィーナーエントロピーまたは簡略化ウィーナーエントロピーを用いて遂行される、請求項３に記載の音声認識オーディオシステム。
【請求項５】
前記時間領域での前記分析は、ピッチ推定またはＹＩＮアルゴリズムを用いて遂行される、請求項３に記載の音声認識オーディオシステム。
【請求項６】
前記分析器モジュールは、前記時間領域で判断した前記関心のある信号の中に発話ありまたは発話なしを判断するためのハングオーバモジュールをさらに備える、請求項１に記載の音声認識オーディオシステム。
【請求項７】
雑音低減アルゴリズムで前記周波数領域での前記分析を使用して、前記外部音響環境での雑音レベルを推定して、前記雑音レベルに基づき前記音声認識オーディオシステムを調節する、請求項２に記載の音声認識オーディオシステム。
【請求項８】
前記ヘッドホンの周囲に、１つまたは複数の調節ゾーンを有する調節可能な音響認識ゾーンを規定し、前記外部音響は、前記１つまたは複数の調節ゾーンの所定の１つの内部にあるとき、前記関心のある信号であると判断される、請求項１に記載の音声認識オーディオシステム。
【請求項９】
前記オーディオは音楽である、請求項１に記載の音声認識オーディオシステム。
【請求項１０】
前記ヘッドホンは、選択した方向から到来するオーディオを減衰または増幅するように配列されたマイクロホンのアレイを備え、前記マイクロホンの前記アレイのうちの前記マイクロホンは、ユーザの周囲環境の３６０°オーディオイメージを実現するためにさまざまな方向に向けられる、請求項１に記載の音声認識オーディオシステム。
【請求項１１】
前記ヘッドホンの周囲に、１つまたは複数の調節ゾーンを有する調節可能な音響認識ゾーンを規定し、前記外部音響は、前記１つまたは複数の調節ゾーンの所定の１つの内部にあるとき、前記関心のある信号であると判断され、前記マイクロホンアレイは、望ましくない方向から到来する信号を除去し、関心のある方向に前記マイクロホンアレイを向ける、請求項１０に記載の音声認識オーディオシステム。
【請求項１２】
オーディオ源からオーディオを受信するように構成されたヘッドホンを装着しているユーザが外部音響環境を認識するための方法であって、
ａ．前記ヘッドホンに関連する少なくとも１つのマイクロホンを用いて、前記外部音響環境の中で外部音響を検出するステップと、
ｂ．前記外部音響を対象とする信号を発生させるステップと、
ｃ．前記外部音響を対象とする前記信号が、関心のある信号であるかどうかを判断するステップと、
ｄ．前記外部音響を対象とする前記信号が、前記関心のある信号であると判断された場合、前記外部音響を前記オーディオ源からの前記オーディオと混合するステップと
を備える方法。
【請求項１３】
前記ステップｂで、周波数領域で、前記外部音響を分析して、発振周波数候補を選択して、時間領域で、前記発振周波数候補が前記関心のある信号であるかどうかを判断する、請求項１２に記載の方法。
【請求項１４】
前記周波数領域での前記分析は、ウィーナーエントロピーまたは簡略化ウィーナーエントロピーを用いて遂行される、請求項１３に記載の方法。
【請求項１５】
前記時間領域での前記分析は、ピッチ推定またはＹＩＮアルゴリズムを用いて遂行される、請求項１３に記載の方法。
【請求項１６】
前記時間領域で判断した前記関心のある信号の中に発話ありまたは発話なしを判断するステップ
をさらに備える、請求項１３に記載の方法。
【請求項１７】
前記外側の音響環境での雑音レベルを推定するステップ
をさらに備え、
前記ステップｃは、前記雑音レベルに基づき調節して、前記外部音響を対象とする前記信号が、前記関心のある信号であるかどうかを判断するステップを含む、
請求項１２に記載の方法。
【請求項１８】
前記ヘッドホンの周囲に、１つまたは複数の調節ゾーンを有する調節可能な音響認識ゾーンを規定するステップをさらに備え、前記ステップｃで、前記外部音響は、前記１つまたは複数の調節ゾーンの所定の１つの内部にあるとき、前記関心のある信号であると判断される、
請求項１２に記載の方法。
【請求項１９】
前記少なくとも１つのマイクロホンは、マイクロホンのアレイであり、前記ステップａで音響を検出した後、前記音響の方向を局所化して、前記決定した局所化方向に向けて前記マイクロホンの前記アレイを向けるステップをさらに備える、請求項１２に記載の方法。
【請求項２０】
ｅ．前記ステップｂでの前記信号が雑音のある信号であるかどうか判断するステップと、
ｆ．前記雑音のある信号であると判断したとき、クリーンな信号を生成するステップと、
ｇ．前記ステップｃで、第１の方向および第２の方向から前記信号を判断するステップと、
ｈ．前記第１の方向および前記第２の方向から得られる前記信号の類似度を推測するステップであって、前記ステップｈで、前記第１の方向から得られる前記信号および前記第２の方向から得られる前記信号が類似していると判断する場合、前記ステップｄで前記信号を混合するステップと
をさらに備える、請求項１９に記載の方法。
【請求項２１】
前記調節可能な音響認識ゾーンで、望ましくない方向から到来するすべての信号を除去するステップをさらに備える、請求項１８に記載の方法。
【請求項２２】
前記音響は音楽であり、
前記音響のスペクトル密度電力を推定するステップと、
前記外部音響の中にある発話のスペクトル密度電力を推定するステップと、
前記発話の基本周波数を推定して、発話フォーマットを決定するステップと、
前記発話フォーマットと前記音楽の形式ブロックの前記スペクトル電力の間のエネルギー比を計算して、スペクトル帯域ごとに音声対音楽比（ｖｏｉｃｅ−ｔｏ−ｍｕｓｉｃ  ｒａｔｉｏ、ＶＭＲ）を決定するステップと、
所定のＶＭＲを伴う前記スペクトル帯域に対してＦＦＴに基づく等化器（ｅｑｕａｌｉｚｅｒ、ＥＱ）を適用するステップと
をさらに備える、請求項１２に記載の方法。
【請求項２３】
オーディオ源からオーディオを受信するように構成されたヘッドホンで、外部音響環境の中で音響を判断するための非一時的コンピュータ可読記憶媒体の中に実装されたコンピュータプログラム製品であって、前記プログラムは、前記ヘッドホンに関連する少なくとも１つのマイクロホンを用いて前記外部音響環境の中で外部音響を検出するためのプログラムコードと、前記外部音響を対象とする信号を生成するためのプログラムコードと、前記外部音響を対象とする前記信号が、関心のある信号であるかどうかを判断するためのプログラムコードと、前記外部音響を対象とする前記信号が、前記関心のある信号であるかどうかを判断するためのプログラムコードと、前記外部音響を関心のあると判断したときに前記外部音響を前記オーディオ源からの前記オーディオと混合するためのプログラムコードとを備える、コンピュータプログラム製品。
【請求項２４】
周波数領域で、前記外部音響を分析して、発振周波数候補を選択して、時間領域で、前記発振周波数候補が、前記関心のある信号であるかどうかを判断する、請求項２３に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドセットを装着したユーザが音楽または任意の他のオーディオ源を聴きながら外部音響環境を認識するためのシステムおよび方法に関する。
【背景技術】
【０００２】
発話活動検出または発話検出として公知の音声活動検出（ｖｏｉｃｅ  ａｃｔｉｖｉｔｙ  ｄｅｔｅｃｔｉｏｎ、ＶＡＤ）は、人間の発話のありまたはなしを検出する発話処理で使用される技法である。さまざまなＶＡＤアルゴリズムが公知である。ＶＡＤで使用される従来のアルゴリズム解決手段は、入力信号に雑音があるときに検出スコアが劣るという問題を欠点として持つことが公知である。
【０００３】
ＶＡＤは、発話認識システム、発話圧縮システム、および雑音低減システムを含む多くの発話処理アプリケーションで役割を果たす。図１では、フレーム化された入力信号からの特徴抽出、次いで最後の数フレームから取り込んだ情報に基づき多次元しきい値の採用、続けてフレームが発話かそれとも雑音かを判定するために特徴をこのしきい値と比較することから構成される、従来のＶＡＤの基本原理が描かれている。一般に、典型的には、文の中で出現する正常な短い無音期間を含む連続発話ストリームを確保することが目的である判定ハングオーバという最終段階が存在する。１０ｍｓ〜４０ｍｓの継続期間は、発話が統計的に定常的であると考えることができる時間窓に対応するので、一般に１０ｍｓ〜４０ｍｓの継続期間になるようにフレーム長を選ぶ。
【０００４】
発話を検出する基準は、アルゴリズムで使用することができる明確に規定された数学的構造を有する、周期的であるような有声部分を探すことである。別の取り組み方法は、発話用統計モデルを使用し、取り込んだデータサンプルから発話パラメータを推定し、判定理論の古典的結果を使用して、フレーム発話／雑音分類に至ることである。
【０００５】
図２は、発話を検出するために時間領域法で使用されてきた技法を例示する。技法は、短時間エネルギー、ゼロ交差率、相互相関、周期性測度、線形予測分析、およびピッチ推定を含む。図３は、発話を検出するために周波数領域法で使用されてきた技法を例示する。技法は、副帯域エネルギー、ウィーナー（Ｗｅｉｎｅｒ）エントロピー、ケプストラム、エネルギーエントロピー、調和率、およびスペクトルピーク分析を含む。従来のＶＡＤアルゴリズムは、時間領域または周波数領域の特徴を使用する、または統計的アルゴリズムもしくは他の特定のアルゴリズムの仕組みを使用する。いくつかの従来のＶＡＤは、長期スペクトル発散、ケプストラムピーク、ＭＥＬフィルタ処理スペクトル、および時間領域または周波数領域でのスペクトル−時間変調を含む特徴の集合体を使用する。
【０００６】
雑音の量が増大するとき、ＶＡＤ性能は低下することは公知である。従来の解決手段は、ＶＡＤシステムの前に雑音低減（ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ、ＮＲ）モジュールを用いるべきである。雑音低減（ＮＲ）を用いて発話信号を処理するときの１つの公知の限界は、音楽雑音が潜在的に出現することであり、音楽雑音は、入力信号に追加されてＶＡＤモジュールを誤った方向に導くことがあり、誤検出を生み出す。
【０００７】
従来のＮＲモジュールを使用することに伴う別の欠点は、異なる雑音レベルおよびカテゴリに対してシステムが正しく作動できるようにするために内部パラメータを設定することが困難なことであり、さらにはそうすることが不可能なことである。ある例として、雑音が非常に多い環境に取り組むために１組の内部パラメータを選ぶ場合、無音または静かな環境で、比較的重要な歪みが出現する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
オーディオ品質に影響を及ぼすだけではなく、ＶＡＤモジュールの性能さえ害することがある上記の欠点を克服するために、雑音レベル環境を検出するための改善された仕組みを提供し、ＮＲ内部パラメータの動的設定を可能にすることが望ましい。
【０００９】
改善された、雑音にロバストなＶＡＤ法、およびユーザが音楽または任意の他のオーディオ源を聴いている間に外部音響環境を認識できるようにするためのシステムを提供することが望ましい。
【課題を解決するための手段】
【００１０】
本発明は、音声認識オーディオシステム、およびヘッドセットを装着しているユーザが音楽または任意の他のオーディオ源を聴いている間に外部音響環境を認識するための方法に関する。本発明は、ユーザに柔軟性を与えて、はるか遠くの音声を聞くことを回避する、調節可能な音響認識ゾーンの概念に関する。本発明のシステムは、本明細書により、参照により本出願の中に組み入れられる米国特許出願公開第２０１６／０２４１９４７号明細書で記述されているようなヘッドホンの特徴を使用する。一実施形態では、ヘッドホンは、４つの入力マイクロホンを有するマイクロホンアレイを含む。このマイクロホンアレイは、空間音響獲得選択性を提供し、関心のある方向へマイクロホンアレイを向けることを可能にする。ビーム形成法を使用し、雑音低減システム、分数遅延処理、および本発明の音声活動検出（ＶＡＤ）アルゴリズムのような異なる技術と組み合わせて、雑音のある環境で、改善された性能を伴う新しいオーディオアーキテクチャを提供する。
【００１１】
本発明は、雑音低減およびアレイ処理を含む、異なる信号処理モジュールを含む。詳細には、雑音検知（Ｎｏｉｓｅ  Ｓｅｎｓｉｎｇ、ＮＳ）と呼ばれる、雑音レベルを推定する手順が提供される。この手順は、出力音響品質が最適化されるように、雑音低減パラメータを適合させる。音声が検出されると、ユーザは、聴いていた音楽または他のオーディオ源を乱すことなくヘッドホン信号を介して警報を受けることができる。これは、外部音声をヘッドホンリード信号と混合することにより行われる。心理音響学的特性を考慮し、了解度を同時に最大にしながら、音楽信号の音量を低減することなく最終混合を可能にする混合の仕組みを使用する。
【００１２】
本発明の音声認識オーディオシステムの典型的適用例は、以下のシナリオの範囲内で、すなわち、人の叫び声、会話または呼び声、赤ん坊の泣き声、公共輸送のアナウンスなどの音声、誰かが鳴らしているドアのベル、宅配便で活動化されたドアベル、家、自動車、および他の警報などのベルおよび警報、自動車の警笛、警察および救急車の空襲サイレン、ならびにホイッスルなどの他のシナリオで出現する可能性がある。以下の図面を参照して、本発明についてより完全に記述する。
【図面の簡単な説明】
【００１３】
【図１】音声活動検出（ＶＡＤ）の従来技術の原理の概略図である。
【図２】例示的従来技術の時間領域発話検出技法の概略図である。
【図３】例示的従来技術の周波数領域発話検出技法の概略図である。
【図４】本発明の教示による、関心のある外部音声をユーザの音楽と混合する音声認識オーディオシステムの概略図である。
【図５】本発明の音声認識オーディオシステムで使用する、調節可能な音響認識ゾーンの概略図である。
【図６】本発明のヘッドホンで使用するマイクロホンアレイの概略図である。
【図７】本発明の教示による、音声活動検出のための方法の流れ図である。
【図８Ａ】発話信号の概略図である。
【図８Ｂ】対数ウィーナーエントロピーの概略図である。
【図８Ｃ】簡略化対数ウィーナーエントロピーの概略図である。
【図９】雑音低減（ＮＲ）モジュールおよび音声活動検出（ＶＡＤ）モジュールの周囲にデータバッファ構造を含む音声活動検出アーキテクチャシステムの概略図である。
【図１０】ハングオーバ手順の状態機械図の概略図である。
【図１１Ａ】バッファ長が１２８の発話信号の概略図である。
【図１１Ｂ】図１１Ａに示す信号の対数ウィーナーエントロピーの概略図である。
【図１１Ｃ】図１１Ａに示す信号の簡略化対数ウィーナーエントロピーの概略図である。
【図１２Ａ】バッファ長が２５６の発話信号の概略図である。
【図１２Ｂ】図１２Ａに示す信号の対数ウィーナーエントロピーの概略図である。
【図１２Ｃ】図１２Ａに示す信号の簡略化対数ウィーナーエントロピーの概略図である。
【図１３Ａ】バッファ長が５１２の発話信号の概略図である。
【図１３Ｂ】図１３Ａに示す信号の対数ウィーナーエントロピーの概略図である。
【図１３Ｃ】図１３Ａに示す信号の簡略化対数ウィーナーエントロピーの概略図である。
【図１４】本発明の教示による適応雑音低減法の概略図である。
【図１５Ａ】雑音を含む入力信号の概略図である。
【図１５Ｂ】左前方マイクロホンおよび右前方マイクロホンの位相差の概略図である。
【図１５Ｃ】右前方マイクロホンおよび右後方マイクロホンの概略図である。
【図１６】マイクロプロセッサアレイを使用する局所化およびビーム形成を含む、音声活動検出（ＶＡＤ）の出力品質を改善する方法の流れ図である。
【図１７】拡散雑音に対する音声活動検出（ＶＡＤ）のロバスト性を改善する概略図である。
【図１８】認識ゾーン内で、望ましくない音声に対する音声活動検出（ＶＡＤ）のロバスト性を増大させる方法の流れ図である。
【図１９】適応スペクトル等化を含む音声認識オーディオシステムを実装するための方法の流れ図である。
【図２０Ａ−２０Ｂ】図２０Ａは、不良な発話了解度を伴う音楽のグラフである。    図２０Ｂは、適応ＥＱの概念を使用して発話了解度が良好な音楽のグラフである。
【図２１Ａ−２１Ｂ】図２１Ａは、不良な発話了解度の概略図である。    図２１Ｂは、ＨＲＴＦに基づく了解度改善の概念を使用して達成された良好な発話了解度の概略図である。
【図２２】圧縮に基づく処理を使用する特別な処理方法の流れ図である。
【図２３Ａ】不良な了解度をもたらす処理の概略図である。
【図２３Ｂ】圧縮に基づく処理を使用して良好な了解度を提供する特別な処理の、ある実装形態の概略図である。
【発明を実施するための形態】
【００１４】
次に、本発明の好ましい実施形態をより詳細に参照し、好ましい実施形態のある例を添付図面に例示する。可能なときはいつでも、同じまたは類似する部分を指すために、図面および記述全体を通して同じ参照番号を使用する。
【００１５】
本発明の音声認識オーディオシステムは、ヘッドホンを装着している任意のユーザが音楽または任意の他のオーディオ源を聴いている間に外部音響環境を認識できるようにする。一実施形態では、音声認識オーディオシステムを、たとえば米国特許出願公開第２０１６−０２４１９４７号明細書で記述するような、入力マイクロホンを４つ有するヘッドホンとして実装することができる。ユーザは、ヘッドホンのマイクロホンから到来する信号が望ましい信号であると認識されたとき、音声または１組の規定された関心のある音響を聞くことにより刺激される。マイクロホンから到来する信号が音声または関心のある任意の信号であると分析されないとき、聞き手は、マイクロホン信号により混乱させられことはなく、リード信号を聞くだけである。
【００１６】
図４は、ヘッドホン１２を装着し、音楽を聴いている、またはオーディオ出力と共にテレビ画面などを注視している人Ａに向かって人Ｂがやって来るときの音声認識オーディオシステム１０に関する可能なシナリオを例示する。人Ｂが人Ａに向かって話しかけるとすぐに、音声は、イヤーパッド１４の中に配列された１つまたは複数のマイクロホン１５を通して検出され、人Ｂが話した発話メッセージを人Ａが認識するようにリード信号と混合される。かき乱すことのないように、外部音響は、人間の音声などの望ましいものであるときだけ音楽と混合される必要がある。音声認識システム１０はまた、他の典型的な音響、たとえば警報、鳴る音、警笛、警報、サイレン、ベル、およびホイッスルも検出することができる。
【００１７】
図５に描くように、音声認識オーディオシステム１０と共に調節可能な音響認識ゾーン（Ａｄｊｕｓｔａｂｌｅ  Ｓｏｕｎｄ  Ａｗａｒｅｎｅｓｓ  Ｚｏｎｅ、ＡＳＡＺ）と呼ばれるサブシステムを使用することができる。ユーザは、音声認識システム１０が、規定された球半径の内側にある、ささやきではない正常な音声だけに反応するように、ヘッドホン１２に関連したアプリケーション・プログラム・インタフェース（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍ  Ｉｎｔｅｒｆａｃｅ、ＡＰＩ）を通してユーザの頭の周囲に可変の球半径を規定する能力を有する。規定された球の外側に位置する、叫び声ではない任意の他の正常な音声も検出されない。音声認識システム１２を調節する３つのレベルを、広い、中程度、および狭いと規定することができる。広い調節は、大きな長さを有する半径ＲＬに対応し、中程度の調節は、ＲＬよりも小さな中程度の長さを有する半径ＲＭに対応し、狭い調節は、半径ＲＭよりも小さな、小さな長さを有する半径ＲＳに対応する。たとえば、半径ＲＬは、約７５フィート〜約３０フィートまでの範囲の長さを有することができ、半径ＲＭは、約５０フィート〜約２０フィートまでの範囲の長さを有することができ、半径ＲＳは、約２５フィート〜約１フィートまでの範囲の長さを有することができる。
【００１８】
図４を参照すると、音声認識オーディオシステム１０は、雑音低減（ＮＲ）アルゴリズムの内部パラメータのいずれにも迅速に調和することができるように、雑音レベルを推定するための雑音低減（ＮＲ）法または雑音低減（ＮＲ）アルゴリズムを含む。これにより、広範囲の雑音レベルに対して最良のオーディオ品質が提供される。さらにまた、雑音検知（Ｎｏｉｓｅ  Ｓｅｎｓｉｎｇ、ＮＳ）と呼ばれるこの手順を使用して、影響されやすいしきい値または他の内部パラメータを動的に調節して、良好な性能を達成する。
【００１９】
一実施形態では、ヘッドホン１２は、イヤーパッド１４内に位置する１つまたは複数の無指向性マイクロホン１５を有する。ヘッドホン１２は、図６に示すように、４つの無指向性マイクロホン１５を含むことができる。ヘッドホン１２は、４つの無指向性マイクロホン１５からなる長方形アレイまたは台形アレイを備えつける。この構成は、一直線になった、またはさらにまた対角線上に要素を組み合わせる対により、異なる仮想指向性／心臓形のマイクロホンを使用できるようにする。無指向性マイクロホン１５は、ユーザの周囲環境の３６０°オーディオイメージを実現するために、特有の位置に搭載されたイヤーパッド１４の下側部分１６に位置する。アレイ処理アルゴリズムを使用して、話者の場所などの、関心のある局所化を決定する。局所化が遂行されると、ユーザは、その方向に向けて等価アンテナ放射パターンを容易に向けることができる。そうすれば、１つまたは複数の無指向性マイクロホン１５での雑音エネルギーを低減することができ、外部音声は強化される。以下で記述するように、ビーム形成の影響は、雑音低減性能に決定的な影響を及ぼす。１つまたは複数のスピーカ１７をマイクロホン１５と関連づけることができる。代替実施形態では、ヘッドホン１２は、あるタイプの構造に関連する任意のタイプのスピーカアレイを含むことができる。
【００２０】
図７は、音声認識オーディオシステム１０内に実装することができる音声活動検出２０のための方法の概略図である。本発明の実装形態は、周波数領域と時間領域の両方を使用するためにある。ブロック２２で、周期パターンを検出するために周波数領域を使用することができる。ブロック２２を第１の推測ステップと呼ぶことができる。ブロック２２は、潜在的発振周波数候補を選択することが目的の粗い判定処理である。ブロック２２の後に、ブロック２４を遂行することができる。ブロック２４は、選択した発振周波数候補が確認されたか、されていないかを調べるために、時間領域手順とすることができる。ブロック２２での周波数領推測ステップのために、および雑音耐性があるように、大規模バッファを、および偽陰性判定の割合を最小にするために比較的低いしきい値を使用することができる。検出した発振周波数候補が間違っている場合、周波数領域の第１のステップの分析のために使用したフレーム内部の副フレームに対して作動している時間領域アルゴリズム分析の結果を再帰的に使用して、ブロック２４内の第２の、かつ最終の判定処理を時間領域で遂行する。
【００２１】
ブロック２２のある実装形態では、２つの連続する手順に伴う計算上の負担を低減するために、ウィーナーエントロピーまたはスペクトル平坦度を使用する。また、以下で記述するように、雑音低減のために入力バッファのＦＦＴを使用することができる。
【００２２】
ブロック２４のある実装形態では、ピッチ推定アルゴリズムを使用する。一実施形態では、ピッチ推定アルゴリズムは、ロバストなＹＩＮアルゴリズムに基づく。推定処理を簡略化して、検出だけの処理にすることができる、または完全なアルゴリズムを使用して、アルゴリズムを誤りに対してさらによりロバストにするために、連続するフレーム間で推定したピッチ値の連続性を確保できる。
【００２３】
フレーム内の副フレームに加えて大きなフレーム間の重なりにわたり連続して判定することにより、ＷＥＹＩＮ（Ｗｅｉｎｅｒ  Ｅｎｔｒｏｐｙ  ＹＩＮ、ウィーナーエントロピーＹＩＮ）アルゴリズムと呼ばれるアルゴリズムの精度が高まる。
【００２４】
ＶＡＤに関する一実施形態では、ブロック２２で、周波数領域内の特徴の異なる組合せを用いて本方法を行って、ブロック２４の時間領域で再分析される潜在的ピッチ有声フレーム候補を検出することができる。
【００２５】
ウィーナーエントロピーは、次式のように得られ、
【００２６】
【数１】
2021511755.tif 000002
【００２７】
上式は、次式を使用して計算することができる。
【００２８】
【数２】
2021511755.tif 000003
【００２９】
この式は、次式を導く。
【００３０】
【数３】
2021511755.tif 000004
【００３１】
ウィーナーエントロピーは、異なる帯域Ｂi、ｉ＝１，…，Ｌで計算することができる。その結果、候補選択処理は、Ｌ個のスカラー量を計算することによって行われる。
【００３２】
【数４】
2021511755.tif 000005
【００３３】
これらは、しきい値判定ステップ後、選択処理に送られる。
【００３４】
【数５】
2021511755.tif 000006
【００３５】
フレームが発話ありの候補として設計されると、ブロック２４で時間領域の検査が開始される。次式のように、長さＭのＫ個の副フレームにわたりＹＩＮアルゴリズムを使用することができ、
Ｎ＝ＫＭ、
式中、
Ｎ＝２L
は、ＦＦＴを使用することができるように、２のべき乗になるように選んだ、スペクトル領域で使用するフレーム長である。
【００３６】
ＹＩＮアルゴリズムをピッチ推定アルゴリズムからピッチ検出アルゴリズムに変える。そのために、周波数帯域
【００３７】
【数６】
2021511755.tif 000007
【００３８】
は次式の時間値間隔［τmin，τmax］を導く、期待される最小および最大のピッチ周波数値に対応するように規定され、
【００３９】
【数７】
2021511755.tif 000008
【００４０】
式中ＦSは、周波数領域で処理するために使用する元のサンプリング周波数の分数とすることができるサンプリング周波数であり、
【００４１】
【数８】
2021511755.tif 000009
【００４２】
は、それぞれ床（ｆｌｏｏｒ）丸め演算子および天井（ｃｅｉｌｉｎｇ）丸め演算子である。ある例として、
【００４３】
【数９】
2021511755.tif 000010
【００４４】
である場合、［τmin，τmax］＝［２０，１１５］である。
【００４５】
時間遅延による遅れに関する以下の行列を規定する。
【００４６】
【数１０】
2021511755.tif 000011
【００４７】
式中、＜＞は、最も近い整数への丸め演算子であり、（０；ｍ）＝（０  １  ２  …  ｍ−１  ｍ）である。上記の例を以下のように再考する。
【００４８】
【数１１】
2021511755.tif 000012
【００４９】
この選択を用いて、ＹＩＮ差分関数の計算は、行列Δの第１行および第２行の遅れ値に従って行われる。この行列の第１列は、差分関数計算を開始する相対インデックスを与える。
【００５０】
このフレームにわたり、長さＨの連続する間隔から引き継いだ１組の差分関数値を規定する。これらの値は、以下のように規定される行数および列数を伴う行列の形に構成される。
【００５１】
【数１２】
2021511755.tif 000013
【００５２】
ＹＩＮ差分行列ｄｄは、その一般要素により以下のように規定される。
【００５３】
【数１３】
2021511755.tif 000014
【００５４】
次いで、次式について考えてみる。
【００５５】
【数１４】
2021511755.tif 000015
【００５６】
さらに、以下の量について考えてみる。
【００５７】
【数１５】
2021511755.tif 000016
【００５８】
次式を計算することによりアルゴリズムは再開する。
【００５９】
【数１６】
2021511755.tif 000017
【００６０】
そして、最小を探す。
ｒｒ（ｉ）＝ｍｉｎ（Ｄｎ（τmin：τmax））
上式をしきい値と比較する。
【００６１】
【数１７】
2021511755.tif 000018
【００６２】
この最小がしきい値よりも小さい場合、副フレームｉに関する発話あり判定βｉ＝１が得られる。
【００６３】
本フレーム内の連続するＫ個の副フレームに対して判定が行われると、続けて多数決を行うことにより、全フレームにわたり発話ありに関する判定が行われる。
【００６４】
【数１８】
2021511755.tif 000019
【００６５】
式中、Ｑは（限定するわけではないが）Ｋ／２になるように選ばれてよい。
【００６６】
一実施形態では、ブロック２２で、ウィーナーエントロピー簡略化を使用することができる。高くつく平方根ベクトル演算
【００６７】
【数１９】
2021511755.tif 000020
【００６８】
を回避するために、次式を選んで、使用する。
【００６９】
【数２０】
2021511755.tif 000021
【００７０】
図８Ａは、発話信号を示す。図８Ｂは、ウィーナーエントロピーの対数を示す。図８Ｃは、簡略化ウィーナーエントロピーの対数を示す。結果は、簡略化ウィーナーエントロピーが有声発話の正しい指示であることを示す。
【００７１】
一実施形態では、ブロック２４で、ＹＩＮ簡略化を使用することができる。時間領域部分については、以下のＹＩＮ版を使用することができる。
【００７２】
【数２１】
2021511755.tif 000022
【００７３】
この最後の等式では、自乗差関数は、演算回数を低減するために、絶対値により置き換えられている。
【００７４】
２つの連続するフレーム間でＪ個のサンプルの重なりが存在する（発話ありの判定は、最初のＪ個のサンプルだけについて正しい）。
【００７５】
ｒk（ｉ＋１）が、時間ｉ＋１で行列ｄｄi+1のｋ番目の行である場合、以下が得られ、
【００７６】
【数２２】
2021511755.tif 000023
【００７７】
式中、ｒm（ｉ＋１）は、行列ｄｄi+1のｍ番目の列であり、ｄｄi（２：ｎ列，：）は、列２からｎ列まで、本フレームｉに関連づけられたｄｄから抽出された行列である。
【００７８】
前記の式から次式が容易に演繹される。
【００７９】
【数２３】
2021511755.tif 000024
【００８０】
または、
Ｄｄi+1＝Ｄｄi−ｒi（ｉ）＋ｒn列（ｉ＋１）
したがって、行列ｄｄの行の和を計算する前に行列ｄｄの要素をすべて計算する必要はない。代わりに、ベクトルＤｄ（ｉ）は、ｒ番目のｎ列（ｉ）およびｎ番目のｎ列（ｉ）を計算することにより更新される。
【００８１】
図９は、雑音検知アーキテクチャシステム５０と組み合わせた音声活動検出アーキテクチャシステム３０での、方法２０のある実装形態の概略図である。図１に示すように、音声活動検出（ＶＡＤ）アーキテクチャシステム３０および雑音検知アーキテクチャシステム（ＮＳ）５０を音声認識オーディオシステム１０の中に実装して、雑音にロバストな音声活動検出（ＶＡＤ）を提供することができる。図９を参照すると、入力バッファ３１は、入力信号２９を受信する。高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ  ＦＦＴ）、および入力バッファ３１での入力信号２９の連結は、フレーム３２を決定する。ウィーナー・エントロピー・モジュール３３でフレーム３２を使用して、候補を検出することができる。ウィーナー・エントロピー・モジュール３３は、図７に示すようなブロック２２を遂行する。
【００８２】
図９を参照すると、フレーム３２はまた、連続するＫ個の副フレーム３４に分割することができる。ＹＩＮピッチ検出モジュール３６の前に、副フレーム３４に対してダウンサンプリング処理３５を使用することができる。ＹＩＮピッチ検出モジュール３６は、図７に示すようなブロック２４を遂行する。図９を参照すると、ウィーナー・エントロピー・モジュール３３およびＹＩＮ検出モジュール３６は、副フレーム判定３７を決定する。発話ありを判断するモジュール４０の前で、副フレーム判定３７、および他の副フレーム３８からの判定をハングオーバモジュール３９の中に導入することができる。文の内部に低エネルギーの領域を見いだすことができ、本発明の方法２０は、これらの領域を非発話フレームと考えてよい。中断が多すぎる場合、出力での聴取は、いらいらさせる可能性がある。ハングオーバモジュール３９を使用することにより混乱を除去することができる。また、雑音検知（ＮＳ）アーキテクチャ５０にフレーム３２を転送することができる。
【００８３】
図１０は、ハングオーバモジュール３９内で使用することができる状態機械６０の概略図である。ハングオーバモジュール出力で発話ありを表す恒久的状態１を円６１により描き、ハングオーバモジュール出力で発話なしを表す恒久的状態０を円６３により描く。円６１およびボックス６４，ならびに円６３およびボックス６５から外に出る各判定矢印（０または１）は、フレーム処理後に得られる。判定が前の判定と同じである場合、ＸＹまたはＸＮは、それぞれ発話ありまたは発話なしとして累積される。同じではない場合、ＸＹおよびＸＮは、それらの初期値０にリセットされる。これらの変数の一方がＮＹまたはＮＮに等しくなると、一方の状態から別の状態への切替えが起動される。
【００８４】
この方法またはアルゴリズムでは、ｄｅｃＶａｄは、図９に示す発話検出モジュール４０から到来する判定入力を意味する。図１０の状態機械で位置インデックスｉｄｘ、およびそのインデックスの状態に関連する判定出力ｄｅｃＨｏｖ値を規定する場合、その結果、状態［０］＝０および状態［１］＝１である。
【００８５】
図１１〜図１３は、ウィーナーエントロピー値に及ぼす入力バッファデータの影響を示す。図１１Ａ、図１２Ａ、および図１３Ａは、それぞれ１２８、２５６、および５１２のバッファ長での発話信号を示す。図１１Ｂ、図１２Ｂ、および図１３Ｂは、それぞれ１２８、２５６、および５１２のバッファ長での対数ウィーナーエントロピーを示す。図１１Ｃ，図１２Ｃ、および図１３Ｃは、それぞれ１２８、２５６、および５１２のバッファ長での簡略化対数ウィーナーエントロピーを示す。入力データバッファ長を増大させることにより、ウィーナーエントロピー曲線を滑らかにする効果があることが示されている。
【００８６】
一実施形態では、雑音検知（ＮＳ）アーキテクチャ５０は、音楽雑音の出現をできるだけ回避しながら、すべての可能な雑音レベルについて、雑音低減（ＮＲ）オーディオ品質出力を提供するように最適化する。図１４に描くように、適応雑音低減（ＮＲ）モジュール７０で雑音検知（ＮＳ）の出力５１を使用することができる。雑音エネルギー検知アーキテクチャシステム７２を使用して、モジュール７３、および合波器７５と出力を組み合わせた雑音低減モジュール７４を用いて雑音を推定する。雑音低減（ＮＲ）アルゴリズムパラメータの選択を導出する雑音低減モジュール７４により、雑音の量を推定する。距離計算モジュール７６は、検知した雑音とヘッドホン１２の間の距離を決定することができる。
【００８７】
距離計算モジュール７６から得た出力を、ハングオーバ判定モジュール７７で使用する。雑音レベル状態の間を切り替える頻度を制御するために、雑音、中間段階、および雑音なしとして３つの雑音レベル状態を規定し、これらの状態は、音声認識オーディオシステム１０が突然の雑音またはインパルス性雑音に対して切り替えられないように、ハングオーバ判定モジュール７７で決定される。適応雑音低減モジュール７８は、ハングオーバ判定モジュール７７から得られる信号を処理して、雑音を低減する。未加工の信号Ｇ１  ８０と処理済み信号８２  Ｇ２の両方は、クリーンな信号８５を提供するためにミキサ８４で混合され、適応凸線形結合を用いて音声活動決定（ｖｏｉｃｅ  ａｃｔｉｖｉｔｙ  ｄｅｔｅｒｍｉｎａｔｉｏｎ、ＶＡＤ）アーキテクチャシステム３０に伝送され、
ｙ＝Ｇ１ｘ１＋（１−Ｇ１）ｘ２
式中、ｘ１は、未加工のマイクロホン入力であり、ｘ２は、ＮＲモジュール出力であり、ｙは、ＶＡＤモジュールの入力である。
【００８８】
Ｇ１は、時間領域または周波数領域で計算することができる２乗平均平方根（ｒｏｏｔ  ｍｅａｎ  ｓｑｕａｒｅ、ＲＭＳ）値ξに依存する。
【００８９】
環境雑音を最大まで低減しながら、音楽雑音およびオーディオアーチファクトを最小まで制限する目的で、ＮＲアルゴリズムおよびそれらのアルゴリズムに対応する内部設定パラメータを調節することができる。
【００９０】
一実施形態では、音声認識オーディオシステム１０は、マイクロホンアレイおよびたとえば４チャネル手順を有するヘッドホン１２を含むことができる。多重チャネル手順の利点は、多重チャネル手順が、効率を増大させる革新的特徴をもたらすことである。スピーカは、空間内に局所化するので、マイクロホンアレイへのスピーカ音声音響の伝播は、雑音拡散とは反対にコヒーレントなパスに従う。典型的には、１つのマイクロホンで拾い上げられた音声は、第２のマイクロホンで記録された音声の、遅延した複製である。図１５Ａ〜図１５Ｃは、位相差パターンを例示する。信号は、タイミングが、前方にある１つのスピーカおよび後方にある１つのスピーカ（約２秒〜約６秒）、ならびに２つのスピーカ、すなわち前方に１つ、および後方に１つ（約６秒〜約１０秒）を表す、描かれた４チャネル記録マイクロホンアレイの第１トラックである。雑音は、図１５Ａに示すように、入力信号に人工的に追加されている。ＭＬＦとＭＬＢ（ブロードサイド）の間の位相差を図１５Ｂに示し、ＭＲＦとＭＲＢ（エンドファイア）Ｉの間の位相差を図１５Ｃに示す。両方のアレイについて、発話がありまたはなしのときに、位相差パターンは類似して見えないことが示されている。
【００９１】
マイクロホンアレイは、空間フィルタの役割を果たして、望ましくない方向から到来する音響を減衰させ、一方では、選択した１つまたは複数の方向から到来する音響を強化する。マイクロホンアレイを使用することにより、音響品質を改善するのに、ならびに／またはＶＡＤ雑音ロバスト性および検出精度を高めるのに役立つ可能性がある。
【００９２】
図１６は、雑音のある信号を受信して、クリーンな信号を決定する雑音検知アーキテクチャシステム５０を含む音声認識オーディオシステム１０のある実装形態を例示する。クリーンな信号は、音声活動検出アーキテクチャシステム３０で使用される。マイクロホンアレイ１００は、局所化モジュール１０２およびビーム形成モジュール１０４と共に使用することができる。
【００９３】
マイクロホンアレイ１００内のマイクロホン１５の１つで、１方向で音声を検出すると、局所化モジュール１０２は、スピーカ到来方向を局所化する。ビーム形成モジュール１０４は、音声を検出しているマイクロホンを、決定した方向に向けて、その結果として、他の方向から到来する雑音を減衰させる。ビーム形成モジュール１０４は、外部雑音を統計的および空間的に減衰させて、図６に示すように、強化された音声信号をヘッドホン１２のスピーカ１７に配送させる。
【００９４】
代替実施形態では、雑音は、すべての方向から到来している。たとえば、雑音は、列車、飛行機、船などですべての方向で発生する可能性があり、これらの場所では、雑音は、主としてモータエンジンに起因し、客室の音響が反響するために到来方向がまったく正確ではない。逆に、関心のあるスピーカは、空間の単一地点に常に位置する。反響は、スピーカの、たとえば最大数メートル近傍にあるので、めったに問題とならない。
【００９５】
図１７は、雑音のある信号を受信して、クリーンな信号を決定する雑音検知アーキテクチャシステム５０と、雑音と信号の間の差を利用するマイクロホンアレイの使用とを含む音声認識オーディオシステム１０のある実装形態を例示する。雑音低減（ＮＲ）モジュール７０および音声活動検出アーキテクチャシステム３０と並列に、たとえば前方および後方など、異なる方向から到来する入射信号をビーム形成モジュール１０４で受信し、類似モジュール１０６で比較する。発話がある場合、スピーカを同時に複数の位置に配置することができないことを考慮して、２つのスペクトル間の差を観察すべきである。発話がない場合、ヘッドホンがどの方向を向いていようが、雑音は多かれ少なかれ同じであることを考慮して、スペクトル間の小さな差を観察することができる。類似モジュール１０６で決定した信号を、有声信号、および多くの場合、音声活動検出アーキテクチャシステム３０からのアーチファクトと、ミキサ１０７で混合することができる。そのような類似に基づく特徴を使用することは、雑音に対する信号のロバスト性を高めるための音声活動検出アーキテクチャシステムの誤警報を除去するのに役立つ可能性がある。
【００９６】
図１８は、複数のスピーカがユーザの周囲に配置された場合の、望ましくない音声の取消しを含む音声認識オーディオシステム１０のある実装形態を例示する。ユーザは、特有の方向、たとえば前方からの１つのスピーカと話したいと望む。マイクロホンアレイ１００を認識ゾーン１０８で使用して、望ましくない方向から到来するすべての信号をビーム形成モジュール１０４で除去して、信号を前処理して、雑音低減（ＮＲ）モジュール７０および音声活動検出アーキテクチャシステム３０の中に入る前に、認識ゾーンだけから到来する、雑音のある信号にすることができる。
【００９７】
音声認識オーディオシステム１０が高い了解度を確保することは好ましい。ユーザが外部音声により割り込まれたとき、音楽レベルを一定に保って、ユーザが音声メッセージを明瞭に聞くことを確実にしながら、外部音声を追加することが望ましい。この利点は、音声誤警報検出と聴取条件の両方を制御することにより達成することができる。音声誤警報は、音声活動検出アーキテクチャシステム３０により決定することができる。一実施形態では、本発明は、図６に示すように、音声活動検出アーキテクチャシステム３０により検出された外部発話をヘッドホン１２から到来する音楽と混合するステップを提供する。
【００９８】
ヘッドホン１２から届けられるスピーカ音声をユーザがよく理解するのを確実にすることが望ましい。一実施形態では、発話を検出し、伝送する間に、音楽の音響レベルをミュートする、または少なくとも低減する。音声了解度を改善するための混合戦略は、適応空間等化、空間分離、および別個または一緒に処理することができる、スタジオに着想を得た特別な処理を含むことができる。
【００９９】
音楽と混合された発話信号を聴くことは、特に音楽がすでに音声信号を包含するときに発話信号の了解度を劇的に低減する。多くの情報源によれば、発話基本周波数に対して信号対雑音比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ  ｒａｔｉｏ、ＳＮＲ）を高めることにより発話理解が高まる証拠が存在する。ひいては、すべての高調波についてＳＮＲが高いほど、それだけ発話理解はよくなる。
【０１００】
本発明では、音声活動検出（ＶＡＤ）アーキテクチャシステム３０から到来する音声も、ヘッドホン１２でユーザが再生する音楽も、利用可能である。一実施形態では、両方の信号のエネルギーを、特に基本周波数帯域および関連する高調波帯域で比較することができ、音声活動検出（ＶＡＤ）アーキテクチャシステム３０から得られる信号は、音楽と比較されたときに比較的低い場合、増大させられる。
【０１０１】
図１９は、適応スペクトル等化法２００を含む音声認識オーディオシステム１０のある実装形態を例示する。音声を検出するたびに、適応空間等化法２００を遂行することができる。ブロック２０１で、音楽のスペクトル密度電力の推定値を決定する。ブロック２０２で、発話のスペクトル密度電力の推定値を決定する。ブロック２０３で、ブロック２０２から得られる発話の基本周波数の推定値、およびフォルマントを決定する。ブロック２０４で、ブロック２０３から得られる発話フォルマントとブロック２０１から得られる音楽の間でエネルギー比を計算して、スペクトル帯域ごとに音声対音楽比（ｖｏｉｃｅ−ｔｏ−ｍｕｓｉｃ  ｒａｔｉｏ、ＶＭＲ）を決定する。ブロック２０５で、ブロック２０４により決定された低ＶＭＲを伴う帯域に対してＦＦＴに基づく等化器（ｅｑｕａｌｉｚｅｒ、ＥＱ）を適用する。
【０１０２】
図２０Ａは、了解度が不良な音楽スペクトル３０２と比較した、発話スペクトル３０１に関する電力および周波数のグラフ３００を例示する。ブロック２０４により決定された音楽に対して音声フォルマントのエネルギーが比較的低い帯域３０４については、ブロック２０５でＦＦＴに基づく等化器を適用して、それらの帯域を強化する。図２０Ｂは、強化後の了解度が良好な音楽スペクトル３０２と比較した、発話スペクトル３０１に関する電力および周波数のグラフ３００を例示する。
【０１０３】
図２１Ａおよび図２１Ｂは、空間分解４００を含む音声認識オーディオシステム１０のある実装形態を例示する。この戦略は、関心のある信号が検出されると、埋め込まれたマイクロホンアレイを使用して、この関心のある信号を局所化することができると仮定する。たとえば、相互相関に基づく方法を介することによる。図２１Ａは、位置４０２でモノラル発話を、位置４０３でステレオ音楽を伴う、不良な了解度を例示する。スピーカ到来方向に従って、音声活動検出（ＶＡＤ）３０により届けられた信号にＨＲＴＦに基づくフィルタを適用して、実際のスピーカ位置に従って信号を具体化する（３Ｄ効果）。
【０１０４】
これにより、ユーザ４０１は、空間内で音響信号を分離できるようになる。良好な了解度を例示する図２０Ｂに示すように、位置４０６で、頭部の中心で音楽を知覚し、一方では、位置４０４で、頭部の外側で発話を知覚する。同時に、音楽を一時的にステレオからモノラルに切り替えることができる。空間的聴力を回復することは、発話了解度を著しく高めることが公知である。
【０１０５】
図２２は、音楽と混合されて、特別な処理アルゴリズムを使用することができるときに音声の存在を高める、圧縮に基づく処理５００を含む音声認識オーディオシステム１０のある実装形態を例示する。ブロック５０１で、音声信号をコピーし、圧縮し、次いで、圧縮された信号を元の音声信号にコピーする。ブロック５０２で、得られる信号に軽い飽和を適用する。ブロック５０３で、特別な等化器を適用する。
【０１０６】
ブロック５０１で、圧縮は、音素間の強度差を低減し、その結果、時系列マスキング効果は低減され、発話ラウドネスは増大する。圧縮された音声と元の音声の両方の総和は、音声が依然として自然に聞こえることを確実にする。ブロック５０２は、より多くの高調波をもたらす。たとえば、基本周波数（Ｆ０）だけではなくＦ１およびＦ２の高調波情報も、母音識別および子音知覚のために決定的に重要であることが公知である。ブロック５０３は、低周波雑音を除去し、関心のある周波数帯域を増大させることにより、たとえば、７０Ｈｚまで−１８ｄＢ／オクターブ、２５０Ｈｚの周囲で−３ｄＢ、５００Ｈｚの周囲で−２ｄＢ、３．３ｋＨｚの周囲で＋２．５ｄＢ、および１０ｋＨｚの周囲で＋７ｄＢの低域カットにより、音声信号をクリーンにすることを目的とする。
【０１０７】
図２３Ａは、音声信号６０１の利得６０２を音楽信号６０４とミキサ６０５で組合せてドライバへの入力６０６に提供する、不良な了解度を例示する。図２３Ｂは、圧縮に基づく処理５００を実装するシステム６００を例示する。音声信号６０１を圧縮モジュール６０７に適用して、圧縮された信号を提供する。圧縮された信号は、ミキサ６０８で音声信号６０１の利得６０２と組み合わせられる。ミキサ６０８の出力は、ブロック５０２の軽い飽和を遂行するために飽和モジュール６０９に、および特別な等化器を適用するために等化モジュール６１０に適用される。等化モジュール６１０の出力をミキサ６１２で音楽信号６０４と組み合わせて、ドライバへの入力６１４を提供する。
【０１０８】
本発明の、雑音にロバストなＶＡＤ法またはアルゴリズムは、選択し、次いで確認する戦略の取り組み方法を使用する。第１ステップは、雑音の影響を低減できるようにする比較的大規模な入力バッファを用いて、周波数領域で行われる。有声発話信号ありは、多帯域ウィーナーエントロピー特徴を介して検出され、古典的ウィーナーエントロピーの特性を害することなく計算量をどのようにして低減することができるかを示す。
【０１０９】
アルゴリズムの第２の部分は、ピッチ推定がピッチの簡単な検出により置換される、ＹＩＮアルゴリズムの簡略版を用いて時間領域で行われる。計算量をさらに低減するために、古典的自乗差の代わりに絶対値差を使用する。このアルゴリズムは、入力フレーム全体に沿って、連続する副フレームにわたり作動する。
【０１１０】
本発明は、調節可能な音響認識ゾーンシステムの導出をもたらす。入力信号の振幅、およびユーザと遠くの外部音声を区別するのに役立ついくつかの特徴を使用して、システムは、ＶＡＤアルゴリズムによりユーザが正常な音声を考慮することができる球状領域を自分の頭部の周囲に規定できるようにする。この球の外側でユーザが正常な音声量で話している場合、システムはその音声量を拒絶する。
【０１１１】
本発明は、雑音検知システムの導出をもたらす。
【０１１２】
雑音低減法またはアルゴリズムだけではなく、ＶＡＤおよびアレイ処理アルゴリズムのような他の主要なモジュールも、これらの内部設定が、静かな状況から雑音が非常に多い状況まで、考えられるすべての雑音レベルを容易に取り扱うことはできないという事実を欠点として持つことがある。本システムの性能を改善するために、本発明の雑音検知の仕組みを導出し、本発明のシステムの中にこの仕組みを一体化することにより、雑音低減およびＶＡＤアルゴリズムの性能をどのようにして著しく改善するかについて示されている。実際は、雑音検知により、ＶＡＤ、雑音低減、音声局所化およびマイクロホン・アレイ・システムを使用するビーム形成、ならびに異なるアルゴリズムからなる計算量低減といった相互に作用する関連モジュールを含む自己調節可能な内部パラメータを用いて、再構成可能なアルゴリズムのアーキテクチャが可能になる。
【０１１３】
本発明は、計算量の負担をどのようにして著しく低減することができるかを示す。これにより、電力消費が低減される、またはさらに処理するための余地がより多く得られる。本発明は、音声了解度を高めながら音楽の音量を一定に保つという制約のもとで行われるオーディオ混合方式の導出をもたらす。
【０１１４】
本発明の代替実施形態を、事前にプログラムされたハードウェア要素、他の関連構成要素として、またはハードウェアプロセッサを含むハードウェア構成要素およびソフトウェア構成要素の組合せとして実装してよい。ハードウェア構成要素および／もしくはソフトウェア構成要素の両方を含む専用プロセッサ機器もしくは汎用プロセッサ機器、または処理能力を有するように適合させた専用コンピュータもしくは汎用コンピュータに関連して、本発明の実施形態を実装してよい。
【０１１５】
実施形態はまた、物理的コンピュータ可読媒体、ならびに／またはコンピュータ実行可能命令、データ構造、および／もしくは中に記憶したデータ信号を運ぶ、もしくは有するための無形のコンピュータ可読媒体を含んでよい。そのような物理的コンピュータ可読媒体および／または無形のコンピュータ可読媒体は、汎用コンピュータまたは専用コンピュータによりアクセスすることができる任意の利用可能な媒体とすることができる。限定ではなく例として、そのような物理的コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭもしくは他の光ディスク記憶領域、磁気ディスク記憶領域もしくは磁気記憶機器、他の半導体記憶媒体、またはコンピュータ実行可能命令、データ構造、および／もしくはデータ信号の形で所望のデータを記憶するために使用することができ、かつ汎用コンピュータまたは専用コンピュータによりアクセスすることができる任意の他の物理媒体を含むことができる。汎用コンピュータまたは専用コンピュータ内部では、無形のコンピュータ可読媒体は、コンピュータ内に常駐する回路を通すなどして、コンピュータの一方の部分から別の部分へデータ信号を伝えるための電磁的手段を含むことができる。
【０１１６】
ネットワークまたは別の通信接続（有線、無線、または有線もしくは無線の組合せ）を介してコンピュータに情報を伝送または提供するとき、コンピュータ実行可能命令、データ構造、および／またはデータ信号（たとえば、配線、ケーブル、光ファイバ、電子回路、化学物質など）を送信および受信するためのハードウェア機器は、当然のことながら物理的コンピュータ可読媒体と見るべきであり、一方では、コンピュータ実行可能命令、データ構造、および／またはデータ信号（たとえば、無線通信、衛星通信、赤外線通信など）を送信および／または受信するための無線搬送波または無線媒体は、当然のことながら無形のコンピュータ可読媒体と見るべきである。上記の組合せもまた、コンピュータ可読媒体の範囲に含まれるべきである。
【０１１７】
コンピュータ実行可能命令は、たとえば、汎用コンピュータ、専用コンピュータ、または専用処理機器に、ある種の機能または機能のグループを遂行させる命令、データ、および/またはデータ信号を含む。必須ではないが、本発明の様態について本明細書では、プログラムモジュールなどのコンピュータ実行可能命令がネットワーク環境および／または非ネットワーク環境でコンピュータにより実行されるという一般的文脈で記述してきた。一般に、プログラムモジュールは、特定のタスクを遂行する、または特定の抽象的コンテンツタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、およびコンテンツ構造を含む。コンピュータ実行可能命令、関連するコンテンツ構造、およびプログラムモジュールは、本明細書で開示する方法の様態を実行するためのプログラムコードの例を表す。
【０１１８】
実装形態はまた、プロセッサにより実行されたとき、本発明の方法をシステムに遂行させるコンピュータ実行可能命令を備える、中に記憶されたコンピュータ可読プログラムコードを有する物理的コンピュータ可読媒体を有する、本発明のシステムで使用するためのコンピュータプログラム製品を含んでよい。
【０１１９】
上述の実施形態は、本発明の原理の適用例を表すことができる、多くの考えられる特有の実施形態を少しだけ例示する。本発明の精神および範囲を逸脱することなく、当業者によりこれらの原理に従って数多くの、さまざまな他の配列を容易に考案することができる。
【図１】
2021511755.tif 000025
【図２】
2021511755.tif 000026
【図３】
2021511755.tif 000027
【図４】
2021511755.tif 000028
【図５】
2021511755.tif 000029
【図６】
2021511755.tif 000030
【図７】
2021511755.tif 000031
【図８Ａ】
2021511755.tif 000032
【図８Ｂ】
2021511755.tif 000033
【図８Ｃ】
2021511755.tif 000034
【図９】
2021511755.tif 000035
【図１０】
2021511755.tif 000036
【図１１Ａ−１１Ｃ】
2021511755.tif 000037
【図１２Ａ−１２Ｃ】
2021511755.tif 000038
【図１３Ａ−１３Ｃ】
2021511755.tif 000039
【図１４】
2021511755.tif 000040
【図１５Ａ−１５Ｃ】
2021511755.tif 000041
【図１６】
2021511755.tif 000042
【図１７】
2021511755.tif 000043
【図１８】
2021511755.tif 000044
【図１９】
2021511755.tif 000045
【図２０Ａ−２０Ｂ】
2021511755.tif 000046
【図２１Ａ−２１Ｂ】
2021511755.tif 000047
【図２２】
2021511755.tif 000048
【図２３Ａ】
2021511755.tif 000049
【図２３Ｂ】
2021511755.tif 000050
【手続補正書】
【提出日】令和2年8月14日(2020.8.14)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2021511755.tif 000051
【図２】
2021511755.tif 000052
【図３】
2021511755.tif 000053
【図４】
2021511755.tif 000054
【図５】
2021511755.tif 000055
【図６】
2021511755.tif 000056
【図７】
2021511755.tif 000057
【図８Ａ】
2021511755.tif 000058
【図８Ｂ】
2021511755.tif 000059
【図８Ｃ】
2021511755.tif 000060
【図９】
2021511755.tif 000061
【図１０】
2021511755.tif 000062
【図１１Ａ】
2021511755.tif 000063
【図１１Ｂ】
2021511755.tif 000064
【図１１Ｃ】
2021511755.tif 000065
【図１２Ａ】
2021511755.tif 000066
【図１２Ｂ】
2021511755.tif 000067
【図１２Ｃ】
2021511755.tif 000068
【図１３Ａ】
2021511755.tif 000069
【図１３Ｂ】
2021511755.tif 000070
【図１３Ｃ】
2021511755.tif 000071
【図１４】
2021511755.tif 000072
【図１５Ａ】
2021511755.tif 000073
【図１５Ｂ】
2021511755.tif 000074
【図１５Ｃ】
2021511755.tif 000075
【図１６】
2021511755.tif 000076
【図１７】
2021511755.tif 000077
【図１８】
2021511755.tif 000078
【図１９】
2021511755.tif 000079
【図２０Ａ−２０Ｂ】
2021511755.tif 000080
【図２１Ａ−２１Ｂ】
2021511755.tif 000081
【図２２】
2021511755.tif 000082
【図２３Ａ】
2021511755.tif 000083
【図２３Ｂ】
2021511755.tif 000084
【国際調査報告】
2021511755.tif 000085
2021511755.tif 000086
2021511755.tif 000087
2021511755.tif 000088
2021511755.tif 000089