(57)【要約】ターゲットオーディオ信号及び雑音の混合体を含む雑音を含むオーディオ信号を受信する入力インターフェースを備えるシステム及び方法。本システムは、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングするエンコーダを更に備える。エンコーダは、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲット音声信号の振幅の比を示す振幅比値を計算する。本システムは、位相関係値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成するフィルタを更に備える。本システムは、強調されたオーディオ信号を出力する出力インターフェースを更に備える。
2021527847.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットオーディオ信号と雑音との混合体を含む、雑音を含むオーディオ信号を受信する入力インターフェースと、
前記雑音を含むオーディオ信号の各時間−周波数ビンを、前記ターゲットオーディオ信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングし、且つ、前記雑音を含むオーディオ信号の各時間−周波数ビンに対して、前記雑音を含むオーディオ信号の振幅に対する前記ターゲットオーディオ信号の振幅の比を示す振幅比値を計算するエンコーダと、
前記１つ以上の位相関係値及び前記振幅比値に基づいて前記雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成するフィルタと、
前記強調されたオーディオ信号を出力する出力インターフェースと、
を備える、オーディオ信号処理システム。
【請求項２】
前記１つ以上の位相関係値のうちの１つは、各時間−周波数ビンにおけるターゲットオーディオ信号の位相の近似値を表す、請求項１に記載のオーディオ信号処理システム。
【請求項３】
前記１つ以上の位相関係値のうちの１つは、各時間−周波数ビンにおけるターゲットオーディオ信号の位相と対応する時間−周波数ビンにおける雑音を含むオーディオ信号の位相との近似差を表す、請求項１に記載のオーディオ信号処理システム。
【請求項４】
前記１つ以上の位相関係値のうちの１つは、各時間−周波数ビンにおけるターゲットオーディオ信号の位相と異なる時間−周波数ビンにおけるターゲットオーディオ信号の位相との近似差を表す、請求項１に記載のオーディオ信号処理システム。
【請求項５】
前記オーディオ信号処理システムは、位相関係値重み推定器を更に備え、前記位相関係値重み推定器は、各時間−周波数ビンに対する位相関係値重みを推定し、前記位相関係値重みは、異なる位相関係値を組み合わせるために使用される、請求項１に記載のオーディオ信号処理システム。
【請求項６】
前記エンコーダは、前記１つ以上の位相量子化コードブックにおける前記１つ以上の位相関係値に対する時間−周波数ビンのマッピングを決定するパラメータを含む、請求項１に記載のオーディオ信号処理システム。
【請求項７】
前記１つ以上の位相量子化コードブックに対する位相関係値の所定の組を考慮して、前記エンコーダのパラメータは、トレーニングされた雑音を含むオーディオ信号及びトレーニングされたターゲットオーディオ信号の対のトレーニングデータセットに対するトレーニングおよび強調されたオーディオ信号と対応するトレーニングされたターゲットオーディオ信号との推定誤差を最小限にするように最適化される、請求項６に記載のオーディオ信号処理システム。
【請求項８】
前記１つ以上の位相量子化コードブックのうちの第１の量子化コードブックの位相関係値は、トレーニングされた雑音を含むオーディオ信号及びトレーニングされたターゲットオーディオ信号の対のトレーニングデータセットに対するトレーニングおよび強調されたオーディオ信号と対応するトレーニングされたターゲットオーディオ信号との推定誤差を最小限にするために、前記エンコーダのパラメータとともに最適化される、請求項６に記載のオーディオ信号処理システム。
【請求項９】
前記エンコーダは、雑音を含む音声の各時間−周波数ビンを、前記雑音を含むオーディオ信号の振幅に対する前記ターゲットオーディオ信号の振幅の量子化された比を示す振幅比値の振幅量子化コードブックの振幅比値にマッピングする、請求項１に記載のオーディオ信号処理システム。
【請求項１０】
前記振幅量子化コードブックは、１を超える少なくとも１つの振幅比値を含む複数の振幅比値を含む、請求項９に記載のオーディオ信号処理システム。
【請求項１１】
前記オーディオ信号処理システムは、
第１の量子化コードブック及び第２の量子化コードブックを記憶し、且つ、前記位相量子化コードブックにおける前記位相関係値の第１のインデックスと前記振幅量子化コードブックにおける前記振幅比値の第２のインデックスとを生成するように前記雑音を含むオーディオ信号を処理するようにトレーニングされたニューラルネットワークを記憶するメモリ、
を更に備え、
前記エンコーダは、前記ニューラルネットワークを用いて前記第１のインデックス及び前記第２のインデックスを決定し、前記第１のインデックスを用いて前記メモリから前記位相関係値を取り出し、前記第２のインデックスを用いて前記メモリから前記振幅比値を取り出す、請求項９に記載のオーディオ信号処理システム。
【請求項１２】
前記位相関係値及び前記振幅比値は、トレーニングおよび強調された音声と対応するトレーニングされたターゲット音声との推定誤差を最小限にするように、前記エンコーダのパラメータとともに最適化される、請求項９に記載のオーディオ信号処理システム。
【請求項１３】
第１の量子化コードブック及び第２の量子化コードブックは、前記位相関係値及び前記振幅比値の組合せとともに共同量子化コードブックを形成し、前記エンコーダは、前記雑音を含む音声の各時間−周波数ビンを前記位相関係値及び前記振幅比値にマッピングして前記共同量子化コードブックにおける組合せを形成する、請求項９に記載のオーディオ信号処理システム。
【請求項１４】
前記位相関係値及び前記振幅比値は、前記共同量子化コードブックが、位相関係値及び振幅比値の全てのあり得る組合せのサブセットを含むように組み合わされる、請求項１３に記載のオーディオ信号処理システム。
【請求項１５】
前記位相関係値及び前記振幅比値は、前記共同量子化コードブックが、位相関係値及び振幅比値の全てのあり得る組合せを含むように組み合わされる、請求項１３に記載のオーディオ信号処理システム。
【請求項１６】
命令及び他のデータを記憶しているメモリと結合されたハードウェアプロセッサを含むオーディオ信号処理方法であって、
入力インターフェースにより、ターゲットオーディオ信号と雑音との混合体を含む雑音を含むオーディオ信号を受け入れることと、
前記ハードウェアプロセッサにより、前記雑音を含むオーディオ信号の各時間−周波数ビンを、前記ターゲットオーディオ信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングすることと、
前記ハードウェアプロセッサにより、前記雑音を含むオーディオ信号の各時間−周波数ビンに対して、前記雑音を含むオーディオ信号の振幅に対する前記ターゲットオーディオ信号の振幅の比を示す振幅比値を計算することと、
フィルタを用いて、前記位相関係値及び前記振幅比値に基づいて前記雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成することと、
出力インターフェースにより、前記強調されたオーディオ信号を出力することと、
を含む、方法。
【請求項１７】
前記除去は、
各時間−周波数ビンに対して前記ハードウェアプロセッサによって決定された前記１つ以上の位相関係値及び前記振幅比値を用いて前記フィルタの時間−周波数係数を更新し、前記フィルタの前記時間−周波数係数に前記雑音を含むオーディオ信号の時間−周波数表現を乗算して、前記強調されたオーディオ信号の時間−周波数表現を生成すること、
を更に含む、請求項１６に記載の方法。
【請求項１８】
記憶された前記他のデータは、第１の量子化コードブックと、第２の量子化コードブックと、前記第１の量子化コードブックにおける前記位相関係値の第１のインデックスと前記第２の量子化コードブックにおける前記振幅比値の第２のインデックスとを生成するように前記雑音を含むオーディオ信号を処理するようにトレーニングされたニューラルネットワークとを含み、前記ハードウェアプロセッサは、前記ニューラルネットワークを用いて前記第１のインデックス及び前記第２のインデックスを決定し、前記第１のインデックスを用いて前記メモリから前記位相関係値を取り出し、前記第２のインデックスを用いて前記メモリから前記振幅比値を取り出す、請求項１６に記載の方法。
【請求項１９】
前記第１の量子化コードブック及び前記第２の量子化コードブックは、前記位相関係値及び前記振幅比値の組合せとともに共同量子化コードブックを形成し、前記ハードウェアプロセッサは、前記雑音を含むオーディオ信号の各時間−周波数ビンを前記位相関係値及び前記振幅比値にマッピングして前記共同量子化コードブックにおける組合せを形成する、請求項１８に記載の方法。
【請求項２０】
方法を実施するようにハードウェアプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体であって、前記方法は、
ターゲットオーディオ信号と雑音との混合体を含む雑音を含むオーディオ信号を受け入れることと、
前記雑音を含むオーディオ信号の各時間−周波数ビンを、前記雑音を含むオーディオ信号の位相と前記ターゲットオーディオ信号の位相との量子化された位相差を示す位相関係値の第１の量子化コードブックの位相関係値にマッピングすることと、
前記ハードウェアプロセッサにより、前記雑音を含むオーディオ信号の各時間−周波数ビンを、前記ターゲットオーディオ信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングすることと、
前記ハードウェアプロセッサにより、前記雑音を含むオーディオ信号の各時間−周波数ビンに対して、前記雑音を含むオーディオ信号の振幅に対する前記ターゲットオーディオ信号の振幅の比を示す振幅比値を計算することと、
フィルタを用いて、前記位相関係値及び前記振幅比値に基づいて前記雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成することと、
出力インターフェースにより、前記強調されたオーディオ信号を出力することと、
を含む、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、オーディオ信号に関し、より詳細には、雑音抑制方法及びシステムを含む音源の分離（source separation）及び音声の強調（speech enhancement）等のオーディオ信号処理に関する。
【背景技術】
【０００２】
従来の雑音除去又は従来のオーディオ信号の強調において、目標は、ある特定の意味では、根本である真の「クリーンなオーディオ信号」又は関心のある「ターゲットオーディオ信号」により近い「強調（enhanced）されたオーディオ信号」を取得することであり、これは、雑音を含むオーディオ信号を処理するバージョンである。特に、音声処理の場合、「音声強調」の目標は、ある意味では、根本である真の「クリーンな音声」又は「ターゲット音声」により近い「強調された音声」を取得することであり、これは、雑音を含む音声信号を処理するバージョンである。
【０００３】
クリーンな音声は、従来、トレーニング中にのみ入手でき、実際にシステムを使用している間は入手できないと想定されていることに留意されたい。トレーニングの場合、クリーンな音声は、接話マイクロフォンを用いて取得することができるのに対し、雑音を含む音声は、同時に録音される遠距離場マイクロフォンを用いて取得することができる。または、クリーンな音声信号及び雑音信号が別個に与えられる場合、これらの信号を合算して、雑音を含む音声信号を取得することができる。この場合、クリーンな音声信号及び雑音を含む音声のペアを、合わせてトレーニングに用いることができる。
【０００４】
従来の音声強調の応用では、音声処理は、通常、短時間フーリエ変換（ＳＴＦＴ）特徴等の入力信号の一組の特徴を用いて行われる。本明細書では、ＳＴＦＴはを用いて、スペクトログラムとも称する、複素領域における信号のスペクトル−時間（又は時間−周波数）表現を取得する。観測される雑音を含む信号のＳＴＦＴは、ターゲット音声信号のＳＴＦＴと雑音信号のＳＴＦＴとの和として書くことができる。信号のＳＴＦＴは複素数であり、和は複素領域にある。しかしながら、従来の方法では、位相は無視され、従来のアプローチでは、入力として雑音を含む音声信号が与えられると「ターゲット音声」の振幅を予測することであった。ＳＴＦＴにより時間領域において強調された信号を再構成している間、雑音を含む信号の位相は、通常、強調された音声のＳＴＦＴにおける推定された位相として用いられる。ターゲット音声の振幅の推定値と組み合わせて雑音を含む位相を用いることにより、一般的には、再構成される時間領域の信号（すなわち、推定された振幅と雑音を含む位相との積からなる複素スペクトログラムの逆ＳＴＦＴによって取得される時間領域の信号）の振幅スペクトログラム（そのＳＴＦＴの振幅部分）は、時間領域における信号を再構成しようと意図されたターゲット音声の振幅の推定値とは異なるものとなる。この場合、推定された振幅と雑音を含む位相との積からなる複素スペクトログラムは、整合していないと言われている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
したがって、従来の音声強調の応用を乗り越え、改善された音声処理方法が必要とされている。
【課題を解決するための手段】
【０００６】
本開示は、オーディオ信号の強調、すなわち雑音抑制等、オーディオ信号処理のシステム及び方法を提供することに関する。
【０００７】
本開示によれば、「音声強調」という用語を用いることは、「オーディオ信号強調」のより一般的なタスクの代表的な例であり、音声強調の場合、ターゲットオーディオ信号は音声である。本開示において、オーディオ信号強調は、非ターゲット信号を抑制して、「雑音を含む信号」から「強調ターゲット信号」を取得するという問題とみなすことができる。同様のタスクは「オーディオ信号分離」と記述することができる。これは、様々なバックグランド信号から「ターゲット信号」を分離することを意味する。ここで、バックグランド信号は、他の任意の非ターゲットオーディオ信号、又は他のターゲット信号の発生である。オーディオ信号強調という用語を本開示で用いる場合、オーディオ信号分離も包含することができる。その理由は、バックグランド信号のずべての組合せを単一の雑音信号とみなすことができるためである。例えば、ターゲット信号が音声信号である場合、バックグランド信号は、他の音声信号とともに非音声信号を含む可能性がある。本開示では、音声信号のうちの１つを再構成することを目標とみなし、他の全ての信号の組合せを単一の雑音信号とみなすことができる。したがって、ターゲット音声信号を他の信号から分離することは、雑音を他の信号の全てからなるものとする、音声強調タスクとみなすことができる。いくつかの実施の形態において、「音声強調」という用語を用いる一例とすることができるが、本開示では、音声処理に限定されず、ターゲットオーディオ信号として音声を使用する全ての実施の形態は、雑音を含むオーディオ信号からターゲットオーディオ信号を推定するオーディオ信号強調の実施の形態とみなすことができる。例えば、「クリーンな音声」という用語は「クリーンなオーディオ信号」という用語に、「ターゲット音声」という用語は「ターゲットオーディオ信号」という用語に、「雑音を含む音声」という用語は「雑音を含むオーディオ信号」という用語に、「音声処理」という用語は「オーディオ信号処理」という用語にといったように置き換えることができる。
【０００８】
いくつかの実施の形態は、音声強調方法が、入力混合体（mixture）信号の時間−周波数表現に適用される時間−周波数マスク又は時間−周波数フィルタを推定することに依存する（例えば、フィルタとその表現との乗算によって適用される）ことができ、推定された信号は何らかの逆変換を用いて再合成されることができる、という理解に基づく。しかしながら、通常、それらのマスクは、実数値であり、混合体信号の振幅しか変更しない。それらのマスクの値はまた、通常、０と１との間にあるように制約される。推定された振幅は、その後、雑音を含む位相と組み合わされる。従来の方法は、一般的に、強調された信号の位相における最小平均二乗誤差（ＭＭＳＥ）の推定値が、いくつかの単純化された統計的仮定の下で雑音を含む信号の位相であり（通常、実際には適用できない）、雑音を含む位相を振幅の推定値と組み合わせることにより、実際に許容可能な結果が得られていると主張することによって正当化されている。
【０００９】
ディープラーニングの出現とディープラーニングを用いる本開示の実験とにより、ディープニューラルネットワーク又はディープリカレントニューラルネットワーク（deep recurrent neural networks）を用いて取得される振幅推定値の品質が、雑音を含む位相が全体的な性能に対する制限因子となりうるという程度にまで、他の方法と比較して著しく改善することができる。さらなる問題点としては、位相推定を提供することなく振幅推定を更に改善することにより、実際に実験からわかったように、信号対雑音比（ＳＮＲ）等の性能尺度を低下させる可能性がある。実際に、本開示の実験によれば、雑音を含む位相が誤りである、例えば、真の位相と逆である場合、振幅に対する推定値として０を用いることは、ＳＮＲに関して正しい値を用いるより「良好な」選択である。その理由は、その正しい値が雑音を含む位相に関連する場合、間違った方向に遠ざける可能性があるためである。
【００１０】
実験から、雑音を含む位相を用いることが、準最適であるだけでなく、振幅推定の精度の更なる改善を妨げる可能性もあることがわかった。例えば、雑音を含む位相と対にされた振幅のマスク推定において、１を超える値を推定することは、不利益になる可能性がある。その理由は、こうした値が、音源間の干渉を除去する領域で発生する可能性があり、それらの領域では、雑音を含む位相の推定値が不正確である可能性が高いためである。したがって、この理由のため、位相を固定することなく振幅を増大させることは、元の混合体が最初にあった場所と比較して、推定値を基準から更に遠ざける可能性が高い。不適切な位相の推定値を考慮すると、推定された信号と真の信号との間のユークリッド距離等、再構成された信号の品質の客観的尺度に関して、正しい振幅より小さい振幅を用いること、すなわち、いくつかの時間−周波数ビンにおいて雑音信号を「過抑制する（over-suppress）」ことは、より割に合うことが多い。したがって、こうした劣化を受ける目的関数下で最適化されるアルゴリズムは、真の振幅に関して、推定された振幅の品質を更に向上させること、言い換えれば、振幅の間の何らかの距離の尺度の下で、真の振幅により近い推定された振幅を出力することができない。
【００１１】
そうした目的を留意して、いくつかの実施の形態は、ターゲット位相の推定の改善により、位相自体をより良好に推定することによって、強調された信号の推定品質をより良好にすることができるだけでなく、真の振幅に関する強調された振幅をより忠実に推定することにより、強調された信号の推定品質を向上させることもできる。具体的には、より良好に位相を推定することにより、ターゲット信号の振幅のより忠実な推定値が、実際には、客観的な尺度を改善することができ、性能をさらに引き上げる。特に、ターゲット位相をより良好に推定することにより、本来であれば位相推定値が間違っている状況において非常に不利益である可能性がある、１を超えるマスク値を有することができる。従来の方法は、通常、こうした状況では、雑音信号を過抑制する傾向がある。しかしながら、一般的に、雑音を含む信号におけるターゲット信号と雑音信号との干渉を除去することによって、雑音を含む信号の振幅がターゲット信号の振幅より小さい可能性があるため、雑音を含む信号の振幅からターゲット信号の振幅を完全に復元するために、１を超えるマスク値を使用する必要がある。
【００１２】
実験から、推定された振幅スペクトログラムと雑音を含む信号の位相との組合せとして取得される複素スペクトログラムを精緻化する位相再構成の方法を適用することにより、性能を向上させることができることがわかった。これらの位相再構成アルゴリズムは、以前の反復における位相が、現在の複素スペクトログラム推定値（すなわち、元の推定された振幅と、現在の位相推定値との積）に、逆ＳＴＦＴ及び引き続いてＳＴＦＴを適用し、位相のみを保持することに関与する計算から取得された位相に置き換える、反復手順に依拠する。例えば、グリフィンリムアルゴリズムでは、単一の信号にこのような手順を適用する。元の雑音を含む信号まで総和することを想定された複数の信号推定値が同時に推定される場合、多入力スペクトログラム逆変換（ＭＩＳＩ）アルゴリズムを用いることができる。実験から更に、こうした反復手順の１つのステップ又は複数のステップの結果に規定される損失を含む目的関数を最小化するように、ネットワーク又はＤＮＮベース強調システムをトレーニングすることにより、性能を更に向上させるられることがわかった。いくつかの実施の形態は、その更なる性能の向上が、これらの位相再構成アルゴリズムによって精緻化される初期複素スペクトログラムを取得するために使用される初期位相として、雑音を含む位相を改善する初期位相を推定することによって得ることができる、という認識に基づく。
【００１３】
実験から更に、１を超えるマスク値を用いて、真の振幅を完全に再構成することができることがわかった。それは、真の振幅を取り戻すために、振幅に１を超える何かを乗算するように、混合体の振幅が真の振幅より小さい可能性があるためである。しかしながら、そのビンに対する位相が間違っている場合、誤差が増幅される可能性があるため、この手法を用いることに何らかのリスクがあることがわかった。
【００１４】
したがって、雑音を含む音声の位相の推定を改善する必要がある。しかしながら、位相は、推定することが非常に困難であり、いくつかの実施の形態は、許容可能な潜在的な性能を依然として維持しながら、雑音推定問題を簡略化することを目的とする。
【００１５】
具体的には、いくつかの実施の形態は、雑音を含む信号に適用することができる複素マスクにおいて位相推定問題を定式化することができる、という認識に基づく。こうした定式化により、ターゲット音声自体の位相の代わりに、雑音を含む音声とターゲット音声との位相差を推定することができる。これは、間違いなくより容易な問題である。その理由は、ターゲット音源が優位を占める領域において、位相差は概して０に近いためである。
【００１６】
全体として、いくつかの実施の形態は、位相推定問題が、ターゲット信号のみから、又は雑音を含む信号と組み合わせてターゲット信号から導出される位相関係の量の推定に関して再定式化することができるという認識に基づく。そして、クリーンな位相の最終的な推定値は、この推定された位相関係の量と雑音を含む信号との組合せの更なる処理によって取得することができる。位相関係の量が何らかの変換を通して取得される場合、更なる処理は、その変換する効果は逆転させるべきである。いくつかの特定の場合を考慮することができる。例えば、いくつかの実施の形態では、場合によっては雑音を含むオーディオ信号の位相と組み合わせて、ターゲットオーディオ信号の位相を推定するために使用することができる位相値の第１の量子化コードブックを含む。
【００１７】
第１の例に関して、第１の例がクリーンな位相の直接推定である場合、この場合、更なる処理は不要であるはずである。
【００１８】
別の例は、雑音を含む信号に適用することができる複素マスクにおける位相の推定とすることができる。こうした定式化により、ターゲット音声自体の位相の代わりに、雑音を含む音声とターゲット音声との位相差を推定することができる。これは、より容易な問題とみなすことができる。その理由は、ターゲット音源が優位を占める領域において、位相差は概して０に近いためである。
【００１９】
別の例は、瞬時周波数偏移（ＩＦＤ：Instantaneous Frequency Deviation）としても知られる、時間方向における位相の差の推定である。例えば、雑音を含む信号のＩＦＤとクリーンな信号のＩＦＤとの差を推定することにより、位相差の上記の推定と組み合わせて考慮することもできる。
【００２０】
別の例は、群遅延（Group Delay）としても知られる、周波数方向における位相の差の推定である。これはまた、例えば、雑音を含む信号の群遅延とクリーンな信号の群遅延との差を推定することにより、位相差の上記の推定と組み合わせて考慮することもできる。
【００２１】
これらの位相関係の量は、それぞれ、様々な状態においてより信頼性が高いか又は有効である。例えば、相対的にクリーンな状態では、雑音を含む信号からの差は、０に近く、したがって、予測が容易であるとともに、クリーンな位相の良好な指標である。非常に雑音の多い状態にあり、且つターゲット信号が周期的又は準周期的信号（例えば、有声音声）である場合、特に、信号の対応する部分がおおよそ正弦波である場合の位相は、周波数領域におけるターゲット信号のピークにおいて、ＩＦＤを用いてより予測可能である。したがって、最終的な位相を予測するために、こうした位相関係の量の組合せを推定することも考慮することができる。そこでは、電流信号及び雑音状態に基づき、推定値と組み合わせるべき重みが求められる。
【００２２】
さらに、いくつかの実施の形態は、位相の厳密な値を連続実数として（又は同等に２πを法とする連続実数として）推定する問題を、位相の量子化された値を推定する問題に置き換えることができる、という認識に基づく。これは、量子化された位相値の有限集合から量子化された位相値を選択するという問題とみなすことができる。実際に、実験において、本発明者らは、位相値を量子化されたバージョンに置き換えることは、多くの場合、信号の品質に対してわずかな影響しか与えないことに気づいた。
【００２３】
本明細書で用いる場合の位相値及び／又は振幅値の量子化は、計算を実行するプロセッサの量子化よりはるかに粗い。例えば、量子化を用いるいくつかの利点は、典型的なプロセッサの精度が浮動小数点数に量子化され、位相が何千もの値を有することを可能にするが、異なる実施の形態によって用いられる位相空間の量子化は、位相の採り得る値の領域を著しく低減させる、ということである場合がある。例えば、１つの実施態様では、位相空間は、０度及び１８０度の２つの値のみに量子化される。こうした量子化は、位相の真の値を推定することができない可能性があるが、位相の方向を提供することはできる。
【００２４】
位相推定問題のこの量子化された定式は、いくつかの利点をもたらすことができる。正確な推定を行うアルゴリズムが不要となるため、アルゴリズムをトレーニングすることをより容易にすることができ、要求される精度レベルの範囲内でアルゴリズムはよりロバストな判断を行うことができる。位相に対する連続値を推定するような回帰問題である問題が、値の小さい集合から位相に対する離散値を推定するような分類問題である問題に置き換えられるため、推定を実行するために、ニューラルネットワーク等の分類アルゴリズムの強度を利用することができる。現時点のアルゴリズムでは、離散値の有限集合から選択することしかできないため、特定の位相の厳密な値を推定することは不可能である場合があるが、アルゴリズムはより精密な選択を行うことができるため、最終的な推定がより良好である場合がある。例えば、連続値を推定する何らかの回帰アルゴリズムにおける誤差が２０％である一方、最も近い離散位相値を選択する別の分類アルゴリズムが決して間違えないと仮定した場合、位相に対するいかなる連続値も離散位相値のうちの１つの１０％以内である場合、分類アルゴリズムの誤差は、最大でも１０％であり、回帰アルゴリズムの誤差より低い。上記の数字は、仮定であり、本明細書では単に例示として言及する。
【００２５】
位相をいかにパラメータ化するかに応じて、位相を推定する回帰ベースの方法には複数の難点がある。
【００２６】
位相を複素数としてパラメータ化する場合、凸問題に直面する。回帰は、予測された平均、又は言い換えれば凸結合を、その推定値として計算する。しかしながら、所与の振幅に対して、その振幅を有するが異なる位相を有する信号に対するいかなる予測値も、概して、位相相殺によって、異なる振幅を有する信号を提供する。実際に、異なる方向を有する２つの単位長ベクトルの平均は、１未満の振幅を有する。
【００２７】
位相を角度としてパラメータ化する場合、ラップアラウンド問題に直面する。角度は２πを法として定義されるため、位相の複素数パラメータ化を介する以外、予測値を定義する一貫した方法はないが、これには上述した問題がある。
【００２８】
他方で、位相推定に対する分類ベースの手法は、サンプリングすることができる位相の分布を推定し、推定値として期待値を考慮しないようにする。したがって、復元することができる推定値は、位相相殺問題を回避する。さらに、位相に対して離散表現を用いることにより、例えば、単純な確率の連鎖規則を用いて、異なる時点及び周波数での推定値間の条件付き関係を導入することが容易になる。この最後の点は、振幅を推定するために離散表現を用いることを支持する論拠でもある。
【００２９】
例えば、１つの実施の形態では、雑音を含む音声の各時間−周波数ビンを、雑音を含む音声の位相とターゲット音声又はクリーンな音声の位相との量子化された位相差を示す位相値の第１の量子化コードブックの位相値にマッピングするエンコーダを含む。第１の量子化コードブックは、雑音を含む音声の位相とターゲット音声の位相との差の位相空間を量子化して、マッピングを分類タスクに低減させる。例えば、いくつかの実施態様では、所定の位相値の第１の量子化コードブックは、エンコーダのプロセッサに動作可能に接続されたメモリに記憶されて、エンコーダが、第１の量子化コードブックにおける位相値のインデックスのみを決定することができるようにする。少なくとも１つの態様は、エンコーダをトレーニングするように使用される第１の量子化コードブックを含むことができ、それは、例えば、雑音を含む音声の時間−周波数ビンを第１の量子化コードブックの値のみにマッピングするようにニューラルネットワークを用いて実施される。
【００３０】
いくつかの実施の形態では、エンコーダはまた、雑音を含む音声の各時間−周波数ビンに対して、雑音を含む音声の振幅に対するターゲット音声（又はクリーンな音声）の振幅の比を示す振幅比値も決定することができる。エンコーダは、振幅比値を決定するために異なる方法を用いることができる。しかしながら、１つの実施の形態では、エンコーダはまた、雑音を含む音声の各時間−周波数ビンを第２の量子化コードブックの振幅比値にマッピングする。この特定の実施の形態は、位相値を決定する手法及び振幅値を決定する手法の両方を一体化し、それにより、第２の量子化コードブックは、１を超える少なくとも１つの振幅比値を含む複数の振幅比値を含むことができる。このように、振幅推定を更に強化することができる。
【００３１】
例えば、１つの実施態様では、第１の量子化コードブック及び第２の量子化コードブックは、位相値及び振幅比値の組合せとともに共同コードブック（joint codebook）を形成する。エンコーダは、雑音を含む音声の各時間−周波数ビンを位相値及び振幅比値にマッピングして、共同コードブックに組合せを形成する。この実施の形態により、量子化された位相値及び振幅比値を共同して決定して、分類を最適化することができる。例えば、位相値及び振幅比値の組合せは、トレーニングおよび強調された音声と対応するトレーニングされたターゲット音声との推定誤差を最小化するようにオフラインで決定することができる。
【００３２】
最適化することにより、位相値及び振幅比値の組合せを異なる方法で決定することができる。例えば、１つの実施の形態では、位相値及び振幅比値は、共同コードブックにおける各位相値が共同コードブックにおける各振幅比値との組合せを形成するように、規則的に且つ完全に組み合わされる。この実施の形態は、実施がより容易であり、また、こうした規則的な共同コードブックは、エンコーダをトレーニングするために自然に用いることができる。
【００３３】
別の実施の形態は、共同コードブックが、位相値の異なる組との組合せを形成する振幅比値を含むように、不規則に組み合わされる位相値及び振幅比値を含むことができる。この特定の実施形態により、量子化を増加させることで計算を簡略化することができる。
【００３４】
いくつかの実施の形態では、エンコーダは、位相値の量子化された空間における位相値及び／又は振幅比値の量子化された空間における振幅比値を決定するために、ニューラルネットワークを用いる。例えば、１つの実施の形態では、音声処理システムは、第１の量子化コードブック及び第２の量子化コードブックを記憶し、且つ、第１の量子化コードブックにおける位相値の第１のインデックスと第２の量子化コードブックにおける振幅比値の第２のインデックスとを生成するように雑音を含む音声を処理するようにトレーニングされたニューラルネットワークを記憶する、メモリを含む。このように、エンコーダは、ニューラルネットワークを用いて第１のインデックス及び第２のインデックスを決定し、第１のインデックスを用いてメモリから位相値を取り出し、第２のインデックスを用いてメモリから振幅比値を取り出すように構成することができる。
【００３５】
位相及び振幅比推定を利用するために、いくつかの実施の形態では、位相値及び振幅比値に基づいて雑音を含む音声から雑音を除去して強調された音声を生成するフィルタと、強調された音声を出力する出力インターフェースとを含む。例えば、１つの実施の形態では、各時間−周波数ビンに対してエンコーダによって決定された位相値及び振幅比値を用いてフィルタの時間−周波数係数を更新し、フィルタの時間−周波数係数に雑音を含む音声の時間−周波数表現を乗算して、強調された音声の時間−周波数表現を生成する。
【００３６】
例えば、１つの実施の形態は、ディープニューラルネットワークを用いて、強調された音声の時間−周波数表現を取得するために、雑音を含む音声の時間−周波数表現を乗算すべき時間−周波数フィルタを推定することができる。ネットワークは、各時間−周波数ビンにおいて、フィルタコードブックの各要素に対してスコアを決定することにより、フィルタの推定を実施し、次に、これらのスコアは、その時間−周波数ビンにおけるフィルタの推定値を構成するために使用される。実験を通して、本発明者らは、ディープリカレントニューラルネットワーク（ＤＲＮＮ）を含むディープニューラルネットワーク（ＤＮＮ）を用いて、こうしたフィルタを効率的に推定することができることを発見した。
【００３７】
別の実施の形態では、フィルタは、その振幅成分及び位相成分に関して推定される。ネットワークは、各時間−周波数ビンにおいて、振幅（または、位相）のコードブックの各要素に対してスコアを決定することにより、振幅（または、位相）の推定を実施し、次に、これらのスコアは、振幅（または、位相）の推定値を構成するために使用される。
【００３８】
別の実施の形態では、クリーンなターゲット信号の基準複素スペクトログラムに対して、推定された複素スペクトログラムの再構成品質の尺度を最小化するように、ネットワークのパラメータが最適化される。推定された複素スペクトログラムは、推定された振幅と推定された位相とを組み合わせることにより取得することができ、又は、位相再構成アルゴリズムを介して更に精緻化することにより取得することができる。
【００３９】
別の実施の形態では、ネットワークのパラメータは、時間領域におけるクリーンなターゲット信号に対して、再構成された時間領域信号の再構成品質の尺度を最小化するように最適化される。再構成された時間領域信号は、推定された振幅と推定された位相とを組み合わせることによって取得される推定された複素スペクトログラム自体の直接再構成として取得することができ、又は、位相再構成アルゴリズムを介して取得することができる。時間領域信号に対して再構成品質を測定するコスト関数は、時間領域における適合度の尺度として、例えば、信号間のユークリッド距離として定義することができる。時間領域信号に対して再構成品質を測定するコスト関数はまた、時間領域信号のそれぞれの時間−周波数表現の間の適合性の尺度としても定義することができる。例えば、この場合のあり得る尺度は、時間領域信号のそれぞれの振幅スペクトログラムの間のユークリッド距離である。
【００４０】
本開示の一実施の形態によれば、ターゲットオーディオ信号及び雑音の混合体を含む雑音を含むオーディオ信号を受信する入力インターフェースを備えるオーディオ信号処理システム用のシステムが提供される。本システムは、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングするエンコーダを備える。エンコーダは、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲット音声信号の振幅の比を示す振幅比値を計算する。本システムは、１つ以上の位相関係値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成するフィルタを更に備える。本システムは、強調されたオーディオ信号を出力する出力インターフェースを更に備える。
【００４１】
本開示の別の実施の形態によれば、メモリと結合されたハードウェアプロセッサを有するオーディオ信号処理方法が提供される。メモリは、ハードウェアプロセッサによって実行されると本方法のいくつかのステップを実行する、命令及び他のデータを記憶している。本方法は、入力インターフェースにより、ターゲットオーディオ信号と雑音との混合体を含む雑音を含むオーディオ信号を受け入れることを含む。本方法は、ハードウェアプロセッサにより、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングすることを更に含む。本方法は、ハードウェアプロセッサにより、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲットオーディオ信号の振幅の比を示す振幅比値を計算することを更に含む。本方法は、フィルタを用いて、位相値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成することを更に含む。本方法は、出力インターフェースにより、強調されたオーディオ信号を出力することを更に含む。
【００４２】
本開示の別の実施の形態によれば、方法を実施するようにハードウェアプロセッサによって実行可能なプログラムが具現化された非一時的コンピュータ可読記憶媒体が提供される。上記方法は、ターゲットオーディオ信号と雑音との混合体を含む雑音を含むオーディオ信号を受け入れることを含む。本方法は、雑音を含むオーディオ信号の各時間−周波数ビンを、雑音を含む信号の位相とターゲットオーディオ信号の位相との量子化された位相差を示す位相値の第１の量子化コードブックの位相値にマッピングすることを更に含む。本方法は、ハードウェアプロセッサにより、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングすることを更に含む。本方法は、ハードウェアプロセッサにより、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲットオーディオ信号の振幅の比を示す振幅比値を計算することを更に含む。本方法は、フィルタを用いて、位相値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成することを更に含む。本方法は、出力インターフェースにより、強調されたオーディオ信号を出力することを更に含む。
【００４３】
ここに開示されている実施形態は、添付図面を参照して更に説明される。示されている図面は、必ずしも一律の縮尺というわけではなく、その代わり、一般的に、ここに開示されている実施形態の原理を示すことに強調が置かれている。
【図面の簡単な説明】
【００４４】
【図１Ａ】本開示の実施形態によるオーディオ信号処理方法を示すフロー図である。
【図１Ｂ】本開示の実施形態による、システムのいくつかの構成要素を使用して実施される、オーディオ信号処理方法を示すブロック図である。
【図１Ｃ】本開示の実施形態による、ディープリカレントニューラルネットワークを用いる雑音を含む音声信号の雑音抑制を示すフロー図であり、そこでは、時間−周波数フィルタが、ニューラルネットワークの出力及びフィルタプロトタイプのコードブックを用いて各時間−周波数ビンにおいて推定される。この時間−周波数フィルタに、雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の時間−周波数表現が取得され、強調された音声のこの時間−周波数表現を用いて、強調された音声が再構成される。
【図１Ｄ】本開示の実施形態による、ディープリカレントニューラルネットワークを用いる雑音抑制を示すフロー図であり、そこでは、時間−周波数フィルタが、ニューラルネットワークの出力及びフィルタプロトタイプのコードブックを用いて各時間−周波数ビンにおいて推定され、この時間−周波数フィルタに、雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の初期時間−周波数表現（図１Ｄにおける「初期強調スペクトログラム」）が取得され、強調された音声のこの初期時間−周波数表現を用いて、以下のようにスペクトログラム精緻化モジュールを介して強調された音声が再構成される。すなわち、強調された音声の初期時間−周波数表現が、例えば、位相再構成アルゴリズムに基づいてスペクトログラム精緻化モジュールを用いて精緻化されて、強調された音声の時間−周波数表現（図１Ｄにおける「強調された音声のスペクトログラム」）が取得され、強調された音声のこの時間−周波数表現を用いて、強調された音声が再構成される。
【図２】本開示の実施形態による、ディープリカレントニューラルネットワークを用いる雑音抑制を示す別のフロー図であり、そこでは、時間−周波数フィルタが、振幅成分と位相成分との積として推定され、各成分は、各時間−周波数ビンにおいてニューラルネットワークの出力及びプロトタイプの対応するコードブックを用いて推定され、この時間−周波数フィルタに雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の時間−周波数表現が取得され、強調された音声のこの時間−周波数表現を用いて、強調された音声が再構成される。
【図３】本開示の実施形態による、フィルタの位相成分のみがコードブックを用いて推定される一実施形態のフロー図である。
【図４】本開示の実施形態による、アルゴリズムのトレーニング段階のフロー図である。
【図５】本開示の実施形態による、音声強調のネットワークアーキテクチャを示すブロック図である。
【図６Ａ】位相量子化コードブックと振幅量子化コードブックとを規則的に組み合わせる複素領域における共同量子化コードブックを示す図である。
【図６Ｂ】位相値と振幅値とを不規則に組み合わせる複素領域における共同量子化コードブックを示す図であり、共同量子化コードブックは、それぞれが位相量子化コードブック及び振幅量子化コードブックを規則的に組み合わせる２つの共同量子化コードブックの集合体として記述することができる。
【図６Ｃ】位相値と振幅値とを不規則に組み合わせる複素領域における共同量子化コードブックを示す図であり、共同量子化コードブックは、複素領域において点の組として最も容易に記述され、それらの点は、互いに位相成分又は振幅成分を必ずしも共有しない。
【図７Ａ】本開示の実施形態による方法及びシステムのいくつかの技法を実施するのに用いることができるコンピューティング装置を示す概略図である。
【図７Ｂ】本開示の実施形態による方法及びシステムのいくつかの技法を実施するのに用いることができるモバイルコンピューティング装置を示す概略図である。
【発明を実施するための形態】
【００４５】
上記で明らかにされた図面は、ここに開示されている実施形態を記載しているが、この論述において言及されるように、他の実施形態も意図されている。この開示は、限定ではなく代表例として例示の実施形態を提示している。ここに開示されている実施形態の原理の範囲及び趣旨に含まれる非常に多くの他の変更及び実施形態を当業者は考案することができる。
【００４６】
（概説）
本開示は、雑音抑制を含む音声強調を含む音声処理システム及び方法を提供することに関する。
【００４７】
本開示のいくつかの実施形態は、ターゲットオーディオ信号及び雑音の混合体を含む雑音を含むオーディオ信号を受信する入力インターフェースを備えるオーディオ信号処理システムを含む。本システムは、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングするエンコーダを備える。エンコーダは、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲット音声信号の振幅の比を示す振幅比値を計算する。本システムは、位相関係値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成するフィルタを更に備える。本システムは、強調されたオーディオ信号を出力する出力インターフェースを更に備える。
【００４８】
図１Ａ及び図１Ｂを参照すると、図１Ａは、オーディオ信号処理方法を示すフロー図である。方法１００Ａは、メモリと結合されたハードウェアプロセッサを用いることができる。メモリは、命令及び他のデータを記憶しており、方法は、ハードウェアプロセッサによって実行されると、本方法のいくつかのステップを実行することができる。ステップ１１０は、入力インターフェースを介して、ターゲットオーディオ信号及び雑音の混合体を有する雑音を含むオーディオ信号を受け入れることを含む。
【００４９】
図１Ａ及び図１Ｂのステップ１１５は、ハードウェアプロセッサを介して、雑音を含むオーディオ信号の各時間−周波数ビンを、ターゲット信号の位相を示す位相関係値の１つ以上の位相量子化コードブックの１つ以上の位相関係値にマッピングすることを含む。１つ以上の位相量子化コードブックは、メモリ１０９に記憶することができ、又は、ネットワークを通してアクセスすることができる。１つ以上の位相量子化コードブックは、事前に手動で設定されているか、又は、例えばトレーニングデータのデータセットに対するトレーニングを介して、性能を最適化する最適化手順によって取得することができる、値を含むことができる。１つ以上の位相量子化コードブックに含まれる値は、単独で、又は雑音を含むオーディオ信号と組み合わせて、強調された音声の位相を示す。本システムは、各時間−周波数ビンに対して１つ以上の位相量子化コードブック内の最も関係する値又は値の組合せを選択し、この値又は値の組合せは、各時間−周波数ビンにおける強調されたオーディオ信号の位相を推定するために用いられる。例えば、位相関係値が、雑音を含むオーディオ信号の位相とクリーンなターゲット信号の位相との差を表す場合、位相量子化コードブックの一例は、−π／２、０、π／２、π等のいくつかの値を含むことができる。本システムは、エネルギーがターゲット信号エネルギーによって強力に支配されているビンに対して値０を選択することができ、すなわち、こうしたビンに対して値０を選択することにより、これらのビンに対するように雑音を含む信号の位相を使用することになる。その理由は、それらのビンにおけるフィルタの位相成分がｅ０＊ｉ＝１（式中、ｉは複素数の虚数単位である）となり、これにより、雑音を含む信号の位相が変化しないままとなるためである。
【００５０】
図１Ａ及び図１Ｂのステップ１２０は、ハードウェアプロセッサにより、雑音を含むオーディオ信号の各時間−周波数ビンに対して、雑音を含むオーディオ信号の振幅に対するターゲットオーディオ信号の振幅の比を示す振幅比値を計算することを含む。例えば、強調ネットワークは、雑音を含む信号のエネルギーが雑音信号のエネルギーによって支配されているビンに対して、０に近い振幅比値を推定することができ、雑音を含む信号のエネルギーがターゲット信号のエネルギーによって支配されているビンに対して、１に近い振幅比値を推定することができる。強調ネットワークは、ターゲット信号と雑音信号との相互作用によりエネルギーがターゲット信号のエネルギーより小さい雑音を含む信号がもたらされたビンに対して、１を超える振幅比値を推定することができる。
【００５１】
図１Ａ及び図１Ｂのステップ１２５は、フィルタを用いて、位相値及び振幅比値に基づいて雑音を含むオーディオ信号から雑音を除去して、強調されたオーディオ信号を生成することを含むことができる。時間−周波数フィルタは、例えば、各時間−周波数ビンにおいて、そのビンにおける計算された振幅比値に、１つ以上の位相量子化コードブックの１つ以上の位相関係値へのその時間−周波数ビンのマッピングを用いて取得される、雑音を含む信号とターゲット信号との位相差の推定値を乗算することによって取得される。例えば、時間フレームｔ及び周波数ｆについてのビン（ｔ，ｆ）における計算された振幅比値がｍｔ，ｆであり、そのビンにおける雑音を含む信号とターゲット信号との位相差の推定値の角度値がφｔ，ｆである場合、そのビンにおけるフィルタの値は、
【数１】
2021527847.tif 000003
として取得することができる。次いで、このフィルタに、雑音を含む信号の時間−周波数表現を乗算して、強調されたオーディオ信号の時間−周波数表現を取得することができる。例えば、この時間−周波数表現は、短時間フーリエ変換とすることができる。その場合、強調されたオーディオ信号の取得された時間−周波数表現を逆短時間フーリエ変換によって処理して、時間領域の強調されたオーディオ信号を取得することができる。また、強調されたオーディオ信号の取得された時間−周波数表現を位相再構成アルゴリズムによって処理して、時間領域の強調されたオーディオ信号を取得することができる。
【００５２】
音声強調方法１００は、特に、ある意味において、基礎をなす真の「クリーンな音声」又は「ターゲット音声」により近い、雑音を含む音声の処理されたバージョンである、「強調された音声」を取得することに指示されている。
【００５３】
ターゲット音声、すなわち、クリーンな音声は、いくつかの実施形態によれば、トレーニング中にのみ入手でき、実際にシステムを使用している間は入手できないと想定され得ることに留意されたい。いくつかの実施形態によれば、トレーニングの場合、クリーンな音声は、接話マイクロフォンを用いて取得することができるのに対し、雑音を含む音声は、同時に録音される遠距離場マイクロフォンを用いて取得することができる。または、クリーンな音声信号及び雑音信号が別個に与えられる場合、これらの信号を合算して、雑音を含む音声信号を取得することができ、この場合、クリーンな音声信号及び雑音を含む音声の対を、ともにトレーニングに用いることができる。
【００５４】
図１Ａ及び図１Ｂのステップ１３０は、出力インターフェースにより、強調されたオーディオ信号を出力することを含むことができる。
【００５５】
本開示の実施形態は、一意の態様を提供し、限定されない例として、ターゲット信号の位相の推定値は、１つ以上の位相量子化コードブック内の限られた数の値の選択又は組合せに依存して取得される。これらの態様により、本開示は、ターゲット信号の位相のより良好な推定値を取得することができ、強調ターゲット信号に対してより良好な品質をもたらすことができる。
【００５６】
図１Ｂを参照すると、図１Ｂは、本開示の実施形態による、本システムのいくつかの構成要素を用いて実施される、音声処理方法を示すブロック図である。例えば、図１Ｂは、非限定的な例として、図１Ａのシステムを示すブロック図とすることができる。例えば、システム１００Ｂは、入力インターフェース、占有者送受信機、メモリ、送信機、コントローラと通信するハードウェアプロセッサ１４０を含むいくつかの構成要素を用いて実施される。コントローラは、デバイスの組に接続することができる。占有者送受信機は、占有者（ユーザ）が装着してデバイスの組を制御するウェアラブル電子デバイスとして、情報を送受信することができる。
【００５７】
ハードウェアプロセッサ１４０は、特定の用途の要件に応じて２つ以上のハードウェアプロセッサを含むことができることが可能である。確かに、入力インターフェース、出力インターフェース及び送受信機を含む他の構成要素を方法１００に組み込むことができる。
【００５８】
図１Ｃは、本開示の実施形態による、ディープニューラルネットワークを用いる雑音抑制を示すフロー図である。ここで、時間−周波数フィルタは、ニューラルネットワークの出力及びフィルタプロトタイプのコードブックを用いて各時間−周波数ビンにおいて推定される。この時間−周波数フィルタに、雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の時間−周波数表現が取得される。このシステムは、音声強調、すなわち雑音を含む信号内の、雑音から音声を分離する事例として用いることを示している。同じ検討は、音源分離等のより一般的な事例にも当てはまる。そこでは、システムは、ターゲットオーディオ信号及び、場合によっては、雑音等の他の非ターゲット音源の混合体から複数のターゲットオーディオ信号を推定する。例えば、図１Ｃは、プロセッサ１４０を用いて、環境１０２をモニタリングするマイクロフォン等のセンサ１０３から取得された入力雑音を含む音声信号１０５から、ターゲット音声信号１９０を推定する、オーディオ信号処理システム１００Ｃを示す。システム１００Ｃは、ネットワークパラメータ１５２とともに強調ネットワーク１５４を用いて、雑音を含む音声１０５を処理する。強調ネットワーク１５４は、雑音を含む音声１０５の時間−周波数表現の各時間−周波数ビンを、その時間−周波数ビンに対する１つ以上のフィルタコード１５６にマッピングする。各時間−周波数ビンに対して、１つ以上のフィルタコード１５６を用いて、フィルタコードブック１５８内の１つ以上のフィルタコードに対応する値を選択し又は組み合わせて、その時間−周波数ビンに対するフィルタ１６０が取得される。例えば、フィルタコードブック１５８は、５つの値ｖ０＝−１、ｖ１＝０、ｖ２＝１、ｖ３＝−ｉ、ｖ４＝ｉを含む場合、強調ネットワーク１５４は、時間−周波数ビンｔ，ｆに対してコードｃｔ，ｆ∈｛０，１，２，３，４｝を推定することができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ１６０の値は、
【数２】
2021527847.tif 000004
に設定することができる。次いで、音声推定モジュール１６５は、雑音を含む音声１０５の時間−周波数表現にフィルタ１６０を乗算して、強調された音声の時間−周波数表現を取得し、強調された音声のその時間−周波数表現を逆変換して強調された音声信号１９０を取得する。
【００５９】
図１Ｄは、本開示の実施形態による、ディープニューラルネットワークを用いる雑音抑制を示すフロー図である。ここで、時間−周波数フィルタは、ニューラルネットワークの出力及びフィルタプロトタイプのコードブックを用いて、各時間−周波数ビンにおいて推定され、この時間−周波数フィルタに、雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の初期時間−周波数表現（図１Ｄにおける「初期強調スペクトログラム」）が取得され、強調された音声のこの初期時間−周波数表現を用いて、以下のようにスペクトログラム精緻化モジュールを介して強調された音声が再構成される。すなわち、強調された音声の初期時間−周波数表現は、例えば、位相再構成アルゴリズムに基づいてスペクトログラム精緻化モジュールを用いて精緻化され、強調された音声の時間−周波数表現（図１Ｄにおける「強調された音声のスペクトログラム」）が取得され、この強調された音声の時間−周波数表現を用いて、強調された音声が再構成される。
【００６０】
例えば、図１Ｄは、プロセッサ１４０を用いて、環境１０２をモニタリングするマイクロフォン等のセンサ１０３から取得され入力された雑音を含む音声信号１０５から、ターゲット音声信号１９０を推定する、オーディオ信号処理システム１００Ｄを示す。システム１００Ｄは、ネットワークパラメータ１５２とともに強調ネットワーク１５４を用いて、雑音を含む音声１０５を処理する。強調ネットワーク１５４は、雑音を含む音声１０５の時間−周波数表現の各時間−周波数ビンを、その時間−周波数ビンに対する１つ以上のフィルタコード１５６にマッピングする。各時間−周波数ビンに対して、１つ以上のフィルタコード１５６を用いて、フィルタコードブック１５８内の１つ以上のフィルタコードに対応する値を選択し又は組み合わせて、その時間−周波数ビンに対するフィルタ１６０が取得される。例えば、フィルタコードブック１５８は、５つの値ｖ０＝−１、ｖ１＝０、ｖ２＝１、ｖ３＝−ｉ、ｖ４＝ｉを含む場合、強調ネットワーク１５４は、時間−周波数ビンｔ，ｆに対してコードｃｔ，ｆ∈｛０，１，２，３，４｝を推定することができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ１６０の値は、
【数３】
2021527847.tif 000005
に設定することができる。次いで、音声推定モジュール１６５は、雑音を含む音声１０５の時間−周波数表現にフィルタ１６０を乗算して、本明細書では初期強調スペクトログラム１６６として示す、強調された音声の初期時間−周波数表現を取得する。例えば、位相再構成アルゴリズムに基づき、スペクトログラム精緻化モジュール１６７を用いてこの初期強調スペクトログラム１６６を処理して、本明細書では強調された音声のスペクトログラム１６８として示す、強調された音声の時間−周波数表現を取得する。その強調された音声のスペクトログラム１６８を逆変換して、強調された音声信号１９０を取得する。
【００６１】
図２は、本開示の実施形態による、ディープニューラルネットワークを用いる雑音抑制を示す別のフロー図である。ここで、時間−周波数フィルタは、振幅成分と位相成分との積として推定される。各成分は、各時間−周波数ビンにおいてニューラルネットワークの出力及びプロトタイプの対応するコードブックを用いて推定される。この時間−周波数フィルタに雑音を含む音声の時間−周波数表現が乗算されて、強調された音声の時間−周波数表現が取得される。例えば、図２の方法２００は、プロセッサ１４０を用いて、環境１０２をモニタリングするマイクロフォン等のセンサ１０３から取得された入力雑音を含む音声信号１０５からターゲット音声信号２９０を推定する。システム２００は、ネットワークパラメータ２５２とともに強調ネットワーク２５４を用いて、雑音を含む音声１０５を処理する。強調ネットワーク２５４は、雑音を含む音声１０５の時間−周波数表現の各時間−周波数ビンを、その時間−周波数ビンに対する１つ以上の振幅コード２７０及び１つ以上の位相コード２７２にマッピングする。各時間−周波数ビンに対して、１つ以上の振幅コード２７０を用いて、振幅コードブック１５８内の１つ以上の振幅コードに対応する振幅値を選択し又は組み合わせて、その時間−周波数ビンに対するフィルタ振幅２７４が取得される。例えば、振幅コードブック２７６が、４つの値
【数４】
2021527847.tif 000006
を含む場合、強調ネットワーク２５４は、時間−周波数ビンｔ，ｆに対してコード
【数５】
2021527847.tif 000007
を推定することができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ振幅２７４の値は、
【数６】
2021527847.tif 000008
に設定することができる。各時間−周波数ビンに対して、１つ以上の位相コード２７２を用いて、位相コードブック２８０内の１つ以上の位相コードに対応する位相関係値を選択し又は組み合わせて、その時間−周波数ビンに対するフィルタ位相２７８が取得される。例えば、位相コードブック２８０は、４つの値
【数７】
2021527847.tif 000009
を含む場合、強調ネットワーク２５４は、時間−周波数ビンｔ，ｆに対してコード
【数８】
2021527847.tif 000010
を推定することができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ位相２７８の値は、
【数９】
2021527847.tif 000011
に設定することができる。フィルタ振幅２７４とフィルタ位相２７８とを組み合わせて、フィルタ２６０は取得される。例えば、各時間−周波数ビンｔ，ｆにおいてそれらフィルタ振幅２７４及びフィルタ位相２７８の値を乗算することにより、それらを組み合わせることができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ２６０の値は、
【数１０】
2021527847.tif 000012
に設定することができる。次いで、音声推定モジュール２６５は、各時間−周波数ビンにおいて、雑音を含む音声１０５の時間−周波数表現にフィルタ２６０を乗算して、強調された音声の時間−周波数表現を取得し、強調された音声のその時間−周波数表現を逆変換して強調された音声信号２９０を取得する。
【００６２】
図３は、本開示の実施形態による、コードブックを用いてフィルタの位相成分のみが推定される一実施形態のフロー図である。例えば、図３の方法３００は、プロセッサ１４０を用いて、環境１０２をモニタリングするマイクロフォン等のセンサ１０３から取得された入力雑音を含む音声信号１０５からターゲット音声信号３９０を推定する。方法３００は、ネットワークパラメータ３５２とともに強調ネットワーク３５４を用いて、雑音を含む音声１０５を処理する。強調ネットワーク３５４は、雑音を含む音声１０５の時間−周波数表現の各時間−周波数ビンに対してフィルタ振幅３７４を推定し、また、その時間−周波数ビンに対して１つ以上の位相コード３７２に各時間−周波数ビンをマッピングする。各時間−周波数ビンに対して、その時間−周波数ビンについての雑音を含む音声に対するターゲット音声の振幅の比を示すものとして、フィルタ振幅３７４がネットワークによって推定される。例えば、強調ネットワーク３５４は、時間−周波数ビンｔ，ｆに対してフィルタ振幅
【数１１】
2021527847.tif 000013
を推定することができる。
【数１２】
2021527847.tif 000014
は、範囲が無制限であり得る非負の実数であるか、又は、［０，１］若しくは［０，２］等、特定の範囲に限定することができる。各時間−周波数ビンに対して、１つ以上の位相コード３７２を用いて、位相コードブック３８０内の１つ以上の位相コードに対応する位相関係値を選択し又は組み合わせて、その時間−周波数ビンに対するフィルタ位相３７８が取得される。例えば、位相コードブック３８０は、４つの値
【数１３】
2021527847.tif 000015
を含む場合、強調ネットワーク３５４は、時間−周波数ビンｔ，ｆに対してコード
【数１４】
2021527847.tif 000016
を推定することができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ位相３７８の値は、
【数１５】
2021527847.tif 000017
に設定することができる。フィルタ振幅３７４とフィルタ位相３７８とを組み合わせて、フィルタ３６０は取得される。例えば、各時間−周波数ビンｔ，ｆにおいてそれらフィルタ振幅３７４及びフィルタ位相３７８の値を乗算することにより、それらを組み合わせることができる。その場合、時間−周波数ビンｔ，ｆにおけるフィルタ３６０の値は、
【数１６】
2021527847.tif 000018
に設定することができる。次いで、音声推定モジュール３６５は、各時間−周波数ビンにおいて、雑音を含む音声１０５の時間−周波数表現にフィルタ３６０を乗算して、強調された音声の時間−周波数表現を取得し、強調された音声のその時間−周波数表現を逆変換して強調された音声信号３９０を取得する。
【００６３】
図４は、本開示の実施形態による、音声強調に対するオーディオ信号処理システム４００のトレーニングを示すフロー図である。このシステムは、音声強調、すなわち雑音を含む信号内の雑音から音声を分離する事例として用いることを示している。同じ検討は、音源分離等のより一般的な事例にも当てはまり、ここでは、システムが、ターゲットオーディオ信号及び場合によっては雑音等の他の非ターゲット音源の混合体から複数のターゲットオーディオ信号を推定する、音源分離等、より一般的な場合に適用される。音声及び雑音の混合体を含む、雑音を含む入力音声信号４０５と、その音声及び雑音に対する対応するクリーンな信号４６１とが、クリーンなオーディオ及び雑音を含むオーディオのトレーニングセット４０１からサンプリングされる。雑音を含む入力信号４０５は、強調ネットワーク４５４により、記憶されているネットワークパラメータ４５２を用いて、ターゲット信号に対するフィルタ４６０を計算するように処理される。次いで、音声推定モジュール４６５が、各時間−周波数ビンにおいて、雑音を含む音声４０５の時間−周波数表現にフィルタ４６０を乗算して、強調された音声の時間−周波数表現を取得し、強調された音声のその時間−周波数表現を逆変換して強調された音声信号４９０を取得する。目的関数計算モジュール４６３は、クリーンな音声と強調された音声との距離を計算することにより、目的関数を計算する。ネットワークトレーニングモジュール４５７は、この目的関数を用いて、ネットワークパラメータ４５２を更新することができる。
【００６４】
図５は、本開示の実施形態による、音声強調のネットワークアーキテクチャ５００を示すブロック図である。入力雑音を含む音声５０５から取得される特徴ベクトルの系列、例えば、入力混合体の短時間フーリエ変換５１０の対数振幅５２０が、強調ネットワーク５５４内の一連の層に対する入力として用いられる。例えば、この系列における入力ベクトルの次元はＦとすることができる。強調ネットワークは、最初のＢＬＳＴＭ層５３０から最後のＢＬＳＴＭ層５３５までの複数の双方向長短期メモリ（ＢＬＳＴＭ）ニューラルネットワーク層を含むことができる。各ＢＬＳＴＭ層は、順方向長短期メモリ（ＬＳＴＭ）層及び逆方向ＬＳＴＭ層から構成され、それらの出力は、組み合わされ、次の層によって入力として用いられる。例えば、最初のＢＬＳＴＭ層５３０における各ＬＳＴＭの出力の次元はＮとすることができ、最後のＢＬＳＴＭ層５３５を含む他の全てのＢＬＳＴＭ層における各ＬＳＴＭの入力次元及び出力次元の双方はＮとすることができる。最後のＢＬＳＴＭ層５３５の出力は、振幅ソフトマックス層５４０及び位相ソフトマックス５４２への入力として用いることができる。時間−周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、振幅ソフトマックス層５４０は、最後のＢＬＳＴＭ層５３５の出力を用いて、合計して１になるＩ（ｍ）個の非負数を出力し、ここで、Ｉ（ｍ）は、振幅コードブック５７６における値の数であり、これらＩ（ｍ）個の数が、振幅コードブックにおける対応する値がフィルタ振幅５７４として選択されるべきである確率を表す。フィルタ振幅計算モジュール５５０は、強調ネットワーク５５４の出力を使用してフィルタ振幅５７４を取得する複数の方法がある中で特に、これらの確率を複数の重み付き振幅コード５７０として用いて、振幅コードブック５７６における複数の値を重み付きで組み合わせることができる。又は、最大確率のみを一意の振幅コード５７０として用いて、振幅コードブック５７６における対応する値を選択することができる。又は、これらの確率に従ってサンプリングされた単一の値を一意の振幅コード５７０として用いて、振幅コード５７６における対応する値を選択することができる。時間−周波数領域、例えば短時間フーリエ変換領域における各時間フレーム及び各周波数について、位相ソフトマックス層５４２は、最後のＢＬＳＴＭ層５３５の出力を用いて、合計して１になるＩ（ｐ）個の非負数を出力し、ここで、Ｉ（ｐ）は、位相コードブック５８０における値の数である。これらＩ（ｐ）個の数は、位相コードブックにおける対応する値がフィルタ位相５７８として選択されるべきである確率を表す。フィルタ位相計算モジュール５５２は、強調ネットワーク５５４の出力を使用してフィルタ位相５７８を取得する複数の方法がある中で特に、これらの確率を複数の重み付き位相コード５７２として用いて、位相コードブック５８０における複数の値を重み付きで組み合わせることができる。又は、最大確率のみを一意の位相コード５７２として用いて、位相コードブック５８０における対応する値を選択することができる。又は、これらの確率に従ってサンプリングされた単一の値を一意の位相コード５７２として用いて、位相コード５８０における対応する値を選択することができる。フィルタ組合せモジュール５６０は、フィルタ振幅５７４及びフィルタ位相５７８を、例えばそれらを乗算することによって組み合わせて、フィルタ５７６を取得する。音声推定モジュール５６５は、スペクトログラム推定モジュール５８４を用いて、短時間フーリエ変換５８２等、雑音を含む音声５０５の時間−周波数表現とともにフィルタ５７６を、例えばそれらを互いに乗算することによって処理して、強調スペクトログラムを取得し、その強調スペクトログラムは、音声再構成モジュール５８８において逆変換されて強調された音声５９０が取得される。
【００６５】
（特徴）
本開示の態様によれば、位相値と振幅比値との組合せにより、トレーニングおよび強調された音声と対応するトレーニングされたターゲット音声との推定誤差を最小限にすることができる。
【００６６】
本開示の別の態様は、位相値と振幅比値とが、共同量子化コードブックにおける各位相値が、共同量子化コードブックにおける各振幅比値との組合せを形成するように、規則的に且つ完全に組み合わされることを含むことができる。これを図６Ａに示す。図６Ａは、６つの値を有する位相コードブックと、４つの値を有する振幅コードブックと、複素領域における規則的な組合せを有する共同量子化コードブックとを示す。共同量子化コードブックにおける複素値の組は、振幅コードブックにおける全ての値ｍと位相コードブックにおける全ての値θとに対する形式ｍｅｉθの値の組に等しい。
【００６７】
さらに、位相値及び振幅比値は、共同量子化コードブックが、位相値の第１の組との組合せを形成する第１の振幅比値を含むとともに、位相値の第２の組との組合せを形成する第２の振幅比値を含むように、不規則に組み合わせることができ、そこでは、位相値の第１の組は位相値の第２の組とは異なる。これを図６Ｂに示す。図６Ｂは、複素領域における不規則な組合せを有する共同量子化コードブックを示す。そこでは、共同量子化コードブックにおける値の組は、振幅コードブック１における全ての値ｍ１と位相コードブック１における全ての値θ１とに対する形式
【数１７】
2021527847.tif 000019
の値の組と、振幅コードブック２における全ての値ｍ２と位相コードブック２における全ての値θ２とに対する形式
【数１８】
2021527847.tif 000020
の値の組との集合体に等しい。より一般的に、図６Ｃは、Ｋ個の複素値ｗｋの組を有する共同量子化コードブックを示し、そこで、
【数１９】
2021527847.tif 000021
である。ｍｋは、第ｋの振幅コードブックの一意の値であり、θｋは、第ｋ位相コードブックの一意の値である。
【００６８】
本開示の別の態様は、１つ以上の位相関係値のうちの１つは、各時間−周波数ビンにおけるターゲット信号の位相の近似値を表すことを含むことができる。さらに、別の態様は、１つ以上の位相関係値のうちの１つが、各時間−周波数ビンにおけるターゲット信号の位相と対応する時間−周波数ビンにおける雑音を含むオーディオ信号の位相との近似差を表すものとすることができる。
【００６９】
１つ以上の位相関係値のうちの１つは、各時間−周波数ビンにおけるターゲット信号の位相と異なる時間−周波数ビンにおけるターゲット信号の位相との近似差を表すことが可能である。そこで、異なる位相関係値が、位相関係値重みを用いて組み合わされる。位相関係値重みは、各時間−周波数ビンに対して推定される。この推定は、ネットワークによって実施することができ、又は、何らかのトレーニングデータに対する何らかの性能基準に従って最良の組合せを推定することにより、オフラインで実施することができる。
【００７０】
別の態様は、１つ以上の位相量子化コードブックにおける１つ以上の位相関係値が、トレーニングおよび強調されたオーディオ信号と対応するトレーニングされたターゲットオーディオ信号との推定誤差を最小限にすることを含むことができる。
【００７１】
別の態様は、エンコーダが、１つ以上の位相量子化コードブックにおける１つ以上の位相関係値に対する時間−周波数ビンのマッピングを決定するパラメータを含むことを含むことができる。１つ以上の位相量子化コードブックに対する位相値の所定の組を考慮して、エンコーダのパラメータは、トレーニングおよび強調されたオーディオ信号と対応するトレーニングされたターゲットオーディオ信号との推定誤差を最小限にするように最適化される。第１の量子化コードブックの位相値は、トレーニングおよび強調されたオーディオ信号と対応するトレーニングされたターゲットオーディオ信号との推定誤差を最小限にするために、エンコーダのパラメータとともに最適化される。別の態様は、少なくとも１つの振幅比値が１を超えることができることを含むことができる。
【００７２】
別の態様は、雑音を含む音声の各時間−周波数ビンを、雑音を含むオーディオ信号の振幅に対するターゲットオーディオ信号の振幅の量子化された比を示す振幅比値の振幅量子化コードブックの振幅比値にマッピングするエンコーダを含むことができる。振幅量子化コードブックは、１を超える少なくとも１つの振幅比値を含む複数の振幅比値を含む。第１の量子化コードブック及び第２の量子化コードブックを記憶し、且つ、位相量子化コードブックにおける位相値の第１のインデックスと振幅量子化コードブックにおける振幅比値の第２のインデックスとを生成するように雑音を含むオーディオ信号を処理するようにトレーニングされたニューラルネットワークを記憶するメモリを更に備えることが可能である。エンコーダは、ニューラルネットワークを用いて第１のインデックス及び第２のインデックスを決定し、第１のインデックスを用いてメモリから位相値を取り出し、第２のインデックスを用いてメモリから振幅比値を取り出す。位相値及び振幅比値の組合せは、トレーニングおよび強調された音声と対応するトレーニングされたターゲット音声との推定誤差を最小限にするように、エンコーダのパラメータとともに最適化される。第１の量子化コードブック及び第２の量子化コードブックは、位相値及び振幅比値の組合せとともに共同量子化コードブックを形成し、エンコーダは、雑音を含む音声の各時間−周波数ビンを位相値及び振幅比値にマッピングして共同量子化コードブックにおける組合せを形成する。位相値及び振幅比値は、共同量子化コードブックが、位相値及び振幅比値の全てのあり得る組合せのサブセットを含むように組み合わされる。位相値及び振幅比値は、共同量子化コードブックが、位相値及び振幅比値の全てのあり得る組合せを含むように組み合わされる。
【００７３】
一態様では、各時間−周波数ビンに対してエンコーダによって決定された位相値及び振幅比値を用いてフィルタの時間−周波数係数を更新し、フィルタの時間−周波数係数に雑音を含むオーディオ信号の時間−周波数表現を乗算して、強調されたオーディオ信号の時間−周波数表現を生成するプロセッサを更に含む。
【００７４】
別の態様では、各時間−周波数ビンに対してエンコーダによって決定された位相値及び振幅比値を用いてフィルタの時間−周波数係数を更新し、フィルタの時間−周波数係数に雑音を含むオーディオ信号の時間−周波数表現を乗算して、強調されたオーディオ信号の時間−周波数表現を生成するプロセッサを含むことができる。
【００７５】
図７Ａは、本開示の実施形態による方法及びシステムのいくつかの技法を実施するのに用いることができるコンピューティング装置７００Ａを限定されない例として示す概略図である。コンピューティング装置又はデバイス７００Ａは、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。図７Ａのコンピューティングデバイス７００Ａのマザーボード又は他の何らかの主な態様７５５があり得る。
【００７６】
コンピューティングデバイス７００Ａは、電力源７０８、プロセッサ７０９、メモリ７１０、記憶デバイス７１１を備えることができる。これらは全てバス７５０に接続されている。さらに、高速インターフェース７１２、低速インターフェース７１３、高速拡張ポート７１４及び低速拡張ポート７１５をバス７５０に接続することができる。また、低速接続ポート７１６がバス７５０と接続されている。
【００７７】
特定の用途に応じて、共通のマザーボードに実装することができる様々な構成要素の構成が考えられる。またさらに、入力インターフェース７１７を、バス７５０を介して外部受信機７０６及び出力インターフェース７１８に接続することができる。受信機７１９を、バス７５０を介して外部送信機７０７及び送信機７２０に接続することができる。外部メモリ７０４、外部センサ７０３、機械７０２及び環境７０１もバス７５０に接続することができる。さらに、１つ以上の外部入出力デバイス７０５をバス７５０に接続することができる。ネットワークインターフェースコントローラ（ＮＩＣ）７２１は、バス７５０を通じてネットワーク７２２に接続するように適合することができ、特にデータ又は他のデータは、コンピュータデバイス７００Ａの外部のサードパーティーディスプレイデバイス、サードパーティー撮像デバイス、及び／又はサードパーティー印刷デバイス上にレンダリングすることができる。
【００７８】
メモリ７１０は、コンピュータデバイス７００Ａによって実行可能な命令、履歴データ、並びに本開示の方法及びシステムによって利用することができる任意のデータを記憶することができるとも考えられる。メモリ７１０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、又は他の任意の適したメモリシステムを含むことができる。メモリ７１０は、単数若しくは複数の揮発性メモリユニット及び／又は単数若しくは複数の不揮発性メモリユニットとすることができる。メモリ７１０は、磁気ディスク又は光ディスク等の別の形態のコンピュータ可読媒体とすることもできる。
【００７９】
図７Ａを引き続き参照すると、記憶デバイス７１１は、コンピュータデバイス７００Ａによって用いられる補助データ及び／又はソフトウェアモジュールを記憶するように適合することができる。例えば、記憶デバイス７１１は、本開示に関して上述したような履歴データ及び他の関連データを記憶することができる。加えて又は代替的に、記憶デバイス７１１は、本開示に関して上述したようなデータと同様の履歴データを記憶することができる。記憶デバイス７１１は、ハードドライブ、光ドライブ、サムドライブ、ドライブのアレイ、又はそれらの任意の組合せを含むことができる。さらに、記憶デバイス７１１は、ストレージエリアネットワーク又は他の構成におけるデバイスを含めて、フロッピーディスクデバイス、ハードディスクデバイス、光ディスクデバイス、若しくはテープデバイス、フラッシュメモリ若しくは他の同様の固体メモリデバイス、又はデバイスのアレイ等のコンピュータ可読媒体を含むことができる。命令は情報担体に記憶することができる。命令は、１つ以上の処理デバイス（例えば、プロセッサ７０９）によって実行されると、上記で説明した方法等の１つ以上の方法を実行する。
【００８０】
システムは、任意選択で、このシステムをディスプレイデバイス７２５及びキーボード７２４に接続するように適合されたディスプレイインターフェース又はユーザインターフェース（ＨＭＩ）７２３にバス７５０を通じてリンクすることができる。ディスプレイデバイス７２５は、特に、コンピュータモニター、カメラ、テレビ、プロジェクター、又はモバイルデバイスを含むことができる。
【００８１】
図７Ａを引き続き参照すると、コンピュータデバイス７００Ａは、バス７５０を通じてプリンタインターフェース（図示せず）に接続するとともに、印刷デバイス（図示せず）に接続するように適合されたユーザ入力インターフェース７１７を備えることができる。印刷デバイスは、特に、液体インクジェットプリンタ、固体インクプリンタ、大型商用プリンタ、サーマルプリンタ、ＵＶプリンタ、又は昇華型プリンタを含むことができる。
【００８２】
高速インターフェース７１２は、コンピューティングデバイス７００Ａの帯域幅消費型動作を管理する一方、低速インターフェース７１３は、より低い帯域幅消費型動作を管理する。そのような機能の割当ては一例にすぎない。いくつかの実施態様では、高速インターフェース７１２は、メモリ７１０、ユーザインターフェース（ＨＭＩ）７２３に結合することができ、（例えば、グラフィックスプロセッサ又はアクセラレーターを通じて）キーボード７２４及びディスプレイ７２５に結合することができ、高速拡張ポート７１４に結合することができる。この高速拡張ポートは、バス７５０を介して様々な拡張カード（図示せず）を受容することができる。この実施態様では、低速インターフェース７１３は、バス７５０を介して記憶デバイス７１１及び低速拡張ポート７１５に結合されている。様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、イーサネット、無線イーサネット）を含むことができる低速拡張ポート７１５は、１つ以上の入出力デバイス７０５、及びキーボード７２４、ポインティングデバイス（図示せず）、スキャナー（図示せず）等の他のデバイスに結合することもできるし、スイッチ又はルータ等のネットワーク接続デバイスに、例えば、ネットワークアダプタを通じて結合することもできる。
【００８３】
図７Ａを引き続き参照すると、コンピューティングデバイス７００Ａは、この図に示すように、複数の異なる形態で実施することができる。例えば、このコンピューティングデバイスは、標準的なサーバ７２６として実施することもできるし、そのようなサーバが複数個ある一群のサーバとして実施することもできる。加えて、このコンピューティングデバイスは、ラップトップコンピュータ７２７等のパーソナルコンピュータにおいて実施することができる。このコンピューティングデバイスは、ラックサーバシステム７２８の一部として実施することもできる。或いは、コンピューティングデバイス７００Ａの構成要素は、モバイルコンピューティングデバイス７００Ｂ等のモバイルデバイス（図示せず）における他の構成要素と組み合わせることができる。そのようなデバイスのそれぞれは、コンピューティングデバイス７００Ａ及びモバイルコンピューティングデバイス７００Ｂのうちの１つ以上を含むことができ、システム全体は、互いに通信する複数のコンピューティングデバイスから構成することができる。
【００８４】
図７Ｂは、本開示の実施形態による方法及びシステムのいくつかの技法を実施するのに用いることができるモバイルコンピューティング装置を示す概略図である。モバイルコンピューティングデバイス７００Ｂは、他の構成要素の中でも特に、プロセッサ７６１、メモリ７６２、入出力デバイス７６３、通信インターフェース７６４を接続するバス７９５を備える。バス７９５は、追加の記憶装置を提供するマイクロドライブ又は他のデバイス等の記憶デバイス７６５にも接続することができる。図７Ｂのコンピューティングデバイス７００Ｂのマザーボード又は他の何らかの主な態様７９９があり得る。
【００８５】
図７Ｂを参照すると、プロセッサ７６１は、メモリ７６２に記憶された命令を含む命令をモバイルコンピューティングデバイス７００Ｂ内で実行することができる。プロセッサ７６１は、個別の複数のアナログプロセッサ及びデジタルプロセッサを含むチップのチップセットとして実施することができる。プロセッサ７６１は、例えば、モバイルコンピューティングデバイス７００Ｂによって実行されるユーザインターフェース、アプリケーションの制御、及びモバイルコンピューティングデバイス７００Ｂによる無線通信等のモバイルコンピューティングデバイス７００Ｂの他の構成要素の協調を行うことができる。
【００８６】
プロセッサ７６１は、ディスプレイ７６８に結合された制御インターフェース７６６及びディスプレイインターフェース７６７を通じてユーザと通信することができる。ディスプレイ７６８は、例えば、ＴＦＴ（薄膜トランジスタ）液晶ディスプレイ若しくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、又は他の適切なディスプレイ技術とすることができる。ディスプレイインターフェース７６７は、ディスプレイ７６８を駆動してグラフィカル情報及び他の情報をユーザに提示する適切な回路部を備えることができる。制御インターフェース７６６は、ユーザからコマンドを受信し、それらのコマンドをプロセッサ７６１にサブミットするために変換することができる。加えて、外部インターフェース７６９は、モバイルコンピューティングデバイス７００Ｂと他のデバイスとの近領域通信を可能にするために、プロセッサ７６１との通信を提供することができる。外部インターフェース７６９は、いくつかの実施態様では、例えば、有線通信を提供することもできるし、他の実施態様では、無線通信を提供することもでき、複数のインターフェースも用いることができる。
【００８７】
図７Ｂを引き続き参照すると、メモリ７６２は、モバイルコンピューティングデバイス７００Ｂ内に情報を記憶する。メモリ７６２は、単数若しくは複数のコンピュータ可読媒体、単数若しくは複数の揮発性メモリユニット、又は単数若しくは複数の不揮発性メモリユニットのうちの１つ以上として実施することができる。拡張メモリ７７０も設けることができ、拡張インターフェース７６９を通じてモバイルコンピューティングデバイス７００Ｂに接続することができる。この拡張インターフェースは、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含むことができる。拡張メモリ７７０は、モバイルコンピューティングデバイス７００Ｂの予備の記憶空間を提供することもできるし、モバイルコンピューティングデバイス７００Ｂのアプリケーション又は他の情報を記憶することもできる。具体的には、拡張メモリ７７０は、上記で説明したプロセスを実行又は補足する命令を含むことができ、セキュアな情報も含むことができる。したがって、例えば、拡張メモリ７７０は、モバイルコンピューティングデバイス７００Ｂのセキュリティモジュールとして提供することができ、モバイルコンピューティングデバイス７００Ｂのセキュアな使用を可能にする命令を用いてプログラミングすることができる。加えて、ハッキング不可能な方法でＳＩＭＭカード上に識別情報を配置するようなセキュアなアプリケーションを、追加の情報とともにＳＩＭＭカードを介して提供することができる。
【００８８】
メモリ７６２は、後述するように、例えば、フラッシュメモリ及び／又はＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含むことができる。いくつかの実施態様では、命令は情報担体に記憶される。これらの命令は、１つ以上の処理デバイス（例えば、プロセッサ７６１）によって実行されると、上記で説明した方法等の１つ以上の方法を実行する。命令は、１つ以上のコンピュータ可読媒体又は機械可読媒体（例えば、メモリ７６２、拡張メモリ７７０、又はプロセッサ７６２上のメモリ）等の１つ以上の記憶デバイスによって記憶することもできる。いくつかの実施態様では、命令は、例えば、送受信機７７１又は外部インターフェース７６９を介して伝播信号で受信することができる。
【００８９】
図７Ｂは、本開示の実施形態による方法及びシステムのいくつかの技法を実施するのに用いることができるモバイルコンピューティング装置を示す概略図である。モバイルコンピューティング装置又はデバイス７００Ｂは、パーソナルデジタルアシスタント、携帯電話、スマートフォン、及び他の同様のコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことを意図している。モバイルコンピューティングデバイス７００Ｂは、必要に応じてデジタル信号処理回路部を備えることができる通信インターフェース７６４を通じて無線で通信することができる。通信インターフェース７６４は、特に、ＧＳＭ音声呼（モバイル通信用グローバルシステム）、ＳＭＳ（ショートメッセージサービス）、ＥＭＳ（エンハンストメッセージングサービス）、若しくはＭＭＳメッセージング（マルチメディアメッセージングサービス）、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多元接続）、ＰＤＣ（パーソナルデジタルセルラー）、ＷＣＤＭＡ（広帯域符号分割多元接続）、ＣＤＭＡ２０００、又はＧＰＲＳ（汎用パケット無線サービス）等の様々なモード又はプロトコルの下で通信を提供することができる。そのような通信は、例えば、無線周波数を用いる送受信機７７１を通じて行うことができる。加えて、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、又は他のそのような送受信機（図示せず）等を用いて短距離通信を行うことができる。加えて、ＧＰＳ（全地球測位システム）受信機モジュール７７３が、モバイルコンピューティングデバイス７００Ｂ上で動作するアプリケーションによって適宜用いることができる追加のナビゲーションデータ及びロケーション関連無線データをモバイルコンピューティングデバイス７００Ｂに提供することができる。
【００９０】
モバイルコンピューティングデバイス７００Ｂは、ユーザから発話情報を受信して使用可能なデジタル情報に変換することができるオーディオコーデック７７２を用いて聴覚的に通信することもできる。オーディオコーデック７７２は、例えば、モバイルコンピューティングデバイス７００Ｂのハンドセット内のスピーカー等を通じて、ユーザ向けの可聴音を同様に生成することができる。そのような音は、音声通話からの音を含むことができ、録音された音（例えば、音声メッセージ、音楽ファイル等）を含むことができ、モバイルコンピューティングデバイス７００Ｂ上で動作するアプリケーションによって生成された音も含むことができる。
【００９１】
図７Ｂを引き続き参照すると、モバイルコンピューティングデバイス７００Ｂは、この図に示すように、複数の異なる形態で実施することができる。例えば、このモバイルコンピューティングデバイスは、携帯電話７７４として実施することができる。また、このモバイルコンピューティングデバイスは、スマートフォン７７５、パーソナルデジタルアシスタント、又は他の同様のモバイルデバイスの一部として実施することもできる。
【００９２】
（実施形態）
以下の説明は、例示的な実施形態のみを提供し、本開示の範囲も、適用範囲も、構成も限定することを意図していない。そうではなく、例示的な実施形態の以下の説明は１つ以上の例示的な実施形態を実施することを可能にする説明を当業者に提供する。添付の特許請求の範囲に明記されているような開示された主題の趣旨及び範囲から逸脱することなく要素の機能及び配置に行うことができる様々な変更が意図されている。
【００９３】
以下の説明では、実施形態の十分な理解を提供するために、具体的な詳細が与えられる。しかしながら、当業者は、これらの具体的な詳細がなくても実施形態を実施することができることを理解することができる。例えば、開示された主題におけるシステム、プロセス、及び他の要素は、実施形態を不必要な詳細で不明瞭にしないように、ブロック図形式の構成要素として示される場合がある。それ以外の場合において、既知のプロセス、構造、及び技法は、実施形態を不明瞭にしないように不必要な詳細なしで示される場合がある。さらに、様々な図面における同様の参照符号及び名称は、同様の要素を示す。
【００９４】
また、個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、又はブロック図として描かれるプロセスとして説明される場合がある。フローチャートは、動作を逐次的なプロセスとして説明することができるが、これらの動作の多くは、並列又は同時に実行することができる。加えて、これらの動作の順序は、再配列することができる。プロセスは、その動作が完了したときに終了することができるが、論述されない又は図に含まれない追加のステップを有する場合がある。さらに、特に説明される任意のプロセスにおける全ての動作が全ての実施形態において行われ得るとは限らない。プロセスは、方法、関数、手順、サブルーチン、サブプログラム等に対応することができる。プロセスが関数に対応するとき、その関数の終了は、呼出し側関数又はメイン関数へのその機能の復帰に対応することができる。
【００９５】
さらに、開示された主題の実施形態は、少なくとも一部は手動又は自動のいずれかで実施することができる。手動実施又は自動実施は、機械、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれらの任意の組合せを用いて実行することもできるし、少なくとも援助することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードで実施されるとき、必要なタスクを実行するプログラムコード又はプログラムコードセグメントは、機械可読媒体に記憶することができる。プロセッサが、それらの必要なタスクを実行することができる。
【００９６】
さらに、本開示の実施形態及び本明細書において説明された機能動作は、本明細書に開示された構造及びそれらの構造的均等物を含むデジタル電子回路部、有形に具現化されたコンピュータソフトウェア若しくはファームウェア、コンピュータハードウェア、又はそれらのうちの１つ以上のものの組合せにおいて実施することができる。さらに、本開示のいくつかの実施形態は、データ処理装置によって実行されるか又はデータ処理装置の動作を制御する１つ以上のコンピュータプログラム、すなわち、有形の非一時的プログラム担体上に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実施することができる。またさらに、プログラム命令は、データ処理装置による実行のために、適した受信機装置への送信用の情報を符号化するように生成される人工的に生成された伝播信号、例えば、機械によって生成された電気信号、光信号、又は電磁信号において符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶デバイス基板、ランダムアクセスメモリデバイス若しくはシリアルアクセスメモリデバイス、又はそれらのうちの１つ以上のものの組合せとすることができる。
【００９７】
本開示の実施形態によれば、用語「データ処理装置」は、データを処理する全ての種類の装置、デバイス、及び機械を包含することができ、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。装置は、専用論理回路部、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）を備えることができる。装置は、ハードウェアに加えて、問題になっているコンピュータプログラムの実行環境を作り出すコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの１つ以上の組合せを構成するコードも有することができる。
【００９８】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、又はコードと呼称又は記載される場合もある）は、コンパイラ型言語若しくはインタープリター型言語、又は宣言型言語若しくは手続型言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアローンプログラムとしての形態、又は、モジュール、構成要素、サブルーチン、若しくはコンピューティング環境における使用に適した他のユニットとしての形態を含む任意の形態で配備することができる。コンピュータプログラムは、ファイルシステムにおけるファイルに対応する場合があるが、必ずしも対応する必要はない。プログラムは、他のプログラム又はデータ、例えば、マークアップ言語ドキュメントに記憶された１つ以上のスクリプトを保持するファイルの一部分に記憶することもできるし、問題となっているプログラムに専用化された単一のファイルに記憶することもできるし、複数のコーディネートファイル、例えば、１つ以上のモジュール、サブプログラム、又はコード部分を記憶するファイルに記憶することもできる。コンピュータプログラムは、１つのコンピュータ上で実行されるように配備することもできるし、１つのサイトに配置された複数のコンピュータ上で、又は、複数のサイトにわたって分散されて通信ネットワークによって相互接続された複数のコンピュータ上で実行されるように配備することもできる。コンピュータプログラムの実行に適したコンピュータは、例として、汎用マイクロプロセッサ若しくは専用マイクロプロセッサ若しくはそれらの双方、又は他の任意の種類の中央処理装置を含む。一般に、中央処理装置は、リードオンリーメモリ若しくはランダムアクセスメモリ又はそれらの双方から命令及びデータを受け取る。コンピュータの必須素子は、命令を遂行又は実行する中央処理装置と、命令及びデータを記憶する１つ以上のメモリデバイスとである。一般に、コンピュータは、データを含むか、又は、データを記憶する１つ以上のマスストレージデバイス、例えば、磁気ディスク、光磁気ディスク、若しくは光ディスクからのデータの受信若しくはそれらへのデータの転送若しくはそれらの双方を行うように動作可能に結合される。ただし、コンピュータは、必ずしもそのようなデバイスを有するとは限らない。その上、コンピュータは、別のデバイスに組み込むことができ、例えば、数例を挙げると、モバイル電話機、パーソナルデジタルアシスタント（ＰＤＡ）、モバイルオーディオプレーヤ若しくはモバイルビデオプレーヤ、ゲームコンソール、全地球測位システム（ＧＰＳ）受信機、又はポータブル記憶デバイス、例えば、ユニバーサルシリアルバス（ＵＳＢ）フラッシュドライブに組み込むことができる。
【００９９】
ユーザとのインタラクションを提供するために、本明細書において説明した主題の実施形態は、ユーザに情報を表示するディスプレイデバイス、例えば、ＣＲＴ（陰極線管）モニター又はＬＣＤ（液晶ディスプレイ）モニターと、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス、例えば、マウス又はトラックボールとを有するコンピュータ上で実施することができる。他の種類のデバイスを用いて、ユーザとのインタラクションを同様に提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックとすることができ、ユーザからの入力は、音響入力、音声入力、又は触覚入力を含む任意の形態で受信することができる。加えて、コンピュータは、ユーザによって用いられるデバイスに文書を送信すること及びこのデバイスから文書を受信することによって、例えば、ウェブブラウザーから受信された要求に応答してユーザのクライアントデバイス上のウェブブラウザーにウェブページを送信することによって、ユーザとインタラクトすることができる。
【０１００】
本明細書において説明した主題の実施形態は、バックエンド構成要素を、例えばデータサーバとして備えるコンピューティングシステム、又はミドルウェア構成要素、例えば、アプリケーションサーバを備えるコンピューティングシステム、又はフロントエンド構成要素、例えば、ユーザが本明細書において説明した主題の実施態様とインタラクトすることをできるようにするグラフィカルユーザインターフェース又はウェブブラウザーを有するクライアントコンピュータを備えるコンピューティングシステム、又は１つ以上のそのようなバックエンド構成要素、ミドルウェア構成要素、若しくはフロントエンド構成要素の任意の組合せを備えるコンピューティングシステムにおいて実施することができる。システムのこれらの構成要素は、任意の形態又は媒体のデジタルデータ通信、例えば、通信ネットワークによって相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）及びワイドエリアネットワーク（「ＷＡＮ」）、例えば、インターネットがある。
【０１０１】
コンピューティングシステムは、クライアント及びサーバを備えることができる。クライアント及びサーバは、一般的に互いにリモートであり、通常、通信ネットワークを通じてインタラクトする。クライアント及びサーバの関係は、それぞれのコンピュータ上で動作するとともに互いにクライアントサーバ関係を有するコンピュータプログラムによって生じる。
【図１Ａ】
2021527847.tif 000022
【図１Ｂ】
2021527847.tif 000023
【図１Ｃ】
2021527847.tif 000024
【図１Ｄ】
2021527847.tif 000025
【図２】
2021527847.tif 000026
【図３】
2021527847.tif 000027
【図４】
2021527847.tif 000028
【図５】
2021527847.tif 000029
【図６Ａ】
2021527847.tif 000030
【図６Ｂ】
2021527847.tif 000031
【図６Ｃ】
2021527847.tif 000032
【図７Ａ】
2021527847.tif 000033
【図７Ｂ】
2021527847.tif 000034
【国際調査報告】
2021527847.tif 000035
2021527847.tif 000036