(57)【要約】【課題】狭帯域音声信号の帯域幅を広帯域スペクトルに好適に拡張するシステムおよび方法を提供すること。【解決手段】システム（１００）は狭帯域音声信号の帯域幅を広帯域スペクトルに拡張する。そのシステムは、狭帯域スペクトルに基づいて高周波数スペクトルを生成するハイバンド生成器（１０２）を含む。バックグラウンドノイズ生成器（１０４）は、狭帯域スペクトル内におけるバックグラウンドノイズに基づいて、高周波数バックグラウンドノイズスペクトルを生成する。ハイバンド生成器およびバックグラウンドノイズ生成器にリンクされた加算回路は、高周波数スペクトル、狭帯域スペクトル、および高周波数バックグラウンドノイズスペクトルを結合する。【選択図】図１
2007171954.tif 000002
【特許請求の範囲】
【請求項１】
狭帯域音声信号の帯域幅を拡張するシステムであって、
狭帯域スペクトルに基づいて高周波数スペクトルを生成するハイバンド生成器と、
該狭帯域スペクトル内におけるバックグラウンドノイズに基づいて、高周波数バックグラウンドノイズスペクトルを生成するバックグラウンドノイズ生成器と、
該ハイバンド生成器および該バックグラウンドノイズ生成器に結合される加算器であって、該高周波数バンドおよび該狭帯域スペクトルと該高周波数バックグラウンドノイズスペクトルとを結合させる、加算器と
を備える、システム。
【請求項２】
前記ハイバンド生成器は、狭帯域拡張装置に結合されている狭帯域スペクトル抽出器を備える、請求項１に記載のシステム。
【請求項３】
前記ハイバンド生成器は、前記狭帯域スペクトルが所定の閾値未満に下がる場合に、前記高周波数スペクトルの一部の位相を調整する位相調整器をさらに備える、請求項２に記載のシステム。
【請求項４】
前記ハイバンド生成器は、高周波数スペクトルエンベロープを生成するエンベロープ拡張装置に結合されているエンベロープ抽出器をさらに備える、請求項１に記載のシステム。
【請求項５】
検出されたパラメータに基づいて調整される前記高周波数スペクトルエンベロープの部分を識別する、前記エンベロープ拡張装置に結合されているパラメータ検出器をさらに備える、請求項４に記載のシステム。
【請求項６】
前記検出されたパラメータは子音または母音を含む、請求項５に記載のシステム。
【請求項７】
前記エンベロープ拡張装置は、前記子音が検出された場合には第１の調整によって、前記母音が検出された場合には第２の調整によって、前記高周波数スペクトルエンベロープを調整するように構成されている、請求項６に記載のシステム。
【請求項８】
前記バックグラウンドノイズ生成器は、前記加算器に結合されているスペクトルエンベロープ拡張装置に結合されているノイズエンベロープ検出器を備える、請求項１に記載のシステム。
【請求項９】
前記バックグラウンドノイズ生成器は、前記スペクトルエンベロープ検出器と前記加算器との間に配置されている位相調整器をさらに備える、請求項８に記載のシステム。
【請求項１０】
異なる周波数応答を有する、前記加算器に結合された複数のスペクトルマスクをさらに備える、請求項１に記載のシステム。
【請求項１１】
高周波数スペクトルを生成する前記ハイバンド生成器は、前記狭帯域スペクトルそれ自体を畳み込むように構成されている、請求項１に記載のシステム。
【請求項１２】
前記ハイバンド生成器は、前記狭帯域スペクトルが所定の閾値未満に下がる場合に前記高周波数スペクトルの一部の位相を調整する第１の位相調整器、および、子音が検出された場合に該高周波数スペクトルの第２の部分の位相を調整する第２の位相調整器をさらに備える、請求項１に記載のシステム。
【請求項１３】
前記位相調整器は、パラメータ検出器が前記子音を検出する場合、前記高周波数スペクトルの前記第２の部分の位相をランダム化するように構成されている、請求項１２に記載のシステム。
【請求項１４】
狭帯域音声信号の帯域幅を拡張するシステムであって、
狭帯域スペクトルから狭帯域音声スペクトルを得るスペクトル抽出器と、
該狭帯域スペクトルそれ自体を畳み込むことによって高周波数スペクトルを生成するように構成されている畳み込み器と、
該狭帯域スペクトルから高周波数スペクトルエンベロープを生成するように構成されている高周波数エンベロープ生成器と、
該狭帯域スペクトルに基づいて、高周波数バックグラウンドノイズを推定するスペクトルエンベロープ抽出器と、
該狭帯域スペクトル、該高周波数スペクトル、および該高周波数バックグラウンドノイズを結合するように構成されている加算器と
を備える、システム。
【請求項１５】
前記高周波数エンベロープ生成器に結合されている子音検出器または母音検出器をさらに備える、請求項１４に記載のシステム。
【請求項１６】
前記高周波数スペクトルの大きさが所定のレベル未満にある場合、該高周波数スペクトルの位相を調整する第１の位相調整器をさらに備える、請求項１５に記載のシステム。
【請求項１７】
前記高周波数スペクトルエンベロープに基づいて、前記高周波数スペクトルのゲインを調整するように構成されているゲイン調整器をさらに備える、請求項１４に記載のシステム。
【請求項１８】
狭帯域音声信号を広帯域信号に拡張する方法であって、
バックグラウンドノイズバンドスペクトルよりも上にある狭帯域スペクトルを抽出することと、
該狭帯域スペクトルを高周波数バンドスペクトルに拡張することと、
高周波数バンドスペクトルエンベロープを生成することと、
該高周波数バンドスペクトルのエネルギーの一部を、該狭帯域スペクトルのエネルギーの一部に対して調整することと、
高周波数バックグラウンドノイズスペクトルを生成することと、
該調整された高周波数バンドスペクトルを、該狭帯域スペクトルおよび該生成されたバックグラウンドノイズスペクトルに加えることと
を包含する、方法。
【請求項１９】
前記狭帯域スペクトルを拡張する動作は、前記狭帯域スペクトルそれ自体を畳み込むことを包含する、請求項１８に記載の方法。
【請求項２０】
子音が検出された場合、前記高周波数バンドスペクトルエンベロープを調整することをさらに包含する、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信システムに関し、より詳細には、可聴帯域幅を拡張することに関する。
【背景技術】
【０００２】
一部のテレコミュニケーションシステムは、制限された周波数範囲を介して音声を伝送する。テレコミュニケーションネットワークを構成する受信器、送信器、および中間デバイスは、帯域制限され得る。これらのデバイスは、了解度を相当に低下させ、音声に悪影響を及ぼし得る、知覚される相当なひずみを導入する帯域幅へと音声を制限し得る。多くの電話システムにおける帯域幅制限のために、電話の音声に関連され得る特徴的な音という結果となる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ユーザが広帯域音声を聴取することを選り好み得る一方で、そのような信号の伝送は、より広い帯域幅をサポートする新たなテレコミュニケーションネットワークの構築を要求し得る。新たなネットワークは高価であり得、確立したネットワークとなるためには時間がかかり得る。多くの確立されたネットワークは狭帯域音声をサポートするので、受信側において、信号帯域幅を拡張するシステムに対する必要性が存在する。
【０００４】
帯域幅拡張に問題があり得る。一部の帯域幅拡張方法が理想的な状況下において音声を再構築する一方で、これらの方法は、ノイズ環境において、音声を拡張することはできない。ノイズの効果をモデル化することが困難であるがゆえ、これらの方法の精度はノイズの存在において低減され得る。それゆえ、ノイズの多い環境における音声の知覚品質を改善するシステムの必要性もまた存在する。
【課題を解決するための手段】
【０００５】
システムは狭帯域音声信号の帯域幅を広帯域スペクトルに拡張する。そのシステムは、狭帯域スペクトルに基づいて高周波数スペクトルを生成するハイバンド生成器を含む。バックグラウンドノイズ生成器は、狭帯域スペクトル内におけるバックグラウンドノイズに基づいて、高周波数バックグラウンドノイズスペクトルを生成する。ハイバンド生成器およびバックグラウンドノイズ生成器にリンクされる加算回路は、高周波数バンドおよび狭帯域スペクトルと高周波数バックグラウンドノイズスペクトルとを結合する。
【０００６】
本発明の他のシステム、方法、特徴、および利点は、図面および詳細な記載を査証した後、当業者に対して明らかとなる。全ての追加的なシステム、方法、特徴、および利点は本明細書内に含まれ、本発明の範囲内にあり、添付の請求の範囲によって保護されることが意図される。
【０００７】
本発明はさらに、以下の手段を提供する。
【０００８】
（項目１）  
狭帯域音声信号の帯域幅を拡張するシステムであって、
狭帯域スペクトルに基づいて高周波数スペクトルを生成するハイバンド生成器と、
該狭帯域スペクトル内におけるバックグラウンドノイズに基づいて、高周波数バックグラウンドノイズスペクトルを生成するバックグラウンドノイズ生成器と、
該ハイバンド生成器および該バックグラウンドノイズ生成器に結合される加算器であって、該高周波数バンドおよび該狭帯域スペクトルと該高周波数バックグラウンドノイズスペクトルとを結合させる、加算器と
を備える、システム。
【０００９】
（項目２）  
上記ハイバンド生成器は、狭帯域拡張装置に結合されている狭帯域スペクトル抽出器を備える、項目１に記載のシステム。
【００１０】
（項目３）  
上記ハイバンド生成器は、上記狭帯域スペクトルが所定の閾値未満に下がる場合に、上記高周波数スペクトルの一部の位相を調整する位相調整器をさらに備える、項目２に記載のシステム。
【００１１】
（項目４）  
上記ハイバンド生成器は、高周波数スペクトルエンベロープを生成するエンベロープ拡張装置に結合されているエンベロープ抽出器をさらに備える、項目１に記載のシステム。
【００１２】
（項目５）  
検出されたパラメータに基づいて調整される上記高周波数スペクトルエンベロープの部分を識別する、上記エンベロープ拡張装置に結合されているパラメータ検出器をさらに備える、項目４に記載のシステム。
【００１３】
（項目６）  
上記検出されたパラメータは子音または母音を含む、項目５に記載のシステム。
【００１４】
（項目７）  
上記エンベロープ拡張装置は、上記子音が検出された場合には第１の調整によって、上記母音が検出された場合には第２の調整によって、上記高周波数スペクトルエンベロープを調整するように構成されている、項目６に記載のシステム。
【００１５】
（項目８）  
上記バックグラウンドノイズ生成器は、上記加算器に結合されているスペクトルエンベロープ拡張装置に結合されているノイズエンベロープ検出器を備える、項目１に記載のシステム。
【００１６】
（項目９）  
上記バックグラウンドノイズ生成器は、上記スペクトルエンベロープ検出器と上記加算器との間に配置されている位相調整器をさらに備える、項目８に記載のシステム。
【００１７】
（項目１０）  
異なる周波数応答を有する、上記加算器に結合された複数のスペクトルマスクをさらに備える、項目１に記載のシステム。
【００１８】
（項目１１）  
高周波数スペクトルを生成する上記ハイバンド生成器は、上記狭帯域スペクトルそれ自体を畳み込むように構成されている、項目１に記載のシステム。
【００１９】
（項目１２）  
上記ハイバンド生成器は、上記狭帯域スペクトルが所定の閾値未満に下がる場合に上記高周波数スペクトルの一部の位相を調整する第１の位相調整器、および、子音が検出された場合に該高周波数スペクトルの第２の部分の位相を調整する第２の位相調整器をさらに備える、項目１に記載のシステム。
【００２０】
（項目１３）  
上記位相調整器は、パラメータ検出器が上記子音を検出する場合、上記高周波数スペクトルの上記第２の部分の位相をランダム化するように構成されている、項目１２に記載のシステム。
【００２１】
（項目１４）  
狭帯域音声信号の帯域幅を拡張するシステムであって、
狭帯域スペクトルから狭帯域音声スペクトルを得るスペクトル抽出器と、
該狭帯域スペクトルそれ自体を畳み込むことによって高周波数スペクトルを生成するように構成されている畳み込み器と、
該狭帯域スペクトルから高周波数スペクトルエンベロープを生成するように構成されている高周波数エンベロープ生成器と、
該狭帯域スペクトルに基づいて、高周波数バックグラウンドノイズを推定するスペクトルエンベロープ抽出器と、
該狭帯域スペクトル、該高周波数スペクトル、および該高周波数バックグラウンドノイズを結合するように構成されている加算器と
を備える、システム。
【００２２】
（項目１５）  
上記高周波数エンベロープ生成器に結合されている子音検出器または母音検出器をさらに備える、項目１４に記載のシステム。
【００２３】
（項目１６）  
上記高周波数スペクトルの大きさが所定のレベル未満にある場合、該高周波数スペクトルの位相を調整する第１の位相調整器をさらに備える、項目１５に記載のシステム。
【００２４】
（項目１７）  
上記高周波数スペクトルエンベロープに基づいて、上記高周波数スペクトルのゲインを調整するように構成されているゲイン調整器をさらに備える、項目１４に記載のシステム。
【００２５】
（項目１８）  
狭帯域音声信号を広帯域信号に拡張する方法であって、
バックグラウンドノイズバンドスペクトルよりも上にある狭帯域スペクトルを抽出することと、
該狭帯域スペクトルを高周波数バンドスペクトルに拡張することと、
高周波数バンドスペクトルエンベロープを生成することと、
該高周波数バンドスペクトルのエネルギーの一部を、該狭帯域スペクトルのエネルギーの一部に対して調整することと、
高周波数バックグラウンドノイズスペクトルを生成することと、
該調整された高周波数バンドスペクトルを、該狭帯域スペクトルおよび該生成されたバックグラウンドノイズスペクトルに加えることと
を包含する、方法。
【００２６】
（項目１９）  
上記狭帯域スペクトルを拡張する動作は、上記狭帯域スペクトルそれ自体を畳み込むことを包含する、項目１８に記載の方法。
【００２７】
（項目２０）  
子音が検出された場合、上記高周波数バンドスペクトルエンベロープを調整することをさらに包含する、項目１８に記載の方法。
【発明の効果】
【００２８】
本発明により、受信側において、信号帯域幅を拡張するシステムが提供され得る。
【００２９】
また、本発明により、ノイズの多い環境における音声の知覚品質を改善するシステムが提供され得る。
【発明を実施するための最良の形態】
【００３０】
本発明は、以下の図面および記載を参照してより良く理解され得る。図面における要素は縮尺通りである必要はなく、その代わり、本発明の原理を示す上で強調がなされる。さらに、図面において、同様の参照番号は、異なる図全体に亘り対応する部分を示す。
【００３１】
帯域幅拡張ロジックは、より自然な音の音声を生成する。狭帯域音声を処理する場合、帯域幅拡張ロジックは、狭帯域音声の一部とハイバンド拡張とを組み合わせる。帯域幅拡張ロジックは、狭帯域およびハイバンド拡張との間の相関に基づいて、広帯域幅スペクトルを生成し得る。一部の帯域幅拡張ロジックは、リアルタイムまたはほぼリアルタイムにて動作し、気付き得るか、または知覚される通信遅延を最小化する。
【００３２】
図１は、帯域幅拡張システム１００またはロジックのブロック図である。帯域幅拡張システム１００は、ハイバンド生成器１０２、バックグラウンドノイズ生成器１０４、およびパラメータ検出器１０６を含む。パラメータ検出器１０６は、子音検出器または母音検出器、あるいは、子音／母音検出器または子音／母音／音声無し検出器を含み得る。図１において、狭帯域音声は、所定の閾値より上にある狭帯域音声信号の成分を選択的に通過させる抽出器１０８を通過する。所定の閾値は、前処理システムまたはプロセスを介して推定され得る静的または動的ノイズフロアーを含み得る。いくつかのシステムまたは方法は、狭帯域スペクトルを拡張するために用いられ得る。一部のシステムにおいて、狭帯域スペクトルは、２００５年６月２８日に出願された、「Ｆｒｅｑｕｅｎｃｙ  Ｅｘｔｅｎｓｉｏｎ  Ｈａｒｍｏｎｉｃ  Ｓｉｇｎａｌｓ」と題された、米国特許出願第１１／１６８，６５４号（代理人整理番号１１３３６／８６０（Ｐ０５０４５ＵＳ））に記載されたシステムのうちの一つ以上を用いる狭帯域拡張装置１１０を用いて拡張され、当該出願は、本明細書において、参照により援用される。他の帯域幅の狭帯域拡張装置またはシステムは、代替のシステムにおいて用いられ得る。
【００３３】
拡張された狭帯域スペクトルの一部が所定の閾値未満に下がる場合（例えば、それは動的または静的ノイズフロアーであり得る）、スペクトルのその部分の関連する位相は、エンベロープが調整される前に位相調整器１１２を介してランダム化される。拡張されたスペクトルエンベロープは、所定の変換によって生成され得る。図１において、ハイバンドエンベロープは、エンベロープ抽出器１１４によって推定または測定される、抽出された狭帯域エンベロープをストレッチすることによって、狭帯域信号から引き出される。パラメータ検出器１０６およびエンベロープ抽出装置１１６は、母音または子音に対応する拡張されたエンベロープのスロープを調整する。子音と符号する拡張されたスペクトルエンベロープのスロープは、子音が検出された場合、所定の因子によって調整される。母音が検出された場合、拡張されたスペクトルエンベロープに対するより少ない調節が生じ得る。これらのシステムにおいて、スペクトルエンベロープの正または負の勾配は一部のシステムにおける調整によって変更されない場合もある。これらのシステムにおいて、調整は、拡張されたスペクトルエンベロープの変更のレートに影響を与えるのであって、その方向には影響を及ぼさない。
【００３４】
拡張された狭帯域スペクトル（このシステムにおいて、ハイバンド拡張と称され得る）におけるエネルギーがオリジナルの狭帯域信号におけるエネルギーに対して調整されることを保証するために、その拡張された狭帯域スペクトルにおける高調波の大きさは、ゲイン調整器または高調波調整器１１８を介して、その拡張されたスペクトルエンベロープに対して調整される。子音に対応する拡張された狭帯域の位相の部分は、次いで、パラメータ検出器が位相検出器１２０を介して子音を検出する場合、ランダム化される。別個のパワースペクトル密度マスクは、狭帯域信号および高周波数帯域幅拡張を、結合する前に、フィルタリングする。図１において、所定の閾値より上である信号における、実質的に全ての周波数を通過させる第１のパワースペクトル密度マスク１２２は、ハイバンド生成器１０２とインターフェースがとられるか、またはその単一の部分である。
【００３５】
結合された狭帯域およびハイバンド拡張がより自然な音になることを保証するために、バックグラウンドノイズスペクトルは、その結合された信号に追加され得る。図１において、ノイズ生成器１０４は、バックグラウンドノイズエンベロープ１２４を抽出することと、エンベロープ拡張を介してノイズを拡張することとによって、バックグラウンドノイズを生成する。エンベロープ拡張は、線形的な変換またはエンベロープ拡張装置１２６によるマッピングを介して生じ得る。一律に分布された数を含むランダム位相は、次いで、位相調整器１２８によって、拡張されたバックグラウンドノイズスペクトルに導入される。第２のパワースペクトル密度マスク１３０は、ノイズスペクトルが狭帯域信号およびハイバンド拡張信号と結合される前に、所定の周波数よりも上である拡張されたバックグラウンドノイズスペクトルの部分を選択的に通過させる。
【００３６】
図１において、狭帯域信号は、第３のパワースペクトル密度マスク１３２によって整えられ得る。その第３のパワースペクトル密度マスクは、第２の加算装置１３６または結合ロジックによって、拡張されたバックグラウンドノイズ信号に追加される、結合ロジックまたは加算装置１３４を介して、ハイバンド拡張信号と狭帯域信号が結合される前に、所定の周波数未満の実質的に全ての周波数がそのマスクを通過することを可能にする。第１のパワースペクトル密度マスク１２２および第２のパワースペクトル密度マスク１３２の所定の周波数は、図１において、相補的な、または実質的に相補的な周波数応答を有し得るが、代替的なシステムにおいては異なり得る。
【００３７】
図２は、代替的な帯域幅拡張システム２００の第２のブロック図である。この代替的なシステムにおいて、ハイバンドまたは拡張された音声スペクトルおよび拡張されたバックグラウンドノイズ信号が生成される。拡張された音声および拡張されたバックグラウンドノイズは、次いで、狭帯域音声と結合される。結合された信号の全体のスペクトルは、殆どまたは全くアーチファクトを有しなくあり得る。
【００３８】
図２において、バックグラウンドノイズスペクトルＳＢＧ（ｆ）は、抽出器２０２を介して、狭帯域音声スペクトルＳＳＰ（ｆ）から推定される。抽出器２０２は、狭帯域音声スペクトルの実質的な部分をバックグラウンドノイズスペクトルから分離し得、新しい音声スペクトルＳｎｅｗＳＰ（ｆ）を生成する。新しい音声スペクトルは、狭帯域音声スペクトルの大きさがバックグラウンドノイズスペクトルの所定の大きさ未満である場合、所定の因子ｋによって、狭帯域音声スペクトルの大きさを低下することによって得られ得る。狭帯域音声スペクトルＳＳＰ（ｆ）の大きさが、バックグラウンドノイズスペクトルよりも上にある場合、音声スペクトルは変化されないままであり得る。この関係は式１によって表され得、ここでｋは約０と約１との間にある。
【００３９】
【数１】
2007171954.tif 000003
リアルタイムまたはほぼリアルタイムの畳み込み器２０４は、新しい音声スペクトルとそれ自体とを畳み込み、ハイバンドまたは拡張されたスペクトルＳＥｘｔ（ｆ）を生成する。２００５年６月２８日に出願された、「Ｆｒｅｑｕｅｎｃｙ  Ｅｘｔｅｎｓｉｏｎ  Ｈａｒｍｏｎｉｃ  Ｓｉｇｎａｌｓ」と題された、米国特許出願第１１／１６８，６５４号（代理人整理番号１１３３６／８６０（Ｐ０５０４５ＵＳ））に記載されたシステムおよび方法が、本明細書において、参照により援用され、用いられ得る。
【００４０】
より自然な音の音声を生成するために、拡張されたスペクトルがバックグラウンドノイズスペクトルの所定のレベルまたは因子未満にある場合、拡張されたスペクトルのそれらの部分の位相は、位相調整器２０６によって、ランダムにされる。この関係は式２によって表され得、ここでｍは約１と約５との間にある。
【００４１】
【数２】
2007171954.tif 000004
拡張されたスペクトルのエンベロープを調整するために、狭帯域音声のエンベロープは、エンベロープ抽出器２０８を介して抽出される。狭帯域スペクトルエンベロープは、狭帯域信号から、引き出され得るか、マッピングされ得るか、または推定され得る。スペクトルエンベロープ生成器２１０は次いで、ハイバンドまたは拡張されたスペクトルエンベロープを推定または引き出す。図２において、拡張されたスペクトルエンベロープは、狭帯域音声エンベロープのほぼ全てまたは一部を拡張することによって推定され得る。コードブックマッピング、線形マッピング、統計学的マッピングなどを含む、多くの方法が用いられ得る一方で、一つのシステムは、線形変換を介した狭帯域信号の上限周波数付近における狭帯域スペクトルエンベロープの一部を拡張する。線形変換は式３として表され得、ここでｗＨおよびｗＬは変換されたスペクトルの上限周波数および下限周波数であり、ｆＨおよびｆＬは、狭帯域音声スペクトルの周波数帯の上限周波数および下限周波数である。
【００４２】
【数３】
2007171954.tif 000005
パラメータａは、拡張される狭帯域スペクトルエンベロープの部分が、母音、子音、またはバックグラウンドノイズのいずれに対応するかに依存して、所定の値に対して経験的に調整され得るか、またはプログラムされ得る。図２において、スペクトルエンベロープ生成器２１０に結合された、子音／母音／音声無し検出器２１０は、母音または子音に対応する拡張されたスペクトルエンベロープのスロープを調整する。子音と符号する拡張されたスペクトルエンベロープのスロープは、子音が検出された場合、第１の所定の因子によって調整され得る。第２の所定の因子は、母音が検出された場合、拡張されたスペクトルエンベロープを調整し得る。一部の子音は周波数帯の高い方の端において、より大きなエネルギー集中（ｃｏｎｃｅｎｔｒａｔｉｏｎ  ｏｆ  ｅｎｅｒｇｙ）を有し、その一方で、一部の母音は、周波数帯の中間の端および低い方の端において、より大きなエネルギー集中を有するゆえに、第１の所定の因子は、一部のシステムにおいて、第２の所定の因子よりもより大きくあり得る。図２において、拡張されたスペクトルエンベロープのより大きなスロープ調整は、母音が検出された場合よりも子音が検出された場合において生じる。
【００４３】
拡張されたスペクトルにおけるエネルギーが狭帯域スペクトルにおけるエネルギーと整合することを保証するために、拡張された狭帯域スペクトルにおける高調波は、ゲイン調整器２１４を介して、拡張されたスペクトルエンベロープに対して調整される。調整は、拡張された狭帯域スペクトルをスケーリングすることによって生じ得、そのスケーリングは、拡張されたスペクトルの一部におけるエネルギーが、狭帯域音声スペクトルの一部におけるエネルギーと殆ど等しいか、または実質的に等しいようになされる。子音に対応する拡張された狭帯域信号の位相の部分は、次いで、子音／母音／音声無し検出器が子音を検出する場合、位相調整器２１６によってランダム化される。別個のパワースペクトル密度マスクは、その信号が結合ロジックまたは加算器２５０を介して結合される前に、狭帯域音声信号および拡張された狭帯域信号をフィルタリングする。図２において、第１のパワースペクトル密度マスク２１８は、所定の周波数より上である拡張されたスペクトルの周波数を通過させる。５，５００Ｈｚ付近の上限折点周波数を有する一部のシステムにおいて、パワースペクトル密度マスクは、図３に示される周波数応答を有し得る。
【００４４】
拡張されたスペクトル音をさらに自然にするために、バックグラウンドノイズは別個に拡張され得、次いで、組み合わされ拡張された帯域幅および狭帯域音声スペクトルに追加され得る。一部のシステムにおいて、拡張されたバックグラウンドノイズスペクトルは、一定のエンベロープスロープを有するランダム位相を有する。
【００４５】
図２において、狭帯域バックグラウンドノイズスペクトルエンベロープは、スペクトルエンベロープ生成器２２０を介して、バックグラウンドノイズスペクトルから引き出されるか、または推定される。スペクトルエンベロープ拡張装置２２２は、ハイバンドバックグラウンドノイズまたは拡張されたバックグラウンドノイズエンベロープを推定するか、マッピングするか、または引き出す。図２において、拡張されたバックグラウンドノイズエンベロープは、狭帯域バックグラウンドノイズエンベロープのほぼ全てまたは一部によって推定され得る。コードブックマッピング、線形マッピング、統計学的マッピングなどを含む、多くの方法が用いられ得る一方で、一つのシステムは、線形変換を介して、狭帯域の上限周波数付近にある狭帯域ノイズエンベロープの一部を拡張する。線形変換は式３によって表され得、ここでｗＨおよびｗＬは変換されたスペクトルの上限周波数および加減周波数であり、ｆＨおよびｆＬは、狭帯域ノイズスペクトルの周波数帯の上限周波数および下限周波数である。
【００４６】
【数４】
2007171954.tif 000006
パラメータａは、所定の値に対して経験的に調整され得るか、またはプログラムされ得る。約０と約２ｐとの間における一律に分布された数を含むランダム位相は、ノイズスペクトルがパワースペクトル密度マスク２２６によってフィルタリングされる前に、位相調整器２２４を介して、拡張されたバックグラウンドノイズスペクトルに導入される。ノイズスペクトルが、結合ロジックまたは加算器２２８を介して、狭帯域音声および拡張されたスペクトルと結合される前に、パワースペクトル密度マスク２２６は、所定の周波数の上である拡張されたバックグラウンドノイズスペクトルの部分を選択的に通過させる。ほぼ５，５００Ｈｚ付近の上限折点周波数を有するそれらのシステムにおいて、パワースペクトル密度マスクは、図３に示される周波数応答を生成し得る。
【００４７】
図２において、狭帯域信号は、パワースペクトル密度マスク２３２によって整えられ得る。そのパワースペクトル密度マスクは、狭帯域信号が拡張された狭帯域および拡張されたバックグラウンドノイズスペクトルと結合される前に、所定の周波数未満の実質的に全ての周波数がそのマスクを通過することを可能にする。約３，５００Ｈｚ付近にある折点周波数を有する一部のシステムにおいて、パワースペクトル密度マスク２３２は、図４に示される周波数応答を有し得る。
【００４８】
図２において、子音／母音／音声無し検出器２１２は、それが母音、子音、または音声無しの領域のいずれであるのかに基づき、拡張されたスペクトルのエンベロープのスロープを決定し得、および／または、ランダム位相を有すべき拡張されたスペクトルのそれらの部分を識別し得る。スペクトル帯域またはフレームが子音、母音、または音声無し領域に当てはまるかどうかを決定する場合、子音／母音／音声無し検出器２１２は、狭帯域音声信号の様々な特性を処理し得る。これらの特性は、狭帯域音声信号のバックグラウンドノイズスペクトルの大きさ、バックグラウンドノイズフロアーより上である所定の低周波数帯におけるエネルギーＥＬ、所定の低周波数帯におけるエネルギーに対する所定の高周波数帯におけるエネルギーの測定または推定された比γ、測定または推定されたバックグラウンドノイズより上である狭帯域音声スペクトルのエネルギー、あるいは、フレーム間、またはこれらまたは他の特性の任意の組み合わせの間におけるスペクトルエネルギー内の測定または推定された変化を含み得る。
【００４９】
一部の子音／母音／音声無し検出器２１２は、測定または推定されたＥＬおよび／またはγが、所定の閾値より上または下あるいは所定の範囲内にある場合、母音または子音を検出し得る。一部の帯域幅拡張システムは、一部の母音が子音よりも、より大きなＥＬの値およびより小さい値γを有すると認識する。以前のフレーム上にてなされたスペクトル推定または測定および決定は、現在のフレームにおける子音／母音決定を容易にするために用いられ得る。一部の帯域幅拡張システムは、音声無し領域を検出し、そこで、エネルギーは、測定または引き出されたバックグラウンドノイズフロアーより上においては検出されない。
【００５０】
図５〜図９は、音声信号の様々なスペクトル写真を示す。図５は、符号分割多重アクセス（ＣＤＭＡ）ネットワークを通過した、静止した車両において記録された狭帯域音声信号のスペクトル写真を示す。図６において、帯域幅拡張システムは、図５に示された狭帯域スペクトルから、ハイバンドスペクトルを正確に推定または引き出す。図６において、拡張された信号のみが示される。図７は、例示的なバックグラウンドノイズスペクトルのスペクトル写真である。狭帯域音声信号におけるバックグラウンドノイズのレベルが低いゆえに、拡張されたバックグラウンドノイズスペクトルの大きさもまた小さい。図８は、拡張されたバックグラウンドノイズスペクトルに追加された拡張された信号スペクトルに追加された狭帯域音声スペクトルを備える帯域幅拡張された信号のスペクトル写真である。図９は、狭帯域音声信号（上）および再構成された広帯域音声（下）のスペクトル写真を示す。図９において、狭帯域音声は、時速約３０キロメートルにて移動する車両において記録され、次いで、ＣＤＭＡネットワークを通過した。示されるように、帯域幅拡張システムは、狭帯域スペクトルからハイバンドスペクトルを正確に推定または引き出す。
【００５１】
図１０は、より自然な音の音声を生成し得る狭帯域音声信号を拡張するフロー図である。本方法は、帯域制限されたシステムの通過帯域の外に存在する欠損周波数帯域を再構成することによって、狭帯域音声の質を向上させる。本方法は、高周波数帯においてのみ可聴であり得る特異な特性を再奪取することによって、処理された音声の了解度および質を改善し得る。
【００５２】
図１０において、狭帯域音声は、動作１００２において、所定の閾値より上にある狭帯域音声信号の成分を選択的に通過、測定、または推定する抽出器を通過される。所定の閾値は、前処理システムまたはプロセスを介して測定または推定され得る静的または動的ノイズフロアーを含み得る。いくつかの方法は、動作１００４において、狭帯域スペクトルを拡張するために用いられ得る。一部の方法において、狭帯域スペクトルは、２００５年６月２８日に出願された、「Ｆｒｅｑｕｅｎｃｙ  Ｅｘｔｅｎｓｉｏｎ  Ｈａｒｍｏｎｉｃ  Ｓｉｇｎａｌｓ」と題された、米国特許出願第１１／１６８，６５４号（代理人整理番号１１３３６／８６０（Ｐ０５０４５ＵＳ））に記載された方法のうちの一つ以上を用いる狭帯域拡張装置を用いて拡張され、当該出願は、本明細書において、参照により援用される。他の方法は代替のシステムにおいて用いられる。
【００５３】
拡張された狭帯域スペクトルの一部が所定の閾値未満に下がる場合（例えば、それは動的または静的ノイズフロアーであり得る）、その部分の関連する位相は、拡張されたエンベロープが調整される前に動作１００６においてランダム化される。図１０において、ハイバンドエンベロープ（例えば、拡張された狭帯域エンベロープ）は、動作１０１０において拡張される前に、動作１００８において狭帯域信号から引き出されるか、または抽出される。パラメータ検出（本方法においては、動作１０１２において、子音／母音／音声無しを検出するプロセスとして示される）は、動作１０１０において、母音または子音に対応する拡張されたエンベロープのスロープを調整するために用いられる。子音と符号する拡張されたスペクトルエンベロープのスロープは、子音が検出された場合、所定の因子によって調整される。母音が検出された場合、拡張されたスペクトルエンベロープに対する調節が生じ得る。一部の方法において、拡張されたスペクトルエンベロープの正または負の勾配は調整によって変更されない場合もある。むしろ、調整は、拡張されたスペクトルエンベロープの変更のレートに影響を与える。
【００５４】
拡張された狭帯域スペクトル（ハイバンド拡張と称され得る）におけるエネルギーがオリジナルの狭帯域信号におけるエネルギーに対して調整されることを保証するために、その拡張された狭帯域スペクトルにおける高調波の大きさまたはゲインは、動作１０１４において、その拡張されたスペクトルエンベロープに対して調整される。子音に対応する拡張された狭帯域の位相の部分は、次いで、動作１０１２および動作１０１６において、子音が検出された場合、ランダム化される。別個のパワースペクトル密度マスクは、狭帯域信号および高周波数帯域幅拡張を、結合する前にフィルタリングする。図１０において、第１のパワースペクトル密度マスクは、動作１０１８において、所定の周波数より上である信号における、実質的に全ての周波数を通過させる。
【００５５】
結合された狭帯域およびハイバンド拡張がより自然な音になることを保証するために、バックグラウンドノイズスペクトルは、その結合された信号に追加され得る。動作１０２０において、バックグラウンドノイズエンベロープは抽出され、動作１０２２において、エンベロープ拡張を介して拡張される。エンベロープ拡張は、線形的な変換、マッピング、または他の方法を介して生じ得る。ランダム位相は、次いで、動作１０２４において、拡張されたバックグラウンドノイズスペクトルに導入される。動作１０２６において、第２のパワースペクトル密度マスクは、動作１０３２において、ノイズスペクトルが狭帯域信号およびハイバンド拡張信号と結合される前に、所定の周波数よりも上である拡張されたバックグラウンドノイズスペクトルの部分を選択的に通過させる。
【００５６】
図１０において、狭帯域信号は、第３のパワースペクトル密度マスクによって整えられ得る。その第３のパワースペクトル密度マスクは、動作１０３０におけるハイバンド拡張信号と動作１０３２における狭帯域信号と結合される前に、所定の周波数未満の実質的に全ての周波数が、動作１０２８において、そのマスクを通過することを可能にする。第１のパワースペクトル密度マスクおよび第２のスペクトルの所定の周波数応答は、実質的に等しくあり得るか、または、代替的なシステムにおいては異なり得る。
【００５７】
上述の各システムおよび方法は、信号生成媒体、メモリなどのコンピュータ可読媒体において、エンコードされ得、一つ以上の集積回路などのデバイス内においてプログラムされ得、あるいは、制御器またはコンピュータによって処理され得る。本方法がソフトウェアによって実行される場合、ソフトウェアは、ハイバンド生成器１０２、バックグラウンドノイズ生成器１０４、および／またはパラメータ検出器１０６に常駐またはインターフェースされるメモリ、あるいは、音声向上ロジックにインターフェースまたは常駐する任意の他のタイプの不揮発性または揮発性メモリに常駐し得る。メモリは、論理機能をインプリメントするための、実行可能な命令の順序化されたリストを含み得る。論理機能は、デジタル回路、ソースコード、アナログ回路網、または、アナログ電気信号または光学信号などの、アナログソースを介してインプリメントされ得る。ソフトウェアは、命令実行可能なシステム、装置、またはデバイスによる使用のための、あるいはそれらと接続する、任意のコンピュータ可読媒体または信号生成媒体において具体化され得る。そのようなシステムは、コンピュータベースのシステム、プロセッサ含有システム、あるいは、命令を実行し得る、命令実行可能なシステム、装置、またはデバイスから選択的に命令をフェッチする、別のシステムを含み得る。
【００５８】
「コンピュータ読取可能媒体」、「機械読取可能媒体」、「伝搬信号」媒体、および／または「信号ベアリング媒体」は、命令実行可能システム、装置、またはデバイスによる使用のために、またはそれらに関連して、ソフトウェアを含み、格納し、通信し、伝搬し、または移動させる任意の装置を含み得る。機械読取可能媒体は、電子、磁気、光、電磁、赤外線または半導体システム、装置、デバイス、または伝搬媒体に選択的になり得るが、それらに限定されない。機械読取可能媒体の非網羅的リストの例は、１つ以上のワイヤを有する電気接続「電子」、携帯磁気または光ディスク、ランダムアクセスメモリ「ＲＡＭ」（電子）、読取専用メモリ「ＲＯＭ」（電子）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）（電子）のような揮発性メモリ、または光ファイバ（光）を含む。ソフトウェアが画像または他の形式（例えば、光スキャンを介して）として電子的に格納され得、コンパイルされ得、および／または解釈され得、他の処理され得る一方、機械読取可能媒体は、ソフトウェアがプリントされた有形媒体をも含み得る。処理された媒体は次いで、コンピュータおよび／または機械メモリに格納され得る。
【００５９】
一部のシステムが狭帯域スペクトルを広帯域スペクトルへと拡張またはマッピングする一方で、代替のシステムは、低周波数および高周波数における、またはその間における如何なる位置にも存在し得るスペクトルから、高周波数における、またはその付近における周波数スペクトルの一部または可変量を拡張またはマッピングし得る。一部のシステムはエンコードされた信号を拡張する。情報は、定常性のキャリア波または、ほぼ定常性ではあるが大きさは可変である周波数（例えば、振幅変調、ＡＭ）のキャリア波を用いてエンコードされ得る。情報はまた、可変信号周波数によってエンコードされ得る。これらのシステムにおいて、ＦＭラジオ帯、同報通信テレビ信号の可聴部分、あるいは他の周波数変調された信号または帯域が拡張され得る。一部のシステムは、高周波数範囲または制限における、あるいはその付近における固定量または可変量だけＡＭまたはＦＭラジオ信号を拡張し得る。
【００６０】
一部の他の代替的なシステムはまた、狭周波数スペクトルに対して高周波数スペクトルを拡張またはマッピングして、広帯域スペクトルを作成するために用いられ得る。一部のシステムおよび方法はまた、高調波回復システムまたは動作を含み得る。これらのシステムおよび／または動作において、通過帯域によって減衰されるか、または、バックグラウンドノイズなどのノイズによって隠される高調波は、信号が拡張される前に再構成され得る。これらのシステムおよび／または動作は、ピッチ解析、コードブック、線形マッピング、または他の方法を用いて、帯域幅拡張の前またはその間に、欠損した高調波を再構成し得る。回復された高調波は次いで、スケーリングされ得る。一部のシステムおよび／または動作は、隣接する周波数帯内または先の周波数帯内における隣接した周波数間の相関に基づいて、高調波をスケーリングし得る。
【００６１】
一部の帯域幅拡張システムは、狭帯域音声信号のスペクトルを広帯域スペクトルに拡張する。帯域幅拡張は、狭帯域音声信号の短時間フーリエ変換をとることによって、周波数ドメインにおいてなされる。システムは、殆どまたは全くアーチファクトを有せずに、拡張されたスペクトルと狭帯域スペクトルとを結合する。帯域幅拡張は、欠損した帯域を再構成することによって、音声信号の質および了解度を向上させ、その結果、バックグラウンドノイズの異なるレベルにおいて、音声の音をより自然におよび堅牢にし得る。一部のシステムは、伝送チャネルまたは伝送媒体の振幅応答における変動に対して堅牢である。
【００６２】
本発明の様々な実施形態が記載される一方、さらに多くの実施形態およびインプリメンテーションが本発明の範囲内において可能であることは当業者にとって明らかである。従って、本発明は添付された請求の範囲およびその均等物を考慮する以外に限定されない。
【００６３】
システムは狭帯域音声信号の帯域幅を広帯域スペクトルに拡張する。そのシステムは、狭帯域スペクトルに基づいて高周波数スペクトルを生成するハイバンド生成器を含む。バックグラウンドノイズ生成器は、狭帯域スペクトル内におけるバックグラウンドノイズに基づいて、高周波数バックグラウンドノイズスペクトルを生成する。ハイバンド生成器およびバックグラウンドノイズ生成器にリンクされた加算回路は、高周波数スペクトル、狭帯域スペクトル、および高周波数バックグラウンドノイズスペクトルを結合する。
【００６４】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【図面の簡単な説明】
【００６５】
【図１】帯域幅拡張システムのブロック図である。
【図２】代替の帯域幅拡張システムのブロック図である。
【図３】第１のパワースペクトル密度マスクの周波数応答である。
【図４】第２のパワースペクトル密度マスクの周波数応答である。
【図５】狭帯域音声の周波数スペクトルである。
【図６】再構成された広帯域音声の周波数スペクトルである。
【図７】バックグラウンドノイズの周波数スペクトルである。
【図８】拡張されたバックグラウンドノイズスペクトルに追加されたハイバンドスペクトルに追加された狭帯域スペクトルの周波数スペクトルである。
【図９】狭帯域音声（上）および再構成された広帯域音声（下）の周波数スペクトルである。
【図１０】狭帯域信号を拡張するフロー図である。
【符号の説明】
【００６６】
１００  帯域幅拡張システム
１０２  ハイバンド生成器
１０４  バックグラウンドノイズ生成器
１０６  パラメータ検出器
１０８  スペクトル抽出器
１１０  狭帯域拡張装置
１１２  位相調整器
【図１】
2007171954.tif 000007
【図２】
2007171954.tif 000008
【図３】
2007171954.tif 000009
【図４】
2007171954.tif 000010
【図５】
2007171954.tif 000011
【図６】
2007171954.tif 000012
【図７】
2007171954.tif 000013
【図８】
2007171954.tif 000014
【図９】
2007171954.tif 000015
【図１０】
2007171954.tif 000016
【手続補正書】
【提出日】平成19年4月5日(2007.4.5)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2007171954.tif 000017
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2007171954.tif 000018
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2007171954.tif 000019
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2007171954.tif 000020
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2007171954.tif 000021