(57)【要約】      （修正有）【課題】ＡＭＲ−ＷＢタイプのコーデックまたはこのコーデックの相互運用可能バージョンにおける帯域拡張の周波数成分を改善する。【解決手段】復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、低帯域と称する第１の周波数帯域において復号化された復号化低帯域信号を得る工程、第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上で、復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成する工程、拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程、結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合する工程、を有する。エネルギーレベル制御係数は、環境レベル制御係数並びに拡張復号化低帯域信号及び音声成分の合計エネルギーの関数として計算される係数ｆａｃを有する。【選択図】図４
2019168709.tif 000002
【特許請求の範囲】
【請求項１】
低帯域と称する第１の周波数帯域において復号化された信号を得る工程を含む、復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法において、
−  前記復号低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程（Ｅ４０２）と、
−  結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合する工程（Ｅ４０３）と、
−  前記第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上で、前記抽出工程前の前記低帯域復号信号または前記結合工程後の結合信号を拡張する工程（Ｅ４０１ａ）と
を含むことを特徴とする、方法。
【請求項２】
前記復号低帯域信号は低帯域復号化励振信号であることを特徴とする、請求項１に記載の方法。
【請求項３】
前記音声成分および前記環境信号の前記抽出工程は、
−  周波数領域内の前記復号低帯域信号または前記復号および拡張低帯域信号の優勢音声成分を検出する工程と、
−  前記環境信号を得るために前記優勢音声成分の抽出により残留信号を計算する工程と
に従って行われることを特徴とする、請求項１または２に記載の方法。
【請求項４】
前記音声成分および前記環境信号の前記抽出工程は、
−  前記復号低帯域信号または前記復号および拡張低帯域信号のスペクトルの平均値を計算することにより前記環境信号を取得する工程と、
−  前記復号低帯域信号または前記復号および拡張低帯域信号から計算環境信号を減じることにより前記音声成分を取得する工程と
に従って行われることを特徴とする、請求項１または２に記載の方法。
【請求項５】
前記適応化混合に使用されるエネルギーレベルの制御係数は、前記復号低帯域信号または前記復号および拡張低帯域信号と前記音声成分との合計エネルギーに応じて計算されることを特徴とする、請求項１に記載の方法。
【請求項６】
前記復号低帯域信号は、変換またはフィルタバンクベースの副帯域分解の工程を受け、前記抽出工程および前記結合工程は、その後、前記周波数領域または副帯域領域において行われることを特徴とする、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記復号低帯域信号を拡張する前記工程は次式：
【数１】
2019168709.tif 000051
に従って行われ、ここで、ｋはサンプルの指標であり、Ｕ（ｋ）は変換工程後に得られる前記復号低帯域信号のスペクトルであり、ＵＨＢ１（ｋ）は前記拡張信号のスペクトルであり、およびｓｔａｒｔ＿ｂａｎｄは予め定義された変数であることを特徴とする、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
低帯域と称する第１の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置において、
前記復号低帯域信号から生じる信号に基づき音声成分と環境信号とを抽出するモジュール（５１２）と、
結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合するモジュール（５１３）と、
前記第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上へ前記抽出モジュール前の前記低帯域復号信号または前記結合モジュール後の前記結合信号を拡張し、かつ前記抽出モジュール前の前記低帯域復号信号または前記結合モジュール後の前記結合信号において実装されるモジュール（５１１）と
を含むことを特徴とする、装置。
【請求項９】
請求項８に記載の周波数帯域拡張装置を含むことを特徴とする、オーディオ周波数信号復号器。
【請求項１０】
プロセッサにより実行されると、請求１〜７のいずれか一項に記載の周波数帯域拡張方法の工程を実施するコード命令を含むコンピュータプログラム。
【請求項１１】
請求項１〜７のいずれか一項に記載の周波数帯域拡張方法の工程を実行するコード命令を含むコンピュータプログラムが格納される、周波数帯域拡張装置により読み取られ得る記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ周波数信号（スピーチ、音楽または他のこのような信号など）の送信または保管のための符号化／復号化および処理の分野に関する。
【０００２】
より具体的には、本発明は、オーディオ周波数信号強調を行う復号器またはプロセッサにおける周波数帯域拡張方法および装置に関する。
【背景技術】
【０００３】
スピーチまたは音楽などのオーディオ周波数信号を圧縮する（損失を伴った）ための非常に多くの技術が存在する。
【０００４】
対話型アプリケーションのための従来の符号化方法は通常、波形符号化（「パルス符号変調」（ＰＣＭ）、「適応差分パルス符号変調」（ＡＤＰＣＭ）、変換符号化など）、パラメータ符号化（線形予測符号化（ＬＰＣ）、正弦波符号化など）、および「合成による分析」によるパラメータの量子化を伴うパラメトリックハイブリッド符号化（その中でも「符号励振線形予測」（ＣＥＬＰ）符号化が最もよく知られた例である）として分類される。
【０００５】
非対話型アプリケーションに関し、（モノラル）オーディオ信号符号化のための従来技術は、帯域複製による高周波数のパラメータの符号化（スペクトル帯域複製（ＳＢＲ））での変換によるか、または副帯域における知覚的符号化からなる。従来のスピーチおよびオーディオ符号化方法の精査は、（非特許文献１）、（非特許文献２）、（非特許文献３）に見出すことができる。
【０００６】
ここでの焦点は３ＧＰＰ標準規格ＡＭＲ−ＷＢ（「適応化マルチレート広帯域」）コーデック（符号器および復号器）に特に当てられる。このコーデックは１６ｋＨｚの入力／出力周波数で動作する。ここでは、信号は２つの副帯域（すなわち、１２．８ｋＨｚでサンプリングされＣＥＬＰモデルにより符号化される低帯域（０〜６．４ｋＨｚ）と、現フレームのモードに応じて追加情報を含むまたは含まない「帯域拡張」（または「帯域幅拡張」（ＢＷＥ））によりパラメータ的に再構築される高帯域（６．４〜７ｋＨｚ））に分割される。７ｋＨｚにおけるＡＭＲ−ＷＢコーデックの符号化帯域の制限は、広帯域端末の送信における周波数応答が標準規格ＩＴＵ−Ｔ  Ｐ．３４１に定義された周波数マスクによる標準化（ＥＴＳＩ／３ＧＰＰ、後にＩＴＵ−Ｔ）時に、より具体的には標準規格ＩＴＵ−Ｔ  Ｇ．１９１において定義され、７ｋＨｚより高い周波数をカットするいわゆる「Ｐ３４１」フィルタ（このフィルタはＰ．３４１において定義されたマスクに従う）を使用することにより、近似されたという事実にほぼ結び付けられることが指摘され得る。しかし、理論的には、１６ｋＨｚでサンプリングされた信号は０〜８０００Ｈｚの規定オーディオ帯域を有し得ることがよく知られており、したがってＡＭＲ−ＷＢコーデックは８ｋＨｚの理論帯域幅と比較して高帯域の制限を導入する。
【０００７】
３ＧＰＰ  ＡＭＲ−ＷＢスピーチコーデックは、主にＧＳＭ（登録商標）（２Ｇ）およびＵＭＴＳ（３Ｇ）上の回路モード（ＣＳ）電話アプリケーション用に２００１年に標準化された。この同じコーデックはまた、勧告Ｇ．７２２．２「Ｗｉｄｅｂａｎｄ  ｃｏｄｉｎｇ  ｓｐｅｅｃｈ  ａｔ  ａｒｏｕｎｄ  １６ｋｂｉｔ／ｓ  ｕｓｉｎｇ  Ａｄａｐｔｉｖｅ  Ｍｕｌｔｉ−Ｒａｔｅ  Ｗｉｄｅｂａｎｄ（ＡＭＲ−ＷＢ）」の形式でＩＴＵ−Ｔにより２００３年に標準化された。
【０００８】
３ＧＰＰ  ＡＭＲ−ＷＢスピーチコーデックは、６．６〜２３．８５ｋｂｉｔ／ｓの９ビットレート（モードと呼ばれる）を含み、音声活動検出（ＶＡＤ）を含む連続送信機構（「不連続送信」（ＤＴＸ））と、無音記述フレーム（「無音挿入記述子」（ＳＩＤ））からのコンフォート雑音生成（ＣＮＧ）と、消失フレーム訂正機構（「パケット消失隠蔽」（ＰＬＣ）と呼ばれることもある、「フレーム消失隠蔽」（ＦＥＣ））とを含む。
【０００９】
ＡＭＲ−ＷＢ符号化および復号化アルゴリズムの詳細についてはここでは繰り返さない。このコーデックの詳細説明は、３ＧＰＰ仕様（ＴＳ２６．１９０、２６．１９１、２６．１９２、２６．１９３、２６．１９４、２６．２０４）、ＩＴＵ−Ｔ−Ｇ．７２２．２（および対応する付属書類および付録）、（非特許文献４）、ならびに関連３ＧＰＰおよびＩＴＵ−Ｔ標準規格のソースコードに見出すことができる。
【００１０】
ＡＭＲ−ＷＢコーデックにおける帯域拡張の原理はかなり基本的かつ単純である。実際、高帯域（６．４〜７ｋＨｚ）は時間（１サブフレーム当たりの利得の形式で適用される）および周波数（線形予測合成フィルタまたはＬＰＣ（「線形予測符号化」）の適用による）包絡線を介し白色雑音をシェーピングすることにより生成される。この帯域拡張技術は図１に示される。
【００１１】
白色雑音ｕＨＢ１（ｎ），ｎ＝０，・・・，７９は線形合同生成器（ブロック１００）により５ｍｓサブフレーム毎に１６ｋＨｚで生成される。この雑音ｕＨＢ１（ｎ）は適時、サブフレーム毎に利得を適用することによりシェーピングされる。この操作は、次の２つの処理工程（ブロック１０２、１０６または１０９）に分解される。
●白色雑音ｕＨＢ１（ｎ）を低帯域において１２．８ｋＨｚで復号化される励振ｕ（ｎ），ｎ＝０，・・・，６３のものと同様のレベルに設定する（ブロック１０２）ために次の第１の係数が計算される（ブロック１０１）。
【数１】
2019168709.tif 000003
【００１２】
エネルギーの正規化はサンプリング周波数（１２．８または１６ｋＨｚ）の差の補償なしに異なるサイズ（ｕ（ｎ）には６４、ｕＨＢ１（ｎ）には８０）のブロックを比較することにより行われることが指摘され得る。
●次に、高帯域における励振は次の形式：
【数２】
2019168709.tif 000004
で得られ（ブロック１０６または１０９）、ここで、利得
【数３】
2019168709.tif 000005
は、ビットレートに応じて異なる方法で得られる。現フレームのビットレートが＜２３．８５ｋｂｉｔ／ｓであれば、利得
【数４】
2019168709.tif 000006
は「ブラインドで」（すなわち追加情報なしに）推定される。この場合、ブロック１０３は、信号
【数５】
2019168709.tif 000007
を得るために、４００Ｈｚにおけるカットオフ周波数を有するハイパスフィルタにより、低帯域において復号化された信号をフィルタ処理する。このハイパスフィルタは、ブロック１０４においてなされた推定を歪め得る極低周波の影響をなくす。次に、信号
【数６】
2019168709.tif 000008
のｅｔｉｌｔで表される「傾き」（スペクトル傾きの指標）が正規化自己相関により計算される（ブロック１０４）。
【数７】
2019168709.tif 000009
最後に、
【数８】
2019168709.tif 000010
が次の形式：
【数９】
2019168709.tif 000011
で計算され、ここで、ｇＳＰ＝１−ｅｔｉｌｔは活性スピーチ（ＳＰ）フレーム内で適用される利得であり、ｇＢＧ＝１．２５ｇＳＰは、背景（ＢＧ）雑音に関連する不活性スピーチフレーム内で適用される利得であり、ｗＳＰは音声活動検出（ＶＡＤ）に依存する重み関数である。傾き（ｅｔｉｌｔ）の推定は、高帯域のレベルを信号のスペクトル性質に応じて適合化させることを可能にすることが理解される。この推定は、ＣＥＬＰ復号信号のスペクトル傾きが、周波数が増加すると平均エネルギーが低下するようになっている場合（ｅｔｉｌｔが１近傍であり、したがってｇＳＰ＝１−ｅｔｉｌｔは低減される音声信号の場合）に特に重要である。ＡＭＲ−ＷＢ復号化における係数
【数１０】
2019168709.tif 000012
は区間［０．１，１．０］内の値を取らなければならないことにも注意すべきである。実際、そのスペクトルが高周波でより多くのエネルギーを有する（ｅｔｉｌｔが−１近傍、ｇＳＰが２近傍である）信号では、利得
【数１１】
2019168709.tif 000013
は通常、過小評価される。
【００１３】
２３．８５ｋｂｉｔ／ｓでは、補正情報がＡＭＲ−ＷＢ符号器により送信され、サブフレーム毎に（５ｍｓ毎に４ビット、すなわち０．８ｋｂｉｔ／ｓ）推定された利得を改良するために復号化される（ブロック１０７、１０８）。
【００１４】
人工励振ｕＨＢ（ｎ）は、伝達関数１／ＡＨＢ（ｚ）を有し、１６ｋＨｚのサンプリング周波数で動作するＬＰＣ合成フィルタにより、その後フィルタ処理される（ブロック１１１）。このフィルタの構築は次のように現フレームのビットレートに依存する。
●６．６ｋｂｉｔ／ｓにおいて、フィルタ１／ＡＨＢ（ｚ）は、低帯域（１２．８ｋＨｚ）において復号化される１６次ＬＰＣフィルタ
【数１２】
2019168709.tif 000014
を「外挿」した２０次ＬＰＣフィルタ
【数１３】
2019168709.tif 000015
を係数γ＝０．９により重み付けすることにより得られる、ＩＳＦ（イミタンススペクトル周波数）パラメータの領域における外挿の詳細は、標準規格Ｇ．７２２．２章６．３．２．１に記載されている。この場合、
【数１４】
2019168709.tif 000016
である。
●ビットレート＞６．６ｋｂｉｔ／ｓでは、フィルタ１／ＡＨＢ（ｚ）は１６次であり、次式：
【数１５】
2019168709.tif 000017
に単純に対応し、ここで、γ＝０．６である。この場合、フィルタ
【数１６】
2019168709.tif 000018
は１６ｋＨｚにおいて使用され、［０，６．４ｋＨｚ］から［０，８ｋＨｚ］へのこのフィルタの周波数応答の広がりを生じる（比例変換により）ことに注意すべきである。
【００１５】
結果ｓＨＢ（ｎ）は、６〜７ｋＨｚ帯域のみを維持するために、ＦＩＲ（「有限インパルス応答」）タイプのバンドパスフィルタにより最後に処理される（ブロック１１２）。２３．８５ｋｂｉｔ／ｓにおいて、７ｋＨｚより高い周波数をさらに減衰させるために、ＦＩＲタイプのローパスフィルタがまた処理に加えられる（ブロック１１３）。高周波（ＨＦ）合成が最後に、ブロック１２０〜１２３により得られ、１６ｋＨｚにおいて再サンプリングされる（ブロック１２３）低周波（ＬＦ）合成へ加えられる（ブロック１３０）。したがって、ＡＭＲ−ＷＢコーデックにおいて高帯域が６．４〜７ｋＨｚへ理論的に拡張しても、ＨＦ合成はむしろ、ＬＦ合成による加算の前に６〜７ｋＨｚ帯域内に含まれる。
【００１６】
ＡＭＲ−ＷＢコーデックの帯域拡張技術における以下のような多くの欠点が同定され得る。
●高帯域内の信号は、６．４〜７ｋＨｚ帯域内の信号の良い汎用モデルではないシェーピングされた白色雑音である（１／ＡＨＢ（ｚ）とバンドパスフィルタ処理によりフィルタ処理することにより、サブフレーム毎に一時的利得によりシェーピングされた白色雑音）。例えば正弦波成分（すなわち音声）を含むが雑音を含まない（または小雑音を含む）６．４〜７ｋＨｚ帯域の極高調波音楽信号が存在する。これらの信号では、ＡＭＲ−ＷＢコーデックの帯域拡張は品質を著しく劣化させる。
●７ｋＨｚにおけるローパスフィルタ（ブロック１１３）は、低帯域と高帯域との間に、２３．８５ｋｂｉｔ／ｓにおいて２つの帯域を若干非同期化させることによりいくつかの信号の品質を劣化させ得るほぼ１ｍｓの変位を導入し、この非同期化はまた、ビットレートを２３．８５ｋｂｉｔ／ｓから他のモードへ切り替える際に問題となり得る。
●サブフレーム毎の利得の推定（ブロック１０１、１０３〜１０５）は最適ではない。部分的には、サブフレーム毎の利得の推定は、異なる周波数における信号：１６ｋＨｚ（白色雑音）における人工励振と１２．８ｋＨｚ（復号化されたＡＣＥＬＰ励振）における信号との間の１サブフレーム当たりの「絶対」エネルギーの等化（ブロック１０１）に基づく。この手法は高帯域励振の減衰（比１２．８／１６＝０．８のみ）を暗黙的に誘起することに特に注目し得る。実際、０．６に比較的近い増幅（６４００Ｈｚにおける１／（１−０．６８ｚ−１）の周波数応答の値に対応する）を暗黙的に誘起するＡＭＲ−ＷＢコーデックでは、いかなるデエンファシスも高帯域に対し行われないことにも留意されよう。
実際には、１／０．８と０．６の係数はほぼ補償される。
●スピーチに関して、３ＧＰＰ報告ＴＲ２６．９７６において文書化された３ＧＰＰ  ＡＭＲ−ＷＢコーデック特徴付け試験は、２３．８５ｋｂｉｔ／ｓにおけるモードが２３．０５ｋｂｉｔ／ｓにおける品質よりもあまり良くない品質（実際には１５．８５ｋｂｉｔ／ｓにおけるモードと同様の品質）を有することを示した。これは、品質が２３．８５ｋｂｉｔ／ｓにおいて低下され、一方、１フレーム当たり４ビットは元の高周波数のエネルギーを最良に近似できるようにすると考えられるため、人工ＨＦ信号のレベルが非常に慎重に制御されなければならないことを特に示す。
●符号化帯域の７ｋＨｚまでの制限は、音響端末の送信応答（ＩＴＵ−ＴＧ．１９１標準規格Ｐ．３４１のフィルタ）の厳しいモデルの適用から生じる。１６ｋＨｚのサンプリング周波数に関し、７〜８ｋＨｚ帯域内の周波数は、良質なレベルを保証するために特に音楽信号には依然として重要である。
【００１７】
ＡＭＲ−ＷＢ復号化アルゴリズムは、２００８年に標準化されたスケーラブルＩＴＵ−Ｔ  Ｇ．７１８コーデックの開発により部分的に改善された。
【００１８】
ＩＴＵ−Ｔ  Ｇ．７１８標準規格は、コア符号化が１２．６５ｋｂｉｔ／ｓにおけるＧ．７２２．２（ＡＭＲ−ＷＢ）符号化に準拠する、いわゆる相互運用可能モードを含む。さらに、Ｇ．７１８復号器は、ＡＭＲ−ＷＢコーデック（６．６〜２３．８５ｋｂｉｔ／ｓ）のすべての可能なビットレートにおいてＡＭＲ−ＷＢ／Ｇ．７２２．２ビットストリームを復号化することができる特定の特徴を有する。
【００１９】
低遅延モードにおけるＧ．７１８相互運用可能復号器（Ｇ．７１８−ＬＤ）が図２に示される。以下は、必要に応じて図１を参照するＧ．７１８復号器におけるＡＭＲ−ＷＢビットストリーム復号化機能により提供される改善点のリストである。帯域拡張（例えば勧告Ｇ．７１８の節７．１３．１に記載されるブロック２０６）は、６〜７ｋＨｚのバンドパスフィルタと１／ＡＨＢ（ｚ）合成フィルタ（ブロック１１１、１１２）が逆順であることを除きＡＭＲ−ＷＢ復号器のものと同一である。加えて、２３．８５ｋｂｉｔ／ｓでは、ＡＭＲ−ＷＢ符号器により１サブフレーム当たりで送信される４ビットは相互運用可能Ｇ．７１８復号器では使用されない。したがって、２３．８５ｋｂｉｔ／ｓにおける高周波数（ＨＦ）の合成は２３．０５ｋｂｉｔ／ｓと同一であり、２３．８５ｋｂｉｔ／ｓにおけるＡＭＲ−ＷＢ復号化品質の公知の問題を回避する。さらに、７ｋＨｚローパスフィルタ（ブロック１１３）は使用されず、２３．８５ｋｂｉｔ／ｓモードの特定の復号化（ブロック１０７〜１０９）は省略される。１６ｋＨｚにおける合成の後処理（Ｇ．７１８の節７．１４参照）は、（レベルの低減により無音の品質を「向上する」ために）ブロック２０８内の「雑音ゲート」、ハイパスフィルタ処理（ブロック２０９）、低周波におけるクロス高調波雑音を減衰するブロック２１０内の低周波ポストフィルタ（「低音域ポストフィルタ（ｂａｓｓ  ｐｏｓｆｉｌｔｅｒ）」と呼ばれる）、およびブロック２１１内の飽和制御（利得制御またはＡＧＣによる）による１６ビット整数への変換により、Ｇ．７１８において実施される。
【００２０】
しかし、ＡＭＲ−ＷＢおよび／またはＧ．７１８（相互運用可能モード）コーデックにおける帯域拡張は多くの態様に関し依然として制限される。
【００２１】
特に、シェーピングされた白色雑音（ＬＰＣソースフィルタタイプの時間的手法による）による高周波の合成は、６．４ｋＨｚより高い周波数の帯域内の信号の極めて限られたモデルである。
【００２２】
６．４〜７ｋＨｚ帯域のみが人為的に再合成され、一方、実際には、信号の品質を向上する可能性のある広帯域（最大８ｋＨｚ）は、ＩＴＵ−Ｔのソフトウェアツールライブラリ（標準規格Ｇ．１９１）において定義されるようにＰ．３４１タイプ（５０〜７０００Ｈｚ）のフィルタにより前処理されなければ、１６ｋＨｚのサンプリング周波数において理論的に可能である。
【先行技術文献】
【非特許文献】
【００２３】
【非特許文献１】Ｗ．Ｂ．Ｋｌｅｉｊｎ  ａｎｄ  Ｋ．Ｋ．Ｐａｌｉｗａｌ（ｅｄｓ．），Ｓｐｅｅｃｈ  Ｃｏｄｉｎｇ  ａｎｄ  Ｓｙｎｔｈｅｓｉｓ，Ｅｌｓｅｖｉｅｒ，１９９５
【非特許文献２】Ｍ．Ｂｏｓｉ，Ｒ．Ｅ．Ｇｏｌｄｂｅｒｇ，Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｄｉｇｉｔａｌ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ  ａｎｄ  Ｓｔａｎｄａｒｄｓ，Ｓｐｒｉｎｇｅｒ  ２００２
【非特許文献３】Ｊ．Ｂｅｎｅｓｔｙ，Ｍ．Ｍ．Ｓｏｎｄｈｉ，Ｙ．Ｈｕａｎｇ（ｅｄｓ．），Ｈａｎｄｂｏｏｋ  ｏｆ  Ｓｐｅｅｃｈ  Ｐｒｏｃｅｓｓｉｎｇ，Ｓｐｒｉｎｇｅｒ  ２００８
【非特許文献４】Ｂ．Ｂｅｓｓｅｔｔｅ  ｅｔ  ａｌ．ｅｎｔｉｔｌｅｄ"Ｔｈｅ  ａｄａｐｔｉｖｅ  ｍｕｌｔｉｒａｔｅ  ｗｉｄｅｂａｎｄ  ｓｐｅｅｃｈ  ｃｏｄｅｃ（ＡＭＲ−ＷＢ）"，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ａｕｄｉｏ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１０，ｎｏ．８，２００２，ｐｐ．６２０−６３６
【発明の概要】
【発明が解決しようとする課題】
【００２４】
したがって、ＡＭＲ−ＷＢタイプのコーデックまたはこのコーデックの相互運用可能バージョンにおける帯域拡張を改善するための必要性、またはより一般的には、特に帯域拡張の周波数成分を改善するようにオーディオ信号の帯域拡張を改善するための必要性がある。
【課題を解決するための手段】
【００２５】
本発明はこの状況を改善する。
【００２６】
本発明は、この目的のために、復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、低帯域と称する第１の周波数帯域において復号化された信号を得る工程を含む、方法を提案する。本方法は、
−  復号低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程と、
−  結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合する工程と、
−  第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上で、抽出工程前の低帯域復号信号または結合工程後の結合信号を拡張する工程と
を含むようなものである。
【００２７】
以下では、「帯域拡張」は、広義に解釈され、高周波数における副帯域の拡張の場合だけでなく零に設定される副帯域の置換（変換符号化における「雑音充填」タイプ）の場合も含むことに注意されたい。したがって、低帯域の復号化から生じる信号から抽出された音声成分と環境信号とを同時に考慮することにより、人工雑音の使用とは対照的に信号の性質に適した信号モデルにより帯域拡張を行うことが可能である。したがって帯域拡張の品質は改善され、特に音楽信号などのあるタイプの信号について改善される。
【００２８】
実際、低帯域において復号化された信号は、高調波成分と現環境との混合がコヒーレント再構築高帯域を保証できるようにする方法で高周波に変換され得る、音環境に対応する部分を含む。
【００２９】
本発明が相互運用可能ＡＭＲ−ＷＢ符号化に関連して帯域拡張の品質の強化により動機付けられたとしても、異なる実施形態は、オーディオ信号の帯域拡張のより一般的な場合に、特に、帯域拡張に必要なパラメータを抽出するためにオーディオ信号の分析を行う強化装置に適用されることに注意されたい。
【００３０】
以下に述べる様々な特定の実施形態は、独立に、または上に定義された拡張方法の工程と互いに組み合わせて追加され得る。
【００３１】
一実施形態では、帯域拡張は励振の領域において行われ、復号低帯域信号は低帯域復号化励振信号である。
【００３２】
この実施形態の利点は、ウィンドウ処理なしの（または、フレームの長さの暗黙的矩形窓と均等に）変換が励振の領域において可能であることである。この場合、いかなるアーティファクト（ブロック効果）も可聴ではない。
【００３３】
第１の実施形態では、音声成分および環境信号の抽出は、
−  周波数領域内の復号低帯域信号または復号および拡張低帯域信号の優勢音声成分を検出する工程と、
−  環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
【００３４】
この実施形態は、音声成分の精密な検出を可能にする。
【００３５】
複雑度が低い第２の実施形態では、音声成分および環境信号の抽出は、
−  復号低帯域信号または復号および拡張低帯域信号のスペクトルの平均値を計算することにより環境信号を取得する工程と、
−  復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を取得する工程と
に従って行われる。
【００３６】
結合工程の一実施形態では、適応化混合に使用されるエネルギーレベルの制御係数は、復号低帯域信号または復号および拡張低帯域信号と音声成分との合計エネルギーに応じて計算される。
【００３７】
この制御係数の適用は、上記混合における環境信号の相対的比率を最適化するように結合工程を信号の特性に適応化させることができる。したがって、エネルギーレベルは可聴アーティファクトを回避するように制御される。
【００３８】
好適な実施形態では、復号低帯域信号は、変換またはフィルタバンクベースの副帯域分解の工程を受け、抽出工程および結合工程は、その後、周波数領域または副帯域領域において行われる。
【００３９】
周波数領域における帯域拡張の実施形態は、時間的手法では利用できない周波数分析の精細さを得られるようにし、また音声成分を検知するのに十分な周波数分解能が得られるようにする。
【００４０】
詳細な実施形態では、復号および拡張低帯域信号は次式：
【数１７】
2019168709.tif 000019
に従って得られ、ここで、ｋはサンプルの指標であり、Ｕ（ｋ）は変換工程後に得られる信号のスペクトルであり、ＵＨＢ１（ｋ）は拡張信号のスペクトルであり、およびｓｔａｒｔ＿ｂａｎｄは予め定義された変数である。したがって、この関数は、サンプルをこの信号のスペクトルへ追加することによる信号の再サンプリングを含む。しかし、信号を拡張する他の方法が可能であり、例えば副帯域処理における変換によるものが可能である。
【００４１】
本発明はまた、低帯域と称する第１の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置を想定する。本装置は、
−  復号低帯域信号から生じる信号に基づき音声成分と環境信号とを抽出するモジュールと、
−  結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により音声成分と環境信号とを結合するモジュールと、
−  第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上へ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号を拡張し、かつ抽出モジュール前の低帯域復号信号または結合モジュール後の結合信号において実装されるモジュールと
を含む。
【００４２】
この装置は、実施する前述の方法と同じ利点を呈示する。
【００４３】
本発明は、説明したような装置を含む復号器を対象とする。
【００４４】
本発明は、プロセッサにより実行されると、上記帯域拡張方法の工程を実施するコード命令を含むコンピュータプログラムを対象とする。
【００４５】
最後に、本発明は、プロセッサにより読み取られ得、帯域拡張装置に組み込まれても組み込まれなくれもよく、場合により着脱可能であり、前述の帯域拡張方法を実施するコンピュータプログラムを格納する記憶媒体に関する。
【００４６】
本発明の他の特徴および利点は、純粋に非限定的例としておよび添付図面を参照して示される以下の詳細な説明を読むとより明確になる。
【図面の簡単な説明】
【００４７】
【図１】前述の従来技術の周波数帯域拡張工程を実施するＡＭＲ−ＷＢタイプの復号器の一部分を示す。
【図２】前述の従来技術による１６ｋＨｚＧ．７１８−ＬＤ相互運用可能タイプの復号器を示す。
【図３】ＡＭＲ−ＷＢ符号化と相互運用可能であるとともに本発明の一実施形態による帯域拡張装置に組み込まれた復号器を示す。
【図４】本発明の一実施形態による帯域拡張方法の主工程を流れ図の形式で示す。
【図５】復号器に組み込まれた本発明による帯域拡張装置の周波数領域における実施形態を示す。
【図６】本発明による帯域拡張装置のハードウエア実施形態を示す。
【発明を実施するための形態】
【００４８】
図３はＡＭＲ−ＷＢ／Ｇ．７２２．２標準規格に準拠する例示的復号器を示す。例示的復号器内には、Ｇ．７１８に導入されたものと同様の図２を参照して説明した後処理と、ブロック３０９により示された帯域拡張装置により実施される本発明の拡張方法による改善された帯域拡張とが存在する。
【００４９】
１６ｋＨｚの出力サンプリング周波数により動作するＡＭＲ−ＷＢ復号化と、８または１６ｋＨｚにおいて動作するＧ．７１８復号器とは異なり、周波数ｆｓ＝８、１６、３２または４８ｋＨｚの出力（合成）信号により動作し得る復号器が本明細書では考察される。ここでは次のように仮定することに留意されたい。符号化は、ＡＭＲ−ＷＢアルゴリズムに従って行われ、低帯域ＣＥＬＰ符号化に関しては１２．８ｋＨｚの内部周波数により、および１６ｋＨｚの周波数におけるサブフレーム利得符号化に関しては２３．８５ｋｂｉｔ／ｓで行われたが、ＡＭＲ−ＷＢ符号器の相互運用可能変形形態も可能である。本発明はここでは符号化レベルにおいて説明されるが、符号化はまた、周波数ｆｓ＝８、１６、３２または４８ｋＨｚの入力信号により動作し得、本発明の範囲外の適切な再サンプリング動作がｆｓの値に応じて符号化に関して実施される。ｆｓ＝８ｋＨｚの復号器では、ＡＭＲ−ＷＢに準拠する復号化の場合、周波数ｆｓにおける再構築オーディオ帯域は０〜４０００Ｈｚに制限されるため、０〜６．４ｋＨｚ低帯域を拡張する必要はないことに留意されたい。
【００５０】
図３において、ＣＥＬＰ復号化（低周波ＬＦ）は、ＡＭＲ−ＷＢとＧ．７１８におけるのと同様に１２．８ｋＨｚの内部周波数において依然として動作し、本発明の主題である帯域拡張（高周波数ＨＦ）は１６ｋＨｚの周波数で動作し、ＬＦ合成とＨＦ合成は、好適な再サンプリング（ブロック３０７、３１１）後に周波数ｆｓにおいて結合される（ブロック３１２）。本発明の変形形態では、低帯域と高帯域との結合は、低帯域を１２．８から１６ｋＨｚへ再サンプリングした後、結合信号を周波数ｆｓで再サンプリングする前に１６ｋＨｚにおいて行われ得る。
【００５１】
図３による復号化は受信された現フレームに関連するＡＭＲ−ＷＢモード（またはビットレート）に依存する。指標として、およびブロック３０９に影響を与えることなしに、低帯域におけるＣＥＬＰ部分の復号化は下記工程を含む。
●正しく受信されたフレームの場合の符号化パラメータの逆多重化工程（ブロック３００）（「不良フレーム指標」であるｂｆｉ＝０、受信フレームに対して値０、消失フレームに対して１を有する）；
●ＩＳＦパラメータを標準規格Ｇ．７２２．２の節６．１に記載のようにＬＰＣ係数（ブロック３０１）中へ補間および変換することにより復号化する工程；
●１２．８ｋＨｚにおいて長さ６４の各サブフレーム内に励振（ｅｘｃまたはｕ'（ｎ））を再構築する適応化および固定部によりＣＥＬＰ励振を復号化する工程（ブロック３０２）：
【数１８】
2019168709.tif 000020
であって、ＣＥＬＰ復号化に関するＧ．７１８の節７．１．２．１の表記に従って、ｖ（ｎ）とｃ（ｎ）はそれぞれ適応化辞書と固定辞書の符号語であり、
【数１９】
2019168709.tif 000021
は関連付けられた復号化利得である、工程。この励振は、次のサブフレームの適応化辞書内で使用され、次に後処理される。その後、Ｇ．７１８と同様に、励振ｕ'（ｎ）（またｅｘｃで表される）は、ブロック３０３において合成フィルタ
【数２０】
2019168709.tif 000022
の入力として機能するその修正された後処理バージョンｕ（ｎ）（またｅｘｃ２で表される）から識別される。本発明において実施され得る変形形態では、励振に適用される後処理操作は修正され得る（例えば、位相分散が強化され得る）か、またはこれらの後処理操作は、本発明による帯域拡張方法の性質に影響を与えることなしに拡張され得る（例えば、クロス高調波雑音の低減が実施され得る）；
●
【数２１】
2019168709.tif 000023
による合成フィルタ処理工程（ブロック３０３）（ここで、復号化ＬＰＣフィルタ
【数２２】
2019168709.tif 000024
は１６次のものである）；
●ｆｓ＝８ｋＨｚであればＧ．７１８の節７．３による狭帯域後処理（ブロック３０４）；
●フィルタ１／（１−０．６８ｚ−１）によるデエンファシス（ブロック３０５）；
●Ｇ．７１８の節７．１４．１．１に記載のような低周波の後処理（ブロック３０６）。この処理は、高帯域（＞６．４ｋＨｚ）の復号化において考慮される遅延を導入する；
●出力周波数ｆｓにおける１２．８ｋＨｚの内部周波数の再サンプリング（ブロック３０７）。多くの実施形態が可能である。一般性を失うことなしに、本明細書では、一例として、ｆｓ＝８または１６ｋＨｚであればＧ．７１８の節７．６に記載された再サンプリングがここでは繰り返され、ｆｓ＝３２または４８ｋＨｚであれば追加の有限インパルス応答（ＦＩＲ）フィルタが使用されると考えられる；
●Ｇ．７１８の節７．１４．３に記載のように優先的に行われる「雑音ゲート」のパラメータの計算（ブロック３０８）。
【００５２】
本発明において実施され得る変形形態では、励振に適用される後処理操作は修正され得る（例えば、位相分散が強化され得る）か、またはこれらの後処理操作は帯域拡張の性質に影響を与えることなしに拡張され得る（例えば、クロス高調波の雑音の低減が実施され得る）。ここでは、３ＧＰＰ  ＡＭＲ−ＷＢ標準規格において有益な情報である現フレームが失われた（ｂｆｉ＝１）ときの低帯域の復号化のケースを説明しない。一般的に、ＡＭＲ−ＷＢ復号器またはソースフィルタモデルに依存する一般的復号器を扱うかに関わらず、通常、ソースフィルタモデルを保持する一方で消失信号を再構築するようにＬＰＣ励振とＬＰＣ合成フィルタの係数とを最良に推定することに関わる。ｂｆｉ＝１のとき、本明細書では、帯域拡張（ブロック３０９）はｂｆｉ＝０とビットレート＜２３．８５ｋｂｉｔ／ｓの場合として動作し得ると考えられ、したがって、本発明の説明は、以下では、一般性を失うことなしにｂｆｉ＝０を想定する。
【００５３】
ブロック３０６、３０８、３１４の使用は任意選択的であることが注目され得る。
【００５４】
上記低帯域の復号化は６．６〜２３．８５ｋｂｉｔ／ｓのビットレートを有するいわゆる「活性」現フレームを想定することにも留意されよう。実際、ＤＴＸモードが活性化されると、いくつかのフレームは「非活性」として符号化され得、この場合、無音記述子を（３５ビットで）送信するか、または何も送信しないかのいずれかが可能である。特に、ＡＭＲ−ＷＢ符号器のＳＩＤフレームがいくつかのパラメータ：すなわち、８フレームにわたって平均化されたＩＳＦパラメータ、８フレームにわたる平均エネルギー、および非定常雑音の再構築のための「ディザリングフラグ」を記述することが想起される。すべての場合において、復号器内には、活性フレームに関する同じ復号化モデルが存在し、本発明を不活性フレームにも適用できるようにする励振と現フレームのＬＰＣフィルタとの再構築を伴う。同じ観測は、ＬＰＣモデルが適用される「消失フレーム」の復号化（またはＦＥＣ、ＰＬＣ）に当てはまる。
【００５５】
この例示的復号器は、励振の領域において動作し、したがって低帯域励振信号を復号化する工程を含む。本発明による帯域拡張装置および帯域拡張方法はまた、励振の領域と異なる領域において、かつ特に低帯域復号化直接信号または知覚フィルタにより重み付けられた信号により動作する。
【００５６】
ＡＭＲ−ＷＢまたはＧ．７１８復号化とは異なり、説明した復号器は、復号化低帯域（復号器上の５０Ｈｚハイパスフィルタ処理を考慮した５０〜６４００Ｈｚ、一般的な場合の０〜６４００Ｈｚ）を、その幅が現フレーム内で実施されるモードに応じてほぼ５０〜６９００Ｈｚから５０〜７７００Ｈｚまでの範囲で変化する拡張帯域へ拡張できるようにする。したがって、０〜６４００Ｈｚの第１の周波数帯域と６４００〜８０００Ｈｚの第２の周波数帯域とを参照することが可能である。現実には、好ましい実施形態では、高周波のための、かつ、その傾きが拒絶上側帯域においてあまり急でない幅６０００〜６９００または７７００Ｈｚのバンドパスフィルタ処理を可能にするために５０００〜８０００Ｈｚの帯域内の周波数領域において生成される励振である。
【００５７】
高帯域合成部分は、一実施形態の図５において詳述される本発明による帯域拡張装置を表すブロック３０９において生成される。
【００５８】
復号低帯域と復号高帯域とを整合させるために、遅延（ブロック３１０）が導入されブロック３０６とブロック３０９の出力を同期させ、１６ｋＨｚにおいて合成された高帯域は１６ｋＨｚから周波数ｆｓへ再サンプリングされる（ブロック３１１の出力）。遅延Ｔの値は、実施される処理動作に応じて他の場合（ｆｓ＝３２、４８ｋＨｚ）に適応化されなければならなくなる。ｆｓ＝８ｋＨｚの場合、復号器の出力における信号の帯域は０〜４０００Ｈｚに制限されるため、ブロック３０９〜３１１を適用する必要はないことが想起される。
【００５９】
第１の実施形態に従ってブロック３０９において実施される本発明の拡張方法は、１２．８ｋＨｚにおいて再構築された低帯域に対する追加の遅延を優先的には導入しないが、本発明の変形形態では、遅延を導入できるようになる（例えば、時間／周波数変換をオーバーラップして使用することにより）ことに注意されたい。したがって、一般的には、ブロック３１０におけるＴの値は特定の実装形態に応じて調整されなければならなくなる。例えば、低周波の後処理が使用されない場合（ブロック３０６）、ｆｓ＝１６ｋＨｚに対して導入される遅延はＴ＝１５に固定され得る。
【００６０】
低帯域と高帯域は次にブロック３１２において結合（加算）され、得られた合成結果は、その係数が周波数ｆｓに依存する２次の５０Ｈｚハイパスフィルタ処理（ＩＩＲタイプ）により後処理され（ブロック３１３）、Ｇ．７１８と同様の方法で「雑音ゲート」の任意選択的適用により後処理を出力する（ブロック３１４）。
【００６１】
図５の復号器の実施形態によるブロック３０９により示される本発明による帯域拡張装置は、図４を参照して次に説明される（広義の）帯域拡張方法を実施する。
【００６２】
この拡張装置はまた、復号器とは独立し得、同装置へ格納または送信される現存オーディオ信号の帯域拡張を行う（例えば励振をそれから抽出する同オーディオ信号の分析とＬＰＣフィルタとにより）図４において説明される方法を実施し得る。
【００６３】
この装置は、励振の領域または信号の領域であり得る低帯域ｕ（ｎ）と称する第１の周波数帯域において復号化された信号を入力として受信する。ここで説明する実施形態では、時間周波数変換またはフィルタバンクによる副帯域分解の工程（Ｅ４０１ｂ）は、周波数領域における実施のための低帯域復号信号Ｕ（ｋ）のスペクトルを得るために低帯域復号信号へ適用される。
【００６４】
拡張された低帯域復号信号ＵＨＢ１（ｋ）を得るように第１の周波数帯域より高い第２の周波数帯域において低帯域復号信号を拡張する工程Ｅ４０１ａは、分析工程（副帯域への分解）の前または後にこの低帯域復号信号に対して行われ得る。この拡張工程は再サンプリング工程と拡張工程（または単純には入力において得られる信号に応じた周波数変換または転換の工程）とを同時に含み得る。変形形態では、工程Ｅ４０１ａは、図４において説明する処理（拡張前の主に低帯域信号に対して行われる）の終わりに（すなわち、結合信号に対して）行うことができ、その結果は均等であることに注意されたい。
【００６５】
この工程は図５を参照して説明する実施形態において後で詳述される。
【００６６】
環境信号（ＵＨＢＡ（ｋ））と音声成分（ｙ（ｋ））とを抽出する工程Ｅ４０２は、復号低帯域信号（Ｕ（ｋ））または復号および拡張低帯域信号（ＵＨＢ１（ｋ））に基づき行われる。環境信号はここでは、現存信号から主（または優勢）高調波（または音声成分）を消去することにより得られる残留信号として定義される。
【００６７】
ほとんどの広帯域信号（１６ｋＨｚにおいてサンプリングされた）では、高帯域（＞６ｋＨｚ）は、低帯域内に存在するものとほぼ同様の環境情報を含む。
【００６８】
音声成分と環境信号とを抽出する工程は、例えば、
−  周波数領域内の復号（または復号および拡張）低帯域信号の優勢音声成分の検出工程と、
−  環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
を含む。
【００６９】
この工程はまた、
−  復号（または復号および拡張）低帯域信号の平均値を計算することにより環境信号を得る工程と、
−  復号低帯域信号または復号および拡張低帯域信号から計算環境信号を減じることにより音声成分を得る工程と
により得られ得る。
【００７０】
音声成分および環境信号は、いわゆる結合信号（ＵＨＢ２（ｋ））を得る工程Ｅ４０３におけるエネルギーレベル制御係数を用いてその後適応的方法で結合される。このとき、復号低帯域信号に対して未だ行われていなければ拡張工程Ｅ４０１ａが実施され得る。
【００７１】
したがって、これらの２つのタイプの信号を結合することで、音楽信号などのいくつかのタイプの信号により好ましく、かつ周波数成分の質がより高く、かつ第１および第２の周波数帯域を含む全周波数帯域に対応する拡張周波数帯域における質がより高い特性を有する結合信号が得られるようにする。
【００７２】
本方法による帯域拡張は、ＡＭＲ−ＷＢ標準規格に記載された拡張に関するこのタイプの信号の品質を改善する。
【００７３】
環境信号と音声成分との結合を使用することで、人工信号ではなく真の信号の特性により近くするようにこの拡張信号の質を向上できるようにする。
【００７４】
この結合工程については図５を参照して後で詳述する。
【００７５】
信号を時間領域に戻すためにＥ４０４ｂにおいて合成工程（４０１ｂにおける分析に対応する）が行われる。
【００７６】
任意選択的な方法で、高帯域信号のエネルギーレベルを調整する工程は、合成工程の前および／または後に、利得を適用することによりおよび／または適切なフィルタ処理によりＥ４０４ａにおいて行われ得る。この工程については、ブロック５０１〜５０７の図５に記載された実施形態においてさらに詳細に説明する。
【００７７】
例示的実施形態において、次に、帯域拡張装置５００について、この装置だけでなくＡＭＲ−ＷＢ符号化による相互運用可能タイプの復号器における実施に好適な処理モジュールも同時に示す図５を参照して説明する。この装置５００は図４を参照して前述した帯域拡張方法を実施する。
【００７８】
したがって、処理ブロック５１０は復号低帯域信号（ｕ（ｎ））を受信する。特定の実施形態では、帯域拡張は、図３のブロック３０２により出力されるような１２．８ｋＨｚにおける復号化励振（ｅｘｃ２またはｕ（ｎ））を使用する。
【００７９】
この信号は、一般的には信号ｕ（ｎ）の副帯域Ｕ（ｋ）への分解を得るために変換を行うか、またはフィルタバンクを適用する副帯域分解モジュール５１０（図４の工程Ｅ４０１ｂを実施する）により周波数副帯域に分解される。
【００８０】
特定の実施形態では、下記式に従う直接変換、ｕ（ｎ），ｎ＝０，・・・，２５５となるＤＣＴ−ＩＶ（「離散コサイン変換」−タイプＩＶ）タイプの変換（ブロック５１０）が２０ｍｓ（２５６サンプル）の現フレームへウィンドウ処理なしに適用される。
【数２３】
2019168709.tif 000025
ここで、Ｎ＝２５６、ｋ＝０，・・・，２５５である。
【００８１】
ウィンドウ処理なしの（均等的にフレームの長さの暗黙的矩形窓による）変換は、同処理が信号領域ではなく励振領域において行われる場合に可能である。この場合、アーティファクト（ブロック効果）は可聴でなく、したがって本発明のこの実施形態の著しい利点を構成する。
【００８２】
この実施形態では、ＤＣＴ−ＩＶ変換は、Ｄ．Ｍ．Ｚｈａｎｇ，Ｈ．Ｔ．Ｌｉによる記事Ａ  Ｌｏｗ  Ｃｏｍｐｌｅｘｉｔｙ  Ｔｒａｎｓｆｏｒｍ−Ｅｖｏｌｖｅｄ  ＤＣＴ，ＩＥＥＥ  １４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｓｃｉｅｎｃｅ  ａｎｄ  Ｅｎｇｉｎｅｅｒｉｎｇ（ＣＳＥ），Ａｕｇ．２０１１，ｐｐ．１４４−１４９に記載されたいわゆる「進化型（Ｅｖｏｌｖｅｄ）ＤＣＴ」（ＥＤＣＴ）アルゴリズムに従ってＦＦＴにより実施され、標準規格ＩＴＵ−Ｔ  Ｇ．７１８  Ａｎｎｅｘ  ＢとＧ．７２９．１において実施される。
【００８３】
本発明の変形形態において、かつ一般性を失うことなく、ＤＣＴ−ＩＶ変換は、同じ長さの他の短期的時間−周波数変換により、および励振領域またはＦＦＴ（「高速フーリエ変換」）またはＤＣＴ−ＩＩ（離散コサイン変換  −  タイプＩＩ）などの信号領域において置換されることができるようになる。または、重複加算と現フレームの長さより大きな長さのウィンドウ処理とによる変換により（例えばＭＤＣＴ（「修正離散余弦変換」）を使用することにより）フレームに対するＤＣＴ−ＩＶを置換することが可能となる。この場合、図３のブロック３１０における遅延Ｔは、この変換による分析／合成による追加遅延に応じて適切に調整（低減）されなければならなくなる。
【００８４】
別の実施形態では、副帯域分解は実数または複素数フィルタバンク（例えばＰＱＭＦ（擬ＱＭＦ）タイプ）を適用することにより行われる。いくつかのフィルタバンクでは、所与のフレーム内の副帯域毎に、スペクトル値ではなく、副帯域に関連付けられた一連の時間値が得られる。この場合、本発明において好ましい実施形態は、例えば各副帯域の変換を行うことにより、かつ絶対値の領域において環境信号を計算することにより適用され得、音声成分は信号（絶対値）と環境信号とを区別することにより依然として得られる。複素数フィルタバンクの場合、サンプルの複素数モジュラスが絶対値を置換することになる。
【００８５】
他の実施形態では、本発明は２つの副帯域を使用するシステムにおいて適用され、低帯域は変換またはフィルタバンクにより分析される。
【００８６】
ＤＣＴの場合、帯域０〜６４００Ｈｚ（１２．８ｋＨｚにおける）をカバーする２５６サンプルのＤＣＴスペクトルＵ（ｋ）は、次の形式の０〜８０００帯域Ｈｚ（１６ｋＨｚにおける）をカバーする３２０サンプルのスペクトルへその後拡張される（ブロック５１１）。
【数２４】
2019168709.tif 000026
ここで、ｓｔａｒｔ＿ｂａｎｄ＝１６０と優先的に採られる。
【００８７】
ブロック５１１は、図４の工程Ｅ４０１ａ、すなわち低帯域復号信号の拡張を実行する。この工程はまた、サンプル（ｋ＝２４０・・・，３１９）の１／４をスペクトルへ加算することにより周波数領域内の１２．８ｋＨｚから１６ｋＨｚへ再サンプリングする工程を含み得る（ここで１６と１２．８の比は５／４である）。
【００８８】
指標２００〜２３９の範囲のサンプルに対応する周波数帯域において、元のスペクトルは、この周波数帯域内のハイパスフィルタの漸進的減衰応答をそれに適用することができるように、また低周波合成と高周波合成との加算の工程において可聴欠陥を導入しないように保持される。
【００８９】
この実施形態ではオーバーサンプルおよび拡張スペクトラムの生成は、５〜８ｋＨｚの範囲、したがって第１の周波数帯域（０〜６．４ｋＨｚ）より高い第２の周波数帯域（６．４〜８ｋＨｚ）を含む周波数帯域において行われることに注意されたい。
【００９０】
したがって、復号低帯域信号の拡張は、少なくとも第２の周波数帯域に対してであるがまた第１の周波数帯域の一部に対しても行われる。
【００９１】
明らかに、これらの周波数帯域を定義する値は復号器または本発明が適用される処理装置に応じて異なリ得る。
【００９２】
さらに、ブロック５１１は、ＵＨＢ１（ｋ）の第１の２００サンプルが零に設定されるため、０〜５０００Ｈｚ帯域において暗黙的ハイパスフィルタ処理を行う。後で説明するように、このハイパスフィルタ処理はまた、５０００〜６４００Ｈｚ帯域内の指標ｋ＝２００，・・・，２５５のスペクトル値の漸進的減衰の一部により補完され得、この漸進的減衰はブロック５０１において実施されるが、ブロック５０１外で別個に行われ得る。均等的に、かつ本発明の変形形態において、変換領域における減衰係数ｋ＝２００，・・・，２５５のうちの零へ設定された指標ｋ＝０，・・・，１９９の係数のブロックに分離されたハイパスフィルタ処理の実施は、したがって単一工程で行われることができるようになる。
【００９３】
この例示的実施形態において、およびＵＨＢ１（ｋ）の定義によると、ＵＨＢ１（ｋ）の５０００〜６０００Ｈｚ帯域（指標ｋ＝２００，・・・，２３９に対応する）はＵ（ｋ）の５０００〜６０００Ｈｚ帯域から複製されることに注意されたい。この手法は、元のスペクトルをこの帯域内に保持できるようにし、ＨＦ合成とＬＦ合成との加算の際に５０００〜６０００Ｈｚ帯域に歪みを導入しないようにする。特に、この帯域内の信号の位相（ＤＣＴ−ＩＶ領域内に暗黙的に表された）が保存される。
【００９４】
ＵＨＢ１（ｋ）の６０００〜８０００Ｈｚ帯域はここでは、ｓｔａｒｔ＿ｂａｎｄの値が１６０に優先的に設定されるため、Ｕ（ｋ）の４０００〜６０００Ｈｚ帯域を複製することにより定義される。
【００９５】
本実施形態の変形形態では、ｓｔａｒｔ＿ｂａｎｄの値は、本発明の性質を修正することなしに、１６０の値あたりで適応化させることができるようになる。ｓｔａｒｔ＿ｂａｎｄ値の適応化の詳細は、本発明の範囲を変更することなく本発明のフレームワークを越えるため、ここでは説明しない。
【００９６】
ほとんどの広帯域信号（１６ｋＨｚにおいてサンプリングされた）では、高帯域（＞６ｋＨｚ）は、低帯域内に存在するものと元々同様の環境情報を含む。環境情報はここで、現存信号から主（すなわち優勢）高調波を消去することにより得られる残留信号として定義される。６０００〜８０００Ｈｚ帯域における高調波レベルは通常、より低い周波数帯域のものと相関付けられる。
【００９７】
この復号および拡張低帯域信号は、入力として拡張装置５００へ特にはモジュール５１２へ提供される。したがって、音声成分と環境信号を抽出するブロック５１２は、周波数領域において図４の工程Ｅ４０２を実行する。したがって、ｋ＝２４０，・・・，３１９（８０サンプル）の環境信号ＵＨＢＡ（ｋ）は、その後結合ブロック５１３において適応的方法で抽出音声成分ｙ（ｋ）と結合するように、第２の周波数帯域（いわゆる高周波）に対して得られる。
【００９８】
特定の実施形態では、音声成分と環境信号（６０００〜８０００Ｈｚ帯域内）との抽出は、次の操作に従って行われる。
●拡張復号低帯域信号ｅｎｅｒＨＢの全エネルギーの計算：
【数２５】
2019168709.tif 000027
ここで、ε＝０．１（この値は異なり得るが、本明細書では、一例として固定される）である。
●本明細書ではスペクトルの平均レベルｌｅｖ（ｉ）に対応する環境情報（絶対値）の計算（スペクトル線毎）と優勢音声部分（高周波スペクトル内）のエネルギーｅｎｅｒｔｏｎａｌの計算、ｉ＝０，...，Ｌ−１に対し、この平均レベルは次式により得られる。
【数２６】
2019168709.tif 000028
これは平均レベル（絶対値）に対応し、したがってスペクトルの一種の包絡線を表す。この実施形態では、Ｌ＝８０であり、Ｌはスペクトルの長さを表し、および０〜Ｌ−１の指標ｉは２４０〜３１９の指標ｊ＋２４０（すなわち６〜８ｋＨｚのスペクトル）に対応する。
【００９９】
一般的に、ｆｂ（ｉ）＝ｉ−１、ｆｎ（ｉ）＝ｉ＋７であるが、第１および最後の７つの指標（ｉ＝０・・・，６、ｉ＝Ｌ−７・・・，Ｌ−１）は特殊処理を必要とする。一般性を失うことなく、次に、
ｆｂ（ｉ）＝０およびｆｎ（ｉ）＝ｉ＋７、ｉ＝０，・・・，６の場合、
ｆｂ（ｉ）＝ｉ−７およびｆｎ（ｉ）＝Ｌ−１、ｉ＝Ｌ−７，・・・，Ｌ−１の場合
を定義する。
【０１００】
本発明の変形形態では、｜ＵＨＢ１（ｊ＋２４０）｜，ｊ＝ｆｂ（ｉ）、...ｆｎ（ｉ）の平均値は同じ組の値に関するメジアン値で置換され得る、すなわちｌｅｖ（ｉ）−ｍｅｄｉａｎｊ＝ｆｂ（ｉ），．．，ｆｎ（ｉ）（｜ＵＨＢ１（ｊ＋２４０）｜）である。この変形形態は、滑り平均（ｓｌｉｄｉｎｇ  ｍｅａｎ）より複雑な欠陥（多くの計算という意味合いで）を有する。他の変形形態では、非一様重み付けが平均項に適用され得るか、またはメディアンフィルタ処理は例えば「スタックフィルタ」タイプの他の非線形フィルタで置換され得る。
【０１０１】
残留信号も次のように計算される。
ｙ（ｉ）＝（｜ＵＨＢ１（ｉ＋２４０）｜）−ｌｅｖ（ｉ），ｉ＝０，...，Ｌ−１
これは、所与のスペクトル線ｉにおける値ｙ（ｉ）が正（ｙ（ｉ）＞０）であれば、音声成分に（ほぼ）対応する。
【０１０２】
したがって、この計算は音声成分の暗黙的検出を含む。したがって、音声部分は適応化閾値を表す中間項ｙ（ｉ）を用いて暗黙的に検知される。検出条件はｙ（ｉ）＞０である。本発明の変形形態では、この条件は、例えば信号の局所包絡線上に依存する適応化閾値を定義することによりまたはｙ（ｉ）＞ｌｅｖ（ｉ）＋ｘｄＢ形式で変更され得る。ここで、ｘは予め定義された値（例えばｘ＝１０ｄＢ））を有する。
【０１０３】
優勢音声部分のエネルギーは次式により定義される。
【数２７】
2019168709.tif 000029
【０１０４】
当然ながら、環境信号を抽出するための他の方式が想定され得る。例えば、この環境信号は、低周波信号または任意選択的に別の周波数帯域（またはいくつかの周波数帯域）から抽出され得る。
【０１０５】
音声スパイクまたは成分の検出は異なる方法で行われ得る。
【０１０６】
この環境信号の抽出はまた、復号化されたが拡張されなかった励振に対して、すなわちスペクトル拡張または変換工程前に、すなわち例えば高周波信号に対して直接的にではなくむしろ低周波信号の一部に対して行われ得る。
【０１０７】
変形実施形態では、音声成分と環境信号の抽出は、異なる順で、かつ、
−  周波数領域内の復号（または復号および拡張）低帯域信号の優勢音声成分の検出工程と、
−  環境信号を得るために優勢音声成分の抽出により残留信号を計算する工程と
に従って行われる。
【０１０８】
この変形形態は例えば次の方法で行われ得る。スパイク（または音声成分）は、次の判定基準が満たされれば、振幅｜ＵＨＢ１（ｉ＋２４０）｜のスペクトル内の指標ｉのスペクトル線において検知される。
｜ＵＨＢ１（ｉ＋２４０）｜＞｜ＵＨＢ１（ｉ＋２４０−１）｜、｜ＵＨＢ１（ｉ＋２４０）｜＞｜ＵＨＢ１（ｉ＋２４０＋１）｜，ｉ＝０，...，Ｌ−１
スパイクが指標ｉのスペクトル線において検知されると直ちに、正弦波モデルが、このスパイクに関連付けられた音声成分の振幅、周波数および任意選択的に位相パラメータを推定するように適用される。この推定の詳細はここでは提示されないが、周波数の推定は通常、３点の振幅｜ＵＨＢ１（ｉ＋２４０）｜（ｄＢで表現される）を近似する放物線の最大値の位置を特定するように３点にわたる放物線補間を要求し得、振幅推定はこの同じ補間により得られる。ここで使用される変換（ＤＣＴ−ＩＶ）領域は位相を直接得られるようにしないため、一実施形態ではこの項を無視することが可能となるが、変形形態では、位相項を推定するためにＤＳＴタイプの直交変換を適用することが可能となる。ｙ（ｉ），ｉ＝０，...，Ｌ−１の初期値は零に設定される。各音声成分の正弦波パラメータ（周波数、振幅および任意選択的に位相）が推定され、次に、項ｙ（ｉ）は、推定正弦波パラメータに従ってＤＣＴ−ＩＶ領域（または、いくつかの他の副帯域分解が使用されれば、他の領域）に変換された純粋な正弦関数の予め定義されたプロトタイプ（スペクトル）の和として計算される。最後に、振幅スペクトルの領域を絶対値として表わすために絶対値が項ｙ（ｉ）へ適用される。音声成分を判断するための他の方式が可能であり、例えば、この包絡線を越えるスパイクとして音声成分を検知するとともに下記ｙ（ｉ）を定義するために、この包絡線を一定レベル（ｄＢ）だけ低下させるために、｜ＵＨＢ１（ｉ＋２４０）｜の極大値（検知されたスパイク）のスプライン補間により信号の包絡線ｅｎｖ（ｉ）を計算することも可能であろう。
ｙ（ｉ）＝ｍａｘ（｜ＵＨＢ１（ｉ＋２４０）｜−ｅｎｖ（ｉ），０）
【０１０９】
したがって、この変形形態では、環境信号は次式により得られる。
ｌｅｖ（ｉ）＝｜ＵＨＢ１（ｉ＋２４０）｜−ｙ（ｉ），ｉ＝０，...，Ｌ−１
【０１１０】
本発明の他の変形形態では、スペクトル値の絶対値は、例えば本発明の原理を変えることなくスペクトル値の２乗により置換される。この場合、信号領域に戻るために、２乗根が必要になり、これは実行するのがより複雑である。
【０１１１】
結合モジュール５１３は、環境信号と音声成分との適応化混合により結合工程を行う。したがって、環境レベル制御係数は次式により定義される。
【数２８】
2019168709.tif 000030
βは係数であり、その例示的計算が以下に与えられる。
【０１１２】
拡張信号を得るために、最初に、ｉ＝０，...，Ｌ−１の場合の絶対値の結合信号を得る。
【数２９】
2019168709.tif 000031
この式にはＵＨＢ１（ｋ）の符号が適用される。
ｙ''（ｉ）＝ｓｇｎ（ＵＨＢ１（ｉ＋２４０））ｙ'（ｉ）
ここで、下記関数ｓｇｎ（．）は符号を与える。
【数３０】
2019168709.tif 000032
定義により、係数Γ＞１である。条件ｙ（ｉ）＞０によりスペクトル線毎に検知された音声成分は係数Γだけ低減され、平均レベルは係数１／Γだけ増幅される。
【０１１３】
適応化混合ブロック５１３では、エネルギーレベルの制御係数は復号（または復号および拡張）低帯域信号と音声成分との合計エネルギーに応じて計算される。
【０１１４】
適応化混合の好適な実施形態では、エネルギー調整は次の方法で行われる。
ＵＨＢ２（ｋ）＝ｆａｃ．ｙ''（ｋ−２４０），ｋ＝２４０，...，３１９
ＵＨＢ２（ｋ）は帯域拡張結合信号である。
【０１１５】
調整係数は次式により定義される。
【数３１】
2019168709.tif 000033
ここでγはエネルギーの過剰推定を回避できるようにする。例示的実施形態では、信号の連続帯域内の音声成分のエネルギーに関して同じレベルの環境信号を保持するようにβを計算する。３つの帯域：２０００〜４０００Ｈｚ、４０００〜６０００Ｈｚ、および６０００〜８０００Ｈｚ内の音声成分のエネルギーを以下の式により計算する。
【数３２】
2019168709.tif 000034
ここで、
【数３３】
2019168709.tif 000035
ここで、Ｎ（ｋ１，ｋ２）は指標ｋの組であり、指標ｋの係数は音声成分に関連付けられて分類される。この組は、例えば｜Ｕ'（ｋ）｜＞ｌｅｖ（ｋ）を満足するＵ'（ｋ）内の局所スパイクを検出することにより得ることができる。またはｌｅｖ（ｋ）は、スペクトル線毎のスペクトルの平均レベルとして計算される。
【０１１６】
音声成分のエネルギーを計算する他の方式（例えば、考察帯域全体にわたるスペクトルのメジアン値を取ることによる方式）が可能であることに留意されたい。βを、４〜６ｋＨｚと６〜８ｋＨｚ帯域における音声成分のエネルギーの比が２〜４ｋＨｚおよび４〜６ｋＨｚ帯域における音声成分のエネルギーの比と同じとなるように固定する。
【数３４】
2019168709.tif 000036
ここで、
【数３５】
2019168709.tif 000037
ｍａｘ（．，．）は２つの引き数の最大値を与える関数である。
【０１１７】
本発明の変形形態では、βの計算は他の方式で置換され得る。例えば、一変形形態では、ＡＭＲ−ＷＢコーデックにおいて計算されたものと同様の「傾き」パラメータを含む低帯域信号を特徴付ける様々なパラメータ（または「特徴」）を抽出（計算）することが可能となり、および係数βは、その値を０〜１に制限することによりこれらの様々なパラメータに基づき線形回帰の関数として推定される。線形回帰は例えば、学習ベースで元の高帯域を与えられることにより係数βを推定することによる統括管理的方法で推定されることができる。βが計算される方法は本発明の性質を限定しないことに注意されたい。その後、パラメータβは、所与の帯域において加算される環境信号と信号が通常、同じ帯域内の同じエネルギーを有する高調波信号より強いものとして感知されることを考慮することにより、γを計算するために使用され得る。αを、高調波信号へ加算された環境信号の量であるように定義すれば、
【数３６】
2019168709.tif 000038
αの減少関数としてγを計算することが可能となる、例えば、
【数３７】
2019168709.tif 000039
ｂ＝１．１、ａ＝１．２、かつγは０．３〜１に制限される。ここで再び、αおよびγの他の定義が本発明のフレームワーク内で可能である。
【０１１８】
帯域拡張装置５００の出力において、ブロック５０１は、特定の実施形態では、任意選択的な方法で、バンドパスフィルタ周波数応答の適用と周波数領域内のデエンファシス（すなわち強調解除）フィルタ処理との２重操作を行う。
【０１１９】
本発明の変形形態では、デエンファシスフィルタ処理は、ブロック５０２後（または、さらにはブロック５１０の前）の時間領域において行うことができることになる。しかし、この場合、ブロック５０１において行われるバンドパスフィルタ処理は、やや感知可能な方法で復号化低帯域を修正し得るデエンファシスにより増幅される極低レベルのいくつかの低周波成分を残し得る。このため、ここでは周波数領域内でデエンファシスを行うのが好ましい。好適な実施形態では、指標Ｋ＝０，・・・，１９９の係数は零へ設定され、したがってデエンファシスはより高い係数に限定される。励振は最初に次式に従ってデエンファシスされる。
【数３８】
2019168709.tif 000040
ここで、Ｇｄｅｅｍｐｈ（ｋ）は、限定離散周波数帯域にわたるフィルタ１／（１−０．６８ｚ−１）の周波数応答である。ＤＣＴ−ＩＶの離散（奇数）周波数を考慮することにより、Ｇｄｅｅｍｐｈ（ｋ）はここでは次のように定義される。
【数３９】
2019168709.tif 000041
ここで、
【数４０】
2019168709.tif 000042
である。
【０１２０】
ＤＣＴ−ＩＶ以外の変換が使用される場合、θｋの定義は調整されることができる（例えば、周波数に関しても）。
【０１２１】
デエンファシスは、５０００〜６４００Ｈｚ周波数帯域に対応するｋ＝２００，・・・，２５５に対して２段階で適用されることに注意すべきであり、ここで、応答１／（１−０．６８ｚ−１）は１２．８ｋＨｚにおいて、および６４００〜８０００Ｈｚの周波数帯域に対応するｋ＝２５６，・・・，３１９に対して適用され、応答は、ここでは１６ｋＨｚから６．４〜８ｋＨｚ帯域内の一定値へ拡張される。
【０１２２】
ＡＭＲ−ＷＢコーデックではＨＦ合成はデエンファシスされないことに注目し得る。本明細書に提示された実施形態では、高周波信号は、逆に、図３のブロック３０５を出る低周波信号（０〜６．４ｋＨｚ）に整合する領域に戻すようにデエンファシスされる。これは、ＨＦ合成のエネルギーの推定とその後の調整とのために重要である。
【０１２３】
本実施形態の変形形態では、複雑性を低減するために、上記実施形態の条件下でｋ＝２００，・・・，３１９に対して例えばＧｄｅｅｍｐｈ（ｋ）の平均値にほぼ対応するＧｄｅｅｍｐｈ（ｋ）＝０．６を採用することによりＧｄｅｅｍｐｈ（ｋ）をｋとは無関係の一定値に設定することが可能となる。
【０１２４】
復号器の実施形態の別の変形形態では、デエンファシスは、逆ＤＣＴ後に時間領域内で均等な方法で行われることができるようになる。
【０１２５】
デエンファシスに加えて、バンドパスフィルタ処理が２つの別個の部品（一方は固定のハイパスフィルタ、他方は適応型（ビットレートに応じた）ローパスフィルタ）により適用される。
【０１２６】
このフィルタ処理は周波数領域において行われる。
【０１２７】
好適な実施形態では、ローパスフィルタ部分応答は、周波数領域において次のように計算される。
【数４１】
2019168709.tif 000043
ここで、６．６ｋｂｉｔ／ｓにおいてＮｌＰ＝６０、８．８５ｋｂｉｔ／ｓにおいてＮｌＰ＝４０、＞８．８５ビット／ｓのビットレートにおいてＮｌＰ＝２０である。
【０１２８】
次に、バンドパスフィルタは次の形式で適用される。
【数４２】
2019168709.tif 000044
Ｇｈｐ（ｋ），ｋ＝０，・・・，５５の定義は、例えば次の表１に与えられる。
【０１２９】
【表１】
2019168709.tif 000045
【０１３０】
本発明の変形形態ではＧｈｐ（ｋ）の値は漸進的減衰を維持する一方で修正されることができるようになることに注意されたい。同様に、可変帯域幅Ｇｌｐ（ｋ）を有するローパスフィルタ処理は、このフィルタ処理工程の原理を変えることなしに、異なる値または周波数支援により調整されることができるようになる。
【０１３１】
バンドパスフィルタ処理は、ハイパスフィルタ処理とローパスフィルタ処理とを結合する単一フィルタ処理工程を定義することにより適応化されることができるようになることにも留意されよう。
【０１３２】
別の実施形態では、バンドパスフィルタ処理は、逆ＤＣＴ工程後、ビットレートに基づき異なるフィルタ係数により時間領域において均等な方法で（図１のブロック１１２と同様に）行われることができるようになる。しかし、フィルタ処理はＬＰＣ励振の領域において行われるため、周波数領域においてこの工程を直接行うことが有利であり、したがって巡回畳み込みの問題とエッジ効果の問題はこの領域内では極めて制限されることに注意されたい。
【０１３３】
逆変換ブロック５０２は、１６ｋＨｚにおいてサンプリングされた高周波信号を発見するために３２０サンプルに対して逆ＤＣＴを行う。その実施形態は、ＤＣＴ−ＩＶが変換の長さが２５６ではなく３２０であることを除いて正規直交であるため、ブロック５１０と同一であり、次式が得られる。
【数４３】
2019168709.tif 000046
ここで、Ｎ１６ｋ＝３２０、ｋ＝０，・・・，３１９である。
【０１３４】
ブロック５１０がＤＣＴではないが副帯域中への他のある変換または分解である場合、ブロック５０２は、ブロック５１０において行われた分析に対応する合成を行う。
【０１３５】
１６ｋＨｚにおける標本化信号は、その後任意選択的な方法で、８０サンプルのサブフレーム毎に定義された利得によりスケーリングされる（ブロック５０４）。好適な実施形態では、利得ｇＨＢ１（ｍ）は、サブフレーム同士のエネルギーの比によりサブフレーム毎に最初に計算され（ブロック５０３）、したがって、現フレームの指標ｍ＝０、１、２または３の各サブフレームでは、
【数４４】
2019168709.tif 000047
であり、ここで、
【数４５】
2019168709.tif 000048
であり、ここで、ε＝０．０１である。１サブフレーム当たりの利得ｇＨＢ１（ｍ）は次の形式で書かれ得る。
【数４６】
2019168709.tif 000049
これは、信号ｕＨＢ内では、信号ｕ（ｎ）と同様に、１サブフレーム当たりのエネルギーと１サブフレーム当たりのエネルギーとの同じ比が保証されることを示す。
【０１３６】
ブロック５０４は、次式に従って結合信号のスケーリング（図４の工程Ｅ４０４ａに含まれる）を行う。
ｕＨＢ'（ｎ）＝ｇＨＢ１（ｍ）ｕＨＢ（ｎ）、ｎ−８０ｍ，・・・８０（ｍ＋１）−１
【０１３７】
ブロック５０３の実施形態は、現フレームレベルにおけるエネルギーがサブフレームのものに加えて考慮されるため、図１のブロック１０１のものと異なることに注意されたい。これにより、フレームのエネルギーと各サブフレームのエネルギーとの比を有することが可能になる。したがって、絶対エネルギーではなく低帯域と高帯域間とのエネルギーの比（すなわち相対エネルギー）が比較される。
【０１３８】
したがって、このスケーリング工程は、高帯域において、低帯域におけるのと同じ方法で、サブフレームとフレームとのエネルギーの比を保持できるようにする。
【０１３９】
任意選択的な方法では、ブロック５０６はその後、次式に従って信号のスケーリング（図４の工程Ｅ４０４ａに含まれる）を行う。
ｕＨＢ''（ｎ）＝ｇＨＢ２（ｍ）ｕＨＢ'（ｎ），ｎ−８０ｍ，・・・８０（ｍ＋１）−１
ここで、利得ｇＨＢ２（ｍ）はＡＭＲ−ＷＢコーデックのブロック１０３、１０４、１０５を実行することによりブロック５０５から得られる（ブロック１０３の入力は、低帯域において復号化された励振ｕ（ｎ）である）。ブロック５０５と５０６は、ＬＰＣ合成フィルタ（ブロック５０７）のレベルを調整する（ここでは信号の傾きに応じて）のに役立つ。本発明の性質を変えることなく利得ｇＨＢ２（ｍ）を計算する他の方式が可能である。
【０１４０】
最後に、信号ｕＨＢ'（ｎ）またはｕＨＢ''（ｎ）は、ここでは伝達関数
【数４７】
2019168709.tif 000050
として採ることにより具現化され得るフィルタ処理モジュール５０７によりフィルタ処理される。ここで、６．６ｋｂｉｔ／ｓにおいてγ＝０．９、他のビットレートにおいてγ＝０．６であり、これにより次数１６のフィルタの次数を制限する。変形形態において、このフィルタ処理は、ＡＭＲ−ＷＢ復号器の図１のブロック１１１に対して説明したのと同じ方法で行われることができるようになるが、フィルタの次数は６．６ビットレートでは２０に変わり、これは合成信号の品質を著しくは変えない。別の変形形態では、ブロック５０７において実施されるフィルタの周波数応答を計算した後に周波数領域内でＬＰＣ合成フィルタ処理を行うことが可能となる。
【０１４１】
本発明の変形実施形態では、低帯域（０〜６．４ｋＨｚ）の符号化はＡＭＲ−ＷＢにおいて使用されるもの以外のＣＥＬＰ符号器（例えば、８ｋｂｉｔ／ｓにおけるＧ．７１８のＣＥＬＰ符号器など）により置換されることができるようになる。一般性を失うことなく、他の広帯域符号器または１６ｋＨｚより高い周波数において動作する符号器（低帯域の符号化が１２．８ｋＨｚの内部周波数により動作する）が使用可能であろう。さらに、本発明は明らかに、低周波符号器が元信号または再生信号のサンプリング周波数未満のサンプリング周波数により動作する場合、１２．８ｋＨｚ以外のサンプリング周波数に適応化され得る。低帯域復号化が線形予測を使用しない場合は、拡張されるべき励振信号は存在しない。この場合、現フレームにおいて再構築された信号のＬＰＣ分析を行うことが可能となり、ＬＰＣ励振は、本発明を適用することができるように計算される。
【０１４２】
最後に、本発明の別の変形形態では、励振または低帯域信号（ｕ（ｎ））は、長さ３２０の変換（例えばＤＣＴ−ＩＶ）前に、例えば線形補間または３次「スプライン」補間により１２．８ｋＨｚから１６ｋＨｚへ再サンプリングされる。この変形形態は、このとき励振または信号の変換（ＤＣＴ−ＩＶ）がより長い長さにわたって計算され、再サンプリングは変換領域では行われないため、より複雑であるという欠陥を有する。
【０１４３】
さらに、本発明の変形形態では、利得（ＧＨＢＮ，ｇＨＢ１（ｍ），ｇＨＢ２（ｍ），ｇＨＢＮ（ｍ），...）の推定に必要なすべての計算は対数の領域で行われることができるようになる。
【０１４４】
図６は、本発明による帯域拡張装置６００の例示的物理的実施形態を表す。例示的物理的実施形態は、オーディオ周波数信号復号器またはオーディオ周波数信号（復号化されたまたはされない）を受信する装置の重要部分を形成し得る。
【０１４５】
このタイプの装置は、格納および／または作業メモリＭＥＭを含むメモリブロックＢＭと協働するプロセッサＰＲＯＣを含む。このような装置は、抽出周波数領域（Ｕ（ｋ））に戻される第１の周波数帯域（低帯域と称する）内の復号またはオーディオ信号を受信することができる入力モジュールＥを含む。このような装置は、第２の周波数帯域（ＵＨＢ２（ｋ））内の拡張信号を例えば図５のフィルタ処理モジュール５０１へ送信することができる出力モジュールＳを含む。
【０１４６】
メモリブロックは有利には、プロセッサＰＲＯＣにより実行されると本発明の範囲の帯域拡張方法の工程を実施するためのコード命令を含むコンピュータプログラム含み得る。帯域拡張方法の工程は、特には、復号低帯域信号（Ｕ（ｋ））から生じる信号から音声成分と環境信号とを抽出する工程（Ｅ４０２）と、結合信号（ＵＨＢ２（ｋ））と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用することによる適応化混合により音声成分（ｙ（ｋ））と環境信号（ＵＨＢＡ（ｋ））とを結合する工程（Ｅ４０３）と、第１の周波数帯域より高い少なくとも１つの第２の周波数帯域にわたって抽出工程前の低帯域復号信号または結合工程後の結合信号を拡張する工程（Ｅ４０１ａ）とである。
【０１４７】
通常、図４の説明は、このようなコンピュータプログラムのアルゴリズムの工程を繰り返する。コンピュータプログラムはまた、装置の読み取り機により読み取られ得るまたはメモリ空間にダウンロードされ得るメモリ媒体上に格納され得る。
【０１４８】
メモリＭＥＭは通常、本方法の実施に必要なすべてのデータを格納する。
【０１４９】
１つの可能な実施形態では、このように説明された装置はまた、本発明による帯域拡張機能に加えて、低帯域復号化機能と例えば図５、図３において説明した他の処理機能とを含み得る。
【図１】
2019168709.tif 000052
【図２】
2019168709.tif 000053
【図３】
2019168709.tif 000054
【図４】
2019168709.tif 000055
【図５】
2019168709.tif 000056
【図６】
2019168709.tif 000057
【手続補正書】
【提出日】令和1年6月10日(2019.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
復号化または改善処理中にオーディオ周波数信号の周波数帯域を拡張する方法であって、
低帯域と称する第１の周波数帯域において復号化された復号化低帯域信号を得る工程、
前記第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上で、前記復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成する工程、
前記拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出する工程と、
結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合する工程と、
を有し、
前記エネルギーレベル制御係数は、環境レベル制御係数Γ、並びに、前記拡張復号化低帯域信号及び前記音声成分の合計エネルギーの関数として計算される係数ｆａｃを有する、方法。
【請求項２】
前記環境レベル制御係数が、
2019168709.tif 000058
により定義され、ｅｎｅｒｔｏｎａｌは優勢音声部分のエネルギー、ｅｎｅｒＨＢは前記拡張復号化低帯域信号の全エネルギー、βは係数である、請求項１に記載の方法。
【請求項３】
適応化混合により前記音声成分と前記環境信号とを結合する工程が、前記音声成分の絶対値に基づいて前記結合信号を得る副工程を有する、請求項２に記載の方法。
【請求項４】
前記抽出工程においてスペクトル線毎に検知された前記音声成分が、前記係数Γだけ低減され、平均レベルが係数１／Γだけ増幅される、請求項３に記載の方法。
【請求項５】
絶対値で前記結合信号を得る前記副工程は
2019168709.tif 000059
を計算することにより実行され、y(i)は、前記音声成分を定める残留信号、lev(i)は、スペクトル線毎のスペクトルの前記平均レベルである、請求項４に記載の方法。
【請求項６】
適応化混合により前記音声成分と前記環境信号とを結合する工程が、前記係数ｆａｃに基づいてエネルギーを調整する副工程を有する、請求項３から請求項５のいずれか一項に記載の方法。
【請求項７】
前記係数ｆａｃが、
2019168709.tif 000060
として計算され、y''は、信号y'(i)に前記拡張復号化低帯域信号の符号を適用したものに対応し、γは係数である、請求項５又は請求項６に記載の方法。
【請求項８】
前記γがエネルギーの過剰推定を回避するように選択される、請求項７に記載の方法。
【請求項９】
低帯域と称する第１の周波数帯域において復号化されたオーディオ周波数信号の周波数帯域を拡張する装置であって、
命令が記憶された非一時的コンピュータ可読メモリ、
前記命令を実行することにより、
低帯域と称する第１の周波数帯域において復号化された復号化低帯域信号を得て、
前記第１の周波数帯域より高い少なくとも１つの第２の周波数帯域上で、前記復号化低帯域の信号を拡張して、拡張復号化低帯域信号を形成し、
前記拡張復号化低帯域信号から生じる信号から音声成分と環境信号とを抽出し、
結合信号と称するオーディオ信号を得るためにエネルギーレベル制御係数を使用する適応化混合により前記音声成分と前記環境信号とを結合する、
プロセッサを有し、
前記エネルギーレベル制御係数は、環境レベル制御係数Γ、並びに、前記拡張復号化低帯域信号及び前記音声成分の合計エネルギーの関数として計算される係数ｆａｃを有する、装置。
【請求項１０】
請求項９に記載の周波数帯域拡張装置を含むことを特徴とする、オーディオ周波数信号復号器。
【外国語明細書】
2019168709000001.pdf