(57)【要約】オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されているオーディオ復号器が提供される。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュールと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、帯域幅拡大オーディオ信号が、少なくとも１つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数であって、先行するオーディオフレーム又はビットストリームからの利得係数から導出される現在の利得係数に基づいて、及び少なくとも１つの周波数帯域の推定信号エネルギーであって、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される推定信号エネルギーに基づいて設定される。【選択図】図４
2016530548.tif 000002
【特許請求の範囲】
【請求項１】
オーディオフレーム（ＡＦ）を含むビットストリーム（ＢＳ）からオーディオ信号（ＡＳ）を生成するように構成されているオーディオ復号器であって、該オーディオ復号器（１）は、
前記ビットストリーム（ＢＳ）から直接復号されたコア帯域オーディオ信号（ＣＢＳ）を導出するように構成されているコア帯域復号モジュール（２）と、
前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）からパラメータ的に復号された帯域幅拡大オーディオ信号（ＢＥＳ）を導出するように構成されている帯域幅拡大モジュール（３）であって、前記帯域幅拡大オーディオ信号（ＢＥＳ）は少なくとも１つの周波数帯域（ＦＢ）を有する周波数領域信号（ＦＤＳ）に基づいている帯域幅拡大モジュール（３）と、
前記オーディオ信号（ＡＳ）を生成するように、前記コア帯域オーディオ信号（ＣＢＳ）と前記帯域幅拡大オーディオ信号（ＢＥＳ）とを組み合わせるように構成されている結合器（４）とを備え、
前記帯域幅拡大モジュール（３）は、エネルギー調整モジュール（５）を備え、前記エネルギー調整モジュール（５）は、オーディオフレーム損失（ＡＦＬ）が発生している現在のオーディオフレーム（ＡＦ２）において、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のオーディオフレーム（ＡＦ２）の調整信号エネルギーが、
前記現在のオーディオフレーム（ＡＦ２）の現在の利得係数（ＣＧＦ）であって、先行するオーディオフレーム（ＡＦ１）又は前記ビットストリーム（ＢＳ）からの利得係数から導出される現在の利得係数（ＣＧＦ）に基づいて、及び
前記少なくとも１つの周波数帯域の推定信号エネルギー（ＥＥ）であって、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）のスペクトルから導出される推定信号エネルギー（ＥＥ）に基づいて設定されるように構成されているオーディオ復号器。
【請求項２】
前記帯域幅拡大モジュール（３）は、少なくとも前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）における前記現在の利得係数（ＣＧＦ）を前記エネルギー調整モジュール（５）に転送するように構成されている利得係数提供モジュール（６）を備えている請求項１に記載のオーディオ復号器。
【請求項３】
前記利得係数提供モジュール（６）は、前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記現在の利得係数（ＣＧＦ）が、前記先行するオーディオフレーム（ＡＦ１）の前記利得係数であるように構成されている請求項２に記載のオーディオ復号器。
【請求項４】
前記利得係数提供モジュール（６）は、前記フレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記現在の利得係数（ＣＧＦ）が、前記先行するオーディオフレーム（ＡＦ１）の前記利得係数及び前記先行するオーディオフレーム（ＡＦ１）の信号クラスから計算されるように構成されている請求項２又は３に記載のオーディオ復号器。
【請求項５】
前記利得係数提供モジュール（６）は、オーディオフレーム損失（ＡＦＬ）が発生する後続のオーディオフレームの数を計算するように構成されており、オーディオフレーム損失（ＡＦＬ）が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている請求項２から４のいずれか一項に記載のオーディオ復号器。
【請求項６】
前記利得係数低減処理は、前記現在の利得係数が第１の閾値を超える場合に、前記現在の利得係数を第１の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項５に記載のオーディオ復号器。
【請求項７】
前記利得係数低減処理は、前記現在の利得係数が、前記第１の閾値よりも大きい第２の閾値を超える場合に、前記現在の利得係数を前記第１の数よりも大きい第２の数で除算することによって、前記現在の利得係数を低減するステップを含む請求項５又は６に記載のオーディオ復号器。
【請求項８】
前記利得係数低減処理は、低減後の前記現在の閾値が前記第１の閾値を下回る場合に、前記現在の利得係数を前記第１の閾値に設定するステップを含む請求項５から７のいずれか一項に記載のオーディオ復号器。
【請求項９】
前記帯域幅拡大モジュール（３）は、前記少なくとも１つの周波数帯域（ＦＢ）にノイズ（ＮＯＩ）を追加するように構成されているノイズ生成器モジュール（７）を備え、前記オーディオフレーム損失（ＡＦＬ）が発生している前記現在のオーディオフレーム（ＡＦ２）において、前記先行するオーディオフレーム（ＡＦ１）の前記少なくとも１つの周波数帯域（ＦＢ）の信号エネルギー対ノイズエネルギーの比が、前記現在のオーディオフレーム（ＡＦ２）のノイズエネルギーを計算するのに使用される請求項１から８のいずれか一項に記載のオーディオ復号器。
【請求項１０】
該オーディオ復号器（１）はスペクトル分析モジュール（８）を備え、前記スペクトル分析モジュール（８）は、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）の前記スペクトルを確立し、かつ前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）の前記スペクトルから、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のフレーム（ＡＦ２）の前記推定信号エネルギーを導出するように構成されている請求項１から９のいずれか一項に記載のオーディオ復号器。
【請求項１１】
前記利得係数提供モジュール（６）は、オーディオフレーム損失が発生していない現在のオーディオフレームが、オーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、前記コア帯域復号モジュール（２）の前記オーディオフレーム（ＡＦ１’、ＡＦ２’）に対する前記帯域幅拡大モジュール（３）のオーディオフレーム（ＡＦ１、ＡＦ２）の遅延（ＤＥＬ）が遅延閾値よりも小さい場合、前記現在のオーディオフレームについて受信される前記利得係数が前記現在のフレームに使用され、一方で、前記コア帯域復号モジュールの前記オーディオフレームに対する前記帯域幅拡大モジュールのオーディオフレームの遅延が前記遅延閾値よりも大きい場合、前記先行するオーディオフレームからの前記利得係数が前記現在のフレームに使用されるように構成されている請求項２から１０のいずれか一項に記載のオーディオ復号器。
【請求項１２】
前記帯域幅拡大モジュール（３）は信号生成器モジュール（９）を備え、前記信号生成器モジュール（９）は、前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）に基づいて、前記エネルギー調整モジュール（５）に転送される、少なくとも１つの周波数帯域（ＦＢ）を有する原周波数領域信号（ＲＦＳ）を作成するように構成されている請求項１から１１のいずれか一項に記載のオーディオ復号器。
【請求項１３】
前記帯域幅拡大モジュール（３）は、前記周波数領域信号（ＦＤＳ）から前記帯域幅拡大オーディオ信号（ＢＥＳ）を生成するように構成されている信号合成モジュール（１０）を備えている請求項１から１２のいずれか一項に記載のオーディオ復号器。
【請求項１４】
オーディオフレーム（ＡＦ）を含むビットストリーム（ＢＳ）からオーディオ信号（ＡＳ）を生成するための方法であって、該方法は、
前記ビットストリーム（ＢＳ）から直接復号されたコア帯域オーディオ信号（ＣＢＳ）を導出するステップと、
前記コア帯域オーディオ信号（ＣＢＳ）及び前記ビットストリーム（ＢＳ）からパラメータ的に復号された帯域幅拡大オーディオ信号（ＢＥＳ）を導出するステップであって、前記帯域幅拡大オーディオ信号（ＢＥＳ）が、少なくとも１つの周波数帯域（ＦＢ）を有する周波数領域信号（ＦＤＳ）に基づいている導出するステップと、
前記オーディオ信号（ＡＳ）を生成するように、前記コア帯域オーディオ信号（ＣＢＳ）と前記帯域幅拡大オーディオ信号（ＢＥＳ）とを組み合わせるステップとを含み、
オーディオフレーム損失（ＡＦＬ）が発生している現在のオーディオフレーム（ＡＦ２）において、前記少なくとも１つの周波数帯域（ＦＢ）の前記現在のオーディオフレーム（ＡＦ２）の調整信号エネルギーが、
前記現在のオーディオフレーム（ＡＦ２）の現在の利得係数（ＣＧＦ）であって、先行するオーディオフレーム（ＡＦ１）又は前記ビットストリーム（ＢＳ）からの利得係数から導出される現在の利得係数（ＣＧＦ）に基づいて、及び
前記少なくとも１つの周波数帯域（ＦＢ）の推定信号エネルギーであって、前記コア帯域オーディオ信号（ＣＢＳ）の前記現在のオーディオフレーム（ＡＦ２’）のスペクトルから導出される推定信号エネルギーに基づいて設定される方法。
【請求項１５】
コンピュータ又はプロセッサ上で作動するときに、請求項１４に記載の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【背景技術】
【０００１】
ＳＢＲ（スペクトル帯域複製）は、他の帯域幅拡大技法と同様に、コア符号化器段階の上に、オーディオ信号の高スペクトル帯域部分を符号化及び復号するように意図されている。ＳＢＲは[ＩＳＯ０９]において標準化されており、ＭＰＥＧ−４  Profile  ＨＥ−ＡＡＣにおけるＡＡＣとともに使用される。ＭＰＥＧ−４  Profile  ＨＥ−ＡＡＣは、様々なアプリケーション規格、例えば３ＧＰＰ[３ＧＰ１２ａ]、ＤＡＢ＋[ＥＢＵ１０]及びＤＲＭ[ＥＢＵ１２]に利用されている。
【０００２】
ＡＡＣと協働する現行の技術水準のＳＢＲ復号は、[ＩＳＯ０９,section 4.6.18]に記載されている。
【０００３】
図１は分析フィルタバンク、合成フィルタバンク、ＳＢＲデータ復号、ＨＦ生成器及びＨＦ調整器を備えている現行の技術水準のＳＢＲ復号器を示す。
【０００４】
現行の技術水準のＳＢＲ復号において、コア符号化器の出力は元の信号のローパスフィルタリングされた表現である。これは、ＳＢＲ復号器のＱＭＦ分析フィルタバンクに対する入力ｘpcm_inである。
【０００５】
このフィルタバンクの出力ｘQMF_anaはＨＦ生成器に渡され、そこでパッチングが行われる。パッチングは、基本的に、低帯域スペクトルを高帯域に上げて複製することである。
【０００６】
パッチングされたスペクトルｘHF_patchedは、次に、ＳＢＲデータ復号から得られる高帯域のスペクトル情報（エンベロープ）とともにＨＦ調整器に与えられる。エンベロープ情報はハフマン復号され、その後、差動復号され、最後に、エンベロープデータを得るために逆量子化される（図２参照）。得られたエンベロープデータは、特定の時間量、例えば全フレーム又はその一部分、をカバーするスケール係数のセットである。ＨＦ調整器はパッチングされた高帯域のエネルギーを適切に調整し、すべての帯域ｋについて符号化器側における元の高帯域エネルギーと可能な限り良好に一致させる。式１及び図２がこれを解明する。
ｇsbr[ｋ]＝ＥRef[ｋ]／ＥEstAvg[ｌ]
ＥAdj[ｋ]＝ＥEst[ｋ]×ｇsbr[ｋ]      （１）
式中、
ＥRef[ｋ]はＳＢＲビットストリーム内で符号化形式で送信されている１つの帯域ｋのエネルギーを示す。
ＥEst[ｋ]はＨＦ生成器によってパッチングされた１つの高帯域ｋからのエネルギーを示す。
ＥEstAvg[ｌ]は、
2016530548.tif 000003
と
2016530548.tif 000004
との間の帯域の範囲として定義されている１つのスケール係数帯域ｌの内部の平均化された高帯域エネルギーを示す。すなわち、
2016530548.tif 000005
である。
ＥAdj[ｋ]は、利得sbrを使用してＨＦ調整器によって調整された、１つの高帯域ｋからのエネルギーを示す。
ｇsbr[ｋ]は、式（１）に示す除算からもたらされる、１つの利得係数を示す。
【０００７】
合成ＱＭＦフィルタバンクは、処理されたＱＭＦサンプルｘHF_adjをＰＣＭオーディオｘpcm_outに復号する。
再構築されたスペクトルにノイズの欠落があり、そのノイズは元の高帯域には存在していたがＨＦ生成器によってパッチングされなかったものである場合、各帯域ｋについて、一定のノイズフロア（noise floor）Ｑによっていくらかのノイズが追加される可能性がある。
Q[k]=EnergyAdditional_Noise[k]/EnergyHF_Generated[k]          （３）
【０００８】
さらに、現行の技術水準のＳＢＲは、一定の限界内のＳＢＲフレーム境界及びフレームあたり複数のエンベロープを動かすことを可能にする。
【０００９】
ＣＥＬＰ／ＨＶＸＣを伴うＳＢＲ復号が、[ＥＢＵ１２,section 5.6.2.２]に記載されている。ＤＲＭにおけるＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器は、section 1.1.1に記載されているＨＥＡＡＣにおける現行の技術水準のＳＢＲに密接に関連する。基本的に、図１が当てはまる。
【００１０】
エンベロープ情報の復号は、[ＥＢＵ１２,section 5.6.2.2.4]に記載されているように、音声状信号のスペクトル特性に適合されている。
【００１１】
通常のＡＭＲ−ＷＢ復号において、高帯域拡大はホワイトノイズｕHB1（ｎ）を生成することによってなされる。高帯域励振の電力は、より低い帯域の励振ｕ2（ｎ）の電力に等しくなるように設定され、これは次式を意味する。
2016530548.tif 000006
【００１２】
最終的に、高帯域励振は次式によって求められる。
2016530548.tif 000007
式中、
2016530548.tif 000008
は利得係数である。
【００１３】
２３.８５ｋｂｉｔ／ｓモードにおいて、
2016530548.tif 000009
は受信利得インデックス（サイド情報）から復号される。
【００１４】
６.６０、８.８５、１２.６５、１４.２５、１５.８５、１８.２５、１９.８５及び２３.０５ｋｂｉｔ／ｓモードにおいて、ｇHBは、[０.１,１.０]によって制限される発声情報を使用して推定される。最初に、合成の傾斜ｅtiltが求められる。
2016530548.tif 000010
式中、
2016530548.tif 000011
は、４００Ｈｚのカットオフ周波数でハイパスフィルタリングされたより低い帯域の音声合成
2016530548.tif 000012
である。次に、ｇHBが以下の式によって求められる。
2016530548.tif 000013
式中、ｇSP＝１―ｅtiltは音声信号の利得であり、ｇBG＝１.２５ｇSPは背景雑音信号の利得であり、ｗSPは、音声区間検出（ＶＡＤ）がオンであるときは１に、オフであるときは０に設定される重み関数である。ｇHBは[０.１,１.０]の間に制限される。高周波数において存在するエネルギーがより少ない有声セグメントの場合、ｅtiltは１に近づき、結果として利得ｇHBはより低くなる。これによって、有声セグメントの場合に生成されるノイズのエネルギーが低減される。
【００１５】
その後、高帯域ＬＰ合成フィルタＡHB（ｚ）が重み付き低帯域ＬＰ合成フィルタから導出される。すなわち、
2016530548.tif 000014
である。
式中、
2016530548.tif 000015
は補間されたＬＰ合成フィルタである。
2016530548.tif 000016
は１２.８ｋＨｚのサンプリングレートで信号を分析して計算されているが、ここでは１６ｋＨｚ信号に使用される。これは、１２.８ｋＨｚ領域内の５.１〜５.６ｋＨｚが１６ｋＨｚ領域内の６.４〜７.０ｋＨｚにマッピングされることを意味する。
【００１６】
次に、ｕHB（ｎ）がＡHB（ｚ）を通じてフィルタリングされる。この高帯域合成ｓHB（ｎ）の出力が、６〜７ｋＨｚの通過帯域を有するバンドパスＦＩＲフィルタＨHB（ｚ）を通じてフィルタリングされる。最後に、ｓHBが合成音声に加えられて、合成出力音声信号が生成される。
【００１７】
ＡＭＲ−ＷＢ＋において、ＨＦ信号は入力信号の（ｆｓ／４）を上回る周波数成分から構成される。ＨＦ信号を低いレートで表すために、帯域幅拡大（ＢＷＥ）手法が利用される。ＢＷＥにおいて、エネルギー情報がスペクトルエンベロープ及びフレームエネルギーの形態で復号器に送信されるが、信号の微細構造は、復号器において、ＬＦ信号内の受信（復号）励振信号から推定される。
【００１８】
ダウンサンプリングされた信号ｓHFのスペクトルは、ダウンサンプリング前の高周波数帯域の折り畳まれたものと考えることができる。ｓHF（ｎ）に対してＬＰ分析が実施されて、この信号のスペクトルエンベロープをモデル化する係数のセットが得られる。一般的に、必要とされるパラメータは、ＬＦ信号よりも少ない。ここでは、次数８のフィルタが使用される。その後、ＬＰ係数がＩＳＰ表現に変換され、送信のために量子化される。
【００１９】
ＨＦ信号の合成は、ある種の帯域幅拡大（ＢＷＥ）メカニズムを実行し、ＬＦ復号器からのいくつかのデータを使用する。これは、ＡＭＲ−ＷＢ音声復号器（上記参照）において使用されるＢＷＥメカニズムの発展である。ＨＦ復号器は図３において詳述されている。
【００２０】
ＨＦ信号は２つのステップにおいて合成される。
１.ＨＦ励振の計算、
２.ＨＦ励振からのＨＦ信号の計算。
【００２１】
ＨＦ励振は、ＬＦ励振信号を、６４サンプルサブフレームベース上のスカラー因子（又は利得）を用いて時間領域内で整形することによって得られる。このＨＦ励振信号は後処理されて出力の「耳鳴り（buzziness）」が低減され、その後、ＨＦ線形予測合成フィルタ１／ＡHF（ｚ）によってフィルタリングされる。その結果がさらに後処理されて、エネルギー変化が平滑化される。さらなる情報については[３ＧＰ０９]を参照されたい。
【００２２】
ＡＡＣを伴うＳＢＲにおけるパケット損失隠蔽（concealment）は３ＧＰＰ ＴＳ ２６.４０２[３ＧＰ１２ａ,section 5.2]に規定されており、その後、ＤＲＭ[ＥＢＵ１２,section 5.6.3.1]及びＤＡＢ[ＥＢＵ１０,section A2]において再使用された。
【００２３】
フレーム損失の場合、フレームあたりのエンベロープの数が１に設定され、最後の有効な受信エンベロープデータが再使用され、すべての隠蔽フレームについて一定の比によってエネルギーが低減される。
【００２４】
その結果もたらされるエンベロープデータがその後、通常の復号プロセスに供給され、その復号プロセスにおいて、ＨＦ調整器がそれらのデータを使用して利得を計算し、計算された利得は、ＨＦ生成器からパッチングされた高帯域を調整するのに使用される。残りのＳＢＲ復号は通常通り行われる。
【００２５】
さらに、符号化ノイズフロアデルタ値が０に設定されており、これによって、デルタ復号ノイズフロアが固定されたままになる。復号プロセスの終わりにおいて、これは、ノイズフロアのエネルギーがＨＦ信号のエネルギーに従うことを意味する。
【００２６】
さらに、正弦波を追加するためのフラグがクリアされる。
現行の技術水準のＳＢＲ隠蔽は復元にも対処する。現行の技術水準のＳＢＲ隠蔽は、不整合のフレーム境界から生じるおそれがあるエネルギーギャップに関して、隠蔽された信号から正確に復号された信号への円滑な遷移を管理する。
【００２７】
ＣＥＬＰ／ＨＶＸＣを伴う現行の技術水準のＳＢＲ隠蔽は、[ＥＢＵ１２,section 5.6.3.2]に記載されており、以下に簡潔に概説する。
【００２８】
破損したフレームが検出されたときはいつでも、所定のデータ値セットがＳＢＲ復号器に与えられる。これによって、「より高い周波数に向かうロールオフを呈する、相対再生レベル（relative playback level）が低い静的な高帯域スペクトルエンベロープ」がもたらされる[ＥＢＵ１２,section 5.6.3.2]。ここで、ＳＢＲ隠蔽は、ＳＢＲ領域における専用フェージング（dedicated fading）を有しない何らかの種類の快適ノイズを挿入する。これによって、聴取者の耳が潜在的に大音量の音響バーストを受けることが回避され、帯域幅が一定であるという印象が保たれる。
【００２９】
Ｇ.７１８のＢＷＥの現行の技術水準の隠蔽は[ＩＴＵ０８,７.１１.１.７.１]に記載されており、以下のように簡潔に概説する。
【００３０】
もっぱら層１と２にとって利用可能である低遅延モードにおいて、高周波数帯域６０００〜７０００Ｈｚの隠蔽は、フレーム消去が発生しないときとまったく同じように実施される。層１、２及び３のクリーンチャネル復号器動作は以下のとおりである、すなわち、ブラインド帯域幅拡大が適用される。範囲６４００〜７０００Ｈｚ内のスペクトルが、励振領域で適切にスケーリングされた白色雑音信号で満たされる（高帯域のエネルギーは低帯域エネルギーに一致しなければならない）。その後、スペクトルは、１２.８ｋＨｚ領域に使用されるものと同じＬＰ合成フィルタから重み付けすることによって導出されるフィルタで合成される。層４と５については、それらの層は８ｋＨｚまでの全帯域をカバーするため、帯域幅拡大は実施されない。
【００３１】
デフォルト動作において、１６ｋＨｚのサンプリング周波数において合成信号の高周波数帯域を再構築するために、低複雑度処理が実施される。最初に、スケーリングされた高周波数帯域拡張ｕ’’HB（ｎ）が、次式のようにフレーム全体を通じて線形的に減衰される。
2016530548.tif 000017
式中、フレーム長は３２０サンプルであり、ｇatt（ｎ）は次式によって与えられる減衰係数である。
2016530548.tif 000018
【００３２】
上記の式において、
2016530548.tif 000019
は平均ピッチ利得である。これは、適応コードブックの隠蔽中に使用されるものと同じ利得である。その後、周波数範囲６０００〜７０００Ｈｚ内のバンドパスフィルタのメモリが、式１０中において導出されるようなｇatt（ｎ）を使用して減衰されて、任意の不連続性が防止される。最後に、高周波数励振信号ｕ’’’（ｎ）が、合成フィルタを通じてフィルタリングされる。合成信号はその後、１６ｋＨｚのサンプリング周波数において、隠蔽された合成に加えられる。
【００３３】
現行の技術水準のＡＭＲ−ＷＢにおけるブラインド帯域幅拡大の隠蔽は、[３ＧＰ１２ｂ,６.２.４]に概説されており、ここで簡潔に要約する。
【００３４】
フレームが失われるか又は部分的に失われると、高帯域利得パラメータは受信されず、代わりに、高帯域利得の推定が使用される。これは、音声フレームが不良／失われている場合、高帯域再構築はすべての異なるモードに対して同じように動作することを意味する。
【００３５】
フレームが失われる場合、高帯域ＬＰ合成フィルタは、コア帯域からのＬＰＣ係数から通常通り導出される。唯一の例外は、ＬＰＣ係数がビットストリームから復号されておらず、通常のＡＭＲ−ＷＢ隠蔽手法を使用して推定されていることである。
【００３６】
現行の技術水準のＡＭＲ−ＷＢ＋における帯域幅拡大の隠蔽は[３ＧＰ０９,６.２]に概説されており、ここで簡潔に要約する。
【００３７】
パケット損失の場合、ＨＦ復号器の内部にある制御データが、不良フレームインジケータベクトルＢＦＩ＝（ｂｆｉ０,ｂｆｉ１,ｂｆｉ２,ｂｆｉ３）から生成される。これらのデータは、
2016530548.tif 000020
、ＢＦＩGAIN、及びＩＳＦ補間のためのサブフレームの数である。これらのデータの性質を、下記により詳細に定義する。
【００３８】
2016530548.tif 000021
は、ＩＳＦパラメータの損失を示す２値フラグである。ＨＦ信号のＩＳＦパラメータは常に、ＨＦ２０、４０又は８０のいずれかである第１のパケット（第１のサブフレームを含む）内で送信されるため、損失フラグは常に第１のサブフレームのｂｆｉインジケータに設定される（ｂｆｉ０）。同じことが、失われたＨＦ利得の指示にも当てはまる。現在のモードの第１のパケット／サブフレームが失われた場合（ＨＦ２０、４０又は８０）、利得が失われ、隠蔽される必要がある。
【００３９】
ＨＦ ＩＳＦベクトルの隠蔽は、コアＩＳＦのＩＳＦ隠蔽と非常に類似している。主な着想は、最後の良好なＩＳＦベクトルを再使用するが、このベクトルを平均ＩＳＦベクトルに向けてシフトすることである（平均ＩＳＦベクトルはオフライン訓練される）。すなわち、
2016530548.tif 000022
である。
【００４０】
2016530548.tif 000023
は、以下のソースコードに従って推定される（コードにおいて、
2016530548.tif 000024
は復号器定数である）。
2016530548.tif 000025
【００４１】
「ｆｓ／４において振幅を一致させるための利得」を導出するために、クリーンチャネル復号におけるアルゴリズムと同じアルゴリズムが実施されるが、ＨＦ及び／又はＬＦ部分のためのＩＳＦがすでに隠蔽されている場合がある点が異なっている。利得の線形ｄＢ補間、合計及び適用のようなすべての後続するステップはクリーンチャネルの事例と同じである。
【００４２】
励振を導出するために、正確に受信されたフレームにおけるのと同じ処理が適用される。その処理では、より低い帯域の励振が、
ランダム化され、
サブフレーム利得を用いて時間領域において増幅され、
ＬＰフィルタを用いて周波数領域において整形され、
エネルギーが時間にわたって平滑化された
後に、使用される。
【００４３】
その後、図３に従って合成が実施される。
【００４４】
ＡＥＳ convention paper 6789 : Schneider, Krauss and Ehret[ＳＫＥ０６]は、最後の有効なＳＢＲエンベロープデータを再使用する隠蔽技法を記載している。２つ以上のＳＢＲフレームが失われた場合、フェードアウト（fadeout）が適用される。「基本原理は、新たな送信データを用いてＳＢＲ処理が継続され得るまで、単純に、最後の既知の有効なＳＢＲエンベロープ値をロックすることである。加えて、２つ以上のＳＢＲフレームが復号可能でない場合、フェードアウトが実施される。」
【００４５】
ＡＥＳ convention paper 6962 : Sang-Uk Ryu and Kenneth Rose[ＲＲ０６]は、先行するフレームと次のフレームからのＳＢＲを使用してパラメータ情報を推定する隠蔽技法を記載している。周囲のフレームにおけるエネルギー発生から、高帯域エンベロープが適応的に推定される。
【００４６】
パケット損失隠蔽概念は、パケット損失中に、知覚的に劣化したオーディオ信号を生成し得る。
【先行技術文献】
【非特許文献】
【００４７】
【非特許文献１】[3GP09] 3GPP; Technical Specification Group Services and System Aspects, Extended adaptive multi-rate - wideband (AMR-WB+) codec, 3GPP TS 26.290, 3rd Generation Partnership Project, 2009.
【非特許文献２】[3GP12a] General audio codec audio processing functions; Enhanced aacPlus general audio codec; additional decoder tools (release 11), 3GPP TS 26.402, 3rd Generation Partnership Project, Sep 2012.
【非特許文献３】[3GP12b] Speech codec speech processing functions; adaptive multi-rate - wideband (AMRWB) speech codec; error concealment of erroneous or lost frames, 3GPP TS 26.191, 3rd Generation Partnership Project, Sep 2012.
【非特許文献４】[EBU10] EBU/ETSI JTC Broadcast, Digital audio broadcasting (DAB); transport of advanced audio coding (AAC) audio, ETSI TS 102 563, European Broadcasting Union, May 2010.
【非特許文献５】[EBU12] Digital radio mondiale (DRM); system specification, ETSI ES 201 980, ETSI, Jun 2012.
【非特許文献６】[ISO09] ISO/IEC JTC1/SC29/WG11, Information technology - coding of audio-visual objects - part 3: Audio, ISO/IEC IS 14496-3, International Organization for Standardization, 2009.
【非特許文献７】[ITU08] ITU-T, G.718: Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s, Recommendation ITU-T G.718, Telecommunication Standardization Sector of ITU, Jun 2008.
【非特許文献８】[RR06] Sang-Uk Ryu and Kenneth Rose, Frame loss concealment for audio decoders employing spectral band replication, Convention Paper 6962, Electrical and Computer Engineering, University of California, Oct 2006, AES.
【非特許文献９】[SKE06] Andreas Schneider, Kurt Krauss, and Andreas Ehret, Evaluation of real-time transport protocol configurations using aacplus, Convention paper 6789, AES, May 2006, Presented at the 120th Convention 2006 May 20-23.
【発明の概要】
【発明が解決しようとする課題】
【００４８】
本発明の目的は、改善されたパケット損失隠蔽概念を有するオーディ復号器及び方法を提供することである。
【課題を解決するための手段】
【００４９】
この目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するように構成されている以下のオーディオ復号器によって達成することができる。このオーディオ復号器は、ビットストリームから直接復号されたコア帯域オーディオ信号を導出するように構成されているコア帯域復号モジュール（core band decoding module）と、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するように構成されている帯域幅拡大モジュールであって、その帯域幅拡大オーディオ信号は少なくとも１つの周波数帯域を有する周波数領域信号に基づいている帯域幅拡大モジュールと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるように構成されている結合器とを備えている。帯域幅拡大モジュールはエネルギー調整モジュールを備え、エネルギー調整モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも１つの周波数帯域の推定信号エネルギーとに基づいて設定されるように構成されている。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
【００５０】
本発明によるオーディオ復号器は、エネルギーに関して帯域幅拡大モジュールをコア帯域復号モジュールにリンクし、又は、言い換えれば、コア帯域復号モジュールが何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュールがコア帯域復号モジュールに従うことを確実にする。
【００５１】
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームにおける送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
【００５２】
この手法によれば、追加のデータ（例えば、フェードアウト係数（fadeout factor））がコア符号化器から帯域幅拡大符号化器に転送される必要はない。これによって、本技法が、帯域幅拡大を用いる任意の符号化器、特に、ＳＢＲに容易に適用可能になる。ＳＢＲでは、利得計算が本来すでに実施されている（式１）。
【００５３】
本発明のオーディオ復号器の隠蔽は、コア帯域復号モジュールのフェージング勾配（fading slope）を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
【００５４】
コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
【００５５】
さらに、コア帯域復号モジュールの周波数帯域のエネルギーが帯域幅拡大モジュールの周波数帯域のエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュールの周波数帯域がコア帯域復号モジュールの周波数帯域と比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
【００５６】
所定のエネルギーレベルを有する帯域幅拡大を行う非フェージング復号器（例えば、ＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器のようなもの）は特定の信号タイプのスペクトル傾斜のみを保持するが、それは異なり、本発明のオーディオ復号器は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号の知覚的に復号される劣化が回避される。
【００５７】
提案される技法は、コア帯域復号モジュール（以下、コア符号化器）に加えて任意の帯域幅拡大（ＢＷＥ）方法によって使用することができる。帯域幅拡大技法のほとんどは、元のエネルギーレベルとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームの利得に対して作用する。
【００５８】
オーディオフレームが失われているか又は読み取り不可能であるとき（又は、言い換えれば、オーディオフレーム損失が発生している場合）、最後の良好なフレームからの利得がコア帯域復号モジュールの通常の復号プロセスに供給され、これによって、帯域幅拡大モジュールの周波数帯域のエネルギーが調整される（式１参照）。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュールに適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュールの周波数帯域のエネルギーに自動的に適用される。
【００５９】
少なくとも１つの周波数領域を有する周波数領域信号は、例えば、代数符号励振線形予測励振信号（ＡＣＥＬＰ（algebraic code-excited linear prediction）励振信号）とすることができる。
【００６０】
いくつかの実施形態において、帯域幅拡大モジュールは、少なくともオーディオフレーム損失が発生している現在のオーディオフレームにおける現在の利得係数をエネルギー調整モジュールに転送するように構成されている利得係数提供モジュール（gain factor providing module）を備えている。
【００６１】
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数であるように構成されている。この実施形態は、最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュールに含まれているフェードアウトを完全に無効化する。すなわち、
2016530548.tif 000026
である。式中、ＥAdj[ｋ]は帯域幅拡大モジュールの１つの周波数バンクｋからのエネルギーを示し、元のエネルギー分布を可能なかぎり良好に表現するように調整されている。
2016530548.tif 000027
は、現在のフレームの利得係数を示し、
2016530548.tif 000028
は先行するフレームの利得係数を示す。
【００６２】
他の好ましい実施形態において、利得係数提供モジュールは、フレーム損失が発生している現在のオーディオフレームにおいて、現在の利得係数が先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスとから計算されるように構成されている。
【００６３】
この実施形態は、信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームの信号クラスにも適応的に基づいて利得を計算する。すなわち、
2016530548.tif 000029
である。式中、
2016530548.tif 000030
は、先行するオーディオフレームの利得係数
2016530548.tif 000031
と先行するオーディオフレームの信号クラス
2016530548.tif 000032
とに依存する関数を示す。信号クラスは言語音のクラスを指すことができ、阻害音（これのサブクラスは閉鎖音、破擦音、摩擦音である）、共鳴音（これのサブクラスは、鼻音、はじき接近音（flap approximant）、母音である）、側音、顫音などである。
【００６４】
好ましい実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失が発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理（gain factor lowering procedure）を実行するように構成されている。
【００６５】
バーストフレーム損失（後続のオーディオフレームにおける複数のフレーム損失）の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュールの本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュールの周波数帯域のエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失に対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
【００６６】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値を超える場合に、現在の利得係数を第１の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第１の閾値（経験的に決定することができる）を超える利得が低減される。
【００６７】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値よりも大きい第２の閾値を超える場合に、現在の利得係数を第１の数よりも大きい第２の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第２の閾値を超えるすべての利得がより迅速に低減される。
【００６８】
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第１の閾値を下回る場合に、現在の利得係数を第１の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第１の閾値を下回って降下することが防止される。
【００６９】
一例を、擬似コード１に見ることができる。
2016530548.tif 000033
ここで、previousFrameErrorFlagは複数のフレーム損失が存在するか否かを示すフラグであり、BWE_GAINDECは第１の閾値を示し、50*BWE_GAINDECは第２の閾値を示し、gain[k]は周波数バンクｋの現在の利得係数を示す。
【００７０】
いくつかの実施形態において、帯域幅拡大モジュールは、少なくとも１つの周波数帯域にノイズを追加するように構成されているノイズ生成器モジュールを備え、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、先行するオーディオフレームの少なくとも１つの周波数帯域の信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームのノイズエネルギーを計算するのに使用される。
【００７１】
帯域幅拡大において実行されるノイズフロア特徴（すなわち、元の信号の騒々しさを保持するための追加のノイズ成分）がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、比prev_noise[k]の計算によって、ノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
【００７２】
擬似コード２がこれを示している。
2016530548.tif 000034
ここで、frameErrorFlagはフレーム損失が存在するか否かを示すフラグであり、prev_noise[k]は周波数バンクｋのエネルギーnrgHighband[k]と周波数バンクｋのノイズレベルnoiseLevel[k]との間の比である。
【００７３】
好ましい実施形態において、オーディオ復号器はスペクトル分析モジュールを備えており、スペクトル分析モジュールは、コア帯域オーディオ信号の現在のオーディオフレームのスペクトルを確立し、かつコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから、少なくとも１つの周波数帯域の現在のフレームの推定信号エネルギーを導出するように構成されている。
【００７４】
いくつかの実施形態において、利得係数提供モジュールは、オーディオフレーム損失が発生していない現在のオーディオフレームがオーディオフレーム損失が発生している先行するオーディオフレームに後続する事例において、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも小さい場合、現在のオーディオフレームについて受信される利得係数が現在のフレームに使用され、一方で、コア帯域復号モジュールのオーディオフレームに対する帯域幅拡大モジュールのオーディオフレームの遅延が遅延閾値よりも大きい場合、先行するオーディオフレームからの利得係数が現在のフレームに使用されるように構成されている。
【００７５】
隠蔽に加えて、帯域幅拡大モジュールにおいて、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームとコア帯域復号モジュールのオーディオフレームは正確には位置整合されていないことが多く、一定の遅延を有し得る。そのため、１つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
【００７６】
この事例の結果、損失の後の第１の良好なパケットが、復号器においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームの、帯域幅拡大モジュールの周波数帯域の部分を作成するための拡大データを含む場合があるということになる。
【００７７】
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュールにおいて第１のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得を即座に適用するのではなく、１つ追加のフレームのために第１のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
【００７８】
第１の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な応用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい（例えば、１ｍｓ）コーデックについては、第１の良好なオーディオフレームに最新の利得を使用することがより良好である。
【００７９】
好ましい実施形態において、帯域幅拡大モジュールは信号生成器モジュールを備えており、信号生成器モジュールは、コア帯域オーディオ信号とビットストリームに基づいて少なくとも１つの周波数帯域を有する原周波数領域信号を作成するように構成されており、原周波数領域信号はエネルギー調整モジュールに転送される。
【００８０】
好ましい実施形態において、帯域幅拡大モジュールは、周波数領域信号から帯域幅拡大オーディオ信号を生成するように構成されている信号合成モジュールを備えている。
【００８１】
本発明の目的は、オーディオフレームを含むビットストリームからオーディオ信号を生成するための方法によって達成することができる。この方法は、ビットストリームから、直接復号されたコア帯域オーディオ信号を導出するステップと、コア帯域オーディオ信号及びビットストリームからパラメータ的に復号された帯域幅拡大オーディオ信号を導出するステップであって、帯域幅拡大オーディオ信号は少なくとも１つの周波数帯域を有する周波数領域信号に基づいている導出するステップと、オーディオ信号を生成するように、コア帯域オーディオ信号と帯域幅拡大オーディオ信号とを組み合わせるステップとを含んでいる。そして、オーディオフレーム損失が発生している現在のオーディオフレームにおいて、少なくとも１つの周波数帯域の現在のオーディオフレームの調整信号エネルギーが、現在のオーディオフレームの現在の利得係数と少なくとも１つの周波数帯域の推定信号エネルギーとに基づいて設定される。現在の利得係数は先行するオーディオフレーム又はビットストリームからの利得係数から導出され、推定信号エネルギーはコア帯域オーディオ信号の現在のオーディオフレームのスペクトルから導出される。
【００８２】
本発明の目的は、さらに、コンピュータ又はプロセッサ上で作動するときに、上述した方法を実施するためのコンピュータプログラムによって達成することができる。
【図面の簡単な説明】
【００８３】
【図４】本発明によるオーディ復号器の一実施形態を示す概略図である。
【図５】本発明によるオーディ復号器の一実施形態のフレーミングを示す図である。
【発明を実施するための形態】
【００８４】
続いて、本発明の好ましい実施形態を添付の図面を参照しながら説明する。
【００８５】
図４は、本発明によるオーディ復号器１の一実施形態を概略図で示す。オーディオ復号器１は、オーディオフレームＡＦを含むビットストリームＢＳからオーディオ信号ＡＳを生成するように構成されている。オーディオ復号器１は、ビットストリームＢＳから直接復号されたコア帯域オーディオ信号ＣＢＳを導出するように構成されているコア帯域復号モジュール２と、コア帯域オーディオ信号ＣＢＳ及びビットストリームＢＳからパラメータ的に復号された帯域幅拡大オーディオ信号ＢＥＳを導出するように構成されている帯域幅拡大モジュール２であって、帯域幅拡大オーディオ信号ＢＥＳは少なくとも１つの周波数帯域ＦＢを有する周波数領域信号ＦＤＳに基づいている帯域幅拡大モジュール２と、オーディオ信号ＡＳを生成するように、コア帯域オーディオ信号ＣＢＳと帯域幅拡大オーディオ信号ＢＥＳとを組み合わせるように構成されている結合器４とを備えている。帯域幅拡大モジュール３はエネルギー調整モジュール５を備えており、エネルギー調整モジュール５は、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、少なくとも１つの周波数帯域ＦＢの現在のオーディオフレームＡＦ２の調整信号エネルギーが、現在のオーディオフレームＡＦ２の現在の利得係数ＣＧＦと少なくとも１つの周波数帯域ＦＢの推定信号エネルギーＥＥとに基づいて設定されるように構成されている。現在の利得係数ＣＧＦは先行するオーディオフレームＡＦ１又はビットストリームＢＳからの利得係数から導出され、推定信号エネルギーＥＥはコア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルから導出される。
【００８６】
本発明によるオーディオ復号器１は、エネルギーに関して帯域幅拡大モジュール３をコア帯域復号モジュール２にリンクさせ、又は、言い換えれば、コア帯域復号モジュール２が何を行おうとも、隠蔽中、エネルギーに関して帯域幅拡大モジュール３がコア帯域復号モジュール２に従うことを確実にする。
【００８７】
本手法による革新は、隠蔽の場合には、高帯域生成がもはやエンベロープエネルギーに厳密には適合しないことである。利得ロックの技法によって、高帯域エネルギーは隠蔽中は低帯域エネルギーに適合され、したがって、もはや最後の良好なフレームＡＦ１における送信データのみには依拠しない。この処理は、高帯域再構築に低帯域情報を使用するという着想を取り上げる。
【００８８】
この手法によれば、追加のデータ（例えば、フェードアウト係数）がコア符号化器２から帯域幅拡大符号化器３に転送される必要はない。これによって、本技法が、帯域幅拡大３を用いる任意の符号化器１、特に、ＳＢＲに容易に適用可能になる。ＳＢＲでは、利得計算が本来すでに実施されている（式１）。
【００８９】
本発明のオーディオ復号器１の隠蔽は、コア帯域復号モジュール２のフェージング勾配を考慮に入れる。これによって、全体としてのフェードアウトの意図される挙動がもたらされる。
【００９０】
コア帯域復号モジュール２の周波数帯域ＦＢのエネルギーが帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーよりも遅くフェードアウトする状況は、知覚可能になり、帯域が制限された信号の不快な印象を引き起こすが、この状況が回避される。
【００９１】
さらに、コア帯域復号モジュール２の周波数帯域ＦＢのエネルギーが帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーよりも速くフェードアウトする状況は、帯域幅拡大モジュール３の周波数帯域ＦＢがコア帯域復号モジュール２の周波数帯域ＦＢと比較して増幅され過ぎるためにアーティファクトを導入するが、この状況も回避される。
【００９２】
所定のエネルギーレベルを有する帯域幅拡大を有する非フェージング復号器（例えば、ＣＥＬＰ／ＨＶＸＣ＋ＳＢＲ復号器のようなもの）は特定の信号タイプのスペクトル傾斜のみを保持するが、それとは異なり、本発明のオーディオ復号器１は信号のスペクトル特性とは無関係に機能し、それによって、オーディオ信号ＡＳの知覚的に復号される劣化が回避される。
【００９３】
提案される技法は、コア帯域復号モジュール２（以下、コア符号化器）に加えて任意の帯域幅拡大（ＢＷＥ）方法によって使用され得る。帯域幅拡大技法のほとんどは、元のエネルギーとコアスペクトルが複製された後に得られるエネルギーレベルとの間の帯域あたりの利得に基づいている。提案される技法は、現行の技術水準がそうするように先行するオーディオフレームのエネルギーに対して作用するのではなく、先行するオーディオフレームＡＦ１の利得に対して作用する。
【００９４】
オーディオフレームＡＦ２が失われているか又は読み取り不可能であるとき（又は、言い換えれば、オーディオフレーム損失ＡＦＬが発生している場合）、最後の良好なフレームからの利得がコア帯域復号モジュール２の通常の復号プロセスに供給され、これによって、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーが調整される（式１参照）。これによって、隠蔽が形成される。コア帯域復号モジュール隠蔽によってコア帯域復号モジュール２に適用されている任意のフェードアウトは、低帯域と高帯域との間にエネルギー比をロックすることによって、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーに自動的に適用される。
【００９５】
いくつかの実施形態において、帯域幅拡大モジュール３は、少なくともオーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２における現在の利得係数ＣＧＦをエネルギー調整モジュール５に転送するように構成されている利得係数提供モジュール６を備えている。
【００９６】
好ましい実施形態において、利得係数提供モジュール６は、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、現在の利得係数ＣＧＦが先行するオーディオフレームＡＦ１の利得係数であるように構成されている。
【００９７】
この実施形態は、最後の良好なフレーム内の最後のエンベロープについて導出される利得をロックするだけで、帯域幅拡大復号モジュール３に含まれているフェードアウトを完全に無効化する。
【００９８】
他の好ましい実施形態において、利得係数提供モジュール６は、フレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、現在の利得係数ＣＧＳが先行するオーディオフレームの利得係数と先行するオーディオフレームの信号クラスから計算されるように構成されている。
【００９９】
この実施形態は、信号分類器を使用して、過去の利得に基づいて、及び以前受信されたフレームＡＦ１の信号クラスにも適応的に基づいて利得ＧＣＳを計算する。信号クラスは言語音のクラスを指すことができ、阻害音（これのサブクラスは閉鎖音、破擦音、摩擦音である）、共鳴音（これのサブクラスは、鼻音、はじき接近音、母音である）、側音、顫音などである。
【０１００】
好ましい実施形態において、利得係数提供モジュール６は、オーディオフレーム損失ＡＦＬが発生する後続のオーディオフレームの数を計算するように構成されており、かつオーディオフレーム損失ＡＦＬが発生する後続のオーディオフレームの数が所定数を超える場合に、利得係数低減処理を実行するように構成されている。
【０１０１】
バーストフレーム損失（後続のオーディオフレームＡＦにおける複数のフレーム損失ＡＦＬ）の直前に摩擦音が発生した場合、利得ロックと相まって心地よく自然な音を確実にするには、コア帯域復号モジュール２の本来のデフォルトフェードアウトが遅すぎる場合がある。この問題の知覚される結果は、帯域幅拡大モジュール３の周波数帯域ＦＢのエネルギーが大きすぎることによって、摩擦音が長引くことであり得る。この理由から、複数のフレーム損失ＡＦＬに対するチェックを実施することができる。このチェックが陽性である場合、利得係数低減処理を実行することができる。
【０１０２】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値を超える場合に、現在の利得係数を第１の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴によって、第１の閾値（経験的に決定することができる）を超える利得が低減される。
【０１０３】
好ましい実施形態において、利得係数低減処理は、現在の利得係数が第１の閾値よりも大きい第２の閾値を超える場合に、現在の利得係数を第１の数よりも大きい第２の数で除算することによって現在の利得係数を低減するステップを含む。これらの特徴は、極端に高い利得がさらに迅速に低減することを確実にする。第２の閾値を超えるすべての利得がより迅速に低減される。
【０１０４】
いくつかの実施形態において、利得係数低減処理は、低減後の現在の閾値が第１の閾値を下回る場合に、現在の利得係数を第１の閾値に設定するステップを含む。これらの特徴によって、低減した利得が第１の閾値を下回って降下することが防止される。
【０１０５】
いくつかの実施形態において、帯域幅拡大モジュール３は、少なくとも１つの周波数帯域ＦＢにノイズＮＯＩを追加するように構成されているノイズ生成器モジュール７を備え、オーディオフレーム損失ＡＦＬが発生している現在のオーディオフレームＡＦ２において、先行するオーディオフレームＡＦ１の少なくとも１つの周波数帯域ＦＢの信号エネルギー対ノイズエネルギーの比が現在のオーディオフレームＡＦ２のノイズエネルギーを計算するのに使用される。
【０１０６】
帯域幅拡大３に実装されているノイズフロア特徴（すなわち、元の信号の騒々しさを保持するための追加のノイズ成分）がある場合、ノイズフロアにも向けた利得ロックの着想を導入することが必要である。これを達成するために、帯域幅拡大モジュールの周波数帯域のエネルギーを考慮に入れて、非隠蔽フレームのノイズフロアエネルギーレベルがノイズ比に変換される。この比はバッファに保存され、隠蔽の場合のノイズレベルの基礎となる。この主要な利点は、この比の計算によってノイズフロアがコア符号化器エネルギーに一層良好に結合することである。
【０１０７】
好ましい実施形態において、オーディオ復号器１はスペクトル分析モジュール８を備えており、スペクトル分析モジュール８は、コア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルを確立し、かつコア帯域オーディオ信号ＣＢＳの現在のオーディオフレームＡＦ２のスペクトルから、少なくとも１つの周波数帯域ＦＢの現在のフレームＡＦ２の推定信号エネルギーＥＥを導出するように構成されている。
【０１０８】
好ましい実施形態において、帯域幅拡大モジュール３は信号生成器モジュール９を備えており、信号生成器モジュール９は、コア帯域オーディオ信号ＣＢＳとビットストリームＢＳに基づいて少なくとも１つの周波数帯域ＦＢを有する原周波数領域信号ＲＦＳを作成するように構成されており、原周波数領域信号ＲＦＳはエネルギー調整モジュール５に転送される。
【０１０９】
好ましい実施形態において、帯域幅拡大モジュール３は、周波数領域信号ＦＤＳから帯域幅拡大オーディオ信号ＢＥＳを生成するように構成されている信号合成モジュール１０を備えている。
【０１１０】
図５は、本発明によるオーディ復号器１の一実施形態のフレーミングを示す。
【０１１１】
いくつかの実施形態において、利得係数提供モジュール６は次のように構成されている。すなわち、オーディオフレーム損失ＡＦＬが発生していない現在のオーディオフレームＡＦ２が、オーディオフレーム損失ＡＦＬが発生している先行するオーディオフレームＡＦ１に後続する事例において、コア帯域復号モジュール２のオーディオフレームＡＦ’に対する帯域幅拡大モジュール３のオーディオフレームＡＦの遅延ＤＥＬが遅延閾値よりも小さい場合、現在のオーディオフレームＡＦ２について受信される利得係数が現在のフレームＡＦ２に使用され、一方で、コア帯域復号モジュール３のオーディオフレームＡＦ’に対する帯域幅拡大モジュール３のオーディオフレームＡＦの遅延ＤＥＬが遅延閾値よりも大きい場合、先行するオーディオフレームＡＦ１からの利得係数が現在のフレームＡＦ２に使用される。
【０１１２】
隠蔽に加えて、帯域幅拡大モジュール３において、フレーミングに特別な注意を払う必要がある。帯域幅拡大モジュールのオーディオフレームＡＦとコア帯域復号モジュール３のオーディオフレームＡＦ’は正確には位置整合されていないことが多く、一定の遅延ＤＥＬを有し得る。そのため、１つの失われたパケットが、同じパケット内に含まれているコア信号に対して遅延されている帯域幅拡大データを含むということが起き得る。
【０１１３】
この事例の結果、損失の後の第１の良好なパケットが、復号器２においてすでに隠蔽された、先行するコア帯域復号モジュールオーディオフレームＡＦ’の、帯域幅拡大モジュール３の周波数帯域ＦＢの部分を作成するための拡大データを含む場合があるということになる。
【０１１４】
この理由から、コア帯域復号モジュールと帯域幅拡大モジュールのそれぞれの特性に応じて、復元中にフレーミングを考慮する必要がある。これは、帯域幅拡大モジュール３において第１のオーディオフレーム又はその部分を誤りのあるものとして処理し、最新の利得係数を即座に適用するのではなく、１つ追加のフレームのために第１のオーディオフレームからのロックされた利得を保持することを意味することがありうる。
【０１１５】
第１の良好なフレームのロックされた利得を保持するべきか否かは、遅延に応じて決まる。異なる遅延をもつコーデックへの経験的な適用は、複数の異なる遅延をもつコーデックに対する複数の異なる利点を示している。遅延が非常に小さい（例えば、１ｍｓ）コーデックについては、第１の良好なオーディオフレームに最新の利得係数を使用することがより良好である。
【０１１６】
いくつかの態様を装置に関して説明してきたが、これらの態様は対応する方法の説明をも表すことは明らかであり、ブロック又はデバイスは方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップに関して説明されている態様は、対応する装置の対応するブロック、項目又は特徴の説明をも表す。方法ステップのいくつか又はすべては、ハードウェア装置、例えばマイクロプロセッサ、プログラマブルコンピュータ又は電子回路など、によって（又はそれを使用して）実行することができる。いくつかの実施形態において、もっとも重要な方法ステップのある１つ又は複数は、そのような装置によって実行することができる。
【０１１７】
特定の実施要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアにおいて実装することができる。実施態様は、デジタル記憶媒体のような非遷移型の記憶媒体を使用して実施することができる。そのようなデジタル記憶媒体は、例えば、フロッピーディスク、ＤＶＤ、Ｂｌｕ−Ｒａｙ、ＣＤ、ＲＯＭ、ＰＲＯＭ、及びＥＰＲＯＭ、ＥＥＰＲＯＭ又はフラッシュメモリであり、電子的に読取り可能な制御信号を保持し、その制御信号はそれぞれの方法が実施されるようにプログラマブルコンピュータシステムと協働する（又は協働することが可能である）。それゆえ、そのようなデジタル記憶媒体は、コンピュータ読取り可能である。
【０１１８】
本発明によるいくつかの実施形態は、本明細書に記載されている方法の１つが実施されるようにプログラマブルコンピュータシステムと協働することが可能な電子的読取可能制御信号を有するデータキャリアを含む。
【０１１９】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、そのプログラムコードはコンピュータプログラム製品がコンピュータ上で作動するときに本発明の方法の１つを実施するように動作可能である。そのプログラムコードは、例えば機械読取り可能なキャリアに記憶することができる。
【０１２０】
他の実施形態は、機械読取り可能なキャリアに記憶され、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを含む。
【０１２１】
言い換えれば、本発明の方法の一実施形態は、それゆえ、コンピュータプログラムであって、このコンピュータプログラムがコンピュータ上で作動するときに本明細書に記載されている方法の１つを実施するためのプログラムコードを有する。
【０１２２】
それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを記憶して備えているデータキャリア（又はデジタル記憶媒体もしくはコンピュータ読取り可能な媒体）である。データキャリア、デジタル記憶媒体又は記録媒体は一般的に有形かつ／又は非遷移型である。
【０１２３】
それゆえ、本発明の方法のさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを表すデータストリーム又は信号シーケンスである。そのデータストリーム又は信号シーケンスは、例えば、データ通信接続を介して、例えば、インターネットを介して転送されるように構成することができる。
【０１２４】
さらなる実施形態は、処理手段、例えば、本明細書に記載されている方法の１つを実施するように構成又は適合されているコンピュータ又はプログラマブル論理デバイスを含む。
【０１２５】
さらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムがインストールされているコンピュータを含む。
【０１２６】
本発明によるさらなる実施形態は、本明細書に記載されている方法の１つを実施するためのコンピュータプログラムを受信機に（例えば、電子的又は光学的に）転送するように構成されている装置又はシステムを含む。その受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどとすることができる。その装置又はシステムは、例えば、コンピュータを受信機に転送するためのファイルサーバを含むことができる。
【０１２７】
いくつかの実施形態において、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ）を、本明細書に記載されている方法の機能のいくつか又はすべてを実施するのに使用することができる。いくつかの実施形態において、フィールドプログラマブルゲートアレイが、本明細書に記載されている方法の１つを実施するためにマイクロプロセッサと協働することができる。概して、本発明の方法は、好ましくは、任意のハードウェア装置によって実施される。
【０１２８】
上述した実施形態は、本発明の原理の例示にすぎない。当然のことながら、本明細書に記載されている構成及び記載の修正及び変形が当業者には明らかである。それゆえ、意図するところは、本発明は、添付の特許請求項の範囲によってのみ限定され、本明細書における実施形態の記載及び説明によって提示されている特定の詳細によっては限定されないことが意図される。
【符号の説明】
【０１２９】
１  オーディオ復号器
２  コア帯域復号モジュール
３  帯域幅拡大モジュール
４  結合器
５  エネルギー調整モジュール
６  利得係数提供モジュール
７  ノイズ生成器モジュール
８  スペクトル分析モジュール
９  信号生成器モジュール
１０  信号合成モジュール
ＡＳ  オーディオ信号
ＢＳ  ビットストリーム
ＡＦ  オーディオフレーム
ＣＢＳ  コア帯域オーディオ信号
ＢＥＳ  帯域幅拡大オーディオ信号
ＦＤＳ  周波数領域信号
ＦＢ  周波数帯域
ＡＦＬ  オーディオフレーム損失
ＣＧＦ  現在の利得係数
ＥＥ  推定信号エネルギー
ＮＯＩ  ノイズ
ＤＥＬ  遅延
ＲＦＳ  原周波数領域信号
【図１】
2016530548.tif 000035
【図２】
2016530548.tif 000036
【図３】
2016530548.tif 000037
【図４】
2016530548.tif 000038
【図５】
2016530548.tif 000039
【国際調査報告】
2016530548.tif 000040
2016530548.tif 000041