(57)【要約】      （修正有）【課題】異なる符号化モード間の移行で、異なる符号化モードとの間に切り替わることをサポートしているコーデックの品質を改善する。【解決手段】異なる符号化モード間の切り替えを可能にするコーデックは、スイッチング・インスタンスに応答し、それぞれの移行において、時間的な平滑化および／または混合を実行することによって改善される。【選択図】なし【特許請求の範囲】
【請求項１】
高周波スペクトル帯域内の信号エネルギー保全性が異なる少なくとも２つのモードの間で切替え可能である情報信号を符号化するようにサポートするエンコーダであり、前記エンコーダは、高周波スペクトル帯域（６６）において、スイッチング・インスタンスに応答し、前記情報信号を、前記スイッチング・インスタンスに先行する第１の時間部分（６０）と、後続の前記情報信号の第２の時間部分との間の移行時に、時間的に平滑化および／または混合して符号化するように構成される、エンコーダ。
【請求項２】
前記エンコーダは、前記高周波スペクトル帯域内の第１の信号エネルギー保全性を有する第１の符号化モードから高周波スペクトル帯域で第２の信号エネルギー保全性を有する第２の符号化モードへのスイッチング・インスタンスに応答して、前記スイッチング・インスタンスに続く時間部分の高周波スペクトル帯域における情報信号のエネルギーは、前記移行からより遠い前記移行に向けて１まで単調に増加するフェードイン・スケーリング機能にしたがって時間的に形成されているという点で、前記情報信号と比較して修正される前記情報信号の修正バージョンを符号化するように構成される、請求項１に記載のエンコーダ。
【請求項３】
情報信号を符号化するために、高周波スペクトル帯域内の信号エネルギー保全性が異なる少なくとも２つのモードの間で切替え可能となるエンコーダをサポートする方法であって、前記方法は、高周波スペクトル帯域（６６）において、スイッチング・インスタンスに応答し、前記情報信号を、前記スイッチング・インスタンスに先行する第１の時間部分（６０）と、後続の前記情報信号の第２の時間部分との間の移行時に、時間的に平滑化および／または混合して符号化することを含む、方法。
【請求項４】
請求項３に記載の方法をコンピュータで実行するためのプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、例えば、有効な符号化された帯域幅および／またはエネルギー保存特性において、異なる別の符号化モードを使用している情報信号の符号化に関する。
【０００２】
文献〔１〕、〔２〕および〔３〕において、それは、予測方法によりブラインドＢＷＥで欠落している内容を外挿することによって、帯域幅の短い制限を取扱うことが提案されている。
しかしながらこの手法は、長期的に帯域幅が変化するケースをカバーしていない。
また、別のエネルギー保存特性（例えば、ブラインドＢＷＥｓは、通常、フル帯域コアと比較して高い周波数での大幅なエネルギー減衰を有している）の配慮がありません。
様々な帯域幅のモードを使用しているコーデックが、文献〔４〕および〔５〕に記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Recommendation ITU-T G.718 - Amendment 2: "Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s - Amendment 2: New Annex B on superwideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text"
【非特許文献２】Recommendation ITU-T G.729.1 - Amendment 6: “G.729-based embedded variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729 - Amendment 6: New Annex E on superwideband scalable extension”
【非特許文献３】B. Geiser, P. Jax, P. Vary, H. Taddei, S. Schandl, M. Gartner, C. Guillaume, S. Ragot: “Bandwidth Extension for Hierarchical Speech and Audio Coding in ITU-T Rec. G.729.1”, IEEE Transactions on Audio, Speech, and Language Processing, Vol.15, No.8, 2007, pp.2496-2509
【非特許文献４】M. Tammi, L. Laaksonen, A. Raemoe, H. Toukomaa: “Scalable Superwideband Extension for Wideband Coding”, IEEE ICASSP 2009, pp.161-164
【非特許文献５】B. Geiser, P. Jax, P. Vary, H. Taddei, M. Gartner, S. Schandl: “A Qualified ITU-T G.729 EV Codec Candidate for Hierarchical Speech and Audio Coding”, 2006 IEEE 8th Workshop on Multimedia Signal Processing, pp.114-118
【発明の概要】
【発明が解決しようとする課題】
【０００４】
モバイル通信アプリケーションでは、使用されるコーデックのビットレートに影響を及ぼす利用可能なデータレートの変動もまた珍しくはないかもしれない。
したがって、それは別の、ビットレートに基づく設定および／または機能強化（機能拡張）の間でコーデックが切替え可能であることは有利である。
異なるＢＷＥｓと例えばフル帯域コアの間を切替える場合は、異なる実効出力帯域幅または様々なエネルギー保存特性に、不連続が発生する可能性があることを意図している。
より正確に言うと、ＢＷＥｓまたはＢＷＥの設定の異なる動作点およびビットレートに応じて使用され得る（図１参照）：
一般的に、非常に低いビットレートのためのブラインド帯域幅拡張方式では、より重要なコア・コーダで利用可能なビットレートを集中させることが好ましい。
ブラインド帯域幅拡張は、概して、任意の付加的なサイド情報を持たないでコア・コーダの上に小さい余分の帯域幅を総合する。
ブラインドＢＷＥによって（エネルギーオーバーシュートまたは見当違いの成分の増幅による）アーチファクトの導入を回避するために、余分な帯域幅は、通常、非常にエネルギーが制限されている。
中間ビットレートの場合、導かれたＢＷＥのアプローチによってブラインドＢＷＥを置き換えることは、一般的に望ましい。
この導かれた方法は、エネルギーのためのパラメータのサイド情報および総合された余分の帯域幅の様子を使用する。
このアプローチによって、ブラインドＢＷＥと比較して、より高いエネルギーのより広い帯域幅は、総合することができる。
高いビットレートのために、すなわち帯域幅拡張することなく、コア・コーダ領域で完全な帯域幅を符号化することは望ましい。
これは一般的に、帯域幅およびエネルギーの近い完全な保存を提供する。
【０００５】
したがって、特に、異なる符号化モード間の移行で、異なる符号化モードとの間に切り替わることをサポートしているコーデックの品質を改善するためのコンセプトを提供することが、本発明の目的である。
【０００６】
この目的は、係属中の独立クレームの主題によって達成され、そこにおいて、有利な下位態様は従属クレームの主題である。
【課題を解決するための手段】
【０００７】
これは、スイッチング・インスタンスに応じて、それぞれの移行時に、時間的な平滑化および／または混合を実行することによって、異なる符号化モード間の切替えを可能にするためのコーデックが改善され得ることが、本出願の基礎となる知見である。
【０００８】
実施形態によれば、スイッチングは、一方においては、フル帯域幅の音声符号化モードとの間で行なわれ、また、他方においては、ＢＷＥまたはサブ帯域音声符号化モードとの間で行われる。
さらなる実施形態では、追加的または代替的に、時間的な平滑化および／または混合に応じて、導かれたＢＷＥとブラインドＢＷＥとの間で符号化モードを切替えるスイッチングで実行される。
【０００９】
上記の概説された発見を越えて、本出願の他の態様によれば、時間的な平滑化および／または混合することは、また、符号化モードの間でインスタンスを切替えるときに、マルチモードの符号化を改善するために使用することができ、そして、それらの有効な符号化帯域幅は、実際に両方とも、時間的な平滑化および／または混合がスペクトル内で実行される高周波スペクトル帯域とオーバーラップすることを、本出願の発明者らは理解した。
本発明の実施形態に従って、より正確には、トランジション（移行）における時間的な平滑化および／または混合が高周波スペクトル帯域の範囲内で行われ、スペクトルは、スイッチング・インスタンスの切替えが行われる間に、両方の符号化モードの効果的な符号化された帯域幅とオーバーラップする。
例えば、高周波スペクトル帯域は、２つの符号化モードの内の一方の帯域幅拡張部分にオーバーラップすることができ、すなわち、高周波数部分は、その中に、２つの符号化モードの内の１つに従って、スペクトルがＢＷＥを使用して拡張される。
２つの符号化モードの他方に関する限り、高周波スペクトル帯域は、例えば、変換スペクトルまたは直線予測符号化されたスペクトルまたはこの符号化モードの帯域幅拡張部分に重なることができる。
結果として生じる改良は、したがって、情報信号を符号化する際に、人工的な時間的エッジは／ジャンプが、情報信号のスペクトログラムをもたらすことができるように、その有効な符号化された帯域幅が重なるスペクトル部分において異なる符号化モードでさえ、別のエネルギー保存特性を有するという事実に由来する。
時間的な平滑化および／または混合は、負の影響を低減する。
【００１０】
本発明の実施の形態では、時間的な平滑化および／または混合にしたがって、スペクトルの高周波スペクトル帯域の下方に配置された分析スペクトル帯域における情報信号の分析に応じてさらに実行される。
この処置により、抑制、または分析スペクトル帯域における情報信号のエネルギーの変動の程度（測定値）に依存する時間的な平滑化および／または混合の度合いを適応させることが可能である。
この変動が高い場合、平滑化および／または混合は、意図せずに、あるいは、不利に、そして、それによって潜在的に情報信号の品質の劣化につながる、オリジナル信号の高周波スペクトル帯域のエネルギー変動を取り除くことができる。
【００１１】
さらに以下に概説する実施形態は、音声符号化を対象としているが、本発明も有利であることは明らかであるべきであり、また有利にことに、測定信号、データ送信信号等は、情報信号の他の種類に対して、使用することができる。
全ての実施形態は、従って、また、他の種類の情報信号のための実施形態を示すものとして取扱わなければならない。
【００１２】
本発明の好ましい実施形態は、図面の中で、に関して以下にさらに記載されている。
【図面の簡単な説明】
【００１３】
【図１】図１は、代表的なＢＷＥｓと異なる実効帯域幅やエネルギー保存特性を備えたフル帯域コアをスペクトル経時のグレースケールの分布を用いて図式的に示している。
【図２】図２は、図１の異なる符号化モードのエネルギー保存特性のスペクトル中心の違いのための一実施例を示すグラフを図式的に示している。
【図３】図３は、本出願の実施形態が使用され得る関連において、異なる符号化モードをサポートしているエンコーダを図式的に示している。
【図４】図４は、高域のスペクトル帯域において、エネルギー保存特性をより高いところからより低いところに切替えるときに、異なる符号化モードをサポートしているデコーダの例示的な機能性を示すとともに、さらに図式的に示している。
【図５】図５は、高域のスペクトル帯域において、エネルギー保存特性をより低いところからより高いところに切替えるときに、異なる符号化モードをサポートしているデコーダの例示的な機能性を示すとともに、さらに図式的に示している。
【図６Ａ】図６Ａは、これらの符号化モードのためのデータ・ストリーム内で伝送されるデータ、および、それぞれの符号化モードを処理するためのデコーダ内の機能を示す符号化モードのために、別の実施例を図式的に示している。
【図６Ｂ】図６Ｂは、これらの符号化モードのためのデータ・ストリーム内で伝送されるデータ、および、それぞれの符号化モードを処理するためのデコーダ内の機能を示す符号化モードのために、別の実施例を図式的に示している。
【図６Ｃ】図６Ｃは、これらの符号化モードのためのデータ・ストリーム内で伝送されるデータ、および、それぞれの符号化モードを処理するためのデコーダ内の機能を示す符号化モードのために、別の実施例を図式的に示している。
【図６Ｄ】図６Ｄは、これらの符号化モードのためのデータ・ストリーム内で伝送されるデータ、および、それぞれの符号化モードを処理するためのデコーダ内の機能を示す符号化モードのために、別の実施例を図式的に示している。
【図７Ａ】図７Ａは、どのようにデコーダが、スイッチング・インスタンスで、図４および図５の一時的な時間の平滑化／混合を実行することができるかの別の方法を図式的に示している。
【図７Ｂ】図７Ｂは、どのようにデコーダが、スイッチング・インスタンスで、図４および図５の一時的な時間の平滑化／混合を実行することができるかの別の方法を図式的に示している。
【図７Ｃ】図７Ｃは、どのようにデコーダが、スイッチング・インスタンスで、図４および図５の一時的な時間の平滑化／混合を実行することができるかの別の方法を図式的に示している。
【図８】図８は、図９の時間的な平滑化／混合の信号適応制御を説明するための実施例に基づいて、これらの時間的な部分の関連する符号化モードのエネルギー保存特性のスペクトル変化と一緒に、相互に切り替える例を挟んで互いに当接する連続した時間部分のスペクトルの例を示すグラフを図式的に示している。
【図９】図９は、実施形態に従う時間的な平滑化／混合の信号適応制御を図式的に示している。
【図１０】図１０は、エネルギーを評価し、特定の信号適応平滑実施形態に従って使用されるスペクトル経時タイルの位置を示している。
【図１１】図１１は、デコーダ内の信号適応平滑の実施形態に従って実行されるフロー図を示す。
【図１２】図１２は、実施の形態に係るデコーダ内で実行される帯域幅混合のフロー図を示す。
【図１３Ａ】図１３Ａは、図１２に従って、混合が実行されるスペクトロ経時タイルを例示するために、スイッチング・インスタンス周りのスペクトロ経時部分を示す。
【図１３Ｂ】図１３Ｂは、図１２の実施形態による混合率の時間変化を示す。
【図１４Ａ】図１４Ａは、混合中に発生したインスタンスの切替えを考慮するために、図１２の実施形態の変形例を図式的に示している。
【図１４Ｂ】図１４Ｂは、図１４Ａの変形の場合において、混合係数の時間的変化の結果として生じる変動を示している。
【発明を実施するための形態】
【００１４】
さらに以下に、本願の実施形態を説明する前に、以下の実施形態の基礎となる教示および考えを明確に動機付するために、再び、簡単に図１についての参照が行われる。
図１は、３つの異なる符号化モード、すなわち、第１の時間的部分１０のブラインドＢＷＥを用いて例示的に連続的に使用して符号化された音声信号の一部分１０、第２の時間的部分１２の導かれたＢＷＥおよび第３の時間的部分１４のフル帯域コア符号化を、例示的に示している。
特に、図１は、音声信号を、スペクトロ時間的に、すなわち、時間軸１８にスペクトル軸１６を追加することによって、符号化しているエネルギー保存性の変化を示している２次元のグレースケール符号化表現を示す。
３つの異なる符号化モードに関して、図１と共に記載された詳細は、単に、以下の実施の形態のための例示的なものとして扱われるが、これらの詳細は後述するように、これらの詳細は、それから得られる以下の実施形態およびそれらの利点の理解を軽減する。
【００１５】
2018055105.tif 000002
【００１６】
図１および２においても例示的に図示されている２つのＢＷＥ符号化モードは、例えば、まさに概説された、変換符号化モードまたは線形予測分析モードなどの符号化モードコアを使用している低周波部分を符号化する。しかし、中心的な符号化のこの時間は、単に、０からｆstop,Core1＜ｆstop,Core2の範囲でフル帯域幅の低周波部分に関するものである。
ｆstop,Core1より上の音声信号のスペクトル成分は、周波数ｆstop,BWE2までの導かれた帯域幅拡張の場合には、そして、図２のｆstop,Core1＜ｆstop,BWE1＜ｆstop,BWE2＜ｆstop,Core2の場合において、ｆstop,Core1およびｆstop,BWE1間の帯域幅拡張モードの場合には、データストリームのサイド情報なしで、すなわち、盲目的にパラメータ的に符号化される。
【００１７】
ブラインド帯域幅拡張によれば、例えば、デコーダは、そのブラインドＢＷＥ符号化モードに応じて推定し、中心的な符号化部分からｆstop,BWE1に対する帯域幅拡張部ｆstop,Core1は、音声信号スペクトルの中心的な符号化の部分の符号化に加えて、データストリームに含まれるいかなる付加的なサイド情報もなしに、０からｆstop,Core1まで伸びる。
音声信号のスペクトルがコアコーディングの停止周波数まで符号化されたという点で、非誘導様式により、ブラインドＢＷＥの帯域拡張部の幅は、通常、必ずしもそうではないが、ｆstop,Core1からｆstop,BWE2まで延びるＢＷＥモードの帯域幅拡張部の幅よりも小さい。
導かれたＢＷＥにおいて、音声信号は、０からｆstop,Core1まで延びているスペクトル中心的な符号化部分が関係しているコア符号化モードを使用して、符号化される。しかし、付加的なパラメータサイドの情報データは、クロスオーバー周波数ｆstop,Core1を超えてｆstop,Core1からｆstop,BWE2まで延びている帯域幅拡張部の範囲内で、音声信号スペクトルを推定するために、復号側を有効にするように設けられている。
例えば、このパラメータサイド情報は、スペクトロ時間的解像度よりも粗いスペクトロ時間的解像度において、音声信号のエンベロープを記載するエンベロープデータを含むもので、変換符号化を使用するときに、音声信号は、コア符号化を使用しているコアコーディング部で符号化される。
例えば、デコーダは、ｆstop,Core1およびｆstop,BWE2間に前もって空の音声信号の部分を満たすように、中心的な符号化部分の範囲内でスペクトルを複製することができる。そして、このとき、送信されたエンベロープ・データを使用して、この予め充填された状態を形作る。
【００１８】
図１および２は、典型的な符号化モードの切替えが、スイッチング・インスタンスにおいて、それらの符号化モードとの間に、不快な、すなわち、知覚できるアーチファクトが生じる可能性があることを明らかにする。
例えば、一方では導かれたＢＷＥとの間で、他方ではフル帯域幅符号化モードとの間で、切替えるときに、フル帯域幅の符号化モードが、正常に再構築しながら、すなわち、効果的にコード化し、スペクトル部分ｆstop,BWE2およびｆstop,Core2、導かれたＢＷＥモードの中のスペクトル成分は、そのスペクトル部分の範囲で、まさに、音声信号の何かを符号化することができないことが明らかである。
したがって、導かれたＢＷＥからＦＢ符号化へ切り替えることは、そのスペクトル部分の範囲内で音声信号のスペクトル成分の不利な、突然の開始を引き起こす可能性があり、そして、反対方向のスイッチングによって、すなわち、ＦＢコア符号化から導かれたＢＷＥに対して、この種のスペクトル成分の中で突然の消失が次々に生じる可能性がある。
これによって、どんな方法でも、音声信号の再生中にアーチファクトを引き起こす可能性がある。
スペクトル領域は、元の音声信号のエネルギーが何も保存されないフル帯域幅コア符号化モードと比較して、ブラインドＢＷＥの場合においてさえ増加し、それに応じて、消失することがまさに導かれたＢＷＥに関しても記載した突然の開始および／または突然の消失のスペクトル領域は、ブラインドＢＷＥおよびスイッチングによって、そのモードおよびＦＢコア符号化モード間に発生する。しかしながら、スペクトル部分については、増加して、ｆstop,BWE1 からｆstop,Core2 まで延びる。
【００１９】
しかしながら、異なる符号化モードとの間に切替わることにより面倒なアーチファクトが生じ得るスペクトル部分は、それらのスペクトル部分に限定されない。スイッチング・インスタンスが行われる間、符号化モードの１つは、何も符号化することが全くなく、すなわち、有効な符号化帯域幅の１つの符号化モードの外側のスペクトル部分に制限されない。
むしろ、図１および２に示されているように、実際にスイッチング・インスタンスが行われる間に、両方の符号化モードが起こる両方の符号化モードは、実際に効果的であるが、しかし、また面倒なアーチファクトがそこから生じ得るような方法で、これらの符号化モードのエネルギー保存特性は異なっている部分さえある。
例えば、ＦＢコア符号化および導かれたＢＷＥ間に切替わる場合、両方の符号化モードは、スペクトル部分ｆstop,Core1およびｆstop,BWE2の中で効果的である。しかし、ＦＢコア符号化モード２０がそのスペクトル部分の範囲内で実質的に音声信号のエネルギーを節約すると共に、そのスペクトル部分の範囲内の導かれたＢＷＥのエネルギー保存特性は実質的に減少し、そして、これらの２つの符号化モードとの間の切替えのときの突然の減少／増加に応じて、知覚できるアーチファクトが発生することがある。
【００２０】
上記の概説されたスイッチング・シナリオは、単なる代表的であることを意味する。
他の一対の符号化モードがあり、それらの間に発生する、または、迷惑なアーチファクトが生じ得る。
これは、例えば、一方では、ブラインドＢＷＥとの間の、他方では、導かれたＢＷＥとの間の切替えのため、あるいは、一方では、ブラインドＢＷＥ、導かれたＢＷＥおよびＦＢ符号化のいずれかとの間、他方では、単なる共同符号化の根底にあるブラインドＢＷＥおよび導かれたＢＷＥとの間、または、不等なエネルギー保存特性をもつ異なるフル帯域コア・コーダとの間の切替えのためにですら、当てはまる。
【００２１】
さらに以下に概説する実施形態は、異なる符号化モードとの間に切替わる際に、上記で概説した状況から生じる負の影響を克服する。
【００２２】
これらの実施形態を説明する前に、しかし、それは、異なる符号化モードをサポートする例示的なエンコーダを示す図３に関して簡単に説明される。どのようにして、エンコーダは、例えば、スイッチングがその間で上記に概説し知覚できるアーチファクトをもたらすことができる理由をよりよく理解するために、サポートされているいくつかの符号化モードの間で現在使用されている符号化モードを決定することができる。
【００２３】
図３では、エンコーダが参照符号３０を用いて示されている。エンコーダは、概して、情報信号、すなわちここでは、その入力で音声信号３２を受信し、その出力で音声信号３２を符号化し表示するデータストリーム３４を出力する。
ただ概説したように、エンコーダ３０は、例示的に、図１および２に関して概説したように、異なるエネルギー保存特性の複数の符号化モードをサポートしている。
音声信号３２は、例えば、０から音声信号３２の半分のサンプリング・レートとして、若干の最高周波数まで示す帯域幅を有するように、歪められていないこととみなされることができる。
元の音声信号のスペクトルあるいはスペクトログラムは、図１において、参照符号３６で示される。
音声エンコーダ３０は、音声信号３２をコード化することの間、 図１および２に関して上で概説されるもののような異なる符号化モードとの間で、データストリーム３４に切替わる。
したがって、音声信号は、異なる符号化モード間の切り替えに応じて変化する高域の周波数領域のエネルギー保全によって、データストリーム３４から再構成可能である。
例えば図３において、参照符号３４のデータストリーム３４から再構成可能である音声信号のスペクトル／スペクトログラムを参照して下さい。そこでは、参照符号３８で、３つのスイッチング・インスタンスＡ，Ｂ，Ｃが例示的に示されている。
Ａを切替えることの前において、エンコーダ３０は、実質的に、例えば ０からｆmax,cod までのフル帯域幅全体のエネルギーを保っている若干の最大周波数ｆmax,cod ≦ｆmaxまで音声信号３２をコード化する符号化モードを使用する。
切換例ＡおよびＢの間に、例えば、エンコーダ３０は、参照符号４０に示すように、単に、周波数ｆ1＜ｆmax,codまで、この帯域幅全域で実質的に恒常的なエネルギー保存特性を備えた有効な符号化帯域幅を有する符号化モードを使用する。そして、また、エンコーダ３０は、スイッチング・インスタンスＢおよびＣの間に、例示的に、ｆmax,codまで延びている有効な符号化帯域幅を有する符号化モードを使用する。しかし、フル帯域幅と関連する減らされたエネルギー保存特性については、参照符号４２に示すように、ｆ1およびｆmax,cod 間のスペクトル範囲までインスタンスＡより前の符号化モードに関係している。
【００２４】
したがって、スイッチング・インスタンスにおいて、それらが図１および２に関して上で述べられたように、知覚できるアーチファクトに関する課題が発生する可能性がある。
エンコーダ３０は、しかしながら、課題にもかかわらず、外部制御信号４４に応答するスイッチング・インスタンスＡ〜Ｃに切り替えることで、 符号化モードとの間に切替えることを決定することができる。
このような外部制御信号４４は、たとえば、データストリーム３４を送る役割を果たす伝達システムから生じることがある。
例えば、制御信号４４は、エンコーダ３０に利用可能な伝送帯域幅を示すことができる。エンコーダ３０は、データストリーム３４のビットレートを満たすために、すなわち、以下または表示される利用可能なビットレートに等しくなるように、適応させなければならない。
しかしながら、この利用できるビットレートに応じて、エンコーダ３０の利用できる符号化モードの間で最適な符号化モードは、変更されることがある。
この「最適符号化モード」は、それぞれのビットレートの歪曲比率に対する最適条件／最高率を有するものでもよい。
しかしながら、利用可能なビットレートが変更されると、完全にまたは実質的に、音声信号３２の内容によって無相関の方法で、これらのスイッチング・インスタンスＡ〜Ｃは、音声信号の内容が不利にその高周波部分ｆ2の中でｆmax,codに相当なエネルギーを有するところに、発生する可能性がある。ここで、エンコーダ３０のエネルギー保存特性は、符号化モード間のスイッチングのために、時間的に変動する。
このように、エンコーダ３０は、それを助けることができない場合がありますが、でも切り替えが不利になるタイミングで、制御信号４４によって外部から指示されるように符号化モードを切り替える必要があるかもしれません。
【００２５】
次に記載されている実施例は、符号化モードとの間にエンコーダ側でスイッチングから生じている負の結果を減らすように構成されるデコーダのための実施例に関する。
【００２６】
図４は、インバウンド・データ・ストリーム３４からの情報信号５２を復号化するために、少なくとも２つの符号化モードとの間にスイッチで切替え可能にサポートするデコーダを示し、デコーダは、特定のスイッチング・インスタンスに応答して、以下にさらに記載されるように、時間的な平滑化または混合を実行するように構成されている。
【００２７】
デコーダ５０によってサポートされる符号化モードのための実施例に関して、例えば、参照は、図１および２に関して、上記の説明がなされる。
すなわち、デコーダ５０は、例えば、音声信号がデータストリーム３４に変換符号化を使用している特定の最大周波数まで、この種の中心的な符号化モードによって符号化される音声信号の部分のために、例えば、音声信号の変換のスペクトル線的な表現を含むデータストリーム３４によって符号化され、０からそれぞれの最大周波数まで音声信号をスペクトル的に分解する一つ以上の中心的な符号化モードをサポートすることができる。
あるいは、中心的な符号化モードは、例えば線形予測符号化などの予測符号化を含み得る。
第１のケースにおいて、データストリーム３４は、 音声信号のスペクトル線的表現の符号化のための音声信号の中心的な符号化部分を含むことができる。そして、デコーダ５０は、周波数０から最高周波数に延びる逆変換において結果として生じている逆変換によって、このスペクトル線的表現に逆の変換を実行するように構成されている。そのため、音声信号５２は、０からそれぞれの最大周波数までフル周波数帯域にわたって、データストリーム３４に符号化された元の音声信号によって、エネルギーにおいて、実質的に一致して再建される。
予測コア符号化モードの場合には、線形予測係数に応じて設定された合成フィルタを用いて、あるいは、線形予測係数を介して周波数領域のノイズ・シェーピング（ＦＤＮＳ）を使用して、また、これらの時間的な部分にコード化された励起信号を使用して音声信号５２を再構成するために、デコーダ５０は、それぞれの予測コア符号化モードを使用しているデータストリーム３４にコード化された元の音声信号の時間的部分のためのデータストリーム３４に含まれる線形予測係数を使用するように構成されている。
合成フィルタを使用する場合には、音声信号５２がそれぞれの最大周波数まで、すなわちサンプル・レートとしての最大周波数の２倍で再建されるように、そして、周波数領域ノイズ創造を使用する場合には、デコーダ５０は、合成フィルタはサンプル・レートにおいて作動することができる。そして、周波数領域のノイズ・シェーピングを使用する場合には、デコーダ５０は、データストリーム３４からの励起信号と変換領域を取得するように構成することができる。デコーダ５０は、スペクトル線的表現の形、例えば、線形予測係数を用いてＦＤＮＳ（周波数領域のノイズ・シェーピング）を使用して、この励起信号をシェーピング（整形）し、変換された係数によって表されるスペクトル的にシェーピングされたスペクトルのバージョンへの逆変換を実行して、次に、励起を表す。
異なる最大周波数を有する１つまたは２つ以上のそのようなコア符号化モードは、使用可能であってもよいし、デコーダ５０によってサポートされてもよい。
他の符号化モードは、それぞれの最大周波数を越えて中心的な符号化モードのいずれかによってサポートされる帯域幅を広げるために、例えばブラインドであるか導かれたＢＷＥのようなＢＷＥを使用することができる。
導かれたＢＷＥは、例えば、ＳＢＲ（スペクトル帯域複製）を含むことができる。これにしたがえば、デコーダ５０は、パラメータのサイド情報に従って微細構造を整形するために、パラメータのサイド情報を使用することで、音声信号から中心的な符号化モードから再建されるにつれて、より高い周波数の方へ中心的な符号化帯域幅を延長している帯域幅拡張部の微細構造を取得する。
他の導かれたＢＷＥの符号化モードは、同様に可能である。
ブラインドＢＷＥの場合には、デコーダ５０は、帯域幅拡張部に関する明示的なサイド情報なしでより高い周波数に向かって、その最大値を超えてコア符号化帯域幅を拡張する帯域幅拡張部を再構成することができる。
【００２８】
符号化モードは、データ・ストリーム内の時間的に変化することができる単位は、一定あるいは変化する長さの「フレーム」とすることができることに留意される。
以下において、用語「フレーム」が発生する理由は、それがこのように、符号化モードが、ビットストリーム内で変化するそのような単位を意味することを意図している。すなわち、そのような単位は、それらの間の符号化モードが変化する可能性があり、また、その中で符号化モードは変化しない可能性がある。
例えば、フレームごとに、データストリーム３４は、それぞれのフレームが符号化される符号化モードを明らかにしている構文要素を含むことができる。
スイッチング・インスタンスは、このように、異なる符号化モードのフレームを切り離しているフレーム境界に配置することができる。
時には用語のサブフレームが発生することがある。
音声信号が、それぞれのフレームと関連したコーディング・モードに従って、それぞれのコーディング・モードのサブフレームに特有の符号化パラメータを用いてコード化される時間的サブユニットにフレームを時間的に分割することを、サブフレームは表すことができる。
【００２９】
図４は、特に、高周波スペクトル帯域内のより少ない、または全くない、エネルギー保存特性を有する符号化モードに、いくつかの高周波スペクトル帯域でより高いエネルギー保存特性を有する符号化モードの切替えに関する。
図４は、単に、理解の容易さのためにだけ、これらのスイッチング・インスタンスに集中していて、本願の一実施形態に従うデコーダは、この可能性に制限されてはならない点に注意されたい。
むしろ、各スイッチング・インスタンスが起こる間に、特定の符号化モードの組のための特定のスイッチング・インスタンスに関連して、図４および以下の図に関して記載されている具体的な機能性の全てを、あるいは、任意のサブセットを組み込むことができるように、本出願の実施形態によるデコーダを実装することができることは明らかである。
【００３０】
図４は、音声信号がデータストリーム３４に符号化されて用いられる符号化モードが、第１の符号化モードから第２の符号化モードに切替える時間インスタンスｔA におけるスイッチング・インスタンスＡを示している。この第１の符号化モードは、代表的に、０からｆmaxへの有効な符号化帯域幅を有する符号化モードであり、エネルギー保存特性において、周波数０から周波数ｆ1＜ｆmax まで一致している符号化モードへ切替えるが、小さいエネルギー保存特性を有するか、または、周波数、すなわち、ｆ1〜ｆmax の間を越えて、エネルギー保存特性を有していない。
２つの可能性は、図４において、音声信号が参照符号５８でデータストリーム３４に符号化されて使用したエネルギー保存特性の模式的なスペクトロ時間的表現の範囲内で、点線をもって示されるｆ1およびｆmaxの間の典型的な周波数のために、参照符号５４および５６で代表的に例示されている。
参照符号５４の場合、スイッチング・インスタンスＡに続いて起こる音声信号５２の時間的部分の復号化バージョンの第２の符号化モードは、エネルギー保存性が、参照符号５４に示すように、この周波数を越えて０となるように、単に、ｆ1まで延びる有効な符号化帯域幅を有する。
【００３１】
例えば、第１の符号化モードは、第２の符号化モードと同様に、異なる最大周波数ｆ1およびｆmaxを有するコア符号化モードであってもよい。
あるいは、これらの符号化モードの一方または両方は、異なる有効な符号化帯域幅を有する帯域幅拡張を含むことができ、一方はｆ1まで、他方はｆmaxまで、延びる。
【００３２】
参照符号５６の場合は、ｆmaxまで延びている有効な符号化帯域幅を有する両方の符号化モードの可能性を例示する。しかしながら、第２の符号化モードのエネルギー保存特性により、先行する時間インスタンスｔAは、第１の符号化モードの一つと関連して時間的部分に関して、減少する。
【００３３】
スイッチング・インスタンスＡは、すなわち、直ちに、先行するスイッチング・インスタンスＡの時間的部分６０は、第１の符号化モードを用いて符号化され、そして、直ちに、後続するスイッチング・インスタンスＡの時間的部分６２は、第２の符号化モードを使用して符号化される、という事実は、データストリーム３４の中で信号を送ることができる。あるいは、さもなければ、デコーダ５０がデータストリーム３４からの音声信号５２を復号化するための符号化モードを交換するスイッチング・インスタンスは、コード化している側でそれぞれの符号化モードと同期するように、デコーダ５０に信号を送ることができる。
例えば、上記で簡単に概説したフレーム単位のモード・シグナリングは、スイッチング・インスタンスを切り替え、認識及び識別するか、または異なるタイプの間を区別するように、デコーダ５０によって使用されてもよい。
【００３４】
いずれにせよ、図４のデコーダは、スイッチング・インスタンスＡで時間的不連続の効果を回避するように、ｆmaxから周波数ｆ1 の間が高周波スペクトル帯域６６の範囲内で、エネルギー保存特性が時間的な平滑化または混合を実行する効果を例示しようとする参照符号６４において略図で例示されるように示すことによって、移行で音声信号５２の時間的部分６０および６２の復号化バージョンの間に時間的な平滑化または混合を実行するように構成される。
【００３５】
参照符号５４および５６と同じように、参照符号６８、７０、７２および７４において、結果として生じるエネルギー保存特性の時間的経過を示すことによって、デコーダ５０が時間的な平滑化／混合をどのように達成するかを示す非網羅的な１組の実施例は、高周波スペクトル帯域６６の範囲内で参照符号６４の点線によって示される典型的な周波数のために、時間と共にプロットされる。
参照符号６８および７２で示される実施例は、参照符号５４に示されるスイッチング・インスタンスの実施例を取扱うためのデコーダ５０の機能の可能な実施例を表すと共に、参照符号７０および７４に示される実施例は、参照符号５６で例示されるシナリオ切替えの場合、デコーダ５０の可能な機能を示す。
【００３６】
また、参照符号５４で例示されるシナリオ切替えにおいて、第２の符号化モードは、周波数ｆ1より上に音声信号５２を全く再構築しない。
参照符号６８の実施例によれば、音声信号５２の復号化バージョンとの間の移行において、スイッチング・インスタンスＡの前後で時間的な平滑化または混合を実行するために、デコーダ５０は、一時的に、直ちにスイッチング・インスタンスＡに代わっている一時的な時間７６のために、ｆmaxまで周波数ｆ1より上に、音声信号のスペクトルを推定して満たすように、ブラインドＢＷＥを実行する。
参照符号７２で示された実施例に示すように、デコーダ５０は、高周波スペクトル帯域６６の範囲内のエネルギー保存特性が関係している限り、スイッチング・インスタンスＡにまたがって移行さえも、より平滑化されるように、高周波スペクトル帯域６６の範囲内で若干のフェードアウト機能７８を使用している時間的シェーピング（整形）に推定されたスペクトルをこのために従属させることができる。
【００３７】
実施例７２の具体例は、以下にさらに説明される。
デーストリーム３４が一時的なブラインドＢＷＥパフォーマンスに関してデータストリーム３４の中で何の信号を送る必要のないことが強調される。
むしろ、デコーダ５０自体は、フェードアウトの有無にかかわらず、一時的にブラインドＢＷＥを適用するために、スイッチング・インスタンスＡに応答するように構成される。
【００３８】
ブラインドＢＷＥを使用しているより高い周波数に向かってその上限を超えてスイッチング・インスタンスを挟んで互いに隣接する符号化モードの内の１つの有効な符号化帯域幅の拡張は、以下の時間的混合と呼ばれている。
図５の説明から明白になるにつれて、実際のスイッチング・インスタンスより前に開始するように、時間的に移動させて／スイッチング・インスタンス全体の混合期間７６を移すことは可能である。
混合部分のところまで、時間間隔７６は、関係している。そして、それは、スイッチング・インスタンスＡに先行している。混合は、段階的な方法で高周波スペクトル帯域６６の範囲内で音声信号の５２のエネルギーを減らすことをもたらす。すなわち、０と１の間または部分区間のもっぱら両方で変化している様々な方法の要因によって、高周波スペクトル帯域６６の範囲内でエネルギー保存特性の時間的な平滑化をもたらす結果となる。
【００３９】
５６の状況は、スイッチグ・インスタンスＡ全体の各々に隣接している両方の符号化モードのエネルギー保存特性が５６の場合には、両方の符号化モードの高周波スペクトル帯域６６の範囲内で０と異なるという点において、５４の状況とは異なる。
５６の場合には、エネルギー保存性が急にスイッチング・インスタンスＡで下がる。７０の実施例によれば、図４のデコーダ５０は、スイッチング・インスタンスＡの後の予備時間８０は、スイッチング・インスタンスＡの前の音声信号５２のエネルギーと、単に、第２の符号化モードを使用して得られるように、直ぐに、高周波スペクトル帯域６６の範囲内の音声信号の５２のエネルギーとの間に、高周波スペクトル帯域６６の範囲内の音声信号の５２のエネルギーをセットすることを目的として、バンド６６のエネルギー保存特性のこの突然の減少の潜在的負の効果を補償するために、前もってスイッチング・インスタンスＡの前後において直ちに時間的部分６０および６２との移行の間に時間的な平滑化または混合を実行するように構成されている。
換言すれば、デコーダ５０は、後続のスイッチング・インスタンスＡのエネルギー保存特性が先行するスイッチング・インスタンスＡに適用される符号化モードのエネルギー保存特性により類似する状態となるように、予備時間８０の間、前もって音声信号の５２のエネルギーを増加させる。
この増加のために使用する要因が図示するように７０で予備時間８０の間、一定に保たれることができると共に、高周波スペクトル帯域６４の範囲内でスイッチング・インスタンスＡにわたってエネルギー保存特性のなお一層滑らかな移行を得るために、この要因がその時間８０の範囲内で段階的に減少することもできることが、図４の７４で示される。
【００４０】
後ほど、７０において示され／例示される変形例のための実施例は、下で更に概説される。
音声信号のレベル、すなわち、７０および７４の場合には、音声信号がそれぞれのスイッチング・インスタンスＡの前後でコード化されるエネルギー保存特性の増加／減少を補償するために、増加の予備変化は、以下の時間的な平滑化と呼ばれている。
換言すれば、予備時間８０の間、高周波スペクトル帯域の範囲内の時間的な平滑化は、時間的部分において、音声信号が符号化され、それぞれの符号化モードを用いて復号化することからその高周波スペクトル帯域の範囲内で直接生じている音声信号の５２レベル／エネルギーと関連してより弱いエネルギー保存特性を備えた符号化モードを使用するスイッチング・インスタンスＡの周辺で、音声信号５２のレベル／エネルギーの増加を意味し、および／または、音声信号の減少は、音声信号が符号化され、その符号化モードを有する音声信号をコード化することから高周波スペクトル帯域の範囲内でより高いエネルギー保存特性を備えた符号化モードを使用するスイッチング・インスタンスＡのまわりの時間的部分の範囲内の一時的な期間８０の間、音声信号５２のレベル／エネルギーの減少を意味する。そして、その符号化モードを有する音声信号をコード化することから、直接生じているエネルギーと関連している。
換言すれば、デコーダが５６のようなスイッチング・インスタンスを処理する方法は、直接、スイッチング・インスタンスＡに続くために、一時的な期間８０を配置することに制限されない。それよりも、一時的な期間８０は、スイッチング・インスタンスＡを横切ることができるかまたはそれに先行することさえできる。
その場合、音声信号の５２のエネルギーは、一時的な期間８０の間、スイッチング・インスタンスＡの前の時間的部分に関する限りは、音声信号がスイッチング・インスタンスＡの後に符号化される符号化モードの結果として生じるエネルギー保存特性とより類似しているようにするために、減少する。すなわち、高周波スペクトル帯域の範囲内の結果として生じるエネルギー保存特性は、スイッチング・インスタンスＡの前の符号化モードのエネルギー保存特性およびスイッチング・インスタンスＡの後の符号化モードのエネルギー保存特性の間に位置する。
【００４１】
図５のデコーダの説明を続行する前に、時間的平滑化および時間的混合の概念が混合されることができることに注意されたい。
例えば、ブラインドＢＷＥは、時間的混合を実行するための基礎として使われると想像して下さい。
このブラインドＢＷＥは、例えば、低いエネルギー保存特性を有することができる。そして、そのことは、以後、時間的平滑化をさらに適用することで「欠点」がさらに補償される。
さらに、図４は、６８〜７４またはそれらの組み合わせ、すなわち、５５および／または５６のそれぞれの例に応答することに関して、上で概説される機能の内の１つを組み込んでいて／特徴としているデコーダのための実施例を説明するものとして理解されなければならない。
同じことは、スイッチング・インスタンスの後の有効な符号化モード関連して、高周波スペクトル帯域６６の範囲内で、低いエネルギー保存特性を有する符号化モードからスイッチング・インスタンスに応答するデコーダ５０を記載する、以下の数字にあてはまる。
違いを強調するために、スイッチング・インスタンスは、図５の中の意味されたＢである。
可能な限り、図４において用いられている同じ参照符号は、説明の不必要な反復を回避するために、再利用される。
【００４２】
図５において、音声信号がストリーム３４に符号化されたエネルギーを保存特性は、図４における４８と同様に、スペクトロ時間的に模式的な方法でプロットされる。それが示されているように、スイッチング・インスタンスＢの音声信号の時間的な部分６２を符号化するように、直ちにスイッチング・インスタンスＢの前の時間的部分６０が高周波スペクトル帯域の範囲内でスイッチング・インスタンスＢの直後に選択された符号化モードと関連して減少したエネルギー保存特性を有する符号化モードに帰属する。
図５の９２および９４において、時間間隔ｔB でスイッチング・インスタンスＢ全体のエネルギー保存特性の時間的経過の典型的な例示が示されている。９２は、時間的部分６０のための符号化モードがそれとともに、高周波スペクトル帯域６６でさえもカバーしなくて、それに応じて０のエネルギー保存特性を有する有効な符号化帯域幅を結びつけたケースを示し、９４は時間的部分６０のための符号化モードが高周波スペクトル帯域６６をカバーして、高周波スペクトル帯域の範囲内で０以外のエネルギー保存特性を備えた有効な符号化帯域幅を有するケースを示すが、エネルギー保存特性と関連してスイッチング・インスタンスＢに続く時間的部分６２と関連した符号化モードの同一周波数で減少される。
【００４３】
図５のデコーダは、図５にて図示したように、どうも高周波スペクトル帯域６６の範囲までは、スイッチング・インスタンスＢ全体のエネルギー保存特性を時間的に平滑化するように、スイッチング・インスタンスＢに応答する。
スイッチング・インスタンスＢに応答するデコーダ５０の機能は、どんな状態でありえたか、図４，図５のように、９８、１００、１０２および１０４で４つの実施例を示すが、他の実施例が下で更に詳細に概説されるのと同様に可能である点に、再び、注意される。
【００４４】
実施例９８〜１０４の中で、実施例９８および１００は、スイッチング・インスタンスタイプ９２に関連し、その一方で、他はスイッチング・インスタンスタイプ９４に関連する。
グラフ９２および９４の様に、９８〜１０４で示されるグラフは、高周波スペクトル帯域６６の内側ものの典型的な周波数のためのエネルギー保存特性の時間的経過を示す。
しかしながら、９２および９４は、スイッチング・インスタンスＢに前後しているそれぞれの符号化モードによって定義されるように、最初のエネルギー保存特性を示す。その一方で、９８〜１０４で示されるグラフは、すなわち、後述するように、スイッチング・インスタンスに応答して、実行されるデコーダの５０の計測を含んでいる有効なエネルギー保存特性を示す。
【００４５】
９８は、デコーダ５０がスイッチング・インスタンスＢを実現するときに、即座に、時間的混合を実行するように構成されている例示を示す。：スイッチング・インスタンスＢまで有効な符号化モードのエネルギー保存特性が０として、デコーダ５０は、前もって一時的な期間１０６の間、スイッチング・インスタンスＢが働いて有効なそれぞれの符号化モードを使用することを復号化することから生じるとして、直ちにスイッチング・インスタンスＢに続く音声信号５２の復号化バージョンのエネルギー／レベルを低下させる。その結果、その一時的な期間１０６内で、高周波スペクトル帯域６６に関する限り、スイッチング・インスタンスＢの前の符号化モードのエネルギー保存特性およびスイッチング・インスタンスＢに先行する符号化モードの変更されていない／最初のエネルギー保存特性の間に位置する。
実施例６８は、段階的に／連続的に、音声信号の５２のエネルギーが一時的な時間１０６の間、スイッチング・インスタンスＢから期間１０６の終わりまで拡大・縮小される要因を増加させるためにフェードイン機能が用いられるのに応じて、変形例を使用している。
前述したように、しかしながら、図４を使用している実施例７２および６８に関して、一時的な期間１０６の間のスケーリングファクタを一定のままにすることはしかしながら可能でもある。それによって、先行するスイッチング・インスタンスの符号化モードが０により近いバンド６６の範囲内の結果として生じるエネルギー保存特性を取得するように、一時的に、期間１０６の間に音声信号のエネルギーを減らす。
【００４６】
１００は、６８および７２を記載する際に、図４に関して既に説明されたスイッチング・インスタンスＢを即座に実現するデコーダの５０の機能の二者択一のための実施例を示す。１００に示される変形例によれば、一時的な時間１０６は、時間インスタンスｔBを交差させるために、時間的上流方向に沿って移される。
切換例Ｂに応答するデコーダ５０は、何らかの形で、例えば、バンド６６の範囲内で時間的にスイッチング・インスタンスＢに先行する部分１０６の一部の範囲内で音声信号５２の評価を得るために、空き、すなわち、直ちにブラインドＢＷＥを使用している先行するスイッチング・インスタンスＢの音声信号５２の高周波スペクトル帯域６６の０−エネルギーを充填する。その後、０から１まで、例えば、期間１０６の最初から終わりまで、音声信号５２のエネルギーを段階的／連続的に増やすためにフェードイン機能を印加する、それによって、スイッチング・インスタンスＢに先立ってブラインドＢＷＥによって得られ、スイッチング・インスタンスＢの後に有効／選択される符号化モードを使用するにつれて、後続のスイッチング・インスタンスＢの１０６部分のところまで関係しているバンド６６の範囲内で音声信号のエネルギーの低減程度を連続的に減少させている。
【００４７】
９４のように符号化モードとの間に切り替わる場合には、先行するスイッチング・インスタンスＢも後続のスイッチング・インスタンスＢの両方とも、バンド６６の範囲内のエネルギー保存特性が０と等しくない。
図４の５６で示されるケースに対する違いは、単に、バンド６６の範囲内のエネルギー保存特性が、先行するスイッチング・インスタンスＢの時間的部分の範囲内に適用されるエネルギー保存特性に比べて、後続のスイッチング・インスタンスＢの時間的部分６２の範囲内でより高いというだけである。図５のデコーダ５０は、７０および図４に関して上述されるケースと類似の１０２で示される実施例に従って、効果的に振舞う。スイッチング・インスタンスＢの前に有効な符号化モードの最初のエネルギー保存特性と、スイッチング・インスタンスＢの後の有効な符号化モードの変更されていない／最初のエネルギー保存特性との間にだいたい位置するように有効なエネルギー保存特性をセットするために、デコーダ５０は、直ちに、続いて起こるスイッチング・インスタンスＢの一時的期間の間、スイッチング・インスタンスＢの後で音声信号のエネルギーが有効な符号化モードを使用して復号化されるように、わずかに縮小する。
一定のスケーリングファクタが図５の中の１０２で図示されていると共に、それは連続的に一時的に変化するフェードイン機能が同様に用いられることができるケース７４に関して、図４で既に述べられた。
【００４８】
完全性のために、スイッチング・インスタンスＢが起こる符号化モードの最初の／変更されていないエネルギー保存特性の間にあるエネルギー保存特性をセットするように、一時的な期間１０８がスケーリングファクタを使用している間に応じて音声信号の５２のエネルギーを増加させることにより、直ちにスイッチング・インスタンスＢを先行させるために、１０４は、時間的上流方向の一時的な期間１０８に向かって／シフトするデコーダ５０に従う変形例を示す。
ここでも、いくつかのフェードイン・スケーリング機能の代わりに、一定スケーリングファクタを使用することもできる。
【００４９】
ここのように、実施例１０２および１０４は、スイッチング・インスタンスＢに応答する時間的平滑化を実行するための２つの実施例を示す。そして、一時的な期間が交差するか先行するように移行され得るという事実が図４に関して述べられたように、スイッチング・インスタンスＢは、図４の実施例７０および７４に積み換えることもできる。
【００５０】
図５を記載した後に、デコーダ５０が単にものだけまたは機能のサブセットだけを組み込むことができるという事実は、スイッチング・インスタンス９０および／または９４に応答する実施例９８〜１０４に関して上記を概説したことに、注意されたい。そしてそれは、記載が同様の方法で図４に関して提供された。
全体的な一連の機能６８、７０、７２、７４、９８、１００、１０２および１０４に関する限りは、有効である。デコーダは、スイッチング・インスタンス５４、５６、９２および／または９４に応答する同じことの一つまたはサブセットを実施することができ得る。
【００５１】
図４および５は、ｆ1の下で時間的平滑化が必要でないように、そして、高周波スペクトル帯域が、ｆ1 ＜ｆmax について、下のスペクトル跳躍としてｆ1を有するように、通常、スイッチング・インスタンスが起こる両方の符号化モードが実質的に同じ―または相当する―エネルギー保存特性を有し、スイッチング・インスタンスＡまたはＢが起こる間の符号化モードの効果的な符号化帯域幅の上限周波数範囲の最大値を意味するｆmax、および、両方の符号化モードの最上位の周波数を意味するｆ1を用いる。
符号化モードが短時間に上で述べられたにもかかわらず、さらに詳細に特定の可能性を例示するために、図６Ａ〜図６Ｄが参照される。
【００５２】
図６Ａはデコーダ５０の符号化モードまたは復号化モードを示し、そして、「中心的な符号化モード」の１つの可能性を表す。
この符号化モードに応じて、音声信号は、スペクトル線的な変換の表現１１０の形で、周波数０〜最大周波数ｆcore までスペクトル線１１２を有する重ねられた変換のようなスペクトル線的な変換の表現１１０の形で、データストリームに符号化される。例えば、この重ねられた変換は、ＭＤＣＴ等であってもよい。
スペクトル線１１２のスペクトル値は、スケーリング係数を使用して、量子化されて、異なって送信することができる。
この目的で、スペクトル線１１２は、スケールファクタバンド１１４に分類／分割することができ、そして、データストリームは、スケールファクタバンド１１４と関連したスケーリングファクタ１１６を含むことができる。
デコーダは、図６Ａのモードに従って、１１８で関連するスケールファクタ１１６に従うさまざまなスケールファクタバンド１１４と関連したスペクトル線１１２のスペクトル値を再スケールして、再スケールされたスペクトル線的な表現を、例えば、ＩＭＤＣＴ等の逆の重ねられた変換のような逆の変換１２０に従属させ、任意に時間的エイリアシング補償のための重複／加算操作を含んで、復帰／複製するために、音声信号の部分は図６Ａの符号化モードに結び付けられる。
【００５３】
図６Ｂは、中心的な符号化モードを表すこともできる 符号化モード可能性を例示する。
データストリームは、線形予測係数に基づく情報１２２および励起信号に基づく情報１２４によって、図６Ｂ関連する符号化された部分を含む。
ここで、情報１２４は、励起信号が１１０で示されるものとしてスペクトル線的な表現を使用して、そして、最も高い周波数ｆcoreに、すなわち、スペクトル線的な分解を使い果たすことを表している。
情報１２４は、スケールファクタを含むこともできるものではあるが、図６Ｂにおいて図示していない。
いずれにせよ、周波数領域の情報１２４によってスペクトル創造に得られて、線形予測係数１２２を基礎として引き出されるスペクトル形づくっている機能を有する１２６を形づくっている周波数領域ノイズと呼ばれているように、デコーダは励起信号を従属させる。それによって、音声信号のスペクトルの再生を引き出し、それから、例えば、それが１２０に関して説明されたちょうどその時、逆の変換に従属してもよい。
【００５４】
図６Ｃも、潜在的なコア符号化モードを例証する。
今回、データストリームは、音声信号のそれぞれ符号化部分、線形予測係数の情報１２８および励起信号、すなわち、１３０に関する情報のために構成される。そこにおいて、デコーダは、励起信号１３０を線形予測係数１２８に従って調整される合成フィルタ１３８に従属させるために、情報１２８および１３０を使用する。
合成フィルタ１３２は、 ナイキスト基準で、 音声信号が合成フィルタ１３２を用いて、すなわち、その出力側で再建される最大周波数ｆcoreを決定する 特定のサンプル・フィルタ―タップ率を使用する。
【００５５】
図６Ａ〜図６Ｃに関して例示される中心的な符号化モードは、周波数０から最大のコア符号化周波数ｆcoreまで、相当なスペクトルで、恒常的なエネルギー保存特性所を有する音声信号を符号化する傾向がある。
しかしながら、図６Ｄに関して例示される符号化モードは、この点に関しては異なる
図６Ｄは、例えばＳＢＲ等の導かれた帯域幅拡張モードを例示する。
この場合、データストリームは、音声信号の符号化された部分をそれぞれ、コア符号化データ１３４のために、そのパラメトリックデータ１３６に加えて含んでいる。
中心的な符号化データ１３４は、上からｆcoreまで音声信号のスペクトルを記載して、１１２および１１６、または１２２および１２４、または１２８および１３０を含むことができる。
パラメータのデータ１３６は、パラメータ的に音声信号のスペクトルをスペクトル的に０からｆcoreまで延びている中心的な符号化帯域幅のより高い周波数側に置かれる帯域幅拡張部に記載する。
デコーダは、中心的な符号化帯域幅の範囲内で、すなわちｆcoreまで音声信号のスペクトルを回復するようにコア復号処理１３８に対して中心的な符号化データ１３４を従属させ、そして、図６Ｄの符号化モードの有効な符号化帯域幅を表しているｆcoreより上にｆBWEまで音声信号のスペクトルを回復／推定するために、パラメータのデータをスケーラー１４０に従属させる。
破線１４２で示すように、デコーダは、スペクトル領域または時間的領域において、帯域幅拡張部の範囲内でｆcoreおよびｆBWEの間に音声信号の微細構造の評価を得て、パラメータのデータ１３６を使用しているこの微細構造をスペクトル的に形成するために、コア復号処理１３８によって得られるように、ｆcoreに対して音声信号のスペクトルの再建を使い果たすことができる。そしてそれは、帯域幅拡張部の範囲内で例えばスペクトル・エンベロープを言い表している。
これは、例えば、ＳＢＲにおけるケースである。これは、高周波数推定１４０の出力での音声信号の再構成をもたらすであろう。
【００５６】
ブラインドＢＷＥモードは、単に中心的な符号化データを含み、例えば、中心的な符号化帯域幅を上回って、より高い周波数領域にｆcoreより上に音声信号のエンベロープの外挿を使用して、音声信号のスペクトルを推定する。そして、より高い周波数領域（帯域幅拡張部）までの中心的な符号化部分からその領域の微細構造を決定するために、人工のノイズ生成および／またはスペクトル複製を使用している。
【００５７】
図４および５のｆ1およびｆmaxに、これらの周波数は、コア符号化モード、すなわち、ｆcoreの上限周波数が、それらの両方またはいずれかを示すことができる、あるいは、帯域幅拡張部の上限周波数、すなわち、ｆBWEを表すことができる、
【００５８】
図７Ａ〜図７Ｃは、完全性のために、図４および５に関して上記で概説された時間的平滑化および時間的混合オプションを実現する３つの異なる方法を例示する。
図７Ａは、例えば、ブラインドＢＷＥ１５０を用いるところで、スイッチング・インスタンスに応答するデコーダ５０が、前もってそれぞれの一時的な期間の間、高周波スペクトル帯域６６と一致する帯域幅拡張部の範囲内で、音声信号のスペクトルの評価をそれぞれの符号化モードの符号化帯域幅１５２に効果的に加えるように、使用するケースを例示する。
これは、図４および５の６８〜７４および９８〜１０４に対する実施例６８の全ての事例であった。
結果として生じるエネルギー保存特性でブラインドＢＥＷを示すために、ドットの充填が用いられている。
これらの実施例に示すように、例えば、デコーダは、付加的に、スケーラー１５４のブラインド帯域幅拡張評価の結果をスケーリング（拡大・縮小）すること／形づくることができ、そして、例えば、フェードインまたはフェードアウト機能を使用する。
【００５９】
図７Ｂは、それぞれのスイッチング・インスタンスの場合において、デコーダの５０の機能を示し、修正された音声信号のスペクトル１６０に結果としてなるために、高周波スペクトル帯域６６の範囲内で、そして、前もってそれぞれの一時的な時間の間、それぞれのスイッチング・インスタンスが起こる符号化モードの１つによって得られるように、スケーラー１５６で音声信号のスペクトル１５８をスケーリングする。
スケーラー１５６のスケーリングは、スペクトル領域において実行することができるけれども、他の可能性が同様に存在する。
図７Ｂの別の可能性は、例えば、図４および５の実施例７０、７４、１００、１０２および１０４において起こる。
【００６０】
図７Ｂの特定の変形は、図７Ｃに示される。
図７Ｃは、図４および５の７０、７４、１０２および１０４で例証される時間的平滑酢のいずれかを実行する方法を示す。
ここで、高周波スペクトル帯域６６のスケーリングのために使用するスケールファクタは、スイッチング・インスタンスの前後においてそれぞれの符号化モードを使用して得られるように、音声信号のスペクトルから決定されるエネルギーを基礎として決定される。
１６２は、例えば、先行するかまたは後続するスイッチング・インスタンスの時間的部分において、音声信号の音声信号スペクトルを示す。ここで、この符号化モードの有効な符号化帯域幅は、０からｆmax に至る。
１６４で、その時間的部分の音声信号の範囲は示される。そしてそれは、スイッチング・インスタンスの他の時間的側面に位置し、符号化モードを使用して符号化される。そして、その有効な符号化帯域幅は、同様に、０からｆmax に至る。
しかしながら、符号化モードの内の１つは、高周波スペクトル帯域６６の範囲内で、減らされたエネルギー保存特性を有する。
エネルギー決定１６６および１６８によって、高周波スペクトル帯域６６の範囲内の音声信号のスペクトルのエネルギーは、スペクトル１６２から一度、スペクトル１６４から一度、決定される。
スペクトル１６４から決定されるエネルギーは、例えば、Ｅ1として示される、そして、スペクトル１６２から決定されるエネルギーは、例えば、Ｅ2を使用して示される。
それから、スケールファクタの決定は、スケーラー１５６を介して高周波スペクトル帯域６６の範囲内で、図４および５において記載の一時的な時間の間、スケーリング・スペクトル１６２および／またはスペクトル１６４のためのスケールファクタを決定する。そこにおいて、スペクトル１６４のために使用されるスケールファクタが、例えば、１とＥ2／Ｅ1の間に、両方とも包括的に位置し、また、スペクトル１６２上で実行されるスケーリングのためのスケールファクタは、１とＥ1／Ｅ2の間、両方とも包括的に位置し、またはその両方とも独占的に、両方の境界との間で、常に設定されている。
スケールファクタの決定１７０によるスケールファクタの恒常的な設定は、例えば、実施例１０２、１０４および７０において使われたが、時間的に変更スケールファクタを有する連続バリエーションは、図４の７４で提示され／典型的に示されている。
【００６１】
すなわち、図７Ａ〜７Ｃは、デコーダ５０の機能を示す。そしてそれは、図４および５に関して上で概説されるのと同様に、例えば後続するスイッチング・インスタンスか、交差するスイッチング・インスタンスか、または、先行するスイッチング・インスタンスなどのスイッチング・インスタンスの一時的な時間部分の範囲内で、スイッチング・インスタンスに応答するデコーダ５０によって実行される。
【００６２】
図７Ｃに関して、図７Ｃの説明は、それぞれのスイッチング・インスタンスの前に時間的部分に帰属するように、および／または、高周波スペクトル帯域のより高いエネルギー保存特性を有する符号化モードを使用して時間的部分が符号化されるように、前もってスペクトル１６２の関連を怠ったか否かに、注意されたい。
しかしながら、スケールファクタの決定１７０は、実際には、バンド６６の範囲内でより高いエネルギー保存特性を有する符号化モードを使用して符号化されるスペクトル１６２および１６４の内のどちらかを考慮する。
【００６３】
スケールファクタの決定１７０は、スイッチングの方向に応じて別様に、すなわち、高周波スペクトル帯域に関する限りでは、より高いエネルギー保存特性を備えた符号化モードから、より低いエネルギー保存特性を備えた符号化モードに符号化モードに切替えることによって、逆もまた同様に、移行を扱うことができ、および／または、以下でより詳細に概説されるように、分析スペクトル帯域の音声信号のエネルギーの時間的経過の分析に応じて、移行を扱うことができる。
この措置によって、スケールファクタの決定１７０は、不快な「スミア」を回避するために、一時的に高周波スペクトル帯域の範囲内で音声信号のエネルギーの「ローパスフィルタ」の度合いを設定することができる。
例えば、スケールファクタの決定１７０は、低域フィルタリングが同じことを改善しているよりはむしろ、デコーダの出力で結果としてなっている音声信号の品質を劣化させるように、音声信号の内容の音の位相がアタックまたはその逆に隣接するところのスイッチング・インスタンスが時間的インスタンスで起こるということを、分析スペクトル帯域の範囲内で、音声信号のエネルギー・コースの評価が示唆する領域において低域フィルタリングの度合いを減らすことができる。
同様に、高周波スペクトル帯域において、音声信号の内容のアタック終了後のエネルギー構成要素のそのような「カットオフ」は、この種のアタックの開始の高周波スペクトル帯域において「カットオフ」を超える音声信号の品質を劣化させる傾向がある。そして、したがって、スケールファクタの決定１７０は、高周波スペクトル帯域のより低いエネルギー保存特性を備えた符号化モードから、そのスペクトル帯域のより高いエネルギー保存特性を備えた符号化モードへの移行で、低域フィルタリングの度合いを減らすことができる。
【００６４】
図７Ｃの場合において、高周波スペクトル帯域での時間的感覚のエネルギー保存特性の平滑化は、音声信号のエネルギー領域において実質的に実行される。すなわち、それが、高周波スペクトル帯域の範囲内において、時間的に音声信号のエネルギーを平滑化することによって、間接的に実行される点に注意することには、価値がある。
音声信号の内容がスイッチング・インスタンスの周辺に音色の種類やアタックなどが同じタイプのものである限り、したがって、効果的に実行される平滑化は、高周波スペクトル帯域内のエネルギー保存特性に類似した平滑化をもたらす。
しかしながら、図３に関して例えば上で概説されるけれども、スイッチング・インスタンスがエンコーダに外部的に、すなわち、外側から強制されて、その結果、１つの音声信号コンテントタイプからその他への移行であっても並行して発生することができるように、この仮定は維持されることができない。
したがって、図８および９に関して後述する実施例は、スイッチング・インスタンスに応答するデコーダの時間的平滑化を抑制するために、この種の状況を確認しようとする。または、そのような場合、時間的平滑化の度合いを減らすことがこの種の状況において実行される。
さらに以下に記載されている実施形態は、切替わっている符号化モードに時間的平滑化機能に焦点を当てているにもかかわらず、さらに以下で実行される分析法は、上記の時間的混合の度合いを制御するために用いられることもでき、例えば、時間的混合は、少なくとも、図４および５に関して記載されている典型的な機能のいくつかに従って、時間的混合を実行するために、ブラインドＢＷＥが使われなければならないという点で、不利である。そして、そこから結果としてなっている優良な効果がひどく推定された帯域幅拡張部が原因で全体の音声品質の潜在的低下を上回るこの種のフラクションまで、または、時間的混合の量を減少し、スイッチング・インスタンスに応答するブラインドＢＷＥの推測のパフォーマンスを制限するために、以下に概説する分析は抑制され得るものである。
【００６５】
図８は、データストリームにコード化されて、そして、このように、両方とも興味深い高周波スペクトル帯域で、より高いエネルギー保存特性を備えた符号化モードから、より低いエネルギー保存特性を備えた符号化モードへのスイッチング・インスタンスにおいて、データストリームの２つの連続的な時間部分、例えばフレームのために、それぞれの符号化モードのエネルギー保存特性と同様に、デコーダにおいて利用可能である音声信号のスペクトルを１つのグラフに示している。
図８のスイッチング・インスタンスは、このように、「ｔ−１」がスイッチング・インスタンスに先行する時間部分を意味し、そして、「ｔ」がスイッチング・インスタンスに後続する時間的部分を指摘する５６および図４において例示されるタイプである。
【００６６】
図８において明らかなように、高周波スペクトル帯域６６の範囲内の音声信号のエネルギーは、先行する時間的部分ｔ−１で比較されるよりも、後続する時間的部分ｔにおいて非常に低い。
しかしながら、問題は、時間的部分ｔ−１の符号化モードから時間的部分ｔの符号化モードに移行するときに、このエネルギー減少が高周波スペクトル帯域６６のエネルギー保存特性の減少に完全に起因していなければならないかどうかということである。
【００６７】
図９に関して更に下で概説される実施例において、問題は、高周波スペクトル帯域６６の低い周波数側に配置される分析スペクトル帯域１９０の範囲内で音声信号のエネルギーを評価するために、 例えば図８に示すように直ちに高周波スペクトル帯域６６に当接している方法で答えられる。
分析スペクトル帯域１９０の範囲内の音声信号のエネルギーの変動が高いことを評価が示す場合、その場合、デコーダによるスイッチング・インスタンスに応答するいかなる時間的な平滑化および／または混合も抑制され、または、段階的に減少されなければならないように、高周波スペクトル帯域６６のいかなるエネルギー変動も切り替わっている符号化モードが切り替ることによって生じるアーチファクトよりむしろ、元の音声信号の固有の所有物に起因していそうである。
【００６８】
図９は、デコーダが図８の実施例の場合には５０の機能であることを、図式的に図７Ｃと類似の方法で明らかにする。
図９は、図８に類似してＥt-1を使用して示され、 現在のスイッチング・インスタンスに先行する音声信号の時間的部分６０から導き出せるスペクトルを示す。そして、図８に類似してＥtを使用して示され、現在のスイッチング・インスタンスに続いて起こる時間的部分６２に関して、データストリームから導き出せるスペクトルを示す。
参照符号１９２を用いて、図９は、５６のようなスイッチング・インスタンスまたは上述したスイッチング・インスタンスの任意の他のもの応答して、例えば図７の通り、上記の機能のいずれかに従って実施することができる、デコーダの時間的な平滑化／混合ツールを示している。
さらに、参照符号１９４を用いて示されている評価装置は、デコーダに提供される。
評価装置は、分析スペクトル帯域１９０の範囲内で、音声信号を評価するかまたは調査する。
例えば、評価装置１９４の使用は、この目的のために、それぞれ、部分６０および部分６２に由来する音声信号のエネルギーを用いる。
例えば、評価装置１９４は、分析スペクトル帯域１９０の音声信号のエネルギーのある程度の変動を決めて、そこから、スイッチング・インスタンスへのツール１９０の反応が抑制されなければならない 決定を引き出す、または、ツール１９０の時間的な平滑化／混合の程度は減少した。
したがって、評価装置１９４は、ツール１９０に応じて、を制御する。
評価装置１９４のための可能な実施は、以下に、より詳細に説明される。
【００６９】
以下において、具体的な実施形態は、より詳細な方法に記載されている。
先に述べたように、より詳細に以下にさらに概説される実施形態は、デコーダの範囲内で実行される２つの処理工程を用いて異なるＢＷＥｓとフル帯域コアの間で継ぎ目のない移行を得ようとする。
【００７０】
処理は、 上で概説されるものとして、 周波数領域、例えばＦＦＴ、ＭＤＣＴまたはＱＭＦ領域のデコーダ側で、後処理ステージの形で適用される。
後文に、いくらかのステップがすでに、エンコーダ、例えばフル帯域コア等のより広い有効な帯域幅に融合しているフェードインのアプリケーションの範囲内でさらに実行されることが、記載されている。
【００７１】
特に、図１０に関して、より詳細な実施例では、信号適応平滑化を実行する方法に関して記載されている。
次に記載されている実施例は、平滑化が利点に沿ってもたらすインスタンスに時間的平滑化を制限するための図９に関して、上で概説されるように、一時的な期間８０および１０８の間にそれぞれのスケールファクタをスケーリングに設定して、信号適応を使用するために、その範囲において、図７Ｃに示される変形例を使用している図４および図５の７０、１０２に従って上記実施例を実行する可能性である。
【００７２】
信号適応可能な平滑化の目的は、意図しないエネルギー・ジャンプを妨げることによって継ぎ目のない移行を得ることである。
これに対して、オリジナル信号に存在するエネルギーの変動は、保存される必要がある。
後の状況は、図８に関連して上記で述べられた。
【００７３】
それゆえに、現在記載されているデコーダ側の信号適応平滑化機能に従って、以下のステップは、この実施例を説明する際に使用される値／変数の説明および依存のための図１０を参照して実行される。
【００７４】
2018055105.tif 000003
【００７５】
2018055105.tif 000004
【００７６】
2018055105.tif 000005
【００７７】
2018055105.tif 000006
【００７８】
2018055105.tif 000007
【００７９】
2018055105.tif 000008
【００８０】
２１６のアプリケーションは、スケーファクタ決定１７０によって同様に実行される。
【００８１】
2018055105.tif 000009
【００８２】
2018055105.tif 000010
【００８３】
完全性のために、エネルギーＥactual,prevおよびＥactual,currが同様にスペクトロ時間的タイル２０６〜２１０に関して上述したように決定されることができることに、注意されたい。
時間的にスイッチング・インスタンス２０４に先行していて、高周波スペクトル帯域６６にわたって延びているスペクトロ時間的タイル２２４の範囲内のスペクトル値の二乗の上の和が決定されたＥactual,prevに使われることができる、そして、スペクトロ時間的タイル２２０の範囲内においてスペクトル値の二乗和を超えることが決定されたＥactual,currに用いることができる。
【００８４】
なお、図１０の実施例において、スペクトロ時間的タイル２２０の時間的幅は、代表的に、スペクトロ時間的タイル２０６〜２１０の時間的幅の２倍である。しかし、この状況は決定的でなくて、異なってセットすることができる。
【００８５】
次に、時間的混合を実行するための具体的な、より詳細な実施例が記載されている。
上記のように、この帯域幅の混合は、一方では迷惑な帯域幅の変動を抑制する目的があり、そして、それぞれのスイッチング・インスタンスに隣接するそれぞれの符号化モードは、その意図された有効な符号化された帯域幅で動作することを可能にするためである。
例えば、滑らかな適合は、各ＢＷＥがその意図された最適な帯域幅で動作することができることを可能にするために、適用することができる。
【００８６】
次のステップは、デコーダによって実行される。
スイッチング・インスタンスについて、図１２に示すように、デコーダは、タイプ５４およびタイプ９２のスイッチング・インスタンスを区別するために、スイッチング・インスタンス２３０のタイプを決定する。
図４および５にて説明したように、フェードアウト混合はタイプ５４の場合実行される、そして、フェードイン混合は、スイッチングタイプ９２の場合実行される。
フェードアウト混合は、最初に加えて、図１３Ａおよび図１３Ｂを参照して記載されている。
つまり、切換タイプ５４が２３０において決定される場合、混合領域がスペクトル的に決定されると同様に、最大混合時間ｔblend,max は設定される。すなわち、より高い帯域幅符号化モードの有効な符号化帯域幅は、タイプ５４のスイッチング・インスタンスが起こるより低い帯域幅符号化モードの有効な符号化帯域幅を上回る高周波スペクトル帯域６６で設定される。
この設定２３２は、より高い帯域幅符号化モードの有効な符号化帯域幅の最大周波数を意味しているｆBW1と、混合領域の違いを定めるより低い帯域幅符号化モードの有効な符号化帯域幅の最大周波数を示しているｆBW2とによって、所定の最大混合時間ｔblend,max の算出と同様に、帯域幅差ｆBW1−ｆBW2の算出を含むことができる。
後者の時間値は、デフォルト値に設定してもよいし、現在の混合手順の間に発生するスイッチング・インスタンスに関連して後述するように異なって決定されてもよい。
【００８７】
それから、ステップ２３４において、スイッチング・インスタンス２０４の後の符号化モードの強化が、スイッチング・インスタンス２０４の後、混合領域または高周波スペクトル帯域６６に符号化モードの帯域幅の補助拡張２３４に結果としてなるために、実行される。この混合地域６６をｔblend,maxの間、ギャップレスに（間隙無く）充填するために、すなわち、図１３Ａにおいてスペクトロ時間的タイル２３６を満たすために、実行される。
この動作２３４が制御なしでデータ流のサイド情報を経て実行されることができるように、ブラインドＢＷＥを使用して補助拡張２３４は実行することができる。
【００８８】
2018055105.tif 000011
【００８９】
このように決定される混合要因の時間的経過は、図１３Ｂにおいて例示される。
手法は、線形混合のための一実施例を例示しているが、他の混合の特性は、例えば、２次、対数関数的などと同様に可能である。このとき、通常、混合／平滑化の特性は、同一／線形である必要がないか、または、モノトニックである必要さえない点に留意すべきである。
本願明細書において記載のすべての増加／減少が、必ずしもモノトニックであるというわけではない。
【００９０】
2018055105.tif 000012
【００９１】
スイッチングタイプ９２の場合には、最大混合時間および混合領域の設定が、２３２と同様に、２４２で実行される。
スイッチングタイプ９２のための最大混合時間ｔblend,max は、スイッチングタイプ５４について言えば、２３２で設定されるｔblend,maxと異なってもよい。
リファレンスは、混合の際にスイッチングのその後の説明を参照されたい。
【００９２】
2018055105.tif 000013
【００９３】
2018055105.tif 000014
【００９４】
このように、この修正された最新情報は、新規な、現在発生しているスイッチング・インスタンスによって、ここで、代表的にｔ1で中断される、割込されたフェードインまたはフェードアウト・プロセスの原因であるために、ステップ２３２および２４２で実行される。
換言すれば、デコーダは、フェードアウト（またはフェードイン）スケーリング機能２４０を適用することによって、最初のスイッチング・インスタンスｔ0で、時間的な平滑化または混合を実行する。第１のスイッチング・インスタンスｔ1は、フェードアウト（またはフェードイン）スケーリング機能２４０が発生する間、再び、高周波スペクトル帯域６６に時間的な平滑化または混合を実行するように、第２のスイッチング・インスタンスｔ2でフェードイン（またはフェードアウト）スケーリング機能２４２を適用するだろう。第２のスイッチング・インスタンスｔ2からフェードイン（またはフェードアウト）スケーリング機能２４２を適用することで、出発点を設定すると、第２のスイッチング・インスタンスｔ2で適用されているフェードイン（またはフェードアウト）スケーリング機能２４２は、出発点で、最も近い関数値を有し、または、第２のスイッチング・インスタンスの発生の時間ｔ2で、第１のスイッチのインスタンスに適用されるように、フェードイン（またはフェードアウト）スケーリング機能２４０によって想定される関数値に等しい。
【００９５】
上記の実施例は、音声および話し言葉の符号化、そして、特に異なる帯域幅拡張方法（ＢＷＥ）、または、非エネルギー保存ＢＷＥ（ｓ）および、切替えられたアプリケーションのＢＷＥを持たないフル帯域コア・コーダを使用している符号化技術に関する。
知覚的な品質を強化することは、異なる有効な出力帯域幅との間に移行を平滑化することによって、提唱された。
具体的には、信号適応平滑化技術は、シームレスな移行を得るために、そして、妨害帯域幅の変動が回避される一方で、異なる帯域間でおそらく、必ずしもではないが、均一な混合技術は、各ＢＷＥのための最適な出力帯域幅を達成するために、用いられる。
【００９６】
予想外のエネルギーは、例えば歯擦音のオフセットに起因するオリジナル信号に存在する減少が保存されることができるのに対して、異なるＢＷＥｓとの間またはフル帯域コアに切替わることが前記実施例を経由して回避されるとき、ジャンプする。
さらにまた、異なる帯域幅の円滑な適応は、それがより長い期間のためにアクティブにする必要がある場合、その意図された、最適帯域幅で動作するように、例示的に実行される。
【００９７】
ブラインドＢＷＥを必要としているスイッチング・インスタンスのデコーダの機能を除いて、同じ機能は、エンコーダによって引き継がれることもできる。
それから、図３の３０のようなエンコーダは、以下の通り、元の音声信号のスペクトルの上に上記の機能を適用する。
【００９８】
例えば、図３のエンコーダ３０であれば、タイプ５４のスイッチング・インスタンスは、エンコーダが、例えば、直接スイッチング・インスタンスに先行する一時的な期間の間、予め、音声信号を変更バージョンにコード化することを予測し、または、事前に少しだけ経験することができる。音声信号スペクトルの高周波スペクトル帯域は、フェードアウト機能を用いて一時的に形成されて、例えば一時的な期間の開始時に１となり、一時的な期間の終了時に０となって、最後はスイッチング・インスタンスと一致する。
変更バージョンをコード化することは、先ず、例えば、シンタックス・レベルにまで先行する元のバージョンのスイッチング・インスタンスの時間的部分で音声信号をコード化することを含み、それから、 高周波スペクトル帯域６６に関してフェードアウト機能を有する一時的な期間の間、スペクトル線値および／またはスケールファクタをスケーリングする。
また、エンコーダ３０は、もう一つの方法として、高周波スペクトル帯域６６のスペクトロ時間的タイル上へフェードアウト・スケーリング機能を適用するために、第１に、音声信号およびスペクトル領域を修正することができる。それから、第２に、一時的な期間を通じて延びる修正された音声信号をそれぞれコード化する。
【００９９】
タイプ５６のスイッチング・インスタンスに遭遇すると、即座に、エンコーダ３０は、以下の通りに行うことができる。
エンコーダ３０は、前もって一時的な間期、直接スイッチング・インスタンスがから始動するために、増幅する、すなわち、フェードアウト・スケーリング機能の有無にかかわらず、高周波スペクトル帯域６６の範囲内でスケール・アップすることができる。そして、それからこのようにして修正された音声信号をコード化することができる。
あるいは、エンコーダ３０は、第１に、高周波スペクトル帯域の範囲内で一時的な時間の間、音声信号を増幅するために、後者をそれから訂正することによって、直接、スイッチング・インスタンスの後に、若干のシンタックス要素レベルまで有効な符号化モードを使用している元の音声信号をコード化することができる。
例えば、スイッチング・インスタンが起こる 符号化モードは、高周波スペクトル帯域６６に導かれた帯域幅拡張を含む場合、エンコーダ３０は、この高周波スペクトル帯域に関して、一時的な期間、スペクトル・エンベロープについての情報を適切に拡大することができる。
【０１００】
しかしながら、エンコーダ３０がタイプ９２のスイッチング・インスタンスに遭遇する場合、例えば、このようにして修正された音声信号をその次にコード化することで、それぞれのスペクトロ時間的タイルによりスケールファクタおよび／またはスペクトル線値を適切にスケーリングすることによって、または、音声信号を修正するエンコーダ３０が、最初に、スイッチング・インスタンスで一時的な時間の間、高周波スペクトル帯域６６の範囲内において直ちに起動することによって、エンコーダ３０は、若干のシンタックス要素レベルまで変更されていないスイッチング・インスタンスに続いていて、それから、修正され、例えば、その一時的な期間、フェードイン機能に音声信号の高周波スペクトル帯域を従属させるために、同上の音声信号の時間的部分をコード化することもできる。
【０１０１】
タイプ９４の切換例に遭遇するときに、エンコーダ３０は、例えば、以下の通りに行うことができる。エンコーダは、一時的な期間、直ちにスイッチング・インスタンスで始動するために、フェードイン機能を適用するか否かによって、高周波スペクトル帯域６６の範囲内において、音声信号のスペクトラムのスケールダウンが行なわれる。
あるいは、エンコーダは、時間部で、一時的な期間の間の高周波スペクトル帯域の範囲内における音声信号スペクトルのそれぞれのスケールダウンを引き起こすために、若干のシンタックス・レベルまでのいかなる変更態様なしでも、それから適切なシンタックス要素を変更するスイッチング・インスタンスが起こるところの符号化モードを使用している切換例の後に、音声信号をコード化することができる。
エンコーダは、適切に、それぞれのスケールファクタおよび／またはスペクトル線値をスケールダウンすることができる。
【０１０２】
若干の態様が装置の前後関係に記載されていたにもかかわらず、これらの態様も対応する方法の説明を表すことは明らかである。ここで、１ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。
類似して、態様は、対応する装置の対応するブロックまたは部材または特徴の説明を表すように、方法ステップの前後関係にも記載される。
方法のステップの一部または全部は、例えばマイクロプロセッサ、プログラム可能なコンピュータまたは電子回路のように、ハードウェア装置（または使用）によって実行することができる。
いくつかの実施形態では、最も重要な方法ステップのいくつかの１つ以上は、この種の装置によって実行することができる。
【０１０３】
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施することができる。
実施は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体［例えばフロッピー（登録商標）ディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはＦＬＡＳＨメモリ］を使用して実行することができる。そして、それは、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協同する（または協同することでできる）。
従って、デジタル記憶媒体は、コンピュータ読み取り可能とすることができる。
【０１０４】
本発明による若干の実施例は、プログラム可能なコンピュータシステムと協同することによって、電子的に読み込み可能な制御信号を有するデータキャリアを含む。そうすると、本願明細書において記載されている方法のうちの１つは実行される。
【０１０５】
通常、本発明の実施例は、プログラムコードを有するコンピュータ・プログラム製品として、実施することができる。そして、プログラムコードは、コンピュータ・プログラム製品がコンピュータで動くときに、方法のうちの１つを実行するために、実施されている。
プログラムコードは、機械読み取り可読キャリアに例えば格納することができる。
【０１０６】
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの１つを実行するためのコンピュータプログラムを含む。
【０１０７】
換言すれば、本発明の方法の実施形態は、従って、コンピュータプログラムがコンピュータ上で実行されるとき、本明細書中に記載のいずれか１つの方法を実行するためのプログラムコードを有するコンピュータプログラムある。
【０１０８】
本発明の方法のさらなる実施形態は、したがって、データキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）を含み、本明細書中に記載のいずれか１つの方法を実行するためのコンピュータプログラムがその上に記録される。
データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形および／または、非移行に属する。
【０１０９】
本発明の方法のさらなる実施形態は、したがって、データストリーム、または本明細書に記載のいずれか１つの方法を実行するためのコンピュータプログラムを表す信号のシーケンスである。
データストリームまたは信号のシーケンスは、例えばインターネットを介して、例えば、データ通信接続を介して転送されるように構成されてもよい。
【０１１０】
さらなる実施形態は、例えば、コンピュータ、またはプログラム可能な論理デバイスに設定されるか、または本明細書に記載される方法のいずれ１つかを実行するように適合する処理手段を含む。
【０１１１】
さらなる実施形態では、コンピュータは、本明細書に記載のいずれか１つの方法を実行するためのコンピュータプログラムがインストールされた構成されている。
【０１１２】
本発明のさらなる実施形態は、装置またはレシーバーに、本明細書中に記載のいずれか１つの方法を実行するための（電子的または光学的に、など）コンピュータプログラムを転送するように構成されたシステムを含む。
レシーバーは、例えば、コンピュータ、モバイル機器、メモリデバイス等であってもよい。
装置またはシステムは、例えば、レシーバーにコンピュータプログラムを転送するためのファイルサーバを含むことができる。
【０１１３】
いくつかの実施形態において、プログラム可能な論理装置（例えばフィールド・プログラム可能なゲート・アレイ）は、本願明細書において記載されている方法の機能のいくらかまたは全てを実行するために、用いることができる。
いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイが、本明細書に記載のいずれかの方法を実行するために、マイクロプロセッサと協働することができる。
一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。
【０１１４】
本願明細書において記載されている装置は、ハードウェア装置を使用するか、またはコンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用して実施することができる。
【０１１５】
本願明細書において記載されている方法は、ハードウェア装置を使用するか、またはコンピュータを使用するか、またはハードウェア装置およびコンピュータの組合せを使用して、実行することができる。
【０１１６】
上記した実施例は、単に本発明の原理のために図示するだけである。
本明細書に記載の改変および配置の変形例および詳細は当業者には明らかであろうと理解される。
したがって、唯一の切迫した特許請求の範囲によってではなく、本明細書の実施形態の記述および説明のために提示された特定の詳細によって限定されることが意図である。
【０１１７】
文献：
[1]   Recommendation ITU-T G.718 - Amendment 2: "Frame error robust narrow-band and wideband embedded variable bit-rate coding of speech and audio from 8-32 kbit/s - Amendment 2: New Annex B on superwideband scalable extension for ITU-T G.718 and corrections to main body fixed-point C-code and description text"
[2]   Recommendation ITU-T G.729.1 - Amendment 6: “G.729-based embedded variable bit-rate coder: An 8-32 kbit/s scalable wideband coder bitstream interoperable with G.729 - Amendment 6: New Annex E on superwideband scalable extension”
[3]   B. Geiser, P. Jax, P. Vary, H. Taddei, S. Schandl, M. Gartner, C. Guillaume, S. Ragot: “Bandwidth Extension for Hierarchical Speech and Audio Coding in ITU-T Rec. G.729.1”, IEEE Transactions on Audio, Speech, and Language Processing, Vol.15, No.8, 2007, pp.2496-2509
[4]   M. Tammi, L. Laaksonen, A. Raemoe, H. Toukomaa: “Scalable Superwideband Extension for Wideband Coding”, IEEE ICASSP 2009, pp.161-164
[5]   B. Geiser, P. Jax, P. Vary, H. Taddei, M. Gartner, S. Schandl: “A Qualified ITU-T G.729 EV Codec Candidate for Hierarchical Speech and Audio Coding”, 2006 IEEE 8th Workshop on Multimedia Signal Processing, pp.114-118
【図１】
2018055105.tif 000015
【図２】
2018055105.tif 000016
【図３】
2018055105.tif 000017
【図４】
2018055105.tif 000018
【図５】
2018055105.tif 000019
【図６Ａ】
2018055105.tif 000020
【図６Ｂ】
2018055105.tif 000021
【図６Ｃ】
2018055105.tif 000022
【図６Ｄ】
2018055105.tif 000023
【図７Ａ】
2018055105.tif 000024
【図７Ｂ】
2018055105.tif 000025
【図７Ｃ】
2018055105.tif 000026
【図８】
2018055105.tif 000027
【図９】
2018055105.tif 000028
【図１０】
2018055105.tif 000029
【図１１】
2018055105.tif 000030
【図１２】
2018055105.tif 000031
【図１３Ａ】
2018055105.tif 000032
【図１３Ｂ】
2018055105.tif 000033
【図１４Ａ】
2018055105.tif 000034
【図１４Ｂ】
2018055105.tif 000035
【外国語明細書】
2018055105000001.pdf
2018055105000002.pdf
2018055105000003.pdf
2018055105000004.pdf