(57)【特許請求の範囲】
【請求項１】
高帯域エンベロープを低帯域エンベロープのバンド構成にマッピングする段階と、
前記マッピングされた高帯域エンベロープを前記低帯域エンベロープと結合して全帯域エンベロープを生成する段階と、
前記全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成する段階と、
前記サブバンド別ビット割り当て情報に基づいて、エンベロープリファインメント遂行如何を決定する決定段階と、
エンベロープリファインメントを遂行すると決定した場合、前記マッピングされた高帯域エンベロープと本来のスペクトルのエンベロープとの差であるデルタ値を生成し、前記デルタ値を利用して前記マッピングされた高帯域エンベロープをアップデートする段階と、を含む高周波符号化方法。
【請求項２】
当該方法は、高帯域の信号特性に基づいて、励起クラスを生成して符号化する段階をさらに含むことを特徴とする請求項１に記載の高周波符号化方法。
【請求項３】
前記決定段階は、高帯域でビットが割り当てられたサブバンドが存在する場合、エンベロープリファインメントを遂行すると決定し、エンベロープをアップデートするサブバンドを前記高帯域でビットが割り当てられたサブバンドと決定することを特徴とする請求項１に記載の高周波符号化方法。
【請求項４】
当該方法は、前記決定されたサブバンドに対して、前記デルタ値の表現に使用されたビット数に基づいて、前記ビット割り当て情報をアップデートする段階をさらに含むことを特徴とする請求項３に記載の高周波符号化方法。
【請求項５】
前記アップデートされたビット割り当て情報は、スペクトル符号化に使用するために提供されることを特徴とする請求項４に記載の高周波符号化方法。
【請求項６】
当該方法は、前記デルタ値を表現するのに必要なビット数、前記デルタ値の最小値とＮｏｒｍのデルタ値を含むリファインメントデータを生成する段階をさらに含むことを特徴とする請求項１に記載の高周波符号化方法。
【請求項７】
高帯域エンベロープを低帯域エンベロープのバンド構成にマッピングする段階と、
前記マッピングされた高帯域エンベロープを前記低帯域エンベロープと結合して全帯域エンベロープを生成する段階と、
前記全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成する段階と、
前記サブバンド別ビット割り当て情報に基づいて、エンベロープリファインメント遂行如何を決定する決定段階と、
エンベロープリファインメントを遂行すると決定した場合、前記マッピングされた高帯域エンベロープと本来のスペクトルのエンベロープとの差であるデルタ値を復号し、前記デルタ値を利用して前記マッピングされた高帯域エンベロープをアップデートする段階と、を含む高周波復号方法。
【請求項８】
当該方法は、励起クラスを復号する段階をさらに含むことを特徴とする請求項７に記載の高周波復号方法。
【請求項９】
前記決定段階は、高帯域でビットが割り当てられたサブバンドが存在する場合、エンベロープリファインメントを遂行すると決定し、エンベロープをアップデートするサブバンドを前記高帯域でビットが割り当てられたサブバンドと決定することを特徴とする請求項７に記載の高周波復号方法。
【請求項１０】
当該方法は、前記決定されたサブバンドに対して、前記デルタ値の表現に使用されたビット数に基づいて、前記ビット割り当て情報をアップデートする段階をさらに含むことを特徴とする請求項９に記載の高周波復号方法。
【請求項１１】
前記アップデートされたビット割り当て情報は、スペクトル復号に使用するために提供されることを特徴とする請求項１０に記載の高周波復号方法。
【請求項１２】
前記デルタ値を復号する段階は、前記デルタ値の表現に必要なビット数、前記デルタ値の最小値とＮｏｒｍのデルタ値を含むリファインメントデータを復号することを特徴とする請求項７に記載の高周波復号方法。
【請求項１３】
高帯域エンベロープを低帯域エンベロープのバンド構成にマッピングし、前記マッピングされた高帯域エンベロープを前記低帯域エンベロープと結合して全帯域エンベロープを生成し、前記全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、前記サブバンド別ビット割り当て情報に基づいて、エンベロープリファインメント遂行如何を決定し、エンベロープリファインメントを遂行すると決定した場合、前記マッピングされた高帯域エンベロープと本来のスペクトルのエンベロープとの差であるデルタ値を生成し、前記デルタ値を利用して前記マッピングされた高帯域エンベロープをアップデートする少なくとも１つのプロセッサを含む高周波符号化装置。
【請求項１４】
高帯域エンベロープを低帯域エンベロープのバンド構成にマッピングし、前記マッピングされた高帯域エンベロープを前記低帯域エンベロープと結合して全帯域エンベロープを生成し、前記全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、前記サブバンド別ビット割り当て情報に基づいて、エンベロープリファインメント遂行如何を決定し、エンベロープリファインメントを遂行すると決定した場合、前記マッピングされた高帯域エンベロープと本来のスペクトルのエンベロープとの差であるデルタ値を復号し、前記デルタ値を利用して前記マッピングされた高帯域エンベロープをアップデートする少なくとも１つのプロセッサを含む高周波復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ符号化及びオーディオ復号に係り、さらに詳細には、帯域幅拡張のための高帯域符号化方法及びその装置、並びに高帯域復号方法及びその装置に関する。
【背景技術】
【０００２】
Ｇ．７１９のコーディングスキームは、テレカンファレンシングの目的で開発及び標準化されたものであり、ＭＤＣＴ（modified  discrete  cosine  transform）を行って周波数ドメイン変換を行い、ステーショナリ（stationary）フレームである場合には、ＭＤＣＴスペクトルを即座にコーディングする。ノンステーショナリ（non-stationary）フレームは、時間ドメインアライアシング順序（time  domain  aliasing  order）を変更することにより、時間的な特性を考慮するように変更する。ノンステーショナリフレームに対して得られたスペクトルは、ステーショナリフレームと同一フレームワークでコーデックを構成するために、インターリービングを行い、ステーショナリフレームと類似した形態によって構成される。かように構成されたスペクトルのエネルギーを求め、正規化を行った後で量子化を行う。一般的に、エネルギーは、ＲＭＳ値で表現され、正規化されたスペクトルは、エネルギー基盤のビット割り当てを介して、バンド別に必要なビットを生成し、バンド別ビット割り当て情報を基に、量子化及び無損失符号化を介してビットストリームを生成する。
【０００３】
Ｇ．７１９のデコーディングスキームによれば、コーディング方式の逆過程において、ビットストリームでエネルギーを逆量子化し、逆量子化されたエネルギーを基に、ビット割り当て情報を生成し、スペクトルの逆量子化を行い、正規化された逆量子化されたスペクトルを生成する。このとき、ビットが不足した場合、特定バンドには、逆量子化したスペクトルがないことがある。かような特定バンドに対して、ノイズを生成するために、低周波数の逆量子化されたスペクトルを基に、ノイズコードブックを生成し、伝送されたノイズレベルに合わせてノイズを生成するノイズフィリング方式が適用される。
【０００４】
一方、特定周波数以上のバンドについては、低帯域信号をホールディングして高帯域信号を生成する帯域幅拡張技法が適用される。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、復元音質を向上させることができる帯域幅拡張のための高帯域符号化方法及びその装置、高帯域復号方法及びその装置、並びにそれを採用するマルチメディア機器を提供するところにある。
【課題を解決するための手段】
【０００６】
前記課題を解決するための一実施形態による高帯域符号化方法は、全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成する段階と、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定する段階と、前記決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを生成する段階と、を含んでもよい。
【０００７】
前記課題を解決するための一実施形態による高帯域符号化装置は、全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、前記決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを生成する少なくとも１つのプロセッサを含んでもよい。
【０００８】
前記課題を解決するための一実施形態による高帯域復号方法は、全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成する段階と、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定する段階と、前記決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを復号してエンベロープをアップデートする段階と、を含んでもよい。
【０００９】
前記課題を解決するための一実施形態による高帯域復号装置は、全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、前記決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを復号してエンベロープをアップデートする少なくとも１つのプロセッサを含んでもよい。
【発明の効果】
【００１０】
本発明による高帯域符号化方法及びその装置、並びに高帯域復号方法及びその装置によれば、高帯域で重要なスペクトル情報を含んでいる少なくとも１つのサブバンドは、Ｎｏｒｍに対応する情報を表現することにより、復元音質を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】一実施形態によって、低帯域及び高帯域のサブバンド構成の例について説明する図面である。
【図２Ａ】一実施形態によって、Ｒ０帯域及びＲ１帯域を選択されたコーディング方式に対応し、Ｒ２及びＲ３、Ｒ４及びＲ５に区分した図面である。
【図２Ｂ】一実施形態によって、Ｒ０帯域及びＲ１帯域を選択されたコーディング方式に対応し、Ｒ２及びＲ３、Ｒ４及びＲ５に区分した図面である。
【図２Ｃ】一実施形態によって、Ｒ０帯域及びＲ１帯域を選択されたコーディング方式に対応し、Ｒ２及びＲ３、Ｒ４及びＲ５に区分した図面である。
【図３】一実施形態による高帯域のサブバンド構成の例について説明する図面である。
【図４】一実施形態による高帯域符号化方法の概念について説明する図面である。
【図５】一実施形態によるオーディオ符号化装置の構成を示したブロック図である。
【図６】一実施形態によるＢＷＥパラメータ生成部の構成を示したブロック図である。
【図７】一実施形態による高周波符号化装置の構成を示したブロック図である。
【図８】図７に図示されたエンベロープリファインメント部の構成を示したブロック図である。
【図９】図５に図示された低周波符号化装置の構成を示したブロック図である。
【図１０】一実施形態によるオーディオ復号装置の構成を示したブロック図である。
【図１１】一実施形態による高周波復号部の一部構成を示したブロック図である。
【図１２】図１１に図示されたエンベロープリファインメント部の構成を示したブロック図である。
【図１３】図１０に図示された低周波復号装置の構成を示したブロック図である。
【図１４】図１０に図示された結合部の構成を示したブロック図である。
【図１５】一実施形態による符号化モジュールを含むマルチメディア機器の構成を示したブロック図である。
【図１６】一実施形態による復号モジュールを含むマルチメディア機器の構成を示したブロック図である。
【図１７】一実施形態による符号化モジュール及び復号モジュールを含むマルチメディア機器の構成を示したブロック図である。
【図１８】一実施形態によるオーディオ符号化方法の動作について説明するためのフローチャートである。
【図１９】一実施形態によるオーディオ復号方法の動作について説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明によって具体的に説明する。しかし、それらは、本発明を、特定の実施形態について限定するものではなく、本発明の技術的思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解される。本発明についての説明において、関連公知技術についての具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。
【００１３】
第１、第２のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。該用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。
【００１４】
本発明で使用した用語は、ただ特定の実施形態についての説明に使用されたものであり、本発明を限定する意図ではない。本発明で使用した用語は、本発明での機能を考慮しながら、可能な限り、現在広く使用される一般的な用語を選択したが、それは、当該分野の当業者の意図、判例、または新たな技術の出現などによって異なる。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味と、本発明の全般にわたった内容とを基に定義されなければならない。
【００１５】
単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本発明において、「含む」または「有する」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであり、１またはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在可能性または付加可能性をあらかじめ排除するものではないと理解されなければならない。
【００１６】
以下、本発明の実施形態について、添付図面を参照し、詳細に説明するが、添付図面を参照しての説明において、同一であるか対応する構成要素は、同一図面番号を付し、それに係わる重複説明は省略する。
【００１７】
図１は、一実施形態によって、低帯域及び高帯域のサブバンド構成の例について説明する図面である。一実施形態によれば、サンプリングレートは、３２ｋＨｚであり、６４０個のＭＤＣＴ（modified  discrete  cosine  transform）スペクトル係数を、２２個のバンドによって構成し、具体的には、低帯域について、１７個のバンド、高帯域について、５個のバンドから構成される。例えば、高帯域の開始周波数は、２４１番目のスペクトル係数であり、０〜２４０までのスペクトル係数は、低周波コーディング方式、すなわち、コアコーディング（core  coding）方式によってコーディングされる領域であり、Ｒ０と定義することができる。また、２４１〜６３９までのスペクトル係数は、帯域幅拡張（ＢＷＥ）が行われる高帯域であり、Ｒ１と定義することができる。一方、Ｒ１領域には、ビット割り当て情報により、低周波数コーディング方式によってコーディングされるバンドも存在する。
【００１８】
図２Ａないし図２Ｃは、図１のＲ０領域及びＲ１領域を、選択されたコーディング方式によって、Ｒ２、Ｒ３、Ｒ４、Ｒ５に区分した図面である。まず、ＢＷＥ領域であるＲ１領域は、Ｒ２及びＲ３に区分され、低周波数コーディング領域であるＲ０領域は、Ｒ４及びＲ５に区分される。Ｒ２は、低周波数コーディング方式、例えば、周波数ドメインコーディング方式で、量子化及び無損失符号化される信号を含んでいるバンドを示し、Ｒ３は、低周波数コーディング方式によってコーディングされる信号がないバンドを示す。一方、Ｒ２がビットが割り当てられ、低周波数コーディング方式によってコーディングされると決定されても、ビットが不足する場合、Ｒ３と同一方式によってバンドが生成される。Ｒ５は、ビットが割り当てられ、低周波数コーディング方式によってコーディングが行われるバンドを示し、Ｒ４は、ビット余裕分がなく、低帯域信号であるにもかかわらず、コーディングになされなかったり、ビットが少なく割り当てられたりし、ノイズを付加しなければならないバンドを示す。従って、Ｒ４及びＲ５の区分は、ノイズ付加いかんによって判断され、それは、低周波数コーディングされたバンド内スペクトル個数の比率によって決定され、またはＦＰＣを使用した場合には、バンド内パルス割り当て情報に基づいて決定することができる。Ｒ４及びＲ５のバンドは、復号過程においてノイズを付加するときに区分されるために、符号化過程においては、明確に区分されない。Ｒ２〜Ｒ５のバンドは、符号化される情報が互いに異なるだけではなく、デコーディング方式が異なるように適用される。
【００１９】
図２Ａに図示された例の場合、低周波数コーディング領域Ｒ０において、１７０〜２４０までの２個バンドがノイズを付加するＲ４であり、ＢＷＥ領域Ｒ１において、２４１〜３５０までの２個バンド、及び４２７〜６３９までの２個バンドが低周波数コーディング方式によってコーディングされるＲ２である。図２Ｂに図示された例の場合、低周波数コーディング領域Ｒ０において、２０２〜２４０までの１個バンドがノイズを付加するＲ４であり、ＢＷＥ領域Ｒ１において、２４１〜６３９までの５個バンドいずれも低周波数コーディング方式によってコーディングされるＲ２である。図２Ｃに図示された例の場合、低周波数コーディング領域Ｒ０において、１４４〜２４０までの３個バンドがノイズを付加するＲ４であり、ＢＷＥ領域Ｒ１において、Ｒ２は存在しない。低周波数コーディング領域Ｒ０において、Ｒ４は、一般的に高周波数部分に分布されるが、ＢＷＥ領域Ｒ１において、Ｒ２は、特定周波数部分に制限されるものではない。
【００２０】
図３は、一実施形態による広帯域（ＷＢ）の高帯域サブバンド構成の例について説明する図面である。ここで、３２ＫＨｚサンプリングレートは、３２ｋＨｚであり、６４０個のＭＤＣＴスペクトル係数を、中高帯域に対して１４個のバンドによって構成される。１００Ｈｚには、４個のスペクトル係数が含まれ、従って、４００Ｈｚである最初のバンドには、１６個のスペクトル係数が含まれてもよい。参照符号３１０は、６．４〜１４．４ＫＨｚの高帯域、参照符号３３０は、８．０〜１６．０ＫＨｚの高帯域に係わるサブバンド構成をそれぞれ示す。
【００２１】
一実施形態によれば、全帯域（full  band）のスペクトル符号化において、低帯域及び高帯域のスケールファクタを互いに異なるように表現することができる。ここで、該スケールファクタは、エネルギー、エンベロープ、平均電力あるいはＮｏｒｍによって表現される。例えば、全帯域において、低帯域は、精密に表現するために、Ｎｏｒｍあるいはエンベロープを求め、スカラー量子化及び無損失符号化を行い、高帯域は、効率的に表現するために、Ｎｏｒｍあるいはエンベロープを求め、ベクトル量子化を行うことができる。そのとき、高帯域中、重要なスペクトル情報を含んでいるサブバンドについては、低周波数コーディング方式を利用して、Ｎｏｒｍに対応する情報を表現することができる。かように、高帯域において、低周波数コーディング方式に基づいて、符号化を行うサブバンドに対して、追加して高周波Ｎｏｒｍを補償するためのリファインメントデータ（refinement  data）をビットストリームに含めて伝送することができる。その結果、高帯域の意味あるスペクトル成分が正確に表現されるために、復元音質向上に寄与することができる。
【００２２】
図４は、一実施形態による、全帯域のスケールファクタを表現する方法を示した図面である。図４を参照すれば、低帯域４１０は、Ｎｏｒｍで表現し、高帯域４３０は、エンベロープ（envelope）、及び必要な場合、追加してＮｏｒｍとのデルタ（delta）で表現することができる。低帯域４１０のＮｏｒｍは、スカラー量子化され、高帯域４３０のエンベロープは、ベクトル量子化される。高帯域において、Ｎｏｒｍとのデルタによって表現される場合は、重要なスペクトル成分を含んでいると判断されるサブバンド４５０が該当する。そのとき、低帯域は、全帯域のバンド分割情報Ｂｆｂに基づいて、サブバンドが構成され、高帯域は、高帯域のバンド分割情報Ｂｈｂに基づいて、サブバンドが構成される。全帯域のバンド分割情報Ｂｆｂと、高帯域のバンド分割情報Ｂｈｂは、同じであってもよく、異なっていてもよい。全帯域のバンド分割情報Ｂｆｂと高帯域のバンド分割情報Ｂｈｂとが異なる場合、マッピング過程を介して、高帯域のＮｏｒｍを表現することができる。
【００２３】
下記表１は、全帯域のバンド分割情報Ｂｆｂによって、低帯域のサブバンドが構成される例を示す。全帯域のバンド分割情報Ｂｆｂはビットレートにかかわらず同一である。ここで、ｐは、サブバンドインデックス、Ｌｐは、サブバンド内スペクトル数、ｓｐは、サブバンドの開始周波数インデックス、ｅｐは、サブバンドの終了周波数インデックスをそれぞれ示す。
【００２４】
【表１】
0006616316.tif 000002
表１のように構成された各サブバンドに対して、Ｎｏｒｍあるいはスペクトルエネルギーを算出することができる。そのとき、例えば、下記数式（１）を利用することができる。
【００２５】
【数１】
0006616316.tif 000003
ここで、ｙ（ｋ）は、時間・周波数変換を介して得られるスペクトル係数であり、例えば、ＭＤＣＴスペクトル係数でもある。
【００２６】
一方、エンベロープも、Ｎｏｒｍと同一方式に基づいて求められ、バンド構成に合わせ、各サブバンド別に求められたＮｏｒｍを、エンベロープと定義することができる。Ｎｏｒｍとエンベロープは、同じ概念で使用される。
【００２７】
求められた低帯域のＮｏｒｍあるいは低周波数Ｎｏｒｍは、スカラー量子化された後で無損失符号化される。Ｎｏｒｍのスカラー量子化は、例えば、下記表２のテーブルを利用して行われる。
【００２８】
【表２】
0006616316.tif 000004
一方、求められた高帯域のエンベロープは、ベクトル量子化される。量子化されたエンベロープは、Ｅｑ（ｐ）と定義される。
【００２９】
下記の表３及び表４は、それぞれビットレート２４．４ｋｂｐｓと３２ｋｂｐｓとの場合での高帯域のバンド構成を示す。
【００３０】
【表３】
0006616316.tif 000005
図５は、一実施形態によるオーディオ符号化装置の構成を示したブロック図である。図５に図示されたオーディオ符号化装置は、ＢＷＥパラメータ生成部５１０、低周波符号化部５３０、高周波符号化部５５０及び多重化部５７０を含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。ここで、入力信号は、音楽あるいは音声、あるいは音楽と音声との混合信号を意味し、大きく見て、音声信号と異なる一般的な信号に分けることもできる。以下では、説明の便宜のために、オーディオ信号とする。
【００３１】
図５を参照すれば、ＢＷＥパラメータ生成部５１０は、帯域幅拡張のためのＢＷＥパラメータを生成することができる。ここで、ＢＷＥパラメータは、励起クラス（excitation  class）に該当する。一方、具現方式により、ＢＷＥパラメータは、励起クラスと異なるパラメータを含んでもよい。ＢＷＥパラメータ生成部５１０は、フレーム単位で、信号特性に基づいて、励起クラスを生成することができる。具体的には、入力信号が、音声特性を有するか、あるいはトーナル特性を有するかということを判断し、判断結果に基づいて、複数の励起クラスのうち一つを決定することができる。複数の励起クラスは、音声と係わる励起クラス、トーナルミュージックと係わる励起クラス、及びノントーナルミュージックと係わる励起クラスを含んでもよい。決定された励起クラスは、ビットストリームに含まれて伝送される。
【００３２】
低周波符号化部５３０は、低帯域信号に対して符号化を行い、符号化されたスペクトル係数を生成することができる。また、低周波符号化部５３０は、低帯域信号のエネルギーと係わる情報を符号化することができる。一実施形態によれば、低周波符号化部５３０は、低帯域信号を周波数ドメインに変換し、低周波スペクトルを生成し、低周波スペクトルに対して量子化し、量子化されたスペクトル係数を生成することができる。ドメイン変換のために、ＭＤＣＴを使用することができるが、それに限定されるものではない。量子化のために、ＰＶＱ（pyramid  vector  quantization）を使用することができるが、それに限定されるものではない。
【００３３】
高周波符号化部５５０は、高帯域信号に対して符号化を行い、デコーダ端での帯域幅拡張に必要なパラメータ、あるいはビット割り当てに必要なパラメータを生成することができる。帯域幅拡張に必要なパラメータは、高帯域信号のエネルギーと係わる情報と、付加情報とを含んでもよい。ここで、該エネルギーは、エンベロープ、スケールファクタ、平均電力あるいはＮｏｒｍによって表現される。該付加情報は、高帯域で重要なスペクトル成分を含むバンドに係わる情報であり、高帯域において、特定バンドに含まれたスペクトル成分と係わる情報でもある。高周波符号化部５５０は、高帯域信号を周波数ドメインに変換し、高周波スペクトルを生成し、高周波スペクトルのエネルギーと係わる情報を量子化することができる。ドメイン変換のために、ＭＤＣＴを使用することができるが、それに限定されるものではない。量子化のために、ベクトル量子化を使用することができるが、それに限定されるものではない。
【００３４】
多重化部５７０は、ＢＷＥパラメータ、すなわち、励起クラス、帯域幅拡張に必要なパラメータ、低帯域の量子化されたスペクトル係数を含み、ビットストリームを生成することができる。該ビットストリームは、伝送されたり保存されたりする。ここで、帯域幅拡張に必要なパラメータは、高帯域のエンベロープ量子化インデックスと、高帯域のリファインメントデータとを含んでもよい。
【００３５】
周波数ドメインのＢＷＥ方式は、時間ドメインコーディングパートと結合されて適用される。時間ドメインコーディングには、主にＣＥＬＰ（code  excited  linear  prediction）方式が使用され、ＣＥＬＰ方式で低帯域をコーディングし、周波数ドメインでのＢＷＥではない時間ドメインでのＢＷＥ方式と結合されるように具現される。かような場合、全体的に、時間ドメインコーディングと周波数ドメインコーディングとの適応的コーディング方式決定に基づいて、コーディング方式を選択的に適用することができる。適切なコーディング方式を選択するために、信号分類を必要とし、一実施形態によれば、信号分類結果を優先的に利用して、フレーム別励起クラスを決定することができる。
【００３６】
図６は、一実施形態によるＢＷＥパラメータ生成部５１０（図５）の構成を示したブロック図であり、信号分類部６１０及び励起クラス生成部６３０を含んでもよい。図６を参照すれば、信号分類部６１０は、信号特性をフレーム単位で分析し、現在フレームが音声信号であるか否かということを分類し、分類結果によって、励起クラスを決定することができる。信号分類処理は、公知された多様な方法、例えば、短区間特性及び／または長区間特性を利用して行われる。短区間特性及び／または長区間特性は、周波数ドメイン特性あるいは時間ドメイン特性でもある。現在フレームが、時間ドメインコーディングが適切な方式である音声信号と分類される場合、高帯域信号の特性に基づいた方式より、固定された形態の励起クラスを割り当てる方式が音質向上に役に立つ。ここで、信号分類処理は、以前フレームの分類結果を考慮せずに、現在フレームに対して行われる。すなわち、たとえ現在フレームが行オーバーを考慮し、最終的には、周波数ドメインコーディングと決定されるが、現在フレーム自体が時間ドメインコーディングが適切な方式であると分類された場合には、固定された励起クラスを割り当てることができる。例えば、現在フレームが、時間ドメインコーディングが適切な音声信号と分類される場合、励起クラスは、音声特性と係わる第１励起クラスに設定される。
【００３７】
励起クラス生成部６３０は信号分類部６１０の分類結果、現在フレームが音声信号と分類されない場合、少なくとも１以上の閾値を利用して、励起クラスを決定することができる。実施形態によれば、励起クラス生成部６３０は、信号分類部６１０の分類結果、現在フレームが音声信号と分類されない場合、高帯域のトーナリティ値を算出し、トーナリティ値を閾値と比較し、励起クラスを決定することができる。励起クラスの個数により、複数個の閾値が使用される。１つの閾値が使用される場合、トーナリティ値が閾値より大きい場合、トーナルミュージック信号と分類し、トーナリティ値が閾値より小さい場合、ノントーナルミュージック信号、例えば、ノイジ信号と分類することができる。現在フレームがトーナルミュージック信号と分類される場合、励起クラスは、トーナル特性と係わる第２励起クラス、ノイジ信号と分類される場合、ノントーナル特性と係わる第３励起クラスと決定される。
【００３８】
図７は、一実施形態による高帯域符号化装置の構成を示したブロック図である。図７に図示された高帯域符号化装置は、第１エンベロープ量子化部７１０、第２エンベロープ量子化部７３０及びエンベロープリファインメント部７５０を含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。
【００３９】
図７を参照すれば、第１エンベロープ量子化部７１０は、低帯域のエンベロープを量子化することができる。実施形態によれば、低帯域のエンベロープは、ベクトル量子化される。
【００４０】
第２エンベロープ量子化部７３０は、高帯域のエンベロープを量子化することができる。一実施形態によれば、高帯域のエンベロープは、ベクトル量子化される。一実施形態によれば、高帯域エンベロープに対して、エネルギー制御が行われる。具体的には、本来のスペクトルによって生成される高帯域スペクトルのトーナリティと、本来のスペクトルのトーナリティ間差からエネルギー制御要素を求め、エネルギー制御要素に基づいて、高帯域エンベロープに対してエネルギー制御を行い、エネルギー制御が行われた高帯域エンベロープを量子化することができる。
【００４１】
量子化の結果として得られる高帯域のエンベロープ量子化インデックスは、ビットストリームに含まれるか、あるいは保存される。
【００４２】
エンベロープリファインメント部７５０は、低帯域のエンベロープと高帯域のエンベロープとから得られる全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを生成することができる。ここで、全帯域エンベロープは、高帯域エンベロープのバンド構成を低帯域エンベロープのバンド構成にマッピングし、マッピングされた高帯域エンベロープを、前記低帯域エンベロープと結合して得られる。エンベロープリファインメント部７５０は、高帯域でビットが割り当てられたサブバンドを、エンベロープアップデート及びリファインメントデータを伝送するサブバンドと決定することができる。エンベロープリファインメント部７５０は、決定されたサブバンドに対して、リファインメントデータを表現するのに使用されたビット数に基づいて、ビット割り当て情報をアップデートすることができる。アップデートされたビット割り当て情報は、スペクトル符号化に使用される。リファインメントデータは、必要ビット、最小値、及びＮｏｒｍのデルタ値を含んでもよい。
【００４３】
図８は、図７に図示されたエンベロープリファインメント部７５０の詳細的な構成を示したブロック図である。
【００４４】
図８に図示されたエンベロープリファインメント部７３０は、マッピング部８１０、結合部８２０、第１ビット割り当て部８３０、デルタ符号化部８４０、エンベロープアップデート部８５０及び第２ビット割り当て部８６０を含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。
【００４５】
図８を参照すれば、マッピング部８１０は、周波数マッチングのために、高帯域のエンベロープを、全帯域のバンド分割情報に対応するバンド構成にマッピングさせることができる。一実施形態によれば、第２エンベロープ量子化部７３０から提供される量子化された高帯域のエンベロープを逆量子化し、逆量子化されたエンベロープから、高帯域のマッピングされたエンベロープを得ることができる。説明の便宜上、高帯域の逆量子化されたエンベロープをＥ’ｑ（ｐ）とし、高帯域のマッピングされたエンベロープをＮＭ（ｐ）とする。もし全帯域のバンド構成と、高帯域のバンド構成とが同一であれば、高帯域の量子化されたエンベロープＥｑ（ｐ）をそのままスカラー量子化する。一方、全帯域のバンド構成と、高帯域のバンド構成とが異なれば、高帯域の量子化されたエンベロープＥｑ（ｐ）を全帯域のバンド構成、すなわち、低帯域のバンド構成に合わせなければならない必要がある。それは、低帯域サブバンドに含まれている高帯域サブバンドのスペクトル個数を基準に行われる。一方、全帯域のバンド構成と、高帯域のバンド構成との間にオーバーラップがある場合、オーバーラップされるバンドを基準に、低周波数コーディング方式を設定することができる。一例として挙げれば、下記のように、マッピング過程が遂行される。
【００４６】
ＮＭ（３０）＝Ｅ’ｑ（１）
ＮＭ（３１）＝｛Ｅ’ｑ（２）＊２＋Ｅ’ｑ（３）｝／３
ＮＭ（３２）＝｛Ｅ’ｑ（３）＊２＋Ｅ’ｑ（４）｝／３
ＮＭ（３３）＝｛Ｅ’ｑ（４）＋Ｅ’ｑ（５）＊２｝／３
ＮＭ（３４）＝｛Ｅ’ｑ（５）＋Ｅ’ｑ（６）＊２｝／３
ＮＭ（３５）＝Ｅ’ｑ（７）
ＮＭ（３６）＝｛Ｅ’ｑ（８）＊３＋Ｅ’ｑ（９）｝／４
ＮＭ（３７）＝｛Ｅ’ｑ（９）＊３＋Ｅ’ｑ（１０）｝／４
ＮＭ（３８）＝｛Ｅ’ｑ（１０）＋Ｅ’ｑ（１１）＊３｝／４
ＮＭ（３９）＝Ｅ’ｑ（１２）
ＮＭ（４０）＝｛Ｅ’ｑ（１２）＋Ｅ’ｑ（１３）＊３｝／４
ＮＭ（４１）＝｛Ｅ’ｑ（１３）＋Ｅ’ｑ（１４）｝／２
ＮＭ（４２）＝Ｅ’ｑ（１４）
ＮＭ（４３）＝Ｅ’ｑ（１４）
低帯域のエンベロープは、低周波と高周波とのオーバーラップが存在するサブバンド、すなわち、ｐ＝２９まで求められ、高帯域のマッピングされたエンベロープは、サブバンドｐ＝３０〜４３まで求められる。一方、前記表１及び表４を例として挙げれば、サブバンドの終端周波数インデックスが６３９で終わる場合、スーパーワイドバンド（３２Ｋサンプリングレート）であり、それが７９９で終わる場合、フルバンド（４８Ｋサンプリングレート）までのバンド割り当てを意味する。
【００４７】
前述のように、高帯域のマッピングされたエンベロープＮＭ（ｐ）は、さらに量子化される。そのとき、スカラー量子化が使用される。
【００４８】
結合部８２０は、量子化された低帯域のエンベロープＮｑ（ｐ）と、量子化された高帯域のマッピングされたエンベロープＮＭ（ｐ）とを結合し、全帯域のエンベロープＮｑ（ｐ）を得ることができる。
【００４９】
第１ビット割り当て部８３０は、全帯域のエンベロープＮｑ（ｐ）に基づいて、サブバンド単位でスペクトル量子化を行うための初期ビット割り当てが行われる。そのとき、初期ビット割り当ては、全帯域のエンベロープから得られるＮｏｒｍに基づいて、Ｎｏｒｍが大きい場合、さらに多くのビットを割り当てることができる。得られた初期ビット割り当て情報に基づいて、現在フレームに対するエンベロープリファインメント処理いかんを決定することができる。もし高帯域でビットが割り当てられたサブバンドが存在する場合、高帯域のエンベロープをリファインするために、デルタコーディングが行われる必要がある。すなわち、高帯域に重要なスペクトル成分が存在するならば、さらに微細なスペクトルエンベロープを提供するために、リファインメントが行われる。高帯域でビットが割り当てられたサブバンドを、エンベロープアップデートを必要とするサブバンドと決定することができる。一方、高帯域でビットが割り当てられたサブバンドが存在しない場合、エンベロープリファインメント処理は、不要であり、初期ビット割り当て情報を、低帯域のスペクトル符号化及び／またはエンベロープ符号化に使用することができる。第１ビット割り当て部８３０で得られる初期ビット割り当て情報により、デルタ符号化部８４０、エンベロープアップデート部８５０及び第２ビット割り当て部８６０の動作いかんが決定される。第１ビット割り当て部８３０は、小数点単位のビット割り当てを行うことができる。
【００５０】
デルタ符号化部８４０は、エンベロープアップデートを必要とするサブバンドに対して、マッピングされたエンベロープＮＭ（ｐ）と、本来のスペクトルを使用して量子化されたエンベロープＮｑ（ｐ）との差、すなわち、デルタを求めて符号化することができる。一例を挙げれば、デルタは、下記数式（２）のように示すことができる。
【００５１】
【数２】
0006616316.tif 000006
デルタ符号化部８４０は、デルタの最小値及び最大値を調査し、情報伝送のために必要なビットを計算することができる。例えば、最大値が３より大きく、７より小さい場合、必要ビットは、４ビットと決定しながら、−８〜７までのデルタを伝送することができる。すなわち、最小値は、ｍｉｎ＝−２（Ｂ−１）であり、最大値は、ｍａｘ＝２（Ｂ−１）−１で設定し、Ｂは、必要ビットを意味する。一方、必要ビットの表現において、制約が存在するために、制約を超える場合には、最大値と最小値とに制限を加えることができる。制限が加えられた最大値（ｍａｘｌ）と最小値（ｍｉｎｌ）とを利用して、デルタを下記数式（３）のように再計算することができる。
【００５２】
【数３】
0006616316.tif 000007
デルタ符号化部８４０は、Ｎｏｒｍアップデート情報、すなわち、リファインメントデータを生成することができる。一実施形態によれば、必要ビットは、２ビットで表現し、必要なデルタ値をビットストリームに含めることができる。必要ビットを２ビットで表現するために、４種を表現することができる。２ビットないし５ビットまで必要ビットを表現することができ、それぞれ０、１、２、３を活用することができる。最小値（ｍｉｎ）を活用し、伝送するデルタ値は、Ｄｔ（ｐ）＝Ｄｑ（ｐ）−ｍｉｎと計算することができる。リファインメントデータは、必要ビット、最小値、デルタ値を含んでもよい。
【００５３】
エンベロープアップデート部８５０は、デルタ値を利用して、Ｎｏｒｍ値、すなわち、エンベロープをアップデートさせることができる。
【００５４】
【数４】
0006616316.tif 000008
第２ビット割り当て部８６０は、伝送されるデルタ値を表現するために、活用したビットほぼバンド別ビット割り当て情報をアップデートさせることができる。一実施形態によれば、デルタ値を符号化するための十分なビットを提供するために、低周波から高周波に、あるいは高周波から低周波にバンドを変更しながら、特定ビット数以上が割り当てられた場合、１ビットずつ減少させることができる。かようにアップデートされたビット割り当て情報は、スペクトル量子化に使用される。
【００５５】
図９は、図５に図示された低周波符号化装置の構成を示したブロック図であり、量子化部９１０を含んでもよい。図９を参照すれば、量子化部９１０は、第１ビット割り当て部８３０あるいは第２ビット割り当て部８６０から提供されるビット割り当て情報に基づいて、スペクトル量子化を行うことができる。一実施形態によれば、ＰＶＱ（pyramid  vector  quantization）を使用することができるが、それに限定されるものではない。一方、量子化部９１０は、アップデートされたエンベロープ、すなわち、Ｎｏｒｍ値に基づいて正規化を行い、正規化されたスペクトルに対して、量子化を行うことができる。スペクトル量子化時、復号端において、ノイズフィリング処理時に必要とするノイズレベル情報を追加して計算し、符号化することができる。
【００５６】
図１０は、一実施形態によるオーディオ復号装置の構成を示したブロック図である。図１０に図示されたオーディオ復号装置は、逆多重化部１０１０、ＢＷＥパラメータ復号部１０３０、高周波復号部１０５０、低周波復号部１０７０及び結合部１０９０を含んでもよい。図示されていないが、オーディオ復号装置は、逆変換部をさらに含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。ここで、入力信号は、音楽あるいは音声、あるいは音楽と音声との混合信号を意味し、大きく見て、音声信号と異なる一般的な信号に分けることもできる。以下では、説明の便宜のために、オーディオ信号とする。
【００５７】
図１０を参照すれば、逆多重化部１０１０は、受信されるビットストリームをパージングし、復号に必要なパラメータを生成することができる。
【００５８】
ＢＷＥパラメータ復号部１０３０は、ビットストリームから、ＢＷＥパラメータを復号することができる。ＢＷＥパラメータは、励起クラスに該当する。一方、ＢＷＥパラメータは、励起クラスと異なるパラメータを含んでもよい。
【００５９】
高周波復号部１０５０は、復号された低周波スペクトルと励起クラスとを利用して、高周波励起スペクトルを生成することができる。他の実施形態によれば、高周波復号部１０５０は、ビットストリームから、帯域幅拡張に必要なパラメータ、あるいはビット割り当てに必要なパラメータを復号し、帯域幅拡張に必要なパラメータ、あるいはビット割り当てに必要なパラメータと、復号された低帯域信号のエネルギーと係わる情報とを高周波励起スペクトルに適用することができる。
【００６０】
帯域幅拡張に必要なパラメータは、高帯域信号のエネルギーと係わる情報と、付加情報とを含んでもよい。該付加情報は、高帯域で重要なスペクトル成分を含むバンドに係わる情報であり、高帯域で特定バンドに含まれたスペクトル成分と係わる情報でもある。高帯域信号のエネルギーと係わる情報は、ベクトル逆量子化される。
【００６１】
低周波復号部１０７０は、ビットストリームから、低帯域の符号化されたスペクトル係数を復号し、低周波スペクトルを生成することができる。一方、低周波復号部１０７０は、低帯域信号のエネルギーと係わる情報を復号することができる。
【００６２】
結合部１０９０は、低周波復号部１０７０から提供されるスペクトルと、高周波復号部１０５０から提供されるスペクトルとを結合することができる。逆変換部（図示せず）は、結合されたスペクトルを時間ドメインに逆変換することができる。ドメイン逆変換のために、ＩＭＤＣＴ（inverse  ＭＤＣＴ）を使用することができるが、それに限定されるものではない。
【００６３】
図１１は、一実施形態による高周波復号部１０５０の一部構成を示したブロック図である。図１１に図示された高周波復号部１０５０は、第１エンベロープ逆量子化部１１１０、第２エンベロープ逆量子化部１１３０及びエンベロープリファインメント部１１５０を含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。
【００６４】
図１１を参照すれば、第１エンベロープ逆量子化部１１１０は、低帯域のエンベロープを逆量子化することができる。一実施形態によれば、低帯域のエンベロープは、ベクトル逆量子化される。
【００６５】
第２エンベロープ逆量子化部１１３０は、高帯域のエンベロープを逆量子化することができる。一実施形態によれば、高帯域のエンベロープは、ベクトル逆量子化される。
【００６６】
エンベロープリファインメント部１１５０は、低帯域のエンベロープと、高帯域のエンベロープとから得られる全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを復号し、エンベロープをアップデートすることができる。ここで、全帯域エンベロープは、高帯域エンベロープのバンド構成を、低帯域エンベロープのバンド構成にマッピングし、マッピングされた高帯域エンベロープを、前記低帯域エンベロープと結合して得られる。エンベロープリファインメント部１１５０は、高帯域でビットが割り当てられたサブバンドを、エンベロープアップデート及びリファインメントデータを復号するサブバンドと決定することができる。エンベロープリファインメント部１１５０は、決定されたサブバンドに対して、前記リファインメントデータの表現に使用されたビット数に基づいて、ビット割り当て情報をアップデートすることができる。アップデートされたビット割り当て情報は、スペクトル復号に使用される。一方、リファインメントデータは、必要ビット、最小値、及びＮｏｒｍのデルタ値を含んでもよい。
【００６７】
図１２は、図１１に図示されたエンベロープリファインメント部１１５０の構成を示したブロック図である。図１２に図示されたエンベロープリファインメント部１１５０は、マッピング部１２１０、結合部１２２０、第１ビット割り当て部１２３０、デルタ復号部１２４０、エンベロープアップデート部１２５０及び第２ビット割り当て部１２６０を含んでもよい。各構成要素は、少なくとも１つのモジュールに一体化され、少なくとも１つのプロセッサ（図示せず）によって具現される。
【００６８】
図１２を参照すれば、マッピング部１２１０は、周波数マッチングのために、高帯域のエンベロープを、全帯域のバンド分割情報に対応するバンド構成にマッピングさせることができる。マッピング部１２１０は、図８のマッピング部８１０と同一に動作することができる。
【００６９】
結合部１２２０は、逆量子化された低帯域のエンベロープＮｑ（ｐ）と、逆量子化された高帯域のマッピングされたエンベロープＮＭ（ｐ）とを結合し、全帯域のエンベロープＮｑ（ｐ）を得ることができる。結合部１２２０は、図８の結合部８２０と同一に動作することができる。
【００７０】
第１ビット割り当て部１２３０は、全帯域のエンベロープＮｑ（ｐ）に基づいて、サブバンド単位でスペクトル逆量子化を行うための初期ビット割り当てが行われる。第１ビット割り当て部１２３０は、図８の第１ビット割り当て部８３０と同一に動作することができる。
【００７１】
デルタ復号部１２４０は、ビット割り当て情報に基づいて、エンベロープアップデートを必要とするか否かということ、及びいかなるサブバンドがアップデートされる必要があるかということを決定し、決定されたサブバンドに対して、符号化端から伝送されたアップデート情報、すなわち、リファインメントデータを復号することができる。一実施形態によれば、２ビットの必要ビット、Delta（０）、Delta（１）、…のように表現されたリファインメントデータから必要ビットを抽出し、最小値を計算し、デルタ値Ｄｑ（ｐ）を抽出することができる。ここで、必要ビットは、２ビットを利用するために、４種を表現することができる。２ビットないし５ビットまでを、それぞれ０、１、２、３を活用して表現するために、例えば、０である場合、２ビット、３である場合、５ビットのように必要ビットを設定することができる。必要ビットによって、最小値（ｍｉｎ）を計算した後、最小値を基準に、Ｄｑ（ｐ）＝Ｄｔ（ｐ）＋ｍｉｎに基づいて、Ｄｑ（ｐ）を抽出することができる。
【００７２】
エンベロープアップデート部１２５０は、抽出されたデルタ値Ｄｑ（ｐ）に基づいて、Ｎｏｒｍ値、すなわち、エンベロープをアップデートさせることができる。エンベロープアップデート部１２５０は、図８のエンベロープアップデート部８５０と同一に動作することができる。
【００７３】
第２ビット割り当て部１２６０は、抽出されたデルタ値を表現するために、活用されたビットほどバンド別ビット割り当て情報をさらに求めることができる。第２ビット割り当て部１２６０は、図８の第２ビット割り当て部８６０と同一に動作することができる。
【００７４】
アップデートされたエンベロープと、最終的に求められたビット割り当て情報は、低周波復号部１０７０に提供される。
【００７５】
図１３は、図１０に図示された低周波復号装置の構成を示したブロック図であり、逆量子化部１３１０及びノイズフィリング部１３３０を含んでもよい。
【００７６】
図１３を参照すれば、逆量子化部１３１０は、ビットストリームに含まれたスペクトル量子化インデックスを、ビット割り当て情報に基づいて、逆量子化することができる。その結果、低帯域と、一部重要な高帯域とのスペクトルを生成することができる。
【００７７】
ノイズフィリング部１３３０は、逆量子化されたスペクトルに対して、ノイズフィリング処理を行うことができる。ノイズフィリング処理は、低帯域に対してのみ行われる。ノイズフィリング処理が、逆量子化されたスペクトルにおいて、全部ゼロに逆量子化されたサブバンド、あるいは各スペクトル係数に割り当てられた平均ビットが、所定基準値より小さいサブバンドに対して行われる。ノイズフィリングされたスペクトルは、結合部１０９０（図１０）に提供される。さらに、ノイズフィリングされたスペクトルに対して、アップデートされたエンベロープに基づいて、逆正規化が行われる。ノイズフィリング部１３３０で生成されたスペクトルは、さらにアンチスパスニス処理が行われた後、励起クラスに基づいて振幅が調節され、高周波スペクトル生成に使用される。アンチスパスニス処理は、ノイズフィリングされたスペクトルにおいて、ゼロとして残っている部分に追加してランダム符号及び決定された振幅を有する信号を付加することを意味する。
【００７８】
図１４は、図１０に図示された結合部１０９０の構成を示したブロック図であり、スペクトル結合部１４１０を含んでもよい。図１４を参照すれば、スペクトル結合部１４１０は、復号された低帯域スペクトルと、生成された高帯域スペクトルとを結合することができる。低帯域スペクトルはノイズフィリングされたスペクトルでもある。高帯域スペクトルは、復号された低帯域スペクトルのダイナミックレンジあるいは振幅を、励起クラスに基づいて調節して得られた変形された低帯域スペクトルを利用して生成される。例えば、変形された低帯域スペクトルを、高帯域にパッチング、例えば、転写、コピー、ミラーリングあるいはホールディングし、高帯域スペクトルを生成することができる。
【００７９】
スペクトル結合部１４１０は、エンベロープリファインメント部７５０から提供されるビット割り当て情報に基づいて、復号された低帯域スペクトルと、生成された高帯域スペクトルとを選択的に結合することができる。ここで、ビット割り当て情報は、初期ビット割り当て情報あるいは最終ビット割り当て情報でもある。一実施形態によれば、低帯域及び高帯域の境界に位置したサブバンドにおいてビット割り当てされている場合、ノイズフィリングされたスペクトルに基づいて結合を行い、ビット割り当てされていない場合、ノイズフィリングされたスペクトルと、生成された高帯域スペクトルとに対してオーバーラップアド処理を行うことができる。
【００８０】
スペクトル結合部１４１０は、サブバンド別ビット割り当て情報に基づいて、ビットが割り当てられたサブバンドである場合、ノイズフィリングされたスペクトルを利用して、ビットが割り当てられていないサブバンドの場合、生成された高帯域スペクトルを利用することができる。ここで、サブバンドの構成は、全帯域のバンド構成に基づく。
【００８１】
図１５は、本発明の一実施形態による符号化モジュールを含むマルチメディア機器の構成を示したブロック図である。図１５に図示されたマルチメディア機器１５００は、通信部１５１０と符号化モジュール１５３０とを含んでもよい。また、符号化の結果として得られるオーディオビットストリームの用途によって、オーディオビットストリームを保存する保存部１５５０をさらに含んでもよい。また、マルチメディア機器１５００は、マイクロフォン１５７０をさらに含んでもよい。すなわち、保存部１５５０とマイクロフォン１５７０は、オプションとして具備される。一方、図１５に図示されたマルチメディア機器１５００は、任意の復号モジュール（図示せず）、例えば、一般的な復号機能を遂行する復号モジュール、あるいは本発明の一実施形態による復号モジュールをさらに含んでもよい。ここで、符号化モジュール１５３０は、マルチメディア機器１５００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）によっても具現される。
【００８２】
図１５を参照すれば、通信部１５１０は、外部から提供されるオーディオと、符号化されたビットストリームとのうち少なくとも一つを受信するか、復元されたオーディオと、符号化モジュール１５３０の符号化の結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。
【００８３】
通信部１５１０は、無線インターネット、無線イントラネット、無線電話網、無線ＬＡＮ（local  area  network）、Ｗｉ−Ｆｉ（wireless  fidelity）、ＷＦＤ（Ｗｉ−Ｆｉ  direct）、３Ｇ（３rd  generation）、４Ｇ（４th  generation）、ブルートゥース（登録商標（Bluetooth））、赤外線通信（ＩｒＤＡ：infrared  data  association）、ＲＦＩＤ（radio  frequency  identification）、ＵＷＢ（ultra  wideband）、ジグビー（登録商標（Zigbee））、ＮＦＣ（near  field  communication）のような無線ネットワーク；または有線電話網、有線インターネットのような有線ネットワークを介して、外部のマルチメディア機器とデータを送受信することができるように構成される。
【００８４】
符号化モジュール１５３０は、一実施形態によれば、通信部１５１０あるいはマイクロフォン１５７０を介して提供される時間ドメインのオーディオ信号を、周波数ドメインに変換し、周波数ドメイン信号から得られる全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを生成することができる。
【００８５】
保存部１５５０は、符号化モジュール１５３０で生成される符号化されたビットストリームを保存することができる。一方、保存部１５５０は、マルチメディア機器１５００の運用に必要な多様なプログラムを保存することができる。
【００８６】
マイクロフォン１５７０は、ユーザあるいは外部のオーディオ信号を符号化モジュール１５３０に提供することができる。
【００８７】
図１６は、本発明の一実施形態による復号モジュールを含むマルチメディア機器の構成を示したブロック図である。図１６に図示されたマルチメディア機器１６００は、通信部１６１０及び復号モジュール１６３０を含んでもよい。また、復号の結果として得られる復元されたオーディオ信号の用途によって、復元されたオーディオ信号を保存する保存部１６５０をさらに含んでもよい。また、マルチメディア機器１６００は、スピーカ１６７０をさらに含んでもよい。すなわち、保存部１６５０とスピーカ１６７０は、オプションとして具備される。一方、図１６に図示されたマルチメディア機器１６００は、任意の符号化モジュール（図示せず）、例えば、一般的な符号化機能を遂行する符号化モジュール、あるいは本発明の一実施形態による符号化モジュールをさらに含んでもよい。ここで、復号モジュール１６３０は、マルチメディア機器１６００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１つの以上のプロセッサ（図示せず）によっても具現される。
【００８８】
図１６を参照すれば、通信部１６１０は、外部から提供される符号化されたビットストリームと、オーディオ信号とのうち少なくとも一つを受信するか、あるいは復号モジュール１６３０の復号結果として得られる復元されたオーディオ信号と、符号化結果として得られるオーディオビットストリームとのうち少なくとも一つを送信することができる。一方、通信部１６１０は、図１５の通信部１５１０と実質的に類似しても具現される。
【００８９】
復号モジュール１６３０は、、一実施形態によれば、通信部１６１０を介して提供されるビットストリームを受信し、全帯域エンベロープに基づいて、サブバンド別ビット割り当て情報を生成し、サブバンド別ビット割り当て情報に基づいて、高帯域でエンベロープアップデートを必要とするサブバンドを決定し、決定されたサブバンドに対して、エンベロープアップデートと係わるリファインメントデータを復号し、エンベロープをアップデートすることができる。
【００９０】
保存部１６５０は、復号モジュール１６３０で生成される復元されたオーディオ信号を保存することができる。一方、保存部１６５０は、マルチメディア機器１６００の運用に必要な多様なプログラムを保存することができる。
【００９１】
スピーカ１６７０は、復号モジュール１６３０で生成される復元されたオーディオ信号を外部に出力することができる。
【００９２】
図１７は、本発明の一実施形態による符号化モジュール及び復号モジュールを含むマルチメディア機器の構成を示したブロック図である。図１７に図示されたマルチメディア機器１７００は、通信部１７１０、符号化モジュール１７２０及び復号モジュール１７３０を含んでもよい。また、符号化結果として得られるオーディオビットストリーム、あるいは復号結果として得られる復元されたオーディオ信号の用途によって、オーディオビットストリーム、あるいは復元されたオーディオ信号を保存する保存部１７４０をさらに含んでもよい。また、マルチメディア機器１７００は、マイクロフォン１７５０あるいはスピーカ１７６０をさらに含んでもよい。ここで、符号化モジュール１７２０と復号モジュール１７３０は、マルチメディア機器１７００に具備される他の構成要素（図示せず）と共に一体化され、少なくとも１以上のプロセッサ（図示せず）によっても具現される。
【００９３】
図１７に図示された各構成要素は、図１５に図示されたマルチメディア機器１５００の構成要素、あるいは図１６に図示されたマルチメディア機器１６００の構成要素と重複するので、その詳細な説明は省略する。
【００９４】
図１５ないし図１７に図示されたマルチメディア機器１５００，１６００，１７００には、電話、モバイルフォンなどを含む音声通信専用端末；ＴＶ（television）、ＭＰ３プレーヤなどを含む放送専用装置あるいは音楽専用装置；あるいは音声通信専用端末と、放送専用装置あるいは音楽専用装置との融合端末装置が含まれてもよいが、それらに限定されるものではない。また、マルチメディア機器１５００，１６００，１７００は、クライアント、サーバ、あるいはクライアントとサーバとの間に配置される変換器としても使用される。
【００９５】
一方、マルチメディア機器１５００，１６００，１７００が、例えば、モバイルフォンである場合、図示されていないが、キーパッドのようなユーザ入力部、ユーザインターフェース、あるいはモバイルフォンで処理される情報をディスプレイするディスプレイ部、モバイルフォンの全般的な機能を制御するプロセッサをさらに含んでもよい。また、該モバイルフォンは、撮像機能を有するカメラ部と、モバイルフォンで必要となる機能を遂行する少なくとも１以上の構成要素をさらに含んでもよい。
【００９６】
一方、マルチメディア機器１５００，１６００，１７００が、例えば、ＴＶである場合、図示されていないが、キーパッドのようなユーザ入力部、受信された放送情報をディスプレイするディスプレイ部、ＴＶの全般的な機能を制御するプロセッサをさらに含んでもよい。また、ＴＶは、ＴＶで必要とする機能を遂行する少なくとも１以上の構成要素をさらに含んでもよい。
【００９７】
図１８は、一実施形態によるオーディオ符号化方法の動作について説明するためのフローチャートである。図１８に図示された方法は、図５、図７、図８あるいは図９の対応する構成要素において遂行されるか、あるいは別途のプロセッサによっても遂行される。
【００９８】
図１８を参照すれば、１８００段階においては、入力信号に対して、ＭＤＣＴのような時間−周波数変換を行うことができる。
【００９９】
１８１０段階においては、ＭＤＣＴスペクトルに対して、低周波帯域のＮｏｒｍを計算して量子化することができる。
【０１００】
１８２０段階においては、ＭＤＣＴスペクトルに対して、高周波エンベロープを計算して量子化することができる。
【０１０１】
１８３０段階においては、高周波帯域の拡張パラメータを抽出することができる。
【０１０２】
１８４０段階においては、高周波帯域に対してＮｏｒｍ値マッピングを介して、全帯域の量子化されたＮｏｒｍ値を獲得することができる。
【０１０３】
１８５０段階においては、バンド別ビット割り当て情報を生成することができる。
【０１０４】
１８６０段階においては、バンド別ビット割り当て情報に基づいて、高周波帯域で重要スペクトル情報が量子化される場合、高周波帯域のＮｏｒｍアップデート情報を生成することができる。
【０１０５】
１８７０段階においては、高周波帯域のＮｏｒｍアップデートを介して、全帯域の量子化されたＮｏｒｍ値をアップデートさせることができる。
【０１０６】
１８８０段階においては、アップデートされた全帯域の量子化されたＮｏｒｍ値に基づいて、スペクトルを正規化して量子化することができる。
【０１０７】
１８９０段階においては、量子化されたスペクトルを含むビットストリームを生成することができる。
【０１０８】
図１９は、一実施形態によるオーディオ復号方法の動作について説明するためのフローチャートである。図１９に図示された方法は、図１０ないし図１４の対応する構成要素で遂行されるか、別途のプロセッサによっても遂行される。
【０１０９】
図１９を参照すれば、１９００段階においては、ビットストリームをパージングすることができる。
【０１１０】
１９０５段階においては、ビットストリームに含まれた低周波帯域のＮｏｒｍを復号することができる。
【０１１１】
１９１０段階においては、ビットストリームに含まれた高周波エンベロープを復号することができる。
【０１１２】
１９１５段階においては、高周波帯域の拡張パラメータを復号することができる。
【０１１３】
１９２０段階においては、高周波帯域に対して、Ｎｏｒｍ値マッピングを介して、全帯域の逆量子化されたＮｏｒｍ値を獲得することができる。
【０１１４】
１９２５段階においては、バンド別ビット割り当て情報を生成することができる。
【０１１５】
１９３０段階においては、バンド別ビット割り当て情報に基づいて、高周波帯域で重要スペクトル情報が量子化された場合、高周波帯域のＮｏｒｍアップデート情報を復号することができる。
【０１１６】
１９３５段階においては、高周波帯域のＮｏｒｍアップデートを介して全帯域の量子化されたＮｏｒｍ値をアップデートさせることができる。
【０１１７】
１９４０段階においては、アップデートされた全帯域の量子化されたＮｏｒｍ値に基づいて、スペクトルを逆量子化して逆正規化し、復号されたスペクトルを生成することができる。
【０１１８】
１９４５段階においては、復号されたスペクトルに基づいて、帯域拡張復号を行うことができる。
【０１１９】
１９５０段階においては、復号されたスペクトルと、帯域拡張復号されたスペクトルとを選択的に併合することができる。
【０１２０】
１９５５段階においては、選択的に併合されたスペクトルに対して、ＩＭＤＣＴのような時間−周波数逆変換を行うことができる。
【０１２１】
前記実施形態による方法は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。また、前述の本発明の実施形態で使用されるデータ構造、プログラム命令あるいはデータファイルは、コンピュータで読み取り可能な記録媒体に、多様な手段を介して記録される。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の保存装置を含んでもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（magnetic  media）；ＣＤ−ＲＯＭ（compact  disc  read  only  memory）、ＤＶＤ（digital  versatile  disc）のような光記録媒体（optical  media）；フロプティカルディスク（floptical  disk）のような磁気−光媒体（magneto-optical  media）；及びＲＯＭ（read  only  memory）、ＲＡＭ（random  access  memory）、フラッシュメモリのようなプログラム命令を保存して遂行するように特別に構成されたハードウェア装置が含まれてもよい。また、コンピュータで読み取り可能な記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する伝送媒体でもある。プログラム命令の例としては、コンパイラによって作われるような機械語コードだけではなく、インタープリタなどを使用して、コンピュータによって実行される高級言語コードを含んでもよい。
【０１２２】
以上のように、本発明の一実施形態は、たとえ限定された実施形態及び図面によって説明されたとしても、本発明の一実施形態は、前述の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならば、かような記載から多様な修正及び変形が可能であろう。従って、本発明のスコープは、前述の説明ではなく、特許請求の範囲に示されており、それと均等または等価的な変形は、いずれも本発明技術的思想の範疇に属するものとするのである。
【図１】
0006616316.tif 000009
【図２ａ】
0006616316.tif 000010
【図２ｂ】
0006616316.tif 000011
【図２ｃ】
0006616316.tif 000012
【図３】
0006616316.tif 000013
【図４】
0006616316.tif 000014
【図５】
0006616316.tif 000015
【図６】
0006616316.tif 000016
【図７】
0006616316.tif 000017
【図８】
0006616316.tif 000018
【図９】
0006616316.tif 000019
【図１０】
0006616316.tif 000020
【図１１】
0006616316.tif 000021
【図１２】
0006616316.tif 000022
【図１３】
0006616316.tif 000023
【図１４】
0006616316.tif 000024
【図１５】
0006616316.tif 000025
【図１６】
0006616316.tif 000026
【図１７】
0006616316.tif 000027
【図１８】
0006616316.tif 000028
【図１９】
0006616316.tif 000029