(57)【要約】【課題】高周波数帯域幅拡張のための符号化／復号化装置及びその方法を提供する。【解決手段】高周波数帯域幅拡張のための符号化／復号化装置及びその方法に係り、該符号化装置は、時間領域入力信号をダウンサンプリングし、ダウンサンプリングされた時間領域入力信号にコア符号化を遂行し、時間領域入力信号を、周波数領域入力信号に変換し、周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う。【選択図】図２
2018120236.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサを含み、
前記プロセッサは、
現在フレームの入力スペクトルに基づき、所定周波数より高い帯域のための基本励起スペクトル(base  excitation  spectrum)を生成し、
前記入力スペクトルから前記現在フレームを構成するバンドのエネルギーを取得し、
前記基本励起スペクトルのトーナリティと前記入力スペクトルのトーナリティとの比率に基づき、前記現在フレームを構成するバンドに対応するエネルギー制御要素を取得し、
前記現在フレームを構成するバンドに対して得られたエネルギーを前記エネルギー制御要素に基づいて制御し、
前記制御されたエネルギーを量子化し、
前記プロセッサは、前記エネルギー制御要素と基準値との間の比較結果に対応して、前記バンドのエネルギーを制御する符号化装置。
【請求項２】
前記プロセッサは、前記現在フレームがノントランジェント(non-transient)フレームに該当する場合、前記現在フレームを構成するバンドに対して得られたエネルギーのサイズを前記エネルギー制御要素に基づき調整する請求項１に記載の符号化装置。
【請求項３】
前記ノントランジェント(non-transient)フレームは、ハーモニック(harmonic)フレームとノーマル(normal)フレームを含む請求項２に記載の符号化装置。
【請求項４】
前記プロセッサは、加重平均二乗エラー（weighted mean  square  error)に基づいて前記制御されたエネルギーを量子化する請求項１に記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号または音楽信号のようなオーディオ信号を符号化／復号化する方法及びその装置に係り、さらに詳細には、オーディオ信号において、高周波数領域に該当する信号を符号化／復号化する方法及びその装置に関する。
【背景技術】
【０００２】
高周波数領域に該当する信号は、低周波数領域に該当する信号に比べ、周波数の微細構造にそれほど敏感ではない。従って、オーディオ信号を符号化するとき、可用ビットの制約を克服するために、コーディングの効率を高めなければならない場合、低周波数領域に対応する信号に多くのビットを割り当てて符号化する一方、高周波数領域に対応する信号に相対的に少ないビットを割り当てて符号化する。
【０００３】
かような方式が適用された技術がＳＢＲ（spectral  band  replication）である。ＳＢＲ技術は、高域成分信号を包絡線で表現し、これを復号化段階で合成する方式で、符号化効率を向上させる方式である。これは、人間の聴覚特性が高域信号に相対的に低い解像力を有するという事実に基づいたものである。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
かようなＳＢＲ技術において、高周波数領域の帯域幅を拡張するための改善された方法が要求される。
【課題を解決するための手段】
【０００５】
本発明の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の基本信号（basic  signal）を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【０００６】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記基本信号を利用して、エネルギー制御要素（energy  control  factor）を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【０００７】
本発明の一実施形態による符号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial  signal）を生成する人工信号生成部と、ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を人工信号に適用する包絡線適用部と、を含んでもよい。前記推定された包絡線を適用するということは、前記人工信号を、前記人工信号の推定された包絡線によって分けることを意味する。
【０００８】
本発明の一実施形態による符号化装置の前記要素推定部は、前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、前記基本信号のトーナリティを計算する第２トーナリティ計算部と、前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含んでもよい。
【０００９】
本発明の他の一実施形態による符号化装置は、時間領域入力信号をダウンサンプリングするダウンサンプリング部と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、前記コア符号化された時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【００１０】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する要素推定部と、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【００１１】
本発明のさらに他の実施形態による符号化装置は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含んでもよい。
【００１２】
本発明の一実施形態による符号化装置の前記拡張符号化部は、前記符号化モードに基づいて、前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、前記符号化モードに基づいて、前記抽出されたエネルギーを制御するエネルギー制御部と、前記符号化モードに基づいて、前記制御されたエネルギーを量子化するエネルギー量子化部と、を含んでもよい。
【００１３】
本発明の一実施形態による復号化装置は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化するコア復号化部と、前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含んでもよい。
【００１４】
本発明の一実施形態による復号化装置の前記拡張復号化部は、前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含んでもよい。
【００１５】
本発明の一実施形態による復号化装置の前記基本信号生成部は、前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、前記推定された包絡線を、前記人工信号に適用する包絡線適用部と、を含んでもよい。
【００１６】
本発明の一実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【００１７】
本発明の他の実施形態による符号化方法は、時間領域入力信号をダウンサンプリングする段階と、ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、前記時間領域入力信号を、周波数領域入力信号に変換する段階と、前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【００１８】
本発明のさらに他の実施形態による符号化方法は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、前記周波数領域入力信号と、前記選択された符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含んでもよい。
【００１９】
本発明の一実施形態による復号化方法は、ビットストリームに含まれ、コア符号化された時間領域入力信号をコア復号化する段階と、前記コア復号化された時間領域入力信号をアップサンプリングする段階と、前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含んでもよい。
【発明の効果】
【００２０】
本発明の実施形態によれば、入力信号の基本信号を抽出し、入力信号の高周波数領域のトーナリティと基本信号のトーナリティとを利用して、入力信号のエネルギーを制御することにより、高周波数領域の帯域幅を効率的に拡張することができる。
【図面の簡単な説明】
【００２１】
【図１】一実施形態による符号化装置及び復号化装置を図示したブロック図である。
【図２】図１の符号化装置の一実施形態を図示したブロック図である。
【図３】図１の符号化装置のコア符号化部を図示したブロック図である。
【図４】図１の符号化装置の拡張符号化部の一実施形態を図示したブロック図である。
【図５】図１の符号化装置の拡張符号化部の他の実施形態を図示したブロック図である。
【図６】拡張符号化部の基本信号生成部を図示したブロック図である。
【図７】拡張符号化部の要素推定部を図示したブロック図である。
【図８】図１の符号化装置のエネルギー量子化部の過程を示したフローチャートである。
【図９】一実施形態によって、エネルギーを量子化する過程を示した図面である。
【図１０】一実施形態によって、人工信号を生成する過程を示した図面である。
【図１１Ａ】一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。
【図１１Ｂ】一実施形態によって、包絡線推定のためのウィンドウの例を示した図面である。
【図１２】図１の復号化装置を図示したブロック図である。
【図１３】図１２の拡張復号化部を図示したブロック図である。
【図１４】拡張復号化部の逆量子化部の動作を示したフローチャートである。
【図１５】本発明の一実施形態による符号化方法を示したフローチャートである。
【図１６】本発明の一実施形態による復号化方法を示したフローチャートである。
【図１７】図１の符号化装置の他の実施形態を図示したブロック図である。
【図１８】図１７の符号化装置のエネルギー量子化部の動作を示したブロック図である。
【図１９】一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
【図２０】一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
【図２１】一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
【図２２】一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
【図２３】図１３の逆量子化部の動作を示したブロック図である。
【図２４】図１の符号化装置のさらに他の実施形態を示したブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について、添付された図面を参照して詳細に説明する。
【００２３】
図１は、一実施形態による符号化装置１０１及び復号化装置１０２を図示したブロック図である。符号化装置１０１は、入力信号の基本信号（base  signal）を生成し、復号化装置１０２に伝送することができる。基本信号は、低周波信号を基に生成され、低周波信号の包絡線情報が除去（whitening）された信号であるから、高周波帯域幅拡張のための励起信号（excitation  signal）である。それにより、復号化装置１０２は、受信された基本信号から入力信号を復元することができる。すなわち、符号化装置１０１と復号化装置１０２は、ＳＷＢ  ＢＷＥ（super  wide  band  bandwidth  extension）を行う。具体的には、ＳＷＢ  ＢＷＥは、低周波数領域である０〜６．４ＫＨｚのデコーディングされたＷＢ（wide  band）信号を基に、ＳＷＢに対応する高周波数領域である６．４〜１６ＫＨｚ信号を生成することができる。このとき、１６ＫＨｚは、状況によって変動される。そして、デコーディングされたＷＢ信号は、ＬＰＤ（linear  prediction  domain）基盤のＣＥＬＰ（code  excited  linear  prediction）によって、speech  codecを介して生成された信号であるか、あるいは周波数ドメインで量子化を行う方式によって生成された信号であってもよい。周波数ドメインで量子化する方式は、ＭＤＣＴ（modified  discrete  cosine  transform）基盤で行うＡＡＣ（advanced  audio  coding）を有することができる。
【００２４】
以下では、符号化装置１０１と復号化装置１０２との詳細動作について具体的に説明する。
【００２５】
図２は、図１の符号化装置１０１の構成を図示したブロック図である。図２を参照すれば、符号化装置１０１は、例えば、ダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３及び拡張符号化部２０４を含んでもよい。
【００２６】
ダウンサンプリング部２０１は、ＷＢコーディングのために、時間領域入力信号をダウンサンプリングすることができる。時間領域入力信号であるＳＷＢ（super  wide  band）信号は、一般的に、３２ＫＨｚサンプリングレートを有する信号であるので、ＷＢコーディングに適するサンプリングレートに変換することが必要である。一例として、ダウンサンプリング部２０１は、３２ＫＨｚサンプリングレートを示す時間領域入力信号を、１２．８ＫＨｚにダウンサンプリングすることができる。
【００２７】
コア符号化部２０２は、ダウンサンプリングされた時間領域入力信号をコア符号化することができる。すなわち、コア符号化部２０２は、ＷＢコーディングを行うことができる。一例として、コア符号化部２０２は、ＣＥＬＰ方式のＷＢコーディングを行うことができる。
【００２８】
周波数変換部２０３は、時間領域入力信号を、周波数領域入力信号に変換することができる。一例として、周波数変換部２０３は、ＦＦＴ（fast  Fourier  transform）またはＭＤＣＴのうちいずれか一つを利用して、時間領域入力信号を、周波数領域入力信号に変換することができる。以下では、ＭＤＣＴを適用したと仮定して説明する。
【００２９】
拡張符号化部２０４は、周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行うことができる。すなわち、拡張符号化部２０４は、周波数領域入力信号を基に、ＳＷＢ  ＢＷＥ符号化を行うことができる。
【００３０】
また、拡張符号化部２０４は、周波数領域入力信号の基本信号と周波数領域入力信号との特性を利用して、帯域幅拡張符号化を行うことができる。その場合、周波数領域入力信号の特性のソースによって、拡張符号化部２０４は、図４及び図５のようなブロック図として具体化される。
【００３１】
拡張符号化部２０４の動作に対しては、図４及び図５で具体的に説明する。
【００３２】
結局、図２で上端pathは、コア符号化過程を示し、下端pathは、帯域幅拡張符号化過程を示す。特に、ＳＷＢ  ＢＷＥ符号化過程を介して、入力信号のエネルギー情報が復号化装置１０２に伝達されてもよい
図３は、コア符号化部２０２のブロック図を図示した図面である。図３を参照すれば、コア符号化部２０２は、例えば、信号分類部３０１及び符号化部３０２を含んでもよい。
【００３３】
信号分類部３０１は、ダウンサンプリングされた入力信号（１２．８ＫＨｚ）の特性を分類することができる。すなわち、信号分類部３０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用する符号化モードを決定することができる。例えば、ＩＴＵ−Ｔ  Ｇ．７１８コーデックで、信号分類部３０１は、音声信号を、有声音符号化モード（voiced  coding  mode）、無声音符号化モード（unvoiced  coding  mode）、転移信号符号化モード（transition  coding  mode）及び一般的な信号符号化モード（generic  coding  mode）のうち一つ以上に分類することができる。ここで、無声音符号化モードは、無声音フレームと、ほとんどのinactive  frameとを符号化するために設計された。
【００３４】
符号化部３０２は、信号分類部３０１で分類された周波数領域入力信号の特性によって最適化されたコーディングを行うことができる。
【００３５】
図４は、図２の拡張符号化部２０４の一実施形態を図示した図面である。図４を参照すれば、拡張符号化部２０４は、例えば、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５を含んでもよい。一例として、拡張符号化部２０４は、符号化モードを入力されずに、エネルギー制御要素を推定することができる。他の一例として、拡張符号化部２０４は、符号化モードを利用して、エネルギー制御要素を推定することができる。このとき、符号化モードは、コア符号化部２０２から入力される。
【００３６】
基本信号生成部４０１は、周波数領域入力信号の周波数スペクトルを利用して、入力信号の基本信号を生成することができる。基本信号は、ＷＢ信号を基にＳＷＢ  ＢＷＥを行うめの信号を意味する。言い替えれば、基本信号は、低周波領域のfine  structureを構成する信号を意味する。基本信号を生成する過程については、図６でさらに具体的に説明する。
【００３７】
一例として、要素推定部４０２は、基本信号を利用して、エネルギー制御要素（energy  control  factor）を推定することができる。すなわち、符号化装置１０１は、復号化装置１０２で、ＳＷＢ領域の信号を生成するために、入力信号のエネルギー情報を伝送する。このとき、要素推定部４０２は、エネルギー情報を知覚的な（perceptual）観点から制御するために、エネルギーを制御するためのパラメータであるエネルギー制御要素を推定することができる。エネルギー制御要素を推定する過程については、図７で具体的に説明する。
【００３８】
他の一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力される。
【００３９】
エネルギー抽出部４０３は、周波数領域入力信号から、エネルギーを抽出することができる。抽出されたエネルギーは、復号化装置１０２に伝送される。エネルギーは、周波数バンド別に抽出される。
【００４０】
エネルギー制御部４０４は、エネルギー制御要素を利用して、入力信号から抽出されたエネルギーを制御することができる。すなわち、エネルギー制御部４０４は、周波数バンド別に抽出されたエネルギーに、エネルギー制御要素を適用することにより、エネルギーを制御することができる。
【００４１】
エネルギー量子化部４０５は、制御されたエネルギーを量子化（quantization）することができる。エネルギーは、ｄＢ（decibel）  scaleに変換されて量子化が行われる。具体的には、エネルギー量子化部４０５は、全体エネルギーであるグローバル（global）エネルギーを求めて、グローバルエネルギー、及び周波数バンド別エネルギーとグローバルエネルギーとの差をスカラ量子化することができる。または、最初のバンドは、エネルギーを直接量子化し、二番目以後のバンドは、以前バンドとの差を量子化することができる。また、エネルギー量子化部４０５は、周波数バンドの差値を利用せずに、周波数バンド別にエネルギーを直接量子化することもできる。周波数バンド別にエネルギーを直接量子化する場合、スカラ量子化またはベクトル量子化が利用される。エネルギー量子化部４０５については、図８及び図９で具体的に説明する。
【００４２】
図５は、拡張符号化部２０４の他の実施形態を図示したブロック図である。図５の拡張符号化部２０４は、図４の拡張符号化部２０４と異なり、信号分類部５０１をさらに含んでもよい。一例として、要素推定部４０２は、周波数領域入力信号の特性と基本信号とを利用して、エネルギー制御要素を推定することができる。このとき、周波数領域入力信号の特性は、コア符号化部２０２から入力されるのではなく、信号分類部５０１から入力されるのである。
【００４３】
信号分類部５０１は、３２ＫＨｚの入力信号を、ＭＤＣＴスペクトルを利用して、周波数領域入力信号の特性を分類することができる。具体的には、信号分類部５０１は、周波数領域入力信号の特性によって、周波数領域入力信号に適用される符号化モードを決定することができる。
【００４４】
入力信号の特性が分類されるとき、エネルギー制御要素が信号から抽出されて制御される。一実施形態において、エネルギー制御要素推定に適する信号について、エネルギー制御要素が抽出される。例えば、ノイズ信号や無声音信号のように、トーナル成分を含まない信号は、エネルギー制御要素推定に適さないこともある。このとき、拡張符号化部２０４は、入力信号が無声音符号化モードとして分類された場合、拡張符号化部２０４は、エネルギー制御要素を推定せずに、帯域幅拡張符号化を行うことができる。
【００４５】
図５で、基本信号生成部４０１、要素推定部４０２、エネルギー抽出部４０３、エネルギー制御部４０４及びエネルギー量子化部４０５に係わる説明は、図４を参照する。
【００４６】
図６は、基本信号生成部４０１を図示したブロック図である。図６を参照すれば、基本信号生成部４０１は、例えば、人工信号生成部６０１、包絡線適用部６０２及び包絡線推定部６０３を含んでもよい。
【００４７】
人工信号生成部６０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号（artificial  signal）を生成することができる。すなわち、人工信号生成部６０１は、周波数領域入力信号の低周波数スペクトルをコピーし、ＳＷＢ領域の人工信号を生成することができる。人工信号を生成する具体的な過程については、図１０で説明する。
【００４８】
包絡線推定部６０２は、ウィンドウを利用して、基本信号の包絡線を推定することができる。基本信号の包絡線は、ＳＷＢ領域の人工信号の周波数スペクトルに含まれている低周波数領域の包絡線情報を取り除くために使用される。特定周波数インデックスの包絡線は、特定周波数以前と以後との周波数スペクトルを使用して決定される。そして、動き平均（moving  average）を介して、包絡線が推定される。一例として、周波数変換時にＭＤＣＴが使用されたとするなら、ＭＤＣＴ変換された周波数スペクトルの絶対値を介して、基本信号の包絡線が推定される。
【００４９】
このとき、包絡線推定部６０２は、whiteningバンドを構成した後、whiteningバンド別に周波数magnitudeの平均を、whiteningバンド内に属した周波数の包絡線として推定することができる。前記whiteningバンドに属する周波数スペクトルの個数は、エネルギーを抽出するバンドよりさらに少なく設定されることができる。
【００５０】
ホワイトニング（whitening）バンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数が多いか、あるいは少ないかということに係わる情報で伝送し、基本信号の平坦化位を調節することができる。例えば、包絡線推定部６０２は、８個のスペクトルから構成された場合と、３個のスペクトルから構成された場合との２種方式に基づいて情報を伝送することができる。このとき、３個のスペクトルから構成された場合、８個のスペクトルから構成された場合より、さらに平坦化された基本信号が生成される。
【００５１】
また、包絡線推定部６０２は、ホワイトニングバンド内に属したスペクトルの個数の多少いかんに係わる情報を送信せずに、コア符号化部２０２に使用された符号化モードによって決定することができる。コア符号化部２０２は、入力信号の特性によって、入力信号を、有声音符号化モード、無声音符号化モード、transient符号化モード、及びgeneric符号化モードに区分して入力信号を符号化することができる。
【００５２】
このとき、包絡線推定部６０２は、入力信号の特性による符号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、入力信号が有声音符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、入力信号が有声音符号化モード以外の符号化モードによって符号化された場合、包絡線推定部６０２は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。
【００５３】
包絡線適用部６０３は、推定された包絡線を人工信号に適用することができる。かような過程をwhiteningといい、人工信号が包絡線によって平坦化される。包絡線適用部６０３は、人工信号を、周波数インデックスそれぞれの包絡線に分けて基本信号を生成することができる。
【００５４】
図７は、要素推定部４０２を図示したブロック図である。図７を参照すれば、要素推定部４０２は、例えば、第１トーナリティ（tonality）計算部７０１、第２トーナリティ計算部７０２及び要素計算部７０３を含んでもよい。
【００５５】
第１トーナリティ計算部７０１は、周波数領域入力信号の高周波数領域のトーナリティ（tonality）を計算することができる。すなわち、第１トーナリティ計算部７０１は入力信号の高周波数領域であるＳＷＢ領域のトーナリティを計算することができる。
【００５６】
第２トーナリティ計算部７０２は、基本信号のトーナリティを計算することができる。トーナリティは、spectral  flatnessを測定することによって計算される。具体的には、下記数式（１）によってトーナリティが計算される。Spectral  flatnessは、周波数スペクトルの幾何平均と算術平均との関係を介して測定される。
【００５７】
【数１】
2018120236.tif 000003
要素計算部７０３は、高周波数領域のトーナリティと基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。このとき、エネルギー制御要素は、下記数式（２）によって計算される。
【００５８】
【数２】
2018120236.tif 000004
ここで、αは、エネルギー制御要素を示し、Ｔｏは、入力信号のトーナリティ、Ｔｂは、基本信号のトーナリティを示す。Ｎｂは、ノイジネスス・ファクタ（noisiness  factor）であり、信号にノイズ成分が含まれた程度を示す。
【００５９】
エネルギー制御要素は、下記数式（３）によって計算される。
【００６０】
【数３】
2018120236.tif 000005
要素計算部７０３は、それぞれの周波数バンド別に、エネルギー制御要素を計算することができる。計算されたエネルギー制御要素は、入力信号のエネルギーに適用される。このとき、エネルギー制御要素は、エネルギー制御要素が、あらかじめ設定したエネルギー制御要素より小さい場合、入力信号のエネルギーに適用される。
【００６１】
図８は、エネルギー量子化部４０５の動作について説明するためのフローチャートである。段階Ｓ８０１で、エネルギー量子化部４０５は、エネルギー制御要素を利用して、エネルギーベクトルを前処理し、前処理されたエネルギーベクトルのサブベクトルを選択することができる。一例として、エネルギー量子化部４０５は、選択されたエネルギーベクトルそれぞれのエネルギー値について、平均値を差し引いたり、あるいはエネルギーベクトルそれぞれの重要度に係わる加重値を計算することができる。このとき、重要度に係わる加重値、は合成音の音質を最大化する方向に計算される。
【００６２】
そして、エネルギー量子化部４０５は、符号化効率を考慮して、エネルギーベクトルのサブベクトルを適切に選択することができる。そして、補間効果を向上させるために、エネルギー量子化部４０５は、一定間隔でサブベクトルを選択することができる。
【００６３】
一例として、エネルギー量子化部４０５は、下記数式（４）によって、サブベクトルを選択することができる。
【００６４】
ｋ＊ｎ（ｎ＝０  …  Ｎ），ｋ＞＝２，Ｎは、ベクトルdimensionより小さい最大整数    （４）
その場合、ｋ＝２になれば、偶数がＮに選択される。
【００６５】
段階Ｓ８０２で、エネルギー量子化部４０５は、選択されたサブベクトルを量子化及び逆量子化する。エネルギー量子化部４０５は、数式（５）によって計算されたＭＳＥ（mean  square  error）を最小化する量子化インデックスを選択し、サブベクトルを量子化することができる。
【００６６】
【数４】
2018120236.tif 000006
エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（Trellis  coded  quantization）及びＬＶＱ（lattice  ＶＱ（vector  quantization））のうちいずれか一つによって、サブベクトルを量子化することができる。このとき、ベクトル量子化は、multi-stage  ＶＱまたはsplit  ＶＱなどが可能であり、split  ＶＱとmulti−stage  ＶＱとを同時に使用することも可能である。量子化インデックスは、復号化装置１０２に伝送される。
【００６７】
そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥ（weighted  ＭＳＥ）を利用して、最適化された量子化インデックスを求めることができる。このとき、weighted  ＭＳＥは、数式（６）によって計算される。
【００６８】
【数５】
2018120236.tif 000007
段階Ｓ８０３で、エネルギー量子化部４０５は、量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルの値を計算することができる。段階Ｓ８０４で、エネルギー量子化部４０５は、補間された残りのサブベクトルと、原エネルギーベクトルにマッチングされた残りのサブベクトルとの差である補間エラーを計算することができる。
【００６９】
段階Ｓ８０５で、エネルギー量子化部４０５は、補間エラーを量子化することができる。このとき、エネルギー量子化部４０５は、ＭＳＥを最小化する量子化インデックスを利用して、補間エラーを量子化することができる。エネルギー量子化部４０５は、スカラ量子化、ベクトル量子化、ＴＣＱ（trellis  coded  quantization）及びＬＶＱ（lattice  ＶＱ）のうちいずれか一つによって補間エラーを量子化することができる。このとき、ベクトル量子化は、multi−stage  ＶＱまたはsplit  ＶＱなどが可能であり、split  ＶＱとmulti−stage  ＶＱとを同時に使用することも可能である。そして、前処理過程で、重要度に係わる加重値が計算された場合、エネルギー量子化部４０５は、加重値が適用されたＷＭＳＥを利用して、最適化された量子化インデックスを求めることができる。
【００７０】
段階Ｓ８０６で、エネルギー量子化部４０５は、選択されて量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算し、段階Ｓ８０５で計算された量子化された補間エラーを加え、最終的に量子化されたエネルギーを計算することができる。そして、エネルギー量子化部４０５は、後処理過程を介して、前処理過程で差し引いた平均値をエネルギー値にさらに加え、最終的に量子化されたエネルギーを計算することができる。
【００７１】
Multi−stage  ＶＱで、エネルギー量子化部４０５は、同一のコードブックでもって、量子化性能を向上させるために、Ｋ個のサブベクトルの候補（candidate）を利用して量子化を行う。Ｋが２以上である場合、エネルギー量子化部４０５は、distortion  measureを行い、サブベクトルの最適候補を決定することができる。このとき、distortion  measureは、２つの方式によって決定される。
【００７２】
第一に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean  square  error）またはＷＭＳＥ（weighted  mean  square  error）を最小化させるインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。その場合、計算量が少ないという長所がある。
【００７３】
第二に、エネルギー量子化部４０５は、サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原のエネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて、候補を選択することができる。その場合、復元のための計算量が追加されるものの、実際量子化された値を利用してＭＳＥを求めるので、性能にすぐれるという長所がある。
【００７４】
図９は、一実施形態によって、エネルギーを量子化する過程を示した図面である。図９を参照すれば、エネルギーベクトルは、１４dimensionを示す。１st  stageで、エネルギー量子化部４０５は、エネルギーベクトルから偶数のみを選択し、７dimensionであるサブベクトルを選択することができる。１st  stageで、性能向上のためにエネルギー量子化部４０５は、２個の量子化stageにsplitされたベクトル量子化を利用することができる。
【００７５】
エネルギー量子化部４０５は、２nd  stageで、１st  stageのエラー信号を利用して量子化を行うことができる。エネルギー量子化部４０５は、選択されたサブベクトルの逆量子化過程を経て、補間エラーを求めることができる。３rd  stageで、エネルギー量子化部４０５は、補間エラーを２個にsplitされたベクトル量子化を利用して、量子化することができる。
【００７６】
図１０は、一実施形態による人工信号を生成する過程を図示した図面である。図１０を参照すれば、人工信号生成部６０１は、全体周波数バンドで、低周波数領域であるｆＬ〜６．４ＫＨｚに対応する周波数スペクトル１００１をコピーすることができる。コピーされた周波数スペクトル１００１は、６．４〜１２．８−ｆＬ  ＫＨｚ周波数領域までシフトされる。そして、１２．８−ｆＬ〜１６ＫＨｚ周波数領域に対応する周波数スペクトルは、６．４〜１２．８−ｆＬ  ＫＨｚ周波数領域の周波数スペクトルがフォールディングされて生成される。すなわち、高周波数領域であるＳＷＢに対応する人工信号は、６．４〜１６ＫＨｚまで生成される。
【００７７】
このとき、周波数スペクトルを生成するときに使用された変換がＭＤＣＴである場合、ｆＬと６．４ｋＨｚとの間に相関関係が存在する。具体的には、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが偶数である場合には、ｆＬの周波数インデックスも偶数である必要がある。一方、６．４ｋＨｚに該当するＭＤＣＴの周波数インデックスが奇数である場合、ｆＬの周波数インデックスも奇数である必要がある。
【００７８】
例えば、原入力信号に対して、６４０個のスペクトルを抽出するＭＤＣＴを適用した場合、６．４ｋＨｚに対応するインデックスは、２５６番目のインデックスになって（６４００／１６０００＊６４０）偶数になる。その場合、ｆＬは、偶数として選択される必要がある。すなわち、ｆＬは、２（５０Ｈｚ）、４（１００Ｈｚ）などが使用される。この過程は、復号化過程でも同一に適用される。
【００７９】
図１１Ａ及び図１１Ｂは、一実施形態による包絡線推定のためのウィンドウを図示した図面である。図１１Ａ及び図１１Ｂを参照すれば、ウィンドウ１１０１とウィンドウ１１０２とのpeak位置が、現在包絡線を推定しようとする周波数インデックスを意味する。基本信号に係わる包絡線推定は、下記数式（７）によって行われる。
【００８０】
【数６】
2018120236.tif 000008
ウィンドウ１１０１とウィンドウ１１０２は、いつも固定して使用され、その場合には、追加して伝送されるビットが必要ない。または、ウィンドウ１１０１とウィンドウ１１０２とが選択的に使用される場合には、包絡線推定のために、いかなるウィンドウが使用されたを示す情報をビットで表現し、追加して復号化装置１０２に伝達する必要がある。かようなビットは、周波数バンド別に伝送されたり、あるいは１フレームに一度伝送される。
【００８１】
ウィンドウ１１０１とウィンドウ１１０２とを比較すれば、ウィンドウ１１０２は、ウィンドウ１１０１より現在周波数インデックスに対応する周波数スペクトルに、加重値をさらに付け加えて包絡線を推定する。従ってウィンドウ１１０２によって生成された基本信号は、ウィンドウ１１０１によって生成された基本信号より平坦に生成される。ウィンドウの種類は、ウィンドウ１１０１あるいはウィンドウ１１０２によって生成されたそれぞれの基本信号と、入力信号の周波数スペクトルとを比較することによって選択される。また、高周波数領域のトーナリティ比較を介して、類似したトーナリティを有させるウィンドウが選択される。そして、高周波数領域の相関も（correlation）の比較を介して、相関図の高いウィンドウが選択される。
【００８２】
図１２は、図１の復号化装置１０１を図示したブロック図である。図１２の過程は、図２の過程の逆過程からなる。図１２を参照すれば、復号化装置１０２は、例えば、コア復号化部１２０１、アップサンプリング部１２０２、周波数変換部１２０３、拡張復号化部１２０４及び周波数逆変換部１２０５を含んでもよい。
【００８３】
コア復号化部１２０１は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる。コア復号化過程を介して、１２．８ＫＨｚサンプリングレートを有する信号が抽出される。
【００８４】
アップサンプリング部１２０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる。アップサンプリングを介して、３２ＫＨｚサンプリングレートを有する信号が抽出される。
【００８５】
周波数変換部１２０４は、アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換することができる。アップサンプリングされた時間領域入力信号の変換は、符号化装置１０１で使用した周波数変換方式と同一の方法を使用することができるし、例えば、ＭＤＣＴを使用することができる。
【００８６】
拡張復号化部１２０４は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる。拡張復号化部１２０４の動作については、図１３で具体的に説明する。
【００８７】
周波数逆変換部１２０５は、帯域幅拡張復号化が行われた結果に対して、周波数逆変換を行うことができる。周波数変換部１２０３で使用した周波数変換方式の逆過程を遂行することにより、例えば、ＩＭＤＣＴ（inverse  modified  discrete  cosine  transform）を行うことができる。
【００８８】
図１３は、図１２の拡張復号化部１２０４を図示したブロック図である。図１３を参照すれば、拡張復号化部１２０４は、例えば、逆量子化部１３０１、ゲイン計算部１３０２、ゲイン適用部１３０３、人工信号生成部１３０４、包絡線推定部１３０５及び包絡線適用部１３０６を含んでもよい。
【００８９】
逆量子化部１３０１は、時間領域入力信号のエネルギーを逆量子化することができる。エネルギーを逆量子化する過程については、図１４で具体的に説明する。
【００９０】
ゲイン計算部１３０２は、逆量子化されたエネルギーと基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。具体的には、ゲインは、逆量子化されたエネルギーと基本信号のエネルギーの比率を介して決定される。一般的にエネルギーは、周波数スペクトルのamplitudeの二乗の和を使用して決定されるから、エネルギーの比率のroot値を使用することができる。
【００９１】
ゲイン適用部１３０３は、計算されたゲインを周波数バンド別に適用することができる。それにより、最終的に、ＳＷＢの周波数スペクトルが決定される。
【００９２】
一例として、ゲイン計算及びゲイン適用は、前述のように、バンドをエネルギーを伝送したバンドと一致させて行うことができる。他の実施形態で、急激なエネルギーの変化を防止するために、全体周波数バンドをサブバンドに分けて遂行することもできる。かような場合において、周辺バンドの逆量子化されたエネルギーが補間（interpolation）され、バンド境界部分でのエネルギーをスムージング（smoothing）させることができる。例えば、それぞれのバンドは、３個のサブバンドに分離し、それぞれバンドの３個サブバンドのうち、中間のサブバンドは、現在バンドの逆量子化されたエネルギーを割り当て、最初及び三番目のサブバンドは、以前バンドあるいは以後バンドの中間バンドに割り当てられたエネルギーと、補間を介して新しくスムージングされたエネルギーとを使用して、ゲイン計算及び適用を行うことができる。すなわち、ゲイン計算及び適用を行う単位をサブバンドで設定して適用することができる。
【００９３】
かようなエネルギー・スムージング方式は、常に固定された方式で適用することができる。また、拡張符号化部２０４で、エネルギー・スムージングが必要であるという情報を伝送し、必要なフレームで適用することができる。このとき、スムージングが必要なフレームであるという情報は、スムージングを行った場合が、スムージングを行っていない場合に比べ、全体エネルギーの量子化エラーが少なくなる場合に選択することができる。
【００９４】
一方、周波数領域入力信号を利用して、基本信号を生成することができる。基本信号を生成する過程は、次のような構成要素を介して行われる。
【００９５】
人工信号生成部１３０４は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。このとき、周波数領域入力信号は、３２ＫＨｚサンプリングレートを有するＷＢ復号化された信号であってもよい。
【００９６】
包絡線推定部１３０５は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。ウィンドウは、符号化装置１０１で、包絡線推定のために使用されたものであり、ウィンドウ種類は、ビット形態でビットストリームに含まれ、復号化装置１０２に伝送される。
【００９７】
包絡線適用部１３０６は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。
【００９８】
符号化装置の包絡線推定部６０２で、ホワイトニングバンド別に、周波数サイズ（magnitude）の平均を、ホワイトニングバンド内に属した周波数の包絡線として推定する場合において、ホワイトニングバンド内に属したスペクトルの個数が多少いかんと係わる情報を復号化装置に伝送した場合、復号化装置の包絡線推定部１３０５が、伝送された方式に基づいて包絡線を推定した後、包絡線適用部１３０６で、包絡線を適用することができる。また、情報伝送なしに、ＷＢコア復号化部に使用されたコア符号化モードによって決定することができる。
【００９９】
コア復号化部１２０１は、周波数領域入力信号の特性によって、有声音復号化モード、無声音復号化モード、transient復号化モード、generic復号化モードのうち、復号化モードを決定して復号化することができる。このとき、包絡線推定部６０２は、周波数領域入力信号の特性による復号化モードに基づいて、ホワイトニングバンドに属した周波数スペクトルの個数を制御させることができる。一例として、周波数領域入力信号が有声音復号化モードによって復号化された場合、包絡線推定部１３０５は、ホワイトニングバンドに３個の周波数スペクトルを構成して包絡線を推定することができる。そして、周波数領域入力信号が、有声音復号化モード以外の復号化モードによって符号化された場合、包絡線推定部１３０６は、ホワイトニングバンドに、３個の周波数スペクトルを構成して包絡線を推定することができる。
【０１００】
図１４は、逆量子化部１３０１の動作を図示したフローチャートである。段階Ｓ１４０１で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス１を利用して、エネルギーベクトルの選択されたサブベクトルを逆量子化することができる。
【０１０１】
段階Ｓ１４０２で、逆量子化部１３０１は、符号化装置１０１から伝送されたインデックス２を利用して、選択されていない残りのサブベクトルに対応する補間エラーを逆量子化することができる。
【０１０２】
段階Ｓ１４０３で、逆量子化部１３０１は、逆量子化されたサブベクトルを補間し、選択されていない残りのサブベクトルを計算することができる。そして、逆量子化部１３０１は、残りのサブベクトルに逆量子化された補間エラー値を加えることができる。また、逆量子化部１３０１は、後処理過程を介して、前処理過程で差し引いた平均値を加え、最終的な逆量子化されたエネルギーを計算することができる。
【０１０３】
図１５は、一実施形態による符号化方法を図示したフローチャートである。符号化装置１０１は、時間領域入力信号をダウンサンプリングすることができる（Ｓ１５０１）。
【０１０４】
符号化装置１０１は、ダウンサンプリングされた時間領域入力信号に対して、コア符号化することができる（Ｓ１５０２）。符号化装置１０１は、時間領域入力信号を、周波数領域入力信号に変換することができる（Ｓ１５０３）。
【０１０５】
符号化装置１０１は、周波数領域入力信号に対して、帯域幅拡張符号化を行うことができる（Ｓ１５０４）。一例として、符号化装置１０１は、Ｓ１５０２で、一定符号化情報を利用して、帯域幅拡張符号化を行うことができる。このとき、符号化情報は、周波数領域入力信号の特性によって分類された符号化モードを含んでもよい。
【０１０６】
一例として、符号化装置１０１は、帯域幅拡張符号化を、次のような過程を介して行うことができる。符号化装置１０１は、周波数領域入力信号の周波数スペクトルを利用して、周波数領域の入力信号の基本信号を生成することができる。他の一例として、符号化装置は、周波数領域入力信号の特性、及び周波数領域入力信号の周波数スペクトルを利用して、周波数領域入力信号の基本信号を生成することができる。このとき、周波数領域入力信号の特性は、コア符号化を介して導き出されたり、あるいは別途の信号分類過程を介して導き出される。そして、符号化装置１０１は、基本信号を利用して、エネルギー制御要素を推定することができる。その後、符号化装置１０１は、周波数領域入力信号からエネルギーを抽出することができる。それにより、符号化装置１０１は、エネルギー制御要素を利用して、抽出されたエネルギーを制御することができる。符号化装置１０１は、制御されたエネルギーを量子化することができる。このとき、基本信号を生成する過程は、次のような方法を介して行われる。
【０１０７】
符号化装置１０１は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、符号化装置１０１は、ウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、符号化装置１０１は、トーナリティまたは相関度（correlation）のうち、いずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することができる。一例として、符号化装置１０１は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することができる。具体的には、符号化装置１０１は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することができる。
【０１０８】
その後、符号化装置１０１は、推定された包絡線を人工信号に適用することにより、基本信号を生成することができる。そして、エネルギー制御要素を推定する過程は、次のような方法を介して行われる。
【０１０９】
符号化装置１０１は、周波数領域入力信号の高周波数領域のトーナリティを計算することができる。そして、符号化装置１０１は、基本信号のトーナリティを計算することができる。その後、符号化装置１０１は、高周波数領域のトーナリティと、基本信号のトーナリティとを利用して、エネルギー制御要素を計算することができる。
【０１１０】
また、エネルギーを量子化する過程は、次のような方法を介して行われる。
【０１１１】
符号化装置１０１は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、選択されていない残りの（remained）サブベクトルを量子化することができる。このとき、符号化装置１０１は、一定間隔でサブベクトルを選択することができる。
【０１１２】
一例として、符号化装置１０１は、サブベクトルの候補（candidate）を選択し、２個以上使用するマルチステージ（multistage）ベクトル量子化を行うことができる。このとき、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することができる。または、符号化装置１０１は、サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと、原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することができる。
【０１１３】
図１６は、一実施形態による復号化方法を図示したフローチャートである。復号化装置１０２は、ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化することができる（Ｓ１６０１）。復号化装置１０２は、コア復号化された時間領域入力信号をアップサンプリングすることができる（Ｓ１６０２）。復号化装置１０２は、アップサンプリングされた時間領域入力信号を周波数変換することができる（Ｓ１６０３）。
【０１１４】
復号化装置１０２は、時間領域入力信号のエネルギーと周波数領域入力信号とを利用して、帯域幅拡張復号化を行うことができる（Ｓ１６０４）。
【０１１５】
具体的には、帯域幅拡張を行う過程は、次のように成り立つ。復号化装置１０２は、時間領域入力信号のエネルギーを逆量子化することができる。このとき、復号化装置１０１は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することができる。
【０１１６】
そして、復号化装置１０２は、周波数領域入力信号を利用して、基本信号を生成することができる。その後、復号化装置１０２は、逆量子化されたエネルギーと、基本信号のエネルギーとを利用して、基本信号に適用されるゲインを計算することができる。最終的には、復号化装置１０２は、計算されたゲインを、周波数バンド別に適用することができる。
【０１１７】
具体的には、基本信号を生成する過程は、次のようになる。
【０１１８】
復号化装置１０２は、周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成することができる。そして、復号化装置１０２は、ビットストリームに含まれたウィンドウを利用して、基本信号の包絡線を推定することができる。このとき、ウィンドウ情報を常に同一に使用するように設定された場合には、ビットストリームにウィンドウが含まれないこともある。その後、復号化装置１０２は、推定された包絡線を人工信号に適用することができる。
【０１１９】
図１５及び図１６で説明していない事項は、図１ないし図１４の説明を参照する。
【０１２０】
図１７は、他の実施形態による符号化装置１０１の全体構成を図示したブロック図である。図１７を参照すれば、符号化装置１０１は、例えば、符号化モード選択部１７０１及び拡張符号化部１７０２を含んでもよい。
【０１２１】
符号化モード選択部１７０１は、周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択することができる。
【０１２２】
具体的には、符号化モード選択部１７０１は、周波数領域入力信号と、時間領域入力信号とを利用して、周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び符号化モードに基づいた周波数バンドの個数を決定することができる。ここで、符号化モードは、拡張符号化部１７０２の性能向上のために、コア符号化時に、一定符号化モードと異なる新しい符号化モードのセットに設定される。
【０１２３】
一例として、符号化モードは、ノーマル（normal）モード、ハーモニック（harmonic）モード、トランジェント（transient）モード、ノイズ（noise）モードに分類される。まず、符号化モード選択部１７０１は、時間領域の入力信号の長区間エネルギーと、現在フレームの高域エネルギーとの比率を利用して、現在フレームがtransientしたフレームであるか否かを決定することができる。transientした信号区間は、時間領域で、急激なエネルギー変化が示される区間であるので、高域のエネルギーが急激に変化する区間であるといえる。
【０１２４】
残り３個の符号化モードを決定する過程は、次の通りである。まず、符号化モード選択部１７０１は、以前フレームと現在フレームとの周波数領域のglobalエネルギーを求めた後、これらの間の比率と、周波数領域の入力信号とを、前もって定義された周波数帯域に分けた後、各周波数帯域の平均エネルギーとpeakエネルギーとを利用して、残り３個のモードを決定することができる。
【０１２５】
Harmonicモードは、一般的に、周波数領域信号で、平均エネルギーとpeakエネルギーとの差が最大である信号であるといえる。そしてnoiseモードは、全体的に、エネルギー変化が少ない信号であるといえる。かような２つのモードの信号を除いた残りの信号は、いずれもnormalモードとして決定される。
【０１２６】
そして、一実施形態で、normalモード及びharmonicモードで、周波数バンドの個数は、１６個に決定され、transientモードで、周波数バンドの個数は、５個に決定され、noiseモードで、周波数バンドの個数は、１２個に決定される。
【０１２７】
拡張符号化部１７０２は、周波数領域入力信号と符号化モードとを利用して、帯域幅拡張符号化を行うことができる。図１７を参照すれば、拡張符号化部１７０２は、例えば、基本信号生成部１７０３、要素推定部１７０４、エネルギー抽出部１７０５、エネルギー制御部１７０６及びエネルギー量子化部１７０７を含んでもよい。基本信号生成部１７０３と要素推定部１７０４とについては、図４の基本信号生成部４０１と要素推定部４０２との説明を参照する。
【０１２８】
エネルギー抽出部１７０５は、符号化モードに基づいて、一定周波数バンドの個数によって、各周波数バンドに該当するエネルギーを抽出することができる。エネルギー制御部１７０６は、符号化モードに基づいて、周波数バンドに対応するエネルギーを制御することができる。
【０１２９】
基本信号生成部１７０３、要素推定部１７０４及びエネルギー制御部１７０６は、符号化モードによって使用されもし、または使用されないこともある。例えば、normalモードとharmonicモードは、前述の３個構成要素が使用され、transientモードとnoiseモードは、前述の３個構成要素が使用されないこともある。前述の３個の構成要素に係わる詳細的な説明は、図４で説明した部分を参照する。
【０１３０】
エネルギー量子化部１７０７は、符号化モードに基づいて制御されたエネルギーを量子化することができる。すなわち、エネルギー制御過程を経たバンドエネルギーは、エネルギー量子化部１７０７で量子化される。
【０１３１】
図１８は、エネルギー量子化部１７０７が行う動作を図示した図面である。エネルギー量子化部１７０７は、符号化モードによって、周波数領域入力信号から抽出されたエネルギーを量子化することができる。このとき、エネルギー量子化部１７０７は、符号化モードによって、入力信号の知覚的な特性、及び周波数バンドの個数を考慮し、各入力信号に最適な方式で、バンドエネルギーを量子化することができる。
【０１３２】
例えば、符号化モードがtransientモードである場合、エネルギー量子化部１７０７は、５個のバンドエネルギーについて、知覚的特性に基づいた周波数加重方法（frequency  weighting  method）を利用して、バンドエネルギーを量子化することができる。そして、符号化モードがnormalモードまたはharmonicモードである場合、エネルギー量子化部１７０７は、１６個バンドエネルギーについて、知覚的特性に基づいた不均一ビット割り当て方法（unequal  bit  allocation  method）を利用して、バンドエネルギーを量子化することができる。もし、知覚的特性が明確ではない場合、エネルギー量子化部１７０７は、知覚的特性を考慮せずに、一般的な量子化を行うこともできる。
【０１３３】
図１９は、一実施形態によって、不均一ビット割り当て方法を利用して、エネルギーを量子化する過程を示した図面である。
【０１３４】
不均一ビット割り当て方法は、拡張符号化の対象になった入力信号の知覚的特性を考慮したものであり、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーを、さらに正確に量子化することができる方法である。このために、エネルギー量子化部１７０７は、低い周波数帯域に対応するバンドエネルギーに、同じであるか、あるいはさらに多いビットを割り当て、知覚的な重要度を区分することができる。
【０１３５】
一例として、エネルギー量子化部１７０７は、相対的に低い帯域である０〜５番周波数帯域にさらに多くのビット割り当てを行い、０〜５番周波数帯域にいずれも同一のビット割り当てを行うようにすることができる。そして、周波数帯域が高くなるほど、エネルギー量子化部１７０７は、さらに少ないビットを割り当てる。かようなビット割り当てによって、周波数帯域０〜１３は、図１９のような方式で量子化される。そして、周波数帯域１４，１５は、図２０のように量子化される。
【０１３６】
図２０は、一実施形態によって、イントラフレーム予測を利用したベクトル量子化を行う過程を図示した図面である。
【０１３７】
エネルギー量子化部１７０７は、２個以上の要素（element）を有する量子化対象ベクトルの代表値を予測した後、予測された代表値と、量子化対象ベクトルの少なくとも２個の各要素との間のエラー信号をベクトル量子化することができる。
【０１３８】
図２０は、かようなイントラフレーム予測（intra  frame  prediction）を示し、量子化対象ベクトルの代表値を予測し、エラー信号を導出する方法は、数式（８）の通りである。
【０１３９】
【数７】
2018120236.tif 000009
ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ（ｎ）は、エラーエネルギーを意味する。ここで、ｅ（１４）とｅ（１５）は、ベクトル量子化される。
【０１４０】
図２１は、一実施形態によって、周波数加重方法を利用して、エネルギーを量子化する過程を示した図面である。
【０１４１】
周波数加重方法（frequency  weighting  method）は、拡張符号化対象である入力信号の知覚的特性として考慮し、不均一ビット割り当て方法と同一に、知覚的に重要度が高く、相対的にさらに低い周波数帯域に対応するバンドエネルギーをさらに正確に量子化をする方法である。このために、低い周波数帯域に対応するバンドエネルギーと同じであるか、あるいはさらに高い加重値を付与して知覚的な重要度を区分する。
【０１４２】
一例として、エネルギー量子化部１７０７は、相対的に低い周波数帯域である０〜３番周波数帯域に対応するバンドエネルギーに、さらに高い加重値である１．０を付与し、高い周波数帯域である１５番周波数帯域に対応するバンドエネルギーに、さらに低い加重値である０．７を付与して量子化することができる。付与された加重値を使用するために、エネルギー量子化部１７０７は、ＷＭＳＥ値を利用して、最適インデックスを求めることができる。
【０１４３】
図２２は、一実施形態によって、マルチステージ・スプリットのベクトル量子化と、イントラフレーム予測を利用したベクトル量子化とを行う過程を図示した図面である。
【０１４４】
エネルギー量子化部１７０７は、バンドエネルギーの個数が１６個であるnormalモードについて、図２２のようにベクトル量子化を行うことができる。ここで、エネルギー量子化部１７０７は、不均一ビット割り当て方法、イントラフレーム予測（intra  frame  prediction）、及びmulti−stage  split  ＶＱ  with  energy  interpolation技術を利用して、ベクトル量子化を行うことができる。
【０１４５】
図２３は、逆量子化部１３０１が行う動作を図示した図面である。図２３の過程は、図１８の過程の逆に遂行することができる。図１７のように、拡張符号化時に符号化モードが使用された場合、拡張復号化部１２０４の逆量子化部１３０１は、符号化モードを復号化することができる。
【０１４６】
逆量子化部１３０１は、まず、伝送されたインデックスを利用して、符号化モードを復号化することができる。そして、逆量子化部１３０１は、復号化された符号化モードによって、定められた方式で逆量子化を行うことができる。図２３の符号化モードによって、各逆量子化対象であるブロックは、量子化の逆順に逆量子化される。
【０１４７】
ここで使用されたmulti−stage  split  ＶＱ  with  energy  interpolation方式で量子化された部分は、図１４と同一の方式で逆量子化される。ここにおいて、逆量子化部１３０１は、イントラフレーム予測を利用して、下の数式（９）によって逆量子化することができる。
【０１４８】
【数８】
2018120236.tif 000010
ここで、Ｅｎｖ（ｎ）は、量子化されていないバンドエネルギーを意味し、ＱＥｎｖ（ｎ）は、量子化されたバンドエネルギーを意味する。そして、ｐは、量子化対象ベクトルの予測された代表値を意味し、ｅ＾（ｎ）は、量子化されたエラーエネルギーを意味する。
【０１４９】
図２４は、一実施形態による符号化装置１０１の他の構造を図示した図面である。図２４に図示された符号化装置１０１は、例えば、ダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４を含んでもよい。
【０１５０】
図２４に図示された符号化装置１０１のダウンサンプリング部２４０１、コア符号化部２４０２、周波数変換部２４０３、拡張符号化部２４０４は、図２に図示された符号化装置１０１のダウンサンプリング部２０１、コア符号化部２０２、周波数変換部２０３、拡張符号化部２０４ｄと同一の基本的な動作を遂行することができる。ただし、拡張符号化部２４０４は、コア符号化部２４０２への情報伝送を必要とせず、時間領域の入力信号が直接入力される。
【０１５１】
本発明の実施形態による方法は、多様なコンピュータ手段を介して行われるプログラム命令形態で具現され、コンピュータ可読媒体に記録される。前記コンピュータ可読媒体は、プログラム命令、データファイル、データ構造などを、単独で、あるいは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものや、コンピュータソフトウェア当業者に公知されて使用可能なものであってもよい。
【０１５２】
以上、本発明は、たとえ限定された実施形態と図面とによって説明したにしても、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で当業者であるならは、かような記載から多様な修正及び変形が可能である。従って、本発明の範囲は、説明された実施形態に限られて決められるものではなく、特許請求の範囲だけではなく、当該特許請求の範囲と均等なものによっても決定されるものである。
【０１５３】
以上の実施例に関し、更に、以下の項目を開示する。
【０１５４】
（１）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【０１５５】
（２）前記拡張符号化部は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号と前記周波数領域入力信号とを利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１）に記載の符号化装置。
【０１５６】
（３）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（２）に記載の符号化装置。
【０１５７】
（４）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（３）に記載の符号化装置。
【０１５８】
（５）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（３）に記載の符号化装置。
【０１５９】
（６）前記包絡線推定部は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（５）に記載の符号化装置。
【０１６０】
（７）前記要素推定部は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（２）に記載の符号化装置。
【０１６１】
（８）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（２）に記載の符号化装置。
【０１６２】
（９）前記エネルギー量子化部は、エネルギーベクトルのサブベクトルを選択して量子化を遂行した後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（２）に記載の符号化装置。
【０１６３】
（１０）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（９）に記載の符号化装置。
【０１６４】
（１１）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（９）に記載の符号化装置。
【０１６５】
（１２）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥ（mean  square  error）またはＷＭＳＥ（weighted  mean  square  error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
【０１６６】
（１３）前記エネルギー量子化部は、前記サブベクトルの候補それぞれについて、各ステージでＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（９）に記載の符号化装置。
【０１６７】
（１４）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行うコア符号化部と、
前記時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号と、前記周波数領域入力信号の基本信号とを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【０１６８】
（１５）前記拡張符号化部は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する基本信号生成部と、
前記基本信号、と前記周波数領域入力信号との特性を利用して、エネルギー制御要素を推定する要素推定部と、
前記周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御するエネルギー制御部と、
前記制御されたエネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（１４）に記載の符号化装置。
【０１６９】
（１６）前記拡張符号化部は、前記周波数領域の入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する信号分類部をさらに含み、
前記要素推定部は、前記信号分類部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
【０１７０】
（１７）前記要素推定部は、前記コア符号化部で決定された前記周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（１５）に記載の符号化装置。
【０１７１】
（１８）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
ウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（１５）に記載の符号化装置。
【０１７２】
（１９）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記包絡線推定部は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（１８）に記載の符号化装置。
【０１７３】
（２０）前記包絡線推定部は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（１８）に記載の符号化装置。
【０１７４】
（２１）前記包絡線推定部は、コア符号化モードによってホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（２０）に記載の符号化装置。
【０１７５】
（２２）前記要素推定部は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する第１トーナリティ計算部と、
前記基本信号のトーナリティを計算する第２トーナリティ計算部と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する要素計算部と、を含むことを特徴とする（１４）に記載の符号化装置。
【０１７６】
（２３）前記エネルギー制御部は、前記エネルギー制御要素があらかじめ設定したスレッシュホールドエネルギー制御要素より小さい場合、前記入力信号のエネルギーを制御することを特徴とする（１５）に記載の符号化装置。
【０１７７】
（２４）前記エネルギー量子化部は、サブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（１５）に記載の符号化装置。
【０１７８】
（２５）前記エネルギー量子化部は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（２４）に記載の符号化装置。
【０１７９】
（２６）前記エネルギー量子化部は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（２４）に記載の符号化装置。
【０１８０】
（２７）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
符号化モードに基づいて周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含む符号化装置。
【０１８１】
（２８）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する符号化モード選択部と、
前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う拡張符号化部と、を含む符号化装置。
【０１８２】
（２９）前記符号化モード選択部は、
前記周波数領域の入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類し、分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定することを特徴とする（２８）に記載の符号化装置。
【０１８３】
（３０）前記拡張符号化部は、
前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出するエネルギー抽出部と、
前記符号化モードに基づいて、エネルギーを制御するエネルギー制御部と、
前記符号化モードに基づいて、前記エネルギーを量子化するエネルギー量子化部と、を含むことを特徴とする（２８）に記載の符号化装置。
【０１８４】
（３１）前記エネルギー抽出部は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（３０）に記載の符号化装置。
【０１８５】
（３２）前記エネルギー制御部は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（３０）に記載の符号化装置。
【０１８６】
（３３）前記エネルギー量子化部は、前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（３０）に記載の符号化装置。
【０１８７】
（３４）前記エネルギー量子化部は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
【０１８８】
（３５）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（３４）に記載の符号化装置。
【０１８９】
（３６）前記エネルギー量子化部は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（３３）に記載の符号化装置。
【０１９０】
（３７）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（３６）に記載の符号化装置。
【０１９１】
（３８）前記エネルギー量子化部は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（３０）に記載の符号化装置。
【０１９２】
（３９）一つ以上のプロセッサで実行される構成要素を制御するプロセッサと、
ビットストリームに含まれた時間領域入力信号をコア復号化するコア復号化部と、
前記コア復号化された時間領域入力信号をアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する周波数変換部と、
前記周波数領域入力信号のエネルギーを利用して、帯域幅拡張復号化を行う拡張復号化部と、を含む復号化装置。
【０１９３】
（４０）前記拡張復号化部は、
前記時間領域入力信号のエネルギーを逆量子化する逆量子化部と、
前記周波数領域入力信号を利用して、基本信号を生成する基本信号生成部と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算するゲイン計算部と、
前記計算されたゲインを周波数バンド別に適用するゲイン適用部と、を含むことを特徴とする（３９）に記載の復号化装置。
【０１９４】
（４１）前記逆量子化部は、サブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（４０）に記載の復号化装置。
【０１９５】
（４２）前記基本信号生成部は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する人工信号生成部と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する包絡線推定部と、
前記推定された包絡線を人工信号に適用する包絡線適用部と、を含むことを特徴とする（４０）に記載の復号化装置。
【０１９６】
（４３）前記ゲイン計算部とゲイン適用部は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（４０）に記載の復号化装置。
【０１９７】
（４４）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、
前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【０１９８】
（４５）前記帯域幅拡張符号化を行う段階は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（４４）に記載の符号化方法。
【０１９９】
（４６）前記時間領域入力信号の基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
【０２００】
（４７）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、
前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（４６）に記載の符号化方法。
【０２０１】
（４８）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（４６）に記載の符号化方法。
【０２０２】
（４９）前記基本信号の包絡線を推定する段階は、
コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（４８）に記載の符号化方法。
【０２０３】
（５０）前記エネルギー制御要素を推定する段階は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（４５）に記載の符号化方法。
【０２０４】
（５１）前記抽出されたエネルギーを制御する段階は、
前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（４５）に記載の符号化方法。
【０２０５】
（５２）前記制御されたエネルギーを量子化する段階は、
エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（４５）に記載の符号化方法。
【０２０６】
（５３）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（５２）に記載の符号化方法。
【０２０７】
（５４）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（５２）に記載の符号化方法。
【０２０８】
（５５）前記制御されたエネルギーを量子化する段階は、
前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥ（mean  square  error）またはＷＭＳＥ（weighted  mean  square  error）を最小化するインデックスセットを生成した後、すべてのステージのＭＳＥまたはＷＭＳＥの和が最小であるサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
【０２０９】
（５６）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補それぞれについて、各ステージで、ＭＳＥまたはＷＭＳＥを最小化するインデックスセットを生成した後、逆量子化過程を経てエネルギーベクトルを復元した後、復元されたエネルギーベクトルと原エネルギーベクトルとのＭＳＥまたはＷＭＳＥを最小化するサブベクトルについて候補を選択することを特徴とする（５４）に記載の符号化方法。
【０２１０】
（５７）ダウンサンプリングされた時間領域入力信号に対して、コア符号化を行う段階と、
前記時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記周波数領域入力信号の特性、及び前記周波数領域入力信号の基本信号を利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【０２１１】
（５８）前記帯域幅拡張符号化を行う段階は、
前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号の基本信号を生成する段階と、
前記周波数領域入力信号の特性及び前記基本信号を利用して、エネルギー制御要素を推定する段階と、
前記周波数領域入力信号から、エネルギーを抽出する段階と、
前記エネルギー制御要素を利用して、前記抽出されたエネルギーを制御する段階と、
前記制御されたエネルギーを量子化する段階と、を含むことを特徴とする（５７）に記載の符号化方法。
【０２１２】
（５９）前記帯域幅拡張符号化を行う段階は、前記周波数領域入力信号の周波数スペクトルを利用して、前記周波数領域入力信号を、特性によって分類する段階をさらに含み、
前記エネルギー制御要素を推定する段階は、前記周波数領域入力信号を、特性によって分類する段階で決定された入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
【０２１３】
（６０）前記エネルギー制御要素を推定する段階は、前記コア符号化を行う段階で決定された周波数領域入力信号の特性を利用して、エネルギー制御要素を推定することを特徴とする（５８）に記載の符号化方法。
【０２１４】
（６１）前記基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
ウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
【０２１５】
（６２）前記ウィンドウのピークは、前記基本信号の包絡線を推定しようとする周波数インデックスに対応し、前記基本信号の包絡線を推定する段階は、トーナリティまたは相関度のうちいずれか一つの比較結果によってウィンドウを選択し、基本信号の包絡線を推定することを特徴とする（６１）に記載の符号化方法。
【０２１６】
（６３）前記基本信号の包絡線を推定する段階は、ホワイトニングバンドそれぞれの周波数サイズの平均を、ホワイトニングバンド内に属した周波数の包絡線として推定することを特徴とする（６１）に記載の符号化方法。
【０２１７】
（６４）前記基本信号の包絡線を推定する段階は、コア符号化モードによって、ホワイトニングバンドに属した周波数スペクトルの個数を制御させ、前記基本信号の包絡線を推定することを特徴とする（６３）に記載の符号化方法。
【０２１８】
（６５）前記エネルギー制御要素を推定する段階は、
前記周波数領域入力信号の高周波数領域のトーナリティを計算する段階と、
前記基本信号のトーナリティを計算する段階と、
前記高周波数領域のトーナリティと、前記基本信号のトーナリティとを利用して、前記エネルギー制御要素を計算する段階と、を含むことを特徴とする（５８）に記載の符号化方法。
【０２１９】
（６６）前記抽出されたエネルギーを制御する段階は、前記エネルギー制御要素があらかじめ設定したエネルギー制御要素より小さい場合、前記抽出されたエネルギーを制御することを特徴とする（５８）に記載の符号化方法。
【０２２０】
（６７）前記制御されたエネルギーを量子化する段階は、エネルギーベクトルのサブベクトルを選択して量子化を行った後、補間エラーを利用して、残りのサブベクトルを量子化することを特徴とする（５８）に記載の符号化方法。
【０２２１】
（６８）前記制御されたエネルギーを量子化する段階は、一定間隔でサブベクトルを選択して量子化を行うことを特徴とする（６７）に記載の符号化方法。
【０２２２】
（６９）前記制御されたエネルギーを量子化する段階は、前記サブベクトルの候補を選択し、少なくとも２個のステージを使用するマルチステージベクトル量子化を行うことを特徴とする（６７）に記載の符号化方法。
【０２２３】
（７０）符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、
前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含む符号化方法。
【０２２４】
（７１）周波数領域入力信号と時間領域入力信号とを利用して、帯域幅拡張符号化の符号化モードを選択する段階と、
前記周波数領域入力信号と前記符号化モードとを利用して、帯域幅拡張符号化を行う段階と、を含む符号化方法。
【０２２５】
（７２）前記符号化モードを選択する段階は、
前記周波数領域入力信号と、前記時間領域入力信号とを利用して、前記周波数領域入力信号を分類する段階と、
分類された情報によって、帯域幅拡張符号化の符号化モード、及び前記符号化モードに基づいた周波数バンドの個数を決定する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
【０２２６】
（７３）前記帯域幅拡張符号化を行う段階は、
前記符号化モードに基づいて、周波数領域入力信号から、エネルギーを抽出する段階と、
前記符号化モードに基づいて、エネルギーを制御する段階と、
前記符号化モードに基づいて、前記エネルギーを量子化する段階と、を含むことを特徴とする（７１）に記載の符号化方法。
【０２２７】
（７４）前記エネルギーを抽出する段階は、前記符号化モードに基づいて、周波数バンドに対応するエネルギーを抽出することを特徴とする（７３）に記載の符号化方法。
【０２２８】
（７５）前記エネルギーを制御する段階は、前記周波数領域入力信号の基本信号によって推定されたエネルギー制御要素を利用して、エネルギーを制御することを特徴とする（７３）に記載の符号化方法。
【０２２９】
（７６）前記エネルギーを量子化する段階は、
前記符号化モードによって、前記周波数領域入力信号に最適な方式によって量子化することを特徴とする（７３）に記載の符号化方法。
【０２３０】
（７７）前記エネルギーを量子化する段階は、前記符号化モードがトランジェントモードである場合、周波数バンドについて周波数加重方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
【０２３１】
（７８）前記周波数加重方法は、知覚的重要度が高い低域周波数バンドに加重値を付与し、エネルギーを量子化する方法であることを特徴とする（７７）に記載の符号化方法。
【０２３２】
（７９）前記エネルギーを量子化する段階は、前記符号化モードがノーマルモードまたはハーモニックモードである場合、周波数バンドについて不均一ビット割り当て方法を利用して、エネルギーを量子化することを特徴とする（７６）に記載の符号化方法。
【０２３３】
（８０）前記不均一ビット割り当て方法は、知覚的重要度が高い低域周波数バンドに、高域周波数バンドより相対的に多くのビットを割り当ててエネルギーを量子化する方法であることを特徴とする（７９）に記載の符号化方法。
【０２３４】
（８１）前記エネルギーを量子化する段階は、２個以上の要素を有する量子化対象ベクトルの代表値を予測した後、前記予測された代表値と、前記量子化対象ベクトルの各要素とのエラー信号をベクトル量子化することを特徴とする（７３）に記載の符号化方法。
【０２３５】
（８２）ビットストリームに含まれたコア符号化された時間領域入力信号をコア復号化する段階と、
前記コア復号化された時間領域入力信号をアップサンプリングする段階と、
前記アップサンプリングされた時間領域入力信号を、周波数領域入力信号に変換する段階と、
前記時間領域入力信号のエネルギーと、前記周波数領域入力信号とを利用して、帯域幅拡張復号化を行う段階と、を含む復号化方法。
【０２３６】
（８３）前記帯域幅拡張復号化を行う段階は、
前記時間領域入力信号のエネルギーを逆量子化する段階と、
前記周波数領域入力信号を利用して、基本信号を生成する段階と、
前記逆量子化されたエネルギーと、前記基本信号のエネルギーとを利用して、前記基本信号に適用されるゲインを計算する段階と、
前記計算されたゲインを周波数バンド別に適用する段階と、を含むことを特徴とする（８２）に記載の復号化方法。
【０２３７】
（８４）前記逆量子化部は、エネルギーベクトルのサブベクトルを選択して逆量子化し、逆量子化されたサブベクトルを補間し、補間されたサブベクトルに補間エラー値を加え、最終的にエネルギーを逆量子化することを特徴とする（８３）に記載の復号化方法。
【０２３８】
（８５）前記基本信号を生成する段階は、
前記周波数領域入力信号の低周波数領域をコピーしてフォールディングし、高周波数領域に対応する人工信号を生成する段階と、
前記ビットストリームに含まれたウィンドウを利用して、前記基本信号の包絡線を推定する段階と、
前記推定された包絡線を人工信号に適用する段階と、を含むことを特徴とする（８４）に記載の復号化方法。
【０２３９】
（８６）前記基本信号に適用されるゲインを計算する段階は、エネルギー・スムージングを適用するためのサブバンドを設定し、補間を介して、サブバンド別にエネルギーを生成し、前記ゲインは、サブバンド単位で計算されることを特徴とする（８４）に記載の復号化方法。
【０２４０】
（８７）（４４）に記載の方法を遂行するためのプログラムが記録されたコンピュータ可読記録媒体。
【図１】
2018120236.tif 000011
【図２】
2018120236.tif 000012
【図３】
2018120236.tif 000013
【図４】
2018120236.tif 000014
【図５】
2018120236.tif 000015
【図６】
2018120236.tif 000016
【図７】
2018120236.tif 000017
【図８】
2018120236.tif 000018
【図９】
2018120236.tif 000019
【図１０】
2018120236.tif 000020
【図１１Ａ】
2018120236.tif 000021
【図１１Ｂ】
2018120236.tif 000022
【図１２】
2018120236.tif 000023
【図１３】
2018120236.tif 000024
【図１４】
2018120236.tif 000025
【図１５】
2018120236.tif 000026
【図１６】
2018120236.tif 000027
【図１７】
2018120236.tif 000028
【図１８】
2018120236.tif 000029
【図１９】
2018120236.tif 000030
【図２０】
2018120236.tif 000031
【図２１】
2018120236.tif 000032
【図２２】
2018120236.tif 000033
【図２３】
2018120236.tif 000034
【図２４】
2018120236.tif 000035