(57)【特許請求の範囲】
【請求項１】
特性判定ステップ、符号化帯域制御ステップ、符号化ステップを包含し、時間−周波数変換されたオーディオ信号を符号化列に変換するオーディオ信号符号化方法であって、
符号化列は、符号化情報と帯域制御符号列とを含み、
符号化ステップは、複数の符号化サブステップを有し、符号化帯域制御ステップの制御によりオーディオ信号の多段符号化を行い符号化情報を出力し、
特性判定ステップは、入力されるオーディオ信号を判定し、符号化する各周波数帯域の重み付けを示す帯域重み情報を出力し、
符号化帯域制御ステップは、
帯域重み情報に基づいて、多段符号化を構成する各符号化サブステップの量子化帯域、接続順を決定し、
決定した各符号化サブステップの量子化帯域、接続順に基づいてスケーラブルに構成される多段符号化を符号化ステップに行わせ、
決定した各符号化サブステップの量子化帯域、接続順を示す帯域制御符号列を出力する、
オーディオ信号符号化方法。
【請求項２】
符号化帯域制御ステップは、予め定義された多段符号化のいずれかになるように、各符号化サブステップの量子化帯域、接続順を決定する、
請求項１記載のオーディオ信号符号化方法。
【請求項３】
符号化ステップは、量子化誤差を出力し、
符号化帯域制御ステップは、帯域重み情報と量子化誤差とに基づいて、各符号化サブステップの量子化帯域、接続順を決定する、
請求項１記載のオーディオ信号符号化方法。
【請求項４】
復号化帯域制御ステップ、復号化ステップを包含し、符号化情報と帯域制御符号列とを含む符号化列をオーディオ信号に復号するオーディオ信号復号化方法であって、
帯域制御符号列は、符号化情報を多段符号化した際の各符号化の量子化帯域、接続順を示し、
復号化ステップは、複数の復号化サブステップを有し、復号化帯域制御ステップの制御により符号化情報の多段復号化を行い、
復号化帯域制御ステップは、帯域制御符号列に基づいてスケーラブルに構成される多段復号化を復号化ステップに行わせる、
オーディオ信号復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、オーディオ信号符号化方法、及びオーディオ信号復号化方法に関し、特に、音声信号や音楽信号などのオーディオ信号から得られる特徴量、特にオーディオ信号を直交変換等の手法を用いて、時間領域から周波数領域に変換した信号を用い、その変換した信号を原オーディオ信号と比較して、できるだけ少ない符号列で表現するために効率的に符号化する方法と、符号化された信号である符号化列のすべて、あるいはその一部のみを用いて、高い品質と広帯域なオーディオ信号を、復号可能な構成の復号化方法に関するものである。
【０００２】
【従来の技術】
オーディオ信号を効率的に符号化、および復号化する様々な手法が提案されている。音楽信号など、２０ｋHz以上の周波数帯域を有するオーディオ信号の圧縮符号化式には、MPEGオーディオ方式や、Twin VQ （TC-WVQ）方式などがある。ＭＰＥＧ方式に代表される符号化方式は、時間軸のディジタルオーディオ信号を、コサイン変換などの直交変換を用いて、周波数軸上のデータに変換し、その周波数軸上の情報を、人間の聴覚的な感度特性を利用して、聴覚的に重要な情報から符号化していく方式であり、聴覚的に重要でない情報や、冗長な情報は符号化しない方式である。一方、Twin VQ （TC-WVQ）方式は、ベクトル量子化手法を用いて、原ディジタル信号の情報量に対して、かなり少ない情報量で表現しようとする符号化方式がある。ＭＰＥＧオーディオ、および Twin VQ (ＴＣ−ＷＶＱ) は、それぞれISO/IEC 標準IS-11172-3、およびT.Moriya,H.Suga:An 8 Kbits transform coder for noisy channels, Proc.ICASSP 89,pp196-199、などに述べられている。
【０００３】
ここで、図１０を用いて、一般の、Twin VQ 方式の概要を説明する。
原オーディオ信号１０１を解析長判定部１０２に入力し、解析長を算出する。また同時に、解析長判定部１０２は解析長１１２を量子化し、解析長符号列１１１を出力する。次に、その解析長１１２に従って、時間周波数変換部１０３で、原オーディオ信号１０１を周波数領域の原オーディオ信号１０４に変換する。次に、周波数領域の原オーディオ信号１０４は、正規化処理部（平坦化処理部）１０６で正規化処理（平坦化処理）され、正規化処理後のオーディオ信号１０８を得る。正規化処理は、原オーディオ信号１０４から周波数概形１０５を計算し、原オーディオ信号１０４を算出した周波数概形１０５で割ることにより行われる。さらに、正規化処理部１０６は、正規化処理に用いた周波数概形情報を量子化し、正規化符号列１０７を出力する。次に、正規化処理後のオーディオ信号１０８を、ベクトル量子化部１０９により量子化し、符号列１１０が得られる。
【０００４】
近年、復号器に入力する符号列の一部を用いても、オーディオ信号を再生することができる構造を持つものがある。上記の構造を、スケーラブル構造と呼び、スケーラブル構造を実現できるように符号化することを、スケーラブルコーディングと呼ぶ。
【０００５】
図１１に一般の、Twin VQ 方式で採用されている、固定スケーラブルコーディングの一例を示す。
原オーディオ信号１３０１から解析長判定部１３０３により判定された解析長１３１４に従って、時間周波数変換部１３０２により、周波数領域の原オーディオ信号１３０４を得る。次に、周波数領域の原オーディオ信号１３０４を、低域符号化器１３０５に入力すると、量子化誤差１３０６と、低域符号列１３１１とが出力される。さらに、量子化誤差１３０６を中域符号化器１３０７に入力すると、量子化誤差１３０８と、中域符号列１３１２とが出力される。さらに、量子化誤差１３０８を高域符号化器１３０９に入力すると、量子化誤差１３１０と、高域符号列１３１３とが出力される。ここで、上記低域、または中域、または高域符号化器は、正規化処理部と、ベクトル量子化部とを併せ持ち、その出力は、量子化誤差、および正規化処理部、ならびにベクトル量子化部により出力された各符号列を含む、低域、中域、または高域符号列を、出力するものである。
【０００６】
【発明が解決しようとする課題】
従来方式の固定スケーラブルコーディングでは、図１１に示すように、低域、中域、高域の各帯域量子化器が固定されているため、図１２に示すように、原オーディオ信号の分布に対して、量子化誤差をできるだけ少なくするように符号化することが困難であった。それゆえ、多種多様な性質や分布を持つオーディオ信号の符号化を行う際には、十分な性能を発揮できず、高音質で高効率なスケーラブルコーディングを行なうことが困難であった。
【０００７】
本発明は上記の問題点を解消するためになされたもので、多種多様なオーディオ信号の符号化に際して、オーディオ信号を符号化する際、図１３に示すように、多種多様なオーディオ信号を適応的にスケーラブルコーディングすることにより、効率よく、低ビットレートで、かつ、高音質に、符号化を行なうことのできるオーディオ信号符号化方法、及びオーディオ信号復号化方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
この課題を解決するために、本発明にかかるオーディオ信号符号化方法、及びオーディオ信号復号化方法は、固定スケーラブルコーディングを用いず、原オーディオ信号の性質，分布にあわせて符号化する周波数範囲を変化させる適応スケーラブルコーディングを行なうようにしたものである。
【０００９】
本発明に係るオーディオ信号符号化方法は、特性判定ステップ、符号化帯域制御ステップ、符号化ステップを包含し、時間−周波数変換されたオーディオ信号を符号化列に変換するオーディオ信号符号化方法であって、符号化列は、符号化情報と帯域制御符号列とを含み、符号化ステップは、複数の符号化サブステップを有し、符号化帯域制御ステップの制御によりオーディオ信号の多段符号化を行い符号化情報を出力し、特性判定ステップは、入力されるオーディオ信号を判定し、符号化する各周波数帯域の重み付けを示す帯域重み情報を出力し、符号化帯域制御ステップは、帯域重み情報に基づいて、多段符号化を構成する各符号化サブステップの量子化帯域、接続順を決定し、決定した各符号化サブステップの量子化帯域、接続順に基づいてスケーラブルに構成される多段符号化を符号化ステップに行わせ、決定した各符号化サブステップの量子化帯域、接続順を示す帯域制御符号列を出力するものである。
【００１０】
本発明に係るオーディオ信号符号化方法は、前記オーディオ信号符号化方法において、符号化帯域制御ステップが、予め定義された多段符号化のいずれかになるように、各符号化サブステップの量子化帯域、接続順を決定するようにしたものである。
【００１１】
本発明に係るオーディオ信号符号化方法は、前記オーディオ信号符号化方法において、符号化ステップが、量子化誤差を出力し、符号化帯域制御ステップが、帯域重み情報と量子化誤差とに基づいて、各符号化サブステップの量子化帯域、接続順を決定するようにしたものである。
【００１２】
本発明に係るオーディオ信号復号化方法は、復号化帯域制御ステップ、復号化ステップを包含し、符号化情報と帯域制御符号列とを含む符号化列をオーディオ信号に復号するオーディオ信号復号化方法であって、帯域制御符号列は、符号化情報を多段符号化した際の各符号化の量子化帯域、接続順を示し、復号化ステップは、複数の復号化サブステップを有し、復号化帯域制御ステップの制御により符号化情報の多段復号化を行い、復号化帯域制御ステップは、帯域制御符号列に基づいてスケーラブルに構成される多段復号化を復号化ステップに行わせるようにしたものである。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態１について、図１ないし図９を用いて、また、実施の形態２について、図１４ないし図２０を用いて、説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の形態１による、適応スケーラブルコーディングを行なう、オーディオ信号符号化装置のブロック図を示す。
図１において、１００１は原オーディオ信号５０１を符号化する符号化装置である。該符号化装置１００１において、５０２は上記原オーディオ信号５０１を解析する際の解析長５０４を判定する解析長判定部、５０３は上記解析長５０４の単位で、原オーディオ信号５０１の時間軸を周波数軸に変換する時間周波数変換部、５０４は上記解析長判定部５０２で判定された解析長、５０５は原オーディオ信号のスペクトル、７０１は該原オーディオ信号のスペクトル５０５が入力されるフィルタ、５０６は原オーディオ信号のスペクトル５０５の特性を判定し、上記符号化装置１００１における複数の各段の各符号化器５１１，５１２，５１３，５１１ｂ等、の量子化するオーディオ信号の周波数帯域を決定する特性判定部、５０７は該特性判定部５０６で決定された各符号化器の周波数帯域と、上記周波数変換されたオーディオ信号をその入力とし、複数の各段の各符号化器５１２，５１３，５１４，５１１ｂ等、の接続順を決定し、各符号化器の量子化帯域、及び接続順を符号列に変換する符号化帯域制御部、５０８は、該符号化帯域制御部５０７より出力される上記符号列である帯域制御符号列、５１０は上記解析長判定部５０２より出力された上記解析長５０４を符号列とした解析長符号列、５１１，５１２，５１３は、上述した、それぞれ低域，中域，高域の信号を符号化する低域符号化器、中域符号化器、高域符号化器、５１１ｂは第１段の低域符号化器５１１の量子化誤差５１８を符号化する第２段低域符号化器、５２１，５２２，５２３は該各符号化器５１１，５１２，５１３から出力される符号化信号である低域符号列、中域符号列、高域符号列、５２１ｂは第２段低域符号化器５１１ｂの符号化出力である第２段低域符号列、５１８，５１９，５２０は該各符号化器５１１，５１２，５１３から出力される、符号化される前の信号と上記各符号化信号との差である量子化誤差、５１８ｂは第２段低域符号化器５１１ｂの量子化誤差である第２段量子化誤差である。
【００１５】
一方、１００２は上記符号化装置１００１で符号化された符号化列を復号化する復号化装置である。該復号化装置１００２において、５は上記符号化装置１００１における時間周波数変換部５０３と逆の変換を行なう周波数時間変換部、６は時間軸上で窓関数を乗じる窓掛けを行なう窓掛け部、７はフレーム重ねあわせ部、８は復号信号、９は帯域合成部、１２０１は復号化帯域制御部、１２０２，１２０３，１２０４は、それぞれ上記低域符号化器、中域符号化器、高域符号化器５１１，５１２，５１３に対応して、復号化を行なう低域復号化器、中域復号化器、高域復号化器、１２０２ｂは第１段低域復号化器１２０２の出力を復号化する第２段低域復号化器である。
【００１６】
ここで、第２段以降の符号化器、復号化器はさらに他の帯域にも、またさらに、多段にも設けてもよいものであり、これが多段になるほど、必要に応じて、符号化、復号化の精度を向上できるものである。
【００１７】
以下、先ず、符号化装置１００１の動作について説明する。
符号化しようとする原オーディオ信号５０１は、時間的に連続するディジタル信号系列であるとする。例えば、音声信号を、サンプリング周波数４８ｋＨｚで１６ビットに量子化したディジタル信号であるとする。
【００１８】
上記原オーディオ信号５０１を解析長判定部５０２に入力する。上記解析長判定部５０２は、入力された上記原オーディオ信号５０１の特性を判断し、解析長５０４を決定し、その結果は解析長符号列５１０として、復号化装置１００２に送られる。解析長５０４としては、たとえば２５６、１０２４、４０９６などが用いられる。例えば、原オーディオ信号５０１に含まれる高域周波数成分が所定の値を超える場合には、解析長５０４を２５６とし、低域周波数成分が所定の値を超え、かつ高域周波数成分が所定の値より小さい場合には、解析長５０４を４０９６とし、それ以外の場合は、解析長５０４を１０２４とする。
こうして決定された解析長５０４に従って、時間周波数変換部５０３により原オーディオ信号５０１のスペクトル５０５を算出する。
【００１９】
図２に、本発明の実施の形態１によるオーディオ信号符号化装置における、時間周波数変換部５０３のブロック図を示す。
上記原オーディオ信号５０１は、そのサンプル値が所定のサンプル数に達するまでフレーム分割部２０１で蓄積され、該蓄積されたサンプル数が、上記解析長判定部５０２で決定された解析長５０４に達すると、出力を行なう。また、フレーム分割部２０１は、あるシフト長ごとに出力を行う構成のものであり、例えば、解析長５０４を４０９６サンプルとした場合において、解析長５０４の半分のシフト長を設定すれば、解析長５０４が２０４８サンプルに達するに相当する時間ごとに、最新の４０９６サンプルを出力するなどの構成を持つ。当然ながら、解析長５０４や、サンプリング周波数が変わっても、同様に、シフト長を解析長５０４の半分に設定した構成を持つことは可能である。
そして、このフレーム分割部２０１からの出力は、後段の窓掛け部２０２へと入力される。窓掛け部２０２では、フレーム分割部２０１からの出力に対して、時間軸上で窓関数を乗じて、窓掛け部２０２の出力とする。この様子は、例えば、（数１）で示される。
【００２０】
【数１】
0004327420.tif 000002
ただし、ここで、ｘｉはフレーム分割部２０１からの出力で、ｈｉは窓関数、ｈｘｉは窓掛け部２０２からの出力である。まだ、ｉは時間のサフィックスである。なお、（数１）で示した窓関数ｈｉは一例であり、窓関数は必ずしも、（数１）のものである必要はない。
【００２１】
窓関数の選択は、窓掛け部２０２に入力される信号の特徴と、フレーム分割部２０１の解析長５０４と、時間的に前後に位置するフレームにおける窓関数の形状とに依存する。例えば、窓掛け部２０２に入力される信号の特徴として、フレーム分割部２０１の解析長５０４をＮとした場合、Ｎ／４ごとに入力される信号の平均パワーを算出して、その平均パワーが非常に大きく変動する場合は、解析長５０４をＮよりも短くして（数１）に示した演算を実行する、などの選択を行う。また、前の時刻のフレームの窓関数の形状と、後ろのフレームの窓関数の形状とに応じて、現在の時刻のフレームの窓関数の形状に歪みがないように、適宜選択するのが望ましい。
【００２２】
次いで、窓掛け部２０２からの出力は、ＭＤＣＴ部２０３に入力され、ここで変形離散コサイン変換が施され、ＭＤＣＴ係数が出力される。変形離散コサイン変換の一般式は、（数２）で表される。
【００２３】
【数２】
0004327420.tif 000003
このようにＭＤＣＴ部２０３の出力であるＭＤＣＴ係数は、（数２）中の、ykで表せるとすると、ＭＤＣＴ部２０３の出力は周波数特性を示し、ykの変数k が０に近いほど、低い周波数成分に、０から増大してN/2-1 に近くなるほど、高い周波数成分に、線形に対応する。こうして算出された上記ＭＤＣＴ係数が、原オーディオ信号のスペクトル５０５となる。
【００２４】
次に、上記原オーディオ信号のスペクトル５０５をフィルタ７０１へと入力する。該フィルタ７０１の入力を、ｘ７０１（ｉ）、出力を、ｙ７０１（ｉ）とすると、例えば、（数３）で表されるフィルタを用いる。
【００２５】
【数３】
0004327420.tif 000004
ここで、ｆｓは解析長５０４である。
（数３）で表されるフィルタ７０１は、一種の移動平均フィルタであるが、当然ながら、移動平均フィルタに限定する必要はなく、他の、たとえば高域通過フィルタであってもいいし、帯域抑制フィルタであっても良い。
【００２６】
フィルタ７０１の出力と、解析長判定部５０２で算出した解析長５０４とを、特性判定部５０６に入力する。図６に、特性判定部５０６の詳細を示す。特性判定部５０６では、原オーディオ信号５０１、および原オーディオ信号のスペクトル５０５、の聴覚的、物理的な特性を決定する。原オーディオ信号５０１、および該スペクトル５０５の聴覚的、物理的特性とは、例えば、音声か、音楽か、の違いである。音声の場合、たとえば６ｋHzより低域に、大半の周波数成分があるものである。
【００２７】
次に、特性判定部５０６の動作を、図６を用いて説明する。
特性判定部５０６に入力された原オーディオ信号のスペクトル５０５をフィルタ７０１によってフィルタリングした信号を、ｘ５０６（ｉ）とすると、このｘ５０６（ｉ）を基に、スペクトルパワーｐ５０６（ｉ）を、（数４）により、スペクトルパワー計算部８０３で計算する。
【００２８】
【数４】
0004327420.tif 000005
このスペクトルパワーｐ５０６（ｉ）を、符号化帯域制御部５０７の入力の一つとし、各符号化器の帯域制御重み５１７とする。
また、解析長５０４が小さい場合、例えば２５６なるとき、各符号化器を固定的に配置するよう、配置決定部８０４で決定し、符号化帯域制御部５０７へと、符号化帯域配置情報５１６を、固定配置として送る。
【００２９】
解析長５０４が小さい場合以外の場合、たとえば４０９６や１０２４のときは、各符号化器を動的に配置するよう、配置決定部８０４で決定し、符号化帯域制御部５０７へと、符号化帯域配置情報５１６を、動的配置として送る。
【００３０】
次に、符号化帯域制御部５０７の動作を、図７を用いて説明する。
符号化帯域制御部５０７には、上記特性判定部５０６からの出力である帯域制御重み５１７と、符号化帯域配置情報５１６、および原オーディオ信号のスペクトル５０５をフィルタ７０１でフィルタリングした信号と、各符号化器の出力した量子化誤差５１８、または５１９、または５２０が入力される。ただし、これらの入力があるのは、各符号化器５１１、５１２、５１３、５１１ｂと、符号化帯域制御部５０７とが、再帰的に動作するためであり、初回の符号化帯域制御部５０７の動作においては、量子化誤差がないため、量子化誤差を除いた３つの入力となる。
【００３１】
上記のように、解析長５０４が小さく、符号化帯域配置情報５１６が固定配置となる場合は、予め定義された帯域の固定配置に従って、符号化を、低域から中域、高域へと順に実行するよう、量子化順序決定部９０２、および、符号化器数決定部９０３、帯域幅算出部９０１により、符号化器の量子化帯域，個数，接続順を決定し、符号化を行う。即ち、その時の帯域制御符号列５０８には、符号化器の帯域情報、符号化器数、および、その接続順序が、情報として符号化される。
【００３２】
たとえば、各符号化器の符号化帯域、および符号化器数を、それぞれ0Hz 〜4kHzに１つ、0Hz 〜8kHzに１つ、4kHz〜12kHz に１つ、8kHz〜16kHz に２つ、16kHz 〜24kHz に３つ、となるように、符号化器を配置し、符号化を行う。
【００３３】
次に、符号化帯域配置情報５１６が動的配置になっている場合の、符号化帯域制御部５０７の動作について説明する。
符号化帯域制御部５０７は、各符号化器の量子化帯域幅を決定する帯域幅算出部９０１、各符号化器の量子化順序を決定する量子化順序決定部９０２、さらに各帯域の符号化器の数を決定する符号化器数決定部９０３、の３つよりなる。符号化帯域制御部５０７に入力された信号をもとに、各符号化器の帯域幅を決定する訳であるが、所定の帯域、例えば、0Hz 〜4kHz、0kHz〜8kHz、4kHz〜12kHz 、8kHz〜16kHz 、16kHz 〜24kHz の各帯域において、帯域制御重み５１７、および各符号化器が符号化した後の量子化誤差、を乗算したものの平均値を算出する。ここで、帯域制御重み５１７を、weight517(i)、量子化誤差を、err507(i) とすると、（数５）により、平均値を算出する。
【００３４】
【数５】
0004327420.tif 000006
ここで、ｊは各帯域のインデックス、Ave901(j) は、帯域ｊにおける平均値、fupper(j) 、およびflower(j) は、帯域ｊの上限周波数、および下限周波数である。こうして得られた平均値 Ave901(j)が最大となるｊを検索し、それが、符号化器が符号化する帯域となる。さらに、検索されたｊの値を、符号化器数決定部９０３に送り、ｊに対応する帯域の符号化器数を一つ増やすようにし、所定の符号化帯域にいくつの符号化器が存在するのかを記憶しておき、記憶している符号化器数の合計が、予め決定しておいた符号化器の総数になるまで、符号化を繰り返す。最後に、符号化器の帯域、および符号化器数を、帯域制御符号列５０８として、復号化器へと伝送する。
【００３５】
次に、符号化器３の動作について、図３を用いて説明する。
符号化器３は、正規化部３０１と、量子化部３０２とからなる。
正規化部３０１では、フレーム分割部２０１からの出力である時間軸の信号と、ＭＤＣＴ部２０３からの出力であるＭＤＣＴ係数、との両者を入力として、いくつかのパラメータを用いて、ＭＤＣＴ係数を正規化する。ここで、ＭＤＣＴ係数の正規化とは、低域成分と高域成分とで非常に大きさに違いのあるＭＤＣＴ係数の大きさのばらつきを抑圧することを意味し、例えば、低域成分が高域成分に対して非常に大きい場合などは、低域成分では大きな値、高域成分では小さな値、となるようなパラメータを選出し、これで上記ＭＤＣＴ係数を除算することにより、ＭＤＣＴ係数の大きさのばらつきを抑圧することを指す。また正規化部３０１では、正規化に用いたパラメータを表現するインデックスを、正規化符号列３０３として符号化する。
【００３６】
量子化部３０２では、正規化部３０１で正規化されたＭＤＣＴ係数を入力として、ＭＤＣＴ係数の量子化を行う。この際、該量子化部３０２は、該量子化した値と、コードブック中にある複数のコードインデックスに対応する各量子化出力、との間の差が最も小さくなるような，そのような該コードイッデックスを出力する。この場合、上記量子化部３０２で量子化した値と、該量子化部３０２から出力されるコードインデックスに対応する値、との差が量子化誤差である。
【００３７】
次に、図４を用いて、上記正規化部３０１の詳細な一例を説明する。
図４において、４０１はフレーム分割部２０１とＭＤＣＴ部２０３の出力を受ける周波数概形正規化部、４０２は上記周波数概形正規化部４０１の出力を受け、帯域テーブル４０３を参照して、正規化を行う帯域振幅正規化部である。
【００３８】
次に、動作について説明する。
周波数概形正規化部４０１では、フレーム分割部２０１からの時間軸上のデータ出力を用いて、大まかな周波数の概形である周波数概形を算出し、ＭＤＣＴ部２０３からの出力であるＭＤＣＴ係数を除算する。周波数概形を表現するのに用いたパラメータは、正規化符号列３０３として符号化される。帯域振幅正規化部４０２では、周波数概形正規化部４０１からの出力信号を入力として、帯域テーブル４０３で示された帯域ごとに正規化を行う。例えば、周波数概形正規化部４０１の出力であるＭＤＣＴ係数が、dct(i)(i = 0〜2047) とし、帯域テーブル４０３が、例えば、（表１）に示されるようなものであるとすると、（数６）などを用いて、各帯域毎の振幅の平均値を算出する。
【００３９】
【表１】
0004327420.tif 000007
【数６】
0004327420.tif 000008
ここで、bjlow,bjhighは、帯域テーブル４０３に示されたj 番目の帯域におけるdct(i)が属する最も低域のインデックスi と、最も高域のインデックスi をそれぞれ示している。また、p は距離計算におけるノルムであり、2 などが望ましい。avejは、各帯域番号j における振幅の平均値である。帯域振幅正規化部４０２では、avejを量子化して、qavej を算出して、例えば、（数７）を用いて正規化する。
【００４０】
【数７】
0004327420.tif 000009
avejの量子化は、スカラーの量子化を用いてもよいし、コードブックを用いてベクトル量子化を行ってもよい。帯域振幅正規化部４０２では、qavej を表現するのに用いたパラメータのインデックスを、正規化符号列３０３として符号化する。
【００４１】
なお、符号化器における正規化部３０１の構成は、図４の周波数概形正規化部４０１と、帯域振幅正規化部４０２、との両者を用いた構成のものを示したが、周波数概形正規化部４０１のみを用いた構成でもよく、帯域振幅正規化部４０２のみを用いた構成でもよい。さらに、ＭＤＣＴ部２０３から出力されるＭＤＣＴ係数の低域成分と、高域成分とで大きなばらつきがない場合には、上記両者を用いない構成で、ＭＤＣＴ部２０３の出力信号を、そのまま量子化部３０２に入力する構成としてもよい。
【００４２】
次に、図５を用いて、図４の周波数概形正規化部４０１の詳細について説明する。
図５において、６０１はフレーム分割部２０１の出力を受ける線形予測分析部、６０２は線形予測分析部６０１の出力を受ける概形量子化部、６０３はＭＤＣＴ部２０３の出力を受ける包絡特性正規化部である。
【００４３】
次に、上記周波数概形正規化部４０１の動作について、図５を参照して説明する。
上記線形予測分析部６０１では、フレーム分割部２０１からの時間軸上のオーディオ信号を入力として、線形予測分析（Linear  Predictive  Coding）を行う。線形予測分析の線形予測係数（ＬＰＣ係数）は、ハミング窓などの窓掛けされた信号の自己相関関数を算出し、正規方程式などを解くことで、一般に算出可能である。算出された線形予測係数は、線スペクトル対係数（ＬＳＰ（Line  Spectrum  Pair) 係数）などに変換され、概形量子化部６０２で量子化される。ここでの量子化手法としては、ベクトル量子化を用いてもよいし、スカラー量子化を用いてもよい。そして、概形量子化部６０２で量子化されたパラメータが表現する周波数伝達特性を、包絡特性正規化部６０３で算出し、ＭＤＣＴ部２０３からの出力であるＭＤＣＴ係数を、これで除算することによって正規化する。具体的な算出例としては、概形量子化部６０２で量子化されたパラメータと等価な線形予測係数を、qlpc(i) とすれば、包絡特性正規化部６０３で算出される上記周波数伝達特性は、例えば、（数８）で表すことができる。
【００４４】
【数８】
0004327420.tif 000010
ここで、ORDER は１０〜４０くらいが望ましい。fft() は高速フーリエ変換を意味する。算出された周波数伝達特性env(i)を用いて、包絡特性正規化部６０３では、例えば、下記に示す（数９）を用いて、正規化を行う。
【数９】
0004327420.tif 000011
ここで、mdct(i) はＭＤＣＴ部２０３からの出力信号で、fdct(i) は正規化された包絡特性正規化部６０３からの出力信号である。
【００４５】
次に図８を用いて、上記符号化装置１における量子化部３０２の量子化方法の詳細な動作について説明する。
量子化部３０２に入力されるＭＤＣＴ係数１００１は、そのＭＤＣＴ係数１００１から幾つかを抜き出して、音源サブベクトル１００３を構成する。同様に、正規化部３０１で、正規化部３０１の入力であるＭＤＣＴ係数を、正規化部３０１の出力であるＭＤＣＴ係数で割った係数列を、正規化成分１００２とした時、この正規化成分１００２についても、ＭＤＣＴ係数１００１から音源サブベクトル１００３を抜き出したのと同じ規則で、該正規化成分１００２からサブベクトルの抽出を行い、重みサブベクトル１００４を構成することができる。音源サブベクトル１００３、および重みサブベクトル１００４を、ＭＤＣＴ係数１００１および正規化成分１００２からそれぞれ抽出する規則は、例えば、（数１０）で示す方法などがある。
【００４６】
【数１０】
0004327420.tif 000012
ここで、i 番目の音源サブベクトルのj 番目の要素はsubvector  i(j) であり、ＭＤＣＴ係数１００１はvector()であり、ＭＤＣＴ係数１００１の総要素数がTOTAL で、音源サブベクトル１００３の要素数がＣＲ、VTOTALは、TOTAL と同じ値かより大きい値で、VTOTAL/CR が正数値になるように設定する。例えば、TOTAL が２０４８の時、ＣＲが１９で、VTOTALが２０５２、ＣＲが２３で、VTOTALが２０７０、ＣＲが２１で、VTOTALが２０７９などである。重みサブベクトル１００４も、数１０の手順で抽出可能である。ベクトル量子化器１００５では、コードブック１００９中のコードベクトルの中から、音源サブベクトル１００３との距離が、重みサブベクトル１００４で重み付けて最も小さくなるものを探し、その最小の距離を与えたコードベクトルのインデックスと、最小の距離を与えたコードベクトルと入力音源サブベクトル１００３との量子化誤差に相当する残差サブベクトル１０１０とを出力する。
【００４７】
実際の計算手順例においては、ベクトル量子化器１００５が、距離計算手段１００６，コード決定手段１００７，残差生成手段１００８、の３つの構成要素からなるものとして、説明する。
距離計算手段１００６では、例えば、（数１１）を用いて、i 番目の音源サブベクトル１００３と、コードブック１００９のk 番目のコードベクトル、との距離を算出する。
【００４８】
【数１１】
0004327420.tif 000013
ここで、wjは、重みサブベクトルのj 番目の要素、Ck(j) は、k 番目のコードベクトルのj 番目の要素、Ｒ、Ｓは、距離計算のノルムであり、Ｒ、Ｓの値としては、1, 1.5, 2 などが望ましい。なお、このノルムＲとＳは、同一の値である必要はない。dik は、i 番目の音源サブベクトルに対するk 番目のコードベクトルの距離を意味する。コード決定手段１００７では、（数１１）などで算出された距離の中で、最小となるコードベクトルを選出し、そのインデックスを符号列３０４として符号化する。例えば、複数の上記dik があるうちの，diu が最小値である場合、i 番目のサブベクトルに対する符号化されるインデックスは、u となる。残差生成手段１００８では、コード決定手段１００７で選出したコードベクトルを用いて、（数１２）により残差サブベクトル１０１０を生成する。
【００４９】
【数１２】
0004327420.tif 000014
ここで、i 番目の残差サブベクトル１０１０のj 番目の要素は、resi(j) であり、コード決定手段１００７で選出されたコードベクトルのｊ番目の要素を、Cu(j) とする。上記残差サブベクトル１０１０を用いて（数１０）の逆過程の演算を行ってベクトルを求め、該ベクトルと、当該符号化器の元々の符号化対象であったベクトルとの差を、それ以降の各符号化器の量子化対象となるＭＤＣＴ係数として保持する。ただし、ある帯域の符号化が、それ以降の符号化器に影響を与えない帯域に対して符号化を行っている場合、つまり、以降の符号化器が符号化をすることがない場合は、残差生成手段１００８による，残差サブベクトル１０１０，ＭＤＣＴ１０１１の生成は必要ない。なお、コードブック１００９が持つコードベクトルの個数はいくつでもよいが、メモリ容量、計算時間等を考慮すると、６４程度とすることが好ましい。
【００５０】
なお、上記ベクトル量子化器１００５の他の例としては、以下のような構成も可能である。すなわち、距離計算手段１００６では、（数１３）を用いて距離を算出する。
【００５１】
【数１３】
0004327420.tif 000015
ただし、Ｋは、コードブック１００９のコード検索に用いるコードベクトルの総数である。
コード決定手段１００７では、（数１３）で算出された距離dik の最小値を与えるk を選出し、そのインデックスを符号化する。ただし、k は０から2K-1までの値となる。残差生成手段１００８では、（数１４）を用いて残差サブベクトル１０１０を生成する。
【００５２】
【数１４】
0004327420.tif 000016
ここで、コードブック１００９が持つコードベクトルの個数はいくつでもよいが、メモリの容量、計算時間等を考慮すると、６４程度とすることが好ましい。また、上記では、重みサブベクトル１００４を、正規化成分１００２のみから生成する構成について述べたが、重みサブベクトル１００４に、人間の聴覚特性を考慮した重みをさらに乗じて、重みサブベクトルを生成することも可能である。
以上のようにして、複数の各段の各符号化器の帯域幅、符号化器の個数、及び、接続順序が動的に決定される。そして、こうして決定された各符号化器の情報を基に、量子化を行なう。
【００５３】
一方、復号化装置１００２では、各帯域の符号化器の出力である正規化符号列と、該正規化符号列に対応した量子化部からの符号列、さらに符号化装置における符号化帯域制御部の出力である帯域制御符号列、また解析長判定部の出力である解析長符号列、を用いて、復号を行う。
【００５４】
図９に、復号化器１２０２、１２０３、…の構成を示す。各復号化器は、正規化されたMDCT係数を再生する逆量子化部１１０１と、正規化係数を復号し、上記再生された正規化されたMDCT係数と、正規化係数とを乗算する逆正規化部１１０２とからなる。
【００５５】
逆正規化部１１０２では、各符号化器の正規化部３０１からの正規化符号列３０３から、符号化装置１で正規化に用いたパラメータの復元を行い、逆量子化部１１０１の出力と、該パラメータとを乗算し、ＭＤＣＴ係数の復元を行う。
【００５６】
復号化帯域制御部１２０１では、符号化帯域制御部５０７の出力である帯域制御符号列５０８を用いて、符号化装置で用いた符号化器の配置や、符号化器の個数の情報を復元し、その情報に基づいて各帯域に各復号化器１２０２、１２０３、１２０４、１２０２ｂを配置し、符号化装置での各符号化器５１１、５１２、５１３、５１１ｂの符号化順序とは逆順に帯域を合成する帯域合成部９により、MDCT係数を得る。こうして得られた該MDCT係数を入力とする周波数時間変換部５では、逆ＭＤＣＴを行い、周波数領域の信号から時間領域の信号への復元を行う。上記逆MDCT係数の計算は、例えば、（数１５）で示される。
【００５７】
【数１５】
0004327420.tif 000017
ここで、ｙｙｋは帯域合成部９で復元されたＭＤＣＴ係数で、ｘｘ（ｎ）は逆ＭＤＣＴ係数であり、これを周波数時間変換部５の出力とする。
窓掛け部６では、周波数時間変換部５からの出力ｘｘ（ｉ）を用いて窓掛けを行う。窓掛けは、符号化装置１の時間周波数変換部５０３にある窓掛け部２０２で用いた窓を用い、たとえば、（数１６）で示される処理を行う。
【００５８】
【数１６】
0004327420.tif 000018
ここで、 z(i) は窓掛け部６の出力である。
フレーム重ね合わせ部７では、窓掛け部６からの出力を用いて、オーディオ信号を再生する。窓掛け部６からの出力は、時間的に重複した信号となっているので、フレーム重ね合わせ部７では、例えば、（数１７）を用いて、復号化装置１００２の出力信号とする。
【００５９】
【数１７】
0004327420.tif 000019
ここで、zm(i) は、第m 時刻フレームの第ｉ番目の窓掛け部６の出力信号 z(i) で、zm-1(i) は、第m-1 時刻フレームの第ｉ番目の窓掛け部６の出力信号とし、SHIFT は、符号化装置の解析長５０４に相当するサンプル数、out m(i)は、フレーム重ね合わせ部７の第ｍ時刻フレームにおける復号化装置１００２の出力信号とする。
【００６０】
また、本実施の形態１においては、以下のように、符号化帯域制御部５０７において、帯域幅算出部９０１で算出する量子化可能周波数範囲を、解析長５０４により制限することもある。
たとえば、解析長５０４が２５６の場合、各符号化器の量子化可能周波数範囲の下限を４ｋHz程度、上限を２４ｋHz程度にする。解析長が１０２４あるいは２０４８の場合、下限を０Hz、上限を１６ｋHz程度にする。さらに一度、解析長５０４が２５６になれば、その後一定時間の間、たとえば２０ｍｓｅｃ程度の間、各量子化器の量子化可能周波数範囲や、量子化器の配置を固定するように、量子化順序決定部９０２により制御することもできる。この処理を用いることにより、経時的に量子化器の配置を一定にし、聴感的な帯域の出入り感（ある瞬間まで高い帯域が中心の音声であったものが、突然、低い帯域が中心の音声に変わったときのように、音声帯域の出入りがあったような感覚）が発生するのを抑制することができる。
【００６１】
このような本実施の形態１によるオーディオ信号符号化装置，及び復号化装置では、複数の各段の符号化器の量子化するオーディオ信号の周波数帯域を決定する特性判定部と、上記特性判定部で決定された周波数帯域と、周波数変換された元々のオーディオ信号とをその入力とし、上記複数の各段の符号化器の接続順を決定し、符号化器の量子化帯域、及び接続順を符号列に変換する符号化帯域制御部とを備え、適応的にスケーラブルコーディングを行なう構成としたので、多種多様なオーディオ信号の符号化を行なう際にも、高品質，高効率の、十分な性能を発揮できる適応スケーラブルコーディングを行なうオーディオ信号符号化装置，及びこれを復号する復号化装置を得ることができる。
【００６２】
（実施の形態２）
図１４に、本発明の実施の形態２について、図１４ないし図２０を用いて説明する。
図１４は、本発明の実施の形態２による、適応スケーラブルコーディングを行なう符号化装置２００１、及び復号化装置２００２のブロック図を示す。図に示すように、符号化装置２００１において、２００１０５は、符号化器の個数、ビットレート、入力オーディオ信号のサンプリング周波数、各符号化器の符号化帯域情報、等の符号化条件、２００１０７は複数の各段の各符号化器の量子化するオーディオ信号の周波数帯域を決定する特性判定部、２００１０９は符号化帯域配置情報、２００１１０は特性判定部２００１０７で決定された周波数帯域と、周波数変換されたオーディオ入力信号とを入力とし、上記複数の各段の符号化器の量子化帯域、及び接続順を符号列に変換する符号化帯域制御部、２００１１１は符号化列、２００１１２は伝送符号化列合成器である。
【００６３】
また、復号化装置２００２において、２００１５０は伝送符号化列分解器、２００１５１は符号化列、２００１５３ｂは符号化列２００１５１を入力とし、これを復号化する各復号化器の復号化帯域を制御する復号化帯域制御部、２００１５４ｂは復号化スペクトルである。
【００６４】
本発明の実施の形態２による符号化装置２００１は、上記実施の形態１と同じく、適応スケーラブルコーディングを行なうものであるが、実施の形態１に比し、新たに、符号化装置２００１に、復号化帯域制御部２００１５３を含む符号化帯域制御部２００１１０を、復号化装置２００２に、上記復号化帯域制御部２００１５３と同じ処理を行なう復号化帯域制御部２００１５３ｂを追加し、さらに、本実施の形態２の特性判定部２００１０７においては、上記実施の形態１における特性判定部５０６のスペクトルパワー計算部８０３に代えて、図１６に示すように、聴覚心理モデル計算部２００６０２を設け、さらに、該特性判定部２００１０７内に、符号化条件２００１０５と、符号化帯域算出部２００６０１より計算される符号化帯域情報２００７０２と、配置決定部２００６０３より出力される帯域番号２００６０６とより、符号化帯域配置情報２００１０９を生成する符号化帯域配置情報生成手段２００６０４を設けたものである。
【００６５】
また、復号化装置２００２において、２００１５０は伝送符号化列分解器、２００１５１は符号化列、２００１５３ｂは符号化列２００１５１を入力とし、これを復号化する各復号化器の復号化帯域を制御する復号化帯域制御部、２００１５４ｂは復号化スペクトルである。
【００６６】
次に、本実施の形態２の動作について説明する。
本実施の形態２において、符号化しようとする原オーディオ信号５０１は、上記実施の形態１と同様、時間的に連続するディジタル信号系列であるとする。
まず、上記実施の形態１と同様な処理によって、原オーディオ信号のスペクトル５０５を得る。本実施の形態２では、符号化装置２００１に対して、符号化器数、ビットレート、入力オーディオ信号のサンプリング周波数、各符号器の符号化帯域情報、を含む符号化条件２００１０５を、該符号化装置２００１における特性判定部２００１０７に入力する。特性判定部２００１０７は、複数の各段の各符号化器の量子化帯域、個数、及び接続順の情報を含む符号化帯域配置情報２００１０９を出力し、これを符号化帯域制御部２００１１０へ入力する。 符号化帯域制御部２００１１０には、図１７に示されるように、符号化帯域配置情報２００１０９以外に、原オーディオ信号のスペクトル５０５が入力され、これらを基に該符号化帯域制御部２００１１０により制御する各符号化器で符号化を行った符号化列２００１１１を出力し、これは伝送符号化列合成器２００１１２へ入力されてこれにより合成され、その合成された出力が、さらに復号化装置２００２へと送信される。
【００６７】
復号化装置２００２では、符号化装置２００１の伝送符号化列合成器２００１１２の出力を、伝送符号化列分解器２００１５０で受け取り、符号化列２００１５１と解析長符号列２００１５２とに分解する。符号化列２００１５１は、復号化帯域制御部２００１５３ｂへと入力され、該復号化帯域制御部により制御される各復号化器で復号化された復号化スペクトル２００１５４ｂを得る。そして、該復号化スペクトル２００１５４ｂと、上記伝送符号化列分解器２００１５０の出力である解析長符号化列２００１５２とから、上記実施の形態１と同様に、周波数時間変換部５、窓掛け部６、及びフレーム重ね合わせ部７を用いて、復号信号８を得る。
【００６８】
次に、特性判定部２００１０７の動作を、図１５〜図２０を用いて説明する。
該特性判定部２００１０７は、符号化条件２００１０５を用いて  符号化帯域配置情報２００７０２を算出する符号化帯域算出部２００６０１、原オーディオ信号のスペクトル５０５、及び差分スペクトル２００１０８などのスペクトル情報、及び符号化帯域情報２００７０２から、人間の聴覚心理モデルに基づいて聴覚重み２００６０５を算出する聴覚心理モデル計算部２００６０２、解析長５０３を参照して、これに応じて聴覚重み２００６０５にさらに重み付けを行い、各符号化器の帯域の配置を決定して帯域番号２００６０６を出力する配置決定部２００６０３、及び符号化条件２００１０５と、符号化帯域算出部２００６０１より計算される符号化帯域情報２００７０２と、配置決定部２００６０３より出力される帯域番号２００６０６とより、符号化帯域配置情報２００１０９を生成する符号化帯域配置情報生成手段２００６０４から構成される。
【００６９】
符号化帯域算出部２００６０１は、符号化装置２００１が動作を開始する前に設定する符号化条件２００１０５を用いて、図１５に示される符号化器２００３が符号化する符号化帯域の上限 fpu(k) 、下限 fpl(k) を算出し、符号化帯域情報２００７０２として、符号化帯域配置情報生成手段２００６０４に送られる。ここで、ｋは符号化帯域を扱うための数で、ｋが０から予め設定された最大数である pmax になるに従って、周波数が大きな帯域を示している。 pmax の一例は、４である。符号化帯域算出部２００６０１の動作の一例を、表２に示す。
【００７０】
【表２】
0004327420.tif 000020
聴覚心理モデル計算部２００６０２は、フィルタ７０１からの出力信号、または符号化帯域制御部２００１１０の出力である差分スペクトル２００１０８，などのスペクトル情報、及び、符号化帯域算出部２００６０１の出力である符号化帯域情報２００７０２から、人間の聴覚心理モデルに基づいて、聴覚重み２００６０５を算出する。該聴覚重み２００６０５は聴覚上重要な帯域が大きな値で、聴覚上それほど重要でない帯域が小さな値となるようなものである。聴覚心理モデル計算部２００６０２の一例としては、入力スペクトルのパワーを計算する方法を用いるものがある。入力されるスペクトルを x602(i)としたときに、聴覚重み wpsy(k)は、
【００７１】
【数１８】
0004327420.tif 000021
となる。こうして算出された聴覚重み２００６０５は、配置決定部２００６０３に入力され、該配置決定部２００６０３では、解析長５０３を参照しながら、解析長５０３が小、たとえば１２８の時には、帯域番号２００６０６が大である，たとえば、４，の帯域の聴覚重み２００６０５が大きくなるように、たとえば、この帯域番号が４の帯域の聴覚重みを２倍に重み付けし、また、解析長５０３が小でないときには、聴覚重み２００６０５をそのままとして、該聴覚重み２００６０３が最大となる帯域を計算し、その帯域番号２００６０６を、符号化帯域配置情報生成手段２００６０４に送る。
【００７２】
符号化帯域配置情報生成手段２００６０４は、上記符号化帯域情報２００７０２、及び帯域番号２００６０６、さらには符号化条件２００１０５、を入力として、符号化帯域配置情報２００１０９を出力するものである。即ち、該符号化帯域配置情報生成手段２００６０４は、符号化条件２００１０５を常に参照しながら、該符号化条件からして、符号化帯域配置情報２００１０９が必要とされる間は、上記符号化帯域情報２００７０２と帯域番号２００６０６とを連結してなる符号化帯域配置情報２００１０９を出力し、これが必要で無くなるとその出力を止める動作をする。たとえば、符号化条件２００１０５で指定された符号化器数になるまで、帯域番号２００６０６を出力する。なお、上記配置決定部２００６０３において、解析長５０３が小なるときには、出力する帯域番号２００６０６を固定する場合もある。
【００７３】
次に、図１７を用いて、符号化帯域制御部２００１１０の動作について説明する。
符号化帯域制御部２００１１０は、上記特性判定部２００１０７からの出力である符号化帯域配置情報２００１０９、および原オーディオ信号のスペクトル５０５を入力とし、符号化列２００１１１、及び差分スペクトル２００１０８をその出力とし、その内部には、符号化帯域配置情報２００１０９を受け、原オーディオ信号のスペクトル５０５、及び、過去の該原オーディオ信号のスペクトル５０５と、該スペクトル５０５を符号化しかつ復号化したスペクトル２００７０５との差分スペクトル２００１０８を、帯域番号２００６０６の帯域にシフトするスペクトルシフト手段２００７０１、符号化器２００３、上記原オーディオ信号のスペクトル５０５と復号化スペクトル２００７０５との差分をとる差分計算手段２００７０３、差分スペクトル保持手段２００７０４、及び、符号列２００１１１を復号化器２００４で復号した合成スペクトル２００１００１を、符号化帯域配置情報２００７０２に基づき、スペクトルシフトを行い、これを順次合成して合成スペクトルを得、復号化スペクトル２００７０５６を算出する復号化帯域制御部２００１５３を含んでいる。スペクトルシフト手段２００７０１の構成は、図２０に示すとおりであるが、入力としては、シフトしたい元スペクトル２００１１０１と、符号化帯域配置情報２００１０９とを用いる。符号化帯域制御部２００１１０におけるスペクトルシフト手段２００７０１の入力のうち、シフトしたいスペクトル２００１１０１は、原オーディオ信号のスペクトル５０５、または差分スペクトル２００１０８であり、それらを帯域番号２００６０６の帯域にシフトして、シフトされたスペクトル２００１１０２と、符号化帯域配置情報２００１０９のうちの符号化帯域情報２００７０２とを出力する。帯域番号２００６０６に対応する帯域は、符号化帯域情報２００７０２のfpl(k)、及びfpu(k)から求めることができる。シフトする手順は、上記fpl(k)とfpu(k)との間のスペクトルを、符号化器２００３の処理できる帯域まで移動することである。
【００７４】
こうして、シフトされたスペクトル２００１１０２を入力とする符号化器２００３は、図１５に示すように、正規化符号列３０３、及び残差符号列３０４を出力し、それらと、スペクトルシフト手段２００７０１の出力である符号化帯域情報２００７０２とをあわせたものが、符号列２００１１１として、伝送符号化合成器２００１１２、及び復号化帯域制御部２００１５３へと送られる。
【００７５】
上記符号化器２００３の出力である上記符号化列２００１１１は、該符号化帯域制御部２００１１０内にある復号化帯域制御部２００１５３へと入力される。該復号化帯域制御部２００１５３は、復号化装置２００２内に存在するもの（２００１５３ｂ）と、動作は同じである。
【００７６】
次に、上記復号化装置２００２内に存在する復号化帯域制御部２００１５３ｂの構成を、図１９に示す。
復号化帯域制御部２００１５３ｂは、伝送符号化列分解器２００１５０からの符号列２００１１１を入力として、復号化スペクトル２００７０５ｂを出力するもので、その内部には、復号化器２００４、スペクトルシフト手段２００７０１、復号化スペクトル算出部２００１００３を持つ。
【００７７】
上記復号化器２００４の構成を、図１８に示す。
復号化器２００４は、逆量子化部１１０１と逆正規化部１１０２とから構成されており、逆量子化部１１０１は、符号列２００１１１のうち残差符号列３０４を入力として、該残差符号列３０４をコードインデックスに変換し、符号化器２００３で用いたコードブックを参照し、そのコードを再生する。再生されたコードは、逆正規化部１１０２に送られ、符号列２００１１１内の正規化符号列３０３から再生された正規化系数列３０３ａと乗算され、合成スペクトル２００１００１を得る。該合成スペクトル２００１００１は、スペクトルシフト手段２００７０１に入力される。
【００７８】
なお、符号化帯域制御部２００１１０内の復号化帯域制御部２００１５３の出力は、復号化スペクトル２００７０５となっているが、これは、復号化装置２００２内の復号化帯域制御部２００１５３ｂの出力である復号化スペクトル２００７０５ｂと同じものである。
【００７９】
復号化器２００４によって合成された合成スペクトル２００１００１は、スペクトルシフト手段２００７０１によりシフトされて、シフトされた合成スペクトル２００１００２が得られ、これは復号化スペクトル算出部２００１００３に入力される。
【００８０】
復号化スペクトル算出部２００１００３内では、入力された合成スペクトルを保持しており、保持しているスペクトルと、最新の合成スペクトルとを加算し、復号化スペクトル２００７０５ｂとして出力する動作をする。
【００８１】
符号化帯域制御部２００１１０内の差分計算手段２００７０３は、原オーディオ信号のスペクトル５０５と、復号化スペクトル２００７０５との差分を計算して、差分スペクトル２００１０８を出力し、これは特性判定部２００１０７へとフィードバックされる。また同時に、上記差分スペクトル２００１０８は、差分スペクトル保持手段２００７０４により保持されて、スペクトルシフト手段２００７０１へも送られ、次の符号化帯域配置情報２００１０９が入力されるときに備えるように構成されている。特性判定部２００１０７では、符号化条件を参照しながら、該符号化条件を満たすまで符号化帯域配置情報２００１０９を出力しつづけ、それが無くなった段階で、符号化帯域制御部２００１１０の動作も停止する。なお、上記符号化帯域制御部２００１１０は、差分スペクトル２００１０８を計算するために、差分スペクトル保持手段２００７０４を持っている。これは、差分スペクトルを保持するために必要な記憶領域で、たとえば、２０４８個の数を記憶できるような配列である。
【００８２】
以上のように、符号化条件２００１０５を満たすように、特性判定部２００１０７と、それに続く符号化帯域制御部２００１１０とによる処理が繰り返され、逐次、符号化列２００１１１が出力され、それが伝送符号化列合成器２００１１２へと送られ、解析長符号列５１０とともに、伝送符号化列として合成され、復号化装置２００２へと伝送される。
【００８３】
復号化装置２００２では、符号化装置２００１より伝送されてきた伝送符号化列を、伝送符号化列分解器２００１５０にて、符号化列２００１５１と、解析長符号列２００１５２とに分解する。該符号化列２００１５１と、解析長符号列２００１５２とは、符号化装置２００１内の符号化列２００１１１、及び解析長符号列５１０と同じものである。
【００８４】
分解された符号化列２００１５１は復号化帯域制御部２００１５３ｂにおいて復号化スペクトル２００１５４ｂに変換され、該復号化スペクトル２００１５４ｂは、解析長符号列２００１５２の情報を用いて、周波数時間変換部５、窓掛け部６、及びフレーム重ね合わせ部７にて、時間領域の信号に変換され、それが復号化信号８となる。
【００８５】
このように本実施の形態２によるオーディオ信号符号化装置，復号化装置によれば、上記実施の形態１のように、複数の各段の符号化器の量子化するオーディオ信号の周波数帯域を決定する特性判定部と、上記特性判定部で決定された周波数帯域と、周波数変換された元々のオーディオ信号とをその入力とし、上記複数の各段の符号化器の接続順を決定し、符号化器の量子化帯域、及び接続順を符号列に変換する符号化帯域制御部とを備え、適応的にスケーラブルコーディングを行なう構成において、符号化装置には復号化帯域制御部を含む符号化帯域制御部を、復号化装置には復号化帯域制御部を設けるとともに、さらに、特性判定部におけるスペクトルパワー計算部を、聴覚心理モデル計算部とし、さらに、該特性判定部において、符号化帯域配置情報生成手段を設けた構成としたので、特性判定部のスペクトルパワー計算部にかえて代えて聴覚心理モデル計算部を用いたことにより、聴覚的に重要な部分の判定を精度よく行って、その帯域をより選択することができる。また、本発明が対象とするオーディオ信号符号化装置，復号化装置では、符号化器の配置を決定する演算を行なっている際に、符号化条件が満たされれば、符号化の処理がＯＫと判定されて符号化帯域配置情報も出ないこととなるが、この符号化器の配置を決定するための演算において、上記実施の形態１では、符号化器を配置するときの帯域を選択するときの各帯域幅、及び各帯域の重みが固定であるのに対し、本実施の形態２では、特性判定部の判定条件として、入力信号のサンプリング周波数と、圧縮率、即ち、符号化のビットレート、も入っていることから、これらに応じて、上記各符号化器の帯域配置を選択するときの各帯域に対する重み付け度合いを変えられるものであり、さらに、特性判定部の判定条件として、圧縮率の条件も入っていることにより、圧縮率が高いとき、即ち、ビットレートが低いときには上記各符号化器の帯域配置を選択するときの各帯域の重み付け度合いをあまり変化させないようにし、一方、圧縮率が低いとき、即ち、ビットレートが高いときには、効率をより追求するために、上記各符号化器の帯域配置を選択するときの各帯域の重み付け度合いを、聴覚上、より大事なところを強調するようにし、これにより、圧縮率と品質とのベストバランスを得ることができるものである。このように、多種多様なオーディオ信号の符号化を行なう際にも、十分な性能を発揮して、高品質、高効率な、適応スケーラブルコーディングを行なう、オーディオ信号符号化，復号化装置を得ることができる。
【００８６】
【発明の効果】
以上のように、本発明にかかるオーディオ信号符号化方法、及びオーディオ信号復号化方法によれば、符号化ステップは、複数の符号化サブステップを有し、符号化帯域制御ステップの制御によりオーディオ信号の多段符号化を行い符号化情報を出力し、特性判定ステップは、入力されるオーディオ信号を判定し、符号化する各周波数帯域の重み付けを示す帯域重み情報を出力し、符号化帯域制御ステップは、帯域重み情報に基づいて、多段符号化を構成する各符号化サブステップの量子化帯域、接続順を決定し、決定した各符号化サブステップの量子化帯域、接続順に基づいてスケーラブルに構成される多段符号化を符号化ステップに行わせ、決定した各符号化サブステップの量子化帯域、接続順を示す帯域制御符号列を出力するようにしたことにより、多種多様な性質を持つオーディオ信号に対して、より高音質で、より高効率な、適応スケーラブルコーディングを行なうことができるという，有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１によるオーディオ信号符号化装置における適応スケーラブルコーディングのブロック図
【図２】上記実施の形態１の符号化装置における時間周波数変換部を示す図
【図３】上記実施の形態１の符号化装置における符号化器を示す図
【図４】上記実施の形態１の符号化装置における正規化部を示す図
【図５】上記実施の形態１の符号化装置における周波数概形正規化部を示す図
【図６】上記実施の形態１の符号化装置における特性判定部を示す図
【図７】上記実施の形態１の符号化装置における符号化帯域制御部を示す図
【図８】上記実施の形態１の符号化装置における量子化部を示す図
【図９】上記実施の形態１の符号化装置における復号化器を示す図
【図１０】一般のTwinVQ方式の概要を示す図
【図１１】一般のTwinVQスケーラブルコーディング方式を示す図
【図１２】一般の固定スケーラブルコーディングの短所を示す図
【図１３】一般の適応スケーラブルコーディングの長所を示す図
【図１４】本発明の実施の形態２によるオーディオ信号符号化装置における適応スケーラブルコーディングのブロック図
【図１５】上記実施の形態２の符号化装置における符号化器を示す図
【図１６】上記実施の形態２の符号化装置における特性判定部を示す図
【図１７】上記実施の形態２の符号化装置における符号化帯域制御部を示す図
【図１８】上記実施の形態２の符号化装置における復号化器を示す図
【図１９】上記実施の形態２の符号化装置における復号化帯域制御部を示す図
【図２０】上記実施の形態２の符号化装置におけるスペクトルシフト手段を示す図
【符号の説明】
１    符号化装置
２    復号化装置
５０１    原オーディオ信号
５０２    解析長判定部
５０３    時間周波数変換部
５０４    解析長
５０５    原オーディオ信号のスペクトル
５０６    特性判定部
５０７    符号化帯域制御部
５０８    帯域制御符号列
５１０    解析長符号列
５１１    低域符号化器
５１２    中域符号化器
５１３    高域符号化器
５１１ｂ    第２段低域符号化器
５１８，５１９，５２０，５１８ｂ    量子化誤差
５２１    低域符号列
５２２    中域符号列
５２３    高域符号列
５２１ｂ    第２段低域符号列
７０１    フィルタ
５    周波数時間変換部
６    窓掛け部
７    フレーム重ねあわせ部
８    復号信号
９    帯域合成部
１２０１    復号化帯域制御部
１２０２    低域復号化器
１２０３    中域復号化器
１２０４    高域復号化器
１２０２ｂ    第２段低域復号化器
２０１    フレーム分割部
２０２    窓掛け部
２０３    MDCT部
３    符号化器
３０１    正規化部
３０２    量子化部
３０３    正規化符号列
３０４    符号列
４０１    周波数概形正規化部
４０２    帯域振幅正規化部
４０３    帯域テーブル
６０１    線形予測分析部
６０２    概形量子化部
６０３    包絡特性正規化部
８０３    スペクトルパワー計算部
８０４    配置決定部
５１７    帯域制御重み
５１６    符号化帯域配置情報
９０１    帯域幅算出部
９０２    量子化順序決定部
９０３    符号化器数決定部
１００１    量子化部の量子化する帯域のMDCT
１００２    同じ量子化帯域の正規化成分
１００３    音源サブベクトル
１００４    重みサブベクトル
１００５    ベクトル量子化器
１００６    距離計算手段
１００７    コード決定手段
１００８    残差生成手段
１００９    コードブック
１０１０    残差サブベクトル
１０１１    ある量子化部の量子化する帯域のMDCTの残差
１０１    原オーディオ信号
１０２    解析長判定部
１０３    時間周波数変換部
１０４    周波数領域の原オーディオ信号
１０５    周波数概形
１０６    正規化処理部
１０７    正規化符号列
１０８    正規化処理後の現オーディオ信号
１０９    ベクトル量子化部
１１０    符号列
１１１    解析長符号列
１３０１    原オーディオ信号
１３０２    時間周波数変換部
１３０３    解析長判定部
１３０４    周波数領域の原オーディオ信号
１３０５    低域符号化器
１３０６    量子化誤差
１３０７    中域符号化器
１３０８    量子化誤差
１３０９    高域符号化器
１３１０    量子化誤差
１３１１    低域符号列
１３１２    中域符号列
１３１３    高域符号列
１３１４    解析長符号列
２００１    符号化装置
２００２    復号化装置
２００１０５    符号化条件
２００１０７    特性判定部
２００１０８    差分スペクトル
２００１０９    符号化帯域配置情報
２００１１０    符号化帯域制御部
２００１１１    符号化列
２００１１２    伝送符号化列合成器
２００１５０    伝送符号化列分解器
２００１５１    符号化列
２００１５２    解析長符号化列
２００１５３    復号化帯域制御部
２００１５４    復号化スペクトル
２００３    符号化器
２００３０５    符号化帯域情報
２００６０１    符号化帯域算出部
２００６０２    聴覚心理モデル計算部
２００６０３    配置決定部
２００６０４    符号化帯域配置情報生成手段
２００６０５    聴覚重み
２００７０１    スペクトルシフト手段
２００７０２    符号化帯域情報
２００７０３    差分計算手段
２００７０４    差分スペクトル保持手段
２００４    復号化器
２００９０１    逆量化部
２００９０２    逆正規化部
２００１００１    合成スペクトル
２００１００２    シフトされた合成スペクトル
２００１００３    復号化スペクトル算出部
２００１１０１    元スペクトル
２００１１０２    シフトされたスペクトル
【図１】
0004327420.tif 000022
【図２】
0004327420.tif 000023
【図３】
0004327420.tif 000024
【図４】
0004327420.tif 000025
【図５】
0004327420.tif 000026
【図６】
0004327420.tif 000027
【図７】
0004327420.tif 000028
【図８】
0004327420.tif 000029
【図９】
0004327420.tif 000030
【図１０】
0004327420.tif 000031
【図１１】
0004327420.tif 000032
【図１２】
0004327420.tif 000033
【図１３】
0004327420.tif 000034
【図１４】
0004327420.tif 000035
【図１５】
0004327420.tif 000036
【図１６】
0004327420.tif 000037
【図１７】
0004327420.tif 000038
【図１８】
0004327420.tif 000039
【図１９】
0004327420.tif 000040
【図２０】
0004327420.tif 000041