(57)【特許請求の範囲】
【請求項１】
残差符号化が適用され、生成されたビットストリームからマルチチャネル信号を復号化する方法であって：
前記ビットストリームから、マルチチャネル信号を構成する複数のチャネル信号を処理することにより生成されたモノラル信号を復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号の間の位相差を表すパラメータを復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号の間の特性関係を表すパラメータを復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号に関する残差信号を復号化する段階と、
前記複数のチャネル信号間に関して位相差を表すパラメータおよび特性関係を表すパラメータを使用して、前記モノラル信号と前記残差信号とを合成することにより、前記複数のチャネル信号を復元する段階と、を含むことを特徴とするマルチチャネルの復号化方法。
【請求項２】
前記復元する段階は、前記復号化した各位相差だけ前記モノラル信号の位相を移動させ、復号化した利得値の割合で前記モノラル信号の大きさを調節した後、前記各残差信号を加算することによって前記各チャネル信号を復元することを特徴とする請求項１に記載のマルチチャネルの復号化方法。
【請求項３】
前記復号化したモノラル信号を周波数ドメインから時間ドメインに逆変換する段階と、
前記逆変換されたモノラル信号を前記時間ドメインから前記周波数ドメインに変換する段階と、をさらに含むことを特徴とする請求項１に記載のマルチチャネルの復号化方法。
【請求項４】
前記逆変換する段階は、前記復号化したモノラル信号にＩＭＤＣＴを適用して逆変換し、
前記変換する段階は、前記逆変換されたモノラル信号に対してＭＤＳＴを適用して変換することを特徴とする請求項３に記載のマルチチャネルの復号化方法。
【請求項５】
前記マルチチャネル信号の符号化過程において、符号化端において予測されたチャネル信号に関する予測の正確度が低いと判断されて、マルチチャネル信号で個別的に符号化したチャネル信号を復号化する段階をさらに含むことを特徴とする請求項１に記載のマルチチャネルの復号化方法。
【請求項６】
前記残差信号を復号化する段階は、符号化端において予測されたチャネル信号の各々に関する予測の正確度に応じて適応的に前記残差信号を復号化することを特徴とする請求項１に記載のマルチチャネルの復号化方法。
【請求項７】
残差符号化が適用され、生成されたビット・ストリームからマルチチャネル信号を復号化する方法をコンピュータで行わせるためのプログラムを記録した記録媒体であって：
前記ビットストリームから、マルチチャネル信号を構成する複数のチャネル信号を処理することにより生成されたモノラル信号を復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号の間の位相差を表すパラメータを復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号の間の特性関係を表すパラメータを復号化する段階と、
前記ビットストリームから、前記複数のチャネル信号に関する残差信号を復号化する段階と、
前記複数のチャネル信号間に関して位相差を表すパラメータおよび特性関係を表すパラメータを使用して、前記モノラル信号と前記残差信号とを合成することにより、前記複数のチャネル信号を復元する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、オーディオ信号及び／または音声信号を符号化または復号化する方法及び装置に係り、さらに詳細には、複数のチャネルを備えるマルチチャネル信号を符号化して復号化する方法及び装置に関する。
【背景技術】
【０００２】
一般的にマルチチャネル信号を符号化する方式は、ウェーブフォーム符号化とパラメトリック符号化とがある。ここで、パラメトリック符号化は、低いビットレートで空間情報を伝送してマルチチャネルイメージを形成する方式であって、普通４０ｋｂｐｓ未満でのみ使用する。このようなパラメトリック符号化は、マルチチャネル信号をダウンミックスし、この過程で抽出された空間情報をチャネル間エネルギーあるいはレベル差、チャネル信号間の類似度、あるいはチャネル間位相差で表現することで、マルチチャネル信号を符号化する。パラメトリック符号化の代表的な実施形態として、ＭＰＥＧサラウンドコーディングとバイノーラルキューコーディング（Ｂｉｎａｕｒａｌ  Ｃｕｅ  Ｃｏｄｉｎｇ）がある。しかし、このような符号化技術は反響を正確に表現できないため、符号化ビットレートを増大させても原音を復元し難い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
一つ以上の実施形態は、ダウンミックス信号を利用せずに複数のチャネル間の重複情報を除去することで、残差信号を符号化して復号化するマルチチャネル符号化及び復号化方法並びに装置を提供する。
【課題を解決するための手段】
【０００４】
本発明の一つ以上の実施形態によるマルチチャネルの符号化装置は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する基準信号符号化部と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する位相差符号化部と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率である各利得値を計算して符号化する利得値符号化部と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する残差信号符号化部と、を備える。
【０００５】
本発明の一つ以上の実施形態によるマルチチャネルの復号化装置は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する基準信号復号化部と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する位相差復号化部と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する利得値復号化部と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する残差信号復号化部と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元するマルチチャネル復元部と、を備える。
【０００６】
本発明の一つ以上の実施形態によるマルチチャネルの符号化方法は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を計算して符号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する段階と、を含む。
【０００７】
本発明の一つ以上の実施形態によるマルチチャネルの復号化方法は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する段階と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元する段階と、を含む。
【０００８】
本発明の一つ以上の実施形態による記録媒体は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を生成して符号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を計算して符号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を計算して符号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を抽出して符号化する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録できる。
【０００９】
本発明の一つ以上の実施形態による記録媒体は、マルチチャネル信号を構成する複数のチャネル信号から少なくとも一つの基準信号を復号化する段階と、前記基準信号と前記複数のチャネル信号間の各位相差を復号化する段階と、前記基準信号の大きさと前記複数のチャネル信号の各大きさとの比率の各利得値を復号化する段階と、前記各位相差と前記各利得値とを前記基準信号に適用して、予測されたチャネル信号と対応するチャネル信号との誤差に該当する各残差信号を復号化する段階と、前記位相差、前記利得値及び前記残差信号を用いて前記各チャネル信号を復元する段階と、を含む方法をコンピュータで行わせるためのプログラムを記録できる。
【図面の簡単な説明】
【００１０】
【図１】一つ以上の実施形態によってマルチチャネルの符号化装置を図示した図である。
【図２】一つ以上の実施形態によってマルチチャネルの復号化装置を図示した図である。
【図３】一つ以上の実施形態によってマルチチャネルの符号化方法を図示した図である。
【図４】一つ以上の実施形態によってマルチチャネルの復号化方法を図示した図である。
【発明を実施するための形態】
【００１１】
以下、添付した図面を参照してマルチチャネルの符号化及び復号化方法並びに装置の実施形態について詳細に説明する。
【００１２】
図１は、一つ以上の実施形態によってマルチチャネルの符号化装置を図示したものであって、マルチチャネルの符号化装置は、例えば、先処理部１００、変換部１１０、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０、残差スペクトル量子化部１５５、予測検査部１６０、マルチチャネル量子化部１７０、無損失符号化部１８０及び多重化部１９０を備えることができる。ここで、先処理部１００、変換部１１０、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０、残差スペクトル量子化部１５５、予測検査部１６０、マルチチャネル量子化部１７０、無損失符号化部１８０及び多重化部１９０のうち一つ以上は、少なくとも一つ以上のプロセッサーあるいはプロセッシングデバイスで具現あるいは集積化できる。
【００１３】
先処理部１００は、入力端子ＩＮ１ないしＮを通じてＮ個のチャネル信号に該当するマルチチャネル信号を入力されてＮ個のチャネル信号から符号化するために、基準になる基準信号を選択する。ここで、先処理部１００は、基準信号をＮ個のチャネル信号から選択するだけでなく、多様な方式で生成できる。例えば、先処理部１００は、もし、マルチチャネル信号が２個のチャネル信号で構成された場合、例えば、下記の式（１）に記載された行列のうち少なくとも一つの行列演算を用いて基準信号を選択したり生成できる。すなわち、マルチチャネル信号がＮ個のチャネル信号で構成された場合、Ｎ個のチャネル信号と各行列との演算を通じて、残差信号を最小化させる基準信号を選択するか、または生成できる。
【００１４】
【数１】
0005462256.tif 000002
また、先処理部１００により、Ｎ個のチャネル信号から選択あるいは生成される基準信号をバークバンド単位に変更できる。ここで、基準信号を選択する他の代案も同等に適用されうる。一方、マルチチャネル信号を構成するチャネルの数が増加する場合、あるいは必要に応じて基準信号は複数になりうる。
【００１５】
また、実施形態によるマルチチャネルの符号化装置は、先処理部１００を必ずしも含まないか、あるいは具現しなくてもよい。
【００１６】
変換部１１０は、各チャネル信号の大きさと位相とをいずれも表現できるように、マルチチャネル信号を周波数ドメインに変換してマルチチャネルスペクトルを生成できる。例えば、変換部１１０では、複素数変換を用いて各チャネル信号を複素数スペクトルで表現できる。変換部１１０で複素数変換を利用する場合、変換部１１０は時間ドメインに該当するマルチチャネル信号に、例えば、ＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を適用して実数部を計算し、例えば、ＭＤＳＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）を適用して虚数部を計算できる。
【００１７】
例えば、変換部１１０は、もし、マルチチャネル信号がステレオ信号のような２個のチャネル信号で構成された場合、左側信号と右側信号とを、例えば、下記の式（２）に記載されたように、ｘ（ｔ）とｙ（ｔ）スペクトルに変換できる。
【００１８】
【数２】
0005462256.tif 000003
ここで、ｘ（ｔ）は、第１チャネル信号である左側信号が変換部１１０で変換されたスペクトルであり、ｙ（ｔ）は、第２チャネル信号の右側信号が変換部１１０で変換されたスペクトルであり、
【００１９】
【数３】
0005462256.tif 000004
は、第ｉチャネルスペクトルのサイズであり、
【００２０】
【数４】
0005462256.tif 000005
は、第ｉチャネルスペクトルの位相である。
【００２１】
基準スペクトル量子化部１２０は、Ｎ個のチャネル信号から先処理部１００で基準信号として生成されて、変換部１１０で変換された基準スペクトルを量子化できる。もし、変換部１１０で、例として挙げたＭＤＣＴとＭＤＳＴとにより複素数変換を行う場合、基準スペクトル量子化部１２０は、ＭＤＣＴにより変換された基準スペクトルのみ量子化できる。また、基準スペクトル量子化部１２０では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで基準スペクトルを量子化できる。
【００２２】
位相差計算部１３０は、基準スペクトルに対する各チャネルスペクトルの位相差を計算できる。位相差計算部１３０は、例えば、下記の式（３）により位相差を計算できる。
【００２３】
【数５】
0005462256.tif 000006
ここで、
【００２４】
【数６】
0005462256.tif 000007
は、基準スペクトルに対する第ｉチャネルスペクトルの位相差であり、
【００２５】
【数７】
0005462256.tif 000008
は、基準スペクトルの位相であり、
【００２６】
【数８】
0005462256.tif 000009
は、第ｉチャネルスペクトルの位相である。
【００２７】
利得値計算部１４０は、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値を計算する。利得値計算部１４０は、例えば、下記の式（４）を用いて利得値を計算できる。
【００２８】
【数９】
0005462256.tif 000010
ここで、
【００２９】
【数１０】
0005462256.tif 000011
は、第ｉチャネルスペクトルの利得値であり、
【００３０】
【数１１】
0005462256.tif 000012
は、基準スペクトルのサイズであり、
【００３１】
【数１２】
0005462256.tif 000013
は、第ｉチャネルスペクトルのサイズである。
【００３２】
一つ以上の実施形態によって、例えば、位相差計算部１３０で各チャネルスペクトルと基準スペクトル間の位相差の計算、及び例えば、利得値計算部１４０で各チャネルスペクトルの利得値の計算を、入力されるマルチチャネル信号が左側信号と右側信号とに該当する２個のチャネル信号で構成されたという仮定下で説明する。ここで、他の代案も同等に適用できる。
【００３３】
まず、先処理部１００で左側信号が基準信号と選択され、変換部１１０では左側信号と右側信号とを、例えば、下記の式（５）のように、複素数変換により周波数ドメインに変換して左側スペクトルと右側スペクトルとを生成できる。
【００３４】
【数１３】
0005462256.tif 000014
ここで、Ｌは、変換部１１０で変換された左側スペクトルであり、Ｒは、変換部１１０で変換された右側スペクトルであり、
【００３５】
【数１４】
0005462256.tif 000015
は、左側スペクトルのサイズであり、
【００３６】
【数１５】
0005462256.tif 000016
は、右側スペクトルのサイズであり、
【００３７】
【数１６】
0005462256.tif 000017
は、左側スペクトルの位相であり、
【００３８】
【数１７】
0005462256.tif 000018
は、右側スペクトルの位相である。
【００３９】
位相差計算部１３０と利得値計算部１４０とは、例えば、下記の式（６）を最小とする位相差と利得値とを計算できる。
【００４０】
【数１８】
0005462256.tif 000019
ここで、ｇは、利得値であり、
【００４１】
【数１９】
0005462256.tif 000020
は、位相差である。
【００４２】
例えば、下記の式（７）に記載されたように、式（６）をｇと
【００４３】
【数２０】
0005462256.tif 000021
とに対して偏微分する。
【００４４】
【数２１】
0005462256.tif 000022
利得値ｇと位相差
【００４５】
【数２０】
0005462256.tif 000023
とを基準信号である左側信号に適用して予測した右側信号が、実際右側信号と平均自乗誤差が最小化するように、式（７）により偏微分された式の値が‘０’になる利得値ｇと位相差
【００４６】
【数２０】
0005462256.tif 000024
とを、例えば、下記の式（８）により計算することで、位相差計算部１３０と利得値計算部１４０とは、最終的に位相差
【００４７】
【数２０】
0005462256.tif 000025
と利得値ｇとを計算する。
【００４８】
【数２２】
0005462256.tif 000026
残差スペクトル抽出部１５０は、各チャネルスペクトルに対して位相差計算部１３０及び利得値計算部１４０で計算された位相差及び利得値を基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当する残差スペクトルを抽出する。残差スペクトル抽出部１５０は、例えば、下記の式（９）により残差スペクトルを抽出できる。
【００４９】
【数２３】
0005462256.tif 000027
ここで、
【００５０】
【数２４】
0005462256.tif 000028
は、第ｉチャネルスペクトルに対応する残差スペクトルであり、
【００５１】
【数２５】
0005462256.tif 000029
は、第ｉチャネルスペクトルの実際サイズであり、
【００５２】
【数２６】
0005462256.tif 000030
は、第ｉチャネルスペクトルの位相であり、
【００５３】
【数２７】
0005462256.tif 000031
は、位相差及び利得値を基準スペクトルに適用することで予測されたスペクトルの実数部であり、例えば、式（１０）により計算できる。
【００５４】
【数２８】
0005462256.tif 000032
ここで、ｇは、利得値計算部１４０で計算された利得値であり、
【００５５】
【数２９】
0005462256.tif 000033
は、位相差計算部１３０で計算された位相差であり、
【００５６】
【数３０】
0005462256.tif 000034
は、基準スペクトルのサイズであり、
【００５７】
【数３１】
0005462256.tif 000035
は、基準スペクトルの位相である。
【００５８】
位相差量子化部１３５は、例えば、位相差計算部１３０で計算された基準スペクトルに対する各チャネルスペクトルの位相差を量子化できる。位相差量子化部１３５では位相差を、例えば、ユニホームスケールで量子化できる。
【００５９】
利得値量子化部１４５は、例えば、利得値計算部１４０で計算された各チャネルスペクトルの利得値を量子化できる。利得値量子化部１４５では利得値を、例えば、ログスケールまたはユニホームスケールで量子化できる。
【００６０】
残差スペクトル量子化部１５５は、例えば、残差スペクトル抽出部１５０から抽出された各チャネルスペクトルに対する残差スペクトルを量子化する。残差スペクトル量子化部１５５は、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで残差スペクトルを量子化できる。
【００６１】
また、先処理部１００、基準スペクトル量子化部１２０、位相差計算部１３０、位相差量子化部１３５、利得値計算部１４０、利得値量子化部１４５、残差スペクトル抽出部１５０及び残差スペクトル量子化部１５５は、クリティカルバンドを考慮したバークバンド単位で処理されうる。ここで、他の代案も同等に適用できる。
【００６２】
予測検査部１６０は、各チャネルスペクトルに対して位相差計算部１３０で計算された位相差と、利得値計算部１４０で計算された利得値とを基準スペクトルに適用することで、予測されたスペクトルが実際チャネルスペクトル、すなわち、元来のスペクトルに比べていかほど正確かつ精密に予測されたかを決定できる。
【００６３】
予測検査部１６０では、残差スペクトル抽出部１５０から抽出された残差スペクトルのエネルギーと、実際各チャネルスペクトルのエネルギーとを比較して、予測の正確度を決定できる。ここで、他の代案も同等に適用できる。
【００６４】
また、予測検査部１６０は、予測の正確度を基準にフレームを多様なタイプ別に分類して、各フレームのタイプに対応する残差スペクトルを異なって適応的に符号化できる。予測検査部１６０は、例えば、下記の式（１１）のように、予測の正確度を基準にフレームのタイプを３種に分類できる。
【００６５】
【数３２】
0005462256.tif 000036
各フレームのタイプは、例えば、残差スペクトルを符号化するに当って、エントロピー符号化の文脈（ｃｏｎｔｅｘｔ）として利用できる。
【００６６】
一方、一つ以上の実施形態によるマルチチャネルの符号化装置は、予測検査部１６０を必ずしも含まないか、あるいは具現しなくてもよく、予測正確度と関係なく基準スペクトル、位相差、利得値及び残差スペクトルを符号化してもよい。
【００６７】
例えば、マルチチャネル量子化部１７０は、式（１１）で第３フレームタイプのように、予測検査部１６０で計算された実際チャネルスペクトル（Ｅｉｎ＿ｆｒ）に対する予測スペクトル（Ｅｒｅｓ＿ｆｒ）のエネルギー比率が臨界値を満たせば、例えば、臨界値より大きければ、該当チャネルスペクトルを量子化して、利得値と位相差とを‘０’に設定できる。そして、該当チャネルスペクトルに対して、位相差量子化部１３５で位相差を量子化せずに利得値量子化部１４５で利得値を量子化しなくてもよい。なぜなら、例えば、該当チャネルスペクトルに対して、位相差計算部１３０で計算された位相差と利得値計算部１４０で計算された利得値とを基準スペクトルに適用して予測されたスペクトルが正確でないので、該当チャネルスペクトルは個別的に符号化することがさらに効率的なためである。
【００６８】
無損失符号化部１８０は、基準スペクトル量子化部１２０で量子化した基準スペクトル、位相差量子化部１３５で量子化した各チャネルスペクトルに対する位相差、利得値量子化部１４５で量子化した各チャネルスペクトルに対する利得値、及び残差スペクトル量子化部１５５で量子化した残差スペクトルを無損失符号化できる。しかし、言及したように、無損失符号化部１８０は、予測検査部１６０で計算された実際チャネルスペクトルに対する予測スペクトルのエネルギー比率が臨界値を満たす、すなわち、臨界値より大きいバークバンドに作られたチャネルスペクトルの場合、位相差、利得値及び残差スペクトルの代りに該当チャネルスペクトルを無損失符号化できる。
【００６９】
多重化部１９０は、無損失符号化部１８０で無損失符号化した基準スペクトル、位相差、利得値及び残差スペクトルを含めて多重化することでビットストリームを生成し、出力端子ＯＵＴを通じて出力できる。一方、多重化部１９０は予測検査部１６０の結果によって、位相差、利得値及び残差スペクトルの代りに、該当チャネルスペクトルを多重化してビットストリームとして生成することもできる。
【００７０】
図２は、一つ以上の実施形態によってマルチチャネルの復号化装置を図示したものであって、マルチチャネルの復号化装置は、例えば、逆多重化部２００、無損失復号化部２１０、基準スペクトル逆量子化部２２０、第１逆変換部２２５、変換部２３０、位相差逆量子化部２３５、利得値逆量子化部２４０、残差スペクトル逆量子化部２４５、マルチチャネルスペクトル復元部２５０、第２逆変換部２５５、マルチチャネル逆量子化部２６０及び後処理部２７０を備えることができる。ここで、逆多重化部２００、無損失復号化部２１０、基準スペクトル逆量子化部２２０、第１逆変換部２２５、変換部２３０、位相差逆量子化部２３５、利得値逆量子化部２４０、残差スペクトル逆量子化部２４５、マルチチャネルスペクトル復元部２５０、第２逆変換部２５５、マルチチャネル逆量子化部２６０及び後処理部２７０は、少なくとも一つ以上のプロセッサーあるいはプロセッシングデバイスで集積化あるいは具現できる。
【００７１】
逆多重化部２００は、符号化したビットストリームを入力端子ＩＮを通じて入力されて逆多重化する。逆多重化部２００で逆多重化されるビットストリームは、各バークバンドに対して基準スペクトル、基準スペクトルに対する各チャネルスペクトルの位相差、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値及び残差スペクトルを含むか、または少なくとも一つのチャネルスペクトルを含むことができる。ここで、基準スペクトルは、Ｎ個のチャネル信号から生成された符号化する基準になる基準信号を変換したスペクトルであり、残差スペクトルは、位相差と利得値とを基準スペクトルに適用することで予測されたスペクトルと実際チャネルスペクトルとの誤差に該当するスペクトルでありうる。
【００７２】
無損失復号化部２１０は、逆多重化部２００で逆多重化した基準スペクトル、位相差、利得値及び残差スペクトルを無損失復号化するか、または少なくとも一つのチャネルスペクトルを無損失復号化できる。
【００７３】
基準スペクトル逆量子化部２２０は、無損失復号化部２１０で無損失復号化した基準スペクトルを逆量子化できる。
【００７４】
第１逆変換部２２５は、基準スペクトル逆量子化部２２０で逆量子化した基準スペクトルを、第１逆変換により時間ドメインに逆変換して基準信号を生成できる。ここで、第１逆変換の例として、複素数変換で実数部に該当するＩＭＤＣＴ（Ｉｎｖｅｒｓｅ  Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）でありうる。
【００７５】
しかし、後述するように、変換部２３０で１フレームが遅延しうるので、第１逆変換部２２５で後処理部２７０に出力する基準信号に限って１フレームを遅延させて出力できる。
【００７６】
変換部２３０は、例えば、第１逆変換部２２５で逆変換された基準信号を第２変換により周波数ドメインに変換できる。ここで、第２変換の例としては、複素数変換で虚数部に該当する関連したＭＤＳＴでありうる。しかし、第１逆変換部２２５で第１逆変換により逆変換された基準信号を、変換部２３０で再び第２変換により変換するので、基準信号は１フレームが遅延される。
【００７７】
位相差逆量子化部２３５は、例えば、無損失復号化部２１０で復号化した各チャネルスペクトルの位相差を逆量子化できる。位相差逆量子化部２３５では位相差を、例えば、ユニホームスケールに逆量子化できる。
【００７８】
利得値逆量子化部２４０は、例えば、無損失復号化部２１０で復号化した各チャネルスペクトルの利得値を逆量子化できる。利得値逆量子化部２４０では利得値を、例えば、ログスケールまたはユニホームスケールに逆量子化できる。
【００７９】
残差スペクトル逆量子化部２４５は、無損失復号化部２１０で復号化した各チャネルスペクトルに対する残差スペクトルを逆量子化する。
【００８０】
マルチチャネルスペクトル復元部２５０は基準スペクトル逆量子化部２２０で逆量子化し、変換部２３０で変換することで、各チャネル信号の大きさと位相とをいずれも表現できる基準スペクトルに、位相差逆量子化部２３５で逆量子化した位相差、利得値逆量子化部２４０で逆量子化した利得値、及び残差スペクトル逆量子化部２４５で逆量子化した残差スペクトルを適用して各チャネルスペクトルを復元できる。言い換えれば、マルチチャネルスペクトル復元部２５０は、位相差ほど基準スペクトルの位相を移動させ、利得値によって基準スペクトルのサイズを調節した後、残差スペクトルを加算することで各チャネルスペクトルを復元できる。
【００８１】
しかし、言及したように、変換部２３０で１フレームが遅延されるので、マルチチャネルスペクトル復元部２５０は１、フレームを遅延して行い始める。
【００８２】
第２逆変換部２５５は、マルチチャネルスペクトル復元部２５０で復元された各チャネルスペクトルを時間ドメインに逆変換できる。
【００８３】
マルチチャネル逆量子化部２６０は、マルチチャネルの符号化装置で位相差と利得値とを基準スペクトルに適用して予測されたスペクトルが、実際チャネルスペクトルに対して正確に予測されないと既に判断されるため、位相差、利得値及び残差スペクトルを符号化する代わりにチャネルスペクトルを逆量子化できる。
【００８４】
第２逆変換部２５５は、マルチチャネル逆量子化部２６０で逆量子化したチャネルスペクトルを周波数ドメインから時間ドメインに逆変換できる。
【００８５】
後処理部２７０は、第１逆変換部２２５で逆変換されて１フレームが遅延された基準信号と、第２逆変換部２５５で逆変換されたマルチチャネル信号とに対して後処理過程を行うことで、出力端子ＯＵＴを通じてマルチチャネル信号を出力する。ここで、後処理過程は、例えば、図１の先処理部１００で行われた演算の逆過程であり得、他の代案も同等に適用できる。例えば、後処理部２７０は、符号化端で適用された行列演算の逆演算を通じてマルチチャネル信号を復元できる。
【００８６】
図３は、一つ以上の実施形態によってマルチチャネルの符号化方法を図示した図である。
【００８７】
まず、Ｎ個のチャネル信号に該当するマルチチャネル信号を入力されて、Ｎ個のチャネル信号から符号化する基準になる基準信号を生成あるいは選択できる（第３００段階）。第３００段階では、基準信号を多様な方式で生成してもよい。第３００段階では、もし、マルチチャネル信号が２個のチャネル信号で構成された場合、例えば、下記の式（１２）に記載された行列のうち少なくとも一つを用いて基準信号を選択または生成できる。すなわち、マルチチャネル信号がＮ個のチャネル信号で構成された場合、Ｎ個のチャネル信号と各行列との演算を通じて残差信号を最小化させる基準信号を選択または生成できる。
【００８８】
【数３３】
0005462256.tif 000037
また、第３００段階により、Ｎ個のチャネル信号から基準になる基準信号をバークバンド単位で変更できる。一方、マルチチャネル信号を構成するチャネルの数が増加する場合、あるいは必要に応じて基準信号は複数になりうる。
【００８９】
一つ以上の実施形態において、マルチチャネルの符号化方法は、第３００段階を必ずしも含むか、または具現しなくてもよい。
【００９０】
各チャネル信号の大きさと位相とをいずれも表現できるように、マルチチャネル信号を周波数ドメインに変換してマルチチャネルスペクトルを生成する（第３１０段階）。例えば、第３１０段階では、複素数変換を用いて、各チャネル信号を複素数としてスペクトルを表現できる。第３１０段階で複素数変換を利用する場合、第３１０段階では、時間ドメインに該当するマルチチャネル信号に、例えば、ＭＤＣＴを適用して実数部を計算し、例えば、ＭＤＳＴを適用して虚数部を計算できる。
【００９１】
例えば、第３１０段階では、もし、マルチチャネル信号がステレオ信号のような２個のチャネル信号で構成された場合、左側信号と右側信号とを、例えば、下記の式（１３）に記載されたようにｘ（ｔ）とｙ（ｔ）スペクトルに変換できる。
【００９２】
【数３４】
0005462256.tif 000038
ここで、ｘ（ｔ）は、第１チャネル信号である左側信号が第３１０段階で変換されたスペクトルであり、ｙ（ｔ）は、第２チャネル信号の右側信号が第３１０段階で変換されたスペクトルであり、
【００９３】
【数３５】
0005462256.tif 000039
は、第ｉチャネルスペクトルのサイズであり、
【００９４】
【数３６】
0005462256.tif 000040
は、第ｉチャネルスペクトルの位相である。
【００９５】
次いで、変換された基準スペクトルを量子化できる（第３２０段階）。もし、第３１０段階で、例えば、ＭＤＣＴとＭＤＳＴとにより複素数変換を行う場合、第３２０段階では、ＭＤＣＴにより変換された基準スペクトルのみ量子化できる。また、第３２０段階では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで基準スペクトルを量子化できる。
【００９６】
次いで、基準スペクトルに対する各チャネルスペクトルの位相差を計算できる（第３３０段階）。第３３０段階では、例えば、下記の式（１４）により位相差を計算できる。
【００９７】
【数３７】
0005462256.tif 000041
ここで、
【００９８】
【数３８】
0005462256.tif 000042
は、基準スペクトルに対する第ｉチャネルスペクトルの位相差であり、
【００９９】
【数３９】
0005462256.tif 000043
は、基準スペクトルの位相であり、
【０１００】
【数４０】
0005462256.tif 000044
は、第ｉチャネルスペクトルの位相である。
【０１０１】
次いで、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値を計算できる（第３４０段階）。第３４０段階では、例えば、下記の式（１５）を用いて利得値を計算できる。
【０１０２】
【数４１】
0005462256.tif 000045
ここで、
【０１０３】
【数４２】
0005462256.tif 000046
は、第ｉチャネルスペクトルの利得値であり、
【０１０４】
【数４３】
0005462256.tif 000047
は、基準スペクトルのサイズであり、
【０１０５】
【数４４】
0005462256.tif 000048
は、第ｉチャネルスペクトルのサイズである。
【０１０６】
一つ以上の実施形態によって、第３３０段階で各チャネルスペクトルと基準スペクトル間の位相差を計算し、各チャネルスペクトルの利得値を計算する過程を、入力されるマルチチャネル信号が左側信号と右側信号とに該当する２個のチャネルで構成されたという仮定下で説明する。ここで、他の代案も同等に適用できる。
【０１０７】
まず、例えば、第３００段階で左側信号が基準信号に選択され、第３１０段階では左側信号と右側信号とを、例えば、下記の式（１６）のように複素数変換により周波数ドメインに変換して、左側スペクトルと右側スペクトルとを生成できる。
【０１０８】
【数４５】
0005462256.tif 000049
ここで、Ｌは、第３１０段階で変換された左側スペクトルであり、Ｒは、第３１０段階で変換された左側スペクトルであり、
【０１０９】
【数４６】
0005462256.tif 000050
は、左側スペクトルのサイズであり、
【０１１０】
【数４７】
0005462256.tif 000051
は、右側スペクトルのサイズであり、
【０１１１】
【数４８】
0005462256.tif 000052
は、左側スペクトルの位相であり、
【０１１２】
【数４９】
0005462256.tif 000053
は、右側スペクトルの位相である。
【０１１３】
第３３０段階と第３４０段階とは、例えば、下記の式（１７）を最小とする左側及び右側スペクトル間の位相差と、左側及び右側スペクトルのサイズ比率値である利得値とを計算できる。
【０１１４】
【数５０】
0005462256.tif 000054
ここで、ｇは、利得値であり、
【０１１５】
【数５１】
0005462256.tif 000055
は、位相差である。
【０１１６】
例えば、下記の式（１８）に記載されたように、式（１７）をｇと
【０１１７】
【数５２】
0005462256.tif 000056
とに対して偏微分できる。
【０１１８】
【数５３】
0005462256.tif 000057
利得値ｇと位相差
【０１１９】
【数５４】
0005462256.tif 000058
とを、基準信号の左側信号に適用して予測した右側信号が、実際右側信号と平均自乗誤差が最小化するように、式（１８）により偏微分された式の値が‘０’になる利得値ｇと位相差
【０１２０】
【数５４】
0005462256.tif 000059
とを、例えば、下記の式（１９）により計算することで、第３３０段階と第３４０段階とでは最終的に位相差
【０１２１】
【数５４】
0005462256.tif 000060
と利得値ｇとを計算できる。
【０１２２】
【数５５】
0005462256.tif 000061
次いで、各チャネルスペクトルに対して、第３３０段階及び第３４０段階で計算された位相差及び利得値を基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当する残差スペクトルを抽出できる（第３５０段階）。第３５０段階は、例えば、下記の式（２０）により残差スペクトルを抽出できる。
【０１２３】
【数５６】
0005462256.tif 000062
ここで、
【０１２４】
【数５７】
0005462256.tif 000063
は、第ｉチャネルスペクトルに対応する残差スペクトルであり、
【０１２５】
【数５８】
0005462256.tif 000064
は、第ｉチャネルスペクトルの実際サイズであり、
【０１２６】
【数５９】
0005462256.tif 000065
は、第ｉチャネルスペクトルの位相であり、
【０１２７】
【数６０】
0005462256.tif 000066
は、位相差及び利得値を基準スペクトルに適用することで予測されたスペクトルの実数部であり、例えば、下記の式（２１）により計算できる。
【０１２８】
【数６１】
0005462256.tif 000067
ここで、ｇは、第３４０段階で計算された利得値であり、
【０１２９】
【数６２】
0005462256.tif 000068
は、第３３０段階で計算された位相差であり、
【０１３０】
【数６３】
0005462256.tif 000069
は、基準スペクトルのサイズであり、
【０１３１】
【数６４】
0005462256.tif 000070
は、基準スペクトルの位相である。
【０１３２】
次いで、各チャネルスペクトルに対して、第３３０段階で計算された位相差と第３４０段階で計算された利得値とを基準スペクトルに適用することで、予測されたスペクトルが実際チャネルスペクトルに比べていかほど正確に予測されたかを検査できる（第３５５段階）。
【０１３３】
第３５５段階では、第３５０段階で抽出された残差スペクトルのエネルギーと実際チャネルスペクトルのエネルギーとを比較して、予測の正確度を検査できる。ここで、他の代案も同等に適用できる。
【０１３４】
また、第３５５段階では、決定された予測の正確度を基準にフレームを多様なタイプ別に分類して、各フレームのタイプに対応する残差スペクトルを異なって適応的に符号化できる。第３５５段階では、例えば、下記の式（２２）のように、予測の正確度を基準にフレームのタイプを３種に分類できる。
【０１３５】
【数６５】
0005462256.tif 000071
また、各フレームのタイプを、残差スペクトルを符号化するに当って、例えば、エントロピー符号化の文脈として利用できる。
【０１３６】
次いで、第３５５段階で検査された予測の正確度が、既に設定された臨界値より大きいかどうかを判断できる（第３６０段階）。
【０１３７】
一つ以上の実施形態において、もし、第３６０段階で予測の正確度が臨界値を満たす、例えば、臨界値より大きいと判断されれば、第３３０段階で計算された基準スペクトルに対する各チャネルスペクトルの位相差を量子化できる（第３３５段階）。第３３５段階では位相差を、例えば、ユニホームスケールで量子化できる。
【０１３８】
次いで、第３４０段階で計算された各チャネルスペクトルの利得値を量子化できる（第３７０段階）。第３７０段階では利得値を、例えば、ログスケールまたはユニホームスケールで量子化できる。
【０１３９】
次いで、第３５０段階で抽出された各チャネルスペクトルに対する残差スペクトルを量子化できる（第３７５段階）。第３７５段階では、心理音響モデルを通じて量子化ステップサイズを決定して、符号化ビット量を制御することで残差スペクトルを量子化できる。
【０１４０】
また、第３００段階、第３２０段階、第３３０段階、第３４０段階、第３５０段階、第３６５段階、第３７０段階及び第３７５段階は、例えば、クリティカルバンドを考慮したバークバンド単位で処理されうる。
【０１４１】
もし、第３６０段階で予測の正確度が、例えば、臨界値より小さいと判断されれば、該当チャネルスペクトルを量子化して利得値と位相差とを‘０’に設定できる（第３８０段階）。なぜなら、該当チャネルスペクトルに対して、例えば、第３３０段階で計算された位相差と、例えば、第３４０段階で計算された利得値とを基準スペクトルに適用して予測されたスペクトルが正確でないので、該当チャネルスペクトルは個別的に符号化することがさらに効率的なためである。
【０１４２】
次いで、第３２０段階で量子化した基準スペクトル、第３６５段階で量子化した各チャネルスペクトルに対する位相差、第３７０段階で量子化した各チャネルスペクトルに対する利得値、及び第３７５段階で量子化した残差スペクトルを無損失符号化するか、またはチャネルスペクトルを無損失符号化できる（第３８５段階）。
【０１４３】
次いで、第３８５段階で無損失符号化した基準スペクトル、位相差、利得値及び残差スペクトルを含むか、またはチャネルスペクトルを含んで多重化することでビットストリームを生成できる（第３９０段階）。
【０１４４】
図４は、一つ以上の実施形態によってマルチチャネルの復号化方法を図示した図である。
【０１４５】
まず、符号化したビットストリームを入力されて逆多重化できる（第４００段階）。第４００段階で逆多重化されるビットストリームは、各バークバンドに対して基準スペクトル、基準スペクトルに対する各チャネルスペクトルの位相差、基準スペクトルのサイズに対する各チャネルスペクトルのサイズの比率に該当する利得値及び残差スペクトルを含むか、または少なくとも一つのチャネルスペクトルを含むことができる。ここで、基準スペクトルは、例えば、Ｎ個のチャネル信号から生成されたＮ個のチャネル信号を符号化する基準になる基準信号を変換したスペクトルをいい、残差スペクトルは、計算された位相差と利得値とを選択された基準スペクトルに適用することで、予測されたスペクトルと実際チャネルスペクトルとの誤差に該当するスペクトルをいう。
【０１４６】
次いで、第４００段階で逆多重化した基準スペクトル、位相差、利得値及び残差スペクトルを無損失復号化するか、少なくとも一つのチャネルスペクトルを無損失復号化できる（第４１０段階）。
【０１４７】
次いで、無損失復号化した基準スペクトルを逆量子化できる（第４２０段階）。
【０１４８】
次いで、逆量子化した基準スペクトルを、第１逆変換により周波数ドメインから時間ドメインに逆変換して基準信号を生成できる（第４２５段階）。ここで、第１逆変換の例としては、複素数変換で実数部に該当するＭＤＣＴでありうる。
【０１４９】
次いで、第４２５段階後に、少なくとも一つのチャネル信号に対してマルチチャネルの符号化過程で予測の正確度が低いと判断して、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化したかどうかを判断できる（第４２７段階）
もし、第４２７段階で、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化されていないと判断されれば、第４２５段階で逆変換された基準信号を、第２変換により時間ドメインから周波数ドメインに変換できる（第４３０段階）。ここで、第２変換の例としては、複素数変換で虚数部に該当するＭＤＳＴでありうる。しかし、前述したように、第４２５段階で、第１逆変換により逆変換された基準信号を第４３０段階で再び第２変換により変換するので、出力以前に１フレームが遅延される。
【０１５０】
次いで、第４１０段階で復号化した各チャネルスペクトルの位相差を逆量子化することができる（第４３５段階）。第４３５段階では位相差を、例えば、ユニホームスケールで逆量子化できる。
【０１５１】
次いで、第４１０段階で復号化した各チャネルスペクトルの利得値を逆量子化することができる（第４４０段階）。第４４０段階では利得値を、例えば、ログスケールまたはユニホームスケールで逆量子化できる。
【０１５２】
次いで、第４１０段階で復号化した各チャネルスペクトルに対する残差スペクトルを逆量子化できる（第４４５段階）。
【０１５３】
第４２０段階で逆量子化し、かつ第４３０段階で変換することで各チャネル信号の大きさと位相とをいずれも表現できる基準スペクトルに、第４３５段階で逆量子化した位相差、第４４０段階で逆量子化した利得値、及び第４４５段階で逆量子化した残差スペクトルを適用して各チャネルスペクトルを復元できる（第４５０段階）。言い換えれば、第４５０段階では、位相差ほど基準スペクトルの位相を移動させて利得値の割合で基準スペクトルのサイズを調節した後、残差スペクトルを加算することで各チャネルスペクトルを復元できる。しかし、第４３０段階で１フレームが遅延されるので、第４５０段階では、１フレームを遅延して行い始める。
【０１５４】
次いで、第４５０段階で復元された各チャネルスペクトルを時間ドメインに逆変換できる（第４６０段階）。
【０１５５】
もし、第４２７段階で、マルチチャネル信号で少なくとも一つのチャネル信号が個別的に符号化していないと判断されれば、例えば、少なくとも一つのチャネル信号の符号化過程で、位相差と利得値とを基準スペクトルに適用して予測されたスペクトルが実際チャネルスペクトルに対して正確に予測されないと判断されるため、位相差、利得値及び残差スペクトルを符号化する代わりに各チャネルスペクトルを逆量子化できる（第４５５段階）。
【０１５６】
次いで、第４５０段階で復元された各チャネルスペクトルまたは第４５５段階で逆量子化した各チャネルスペクトルを時間ドメインに逆変換してマルチチャネル信号を生成できる（第４６０段階）。
【０１５７】
次いで、第４２０段階で逆量子化した基準スペクトルと、第４６０段階で逆変換されたマルチチャネル信号とに対して後処理過程を行うことで、最終的にマルチチャネル信号を出力できる（第４７０段階）。ここで、後処理過程は、例えば、図３の第３００段階で行われた演算の逆過程でありうる。第４２７段階で、マルチチャネルの符号化方法で個別的に符号化したマルチチャネル信号に該当しないと判断されたマルチチャネル信号に対して、第４７０段階では、第４２５段階で逆変換されて１フレームが遅延された基準信号と、第４６０段階で逆変換されたマルチチャネル信号とを対象に第４７０段階が行われうる。なぜなら、第４２７段階で、マルチチャネルの符号化方法で個別的に符号化したマルチチャネル信号に該当しないと判断されたマルチチャネル信号は、第４３０段階で１フレームが遅延されるため、１フレームを遅延させた後に第４７０段階が行われうる。
【０１５８】
一つ以上の実施形態についての説明を容易にするために、信号は時間ドメインで表現されたデータであり、スペクトルは周波数ドメインで表現されたデータであると区別して説明したが、一般的に信号は、スペクトルを含む概念でありうる。
【０１５９】
前述した実施形態に付加して、一つ以上の実施形態は、前記の実施形態を具現するために、少なくとも一つのプロセッシングデバイスを制御するために媒体、例えば、コンピュータで読み取り可能な媒体に存在するコンピュータで読み取り可能なコード／命令語で具現できる。前記媒体は、コンピュータで読み取り可能なコードの保存及び／または伝送可能に定義され、測定可能で実体的な構造に該当する。
【０１６０】
また、前記媒体は、例えば、コンピュータで読み取り可能なコードと結合してデータファイル、データ構造などを含むことができる。コンピュータで読み取り可能な媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭディスク及びＤＶＤのような光学媒体、光学ディスクのような磁気光学媒体、特別にＲＯＭ、ＲＡＭ、フラッシュメモリなどのプログラム命令語を保存して行えるように構成されたハードウェアデバイスなどを含む。コンピュータで読み取り可能なコードの例には、コンパイラーにより生成されたマシンコードと、例えば、インタープリターを使用してコンピュータで実行できるハイレベルコードを含む。また前記媒体は分散ネットワークであり、この場合、コンピュータで読み取り可能なコードは、分散方式で保存されて行われる。また、単に例として、プロセッシングエレメントはプロセッサーあるいはコンピュータプロセッサーを含むことができ、プロセッシングエレメントは単一デバイスに分散及び／または含まれうる。
【０１６１】
理解を助けるために図面に図示された実施形態を参考として説明されたが、これは例示的なものに過ぎず、当業者ならばこれより多様な変形及び均等な他の実施形態が可能であるという点を理解できるであろう。したがって、本発明の実施形態の真の技術的保護範囲は特許請求の範囲により定められねばならない。
【図１】
0005462256.tif 000072
【図２】
0005462256.tif 000073
【図３】
0005462256.tif 000074
【図４】
0005462256.tif 000075