(57)【特許請求の範囲】
【請求項１】
オーディオ信号に含まれる複数のチャネルのうちの第１のチャネルの信号及び第２のチャネルの信号と、該第１のチャネルの信号に乗じる第１の予測係数と該第２のチャネルの信号に乗じる第２の予測係数とに基づいて前記複数のチャネルのうちの第３のチャネルの信号を予測符号化するオーディオ符号化装置であって、
前記第１のチャネルの信号に前記第１の予測係数を乗じて得られる値と前記第２のチャネルの信号に前記第２の予測係数を乗じて得られる値との線形和である前記第３のチャネルの信号の予測値と前記第３のチャネルの信号間の誤差が最小となるときの前記第１及び第２の予測係数の第１の値の組を算出する最小誤差予測係数算出部と、
前記第１の予測係数及び前記第２の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第１の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第１の予測係数及び前記第２の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第１の予測係数及び前記第２の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第１の予測係数の前記第１の値及び前記第２の予測係数の前記第１の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第１及び第２の予測係数のそれぞれごとに前記符号帳を選択する符号帳選択部と、
前記第１及び第２の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める予測係数符号化部と、
を有するオーディオ符号化装置。
【請求項２】
前記第１、第２及び第３のチャネルの信号に基づいて前記誤差の分布形状が楕円放物面状か放物線柱面状かを判定する誤差分布形状判定部をさらに有し、
前記最小誤差予測係数算出部は、前記誤差の分布形状が楕円放物面状である場合、前記第１及び第２の予測係数を変数とする楕円放物面の式に従って前記誤差を最小とする前記第１及び第２の予測係数の前記第１の値の組を算出し、一方、前記誤差の分布形状が放物線柱面状である場合、前記第１及び第２の予測係数を変数とする放物線柱面の式に従って前記誤差を最小とする前記第１及び前記第２の予測係数の前記第１の値の組を算出する、請求項１に記載のオーディオ符号化装置。
【請求項３】
前記予測係数符号化部は、前記誤差の分布形状が楕円放物面状であり、前記組に含まれる前記第１の予測係数の前記第１の値が当該第１の予測係数に対する前記複数の量子化値の上限よりも大きい場合、当該第１の予測係数を該量子化値の範囲の上限としたときに前記誤差が最小となる前記第２の予測係数の第２の値を前記誤差の分布形状を表す楕円放物面の式に従って求め、前記第２の予測係数に対する前記選択された符号帳に規定された複数の量子化値のなかから当該第２の値に最も近い量子化値を選択し、該選択した量子化値を符号化する、請求項２に記載のオーディオ符号化装置。
【請求項４】
前記予測係数符号化部は、前記誤差の分布形状が楕円放物面状であり、前記第１の予測係数に対する前記符号帳が選択されなかった場合、前記組に含まれる前記第１の予測係数の前記第１の値に応じて、前記第１の予測係数に対する前記量子化値の範囲の上限及び下限のうちの何れかを表す情報を符号化する、請求項２または３に記載のオーディオ符号化装置。
【請求項５】
前記予測係数符号化部は、前記誤差の分布形状が放物線柱面状であり、前記組に含まれる前記第１の予測係数の前記第１の値が前記誤差の最小値に影響しない場合、前記第２の予測係数に対する前記選択された符号帳に規定された複数の量子化値のうちの前記組に含まれる前記第２の予測係数の前記第１の値に最も近い量子化値を符号化する、請求項１〜４の何れか一項に記載のオーディオ符号化装置。
【請求項６】
オーディオ信号に含まれる複数のチャネルのうちの第１のチャネルの信号及び第２のチャネルの信号と、該第１のチャネルの信号に乗じる第１の予測係数と該第２のチャネルの信号に乗じる第２の予測係数とに基づいて前記複数のチャネルのうちの第３のチャネルの信号を予測符号化するオーディオ符号化方法であって、
前記第１のチャネルの信号に前記第１の予測係数を乗じて得られる値と前記第２のチャネルの信号に前記第２の予測係数を乗じて得られる値との線形和である前記第３のチャネルの信号の予測値と前記第３のチャネルの信号間の誤差が最小となるときの前記第１及び第２の予測係数の第１の値の組を算出し、
前記第１の予測係数及び前記第２の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第１の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第１の予測係数及び前記第２の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第１の予測係数及び前記第２の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第１の予測係数の前記第１の値及び前記第２の予測係数の前記第１の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第１及び第２の予測係数のそれぞれごとに前記符号帳を選択し、
前記第１及び第２の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める、
ことを含むオーディオ符号化方法。
【請求項７】
オーディオ信号に含まれる複数のチャネルのうちの第１のチャネルの信号及び第２のチャネルの信号と、該第１のチャネルの信号に乗じる第１の予測係数と該第２のチャネルの信号に乗じる第２の予測係数とに基づいて前記複数のチャネルのうちの第３のチャネルの信号をコンピュータに予測符号化させるオーディオ符号化用コンピュータプログラムであって、
前記第１のチャネルの信号に前記第１の予測係数を乗じて得られる値と前記第２のチャネルの信号に前記第２の予測係数を乗じて得られる値との線形和である前記第３のチャネルの信号の予測値と前記第３のチャネルの信号間の誤差が最小となるときの前記第１及び第２の予測係数の第１の値の組を算出し、
前記第１の予測係数及び前記第２の予測係数のうちの一方が、前記誤差の最小値に影響しないか、または前記組に含まれる予測係数の一方の前記第１の値が、当該予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、前記第１の予測係数及び前記第２の予測係数のうちの他方の予測係数に対する前記符号帳を選択し、一方、前記第１の予測係数及び前記第２の予測係数の両方が前記誤差の最小値に影響し、かつ、前記組に含まれる前記第１の予測係数の前記第１の値及び前記第２の予測係数の前記第１の値のそれぞれが、当該予測係数についての前記符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、前記第１及び第２の予測係数のそれぞれごとに前記符号帳を選択し、
前記第１及び第２の予測係数のうち、前記符号帳が選択された予測係数について、前記符号帳に規定されている複数の量子化値のうち、前記誤差が最小となる量子化値を求め、当該量子化値を符号化することで符号化予測係数を求める、
ことをコンピュータに実行させるためのオーディオ符号化用コンピュータプログラム。
【請求項８】
オーディオ信号に含まれる複数のチャネルのうちの第１及び第２のチャネルの信号が符号化された符号化チャネル信号データと、前記第１及び第２のチャネルの信号に基づいて前記複数のチャネルのうちの第３のチャネルの信号を予測するための第１及び第２の予測係数が符号化された符号化予測係数と、前記第１の予測係数についての複数の量子化値を規定する第１の符号帳が選択されたか否か、及び、前記第２の予測係数についての複数の量子化値を規定する第２の符号帳が選択されたか否かを表す符号帳選択情報とを、所定のデータ形式に従って格納する符号化オーディオデータから前記オーディオ信号を復号するオーディオ復号装置であって、
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出す分離部と、
前記符号化チャネル信号データを復号することにより前記第１及び第２のチャネルの信号を再生するチャネル信号復号部と、
前記第１及び第２の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第１及び第２の予測係数を再生する予測係数復号部と、
再生された前記第１の予測係数に前記第１のチャネルの信号を乗じて第１の値を求め、かつ、再生された前記第２の予測係数に前記第２のチャネルの信号を乗じて第２の値を求め、該第１の値と該第２の値の和を前記第３のチャネルの信号として再生する予測復号部と、
を有するオーディオ復号装置。
【請求項９】
オーディオ信号に含まれる複数のチャネルのうちの第１及び第２のチャネルの信号が符号化された符号化チャネル信号データと、前記第１及び第２のチャネルの信号に基づいて前記複数のチャネルのうちの第３のチャネルの信号を予測するための第１及び第２の予測係数が符号化された符号化予測係数と、前記第１の予測係数についての複数の量子化値を規定する第１の符号帳が選択されたか否か、及び、前記第２の予測係数についての複数の量子化値を規定する第２の符号帳が選択されたか否かを表す符号帳選択情報とを、所定のデータ形式に従って格納する符号化オーディオデータから前記オーディオ信号を復号するオーディオ復号方法であって、
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出し、
前記符号化チャネル信号データを復号することにより前記第１及び第２のチャネルの信号を再生し、
前記第１及び第２の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第１及び第２の予測係数を再生し、
再生された前記第１の予測係数に前記第１のチャネルの信号を乗じて第１の値を求め、かつ、再生された前記第２の予測係数に前記第２のチャネルの信号を乗じて第２の値を求め、該第１の値と該第２の値の和を前記第３のチャネルの信号として再生する、
ことを含むオーディオ復号方法。
【請求項１０】
オーディオ信号に含まれる複数のチャネルのうちの第１及び第２のチャネルの信号が符号化された符号化チャネル信号データと、前記第１及び第２のチャネルの信号に基づいて前記複数のチャネルのうちの第３のチャネルの信号を予測するための第１及び第２の予測係数が符号化された符号化予測係数と、前記第１の予測係数についての複数の量子化値を規定する第１の符号帳が選択されたか否か、及び、前記第２の予測係数についての複数の量子化値を規定する第２の符号帳が選択されたか否かを表す符号帳選択情報とを、所定のデータ形式に従って格納する符号化オーディオデータから前記オーディオ信号をコンピュータに復号させるオーディオ復号用コンピュータプログラムであって、
前記データ形式に従って、前記符号化オーディオデータから、前記符号化チャネル信号データと、前記符号化予測係数と、前記符号帳選択情報とを取り出し、
前記符号化チャネル信号データを復号することにより前記第１及び第２のチャネルの信号を再生し、
前記第１及び第２の符号帳のうち、前記符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、前記符号化予測係数に対応する量子化値を特定することにより前記第１及び第２の予測係数を再生し、
再生された前記第１の予測係数に前記第１のチャネルの信号を乗じて第１の値を求め、かつ、再生された前記第２の予測係数に前記第２のチャネルの信号を乗じて第２の値を求め、該第１の値と該第２の値の和を前記第３のチャネルの信号として再生する、
ことを含むオーディオ復号方法。
ことをコンピュータに実行させるオーディオ復号用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラムに関する。また本発明は、例えば、オーディオ復号装置、オーディオ復号方法ならびにオーディオ復号用コンピュータプログラムに関する。
【背景技術】
【０００２】
従来より、3チャネル以上のチャネルを持つマルチチャネルオーディオ信号のデータ量を圧縮するためのオーディオ信号の符号化方式が開発されている。そのような符号化方式の一つとして、Moving Picture Experts Group (MPEG)により標準化されたMPEG Surround方式が知られている。MPEG Surround方式では、例えば、符号化対象となる5.1チャネル(5.1ch)のオーディオ信号が時間周波数変換され、その時間周波数変換により得られた周波数信号がダウンミックスされることにより、一旦3チャネルの周波数信号が生成される。さらに、その3チャネルの周波数信号が再度ダウンミックスされることにより2チャネルのステレオ信号に対応する周波数信号が算出される。そしてステレオ信号に対応する周波数信号は、Advanced Audio Coding(AAC)符号化方式及びSpectral Band Replication(SBR)符号化方式により符号化される。
その一方で、MPEG Surround方式では、5.1chの信号を3チャネルの信号へダウンミックスする際、及び3チャネルの信号を2チャネルの信号へダウンミックスする際、音の広がりまたは定位を表す空間情報が算出され、この空間情報が符号化される。このように、MPEG Surround方式では、マルチチャネルオーディオ信号をダウンミックスすることにより生成されたステレオ信号とデータ量の比較的少ない空間情報が符号化される。これにより、MPEG Surround方式では、マルチチャネルオーディオ信号に含まれる各チャネルの信号を独立に符号化するよりも高い圧縮効率が得られる。
【０００３】
MPEG Surround方式では、ステレオ周波数信号を生成する際に算出される空間情報を符号化するために、予測係数(channel prediction coefficient)が用いられる（例えば、特許文献１を参照）。予測係数とは、3チャネルのうちの一つのチャネルの信号をその他の二つのチャネルの信号に基づいて予測符号化するための係数である。予測係数は、その他の二つのチャネルのそれぞれについて算出される。その二つの予測係数のそれぞれの複数の量子化値及び対応する量子化値が符号帳と称されるテーブルに格納されており、各予測係数に最も近い量子化値が選択される。そしてこの量子化値に対応するインデックス値が可変長符号化される。この符号帳は、使用ビット効率の向上の為に用いられるものである。符号化器と復号器で予め定められた共通の（あるいは共通の方法で作成する）符号帳を持つことで、符号化器は少ないビット数でより重要な情報を復号器へ送ることができる。復号器は、上述の予測係数に基づいて3チャネルのうちの一つのチャネルの信号を再現する。このため、符号化器は、符号帳から最適な予測係数を選択する必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５１７３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
二つの予測係数のそれぞれについて、量子化値の数が増えると、それだけ各量子化値に対応する符号の数も増えることになる。そして符号の数が増えるほど、符号同士の直交性を保つために、個々の符号の長さの平均値も長くなり、その結果として二つの予測係数に割り当てるビット量を増やす必要が生じる。したがって、オーディオデータの圧縮効率を高めるために、二つの予測係数に対して割り当てるビット量を短縮できる技術が求められている。
【０００６】
そこで、本明細書は、予測係数に割り当てるビット量を削減可能なオーディオ符号化装置、及びそのようなオーディオ符号化装置によって符号化されたオーディオ信号を復号するオーディオ復号装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、オーディオ信号に含まれる複数のチャネルのうちの第１のチャネルの信号及び第２のチャネルの信号と、該第１のチャネルの信号に乗じる第１の予測係数と該第２のチャネルの信号に乗じる第２の予測係数とに基づいて複数のチャネルのうちの第３のチャネルの信号を予測符号化するオーディオ符号化装置が提供される。このオーディオ符号化装置は、第１のチャネルの信号に第１の予測係数を乗じて得られる値と第２のチャネルの信号に第２の予測係数を乗じて得られる値との線形和である第３のチャネルの信号の予測値と第３のチャネルの信号間の誤差が最小となるときの第１及び第２の予測係数の第１の値の組を算出する最小誤差予測係数算出部と、第１の予測係数及び第２の予測係数のうちの一方が、誤差の最小値に影響しないか、または誤差が最小となるときの第１及び第２の予測係数の組に含まれる予測係数の一方の第１の値が、予測係数の一方についての符号帳に規定された複数の量子化値を含む量子化値の範囲から外れている場合、第１の予測係数及び第２の予測係数のうちの他方の予測係数に対する符号帳を選択し、一方、第１の予測係数及び第２の予測係数の両方が誤差の最小値に影響し、かつ、誤差が最小となるときの第１及び第２の予測係数の組に含まれる第１の予測係数の第１の値及び第２の予測係数の第１の値のそれぞれが、その予測係数についての符号帳に規定された複数の量子化値を含む量子化値の範囲内に含まれる場合、第１及び第２の予測係数のそれぞれごとに符号帳を選択する符号帳選択部と、第１及び第２の予測係数のうち、符号帳が選択された予測係数について、その符号帳に規定されている複数の量子化値のうち、誤差が最小となる量子化値を求め、その量子化値を符号化することで符号化予測係数を求める予測係数符号化部とを有する。
【０００８】
また他の実施形態によれば、オーディオ信号に含まれる複数のチャネルのうちの第１及び第２のチャネルの信号が符号化された符号化チャネル信号データと、第１及び第２のチャネルの信号に基づいて複数のチャネルのうちの第３のチャネルの信号を予測するための第１及び第２の予測係数が符号化された符号化予測係数と、第１の予測係数についての複数の量子化値を規定する第１の符号帳及び第２の予測係数についての複数の量子化値を規定する第２の符号帳のうち選択された符号帳を表す符号帳選択情報とを、所定のデータ形式に従って格納する符号化オーディオデータからオーディオ信号を復号するオーディオ復号装置が提供される。このオーディオ復号装置は、そのデータ形式に従って、符号化オーディオデータから、符号化チャネル信号データと、符号化予測係数と、符号帳選択情報とを取り出す分離部と、符号化チャネル信号データを復号することにより第１及び第２のチャネルの信号を再生するチャネル信号復号部と、第１及び第２の符号帳のうち、符号帳選択情報に選択されたことが示された符号帳に規定された複数の量子化値のうち、符号化予測係数に対応する量子化値を特定することにより第１及び第２の予測係数を再生する予測係数復号部と、再生された第１の予測係数に第１のチャネルの信号を乗じて第１の値を求め、かつ、再生された第２の予測係数に第２のチャネルの信号を乗じて第２の値を求め、第１の値と第２の値の和を第３のチャネルの信号として再生する予測復号部とを有する。
【０００９】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【００１０】
本明細書に開示されたオーディオ符号化装置及びオーディオ復号装置は、予測係数に割り当てるビット量を削減できる。
【図面の簡単な説明】
【００１１】
【図１】一つの実施形態によるオーディオ符号化装置の概略構成図である。
【図２】類似度に対する量子化テーブルの一例を示す図である。
【図３】インデックスの差分値と類似度符号の関係を示すテーブルの一例を示す図である。
【図４】強度差に対する量子化テーブルの一例を示す図である。
【図５】符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。
【図６】予測符号化部の構成図である。
【図７】予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す放物線柱面状の予測誤差の分布の概念図である。
【図８】予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す楕円放物面状の予測誤差の分布の概念図である。
【図９】予測誤差dの分布形状が楕円型である場合における、予測誤差dが最小となるときの予測係数c1min、c2minと予測係数c1、c2の値の範囲との位置関係を表す概念図である。
【図１０】予測誤差dの分布形状が楕円型である場合における、符号帳に規定された予測係数の量子化値の範囲と予測誤差曲面との接点と、選択される符号帳との関係を示す図である。
【図１１】予測誤差dの分布形状が楕円型である場合の符号帳選択処理の動作フローチャートである。
【図１２】予測誤差dの分布形状が放物線型である場合における、予測誤差dの最小値に対応する予測係数c1min、c2minと予測係数の値の範囲との関係を示す図である。
【図１３】予測誤差dの分布形状が放物線型である場合の符号帳選択処理の動作フローチャートである。
【図１４】予測係数の量子化値を格納した符号帳の一例を示す図である。
【図１５】オーディオ符号化処理の動作フローチャートを示す。
【図１６】一実施形態によるオーディオ復号装置の概略構成図である。
【図１７】オーディオ復号装置により実行されるオーディオ復号処理の動作フローチャートである。
【発明を実施するための形態】
【００１２】
以下、図を参照しつつ、一つの実施形態によるオーディオ符号化装置について説明する。このオーディオ符号化装置は、３個のチャネルのうちの一つのチャネルの周波数信号を、他の二つのチャネルの周波数信号に予測係数を乗じて得られる値の線形和として予測する。そしてこのオーディオ符号化装置は、予測されるチャネルの周波数信号と上記の線形和間の予測誤差の分布形状を推定し、その分布形状及び予測誤差の最小値に対応する各予測係数に応じて、予測係数のそれぞれについて符号帳を使用するか否か判定する。
なお、本実施形態では、符号化対象となるマルチチャネルオーディオ信号は、5.1chオーディオ信号である。
【００１３】
図１は、一つの実施形態によるオーディオ符号化装置１の概略構成図である。図１に示すように、オーディオ符号化装置１は、時間周波数変換部１１と、第１ダウンミックス部１２と、第２ダウンミックス部１３と、予測符号化部１４と、空間情報符号化部１５と、チャネル信号符号化部１６と、多重化部１７とを有する。
【００１４】
オーディオ符号化装置１が有するこれらの各部は、それぞれ別個の回路として形成される。あるいはオーディオ符号化装置１が有するこれらの各部は、その各部に対応する回路が集積された一つの集積回路としてオーディオ符号化装置１に実装されてもよい。さらに、オーディオ符号化装置１が有するこれらの各部は、オーディオ符号化装置１が有するプロセッサ上で実行されるコンピュータプログラムにより実現される、機能モジュールであってもよい。
【００１５】
時間周波数変換部１１は、オーディオ符号化装置１に入力されたマルチチャネルオーディオ信号の時間領域の各チャネルの信号をそれぞれフレーム単位で時間周波数変換することにより、各チャネルの周波数信号に変換する。
本実施形態では、時間周波数変換部１１は、次式のQuadrature Mirror Filter(QMF)フィルタバンクを用いて、各チャネルの信号を周波数信号に変換する。
【数１】
0005990954.tif 000002
ここでnは時間を表す変数であり、１フレームのオーディオ信号を時間方向に128等分したときのn番目の時間を表す。なお、フレーム長は、例えば、10〜80msecの何れかとすることができる。またkは周波数帯域を表す変数であり、周波数信号が有する周波数帯域を64等分したときのk番目の周波数帯域を表す。またQMF(k,n)は、時間n、周波数kの周波数信号を出力するためのQMFである。時間周波数変換部１１は、QMF(k,n)を入力されたチャネルの1フレーム分のオーディオ信号に乗じることにより、そのチャネルの周波数信号を生成する。
なお、時間周波数変換部１１は、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いて、各チャネルの信号を、それぞれ、周波数信号に変換してもよい。
【００１６】
時間周波数変換部１１は、フレーム単位で各チャネルの周波数信号を算出する度に、各チャネルの周波数信号を第１ダウンミックス部１２へ出力する。
【００１７】
第１ダウンミックス部１２は、各チャネルの周波数信号を受け取る度に、それら各チャネルの周波数信号をダウンミックスすることにより、左チャネル、中央チャネル及び右チャネルの周波数信号を生成する。例えば、第１ダウンミックス部１２は、次式に従ってこれら3個のチャネルの周波数信号を算出する。
【数２】
0005990954.tif 000003
ここでLRe(k,n)は、左前方チャネルの周波数信号L(k,n)のうちの実部を表し、LIm(k,n)は、左前方チャネルの周波数信号L(k,n)のうちの虚部を表す。またSLRe(k,n)は、左後方チャネルの周波数信号SL(k,n)のうちの実部を表し、SLIm(k,n)は、左後方チャネルの周波数信号SL(k,n)のうちの虚部を表す。そしてLin(k,n)は、ダウンミックスにより生成される左チャネルの周波数信号である。なお、LinRe(k,n)は、左チャネルの周波数信号のうちの実部を表し、LinIm(k,n)は、左チャネルの周波数信号のうちの虚部を表す。
同様に、RRe(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの実部を表し、RIm(k,n)は、右前方チャネルの周波数信号R(k,n)のうちの虚部を表す。またSRRe(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの実部を表し、SRIm(k,n)は、右後方チャネルの周波数信号SR(k,n)のうちの虚部を表す。そしてRin(k,n)は、ダウンミックスにより生成される右チャネルの周波数信号である。なお、RinRe(k,n)は、右チャネルの周波数信号のうちの実部を表し、RinIm(k,n)は、右チャネルの周波数信号のうちの虚部を表す。
さらに、CRe(k,n)は、中央チャネルの周波数信号C(k,n)のうちの実部を表し、CIm(k,n)は、中央チャネルの周波数信号C(k,n)のうちの虚部を表す。またLFERe(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの実部を表し、LFEIm(k,n)は、重低音チャネルの周波数信号LFE(k,n)のうちの虚部を表す。そしてCin(k,n)は、ダウンミックスにより生成される中央チャネルの周波数信号である。なお、CinRe(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの実部を表し、CinIm(k,n)は、中央チャネルの周波数信号Cin(k,n)のうちの虚部を表す。
【００１８】
さらに、第１ダウンミックス部１２は、ダウンミックスされる二つのチャネルの周波数信号間の空間情報として、音の定位を表す情報であるその周波数信号間の強度差と、音の広がりを表す情報であるその周波数信号間の類似度を周波数帯域ごとに算出する。第１ダウンミックス部１２が算出するこれらの空間情報は、3チャネル空間情報の一例である。本実施形態では、第１ダウンミックス部１２は、次式に従って左チャネルについての周波数帯域kの強度差CLDL(k)と類似度ICCL(k)を算出する。
【数３】
0005990954.tif 000004
ただしNは、１フレームに含まれる時間方向のサンプル点数であり、本実施形態では、Nは128である。またeL(k)は、左前方チャネルの周波数信号L(k,n)の自己相関値であり、eSL(k)は、左後方チャネルの周波数信号SL(k,n)の自己相関値である。またeLSL(k)は、左前方チャネルの周波数信号L(k,n)と左後方チャネルの周波数信号SL(k,n)との相互相関値である。
同様に、第１ダウンミックス部１２は、次式に従って右チャネルについての周波数帯域kの強度差CLDR(k)と類似度ICCR(k)を算出する。
【数４】
0005990954.tif 000005
eR(k)は、右前方チャネルの周波数信号R(k,n)の自己相関値であり、eSR(k)は、右後方チャネルの周波数信号SR(k,n)の自己相関値である。またeRSR(k)は、右前方チャネルの周波数信号R(k,n)と右後方チャネルの周波数信号SR(k,n)との相互相関値である。
さらに、第１ダウンミックス部１２は、次式に従って中央チャネルについての周波数帯域kの強度差CLDC(k)を算出する。
【数５】
0005990954.tif 000006
eC(k)は、中央チャネルの周波数信号C(k,n)の自己相関値であり、eLFE(k)は、重低音チャネルの周波数信号LFE(k,n)の自己相関値である。
【００１９】
第１ダウンミックス部１２は、3チャネルの周波数信号を生成する度に、その3チャネルの周波数信号を第２ダウンミックス部１３へ出力し、一方、空間情報を空間情報符号化部１５へ出力する。
【００２０】
第２ダウンミックス部１３は、第１ダウンミックス部１２から受け取った左チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの左側周波数信号を生成する。また第２ダウンミックス部１３は、第１ダウンミックス部１２から受け取った右チャネルの周波数信号と中央チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号のうちの右側周波数信号を生成する。
第２ダウンミックス部１３は、例えば、次式に従ってステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)を生成する。さらに第２ダウンミックス部１３は、符号帳に含まれる予測係数を選択するために利用される中央チャネルの信号Cp0(k,n)を次式に従って算出する。
【数６】
0005990954.tif 000007
ここで、Lin(k,n)、Rin(k,n)、Cin(k,n)は、それぞれ、第１ダウンミックス部１２により生成された左チャネル、右チャネル及び中央チャネルの周波数信号である。左側周波数信号Lp0(k,n)は、元のマルチチャネルオーディオ信号の左前方チャネル、左後方チャネル、中央チャネル及び重低音チャネルの周波数信号が合成されたものとなる。同様に、右側周波数信号Rp0(k,n)は、元のマルチチャネルオーディオ信号の右前方チャネル、右後方チャネル、中央チャネル及び重低音チャネルの周波数信号が合成されたものとなる。
【００２１】
第２ダウンミックス部１３は、ステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)をチャネル信号符号化部１６へ出力する。さらに、第２ダウンミックス部１３は、その左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)とともに、中央チャネルの周波数信号Cp0(k,n)を予測符号化部１４へ出力する。
【００２２】
予測符号化部１４は、周波数帯域ごとに、Lp0(k,n)及びRp0(k,n)を用いてCp0(k,n)を近似的に表す予測係数C1(k)、C2(k)を求める。そして予測符号化部１４は、その予測係数C1(k)、C2(k)の量子化値に対応するインデックス値を可変長符号化することにより、予測係数符号idxc1(k)、idxc2(k)を求める。そして予測符号化部１４は、予測係数符号idxc1(k)、idxc2(k)を空間情報符号化部１５へ出力する。さらに予測符号化部１４は、周波数帯域ごとに、予測係数C1(k)、C2(k)を求めるために利用した符号帳を表す符号帳選択情報を多重化部１７へ出力する。なお、予測符号化部１４の詳細については後述する。
【００２３】
空間情報符号化部１５は、第１ダウンミックス部１２から受け取った空間情報を符号化する。さらに空間情報符号化部１５は、符号化された空間情報とともに、予測符号化部１４から受け取った予測係数符号idxc1(k)、idxc2(k)を多重化することによりMPEG Surround符号（以下、MPS符号と呼ぶ）を生成する。
【００２４】
空間情報符号化部１５は、空間情報中の類似度の値とインデックス値の対応を示した量子化テーブルを参照する。そして空間情報符号化部１５は、量子化テーブルを参照することにより、各周波数帯域についてそれぞれの類似度ICCi(k)(i=L,R,0)と最も値が近いインデックス値を決定する。なお、量子化テーブルは、予め、空間情報符号化部１５が有するメモリに格納される。
【００２５】
図２は、類似度に対する量子化テーブルの一例を示す図である。図２に示す量子化テーブル２００において、上側の行２１０の各欄はインデックス値を表し、下側の行２２０の各欄は、同じ列のインデックス値に対応する類似度の代表値を表す。また、類似度が取りうる値の範囲は-0.99〜+1である。例えば、周波数帯域kに対する類似度が0.6である場合、量子化テーブル２００では、インデックス値3に対応する類似度の代表値が、周波数帯域kに対する類似度に最も近い。そこで、空間情報符号化部１５は、周波数帯域kに対するインデックス値を3に設定する。
【００２６】
次に、空間情報符号化部１５は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が3であり、周波数帯域(k-1)に対するインデックス値が0であれば、空間情報符号化部１５は、周波数帯域kに対するインデックスの差分値を3とする。
【００２７】
空間情報符号化部１５は、インデックス値の差分値と類似度符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部１５は、符号化テーブルを参照することにより、類似度ICCi(k)(i=L,R)の各周波数についてインデックス間の差分値に対する類似度符号idxicci(k)(i=L,R)を決定する。なお、符号化テーブルは、予め、空間情報符号化部１５が有するメモリに格納される。また、類似度符号は、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。
【００２８】
図３は、インデックスの差分値と類似度符号の関係を示すテーブルの一例を示す図である。この例では、類似度符号はハフマン符号である。図３に示す符号化テーブル３００において、左側の列の各欄はインデックスの差分値を表し、右側の列の各欄は、同じ行のインデックスの差分値に対応する類似度符号を表す。例えば、周波数帯域kの類似度ICCL(k)に対するインデックスの差分値が3である場合、空間情報符号化部１５は、符号化テーブル３００を参照することにより、周波数帯域kの類似度ICCL(k)に対する類似度符号idxiccL(k)を"111110"に設定する。
【００２９】
また空間情報符号化部１５は、強度差の値とインデックス値との対応関係を示した量子化テーブルを参照する。そして空間情報符号化部１５は、量子化テーブルを参照することにより、各周波数についての強度差CLDj(k)(j=L,R,C)と最も値が近いインデックス値を決定する。空間情報符号化部１５は、各周波数帯域について、周波数方向に沿ってインデックス間の差分値を求める。例えば、周波数帯域kに対するインデックス値が2であり、周波数帯域(k-1)に対するインデックス値が4であれば、空間情報符号化部１５は、周波数帯域kに対するインデックスの差分値を-2とする。
【００３０】
図４は、強度差に対する量子化テーブルの一例を示す図である。図４に示す量子化テーブル４００において、行４１０、４３０及び４５０の各欄はインデックス値を表し、行４２０、４４０及び４６０の各欄は、それぞれ、同じ列の行４１０、４３０及び４５０の各欄に示されたインデックス値に対応する強度差の代表値を表す。
例えば、周波数帯域kに対する強度差CLDL(k)が10.8dBである場合、量子化テーブル４００では、インデックス値5に対応する強度差の代表値がCLDL(k)に最も近い。そこで、空間情報符号化部１５は、CLDL(k)に対するインデックス値を5に設定する。
【００３１】
空間情報符号化部１５は、インデックス間の差分値と強度差符号の対応を示した符号化テーブルを参照する。そして空間情報符号化部１５は、符号化テーブルを参照することにより、強度差CLDj(k)の各周波数帯域kの差分値に対する強度差符号idxcldj(k)(j=L,R,C)を決定する。強度差符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。
なお、量子化テーブル及び符号化テーブルは、予め、空間情報符号化部１５が有するメモリに格納される。
【００３２】
空間情報符号化部１５は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び予測係数符号idxcm(k)を用いてMPS符号を生成する。例えば、空間情報符号化部１５は、類似度符号idxicci(k)、強度差符号idxcldj(k)及び予測係数符号idxcm(k)を所定の順序に従って配列することにより、MPS符号を生成する。この所定の順序については、例えば、ISO/IEC 23003-1:2007に記述されている。
空間情報符号化部１５は、生成したMPS符号を多重化部１７へ出力する。
【００３３】
チャネル信号符号化部１６は、第２ダウンミックス部１３から出力されたステレオ周波数信号を符号化する。そのために、チャネル信号符号化部１６は、SBR符号化部１６１と、周波数時間変換部１６２と、AAC符号化部１６３とを有する。
【００３４】
SBR符号化部１６１は、ステレオ周波数信号を受け取る度に、チャネルごとに、ステレオ周波数信号のうち、高周波数帯域に含まれる成分である高域成分を、SBR符号化方式にしたがって符号化する。これにより、SBR符号化部１６１は、SBR符号を生成する。
例えば、SBR符号化部１６１は、特開２００８−２２４９０２号公報に開示されているように、SBR符号化の対象となる高域成分と強い相関のある各チャネルの周波数信号の低域成分を複製する。なお、低域成分は、SBR符号化部１６１が符号化対象とする高域成分が含まれる高周波数帯域よりも低い低周波数帯域に含まれる各チャネルの周波数信号の成分であり、後述するAAC符号化部１６３により符号化される。そしてSBR符号化部１６１は、複製された高域成分の電力を、元の高域成分の電力と一致するように調整する。またSBR符号化部１６１は、元の高域成分のうち、低域成分との差異が大きく、低域成分を複写しても、高域成分を近似できない成分を補助情報とする。そしてSBR符号化部１６１は、複製に利用された低域成分と対応する高域成分の位置関係を表す情報と、電力調整量と補助情報を量子化することにより符号化する。
SBR符号化部１６１は、上記の符号化された情報であるSBR符号を多重化部１７へ出力する。
【００３５】
周波数時間変換部１６２は、ステレオ周波数信号を受け取る度に、各チャネルのステレオ周波数信号を時間領域のステレオ信号に変換する。例えば、時間周波数変換部１１がQMFフィルタバンクを用いる場合、周波数時間変換部１６２は、次式に示す複素型のQMFフィルタバンクを用いて各チャネルのステレオ周波数信号を周波数時間変換する。
【数７】
0005990954.tif 000008
ここでIQMF(k,n)は、時間n、周波数kを変数とする複素型のQMFである。
【００３６】
なお、時間周波数変換部１１が、高速フーリエ変換、離散コサイン変換、修正離散コサイン変換など、他の時間周波数変換処理を用いている場合、周波数時間変換部１６２は、その時間周波数変換処理の逆変換を使用する。
周波数時間変換部１６２は、各チャネルの周波数信号を周波数時間変換することにより得られた各チャネルのステレオ信号をAAC符号化部１６３へ出力する。
【００３７】
AAC符号化部１６３は、各チャネルのステレオ信号を受け取る度に、各チャネルの信号の低域成分をAAC符号化方式にしたがって符号化することにより、AAC符号を生成する。そこで、AAC符号化部１６３は、例えば、特開２００７−１８３５２８号公報に開示されている技術を利用できる。具体的には、AAC符号化部１６３は、受け取った各チャネルのステレオ信号を離散コサイン変換することにより、再度ステレオ周波数信号を生成する。そしてAAC符号化部１６３は、再生成したステレオ周波数信号から心理聴覚エントロピー（Perceptual Entropy、PE）を算出する。PEは、リスナーが雑音を知覚することがないようにそのブロックを量子化するために必要な情報量を表す。そしてこのPEは、打楽器が発する音のようなアタック音など、信号レベルが短時間で変化する音に対して大きな値となる特性を持つ。そこで、AAC符号化部１６３は、PEの値が比較的大きくなるフレームに対しては、窓を短くし、PEの値が比較的小さくなるブロックに対しては、窓を長くする。例えば、短い窓は、256個のサンプルを含み、長い窓は、2048個のサンプルを含む。AAC符号化部１６３は、決定された長さを持つ窓を用いて各チャネルのステレオ信号に対して修正離散コサイン変換（Modified Discrete Cosine Transform、MDCT）を実行することにより、各チャネルのステレオ信号をMDCT係数の組に変換する。
そしてAAC符号化部１６３は、MDCT係数の組を量子化し、その量子化されたMDCT係数の組を可変長符号化する。
AAC符号化部１６３は、可変長符号化されたMDCT係数の組と、量子化係数など関連する情報を、AAC符号として多重化部１７へ出力する。
【００３８】
多重化部１７は、AAC符号、SBR符号及びMPS符号を所定の順序に従って配列することにより多重化する。そして多重化部１７は、その多重化により生成された符号化オーディオ信号を出力する。
図５は、符号化されたオーディオ信号が格納されたデータ形式の一例を示す図である。この例では、符号化されたオーディオ信号は、MPEG-4 ADTS(Audio Data Transport Stream)形式に従って作成される。
図５に示される符号化データ列５００において、データブロック５１０にAAC符号は格納される。またADTS形式のFILLエレメントが格納されるブロック５２０の一部領域にSBR符号及びMPS符号が格納される。さらに、ブロック５２０には、予測符号化部１４により求められた符号帳選択情報も格納される。
【００３９】
次に、予測符号化部１４の詳細について説明する。図６は、予測符号化部１４の構成図である。予測符号化部１４は、予測誤差形状判定部１４１と、最小誤差予測係数算出部１４２と、符号帳選択部１４３と、予測係数符号化部１４４とを有する。
【００４０】
予測誤差形状判定部１４１は、第２ダウンミックス部１３から受け取った各チャネルの周波数信号に基づいて、予測係数C1(k)、C2(k)から算出される中央チャネルの周波数信号の予測値C'p0(k,n)とCp0(k,n)間の予測誤差の分布形状を判定する。この予測誤差の分布形状は、符号帳を選択するため、及び予測誤差dを最小化するために利用される。
【００４１】
本願の発明者は、予測値C'p0(k,n)と中央チャネルの信号Cp0(k,n)間の予測誤差の分布形状が、放物線柱面状あるいは楕円放物面状になることを見出した。そこで以下では、先ず、予測誤差の分布形状が放物線柱面状あるいは楕円放物面状になることについて説明する。
【００４２】
左側チャネルの予測係数C1(k)及び右側チャネルの予測係数C2(k)より、中央チャネルの信号の予測値C'p0(k,n)及び予測誤差d(k)は次式で定義される。
【数８】
0005990954.tif 000009
（１０）式を展開して整理すると、（１０）式は、次式のように、予測係数C1(k)及びC2(k)の二次曲線として表される。なお、以下では、簡単化のために、予測係数C1(k)、C2(k)及び予測誤差d(k)を、それぞれ単にc1、c2、dと表記する。また左側チャネルの周波数信号Lp0(k,n)、右側チャネルの周波数信号Rp0(k,n)及び中央チャネルの信号Cp0(k,n)を、それぞれ、単にL0、R0、C0と表記する。
【数９】
0005990954.tif 000010
なお、（１１）式において、関数Re(x)は、パラメータxの実数成分を出力する関数であり、関数Im(x)は、パラメータxの虚数成分を出力する関数である。
（１１）式において、予測係数c1、c2の係数及び定数項を以下のように定義する。
【数１０】
0005990954.tif 000011
上記の定義を用いることにより、（１１）式は以下のように表される。
【数１１】
0005990954.tif 000012
【００４３】
一般に、二次曲線は、放物線、双曲線、平行２直線、及び楕円のいずれかとなる。以下に、二次曲線が放物線、双曲線、平行２直線、及び楕円のそれぞれとなる条件について説明する。
例えば、（１３）式における各係数が以下の条件を満たす場合、（１３）式で表される２次曲線は放物線となる。
【数１２】
0005990954.tif 000013
また、（１３）式における各係数が次式の条件を満たす場合、（１３）式で表される２次曲線は双曲線となる。
【数１３】
0005990954.tif 000014
あるいは、（１３）式における各係数が次式の条件を満たす場合、（１３）式で表される２次曲線は平行２直線となる。
【数１４】
0005990954.tif 000015
あるいはまた、（１３）式における各係数が次式の条件を満たす場合、（１３）式で表される２次曲線は楕円となる。
【数１５】
0005990954.tif 000016
【００４４】
ここで、左側周波数信号Lp0(k,n)、右側周波数信号Rp0(k,n)、中央チャネルの周波数信号Cp0(k,n)の性質から、（１３）式における各係数が放物線となる条件及び双曲線となる条件を満たすことはない。
先ず、（１３）式における各係数が、（１４）式に示される放物線の条件を満たすことがない理由を説明する。
【００４５】
（１４）式において、γ=0と仮定する。γ=0の時、次式より全ての(k,n)において、右側周波数信号Rp0(k,n)=0が満たされることになる。
【数１６】
0005990954.tif 000017
そのため、次式より、ε=0となる。
【数１７】
0005990954.tif 000018
同様の計算により、α＝0と仮定した場合、δ＝0となる。したがって、（１４）式に示された条件は常に満たされることはない。
【００４６】
次に、（１３）式における各係数が、（１５）式に示される双曲線の条件を満たすことがない理由を説明する。（１４）式は、次式の通りに展開することができる。
【数１８】
0005990954.tif 000019
（２０）式は、コーシーシュワルツの不等式により、次式を満たすことになる。
【数１９】
0005990954.tif 000020
したがって、（１５）式に示される双曲線の条件は常に満たされることはない。
【００４７】
したがって、予測誤差dの分布形状の断面の二次曲線は、平行２直線または楕円のいずれかである。平行２直線を予測係数c1、c2に対する二次曲面として規定すると、予測誤差dの分布形状は放物線柱面（すなわち、放物線型）となる。一方、楕円を予測係数c1、c2に対する二次曲面として規定すると、予測誤差dの分布形状は楕円放物面（すなわち、楕円型）となる。
【００４８】
そこで、予測誤差形状判定部１４１は、左側周波数信号Lp0(k,n)、右側周波数信号Rp0(k,n)及び中央チャネルの周波数信号Cp0(k,n)に基づいて、（１６）式または（１７）式の何れの条件が満たされるか判定する。そして（１６）式に示される条件が満たされる場合、すなわち、(β2-αγ)＝0であれば、予測誤差形状判定部１４１は、予測誤差dの分布形状は放物線型であると判定する。これは、結局、以下の二つのケースの何れかに相当する。
・左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)の少なくとも何れかが全ての周波数帯域において0、すなわち、左側チャネルか右側チャネルが無音である場合
・左側周波数信号Lp0(k,n)と右側周波数信号Rp0(k,n)の内積が0、すなわち、左側周波数信号Lp0(k,n)と右側周波数信号Rp0(k,n)とが同相または逆相である場合
【００４９】
一方、（１７）式に示される条件が満たされる場合、すなわち、(β2-αγ)≠0であれば、予測誤差形状判定部１４１は、予測誤差dの分布形状は楕円型であると判定する。
【００５０】
予測誤差形状判定部１４１は、予測誤差dの分布形状の判定結果を最小誤差予測係数算出部１４２及び符号帳選択部１４３へ通知する。
【００５１】
最小誤差予測係数算出部１４２は、予測誤差dの分布形状の判定結果に基づいて、予測誤差が最小となる予測係数c1、c2を算出する。
【００５２】
先ず、予測誤差dの分布形状が放物線型になる場合の予測係数c1、c2の算出式について説明する。上記の（１６）式の条件が満たされる場合、以下に示す(i)〜(iii)の何れの条件が満たされることになる。
【数２０】
0005990954.tif 000021
ここで、（２２）式の条件（iii）が満たされる場合について説明する。条件（iii）の式は次式の通り表現することが可能である。
【数２１】
0005990954.tif 000022
ただし、sは任意の実数である。（２３）式を（１１）式の各項に代入すると、予測誤差dは次式の通り表現することが可能となる。
【数２２】
0005990954.tif 000023
（２４）式において、(c1+sc2)はc1とc2の一次式である。ここで、（２４）式の(c1+sc2)を変数zで置換し、左側周波数信号Lp0(k,n)、右側周波数信号Rp0(k,n)、中央チャネルの周波数信号Cp0(k,n)から一意的に定まる値を定数A、B、C、Dで置換すると、（２４）式は次式の一般的な放物線の式で表現できる。
【数２３】
0005990954.tif 000024
【００５３】
（１１）式より、f(L0,L0)は、左側周波数信号Lp0(k,n)の絶対値の二乗の(k,n)についての総和となるので、常に正の値を有する。そのため、上記の（２４）式において、予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す放物線柱面の予測誤差の分布形状は、c1-c2平面に対して最小値を有することになる。
【００５４】
図７は予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す放物線柱面状の予測誤差の分布の概念図である。図７において、各座標軸は、それぞれ、予測係数c1、c2及び予測誤差dに対応する。３次元グラフ７００は、予測誤差dの分布を表す。３次元グラフ７００に示されるように、予測誤差dの最小値は、c1-c2平面において直線上に存在し、その直線から放物線上に予測誤差dが大きくなる。なお、放物線型の最小値は次式で表現される直線状となる。
【数２４】
0005990954.tif 000025
【００５５】
なお、全ての(k,n)においてLp0(k,n)=0である場合には、f(L0,L0)は正の値でなく0となる。しかし、この場合には、上記の（２２）式における上記(i)が満たされることになる。したがって、（２２）式の条件(iii)が満たされる場合には、f(L0,L0)は常に正の値となる。
【００５６】
また、（２２）式における条件(i)が満たされる場合は、放物線型の予測誤差の最小値は次式で表現される直線状となる。
【数２５】
0005990954.tif 000026
ただし、この場合において、予測係数c1は任意の値を持つ。一方、（２２）式における条件(ii)が満たされる場合は、放物線型の予測誤差の最小値は次式で表現される直線状となる。
【数２６】
0005990954.tif 000027
ただし、この場合において、予測係数c2は任意の値を持つ。
【００５７】
したがって、最小誤差予測係数算出部１４２は、予測誤差dの分布形状が放物線型である場合、（２２）式の条件(i)〜(iii)のうちの満たされる条件に従って、予測誤差dが最小となる予測係数c1min、c2minを算出する。すなわち、（２２）式の条件(i)が満たされる場合、最小誤差予測係数算出部１４２は、（２７）式に従って予測係数c1min、c2minを算出する。また、（２２）式の条件(ii)が満たされる場合、最小誤差予測係数算出部１４２は、（２８）式に従って予測係数c1min、c2minを算出する。あるいは、（２２）式の条件(iii)が満たされる場合、最小誤差予測係数算出部１４２は、（２６）式に従って予測係数c1min、c2minを算出する。
【００５８】
また、予測誤差dの分布形状が楕円型である場合、予測誤差dが最小となるのは、（１０）式を予測係数c1、c2でそれぞれ偏微分した値が0となる場合となる。そのため、最小誤差予測係数算出部１４２は、予測誤差dの分布形状が楕円型である場合、次式に従って、予測誤差dが最小となる予測係数c1min、c2minを算出する。
【数２７】
0005990954.tif 000028
【００５９】
図８は予測係数c1、c2ならびに予測誤差dをそれぞれ互いに直交する座標軸で表す楕円放物面状の予測誤差の分布の概念図である。図８において、各座標軸は、それぞれ、予測係数c1、c2及び予測誤差dに対応する。３次元グラフ８００は、予測誤差dの分布を表す。３次元グラフ８００に示されるように、予測誤差dの最小値は、c1-c2平面において１点となり、その点から楕円状に予測誤差dが大きくなる。
【００６０】
最小誤差予測係数算出部１４２は、予測誤差dが最小値となるときの予測係数c1min、c2minを符号帳選択部１４３へ出力する。
【００６１】
符号帳選択部１４３は、予め準備された各予測係数の符号帳の中から、予測誤差dの分布形状、及び、予測誤差dが最小値となるときの予測係数c1min、c2minに基づいて、予測係数c1、c2の量子化値を決定するために利用される符号帳を選択する。
【００６２】
上記のように、予測係数c1、c2の量子化値の数が増えるほど、その予測係数c1、c2に割り当てられる符号の数も増える。そのため、各符号の直交性を保つためには、符号の数が増えるほど、符号の長さの平均値も増大し、その結果として符号化効率が低下する。そのため、符号帳に規定される予測係数c1、c2の量子化値の範囲は限られたものとなる。そのため、予測誤差dが最小となるときの予測係数c1min、c2minの値が、符号帳で規定されたc1、c2の量子化値の範囲から外れることがある。このような場合、その量子化値の範囲内の全ての量子化値に対してそれぞれ符号を割り当てても、使用されない符号が増えるだけであり、冗長となる。そこで本実施形態では、符号帳選択部１４３は、予測係数c1min、c2minのうちの一方が、符号帳に規定された予測係数の量子化値の範囲から外れる場合、または、その一方が予測誤差dに影響しない場合、他方の予測係数についての符号帳のみを選択する。
【００６３】
先ず、予測誤差dの分布形状が楕円型である場合について説明する。
図９は、予測誤差dの分布形状が楕円型である場合における、予測誤差dが最小となるときの予測係数c1min、c2minと予測係数c1、c2の量子化値の範囲との位置関係を表す概念図である。図９において、予測係数c1、c2の量子化値の範囲９００は、予測係数c1、c2をそれぞれ互いに直交する座標軸とするc1-c2平面上に表される。そしてc1t、c1bは、それぞれ、符号帳に規定される予測係数c1の量子化値の上限値及び下限値を表す。またc2t、c2bは、それぞれ、符号帳に規定される予測係数c2の量子化値の上限値及び下限値を表す。
【００６４】
予測誤差曲面９０１〜９０５は、それぞれ、予測誤差dの分布を表す予測誤差曲面の一例である。例えば、予測係数c1minが実際に符号化される予測係数c1の量子化値の上限値よりも大きい場合の予測誤差曲面９０１は予測係数c1の上限値c1tに沿った直線上の点９１１において範囲９００と接する。したがって、予測係数c1に関しては、実際に符号化されるのはその上限値c1tとなる。そのため、符号帳としては、予測係数c2のみが規定されればよい。同様に、予測係数c1min及びc2minのうちの少なくとも一方が符号帳に規定される量子化値の範囲９００から外れる予測誤差曲面９０２〜９０４も、範囲９００の境界上の点９１２〜９１４で範囲９００と接する。一方、予測係数c1min及びc2minの両方が範囲９００に含まれる予測誤差曲面９０５は、(c1min,c2min)そのものにて範囲９００と接する。
【００６５】
図１０は、予測誤差dの分布形状が楕円型である場合における、符号帳に規定された予測係数の量子化値の範囲と予測誤差曲面との接点と、選択される符号帳との関係を示す図である。図１０は、図９に示したc1-c2平面を上から見た図である。予測誤差曲面と予測係数c1、c2の量子化値の範囲１０００との接点１００１が予測係数c1の量子化値の上限値c1tに沿った直線上にある場合、選択される符号帳には、範囲１０１０で示されるように、予測係数c2の複数の量子化値のみが含まれる。また、予測誤差曲面と予測係数c1、c2の値の範囲１０００との接点１００２が予測係数c2の量子化値の下限値c2bに沿った直線上にある場合、選択される符号帳には、範囲１０１１で示されるように、予測係数c1の複数の量子化値のみが含まれる。一方、予測誤差曲面の最小値が範囲１０００内である場合、選択される符号帳には、その範囲１０００内の予測係数c1、c2の両方の量子化値が含まれる。
【００６６】
図１１は、予測誤差dの分布形状が楕円型である場合の符号帳選択処理の動作フローチャートである。符号帳選択部１４３は、予測誤差dの分布形状が楕円型と判定された各フレームの周波数帯域ごとに、この動作フローチャートに従って使用する符号帳を選択する。
符号帳選択部１４３は、予測誤差dが最小となるときの予測係数の組(c1min,c2min)が、各予測係数の符号帳に規定される予測係数の量子化値の範囲内に含まれるか否か判定する（ステップＳ１０１）。
予測係数の組(c1min,c2min)の少なくとも一方が、予測係数の量子化値の範囲から外れる場合（ステップＳ１０１−Ｎｏ）、符号帳選択部１４３は、予測誤差曲面と予測係数の量子化値の範囲との接点を求める（ステップＳ１０２）。なお、符号帳選択部１４３は、（１０）式において、予測係数c1min、c2minのうちの量子化値の範囲から外れるものについて、予測係数の値をその量子化値の上限、下限のうちの近い方の値に設定する。例えば、予測係数c1minが量子化値の範囲の下限を下回る場合、符号帳選択部１４３は、予測係数c1をその下限値c1bに設定する。そして符号帳選択部１４３は、他方をその取り得る値のうちで変化させたときに予測誤差dが最小となるときの予測係数の組(c1c,c2c)を接点とする。
【００６７】
次に、符号帳選択部１４３は、|c1c-c1min|が|c2c-c2min|より大きいか否か判定する（ステップＳ１０３）。|c1c-c1min|が|c2c-c2min|より大きい場合（ステップＳ１０３−Ｙｅｓ）、符号帳選択部１４３は、c1cは、予測係数c1についての量子化値の範囲の上限または下限となっている。そこで符号帳選択部１４３は、予測係数c2についての符号帳のみを選択する（ステップＳ１０４）。一方、|c1c-c1min|が|c2c-c2min|以下である場合（ステップＳ１０３−Ｎｏ）、符号帳選択部１４３は、予測係数c1についての符号帳のみを選択する（ステップＳ１０５）。
【００６８】
一方、ステップＳ１０１にて、予測係数の組(c1min,c2min)の何れも、符号帳に規定される量子化値の上限と下限の間に含まれる場合（ステップＳ１０１−Ｙｅｓ）、符号帳選択部１４３は、予測係数c1及びc2の両方の符号帳を選択する（ステップＳ１０６）。
ステップＳ１０４、Ｓ１０５またはＳ１０６の後、符号帳選択部１４３は、符号帳選択処理を終了する。
【００６９】
次に、予測誤差dの分布形状が放物線型である場合における符号帳の選択について説明する。
図１２は、予測誤差dの分布形状が放物線型である場合における、予測誤差dの最小値に対応する予測係数の組(c1min,c2min)と予測係数の量子化値の範囲との関係を示す図である。
直線１２０１は、（２２）式の条件(i)が満たされ、（２７）式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c1minは任意であり、直線１２０１は、予測係数c1の軸と平行になるので、予測係数c2のみが符号化されればよい。したがって、符号帳選択部１４３は、予測係数c2についての符号帳のみを選択すればよい。一方、直線１２０２は、（２２）式の条件(ii)が満たされ、（２８）式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c2minは任意であり、直線１２０２は、予測係数c2の軸と平行になるので、予測係数c1のみが符号化されればよい。したがって、符号帳選択部１４３は、予測係数c1についての符号帳のみを選択すればよい。
【００７０】
また、直線１２０３は、（２２）式の条件(iii)が満たされ、（２６）式に従って算出される予測係数の組(c1min,c2min)を表す。この場合、予測係数c1minに応じて予測係数c2minも変化する。そのため符号帳選択部１４３は、予測係数c1及びc2の両方の符号帳を選択する。
【００７１】
図１３は、予測誤差dの分布形状が放物線型である場合の符号帳選択処理の動作フローチャートである。符号帳選択部１４３は、予測誤差dの分布形状が放物線型と判定された各フレームの周波数帯域ごとに、この動作フローチャートに従って使用する符号帳を選択する。
符号帳選択部１４３は、予測誤差dが最小となる予測係数(c1min,c2min)同士の関係を表す直線Lが予測係数c2の軸と平行か否か、すなわち、（２８）式に従って算出されたものか否か判定する（ステップＳ２０１）。直線Lが予測係数c2の軸と平行である場合（ステップＳ２０１−Ｙｅｓ）、符号帳選択部１４３は、予測係数c1についての符号帳のみを選択する（ステップＳ２０２）。
【００７２】
一方、直線Lが予測係数c2の軸と平行でない場合（ステップＳ２０１−Ｎｏ）、符号帳選択部１４３は、直線Lが予測係数c1の軸と平行か否か、すなわち、（２７）式に従って算出されたものか否か判定する（ステップＳ２０３）。直線Lが予測係数c1の軸と平行である場合（ステップＳ２０３−Ｙｅｓ）、符号帳選択部１４３は、予測係数c2についての符号帳のみを選択する（ステップＳ２０４）。
【００７３】
一方、直線Lが予測係数c1の軸と平行でない場合（ステップＳ２０３−Ｎｏ）、符号帳選択部１４３は、予測係数c1及びc2の両方の符号帳を選択する（ステップＳ２０５）。
ステップＳ２０２、Ｓ２０４またはＳ２０５の後、符号帳選択部１４３は、符号帳選択処理を終了する。
【００７４】
符号帳選択部１４３は、周波数帯域ごとに、選択した符号帳を表す符号帳選択情報を予測係数符号化部１４４へ通知する。例えば、符号帳選択情報は、例えば、2ビットで表される。そして符号帳選択情報が'11'のとき、両方の予測係数に対する符号帳が選択されたことを表す。また符号帳選択情報が'01'のとき、予測係数c1に対する符号帳が選択されたことを表し、'10'のとき、予測係数c2に対する符号帳が選択されたことを表す。
【００７５】
予測係数符号化部１４４は、選択された符号帳に従って、予測係数を符号化する。例えば、予測係数符号化部１４４は、その符号帳に含まれる複数の予測係数の量子化値のうち、予測誤差dを最小化できる量子化値を選択する。そして予測係数符号化部１４４は、選択した量子化値に対応するインデックス値を求める。
【００７６】
図１４は、予測係数の量子化値を格納した符号帳の一例を示す図である。図１４に示されるように、符号帳１４００では、二つの行が一組となって予測係数の量子化値が表されている。左端の列に"idx"と示された行１４１０、１４２０、１４３０、１４４０及び１４５０の各欄の数値は、インデックス値を表す。また左端の列に"C[idx]"と示された行１４１５、１４２５、１４３５、１４４５及び１４５５の各欄の数値は、一つ上のインデックス値に対応する予測係数の量子化値を表す。例えば、欄１４０１には、インデックス値として'-20'が格納されている。そして欄１４０２には、インデックス値'-20'に対応する予測係数の量子化値'-2.0'が格納されている。
【００７７】
例えば、周波数帯域kに対する予測係数c1が1.21である場合、符号帳１４００では、インデックス値'12'に対応する予測係数の量子化値がc1に最も近い。そこで、予測係数符号化部１４４は、c1に対するインデックス値を'12'に設定する。
【００７８】
以下、予測誤差dの分布形状が楕円型である場合と放物線型である場合とに分けて、予測係数の量子化値及び対応するインデックス値の決定方法について説明する。
先ず、予測誤差dの分布形状が楕円型である場合におけるその量子化値及びインデックス値の決定方法について説明する。
【００７９】
予測誤差dの最小値に対応する予測係数の組(c1min,c2min)の両方が符号帳に規定される予測係数の量子化値の範囲内に含まれる場合、予測係数符号化部１４４は、(c1min,c2min)のそれぞれについて、対応する符号帳を参照して最も近い量子化値を求めればよい。そして予測係数符号化部１４４は、符号帳を参照して、各予測係数の量子化値に対応するインデックス値を決定する。
【００８０】
一方、予測誤差dの最小値に対応する予測係数の組(c1min,c2min)が符号帳に規定される予測係数の量子化値の範囲から外れる場合、予測係数符号化部１４４は、（１０）式に基づいて、予測誤差曲面と予測係数の量子化値の範囲の境界との接点(c1c,c2c)を求める。あるいは、予測係数符号化部１４４は、符号帳選択部１４３から接点(c1c,c2c)を受け取ってもよい。
【００８１】
予測係数符号化部１４４は、予測係数c2についての符号帳のみが選択されている場合、すなわち、接点(c1c,c2c)が予測係数c1の下限値または上限値に沿った直線上にある場合には、予測係数c2についての符号帳を参照する。そして予測係数符号化部１４４は、接点における予測係数c2cに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。なお、c1minが予測係数c1の量子化値の範囲の上限c1tよりも大きい場合には、予測係数符号化部１４４は、予測係数c1について、その量子化値の範囲の上限c1tに対応するインデックス値を求める。
一方、c1minが予測係数c1の量子化値の範囲の下限c1bよりも小さい場合には、予測係数符号化部１４４は、予測係数c1について、その量子化値の範囲の下限c1bに対応するインデックス値を求める。
あるいは、c1minが予測係数c1の量子化値の範囲の上限c1tよりも大きい場合、予測係数符号化部１４４は、予測係数c1について、隣接する周波数帯域についてのインデックス値と同じインデックス値に設定してもよい。またc1minが予測係数c1の量子化値の範囲の下限c1bよりも小さい場合には、予測係数符号化部１４４は、予測係数c1について、隣接する周波数帯域についてのインデックス値に1を加算したインデックス値に設定してもよい。
【００８２】
同様に、予測係数符号化部１４４は、予測係数c1についての符号帳のみが選択されている場合、すなわち、接点(c1c,c2c)が予測係数c2の下限値または上限値に沿った直線上にある場合には、予測係数c1についての符号帳を参照する。そして予測係数符号化部１４４は、接点における予測係数c1cに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。
一方、予測係数c2については、予測係数符号化部１４４は、予測係数c2の量子化値の範囲の上限c2t及び下限c2bのうちのc2minに近い方に対応するインデックス値を求める。
あるいは、c2minが予測係数c2の量子化値の範囲の上限c2tよりも大きい場合、予測係数符号化部１４４は、予測係数c2について、隣接する周波数帯域についてのインデックス値と同じインデックス値に設定してもよい。またc2minが予測係数c2の量子化値の範囲の下限c2bよりも小さい場合には、予測係数符号化部１４４は、予測係数c2について、隣接する周波数帯域についてのインデックス値に1を加算したインデックス値に設定してもよい。
【００８３】
次に、予測誤差dの分布形状が放物線型である場合におけるその量子化値及びインデックス値の決定方法について説明する。
予測誤差dの最小値に対応する予測係数(c1min,c2min)同士の関係を表す直線Lが（２８）式に従って算出されており、その直線Lが予測係数c2の軸と平行であれば、予測係数符号化部１４４は、予測係数c1についての符号帳を参照する。そして予測係数符号化部１４４は、c1minに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。予測係数c2minについては任意なので、予測係数符号化部１４４は、予測係数c2の符号化値を省略する。そのため、予測係数c2についてのインデックス値を設定しない。あるいは、予測係数符号化部１４４は、予測係数c2について適当なインデックス値を設定してもよい。例えば、予測係数符号化部１４４は、予測係数c2について、隣接する周波数帯域について求められたインデックス値と同じインデックス値に設定する。
【００８４】
また、予測誤差dの最小値に対応する予測係数 (c1min,c2min)同士の関係を表す直線Lが（２７）式に従って算出されており、その直線Lが予測係数c1の軸と平行であれば、予測係数符号化部１４４は、予測係数c2についての符号帳を参照する。そして予測係数符号化部１４４は、c2minに最も近い量子化値を選択し、その選択した量子化値に対応するインデックス値を求める。予測係数c1minについては任意なので、予測係数符号化部１４４は、予測係数c1の符号化値を省略する。そのため、予測係数c1についてのインデックス値を設定しない。あるいは、予測係数符号化部１４４は、予測係数c1について適当なインデックス値を設定してもよい。例えば、予測係数符号化部１４４は、予測係数c1について、隣接する周波数帯域について求められたインデックス値と同じインデックス値に設定する。
【００８５】
さらに、予測誤差dの最小値に対応する予測係数(c1min,c2min)同士の関係を表す直線Lが（２６）式に従って算出されている場合には、予測係数符号化部１４４は、符号帳に規定された予測係数c1及びc2の量子化値の範囲内にある直線L上の任意の点を選択する。そして予測係数符号化部１４４は、選択した点に最も近い、c1の量子化値及びc2の量子化値を選択し、それぞれ、その量子化値に対応するインデックス値を求める。
【００８６】
なお、直線Lと予測係数c1及びc2の量子化値の範囲が重ならないこともある。この場合には、予測係数符号化部１４４は、予測係数c1及びc2の量子化値の上限値と下限値の組み合わせからなる4個の点のうち、直線Lに最も近い点を求める。そして予測係数符号化部１４４は、その最も近い点であるc1及びc2の量子化値に対応するインデックス値をそれぞれ求める。なお、各点と直線Lとの距離の算出方法は既知なので、その詳細な説明は省略する。
【００８７】
予測係数符号化部１４４は、各予測係数について、周波数方向に沿って隣接する周波数帯域のインデックス間の差分値を求める。例えば、周波数帯域kに対する予測係数c1のインデックス値が'2'であり、周波数帯域(k-1)に対する予測係数c1のインデックス値が'4'であれば、予測係数符号化部１４４は、周波数帯域kに対する予測係数c1のインデックスの差分値を'-2'とする。ただし、予測係数符号化部１４４は、隣接する周波数帯域について符号帳が選択されていない予測係数については、符号帳が選択されている最も近い周波数帯域のインデックス値からの差分値を求めてもよい。
【００８８】
予測係数符号化部１４４は、インデックス間の差分値と予測係数符号の対応を示した符号化テーブルを参照する。そして予測係数符号化部１４４は、符号化テーブルを参照することにより、各周波数帯域について、その差分値に対する予測係数符号idxcm(k)(m=1,2)を決定する。予測係数符号は、類似度符号と同様に、例えば、ハフマン符号あるいは算術符号など、出現頻度が高い差分値ほど符号長が短くなる可変長符号とすることができる。特に、符号帳が選択されていない予測係数についてのインデックス値を、隣接する周波数帯域のインデックス値と等しいか1加算した値に設定すると、その差分値も、出現頻度が高い0か1となる。そのため、符号帳が選択されていない予測係数についての予測係数符号を短くできる。
なお、各予測係数の符号帳及び符号化テーブルは、予め、予測符号化部１４が有するメモリに格納される。
【００８９】
予測係数符号化部１４４は、予測係数符号idxcm(k)(m=1,2)を空間情報符号化部１５へ出力する。
さらに、予測係数符号化部１４４は、符号帳選択情報も、例えば、ハフマン符号あるいは算術符号を用いて可変長符号化してもよい。そして予測係数符号化部１４４は、符号化された符号帳選択情報を多重化部１７へ出力する。
【００９０】
なお、変形例によれば、予測係数符号化部１４４は、各周波数帯域のインデックス値そのものを可変長符号化することにより、各周波数帯域の予測係数符号を求めてもよい。この場合、符号帳を用いずにインデックス値が決定された予測係数については、その予測係数の上限値及び下限値の何れかに対応するインデックス値しか取り得ない。そのため、取り得るインデックス値は2通りしかないので、予測係数符号も短くて済む。
【００９１】
図１５は、オーディオ符号化処理の動作フローチャートを示す。なお、図１５に示されたフローチャートは、１フレーム分のマルチチャネルオーディオ信号に対する処理を表す。オーディオ符号化装置１は、マルチチャネルオーディオ信号を受信し続けている間、フレームごとに図１５に示されたオーディオ符号化処理の手順を繰り返し実行する。
【００９２】
時間周波数変換部１１は、各チャネルの信号を周波数信号に変換する（ステップ３０１）。時間周波数変換部１１は、各チャネルの周波数信号を第１ダウンミックス部１２へ出力する。
【００９３】
次に、第１ダウンミックス部１２は、各チャネルの周波数信号をダウンミックスすることにより右、左、中央の3チャネルの周波数信号を生成する。さらに第１ダウンミックス部１２は、右、左、中央の各チャネルの空間情報を算出する（ステップＳ３０２）。第１ダウンミックス部１２は、3チャネルの周波数信号を第２ダウンミックス部１３へ出力する。また第１ダウンミックス部１２は、空間情報を空間情報符号化部１５へ出力する。
【００９４】
第２ダウンミックス部１３は、第１ダウンミックス部１２から受け取った3チャネルの周波数信号をダウンミックスすることにより、ステレオ周波数信号と、予測符号化用の中央チャネルの信号を生成する（ステップＳ３０３）。そして第２ダウンミックス部１３は、ステレオ周波数信号をチャネル信号符号化部１６へ出力する。さらに、第２ダウンミックス部１３は、ステレオ周波数信号とともに、中央チャネルの信号を予測符号化部１４へ出力する。
【００９５】
予測符号化部１４の予測誤差形状判定部１４１は、ステレオ周波数信号及び中央チャネルの信号に基づいて、予測誤差の分布形状を判定する（ステップＳ３０４）。そして予測符号化部１４の最小誤差予測係数算出部１４２は、予測誤差の分布形状に応じて予測誤差が最小値となる予測係数の組(c1min,c2min)を算出する（ステップＳ３０５）。さらに予測符号化部１４の符号帳選択部１４３は、予測誤差の分布形状が楕円型か否か判定する（ステップＳ３０６）。予測誤差の分布形状が楕円型である場合（ステップＳ３０６−Ｙｅｓ）、符号帳選択部１４３は、図１１に示した動作フローに従って、楕円型に対応する符号帳選択処理を実行する（ステップＳ３０７）。一方、予測誤差の分布形状が放物線型である場合（ステップＳ３０６−Ｎｏ）、符号帳選択部１４３は、図１３に示した動作フローに従って、放物線型に対応する符号帳選択処理を実行する（ステップＳ３０８）。
【００９６】
ステップＳ３０７またはＳ３０８の後、予測符号化部１４の予測係数符号化部１４４は、選択された符号帳に従って予測係数c1、c2を符号化する（ステップＳ３０９）。そして予測符号化部１４は、符号化された予測係数を空間情報符号化部１５へ渡す。さらに、予測係数符号化部１４４は、符号帳選択情報も符号化して、その符号化された符号帳選択情報を多重化部１７へ出力してもよい。
【００９７】
空間情報符号化部１５は、第１ダウンミックス部１２から受け取った空間情報を符号化し、その符号化された空間情報と符号化された予測係数を多重化することによりMPS符号を生成する（ステップＳ３１０）。そして空間情報符号化部１５は、そのMPS符号を多重化部１７へ出力する。
【００９８】
一方、チャネル信号符号化部１６は、受け取った各チャネルのステレオ周波数信号のうち、低域成分をAAC符号化する。またチャネル信号符号化部１６は、受け取った各チャネルのステレオ周波数信号のうち、AAC符号化されない高域成分をSBR符号化する（ステップＳ３１１）。そしてチャネル信号符号化部１６は、SBR符号とAAC符号とを多重化部１７へ出力する。
【００９９】
最後に、多重化部１７は、生成されたSBR符号、AAC符号、MPS符号及び符号帳選択情報を多重化することにより、符号化されたオーディオ信号を生成する（ステップＳ３１２）。
多重化部１７は、符号化されたオーディオ信号を出力する。そしてオーディオ符号化装置１は、符号化処理を終了する。
なお、オーディオ符号化装置１は、ステップＳ３１１の処理とステップＳ３０４〜Ｓ３１０の処理を並列に実行してもよい。あるいは、オーディオ符号化装置１は、ステップＳ３０４〜Ｓ３１０の処理を行う前にステップＳ３１０の処理を実行してもよい。
【０１００】
以上に説明してきたように、このオーディオ符号化装置は、中央チャネルの周波数信号の予測値を二つのステレオ周波数信号で表すための二つの予測係数を符号化する。その際に、このオーディオ符号化装置は、予測誤差を最小にする各予測係数のうち、符号帳に規定された量子化値の範囲に含まれるか、予測誤差に影響するものについてのみ符号帳を利用して符号化する。そのため、このオーディオ符号化装置は、予測係数の符号の組み合わせの数を減らすことができるので、予測係数の符号に割り当てるビット量を削減できる。例えば、二つの予測係数の符号帳のそれぞれが、51個の量子化値を有しているとする。そして予測符号化部１４が各量子化値に対応するインデックス値を直接符号化する場合、二つの予測係数符号の組み合わせの数は全部で2601個となる。これに対し、一方の予測係数について符号帳が選択されず、予測誤差形状が放物線型である場合のように全く符号化されなければ、予測係数符号の数は51個で済む。また、予測誤差形状が楕円型の場合であっても、符号帳が選択されない方の予測係数については、量子化値の上限値または下限値の何れかであることだけが分かればよいので、二つの予測係数符号の組み合わせの数は全部で102個で済む。その結果として、このオーディオ符号化装置は、マルチチャネルオーディオ信号の全体の符号化データ量を削減することができる。あるいは、このオーディオ符号化装置は、予測係数の符号に割り当てるデータ量が少なくなった分だけ、他の符号、例えば、AAC符号に割り当てることで、マルチチャネルオーディオ信号の全体の符号化データ量を増加させずに、再生音質を向上できる。
【０１０１】
なお、本発明は上記の実施形態に限定されるものではない。変形例によれば、予測符号化部１４は、一方の予測係数についてのみ符号帳を選択した場合、符号帳が選択されなかった方の予測係数が量子化値の上限値か下限値かを表す境界情報を符号帳選択情報とともに多重化部１７へ出力してもよい。例えば、境界情報には1ビットが割り当てられ、その1ビットは、予測係数が上限値となる場合に'1'、予測係数が下限値となる場合に'0'の値をとる。予測符号化部１４は、一方の予測係数の符号帳のみが選択される場合に限り、この境界情報を多重化部１７へ出力してもよい。さらに予測符号化部１４は、符号帳選択情報と境界情報とをさらに可変長符号化してから多重化部１７へ出力してもよい。この変形例では、予測符号化部１４の予測係数符号化部１４４は、符号帳が選択されなかった方の予測係数符号を出力しなくてもよい。
【０１０２】
さらに他の実施形態によれば、オーディオ符号化装置のチャネル信号符号化部は、ステレオ周波数信号を他の符号化方式に従って符号化してもよい。例えば、チャネル信号符号化部は、周波数信号全体をAAC符号化方式にしたがって符号化してもよい。この場合、図１に示されたオーディオ符号化装置において、SBR符号化部は省略される。
【０１０３】
また、符号化の対象となるマルチチャネルオーディオ信号は、5.1chオーディオ信号に限られない。例えば、符号化の対象となるオーディオ信号は、3ch、3.1chまたは7.1chなど、複数のチャネルを持つオーディオ信号であってもよい。この場合も、オーディオ符号化装置は、各チャネルのオーディオ信号を時間周波数変換することにより、各チャネルの周波数信号を算出する。そしてオーディオ符号化装置は、各チャネルの周波数信号をダウンミックスすることにより、3チャネルの周波数信号を生成する。そして、オーディオ符号化装置は、その3チャネルのうちの一つを、他の二つのチャネルの周波数信号を用いて予測符号化する際に、上記の実施形態と同様に符号帳を選択すればよい。
【０１０４】
次に、上記の実施形態またはその変形例によるオーディオ符号化装置にて符号化されたオーディオデータを復号するオーディオ復号装置について説明する。
図１６は、一実施形態によるオーディオ復号装置の概略構成図である。オーディオ復号装置２は、分離部２１と、チャネル信号復号部２２と、符号帳選択情報復号部２３と、予測係数復号部２４と、予測復号部２５と、空間情報復号部２６と、アップミックス部２７と、周波数時間変換部２８とを有する。
【０１０５】
分離部２１は、符号化されたオーディオ信号を含むデータストリームから、符号化されたオーディオ信号が格納されたデータ形式にしたがって、AAC符号、SBR符号などのチャネル信号符号と、MBS符号と、符号化された符号帳選択情報とを取り出す。さらに分離部２１は、MBS符号から、空間情報の符号と予測係数符号とを分離する。そして分離部２１は、チャネル信号符号をチャネル信号復号部２２へ出力し、符号化された符号帳選択情報を符号帳選択情報復号部２３へ出力する。さらに分離部２１は、予測係数符号を予測係数復号部２４へ出力し、空間情報符号を空間情報復号部２６へ出力する。
【０１０６】
チャネル信号復号部２２は、受け取ったチャネル信号符号を復号する。その際、チャネル信号復号部２２は、オーディオ符号化装置１のチャネル信号符号化部１６による符号化処理と逆の処理を実行することでチャネル信号符号を復号して、ステレオ周波数信号の各チャネルの信号を再生する。すなわち、チャネル信号復号部２２は、AAC符号についてはAAC符号に対する復号処理を実行して左側チャネル及び右側チャネルの低周波数成分を再生する。そしてチャネル信号復号部２２は、左側チャネル及び右側チャネルの低周波数成分を時間周波数変換することにより、左側チャネル及び右側チャネルの周波数信号の低周波数成分を得る。
またチャネル信号復号部２２は、SBR符号についてはSBR符号に対する復号処理を実行して左側チャネル及び右側チャネルの周波数信号の高周波数成分を復号する。そしてチャネル信号復号部２２は、チャネルごとに、その低周波数成分と高周波数成分とを合成することで、ステレオ周波数信号の左側周波数信号Lp0(k,n)及び右側周波数信号Rp0(k,n)を再生する。そしてチャネル信号復号部２２は、再生したステレオ周波数信号を予測復号部２５へ出力する。
【０１０７】
符号帳選択情報復号部２３は、符号化された符号帳選択情報を復号する。例えば、符号帳選択情報復号部２３は、符号帳選択情報の各値と、その値ごとに割り当てられているハフマン符号との対応関係を表す参照テーブルを参照して、ハフマン符号に対応する符号帳選択情報の値を復号する。そして符号帳選択情報復号部２３は、復号された符号帳選択情報を予測係数復号部２４へ通知する。なお、この参照テーブルは、例えば、符号帳選択情報復号部２３が有するメモリに予め記憶される。
【０１０８】
予測係数復号部２４は、周波数帯域ごとに、左右それぞれのチャネルの予測係数符号と予測係数のインデックス値との対応関係を表すテーブルを参照して、予測係数符号に対応するインデックス値を再生する。そして予測係数復号部２４は、周波数帯域ごとに、通知された符号帳選択情報に従って選択されている符号帳を予測係数復号部２４が有するメモリから読み込む。そして予測係数復号部２４は、その符号帳に規定された複数の量子化値のうち、インデックス値に対応する予測係数の量子化値を特定する。また予測係数復号部２４は、符号帳が選択されていない予測係数についての予測係数符号については、その予測係数符号と予測係数の量子化値の上限値または下限値との対応を表すテーブルを参照して、その量子化値の上限値または下限値を求める。
【０１０９】
また、予測係数符号として、隣接する周波数帯域間のインデックスの差分値がハフマン符号化されている場合には、予測係数復号部２４は、その差分値とハフマン符号との対応関係を表すテーブルを参照してインデックスの差分値を再生する。そして予測係数復号部２４は、その差分値を周波数帯域ごとに順次加算していくことにより、各周波数帯域のインデックス値を再生し、符号帳を参照して、そのインデックス値に対応する予測係数の量子化値を決定する。
【０１１０】
また変形例では、符号帳が選択されていない予測係数について、ある周波数帯域のインデックス値が隣接する周波数帯域のインデックス値と同じ（量子化値の範囲との接点が量子化値の上限）、または1加算した値（量子化値の範囲との接点が量子化値の下限）に設定されている。この場合には、予測係数復号部２４は、インデックスの差分値が0であれば、その予測係数に対する量子化値の上限値を再生する。一方、インデックス値の差分値が1であれば、その予測係数に対する量子化値の下限値を再生すればよい。
【０１１１】
さらに、全ての周波数帯域にわたって符号帳が選択されていない予測係数は、予測誤差の分布形状が放物線型となり、かつ、任意の値をとれる予測係数であるため、予測係数復号部２４は、その予測係数の値を任意の値、例えば、0とすればよい。
予測係数復号部２４は、各周波数帯域の左右のチャネルの予測係数の量子化値を予測復号部２５へ出力する。
【０１１２】
予測復号部２５は、周波数帯域ごとに、ステレオ周波数信号に含まれる各チャネルの周波数信号に、対応する予測係数の量子化値を乗じて得られる値の線形和を計算することで、中央チャネルの周波数信号の予測値C'p0(k,n)を再生する。そして予測復号部２５は、ステレオ周波数信号に含まれる左側チャネルの周波数信号Lp0(k,n)と、右側チャネルの周波数信号Rp0(k,n)と、中央チャネルの周波数信号の予測値C'p0(k,n)をアップミックスする。これにより、予測復号部２５は、元の5.1chの信号をダウンミックスして得られる３個のチャネルの周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)を再生する。
予測復号部２５は、周波数帯域ごとに、再生した周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)をアップミックス部２７へ出力する。
【０１１３】
空間情報復号部２６は、分離部２１から受け取った空間情報符号を復号する。例えば、類似度及び強度差のそれぞれの符号について、隣接する周波数帯域間のインデックスの差分値がハフマン符号化されている場合には、空間情報復号部２６は、その差分値とハフマン符号との対応関係を表すテーブルを参照してインデックスの差分値を再生する。そして空間情報復号部２６は、その差分値を周波数帯域ごとに順次加算していくことにより、各周波数帯域のインデックス値を再生する。そして空間情報復号部２６は、インデックス値と類似度または強度差の量子化値との対応関係を表すテーブルを参照して、そのインデックス値に対応する類似度及び強度差の量子化値を決定する。
空間情報復号部２６は、各周波数帯域の空間情報の量子化値をアップミックス部２７へ出力する。
【０１１４】
アップミックス部２７は、周波数帯域ごとに、３個のチャネルの周波数信号Lin(k,n)、Rin(k,n)、Cin(k,n)を、空間情報に基づいてアップミックスすることにより、5.1chのオーディオ信号の各チャネルの周波数信号を再生する。そしてアップミックス部２７は、再生した各チャネルの周波数信号を周波数時間変換部２８へ出力する。
【０１１５】
周波数時間変換部２８は、各チャネルの周波数信号を周波数時間変換することにより、5.1chのオーディオ信号を再生する。そしてオーディオ復号装置２は、再生したオーディオ信号を、例えば、スピーカへ出力する。
【０１１６】
図１７は、オーディオ復号装置２により実行されるオーディオ復号処理の動作フローチャートである。オーディオ復号装置２は、フレームごとに、下記の動作フローチャートに従ってオーディオ信号を再生する。
【０１１７】
分離部２１は、ＳＢＲ符号、ＡＡＣ符号、空間情報符号、予測係数符号及び符号帳選択情報を取り出す（ステップＳ４０１）。
チャネル信号復号部２２は、分離部２１から受け取ったＳＢＲ符号、ＡＡＣ符号を復号することにより、ステレオ周波数信号を再生する（ステップＳ４０２）。
符号帳選択情報復号部２３は、符号帳選択情報を復号する（ステップＳ４０３）。
予測係数復号部２４は、選択された符号帳を用いて予測係数を再生する（ステップＳ４０４）。
予測復号部２５は、ステレオ周波数信号及び予測係数に基づいて中央チャネルの周波数信号を再生する（ステップＳ４０５）。そして予測復号部２５は、ステレオ周波数信号及び中央チャネルの周波数信号をアップミックスすることにより、元の5.1chの周波数信号をダウンミックスして得られる3チャネルの周波数信号を再生する。
【０１１８】
一方、空間情報復号部２６は、分離部２１から受け取った符号化空間情報を復号することにより空間情報を再生する（ステップＳ４０６）。そしてアップミックス部２７は、空間情報に基づいて3チャネルの周波数信号をアップミックスすることにより5.1chの周波数信号を再生する（ステップＳ４０７）。
周波数時間変換部２８は、各チャネルの周波数信号周波数時間変換して5.1chのオーディオ信号を再生する（ステップＳ４０８）。
そしてオーディオ復号装置は、オーディオ復号処理を終了する。
【０１１９】
上記の実施形態または変形例によるオーディオ符号化装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。同様に、上記の実施形態または変形例によるオーディオ復号装置が有する各部の機能をコンピュータに実現させるコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体などの記録媒体に記憶された形で提供されてもよい。
【０１２０】
また、上記の実施形態または変形例によるオーディオ符号化装置は、コンピュータ、ビデオ信号の録画機または映像伝送装置など、オーディオ信号を伝送または記録するために利用される各種の機器に実装される。さらに、上記の実施形態または変形例によるオーディオ復号装置は、コンピュータ、ビデオ信号の再生機など、オーディオ信号を再生するために利用される各種の機器に実装される。
【０１２１】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【０１２２】
１    オーディオ符号化装置
１１    時間周波数変換部
１２    ダウンミックス部
１３    第２ダウンミックス部
１４    予測符号化部
１４１    予測誤差形状判定部
１４２    最小誤差予測係数算出部
１４３    符号帳選択部
１４４    予測係数符号化部
１５    空間情報符号化部
１６    チャネル信号符号化部
１６１    SBR符号化部
１６２    周波数時間変換部
１６３    AAC符号化部
１７    多重化部
２    オーディオ復号装置
２１    分離部
２２    チャネル信号復号部
２３    符号帳選択情報復号部
２４    予測係数復号部
２５    予測復号部
２６    空間情報復号部
２７    アップミックス部
２８    周波数時間変換部
【図１】
0005990954.tif 000029
【図２】
0005990954.tif 000030
【図３】
0005990954.tif 000031
【図４】
0005990954.tif 000032
【図５】
0005990954.tif 000033
【図６】
0005990954.tif 000034
【図７】
0005990954.tif 000035
【図８】
0005990954.tif 000036
【図９】
0005990954.tif 000037
【図１０】
0005990954.tif 000038
【図１１】
0005990954.tif 000039
【図１２】
0005990954.tif 000040
【図１３】
0005990954.tif 000041
【図１４】
0005990954.tif 000042
【図１５】
0005990954.tif 000043
【図１６】
0005990954.tif 000044
【図１７】
0005990954.tif 000045