(57)【特許請求の範囲】
【請求項１】
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する重要度算出部と、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変換する信号変換部と、
前記重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する重要度変換部と、
前記重要度変換部により変換された第２の数の重要度に基づいて、前記信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定するビット数判定部と、
前記ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する量子化部と、
を有することを特徴とする符号器。
【請求項２】
前記重要度変換部は、前記信号変換部で得られた空間情報に基づいて、第１の数の重要度を第２の数の重要度に変換することを特徴とする請求項１に記載の符号器。
【請求項３】
前記信号変換部は、第１の数の信号を所定の数の信号に変換し、所定の数の信号を第２の数の信号に変換し、前記重要度変換部は、第１の数の重要度を所定の数の重要度に変換し、所定の数の重要度を第２の数の重要度に変換することを特徴とする請求項１に記載の符号器。
【請求項４】
前記重要度算出部は、周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする請求項１、２または３に記載の符号器。
【請求項５】
コンピュータが実行する符号化方法であって、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
前記第２の数の重要度に基づいて、前記第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化することを特徴とする符号化方法。
【請求項６】
コンピュータに、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
第２の数の重要度に基づいて、第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化する処理を実行させる符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号器等に関する。
【背景技術】
【０００２】
ＭＰＳ（MPEG  SURROUND）符号化は、ＩＳＯ（International  Organization  for  Standardization）／ＩＥＣ（International  Electrotechnical  Commission）で規格化された符号化技術である。ＭＰＳ符号化は、従来のステレオ、モノラル復号器と再生互換性をもちながら、５．１チャンネルサラウンドを実現する。
【０００３】
ＭＰＳ符号化を行う従来のＭＰＳ符号器について説明する。図１６は、従来のＭＰＳ符号器の構成を示す図（１）である。図１６に示すように、ＭＰＳ符号器１０は、Ｒ−ＯＴＴ（Reverse  one  to  two）部１１ａ〜１１ｃ、Ｒ−ＴＴＴ（Reverse  two  to  three）部１２を有する。また、ＭＰＳ符号器１０は、ビット配分決定部１３、量子化部１４ａ〜１４ｄ、多重化部１５を有する。
【０００４】
ここでは、５．１チャンネルのマルチチャネル信号を符号化する場合について説明する。マルチチャネル信号は、ＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号を含む。
【０００５】
ＦＬ信号は、フロント左のスピーカから出力される音に対応する。ＳＬ信号は、リア左のスピーカから出力される音に対応する。ＦＲ信号は、フロント右のスピーカから出力される音に対応する。ＳＲ信号は、リア右のスピーカから出力される音に対応する。Ｃ信号はセンターのスピーカから出力される音に対応する。ＬＦＥ信号は、サブウーファー等の低音域専用のスピーカから出力される音に対応する。
【０００６】
Ｒ−ＯＴＴ部１１ａ〜１１ｃは、マルチチャネル信号をダウンミックス（Down  Mix）する処理部である。このうち、Ｒ−ＯＴＴ部１１ａは、ＦＬ信号とＳＬ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ａは、残差信号を量子化部１４ａに出力し、空間情報を多重化部１５に出力する。ここで、残差信号は、ダウンミックスにより失われる情報と、元の情報との差分に対応する信号である。空間情報は、ダウンミックスする各信号のエネルギー比や各信号の相関に対応する信号である。
【０００７】
Ｒ−ＯＴＴ部１１ｂは、Ｃ信号とＬＦＥ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ｂは、空間情報を多重化部１５に出力する。
【０００８】
Ｒ−ＯＴＴ部１１ｃは、ＦＲ信号とＳＲ信号とをダウンミックスし、ダウンミックスした信号をＲ−ＴＴＴ部１２に出力する。また、Ｒ−ＯＴＴ部１１ｃは、残差信号を量子化部１４ｄに出力し、空間情報を多重化部１５に出力する。
【０００９】
Ｒ−ＴＴＴ部１２は、Ｒ−ＯＴＴ部１１ａ〜１１ｃによりダウンミックスされた信号を更にダウンミックスする処理部である。Ｒ−ＴＴＴ部１２は、ダウンミックスした信号を量子化部１４ｂに出力し、残差信号を量子化部１４ｃに出力する。なお、Ｒ−ＴＴＴ部１２は、Ｒ−ＯＴＴ部１１ａ〜１１ｃからの信号をダウンミックスすることで、２種類の信号を生成する。すなわち、Ｒ−ＴＴＴ部１２は、３種類の信号をダウンミックスすることで、２種類の信号を生成し、この２種類の信号を量子化部１４ｂに出力する。
【００１０】
ビット配分決定部１３は、量子化部１４ａ〜１４ｄのビット配分を決定する処理部である。量子化部１４ａ〜１４ｄのビット配分は予め設定されており、ビット配分決定部１３は、設定されたビット配分に基づいて、量子化部１４ａ〜１４ｄのビット配分を制御する。
【００１１】
量子化部１４ａ〜１４ｄは、ビット配分決定部１３により制御されるビット配分で、信号を量子化する処理部である。例えば、ビット配分がｎビットの場合には、信号をｎビットの信号に量子化する。
【００１２】
量子化部１４ａは、Ｒ−ＯＴＴ部１１ａから取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｂは、Ｒ−ＴＴＴ部１２から取得する２つの信号をそれぞれ量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｃは、Ｒ−ＴＴＴ部１２から取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。量子化部１４ｄは、Ｒ−ＯＴＴ部１１ｃから取得する残差信号を量子化し、量子化した情報を多重化部１５に出力する。
【００１３】
多重化部１５は、量子化部１４ａ〜１４ｄから取得する情報を多重化し、多重化した情報を出力する処理部である。上記の図１６の構成は、ISO/IEC  23003-1:2007にて規格にて規定された構成要素である。
【００１４】
上記のように、ＭＰＳ符号化器１０は、量子化部１４ａ〜１４ｄのビット配分を予め固定しておき、マルチチャネル信号を量子化する。しかし、量子化に多くのビット数を要する信号を受信した場合には、ビット数が足りなくなる場合があった。
【００１５】
ここで、量子化に必要なビット数と固定配分されたビット数との関係の一例について説明する。図１７は、量子化に必要なビット数と固定配分されたビット数との関係を示す図である。図１７の縦軸は、ビット数を示す。また、図１７の１ａ、１ｂ、１ｃ、１ｄは、それぞれ、量子化部１４ａ〜１４ｄに固定配分されたビット数に対応する。また、２ａ、２ｂ、２ｃ、２ｄは、それぞれ、ある信号を量子化部１４ａ〜１４ｄが量子化する場合に必要となるビット数である。
【００１６】
図１７に示す例では、量子化部１４ａ、１４ｂ、１４ｄは、量子化に必要なビット数が固定配分されたビット数を超えないため、信号を量子化したとしても、量子化後により信号劣化することはない。これに対して、量子化部１４ｃは、量子化に必要なビット数よりも固定配分されるビット数が少ないため、信号を量子化すると、必要な情報が固定配分されるビット数に収まりきらず、量子化により信号が劣化してしまう。
【００１７】
図１７に示した問題を解消するべく、量子化部に設定するビット数を信号の重要度に応じて動的に変化させるという技術が存在する。このように、ビット数を動的に変化させることで、量子化に必要なビット数よりも、量子化部に設定されたビット数が小さくなることをなくし、信号が劣化することを防止する。
【００１８】
図１８は、従来のＭＰＳ符号器の構成を示す図（２）である。図１８に示すように、ＭＰＳ符号器２０は、Ｒ−ＯＴＴ部２１ａ〜２１ｃ、Ｒ−ＴＴＴ部２２、重要度算出部２３、ビット配分決定部２４、量子化部２５ａ〜２５ｄ、多重化部２６を有する。
【００１９】
Ｒ−ＯＴＴ部２１ａ〜２１ｃの説明は、図１６に示したＲ−ＯＴＴ部１１ａ〜１１ｃの説明と同様である。Ｒ−ＴＴＴ部２２の説明は、図１６に示したＲ−ＴＴＴ部１２の説明と同様である。多重化部２６は、図１６に示した多重化部１５の説明と同様である。
【００２０】
重量度算出部２３は、Ｒ−ＯＴＴ部２１ａ〜２１ｃ、Ｒ−ＴＴＴ部２２から残差信号、ダウンミックス信号を取得し、各信号の重要度を算出する処理部である。具体的に、重要度算出部２３は、Ｒ−ＯＴＴ部２１ａから出力される残差信号、Ｒ−ＯＴＴ２１ｃから出力される残差信号、Ｒ−ＴＴＴ部２２から出力される２種類の信号および残差信号の重要度をそれぞれ算出する。例えば、重要度算出部２３は、知覚複雑度（Perceptual  Entropy）を用いて重要度を算出する。重要度算出部２３は、各信号の重要度をビット配列決定部２４に出力する。
【００２１】
ビット配分決定部２４は、重要度に応じて量子化部２５ａ〜２５ｄのビット配分を決定する処理部である。ビット配分決定部２４は、重要度の高い信号を量子化する量子化部のビット配分を大きくし、その他の量子化部のビット配分を小さくする。ビット配分決定部２４は、決定したビット配分に基づいて、量子化部２５ａ〜２５ｄのビット配分を制御する。
【００２２】
量子化部２５ａ〜２５ｄは、ビット配分決定部２４により制御されるビット配分で、信号を量子化する処理部である。なお、量子化部２５ａ〜２５ｄが量子化する信号は、図１６に示した量子化部１４ａ〜１４ｄと同様である。
【００２３】
上記のように、図１８に示したＭＰＳ符号器２０によれば、ビット配分決定部２４が重要度に応じてビット配分を調整し、量子化部２５ａ〜２５ｄのビット配分が動的に変化する。このため、量子化に必要なビット数よりも、量子化部２５ａ〜２５ｄに設定されたビット数が小さくなることをなくし、量子化により信号が劣化することを防止することができる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】特開平７−１７５４９９号公報
【特許文献２】特表２００７−５３１９１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００２５】
しかしながら、上述した従来技術では、マルチチャネル信号に含まれる各信号の重要度を正しく算出しておらず、音質が劣化するという問題があった。
【００２６】
図１９は、従来技術の問題点を説明するための図である。図１９では、ＭＰＳ符号器２０から出力された情報を、ＭＰＳ復号器３０が復号する場合を示している。ＭＰＳ符号器２０は、マルチチャネル信号に含まれる６ｃｈの信号をダウンミックして５ｃｈの信号を生成し、５ｃｈの信号を量子化する。ＭＰＳ符号器２０は、ダウンミックスされた５ｃｈの信号の重要度をそれぞれ計算し、重要度に合わせたビット数により、各信号を量子化する。
【００２７】
ＭＰＳ復号器３０は、ＭＰＳ符号器２０から情報を取得し、取得した情報を逆量子化する。そして、ＭＰＳ復号器３０は、逆ダウンミックスして、５ｃｈの信号を６ｃｈの信号に変換する。
【００２８】
ここで、ＭＰＳ符号器２０が算出する重要度は、ダウンミックス後の５ｃｈの信号に基づく重要度である。しかし、ＭＰＳ復号器３０から出力される最終的な信号は６ｃｈである。このため、ＭＰＳ符号器２０が計算する各信号の重要度が、ＭＰＳ復号器３０から出力される信号に対応していない場合があり、重要度を正しく計算できていない場合がある。
【００２９】
開示の技術は、上記に鑑みてなされたものであって、音質の劣化を防ぐことができる符号器、符号化方法および符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００３０】
本願の開示する符号器は、重要度算出部、信号変換部、重要度変換部、ビット数判定部、量子化部を有する。重要度算出部は、入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する。信号変換部は、入力信号に含まれる第１の数の信号を第２の数の信号に変換する。重要度変換部は、重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する。ビット数判定部は、重要度変換部により変換された第２の数の重要度に基づいて、信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定する。量子化部は、ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する。
【発明の効果】
【００３１】
本願の開示する符号器の一つの態様によれば、音質の劣化を防ぐことができるという効果を奏する。
【図面の簡単な説明】
【００３２】
【図１】図１は、本実施例にかかるＭＰＳ符号器の構成を示す図である。
【図２】図２は、ＦＬ（ｋ、ｎ）の構成を示す図である。
【図３】図３は、信号変換部の構成を示す図である。
【図４】図４は、量子化テーブルのデータ構造を示す図である。
【図５】図５は、重要度算出部の処理を説明するための図である。
【図６】図６は、重要度変換部の構成を示す図である。
【図７】図７は、Ｒ−ＯＴＴ−Ｐ部の構成を示す図である。
【図８】図８は、Ｒ−ＴＴＴ−Ｐ部の構成を示す図である。
【図９】図９は、ビット配分と重要度との関係を示す図である。
【図１０】図１０は、ＣＬＤ量子化テーブルのデータ構造を示す図である。
【図１１】図１１は、ＩＣＣ量子化テーブルのデータ構造を示す図である。
【図１２】図１２は、ＣＰＣ量子化テーブルのデータ構造を示す図である。
【図１３】図１３は、ＭＰＥＧ−２  ＡＤＴＳのフォーマット例を示す図である。
【図１４】図１４は、本実施例にかかるＭＰＳ符号器の処理手順を示すフローチャートである。
【図１５】図１５は、実施例にかかるＭＰＳ符号器を構成するコンピュータのハードウェア構成を示す図である。
【図１６】図１６は、従来のＭＰＳ符号器の構成を示す図（１）である。
【図１７】図１７は、量子化に必要なビット数と固定配分されたビット数との関係を示す図である。
【図１８】図１８は、従来のＭＰＳ符号器の構成を示す図（２）である。
【図１９】図１９は、従来技術の問題点を説明するための図である。
【発明を実施するための形態】
【００３３】
以下に、本願の開示する符号器、符号化方法および符号化プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００３４】
本実施例にかかるＭＰＳ符号器の構成の一例について説明する。このＭＰＳ符号器は、符号器の一例である。図１は、本実施例にかかるＭＰＳ符号器の構成を示す図である。図１に示すように、このＭＰＳ符号器１００は、時間周波数変換部１１０、信号変換部１２０、重要度算出部１３０、重要度変換部１４０を有する。また、ＭＰＳ符号器１００は、ビット数判定部１５０、コア符号化部１６０、残差符号化部１７０、空間情報符号化部１８０、多重化部１９０を有する。
【００３５】
時間周波数変換部１１０は、時間領域の入力信号を取得し、この入力信号を周波数領域の周波数信号に変換する処理部である。時間周波数変換部１１０に入力される入力信号は、マルチチャネル信号である。５．１チャンネルのサラウンドシステムでは、マルチチャネル信号は、ＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号を含む。
【００３６】
時間周波数変換部１１０は、例えば、式（１）に示すＱＭＦ（Quadrature  Mirror  Filter）フィルタバンクを用いて、入力信号を周波数信号に変換する。式（１）のＱＭＦ指数関数表示において、ｊは虚数単位であり、ｎは時間帯域に対応する自然数であり、ｋは周波数帯域に対応する自然数である。なお、ｎの値域を０以上１２８未満とする。ｋの値域を０以上６４未満とする。
【００３７】
【数１】
0005582027.tif 000002
【００３８】
入力信号に含まれるＦＬ信号、ＳＬ信号、ＦＲ信号、ＳＲ信号、Ｃ信号、ＬＦＥ信号をそれぞれ、ＦＬ（ｎ）、ＳＬ（ｎ）、ＦＲ（ｎ）、ＳＲ（ｎ）、Ｃ（ｎ）、ＬＦＥ（ｎ）とする。
【００３９】
時間周波数変換部１１０は、式（１）を利用して、時間領域のＦＬ（ｎ）、ＳＬ（ｎ）、ＦＲ（ｎ）をそれぞれ、周波数領域のＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）に変換する。同様に、時間周波数変換部１１０は、時間領域のＳＲ（ｎ）、Ｃ（ｎ）、ＬＦＥ（ｎ）をそれぞれ、周波数領域のＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）に変換する。
【００４０】
一例として、ＦＬ（ｋ、ｎ）の構成について説明する。図２は、ＦＬ（ｋ、ｎ）の構成を示す図である。図２の縦軸は周波数を示し、横軸は時間を示す。図２に示すように、ＦＬ（ｋ、ｎ）は、時間ｎを０〜１２７に区分し、周波数ｋを０〜６３に区分した１２８×６４個のデータを含む。他の周波数信号ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の構成は、図２に示したものと同様である。
【００４１】
時間周波数変換部１１０は、周波数信号ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）を、信号変換部１２０、重要度算出部１３０に出力する。
【００４２】
信号変換部１２０は、複数の信号を含む周波数信号をダウンミックスする処理部である。信号変換部１２０は、周波数信号をダウンミックスすることで、ダウンミックス信号と、残差信号と、空間情報とを生成する。このうち、ダウンミックス信号は、周波数信号に含まれる各信号をまとめた信号に対応する。残差信号は、ダウンミックスにより失われる情報と、元の情報との差分に対応する信号である。空間情報は、ダウンミックスする各信号のエネルギー比や相関等に対応する信号である。
【００４３】
信号変換部１２０は、ダウンミックス信号をコア符号化部１６０に出力する。信号変換部１２０は、残差信号を残差符号化部１７０に出力する。信号変換部１２０は、空間情報を重要度変換部１４０および空間情報符号化部１８０に出力する。
【００４４】
ここで、信号変換部１２０の構成の一例について説明する。図３は、信号変換部の構成を示す図である。図３に示すように、信号変換部１２０は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を有する。
【００４５】
Ｒ−ＯＴＴ部１２１ａ〜１２１ｃは、二つのチャネルの信号を一つの信号にダウンミックする処理部である。
【００４６】
まず、Ｒ−ＯＴＴ部１２１ａについて説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）を基にして、ダウンミックス信号、残差信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１ａは、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ａは、残差信号を残差符号化部１７０に出力する。Ｒ−ＯＴＴ部１２１ａは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。
【００４７】
具体的に、Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）をダウンミックスすることで、ダウンミックス信号Ｌ’（ｋ、ｎ）を生成する。また、Ｒ−ＯＴＴ部１２１ａは、ダウンミックス信号Ｌ’（ｋ、ｎ）と、ＦＬ（ｋ、ｎ）およびＳＬ（ｋ、ｎ）との差分に対応する信号を残差信号として抽出する。Ｒ−ＯＴＴ部１２１ａが抽出する残差信号を、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）と表記する。
【００４８】
Ｒ−ＯＴＴ部１２１ａが生成する空間情報は、ＣＬＤ（Channel  Level  Difference）およびＩＣＣ（Inter  Channel  Correlation）を含む。ここで、Ｒ−ＯＴＴ部１２１ａが、ＣＬＤおよびＩＣＣを算出する処理について順に説明する。
【００４９】
まず、Ｒ−ＯＴＴ部１２１ａがＣＬＤを算出する処理について説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）の自己相関と、ＳＬ（ｋ、ｎ）の自己相関を求め、各自己相関に基づいて、ＣＬＤを求める。
【００５０】
Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）の自己相関ｅＦＬを式（２）によって求める。Ｒ−ＯＴＴ部１２１ａは、ＳＬ（ｋ、ｎ）の自己相関ｅＳＬを式（３）によって求める。Ｒ−ＯＴＴ部１２１ａは、自己相関ｅＦＬおよび自己相関ｅＳＬを求めた後に、式（４）によってＣＬＤを求める。
【００５１】
【数２】
0005582027.tif 000003
【００５２】
【数３】
0005582027.tif 000004
【００５３】
【数４】
0005582027.tif 000005
【００５４】
次に、Ｒ−ＯＴＴ部１２１ａがＩＣＣを算出する処理について説明する。Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）とＳＬ（ｋ、ｎ）との相互相関を求め、求めた相互相関に基づいて、ＩＣＣを算出する。
【００５５】
Ｒ−ＯＴＴ部１２１ａは、ＦＬ（ｋ、ｎ）とＳＬ（ｋ、ｎ）との相互相関ｅＦＬＳＬを式（５）によって求める。Ｒ−ＯＴＴ部１２１ａは、相互相関を求めた後に、式（６）によってＩＣＣを求める。なお、式（６）に含まれるｅＦＬ（ｋ）、ｅＳＬ（ｋ）は、それぞれ、式（２）、式（３）から求められる自己相関である。また、Ｒｅ｛＊｝は、複素数＊の実部を表す。
【００５６】
【数５】
0005582027.tif 000006
【００５７】
【数６】
0005582027.tif 000007
なお、Ｒ−ＯＴＴ部１２１ａが算出したＣＬＤおよびＩＣＣを、ＣＬＤＬおよびＩＣＣＬと表記する。
【００５８】
次に、Ｒ−ＯＴＴ部１２１ｂについて説明する。Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）を基にして、ダウンミックス信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１ｂは、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ｂは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。
【００５９】
具体的に、Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）とＬＦＥ（ｋ、ｎ）とをダウンミックスすることで、ダウンミックス信号Ｃ’（ｋ、ｎ）を生成する。
【００６０】
Ｒ−ＯＴＴ部１２１ｂが生成する空間情報は、ＣＬＤおよびＩＣＣを含む。ここで、Ｒ−ＯＴＴ部１２１ｂが、ＣＬＤおよびＩＣＣを算出する処理は、上述したＲ−ＯＴＴ部１２１ａにおいて説明した処理と同様である。ただし、Ｒ−ＯＴＴ部１２１ｂは、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）に基づいて、ＣＬＤおよびＩＣＣを算出する。Ｒ−ＯＴＴ部１２１ｂが算出したＣＬＤおよびＩＣＣを、ＣＬＤＣおよびＩＣＣＣと表記する。
【００６１】
次に、Ｒ−ＯＴＴ部１２１ｃについて説明する。Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）を基にして、ダウンミックス信号、残差信号、空間情報を生成する。Ｒ−ＯＴＴ部１２１は、ダウンミックス信号をＲ−ＴＴＴ部１２２に出力する。Ｒ−ＯＴＴ部１２１ｃは、残差信号を残差符号化部１７０に出力する。Ｒ−ＯＴＴ部１２１ｃは、空間情報を重要度変換部１４０、空間情報符号化部１８０に出力する。
【００６２】
具体的に、Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）とＳＲ（ｋ、ｎ）とをダウンミックスすることで、ダウンミックス信号Ｒ’（ｋ、ｎ）を生成する。また、Ｒ−ＯＴＴ部１２１ｃは、ダウンミックス信号Ｒ’（ｋ、ｎ）と、ＦＲ（ｋ、ｎ）およびＳＲ（ｋ、ｎ）との差分に対応する信号を残差信号として抽出する。Ｒ−ＯＴＴ部１２１ｃが抽出する残差信号を残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）と表記する。
【００６３】
Ｒ−ＯＴＴ部１２１ｃが生成する空間情報は、ＣＬＤおよびＩＣＣを含む。ここで、Ｒ−ＯＴＴ部１２１ｃが、ＣＬＤおよびＩＣＣを算出する処理は、上述したＲ−ＯＴＴ部１２１ａにおいて説明した処理と同様である。ただし、Ｒ−ＯＴＴ部１２１ｃは、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）に基づいて、ＣＬＤおよびＩＣＣを算出する。Ｒ−ＯＴＴ部１２１ｃが算出したＣＬＤおよびＩＣＣを、ＣＬＤＲおよびＩＣＣＲと表記する。
【００６４】
次に、図３に示したＲ−ＴＴＴ部１２２について説明する。Ｒ−ＴＴＴ部１２２は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃから入力されるダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスする処理部である。また、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）に基づいて、残差信号および空間情報を生成する。
【００６５】
Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスしたダウンミックス信号を、コア符号化部１６０に出力する。Ｒ−ＴＴＴ部１２２は、残差信号を残差符号化部１７０に出力する。Ｒ−ＴＴＴ部１２２は、空間情報を空間情報符号化部１８０に出力する。
【００６６】
具体的に、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）をダウンミックスすることで、二つのダウンミックス信号を生成する。Ｒ−ＴＴＴ部１２２が生成するダウンミックス信号を、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）とする。Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）と、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）との差分を残差信号として抽出する。Ｒ−ＴＴＴ部１２２が生成する残差信号を、残差信号ｒｅｓＴＴＴ（ｋ、ｎ）と表記する。
【００６７】
Ｒ−ＴＴＴ部１２２が生成する空間情報は、ＣＰＣ（Channel  Prediction  Coefficient）１、ＣＰＣ２、ＩＣＣを含む。ここで、Ｒ−ＴＴＴ部１２２が、ＣＰＣ１、ＣＰＣ２、ＩＣＣを算出する処理について順に説明する。
【００６８】
ＣＰＣ１、ＣＰＣ２を算出する場合には、まず、Ｒ−ＴＴＴ部１２２は、ダウンミックス信号Ｌ’（ｋ、ｎ）、Ｒ’（ｋ、ｎ）、Ｃ’（ｋ、ｎ）を式（７）に代入し、信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）、Ｃ’’（ｋ、ｎ）を算出する。
【００６９】
【数７】
0005582027.tif 000008
【００７０】
Ｒ−ＴＴＴ部１２２は、Ｌ’’（ｋ、ｎ）およびＲ’’（ｋ、ｎ）を式（８）に代入し、Ｃ’’（ｋ、ｎ）を式（９）に代入する。そして、式（９）のＥｒｒｏｒ（ｋ）の値が最小となるＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の組を求める。Ｅｒｒｏｒ（ｋ）の値が最小となるＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の組が、求めるべきＣＰＣ１、ＣＰＣ２となる。
【００７１】
【数８】
0005582027.tif 000009
【００７２】
【数９】
0005582027.tif 000010
【００７３】
Ｒ−ＴＴＴ部１２２は、量子化テーブルを利用して、式（８）にＣＰＣ１（ｋ）、ＣＰＣ２（ｋ）の値を代入し、Ｅｒｒｏｒ（ｋ）の値が最小となる組み合わせを算出しても良い。図４は、量子化テーブルのデータ構造を示す図である。図４に示すように、この量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。ここで、ｉｄｘは、式（８）のｋに対応する数値である。
【００７４】
図４に示す量子化テーブルを用いる場合には、Ｒ−ＴＴＴ部１２２は、５１×５１通りの中から、Ｅｒｒｏｒ（ｋ）の値が最小となる組み合わせを算出することで、ＣＰＣ１、ＣＰＣ２を求める。
【００７５】
図４の１段目に示すように、ＣＰＣ［−２０］の値は−２．０であり、ＣＰＣ［−１９］の値は−１．９であり、ＣＰＣ［−１８］の値は−１．８であり、ＣＰＣ［−１７］の値は−１．７である。また、ＣＰＣ［−１６］の値は−１．６であり、ＣＰＣ［−１５］の値は−１．５であり、ＣＰＣ［−１４］の値は−１．４であり、ＣＰＣ［−１３］の値は−１．３である。また、ＣＰＣ［−１２］の値は−１．２であり、ＣＰＣ［−１１］の値は−１．１であり、ＣＰＣ［−１０］の値は−１．０である。
【００７６】
図４の２段目に示すように、ＣＰＣ［−９］の値は−０．９であり、ＣＰＣ［−８］の値は−０．８であり、ＣＰＣ［−７］の値は−０．７であり、ＣＰＣ［−６］の値は−０．６である。また、ＣＰＣ［−５］の値は−０．５であり、ＣＰＣ［−４］の値は−０．４であり、ＣＰＣ［−３］の値は−０．３であり、ＣＰＣ［−２］の値は−０．２である。また、ＣＰＣ［−１］の値は−０．１であり、ＣＰＣ［０］の値は−０．０であり、ＣＰＣ［１］の値は−０．１である。
【００７７】
図４の３段目に示すように、ＣＰＣ［２］の値は０．２であり、ＣＰＣ［３］の値は０．３であり、ＣＰＣ［４］の値は０．４であり、ＣＰＣ［５］の値は０．５であり、ＣＰＣ［６］の値は０．６であり、ＣＰＣ［７］の値０．７はである。また、ＣＰＣ［８］の値は０．８であり、ＣＰＣ［９］の値は０．９であり、ＣＰＣ［１０］の値は１．０であり、ＣＰＣ［１１］の値は１．１であり、ＣＰＣ［１２］の値は１．２である。
【００７８】
図４の４段目に示すように、ＣＰＣ［１３］の値は１．３であり、ＣＰＣ［１４］の値は１．４であり、ＣＰＣ［１５］の値は１．５であり、ＣＰＣ［１６］の値は１．６であり、ＣＰＣ［１７］の値は１．７である。また、ＣＰＣ［１８］の値は１．８であり、ＣＰＣ［１９］の値は１．９であり、ＣＰＣ［２０］の値は２．０であり、ＣＰＣ［２１］の値は２．１であり、ＣＰＣ［２２］の値は２．２であり、ＣＰＣ［２３］の値は２．３である。
【００７９】
図４の５段目に示すように、ＣＰＣ［２４］の値は２．４であり、ＣＰＣ［２５］の値は２．５であり、ＣＰＣ［２６］の値は２．６であり、ＣＰＣ［２７］の値は２．７である。ＣＰＣ［２８］の値は２．８であり、ＣＰＣ［２９］の値は２．９であり、ＣＰＣ［３０］の値は３．０である。
【００８０】
次に、Ｒ−ＴＴＴ部１２２が、ＩＣＣを算出する処理について説明する。例えば、Ｒ−ＴＴＴ部１２２は、式（１０）に基づいて、ＩＣＣを算出する。
【００８１】
【数１０】
0005582027.tif 000011
【００８２】
式（１０）において、ｅＬ’（ｋ）は、Ｌ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１１）によってｅＬ’（ｋ）を算出する。
【００８３】
【数１１】
0005582027.tif 000012
【００８４】
式（１０）において、ｅＲ’（ｋ）は、Ｒ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１２）によってｅＲ’（ｋ）を算出する。
【００８５】
【数１２】
0005582027.tif 000013
【００８６】
式（１０）において、ｅＣ’（ｋ）は、Ｃ’（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１３）によってｅＣ’（ｋ）を算出する。
【００８７】
【数１３】
0005582027.tif 000014
【００８８】
式（１０）において、ｅｌ（ｋ）は、ｌ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１４）によってｅｌ（ｋ）を算出する。式（１４）において、ｌ（ｋ、ｎ）は、Ｌ’チャネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１５）によって、ｌ（ｋ、ｎ）を算出する。
【００８９】
【数１４】
0005582027.tif 000015
【００９０】
【数１５】
0005582027.tif 000016
【００９１】
式（１０）において、ｅｒ（ｋ）は、ｒ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１６）によってｅｒ（ｋ）を算出する。式（１６）において、ｒ（ｋ、ｎ）は、Ｒ’チャンネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１７）によって、ｒ（ｋ、ｎ）を算出する。
【００９２】
【数１６】
0005582027.tif 000017
【００９３】
【数１７】
0005582027.tif 000018
【００９４】
式（１０）において、ｅｃ（ｋ）は、ｃ（ｋ、ｎ）の自己相関である。Ｒ−ＴＴＴ部１２２は、式（１８）によってｅｃ（ｋ）を算出する。式（１８）において、ｃ（ｋ、ｎ）は、Ｃ’チャンネルの推定復号信号である。Ｒ−ＴＴＴ部１２２は、式（１９）によって、ｃ（ｋ、ｎ）を算出する。
【００９５】
【数１８】
0005582027.tif 000019
【００９６】
【数１９】
0005582027.tif 000020
【００９７】
すなわち、Ｒ−ＴＴＴ部１２２は、式（１１）〜（１９）に基づいて、ｅＬ’（ｋ）、ｅＲ’（ｋ）、ｅＣ’（ｋ）、ｅｌ（ｋ）、ｅｒ（ｋ）、ｅｃ（ｋ）を算出する。そして、Ｒ−ＴＴＴ部１２２は、式（１０）に基づいて、ＩＣＣを算出する。
【００９８】
図１の説明に戻る。重要度算出部１３０は、周波数信号に含まれる各信号の重要度をそれぞれ算出する処理部である。この周波数信号には、上記のようにＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）が含まれる。以下の説明において、ＦＬ（ｋ、ｎ）、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の重要度をそれぞれ、Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）と表記する。重要度算出部１３０は、算出した各重要度を重要度変換部１４０に出力する。
【００９９】
まず、重要度算出部１３０が算出する重要度の概要について説明する。重要度算出部１３０は、知覚複雑度を重要度として算出する。図５は、重要度算出部の処理を説明するための図である。図５の横軸は周波数を示し、縦軸は周波数信号の電力に対応する。図５に示す１０ａは、周波数信号に含まれる各信号のうち何れかの信号の波形である。１０ｂは、マスキングパワーの波形を示す。このマスキングパワーは、量子化により発生する誤差のうち、許容する範囲を示すものである。このため、マスキングパワー１０ｂ以下の領域に存在する信号誤差は無視できる。これに対して、マスキングパワー１０ｂよりも上の領域に存在する信号誤差は無視できないものであり、この領域が大きいほど重要度は高くなる。重要度算出部１３０は、信号１０ａとマスキングパワー１０ｂの間の領域１０ｃを、信号１０ａの重要度として算出する。例えば、信号１０ａが、信号ＦＬ（ｋ、ｎ）の場合には、領域１０ｃの面積がＰ（ＦＬ）となる。
【０１００】
次に、重要度算出部１３０が、重要度を算出する場合の処理について説明する。ここでは、一例として、重要度算出部１３０が、ＦＬ（ｋ、ｎ）の重要度Ｐ（ＦＬ）を算出する場合について説明する。重要度算出部１３０は、式（２０）によって、重要度Ｐ（ＦＬ）を算出する。
【０１０１】
【数２０】
0005582027.tif 000021
【０１０２】
式（２０）において、ｎｂ（ＦＬ、ｎ、ｋ）は、ＦＬチャンネルに対応するマスキングパワーに対応する。また、ｅ（ＦＬ、ｎ、ｋ）は、式（２１）によって求められるスペクトルパワーである。なお、重要度算出部１３０は、マスキングパワーの情報を記憶しているものとする。
【０１０３】
【数２１】
0005582027.tif 000022
【０１０４】
なお、マスキングパワーは、簡易的には各周波数帯域の最小可聴域のパワーなどを用いても良い。または、重要度算出部１３０は＜「New  Implementation  Techniques  of  an  Efficient  MPEG  Advanced  Audio  Coder]E.Kurniawati,C.T.Lau,B.Premkumar,J.Absar,S.George＞に記載された方法を用いても良い。
【０１０５】
重要度算出部１３０は、ＦＬ（ｋ、ｎ）の場合と同様にして、ＳＬ（ｋ、ｎ）、ＦＲ（ｋ、ｎ）、ＳＲ（ｋ、ｎ）、Ｃ（ｋ、ｎ）、ＬＦＥ（ｋ、ｎ）の重要度を算出する。重要度算出部１３０は、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）を重要度変換部１４０に出力する。
【０１０６】
次に、重要度変換部１４０の処理について説明する。重要度変換部１４０は、複数の重要度をダウンミックスする処理部である。重要度変換部１４０がダウンミックスすることにより、６ｃｈの重要度が５ｃｈの重要度に変換される。重要度変換部１４０から出力される信号のチャネルの数は、信号変換部１２０から出力されるチャネルの数と等しい。
【０１０７】
重要度変換部１４０の構成の一例について説明する。図６は、重要度変換部の構成を示す図である。図６に示すように、重要度変換部１４０は、Ｒ−ＯＴＴ−Ｐ部１４１ａ〜１４１ｃ、Ｒ−ＴＴＴ−Ｐ部１４２を有する。
【０１０８】
Ｒ−ＯＴＴ−Ｐ部１４１ａについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ａは、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、空間情報２０ａを取得し、ダウンミックス信号重要度Ｐ（Ｌ’）と、残差信号重要度Ｐ（ｒｅｓＯＴＴ１）とを生成する。なお、空間情報２０ａは、図３のＲ−ＯＴＴ部１２１ａが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ａは、ダウンミックス信号重要度Ｐ（Ｌ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。Ｒ−ＯＴＴ−Ｐ部１４１ａは、残差信号重要度Ｐ（ｒｅｓＯＴＴ１）をビット数判定部１５０に出力する。
【０１０９】
Ｒ−ＯＴＴ−Ｐ部１４１ｂについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、重要度Ｐ（Ｃ）、Ｐ（ＬＦＥ）、空間情報２０ｂを取得し、ダウンミックス信号重要度Ｐ（Ｃ’）を生成する。なお、空間情報２０ｂは、Ｒ−ＯＴＴ部１２１ｂが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、ダウンミックス信号重要度Ｐ（Ｃ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。
【０１１０】
Ｒ−ＯＴＴ−Ｐ部１４１ｃについて説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、重要度Ｐ（ＦＲ）、Ｐ（ＳＲ）、空間情報２０ｃを取得し、ダウンミックス信号重要度Ｐ（Ｒ’）と、残差信号重要度Ｐ（ｒｅｓＯＴＴ２）とを生成する。なお、空間情報２０ｃは、Ｒ−ＯＴＴ部１２１ｃが生成した空間情報に対応するものである。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、ダウンミックス信号重要度Ｐ（Ｒ’）をＲ−ＴＴＴ−Ｐ部１４２に出力する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、残差信号重要度Ｐ（ｒｅｓＯＴＴ２）をビット数判定部１５０に出力する。
【０１１１】
Ｒ−ＴＴＴ−Ｐ部１４２について説明する。Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’）、Ｐ（Ｃ’）、Ｐ（Ｒ’）および空間情報２０ｄを取得し、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）を生成する。また、Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’）、Ｐ（Ｃ’）、Ｐ（Ｒ’）および空間情報２０ｄに基づいて、残差信号重要度Ｐ（ｒｅｓＴＴＴ）を生成する。なお、空間情報２０ｄは、図３のＲ−ＴＴＴ部１２２が生成した空間情報に対応するものである。Ｒ−ＴＴＴ−Ｐ部１４２は、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）、残差信号重要度Ｐ（ｒｅｓＴＴＴ）をビット数判定部１５０に出力する。
【０１１２】
このように、重要度変換部１４０は、重要度Ｐ（ＦＬ）、Ｐ（ＳＬ）、Ｐ（ＦＲ）、Ｐ（ＳＲ）、Ｐ（Ｃ）、Ｐ（ＬＦＥ）を、ダウンミックス信号重要度Ｐ（Ｌ’’）、Ｐ（Ｒ’’）および残差信号重要度Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）、Ｐ（ｒｅｓＴＴＴ）に変換する。
【０１１３】
次に、図６に示したＲ−ＯＴＴ−Ｐ部１４１ａの構成について説明する。図７は、Ｒ−ＯＴＴ部の構成を示す図である。図７に示すように、Ｒ−ＯＴＴ−Ｐ部１４１ａは、重要度分配部３０ａ、３０ｂ、加算部４０ａ、４０ｂを有する。
【０１１４】
重要度分配部３０ａは、重要度Ｐ（ＦＬ）と空間情報２０ａとを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部３０ａは、式（２２）、式（２３）に示す計算を実行する。式（２２）および式（２３）に含まれるＨ１は、空間情報に対応する。例えば、Ｈ１の値は、ＣＬＤＬおよびＩＣＣＬから式（３９）〜（４３）により得られる値である。
【０１１５】
【数２２】
0005582027.tif 000023
【０１１６】
【数２３】
0005582027.tif 000024
【０１１７】
【数３９】
0005582027.tif 000025
【０１１８】
【数４０】
0005582027.tif 000026
【０１１９】
【数４１】
0005582027.tif 000027
【０１２０】
【数４２】
0005582027.tif 000028
【０１２１】
【数４３】
0005582027.tif 000029
【０１２２】
【数４４】
0005582027.tif 000030
【０１２３】
重要度分配部３０ａは、式（２２）による計算結果を加算部４０ａに出力する。また、重要度分配部３０ａは、式（２３）による計算結果を加算部４０ｂに出力する。
【０１２４】
重要度分配部３０ｂは、重要度Ｐ（ＳＬ）と空間情報とを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部３０ｂは、式（２４）、式（２５）に示す計算を実行する。式（２４）および式（２５）に含まれるＨ２は、空間情報に対応する。例えば、Ｈ２の値は、ＣＬＤＬおよびＩＣＣＬから式（４４）および式（４０）〜式（４３）により得られる値である。
【０１２５】
【数２４】
0005582027.tif 000031
【０１２６】
【数２５】
0005582027.tif 000032
【０１２７】
重要度分配部３０ｂは、式（２４）による計算結果を加算部４０ａに出力する。また、重要度分配部３０ｂは、式（２５）による計算結果を加算部４０ｂに出力する。
【０１２８】
加算部４０ａは、重要度分配部３０ａ、３０ｂから出力される計算結果を加算する処理部である。加算部４０ａの加算結果Ｐ（Ｍ）は、式（２６）によって表すことができる。
【０１２９】
【数２６】
0005582027.tif 000033
【０１３０】
式（２６）によって算出される値Ｐ（Ｍ）は、上記のダウンミックス信号重要度Ｐ（Ｌ’）に対応するものである。加算部４０ａは、加算結果Ｐ（Ｍ）を、Ｒ−ＴＴＴ−Ｐ部１４２に出力する。
【０１３１】
加算部４０ｂは、重要度分配部３０ａ、３０ｂから出力される計算結果を加算する処理部である。加算部４０ｂの加算結果Ｐ（ｒｅｓＯＴＴ）は、式（２７）によって表すことができる。
【０１３２】
【数２７】
0005582027.tif 000034
【０１３３】
式（２７）によって算出される値Ｐ（ｒｅｓＯＴＴ）は、上記の残差信号重要度Ｐ（ｒｅｓＯＴＴ１）に対応する。加算部４０ｂは、加算結果Ｐ（ｒｅｓＯＴＴ）を、ビット数判定部１５０に出力する。
【０１３４】
Ｒ−ＯＴＴ−Ｐ部１４１ｂの構成について説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｂの構成は、Ｒ−ＯＴＴ−Ｐ部１４１ａの構成と同様である。ただし、Ｒ−ＯＴＴ−Ｐ部１４１ｂは、重要度Ｐ（Ｃ）、重要度Ｐ（ＬＦＥ）、空間情報２０ｂを基にして、Ｐ（Ｍ）を算出する。このＰ（Ｍ）は、ダウンミックス信号重要度Ｐ（Ｃ’）に対応する。Ｒ−ＯＴＴ−Ｐ部１４１ｂは、Ｐ（Ｍ）をＲ−ＴＴＴ−Ｐ部１４２に出力する。
【０１３５】
Ｒ−ＯＴＴ−Ｐ部１４１ｃの構成について説明する。Ｒ−ＯＴＴ−Ｐ部１４１ｃの構成は、Ｒ−ＯＴＴ−Ｐ部１４１ａの構成と同様である。ただし、Ｒ−ＯＴＴ−Ｐ部１４１ｃは、重要度Ｐ（ＦＲ）、重要度Ｐ（ＳＲ）、空間情報２０ｃを基にして、Ｐ（Ｍ）およびＰ（ｒｅｓＯＴＴ）を算出する。このＰ（Ｍ）は、ダウンミックス信号重要度Ｐ（Ｒ’）に対応する。Ｐ（ｒｅｓＯＴＴ）は、上記の残差信号重要度Ｐ（ｒｅｓＯＴＴ２）に対応する。Ｒ−ＯＴＴ−Ｐ部１４１ｃは、Ｐ（Ｍ）をＲ−ＴＴＴ−Ｐ部１４２に出力する。また、Ｒ−ＯＴＴ−Ｐ部１４１ｃは、Ｐ（ｒｅｓＯＴＴ）を、ビット数判定部１５０に出力する。
【０１３６】
次に、図６に示したＲ−ＴＴＴ−Ｐ部１４２の構成について説明する。図８は、Ｒ−ＴＴＴ−Ｐ部１４２の構成を示す図である。図８に示すように、Ｒ−ＴＴＴ−Ｐ部１４２は、重要度分配部５０ａ、５０ｂ、５０ｃ、加算部６０ａ、６０ｂ、６０ｃを有する。
【０１３７】
重要度分配部５０ａは、ダウンミックス信号重要度Ｐ（Ｌ’）と空間情報２０ｄとを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部５０ａは、式（２８）、式（２９）に示す計算を実行し、Ｐ（Ｌ１）、Ｐ（Ｌ２）を求める。式（２８）および式（２９）に含まれるｃ１は、空間情報２０ｄに対応する。例えば、ｃ１はＣＰＣ１に対応し、ｃ２はＣＰＣ２に対応する。
【０１３８】
【数２８】
0005582027.tif 000035
【０１３９】
【数２９】
0005582027.tif 000036
【０１４０】
重要度分配部５０ａは、Ｐ（Ｌ１）を加算部６０ａに出力する。重要度分配部５０ａは、Ｐ（Ｌ２）を加算部６０ｂに出力する。
【０１４１】
重要度分配部５０ｂは、ダウンミックス信号重要度Ｐ（Ｃ’）と空間情報２０ｄとを受け付け、３種類の計算を実行する処理部である。具体的に、重要度分配部５０ｂは、式（３０）、式（３１）、式（３２）に示す計算を実行し、Ｐ（Ｃ１）、Ｐ（Ｃ２）、Ｐ（Ｃ３）を求める。式（３０）、式（３１）、式（３２）に含まれるｃ１、ｃ２は、空間情報に対応する。
【０１４２】
【数３０】
0005582027.tif 000037
【０１４３】
【数３１】
0005582027.tif 000038
【０１４４】
【数３２】
0005582027.tif 000039
【０１４５】
重要度分配部５０ｂは、Ｐ（Ｃ１）を加算部６０ａに出力する。重要度分配部５０ｂは、Ｐ（Ｃ２）を加算部６０ｂに出力する。重要度分配部５０ｂは、Ｐ（Ｃ３）を加算部６０ｃに出力する。
【０１４６】
重要度分配部５０ｃは、ダウンミックス信号重要度Ｐ（Ｒ’）と空間情報とを受け付け、２種類の計算を実行する処理部である。具体的に、重要度分配部５０ｃは、式（３３）、式（３４）に示す計算を実行し、Ｐ（Ｒ１）、Ｐ（Ｒ２）を求める。式（３３）、式（３４）に含まれるｃ２は、空間情報に対応する。重要度分配部５０ｃは、Ｐ（Ｒ１）を加算部６０ｂに出力し、Ｐ（Ｒ２）を加算部６０ｃに出力する。
【０１４７】
【数３３】
0005582027.tif 000040
【０１４８】
【数３４】
0005582027.tif 000041
【０１４９】
加算部６０ａは、Ｐ（Ｌ１）とＰ（Ｃ１）とを加算する処理部である。加算部６０ａの加算結果Ｐ（Ｌ’’）は、式（３５）によって表すことができる。
【０１５０】
【数３５】
0005582027.tif 000042
【０１５１】
式（３５）によって算出されるＰ（Ｌ’’）は、上記のダウンミックス信号Ｌ’’（ｋ、ｎ）に対応する。加算部６０ａは、加算結果Ｐ（Ｌ’’）を、ビット数判定部１５０に出力する。
【０１５２】
加算部６０ｂは、Ｐ（Ｌ２）とＰ（Ｃ２）とＰ（Ｒ１）とを加算する処理部である。加算部６０ｂの加算結果Ｐ（ｒｅｓＴＴＴ）は、式（３６）によって表すことができる。
【０１５３】
【数３６】
0005582027.tif 000043
【０１５４】
式（３６）によって算出されるＰ（ｒｅｓＴＴＴ）は、上記の残差信号ｒｅｓＴＴＴ（ｋ、ｎ）に対応する。加算部６０ｂは、加算結果Ｐ（ｒｅｓＴＴＴ）を、ビット数判定部１５０に出力する。
【０１５５】
加算部６０ｃは、Ｐ（Ｃ３）とＰ（Ｒ２）とを加算する処理部である。加算部６０ｃの加算結果Ｐ（Ｒ’’）は、式（３７）によって表すことができる。
【０１５６】
【数３７】
0005582027.tif 000044
【０１５７】
式（３７）によって算出されるＰ（Ｒ’’）は、上記のダウンミックス信号Ｒ’’（ｋ、ｎ）に対応する。加算部６０ｃは、加算結果Ｐ（Ｒ’’）を、ビット数判定部１５０に出力する。
【０１５８】
図１の説明に戻る。ビット数判定部１５０は、重要度変換部１４０から取得する５チャネルの信号に基づいて、コア符号化部１６０および残差符号化部１７０のビット配分を算出する処理部である。ビット数判定部１５０が、重要度変換部１４０から取得する５チャネルの信号は、Ｐ（Ｌ’’）、Ｐ（Ｒ’’）、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）を含む。
【０１５９】
ビット数判定部１５０は、Ｐ（Ｌ’’）を基にして、ダウンミックス信号Ｌ’’（ｋ、ｎ）を量子化する場合のビット配分を算出する。ビット数判定部１５０は、Ｐ（Ｒ’’）を基にして、ダウンミックス信号Ｒ’’（ｋ、ｎ）を量子化する場合のビット配分を算出する。
【０１６０】
ビット数判定部１５０は、Ｐ（ｒｅｓＯＴＴ１）を基にして、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）を量子化する場合のビット配分を算出する。ビット数判定部１５０は、Ｐ（ｒｅｓＯＴＴ２）を基にして、残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）のビット配分を算出する。ビット数判定部１５０は、Ｐ（ｒｅｓＴＴＴ）を基にして、ＴＴＴ残差信号を量子化する場合のビット配分を算出する。
【０１６１】
具体的に、ビット数判定部１５０がビット配分を算出する処理について説明する。ここでは一例として、Ｐ（Ｌ’’）を例にして説明する。ビット数判定部１５０は、Ｐ（Ｌ’’）に含まれる周波数毎の重要度を全て加算することで、重要度Ｐｓ（Ｌ’’、ｎ）を算出する。例えば、ビット数判定部１５０は、式（３８）を利用して、Ｐｓ（Ｌ’’、ｎ）を算出する。なお、式（３８）の右辺Ｐ（Ｌ’’、ｋ、ｎ）はＰ（Ｌ’’）に対応する。
【０１６２】
【数３８】
0005582027.tif 000045
【０１６３】
例えば、ビット数判定部１５０は、ビット配分と重要度との関係を示すグラフと、Ｐｓ（Ｌ’’、ｎ）とを比較して、ビット配分を求める。図９は、ビット配分と重要度との関係を示す図である。図９の横軸は、重要度を示す。縦軸はビット配分を示す。横軸のＴｈＰ１の値は、例えば４０００であり、ＴｈＰ２の値は、例えば７０００である。縦軸のＴｈｂ１の値は、例えば５００であり、Ｔｈｂ２の値は、例えば５０００である。
【０１６４】
ビット数判定部１５０は、点１Ａと点１Ｂとを結ぶ直線と、Ｐｓ（Ｌ’’、ｎ）とを比較して、Ｐｓ（Ｌ’’、ｎ）に対応するビット配分を算出する。図９に示す例では、Ｐｓ（Ｌ’’、ｎ）に対応するビット配分はｂとなる。
【０１６５】
ビット数判定部１５０は、残りの、Ｐ（Ｒ’’）、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）に対しても、Ｐ（Ｌ’’）と同様にして、ビット配分を算出する。ビット数判定部１５０は、Ｐ（Ｌ’’）から求めたビット配分、Ｐ（Ｒ’’）から求めたビット配分をコア符号化部１６０に出力する。また、ビット数判定部１５０は、Ｐ（ｒｅｓＴＴＴ）、Ｐ（ｒｅｓＯＴＴ１）、Ｐ（ｒｅｓＯＴＴ２）からそれぞれ求めたビット配分を残差符号化部１７０に出力する。
【０１６６】
図１の説明に戻る。コア符号化部１６０は、ビット数判定部１５０により算出されたＰ（Ｌ’’）のビット配分に収まるように、ダウンミックス信号Ｌ’’（ｋ、ｎ）を量子化する。また、コア符号化部１６０は、ビット数判定部１５０により算出されたＰ（Ｒ’’）のビット配分に収まるように、ダウンミックス信号Ｒ’’（ｋ、ｎ）を量子化する。
【０１６７】
コア符号化部１６０が、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する場合には、任意の符号化方式を用いる。例えば、コア符号化部１６０は、ＡＡＣ（Advanced  Audio  Coding）符号化及びＳＢＲ（Spectral  Band  Replication）符号化を利用して、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する。コア符号化部１６０は、ダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）の低域成分をＡＡＣ方式で量子化し、高域成分をＳＢＲ方式で量子化する。コア符号化部１６０は、ＡＡＣ符号化を行う場合には、例えば、特開２００７−１８３５２８号公報に開示された技術を利用する。コア符号化部１６０は、ＳＢＲ方式で符号化を行う場合には、例えば、特開２００８−２２４９０２号公報に開示された技術を利用する。
【０１６８】
コア符号化部１６０は、図３のＲ−ＴＴＴ部１２２から出力されるダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を量子化する処理部である。コア符号化部１６０は、量子化後のビット数がＰ（Ｌ’’）のビット配分に収まるように、ダウンミックス信号Ｌ’’（ｋ、ｎ）に対して、ＡＡＣ符号化およびＳＢＲ符号化を行う。また、コア符号化部１６０は、量子化後のビット数がＰ（Ｒ’’）のビット配分に収まるように、ダウンミックス信号Ｒ’’（ｋ、ｎ）に対して、ＡＡＣ符号化およびＳＢＲ符号化を行う。コア符号化部１６０は、量子化後のダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）を多重化部１９０に出力する。
【０１６９】
残差符号化部１７０は、Ｒ−ＴＴＴ部１２２、Ｒ−ＯＴＴ部１２１ａ、Ｒ−ＯＴＴ部１２１ｃからそれぞれ出力される残差信号ｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する処理部である。残差符号化部１７０は、Ｐ（ｒｅｓＴＴＴ）のビット配分に収まるように、ｒｅｓＴＴＴ（ｋ、ｎ）を量子化する。また、残差符号化部１７０は、Ｐ（ｒｅｓＯＴＴ１）のビット配分に収まるように、ｒｅｓＯＴＴ１（ｋ、ｎ）を量子化する。また、残差符号化部１７０は、Ｐ（ｒｅｓＯＴＴ１）のビット配分に収まるように、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する。
【０１７０】
残差符号化部１７０が、ｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を量子化する場合には、任意の符号化方式を用いる。例えば、残差符号化部１７０は、ＡＡＣ符号化を利用して、ＴＴＴ残差信号、第１の残差信号、第２の残差信号をそれぞれ量子化する。残差符号化部１７０は、量子化後のｒｅｓＴＴＴ（ｋ、ｎ）、ｒｅｓＯＴＴ１（ｋ、ｎ）、ｒｅｓＯＴＴ２（ｋ、ｎ）を多重化部１９０に出力する。
【０１７１】
空間情報符号化部１８０は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２から出力される空間情報を量子化する処理部である。空間情報は、上記に示したように、ＣＬＤ、ＩＣＣ、ＣＰＣを含む。以下において、空間情報符号化部１８０がＣＬＤ、ＩＣＣ、ＣＰＣに対して行う量子化について説明する。
【０１７２】
空間情報符号化部１８０がＣＬＤを量子化する処理について説明する。空間情報符号化部１８０は、ＣＬＤ量子化テーブルと、ＣＬＤの値とを比較して、ＣＬＤを量子化する。図１０は、ＣＬＤ量子化テーブルのデータ構造を示す図である。図１０に示すように、このＣＬＤ量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。
【０１７３】
図１０の１段目に示すように、ＣＬＤ［−１５］の値は、−１５０であり、ＣＬＤ［−１４］の値は、−４５であり、ＣＬＤ［−１３］の値は、−４０であり、ＣＬＤ［−１２］の値は、−３５である。また、ＣＬＤ［−１１］の値は、−３０であり、ＣＬＤ［−１０］の値は、−２５であり、ＣＬＤ［−９］の値は、−２２であり、ＣＬＤ［−８］の値は、−１９である。また、ＣＬＤ［−７］の値は、−１６であり、ＣＬＤ［−６］の値は、−１３であり、ＣＬＤ［−５］の値は、−１０である。
【０１７４】
図１０の２段目に示すように、ＣＬＤ［−４］の値は、−８であり、ＣＬＤ［−３］の値は、−６であり、ＣＬＤ［−２］の値は、−４であり、ＣＬＤ［−１］の値は、−２である。ＣＬＤ［０］の値は、０であり、ＣＬＤ［１］の値は、２であり、ＣＬＤ［２］の値は、４であり、ＣＬＤ［３］の値は、６であり、ＣＬＤ［４］の値は、８であり、ＣＬＤ［５］の値は、１０であり、ＣＬＤ［６］の値は、１３である。
【０１７５】
図１０の３段目に示すように、ＣＬＤ［７］の値は、１６であり、ＣＬＤ［８］の値は、１９であり、ＣＬＤ［９］の値は、２２であり、ＣＬＤ［１０］の値は、２５であり、ＣＬＤ［１１］の値は、３０である。ＣＬＤ［１２］の値は、３５であり、ＣＬＤ［１３］の値は、４０であり、ＣＬＤ［１４］の値は、４５であり、ＣＬＤ［１５］の値は、１５０である。
【０１７６】
空間情報符号化部１８０は、ＣＬＤ量子化テーブルのＣＬＤ［ｉｄｘ］の値のうち、最もＣＬＤの値に近いＣＬＤ［ｉｄｘ］を検出する。そして、空間情報符号化部は、検出したＣＬＤ［ｉｄｘ］に対応するｉｄｘの値を、量子化後のＣＬＤの値とする。例えば、ＣＬＤの値が「１０．８ｄＢ」の場合には、この値に最も近いＣＬＤ［ｉｄｘ］の値は、ＣＬＤ［５］の１０となる。このため、空間情報符号化部１８０がＣＬＤの値「１０．８ｄＢ」に対して量子化を行うと、量子化後の値は「５」となる。
【０１７７】
次に、空間情報符号化部１８０がＩＣＣを量子化する処理について説明する。空間情報符号化部１８０は、ＩＣＣ量子化テーブルと、ＩＣＣの値とを比較して、ＩＣＣを量子化する。図１１は、ＩＣＣ量子化テーブルのデータ構造を示す図である。図１１に示すように、ＩＣＣ量子化テーブルは、ｉｄｘ（index）と、ＩＣＣ［ｉｄｘ］とを対応付けて保持する。
【０１７８】
図１１に示すように、ＩＣＣ［０］の値は１であり、ＩＣＣ［１］の値は０．９３７であり、ＩＣＣ［２］の値は０．８４１１８であり、ＩＣＣ［３］の値は０．６００９２である。また、ＩＣＣ［４］の値は０．３６７６４であり、ＩＣＣ［５］の値は０であり、ＩＣＣ［６］の値は−０．５８９であり、ＩＣＣ［７］の値は−０．９９である。
【０１７９】
空間情報符号化部１８０は、ＩＣＣ量子化テーブルのＩＣＣ［ｉｄｘ］の値のうち、最もＩＣＣの値に近いＩＣＣ［ｉｄｘ］を検出する。そして、空間情報符号化部１８０は、検出したＩＣＣに対応するｉｄｘの値を、量子化後のＩＣＣの値とする。例えば、ＩＣＣの値が「０．６」の場合には、この値に最も近いＩＣＣ［ｉｄｘ］の値は、ＩＣＣ［３］の０．６００９２となる。このため、空間情報符号化部１８０がＩＣＣの値「０．６」に対して量子化を行うと、量子化後の値は「３」となる。
【０１８０】
次に、空間情報符号化部１８０がＣＰＣを量子化する処理について説明する。空間情報符号化部１８０が量子化するＣＰＣは、上記のＣＰＣ１、ＣＰＣ２に対応する。空間情報符号化部１８０は、ＣＰＣ量子化テーブルと、ＣＰＣの値とを比較して、ＣＰＣを量子化する。図１２は、ＣＰＣ量子化テーブルのデータ構造を示す図である。図１２に示すように、ＣＰＣ量子化テーブルは、ｉｄｘ（index）と、ＣＰＣ［ｉｄｘ］とを対応付けて保持する。
【０１８１】
図１２の１段目に示すように、ＣＰＣ［−２０］の値は−２．０であり、ＣＰＣ［−１９］の値は−１．９であり、ＣＰＣ［−１８］の値は−１．８であり、ＣＰＣ［−１７］の値は−１．７である。ＣＰＣ［−１６］の値は−１．６である。また、ＣＰＣ［−１５］の値は−１．５であり、ＣＰＣ［−１４］の値は−１．４であり、ＣＰＣ［−１３］の値は−１．３である。ＣＰＣ［−１２］の値は−１．２であり、ＣＰＣ［−１１］の値は−１．１であり、ＣＰＣ［−１０］の値は−１．０である。
【０１８２】
図１２の２段目に示すように、ＣＰＣ［−９］の値は−０．９であり、ＣＰＣ［−８］の値は−０．８であり、ＣＰＣ［−７］の値は−０．７であり、ＣＰＣ［−６］の値は−０．６であり、ＣＰＣ［−５］の値は−０．５である。また、ＣＰＣ［−４］の値は−０．４であり、ＣＰＣ［−３］の値は−０．３であり、ＣＰＣ［−２］の値は−０．２であり、ＣＰＣ［−１］の値は−０．１であり、ＣＰＣ［０］の値は０．０であり、ＣＰＣ［１］の値は０．１である。
【０１８３】
図１２の３段目に示すように、ＣＰＣ［２］の値は０．２であり、ＣＰＣ［３］の値は０．３であり、ＣＰＣ［４］の値は０．４であり、ＣＰＣ［５］の値は０．５であり、ＣＰＣ［６］の値は０．６である。また、ＣＰＣ［７］の値は０．７であり、ＣＰＣ［８］の値は０．８であり、ＣＰＣ［９］の値は０．９であり、ＣＰＣ［１０］の値は１．０であり、ＣＰＣ［１１］の値は１．１であり、ＣＰＣ［１２］の値は１．２である。
【０１８４】
図１２の４段目に示すように、ＣＰＣ［１３］の値は１．３であり、ＣＰＣ［１４］の値は１．４であり、ＣＰＣ［１５］の値は１．５である。また、ＣＰＣ［１６］の値は１．６であり、ＣＰＣ［１７］の値は１．７であり、ＣＰＣ［１８］の値は１．８であり、ＣＰＣ［１９］の値は１．９である。また、ＣＰＣ［２０］の値は２．０であり、ＣＰＣ［２１］の値は２．１であり、ＣＰＣ［２２］の値は２．２であり、ＣＰＣ［２３］の値は２．３である。
【０１８５】
図１２の５段目に示すように、ＣＰＣ［２４］の値は２．４であり、ＣＰＣ［２５］の値は２．５であり、ＣＰＣ［２６］の値は２．６であり、ＣＰＣ［２７］の値は２．７である。また、ＣＰＣ［２８］の値は２．８であり、ＣＰＣ［２９］の値は２．９であり、ＣＰＣ［３０］の値は３．０である。
【０１８６】
空間情報符号化部１８０は、ＣＰＣ量子化テーブルのＣＰＣ［ｉｄｘ］の値のうち、最もＣＰＣの値に近いＣＰＣ［ｉｄｘ］を検出する。そして、空間情報符号化部１８０は、検出したＣＰＣに対応するｉｄｘの値を、量子化後のＣＰＣの値とする。例えば、ＣＰＣの値が「１．２１」の場合には、この値に最も近いＣＰＣ［ｉｄｘ］の値は、ＣＰＣ［１２］の１．２となる。このため、空間情報符号化部１８０がＣＰＣの値「１．２１」に対して量子化を行うと、量子化後の値は「１２」となる。
【０１８７】
空間情報符号化部１８０は、符号化した空間情報を多重化部１９０に出力する。
【０１８８】
図１の説明に戻る。多重化部１９０は、コア符号化部１６０、残差符号化部１７０、空間情報符号化部から符号化された各データを取得し、取得した各データを多重化する処理部である。具体的に、多重化部１９０は、量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）、量子化された残差信号ｒｅｓＴＴＴ（ｋ、ｎ）、残差信号ｒｅｓＯＴＴ１（ｋ、ｎ）、残差信号ｒｅｓＯＴＴ２（ｋ、ｎ）、量子化された空間情報を多重化する。
【０１８９】
例えば、多重化部１９０の出力データの形式をＭＰＥＧ−２  ＡＤＴＳ（Audio  Data  Transport  Stream）形式とする。図１３は、ＭＰＥＧ−２  ＡＤＴＳのフォーマット例を示す図である。図１３に示すように、出力データは、ＡＤＴＳヘッダのフィールド１ａ、ＡＡＣデータのフィールド１ｂ、ＦＩＬエレメントのフィールド１ｃを含む。
【０１９０】
ＡＡＣデータには、ＡＡＣ方式で量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）が格納される。ＦＩＬエレメントは、ＳＢＲデータのフィールド１ｄとＭＰＳデータのフィールド１ｅとを含む。ＳＢＲデータには、ＳＢＲ方式で量子化されたダウンミックス信号Ｌ’’（ｋ、ｎ）、Ｒ’’（ｋ、ｎ）が格納される。ＭＰＳデータ１ｅには、量子化された残差信号と空間情報が格納される。多重化部１９０は、多重化したデータを外部装置に出力する。
【０１９１】
次に、本実施例にかかるＭＰＳ符号器の処理手順について説明する。図１４は、本実施例にかかるＭＰＳ符号器の処理手順を示すフローチャートである。図１４に示す処理は、例えば、ＭＰＳ符号器１００が、入力信号を取得したことを契機として実行される。なお、図１４に示すフロ−チャートにおいて、ステップＳ１０３〜ステップＳ１０４の処理と、ステップＳ１０５〜ステップＳ１０７の処理は平行して行われるものとする。なお、ステップＳ１０３〜ステップＳ１０４の処理を実行した後に、ステップＳ１０５〜ステップＳ１０７の処理を実行しても構わない。
【０１９２】
図１４に示すように、ＭＰＳ符号器１００の時間周波数変換部１１０は、入力信号を取得し（ステップＳ１０１）、入力信号を周波数信号に変換する（ステップＳ１０２）。信号変換部１２０は、周波数信号をダウンミックスし（ステップＳ１０３）、空間情報を重要度変換部１４０に通知する（ステップＳ１０４）。
【０１９３】
一方、ＭＰＳ符号器１００の重要度算出部１３０は、各周波数信号の重要度を算出する（ステップＳ１０５）。重要度変換部１４０は、信号変換部１２０から取得する空間情報を利用して、各重要度をダウンミックスし（ステップＳ１０６）、ビット数判定部１５０は、重要度に基づいてビット配分を判定する（ステップＳ１０７）。
【０１９４】
コア符号化部１６０および残差符号化部１７０は、ビット数判定部１５０から取得したビット配分に応じて信号を量子化し、空間情報符号化部１８０は、空間情報を量子化する（ステップＳ１０８）。そして、多重化部１９０は、量子化された各信号を多重化する（ステップＳ１０９）。
【０１９５】
次に、本実施例にかかるＭＰＳ符号器１００の効果について説明する。ＭＰＳ符号器１００は、ダウンミックスされる前の入力信号に含まれる各信号の重要度を算出する。そして、ＭＰＳ符号器１００は、各重要度をダウンミックスすることで、ダウンミックス後の入力信号と同数の重要度に変換し、各重要度に対応するダウンミックス後の入力信号を量子化する場合のビット配分を判定する。ダウンミックス前の重要度と入力信号とは一対一に対応しており、ダウンミックス後の入力信号と重要度ともそれぞれ対応しているため、入力信号に含まれる各信号のビット配分を正確に算出することができ、音質が劣化するという問題を解消することができる。
【０１９６】
また、ＭＰＳ符号器１００は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を介して、６チャネルの周波数信号を５チャネルの信号にダウンミックスする。同様に、ＭＰＳ符号器１００は、Ｒ−ＯＴＴ部１２１ａ〜１２１ｃ、Ｒ−ＴＴＴ部１２２を介して、６つの重要度を５つの重要度に変換する。このように、入力信号のダウンミックスと同様に、重要度をダウンミックスするので、ダウンミックス後の各信号の重要度をより適切に求めることができ、各信号に適したビット配分を求めることができる。
【０１９７】
また、ＭＰＳ符号器１００は、周波数毎にマスキングパワーと周波数信号との差分を算出し、算出した差分の値を合計することで、各周波数信号の重要度を算出する。このため、各周波数信号の重要度を精度良く算出することができる。
【０１９８】
なお、上記の各処理部１１０〜１９０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）や、ＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。また、上記処理部１１０〜１９０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等の電子回路に対応する。
【０１９９】
ところで、図１に示したＭＰＳ符号器１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、ＭＰＳ符号器１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１の重要度算出部１３０、重要度変換部１４０、ビット数判定部１５０の処理をまとめて実行する処理部をＭＰＳ符号器１００に設けても良い。
【０２００】
また、ＭＰＳ符号器１００は、既知のパーソナルコンピュータ、ワークステーション、移動体通信端末またはＰＤＡなどの情報処理装置に、ＭＰＳ符号器１００の各機能を搭載することによって実現することもできる。
【０２０１】
図１５は、実施例にかかるＭＰＳ符号器を構成するコンピュータのハードウェア構成を示す図である。図１５に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ（Central  Processing  Unit）２１０と、ユーザからのデータの入力を受け付ける入力装置２２０と、モニタ２３０を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読取る媒体読み取り装置２４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置２５０を有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random  Access  Memory）２６０と、ハードディスク装置２７０を有する。各装置２１０〜２７０は、バス２８０に接続される。
【０２０２】
ハードディスク装置２７０は、重要度算出プログラム２７１、信号変換プログラム２７２、重要度変換プログラム２７３、ビット数判定プログラム２７４、量子化プログラム２７５を記憶する。
【０２０３】
ＣＰＵ２１０は、ハードディスク装置２７０に記憶された各プログラム２７１〜２７５を読み出して、ＲＡＭ２６０に展開する。これにより、重要度算出プログラム２７１は、重要度算出プロセス２６１として機能する。信号変換プログラム２７２は、信号変換プロセス２６２として機能する。重要度変換プログラム２７３は、重要度変換プロセス２６３として機能する。ビット数判定プログラム２７４は、ビット数判定プロセス２６４として機能する。量子化プログラム２７５は、量子化プロセス２６５として機能する。
【０２０４】
重要度算出プロセス２６１は、図１の重要度算出部１３０に対応する。信号変換プロセス２６２は、図１の信号変換部１２０に対応する。重要度変換プロセス２６３は、図１の重要度変換部１４０に対応する。ビット数判定プロセス２６４は、図１のビット数判定部１５０に対応する。量子化プロセス２６５は、図１のコア符号化部１６０、残差符号化部１７０、空間情報符号化部１８０に対応する。ＲＡＭ２６０の各プロセス２６１〜２６５が処理を実行することにより、入力信号を量子化する。
【０２０５】
なお、上記のプログラム２７１〜２７５は、必ずしもハードディスク装置２７０に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２７１〜２７５を、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等に接続された記憶装置に、各プログラム２７１〜２７５を記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２７１〜２７５を読み出して実行するようにしてもよい。
【０２０６】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【０２０７】
（付記１）入力信号に含まれる第１の数の信号の重要度をそれぞれ算出する重要度算出部と、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変換する信号変換部と、
前記重要度算出部が算出した第１の数の重要度を第２の数の重要度に変換する重要度変換部と、
前記重要度変換部により変換された第２の数の重要度に基づいて、前記信号変換部により変換された第２の数の信号の量子化後のビット数をそれぞれ判定するビット数判定部と、
前記ビット数判定部の判定結果に基づいて、第２の数の信号を量子化する量子化部と、
を有することを特徴とする符号器。
【０２０８】
（付記２）前記重要度変換部は、前記信号変換部で得られた空間情報に基づいて、第１の数の重要度を第２の数の重要度に変換することを特徴とする付記１に記載の符号器。
【０２０９】
（付記３）前記信号変換部は、第１の数の信号を所定の数の信号に変換し、所定の数の信号を第２の数の信号に変換し、前記重要度変換部は、第１の数の重要度を所定の数の重要度に変換し、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記１に記載の符号器。
【０２１０】
（付記４）前記重要度算出部は、周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記１、２または３に記載の符号器。
【０２１１】
（付記５）コンピュータが実行する符号化方法であって、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
前記第２の数の重要度に基づいて、前記第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化することを特徴とする符号化方法。
【０２１２】
（付記６）前記第１の数の信号を所定の数の信号に変換した後に、所定の数の信号を第２の数の信号に変換し、第１の数の重要度を所定の数の重要度に変換した後に、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記５に記載の符号化方法。
【０２１３】
（付記７）周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記５または６に記載の符号化方法。
【０２１４】
（付記８）コンピュータに、
入力信号に含まれる第１の数の信号の重要度をそれぞれ算出し、
算出した第１の数の重要度を第２の数の重要度に変更し、
前記入力信号に含まれる第１の数の信号を第２の数の信号に変更し、
第２の数の重要度に基づいて、第２の数の信号の量子化後のビット数をそれぞれ判定し、
判定結果に基づいて、前記第２の数の信号を量子化する処理を実行させる符号化プログラム。
【０２１５】
（付記９）前記第１の数の信号を所定の数の信号に変換した後に、所定の数の信号を第２の数の信号に変換し、第１の数の重要度を所定の数の重要度に変換した後に、所定の数の重要度を第２の数の重要度に変換することを特徴とする付記８に記載の符号化プログラム。
【０２１６】
（付記１０）周波数毎にマスキングパワーと入力信号との差分を算出し、算出した差分の値を合計することで、入力信号の重要度を算出することを特徴とする付記８または９に記載の符号化プログラム。
【符号の説明】
【０２１７】
１００  ＭＰＳ符号器
１１０  時間周波数変換部
１２０  信号変換部
１３０  重要度算出部
１４０  重要度変換部
１５０  ビット数判定部
１６０  コア符号化部
１７０  残差符号化部
１８０  空間情報符号化部
１９０  多重化部
【図１】
0005582027.tif 000046
【図２】
0005582027.tif 000047
【図３】
0005582027.tif 000048
【図４】
0005582027.tif 000049
【図５】
0005582027.tif 000050
【図６】
0005582027.tif 000051
【図７】
0005582027.tif 000052
【図８】
0005582027.tif 000053
【図９】
0005582027.tif 000054
【図１０】
0005582027.tif 000055
【図１１】
0005582027.tif 000056
【図１２】
0005582027.tif 000057
【図１３】
0005582027.tif 000058
【図１４】
0005582027.tif 000059
【図１５】
0005582027.tif 000060
【図１６】
0005582027.tif 000061
【図１７】
0005582027.tif 000062
【図１８】
0005582027.tif 000063
【図１９】
0005582027.tif 000064