(57)【要約】  本発明に係る符号化方法は、第１変換係数を用いて入力信号を変換する第１変換ステップ（Ｓ１１０）と、第２変換係数を用いて第１変換出力信号の一部である第１部分信号を変換する第２変換ステップ（Ｓ１３０ｂ）と、第２変換出力信号と、第１変換出力信号のうち第１部分信号以外の部分である第２部分信号とを量子化する量子化ステップ（Ｓ１５０ｂ）と、量子化係数をエントロピー符号化するエントロピー符号化ステップ（Ｓ１６０）とを含み、第２変換ステップ（Ｓ１３０ｂ）は、第１部分信号、又は、第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップ（Ｓ１３１）と、第２変換係数を用いて補正後の第１部分信号を変換することで、又は、補正後の第２変換係数を用いて第１部分信号を変換することで、第２変換出力信号を生成する変換ステップ（Ｓ１３２）とを含む。
2011016250.tif 000002
【特許請求の範囲】
【請求項１】
第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
前記第２変換ステップは、
前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
符号化方法。
【請求項２】
前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成する
請求項１記載の符号化方法。
【請求項３】
前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、
前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化する
請求項１記載の符号化方法。
【請求項４】
前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行う
請求項１〜３のいずれか１項に記載の符号化方法。
【請求項５】
前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、
前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成する
請求項４記載の符号化方法。
【請求項６】
前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、
前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
請求項４記載の符号化方法。
【請求項７】
前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
請求項１〜３のいずれか１項に記載の符号化方法。
【請求項８】
前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、
前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、
前記第２変換ステップは、さらに、
前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含む
請求項７記載の符号化方法。
【請求項９】
前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、
前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
請求項７記載の符号化方法。
【請求項１０】
前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ  Ｌｏｅｖｅ  Ｔｒａｎｓｆｏｒｍ）によって決定される係数である
請求項１〜９のいずれか１項に記載の符号化方法。
【請求項１１】
符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
前記第２逆変換ステップでは、
前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
復号方法。
【請求項１２】
前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成する
請求項１１記載の復号方法。
【請求項１３】
前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含む
請求項１１記載の復号方法。
【請求項１４】
前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行う
請求項１１〜１３のいずれか１項に記載の復号方法。
【請求項１５】
前記第２逆変換ステップでは、
前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、
前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成する
請求項１４記載の復号方法。
【請求項１６】
前記第２逆変換ステップでは、
前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、
前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
請求項１４記載の復号方法。
【請求項１７】
前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行う
請求項１１〜１３のいずれか１項に記載の復号方法。
【請求項１８】
前記第２逆変換ステップでは、
前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、
前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、
前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成する
請求項１７記載の復号方法。
【請求項１９】
前記第２逆変換ステップでは、
前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、
前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
請求項１７記載の復号方法。
【請求項２０】
前記第２逆変換係数は、ＫＬＴによって決定される係数である
請求項１１〜１９のいずれか１項に記載の復号方法。
【請求項２１】
第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
前記第２変換部は、
前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
符号化装置。
【請求項２２】
符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
前記第２逆変換部は、
前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
復号装置。
【請求項２３】
第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換部と、
前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換部と、
前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化部と、
前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化部とを備え、
前記第２変換部は、
前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成し、
前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する
集積回路。
【請求項２４】
符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号部と、
前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化部と、
第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換部と、
前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換部とを備え、
前記第２逆変換部は、
前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
集積回路。
【請求項２５】
符号化方法をコンピュータに実行させるためのプログラムであって、
前記符号化方法は、
第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、
前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、
前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、
前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、
前記第２変換ステップは、
前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、
前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む
プログラム。
【請求項２６】
復号方法をコンピュータに実行させるためのプログラムであって、
前記復号方法は、
符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、
前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、
第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、
前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、
前記第２逆変換ステップでは、
前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オーディオ、静止画像、及び動画像を符号化する符号化方法に関し、特に、時空間ドメインから周波数ドメインへ入力信号を変換する変換処理を含む符号化方法に関する。
【背景技術】
【０００２】
音声データや動画像データを圧縮するために、複数の音声符号化規格、動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣと称される規格である。【０００３】
図１は、従来の符号化装置１０００の構成を示すブロック図である。図１に示すように、符号化装置１０００は、変換部１０１０と、量子化部１０２０と、エントロピー符号化部１０３０とを備え、音声データや動画像データを低ビットレートで符号化する。【０００４】
変換部１０１０は、各種データである入力信号、又は入力信号に何らかの処理を加えた変換入力信号を時空間ドメインから周波数ドメインへ変換することで、相関を軽減した変換出力信号を生成する。生成された変換出力信号は、量子化部１０２０に出力される。【０００５】
量子化部１０２０は、変換部１０１０から出力された変換出力信号を量子化することで、総データ量の少ない量子化係数を生成する。生成された量子化係数は、エントロピー符号化部１０３０に出力される。【０００６】
エントロピー符号化部１０３０は、量子化部１０２０から出力された量子化係数を、エントロピー符号化アルゴリズムを用いて符号化することで、残りのデータを圧縮した符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。【０００７】
以下では、変換部１０１０が行う変換処理について詳細に説明する。【０００８】
変換部１０１０には、変換対象信号（すなわち、変換入力信号）であるｎ点のベクトル（ｎ次元信号）が変換入力（Ｔｒａｎｓｆｏｒｍ  Ｉｎｐｕｔ）ベクトルｘnとして入力される。変換部１０１０は、変換入力ベクトルｘnに、所定の変換処理（変換Ｔ）を行い、変換出力信号として、変換出力（Ｔｒａｎｓｆｏｒｍ  Ｏｕｔｐｕｔ）ベクトルｙnを出力する（式１参照）。【０００９】
【数１】
2011016250.tif 000003
【００１０】
変換Ｔが線形変換である場合、式２に示すように、変換Ｔは、ｎ×ｎの正方行列である変換行列（Ｔｒａｎｓｆｏｒｍ  Ｍａｔｒｉｘ）Ａと変換入力ベクトルｘnとの行列積として表現できる。なお、式３は、変換出力ベクトルｙnを、変換行列Ａの各要素である変換係数ａikを用いて要素ｙi毎に算出するための式であり、式１と式２とから導出される。【００１１】
【数２】
2011016250.tif 000004
【００１２】
【数３】
2011016250.tif 000005
【００１３】
変換行列Ａは、入力信号の相関を軽減し、変換出力ベクトルｙnの要素のうち小さいnを持つ要素（いわゆる低域側）へエネルギーが集中するように設計される。変換行列Ａの設計にあたり、ＫＬＴ（Ｋａｒｈｕｎｅｎ  Ｌｏｅｖｅ  Ｔｒａｎｓｆｏｒｍ：カルーネンレーベ変換）という変換係数導出方法、又は変換方法が知られている。【００１４】
ＫＬＴは、入力信号の統計的性質に基づいて、最適な変換行列を導出する方法、又は、導出した最適な変換行列を用いた変換方法である。ＫＬＴは、入力信号の相関性を完全に無くすことが可能で、最も効率良くエネルギーを低域へ集中させることができる技術として知られている。【００１５】
つまり、ＫＬＴは、理想的な変換処理であり、優れた符号化効率で、ＫＬＴによって変換された符号化対象信号を符号化することができる。
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、上記従来技術に示すＫＬＴには、演算量が大きく、かつ、変換に用いる係数である変換行列のデータ量が多いという課題がある。具体的には、以下の通りである。【００１７】
図２に示すように、バタフライ構成などの高速アルゴリズムの存在するＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）では、入力信号の次元数（以下、入力点数とも記載）がＭの場合の乗算回数はＭ×Ｌｏｇ2（Ｍ）である。これに対して、ＫＬＴでは、乗算回数はＭ×Ｍになる。例えば、ＤＣＴの乗算回数は、入力点数が４点の場合８回、入力点数が８点の場合２４回である。これに対して、ＫＬＴの乗算回数は、例えば、入力点数が４点の場合１６回（ＤＣＴ比２倍）、８点の場合６４回（ＤＣＴ比２．６倍）、１６点の場合はＤＣＴ比４．０倍である。変換サイズが大きくなるほど、ＫＬＴの演算量の増加傾向は著しくなるため、ＫＬＴは、ＤＣＴと比べて演算量が膨大になるという課題がある。【００１８】
また、ＫＬＴでは、入力信号ベクトルｘnを含む集合ＳAの統計的性質に基づいて、変換行列Ａを導出する。変換行列Ａを用いた変換は、集合ＳAに含まれる入力信号ベクトルｘnに対して、最適な無相関化と低域へのエネルギー圧縮とを行うことができる。しかし、設計時に想定した集合ＳAと異なる統計的特性を持つ集合ＳBに含まれる入力信号ベクトルが入力された場合、変換行列Ａを用いた変換結果は、最適にならない。逆に、常に最適を求めて、入力の統計的性質のわずかな変化毎に変換係数を生成すれば、変換係数のデータ量が膨大になる。【００１９】
以上のように、ＫＬＴには、演算量が大きく、かつ、変換係数のデータ量が多いという課題があるため、従来の符号化の際にＫＬＴを利用するのは困難であった。【００２０】
そこで、本発明は、上記課題を解決するためになされたものであって、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる符号化方法及び符号化装置を提供することを目的とする。さらに、本発明は、本発明に係る符号化方法及び符号化装置によって符号化された信号を正しく復号することができる復号方法及び復号装置を提供することを目的とする。
【課題を解決するための手段】
【００２１】
上記目的を達成するため、本発明の一態様に係る符号化方法は、第１変換係数を用いて入力信号を変換することで、第１変換出力信号を生成する第１変換ステップと、前記第１変換出力信号の一部である第１部分信号を含む集合の統計特性に基づいて決定された第２変換係数を用いて、前記第１部分信号を変換することで、第２変換出力信号を生成する第２変換ステップと、前記第２変換出力信号と、前記第１変換出力信号のうち前記第１部分信号以外の部分である第２部分信号とを量子化することで、量子化係数を生成する量子化ステップと、前記量子化係数をエントロピー符号化することで、符号化信号を生成するエントロピー符号化ステップとを含み、前記第２変換ステップは、前記第１部分信号、又は、前記第２変換係数に所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号、又は、補正後の第２変換係数を生成する補正ステップと、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、又は、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成する変換ステップとを含む。【００２２】
これにより、第１変換と第２変換とを含む２段階の変換を行うことで、演算量の増加、及び、変換係数のデータ量の増加を抑制し、符号化効率を高めることができる。例えば、精度の異なる変換を２段階で行うことで、高精度の変換を１段階で行う場合に比べて演算量を少なくすることができ、かつ、演算量の少ない変換を１段階で行う場合に比べて高精度で変換を行うことができる。さらに、２段階の変換を行う際に、量子化時に用いるスケーリングパラメータを用いた補正を行うことによって、より適した第２変換を行うことができる。【００２３】
また、前記量子化ステップでは、前記スケーリングパラメータを用いずに前記第２変換出力信号を量子化し、かつ、前記スケーリングパラメータを用いて前記第２部分信号を量子化することで、量子化係数を生成してもよい。【００２４】
これにより、第２変換出力信号と第２部分信号とをそれぞれ別々に量子化するので、それぞれに適した量子化を行うことができ、符号化効率の向上、及び、画質の劣化の抑制を実現することができる。【００２５】
また、前記補正ステップでは、さらに、前記スケーリングパラメータを用いて前記第２部分信号を補正することで、補正後の第２部分信号を生成し、前記量子化ステップでは、前記第２変換出力信号と前記補正後の第２部分信号とを量子化してもよい。【００２６】
これにより、第２変換出力信号と第２部分信号とをまとめて量子化することで、量子化によって発生する丸め誤差を低減することができ、演算精度を高めることができる。【００２７】
また、前記補正ステップでは、前記スケーリングパラメータとして、前記第１変換係数から算出されたノルムを用いて前記補正を行ってもよい。【００２８】
これにより、ノルムの補正を行うことで、第１変換を行うことで生成される第１変換出力信号の各周波数位置におけるノルムが異なっている場合であっても、より適した第２変換を行うことができる。【００２９】
また、前記補正ステップでは、前記第１部分信号に前記ノルムの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。【００３０】
これにより、第１部分信号にノルム補正を行うことで、より適した第２変換を行うことができる。【００３１】
また、前記補正ステップでは、前記第２変換係数に前記ノルムの逆数を乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。【００３２】
これにより、第２変換係数にノルム補正を行うことで、第１部分信号にノルム補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれにノルム補正を行うのではなく、第２変換係数に一度ノルム補正を行うだけで済む。【００３３】
また、前記補正ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。【００３４】
これにより、第２変換の際に量子化マトリクスの補正を行うことで、量子化マトリクスのスケーリングを第２変換出力信号に正しく反映させることができる。【００３５】
また、前記補正ステップでは、前記第１部分信号に前記量子化マトリクスの逆数を乗じることで、前記補正後の第１部分信号を生成し、前記変換ステップでは、前記第２変換係数を用いて前記補正後の第１部分信号を変換することで、変換後の第１部分信号を生成し、前記第２変換ステップは、さらに、前記変換後の第１部分信号に、前記量子化マトリクスから算出される補正係数を乗じることで、前記第２変換出力信号を生成するポスト補正ステップを含んでもよい。【００３６】
これにより、第１部分信号に量子化マトリクスの補正を行うことで、より適した第２変換を行うことができる。【００３７】
また、前記補正ステップでは、前記第２変換係数に前記量子化マトリクスの逆数と、当該量子化マトリクスから算出される補正係数とを乗じることで、前記補正後の第２変換係数を生成し、前記変換ステップでは、前記補正後の第２変換係数を用いて前記第１部分信号を変換することで、前記第２変換出力信号を生成してもよい。【００３８】
これにより、第２変換係数に量子化マトリクスの補正を行うことで、第１部分信号に量子化マトリクスの補正を行う場合に比べて演算量を少なくすることができる。例えば、複数の第１部分信号の集合に対して１つの第２変換係数を決定する場合、当該集合に含まれる複数の第１部分信号のそれぞれに量子化マトリクスの補正を行うのではなく、第２変換係数に一度量子化マトリクスの補正を行うだけで済む。【００３９】
また、前記第２変換係数は、ＫＬＴ（Ｋａｒｈｕｎｅｎ  Ｌｏｅｖｅ  Ｔｒａｎｓｆｏｒｍ）によって決定される係数であってもよい。【００４０】
また、本発明の一態様に係る復号方法は、符号化信号をエントロピー復号することで、復号量子化係数を生成するエントロピー復号ステップと、前記復号量子化係数を逆量子化することで、復号変換出力信号を生成する逆量子化ステップと、第２逆変換係数を用いて、前記復号変換出力信号の一部である第２復号変換出力信号を逆変換することで、第１復号部分信号を生成する第２逆変換ステップと、前記第１復号部分信号と、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分に対応する第２復号部分信号とを含む第１復号変換出力信号を、第１逆変換係数を用いて逆変換することで、復号信号を生成する第１逆変換ステップとを含み、前記第２逆変換ステップでは、前記第２復号変換出力信号を逆変換し、逆変換後の第２復号変換出力信号に、所定のスケーリングパラメータを用いた補正を行うことで、又は、前記第２逆変換係数に前記補正を行い、補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成する。【００４１】
これにより、上記の符号化方法を用いて生成された符号化信号を復号することができる。【００４２】
また、前記逆量子化ステップでは、前記スケーリングパラメータを用いずに、前記復号量子化係数の一部である第１復号量子化係数を逆量子化することで、前記第２復号変換出力信号を生成し、かつ、前記スケーリングパラメータを用いて、前記復号量子化係数のうち前記第１復号量子化係数以外の部分である第２復号量子化係数を逆量子化することで、前記第２復号部分信号を生成してもよい。【００４３】
また、前記符号化方法は、さらに、前記スケーリングパラメータを用いて、前記復号変換出力信号のうち前記第２復号変換出力信号以外の部分を補正することで、前記第２部分信号を生成する補正ステップを含んでもよい。【００４４】
また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、前記第１逆変換係数から算出されたノルムを用いて前記補正を行ってもよい。【００４５】
また、前記第２逆変換ステップでは、前記第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記ノルムを乗じることで、前記第１復号部分信号を生成してもよい。【００４６】
また、前記第２逆変換ステップでは、前記第２逆変換係数に前記ノルムを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。【００４７】
また、前記第２逆変換ステップでは、前記スケーリングパラメータとして、量子化マトリクスを用いて前記補正を行ってもよい。【００４８】
また、前記第２逆変換ステップでは、前記第２復号変換出力信号に、前記量子化マトリクスから算出される補正係数の逆数を乗じることで、ポスト逆補正後の第２復号変換出力信号を生成し、前記第２逆変換係数を用いて前記ポスト逆補正後の第２復号変換出力信号を逆変換することで、逆変換後の第２復号変換出力信号を生成し、前記逆変換後の第２復号変換出力信号に前記量子化マトリクスを乗じることで、前記第１復号部分信号を生成してもよい。【００４９】
また、前記第２逆変換ステップでは、前記第２逆変換係数に前記量子化マトリクスと、当該量子化マトリクスから算出される補正係数の逆数とを乗じることで、前記補正後の第２逆変換係数を生成し、前記補正後の第２逆変換係数を用いて前記第２復号変換出力信号を逆変換することで、前記第１復号部分信号を生成してもよい。【００５０】
また、前記第２逆変換係数は、ＫＬＴによって決定される係数であってもよい。【００５１】
以上のいずれの復号方法においても、符号化方法の場合と同様に、演算量の増加及び変換係数のデータ量の増加を抑制することができる。また、上記の符号化方法によって符号化された信号を正しく復号することができる。【００５２】
なお、本発明は、符号化方法及び復号方法として実現できるだけではなく、当該符号化方法及び復号方法に含まれる処理ステップを行う処理部を備える符号化装置及び復号装置として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【００５３】
また、上記の各符号化装置及び復号装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【発明の効果】
【００５４】
本発明に係る符号化方法及び符号化装置によれば、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。さらに、本発明に係る復号方法及び復号装置によれば、本発明に係る符号化方法及び符号化装置によって符号化された信号を復号することができる。
【図面の簡単な説明】
【００５５】
【図１】図１は、従来の符号化装置の構成を示すブロック図である。
【図２】図２は、ＤＣＴとＫＬＴとの演算量の比較を示す図である。
【図３】図３は、実施の形態１に係る符号化装置の構成の一例を示すブロック図である。
【図４】図４は、実施の形態１に係る第２変換部の構成の一例を示すブロック図である。
【図５】図５は、実施の形態１に係る第２変換部におけるデータフローの一例を概念的に示す図である。
【図６】図６は、実施の形態１に係る符号化装置の動作の一例を示すフローチャートである。
【図７】図７は、実施の形態１に係る第２変換部の動作の一例を示すフローチャートである。
【図８】図８は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。
【図９】図９は、実施の形態１の変形例に係る第２変換部の構成の一例を示すブロック図である。
【図１０】図１０は、実施の形態１の変形例に係る第２変換部におけるデータフローの一例を概念的に示す図である。
【図１１】図１１は、実施の形態１の変形例に係る第２変換部の動作の一例を示すフローチャートである。
【図１２】図１２は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。
【図１３】図１３は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。
【図１４】図１４は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。
【図１５】図１５は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。
【図１６】図１６は、実施の形態１の変形例に係る符号化装置の構成の一例を示すブロック図である。
【図１７】図１７は、実施の形態１の変形例に係る符号化装置の動作の一例を示すフローチャートである。
【図１８】図１８は、実施の形態２に係る復号装置の構成の一例を示すブロック図である。
【図１９】図１９は、実施の形態２に係る第２逆変換部の構成の一例を示すブロック図である。
【図２０】図２０は、実施の形態２に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。
【図２１】図２１は、実施の形態２に係る復号装置の動作の一例を示すフローチャートである。
【図２２】図２２は、実施の形態２に係る第２逆変換部の動作の一例を示すフローチャートである。
【図２３】図２３は、実施の形態２の変形例に係る第２逆変換部の構成の一例を示すブロック図である。
【図２４】図２４は、実施の形態２の変形例に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。
【図２５】図２５は、実施の形態２の変形例に係る第２逆変換部の動作の一例を示すフローチャートである。
【図２６】図２６は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。
【図２７】図２７は、実施の形態２の変形例に係る復号装置の動作の一例を示すフローチャートである。
【図２８】図２８は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。
【図２９】図２９は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。
【図３０】図３０は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。
【図３１】図３１は、実施の形態２の変形例に係る復号装置の構成の一例を示すブロック図である。
【図３２】図３２は、実施の形態３に係る第２変換部の構成の一例を示すブロック図である。
【図３３】図３３は、実施の形態３に係る第２変換部におけるデータフローの一例を概念的に示す図である。
【図３４】図３４は、実施の形態３に係る第２変換部の動作の一例を示すフローチャートである。
【図３５】図３５は、実施の形態４に係る第２逆変換部の構成の一例を示すブロック図である。
【図３６】図３６は、実施の形態４に係る第２逆変換部におけるデータフローの一例を概念的に示す図である。
【図３７】図３７は、実施の形態４に係る第２逆変換部の動作の一例を示すフローチャートである。
【図３８】図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成の一例を示す模式図である。
【図３９】図３９は、携帯電話の外観を示す図である。
【図４０】図４０は、携帯電話の構成例を示すブロック図である。
【図４１】図４１は、デジタル放送用システムの全体構成の一例を示す模式図である。
【図４２】図４２は、テレビの構成例を示すブロック図である。
【図４３】図４３は、光ディスクである記録メディアに情報の読み書きを行う情報再生記録部の構成例を示すブロック図である。
【図４４】図４４は、光ディスクである記録メディアの構造例を示す図である。
【図４５】図４５は、各実施の形態に係る動画像符号化方法及び動画像復号方法を実現する集積回路の構成例を示すブロック図である。
【発明を実施するための形態】
【００５６】
以下では、本発明に係る符号化方法、復号方法、符号化装置及び復号装置について、実施の形態に基づいて図面を用いて詳細に説明する。
【００５７】
（実施の形態１）
実施の形態１に係る符号化装置は、入力信号に変換、量子化及びエントロピー符号化を行うことで、符号化信号を生成する。変換は、第１変換と第２変換とを含み、第２変換は、入力信号に第１変換を行うことで生成される第１変換出力信号の一部である第１部分信号に実行される。実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。以下では、まず、実施の形態１に係る符号化装置の構成の一例について、図３を用いて説明する。なお、本明細書においては、変換行列と変換係数とはほぼ同義として用いる場合がある。
【００５８】
なお、バタフライ構成やシフトと加算の演算を用いる構成のように、単純な行列演算でなくとも実現できる変換であっても、本明細書では行列表現で記述する場合がある。このように行列表現で記述することは、バタフライ構成やシフトと加算の演算を用いる構成、あるいは、リフティング構造を用いる構成など、各種の演算量を軽減した変換を除外するものではない。
【００５９】
図３は、実施の形態１に係る符号化装置１００の構成の一例を示すブロック図である。符号化装置１００には、音声データ、静止画像データ、動画像データなどの各種データである入力信号が符号化対象信号として入力される。符号化装置１００は、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０と、エントロピー符号化部１６０とを備え、入力された符号化対象信号を符号化する。
【００６０】
第１変換部１１０には、符号化対象信号が変換入力信号として入力される。変換入力信号は、例えば、式４に示すようなベクトルｘnで表される。例えば、符号化対象信号は、複数の変換入力信号ｘnによって構成される。
【００６１】
【数４】
2011016250.tif 000006
【００６２】
第１変換部１１０は、複数の要素から構成された正方行列の係数である第１変換行列Ａ1nを用いて、入力された変換入力信号ｘnを時空間ドメインから周波数ドメインへ変換することで、相関を軽減した第１変換出力信号ｙ1nを生成する。生成された第１変換出力信号ｙ1nは、分割部１２０に出力される。
【００６３】
例えば、第１変換部１１０は、第１変換行列Ａ1nを用いて変換入力信号ｘnを変換することで、第１変換出力信号ｙ1nを生成する。第１変換行列Ａ1nを用いた変換を第１変換Ｔ1と記載する。第１変換Ｔ1は、時空間ドメインの信号である変換入力信号ｘnを、周波数ドメインの信号である第１変換出力信号ｙ1nに変換する処理（直交変換）である。例えば、第１変換部１１０は、第１変換Ｔ1として、通常のＤＣＴを行う。
【００６４】
分割部１２０は、第１変換部１１０から出力された第１変換出力信号ｙ1nを第１部分信号ｙ1Lmと第２部分信号ｙ1Hn-mとに、第１部分信号ｙ1Lmの相関エネルギーが第２部分信号ｙ1Hn-mの相関エネルギーより大きくなるように分割する。第１部分信号ｙ1Lmは、第２変換部１３０に出力される。第２部分信号ｙ1Hn-mは、量子化部１４０が備える補正付き量子化部１４２に出力される。
【００６５】
例えば、分割部１２０は、第１変換出力信号ｙ1nをどのように分割するかを示す情報である分割統合情報を用いて、ｎ個の要素からなる（次元数ｎの）第１変換出力信号ｙ1nを、ｍ個の要素からなる（次元数ｍの）第１部分信号ｙ1Lmとｎ−ｍ個の要素からなる（次元数ｎ−ｍの）第２部分信号ｙ1Hn-mとに分割する。ここで、ｍは、ｎより小さい自然数である。例えば、分割部１２０は、第１部分信号ｙ1Lm及び第２部分信号ｙ1Hn-mが予め定められた要素数を含むように、予め定められた分割位置で第１変換出力信号ｙ1nを分割する。
【００６６】
なお、符号化対象信号が画像データなどの場合、第１変換部１１０及び分割部１２０に入力されるデータは、２次元のデータとなるが、分割部１２０は、第１部分信号ｙ1Lmを１次元のデータに並び替えて出力する。このとき、各要素が低域から高域の順に、具体的には、分散、すなわち、エネルギーが大きいものから順に並び替えることが好ましい。
【００６７】
第２変換部１３０は、第２変換行列Ａ2mを用いて第１部分信号ｙ1Lmを変換することで、第２変換出力信号ｙ2mを生成する。第２変換行列Ａ2mを用いた変換を第２変換Ｔ2と記載する。すなわち、第２変換部１３０は、第１部分信号ｙ1Lmに対して第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する。生成した第２変換出力信号ｙ2mは、量子化部１４０が備える補正無し量子化部１４１に出力される。
【００６８】
具体的には、第２変換部１３０は、第１部分信号ｙ1Lm又は第２変換行列Ａ2mを補正し、第２変換行列Ａ2mを用いて補正後の第１部分信号ｙ’1Lmを変換することで、又は、補正後の第２変換行列Ａ’2mを用いて第１部分信号ｙ1Lmを変換することで、第２変換出力信号ｙ2mを生成する。第１部分信号ｙ1Lm又は第２変換行列Ａ2mの補正には、所定のスケーリングパラメータが利用される。
【００６９】
ここで、所定のスケーリングパラメータは、量子化部１４０で用いられるパラメータであり、例えば、レベルスケールを決定するためのパラメータである。レベルスケールは、量子化の対象となる信号（具体的には、第２部分信号ｙ1Hn-m及び第２変換出力信号ｙ2m）を除算するためパラメータであり、いわゆる量子化ステップに相当する。レベルスケールは、周波数位置によって量子化の粗さに重みを付けるための量子化マトリクス（Ｑｕａｎｔｉｚａｔｉｏｎ  Ｍａｔｒｉｘ）、及び、量子化の対象となる信号のノルムを補正するための値であるノルム補正値などによって決定される値である。
【００７０】
【数５】
2011016250.tif 000007
【００７１】
例えば、式５に示すように、レベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）は、量子化マトリクスの要素の値ｗｅｉｇｈｔＳｃａｌｅ（ｉ，ｊ）とノルム補正値ｎｏｒｍＡｄｊｕｓｔ（ｋ，ｉ，ｊ）との積で表される。実施の形態１では、後で説明するように、第２変換部１３０は、所定のスケーリングパラメータとして、ノルム補正値を用いて第１部分信号ｙ1Lm又は第２変換行列Ａ2mを補正する。
【００７２】
なお、ｉ及びｊは、信号に含まれる要素の周波数位置を示すパラメータである。また、ｋは、量子化パラメータ値ｑｐから導出されるパラメータであり、ｋ＝ｑｐ％６の関係がある。すなわち、ｋは、量子化パラメータ値ｑｐを６で割った余りである。
【００７３】
量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備え、第２部分信号ｙ1Hn-mを量子化することで第２量子化係数Ｃ2n-mを生成し、かつ、第２変換出力信号ｙ2mを量子化することで第１量子化係数Ｃ1mを生成する。
【００７４】
補正無し量子化部１４１は、上記のスケーリングパラメータであるノルム補正値を用いずに第２変換出力信号ｙ2mを量子化することで、第１量子化係数Ｃ1mを生成する。例えば、補正無し量子化部１４１は、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で第２変換出力信号ｙ2mを除算し（式６及び式７参照）、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、第１量子化係数Ｃ1mを生成する。
【００７５】
【数６】
2011016250.tif 000008
【００７６】
【数７】
2011016250.tif 000009
【００７７】
補正付き量子化部１４２は、上記のスケーリングパラメータであるノルム補正値を用いて第２部分信号ｙ1Hn-mを量子化することで、第２量子化係数Ｃ2n-mを生成する。例えば、補正付き量子化部１４２は、式５に示すようなノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅ（ｋ，ｉ，ｊ）で第２部分信号ｙ1Hn-mを除算し（式８参照）、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、第２量子化係数Ｃ2n-mを生成する。
【００７８】
【数８】
2011016250.tif 000010
【００７９】
統合部１５０は、分割統合情報を用いて第１量子化係数Ｃ1mと第２量子化係数Ｃ2n-mとを統合することで、量子化係数Ｃnを生成する。生成された量子化係数Ｃnは、エントロピー符号化部１６０に出力される。
【００８０】
エントロピー符号化部１６０は、統合部１５０から出力された量子化係数Ｃnを、エントロピー符号化アルゴリズムを用いて圧縮符号化することで、符号化信号を生成する。生成された符号化信号は、例えば、記録媒体に記録され、あるいは、ネットワークを介して復号装置などに送信される。
【００８１】
なお、エントロピー符号化部１６０は、変換に用いた変換係数（あるいは逆変換係数）、及び、量子化に用いたレベルスケールなども符号化し、制御情報として符号化信号のヘッダなどに記述する。レベルスケールは、そのまま符号化されずに、量子化パラメータｑｐなどが符号化される。復号装置では、エントロピー復号により量子化パラメータｑｐを取得し、取得した量子化パラメータから量子化に用いたレベルスケールを生成することができる。
【００８２】
以上のように、実施の形態１に係る符号化装置１００は、符号化対象信号である変換入力信号ｘnに２段階の変換処理を行っている。具体的には、符号化装置１００は、変換入力信号ｘnに第１変換Ｔ1を行うことで第１変換出力信号ｙ1nを生成し、生成した第１変換出力信号ｙ1nを第１部分信号ｙ1Lmと第２部分信号ｙ1Hn-mとに分割し、第１部分信号ｙ1Lmに第２変換Ｔ2を行う。さらに、第２変換Ｔ2を行う際には、ノルムを用いて第１部分信号ｙ1Lm、又は、第２変換行列Ａ2mを補正する。
【００８３】
以下では、ノルムを用いた補正を行う第２変換部１３０の具体的な構成について説明する。
【００８４】
図４は、実施の形態１に係る第２変換部１３０の構成の一例を示すブロック図である。また、図５は、実施の形態１に係る第２変換部１３０におけるデータフローの一例を概念的に示す図である。
【００８５】
図４に示すように、第２変換部１３０は、スケール補正部１３１と、第２変換処理部１３２とを備える。
【００８６】
スケール補正部１３１は、第１変換行列Ａ1nから算出したノルムを用いて、入力される第１部分信号ｙ1Lmを補正する。ノルムは、以下の式９によって算出される。
【００８７】
【数９】
2011016250.tif 000011
【００８８】
ここで、ａ（ｉ，ｋ）は、第１変換行列Ａ1nに含まれる要素であり、ｉ行ｋ列目の要素である。
【００８９】
なお、第１変換行列Ａ1nが適応的に変化する場合、ノルムも変化するので、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ1Lmを補正する。第１変換行列Ａ1nが固定の変換行列である場合、スケール補正部１３１は、内部メモリなどにノルムを保持しておけばよい。
【００９０】
スケール補正部１３１は、式１０に従って、第１部分信号ｙ1Lmを補正する。つまり、スケール補正部１３１は、第１部分信号ｙ1Lmにノルムの逆数を乗じることで、補正後の第１部分信号ｙ’1Lmを生成する。言い換えると、スケール補正部１３１は、第１部分信号ｙ1Lmをノルムで除算することで、補正後の第１部分信号ｙ’1Lmを生成する。
【００９１】
【数１０】
2011016250.tif 000012
【００９２】
なお、ノルムを用いた乗算及び除算は、第１部分信号ｙ1Lmに含まれる要素毎に行われる。すなわち、スケール補正部１３１は、第１部分信号ｙ1Lmの要素ｙ1L（ｉ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第１部分信号ｙ’1Lmの要素ｙ’1L（ｉ）を生成する。
【００９３】
第２変換処理部１３２は、第２変換行列Ａ2mを用いて補正後の第１部分信号ｙ’1Lmを変換することで、第２変換出力信号ｙ2mを生成する。
【００９４】
以上のように、実施の形態１に係る符号化装置１００では、２段階の変換を行う際に、２段階目の変換である第２変換の対象となる第１部分信号にノルム補正を行う。
【００９５】
従来は、ノルム補正を量子化部１４０による量子化の際に行っていた（式５及び式８参照）。しかしながら、実施の形態１に係る符号化装置１００では、符号化対象信号を変換することで生成された第１変換出力信号をさらに部分的に変換しているため、量子化の際に、第１変換係数から算出されたノルムを用いて補正を行ったとしても、最適な結果が得られない。そこで、実施の形態１に係る符号化装置１００では、第２変換を行う前にノルム補正をすることで、第２変換を最適化することができる。これにより、符号化効率をさらに高めることができる。
【００９６】
続いて、実施の形態１に係る符号化装置１００の動作について、図６を用いて説明する。図６は、実施の形態１に係る符号化装置１００の動作の一例を示すフローチャートである。
【００９７】
まず、音声データ又は画像データなどの符号化対象信号が、符号化装置１００に入力される。第１変換部１１０は、第１変換行列Ａ1nを用いて、変換入力信号ｘnに対して第１変換Ｔ1を行うことで、第１変換出力信号ｙ1nを生成する（Ｓ１１０）。第１変換Ｔ1により、時空間ドメインの変換入力信号ｘnは、周波数ドメインの第１変換出力信号ｙ1nに変換される。
【００９８】
次に、分割部１２０は、分割統合情報を用いて、第１変換出力信号ｙ1nを第１部分信号ｙ1Lmと第２部分信号ｙ1Hn-mとに分割する（Ｓ１２０）。このとき、分割部１２０は、第１部分信号ｙ1Lmの相関エネルギーが第２部分信号ｙ1Hn-mの相関エネルギーより大きくなるように、第１変換出力信号ｙ1nを分割する。なお、変換入力信号ｘn及び第１変換出力信号ｙ1nが２次元の信号である場合は、分割部１２０は、第１部分信号ｙ1Lmを１次元の信号に並び替える。
【００９９】
次に、第２変換部１３０は、第１部分信号ｙ1Lmにノルム補正を行うとともに、補正後の第１部分信号ｙ’1Lmに対して第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する（Ｓ１３０）。第２変換部１３０が行う具体的な動作については、図７を用いて後で説明する。
【０１００】
次に、量子化部１４０は、第２変換出力信号ｙ2mと第２部分信号ｙ1Hn-mとを量子化する（Ｓ１４０）。具体的には、補正無し量子化部１４１が、第２変換出力信号ｙ2mを、ノルム補正値を含まないレベルスケールを用いて量子化することで、第１量子化係数Ｃ1mを生成する（式６及び式７参照）。さらに、補正付き量子化部１４２が、第２部分信号ｙ1Hn-mを、ノルム補正値を含むレベルスケールを用いて量子化することで、第２量子化係数C2n-mを生成する（式５及び式８参照）。
【０１０１】
なお、補正無し量子化部１４１が行う処理と、補正付き量子化部１４２が行う処理とは、並列化されていてもよい。さらには、補正付き量子化部１４２が行う量子化処理と、第２変換部１３０が行う第２変換とを並列化してもよい。
【０１０２】
次に、統合部１５０は、分割統合情報を用いて、第１量子化係数Ｃ1mと第２量子化係数Ｃ2n-mとを統合することで、量子化係数Ｃnを生成する（Ｓ１５０）。
【０１０３】
最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
【０１０４】
続いて、実施の形態１に係る符号化装置１００が行う第２変換処理（Ｓ１３０）の詳細について説明する。図７は、実施の形態１に係る第２変換部１３０の動作の一例を示すフローチャートである。
【０１０５】
第１部分信号ｙ1Lmが第２変換部１３０に入力されると、スケール補正部１３１は、第１変換行列Ａ1nから決定されたノルムの逆数を第１部分信号ｙ1Lmに乗じることで、補正後の第１部分信号ｙ’1Lmを生成する（Ｓ１３１）。なお、第１変換行列Ａ1nが適応的に変化する場合は、スケール補正部１３１は、ノルムを算出し、算出したノルムを用いて第１部分信号ｙ1Lmを補正する。
【０１０６】
次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’1Lmに対して第２変換行列Ａ2mを用いて第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する（Ｓ１３２）。
【０１０７】
以上のようにして、第２変換部１３０は、第２変換出力信号ｙ2mを生成する。なお、第２変換行列Ａ2mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
【０１０８】
上記の説明では、第２変換処理部１３２は、予め定められた第２変換行列Ａ2mを取得し、取得した第２変換行列Ａ2mを用いて第２変換Ｔ2を行う構成について説明したが、入力された信号に基づいて第２変換行列Ａ2mを決定してもよい。これによれば、演算量が少し増加するが、入力された信号に対して最適な第２変換行列Ａ2mを決定することが可能となり、第２変換Ｔ2によって生成される第２変換出力信号ｙ2mの相関をほぼ無くすことができる。したがって、符号化効率をさらに高めることができる。
【０１０９】
以下では、実施の形態１に係る符号化装置１００が第２変換行列Ａ2mを決定する構成について簡単に説明する。
【０１１０】
図８は、実施の形態１の変形例に係る符号化装置２００の構成の一例を示すブロック図である。図８に示す符号化装置２００は、図３に示す符号化装置１００に比べて、さらに、第１メモリ２１１と、第１変換係数導出部２１２と、第２メモリ２２１と、分割統合情報生成部２２２と、第３メモリ２３１と、第２変換係数導出部２３２とを備える。
【０１１１】
第１メモリ２１１は、変換入力信号ｘnを保持するメモリである。例えば、変換入力信号ｘnが音声データ、又は動画像データである場合、第１メモリ２１１は、１フレーム分のデータに相当する複数の変換入力信号ｘnを保持する。
【０１１２】
第１変換係数導出部２１２は、第１メモリ２１１に保持された複数の変換入力信号ｘnを用いて、第１変換行列Ａ1nを導出する。例えば、第２変換係数導出部２３２と同様に、ＫＬＴによって変換係数を決定する。なお、ＫＬＴによって変換係数を決定する方法については後述する。
【０１１３】
第２メモリ２２１は、第１変換出力信号ｙ1nを保持するメモリである。例えば、第２メモリ２２１は、１フレーム分のデータに相当する複数の第１変換出力信号ｙ1nを保持する。
【０１１４】
分割統合情報生成部２２２は、第２メモリ２２１に保持された第１変換出力信号ｙ1nを用いて、分割統合情報を生成する。分割統合情報は、例えば、低周波数帯域の要素を第１部分信号の要素として、かつ、高周波数帯域の要素を第２部分信号の要素として第１変換出力信号ｙ1nを分割するように、分割部１２０に指示するための制御情報である。あるいは、分割統合情報は、相関エネルギーの大きな要素を第１部分信号の要素として、かつ、相関エネルギーの小さな要素を第２部分信号の要素として第１変換出力信号ｙ1nを分割するように、分割部１２０に指示するための制御情報である。
【０１１５】
分割統合情報生成部２２２は、複数の第１変換出力信号ｙ1nのエネルギー状態の分布を鑑みて分割統合情報を生成する。例えば、分割統合情報生成部２２２は、所定の閾値より相関エネルギーが大きい要素を第１部分信号の要素として、かつ、当該閾値より相関エネルギーが小さい要素を第２部分信号の要素として、第１変換出力信号ｙ1nを分割するための分割統合情報を生成する。
【０１１６】
第３メモリ２３１は、補正後の第１部分信号ｙ’1Lmを保持するメモリである。例えば、第３メモリ２３１は、１フレーム分のデータに相当する複数の補正後の第１部分信号ｙ’1Lmを保持する。なお、後述するように、第２変換係数導出部２３２は、第１変換行列Ａ1nを導出するのに用いる集合よりも小さい集合を用いて、第２変換行列Ａ2mを導出することが好ましい。したがって、第３メモリ２３１は、第１メモリ２１１より記憶容量が小さくてもよい。
【０１１７】
第２変換係数導出部２３２は、第３メモリ２３１に保持された複数の補正後の第１部分信号ｙ’1Lmを用いて、第２変換行列Ａ2mを導出する。第２変換行列Ａ2mは、例えば、ＫＬＴによって決定される係数である。
【０１１８】
ＫＬＴは、変換対象信号を含む集合の統計特性に基づいて、変換対象信号を完全に無相関化することができる変換を設計する手法である。
【０１１９】
具体的には、ＫＬＴは、変換対象信号の分散共分散行列（ｖａｒｉａｎｃｅ−ｃｏｖａｒｉａｎｃｅ  ｍａｔｒｉｘ）の非対角成分が０となるような変換を求めることであり、分散共分散行列の固有値問題を解くことに等しい。導出した固有ベクトルが基底関数となり、固有値が変換係数の各要素の軸の大きさ（つまり、エネルギー）となる。
【０１２０】
第１変換係数導出部２１２及び第２変換係数導出部２３２がともに、ＫＬＴによって変換係数を決定する場合、第１変換係数導出部２１２が用いる変換対象信号（変換入力信号ｘn）の集合ＳAは、第２変換係数導出部２３２が用いる変換対象信号（補正後の第１部分信号ｙ’1Lm）の集合ＳCよりも大きい。例えば、集合ＳAは、１フレーム分のデータに相当する集合であり、集合ＳCは、スライス若しくはマクロブロック分のデータ、又は、サブフレーム若しくはサブバンド分のデータに相当する集合である。なお、集合ＳCは、少なくとも２つのサンプル（補正後の第１部分信号ｙ’1Lm）を含んでいればよい。
【０１２１】
以上のようにして、実施の形態１の変形例に係る符号化装置２００は、ＫＬＴによって変換係数を決定することができ、符号化効率をより高めることができる。
【０１２２】
以上のように、図８に示す符号化装置２００は、第２変換行列Ａ2mのみならず、第１変換行列Ａ1n及び分割統合情報も生成する。ただし、上述したように、第１変換行列Ａ1n及び分割統合情報は予め定められた固定の係数、及び固定の位置での分割であってもよい。このとき、第１変換行列Ａ1nが固定の係数である場合は、符号化装置２００は、第１メモリ２１１及び第１変換係数導出部２１２を備えていなくてもよい。また、分割統合情報が固定の位置での分割を示す場合は、符号化装置２００は、第２メモリ２２１及び分割統合情報生成部２２２を備えていなくてもよい。
【０１２３】
以上のように、実施の形態１に係る符号化装置１００では、変換入力信号に２段階の変換処理を行っており、１段階目の第１変換を行うことで生成した第１変換出力信号の一部である第１部分信号を、ノルムを用いて補正した後、補正後の第１部分信号に２段階目の第２変換を行う。このとき、第２変換に用いる第２変換係数は、補正後の第１部分信号を含む集合に基づいて決定される。これにより、第２変換を最適化することができるので、符号化効率を高めることができる。
【０１２４】
なお、第１部分信号ｙ1Lmにノルム補正を行うのではなく、第２変換行列Ａ2mにノルム補正を行っても同様の効果が得られる。以下では、第２変換行列Ａ2mにノルム補正を行う場合について説明する。
【０１２５】
図９は、実施の形態１の変形例に係る第２変換部３３０の構成の一例を示すブロック図である。また、図１０は、実施の形態１の変形例に係る第２変換部３３０におけるデータフローの一例を概念的に示す図である。
【０１２６】
図９に示すように、第２変換部３３０は、修正係数導出部３３１と、第２変換処理部１３２とを備える。
【０１２７】
修正係数導出部３３１は、第１変換行列Ａ1nから算出したノルムを用いて、第２変換行列Ａ2mを補正することで、修正係数を導出する。なお、ノルムは、式９によって算出される。
【０１２８】
具体的には、修正係数導出部３３１は、式１１に従って、第２変換行列Ａ2mを補正する。つまり、修正係数導出部３３１は、第２変換行列Ａ2mにノルムの逆数を乗じることで、補正後の第２変換行列Ａ’2mを生成する。言い換えると、修正係数導出部３３１は、第２変換行列Ａ2mをノルムで除算することで、修正係数である補正後の第２変換行列Ａ’2mを生成する。
【０１２９】
【数１１】
2011016250.tif 000013
【０１３０】
なお、ノルムを用いた乗算及び除算は、第２変換行列Ａ2mに含まれる要素毎に行われる。すなわち、修正係数導出部３３１は、第２変換行列Ａ2mの要素ａ2（ｉ，ｊ）にノルムＮ（ｉ）の逆数を乗じることで、補正後の第２変換行列Ａ’2mの要素ａ’2（ｉ，ｊ）を生成する。
【０１３１】
第２変換処理部１３２は、補正後の第２変換行列Ａ’2mを用いて第１部分信号ｙ1Lmを変換することで、第２変換出力信号ｙ2mを生成する。
【０１３２】
図１１は、実施の形態１の変形例に係る第２変換部１３０の動作の一例を示すフローチャートである。
【０１３３】
まず、修正係数導出部３３１は、第１変換行列Ａ1nから算出したノルムを用いて、式１１に従って第２変換行列Ａ2mを補正することで、修正係数である補正後の第２変換行列Ａ’2mを導出する（Ｓ２３１）。
【０１３４】
次に、第２変換処理部１３２は、補正後の第２変換行列Ａ’2mを用いて、第１部分信号ｙ1Lmを変換することで、第２変換出力信号ｙ2mを生成する。
【０１３５】
なお、修正係数の導出は、例えば、第２変換行列Ａ2mの導出に用いた集合ＳC毎に行う。したがって、図５に示すように、第１部分信号ｙ1Lmが入力される度に補正を行う場合に比べて、演算量を削減することができる。
【０１３６】
以上のように、第１部分信号ｙ1Lmではなく、第２変換行列Ａ2mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
【０１３７】
また、本発明に係る符号化方法を、予測符号化に適用してもよい。図１２は、実施の形態１の変形例に係る符号化装置４００の構成の一例を示すブロック図である。符号化装置４００には、音声データ及び動画像データなどの符号化対象信号が入力される。
【０１３８】
図１２に示す符号化装置４００は、減算器４１０と、変換・量子化部４２０と、エントロピー符号化部１６０と、逆量子化・逆変換部４３０と、加算器４４０と、メモリ４５０と、予測部４６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
【０１３９】
減算器４１０は、符号化対象信号と、予測部４６０によって生成された予測信号との差分、すなわち、予測誤差を算出することで、予測誤差信号を生成する。生成した予測誤差信号は、変換入力信号として変換・量子化部４２０に入力される。
【０１４０】
変換・量子化部４２０には、予測誤差信号が変換入力信号として入力される。変換・量子化部４２０は、予測誤差信号に対して、図３及び図４を用いて説明した変換処理及び量子化処理を行う。つまり、変換・量子化部４２０は、符号化対象信号そのものではなく、予測誤差信号が入力される点が異なっているだけで、詳細な構成は、図３及び図４と同じである。すなわち、変換・量子化部４２０は、例えば、第１変換部１１０と、分割部１２０と、第２変換部１３０と、量子化部１４０と、統合部１５０とを備える。
【０１４１】
エントロピー符号化部１６０は、上述したように動作するので、ここでは説明を省略する。
【０１４２】
逆量子化・逆変換部４３０は、変換・量子化部４２０から出力された量子化係数を逆量子化することで、復号変換出力信号を生成する。さらに、逆量子化・逆変換部４３０は、生成した復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する。生成した復号変換入力信号は、加算器４４０に出力される。
【０１４３】
なお、復号変換入力信号は、変換・量子化部４２０に入力された変換入力信号を復元した信号であるが、変換・量子化部４２０により非可逆処理が行われているので、全く変換入力信号と同じではない。すなわち、復号変換入力信号は、量子化誤差を含んでいる。
【０１４４】
また、逆量子化・逆変換部４３０が行う逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。このため、逆量子化・逆変換部４３０は、変換・量子化部４２０から、変換処理に用いられた変換係数を取得する。
【０１４５】
例えば、変換・量子化部４２０が、ｎ×ｎの正方行列である変換行列Ａを用いて、変換入力信号ｘnに変換Ｔを行った場合を想定する。このとき、変換・量子化部４２０が生成する変換出力信号ｙnは、式１で表される。より具体的には、変換・量子化部４２０は、式２及び式３によって変換出力信号ｙnを生成する。
【０１４６】
このとき、逆量子化・逆変換部４３０が行う逆変換Ｔ-1は、変換行列Ａの逆行列Ａ-1を変換係数とする変換処理である。逆量子化・逆変換部４３０に入力される復号変換出力信号ｙ＾nに行われる逆変換Ｔ-1は、式１２で表される。
【０１４７】
【数１２】
2011016250.tif 000014
【０１４８】
したがって、逆量子化・逆変換部４３０が出力する復号変換入力信号ｘ＾nは、式１３で表される。
【０１４９】
【数１３】
2011016250.tif 000015
【０１５０】
加算器４４０は、復号変換入力信号と予測信号とを加算することで、復号信号を生成する。生成した復号信号は、メモリ４５０に格納され、以降に入力される符号化対象信号の予測信号を生成する際に参照される。
【０１５１】
メモリ４５０は、復号信号を格納するメモリなどの記憶部の一例である。
【０１５２】
予測部４６０は、メモリ４５０に格納された、前に符号化及び復号された復号信号（符号化済み信号）を参照して、符号化対象信号を予測することで予測信号を生成する。生成した予測信号は、減算器４１０と加算器４４０とに出力される。なお、予測モード（イントラ予測又はインター予測など）などの予測信号を生成するのに用いた制御情報は、エントロピー符号化部１６０に出力され、エントロピー符号化部１６０によって符号化される。
【０１５３】
続いて、上記の符号化装置４００の動作について、図１３を用いて説明する。
【０１５４】
図１３は、実施の形態１の変形例における符号化装置４００の動作の一例を示すフローチャートである。
【０１５５】
まず、音声データ又は動画像データなどの符号化対象信号が符号化装置４００に入力される。予測部４６０は、メモリ４５０に格納された符号化済み信号を参照することで、予測信号を生成する（Ｓ３００）。生成した予測信号は、減算器４１０に出力される。そして、減算器４１０は、符号化対象信号と予測信号との差分である予測誤差を算出することで、予測誤差信号を生成する（Ｓ３０５）。
【０１５６】
次に、変換・量子化部４２０は、予測誤差信号に対して第１変換を行う（Ｓ１１０）。以降、図６を用いて説明したように、変換・量子化部４２０は、予測誤差信号に対して、分割、第２変換、量子化、及び統合を行うことで、量子化係数を生成する（Ｓ１２０〜Ｓ１５０）。さらに、エントロピー符号化部１６０が、量子化係数をエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
【０１５７】
また、逆量子化・逆変換部４３０が、量子化係数を逆量子化することで、復号変換出力信号を生成する（Ｓ３７０）。次に、逆量子化・逆変換部４３０が、復号変換出力信号に逆変換処理を行うことで、復号変換入力信号を生成する（Ｓ３８０）。逆変換処理は、変換・量子化部４２０が行う変換処理の反対の処理である。
【０１５８】
なお、エントロピー符号化部１６０が行うエントロピー符号化と、逆量子化・逆変換部４３０が行う逆量子化及び逆変換の少なくとも１つとは、いずれが先に行われてもよく、又は、並列処理で実行されてもよい。
【０１５９】
最後に、加算器４４０が、復号変換入力信号と予測信号とを加算することで、復号信号を生成し、メモリ４５０に格納する（Ｓ３９０）。
【０１６０】
以上のように、符号化装置４００は、符号化対象信号と、符号化対象信号を予測することで生成した予測信号との差分である予測誤差信号を変換対象信号として、上記の変換処理を行ってもよい。これにより、符号化すべき情報量を圧縮することができるので、符号化効率をより高めることができる。
【０１６１】
なお、第２変換処理部１３２は、第２変換として、ＫＬＴではなく、入力信号の統計特性に基づいて適応的に変換係数を決定し、決定した変換係数を用いて相関を小さくする他の変換を行ってもよい。
【０１６２】
また、実施の形態１に係る符号化装置１００では、第１量子化係数と第２量子化係数とを統合してからエントロピー符号化したが、統合することなくエントロピー符号化を行ってもよい。すなわち、エントロピー符号化部１６０は、補正無し量子化部１４１から出力される第１量子化係数と、補正付き量子化部１４２から出力される第２量子化係数とを、それぞれ別のデータとして、符号化してもよい。
【０１６３】
また、量子化部１４０は、補正無し量子化部１４１と補正付き量子化部１４２とを備えるのではなく、１つの量子化部１４０の内部で、補正の有無を切り替える構成であってもよい。
【０１６４】
また、上記の実施の形態１に係る符号化装置１００は、第２部分信号ｙ1Hn-mと第２変換出力信号ｙ2mとをそれぞれ量子化してから統合したが、第２部分信号ｙ1Hn-mと第２変換出力信号ｙ2mとを統合してから量子化してもよい。つまり、２つの信号に対して量子化を別々に行わずに、統合後の１つの信号に対して量子化を行ってもよい。
【０１６５】
図１４は、本発明の実施の形態１の変形例に係る符号化装置１００ａの構成の一例を示すブロック図である。
【０１６６】
図１４に示す符号化装置１００ａは、第１変換部１１０と、分割部１２０と、第２変換部１３０と、スケール補正部１３１ａと、量子化部１４０ａと、統合部１５０ａと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
【０１６７】
スケール補正部１３１ａは、第１変換行列Ａ1のノルムを用いて、第２部分信号ｙ1Hn-mを補正する。具体的には、スケール補正部１３１ａは、第２部分信号ｙ1Hn-mにノルムの逆数を乗じることで、補正後の第２部分信号ｙ’1Hn-mを生成する（式１０参照、ｙ’1L（ｉ）はｙ’1H（ｉ）、ｙ1L（ｉ）はｙ1H（ｉ）と読み替える）。言い換えると、スケール補正部１３１ａは、第２部分信号ｙ1Hn-mをノルムで除算することで、補正後の第２部分信号ｙ’1Hn-mを生成する。
【０１６８】
統合部１５０ａは、スケール補正部１３１ａから出力された補正後の第２部分信号ｙ’1Hn-mと、第２変換部１３０によって変換された第２変換出力信号ｙ2mとを統合することで、変換出力信号ｙnを生成する。なお、第２変換出力信号ｙ2mは、上述したように、第２変換部１３０による第２変換Ｔ2が行われる際に、ノルムを用いた補正が行われている。
【０１６９】
量子化部１４０ａは、変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する。例えば、量子化部１４０ａは、補正無し量子化部１４１と同様にノルム補正値を用いずに、変換出力信号ｙnを量子化する。具体的には、量子化部１４０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１で変換出力信号ｙnを除算し、（ｑｐ／６−４）でシフトダウンして、整数値に丸めることで、量子化係数Ｃnを生成する（式６及び式７を参照、Ｃ1（ｉ，ｊ）はＣ（ｉ，ｊ）、ｙ2（ｉ，ｊ）はｙ（ｉ，ｊ）と読み替える）。
【０１７０】
図１５は、図１４に示す符号化装置１００ａの動作の一例を示すフローチャートである。
【０１７１】
まず、入力された変換入力信号ｘnに対して、第１変換部１１０は、第１変換Ｔ1を行うことで、第１変換出力信号ｙ1nを生成する（Ｓ１１０）。次に、分割部１２０は、生成された第１変換出力信号ｙ1nを分割することで、第１部分信号ｙ1Lmと第２部分信号ｙ1Hn-mとを生成する（Ｓ１２０）。第１変換及び分割の具体的な処理については図６と同様であるので、ここでは説明を省略する。
【０１７２】
次に、第２変換部１３０が、第１部分信号ｙ1Lmに第２変換を行うとともに、スケール補正部１３１ａが、第２部分信号ｙ1Hn-mにスケール補正を行う（Ｓ１３０ａ）。具体的には、第２変換部１３０は、第２変換行列Ａ2mを用いて第１部分信号ｙ1Lmに対して第２変換Ｔ2を行う。例えば、図７に示すように、第２変換部１３０は、第１部分信号ｙ1Lmにノルム補正を行い、補正後の第１部分信号ｙ’1Lmに第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する。また、スケール補正部１３１ａは、第１変換行列Ａ1nのノルムを用いて第２部分信号ｙ1Hn-mを補正することで、補正後の第２部分信号ｙ’1Hn-mを生成する。
【０１７３】
なお、スケール補正と第２逆変換とはいずれが先に実行されてもよく、また、並列処理で実行されてもよい。並列処理で実行した場合、符号化処理を高速化することができる。
【０１７４】
次に、統合部１５０ａは、第２変換出力信号ｙ2mと補正後の第２部分信号ｙ’1Hn-mとを統合することで、変換出力信号ｙnを生成する（Ｓ１４０ａ）。そして、量子化部１４０ａは、変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する（Ｓ１５０ａ）。
【０１７５】
最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
【０１７６】
以上のように、実施の形態１の変形例に係る符号化装置１００ａによれば、分割した信号を統合した後に量子化を行うので、分割した信号のそれぞれに量子化を行う場合に比べて、丸め誤差を低減することができ、演算精度を高めることができる。
【０１７７】
なお、上記の実施の形態１に係る符号化装置１００では、第１変換出力信号を第１部分信号と第２部分信号とに分割し、第２変換後に統合するが、明示的に分割しなくてもよく、実質的に分割すればよい。すなわち、第１変換出力信号のうち、第２変換を実行する対象となる部分を決定すればよい。
【０１７８】
例えば、図１６に示す符号化装置１００ｂのように、分割部１２０及び統合部１５０を備えなくてもよい。図１６は、本発明の実施の形態１の変形例に係る符号化装置１００ｂの構成の一例を示すブロック図である。
【０１７９】
符号化装置１００ｂは、第１変換部１１０と、第２変換部１３０ｂと、量子化部１４０ｂと、エントロピー符号化部１６０とを備える。なお、図３に示す符号化装置１００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
【０１８０】
第２変換部１３０ｂは、第１変換出力信号ｙ1nの一部である第１部分信号ｙ1Lmを含む集合の統計特性に基づいて決定された第２変換行列Ａ2を用いて、第１部分信号ｙ1Lmに第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する。具体的には、第２変換部１３０ｂは、第１変換出力信号ｙ1nを構成する係数値のうち、第２変換Ｔ2の対象となる係数値を決定し、決定した係数値から構成される信号を第１部分信号ｙ1Lmとして、第２変換Ｔ2を行う。
【０１８１】
また、第２変換部１３０ｂは、第２変換部１３０と同様に、第１部分信号ｙ1Lmに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第１部分信号ｙ’1Lmを生成する。そして、第２変換部１３０ｂは、補正後の第１部分信号ｙ’1Lmに、第２変換行列Ａ2を用いた第２変換Ｔ2を行うことで、第２変換出力信号ｙ2mを生成する。スケーリングパラメータは、例えば、上述したような、第１変換行列Ａ1nのノルム、又は、後述する量子化マトリクスのウェイトスケールである。
【０１８２】
あるいは、第２変換部１３０ｂは、第２変換行列Ａ2mに所定のスケーリングパラメータを用いた補正を行うことで、補正後の第２変換行列Ａ’2mを生成してもよい。そして、第２変換部１３０ｂは、補正後の第２変換行列Ａ’2mを用いた第２変換Ｔ2を第１部分信号ｙ1Lmに行うことで、第２変換出力信号ｙ2mを生成してもよい。
【０１８３】
量子化部１４０ｂは、第１部分信号ｙ1Lmと、第１変換出力信号ｙ1nのうち第１部分信号ｙ1Lm以外の部分である第２部分信号ｙ1Hn-mとを量子化することで、量子化係数Ｃnを生成する。
【０１８４】
図１７は、図１６に示す符号化装置１００ｂの動作の一例を示すフローチャートである。
【０１８５】
まず、入力された変換入力信号ｘnに対して、第１変換部１１０は、第１変換Ｔ1を行うことで、第１変換出力信号ｙ1nを生成する（Ｓ１１０）。第１変換の具体的な処理については図６と同様であるので、ここでは説明を省略する。
【０１８６】
次に、第２変換部１３０ｂが、第１部分信号ｙ1Lmに第２変換を行う（Ｓ１３０ｂ）。例えば、第２変換部１３０ｂは、第１変換出力信号ｙ1nのうち、第２変換Ｔ2を行う対象となる部分を、第１部分信号ｙ1Lmとして決定し、決定した第１部分信号ｙ1Lmに対して第２変換行列Ａ2mを用いて第２変換Ｔ2を行う。
【０１８７】
例えば、第２変換部１３０ｂは、第１変換出力信号ｙ1nのうち第１部分信号ｙ1Lmに乗じる第２変換行列Ａ2を決定する。具体的には、第１変換出力信号ｙ1nのうち第２部分信号ｙ1Hn-mに乗じられる第２変換行列Ａ2の係数を１にすることで、実質的に第１部分信号ｙ1Lmにのみ、第２変換Ｔ2を行うことができる。
【０１８８】
次に、量子化部１４０ｂは、第２変換出力信号ｙ2mを含む変換出力信号ｙnを量子化することで、量子化係数Ｃnを生成する（Ｓ１５０ｂ）。
【０１８９】
最後に、エントロピー符号化部１６０は、量子化係数Ｃnをエントロピー符号化することで、符号化信号を生成する（Ｓ１６０）。
【０１９０】
以上のように、実施の形態１の変形例に係る符号化装置１００ｂも、部分的に２段階の変換を行うことで、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができる。
【０１９１】
（実施の形態２）
実施の形態２に係る復号装置は、符号化信号にエントロピー復号、逆量子化、及び逆変換を行うことで、復号信号を生成する。逆変換は、第２逆変換と第１逆変換とを含み、第２逆変換は、エントロピー復号を行うことで生成される復号量子化係数の一部である第１復号量子化係数に実行される。実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換に用いる第２逆変換係数を補正することを特徴とする。以下では、まず、実施の形態２に係る復号装置の構成の一例について、図１８を用いて説明する。
【０１９２】
図１８は、実施の形態２に係る復号装置５００の構成の一例を示すブロック図である。復号装置５００には、音声データ、静止画像データ、及び動画像データなどの各種データが符号化された信号である符号化信号が入力される。図１８に示すように、復号装置５００は、エントロピー復号部５１０と、分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。
【０１９３】
なお、復号装置５００に入力される符号化信号は、符号化装置に入力された各種データを示す入力信号を変換及び量子化することで生成された信号である。より具体的には、符号化信号は、入力信号が時空間ドメインから周波数ドメインに変換され、変換された信号の一部がさらに変換されて生成された信号である。つまり、符号化信号は、２段階の変換が実行された信号である。例えば、符号化信号は、実施の形態１に係る符号化装置１００が生成した信号である。
【０１９４】
エントロピー復号部５１０は、符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する。復号量子化係数Ｃ＾nは、分割部５２０に出力される。なお、符号化信号には、当該符号化信号を正しく復号するための制御情報が、ヘッダ情報として記述されている。したがって、エントロピー復号部５１０は、これらの制御情報を取得し、各処理部に出力する。なお、制御情報は、例えば、分割統合情報、第１逆変換係数、第２逆変換係数などを含んでいてもよい。
【０１９５】
分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1mと第２復号量子化係数Ｃ＾2n-mとに分割する。第１復号量子化係数Ｃ＾1mは、実施の形態１に係る補正無し量子化部１４１が生成した第１量子化係数Ｃ1mに相当し、第２復号量子化係数Ｃ＾2n-mは、実施の形態１に係る補正付き量子化部１４２が生成した第２量子化係数Ｃ2n-mに相当する。
【０１９６】
分割統合情報は、復号量子化係数Ｃ＾nをどのように分割するかを示す情報であって、具体的には、符号化装置によって変換処理の際にどのように変換対象信号（第１変換によって生成される第１変換出力信号）が分割されたかを示す情報である。分割統合情報は、符号化信号に含まれていてもよく、又は、復号装置５００が備える内部メモリなどに格納されていてもよい。特に、変換対象信号が固定位置で分割される場合は、メモリに分割統合情報を格納しておくことで、符号化信号の符号量を削減することができる。
【０１９７】
逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備え、第１復号量子化係数Ｃ＾1mを逆量子化することで第２復号変換出力信号ｙ＾2mを生成し、かつ、第２復号量子化係数Ｃ＾2n-mを逆量子化することで第２復号部分信号ｙ＾1Hn-mを生成する。
【０１９８】
補正無し逆量子化部５３１は、所定のスケーリングパラメータを用いずに第１復号量子化係数Ｃ＾1mを逆量子化することで、第２復号変換出力信号ｙ＾2mを生成する。ここで、所定のスケーリングパラメータとは、実施の形態１で説明したものと同じであり、例えば、レベルスケールを決定するための量子化マトリクス、又はノルム補正値である。なお、実施の形態２では、後で説明するように、第２逆変換部５４０は、所定のスケーリングパラメータとして、ノルム補正値を用いて補正処理を行う。
【０１９９】
例えば、補正無し逆量子化部５３１は、上記のスケーリングパラメータであるノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を第１復号量子化係数Ｃ＾1mに乗じることで、第２復号変換出力信号ｙ＾2mを生成する（式１４参照）。生成した第２復号変換出力信号ｙ＾2mは、第２逆変換部５４０に出力される。
【０２００】
【数１４】
2011016250.tif 000016
【０２０１】
なお、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、式７で示される。また、ｑｐ％６は、量子化パラメータｑｐの値を６で割った余りを示す。なお、量子化パラメータｑｐは、符号化信号のヘッダなどに、符号化信号を復号するための制御情報として記述されている。つまり、レベルスケールＬｅｖｅｌＳｃａｌｅ＿１は、周波数位置と量子化パラメータとに基づいて決定される値である。
【０２０２】
補正付き逆量子化部５３２は、上記のスケーリングパラメータであるノルム補正値を用いて第２復号量子化係数Ｃ＾2n-mを逆量子化することで、第２復号部分信号ｙ＾1Hn-mを生成する。例えば、補正付き逆量子化部５３２は、ノルム補正値を用いたレベルスケールＬｅｖｅｌＳｃａｌｅを第２復号量子化係数Ｃ＾2n-mに乗じ、（ｑｐ／６−４）でシフトアップすることで、第２復号部分信号ｙ＾1Hn-mを生成する（式１５参照）。生成した第２復号部分信号ｙ＾1Hn-mは、統合部５５０に出力される。
【０２０３】
【数１５】
2011016250.tif 000017
【０２０４】
なお、レベルスケールＬｅｖｅｌＳｃａｌｅは、式５で示される。
【０２０５】
第２逆変換部５４０は、第２逆変換行列Ａ-12mを用いて、第２復号変換出力信号ｙ＾2mを逆変換するとともに、上記のスケーリングパラメータであるノルム補正値を用いた補正を行うことで、第１復号部分信号ｙ＾1Lmを生成する。具体的には、第２逆変換部５４０は、逆変換後の第２復号変換出力信号ｙ＾’1Lmに補正を行うことで、第１復号部分信号ｙ＾1Lmを生成する。つまり、第２逆変換部５４０は、実施の形態１に係る第２変換部１３０が行う変換処理（第２変換Ｔ2）と反対の処理である逆変換処理（第２逆変換Ｔ2-1）を第２復号変換出力信号ｙ＾2mに対して行う。より具体的な構成については、後で説明する。
【０２０６】
統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾1Lmと第２復号部分信号ｙ＾1Hn-mとを統合することで、第１復号変換出力信号ｙ＾1nを生成する。生成した第１復号変換出力信号ｙ＾1nは、第１逆変換部５６０に出力される。
【０２０７】
第１逆変換部５６０は、第１逆変換行列Ａ-11nを用いて、第１復号変換出力信号ｙ＾1nを逆変換することで、復号信号を生成する。具体的には、第１逆変換部５６０は、実施の形態１に係る第１変換部１１０が行う変換処理（第１変換Ｔ1）と反対の処理である逆変換処理（第１逆変換Ｔ1-1）を第１復号変換出力信号ｙ＾1nに対して行う。
【０２０８】
例えば、第１逆変換部５６０は、第１逆変換行列Ａ-11nを用いて、第１復号変換出力信号ｙ＾1nに第１逆変換Ｔ1-1を行う。具体的には、第１逆変換部５６０は、第１変換行列Ａ1nの逆行列を算出し、算出した逆行列を用いて、式１３に従って第１復号変換出力信号ｙ＾1nを逆変換する。
【０２０９】
ここで、第１逆変換行列Ａ-11nは、実施の形態１で説明したように、変換処理の対象となる信号である変換入力信号ｙ1nを含む集合の統計特性に基づいて決定された係数であり、例えば、ＫＬＴによって決定された係数である。なお、第１逆変換部５６０は、第１逆変換Ｔ1-1として、逆ＤＣＴ変換を行ってもよく、この場合、第１逆変換係数は、固定の係数であるので、第１逆変換部５６０が備える内部メモリなどに記憶されていてもよい。
【０２１０】
以下では、実施の形態２に係る第２逆変換部５４０の具体的な構成について説明する。
【０２１１】
図１９は、実施の形態２に係る第２逆変換部５４０の構成の一例を示すブロック図である。また、図２０は、実施の形態２に係る第２逆変換部５４０におけるデータフローの一例を概念的に示す図である。
【０２１２】
図１９に示すように、第２逆変換部５４０は、第２逆変換処理部５４１と、スケール逆補正部５４２とを備える。
【０２１３】
第２逆変換処理部５４１は、第２逆変換行列Ａ-12nを用いて第２復号変換出力信号ｙ＾2mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’1Lmを生成する。例えば、第２変換行列Ａ2nの逆行列を算出し、算出した逆行列を用いて、式１３に従って第２復号変換出力信号ｙ＾2mを逆変換する。
【０２１４】
スケール逆補正部５４２は、第１逆変換行列Ａ-11nから算出したノルムを用いて、逆変換後の第２復号変換出力信号ｙ＾’1Lmを補正する。ノルムは、実施の形態１と同様に、式９に従って算出される。
【０２１５】
なお、符号化信号に第１逆変換行列Ａ1nが含まれている場合など、第１逆変換行列Ａ-11nが適応的に変化する場合、ノルムも変化するので、スケール逆補正部５４２は、ノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’1Lmを補正する。第１逆変換行列Ａ-11nが固定の係数である場合、スケール逆補正部５４２は、内部メモリなどにノルムを保持しておけばよい。
【０２１６】
スケール逆補正部５４２は、実施の形態１に係るスケール補正部１３１と反対の処理である逆補正処理を行う。具体的には、スケール逆補正部５４２は、式１６に示すように、逆変換後の第２復号変換出力信号ｙ＾’1Lmにノルムを乗じることで、第１復号部分信号ｙ＾1Lmを生成する。
【０２１７】
【数１６】
2011016250.tif 000018
【０２１８】
なお、式１６に示す乗算は、逆変換後の第２復号変換出力信号ｙ＾’1Lmに含まれる要素毎に行われる。すなわち、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’1Lmの要素ｙ＾’1L（ｉ）に、ノルムＮ（ｉ）を乗じることで、第１復号部分信号ｙ＾1Lmの要素ｙ＾1L（ｉ）を生成する。
【０２１９】
以上のように、実施の形態２に係る復号装置５００では、２段階の逆変換を行う際に、第２逆変換によって生成された逆変換後の第２復号変換出力信号ｙ＾’1Lmにノルム逆補正を行う。なお、ノルム逆補正とは、実施の形態１で説明したノルム補正と反対の処理であり、ここでは、対象信号にノルムを乗じる処理である。
【０２２０】
第１変換及び第２変換が分離型（水平変換と垂直変換とを逐次行う）であるか、非分離型（一次元データ列と考えて一回の変換を行う）であるかによって、ノルムの導出方法が若干異なる。以下に詳細を説明する。なお、第１変換及び第２変換が双方共に、分離型又は非分離型が一致する場合は上記までのノルム導出方法で構わない。ここでは、第１変換が分離型で、第２変換が非分離型の場合を説明する。
【０２２１】
Ｍ×Ｍのブロック信号に対する、第１変換の水平変換のノルムをＮH（ｊ）、垂直変換のノルムをＮV（ｉ）とする（１≦ｉ，ｊ≦Ｍ）。ｉはブロック内の水平位置を示し、ｊはブロック内の垂直位置を示している。このとき、式１６で用いるＮ（）はＮH（ｊ）＊ＮV（ｉ）で得られる。ブロックをラスター順でインデックスを付与したスキャン順をｋとすると、ｉはｋをＭで除した値、ｊはｋをＭで除した余りである。
【０２２２】
なお、第１変換が非分離型で、第２変換が分離型である場合は、第２変換の水平又は垂直変換において、列あるいは行単位にノルム補正量を切り替えることで実現する。
【０２２３】
続いて、実施の形態２に係る復号装置５００の動作について、図２１を用いて説明する。図２１は、実施の形態２に係る復号装置５００の動作の一例を示すフローチャートである。
【０２２４】
まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００に入力される。エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを取得する（Ｓ４１０）。なお、符号化信号に、分割統合情報、第１逆変換行列Ａ-11n、及び第２逆変換行列Ａ-12mなどの制御情報が含まれている場合は、エントロピー復号部５１０は、制御情報を取得し、取得した制御情報を各処理部に出力する。
【０２２５】
次に、分割部５２０は、分割統合情報に基づいて、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1mと第２復号量子化係数Ｃ＾2n-mとに分割する（Ｓ４２０）。このとき、分割部５２０は、例えば、エントロピー復号部５１０から入力された分割統合情報を用いて、又は、内部メモリから読み出した分割統合情報を用いて、復号量子化係数Ｃ＾nを分割する。
【０２２６】
次に、逆量子化部５３０は、第１復号量子化係数Ｃ＾1mと第２復号量子化係数Ｃ＾2n-mとを逆量子化する（Ｓ４３０）。具体的には、補正無し逆量子化部５３１は、第１復号量子化係数Ｃ＾1mを逆量子化することで、第２復号変換出力信号ｙ＾2mを生成する。さらに、補正付き逆量子化部５３２は、第２復号量子化係数Ｃ＾2n-mを逆量子化することで、第２復号部分信号ｙ＾1Hn-mを生成する。なお、補正無し逆量子化部５３１が行う処理と、補正付き逆量子化部５３２が行う処理とは、いずれが先行してもよく、あるいは、並列処理で行われてもよい。
【０２２７】
次に、第２逆変換部５４０は、第２復号変換出力信号ｙ＾2mを逆変換するとともに、ノルムを用いて補正を行うことで、第１復号部分信号ｙ＾1Lmを生成する（Ｓ４４０）。第２逆変換部５４０が行う具体的な動作については、図２２を用いて後で説明する。
【０２２８】
次に、統合部５５０は、分割統合情報を用いて、第１復号部分信号ｙ＾1Lmと第２復号部分信号ｙ＾1Hn-mとを統合することで、第１復号変換出力信号ｙ＾1nを生成する（Ｓ４５０）。
【０２２９】
最後に、第１逆変換部５６０は、第１逆変換行列Ａ-11nを用いて第１復号変換出力信号ｙ＾1nを逆変換することで、復号信号ｘ＾nを生成する（Ｓ４６０）。
【０２３０】
続いて、実施の形態２に係る復号装置５００が行う第２逆変換処理（Ｓ４４０）の詳細について説明する。図２２は、実施の形態２に係る第２逆変換部５４０の動作の一例を示すフローチャートである。
【０２３１】
第２逆変換処理部５４１は、第２逆変換行列Ａ-12mを用いて、第２復号変換出力信号ｙ＾2mを逆変換することで、逆変換後の第２復号変換出力信号ｙ＾’1Lmを生成する（Ｓ４４１）。
【０２３２】
次に、スケール逆補正部５４２は、逆変換後の第２復号変換出力信号ｙ＾’1Lmにノルムを乗じることで、第１復号部分信号ｙ＾1Lmを生成する（Ｓ４４２）。なお、第１逆変換行列Ａ-11nが適応的に変化する場合は、スケール逆補正部５４２は、第１逆変換行列Ａ-11nからノルムを算出し、算出したノルムを用いて逆変換後の第２復号変換出力信号ｙ＾’1Lmを補正する。
【０２３３】
以上のように、実施の形態２に係る復号装置５００では、第２逆変換部５４０は、第２復号変換出力信号に第２逆変換を行うことで生成された変換後の第２復号変換出力信号に、ノルム逆補正を行う。
【０２３４】
なお、逆変換後の第２復号変換出力信号ｙ＾’1Lmにノルム逆補正を行うのではなく、第２逆変換行列Ａ-12mにノルム逆補正を行っても同様の効果が得られる。
【０２３５】
図２３は、実施の形態２の変形例に係る第２逆変換部６４０の構成の一例を示すブロック図である。また、図２４は、実施の形態２に係る第２逆変換部６４０におけるデータフローの一例を概念的に示す図である。
【０２３６】
図２３に示すように、第２逆変換部６４０は、第２逆変換処理部５４１と、修正係数導出部６４２とを備える。
【０２３７】
修正係数導出部６４２は、第１逆変換行列Ａ-11nから算出したノルムを用いて、第２逆変換行列Ａ-12mを補正する。なお、ノルムは、式９によって算出される。具体的には、修正係数導出部６４２は、式１７に従って第２逆変換行列Ａ-12mを補正する。つまり、修正係数導出部６４２は、第２逆変換行列Ａ-12mにノルムを乗じることで、補正後の第２逆変換行列Ａ’-12mを生成する。
【０２３８】
【数１７】
2011016250.tif 000019
【０２３９】
第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’-12mを用いて、第２復号変換出力信号ｙ＾2mを逆変換することで、第１復号部分信号ｙ＾1Lmを生成する。
【０２４０】
図２５は、実施の形態２の変形例に係る第２逆変換部６４０の動作の一例を示すフローチャートである。
【０２４１】
まず、修正係数導出部６４２は、第１逆変換行列Ａ-11nから算出したノルムを用いて、式１７に従って第２逆変換行列Ａ-12mを補正することで、修正係数である補正後の第２逆変換行列Ａ’-12mを導出する（Ｓ５４１）。
【０２４２】
次に、第２逆変換処理部５４１は、補正後の第２逆変換行列Ａ’-12mを用いて、第２復号変換出力信号ｙ＾2mを逆変換することで、第１復号部分信号ｙ＾1Lmを生成する（Ｓ５４２）。
【０２４３】
なお、修正係数の導出は、例えば、第２逆変換行列Ａ-12mの導出に用いられた集合ＳC毎に行う。したがって、図２０に示すような第２復号変換出力信号ｙ＾2mが入力される度に補正を行う場合に比べて、演算量を削減することができる。
【０２４４】
以上のように、第２復号変換出力信号ｙ＾2mではなく、第２逆変換行列Ａ-12mにノルム逆補正を行うことによっても、同様に符号化効率を高める効果を得ることができる。
【０２４５】
また、本発明は、予測符号化された符号化信号を復号する予測復号に適用してもよい。
【０２４６】
図２６は、実施の形態２の変形例における復号装置７００の構成の一例を示す図である。復号装置７００には、予測符号化された符号化信号が入力される。予測符号化された符号化信号は、例えば、図１２に示す符号化装置４００から出力される符号化信号であり、予測誤差信号を変換及び量子化することで生成される信号である。
【０２４７】
図２６に示す復号装置７００は、エントロピー復号部５１０と、逆量子化・逆変換部７２０と、加算器７３０と、メモリ７４０と、予測部７５０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号に付しており、以下では説明を省略する。
【０２４８】
逆量子化・逆変換部７２０は、上述したように動作するので、ここでは説明を省略する。例えば、逆量子化・逆変換部７２０は、図１８に示す分割部５２０と、逆量子化部５３０と、第２逆変換部５４０と、統合部５５０と、第１逆変換部５６０とを備える。
【０２４９】
加算器７３０は、逆量子化・逆変換部７２０から出力される復号変換入力信号と、予測部７５０によって生成された予測信号とを加算することで、復号信号を生成する。
【０２５０】
メモリ７４０は、復号信号を格納するメモリなどの記憶部の一例である。
【０２５１】
予測部７５０は、メモリ７４０に格納された、前に復号された復号信号を参照して、予測信号を生成する。生成した予測信号は、加算器７３０に出力される。例えば、予測部７５０は、エントロピー復号部５１０から入力される制御情報に基づいて予測信号を生成する。
【０２５２】
続いて、上記の復号装置７００の動作について、図２７を用いて説明する。
【０２５３】
図２７は、実施の形態２の変形例における復号装置７００の動作の一例を示すフローチャートである。
【０２５４】
まず、音声データ又は動画像データなどの入力信号が予測符号化された符号化信号が復号装置７００に入力される。すなわち、符号化信号は、入力信号と予測信号との差分である予測誤差信号が変換、量子化及びエントロピー符号化されて生成された信号である。
【０２５５】
予測部７５０は、メモリ７４０に格納された復号済みの復号信号に基づいて予測信号を生成する（Ｓ６００）。
【０２５６】
以降、図２１を用いて説明したように、逆量子化・逆変換部７２０は、符号化信号に対して、エントロピー復号、分割、逆量子化、補正付き第２逆変換、統合、及び、第１逆変換を行うことで、復号予測誤差信号を生成する（Ｓ４１０〜Ｓ４６０）。なお、復号予測誤差信号は、第１復号変換出力信号ｙ＾1nを逆変換することで生成される信号であって、予測誤差信号に相当する信号である。
【０２５７】
次に、加算器７３０は、予測信号と復号予測誤差信号とを加算することで、復号信号を生成する（Ｓ６７０）。加算器７３０は、生成した復号信号をメモリ７４０に参照信号として格納するとともに、復号信号を出力信号として外部に出力する（Ｓ６８０）。
【０２５８】
なお、予測信号を生成する際に、符号化信号に含まれる制御情報を必要とする場合は、予測信号の生成（Ｓ６００）をエントロピー復号処理（Ｓ４１０）の後に行えばよい。また、予測信号の生成（Ｓ６００）と分割処理（Ｓ４２０）から第１逆変換（Ｓ４６０）とは、並列化してもよい。
【０２５９】
以上のようにして、復号装置７００は、予測誤差信号が符号化された符号化信号を復号することができる。
【０２６０】
また、第２部分信号と第２変換出力信号とが統合されずに、別々に量子化及びエントロピー符号化された符号化信号を復号してもよい。つまり、エントロピー復号及び逆量子化することで、第２復号部分信号と第２復号変換出力信号とを生成するので、復号装置５００は、分割部５２０を備えていなくてもよい。
【０２６１】
また、逆量子化部５３０は、補正無し逆量子化部５３１と補正付き逆量子化部５３２とを備えるのではなく、１つの逆量子化部５３０の内部で、補正の有無を切り替える構成であってもよい。
【０２６２】
また、上記の実施の形態２に係る復号装置５００は、復号量子化係数Ｃ＾nを第１復号量子化係数Ｃ＾1mと第２復号量子化係数Ｃ＾2n-mとに分割してから逆量子化したが、復号量子化係数Ｃ＾nを逆量子化してから分割してもよい。つまり、２つの信号に対して逆量子化を別々に行わずに、分割前の１つの信号に対して逆量子化を行ってもよい。
【０２６３】
図２８は、本発明の実施の形態２の変形例に係る復号装置５００ａの構成の一例を示す図である。
【０２６４】
図２８に示す復号装置５００ａは、エントロピー復号部５１０と、分割部５２０ａと、逆量子化部５３０ａと、第２逆変換部５４０と、スケール逆補正部５４２ａと、統合部５５０と、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
【０２６５】
逆量子化部５３０ａは、エントロピー復号部５１０によって生成された復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する。具体的には、逆量子化部５３０ａは、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾nに乗じることで、復号変換出力信号ｙ＾nを生成する（式１４参照、Ｃ＾1（ｉ，ｊ）はＣ＾（ｉ，ｊ）、ｙ＾2（ｉ，ｊ）はｙ＾（ｉ，ｊ）と読み替える）。なお、生成した復号変換出力信号ｙ＾nは、第２復号変換出力信号ｙ＾2mと、補正前の第２復号部分信号ｙ＾’1Hn-mとを含んでいる。
【０２６６】
分割部５２０ａは、分割統合情報に基づいて、逆量子化部５３０ａによって生成された復号変換出力信号ｙ＾nを、第２復号変換出力信号ｙ＾2mと、補正前の第２復号部分信号ｙ＾’1Hn-mとに分割する。第２復号変換出力信号ｙ＾2mは、実施の形態１の変形例に係る第２変換部１３０が生成した第２変換出力信号ｙ2mに相当する。補正前の第２復号部分信号ｙ＾’1Hn-mは、実施の形態１の変形例に係るスケール補正部１３１ａが生成した補正後の第２部分信号ｙ’1Hn-mに相当する。
【０２６７】
スケール逆補正部５４２ａは、分割部５２０ａから出力される補正前の第２復号部分信号ｙ＾’1Hn-mを、所定のスケーリングパラメータを用いて補正することで、第２復号部分信号ｙ＾1Hn-mを生成する。具体的には、スケール逆補正部５４２ａは、実施の形態１の変形例に係るスケール補正部１３１ａと反対の処理である逆補正処理（スケール逆補正）を行う。より具体的には、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’1Hn-mにノルムを乗じることで、第２復号部分信号ｙ＾1Hn-mを生成する（式１６参照、ｙ＾1L（ｉ）はｙ＾1H（ｉ）、ｙ＾’1L（ｉ）はｙ＾’1H（ｉ）と読み替える）。
【０２６８】
図２９は、図２８に示す復号装置５００ａの動作の一例を示すフローチャートである。
【０２６９】
まず、音声データ又は動画像データなどが符号化された符号化信号が、復号装置５００ａに入力される。そして、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する（Ｓ４１０）。
【０２７０】
次に、逆量子化部５３０ａは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する（Ｓ４２０ａ）。次に、分割部５２０ａは、復号変換出力信号ｙ＾nを、第２復号変換出力信号ｙ＾2mと補正前の第２復号部分信号ｙ＾’1Hn-mとに分割する（Ｓ４３０ａ）。
【０２７１】
次に、第２逆変換部５４０が、第２復号変換出力信号ｙ＾2mに第２逆変換Ｔ2-1を行うとともに、スケール逆補正部５４２ａが、補正前の第２復号部分信号ｙ＾’1Hn-mにスケール逆補正を行う（Ｓ４４０ａ）。例えば、図２２に示すように、第２逆変換部５４０は、第２逆変換行列Ａ-12mを用いて第２復号変換出力信号ｙ＾2mを逆変換し、逆変換後の第２復号変換出力信号ｙ＾’1Lmにノルム補正を行うことで、第１復号部分信号ｙ＾1Lmを生成する。また、スケール逆補正部５４２ａは、補正前の第２復号部分信号ｙ＾’1Hn-mにノルム逆補正を行うことで、第２復号部分信号ｙ＾1Hn-mを生成する。
【０２７２】
以降、図２１に示すフローチャートの動作と同様に、統合部５５０が、第１復号部分信号ｙ＾1Lmと、第２復号部分信号ｙ＾1Hn-mとを統合することで、第１復号変換出力信号ｙ＾1nを生成する（Ｓ４５０）。そして、第１逆変換部５６０が、第１復号変換出力信号ｙ＾1nに第１逆変換を行うことで、復号信号ｘ＾nを生成する（Ｓ４６０）。
【０２７３】
以上のように、実施の形態２の変形例に係る復号装置５００ａによれば、符号化側において、丸め誤差を低減し、演算精度を高めるために、分割した信号を統合した後に量子化することで生成された符号化信号を復号することができる。
【０２７４】
また、上記の実施の形態２に係る復号装置５００では、復号量子化係数を第１復号量子化係数と第２復号量子化係数とに分割し、第２逆変換後に統合するが、明示的に分割しなくてもよい。すなわち、復号量子化係数のうち、第２逆変換を実行する対象となる部分を決定すればよい。
【０２７５】
したがって、例えば、図３０に示す復号装置５００ｂのように、分割部５２０及び統合部５５０を備えなくてもよい。図３０は、本発明の実施の形態２に係る復号装置５００ｂの構成の一例を示すブロック図である。
【０２７６】
復号装置５００ｂは、エントロピー復号部５１０と、逆量子化部５３０ｂと、第２逆変換部５４０ｂと、第１逆変換部５６０とを備える。なお、図１８に示す復号装置５００と同じ動作を行う処理部には、同じ符号を付しており、以下では説明を省略する。
【０２７７】
逆量子化部５３０ｂは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する。例えば、逆量子化部５３０ｂは、所定のスケーリングパラメータ（例えば、ノルム）を用いずに、復号量子化係数Ｃ＾nの一部である第１復号量子化係数Ｃ＾1mを逆量子化することで、第２復号変換出力信号ｙ＾2mを生成し、かつ、スケーリングパラメータを用いて、復号量子化係数Ｃ＾nのうち第１復号量子化係数Ｃ＾1m以外の部分である第２復号量子化係数Ｃ＾2n-mを逆量子化することで、第２復号部分信号ｙ＾1Hn-mを生成する。具体的には、スケーリングパラメータを構成する係数のうち、第１復号量子化係数Ｃ＾1mに乗じられる係数値を１とすることで、復号量子化係数Ｃ＾nの部分毎に補正の適用の可否を制御することができる。
【０２７８】
なお、逆量子化部５３０ｂは、図２８に示す逆量子化部５３０ａのように、ノルム補正値を用いないレベルスケールＬｅｖｅｌＳｃａｌｅ＿１を復号量子化係数Ｃ＾nに乗じることで、復号変換出力信号ｙ＾nを生成してもよい。
【０２７９】
第２逆変換部５４０ｂは、復号変換出力信号ｙ＾nのうち第２復号変換出力信号ｙ＾2mのみに第２逆変換Ｔ2-1を行う。例えば、第２逆変換部５４０ｂは、第２逆変換部５４０と同様に、第２逆変換行列Ａ-12mを用いて、第２復号変換出力信号ｙ＾2mを逆変換するとともに、スケーリングパラメータを用いた補正を行うことで、第１復号部分信号ｙ＾1Lmを生成する。スケーリングパラメータは、例えば、第１逆変換行列Ａ-11nのノルム、又は、口述する量子化マトリクスのウェイトスケールである。
【０２８０】
図３１は、図３０に示す復号装置５００ｂの動作の一例を示すフローチャートである。
【０２８１】
まず、エントロピー復号部５１０は、入力された符号化信号をエントロピー復号することで、復号量子化係数Ｃ＾nを生成する（Ｓ４１０）。次に、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nを逆量子化することで、復号変換出力信号ｙ＾nを生成する（Ｓ４２０ｂ）。
【０２８２】
具体的には、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nのうち第２逆変換Ｔ2-1の対象とならない部分である第２復号量子化係数Ｃ＾2n-mにのみ、スケーリングパラメータを用いた逆量子化を行う。そして、逆量子化部５３０ｂは、復号量子化係数Ｃ＾nのうち第２逆変換Ｔ2-1の対象となる部分である第１復号量子化係数Ｃ＾1nには、スケーリングパラメータを用いずに逆量子化を行う。例えば、スケーリングパラメータであるノルムのうち、第１復号量子化係数Ｃ＾1mに乗じられるノルム値を１にすることで、逆量子化部５３０ｂは、第１復号量子化係数Ｃ＾1mには実質的にスケーリングパラメータを用いずに逆量子化する。
【０２８３】
次に、第２逆変換部５４０ｂは、復号変換出力信号ｙ＾nのうち、第２逆変換の対象となる部分である第２復号変換出力信号ｙ＾2mを逆変換することで、第１復号部分信号ｙ＾1Lmを生成する（Ｓ４４０ｂ）。そして、第２逆変換部５４０ｂは、生成した第１復号部分信号ｙ＾1Lmと第２復号部分信号ｙ＾1Hn-mとを含む第１復号変換出力信号ｙ＾1nを出力する。
【０２８４】
最後に、第１逆変換部５６０は、第１逆変換行列Ａ-11nを用いて第１復号変換出力信号ｙ＾1nに第１逆変換Ｔ1-1を行うことで、復号信号ｘ＾nを生成する（Ｓ４６０）。
【０２８５】
以上のように、実施の形態２の変形例に係る復号装置５００ｂによっても、演算量の増加及び変換係数のデータ量の増加を抑制するために、２段階の変換が行われた符号化信号を復号することができる。
【０２８６】
（実施の形態３）
実施の形態１に係る符号化装置は、第２変換の前に、第１変換係数から算出したノルムを用いて、第２変換係数又は第１部分信号を補正したのに対して、実施の形態３に係る符号化装置は、第２変換の前に、量子化マトリクスのスケーリングを第２変換係数又は第１部分信号に反映させることを特徴とする。すなわち、実施の形態３に係る符号化装置は、量子化マトリクスを用いて、第２変換係数又は第１部分信号を補正することを特徴とする。
【０２８７】
実施の形態３に係る符号化装置は、図３に示す実施の形態１に係る符号化装置１００と比較して、第２変換部１３０の代わりに第２変換部８３０を備える点が異なっている。その他の構成は、図３に示す符号化装置１００と同じであるため、以下では説明を省略する。
【０２８８】
図３２は、実施の形態３に係る第２変換部８３０の構成の一例を示すブロック図である。また、図３３は、実施の形態３に係る第２変換部８３０におけるデータフローの一例を概念的に示す図である。
【０２８９】
図３２に示すように、第２変換部８３０は、スケール補正部８３１と、第２変換処理部１３２と、ポストスケール補正部８３３とを備える。
【０２９０】
スケール補正部８３１は、量子化部１４０で用いられる量子化マトリクスを用いて、第１部分信号ｙ1Lmを補正する。具体的には、スケール補正部８３１は、式１８及び式１９に従って、第１部分信号ｙ1Lmを補正する。つまり、スケール補正部８３１は、第１部分信号ｙ1Lmに量子化マトリクスの逆数ｍｆを乗じることで、補正後の第１部分信号ｙ’1Lmを生成する。言い換えると、スケール補正部８３１は、第１部分信号ｙ1Lmを量子化マトリクスで除算することで、補正後の第１部分信号ｙ’1Lmを生成する。
【０２９１】
【数１８】
2011016250.tif 000020
【０２９２】
【数１９】
2011016250.tif 000021
【０２９３】
なお、ｆ（ｉ）は、量子化マトリクスから導出されるウェイトスケール（ｗｅｉｇｈｔＳｃａｌｅ）の各要素の値である。
【０２９４】
第２変換処理部１３２は、第２変換行列Ａ2mを用いて補正後の第１部分信号ｙ’1Lmを変換することで、変換後の第１部分信号ｙ’2mを生成する。
【０２９５】
ポストスケール補正部８３３は、量子化マトリクスから算出される補正係数ｍｆ＿２を変換後の第１部分信号ｙ’2mに乗じることで、第２変換出力信号ｙ2mを生成する。具体的には、ポストスケール補正部８３３は、式２０及び式２１に従って、変換後の第１部分信号ｙ’2mを補正することで、第２変換出力信号ｙ2mを生成する。
【０２９６】
【数２０】
2011016250.tif 000022
【０２９７】
【数２１】
2011016250.tif 000023
【０２９８】
なお、Ｓ（ｉ）は、式２２で示される行列の要素である。
【０２９９】
【数２２】
2011016250.tif 000024
【０３００】
以上の構成により、実施の形態３に係る符号化装置では、量子化マトリクスのスケーリングを第２変換前の信号である第１部分信号に反映させることができるので、符号化効率をより高めることができる。
【０３０１】
なお、第２変換部８３０は、ポストスケール補正部８３３を備えていなくてもよく、代わりに、補正無し量子化部１４１が、上述のポストスケール補正部８３３と同様の機能を有していてもよい。
【０３０２】
次に、実施の形態３に係る符号化装置の動作について説明する。実施の形態３に係る符号化装置の動作は、図６に示す実施の形態１に係る符号化装置１００の動作と比較して、第２変換処理が異なっている。その他の動作は、図６に示す符号化装置１００の動作と同じであるため、以下では説明を省略する。
【０３０３】
図３４は、実施の形態３に係る第２変換部８３０の動作の一例を示すフローチャートである。図３４に示す処理は、図６に示す補正付き第２変換（Ｓ１３０）の一例である。
【０３０４】
まず、第１部分信号ｙ1Lmが第２変換部８３０に入力されると、スケール補正部８３１は、式１８及び式１９に従って、量子化マトリクスの逆数を第１部分信号ｙ1mに乗じることで、補正後の第１部分信号ｙ’1Lmを生成する（Ｓ７３１）。
【０３０５】
次に、第２変換処理部１３２は、補正後の第１部分信号ｙ’1Lmに対して第２変換行列Ａ2mを用いて第２変換Ｔ2を行うことで、変換後の第１部分信号ｙ’2mを生成する（Ｓ７３２）。
【０３０６】
次に、ポストスケール補正部８３３は、式２０〜式２２に従って、変換後の第１部分信号ｙ’2mに補正係数を乗じることによって、第２変換出力信号ｙ2mを生成する（Ｓ７３３）。
【０３０７】
以上のようにして、第２変換部８３０は、第２変換出力信号ｙ2mを生成する。なお、第２変換行列Ａ2mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
【０３０８】
なお、実施の形態１と同様に、実施の形態３においても、第１部分信号ｙ1Lmではなく、第２変換行列Ａ2mを補正してもよい。すなわち、第２変換部８３０は、スケール補正部８３１及びポストスケール補正部８３３の代わりに、図９に示すような修正係数導出部３３１を備えていてもよい。
【０３０９】
このとき、修正係数導出部３３１は、量子化マトリクスを用いて第２変換行列Ａ2mを補正する。具体的には、修正係数導出部３３１は、式２３に従って、第２変換行列Ａ2mを補正する。式２３に示すように、修正係数導出部３３１は、第２変換行列Ａ2mの要素ａ2（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じる。
【０３１０】
【数２３】
2011016250.tif 000025
【０３１１】
以上のように、第１部分信号ｙ1Lmではなく、第２変換行列Ａ2mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
【０３１２】
なお、実施の形態１と実施の形態３とを組み合わせてもよい。すなわち、第２変換部８３０は、第１部分信号ｙ1Lm又は第２変換行列Ａ2mに、ノルム補正と量子化マトリクスの補正との両方を行ってもよい。
【０３１３】
例えば、第１部分信号ｙ1Lmを補正する場合、スケール補正部８３１は、式２４に従って、第１部分信号ｙ1Lmを補正する。具体的には、スケール補正部８３１は、第１部分信号ｙ1Lmの要素ｙ1L（ｉ）毎に、第１変換行列Ａ1nから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）とを乗じることで、補正後の第１部分信号ｙ’1Lmを生成する。
【０３１４】
【数２４】
2011016250.tif 000026
【０３１５】
また、第２変換行列Ａ2mを補正する場合、修正係数導出部３３１は、式２５に従って、第２変換行列Ａ2mを補正する。具体的には、修正係数導出部３３１は、第２変換行列Ａ2mの要素ａ2（ｉ，ｊ）毎に、第１変換行列Ａ1nから算出されたノルムＮ（ｉ）の逆数と、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とを乗じることで、補正後の第２変換行列Ａ’2mを生成する。
【０３１６】
【数２５】
2011016250.tif 000027
【０３１７】
以上のような構成であっても、より適した第２変換を第１部分信号に適用することができる。
【０３１８】
（実施の形態４）
実施の形態２に係る復号装置は、第１逆変換係数から算出したノルムを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正したのに対して、実施の形態４に係る復号装置は、量子化マトリクスのスケーリングを、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数に反映させることを特徴とする。すなわち、実施の形態４に係る復号装置は、量子化マトリクスを用いて、第２逆変換後の第１復号量子化係数、又は、第２逆変換係数を補正することを特徴とする。
【０３１９】
実施の形態４に係る復号装置は、図１８に示す実施の形態２に係る復号装置５００と比較して、第２逆変換部５４０の代わりに第２逆変換部９４０を備える点が異なっている。その他の構成は、図１８に示す復号装置５００と同じであるため、以下では説明を省略する。
【０３２０】
図３５は、実施の形態４に係る第２逆変換部９４０の構成の一例を示すブロック図である。また、図３６は、実施の形態４に係る第２逆変換部９４０におけるデータフローの一例を概念的に示す図である。
【０３２１】
図３５に示すように、第２逆変換部９４０は、第２逆変換処理部５４１と、スケール逆補正部９４２と、ポストスケール逆補正部９４３とを備え、実施の形態３で説明した第２変換部８３０が行う変換処理と反対の処理を行う。
【０３２２】
ポストスケール逆補正部９４３は、ポストスケール補正部８３３が行う処理と反対の処理（ポストスケール逆補正処理）を行う。具体的には、ポストスケール逆補正部９４３は、量子化マトリクスから算出される補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾2mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’2mを生成する。なお、これは、式２６に示すように、補正係数ｍｆ＿２で第２復号変換出力信号ｙ＾2mを除算することと等価である。
【０３２３】
【数２６】
2011016250.tif 000028
【０３２４】
なお、補正係数ｍｆ＿２（ｊ）は、式２１及び式２２によって表される。
【０３２５】
第２逆変換処理部５４１は、第２変換処理部１３２が行う処理と反対の処理（第２逆変換Ｔ2-1）を行う。具体的には、第２逆変換処理部５４１は、第２逆変換行列Ａ-12mを用いて、逆補正後の第２復号変換出力信号ｙ＾’2mに第２逆変換Ｔ2-1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’1Lmを生成する。
【０３２６】
スケール逆補正部９４２は、スケール補正部８３１が行う処理と反対の処理（スケール逆補正処理）を行う。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’1Lmに量子化パラメータを乗じることで、第１復号部分信号ｙ1Lmを生成する。なお、これは、式２７に示すように、補正係数ｍｆで第２復号変換出力信号ｙ＾2mを除算することと等価である。
【０３２７】
【数２７】
2011016250.tif 000029
【０３２８】
次に、実施の形態４に係る復号装置の動作について説明する。実施の形態４に係る復号装置の動作は、図２１に示す実施の形態２に係る復号装置５００の動作と比較して、第２逆変換処理が異なっている。その他の動作は、図２１に示す復号装置５００の動作と同じであるため、以下では説明を省略する。
【０３２９】
図３７は、実施の形態４に係る第２逆変換部９４０の動作の一例を示すフローチャートである。図３７に示す処理は、図２１に示す補正付き第２逆変換（Ｓ４４０）の一例である。
【０３３０】
まず、第２復号変換出力信号ｙ＾2mが第２逆変換部９４０に入力されると、ポストスケール逆補正部９４３は、式２６に従って、補正係数ｍｆ＿２の逆数を第２復号変換出力信号ｙ＾2mに乗じることで、逆補正後の第２復号変換出力信号ｙ＾’2mを生成する（Ｓ８４１）。
【０３３１】
次に、第２逆変換処理部５４１は、逆補正後の第２復号変換出力信号ｙ＾’2mに対して第２逆変換行列Ａ-12mを用いて第２逆変換Ｔ2-1を行うことで、逆変換後の第２復号変換出力信号ｙ＾’1Lmを生成する（Ｓ８４２）。
【０３３２】
次に、スケール逆補正部９４２は、式２７に従って、逆変換後の第２復号変換出力信号ｙ＾’1Lmに量子化マトリクスを乗じることによって、第１復号部分信号ｙ＾1Lmを生成する（Ｓ８４３）。
【０３３３】
以上のようにして、第２逆変換部９４０は、第１復号部分信号ｙ＾1Lmを生成する。なお、第２逆変換行列Ａ-12mは、第２変換Ｔ2の対象となる信号（変換対象信号）を含む集合の統計特性に基づいて決定される係数である。
【０３３４】
なお、実施の形態２と同様に、実施の形態４においても、逆変換後の第２復号変換出力信号ｙ＾’1Lmではなく、第２逆変換行列Ａ-12mを補正してもよい。すなわち、第２逆変換部９４０は、スケール逆補正部９４２及びポストスケール逆補正部９４３の代わりに、図２３に示すような修正係数導出部６４２を備えていてもよい。
【０３３５】
このとき、修正係数導出部６４２は、量子化マトリクスを用いて第２逆変換行列Ａ-12mを補正する。具体的には、修正係数導出部６４２は、式２８に従って、第２逆変換行列Ａ-12mを補正する。式２８に示すように、修正係数導出部６４２は、第２逆変換行列Ａ-12mの要素ａ2（ｉ，ｊ）毎に、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算する。
【０３３６】
【数２８】
2011016250.tif 000030
【０３３７】
以上のように、逆変換後の第２復号変換出力信号ｙ＾’1Lmではなく、第２逆変換行列Ａ-12mを補正することによっても、同様に、符号化効率を高める効果を得ることができる。
【０３３８】
なお、実施の形態２と実施の形態４とを組み合わせてもよい。すなわち、第２逆変換部９４０は、逆変換後の第２復号変換出力信号ｙ＾’1Lm又は第２逆変換行列Ａ-12mに、ノルム逆補正と量子化マトリクスの逆補正との両方を行ってもよい。
【０３３９】
例えば、逆変換後の第２復号変換出力信号ｙ＾’1Lmを補正する場合、スケール逆補正部９４２は、式２９に従って、逆変換後の第２復号変換出力信号ｙ＾’1Lmを補正する。具体的には、スケール逆補正部９４２は、逆変換後の第２復号変換出力信号ｙ＾’1Lmの要素ｙ＾’1L（ｉ）毎に、第１逆変換行列Ａ-11nから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）を除算することで、第１復号部分信号ｙ＾1Lmを生成する。
【０３４０】
【数２９】
2011016250.tif 000031
【０３４１】
また、第２逆変換行列Ａ-12mを補正する場合、修正係数導出部６４２は、式３０に従って、第２逆変換行列Ａ-12mを補正する。具体的には、修正係数導出部６４２は、第２逆変換行列Ａ-12mの要素ａ2（ｉ，ｊ）毎に、第１逆変換行列Ａ-11nから算出されたノルムＮ（ｉ）を乗じ、量子化マトリクスの要素の逆数ｍｆ（ｉ）と、量子化マトリクスから算出される補正係数ｍｆ＿２（ｊ）とで除算することで、補正後の第２逆変換行列Ａ’-12mを生成する。
【０３４２】
【数３０】
2011016250.tif 000032
【０３４３】
以上のような構成であっても、より適した第２逆変換を第２復号変換出力信号に適用することができる。
【０３４４】
（実施の形態５）
上記各実施の形態で示した動画像符号化方法又は動画像復号方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０３４５】
さらにここで、上記各実施の形態で示した動画像符号化方法や動画像復号方法の応用例とそれを用いたシステムを説明する。
【０３４６】
図３８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
【０３４７】
このコンテンツ供給システムｅｘ１００は、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２及び電話網ｅｘ１０４、及び基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が接続される。
【０３４８】
しかし、コンテンツ供給システムｅｘ１００は図３８のような構成に限定されず、いずれかの要素を組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０３４９】
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、もしくはＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）の携帯電話機、又はＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０３５０】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号処理して再生する。
【０３５１】
なお、撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号処理はクライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像及び／又は動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理はカメラｅｘ１１６、コンピュータｅｘ１１１、ストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０３５２】
また、これら符号化・復号処理は、一般的にコンピュータｅｘ１１１や各機器が有するＬＳＩｅｘ５００において処理する。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０３５３】
また、ストリーミングサーバｅｘ１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０３５４】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【０３５５】
このコンテンツ供給システムを構成する各機器の符号化、復号には上記各実施の形態で示した画像符号化方法あるいは画像復号方法を用いるようにすればよい。
【０３５６】
その一例として携帯電話ｅｘ１１４について説明する。
【０３５７】
図３９は、上記実施の形態で説明した画像符号化方法と画像復号方法を用いた携帯電話ｅｘ１１４を示す図である。携帯電話ｅｘ１１４は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ６０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ６０３、カメラ部ｅｘ６０３で撮影した映像、アンテナｅｘ６０１で受信した映像等が復号されたデータを表示する液晶ディスプレイ等の表示部ｅｘ６０２、操作キーｅｘ６０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ６０８、音声入力をするためのマイク等の音声入力部ｅｘ６０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号されたデータを保存するための記録メディアｅｘ６０７、携帯電話ｅｘ１１４に記録メディアｅｘ６０７を装着可能とするためのスロット部ｅｘ６０６を有している。記録メディアｅｘ６０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
【０３５８】
さらに、携帯電話ｅｘ１１４について図４０を用いて説明する。携帯電話ｅｘ１１４は表示部ｅｘ６０２及び操作キーｅｘ６０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ７１１に対して、電源回路部ｅｘ７１０、操作入力制御部ｅｘ７０４、画像符号化部ｅｘ７１２、カメラインターフェース部ｅｘ７０３、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）制御部ｅｘ７０２、画像復号部ｅｘ７０９、多重分離部ｅｘ７０８、記録再生部ｅｘ７０７、変復調回路部ｅｘ７０６及び音声処理部ｅｘ７０５が同期バスｅｘ７１３を介して互いに接続されている。
【０３５９】
電源回路部ｅｘ７１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付デジタル携帯電話ｅｘ１１４を動作可能な状態に起動する。
【０３６０】
携帯電話ｅｘ１１４は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ７１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ６０５で集音した音声信号を音声処理部ｅｘ７０５によってデジタル音声データに変換し、これを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。また携帯電話ｅｘ１１４は、音声通話モード時にアンテナｅｘ６０１で受信した受信データを増幅して周波数変換処理及びアナログデジタル変換処理を施し、変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、音声処理部ｅｘ７０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ６０８を介して出力する。
【０３６１】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ６０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ７０４を介して主制御部ｅｘ７１１に送出される。主制御部ｅｘ７１１は、テキストデータを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して基地局ｅｘ１１０へ送信する。
【０３６２】
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ６０３で撮像された画像データをカメラインターフェース部ｅｘ７０３を介して画像符号化部ｅｘ７１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ６０３で撮像した画像データをカメラインターフェース部ｅｘ７０３及びＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に直接表示することも可能である。
【０３６３】
画像符号化部ｅｘ７１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ６０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ７０８に送出する。また、このとき同時に携帯電話ｅｘ１１４は、カメラ部ｅｘ６０３で撮像中に音声入力部ｅｘ６０５で集音した音声を音声処理部ｅｘ７０５を介してデジタルの音声データとして多重分離部ｅｘ７０８に送出する。
【０３６４】
多重分離部ｅｘ７０８は、画像符号化部ｅｘ７１２から供給された符号化画像データと音声処理部ｅｘ７０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ７０６でスペクトラム拡散処理し、送受信回路部ｅｘ７０１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ６０１を介して送信する。
【０３６５】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ６０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ７０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ７０８に送出する。
【０３６６】
また、アンテナｅｘ６０１を介して受信された多重化データを復号するには、多重分離部ｅｘ７０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ７１３を介して当該符号化画像データを画像復号部ｅｘ７０９に供給すると共に当該音声データを音声処理部ｅｘ７０５に供給する。
【０３６７】
次に、画像復号部ｅｘ７０９は、本願発明で説明した画像復号装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ７０２を介して表示部ｅｘ６０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ７０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ６０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０３６８】
なお、上記システムの例に限られず、最近は衛星、地上波によるデジタル放送が話題となっており、図４１に示すようにデジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ２０１では音声データ、映像データ又はそれらのデータが多重化されたビットストリームが電波を介して通信または放送衛星ｅｘ２０２に伝送される。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ２０４で受信し、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７などの装置によりビットストリームを復号してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ２１５、２１６に記録した画像データと、音声データが多重化されたビットストリームを読み取り、復号するリーダ／レコーダｅｘ２１８にも上記実施の形態で示した画像復号装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示される。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に画像復号装置を実装し、これをテレビのモニタｅｘ２１９で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号装置を組み込んでも良い。また、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２からまたは基地局等から信号を受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。
【０３６９】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した音声データ、映像データ又はそれらのデータが多重化された符号化ビットストリームを読み取り復号する、又は記録メディアｅｘ２１５に音声データ、映像データ又はそれらのデータを符号化し、多重化データとして記録するリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号装置又は動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３又は衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号装置を組み込んでもよい。
【０３７０】
図４２は、上記各実施の形態で説明した動画像復号方法及び動画像符号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４又はケーブルｅｘ２０３等を介して映像情報のビットストリームを取得、又は出力するチューナｅｘ３０１と、受信した符号化データを復調する、又は外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、又は符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号する、又はそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号した音声信号を出力するスピーカｅｘ３０７、復号した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインターフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。インターフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビｅｘ３００の各部は同期バスを介して互いに接続されている。
【０３７１】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した復号方法を用いて復号する。復号した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。次に、テレビｅｘ３００が音声信号や映像信号を符号化し、外部に送信又は記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、一つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２や多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０３７２】
また、テレビｅｘ３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、及び外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号処理、外部出力のみが可能な構成であってもよい。
【０３７３】
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、又は書き込む場合には、上記復号処理又は符号化処理はテレビｅｘ３００、リーダ／レコーダｅｘ２１８のいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８が互いに分担して行ってもよい。
【０３７４】
一例として、光ディスクからデータの読み込み又は書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図４３に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報及び記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０３７５】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０３７６】
図４４に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、あらかじめグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周又は外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データ又はそれらのデータを多重化した符号化データの読み書きを行う。
【０３７７】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０３７８】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図４２に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１や携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器・復号器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号器のみの受信端末という３通りの実装形式が考えられる。
【０３７９】
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０３８０】
また、本発明は係る上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形又は修正が可能である。
【０３８１】
（実施の形態６）
上記各実施の形態で示した動画像符号化方法及び装置、動画像復号方法及び装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図４５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０１〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０３８２】
例えば符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＣＰＵｅｘ５０２、メモリコントローラｅｘ５０３、ストリームコントローラｅｘ５０４等を有する制御部ｅｘ５０１の制御に基づいて、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７やカメラｅｘ１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声信号の符号化及び／又は映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ｅｘ５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０６から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、又は記録メディアｅｘ２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファｅｘ５０８にデータを蓄積するとよい。
【０３８３】
また、例えば復号処理を行う場合には、ＬＳＩｅｘ５００は、制御部ｅｘ５０１の制御に基づいて、ストリームＩ／Ｏｅｘ５０６によって基地局ｅｘ１０７を介して、又は記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。制御部ｅｘ５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号及び／又は映像データの復号が行われる。ここで映像信号の復号処理は上記各実施の形態で説明した復号処理である。さらに、場合により復号された音声信号と復号された映像信号を同期して再生できるようそれぞれの信号を一旦バッファｅｘ５０８等に蓄積するとよい。復号された出力信号はメモリｅｘ５１１等を適宜介しながら、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５、テレビｅｘ３００等の各出力部から出力される。
【０３８４】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。バッファｅｘ５０８も一つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０３８５】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０３８６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０３８７】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０３８８】
以上、本発明に係る符号化方法、符号化装置、復号方法及び復号装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【産業上の利用可能性】
【０３８９】
本発明は、符号化処理における演算量の増加、及び、変換係数のデータ量の増加を抑制することができるという効果を奏し、オーディオ、静止画像、及び動画像を符号化する符号化装置、及び、当該符号化装置によって符号化されたデータを復号する復号装置に利用することができる。例えば、本発明は、オーディオ機器、携帯電話、デジタルカメラ、ＢＤレコーダ、デジタルテレビなどの各種ＡＶ機器に利用することができる。
【符号の説明】
【０３９０】
１００、１００ａ、１００ｂ、２００、４００、１０００  符号化装置
１１０  第１変換部
１２０、５２０、５２０ａ  分割部
１３０、１３０ｂ、３３０、８３０  第２変換部
１３１、１３１ａ、８３１  スケール補正部
１３２  第２変換処理部
１４０、１４０ａ、１４０ｂ、１０２０  量子化部
１４１  補正無し量子化部
１４２  補正付き量子化部
１５０、１５０ａ、５５０  統合部
１６０、１０３０  エントロピー符号化部
２１１  第１メモリ
２１２  第１変換係数導出部
２２１  第２メモリ
２２２  分割統合情報生成部
２３１  第３メモリ
２３２  第２変換係数導出部
３３１、６４２  修正係数導出部
４１０  減算器
４２０  変換・量子化部
４３０、７２０  逆量子化・逆変換部
４４０、７３０  加算器
４５０、７４０  メモリ
４６０、７５０  予測部
５００、５００ａ、５００ｂ、７００  復号装置
５１０  エントロピー復号部
５３０、５３０ａ、５３０ｂ  逆量子化部
５３１  補正無し逆量子化部
５３２  補正付き逆量子化部
５４０、５４０ｂ、６４０、９４０  第２逆変換部
５４１  第２逆変換処理部
５４２、５４２ａ、９４２  スケール逆補正部
５６０  第１逆変換部
８３３  ポストスケール補正部
９４３  ポストスケール逆補正部
１０１０  変換部
ｅｘ１００  コンテンツ供給システム
ｅｘ１０１  インターネット
ｅｘ１０２  インターネットサービスプロバイダ
ｅｘ１０３  ストリーミングサーバ
ｅｘ１０４  電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０  基地局
ｅｘ１１１  コンピュータ
ｅｘ１１２  ＰＤＡ
ｅｘ１１３、ｅｘ１１６  カメラ
ｅｘ１１４  カメラ付デジタル携帯電話（携帯電話）
ｅｘ１１５  ゲーム機
ｅｘ１１７  マイク
ｅｘ２００  デジタル放送用システム
ｅｘ２０１  放送局
ｅｘ２０２  放送衛星（衛星）
ｅｘ２０３  ケーブル
ｅｘ２０４、ｅｘ２０５、ｅｘ６０１  アンテナ
ｅｘ２１０  車
ｅｘ２１１  カーナビゲーション（カーナビ）
ｅｘ２１２  再生装置
ｅｘ２１３、ｅｘ２１９  モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６、ｅｘ６０７  記録メディア
ｅｘ２１７  セットトップボックス（ＳＴＢ）
ｅｘ２１８  リーダ／レコーダ
ｅｘ２２０  リモートコントローラ
ｅｘ２３０  情報トラック
ｅｘ２３１  記録ブロック
ｅｘ２３２  内周領域
ｅｘ２３３  データ記録領域
ｅｘ２３４  外周領域
ｅｘ３００  テレビ
ｅｘ３０１  チューナ
ｅｘ３０２  変調／復調部
ｅｘ３０３  多重／分離部
ｅｘ３０４  音声信号処理部
ｅｘ３０５  映像信号処理部
ｅｘ３０６、ｅｘ５０７  信号処理部
ｅｘ３０７  スピーカ
ｅｘ３０８、ｅｘ６０２  表示部
ｅｘ３０９  出力部
ｅｘ３１０、ｅｘ５０１  制御部
ｅｘ３１１、ｅｘ５０５、ｅｘ７１０  電源回路部
ｅｘ３１２  操作入力部
ｅｘ３１３  ブリッジ
ｅｘ３１４、ｅｘ６０６  スロット部
ｅｘ３１５  ドライバ
ｅｘ３１６  モデム
ｅｘ３１７  インターフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４、ｅｘ５０８  バッファ
ｅｘ４００  情報再生／記録部
ｅｘ４０１  光ヘッド
ｅｘ４０２  変調記録部
ｅｘ４０３  再生復調部
ｅｘ４０５  ディスクモータ
ｅｘ４０６  サーボ制御部
ｅｘ４０７  システム制御部
ｅｘ５００  ＬＳＩ
ｅｘ５０２  ＣＰＵ
ｅｘ５０３  メモリコントローラ
ｅｘ５０４  ストリームコントローラ
ｅｘ５０６  ストリームＩ／Ｏ
ｅｘ５０９  ＡＶ  Ｉ／Ｏ
ｅｘ５１０  バス
ｅｘ５１１  メモリ
ｅｘ６０３  カメラ部
ｅｘ６０４  操作キー
ｅｘ６０５  音声入力部
ｅｘ６０８  音声出力部
ｅｘ７０１  送受信回路部
ｅｘ７０２  ＬＣＤ制御部
ｅｘ７０３  カメラインターフェース部（カメラＩ／Ｆ部）
ｅｘ７０４  操作入力制御部
ｅｘ７０５  音声処理部
ｅｘ７０６  変復調回路部
ｅｘ７０７  記録再生部
ｅｘ７０８  多重分離部
ｅｘ７０９  画像復号部
ｅｘ７１１  主制御部
ｅｘ７１２  画像符号化部
ｅｘ７１３  同期バス
【図１】
2011016250.tif 000033
【図２】
2011016250.tif 000034
【図３】
2011016250.tif 000035
【図４】
2011016250.tif 000036
【図５】
2011016250.tif 000037
【図６】
2011016250.tif 000038
【図７】
2011016250.tif 000039
【図８】
2011016250.tif 000040
【図９】
2011016250.tif 000041
【図１０】
2011016250.tif 000042
【図１１】
2011016250.tif 000043
【図１２】
2011016250.tif 000044
【図１３】
2011016250.tif 000045
【図１４】
2011016250.tif 000046
【図１５】
2011016250.tif 000047
【図１６】
2011016250.tif 000048
【図１７】
2011016250.tif 000049
【図１８】
2011016250.tif 000050
【図１９】
2011016250.tif 000051
【図２０】
2011016250.tif 000052
【図２１】
2011016250.tif 000053
【図２２】
2011016250.tif 000054
【図２３】
2011016250.tif 000055
【図２４】
2011016250.tif 000056
【図２５】
2011016250.tif 000057
【図２６】
2011016250.tif 000058
【図２７】
2011016250.tif 000059
【図２８】
2011016250.tif 000060
【図２９】
2011016250.tif 000061
【図３０】
2011016250.tif 000062
【図３１】
2011016250.tif 000063
【図３２】
2011016250.tif 000064
【図３３】
2011016250.tif 000065
【図３４】
2011016250.tif 000066
【図３５】
2011016250.tif 000067
【図３６】
2011016250.tif 000068
【図３７】
2011016250.tif 000069
【図３８】
2011016250.tif 000070
【図３９】
2011016250.tif 000071
【図４０】
2011016250.tif 000072
【図４１】
2011016250.tif 000073
【図４２】
2011016250.tif 000074
【図４３】
2011016250.tif 000075
【図４４】
2011016250.tif 000076
【図４５】
2011016250.tif 000077
【国際調査報告】
2011016250.tif 000078
2011016250.tif 000079
2011016250.tif 000080
2011016250.tif 000081