画像を符号化する画像符号化方法であって、画像をブロック単位に分割したブロック画像を符号化して符号化信号を生成し、生成した符号化信号を復号化して量子化された直交変換係数を取得し、周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、前記重みマトリクスの垂直方向に第i番目であり水平方向の第j番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、前記正規化値は、1前記iと前記jとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、2前記量子化パラメータを6で割った余りと、に応じて定められた値であり、前記量子化された直交変換係数と前記レベルスケール値を乗算し、乗算結果を前記量子化パラメータを6で割った商に応じたビット数だけシフトして逆量子化された直交変換係数を算出し、前記逆量子化された直交変換係数を逆直交変換してブロック画像を生成して画像を復号化し、復号化した画像を参照画像として記憶する画像符号化方法。前記正規化値は、前記iと前記jとのいずれか一方が奇数である場合には、前記iと前記jとがともに偶数である場合の5分の8の平方根倍であり、前記iと前記jとがともに奇数である場合には、前記iと前記jとがともに偶数である場合の5分の8倍である、ことを特徴とする請求項1記載の画像符号化方法。前記正規化値は、前記iと前記jとがともに偶数であって前記余りが0である場合は10であり、前記iと前記jとがともに奇数であって前記余りが0ある場合は16であり、前記iと前記jとのいずれか一方が奇数であって前記余りが0ある場合は13であり、前記iと前記jとがともに偶数であって前記余りが1ある場合は11であり、前記iと前記jとがともに奇数であって前記余りが1ある場合は18であり、前記iと前記jとのいずれか一方が奇数であって前記余りが1ある場合は14であり、前記iと前記jとがともに偶数であって前記余りが2ある場合は13であり、前記iと前記jとがともに奇数であって前記余りが2ある場合は20であり、前記iと前記jとのいずれか一方が奇数であって前記余りが2ある場合は16であり、前記iと前記jとがともに偶数であって前記余りが3ある場合は14であり、前記iと前記jとがともに奇数であって前記余りが3ある場合は23であり、前記iと前記jとのいずれか一方が奇数であって前記余りが3ある場合は18であり、前記iと前記jとがともに偶数であって前記余りが4ある場合は16であり、前記iと前記jとがともに奇数であって前記余りが4ある場合は25であり、前記iと前記jとのいずれか一方が奇数であって前記余りが4ある場合は20であり、前記iと前記jとがともに偶数であって前記余りが5ある場合は18であり、前記iと前記jとがともに奇数であって前記余りが5ある場合は29であり、前記iと前記jとのいずれか一方が奇数であって前記余りが5ある場合は23であることを特徴とする請求項1記載の画像符号化方法。直交変換係数を量子化してブロック画像を符号化する画像符号化方法であって、ブロック画像を直交変換して直交変換係数を取得し、周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、前記直交変換係数を前記量子化パラメータを6で割った商に応じたビット数だけシフトして量子化された直交変換係数を算出し、前記重みマトリクスの垂直方向に第i番目であり水平方向の第j番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、前記正規化値は、1前記iと前記jとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、2前記量子化パラメータを6で割った余りと、に応じて定められた値であり、前記量子化された直交変換係数を前記レベルスケール値で除算する画像符号化方法。前記正規化値は、前記iと前記jとのいずれか一方が奇数である場合には、前記iと前記jとがともに偶数である場合の5分の8の平方根倍であり、前記iと前記jとがともに奇数である場合には、前記iと前記jとがともに偶数である場合の5分の8倍である、ことを特徴とする請求項4記載の画像符号化方法。前記量子化された直交変換係数を前記レベルスケール値で割る除算は、前記量子化された直交変換係数と前記レベルスケール値の逆数とを乗算することにより行われることを特徴とする請求項4記載の画像符号化方法。直交変換係数を量子化してブロック画像を符号化した画像符号化信号であって、ブロック画像を直交変換して直交変換係数を取得し、周波数成分ごとに直交変換係数の量子化ステップを変更するための重み係数の行列である重みマトリクスと、量子化パラメータとを取得し、前記直交変換係数を前記量子化パラメータを6で割った商に応じたビット数だけシフトして量子化された直交変換係数を算出し、前記重みマトリクスの垂直方向に第i番目であり水平方向の第j番目である成分値と、正規化値と、を乗算してレベルスケール値を取得し、前記正規化値は、1前記iと前記jとが、ともに偶数であるか、ともに奇数であるか、あるいはいずれか一方が奇数であるかと、2前記量子化パラメータを6で割った余りと、に応じて定められた値であり、前記量子化された直交変換係数を前記レベルスケール値で除算してレベルスケール変換された直交変換係数を含む画像符号化信号。請求項7に記載の画像符号化信号を記録した記録媒体。本発明の目的は、量子化処理および逆量子化処理の計算負荷を軽減する画像復号化方法、画像符号化方法、画像復号化装置、画像符号化装置およびそのプログラムを提供することを目的とする。上記目的を達成するため本発明の画像符号化方法は、ブロック単位の逆量子化および逆直交変換によって、符号化された画像を復号化する復号化方法であって、逆量子化として、周波数成分毎の量子化ステップのスケーリング比率を示す量子化マトリクスと、直交変換のための係数または量子化ステップを表す乗数とを乗算し、その乗算結果と量子化値とを乗算する。この構成によれば、周波数変換のための乗数を逆直交変換において乗算する必要がなるなり、計算負荷を軽減することができる。つまり、逆量子化処理における量子化ステップの導出時に、量子化ステップ導出のための乗算を事前に計算することにより、量子化処理の計算負荷を増加させることなく、逆直交変換における乗算を削減することができる。ここで、前記周波数変換のための乗数は、逆直交変換の正規化係数に関するものとしてもよい。ここで、前記量子化マトリクスと前記乗数との乗算は、所定単位の符号化データ毎に行われ、前記乗算結果と量子化値との乗算は、ブロック単位に行われ、前記所定単位の符号化データは、複数の符号化されたブロックを含み、前記乗算結果は、前記複数の符号化されたブロックに共通としてもよい。ここで、前記量子化マトリクスと前記乗数との乗算結果は、メモリに格納され、前記乗算結果と量子化値との乗算は、メモリの参照を伴うようにしてもよい。ここで、前記所定単位の符号化データはピクチャに対応してもよい。この構成によれば、ピクチャ毎の乗算と、ブロック毎の乗算との2段階に分けることにより、演算回数が削減し、計算負荷をさらに軽減することができる。また、本発明の画像符号化方法、画像復号化装置、画像符号化装置、そのプログラム、その半導体装置についても上記と同様の構成および効果を有する。実施の形態1図4は、画像符号化装置の構成を示すブロック図である。画像符号化装置1は、入力される画像信号Vinを圧縮符号化して可変長符号等のビットストリームに変換した画像符号化信号Strを出力する装置であり、動き検出ユニットME、動き補償ユニットMC、減算ユニットSub、直交変換ユニットT、量子化ユニットQ、逆量子化ユニットIQ、逆直交変換ユニットIT、加算ユニットAdd、ピクチャメモリPicMem、スイッチSW、および可変長符号化ユニットVLCを備えている。画像信号Vinは、減算ユニットSubおよび動き検出ユニットMEに入力される。減算ユニットSubは、入力された画像信号Vinと予測画像の差分値を計算し、直交変換ユニットTに出力する。直交変換ユニットTは、直交変換を行って差分値を直交変換係数または周波数係数に変換し、量子化ユニットQに出力する。量子化ユニットQは、減算ユニットSub入力されたブロック単位の周波数係数を外部から入力された量子化マトリクスWMを参照して導出した量子化ステップで量子化し、量子化値Qcoefを可変長符号化ユニットに出力する。逆量子化ユニットIQは、量子化マトリクスWMを参照して導出した量子化ステップで量子化値Qcoefを逆量子化して周波数係数に復元し、逆直交変換ユニットITに出力する。本実施の形態における逆量子化ユニットIQは、周波数成分毎の量子化ステップのスケーリング比率を示す量子化マトリクスと、直交変換のための乗数とを乗算し、メモリに格納する第1段階と、メモリに格納された乗算結果と量子化値とを乗算する第2段階との2段階により逆量子化を行う。第1段階は例えばピクチャ単位に、第2段階はブロック単位に処理される。また、周波数変換のための乗数は、逆直交変換の正規化係数を含む。この場合、メモリに格納された乗算結果は、各量子化ステップに逆直交変換の正規化係数を乗じた値となる。逆直交変換ユニットITは、周波数係数から画素差分値に逆周波数変換し、加算ユニットAddに出力する。加算ユニットAddは、画素差分値と動き補償ユニットMCから出力される予測画像とを加算して復号化画像とする。スイッチSWは、当該復号化画像の保存が指示された場合にONになり、復号化画像はピクチャメモリPicMemに保存される。一方、画像信号Vinがマクロブロック単位で入力された動き検出ユニットMEは、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルMVを決定する。動きベクトル検出はマクロブロックをさらに分割したブロック単位で行われる。動き補償ユニットMCでは、上記処理によって検出された動きベクトルを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像に最適な画像領域を取り出す。可変長符号化ユニットVLCは、量子化マトリクスWM、量子化値Qcoef、および動きベクトルMVを可変長符号化して符号化ストリームStrとする。図5および図6は、MPEG-4AVCにおける直交変換ユニットTにおける直交変換の説明図である。16×16画素からなる輝度マクロブロックは、16×16のマクロブロック単位で画面内予測符号化する場合とそれ以外の符号化の場合とで直交変換とそれを適用するブロック分割が異なっている。図5は、16×16画面内予測符号化の場合のマクロブロックの輝度ブロックの構成とその直交変換の説明図である。この場合直交変換ユニットTは、次の1~4のように直交変換する。116×16画素からなる輝度ブロックは、4×4画素の16個のブロックに分割される。2分割後の4×4ブロックのそれぞれは、整数精度の4×4DCTによる直交変換がなされる。ここで、整数精度のDCTは、整数精度に丸めているため正確なDCTではないが、DCTの近似として利用できる。3直交変換された各ブロックのDC成分直流成分から構成される4×4DCブロックが生成される。44×4DCブロックはアダマール変換される。ここで、アダマール変換は、加減算のみの簡単な直交変換であり、正確には離散アダマール変換DHTDiscreteHadamardTranstormと呼ばれる。図6は、16×16画面内予測符号化以外の場合、すなわち4×4画面内予測符号化や画面間符号化の場合の、輝度ブロックの構成とその直交変換を示す説明である。この場合直交変換ユニットTは、次の1、2のように直交変換する。116×16画素からなる輝度マクロブロックは、4×4画素の16個のブロックに分割される。2分割後の4×4ブロックのそれぞれは、整数精度のDCTによる直交変換がなされる。図7は、マクロブロックの色差ブロックの構成とその直交変換を示す説明である。この場合直交変換ユニットTは、次の1~4のように直交変換する。18×8画素からなる色差マクロブロックは、4×4画素の4個のブロックに分割される。2分割後の4×4ブロックのそれぞれは、整数精度の4×4DCTによる直交変換がなされる。3直交変換された各ブロックのDC成分直流成分から構成される2×2DCブロックが生成される。42×2DCブロックはアダマール変換される。このように、直交変換ユニットTは、DCブロックに対しては、加減算のみで実現できる最も簡単な直交変換の1つであるアダマール変換を適用するものとする。図8は、アダマール変換の変換式と波形イメージとを示す説明図である。同図において、h0~h3は、4つの入力信号を、H0~H3は、アダマール変換された成分を示す。H0はアダマール変換のDC成分に相当し、H3はアダマール変換の最高周波数の成分に相当する。また、アダマール変換の逆変換はアダマール変換である。つまり、H0~H3を再度アダマール変換すると、h0~h3が得られる。なお、色差の2×2DCブロックに対するアダマール変換は、次式による。すなわち、2×2DCブロックの各行と各列にそれぞれ1回ずつ次式が適用される。H0=h0h1/√2H1=h0-h1/√2図9Aは、直交変換ユニットTにおける整数精度DCTの変換式と波形イメージとを示す説明図である。d0~d3は4つの入力信号を、D0~D3は、整数精度DCTされた成分を示す。整数精度の4×4DCTでは、図9Aに示す4入力DCTが、4×4画素ブロックの各行と各列にそれぞれ1回ずつ適用される。D0はDC成分に相当し、D3は最高周波数の成分に相当する。整数精度DCTの波形イメージは、図8のアダマール変換の波形イメージと比較すると、周波数成分H1と周波数成分D1の波形が大きく異なっている。すなわち周波数成分D1最低周波数の交流成分は、周波数成分H1よりも、滑らかに表現最大値から最小値へ単調変化できている。図9Bは、直交変換ユニットTにおける整数精度逆DCTの変換式を示す説明図である。同図において、周波数成分D1とD3からD1 ́とD3 ́を求めるためには実数演算が必要になる。本実施の形態では、整数精度逆DCTにおける実数演算を避けるために、逆量子化処理の量子化ステップに予めこの値を乗算している上記した逆量子化ユニットIQにおける第1段階。これにより整数精度逆DCTにおける乗算回数を削減し、計算負荷を軽減している。その結果、偶数次の周波数成分に対して、逆量子化では奇数次の周波数成分の量子化ステップが√8/√5倍もしくは8/5倍になる。図10A~10Dは、量子化マトリクスの符号化順序の例を示す図である。この順序は、量子化マトリクスが符号化および復号化される際の順序であり、量子化や逆量子化の際には、量子化マトリクスは実際に演算する成分の順序に並べ替えて使用される。画像符号化の直交変換では、4x4画素単位と8x8画素単位の2通りが最もよく使用される。そこで、図10Aと図10Bに4x4画素単位の例、図10Cと図10Dに8×8画素単位の例を示す。図10Aや図10Bのように低周波数成分から高周波数成分の順番に符号化すると圧縮効率が良いが、処理を簡単にするために図10Cや図10Dのように単純に水平順序で符号化することもある。図11A~図11Cは、量子化マトリクスWeightingMatrixおよびストリーム中に符号化された量子化マトリクスのデータ構造を示す図である。同図において、Headerは図1のGOP、もしくはピクチャのヘッダ、もしくはそれに相当する情報である。図11Aは量子化マトリクスの周波数成分の配列を示す図である。Wijはi行j列の量子化マトリクスの成分を表している。図11Bと図11Cは量子化マトリクスの各成分の符号化されたデータがヘッダ部にどのように配置されている例を示している。図11Bが図10Bの順序で符号化されたストリームであり、図11Cが図10Dの順序で符号化されたストリームである。なお、図11Bと図11Cのストリーム中でWijと記載されているのはWijに相当する符号化された可変長符号という意味である。図12は、量子化ユニットQおよび逆量子化ユニットIQにおける量子化逆量子化の入出力特性を示す図である。量子化とは、直交変換された周波数成分図12では被量子化値に対して量子化ステップで除算した結果を整数値に丸めることをいう。丸められた整数値を量子化値と呼ぶ。逆に、量子化値に量子化ステップを乗算して直交変換の周波数成分に戻すことを逆量子化と呼ぶ。量子化ステップの大きさを変更することにより、符号化によるビット量を増減することができる。これにより、量子化ステップの大きさを変更することにより、圧縮率単位時間当たりの符号量を一定に保つことができる。図13は、量子化パラメータに対する量子化ステップの特性を示す図である。量子化パラメータとは、量子化ステップを導出するためのパラメータであり、符号量を目標とするビットレートに一致させるために調整される。量子化ステップは直接符号化されないので、逆量子化ユニットIQおよび量子化ユニットQは、符号化される量子化パラメータから量子化ステップを導出している。。図13の例では、量子化パラメータQPが6増加すると量子化ステップが2倍になる。その結果、図14に示すように、量子化パラメータQPとSN比が比例し、量子化パラメータQPの大きさによらず、量子化パラメータQPが変化した場合のSN比の変化量が一定になっている。なお、量子化パラメータが0~51の範囲内の値をとる場合、量子化ステップの最大値は最小値の256倍となる。図15A~図15Cは、正規化と逆量子化を示す説明図である。図9Bに示した直交変換における正規化のための√8/√5等の乗算を逆量子化においてまとめて簡単化する方法について説明する。図9Bのように、D1成分とD3成分は、DC成分から数えて奇数番目に存在する。また、水平垂直ともに奇数番目の成分には√8/√5が2回乗算されるので、8/5倍を乗算することになる。このことから、逆量子化において予め正規化するためには、量子化ステップにa~cのように予め乗算すればよい。a水平垂直どちらも偶数番目なら、正規化の乗算なし。b水平垂直の一方が奇数番目なら、√8/√5倍。c水平垂直のどちらもが奇数番目なら、8/5倍。そこで、β=α×√8/√5、γ=α×8/5とすれば、a~cは次のようになる。A水平垂直どちらも偶数番目なら、αを乗算。B水平垂直の一方が奇数番目なら、βを乗算。C水平垂直のどちらもが奇数番目なら、γを乗算。このような簡単な規則で、逆量子化において正規化もまとめて実現することができる。正規化のための特別な乗算が逆DCTおよび量子化では不要になる。量子化パラメータQPが6増加すれば量子化ステップは2倍になるので、量子化パラメータQPと、正規化のための乗算を含む量子化ステップは、次式の関係を有する。量子化ステップ=QP6の量子化ステップ×2のQP/6乗このことから、図15Bおよび図15Cに示すように、α、β、γに対応するQP6の量子化ステップの合計18通りの量子化ステップのみをテーブルとして保持しておけば、任意の量子化パラメータQPに対応する量子化ステップとして、QP6の量子化ステップをQP/6ビット左シフトすることによって、正規化を伴う量子化ステップを容易に得ることができる。本実施形態では、輝度信号と色差信号の量子化パラメータの大きさの比率を、スライス単位で変更するものとする。通常、色の劣化特に赤の方が輝度の劣化よりも目立つことから、輝度信号の量子化パラメータQPよりも色差信号の量子化パラメータQPの方が小さい方がよい。さて、量子化ステップがQP/6ビットのシフトで表現できることから、量子化および逆量子化が乗算とシフト演算の組合せでうまく表現できることがわかる。図16A、図16Bは、量子化部Qおよび逆量子化部IQの第1の構成例を示すブロック図である。第1の構成例では、重みマトリクスを用いていない場合に、乗算とシフト演算のみを用いて示している。量子化部Q1は、乗算部Q11と右シフタQ12とを備える。乗算部Q11は、直交変換係数にQ1を乗算する。Q1は量子化ステップQP6の量子化ステップの逆数の倍数である。本来は量子化は量子化ステップで除算するものであるが、除算は乗算よりも演算が複雑なため、予め量子化ステップの逆数を計算しておき、乗算するのである。また、逆量子化部Q1は、乗算部IQ11と左シフタIQ12とを備える。量子化部Q1は次のように動作する。右シフタQ12は、乗算部Q11による乗算結果をS1ビット右にシフトする。つまり右シフタQ12は、乗算部Q11の乗算結果を乗算結果を2のS1乗で除算する。S1の大きさはQP/6に比例する。また、逆量子化部IQ1は次のように動作する。乗算部IQ11は、直交変換係数にQ2を乗算する。Q2はQP6の量子化ステップに比例する。左シフタIQ12は、乗算部IQ11による乗算結果をS2ビット左にシフトする。つまり左シフタIQ12は、乗算部Q11による乗算結果に2のS2乗を乗算する。S2の大きさはQP/6に比例する。ここでS1とS2は、量子化パラメータQPに対して全ての周波数係数に対して固定した値である。Q1とQ2は、量子化パラメータQPと周波数係数の位置とに依存する値をもつ。この場合、Q1×2の乗×Q2×2のS2乗=1なる関係を有していればよい。この場合、Q1×Q2は2のべき数となり、更にS2-S1は固定値となる。図17A、図17Bは、重みマトリクスを用いた場合の、量子化部Qおよび逆量子化部IQの第2の構成例を示すブロック図である。量子化部Q2は、周波数係数にQ1を乗算する乗算部Q21と、その乗算結果にQaを乗算する乗算部Q22と、その乗算結果をS1ビット右にシフトする右シフタQ23と、そのシフト結果をSaビット右にシフトする右シフタQ24とを備える。また、逆量子化部IQ2は、量子化された周波数係数にQ2を乗算する乗算部IQ21と、その乗算結果をS2ビット左にシフトする左シフタQ22と、そのシフト結果に乗算部IQ23と、そのシフト結果をSbビット右にシフトする右シフタIQ24とを備える。ここで、QaとSaは、指定された重みマトリクスの周波数成分Wijの逆数に対応し、QbとSbは指定された重みマトリクスの重み成分Wijに対応する。ここで、Qa×2の乗×Qb×2の-Sb乗=1という関係が成立する。図18A、図18Bは、図17Aおよび図17Bの構成で乗算とシフト演算をまとめて、構成を簡単にしたものであり、量子化部の第3の構成例を示すブロック図である。同図の量子化部Q3は、直交変換係数にQ1aを乗算する乗算部Q31と、その乗算結果をS1Saビット右にシフトする右シフタQ32とを備える。また、逆量子化部IQ3は、量子化された直交変換係数にQ2aを乗算する乗算部IQ31と、その乗算結果をSb-S2ビット右にシフトする右シフタIQ32とを備える。乗算部Q31は、図17AにおけるQ1の乗算とQaの乗算を、Q1aの一度の乗算で実行する。すなわち、Q1a=Q1×Qaである。右シフタQ32は、S1ビット右シフトとSaビット右シフトを、1度のシフトで実行する。乗算部IQ31は、図17BにおけるQ2の乗算とQbの乗算を、Q2bの一度の乗算で実行する。すなわち、Q2b=Q2×Qbである。右シフタIQ32は、S2ビット左シフトとSbビット右シフトを、1度のシフトで実行する。図19は、周波数変換のための乗算を含む量子化ステップを量子化パラメータQPからその都度計算する場合の、逆量子化処理を示すフローチャートである。この逆量子化処理はブロック毎に、例えば逆量子化ユニットIQ3又はIQ2によって実行される。まず、逆量子化ユニットIQ3は、重みマトリクスWijと量子化パラメータQPとを取得するS31、S32。さらに、逆量子化ユニットIQ3は、量子化パラメータQPから、周波数変換のための乗算を含む量子化ステップとして、Q2ijとS2を導出しS33、量子化値量子化された周波数係数fijを取得するS34。ここで、Q2ijは、QP6の量子化ステップとして求められる。S2は、QP/6により求められる。続いて、逆量子化ユニットIQ3は、ループ1S35~S40においてブロックの周波数係数毎の量子化を行う。すなわち、逆量子化ユニットIQ3は、重みマトリクスWijからQbijとSbとを導出しS36、QbijとQ2ijとを乗算値を求め、その乗算値をレベルスケールLSijとするS37。さらに、逆量子化ユニットIQ3は、一括してシフトするためのシフトビット数S2bを、SbとS2の差分により求めS38、量子化値fijとレベルスケールLSijとを乗算し、その乗算結果をS2bビット左シフトすることにより逆量子化値を算出するS40。これにより、周波数変換のための乗算を含む量子化ステップを、量子化パラメータQPからブロック毎に計算しながら逆量子化するというシンプルな方法で、逆量子をすることができる。図20は、周波数変換のための乗算を含む量子化ステップを量子化パラメータQPから予め計算する場合の、量子化処理を示すフローチャートである。この逆量子化処理は、例えば逆量子化ユニットIQ3又はIQ2によって実行される。図20は、図19と比較して、例えばピクチャ毎に、周波数変換のための乗算を含む全ての量子化ステップLSijがテーブルとしてメモリに格納される点ループ1中S43cと、LSijがテーブルから読み出されるループ2中のS49a点とが異なる。これ以外は、図19とほぼ同様なので説明を省略する。この逆量子化処理によれば、ループ1にて周波数変換のための乗算を含む全ての量子化ステップLSijをテーブルとしてメモリに記憶しているので、ループ2におけるブロック毎の逆量子化値の算出を高速化するのに適している。図21は、周波数変換のための乗算を含む量子化ステップを量子化パラメータQPから必要な都度計算する場合の、量子化処理を示すフローチャートである。この逆量子化処理は、例えば逆量子化ユニットIQ3又はIQ2によって実行される。図20は、図19と比較して、初期時点では空のテーブル領域をメモリ中に確保している点と、周波数変換のための乗算を含む量子化ステップLSijとS2bとがテーブルに記録されているか否かを判定しS56、記憶されていないと判定された場合にLSijとS2bとを算出するS57a~S57cとともにテーブルに追加しS57d、記憶されていると判定された場合にLSijとS2bとをテーブルから読み出すS57e点が異なっている。この逆量子化によれば、図20と比較して、最初のブロックでは成分毎の計算量にはばらつきが生じるものの、量子化パラメータQPが共通の後続するブロックでは計算量を必要最小限に抑えることができる。図22は本実施の形態における画像復号化装置の構成を示すブロック図である。同図において、図4に示した画像符号化装置のブロック図と同じ動作をするユニットは同じ番号を付し、説明を省略する。逆量子化ユニットIQ、逆直交変換ユニットITについても図4に示した逆量子化ユニットIQ、逆直交変換ユニットITと同じであり、その動作も説明済みである。さらに、上記各実施の形態で示した画像符号化方法および画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。図23A~図23Cは、上記各実施の形態の画像符号化方法および画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。図23Bは、フレキシブルディスクの正面からみた外観、断面構造、およびフレキシブルディスクを示し、図23Aは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムが記録されている。また、図23Cは、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。画像符号化方法および画像復号化方法を実現する上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法および画像復号化方法を実現する上記画像符号化方法および画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。さらにここで、上記実施の形態で示した画像符号化方法および画像復号化方法の応用例とそれを用いたシステムを説明する。図24は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107~ex110が設置されている。このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107~ex110を介して、コンピュータex111、PDApersonaldigitalassistantex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。しかし、コンテンツ供給システムex100は図24のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107~ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDCPersonalDigitalCommunications方式、CDMACodeDivisionMultipleAccess方式、W-CDMAWidebandCodeDivisionMultipleAccess方式、もしくはGSMGlobalSystemforMobileCommunications方式の携帯電話機、またはPHSPersonalHandyphoneSystem等であり、いずれでも構わない。また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディアCD-ROM、フレキシブルディスク、ハードディスクなどに組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ例えば、音楽ライブを撮影した映像等を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。その一例として携帯電話について説明する。図25は、上記実施の形態で説明した画像符号化方法および画像復号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROMElectricallyErasableandProgrammableReadOnlyMemoryの一種であるフラッシュメモリ素子を格納したものである。さらに、携帯電話ex115について図26を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCDLiquidCrystalDisplay制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図27に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ受信機ex401またはセットトップボックスSTBex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。なお、カーナビゲーションex413の構成は例えば図26に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ受信機ex401等でも考えられる。また、上記携帯電話ex114等の端末は、符号化器復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。このように、上記実施の形態で示した画像符号化方法および画像復号化方法を上述したいずれの機器システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。なお、図4、図16A、図16B、図17A、図17B、図18A、図18B、図22に示したブロック図の各機能ブロックは典型的には集積回路装置であるLSIとして実現される。このLSIは1チップ化されても良いし、複数チップ化されても良い。例えばメモリ以外の機能ブロックが1チップ化されていても良い。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGAFieldProgrammableGateArrayや、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブルプロセッサを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。また、各機能ブロックのうち、データを格納するユニットだけ1チップ化せずに、本実施形態の記録媒体115のように別構成としても良い。なお、図4、図22等に示したブロック図の各機能ブロックおよび図19~図21に示したフローチャートにおいて、中心的な部分はプロセッサおよびプログラムによっても実現される。このように、上記実施の形態で示した画像符号化方法あるいは画像復号化方法を上述したいずれの機器システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。以下では、本発明の実施の形態2について説明する。<整数に基づいた、除算を含まない量子化方法>量子化マトリクスを用いた量子化を行うにあたり、計算の複雑さを低減するために乗算及びシフト演算のみを行うことが好ましい。言い換えれば、演算処理を多く必要とする除算は、実際には避けた方が好ましい。そこで、整数に基づき、除算を含まず、均一でなく、効率よく量子化するために提案される方法は、動画像符号化システムにおける多種多様なブロックサイズの変換や量子化に適用される。図16A及び16Bは、変換係数を量子化、逆量子化するための動作を説明するものであり、乗算とシフト演算しか行われていない。与えられたQPに対して、S1及びS2の値がすべての係数に対して定められている一方で、Q1及びQ2の値はQP値と各係数の位置に依存しているJointVideoTeamofISOIECMPEGITUTVCEGDraftofITUTRecommendationandFinalDraftInternationalStandardofJointVideoSpecificationJVTG050r1docGenevaSwitzerlandMay2003。なお、これは、重み付け量子化というよりも、単に正規化の問題である。なぜなら、整数変換される行は直交であるが、これは、動画像符号化の規格に定められている基準を用いないからである参照1を見よ。除算が含まれない量子化及び逆量子化に量子化マトリクスを取り入れることは、両方の処理において乗算とシフト演算からなる別の組み合わせを導入することにあるとまず考えられる。これについては、図17A及び17Bを用いて説明する。なお、Qa及びQbの値は指定された量子化マトリクスエントリと指定されたSaとに依存する。計算上の複雑さを低減するために、乗算とシフト演算だけを使って除算に近似した演算を行うことができる。特定の量子化マトリクスエントリMq、与えられたSaの値、及び整数値Qaは、Mqと定義される。従って、Saの値、整数値QbはMqBnであり、通常Sa>=8である。この設定は、Qa及びQbの両方が整数であるため、整数計算においてある一定の精度を保つためである。量子化マトリクスを用いた量子化の上記設定を考慮してみると、すべての演算とメモリーアクセスが16ビット以内で行うことができるということが確められる。なお、中間の結果はデータが格納される前にスケーリングやシフトが行われた場合、16ビットを超えてもよい。Saの値が大きければ、それだけ量子化における整数計算の精度性が高まるが、その値はハードウエアの設計に関して中間結果のダイナミックレンジに関わる制約を受ける。<逆量子化、正規化逆変換における乗算>図17A及び17Bに基づいて乗算とシフト演算を組み合わせれば、計算上の複雑性を直接低減することができる。図18A及び18Bは、さらに量子化マトリクスを量子化に導入したものである。具体的には、整数Q1aはQ1Mqとして定められ、Q2aは、Q2Mqn逆量子化:yijsignQdmここでは、xijCijyijはそれぞれ、量子化または逆量子化されたもとの係数を表す。Qq及びQdはそれぞれ、量子化、逆量子化に用いられるマトリクスである。整数変換の正規化を考慮すると、Qq及びQdは異なる。なお、均一量子化の場合、Qq及びQdは平坦なマトリクスとなる。signは、xが正の場合1となり、xが負の場合、0又は-1となる。absは、xの絶対値である。m及びnの値はQP、変換時のブロックの大きさ及びSaの値に依存する。また、fの値は通常ブロックの符号化タイプに依存する。例えば、画面内符号化のブロックの場合、fの値は38、画面間符号化のブロックの場合、16となる。<8x8量子化マトリクスに関連した新しいlookuptable及びマトリクス>Bn=4、Sa8の場合を考えてみると、マトリクスQq及びQdは図30及び31に示されるように導出される。行が直交しており、同じ基準を持つ8x8整数変換では、量子化マトリクスを用いたlookuptableが直接導出される。この場合、8x8量子化マトリクスは図28に示すものを想定する。8x8整数変換に基づき、図29に示すような量子化逆量子化スケーリング係数表が用いられる。QP20の場合、スケーリング係数乗数として用いられるは、それぞれ量子化では1979、逆量子化では19と定められている。なお、均一量子化の場合、これらの値はすべての変換係数に同じ値が適用される。図30及び31に示されるように、量子化マトリクスの使用時は、各スケーリング係数はマトリクスに変換される。量子化マトリクスが指定されると、それらのマトリクスは各スケーリング係数に対して初期化することができる。<4x4量子化マトリクスに関連した新しいlookuptable及びマトリクス>Bn=4、Sa8の場合を考えてみると、マトリクスQq及びQdは図34、35に示すように導出される。行が直交しており、同じ基準を持つ4x4整数変換では、量子化マトリクスを用いたlookuptableの導出はマトリクス内の係数の位置を考慮する必要がある。4x4量子化マトリクスは図32に示すものを想定する。量子化、逆量子化スケーリング係数は、整数変換の正規化を考慮して図33に示すような表が指定される。QP20の場合、量子化及び逆量子化スケーリング係数のマトリクスは、それぞれ図34、35に示すものを用いることとする。これらのマトリクスは、4x4量子化マトリクスが指定されると、図33に挙げられるマトリクスw及びvの各行ごとに初期化することができる。<DCブロック量子化の個別処理>上記提案の量子化マトリクスを用いた量子化は、第2レベル変換、すなわち、DC係数の輝度、色差両方における変換に適用されず、代わりにアダマール変換が適用される。エンコーダでは、変換の後に量子化が行われるが、デコーダでは、変換ではなく逆変換の後に逆量子化が行われる。これは、逆変換において、ダイナミックレンジに幅を持たせるためである。その結果、量子化と逆量子化は実際のところ異なる領域に所属する。これは、均一量子化を行う上で問題にはならないが、量子化マトリクスを用いる際に係数に対するスケーリング係数にばらつきが生じる。さらに、アダマール変換は必ずしも第1レベル変換に見られるようなDCT変換又はそれに近似した整数変換と同様の特徴を持たない。アダマール変換における重み付け量子化は、それゆえ、あまり意味を成さないかも知れない。この新方式は、整数演算およびその複雑さを最小限に抑える一方で、均等量子化を量子化マトリクスが用いられる重み付け量子化に拡張したものである。重要な例として、この解決策によって、量子化マトリクスを現在の動画像符号化システム参照1を参照へ導入することで計算の複雑性やシンタックスの変化を最小に抑えることができるということが挙げられる。実施の形態3以下、本発明の実施の形態3について説明する。動画像符号化システムでは、デコーダが使用できるように複数の量子化マトリクスからなる量子化マトリクスセットが既定値により定められる。これらのマトリクスは符号列が重み付け量子化を用いて符号化された場合に、その復号化に使われる。ユーザーは自ら量子化マトリクスを定め、それをデコーダに送信することができる。この新方式によって、どのようにして量子化マトリクスがデコーダへ送られるかが特定される。また、上記方式は、多様な符号化モードの選択肢において変換方法を特定する。重み付け量子化の主な特徴が以下に挙げられる。1.重み付け量子化方法の仕様では、完全に整数に基づいた、除算を含まない、16ビットしか必要としないメモリ操作がデコーダによって行わるが、均一量子化方法に比べて複雑性の増加が少ない。2.上記提案の不均一量子化方法は、輝度の8x8変換に基づくが、これは、この方法が高画質画像の主観的な印象に影響を及ぼすとされる最も重要な要素の一つである画質を保持するための変換方法と考えられるからである。不均一重み付け量子化は、画面内予測及び画面間予測の双方において、残差に適用される。この新方式は、整数演算およびその複雑さを最小限に抑える一方で、新しい符号化の道具一式を提供するとともに、均一量子化を量子化マトリクスが用いられる重み付け量子化に拡張するものである。このことにより、この動画像符号化は、とりわけ高画質で高いビットレートの符号化に有用である。AVCにおけるProfessionalExtensionProfilesは、HD画像を含む高解像度の画像の符号化を目的とする。そのようなものとして、HD画像の表示には高い視覚的な忠実度が非常に評価される。AVCのProfessionalExtensionProfilesが用いられた場合、さらに符号化効率が改善されることにより視覚的な質を最大限享受することは、必然的に望ましいといえる。HD画像の画質を改良するため、ブロック変換後の係数への不均一重み付け量子化の使用を実現させるような重み付け量子化を提案する。以下の理由により、不均一量子化ツールが重要であると考える。1.復号化された画像の視覚的な忠実度の改善2.不均一量子化が、量子化において人間の視覚システムに応じた調整を可能にし、このことが画像の忠実度における符号化効率を改善する。3.エンド画像の質を制御する際の柔軟な選択を、これを強く望む高画質コンテンツ生成産業に提供する。ここで提案される重み付け量子化は以下の主な特徴を含んでいる。1.重み付け量子化方法の仕様では、完全に整数に基づいた、除算を含まない、16ビットしか必要としないメモリ操作がデコーダによって行われ、均一量子化方法に比べて複雑性の増加が少ない。2.上記提案の不均一量子化方法は、輝度の8x8変換に基づくが、これはこの方法が高画質画像の主観的な印象に影響を及ぼす最も重要な要素の一つである画質を保持する変換方法と考えられるからである。3.不均一重み付け量子化は、画面内予測及び画面間予測の双方において、残差に適用される。あらゆる種類のHD表示装置においてシミュレーションと視聴が行われた結果、すべての動画像シーケンスにおいて主観的な画質の改良が見られ、また、JVTシーケンスや映画スタジオから取得した映画コンテンツを含むテスト用ビデオの多くにおいて、顕著な改善が見られた。<8x8変換および重み付け量子化マトリクスの提案>以前にJVTにもたらされた貢献の多くにより符号化効率が向上したことを発端に8x8変換を含めることを提案する。さらに、8x8変換を使用することにより、主観的な画質が得られ、その画質が保持されている。これまでの貢献やAVCCommitteeDraftの多くが礎とした優れた8x8変換を提案したい。しかし、8x8整数変換マトリクスに他のものが使われるとしても、得られる結果に大差はないと思われる。<8x8輝度の画面内予測>輝度8x8画面内予測に対してmbtypeI8x8で表される新しいマクロブロックのモードを現存の画面内16x16、画面内4x4に加えることが提案されている。9種類の画面内8x8予測モードがあり、それらは参照2において説明されている。予測効率を改善するために低域通過フィルターが参照画素に適用されている。このフィルタリングも参照2のABT8x8画面内予測の項目で説明されている。<色差の画面内予測>色差のサンプリングフォーマットに応じて異なる重み付け量子化が用いられる。4:2:0および4:2:2のフォーマットには、4x4重み付け量子化が用いられ、その量子化方法は以下に定義されている。一方、4:4:0フォーマットには、同じ変換と量子化方法を用いて色差サンプルが適用される。<8x8の画面間予測>8x8変換はすべてのP及びBマクロブロックタイプ、16x16、16x8、8x16に用いられる。さらに、8x8変換は、submbtypeとしてPスライスにはPL08x8を示し、SスライスにはBDirect8x8、BL08x8、BL18x8、BBi8x8を示すすべての8x8サブマクロブロックに用いられる。<重み付け量子化マトリクスにおけるシンタックス成分>重み付け量子化マトリクスのために追加されたシンタックス成分はビットストリームの先頭部にユーザーによる重み付けマトリクスの定義を含む。重み付け量子化マトリクスは、ピクチャパラメータセットの中のマトリクスIDによって参照される。<重み付け量子化マトリクス>デコーダが逆変換を行う直前に重み付け量子化マトリクスは量子化ステップに用いられる。均一量子化において、各係数インデックスの重み付けは異なる。これらの重み付けはシンタックス内で定義されたQPに付随するものであり、適用される量子化は実際には量子化の重み付けとQPの組み合わせである。重み付けマトリクスはQPに係る量子化の量を減少させたり、増加させたりすることができる。AVCの仕様書によると、逆量子化では、逆量子化スケーリングの乗算、続いてシフトの乗算が行われ、逆量子化はQPmod6によって計算される。逆量子化の処理ごとに整数の乗算が行われる。重み付け量子化マトリクスが用いられる時に量子化が同様に定義される。重み付け量子化マトリクスでは、重み付けの範囲が1未満、1以上の値が維持されている。重み付け量子化マトリクスの値は、実際の重み付け値に16をかけて得られた値の整数値を切り上げたものである。例えば、重み付け量子化値12重み付け量子化マトリクス内の値19に対応する。重み付け量子化マトリクスの例は図37に示されている。<8x8輝度の重み付け量子化>8x8輝度ブロックに対する量子化を表す公式では、dijは量子化された変換後の係数を表し、W重み付け量子化マトリクスを表す。なお、逆量子化処理は図38に示されている。<4x4変換に対する重み付け量子化>4:2:0及び4:2:2の色差フォーマットでは、色差は4x4のDCT係数に変換される。4x4重み付け量子化マトリクスはAC係数にのみ適用される。各8x8色差ブロックに対して2x2DCブロックが形成され、係数が均一に量子化された場合、さらに変換が行われる。これは、現仕様書に書かれている通りである。色差QPの導出方法は、参照3:ITUTRecommendationH264andISOIECInternationalStandard1449610AVCDocumentJVTJ010d7October2003に記述されているものと同じである。しかし、2x2色差DCに対する逆量子化は以下のように定義される。dcCij5QPc6forQPc6<4:2:0色差フォーマットの色差DC変換係数のスケーリング及び変換処理>なお、以下の公式は、逆量子化スケーリングの機能的な処理に使用することが可能である。仮に、QP’Cが30以上であれば、スケーリング結果は以下のように導出される。ij01であり、dcCij<4:2:2色差フォーマットの色差DC変換係数のスケーリング及び変換処理>この処理では、2x4配列cで、かつ、成分がCijであるマクロブロックの1輝度成分に相当する輝度DC変換係数の変換係数レベルの値が入力される。i及びjは2次元周波数インデックスを形成する。また、この処理では、8でスケーリングされたDCの値の成分がdcCijである2x4配列dcCとして出力される。2x4輝度DC変換係数の逆変換は以下のように定められる。符号列は、整数値の215以上2151以下の範囲を超えるfに係る成分がfijとなるいかなるデータをも含んではならない。変数QP’CDCQP’C3逆量子化後、以下のようにスケーリングが行われる。仮に、QP’CDCが36以上の場合、スケーリング結果は以下のようになる。i0...3、j01であり、1dcCij符号列は、整数値の215以上2151以下の範囲を超えるdcCに係る成分がdcCijとなるいかなるデータをも含んではならない。<4:4:4輝度フォーマットの輝度DC変換係数のスケーリング及び変換処理>この処理では、4x4配列cで、かつ、成分がCijであるマクロブロックの1輝度成分に相当する輝度DC変換係数の変換係数レベルの値が入力される。i及びjは2次元周波数インデックスを形成する。また、この処理では、16でスケーリングされたDCの値が成分がdcCijである4x4配列dcCとして出力される。4x4輝度DC変換係数の逆変換は図43に示されるように定められる。符号列は、整数値の215以上2151以下の範囲を超えるfに係る成分がfijとなるいかなるデータをも含んではならない。逆量子化後、以下のようにスケーリングが行われる。仮に、QP’Cが36以上の場合、以下のようなスケーリングが行われる。i0...3j0であり、1dcCij符号列は、整数値の215以上2151以下の範囲を超えるdcCに係る成分がdcCijとなるいかなるデータをも含んではならない。<8x8残差のスケーリング及び変換処理>この処理では、成分がCijである8x8配列、つまり、輝度成分の8x8残差ブロックに関する配列が入力される。また、残差サンプル値が、成分がrijである8x8配列rとして出力される。関数LevelScale64は、以下のように導出される。仮にマクロブロック予測モードが画面内予測モードであり、8x8輝度残差ブロックが入力される場合、LevelScale64=LevelScale8x8Intra仮にマクロブロック予測モードが画面間予測モードであり、8x8輝度残差ブロックが入力される場合、LevelScale64=LevelScale8x8Inter8x8ブロック変換係数レベルcijのスケーリングは以下の通りである。仮にQPYが36以上の場合、8x8ブロック変換係数レベルcijのスケーリングは以下のように行われる。ij0...7であり、dij上記公式は量子化マトリクスよりスケーリング係数を取り入れるために必要な右シフトが追加されているのがわかる。なぜなら、逆量子化、量子化重み付けは、wQuantizationMatrix16として定義されるからである。QuantizationMatrixとLevelScale関数を組み合わせた後、16による除算を行うためにさらに4ビット右にシフトしなければならない。変換処理によって、スケール後の変換係数からなるブロックを出力サンプルからなるブロックに変換するが、数学的には下記のように示される。まず、スケール後の変換係数の各行横方向が、1次元の逆変換を用いて変換される。中間値eijの第1セットが以下のように導出される。i0...7であり、ei0di0di4i0...7であり、ei1di3di5di7i0...7であり、ei2di0di4i0...7であり、ei3di1di7di3i0...7であり、ei4di6i0...7であり、ei5di1di7di5i0...7であり、ei6di2i0...7であり、ei7di3di5di1中間結果fijの第2セットが上記中間値eijに基づいて計算される。i0...7であり、fi0ei0ei6i0...7であり、fi1ei1i0...7であり、fi2ei2ei4i0...7であり、fi3ei3i0...7であり、fi4ei2ei4i0...7であり、fi5ei5i0...7であり、fi6ei0ei6i0...7であり、fi7ei7そして、変換結果であるgijがこれらの中間値fijに基づいて計算される。i0...7であり、gi0fi0fi7i0...7であり、gi1fi2fi5i0...7であり、gi2fi4fi3i0...7であり、gi3fi6fi1i0...7であり、gi4fi6fi1i0...7であり、gi5fi4fi3i0...7であり、gi6fi2fi5i0...7であり、gi7fi0fi7そして、結果として得られたマトリクスの各列縦方向が同じ1次元の逆変換を用いて変換される。中間値hijのセットは横方向に変換された値gijに基づいて計算される。i0...7であり、hi0gi0gi4withi0...7i0...7であり、hi1gi3gi5gi7i0...7であり、hi2gi0di4withi0...7i0...7であり、hi3gi1gi7gi3i0...7であり、hi4gi6i0...7であり、hi5gi1gi7gi5i0...7であり、hi6gi2i0...7であり、hi7gi3gi5gi1中間値kijの第2セットは中間値hijに基づいて計算される。i0...7であり、ki0hi0hi6i0...7であり、ki1hi1i0...7であり、ki2hi2hi4i0...7であり、ki3hi3i0...7であり、ki4hi2hi4i0...7であり、ki5hi5i0...7であり、ki6hi0hi6i0...7であり、ki7hi7そして、変換結果であるmijは中間値kijに基づいて計算される。i0...7であり、mi0ki0ki7i0...7であり、mi1ki2ki5i0...7であり、mi2ki4ki3i0...7であり、mi3ki6ki1i0...7であり、mi4ki6ki1i0...7であり、mi5ki4ki3i0...7であり、mi6ki2ki5i0...7であり、mi7ki0ki7変換サンプルの配列を生成するための1次元の縦横両方の逆変換が終わると、最終構築残渣サンプル値は下記の通り導出される。ij0...7であり、ri76以上の説明から、発明の実施形態には多数方法で変形してもよいことは明らかである。そのような変形は、発明の思想と範囲外とみなすべきではなく、請求の範囲に含まれることは当業者には明らかであろう。