入力画像を複数のブロックに分割するブロック分割手段と、ブロック分割手段によって分割されたブロックに対して符号化済みのブロックから予測を行い、予測誤差を生成する予測手段と、正方形ないし長方形の複数の直交変換の処理ブロック形状から、使用する処理ブロック形状を決定し、前記予測手段によって生成された予測誤差に前記決定された直交変換を行い、変換係数を生成する変換手段と、前記変換手段によって決定された直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択手段と、前記量子化マトリクス選択手段によって選択された量子化マトリクスを用いて変換係数を量子化して量子化係数を生成する量子化手段と、前記量子化手段によって生成された量子化係数を符号化する係数符号化手段を有することを特徴とする画像符号化装置。前記変換係数を量子化する際に用いられる正方形ないし長方形の複数の直交変換の処理ブロック形状に対応した量子化マトリクスを生成する量子化マトリクス生成手段と、前記量子化マトリクス生成手段によって生成された量子化マトリクスを符号化する量子化マトリクス符号化手段と、前記量子化マトリクス符号化手段によって符号化された量子化マトリクスと、前記係数符号化手段によって符号化された量子化係数を統合する統合符号化手段とを更に有することを特徴とする請求項1に記載の画像符号化装置。入力されたビットストリームから必要な符号を分離する復号手段と、前記復号手段によって復号された情報から、逆直交変換の処理ブロック形状を決定する決定手段と、復号手段によって復号された情報から、量子化係数を復号する係数復号手段と、前記係数復号手段によって復号された量子化係数を逆量子化する際に用いられる量子化マトリクスを復号する量子化マトリクス復号手段と、前記決定手段によって決定された逆直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択手段と、前記量子化マトリクス選択手段によって選択された量子化マトリクスを用いて、前記係数復号手段によって復号された量子化係数を逆量子化して変換係数を生成する逆量子化手段と、前記決定手段によって決定された逆直交変換の形状に基づいて、前記逆量子化手段によって生成された変換係数を逆直交変換して予測誤差を生成する逆直交変換手段とを有することを特徴とする画像復号装置。画像符号化装置における画像符号化方法であって、入力画像を複数のブロックに分割するブロック分割工程と、分割されたブロックに対して符号化済みのブロックから予測を行い、予測誤差を生成する予測工程と、正方形ないし長方形の複数の直交変換の処理ブロック形状から、使用する処理ブロック形状を決定し、生成された予測誤差に前記決定された直交変換を行い、変換係数を生成する変換工程と、決定された直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択工程と、選択された量子化マトリクスを用いて変換係数を量子化して量子化係数を生成する量子化工程と、生成された量子化係数を符号化する係数符号化工程とを有することを特徴とする画像符号化方法。画像復号装置における画像復号方法であって、入力されたビットストリームから必要な符号を分離する復号工程と、復号された情報から、逆直交変換の処理ブロック形状を決定する決定工程と、復号された情報から、量子化係数を復号する係数復号工程と、復号された量子化係数を逆量子化する際に用いられる量子化マトリクスを復号する量子化マトリクス復号工程と、決定された逆直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択工程と、選択された量子化マトリクスを用いて、復号された量子化係数を逆量子化して変換係数を生成する逆量子化工程と、決定された逆直交変換の形状に基づいて、生成された変換係数を逆直交変換して予測誤差を生成する逆直交変換工程とを有することを特徴とする画像復号方法。コンピュータが読み出して実行することにより、前記コンピュータを、請求項1に記載の符号化装置として機能させることを特徴とするプログラム。コンピュータが読み出して実行することにより、前記コンピュータを、請求項3に記載の復号装置として機能させることを特徴とするプログラム。HEVCにおいても、H.264と同様に量子化マトリクスの各要素を任意の値に設定できるような仕組みを導入することが考えられている。さらにHEVCでは、正方形だけでなく長方形のサブブロック分割およびそれに対応した直交変換の形状が検討されているが、それぞれの直交変換の結果の係数の分布は直交変換の形状によって異なる。そのため、直交変換の形状と量子化マトリクスが適合していない場合、適切に量子化が行われず、画質に大きな劣化を生じることになる。したがって、本発明は上述した課題を解決するためになされたものであり、直交変換の形状に応じて適応的に量子化マトリクスを使用することを目的としている。さらに、直交変換の形状ごとに量子化マトリクスを設定する際にその符号量を抑制することを目的としている。上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、入力画像を複数のブロックに分割するブロック分割手段と、ブロック分割手段によって分割されたブロックに対して符号化済みのブロックから予測を行い、予測誤差を生成する予測手段と、正方形ないし長方形の複数の直交変換の処理ブロック形状から、使用する処理ブロック形状を決定し、前記予測手段によって生成された予測誤差に前記決定された直交変換を行い、変換係数を生成する変換手段と、前記変換手段によって決定された直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択手段と、前記量子化マトリクス選択手段によって選択された量子化マトリクスを用いて変換係数を量子化して量子化係数を生成する量子化手段と、前記量子化手段によって生成された量子化係数を符号化する係数符号化手段とを有する。さらに、本発明の画像復号装置は以下の構成を有する。すなわち、入力されたビットストリームから必要な符号を分離する復号手段と、前記復号手段によって復号された情報から、逆直交変換の処理ブロック形状を決定する決定手段と、復号手段によって復号された情報から、量子化係数を復号する係数復号手段と、前記係数復号手段によって復号された量子化係数を逆量子化する際に用いられる量子化マトリクスを復号する量子化マトリクス復号手段と、前記決定手段によって決定された逆直交変換の処理ブロック形状に基づいて量子化マトリクスを選択する量子化マトリクス選択手段と、前記量子化マトリクス選択手段によって選択された量子化マトリクスを用いて、前記係数復号手段によって復号された量子化係数を逆量子化して変換係数を生成する逆量子化手段と、前記決定手段によって決定された逆直交変換の形状に基づいて、前記逆量子化手段によって生成された変換係数を逆直交変換して予測誤差を生成する逆直交変換手段とを有する。本発明により、正方形ないし長方形の直交変換の処理ブロック形状ごとに量子化マトリクスを設定することができるようになり、それぞれの処理ブロック形状で最適な量子化処理が行えるようになる。以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。<実施形態1>以下、本発明の実施形態を、図面を用いて説明する。図1は本実施形態の画像符号化装置を示すブロック図である。図1において、101は入力画像を複数の基本ブロックに分割するブロック分割部である。本実施形態では説明のため、ブロック分割部101においては16×16画素の基本ブロックに分割するものとして説明するが、これに限定されない。102はブロック分割部101で分割された各基本ブロックを、該基本ブロックと同一サイズもしくは基本ブロックよりも小さいサイズのサブブロックに分割してサブブロックサイズを生成し、サブブロック単位で符号化済みのブロックから予測を行う予測部である。予測部102ではさらに予測方法を決定し、それに従って予測並びに差分値算出を行い、予測誤差を算出する。静止画または動画の場合のイントラフレームではイントラ予測を行い、動画の場合は動き補償予測も行うものとする。イントラ予測は一般的には、複数の参照方法に対して、周囲の画素のデータからその予測値を算出する参照画素を参照する方法予測方法を選択することで実現する。本実施形態では説明のため、予測部102においては基本ブロックを16×16画素、8×8画素、4×4画素の正方形、または16×4画素、4×16画素の長方形のサブブロックに分割して予測を行うものとして説明するが、これに限定されない。108は量子化マトリクスを生成し、一旦格納する量子化マトリクス保持部である。格納される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値としてあらかじめ指定されたものを使用してももちろん良い。103は各サブブロックの予測誤差に対して直交変換を行う変換部である。本実施形態では、予測部102で決定したサブブロックのサイズを単位に直交変換を行い、直交変換係数を算出するものとする。本実施形態では16×16画素、8×8画素、4×4画素、または16×4画素、4×16画素の処理ブロック形状で直交変換を行うものとする。直交変換に関しては離散コサイン変換の他に離散サイン変換、カルーネンレーベ変換、アダマール変換等の変換を用いてもよい。107は予測部102で決定したサブブロックサイズを入力して量子化マトリクス保持部108に格納された量子化マトリクスの中から適用する量子化マトリクスを選択する量子化マトリクス選択部である。104は量子化マトリクス選択部107で選択された量子化マトリクスによって前記直交変換係数を量子化する量子化部である。この量子化によって量子化係数を得ることができる。105はこのようにして得られた量子化係数を、符号化して量子化係数符号データを生成する係数符号化部である。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。109は量子化マトリクス保持部108に格納された量子化マトリクスを符号化して、量子化マトリクス符号データを生成する量子化マトリクス符号化部である。量子化マトリクスの符号化方法については後述するが、特に限定されるものではない。量子化マトリクスの各要素の値そのもの、もしくは直前の要素の値との差分や他の量子化マトリクスとの差分に対して、ハフマン符号や算術符号などを用いることができる。106はヘッダ情報や予測、変換に関する符号を生成するとともに、係数符号化部105で生成された量子化係数符号データおよび量子化マトリクス符号化部109で生成された量子化マトリクス符号データを統合する統合符号化部である。予測、変換に関する符号とは、例えば予測部102で生成されたサブブロックサイズや予測方法等の符号であるとする。上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、1フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化の処理においても適用可能である。1フレーム分の画像データはブロック分割部101に入力され、16×16画素の基本ブロック単位に分割される。分割された基本ブロックは予測部102に入力される。予測部102では予測の単位となるサブブロックのサイズおよび予測方法を決定し、サブブロック単位の予測が行われ、予測誤差が生成される。変換部103では、予測部102で生成されたサブブロック単位の予測誤差に対して直交変換を行い、直交変換係数を生成する。本実施形態では、サブブロックのサイズ形状と直交変換のサイズ形状は同一である。生成された直交変換係数を量子化部104に入力する。量子化マトリクス保持部108には、該フレームの量子化に用いられる量子化マトリクス、すなわち各サブブロックの形状に対応した量子化マトリクスが保持されている。本実施形態では、サブブロックサイズが4×4画素、8×8画素、16×16画素、16×4画素、4×16画素の5種類である。4×4画素の直交変換に対応する第1量子化マトリクス、8×8画素の直交変換に対応する第2量子化マトリクス、16×16画素の直交変換に対応する第3量子化マトリクスを保持する。さらに、16×4画素の直交変換に対応する第4量子化マトリクス、4×16画素の直交変換に対応する第5量子化マトリクスを保持する。本実施形態では上記の5種類の量子化マトリクスを保持するが、サブブロックの形状の増減に合わせて、保持する量子化マトリクスも増減する。量子化マトリクス符号化部109は量子化マトリクスを量子化マトリクス保持部108からサブブロックサイズによって順に読み出し、符号化して量子化マトリクス符号データを生成する。符号化方式としては、本実施形態では、各要素をそのまま符号化する、直前の要素との差分を符号化する、DPCM、他の量子化マトリクスとの差分を符号化するといった方式を用いることとするが、方式はこれらに限定されない。また、これらと合わせて同じ値が続く時は符号化を打ち切る符号を挿入することにより量子化マトリクスの符号量を抑制することもできる。具体的な量子化マトリクスの符号化方法の例について図4を用いて説明する。400は、量子化マトリクスを表している。説明を簡易にするため、4×4画素のサブブロックに対応した16画素分の構成とし、太枠内の各正方形は要素を表しているものとする。ここでは図4の400~404に示された5種類の量子化マトリクスを例にとって符号化方法について説明する。図4の400は量子化マトリクスの各要素が1から始まり、1ずつ増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、1から16までの値を一つずつ符号化する。また、最初の要素である1を符号化した後は直前の要素との差分、すなわちこの例では差分値である1を15回符号化しても良い。さらにDPCMのように、最初の要素である1と二番目の要素と最初の要素の差分である1を符号化した後は、予測差分である0を符号化しても良い。図4の401は量子化マトリクスの各要素が3から始まり、1ずつ増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、3から18までの値を一つずつ符号化する。また、最初の要素である3を符号化した後は直前の要素との差分、すなわちこの例では差分値である1を15回符号化しても良い。さらに、400に示される量子化マトリクスの各要素の値との差分、すなわちこの例では差分値である2を16回符号化しても良い。402は量子化マトリクスの各要素が3から始まり、1ずつ10まで増加し、10が3回続いた後、また1ずつ16まで増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、400や401同様、各要素の値を一つずつ符号化する。また、直前の要素との差分、あるいは他の量子化マトリクスの要素との差分を符号化しても良い。402の各要素の値を400の各要素の値との差分を符号化する場合、初めの3から一つ目の10までは差分値である2を符号化し、二つ目の10は差分値である1を符号化する。その先、三つ目の10以降は最後まで差分値が0となるため、差分値である0を7回符号化する。また、符号化の打ち切りを示す符号を符号化することにより、差分値の符号量を低減させる方法を用いても良い。403は量子化マトリクスの各要素が3から始まり、1ずつ10まで増加し、その後は最後まで10であり続ける場合の例である。例えば、この量子化マトリクスを符号化する場合、400や401同様、各要素の値を一つずつ符号化する。また、直前の要素との差分、あるいは他の量子化マトリクスの要素との差分を符号化しても良い。403の各要素の値を直前の各要素との差分を符号化する場合、初めの3から一つ目の10までは差分値である1を符号化する。その先は、最後まで差分値が0となるため、差分値である0を7回符号化する。また、符号化の打ち切りを示す符号を符号化することにより、差分値の符号量を低減させる方法を用いても良い。404は量子化マトリクスの各要素が6から始まり、徐々に増加していく場合の例である。例えば、この量子化マトリクスを符号化する場合、400や401同様、各要素の値を一つずつ符号化する。また、直前の要素との差分、あるいは他の量子化マトリクスの要素との差分を符号化しても良い。また、404の各要素の値を直前の各要素との差分を符号化する場合、まず一つ目の要素である6を符号化する。その後は直前の要素との差分値を符号化する。すなわち、7、0、7、0、0、8、0、0、0、4、0、0、5、0、5の順に符号化する。上記に提示した量子化マトリクスの符号化方法は説明のために記述されたものであり、符号化方法はこれらに限定されない。量子化マトリクス選択部107は、予測部102で決定したサブブロックサイズを用いて、当該サブブロックの量子化に用いられる量子化マトリクスを選択する。具体的には、量子化マトリクス保持部108に格納された量子化マトリクスの中から当該サブブロックの量子化に用いる量子化マトリクスを選択するものとする。例えば、本実施形態では、サブブロックサイズが16×4画素である場合には、第4量子化マトリクスを量子化マトリクス保持部108から入力し、量子化部104に出力する。量子化部104では、変換部103から出力された直交変換係数を量子化マトリクス選択部107で選択した量子化マトリクスを用いて量子化して量子化係数を生成する。生成された量子化係数は係数符号化部105に入力される。係数符号化部105では、量子化部104で生成された量子化係数を符号化し、量子化係数符号データを生成して統合符号化部106に出力する。一方、量子化マトリクス符号化部109では、量子化マトリクス保持部108に格納された各量子化マトリクスを符号化し、量子化マトリクス符号データを生成して統合符号化部106に出力する。統合符号化部106は画像のシーケンス、フレーム、ピクチャおよびスライスのヘッダといった符号を生成する。また、これらのヘッダのいずれかに量子化マトリクス符号化部109で生成された量子化マトリクス符号データを挿入する。こうしたヘッダ部分の符号や係数符号化部105で生成された量子化係数符号データを統合し、さらに予測部102で生成されたサブブロックサイズや予測の情報を符号化し、ビットストリームを生成し出力する。図7aは実施形態1で出力されるビットストリームの一例である。本実施形態では、ビットストリーム中のシーケンスヘッダ部に量子化マトリクスが符号化されている構成となっているが、符号化の位置はこれに限定されない。ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、1つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスのサブブロックサイズを指定することでその一部を変更するようにすることも可能である。さらには書き換える量子化マトリクスのサブブロックサイズおよびその変更する要素の位置を指定して部分的に変更することももちろん可能である。図5は実施形態1に係る画像符号化装置における画像符号化処理を示すフローチャートである。まず、ステップS501にて、量子化マトリクス保持部108は量子化マトリクスを一つ以上生成する。本実施形態では、サブブロックサイズが5種類あることから、前述の通り、第1から第5までの5種類の量子化マトリクスを生成する。ステップS502にて、量子化マトリクス符号化部109は量子化マトリクス保持部108で生成されたそれぞれの量子化マトリクスを符号化する。ステップS503にて、統合符号化部106はビットストリームのヘッダ部の符号化を行い出力する。ここで、ステップS502で符号化した量子化マトリクス符号データをヘッダとともに出力する。ステップS504にて、ブロック分割部101は、フレーム単位の入力画像を基本ブロック単位16×16画素に分割する。ステップS505にて、予測部102は、サブブロックのサイズを決定する。ステップS506にて、予測部102は、ステップS505で生成されたサブブロックサイズ単位の予測を行う。ステップS507にて、画像符号装置は、ステップS506で決定したサブブロックサイズに基づく判定を行う。サブブロックサイズが4×4画素であればS508に進み、8×8画素であればS528に進み、16×16画素であればS548に進み、16×4画素であればS568に進み、4×16画素であればS588に進む。ステップS508にて、変換部103はステップS505で生成された予測誤差に対して、4×4画素のサブブロック単位で直交変換を行い、直交変換係数を生成する。ステップS509にて、量子化マトリクス選択部107は、ステップS501で生成された量子化マトリクスから第1量子化マトリクスを選択する。また、ステップS528にて、変換部103はステップS505で生成された予測誤差に対して、8×8画素のサブブロック単位で直交変換を行い、直交変換係数を生成する。ステップS529にて、ステップS509同様、量子化マトリクス選択部107は、ステップS501で生成された量子化マトリクスから第2量子化マトリクスを選択する。さらにステップS548にて、変換部103はステップS505で生成された予測誤差に対して、16×16画素のサブブロック単位で直交変換を行い、直交変換係数を生成する。ステップS549にて、ステップS509同様、量子化マトリクス選択部107は、ステップS501で生成された量子化マトリクスから第3量子化マトリクスを選択する。また、ステップS568にて、変換部103はステップS505で生成された予測誤差に対して、16×4画素のサブブロック単位で直交変換を行い、直交変換係数を生成する。ステップS569にて、ステップS509同様、量子化マトリクス選択部107は、ステップS501で生成された量子化マトリクスから第4量子化マトリクスを選択する。さらにステップS588にて、変換部103はステップS505で生成された予測誤差に対して、4×16画素のサブブロック単位で直交変換を行い、直交変換係数を生成する。ステップS589にて、ステップS509同様、量子化マトリクス選択部107は、ステップS501で生成された量子化マトリクスから第5量子化マトリクスを選択する。ステップS510にて、量子化部104はステップS508、S528、S548、S568およびS588で生成された直交変換係数を入力する。そして、ステップS509、S529、S549、S569およびS589で選択された量子化マトリクスを用いて量子化して量子化係数を生成する。ステップS511にて、係数符号化部105はステップS510で生成された量子化係数を符号化し、量子化係数符号データを生成する。ステップS512にて、画像符号化装置は、当該基本ブロック内の全てのサブブロックの符号化が終了したか否かの判定を行い、終了していればステップS513に進み、終了していなければ次のサブブロックを対象としてステップS505に戻る。ステップS513にて、画像符号化装置は、全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象としてステップS504に戻る。以上の構成と動作により、特にステップS501、ステップS509、S529、S549、S569、S589の処理により、サブブロックの直交変換の形状によって最適な量子化マトリクスを用いて量子化処理を行ったビットストリームを生成することができる。なお、本実施形態においては、イントラ予測のみを用いるフレームを例にとって説明したが、インター予測を使用できるフレームにおいても対応できることは明らかである。また、本実施形態では、各サブブロックサイズに対して1種類ずつ量子化マトリクスを用いたが、複数の量子化マトリクスを用い、予測方法や変換方法に応じて切り替えて使用しても構わない。また、サブブロックサイズが異なっていてもブロック内の画素数が同一のサブブロックサイズが存在していた場合、一方の量子化マトリクスを共用しても構わない。例えば、本実施形態においては、サブブロック画素数が64画素のサブブロックサイズが8×8画素、16×4画素、4×16画素の3種類存在する。この場合、8×8画素の量子化マトリクスを16×4画素サブブロックおよび4×16画素サブブロックに用いても構わない。同様に、16×4画素の量子化マトリクスを4×16画素のサブブロックに用いても良い。共用しない場合においても、他のサブブロックに対応した量子化マトリクスとの差分を符号化しても良い。例えば、16×4画素の量子化マトリクスの符号化において、8×8画素の量子化マトリクスの各要素との差分を符号化しても構わない。さらに、画素数が異なるサブブロックサイズに対応する量子化マトリクスの符号化に関しては、他のサブブロックサイズに対応する量子化を用いて符号化しても良い。例えば、8×8画素の量子化マトリクスはその要素単位で符号化し、4×4画素の量子化マトリクスは8×8画素の量子化マトリクス内の2×2要素で平均値をとったものや間引いたものを予測値として、その差分を符号化しても構わない。また、本実施形態における例では、16×16画素の量子化マトリクスの各要素を符号化する。そして、16×4画素および4×16画素の量子化マトリクスは16×16画素の量子化マトリクス内の1×4および4×1要素単位で間引いたものもしくは平均値をとる。さらにそれをそのまま量子化マトリクス内の要素として用いても、予測値としてその差分を符号化しても構わない。反対に、4×4画素の量子化マトリクスの各要素を符号化する。そして、16×4画素および4×16画素の量子化マトリクスは4×4画素量子化マトリクス内の各要素を補間したものをそのまま量子化マトリクス内の要素として用いても、予測値としてその差分を符号化しても構わない。なお、量子化マトリクスの符号化において、各要素を符号化する方法を用いて説明したが、これに限定されない。また、本実施形態ではサブブロックサイズに応じて量子化部104に入力する量子化マトリクスを切り替える方法で説明した。しかし、これに限定されず、例えば、其々の量子化マトリクスに対応する量子化部をそれぞれ用意し、それを量子化マトリクス選択部107の出力に基づいて切り替える方法でももちろん構わない。また、本実施形態では予測誤差の直交変換を行ったのちに量子化マトリクスの選択を行ったが、これに限定されず、先に量子化マトリクスの選択を行ったのちに直交変換を行ったり、量子化マトリクスの選択と直交変換を並列に行ったりしても構わない。<実施形態2>図3は、本発明の実施形態2に係る画像復号装置の構成を示すブロック図である。本実施形態では、図1に示す実施形態1で生成されたビットストリームの復号について説明する。図3において、301は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号分離部である。復号分離部301は図1の統合符号化部106と逆の動作を行う。308はビットストリームのヘッダ情報から量子化マトリクス符号データを抽出して復号する量子化マトリクス復号部である。309は量子化マトリクス復号部308で復号された量子化マトリクスを一旦格納しておく量子化マトリクス保持部である。306は復号分離部301で分離された符号から基本ブロック単位で予測変換の情報を復号し、その情報に基づいて予測の方法、予測変換の単位であるサブブロックサイズを決定する予測変換方法抽出部である。307は予測変換方法抽出部306で決定されたサブブロックサイズに基づいて、量子化マトリクス保持部309で格納された量子化マトリクスのうちの一つを選択する量子化マトリクス選択部である。一方、302は復号分離部301で分離された符号から量子化係数符号を復号し、量子化係数を再生する係数復号部である。303は量子化マトリクス選択部307で選択された量子化マトリクスを用いて量子化係数に逆量子化を行い、直交変換係数を再生する逆量子化部である。304は図1の変換部103の逆となる逆直交変換を行い、予測誤差を再生する逆変換部である。305は予測の単位となるサブブロックサイズをはじめとする予測の情報、予測誤差と復号済みの画像データから基本ブロックの画像データを再生する予測再構成部である。上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態1で生成された動画像ビットストリームをフレーム単位で入力する構成となっているが、1フレーム分の静止画像ビットストリームを入力する構成としても構わない。また、本実施形態では説明を容易にするため、イントラ予測復号処理のみを説明するが、これに限定されずインター予測復号処理においても適用可能である。図3において、入力された1フレーム分のストリームデータは復号分離部301に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され出力される。ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部308に入力され、後段の逆量子化処理で用いられる量子化マトリクスとしてサブブロックサイズに対応する量子化マトリクスが再生される。本実施形態では、4×4画素サブブロックに対応する第1量子化マトリクス、8×8画素サブブロックに対応する第2量子化マトリクス、16×16画素サブブロックに対応する第3量子化マトリクスを再生する。さらに、16×4画素サブブロックに対応する第4量子化マトリクス、4×16画素サブブロックに対応する第5量子化マトリクスの5種類を再生する。本実施形態ではサブブロックサイズが4×4画素、8×8画素、16×16画素、16×4画素、4×16画素の5種類である。そのため、再生する量子化マトリクスは5種類となっているが、直交変換の形状の増減に合わせて、再生する量子化マトリクスも増減する。再生された量子化マトリクスは量子化マトリクス保持部309に入力され、一旦格納される。また、復号分離部301で分離された符号のうち、予測および変換に関する符号は予測変換方法抽出部306に入力され、復号されて、予測方法とサブブロックサイズを示す情報が生成される。サブブロックサイズは量子化マトリクス選択部307および係数復号部302に出力される。また、復号された予測方法は予測再構成部305に出力される。量子化マトリクス選択部307では、入力されたサブブロックサイズの情報によって、量子化マトリクス保持部309に格納された量子化マトリクスの中から一つを選択し、逆量子化部303に出力する。例えば、本実施形態では、サブブロックサイズが4×16画素である場合には、第5量子化マトリクスを量子化マトリクス保持部309から選択し、逆量子化部303に出力する。さらに、復号分離部301で分離された符号のうち、量子化係数符号データは係数復号部302に入力される。そして予測変換方法抽出部306から入力されたサブブロックサイズ単位で量子化係数符号データを復号し、量子化係数を再生し、逆量子化部303に出力する。逆量子化部303は、量子化マトリクス選択部307で選択された量子化マトリクス、および係数復号部302で再生された量子化係数を入力する。そして、前記量子化マトリクスを用いて逆量子化を行い、直交変換係数を再生し、逆変換部304に出力する。逆変換部304は、再生された直交変換係数を入力し、図1の変換部103の逆となる逆直交変換を行い、予測誤差を再生し、予測再構成部305に出力する。予測再構成部305は、入力された予測誤差に復号済みの周囲の画素データから予測変換方法抽出部306で復号された予測方法に従ってサブブロック単位の予測を行って基本ブロック単位の画像データを再生し、出力する。図6は、実施形態2に係る画像復号装置における画像復号処理を示すフローチャートである。まず、ステップS601にて、復号分離部301がヘッダ情報を復号する。ステップS602にて、量子化マトリクス復号部308はヘッダ情報に含まれる量子化マトリクス符号データを復号し、後段の逆量子化処理で用いる量子化マトリクスが再生される。復号された量子化マトリクスは量子化マトリクス保持部309に格納される。本実施形態では、各サブブロックサイズに対応した、4×4画素の第1量子化マトリクス、8×8画素の第2量子化マトリクス、16×16画素の第3量子化マトリクスを復号再生する。そして、16×4画素の第4量子化マトリクス、4×16画素の第5量子化マトリクスの5種類の量子化マトリクスを復号再生する。ただし、復号順序はこれに限定されない。ステップS603にて、基本ブロック単位で予測変換方法抽出部306は予測や変換に関する情報を復号し、その内容から予測方法や予測直交変換の単位となるサブブロックサイズを生成する。ステップS604にて、ステップS603で生成されたサブブロックサイズに基づく判定を行う。サブブロックサイズが4×4画素であればS605に進み、8×8画素であればS625に進み、16×16画素であればS645に進み、16×4画素であればS665に進み、4×16画素であればS685に進む。ステップS605にて、量子化マトリクス選択部307はステップS603で抽出された前記サブブロックサイズに基づいて当該サブブロックに適用する量子化マトリクスを選択する。具体的には、抽出された前記サブブロックサイズが4×4画素なので、第1量子化マトリクスを選択する。また、ステップS625にて、量子化マトリクス選択部307は前記サブブロックサイズに基づいて当該サブブロックに適用する量子化マトリクスを選択する。具体的には、抽出された前記サブブロックサイズが8×8画素なので、第2量子化マトリクスを選択する。さらにステップS645にて、量子化マトリクス選択部307は前記サブブロックサイズに基づいて当該サブブロックに適用する量子化マトリクスを選択する。具体的には、抽出された前記サブブロックサイズが16×16画素なので、第3量子化マトリクスを選択する。また、ステップS665にて、量子化マトリクス選択部307は前記サブブロックサイズに基づいて当該サブブロックに適用する量子化マトリクスを選択する。具体的には、抽出された前記サブブロックサイズが16×4画素なので、第4量子化マトリクスを選択する。さらにステップS685にて、量子化マトリクス選択部307は前記サブブロックサイズに基づいて当該サブブロックに適用する量子化マトリクスを選択する。具体的には、抽出された前記サブブロックサイズが4×16画素なので、第5量子化マトリクスを選択する。ステップS606にて、係数復号部302はサブブロック単位で量子化係数符号データを復号し、量子化係数を再生する。ステップS607にて、逆量子化部303はステップS605、S625、S645、S665およびS685で選択された量子化マトリクスを用いてステップS606にて再生された量子化係数を逆量子化し、直交変換係数を再生する。ステップS608にて、再びステップS603で生成されたサブブロックサイズに基づく判定を行う。サブブロックサイズが4×4画素であればステップS609に進み、8×8画素であればS629に進み、16×16画素であればステップS649に進み、16×4画素であればステップS669に進み、4×16画素であればステップS689に進む。ステップS609にて、逆変換部304はステップS607で再生された直交変換係数に対し、4×4画素のサブブロック単位で逆直交変換を行い、予測誤差を再生する。ステップS629にて、逆変換部304はステップS607で再生された直交変換係数に対し、8×8画素のサブブロック単位で逆直交変換を行い、予測誤差を再生する。ステップS649にて、逆変換部304はステップS607で再生された直交変換係数に対し、16×16画素のサブブロック単位で逆直交変換を行い、予測誤差を再生する。ステップS669にて、逆変換部304はステップS607で再生された直交変換係数に対し、16×4画素のサブブロック単位で逆直交変換を行い、予測誤差を再生する。ステップS689にて、逆変換部304はステップS607で再生された直交変換係数に対し、4×16画素のサブブロック単位で逆直交変換を行い、予測誤差を再生する。ステップS610にて、予測再構成部305は復号済みの周囲の画素データからステップS603で再生された予測方法に従って予測を行う。それを、ステップS609、S629、S649、S669およびS689で再生された予測誤差に加算して、サブブロックの復号画像を再生する。ステップS611にて、画像復号装置は、当該基本ブロック内の全てのサブブロックの復号が終了したか否かの判定を行い、終了していればステップS612に進み、終了していなければ次のサブブロックを対象としてステップS604に戻る。ステップS612にて、画像復号装置は、全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば全ての動作を停止して処理を終了し、そうでなければ次の基本ブロックを対象として、ステップS603に戻る。以上の構成と動作により、実施形態1で生成された、サブブロックのサイズで表される直交変換の形状に対応して最適な量子化マトリクスを用いて量子化処理を行って生成したビットストリームの復号を行い、再生画像を得ることができる。また、実施形態1と同様に基本ブロックのサイズ形状、サブブロックのサイズ形状についてはこれに限定されない。また、一つのシーケンスのビットストリーム中で量子化マトリクス符号データが複数回含まれている場合、量子化マトリクスの更新をすることも可能である。復号分離部301で量子化マトリクス符号データを検出し、量子化マトリクス復号部308で復号する。復号された量子化マトリクスのデータを量子化マトリクス保持部309の該当する量子化マトリクスに置き換える。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスのサブブロックサイズを判別することでその一部を変更することも可能である。さらには書き換える量子化マトリクスのサブブロックサイズおよびその変更する要素の位置を判別することでマトリクス内の要素を部分的に変更することももちろん可能である。また、本実施形態ではサブブロックサイズに応じて逆量子化部303に入力する量子化マトリクスを切り替える方法で説明したが、これに限定されない。例えば、それぞれの量子化マトリクスに対応する逆量子化部をそれぞれ用意し、それを量子化マトリクス選択部307の出力に基づいて切り替える方法でももちろん構わない。同様に図6においてステップS606、ステップS607を複数用意し、ステップS604で判定してそれぞれのサブブロックサイズで量子化マトリクスの選択、係数復号、逆量子化、逆変換を並行して行ってもよい。また、本実施形態では量子化マトリクスの選択を行ったのちに量子化係数の復号を行ったが、これに限定されず、先に量子化係数の復号を行ったのちに量子化マトリクスの選択を行ったり、量子化マトリクスの選択と量子化係数の復号を並列に行ったりしても構わない。<実施形態3>図8は本実施形態の画像符号化装置を示すブロック図である。図8において、実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。851は各量子化マトリクスをどのように符号化するかを示す符号化情報を生成する、符号化方法生成部である。809は符号化方法生成部851で生成された符号化情報に基づいて、量子化マトリクス保持部108に格納された量子化マトリクスを符号化して、量子化マトリクス符号データを生成する量子化マトリクス符号化部である。806は図1の統合符号化部106と同様に、ヘッダ情報や予測、変換に関する符号を生成する統合符号化部であり、前記統合符号化部106とは符号化方法生成部851から符号化情報を入力し、これを符号化することが異なる。上記画像符号化装置における画像の符号化動作を以下に説明する。符号化方法生成部851では、まず、各量子化マトリクスをどのように符号化するかを示す符号化情報を生成する。本実施形態では、前記符号化方法情報が0であれば量子化マトリクスの各要素をそのまま符号化する方法を用いるものとする。また、1であれば直前の要素との差分を符号化する方法を、2であれば直前に符号化した要素数が同一の量子化マトリクスの要素との差分を符号化する方法を用いるものとする。さらに、3であれば直前に符号化した要素数がより多い量子化マトリクスの要素を間引いて予測量子化マトリクスを生成し、それとの差分を符号化するものとする。また、4であれば直前に符号化した要素数がより少ない量子化マトリクスの要素を補間して予測量子化マトリクスを生成し、それとの差分を符号化するものとする。量子化マトリクスの各要素の符号化方法はこれらに限定されず、DPCMのように最初の要素と二番目の要素と最初の要素の差分を符号化した後は、予測差分を符号化しても良い。さらには直前または別な符号で指定される復号済みの量子化マトリクスを参照して符号化を行う方法を用いてももちろん構わない。また、要素数がより多い量子化マトリクスから要素数がより少ない量子化マトリクスの予測方法には間引きを用いたが、平均値や中央値などを用いても良い。さらには、差分を全く符号化せずに他の量子化マトリクスと共用することを示す識別子を符号化しても構わない。また、前記量子化マトリクス符号化方法情報と量子化マトリクスの符号化方法との組合せはこれに限定されない。量子化マトリクス符号化方法情報の生成方法については特に限定しないが、ユーザが入力しても良いし、固定値としてあらかじめ指定されたものを使用して良いし、量子化マトリクス保持部108に格納されている量子化マトリクスの特性から算出してももちろん良い。生成された量子化マトリクス符号化方法情報は量子化マトリクス符号化部809と統合符号化部806に入力される。量子化マトリクス符号化部809では、入力された符号化情報に基づいて、量子化マトリクス保持部108に格納された各量子化マトリクスを符号化し、量子化マトリクス符号データを生成して統合符号化部806に出力する。統合符号化部806では、符号化方法生成部851で生成された符号化情報を符号化し、符号化情報符号を生成し、ヘッダ情報等に組み込んで出力する。さらに予測部102で生成されたサブブロックサイズの情報も符号化して出力する。符号化の方法は特に限定しないが、ハフマン符号や算術符号などを用いることができる。図7bに符号化情報符号を含むビットストリームの例を示す。符号化情報符号はシーケンス、ピクチャ等のヘッダのいずれに入れても構わないが、各量子化マトリクス符号データより前に存在する。図10は実施形態3に係る画像符号化装置における画像符号化処理を示すフローチャートである。図10において、実施形態1の図5と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。ステップS1051にて、符号化方法生成部851は、後段のステップS1002で使用する符号化情報を決定する。ステップS1002にて、量子化マトリクス符号化部809は、ステップS1051で決定した符号化情報に基づいて、ステップS501で生成された量子化マトリクスを符号化する。ステップS1003にて、統合符号化部806は符号化情報を符号化し、符号化情報符号を生成し、他の符号と同様にヘッダ部に組み込み出力する。以上の構成と動作により、各量子化マトリクスが最適な符号化方法で符号化され、サブブロックサイズが表す直交変換に対応した最適な量子化マトリクスを用いて量子化処理を行ったビットストリームを生成することができる。これにより、量子化マトリクスの符号化によって発生する符号量を抑えることが可能になる。なお、本実施形態では符号化する量子化マトリクスの全てに対して一つの符号化方式を選択する場合を例にとって説明したが、これに限定されない。量子化マトリクス単位で符号化方法を選択したり、サブブロックサイズごとに符号化方法を選択したりしてももちろん構わない。<実施形態4>図9は本実施形態の画像復号装置を示すブロック図である。図9において、実施形態2の図3と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。901は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号分離部である。図3の復号分離部301とはビットストリームのヘッダ情報から符号化情報符号を分離して後段に出力することが異なる。951は復号分離部901で分離された符号化情報符号を復号し、量子化マトリクス符号化方法の情報を再生する復号方法復号部である。908はビットストリームのヘッダ情報から復号分離部901で分離された量子化マトリクス符号データを前記符号化方法の情報に基づいて復号する量子化マトリクス復号部である。上記画像復号装置における画像の復号動作を以下に説明する。図9において、入力された1フレーム分のストリームデータは復号分離部901に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され出力される。ヘッダ情報に含まれる符号化情報符号は復号方法復号部951に入力され、量子化マトリクスの符号化方法の情報を再生する。そして、再生された量子化マトリクスの符号化方法の情報は量子化マトリクス復号部908に入力される。一方、ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部908に入力される。そして、量子化マトリクス復号部908は入力された量子化マトリクスの符号化方法の情報に基づいて量子化マトリクス復号方法を選択して量子化マトリクス符号データを復号し、後段の逆量子化処理で用いられる量子化マトリクスが再生される。再生された量子化マトリクスは量子化マトリクス保持部に一旦格納される。図11は実施形態4に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態2の図6と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。ステップS1101にて、復号分離部901はヘッダ情報を復号する。ステップS1151にて、復号方法復号部951はヘッダ情報に含まれる量子化マトリクス符号化情報符号を復号し、量子化マトリクスの符号化方法の情報を再生する。ステップS1102にて、量子化マトリクス復号部908はステップS1151にて再生された量子化マトリクスの符号化方法の情報に基づいて、量子化マトリクス復号方法を選択する。そして、ヘッダ情報に含まれる量子化マトリクス符号データを復号し、量子化マトリクスを再生する。以上の構成と動作により、実施形態3で生成された、各量子化マトリクスが最適な符号化方法で符号化され、サブブロックサイズによって最適な量子化マトリクスを用いて量子化処理を行ったビットストリームの復号を行い、再生画像を得ることができる。これにより、量子化マトリクスに適応した符号化によって発生する符号量を抑えたビットストリームの復号が可能になる。なお、本実施形態では復号する量子化マトリクス符号データの全てに対して一つの復号方式を選択する場合を例にとって説明したが、これに限定されない。量子化マトリクス単位で復号方法を選択したり、サブブロックサイズごとに符号化方法を選択したりしてももちろん構わない。<実施形態5>図13は本実施形態の画像符号化装置を示すブロック図である。図13において、実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。1308は量子化マトリクスを生成し、一旦格納する量子化マトリクス保持部である。格納される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値としてあらかじめ指定されたものを使用しても良い。本実施形態では、4×4画素、8×8画素、16×16画素などの正方形の形状の直交変換に対応した量子化マトリクスが生成され、格納されるものとする。さらに、後述の量子化マトリクス縮小部1351にて生成された16×4画素、4×16画素などの長方形の形状の直交変換に対応した量子化マトリクスをさらに入力し、格納するものとする。生成、格納される量子化マトリクスはこれらに限定されず、例えば、32×32画素の正方形の量子化マトリクスをさらに生成し、縮小された32×8画素および8画素×32画素の長方形の量子化マトリクスをさらに格納しても良い。1351は、正方形の量子化マトリクスの一辺を縮小して長方形の量子化マトリクスを生成する量子化マトリクス縮小部である。本実施形態では、量子化マトリクス保持部1308で生成された16×16画素の正方形の量子化マトリクスを入力し、縮小処理を行い、4×16画素および16×4画素の量子化マトリクスを生成するものとする。前記縮小処理について、図17を用いて説明する。図17aは16×16画素の量子化マトリクスを、記号を用いてモデル化したものである。◎、○、△、×の各記号は量子化マトリクスの各要素を示しているものとする。本実施形態では、量子化マトリクス縮小部1351は、図17aの16×16画素の量子化マトリクスから、◎、○の位置に存在する要素を垂直方向に間引き、図17bに示される16×4画素の量子化マトリクスを生成するものとする。また、図17aの16×16画素の量子化マトリクスから、◎、△の位置に存在する要素を水平方向に間引き、図17cに示される4×16画素の量子化マトリクスを生成するものとする。1309は量子化マトリクス保持部1308に格納された量子化マトリクスのうち正方形の量子化マトリクスを符号化して量子化マトリクス符号データを生成する量子化マトリクス符号化部である。図1の量子化マトリクス符号化部109同様、量子化マトリクスの符号化方法は特に限定されない。量子化マトリクスの各要素の値そのもの、もしくは直前の要素との差分や他の量子化マトリクスとの差分に対して、ハフマン符号や算術符号などを用いることができる。1306はヘッダ情報や予測、変換に関する符号を生成するとともに、係数符号化部105で生成された量子化係数符号データおよび量子化マトリクス符号化部1309で生成された量子化マトリクス符号データを統合する統合符号化部である。上記画像符号化装置における画像の符号化動作を以下に説明する。量子化マトリクス保持部1308には、該フレームの量子化に用いられる量子化マトリクスのうち、正方形のサブブロックの形状に対応した量子化マトリクスが保持されている。本実施形態では、サブブロックサイズが4×4画素、8×8画素、16×16画素、16×4画素、4×16画素の5種類である。そのため、その中で正方形の形状を持つ、4×4画素の直交変換に対応する第1量子化マトリクス、8×8画素の直交変換に対応する第2量子化マトリクス、16×16画素の直交変換に対応する第3量子化マトリクスが保持されている。本実施形態では上記3種類の量子化マトリクスを保持するが、サブブロックの形状の増減に合わせて、保持する量子化マトリクスも増減する。そして、16×4画素および4×16画素の直交変換に対応する量子化マトリクスを生成する必要があるため、16×16画素の量子化マトリクスを量子化マトリクス縮小部1351に出力する。量子化マトリクス縮小部1351は、入力された16×16画素の量子化マトリクスを前述した方法で縮小し、16×4画素および4×16画素の量子化マトリクスを生成し、量子化マトリクス保持部1308に出力する。量子化マトリクス保持部1308は、量子化マトリクス縮小部1351から入力された16×4画素および4×16画素の量子化マトリクスをさらに格納する。すなわち、16×4画素の直交変換に対応する第4量子化マトリクス、4×16画素の直交変換に対応する第5量子化マトリクスが保持されている。量子化マトリクス符号化部1309は正方形の直交変換に対応した量子化マトリクスを量子化マトリクス保持部1308からサブブロックサイズによって順に読み出し、符号化して量子化マトリクス符号データを生成する。本実施形態では、4×4画素の直交変換に対応する第1量子化マトリクス、8×8画素の直交変換に対応する第2量子化マトリクス、16×16画素の直交変換に対応する第3量子化マトリクスの3種類が符号化される。符号化方式は図1の量子化マトリクス符号化部109と同様に限定されない。統合符号化部1306では、図1の統合符号化部106同様、画像のシーケンス、フレーム、ピクチャおよびスライスのヘッダといった符号を生成する。また、これらのヘッダのいずれかに量子化マトリクス符号化部1309で生成された量子化マトリクス符号データを挿入する。図7cは本実施形態で出力されるビットストリームの一例である。本実施形態ではビットストリーム中のシーケンスヘッダ部に量子化マトリクスが符号化されている構成となっているが、符号化の位置はこれに限定されない。図15は実施形態5に係る画像符号化装置における画像符号化処理を示すフローチャートである。図15において、実施形態1の図5と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。まず、ステップS1501にて、量子化マトリクス保持部1308は量子化マトリクスを一つ以上生成する。本実施形態では、サブブロックサイズが5種類あり、その中で正方形の形状のものが3種類あることから、前述の通り、第1から第3までの3種類の量子化マトリクスを生成する。ステップS1502にて、量子化マトリクス符号化部1309は量子化マトリクス保持部1308で生成されたそれぞれの正方形の量子化マトリクスを符号化する。ステップS1551にて、量子化マトリクス縮小部1351は第3量子化マトリクスを前述の方法で縮小し、16×4画素の直交変換に対応する第4量子化マトリクスおよび4×16画素の直交変換に対応する第5量子化マトリクスを生成する。ステップS1503にて、統合符号化部1306はビットストリームのヘッダ部の符号化を行い出力する。ここで、ステップS1502で符号化した量子化マトリクス符号データをヘッダとともに出力する。本実施形態では、ステップS1551をステップS1502とステップS1503の間で実行したが、ステップS1551の実行順序はこれに限定されない。ステップS1501よりも後で、ステップS504よりも前であれば良い。以上の構成と動作により、各サブブロックサイズが表す直交変換に対応した最適な量子化マトリクスを用いて量子化しつつ、正方形の形状の量子化マトリクスのみを符号化したビットストリームを生成することができる。これにより、量子化マトリクスの符号化によって発生する符号量を抑えることが可能になる。なお、本実施形態では、量子化マトリクス縮小部1351によって生成された長方形の直交変換に対応した量子化マトリクスを量子化マトリクス保持部1308に格納する形態を示したが、実施の形態はこれに限定されない。量子化マトリクス保持部1308は正方形の量子化マトリクスのみを格納し、長方形の量子化マトリクスが使用される度に正方形の量子化マトリクスを縮小し、長方形の量子化マトリクスを生成する形態をとっても良い。このようにして、量子化マトリクス保持部1308において量子化マトリクスの保持に必要なメモリ量を軽減することも可能である。また、本実施形態では、16画素から4画素への縮小処理を行う際に、4nただしnは整数番目の要素を抽出し、他の要素を間引くことで縮小処理を実現したが、縮小処理の方法はこれに限定されない。4n1、4n2、または4n3番目の要素を抽出し、他の要素を間引くことで縮小処理を実現しても良い。さらには、4n、4n1、4n2、4n3番目の4要素の平均をとることで縮小処理を実現してももちろん構わない。また、本実施形態では16×16画素から16×4画素および4×16画素を生成する1/4倍の縮小処理について示したが、倍率はこれに限定されない。16×16画素から16×2画素および2×16画素の1/8倍、または16×16画素から16×8画素および8×16画素の1/2倍としても発明の本質は変わらない。さらには16×16画素から16×4画素を生成した後に生成された16×4画素を16×2画素に変換する方法でも構わない。さらには、本実施形態では16×16画素の量子化マトリクスを縮小する形態を示したが、これに限定されず、32×32画素および8×8画素やさらに大きなサイズの量子化マトリクスを縮小して長方形の量子化マトリクスを生成しても良い。<実施形態6>図14は、本発明の実施形態6に係る画像復号装置の構成を示すブロック図である。本実施形態では、図13に示す実施形態5で生成されたビットストリームの復号について説明する。図14において、実施形態2の図3と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。図14において、14001は入力されたビットストリームのヘッダ情報を復号し、ビットストリームから必要な符号を分離して後段へ出力する復号分離部である。復号分離部14001は図13の統合符号化部1306と逆の動作を行う。14008はビットストリームのヘッダ情報から量子化マトリクス符号データを抽出して復号する量子化マトリクス復号部である。実施形態6で生成されたビットストリームには4×4画素、8×8画素、16×16画素の3種の正方形の直交変換に対応した量子化マトリクスが符号化されているため、本実施形態ではこれら3種の量子化マトリクスを再生する。14051は、正方形の量子化マトリクスの一辺を縮小して長方形の量子化マトリクスを生成する量子化マトリクス縮小部である。実施形態6の図13の量子化マトリクス縮小部1351と同じ動作を行う。本実施形態では、量子化マトリクス復号部14008で再生された16×16画素の正方形の量子化マトリクスを入力し、縮小処理を行い、4×16画素および16×4画素の量子化マトリクスを生成するものとする。縮小処理についても図13の量子化マトリクス縮小部1351と同様である。14009は量子化マトリクス復号部14008で再生された正方形の量子化マトリクスおよび量子化マトリクス縮小部14051で生成された長方形の量子化マトリクスを一旦格納しておく量子化マトリクス保持部である。上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では実施形態5で生成された動画像ビットストリームをフレーム単位で入力する構成となっているが、1フレーム分の静止画像ビットストリームを入力する構成としても構わない。またはスライス単位やパケット単位といった分割されたビットストリームを順次入力しても構わない。図14において、入力された1フレーム分のストリームデータは復号分離部14001に入力され、画像を再生するのに必要なヘッダ情報が復号され、さらに後段で使用される符号が分離され出力される。ヘッダ情報に含まれる量子化マトリクス符号データは量子化マトリクス復号部14008に入力され、後段の逆量子化処理で用いられる量子化マトリクスとしてサブブロックサイズに対応する量子化マトリクスが再生される。本実施形態では、4×4画素サブブロックに対応する第1量子化マトリクス、8×8画素サブブロックに対応する第2量子化マトリクス、16×16画素サブブロックに対応する第3量子化マトリクスの正方形の量子化マトリクス3種類を再生する。本実施形態では、サブブロックサイズが4×4画素、8×8画素、16×16画素、16×4画素、4×16画素の5種類であるが、その中で正方形の形状のものは3種類である。そのため、再生する量子化マトリクスは3種類となっているが、直交変換の形状の増減に合わせて、再生する量子化マトリクスも増減する。再生された正方形の量子化マトリクスは量子化マトリクス縮小部14051に入力され、長方形の直交変換に対応する量子化マトリクスを入力された正方形の量子化マトリクスから生成する。本実施形態では、16×4画素および4×16画素の2種の直交変換サイズが存在しているため、16×4画素および4×16画素の量子化マトリクスを16×16画素の量子化マトリクスを縮小して生成する。生成された長方形の量子化マトリクスは量子化マトリクス復号部14008で再生された正方形の量子化マトリクスとともに量子化マトリクス保持部14009に入力され、一旦格納される。また、復号分離部14001で分離された符号のうち、予測および変換に関する符号は予測変換方法抽出部306に入力され、復号されて、予測方法とサブブロックサイズを示す情報が生成される。さらに、復号分離部14001で分離された符号のうち、量子化係数符号データは係数復号部302に入力される。図16は、実施形態6に係る画像復号装置における画像復号処理を示すフローチャートである。実施形態2の図6と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。まず、ステップS1601にて、復号分離部14001はヘッダ情報を復号する。ステップS1602にて、量子化マトリクス復号部14008はヘッダ情報に含まれる量子化マトリクス符号データを復号し、後段の逆量子化処理で用いる量子化マトリクスが再生される。本実施形態では正方形の各サブブロックサイズに対応した、4×4画素の第1量子化マトリクス、8×8画素の第2量子化マトリクス、16×16画素の第3量子化マトリクスを復号再生する。ただし、復号順序はこれに限定されない。ステップS1651にて、量子化マトリクス縮小部14051は第3量子化マトリクスを前述の方法で縮小し、16×4画素の直交変換に対応する第4量子化マトリクスおよび4×16画素の直交変換に対応する第5量子化マトリクスを生成する。本ステップの処理は図15のステップS1551と同様である。以上の構成と動作により、実施形態5で生成された、各サブブロックサイズが表す直交変換に対応した最適な量子化マトリクスを用いて量子化しつつ、正方形の量子化マトリクスのみを符号化したビットストリームの復号を行い、再生映像を得ることができる。これにより、量子化マトリクスの符号化によって発生する符号量を抑えたビットストリームの復号が可能になる。なお、本実施形態では、量子化マトリクス縮小部14051によって生成された長方形の直交変換に対応した量子化マトリクスを量子化マトリクス保持部14009に格納する形態を示したが、実施の形態はこれに限定されない。量子化マトリクス保持部14009は正方形の量子化マトリクスのみを格納し、長方形の量子化マトリクスが使用される度に正方形の量子化マトリクスを縮小し、長方形の量子化マトリクスを生成する形態をとっても良い。このようにして、量子化マトリクス保持部14009において量子化マトリクスの保持に必要なメモリ量を軽減することも可能である。また、本実施形態では、16画素から4画素への縮小処理を行う際に、4nただしnは整数番目の要素を抽出し、他の要素を間引くことで縮小処理を実現したが、縮小処理の方法はこれに限定されない。4n1、4n2、または4n3番目の要素を抽出し、他の要素を間引くことで縮小処理を実現しても良い。さらには、4n、4n1、4n2、4n3番目の4要素の平均をとることで縮小処理を実現してももちろん構わない。また、本実施形態では16×16画素から16×4画素および4×16画素を生成する1/4倍の縮小処理について示したが、倍率はこれに限定されない。16×16画素から16×2画素および2×16画素の1/8倍、または16×16画素から16×8画素および8×16画素の1/2倍としても発明の本質は変わらない。さらには、本実施形態では16×16画素の量子化マトリクスを縮小する形態を示したが、32×32画素および8×8画素の量子化マトリクスを縮小して長方形の量子化マトリクスを生成しても良い。<実施形態7>図1、図3、図8、図9、図13、図14に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、図1、図3、図8、図9、図13、図14に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。図12は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。CPU1401は、RAM1402やROM1403に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU1401は、図1、図3、図8、図9、図13、図14に示した各処理部として機能することになる。RAM1402は、外部記憶装置1406からロードされたコンピュータプログラムやデータ、I/Fインターフェース1409を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM1402は、CPU1401が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1402は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。ROM1403には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部1404は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU1401に対して入力することができる。表示部1405は、CPU1401による処理結果を表示する。また表示部1405は例えば液晶ディスプレイのような表示装置で構成される。外部記憶装置1406は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置1406には、OSオペレーティングシステムや、図1、図3、図8、図9、図13、図14に示した各部の機能をCPU1401に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置1406には、処理対象としての各画像データが保存されていても良い。外部記憶装置1406に保存されているコンピュータプログラムやデータは、CPU1401による制御に従って適宜RAM1402にロードされ、CPU1401による処理対象となる。I/F1407には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F1407を介して様々な情報を取得したり、送出したりすることができる。1408は上述の各部を繋ぐバスである。上述の構成からなる作動は前述のフローチャートで説明した作動をCPU1401が中心となってその制御を行う。<その他の実施形態>本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムOSなどが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。