"第1の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第1予測情報を生成する第1の符号化手段と、第1の解像度と該第1の解像度より大きい第2の解像度との比を用いて、前記第1の符号化手段から出力される第1の画像を、前記第1予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、第2の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第2の符号化手段とを有することを特徴とする画像符号化装置。前記第1予測情報は、第1の解像度の画像のブロックのイントラ予測の方向を示す情報であることを特徴とする請求項1に記載の画像符号化装置。前記変倍手段は、前記第1予測情報が示す第1の解像度の画像のブロックのイントラ予測の方向によって、タップ数の異なったフィルタを用いて変倍することを特徴とする請求項2に記載の画像符号化装置。前記変倍手段は、前記第1予測情報が示す第1の解像度の画像のブロックのイントラ予測の方向と平行の方向のエッジが保存されるフィルタを使用して変倍を行うことを特徴とする請求項3に記載の画像符号化装置。前記変倍手段は、前記第1予測情報が示す第1の解像度の画像のブロックのイントラ予測の方向によって、前記イントラ予測の方向と平行もしくはそれに近い角度のフィルタリングにはタップ数の短いフィルタを使用し、前記イントラ予測の方向と垂直もしくはそれに近い角度のフィルタリングにはタップ数の長いフィルタを使用することを特徴とする請求項3に記載の画像符号化装置。第1の解像度の画像および第1の解像度よりも大きい第2の解像度の画像が符号化されたビットストリームを入力して復号する画像復号装置において、第1の解像度の画像に対応する第1の符号データを復号するとともに、予測の方法を示す第1予測情報を復号する第1の復号手段と、第1の解像度と第2の解像度との比を用いて、前記第1の復号手段から出力される第1の画像を、前記第1予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、第2の解像度の画像に対応する第2の符号データを、前記レイヤ間画素予測参照データに基づいて復号する第2の復号手段とを有することを特徴とする画像復号装置。画像符号化装置における画像符号化方法であって、第1の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第1予測情報を生成する第1の符号化工程と、第1の解像度と該第1の解像度より大きい第2の解像度との比を用いて、前記第1の符号化手段から出力される第1の画像を、前記第1予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍工程と、第2の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第2の符号化工程とを有することを特徴とする画像符号化方法。第1の解像度の画像および第1の解像度よりも大きい第2の解像度の画像が符号化されたビットストリームを入力して復号する画像復号装置における画像復号方法であって、第1の解像度の画像に対応する第1の符号データを復号するとともに、予測の方法を示す第1予測情報を復号する第1の復号工程と、第1の解像度と第2の解像度との比を用いて、前記第1の復号手段から出力される第1の画像を、前記第1予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍工程と、第2の解像度の画像に対応する第2の符号データを、前記レイヤ間画素予測参照データに基づいて復号する第2の復号工程とを有することを特徴とする画像復号方法。コンピュータが読み出して実行することにより、前記コンピュータを、請求項1に記載の符号化装置として機能させることを特徴とするプログラム。コンピュータが読み出して実行することにより、前記コンピュータを、請求項6に記載の復号装置として機能させることを特徴とするプログラム。空間スケーラビリティを持つ階層符号化を実現しようとした時、H.264のように低解像度の基本レイヤのブロックの符号化済画素を拡大して、拡張レイヤのブロックの画素予測に用いることは符号化効率の観点から有効であると考えられている。しかしながら、H.264のように画像の特性を用いずに拡大処理を行うと、最適な拡大方法を適用することができず、符号化効率が向上しないという問題が生じている。したがって、本発明は上述した課題を解決するためになされたものであり、階層符号化における拡大処理に基本レイヤのブロックの符号化情報を用いることにより、符号化効率の向上を図ることを目的とする。上記の課題を解決するため、本発明の画像符号化装置は、第1の解像度の画像を入力し、ブロック単位で、符号化済みの画素から符号化対象のブロックの予測を行い符号化するとともに予測の方法を示す第1予測情報を生成する第1の符号化手段と、第1の解像度と該第1の解像度より大きい第2の解像度との比を用いて、前記第1の符号化手段から出力される第1の画像を、前記第1予測情報によって定まるフィルタを用いて変倍し、レイヤ間画素予測参照データを生成する変倍手段と、第2の解像度の画像を入力し、ブロック単位で、符号化済みの画素もしくは前記レイヤ間画素予測参照データから予測を行い符号化する第2の符号化手段とを有することを特徴とする。本発明により、階層符号化における拡大処理については、基本レイヤブロックの符号化情報に基づいて使用するフィルタを決定する。これにより、画像の特性に応じたフィルタを選択することが可能になり、符号化効率をさらに向上させることができる。以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。<実施形態1>以下、本発明の実施形態を、図面を用いて説明する。図1は本実施形態の画像符号化装置を示すブロック図である。図1において、101は画像データを入力する端子である。102は入力された画像データをフレーム単位に格納するフレームメモリである。103は変倍部であり、入力された画像データを倍率n/mn、mは正の数で変倍する。104は変倍された画像データをフレーム単位で格納するフレームメモリである。105、112は予測部であり、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測等を行い、予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。また予測に必要な情報、例えば、イントラ予測モード等の情報も予測誤差と併せて出力される。以後、本発明ではイントラ予測モード等、予測に必要な情報を予測情報と呼ぶ。106、113は前記予測誤差をブロック単位で直交変換して変換係数を得て、さらに量子化を行い、量子化係数を得る変換量子化部である。107、114は変換量子化部106、113から出力された量子化係数および予測部105、112から出力された予測情報を符号化して符号データを生成する符号化部である。108、115は変換量子化部106、113から出力された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。110、117は再生された画像データを格納しておくフレームメモリである。109、116は画像再生部である。予測部105、112から出力された予測情報に基づいて、フレームメモリ110、117を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。111は変倍部であり、予測部105から出力された予測情報に基づいて、変倍部103と逆の変倍率m/nでフレームメモリ110の画像データをフィルタ演算にて変倍する。ここで、フレームメモリ104、110、予測部105、変換量子化部106、符号化部107、逆量子化逆変換部108、画像再生部109は基本レイヤの画像データを符号化する。また、フレームメモリ102、117、予測部112、変換量子化部113、符号化部114、逆量子化逆変換部115、画像再生部116は拡張レイヤの画像データを符号化する。118はこれらの基本レイヤの符号データと拡張レイヤの符号データを多重化してビットストリームを形成する多重化部である。119は端子であり、多重化部118で生成されたビットストリームを外部に出力する端子である。上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、1フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化とイントラ予測符号化の処理を混合して用いた場合においても適用可能である。最初に基本レイヤの符号化動作について説明する。端子101から入力された1フレーム分の画像データはフレームメモリ102に格納される。変倍部103ではフレームメモリ102に格納された画像データを所定の倍率n/mで変倍する。空間スケーラビリティの場合、n/mは1未満の値となる。変倍された画像データはフレームメモリ104に格納される。また、変倍率は変倍部111に入力される。予測部105ではブロック単位の予測が行われ、予測誤差が生成され、変換量子化部106に入力される。また、予測情報は、変倍部111、画像再生部109および符号化部107に入力される。変換量子化部106では、入力された予測誤差に直交変換量子化を行い、量子化係数を生成する。生成された量子化係数は符号化部107および逆量子化逆変換部108に入力される。符号化部107では、変換量子化部106で生成された量子化係数および予測部105から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に限定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは多重化部118に入力される。一方、逆量子化逆変換部108では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、画像再生部109に出力する。画像再生部109では、予測部105から入力される予測情報に基づいて、フレームメモリ110を適宜参照し、予測画像を再生する。そして再生された予測画像と逆量子化逆変換部108から入力された予測誤差から、画像データを再生し、フレームメモリ110に入力し、格納する。続いて、拡張レイヤの画像データの符号化動作について説明する。予測部112におけるレイヤ間画素予測に先立ち、変倍部111は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の画像データをフレームメモリ110から抽出する。抽出された基本レイヤの画像データはm/n倍に変倍され、レイヤ間画素予測参照画像データとして、予測部112に出力される。この時、変倍部111では、変倍部103から倍率を入力し、そして予測部105から基本レイヤブロックの予測情報を入力して、変倍処理に用いるフィルタを決定する。本実施形態では、入力される予測情報は基本レイヤブロックのイントラ予測モードであり、その内容は図2に示されている8方向DC予測の9通りの予測モードのいずれかを示す情報である。基本レイヤのブロックのイントラ予測に用いられる方法はこれに限定されず、例えば図2の予測方向0と予測方向5の間に新しい予測方向を設け、より多くの予測方向からイントラ予測をしても良い。その場合、変倍部111に入力される予測情報もそれに対応して変更される。図3は本実施形態におけるイントラ予測モードと変倍処理に用いるフィルタの組み合わせを示している。本実施形態では倍率m/nを2倍として、基本レイヤのブロックの符号化済画素を2倍に拡大し、拡張レイヤの予測に用いるものとする。例えば、基本レイヤのブロックが予測モード0図2の垂直方向で符号化されていた場合、垂直方向の拡大には[-3、19、19、-3]の4タップフィルタを用いる。また、水平方向の拡大には[-1、4、-11、40、40、-11、4、-1]の8タップフィルタを用いる。もちろん、イントラ予測モードと使用するフィルタの組み合わせや拡大処理に用いるフィルタの種類はこれに限定されない。例えば、フィルタの種類として、イントラ予測モードの方向と平行の方向のエッジが保存されるフィルタを使用する。またはイントラ予測モードの方向に基づいてイントラ予測モードの方向と平行もしくはそれに近い角度のフィルタリングにはタップ数の短いフィルタを使用する。一方、イントラ予測モードの方向と垂直もしくはそれに近い角度のフィルタリングにはタップ数の長いフィルタを使用する。前述の例では、基本レイヤのブロックが予測モード0図2の垂直方向で符号化されていた場合、当該ブロックの領域では、垂直方向のエッジが存在している可能性が高い。そのため、垂直方向の拡大にはよりタップ数の短い4タップフィルタを用い、水平方向の拡大にはよりタップ数の長い8タップフィルタを用いている。予測部112はフレームメモリ102に格納された画像データに対してブロック分割を行い、ブロック単位でイントラ予測またはレイヤ間画素予測を行い、予測誤差を生成する。イントラ予測を行う際にはフレームメモリ117を適宜参照し、レイヤ間画素予測を行う際には変倍部111から出力されたレイヤ間画素予測参照画像データを適宜参照する。生成された予測誤差は変換量子化部113に入力される。また、予測情報は、画像再生部116および符号化部114に入力される。変換量子化部113では、入力された予測誤差に直交変換量子化を行い、量子化係数を生成する。生成された量子化係数は符号化部114および逆量子化逆変換部115に入力される。符号化部114では、変換量子化部113で生成された量子化係数および予測部112から入力された予測情報をエントロピー符号化し、符号データを生成する。生成された符号データは多重化部118に入力される。一方、逆量子化逆変換部115では、変換量子化部113から入力された量子化係数を逆量子化逆変換し、予測誤差を再生する。画像再生部116では、予測部112から入力される予測情報に基づいて、フレームメモリ117およびレイヤ間画素予測参照画像データを適宜参照し、予測画像を再生する。この予測画像および逆量子化逆変換部115から入力された予測誤差から、画像データを再生し、フレームメモリ117に入力し、格納する。多重化部118では所定の書式に従ってこれらの符号データを多重化し、ビットストリームとして端子119から外部に出力する。図4は、実施形態1に係る画像符号化装置における基本レイヤの符号化処理を示すフローチャートである。まず、ステップS401にて、変倍部103は入力された画像データを所定の倍率n/mで変倍する。ステップS402にて、予測部105はステップS401で変倍された画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測を行い、予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップS403にて、変換量子化部106はステップS402で算出された予測誤差を直交変換して変換係数を生成し、さらに量子化を行い、量子化係数を生成する。ステップS404にて、逆量子化逆変換部108はS403にて生成された量子化係数を逆量子化逆直交変換し、予測誤差を再生する。ステップS405にて、画像再生部109はステップS402で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップS404で生成された予測誤差から画像データを再生する。ステップS406にて、符号化部107はステップS403で生成された量子化係数およびステップS402で生成された予測情報を符号化し、符号データを生成する。なお、ステップS406はステップS403の後に実行されるのであれば、順序は問わない。ステップS407にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば基本レイヤの符号化処理を終了し、そうでなければ次のブロックを対象としてステップS402に戻る。また、図5は、実施形態1に係る画像符号化装置における拡張レイヤの符号化処理を示すフローチャートである。図5において、図4のブロックと同等の機能を実現するステップについては同じ番号を付し、説明を省略する。まず、ステップS501にて、変倍部111は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして、選択されたフィルタを用いて基本レイヤのブロックの符号化済画素を変倍し、レイヤ間画素予測のための参照画像データを生成する。ステップS502にて、予測部112は入力された画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測またはステップS501にて生成された参照画像データを参照してレイヤ間画素予測を行い、予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップS505にて、画像再生部116はステップS502で生成された予測情報に基づいてイントラ予測またはレイヤ間画素予測を行い、予測画像を再生する。そして本ステップで再生された予測画像とステップS404で再生された予測誤差から画像データを再生する。ステップS506にて、符号化部114はステップS403で生成された量子化係数およびステップS502で生成された予測情報を符号化し、符号データを生成する。なお、ステップS506はステップS403の後に実行されれば順序は問わない。ステップS507にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば拡張レイヤの符号化処理を終了し、そうでなければ次のブロックを対象として、ステップS501に戻る。これらの基本レイヤの符号化処理および拡張レイヤの符号化処理に続いて、多重化部118はステップS406で生成された基本レイヤの符号データおよびステップS506で生成された拡張レイヤの符号データを所定の方法で多重化しビットストリームを生成する。以上の構成と動作により、特にステップS501における基本レイヤの予測情報に基づいた変倍処理によって、効率の良いレイヤ間画素予測を拡張レイヤで用いることができ、高効率の符号化を行うことができる。なお、基本レイヤの符号化装置と拡張レイヤの符号化装置が個別に存在し、変倍部103、111が外部にある構成でも構わないし、変倍部103が外部にあり、変倍部111は拡張レイヤの符号化装置に含まれる構成でも構わない。その場合、複数の解像度の画像が入力され、そのうち解像度が小さい方の画像が基本レイヤの符号化装置に入力され、解像度が大きい方の画像が拡張レイヤの符号化装置に入力される。なお、イントラ予測の方向に応じて選択するフィルタ係数の例を図3に示したが、タップ数、フィルタ係数、フィルタの形状はこれに限定されない。例えば2次元フィルタを用いても構わない。なお、本実施例において、予測誤差に対して変換量子化部106、逆量子化逆変換部108および変換量子化部113、逆量子化逆変換部115を用いて情報量の削減を行ったが、これに限定されない。例えば、量子化パラメータが1の場合は量子化されないし、変換をせずに予測誤差をそのままPCM符号化しても良い。<実施形態2>図6は、本発明の実施形態2に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態1で生成された符号化データの復号を例にとって説明する。601は符号化されたビットストリームを入力する端子である。602はビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する分離部である。分離部602は図1の多重化部118と逆の動作を行う。603と609は復号部であり、各レイヤの符号データから量子化係数に関する符号データと予測情報に関する符号データに分離して、それぞれの符号データを復号し、量子化係数と予測情報を再生し後段に出力する。復号部603、609は図1の符号化部107、114と逆の動作を行う。604と610は逆量子化逆変換部であり、図1の108、115同様、ブロック単位で量子化係数を入力し、逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。605、611は画像再生部である。図1の109、116同様、復号部603、609から出力された予測情報に基づいて、フレームメモリ606、612を適宜参照して予測画像データを生成する。そして、この予測画像データと逆変換部604、610で再生された予測誤差から再生画像データを生成し、出力する。606,612はフレームメモリである、再生されたピクチャの画像データを格納しておく。608は図1の変倍部111と同じ変倍率に応じて基本レイヤの画像データを前記予測情報に基づいて変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良いし、所定の値を設定しても構わない。607、613は端子であり、端子607は基本レイヤの画像データを出力し、端子613は拡張レイヤの画像データを出力する。ここで、復号部603、逆量子化逆変換部604、画像再生部605、フレームメモリ606は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、復号部609、逆量子化逆変換部610、画像再生部611、フレームメモリ612、変倍部608は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態1で生成されたビットストリームを復号する。図6において、端子601から入力されたビットストリームは分離部602に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は復号部603に、後者は復号部609に入力される。最初に基本レイヤの符号データの復号動作について説明する。基本レイヤの符号化データは復号部603に入力される。復号部603はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化逆変換部604に入力され、再生された予測情報は画像再生部605および変倍部608に入力される。逆量子化逆変換部604では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する再生された予測誤差は画像再生部605に入力される。画像再生部605では、復号部603から入力された予測情報に基づいて、フレームメモリ606を適宜参照し、予測画像を再生する。この予測画像と逆量子化逆変換部604から入力された予測誤差から画像データを再生し、フレームメモリ606に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子607から基本レイヤの画像データとして出力される。続いて拡張レイヤの符号データの復号動作について説明する。画像再生部611におけるレイヤ間画素予測に先立ち、変倍部608は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の画像データをフレームメモリ606から抽出する。抽出された画像データは変倍率n/mに応じてm/n倍され、レイヤ間画素予測参照画像データとして画像再生部611に出力される。この時、変倍部608では、復号部603から基本レイヤブロックの予測情報を入力して、実施形態1の図1の変倍部111同様、イントラ予測モードに従って変倍処理に用いるフィルタを決定する。拡張レイヤの符号化データは復号部609に入力される。復号部609はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化逆変換部610に入力され、予測情報は画像再生部611に入力される。逆量子化逆変換部610では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部611に入力される。画像再生部611では、復号部609から入力された予測情報に基づいて、フレームメモリ612から入力された復号済みの周囲の画素データおよび変倍部608から入力されたレイヤ間画素予測参照画像データを適宜参照し、予測画像を再生する。再生された予測画像と逆量子化逆変換部610から入力された予測誤差から画像データを再生し、フレームメモリ612に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子613から拡張レイヤの画像データとして出力される。以下、実施形態2に係る画像復号装置におけるビットストリームの復号処理について説明する。まず、処理に先立ち不図示のステップにより、分離部602は入力されたビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する。基本レイヤの符号データは後述する基本レイヤの復号処理によって復号され、拡張レイヤの符号データは同じく後述する拡張レイヤの復号処理によって復号される。図7は、実施形態2に係る画像復号装置における基本レイヤの復号処理を示すフローチャートである。ステップS701にて、復号部603は基本レイヤの符号データを復号し、量子化係数と予測情報を再生する。ステップS702にて、逆量子化逆変換部604はステップS701で生成された量子化係数を逆量子化逆直交変換し、予測誤差を再生する。ステップS703にて、画像再生部605はステップS701で生成された予測情報に基づいて、復号済み画素を参照してイントラ予測を行い、予測画像を再生する。そして再生された予測画像とステップS702で再生された予測誤差から画像データを再生する。ステップS704にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば基本レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップS701に戻る。また、図8は、実施形態2に係る画像復号装置における拡張レイヤの復号処理を示すフローチャートである。ステップS801にて、変倍部608は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして選択されたフィルタを用いて基本レイヤのブロックの復号済画素を変倍し、レイヤ間画素予測のためのレイヤ間画素予測参照画像データを生成する。ステップS804にて、画像再生部611は、ステップS701で生成された予測情報に基づいて予測を行い、予測画像を再生する。イントラ予測の場合には復号済みの画素を参照し、レイヤ間画素予測の場合にはステップS801で生成されたレイヤ間画素予測参照画像データを参照し、予測画像を再生する。そして再生された予測画像とステップS702で再生された予測誤差から画像データを再生する。ステップS805にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば拡張レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップS801に戻る。以上の構成と動作により、特にステップS801における基本レイヤの予測情報に基づいた変倍処理によって、実施形態1の符号化装置で生成した効率の良いレイヤ間画素予測を用いたビットストリームを復号し、再生画像を得ることができる。また、基本レイヤの画像復号装置と拡張レイヤの画像復号装置が個別にあり、変倍部608が外部にある構成でも構わない。なお、本実施例において、予測誤差を逆量子化逆変換部604および逆量子化逆変換部610を用いて再生を行ったが、これに限定されない。例えば、符号データが量子化されていない場合、変換をせずに予測誤差をそのままPCM符号化されている場合、これらを用いずに復号できることは明らかである。<実施形態3>図9は本実施形態の画像符号化装置を示すブロック図である。図9において、実施形態1の図1と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。903は変倍部であり、入力された画像データを倍率n/mn、mは正の数で変倍する。図1の変倍部103とは変倍率を、符号化済み画素を拡大処理する変倍部111ではなく、予測誤差を拡大処理する変倍部931に出力するところが異なる。908は図1の逆量子化逆変換部108同様、変換量子化部106から出力された逆量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。予測誤差を画像再生部109だけでなく変倍部931にも出力するところが図1の逆量子化逆変換部108とは異なる。931は変倍部であり、予測部905から出力された予測情報に基づいて、変倍部903と逆の変倍率m/nで逆量子化逆変換部908で生成された予測誤差を変倍処理する。そして、拡張レイヤでのレイヤ間残差予測に用いられるレイヤ間残差予測参照データを生成する。905、912は予測部であり、図1の予測部105、112同様、画像データを複数のブロックに切り出し、フレーム内予測であるイントラ予測等を行い、予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出し、出力する。そしてイントラ予測モードなどの予測情報も出力する。予測部905は予測情報を、符号化済み画素を拡大処理する変倍部111ではなく、予測誤差を拡大処理する変倍部931に出力するところが図1の予測部105と異なる。また、予測部912は、本実施形態ではレイヤ間画素予測を行わない形態となっているため、図1の予測部112とはレイヤ間画素予測を行わない点が異なる。ただし、レイヤ間画素予測も用いる構成をとってももちろん良い。951は、予測部912で生成された予測誤差に対しレイヤ間残差予測を行う残差予測部である。レイヤ間残差予測を用いるか否かを決定し、レイヤ間残差予測を用いる場合は、予測部912で生成された予測誤差と変倍部931で生成されたレイヤ間残差予測参照データとの差分を新たな予測誤差として更新する。914は変換量子化部113から出力された量子化係数、予測部912から出力された予測情報および残差予測部951から出力されたレイヤ間残差予測情報を符号化して符号データを生成する符号化部である。936は画像再生部である。予測部912から出力された予測情報に基づいて、フレームメモリ117を適宜参照して予測画像データを生成する。また、レイヤ間残差予測を用いる場合には、逆量子化逆変換部115で生成された予測誤差に変倍部931で生成されたレイヤ間残差予測参照データを加算し、予測誤差を更新する。そして生成された予測画像および予測誤差から再生画像データを生成し、出力する。上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態でも実施形態1と同様、動画像データをフレーム単位に入力する構成となっているが、1フレーム分の静止画像データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化とイントラ予測符号化の処理を混合して用いた場合においても適用可能である。最初に基本レイヤの符号化動作について説明する。変倍部903ではフレームメモリ102に格納された画像データを所定の倍率n/mで変倍する。変倍された画像データはフレームメモリ104に格納され、変倍率は変倍部931に入力される。予測部905ではブロック単位の予測が行われ、予測誤差が生成され、変換量子化部106に入力される。また、予測情報は、変倍部931、画像再生部109および符号化部107に入力される。逆量子化逆変換部908では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、画像再生部109および変倍部931に出力する。端子101、フレームメモリ102、104、110、変換量子化部106、符号化部107および画像再生部109の動作は実施形態1と同様であるため、省略する。続いて、拡張レイヤの画像データの符号化動作について説明する。残差予測部951におけるレイヤ間残差予測に先立ち、変倍部931は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の予測誤差を逆量子化逆変換部908から入力する。入力された基本レイヤの予測誤差はm/n倍に変倍され、レイヤ間残差予測に用いられるレイヤ間残差予測参照データとして、残差予測部951および画像再生部936に出力される。この時、変倍部931では変倍部903から倍率を入力して、予測部905から基本レイヤのブロックの予測情報を入力して、変倍処理に用いるフィルタを決定する。本実施形態においては、変倍部931における変倍処理に用いるフィルタの決定方法は図1の変倍部111におけるフィルタの決定方法と同一であるものとし、ここでの説明は省略する。予測部912はフレームメモリ102に格納された画像データに対してブロック分割を行い、ブロック単位でフレームメモリ117を適宜参照しつつイントラ予測を行い、予測誤差を生成する。生成された予測誤差は残差予測部951に入力される。また、予測情報は、画像再生部936および符号化部914に入力される。残差予測部951は、まず、予測部912から入力された予測誤差と変倍部931で生成されたレイヤ間残差予測参照データを比較して、レイヤ間残差予測を用いるか否かを決定し、その情報をレイヤ間残差予測情報として符号化部914に出力する。レイヤ間残差予測を用いる場合は、予測部912で生成された予測誤差と変倍部931で生成されたレイヤ間残差予測参照データとの差分を新たな予測誤差として更新し、変換量子化部113に出力する。レイヤ間残差予測を用いない場合は予測部912で生成された予測誤差をそのまま予測誤差として変換量子化部113に出力する。符号化部914では、変換量子化部113で生成された量子化係数、予測部912から入力された予測情報および残差予測部951から入力されたレイヤ間残差予測情報をエントロピー符号化し、符号データを生成する。生成された符号データは多重化部118に入力される。画像再生部936では、予測部912から入力される予測情報に基づいて、フレームメモリ117を適宜参照し、予測画像を再生する。また、残差予測部951からレイヤ間残差予測情報を入力し、レイヤ間残差予測を行う場合には、逆量子化逆変換部115から入力された予測誤差に変倍部931からレイヤ間残差予測参照データを加え、予測誤差を更新する。そして、再生された予測画像および前記予測誤差から画像データを再生し、フレームメモリ117に入力し、格納する。変換量子化部113、逆量子化逆変換部115、フレームメモリ117、多重化部118および端子119の動作は実施形態1と同様であるため省略する。図11は、実施形態3に係る画像符号化装置における拡張レイヤの符号化処理を示すフローチャートである。本実施形態における基本レイヤの符号化処理は実施形態1における基本レイヤの符号化処理と同様であるため、説明は省略する。図11において、実施形態1の図4と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。まず、ステップS1101にて、変倍部931は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理を用いるフィルタを選択する。そして、選択されたフィルタを用いて基本レイヤのブロックの予測誤差を変倍し、レイヤ間残差予測のためのレイヤ間残差予測参照データを生成する。ステップS1102にて、予測部912は入力された画像データを複数のブロックに切り出し、イントラ予測を行い予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップS1131にて、残差予測部951はステップS1101で生成されたレイヤ間残差予測参照データとステップS1102で生成された予測誤差を比較して、レイヤ間残差予測を用いるか否かを決定する。ステップS1132にて、残差予測部951は符号化対象ブロックにてレイヤ間残差予測を用いるか否かの判定を行い、用いる場合はステップS1133に進み、用いない場合はステップS403に進む。ステップS1133にて、残差予測部951は、ステップS1102で生成された予測誤差とステップS1101で生成されたレイヤ間残差予測参照データとの差分をあらたな予測誤差として更新する。ステップS1105にて、画像再生部936はステップS1102で生成された予測情報に基づいてイントラ予測またはレイヤ間画素予測を行い、予測画像を再生する。また、ステップS1131においてレイヤ間残差予測を行ったか否かによって、ステップS404で再生された予測誤差を更新するか否かを決定し、その情報をレイヤ間残差予測情報として生成する。レイヤ間残差予測を行った場合は、ステップS404で再生された予測誤差にステップS1131で生成されたレイヤ間残差予測参照データを加えたものを予測誤差として更新する。そして、本ステップで再生された予測画像および前記予測誤差から画像データを再生する。ステップS1106にて、符号化部914はステップS403で生成された量子化係数、ステップS1102で生成された予測情報およびステップS1131で生成されたレイヤ間残差予測参照データを符号化し、符号データを生成する。なお、ステップS1106はステップS403の後に実行されれば順序は問わない。ステップS1107にて、画像符号化装置は、すべてのブロックの符号化が終了したか否かの判定を行い、終了していれば拡張レイヤの符号化処理を終了し、そうでなければ次のブロックを対象として、ステップS1101に戻る。また、不図示のステップにより、多重化部118は図4のステップS406で生成された基本レイヤの符号データおよびステップS1106で生成された拡張レイヤの符号データを所定の方法で多重化し、ビットストリームを生成する。以上の構成と動作により、特にステップS1101における基本レイヤの予測情報に基づいた変倍処理によって、効率の良いレイヤ間残差予測を拡張レイヤで用いることができ、高効率の符号化を行うことができる。なお、基本レイヤの画像符号化装置と拡張レイヤの画像符号化装置が個別に存在し、変倍部903、931が外部にある構成でも構わないし、変倍部903が外部にあり、変倍部931は拡張レイヤの符号化装置に含まれる構成でも構わない。その場合、複数の解像度の画像が入力され、そのうち解像度が小さい方の画像が基本レイヤの符号化装置に入力され、解像度が大きいほうの画像が拡張レイヤの符号化装置に入力される。また、本実施形態では、レイヤ間残差予測を行い、レイヤ間画素予測は行わない構成としたが、レイヤ間画素予測とレイヤ間残差予測を同時に行っても構わない。その場合、図1の変倍部111と同等の機能を有する変倍部を追加してレイヤ間画素予測とレイヤ間残差予測の変倍処理を独立に制御しても良いし、同一の変倍部931を用いて同一の拡大フィルタを用いた変倍処理を行っても良い。なお、本実施例において、予測誤差に対して変換量子化部106、逆量子化逆変換部908および変換量子化部113、逆量子化逆変換部115を用いて情報量の削減を行ったが、これに限定されない。例えば、量子化パラメータが1の場合は量子化されないし、変換をせずに予測誤差をそのままPCM符号化しても良い。<実施形態4>図10は本実施形態の画像復号装置を示すブロック図である。図10において、実施形態2の図6と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態3で生成された符号化データの復号を例にとって説明する。1003と1009は復号部であり、各レイヤの符号データから量子化係数に関する符号データと予測情報に関する符号データに分離して、それぞれの符号データを復号し、量子化係数と予測情報を再生し、後段に出力する。また、復号部1009はレイヤ間残差予測情報に関する符号データも分離し、それを復号し、レイヤ間残差予測情報を再生し、後段に出力する。復号部1003、1009は図9の符号化部107、914と逆の動作を行う。1004は図6の逆量子化逆変換部604同様、復号部1003から出力された逆量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。予測誤差を画像再生部605だけでなく変倍部1038にも出力するところが図6の逆量子化逆変換部604と異なる。1011は画像再生部である。図9の936同様、復号部1009から出力された予測情報に基づいてフレームメモリ612を適宜参照して予測画像データを生成する。また、逆量子化逆変換部610から予測誤差を入力し、復号部1009から出力された残差予測情報に基づいて、変倍部1038からレイヤ間残差予測参照データを参照し、予測誤差を更新する。さらに、前記予測誤差と予測画像データから再生画像データを生成し、出力する。1038は図9の変倍部931と同じ変倍率に応じて基本レイヤの予測誤差を変倍する変倍部である。なお、変倍率の算出については特に限定しない。基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良いし、所定の値を設定しても構わない。ここで、復号部1003、逆量子化逆変換部1004、画像再生部605、フレームメモリ606は基本レイヤの符号データを復号し、基本レイヤの画像データを再生する。また、復号部1009、逆量子化逆変換部610、画像再生部1011、フレームメモリ612、変倍部1038は拡張レイヤの符号データを復号し、拡張レイヤの画像データを再生する。上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態3で生成されたビットストリームを復号する。実施形態2同様、図10において、端子601から入力されたビットストリームは分離部602に入力され、基本レイヤの符号データと拡張レイヤの符号データに分離され、前者は復号部1003に、後者は復号部1009に入力される。最初に基本レイヤの符号データの復号動作について説明する。基本レイヤの符号化データは復号部1003に入力される。復号部1003はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データを分離する。そしてそれぞれを復号して量子化係数および予測情報を再生する。再生された量子化係数は逆量子化逆変換部1004に入力され、再生された予測情報は画像再生部605および変倍部1038に入力される。逆量子化逆変換部1004では、入力された量子化係数に対し逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は画像再生部605および変倍部1038に入力される。画像再生部605、フレームメモリ606、端子607の動作は実施形態2と同様であるため、説明を省略する。続いて拡張レイヤの符号データの復号動作について説明する。画像再生部1011におけるレイヤ間残差予測に先立ち、変倍部1038は復号対象の拡張レイヤのブロックに対応する基本レイヤのブロックの位置の予測誤差を逆量子化逆変換部1004から入力する。入力された予測誤差は変倍率n/mに応じてm/n倍され、レイヤ間残差予測参照画像データとして画像再生部1011に出力される。この時、変倍部1038では、復号部1003から基本レイヤブロックの予測情報を入力して、実施形態3の図9の変倍部931同様、前記予測情報に基づいて変倍処理に用いるフィルタを決定する。拡張レイヤの符号化データは復号部1009に入力される。復号部1009はヘッダ情報の復号を行い、量子化係数符号データと予測情報符号データおよびレイヤ間残差予測情報符号データを分離する。そしてそれぞれを復号して量子化係数、予測情報およびレイヤ間残差予測情報を再生する。再生された量子化係数は逆量子化逆変換部610に入力され、予測情報およびレイヤ間残差予測情報は画像再生部1011に入力される。画像再生部1011では、復号部1009から入力された予測情報に基づいて、フレームメモリ612を適宜参照し、予測画像を再生する。一方、復号部1009から入力されたレイヤ間残差予測情報に基づいて、逆量子化逆変換部610から入力された予測誤差を更新する。復号対象のブロックにおいてレイヤ間残差予測が用いられる場合には、逆量子化逆変換部610から入力された予測誤差に変倍部1038で生成されたレイヤ間残差予測参照データを加え、あらたな予測誤差として更新する。レイヤ間残差予測が用いられない場合には、逆量子化逆変換部610から入力された予測誤差をそのまま用いる。そして、前記予測誤差と前記再生された予測画像から画像データを再生し、フレームメモリ612に入力し、格納する。格納された画像データは予測の際の参照に用いられ、その一方で端子613から拡張レイヤの画像データとして出力される。逆量子化逆変換部610の動作は実施形態2と同様であるため、説明を省略する。以下、実施形態4に係る画像復号装置におけるビットストリームの復号処理について説明する。実施形態2同様、まず、処理に先立ち不図示のステップにより、分離部602は入力されたビットストリームを基本レイヤの符号データと拡張レイヤの符号データに分離する。基本レイヤの符号データは後述する基本レイヤの復号処理によって復号され、拡張レイヤの符号データは同じく後述する拡張レイヤの復号処理によって復号される。図12は、実施形態4に係る画像復号装置における拡張レイヤの復号処理を示すフローチャートである。本実施形態における基本レイヤの復号処理は実施形態3における基本レイヤの復号処理と同様であるため、説明は省略する。図12において、実施形態2の図8と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。ステップS1201にて、変倍部1038は符号化対象の拡張レイヤのブロックに対応する基本レイヤのブロックの予測モードに基づいて変倍処理に用いるフィルタを選択する。そして選択されたフィルタを用いて基本レイヤのブロックの予測誤差を変倍し、レイヤ間残差予測のためのレイヤ間残差予測参照データを生成する。ステップS1202にて、復号部1009は拡張レイヤの符号データを復号し、量子化係数、予測情報およびレイヤ間残差予測情報を再生する。ステップS1231にて、画像再生部1011は、ステップS1202で再生されたレイヤ間残差予測情報に基づく判定を行い、復号対象ブロックにてレイヤ間残差予測を行う場合はステップS1232に進み、行わない場合はステップS1204に進む。ステップS1232にて、画像再生部1011は、ステップS803で再生された予測誤差にステップS1201で生成されたレイヤ間残差予測参照データを加えて、新しい予測誤差として更新する。そうでない場合には、ステップS803で再生された予測誤差をそのまま用い、ステップS1204にて、画像再生部1011は、ステップS1202で再生された予測情報に基づいて予測を行い、予測画像を再生する。そして前記予測誤差と本ステップにて再生された予測画像から画像データを再生する。ステップS1205にて、画像復号装置は、すべてのブロックの復号が終了したか否かの判定を行い、終了していれば拡張レイヤの復号処理を終了し、そうでなければ次のブロックを対象として、ステップS1201に戻る。以上の構成と動作により、特にステップS1201における基本レイヤの予測情報に基づいた変倍処理によって、実施形態3の符号化装置で生成した効率の良いレイヤ間残差予測を用いたビットストリームを復号し、再生画像を得ることができる。本実施形態において、変倍部608は所定の値として変倍率を設定しているが、これに限定されず、個別に基本レイヤの解像度と拡張レイヤの解像度の比から算出しても良い。また、基本レイヤの復号装置と拡張レイヤの復号装置が個別にあり、変倍部608が外部にある構成でも構わない。また、本実施形態では、レイヤ間残差予測を行い、レイヤ間画素予測は行わない構成としたが、レイヤ間画素予測とレイヤ間残差予測を同時に行っても構わない。その場合、図6の変倍部608と同等の機能を有する変倍部を追加してレイヤ間画素予測とレイヤ間残差予測の変倍処理を独立に制御しても良いし、同一の変倍部1038を用いて同一の変倍処理を行っても良い。なお、本実施例において、予測誤差を逆量子化逆変換部1004および逆量子化逆変換部610を用いて再生を行ったが、これに限定されない。例えば、符号データが量子化されていない場合、変換をせずに予測誤差をそのままPCM符号化されている場合、これらを用いずに復号できることは明らかである。<実施形態5>図1、図6、図9、図10に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行なう処理をコンピュータプログラムでもって構成しても良い。図13は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。CPU1301は、RAM1302やROM1303に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、CPU1301は、図1、図6、図9、図10に示した各処理部として機能することになる。RAM1302は、外部記憶装置1306からロードされたコンピュータプログラムやデータ、I/Fインターフェース1309を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、RAM1302は、CPU1301が各種の処理を実行する際に用いるワークエリアを有する。即ち、RAM1302は、例えば、フレームメモリとして割当てたり、その他の各種のエリアを適宜提供することができる。ROM1303には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部1304は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をCPU1301に対して入力することができる。表示部1305は、CPU1301による処理結果を表示する。また表示部1305は例えば液晶ディスプレイで構成される。外部記憶装置1306は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置1306には、OSオペレーティングシステムや、図1、図6、図9、図10に示した各部の機能をCPU1301に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置1306には、処理対象としての各画像データが保存されていても良い。外部記憶装置1306に保存されているコンピュータプログラムやデータは、CPU1301による制御に従って適宜、RAM1302にロードされ、CPU1301による処理対象となる。I/F1307には、LANやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのI/F1307を介して様々な情報を取得したり、送出したりすることができる。1308は上述の各部を繋ぐバスである。上述の構成からなる作動は前述のフローチャートで説明した作動をCPU1301が中心となってその制御を行う。<その他の実施形態>本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステムOSなどが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。"