"符号化装置または復号装置に用いられる動画像を予測する動画像予測方法において、予測に使用される参照画像の画像データを各々複数の参照画像メモリ領域に記憶するステップと、前記参照画像メモリ領域から選択される使用可能な参照画像メモリ領域の量を決定するパラメータと予測される画像の動きを示す動きパラメータとを受信するステップと、前記パラメータに基づき前記参照画像メモリ領域の使用を前記使用可能な参照画像メモリ領域に限定するステップと、前記動きパラメータに基づき前記使用可能な参照画像メモリ領域の1つに記憶されている画像データを用いて予測画像を生成するステップと、前記参照画像メモリ領域の少なくとも1つに記憶された画像データを任意のタイミングで更新するステップと、を備えたことを特徴とする動画像予測方法。以上のような従来の符号化方式における予測方式では、動画像オブジェクトの予測に際して、動きベクトルの検出しか行わないメモリとワーピングパラメータの検出しか行わないメモリとを最大1画面ずつだけしか使用できない構成になっているため、予測に用いることのできる参照画像をごく限られた方法でしか使用しておらず、予測効率を十分に向上させることができない。また、複数の動画像オブジェクトを同時に符号化するようなシステムにおいても、これらのメモリには、予測される動画像オブジェクト自身の履歴を示す参照画像しか含まれないので、参照画像のバリエーションが限定されるとともに、動画像オブジェクト間の相関を利用して予測を行うことができない。さらに、メモリの更新に際しても、動画像オブジェクトの内部構造や性質、履歴等に関係なくメモリが書き換えられるため、動画像オブジェクトを予測する上で重要な知識を十分にメモリに蓄積できておらず、予測効率の向上が図れないという問題があった。この発明は前記問題点を解決するためになされたものであり、画像データを符号化/復号する場合、複数のメモリを設けて、動画像シーケンスの内部構造、性質などを考慮して、複数のメモリに効果的に動画像シーケンスの履歴を蓄積して、予測および符号化/復号の効率を高めるとともに、複数の動画像オブジェクト間で予測が行える構造を設けてより柔軟な予測方式を提供することを目的とする。本発明の実施の形態は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別の変形手法が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと、該メモリに対応づけられた変形手法に基づき予測画像を生成する予測画像生成部とを備え、少なくとも符号化装置および復号装置のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。上記符号化装置は、上記予測画像の生成に用いた該メモリを示す予測メモリ指示情報信号を生成し、復号側でも該メモリに蓄積された画像データを用いて、該メモリに対応づけられた変更手法に基づき上記予測画像が生成できるように、上記予測メモリ指示情報信号と上記パラメータを復号側へ送信することを特徴とする。上記復号装置は、上記パラメータと上記予測画像の生成に用いたメモリを示す予測メモリ指示情報を符号化側から受け取り、上記予測画像生成部は、上記パラメータと該メモリに対応づけられた変形手法に基づき、該メモリに蓄積された画像データを用いて上記予測画像を生成することを特徴とする。また、本発明の実施の形態は、予測に際して参照する画像データを蓄積するとともに、それぞれ個別のパラメータ有効値域が対応づけられている複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択し、選択されたメモリに蓄積された画像データを用いて予測画像を生成する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。また、本発明の実施の形態は、予測に際して参照する画像データを蓄積する複数のメモリと、被予測画像領域の動きを表現するパラメータを入力し、該パラメータに基づいて上記複数のメモリに蓄積された画像データを用いて予測画像を生成する動き補償部と、上記複数のメモリの少なくとも1つのメモリに蓄積される画像データを任意のタイミングで更新するメモリ更新部とを有する予測画像生成部とを備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する動画像予測方式である。上記動画像予測方式は、第1と第2の動画像オブジェクトを有する動画像シーケンス上の動画像を予測し、上記複数のメモリは、上記第1と第2の動画像オブジェクトに対応する第1と第2の個別の複数のメモリを備え、上記予測画像生成部は、上記第1と第2の動画像オブジェクトに対応する第1と第2の個別の生成部を備えており、上記第1の生成部は、上記第1のオブジェクトを予測する場合に、少なくとも上記第1と第2の複数のメモリのいずれかに蓄積されている画像データを用いて上記予測画像を生成するとともに、第2の複数のメモリを第1のオブジェクトの予測に使用しているか否かを示す情報を予測画像に付加するために生成することを特徴とする。上記予測画像生成部は、動画像の各時刻における変化に応じて、上記複数のメモリの数とサイズのいずれかを増減することにより予測画像を生成することを特徴とする。上記予測画像生成部は、動画像の各時刻における変化に応じて、予測に用いるメモリを限定することにより予測画像を生成することを特徴とする。上記予測画像生成部は、上記複数のメモリに蓄積された上記画像データを用いてそれぞれに生成された複数の予測画像を演算することにより予測画像を生成することを特徴とする。上記動画像予測方式は、被予測画像領域の重要度を示す特徴量パラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記特徴量パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいずれかについて、複数の選択肢の中から少なくとも1つを選択することにより予測画像を生成することを特徴とする。上記動画像予測方式は、少なくとも、被予測画像領域が利用可能な符号量と、各時刻における該画像領域の変化量と、該画像領域の重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも1つを選択することにより予測画像を生成することを特徴とする。上記動画像予測方式は、動画像を動画像オブジェクト単位で予測し、上記動画像予測方式は、少なくとも、被予測動画像オブジェクトが利用可能な符号量と、各時刻における該動画像オブジェクトの変化量と、該動画像オブジェクトの重要度のいずれかを表すパラメータを検出する重要度検出部を備え、上記予測画像生成部は、上記パラメータに基づいて、少なくとも複数の予測方式と、複数のメモリと、複数のメモリ更新方法のいづれかについて、複数の選択肢の少なくとも1つを選択することにより予測画像を生成することを特徴とする。上記動画像予測方式は、動画像の符号化において、予測に係る情報を符号化する予測情報符号化部を備え、上記予測画像生成部は、予測に使用されるメモリの使用頻度数をカウントし、カウントした使用頻度数に基づいて上記複数のメモリのランクを決定し、上記予測情報符号化部は、予測に用いられるメモリのランクに応じて、予測に係わる情報に符号長を割り当てることにより予測に係わる情報を符号化することを特徴とする。上記複数のメモリは、少なくとも、画像データをフレーム単位で蓄積するフレームメモリと、スプライト画像を蓄積するスプライトメモリとを有することを特徴とする。上記スプライトメモリは、少なくとも、逐次更新を伴うダイナミックスプライトメモリと逐次更新を伴わないスタティックスプライトメモリのいずれかを有することを特徴とする。上記複数のメモリは、少なくとも、平行移動、アフィン変換、遠近法変換の内のいずれかの変形手法が変更可能に対応づけられることを特徴とする。また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、上記複数のメモリにそれぞれ個別の変形手法を対応づける工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記被予測画像領域の予測に用いたメモリに蓄積された画像データを用いて、上記パラメータと該メモリに対応づけられた変形手法に基づき予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。上記動画像を予測する方法は、さらに、上記予測画像生成に用いた該メモリを示す予測メモリ指示情報信号を生成する工程と、上記予測メモリ情報信号と上記パラメータを復号側へ送信する工程とを備えたことを特徴とする。上記動画像を予測する方法は、さらに、予測画像の生成に用いたメモリを示す予測メモリ指示情報信号と被予測画像領域の動きを表現するパラメータを符号化側から受け取る工程を備え、復号に用いられることを特徴とする。また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、上記複数のメモリにそれぞれ個別のパラメータ有効値域を対応づける工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記パラメータの値を含む上記パラメータ有効値域が対応づけられたメモリを選択する工程と、選択されたメモリに格納された画像データを用いて予測画像を生成する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。また、本発明の実施の形態は、予測に際して参照する画像データを複数のメモリに蓄積する工程と、被予測画像領域の動きを表現するパラメータを入力する工程と、上記パラメータに基づいて、上記複数のメモリに蓄積された画像データを用いて予測画像を生成する工程と、上記複数のメモリの少なくとも1つのメモリに格納される画像データを任意のタイミングで更新する工程を備え、少なくとも符号化および復号のいずれかに用いられることを特徴とする動画像を予測する方法である。実施の形態1.図1は実施の形態1及び後述する実施の形態における符号化装置の構成を示すブロック図である。同図において、1は入力動画像信号、2はテクスチャデータ、3は動き検出部、4は動きパラメータ、5は動き補償部、6は予測画像候補、7は予測モード選択部、8は予測モード、9は予測画像、10は予測誤差画像、11はテクスチャ符号化部、12は量子化DCT係数、13は局所復号された予測誤差画像、14は局所復号画像、15はメモリ更新部、16はメモリa、17はメモリb、18はメモリc、19は可変長符号化多重化部、20は送信バッファ、21はビットストリーム、80はシーンチェンジ検出部、81はタイマーである。このうち動き補償部5およびメモリ更新部15が予測方式を実現する予測画像生成部100である。また、メモリa,b,cがメモリ領域200である。図中この実施の形態で取り上げない部分については後の実施の形態で説明する。図2は、この符号化装置の動作の流れを示すフローチャートである。この実施の形態では複数、例えば3つのメモリ、を入力動画像の動き量色度等の画像の特徴に基づく重要度に応じて使い分け、かつ任意の時間間隔で任意のメモリ領域、例えばメモリa、の内容を更新する仕組みを設ける。また、動画像シーケンスはフレーム単位に入力されるものとする。1入力信号上述のごとく、上記符号化装置は動画像シーケンスの各時刻の画像を表すフレームを単位に入力し、フレームは被予測画像領域の一例である符号化単位となるマクロブロックに分割されるステップS1。2メモリの使い分け方メモリには、過去に復号済みの画像や、またはあらかじめ固定的に与えられた画像が蓄積されるが、この実施の形態では、フレーム中の部分領域の重要度に応じて、3つのメモリを以下のように使い分ける。メモリa:重要度小の画像領域=動きが静止または均一で、かつテクスチャが均一な背景的画像領域を蓄積する。メモリb:重要度中の画像領域=被写体の動きで、比較的動きの小さい画像領域を蓄積する。メモリc:重要度大の画像領域=被写体の動きで、動きの大きな画像領域を蓄積する。メモリaに蓄積される重要度小の画像領域は、テレビ会議のシーンなどに出てくる背景画像領域と考えることができる。また、ある微少な動きを伴う被写体を含み、カメラ操作によって画面全体の均一な動きが含まれるようなシーンにおける背景領域にも相当する。これらの動きはマクロブロックという小さな単位よりもあらかじめフレーム全体の動きを求めて、それをマクロブロックの動きとして代用すると効率的である。すなわち、従来例に述べたスプライトにおけるワーピングパラメータに相当する変形パラメータを求め、フレーム全体の変形パラメータを各マクロブロックの動きパラメータとみなすことにする。動きパラメータは、単なる平行移動パラメータ=動きベクトルと同義でもよいし、変形を含んだアフィン、遠近法動きパラメータなどであってもよい。ここで、動きベクトルは動きパラメータの一例である。メモリbに蓄積される重要度中の画像領域は例えばテレビ会議のシーンにおいて発言をせずに体だけが動いているような人物の画像領域で、画面中の注目度が低い被写体領域と考えることができる。メモリcに蓄積される重要度大の画像領域は例えばテレビ会議のシーン中、発言者などもっとも注目度が高い被写体領域と考えることができる。メモリb、cに蓄積される領域は被写体固有の動きを持つため、マクロブロックごとに異なる動きパラメータを持つと考えるのが自然である。この際の動きパラメータは、単なる平行移動パラメータ=動きベクトルと同義でもよいし、変形を含んだアフィン、遠近法動きパラメータなどであってもよい。3動き検出ステップS2この実施の形態における動き検出部3は、従来例のような動きベクトルとワーピングパラメータという区別を取り去り、3つのメモリすべてについて任意の変形パラメータをマクロブロック単位に検出できるようにする。また、動き検出部3はメモリaを用いてフレーム全体の変形パラメータを検出するグローバル動きパラメータ検出と、メモリaからcを用いてマクロブロックごとの変形パラメータを検出するローカル動きパラメータ検出の機能を備える。4動き補償ステップS3この実施の形態における動き補償部5の内部構成を図3に示す。同図において、22は予測画像メモリアドレス算出部、23は予測画像メモリアドレス、24はメモリ読み出し部、25は外部から与えられる参照メモリ指示信号である。ここでは、参照メモリ指示信号25は、メモリa,b,cを使用することを指示しているものとする。この動き補償部5の動作を記したフローチャートを図4のステップS11からステップS16に示す。まずIフレームならば、動き補償を行わないステップS11。Iフレームでなければ、動き検出部3で検出されたグローバル動きパラメータならびに各メモリに基づくローカル動きパラメータをもとに予測画像候補を生成するステップS12からステップS15。具体的には、予測画像メモリアドレス算出部22において、参照メモリ指示信号25で指示されるメモリ中の予測画像候補が存在する予測画像メモリアドレス23を動きパラメータ4に基づいて計算し、予測画像メモリアドレス23によってメモリ読み出し部24が対応するメモリから予測画像候補6を取り出して出力する。この実施の形態においてはグローバル動きパラメータもローカル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図3の動き補償部5を共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補6を生成する場合ステップS15は、常にメモリaが参照メモリとして用いられる。5予測モードの選択ステップS4この実施の形態における予測モードは、aメモリaを使用するモード、bメモリbを使用するモード、cメモリcを使用するモード、dイントラフレーム符号化信号を使用するモードがあるものとする。予測モード選択部7は、例えば従来例に示したように、動き補償部5によって生成されるすべての予測画像候補6とイントラフレーム符号化信号を含めて、最も予測誤差信号の電力振幅の小さい予測画像候補6を選択して予測画像9として出力する。また、選択した予測画像9に対応する予測モード8を出力する。この予測モード8の情報の中には、選択した予測画像9を予測したメモリを示すメモリ選択情報も含まれている。予測モード8は可変長符号化多重化部19へ送られ、割り当てられた符号長で予測メモリ指示情報800としてビットストリーム21の中に符号化される。6メモリの更新メモリの更新はメモリ更新部15で制御される。この実施の形態におけるメモリ更新部15の内部構成を図5に示す。同図において、26はメモリaの更新に用いるアクティビティ詳細は後述する、27はメモリa更新判定部、28は参照メモリ選択部、29、30はスイッチ、31はメモリaを更新する画像データ、32はメモリbを更新する画像データ、33はメモリcを更新する画像データ、34はメモリaを更新するグローバル予測画像データである。また、メモリ更新の動作フローを図6に示す。この実施の形態におけるメモリ更新は以下の手順を踏む。メモリ更新部15は局所復号画像14を入力すると、メモリa更新判定部27において該局所復号画像14が属するフレームに対するメモリa更新の必要性を判定しステップS17、参照メモリ選択部28において予測モード8に基づき予測に使用したメモリを選択しステップS18、S19、選択されたメモリ内の参照画像を該局所復号画像14のメモリaを更新する画像データ31、メモリbを更新する画像データ32、メモリcを更新する画像データ33、メモリaを更新するグローバル予測画像データ34のいずれかを用いて下記のルールで更新する。なお、該メモリ更新は予測単位マクロブロック単位でフレーム毎に行われる。1メモリb、cの毎フレーム更新ステップS20、S21当該画像の予測に用いたメモリbまたはメモリcに、局所復号画像14を書き込む。2メモリaの任意フレーム更新ステップS22、S23当該画像の予測に用いたメモリaにステップS17のメモリa更新判定結果1000に基づき、任意のフレームについてのみ、または任意の時間間隔で局所復号画像14を書き込む。メモリaの内容はいわば背景画像などの時不変画像領域の履歴であり、シーンチェンジや画面全体の大きな動きなどによって領域の内容がおおきく変化することでもない限り、メモリ内容の更新の必要がない。上述のように被写体などの動領域についてはフレーム単位で逐次更新し、メモリaの内容はより長い時間間隔で更新する仕組みを備えておけば、被写体の動きによって見え隠れする背景画像などの予測に効果的である。この実施の形態では、以上の観点からメモリaの更新を任意の時間間隔で行う仕組みを設ける。具体的には例えば、a.グローバル動きパラメータの大きさに基づき、動きが大きい場合は画面全体の内容を一斉に更新し、動きが小さい場合は内容を更新しない方法、b.フレーム間の時間間隔に限定されず、ある一定時間ごとに画面全体の内容を一斉に更新する方法、c.シーンチェンジを検出した場合、シーンチェンジ直後のフレームで画面全体の内容を一斉に更新する方法などの任意更新判定基準が考えられる。この実施の形態では、以上のような任意更新判定基準になるデータをメモリaの更新に用いるアクティビティ26という言葉で総称する。まず、メモリa更新判定部27はアクティビティ26を用いてメモリaの内容を更新するかどうかを判定するステップS17。上記任意更新判定基準aの場合は動き検出部3で検出されたグローバル動きパラメータの値がアクティビティとなり、任意更新判定基準bの場合はタイマー81からの当該フレームのタイムスタンプが、任意更新判定基準cの場合はシーンチェンジ検出部80から出力されるシーンチェンジ検出を知らせるフラグがアクティビティ26に相当する。メモリaの内容を更新すると判断された場合は、局所復号画像14の内容がグローバル予測画像データ34として出力されてメモリaの内容を書きかえるステップS23。メモリaの内容を更新すると判断されなかった場合は、メモリaの更新を行わない。なお、当該フレームにおけるメモリa更新判定結果1000は復号側で同様の任意更新を行うことができるよう、ビットストリーム21に多重化されて復号側に伝送される。図20は、この実施の形態のビットストリーム21を示す図である。図20においては、フレームデータが順に符号化されて転送される様子を概念的に示している。各フレームデータの先頭には、フレーム単位の付加情報としてヘッダ情報が付け加えられている。また、ヘッダ情報には、メモリa更新判定結果1000が多重化されて復号側に伝送される。ヘッダ情報の後からは、そのフレームを構成するマクロブロックデータが続いている。マクロブロックデータの内部には、そのマクロブロックデータを予測するために用いられたメモリを示す予測メモリ指示情報800が含まれている。復号装置においては、各マクロブロックデータの予測メモリ指示情報800に基づいて、予測画像を予測するメモリを特定して予測画像を生成する。また、図示していないが、メモリa更新判定結果1000とともに、或いは、その代わりに、メモリb更新情報、及び/又はメモリc更新情報を復号側に転送するようにしても構わない。以上述べた符号化装置により、動画像シーケンスの内容に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。すなわち、動画像シーケンスの予測に際して、動画像シーケンスの内容や性質によって複数のメモリを使い分けて任意の変形パラメータに基づいた予測を行うので、複雑な動きまでもカバーして局所的な画像の性質に追随した効率的な動画像予測が行え、予測効率が向上し、符号化画像の品質を保ちつつ符号化データの発生量を低減させる符号化装置を構成することができる。また、この発明の予測方式に基づいて符号化されたビットストリームを復号する復号装置においても同様の予測方式により構成することができる。この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクトVOPを符号化する装置についても同様の効果が期待できる。また、この実施の形態では被予測画像領域の一例としてマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。また、この実施の形態では、メモリaを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル/ローカル予測の判別情報は伝送する必要がない。また、この実施の形態において、あらかじめ動画像シーケンスの内容に基づいて生成した参照画像データを蓄積して符号化中に更新を行わないメモリを設け、それを予測に用いる構成もとることができる。また、この実施の形態においては、メモリa,b,cに対してそれぞれ部分領域を蓄積するようにしてメモリ更新部15によるメモリ更新は、メモリa,b,cのいずれか1つのメモリに対して行う場合を示したが、メモリa,b,cが画像の一部分、或いは、全部を共有して画像を蓄積するような場合には、メモリ更新部15は、メモリa,b,cのうち2つのメモリ、或いは、全てのメモリを更新する。例えば、メモリaが1フレームの参照画像データを蓄積するフレームメモリであり、メモリbが逐次更新を伴わないスタティックスプライトメモリであり、メモリcが逐次更新を伴うダイナミックスプライトメモリである場合には、スタティックスプライトメモリは、予め固定的なデータを参照画像データとして蓄積しているため、メモリbはメモリ更新部15によっては更新されないが、メモリaとメモリcが同一領域の参照画像データを蓄積している場合には、メモリ更新部15は、メモリaとメモリcを同時に更新することになる。このように、メモリa,b,cが参照画像データを重複して蓄積している場合には、重複した領域をそれぞれメモリ更新部15が更新する。以上のことは、以下に述べる実施の形態においても同様である。また、この実施の形態では、3つのメモリa,b,cを用いる場合を示したが、いずれか2つのメモリを用いる場合であっても構わない。また、この実施の形態で述べた動き補償部5、メモリ更新部15とまったく同一の部材を有する予測画像生成部100を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は3つの全ての予測画像候補を生成する必要はなく復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態2.次に、図1に示した構成の符号化装置において、動き補償部5の構成だけ別の構成とした符号化装置の実施形態を示し、実施の形態2の動き補償部5aの構成と動作について述べる。この実施の形態における動き補償部5aの内部構成を図7に示す。同図において、35は参照メモリ決定部である。またこの動き補償部5aの詳細な動作を記したフローチャートを図8に示す。まず、Iフレームならば動き補償を行わないステップS24。Iフレームでなければ、参照メモリ決定部35は動きパラメータ4の値に基づいて参照メモリを決定するステップS25。参照メモリ決定部35は各メモリa,b,cに割り当てられている有効動きパラメータ値域詳細は後述するを保持しており、動きパラメータ4の値と比較することによって、当該動きパラメータ4がどのメモリを指しているかを判断し、メモリa,b,cを識別する参照メモリ指示信号25aを出力する。有効動きパラメータ値域とは、例えば動きベクトルを検出する場合、その探索範囲が±15画素だとすると、±0から3画素の範囲ではメモリaを、±4から8画素の範囲ではメモリbを、±9から15画素の範囲ではメモリcを予測に用いるようにするというような、各メモリごとの有効探索範囲を意味する。ただし、グローバル動きパラメータで予測画像を生成する場合は参照メモリはメモリaと決まっているので、参照メモリ決定部35を起動するのはローカル動きパラメータを用いるときのみとする。このように、動きベクトルの値で予測に用いるメモリを特定するのは、背景画像は動きが少なく、注目度が高い画像ほど動きが大きくなるはずであるという前提に基づくものである。このように、動きベクトルの値で予測に用いるメモリを特定する場合は、予測モードを符号化して伝送する必要がない。次いで、選択された参照メモリ指示信号25aにしたがって予測画像候補6が生成されるステップS26からステップS30。具体的には、予測画像メモリアドレス算出部22において、参照メモリ指示信号25aで指示されるメモリ中の予測画像候補6が存在する予測画像メモリアドレス23を動きパラメータ4に基づいて計算し、予測画像メモリアドレス23によってメモリ読み出し部24が対応するメモリから予測画像候補6を取り出して出力する。この実施の形態においてはグローバル動きパラメータもローカル動きパラメータも同一の変形方式に基づくので、いずれの予測画像生成も図7の動き補償部5aを共有して用いることができる。なお、グローバル動きパラメータにより予測画像候補6を取り出す場合ステップS31は、常にメモリaが参照メモリとして用いられる。有効動きパラメータ値域は、動画像シーケンス毎に一定値域でもよいが、たとえば、各フレーム毎に変更してもよい。各フレーム毎に変更する場合は、当該フレームにおける各メモリの有効動きパラメータ値域は、復号側で同様のメモリ選択を行うことができるよう、ビットストリームに多重化されて復号側に伝送される。図21は、この実施の形態のビットストリーム21を示す図である。このビットストリームの先頭には、動画像シーケンス単位に付加されたヘッダ情報がある。このヘッダ情報は、各メモリの有効動きパラメータ値域指示情報を有している。このように、動画像シーケンスの先頭に有効動きパラメータ値域指示情報を指定することにより、その動画像シーケンスに対して一定値域の有効動きパラメータ値域を用いた予測方式を復号装置で行うことができる。フレーム毎に有効動きパラメータ値域を変更する場合は、フレーム単位に付加されたヘッダ情報の中に有効動きパラメータ指示情報を含ませればよい。以上述べた動き補償部5aの構成を持つ符号化装置により、フレームの局所的な動きの程度に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクトVOPを符号化する装置についても同様の効果が期待できる。また、この実施の形態ではマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。また、この実施の形態では、メモリaを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル/ローカル予測の判別情報は伝送する必要がない。また、この実施の形態で述べた動き補償部5とまったく同一の部材有する予測画像生成部100を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態3.次に、図1に示した構成の符号化装置において、動き補償部5の構成だけをさらに別の構成とした符号化装置の実施形態を示し、動き補償部5bの構成と動作について述べる。この実施の形態における動き検出部3aは、動きパラメータ4aとして平行移動量、アフィンパラメータ、遠近法パラメータをそれぞれ出力するものとする。また、この実施の形態におけるメモリaは参照画像を1フレーム分記憶するフレームメモリであり、メモリbはスタティックスプライトメモリであり、メモリcはダイナミックスプライトメモリであるものとする。この実施の形態における動き補償部5bの内部構成を図9に示す。同図において、36は平行移動量=動きベクトル、37はアフィンパラメータ、38は遠近法パラメータ、39は平行移動量に基づく予測画像メモリアドレス算出部、40はアフィンパラメータに基づく予測画像メモリアドレス算出部、41は遠近法パラメータに基づく予測画像メモリアドレス算出部である。またこの動き補償部5bの詳細な動作を記したフローチャートを図10に示す。まず、Iフレームならば動き補償を行わないステップS33。Iフレームでない場合、予測画像メモリアドレス算出部39から41はそれぞれ動きパラメータ4aの値に基づいて予測画像メモリアドレス23を計算するステップS34。各予測画像メモリアドレス算出部は、対応する各メモリに割り当てられている画像変形方式に基づいてアドレス計算を行う。この実施の形態においては、メモリaに平行移動、メモリbにある程度回転や拡大縮小などの単純な変形を伴うアフィンパラメータ、メモリcに3次元的で複雑な動きを伴う遠近法パラメータを用いる。これらの変形方式は以下のような変換式で表せる。平行移動平行移動量:x’xay’ybアフィン変換アフィンパラメータ:x’axayby’axayc遠近法変換遠近法パラメータ:x’y’ここで、2次元座標上のは原マクロブロックの画素位置、に対応付けられるメモリ中の画素位置である。すなわち、これらのパラメータをもとにx’,y’のメモリ上の位置を計算する。この仕組みをもつことにより、各マクロブロックごとに動きの性質がもっとも適合するメモリから予測を行うことができるようになる。各動きパラメータ36、37、38から計算した予測画像メモリアドレス23によって、メモリ読み出し部24が対応するメモリから予測画像候補6を取り出して出力するステップS35からステップS39。なお、当該フレームにおける各メモリの変形方式のタイプは、復号側で同様の動き補償を行うことができるよう、動き検出手法指示情報としてビットストリーム21に多重化されて復号側に伝送される。図22は、この実施の形態のビットストリーム21を示す図である。動画像シーケンスの先頭に付加されるヘッダ情報の中には、動き検出手法指示情報が含まれている。符号化装置では、各メモリで使用する変形方式のタイプが変更可能であり、この対応関係を示す動き検出手法指示情報を動画像シーケンスのヘッダ情報として復号装置に送る。こうして復号装置においては、各メモリで使用する変形方式のタイプを識別することができる。復号装置においては、この識別された変形方式のタイプが動的に各メモリに対応づけられるようになっている。以上述べた動き補償部5bの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクトVOPを符号化する装置についても同様の効果が期待できる。また、この実施の形態ではマクロブロックを単位とした符号化装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの画像単位で画像を符号化する装置についても、同様の効果が期待できる。また、この実施の形態では、メモリaを用いたグローバル動きパラメータ検出を用いたが、これを用いずにローカル動き検出だけを用いる構成でも適用可能であることは言うまでもない。グローバル動き検出を行わない場合は、予測モードとしてグローバル/ローカル予測の判別情報は伝送する必要がない。また、この実施の形態では、メモリa,b,cを用いる場合を示したが、メモリaとbだけを用いる場合、或いは、メモリaとcを用いる場合、或いは、メモリbとcだけを用いる場合であっても構わない。また、この実施の形態で述べた動き補償部5bとまったく同一の部材を有する予測画像生成部100を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部は復号された動きパラメータに関わる予測画像だけを生成すればよい。実施の形態4.次に、形状情報を持った複数、例えば2つ、の異なる動画像オブジェクトが混在する動画像シーケンスを対象とし、これらの動画像オブジェクトを一括して符号化する装置の実施形態を説明する。図11にこの実施の形態における符号化装置の構成を示す。同図において、42は入力画像フレーム、43はオブジェクト分離部、44a、44bはオブジェクトデータ、45a、45bは形状ブロック、46a、46bはスイッチ、47a、47bは形状符号化部、48a、48bは圧縮形状ブロックデータ、49a、49bは局所復号形状ブロック、50a、50bはテクスチャデータ、51a、51bは動き検出部、52a、52bは動きパラメータ、53a、53bは動き補償部、54a、54bは予測画像候補、55a、55bは予測モード選択部、56a、56bは予測モード情報、57a、57bは予測画像、58a、58bは予測誤差信号、59a、59bはテクスチャ符号化部、60a、60bは圧縮テクスチャデータ、61a、61bは局所復号予測誤差信号、62a、62bは局所復号マクロブロック、63はメモリ更新部、64はメモリa、65はメモリb、66はメモリc、67はメモリd、68はメモリe、69はメモリf、70a、70bは可変長符号化部、71は多重化部、72はバッファ、73はビットストリーム、94はメモリ部、88aはAオブジェクトを符号化するAオブジェクト符号化部、88bはBオブジェクトを符号化するBオブジェクト符号化部である。オブジェクト符号化部88a、88bは同一の部材による同一の内部構成を有する。この符号化装置は画像フレーム42を入力し、これがオブジェクト分離部43において符号化単位のオブジェクトに分けられる。オブジェクト分離部43の処理は任意の方法をとることができるものとする。オブジェクトの形状情報は形状ブロック45a、45bの形式で形状符号化部47a、47bに送られて符号化され、圧縮形状ブロックデータ48a、48bとして可変長符号化部70a、70bに送られる。動き検出部51a、51bはVM符号化方式と同様、局所復号形状ブロック49a、49bを考慮して動きパラメータの検出を行う。動きパラメータ検出はマクロブロック単位にメモリaからfのすべてを用いて行うことができる。ただし、原則としてAオブジェクト符号化部88aにおいて符号化されるAオブジェクトについてはメモリaからcを、Bオブジェクト符号化部88bにおいて符号化されるBオブジェクトについてはメモリdからfをそれぞれ用いるものとする。また、動きの種類としては、動きベクトルとワーピングパラメータという区別を取り去り、メモリ部94のすべてのメモリについて任意の変形パラメータをマクロブロック単位に検出できるものとする。動き補償部53a、53bで各動きパラメータ52a、52bに基づいてすべての予測画像候補54a、54bを生成した後、予測モード選択部55a、55bで予測画像57a、57bおよび予測モード情報56a、56bを得る。原信号またはテクスチャデータ50a、50bと予測画像57a、57bとの差分をとって予測誤差信号58a、58bを得、これがテクスチャ符号化部59a、59bで符号化されて可変長符号化部70a、70bに送られる。また、局所復号された予測誤差信号61a、61bが予測画像57a、57bと加算されて局所復号マクロブロック62a、62bとなり、メモリ更新部の指示にしたがってメモリaからfに書き込まれる。上記A/Bオブジェクト符号化部88a、88bにおいて符号化されたA/Bオブジェクトデータは多重化部71で1つのビットストリーム73に多重化され、バッファ72を介して伝送される。以下、この実施の形態における予測について主要な動作を行う動き補償部53a、53bを中心に説明する。この実施の形態における動き補償部53a、53bは、動き検出部51a、51bで検出した動きパラメータ52a、52bに基づいて予測画像候補を生成する。動き補償部53aの内部構成を図12に示す。また、Aオブジェクト符号化部88aにおける動き補償部53aの動作のフローチャートを図13に示す。なお、動き補償部53bでも同様に構成され同様に動作する。図12において、74aはBオブジェクト参照判定部、75aはBオブジェクト参照指示フラグである。ここで動きパラメータ52aは検出に用いたメモリ情報も含むものとする。パラメータの値から実施の形態1と同様に、予測画像メモリアドレス算出部22a、メモリ読み出し部24aを用いて予測画像候補を生成するステップS44からステップS49。また、Bオブジェクト参照判定部74aは動きパラメータ52aの中の参照するメモリ情報から、当該マクロブロックの予測にBオブジェクト用のメモリを使用しているかどうかを判定するステップS43。Bオブジェクト参照判定部74aは、判定結果をBオブジェクト参照指示フラグ75aとして出力し、復号側で当該オブジェクトが単独で、自身のメモリa,b,cのみを用いて再生できるかどうかの判定に用いるため、ビットストリーム73に多重化されて復号側に伝送される。符号化時には、外部から与える信号85aにより、常に復号側で当該オブジェクトの単独再生が可能になるように、動きパラメータの検出に際して、自身の予測用のメモリa,b,c,のみしか使用しないように制御することも可能とする。以上述べた動き補償部53a、53bの構成を持つ符号化装置により、フレームの局所的な動きの性質に応じて複数のメモリを効率的に使い分ける仕組みが供給され、予測効率を向上させることができる。また、この実施の形態ではオブジェクトをマクロブロック単位に符号化する装置について述べたが、任意の形状を持つ部分画像または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロックなどの単位で符号化する装置についても、同様の効果が期待できる。また、この実施の形態で述べた動き補償部53a、53bと同一の部材を用いた復号装置を構成することもできる。復号装置に用いられる場合は、動き補償部53は復号された動きパラメータに関わる予測画像だけを生成すればよい。また、ビットストリームから他オブジェクト参照指示フラグ75a、75b相当のビットを復号して、復号中のオブジェクトが単独で再生できるかどうかを認識できる構成とすれば、オブジェクトデータを誤りなく復号再生できるようになる。実施の形態5.次に、動画像オブジェクトの時間的変化に対応して、メモリの数または容量を自在に変化可能な構成の符号化装置の実施形態を説明する。実施の形態5においては、図1に示した構成の符号化装置におけるメモリ更新部15の構成を置きかえた符号化装置を考える。図14にこの実施の形態におけるメモリ更新部15aの内部構成を示す。同図において、76はメモリ拡張判定部、77はメモリ拡張指示信号、78はメモリ縮退判定部、79はメモリ縮退指示信号である。図15にメモリ更新部15aの動作フローステップS51からステップS63を示す。シーンチェンジなどによりメモリに蓄積されていた動画像シーケンスの履歴とは著しく異なる画像が現れた場合、シーンチェンジ後の予測においては、既存メモリに含まれる参照画像だけでは予測効率が劣化することがある。そのような場合、シーンチェンジ検出部80によりシーンチェンジを検出し、シーンチェンジ直後のフレームはイントラフレーム符号化するなどして、それを新たな参照画像としてメモリに追加蓄積しておくことができれば、それ以降の予測効率を向上できる。また、追加できるメモリの容量には物理的限界があるため、メモリ上の参照画像のうち、ほとんど予測に使われない部分を逐次縮退できる仕組みも持たせる。メモリa,b,cの各メモリ領域予測に使われる頻度を予測モード8に基づいてメモリ更新部15aで計測しておき、メモリ更新部に頻度の小さいメモリ領域を使用領域から開放する仕組みをもたせる。この実施の形態によれば、例えばソフトウエアで符号化装置を構成するような場合、限られたRAMランダムアクセスメモリ資源を有効に活用することができる。以上の観点から、この実施の形態におけるメモリ更新部15aは、動画像シーケンスの時間的変化の状況に応じてメモリ領域を増やしたり、予測にあまり使われない参照画像を含むメモリ領域を縮退したりする機能を備える。メモリaについては、実施の形態1と同様、メモリa更新判定部27において更新の可否が決定されステップS50、更新する場合は局所復号画像14をメモリaに書き込むステップS56、ステップS57。また、予測モード8にしたがって各メモリへ局所復号画像14が書き込まれるステップS51からステップS55。これらメモリ内容更新は、メモリ拡張/縮退の判定をともなって行われる。メモリ拡張判定部76においては、メモリaの更新に用いるアクティビティ26をもとにメモリaまたはメモリb,cの容量を増やすかを判定するステップS58からステップS60。シーンチェンジなどにより容量を増やした方がよいと判定されれば、メモリ拡張指示信号77によってメモリの拡張が指示される。また、メモリ縮退判定部78においては、予測モード8をもとに予測に用いられるメモリ領域のカウントをおこなっておき、所定の回数以下しか予測に用いられないメモリ領域については、メモリ縮退指示信号79によってメモリの縮退が指示されるステップS61からステップS63。以上述べたメモリ更新部15aの構成を持つ符号化装置により、動画像シーケンスの時間的変化に追随して効率のよい予測が行えるとともに、予測に必要なメモリ領域をダイナミックに割り当てる仕組みが供給され、予測効率を向上させるとともにメモリ資源の有効活用が可能になる。この実施の形態ではフレームごとに符号化する装置について述べたが、任意の形状を持つ動画像オブジェクトVOPを符号化する装置についても同様の効果が期待できる。また、この実施の形態ではフレームをマクロブロック単位に符号化する装置について述べたが、任意の形状を持つ部分画像などの画像単位または複数個の固定サイズブロックの組み合わせによって構成される可変形状のブロック領域などの画像単位で画像を符号化する装置についても、同様の効果が期待できる。また、この実施の形態で述べたメモリ更新部15aとまったく同一の部材を用いた復号装置を構成することもできる。実施の形態6.上記の各実施の形態においてはマクロブロックで予測に使用するメモリを変更する場合を示したが、フレームもしくは動画像オブジェクトの単位で、予測に使用するメモリを変更して予測を行う構成をとることもできる。これにより、フレームもしくは動画像オブジェクトの単位で符号化すべきメモリ関連の情報、およびマクロブロック単位で符号化すべきメモリ選択情報予測モード8に含まれるを符号化する必要がなくなり、効率的な符号化を行うことができる。例えば実施の形態1における図1の符号化装置においては、マクロブロック単位で予測に使用するメモリを切替えることが可能になっているため、マクロブロック単位でどのメモリを予測に使用したかを示す付加情報を伝送する必要がある。これに対して、本実施の形態ではこの使用メモリの切替の単位をフレームまたは動画像オブジェクトに制限して予測を行うことにより、マクロブロック単位に伝送すべき付加情報を効果的に削減することを可能とする。図23に、図20に示した実施の形態1の伝送ビットストリーム21と本実施の形態の伝送ビットストリーム21との違いを示す。図23に示す例は、フレーム単位に予測に使用するメモリを変更する場合を示しており、予測メモリ指示情報800がフレーム単位のヘッダ情報に含まれている。図23に示す例は、例えば、動画像シーケンスの映像の性質が定常的に変化せず、マクロブロックレベルの局所的な変化が少ないような場合に有効である。また、以上のようにして符号化されたビットストリームを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。実施の形態7.上記の各実施の形態において、複数のメモリのうち、任意の複数、例えば2つ、のメモリ例えばメモリaとbから取り出された2つの予測画像候補を加算平均した画像を予測画像候補6の1つとする構成または予測画像9として用いる構成にすることができる。また、以上のようにして符号化されたビットストリームを復号してフレームもしくは動画像オブジェクトを再生する復号装置を構成することもできる。実施の形態8.上記の各実施の形態に示した符号化装置において、予測を行う単位となる画像領域の空間的な複雑さ、注視度、などを規定する特徴量パラメータをあらかじめ検出しておき、これらを予測モード決定、メモリ更新の際の判定尺度として利用する構成をとることができる。例えば、複雑な動きを含み、与えられた符号量内で許容品質を達成する符号化を行うことが困難な動画像を想定する。このような場合は、被予測画像領域マクロブロック、任意形状画像領域、任意形状ブロックなどごとに重要度を見極め、重要度の低い領域はある程度品質を落して符号量を減少させ、その分を重要度の高い領域に割り当てて全体の品質を向上させる。本発明のように複数のメモリを任意のタイミングで切り替えて予測を行う装置では、被予測画像領域の重要度を表す特徴量パラメータを検出して、これに基づいて動的にメモリ使用方法を決定することにより、より画像の性質に適応した予測を行うことができる。例えば、図16に示すように、領域ごとに特徴量パラメータを検出して重要度を決定する領域重要度検出部95を設ける。領域重要度検出部95は領域重要度を予測モード選択部7aへ伝えるとともに領域重要度に基づく量子化パラメータをテクスチャ符号化部11aへ伝える。領域重要度検出部95で重要度が高いと判定された領域は、複数用意された予測モードのうち、もっとも複雑なモードを用いて予測を行う。例えば、各メモリa,b,cからの参照画像を用いてそれぞれ複雑な動きモデルに基づいた動きパラメータと予測画像を求め、これら予測画像の任意の組み合せ加算平均なども含めて最も予測効率の高い予測モードを予測モード選択部7aにおいて選択する。この際、予測に使用したすべてのメモリに対して参照画像を更新する。さらに、テクスチャ符号化部11aでは、量子化ステップ幅が細かい量子化パラメータにより符号化を行う。一方、重要度の低い領域では、簡易な予測モード1つのメモリだけを用いた平行移動量検出によって予測を行い、得られた予測誤差信号の振幅に関わらず少ない符号量になるように、量子化ステップの粗い量子化パラメータを用いて符号化する。以上の制御を行うことによって、重要度の低い領域はある程度品質を落しても、重要度の高い領域は高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。実施の形態9.複数のメモリを用いて動画像シーケンスを予測、符号化する装置において、動画像シーケンスの各時刻において使用可能な符号量、あるいは当該時刻でのシーンの変化量シーンチェンジ検出など、実施の形態8で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における画像の予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。例えば、図17のように、フレーム単位で重要度を決定するフレーム重要度検出部96を設け、前フレームに対する当該フレームの変化量シーンチェンジ検出部80からのシンーンチェンジを検出、新しいオブジェクトの出現隠蔽の有無などを検出し、送信バッファ20から通知される当該フレームで使用できる符号量を考慮して最終的なフレーム重要度を決定する。これに基づいて、重要度の高いフレームでは用意されたすべての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いフレームでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、シーンチェンジ時に予測を行わずにすべてイントラフレーム符号化する装置も考えられる。さらに、実施の形態8で述べた領域重要度検出部95と併用すれば、よりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いフレームはある程度品質を落しても、重要度の高いフレームは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。本実施の形態の考え方は、処理プロセスや使用可能なメモリ量が流動的なソフトウエアによる符号化の際に、利用できる資源を最大限に活用して効率よく符号化処理を行わせる場合にも適用可能である。重要度の低いフレームでは処理量を低減でき、全体の処理速度を向上させることができる。実施の形態10.図11に示したような、複数のメモリを用いて複数の動画像オブジェクトから構成される動画像シーケンスを予測、符号化する装置において、シーケンスとして使用できる総符号量、各動画像オブジェクトの各時刻において使用可能な符号量、あるいは当該時刻での動画像オブジェクトの変化量オブジェクトの出現、隠蔽など、各動画像オブジェクトのシーンの中での重要度/注視度のレベル、実施の形態8や9で述べたような被予測画像領域の特徴量や重要度などのパラメータを検出しておき、これらの値を、当該時刻における動画像オブジェクトの予測に用いることのできる予測方式、あるいは参照メモリ領域の選択の際の判定尺度として利用する構成をとることができる。例えば、図18のように、各オブジェクト1~nに対応する重要度検出部97a~97nを設け、オブジェクトの各時刻における変化量やオブジェクトの出現隠蔽の有無などを表すパラメータを検出するとともに、すべてのオブジェクトの符号化データが蓄積される全体バッファ72xの占有率、各オブジェクトの仮想バッファ72a~72nの占有率とを考慮して、各時刻においてオブジェクトの重要度を決定する。例えば、オブジェクト内に他のオブジェクトの一部が重なるなどの結果として新しいタイプの領域が出現した場合、これは以降の予測効率に大きく影響するため、ある程度オブジェクトの仮想バッファに余裕のない場合であっても重要度を高くし、符号化画像をきれいにしておく、などの制御が考えられる。重要度検出部97a~97nで検出された重要度はオブジェクト1~N符号化部98a~98nに渡され、重要度の高いオブジェクトでは用意されたすべての予測方式と参照メモリ領域を用いて最大限予測効率を向上し、重要度の低いオブジェクトでは予測方式や参照メモリ領域を限定して用い、符号化処理を簡素化して処理量を低減する、という装置構成が考えられる。また、フレームからリアルタイムにオブジェクト分離を行って符号化する装置では、新しいオブジェクトの出現や、既存オブジェクトの隠蔽などによって当該オブジェクトの内容が著しく変化した場合に、予測を行わずにすべてイントラフレーム符号化する装置も考えられる。さらに、オブジェクト1~N符号化部98a~98nにおいて実施の形態8で述べた領域重要度検出部95も併用すれば、オブジェクト内の各被予測対象領域単位によりきめ細かい品質制御を行うことができる。以上の制御を行うことによって、重要度の低いオブジェクトはある程度品質を落しても、重要度の高いオブジェクトは高度な予測によって品質が保たれ、与えられた符号量で全体の品質を向上することができる。実施の形態11.また、図19に示すように、予測に関する符号化情報参照メモリ番号などの符号割り当て符号化を行う予測情報符号化部91を設ける場合がある。複数のメモリa,b,cを用いて動画像シーケンスまたは動画像オブジェクトを予測、符号化する装置において、予測に用いられるメモリの使用頻度に応じて複数のメモリのランク付けを行い、かつこのランク付けを符号化中にダイナミックに変更することができるようにして、上記予測情報符号化部91における予測に関する符号化情報参照メモリ番号などの符号割り当てを、予測に用いる複数のメモリのランクに応じて行うようにする構成をとることができる。例えば、図19の符号化装置において、メモリ更新部15bに、メモリa,b,cそれぞれの予測に用いられる頻度をカウントするカウンタ92を設けておき、そのカウント値にしたがってメモリa,b,cをランク付けし、ランク情報90を出力する。このランク付けは、例えば1フレームもしくは動画像オブジェクトのある時刻における画像VOPを単位に行ってもよいし、より細かい単位である被予測画像領域マクロブロック、任意形状領域、任意形状ブロックなど毎に行うこともできる。これにより、どのメモリがどれだけ頻繁に予測に使われるかを認識できる。頻繁に予測に用いられるメモリは、予測を行うにあたって重要度の高いメモリであり、参照頻度が高いほどランクを高くする。このようにして、各被予測画像領域単位に予測に用いたメモリの頻度情報を符号化する場合、頻繁に参照するメモリ=ランクが高いメモリには短い符号長を割り当てるほうが符号化効率が高まる。また、各被予測画像領域単位に検出した動きパラメータも、参照したメモリのランクに対応して符号長を割り当てることができれば、頻繁に発生する動きパラメータ値に対して短い符号長を割り当てることができ、効率的な予測情報の符号化が可能になる。これらの仕組みは、可変長符号化多重化部19の予測情報符号化部91がメモリ更新部15bのカウンタ92から各メモリのランクを受け取るようにしておき、このランク情報90に基づいて符号長を可変にして予測情報の符号化を行う構成で実現できる。実施の形態12.図24は、本実施の形態における、圧縮符号化されたディジタル画像を伸長再生する画像復号装置の構成を示したものである。同図において、21は符号化されたビットストリーム、119は可変長復号部、12は量子化DCT係数、12aは量子化直交変換係数、12bは量子化ステップ、111はテクスチャ復号部、111aは逆量子化部、111bは逆直交変換部、190は復号加算部、101は復号画像、191は表示制御部、8は予測モード、1001はメモリb更新情報、1002はメモリc更新情報、4は動きベクトル動きパラメータ、800は予測メモリ指示情報、195は被予測画像領域の画面内位置、105は動き補償部、116はメモリa、117はメモリb、118はメモリc、115はメモリ更新部、106は予測画像である。動き補償部105とメモリ更新部115により予測画像生成部100aを構成している。また、メモリa,b,cによりメモリ領域200aを構成している。この実施の形態では、メモリaは1フレーム分の画像データを蓄積するフレームメモリであり、メモリbはスタティックスプライトメモリであり、メモリcはダイナミックスプライトメモリであるものとする。また、この実施の形態の復号装置は、図22に示したビットストリーム21を入力するものとする。また、図22には示していないが、メモリb更新情報1001及びメモリc更新情報1002がビットストリームの中で送られてくるものとする。メモリb更新情報1001には、スタティックスプライトメモリを全面更新するための更新指示と全面更新するための画像データが含まれているものとする。同様に、メモリc更新情報1002には、ダイナミックスプライトメモリを全面更新する更新指示と全面更新するための画像データが含まれているものとする。以下、上記構成の装置の動作を説明する。まず、可変長復号部119においてビットストリーム21が解析され、個々の符号化データに切り分けられる。量子化直交変換係数12aは逆量子化部119aに送られ、量子化ステップ12bを用いて逆量子化される。この結果が逆直交変換部111bにおいて逆直交変換されテクスチャが復号され、復号加算部190に送られる。直交変換はDCT離散コサイン変換など、符号化装置側で用いるものと同じものを用いる。動き補償部105には、可変長復号部119でビットストリーム21から復号された動きベクトル4、予測メモリ指示情報800と、被予測画像領域の画面内位置195を示す情報が入力される。動き補償部105は、これらの3種類の情報にしたがって複数のメモリa,b,cに格納されている参照画像から所望の予測画像を取り出す。被予測画像領域の画面内位置195はビットストリームに含まれている情報ではなくマクロブロックの数をカウントすることにより計算できる。予測画像生成の処理については以下の動き補償部105の動作説明の箇所で詳述する。復号加算部190は、予測モード8の情報に基づいて、イントラフレーム符号化されたブロックならば逆直交変換部111bの出力をそのまま復号画像101として出力し、インターフレーム符号化されたブロックなら逆直交変換部111bの出力に予測画像106を加算して復号画像101として出力する。復号画像101は表示制御部191に送られ、表示デバイスに出力されるともに、以降の復号処理において参照画像として用いるためにメモリa~cに書き込まれる。メモリへの書き込みは予測モード8に基づいて、メモリ更新部115で制御される。次に、予測画像生成部100aの動き補償部105における予測画像生成処理について説明する。本実施の形態では、画像の予測方式は予測メモリ指示情報800に基づいて決定される。本実施の形態による復号装置では、予測画像を生成するにあたって、動きベクトル4と予測メモリ指示情報800とに基づいて、所定の座標変換処理および内挿処理により参照画像から予測画像を生成する。座標変換処理の方法はあらかじめ予測に使用するメモリに対応づけられているものとする。例えば、実施の形態3で述べた画像変形方式と同じ以下のような変形手法の例を考えることができる。1メモリaを予測に用いる場合=予測メモリ指示情報800がメモリaの使用を指示している場合動きベクトルによって被予測対象領域の各画素の座標を平行移動させ、メモリa中の対応する位置の画像データを予測画像として取り出す。2メモリbを予測に用いる場合=予測メモリ指示情報がメモリbの使用を指示している場合動きベクトルに基づいてアフィン変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリc中の対応する位置の画像データを予測画像として取り出す。3メモリcを予測に用いる場合=使用メモリ指示情報がメモリcの使用を指示している場合動きベクトルに基づいて遠近法変換式を求め、同変換式によって被予測対象領域の各画素の座標を変位させ、メモリb中の対応する位置の画像データを予測画像として取り出す。動き補償部105の内部構成を図25に示す。同図において、161はスイッチ、162はメモリa用対応点決定部、163はメモリb用対応点決定部、164はメモリc用対応点決定部、165はメモリ読み出しアドレス生成部、166はスイッチ、167は内挿処理部である。また、図26はその動作の様子を示すフローチャートである。以下、図25および図26をもとに、本実施形態における動き補償部105の動作を説明する。1対応点の決定まず、予測メモリ指示情報800に基づき、スイッチ161によって対応するメモリ用の対応点決定部を選択し、選択された対応点決定部に動きベクトル4を入力する。ここでは、各メモリに対応した予測画像位置の算出を行う。以下、メモリ対応で説明する。1ー1予測メモリ指示情報800がメモリaを指示している場合ステップS100動きベクトルによる平行移動によって、予測画像位置を算出するステップS101。具体的には、動きベクトルによって、被予測画像領域の位置の画素に対する予測画像位置を下式によって決定する。x’xay’yb決定された予測画像位置をメモリ読み出しアドレス生成部165に出力する。1ー2予測メモリ指示情報800がメモリbを指示している場合ステップS103動きベクトル4に基づいてアフィン変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きベクトルを用いて、下式のアフィンパラメータを決定する。x’axayby’axaycこれにより、被予測画像領域の位置の画素に対する予測画像位置を求め、メモリ読み出しアドレス生成部165に出力するステップS104。1ー3予測メモリ指示情報800がメモリcを指示している場合ステップS106動きベクトルに基づいて遠近法変換式を決定する。具体的には、被予測画像領域を取り囲む矩形領域の頂点の動きベクトルを用いて、下式の遠近法パラメータを決定する。x’y’これにより、被予測画像領域の位置の画素に対する予測画像位置を求め、メモリ読み出しアドレス生成部に出力するステップS107。2予測画像生成用データの読み出し選択された対応点決定部から出力される予測画像位置を基に、メモリ読み出しアドレス生成部165がメモリに蓄積されている参照画像中の予測画像生成に必要な画像データの位置を特定するメモリアドレスを生成し、予測画像生成用データを読み出すステップS102、S105、S108。3予測画像の生成予測画像を構成する画素のうち、整数画素位置の画素ならば、予測画像生成用データがそのまま予測画像構成画素となる。一方、実数精度の画素位置の画素の場合、内挿処理部167によって予測画像生成用データの内挿処理によって内挿画素値が生成されるステップS109,S110,S111。内挿画素値の生成は図26による。図26において、は整数画素位置を示し、は実数精度の画素位置を示し、wは重みを示す。4メモリ参照画像の更新図28に、メモリ更新部115の制御のフローチャートを示す。メモリ更新部115では、予測モード8又は、予測メモリ指示情報800に基づいて予測画像取り出しの単位例えばマクロブロック単位で各メモリの更新を制御する。メモリaを用いて予測した場合ステップS112は、復号画像101によって逐次、メモリaおよびcの内容を更新するステップS113。メモリbを用いて予測した場合ステップS114は、メモリbはスタティックスプライトメモリなので、メモリbの参照画像は予測画像取り出しの単位では更新しない。しかし、復号画像101によって逐次、メモリaおよびびcの内容を更新するステップS115。一方、メモリb更新情報1001による更新指示を受けた場合、メモリb更新情報1001に含まれる画像データを受け取りメモリbの内容を全面更新するステッブS116。また、メモリcを用いて予測した場合ステップS117は、復号画像101によって逐次、メモリaおよびcの内容を更新するステップS118。また、メモリ更新情報により更新指示を受けた場合に、メモリc更新情報1002に含まれる画像データを受け取りメモリcの内容を更新するステップS119。この実施の形態においては、メモリa,b,cの3つのメモリを用いる場合を示したが、2つのメモリを用いる場合であっても構わない。例えば、メモリaとb、即ち、フレームメモリとスタティックスプライトメモリを用いる場合でも構わない。或いは、メモリaとc、即ち、フレームメモリとダイナミックスプライトメモリを用いる場合でも構わない。以上のように、本実施の形態の復号装置によれば、画像の動きに対応して様々な種類の動きパラメータを用いて効率よく予測を行った符号化されたビットストリーム21を復号できるとともに、符号化側で定められるタイミングで参照画像の内容を任意に更新する仕組みに対応できるので、より画像の性質に適応した復号処理を行うことが可能である。本実施の形態では、直交変換符号化以外の別の符号化方式によって予測誤差信号を符号化したビットストリームであっても、動き補償部メモリ更新部以外の、予測誤差信号復号処理のための部材を変更することで同様の効果を得ることができる。また、本実施の形態は、固定サイズブロックを単位として復号処理を行うような通常のテレビ信号のフレームを単位とする復号装置に適用できるだけでなく、被予測対象領域を固定サイズブロックに限定せずに、任意形状画像オブジェクト例:ISOIECJTC1SC29WG11N1902で開示されるVideoObjectPlaneなどを単位とする復号装置にも適用可能である。"