"予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、を備えることを特徴とする請求項1に記載の映像復号装置。予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する第1と第2の圧縮手段と、前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、を備えることを特徴とする映像符号化装置。予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、ことを特徴とする映像復号方法。予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、前記再構築画像の圧縮伸張を制御し、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する、ことを特徴とする映像符号化方法。コンピュータに、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラム。コンピュータに、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、前記再構築画像の圧縮伸張を制御する処理、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、を実行させるためのプログラム。しかし、上記のように、映像復号装置において非可逆圧縮を参照ピクチャに適用すると、圧縮歪みが生じるため、復号映像の画質劣化が問題となる。本発明は、上記問題点に鑑みてなされたもので、その目的は、復号映像の画質劣化を低減する映像復号装置、映像符号化装置、映像復号方法、映像符号化方法及びプログラムを提供することにある。本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。本発明は、予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する第1と第2の圧縮手段と、前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置である。本発明は、入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、を備えることを特徴とする映像符号化装置である。本発明は、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号することを特徴とする映像復号方法である。本発明は、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、前記再構築画像の圧縮伸張を制御し、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力することを特徴とする映像符号化方法である。本発明は、コンピュータに、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラムである。本発明は、コンピュータに、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、前記再構築画像の圧縮伸張を制御する処理、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、を実行させるためのプログラムである。本発明によれば、復号映像の画質劣化を低減することができる。以下、本発明の実施形態について図面を参照して説明する。第1の実施形態図1は、本発明の第1の実施形態に係る映像復号装置のブロック図である。図示されるように、第1の実施形態に係る映像復号装置は、映像復号器201と、参照ピクチャメモリ202と、メモリ圧縮器203と、メモリ伸張器204とを備える。参照ピクチャメモリ202は、予測用の再構築画像が格納されるメモリであり、非圧縮参照ピクチャメモリ2021と、圧縮参照ピクチャメモリ2022とを備える。映像復号器201は、映像ビットストリームと、復号時に参照される再構築画像とを入力とし、復号映像を出力する。映像復号器201は、復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理等をする場合、非圧縮参照ピクチャメモリ2021から再構築画像を読み込む。また、映像復号器201は、復号対象フレームの復号時において復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測あるいはビュー間予測等をする場合、メモリ伸張器204を介して圧縮参照ピクチャメモリ2022から再構築画像を読み込む。映像復号器201は、復号対象フレームの復号時において、参照される可能性のある復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021に格納する。また、映像復号器201は、復号対象フレームの復号時において、参照されなくなった予測に用いられない復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して圧縮参照ピクチャメモリ2022に圧縮データとして格納する。メモリ圧縮器203は、非圧縮参照ピクチャメモリ2021から読み出されて供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ2022に格納する。メモリ伸張器204は、映像復号器201から要求された再構築画像を含む、圧縮参照ピクチャメモリ2022に格納された圧縮データを伸張する。本発明の第1の実施形態に係る映像復号装置による映像復号処理について図2を参照して説明する。映像復号器201は、復号対象フレームの復号時に、予測において、再構築画像を参照するか否かを判断するステップS101。再構築画像を参照すると判断された場合ステップS101:YES、映像復号器201は、復号対象フレームの再構築画像を参照するか予測に用いるかを判断するステップS102。復号対象フレームの再構築画像を参照すると判断された場合ステップS102:YES、映像復号器201は、参照する再構築画像を非圧縮参照ピクチャメモリ2021から読み込むステップS104。また、復号対象のフレームの再構築画像を参照しないと判断された場合ステップS102:NO、映像復号器201は、メモリ伸張器204を介して、参照する再構築画像を圧縮参照ピクチャメモリ2022から読み込むステップS103。映像復号器201は、映像ビットストリームと再構築画像とを入力とし、復号処理を行って復号画像を出力するステップS105。映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ2021に格納するステップS106。映像復号器201は、復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が非圧縮参照ピクチャメモリ2021に存在するかを判断するステップS107。復号対象フレームの復号時に参照されなくなった復号対象フレームの再構築画像が存在する場合ステップS107:YES、映像復号器201は、その再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して、圧縮参照ピクチャメモリ2022に圧縮データとして格納するステップS108。ステップS107で該当する再構築画像が存在しないと判断された場合ステップS107:NO、又は、ステップS108で圧縮データが圧縮参照ピクチャメモリ2022に格納された後、映像復号器201は、復号した映像ビットストリームが映像復号の最後のフレームであるか判断するステップS109。最後のフレームであると判断された場合ステップS109:YES映像復号を終了する。また、最後のフレームでないと判断された場合ステップ109:NO、フローはステップS101に戻る。以上のように、第1の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減できる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象のフレームの再構築画像を圧縮せずに非圧縮参照ピクチャメモリ2021に格納し、予測に非圧縮の再構築画像を用いることにより、復号対象フレームの圧縮歪みを低減できるからである。なお、本実施の形態では、映像復号器201は、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御するが、これに限定されず、例えば、映像ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。この場合、参照ピクチャメモリ制御器は、映像復号器201での復号対象フレームの復号時において復号対象フレームの再構築画像を参照する場合、すなわち、フレーム内予測や圧縮歪み低減処理などをする場合、参照する再構築画像を非圧縮参照ピクチャメモリ2021から映像復号器201へ供給するよう制御する。また、参照ピクチャメモリ制御器は、復号対象フレーム以外の再構築画像を参照する場合、すなわち、フレーム間予測、階層間予測、あるいはビュー間予測などをする場合、参照する再構築画像を、メモリ伸張器204を介して、圧縮参照ピクチャメモリ2022から映像復号器201へ供給するよう制御する。また、参照ピクチャメモリ制御器は、映像復号器201で復号した、参照される可能性のある復号対象フレームの再構築画像を参照ピクチャとして非圧縮参照ピクチャメモリ2021に格納するように制御する。参照ピクチャメモリ制御器は、映像復号器201での復号対象フレームの復号時に、参照されなくなった復号対象フレームの再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、メモリ圧縮器203を介して圧縮参照ピクチャメモリ2022に圧縮データとして格納するよう制御する。上述した第1の実施形態に係る映像復号装置の具体的な実施例について以下説明する。図3は、本実施例に係る映像復号装置の構成を例示する。図示されるように、本実施例における映像復号器201は、可変長復号器301、スケーリング/逆量子化/逆整数変換器302、加算器303、インループフィルタ器304、フレーム内予測器305、フレーム間予測器306を含む。また、本実施例では、映像符号化方式がISO/IEC14496-10AVCAdvancedVideoCodingであり、メモリ圧縮器203及びメモリ伸張器204が、N画素を処理周期とし、予測誤差をMビットで符号化する差分パルス符号化変調DPCMDifferentialPulseCodeModulationに対応するDPCMメモリ圧縮器307及びDPCMメモリ伸張器308こととする。映像復号器201は、H.264ビットストリーム及び復号時に参照される再構築画像を入力とし、復号映像を出力する。復号対象のMBMacroBlockの復号時にフレーム内予測する場合、フレーム内予測器305は、非圧縮参照ピクチャメモリ2021から、参照する再構築画像を読み込む。また、フレーム間予測する場合、フレーム間予測器306は、参照する再構築画像を、DPCMメモリ伸張器308を介して、圧縮参照ピクチャメモリ2022から読み込む。加算器303は、可変長復号器301とスケーリング/逆量子化/逆整数変換器302を介して復号された差分信号と、参照する再構築画像とを加算し、対象MBの画像を復号する。映像復号器201は、復号された対象MBの画像を、参照ピクチャとして非圧縮参照ピクチャメモリ2021に格納する。インループフィルタ器304は、復号対象フレームの復号について、インループフィルタを除く処理が終了した後に、参照される再構築画像を圧縮参照ピクチャメモリ2021から読み込み、ラスタースキャン順にMB毎にインループフィルタを施して、非圧縮参照ピクチャメモリ2021に格納する。映像復号器201は、インループフィルタ器304で参照されない再構築画像を非圧縮参照ピクチャメモリ2021から読み出し、DPCMメモリ圧縮器307を介して、圧縮データとして圧縮参照ピクチャメモリ2022に格納する。なお、復号対象フレームがラスタースキャン順に符号化されている場合、MB単位でインループフィルタを施すようにしてもよい。この場合、非圧縮参照ピクチャメモリ2021の容量は、1フレーム分よりも小さくすることができる。具体的には、ラスタースキャン順にMB単位で復号する場合に、イントラ予測、インループフィルタで参照される再構築画像のみを格納すればよい。DPCMメモリ圧縮器307及びDPCMメモリ伸張器308の動作を説明する。処理周期分の入力画像の画素値をxn=0,1,...,N-1とすれば、圧縮した出力信号ynは式1で求める。ブロック左端の画素値x0は予測の基準画素としてPCMで符号化、すなわち、入力した画素値が保存される。それ以外は、量子化代表値epqrnに対する量子化代表値配列の固定長インデックス値epqridxnとなる。epqridxnは式2、式3、式4、式5を用いて求める。ここで、epnは予測誤差、xpnは予測画素値、xrnは復号画素値を表す。出力信号xn’の伸張は式6で求める。本実施例では、メモリ圧縮、メモリ伸張にDPCMを適用したがこれに限定されず、他の方式を用いてもよい。例えば、M.BudagaviandM.Zhou,VIDEOCODINGUSINGCOMPRESSEDREFERENCEFRAMES,ICASSP’2008,pp.1165‐1168,2008.に記載されているMin‐max‐scalar‐quantizationMMSQ方式を用いてもよい。MMSQ方式の符号化疑似コードを図4に示す。ここで、入力画像は8ビットで表現されているものとする。処理周期内の最大画素値max、処理周期内の最小画素値minはMビットで表現する。また、処理周期はN画素とする。MMSQ方式は画素値xnと処理周期内の最小画素値との誤差に対して、線形量子化を行う。量子化時に利用する量子化パラメータqpは式7により求める。ここでLは量子化代表値数パラメータである。第2の実施形態次に、本発明の第2の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。図5は、本発明の第2の実施形態に係る映像復号装置のブロック図である。メモリ圧縮器203は、映像復号器201から供給される画像に対して、非可逆圧縮を施し、圧縮データを生成する。第2の実施形態に係る映像復号装置の処理動作は、図2のフローチャートに示す第1の実施形態の映像復号装置の処理動作と比較して、ステップS106とステップS108で異なる。ステップS106において、映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ2021に格納するとともに、その再構築画像に対して、メモリ圧縮器203を介して非可逆圧縮を施し、圧縮データを圧縮参照ピクチャメモリ2022に格納する。そして、ステップS108では、圧縮処理は行わず、ステップS109に進む。以上のように、第2の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、非可逆圧縮の処理タイミングを短縮することができる。その理由は、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を、非圧縮参照ピクチャメモリ2021と圧縮参照ピクチャメモリ2022に同時に格納するからである。第3の実施形態次に、本発明の第3の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。図6は、本発明の第3の実施形態に係る映像復号装置のブロック図である。第3の実施形態に係る映像復号装置は、第2メモリ圧縮器205と、第2メモリ伸張器206をさらに備える。また、非圧縮参照ピクチャメモリ2021の代わりに第2圧縮参照ピクチャメモリ2023を備える。第2メモリ圧縮器205は、映像復号器201から供給される画像に対して、メモリ圧縮器203より圧縮率の低いあるいは高能率な符号化方式により圧縮を施し、圧縮データを生成し、圧縮データを第2圧縮参照ピクチャメモリ2023に格納する。第2メモリ伸張器206は、映像復号器201から要求される再構築画像を含む、第2圧縮参照ピクチャメモリ2023に格納された圧縮データを伸張する。第3の実施形態に係る映像復号装置の処理動作は、図2のフローチャートに示す第1の実施形態の映像復号装置の処理動作と比較して、ステップS104とステップS106とステップS108で異なる。ステップS104において、映像復号器201は、参照する再構築画像を含む圧縮データを、第2メモリ伸張器206を介して第2圧縮参照ピクチャメモリ2023から読み出して伸張する。ステップS106において、映像復号器201は、参照される可能性のある復号対象フレームの再構築画像を、参照ピクチャとして、第2メモリ圧縮器205を介して圧縮を施し、圧縮データを第2圧縮参照ピクチャメモリ2023に格納する。ステップS108において、映像復号器201は、参照されなくなった再構築画像を含む、第2圧縮参照ピクチャメモリ2023に格納された圧縮データを第2メモリ伸張器206を介して伸張する。そして、伸張された再構築画像をメモリ圧縮器203を介して、圧縮参照ピクチャメモリ2022に圧縮データとして格納する。以上のように、第3の実施形態に係る映像復号装置によれば、復号画像の画質劣化を低減するとともに、第2圧縮参照ピクチャメモリ2023のメモリ容量を削減できる。その理由は、映像復号器201から供給される画像に対し、復号対象フレームの復号時に参照される可能性のある復号対象フレームの再構築画像を圧縮率の低いあるいは高能率な符号化方式により圧縮を施して第2圧縮参照ピクチャメモリ2023に格納するからである。第4の実施形態図7は、本発明の第4の実施形態に係る映像符号化装置のブロック図である。図示されるように、第4の実施形態に係る映像符号化装置は、映像符号化器101と、参照ピクチャメモリ102と、メモリ圧縮器103と、メモリ伸張器104と、メモリ圧縮伸張制御器105と、多重化器106とを備える。参照ピクチャメモリ102は、非圧縮参照ピクチャメモリ1021と、圧縮参照ピクチャメモリ1022とを備える。映像符号化器101は、入力映像と符号化時に参照される再構築画像を用いて各フレームを符号化し、その映像ビットストリームを多重化器106に供給する。映像符号化器101は、符号化対象フレームの符号化時に、符号化対象フレームの再構築画像を参照する場合、非圧縮参照ピクチャメモリ1021から再構築画像を読み込む。また、符号化対象フレーム以外の再構築画像を参照する場合、メモリ伸張器104を介して圧縮参照ピクチャメモリ1022から再構築画像を読み込む。映像符号化器101は、参照される可能性のある符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ1021に格納する。また、映像符号化器101は、符号化対象フレームの符号化時において、参照されなくなった符号化対象フレームの再構築画像を非圧縮参照ピクチャメモリ1021から読み出し、メモリ圧縮器103を介して圧縮参照ピクチャメモリ1022に圧縮データとして格納する。メモリ圧縮器103は、非圧縮参照ピクチャメモリ1021から供給される画像に対して、非可逆圧縮を施して圧縮データを生成し、圧縮データを圧縮参照ピクチャメモリ1022に格納する。メモリ伸張器104は、映像符号化器101から要求された再構築画像を含む、圧縮参照ピクチャメモリ2022に格納された圧縮データを伸張する。メモリ圧縮伸張制御器105は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器103、メモリ伸張器104にシグナリングする。メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器106に供給する。多重化器106は、映像ビットストリームと補助情報とを多重化してビットストリームを出力する。本発明の第4の実施形態に係る映像符号化装置による映像符号化処理について図8を参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、フレーム単位毎や複数フレーム単位毎に行うこともできる。メモリ圧縮伸張制御器105は、圧縮及び伸張に必要な補助情報を、メモリ圧縮器103、メモリ伸張器104にシグナリングするステップS201。また、メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、圧縮及び伸張に必要な補助情報を多重化器106に供給する。多重化器106は、映像ビットストリームと補助情報とを多重化してビットストリームを出力するステップS202。映像符号化器101は、符号化対象フレームの符号化時に、再構築画像を参照するかを判断するステップS203。再構築画像を参照すると判断された場合ステップS203:YES、映像符号化器101は、符号化対象フレームの再構築画像を参照するかを判断するステップS204。符号化対象フレームの再構築画像を参照すると判断された場合ステップS204:YES、映像符号化器101は、参照する再構築画像を非圧縮参照ピクチャメモリ1021から読み込むステップS206。また、符号化対象のフレームの再構築画像を参照しないと判断された場合ステップS204:NO、映像符号化器101は、メモリ伸張器104を介して、参照する再構築画像を圧縮参照ピクチャメモリ1022から読み込むステップS205。映像符号化器101は、入力画像と再構築画像とを入力とし、符号化処理を行って映像ビットストリームを出力するステップS207。映像符号化器101は、参照される可能性のある符号化対象フレームの再構築画像を、参照ピクチャとして、非圧縮参照ピクチャメモリ1021に格納するステップS208。映像符号化器101は、符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在するかを判断するステップS209。符号化対象フレームの符号化時に参照されなくなった符号化対象フレームの再構築画像が存在する場合ステップS209:YES、映像符号化器101は、その再構築画像を非圧縮参照ピクチャメモリ1021から読み出し、メモリ圧縮器103を介して、圧縮参照ピクチャメモリ1022に圧縮データとして格納するステップS210。ステップS209で該当する再構築画像が存在しないと判断された場合ステップS209:NO、又は、ステップS210で圧縮データが圧縮参照ピクチャメモリ1022に格納された後、映像符号化器101は、符号化した映像ビットストリームが映像符号化の最後のフレームであるか判断するステップS211。最後のフレームであると判断された場合ステップS211:YES映像符号化を終了する。また、最後のフレームでないと判断された場合ステップ211:NO、フローはステップS203に戻る。本実施形態では、映像符号化器101は、対象処理ブロック位置、対象処理、予測方法などの符号化時の情報を用いて、参照ピクチャメモリ102への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第1の実施形態と同様に、参照ピクチャメモリ102への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器105が参照ピクチャメモリ制御器と同様の制御を行ってもよい。上述した第4の実施形態に係る映像符号化装置の具体的な実施例について以下説明する。本実施例では、メモリ圧縮器103及びメモリ伸張器104が、N画素を処理周期とし、予測誤差をMビットで符号化する差分パルス符号化変調DPCMDifferentialPulseCodeModulationに対応することとする。メモリ圧縮伸張制御器105は、DPCM圧縮及びDPCM伸張に必要な補助情報をメモリ圧縮器103、メモリ伸張器104にシグナリングする。メモリ圧縮伸張制御器105は、映像復号装置において、映像符号化装置と同一の参照ピクチャが得られるように、DPCM圧縮及びDPCM伸張に必要な補助情報を多重化器106に供給する。ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリの参照ピクチャ枚数、非圧縮参照ピクチャメモリ容量、圧縮参照ピクチャメモリ容量、DPCM圧縮の処理周期N、予測誤差に対する符号化ビット数M、量子化代表値配列及び量子化代表値配列の数を含む。これらの補助情報は、一組だけでもよいし、輝度信号や色差信号毎に複数持ってもよい。また、補助情報は、映像シーケンス毎、フレーム毎に持ってもよい。また、補助情報の全部または一部に関しては、映像符号化装置と映像復号装置で共通の固定値を設定することもできる。例えば、補助情報として、映像シーケンス毎に圧縮伸張処理を適用するかのフラグmem_compression_flag、圧縮参照ピクチャメモリの参照ピクチャ枚数num_compressed_ref_picを多重化する場合を考える。ISO/IEC14496-10AVCのSpecificationofsyntaxfunction,categories,anddescriptorshの記述に準じ、図9のリストに例示するようにシーケンスパラメータに補助情報を多重化してもよい。ここでは参照ピクチャメモリの総量MemSize、非圧縮参照ピクチャのメモリ容量UCMemSizePerPic、圧縮器の圧縮率CRがシーケンスパラメータで一意に定まるとする。圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化した場合、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_picは式8により求めることができる。このようにすることで、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮参照ピクチャメモリの参照ピクチャ枚数を多重化したが、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_picを多重化してもよい。また、この例では、参照ピクチャ枚数を多重化したが、参照ピクチャメモリ容量について、非圧縮ピクチャメモリのMB数、画素数、メモリ容量等を多重化することもできる。例えば、MB数を指定する場合、対象MBを含む、最近デコードしたMB画像数を非圧縮画像として蓄積するようにしてもよい。また、直接、蓄積する非圧縮MBのMBアドレスを別途多重化してもよい。また、別の補助情報として、映像シーケンス毎に圧縮伸張技術を適用するかのフラグmem_compression_flag、圧縮器に指定可能な圧縮率の数、非圧縮参照ピクチャメモリの参照ピクチャ枚数num_uncompressed_ref_pic、圧縮参照ピクチャメモリの参照ピクチャ枚数num_compressed_ref_picを多重化する場合のリストを図10に例示する。これにより、図9のリストと同様に異なる圧縮率を備えた圧縮器を利用する場合でも、復号装置では、復号開始前にメモリ配置を確定することができる。この例では、圧縮率の数を多重化したが、圧縮器の符号化方式が異なる場合は、符号化方式の圧縮率毎に参照ピクチャ数を多重化することもできる。同様に、メモリ圧縮器103及びメモリ伸張器104が、N画素を処理周期とし、予測誤差をMビットで符号化するMMSQ方式に対応するとする。ここで、補助情報は、例えば、圧縮伸張処理を適用するかのフラグ、MMSQ圧縮の処理周期N、処理周期内の最大画素値、処理周期内の最小画素値に対する符号化ビット数M、量子化代表値数パラメータLを含む。以上のように、第4の実施形態に係る映像符号化装置によれば、復号映像の画質劣化を低減することができる。その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。第5の実施形態次に、本発明の第5の実施形態に係る映像復号装置について説明する。本実施形態については、第1の実施形態との相違点についてのみ説明する。図11は、本発明の第5の実施形態に係る映像復号装置のブロック図である。第5の実施形態に係る映像復号装置は、多重化解除器207、メモリ圧縮伸張制御器208をさらに備える。多重化解除器207は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。補助情報は、メモリ圧縮伸張制御器208に、映像ビットストリームは、映像復号器201に供給される。メモリ圧縮伸張制御器208は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器203及びメモリ伸張器204の動作を設定する。第5の実施形態に係る映像復号装置の動作について図12のフローチャートを参照して説明する。ここでは、メモリ圧縮伸張制御と、圧縮及び伸張に必要な補助情報の多重化とは符号化処理で一回のみ行う。しかし、これらの処理は、映像符号化時と同一の単位毎フレーム単位毎や複数フレーム単位毎に行うこともできる。第1の実施形態の図2のフローチャートと比較して、ステップS110とステップS111が追加される。この追加されたステップについて説明する。ステップS110において、多重化解除器207は、ビットストリームの多重化を解除して、映像ビットストリームと、圧縮及び伸張に必要な補助情報を抽出する。そして、補助情報をメモリ圧縮伸張制御器208に供給し、映像ビットストリームを映像復号器201に供給する。ステップS111において、メモリ圧縮伸張制御器208は、供給される補助情報に基づいて、映像復号装置においても、映像符号化装置と同一の参照ピクチャ圧縮及び参照ピクチャ伸張を参照ピクチャに適用するように、メモリ圧縮器203及びメモリ伸張器204の動作を設定する。本実施形態では、映像復号器201が、ビットストリームを復号した情報を用いて、参照ピクチャメモリ202への参照ピクチャの格納や読み出し制御を制御しているが、これに限定されず、例えば第1の実施形態と同様に、参照ピクチャメモリ202への参照ピクチャの格納や読み出しを制御する参照ピクチャメモリ制御器をさらに備えるようにしてもよい。また、メモリ圧縮伸張制御器208が参照ピクチャメモリ制御器と同様の制御を行ってもよい。以上のように、第5の実施形態に係る映像復号装置によれば、復号映像の画質劣化を低減することができる。その理由は、その理由は、映像符号化装置と映像復号装置間で参照ピクチャの画素値を完全に一致させることで、参照ピクチャの差異で生じた誤差の蓄積を無くすことができるからである。以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。また、本発明は、例えば、画素ビット長拡張による動画像符号化効率改善方式,情報科学フォーラム2006J‐009,2006、に記載されるような、入力映像のビット深度を伸張して映像符号化する場合に、伸張したビット深度に応じて増加する参照ピクチャメモリを削減する用途にも応用できる。また、本発明は、復号対象フレームの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納したが、これに限定されず、例えば、AVCにおけるアクセスユニット内の参照ピクチャの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。また、AVCスケーラブル符号化におけるベースレイヤの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。また、AVCマルチビュー符号化におけるベースビューの再構築画像を圧縮せずに、非圧縮参照ピクチャメモリ2021に格納してもよい。上述した本発明の実施形態に係る映像復号装置と映像符号化装置は、プロセッサがメモリ又は記録媒体に格納された動作プログラム等を読み出して実行することにより実現されてもよく、また、ハードウェアで構成されてもよい。上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することもできる。本実施形態に係る映像復号装置と映像符号化装置を情報処理システムで実現した場合の構成図を図13に例示する。この情報処理システムは、プロセッサ401、プログラムメモリ402、記憶媒体403及び404を備える。プロセッサ401は、プログラムメモリ402に記憶されるプログラムを実行することにより、映像復号装置と映像符号化装置のいずれか、又は、双方の機能を実現する。記憶媒体403及び404は、別個の記憶媒体であってもよく、同一の記憶媒体であってもよい。記憶媒体は、ハードディスク、CD-ROM等の記憶媒体を含む。上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。付記1予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された復号対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。付記2前記映像復号手段は、予測において復号対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、ことを特徴とする付記1に記載の映像復号装置。付記3前記映像復号手段は、予測において参照される可能性のある復号対象フレームの再構築画像を、前記第1のメモリに格納する、ことを特徴とする付記1又は2に記載の映像復号装置。付記4前記映像復号手段は、参照されなくなった復号対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、ことを特徴とする付記1乃至3のいずれか1項に記載の映像復号装置。付記5映像ビットストリームと符号化時の圧縮伸張の制御に関する動作パラメータとが多重化されたビットストリームを受信する受信手段と、前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出する多重化解除手段と、前記動作パラメータに基づいて前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、を備えることを特徴とする付記1乃至4のいずれか1項に記載の映像復号装置。付記6予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。付記7予測に基づいて符号化された映像ビットストリームを映像へ復号する映像復号装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する第1と第2の圧縮手段と、前記第1の圧縮手段により圧縮された再構築画像を伸張する第1の伸張手段と、前記第2の圧縮手段により圧縮された再構築画像を伸張する第2の伸張手段と、予測に基づき生成された、復号対象フレームの再構築画像を前記第1の圧縮手段を介して圧縮して前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記第1の伸張手段を介して伸張し、当該伸張した再構築画像を前記第2の圧縮手段を介して圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する映像復号手段と、を備えることを特徴とする映像復号装置。付記8入力画像を予測に基づいて映像ビットストリームへ符号化する映像符号化装置であって、予測用の再構築画像が格納される第1と第2のメモリと、前記再構築画像を圧縮する圧縮手段と、圧縮された再構築画像を伸張する伸張手段と、予測に基づき生成された符号化対象フレームの再構築画像を前記第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を前記圧縮手段を介して圧縮して第2のメモリに格納し、前記第1のメモリに格納されている再構築画像と、前記伸張手段を介して伸張された再構築画像とを用いて入力画像を映像ビットストリームへ符号化する映像符号化手段と、前記圧縮手段と前記伸張手段とを制御する圧縮伸張制御手段と、前記映像ビットストリームと前記圧縮伸張制御手段の動作パラメータとを多重化し、ビットストリームを出力する多重化手段と、を備えることを特徴とする映像符号化装置。付記9前記映像符号化手段は、予測において符号化対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、ことを特徴とする付記8に記載の映像符号化装置。付記10前記映像符号化手段は、予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第1のメモリに格納する、ことを特徴とする付記8又は9に記載の映像符号化装置。付記11前記映像符号化手段は、参照されなくなった符号化対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、ことを特徴とする付記8乃至10のいずれか1項に記載の映像符号化装置。付記12予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、ことを特徴とする映像復号方法。付記13予測において復号対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、前記予測において前記復号対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、ことを特徴とする付記12に記載の映像復号方法。付記14予測において参照される可能性のある前記復号対象フレームの再構築画像を、前記第1のメモリに格納する、ことを特徴とする付記12又は13に記載の映像復号方法。付記15参照されなくなった復号対象フレームの再構築画像を、前記第1のメモリから読み出し、前記圧縮手段を介して前記第2のメモリに圧縮データとして格納する、ことを特徴とする付記12乃至14のいずれか1項に記載の映像復号方法。付記16映像ビットストリームと符号化時の圧縮伸張に関する動作パラメータが多重化されたビットストリームを受信し、前記ビットストリームの多重化を解除して、前記映像ビットストリームと前記動作パラメータとを抽出し、前記動作パラメータに基づいて前記再構築画像の圧縮と伸張を制御する、ことを特徴とする付記12乃至15のいずれか1項に記載の映像復号方法。付記17予測に基づき生成された、復号対象フレームの再構築画像を第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する、ことを特徴とする映像復号方法。付記18予測に基づき生成された、復号対象フレームの再構築画像を第1の圧縮方式により圧縮して第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第2の圧縮方式により圧縮して第2のメモリに格納し、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する、ことを特徴とする映像復号方法。付記19予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納し、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納し、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化し、前記再構築画像の圧縮伸張を制御し、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する、ことを特徴とする映像符号化方法。付記20予測において符号化対象フレームの再構築画像を参照する場合、前記第1のメモリに格納されている再構築画像を読み出し、前記予測において前記符号化対象フレーム以外の再構築画像を参照する場合、前記第2のメモリから前記再構築画像を読み出し、前記伸張手段を介して伸張する、ことを特徴とする付記19に記載の映像符号化方法。付記21予測において参照される可能性のある符号化対象フレームの再構築画像を、前記第1のメモリに格納する、ことを特徴とする付記19又は20に記載の映像符号化方法。付記22参照されなくなった符号化対象フレームの再構築画像を、前記第1のメモリから読み出して圧縮し、前記第2のメモリに格納する、ことを特徴とする付記19乃至21のいずれか1項に記載の映像符号化方法。付記23コンピュータに、予測に基づき生成された復号対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラム。付記24コンピュータに、予測に基づき生成された、復号対象フレームの再構築画像を第1のメモリに格納するとともに、当該復号対象フレームの再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラム。付記25コンピュータに、予測に基づき生成された、復号対象フレームの再構築画像を第1の圧縮方式により圧縮して第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を伸張し、第2の圧縮方式により圧縮して第2のメモリに格納する処理、伸張された前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納されている再構築画像とを用いて前記映像ビットストリームを映像へ復号する処理、を実行させるためのプログラム。付記26コンピュータに、予測に基づき生成された符号化対象フレームの再構築画像を第1のメモリに格納する処理、前記第1のメモリに格納された前記再構築画像のうち、前記復号対象フレームの予測に用いない再構築画像を圧縮して第2のメモリに格納する処理、前記第1のメモリに格納される再構築画像と、伸張された前記第2のメモリに格納される再構築画像とを用いて入力画像を映像ビットストリームへ符号化する処理、前記再構築画像の圧縮伸張を制御する処理、前記映像ビットストリームと、前記再構築画像の圧縮伸張の制御に関する動作パラメータとを多重化し、ビットストリームを出力する処理、を実行させるためのプログラム。以上、実施の形態及び実施例をあげて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。この出願は、2010年7月8日に出願された日本出願特願2010-155601を基礎とする優先権を主張し、その開示の全てをここに取り込む。"