"入力画像を符号化した符号化ピクチャと、他の情報とを含む符号化データと、音声信号を符号化した音声データとが多重化された多重化データが記録された記録媒体と、前記記録媒体から前記多重化データを復号化する復号化装置とから構成される復号化システムであって、前記記録媒体に記録された前記多重化データに含まれる前記符号化データと、前記音声データは、符号化装置により符号化されており、前記符号化装置は、前記入力画像を符号化して符号化ピクチャを生成する符号化手段と、前記符号化ピクチャを復号化して復号化画像を生成する第1の復号化手段と、前記第1の復号化手段で得られた復号化画像が参照画像として使用される場合は画素間フィルタを用いて前記復号化画像をフィルタリングして出力し、前記第1の復号化手段で得られた復号化画像が参照画像として使用されない場合は前記復号化画像をフィルタリングしないで出力する第1のフィルタリング制御手段と、前記第1のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第1の記憶手段と、前記第1のフィルタリング制御手段で用いた画素間フィルタに関する情報であるフィルタ情報を含む符号化データを生成して出力する可変長符号化手段と、音声信号を符号化し音声データを生成して出力する音声符号化手段とを備え、前記復号化装置は、前記符号化データを復号化して復号化画像を生成する第2の復号化手段と、前記第2の復号化手段で得られた復号化画像を、画素間フィルタを切り替えてフィルタリングする第2のフィルタリング制御手段と、前記第2のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第2の記憶手段と、前記音声データを復号化して音声信号を生成する音声復号化手段とを備え、前記第2のフィルタリング制御手段は、前記第2の復号化手段で得られた復号化画像が参照画像として使用されない場合には前記フィルタリングを行わず、前記第2の復号化手段で得られた復号化画像が参照画像として使用される場合に前記フィルタリングを行うことを特徴とする復号化システム。しかしながら、例えば、携帯電話機などを用いて動画像を伝送する場合などを考慮すると、携帯機器では1回の充電で長時間使用できるように機器全体での消費電力を抑えることが望まれるため、画像処理のために大きな電力が必要な高性能な処理能力を備えることは好ましくない。従って、画像処理のために処理能力が低い演算器しか使用できない携帯機器を対象とすると、要求される処理量が小さい画素間フィルタしか使用できない場合がある。一方、高画質な動画像の伝送および高い符号化効率に対する要求が強いアプリケーションでは、演算器に要求される処理量が大きいが、性能が高い画素間フィルタを使用したい場合もある。符号化方式がこれらの要求に柔軟に対応できれば、当該符号化方式、当該復号化方式に従う画像符号化装置および画像復号化装置などの運用範囲が広がり有益である。本発明は、このような従来の問題点に鑑みてなされたものであって、多様な状況に応じて画素間フィルタを選択的に使用し符号化データを生成する画像符号化方法、およびその画像符号化データを提供することを目的とする。本発明の一形態に係る復号化システムは、入力画像を符号化した符号化ピクチャと、他の情報とを含む符号化データと、音声信号を符号化した音声データとが多重化された多重化データが記録された記録媒体と、前記記録媒体から前記多重化データを復号化する復号化装置とから構成される復号化システムであって、前記記録媒体に記録された前記多重化データに含まれる前記符号化データと、前記音声データは、符号化装置により符号化されており、前記符号化装置は、前記入力画像を符号化して符号化ピクチャを生成する符号化手段と、前記符号化ピクチャを復号化して復号化画像を生成する第1の復号化手段と、前記第1の復号化手段で得られた復号化画像が参照画像として使用される場合は画素間フィルタを用いて前記復号化画像をフィルタリングして出力し、前記第1の復号化手段で得られた復号化画像が参照画像として使用されない場合は前記復号化画像をフィルタリングしないで出力する第1のフィルタリング制御手段と、前記第1のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第1の記憶手段と、前記第1のフィルタリング制御手段で用いた画素間フィルタに関する情報であるフィルタ情報を含む符号化データを生成して出力する可変長符号化手段と、音声信号を符号化し音声データを生成して出力する音声符号化手段とを備え、前記復号化装置は、前記符号化データを復号化して復号化画像を生成する第2の復号化手段と、前記第2の復号化手段で得られた復号化画像を、画素間フィルタを切り替えてフィルタリングする第2のフィルタリング制御手段と、前記第2のフィルタリング制御手段でフィルタリングされた復号化画像を参照画像として記憶する第2の記憶手段と、前記音声データを復号化して音声信号を生成する音声復号化手段とを備え、前記第2のフィルタリング制御手段は、前記第2の復号化手段で得られた復号化画像が参照画像として使用されない場合には前記フィルタリングを行わず、前記第2の復号化手段で得られた復号化画像が参照画像として使用される場合に前記フィルタリングを行うことを特徴とする。本発明に係る画像復号化装置は、符号化画像を分割したブロック画像を復号化する画像復号化装置であって、前記符号化画像を復号化して復号化画像を復元する復号化手段と、前記復号化画像を、画素間フィルタを切り替えてフィルタリングするフィルタリング手段と、前記フィルタリング手段で得られたフィルタ済みの復号化画像を、後続の符号化画像を復号化するための参照画像として記憶する記憶手段とを有し、前記フィルタリング手段は、前記復号化画像が参照画像として使用されない場合はフィルタリングを行わず、前記復号化画像が参照画像として使用される場合であって、前記復号化画像内の隣接する2つのブロック境界の画素値の差分が所定の閾値未満である場合はフィルタリングを行い、前記復号化画像が参照画像として使用される場合であって、前記差分が前記閾値以上である場合はフィルタリングを行わない。本発明に係る画像符号化方法は、画像データを符号化する画像符号化方法であって、入力画像を符号化して符号化データを生成する符号化ステップと、前記符号化データを復号化して、参照画像に基づいて生成される予測画像を用いて、あるいは前記予測画像を用いないで、復号化画像を復元する復号化ステップと、前記復号化ステップにおいて予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報に基づいて、前記復元された復号化画像を画素間フィルタリングしてフィルタ画像を生成するフィルタステップと、前記フィルタステップにおいて生成されたフィルタ画像が参照画像の場合、前記フィルタ画像を後続の符号化データを復号化するための参照画像として記憶する記憶ステップとを備えることを特徴とする。また、本発明に係る画像符号化データは、画像データを符号化して生成された画像符号化データであって、予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報を含み、復号化装置において、参照画像に基づいて生成される予測画像を用いて、あるいは前記予測画像を用いないで、復号化画像として復元され、前記復号化画像は、前記予測画像を用いて復号化画像を復元するかあるいは予測画像を用いないで復号化画像を復元するかを示す情報に基づいて、前記復元された復号化画像を画素間フィルタリングされ、前記フィルタリングされた画像は、前記画像符号化データにおける後続の画像符号化データを復号化するための参照画像として記憶されることを特徴とする。さらに、本発明に係る画像符号化装置及び画像復号化装置は、繰り返し入力されるフレーム画像を符号化する画像符号化装置等であって、フレーム画像に所定の変換処理を施すことによって符号化を行う符号化手段と、前記符号化手段によって符号化されたフレーム画像に前記変換処理の逆の変換処理を施す逆変換手段と、フレーム画像にフィルタ処理を施すフィルタ手段と、フレーム画像を記憶するための記憶手段と、前記逆変換手段による逆変換処理で得られたフレーム画像に対して、前記フィルタ手段によるフィルタ処理を施した後に当該フレーム画像を前記記憶手段に格納するか、又は、前記フィルタ手段によるフィルタ処理を施さずに当該フレーム画像を前記記憶手段に格納するように制御する制御手段とを備え、前記符号化手段は、前記記憶手段に格納された過去のフレーム画像を参照しながら前記フレーム画像を符号化することを特徴とする。ここで、前記制御手段は、前記フレーム画像の重要度が高い場合に、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像の重要度が低い場合に、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。例えば、前記制御手段は、前記フレーム画像が前記符号化手段によって面内符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって面間符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によって前方向予測符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって双方向予測符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によってベースレイヤ符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によってエンハンスメントレイヤ符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。また、前記制御手段は、当該画像符号化装置画像復号化装置の処理能力についての余裕を監視し、余裕がある場合には、より重要度の低いフレーム画像までフィルタ処理を施し、余裕がない場合には、より重要度の高いフレーム画像までフィルタ処理を施さないように制御してもよい。例えば、前記フレーム画像には、前記重要度に対応する優先順位が対応付けられ、前記制御手段は、当該画像符号化装置が備えるCPUの稼働率を監視することによって前記余裕を監視し、前記稼働率が高い場合には、優先度の高いフレーム画像だけフィルタ処理を施し、前記稼働率が低い場合には、優先度の低いフレーム画像までフィルタ処理を施すように制御してもよい。本発明に係る画像符号化装置は、入力画像を表す入力画像データと、前記入力画像のピクチャに対する予測画像を表す予測画像データとの差分である差分画像データを符号化して符号化画像データを生成する画像符号化装置であって、前記差分画像データを符号化した後、前記符号化した差分画像データを復号化して前記予測画像データと加算する復号化手段と、前記復号化手段で得られた復号化画像データに対して画素間フィルタ演算を施す複数の画素間フィルタと、前記画素間フィルタのうちから、1つを選択する選択手段と、選択された前記画素間フィルタで得られたフィルタ済み復号化画像データを参照画像データとして用いて、入力画像データに対する予測画像データを生成する予測画像生成手段とを備えることを特徴とする。したがって、本発明に係る画像符号化装置は、画像符号化装置側での処理能力や、符号化信号を受信する画像復号化装置側での処理能力、もしくは符号化対象の画像の性質や圧縮率等に応じて適切な画素間フィルタを切り替えて符号化信号を作成することができるという効果がある。また、本発明に係る画像復号化装置は、動画像中のピクチャを表す画像データと動画中の他のピクチャを表す予測画像データとの差分を符号化して得られた符号化画像データから、元の動画像を表す複数の画像データを復号化する画像復号化装置であって、前記符号化画像データの復号化結果と、当該符号化画像データに対応する、すでに復号化された予測画像データとを加算して、元のピクチャを表す画像データを復号化する復号手段と、復号化された前記画像データに対して画素間フィルタ演算を施す複数の画素間フィルタのうちから1つを選択する選択手段と、選択された前記画素間フィルタによる前記演算が施された画像データから、別の符号化画像データに対応する予測画像データを生成する予測画像生成手段とを備えることを特徴とする。従って、本発明に係る画像復号化装置では、画像復号化装置の処理能力や画像の参照の有無に応じて画素間フィルタを選択し、予測画像を生成することができるという効果がある。また、画像符号化装置で画素間フィルタを切り替えた場合は、画像復号化装置でも対応する画素間フィルタを用いて正しく復号化できる。さらに、本発明に係る画像符号化装置及び画像復号化装置は、繰り返し入力されるフレーム画像を符号化する画像符号化装置等であって、フレーム画像に所定の変換処理を施すことによって符号化を行う符号化手段と、前記符号化手段によって符号化されたフレーム画像に前記変換処理の逆の変換処理を施す逆変換手段と、フレーム画像にフィルタ処理を施すフィルタ手段と、フレーム画像を記憶するための記憶手段と、前記逆変換手段による逆変換処理で得られたフレーム画像に対して、前記フィルタ手段によるフィルタ処理を施した後に当該フレーム画像を前記記憶手段に格納するか、又は、前記フィルタ手段によるフィルタ処理を施さずに当該フレーム画像を前記記憶手段に格納するように制御する制御手段とを備え、前記符号化手段は、前記記憶手段に格納された過去のフレーム画像を参照しながら前記フレーム画像を符号化することを特徴とする。これによって、画像符号化及び画像復号化において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像符号化装置画像復号化装置であっても画素間フィルタを採用することが可能となり、低ビットレートで高い画質改善効果が得られる。ここで、前記制御手段は、前記フレーム画像の重要度が高い場合に、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像の重要度が低い場合に、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。例えば、前記制御手段は、前記フレーム画像が前記符号化手段によって面内符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって面間符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によって前方向予測符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によって双方向予測符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御したり、前記フレーム画像が前記符号化手段によってベースレイヤ符号化が行われたものである場合に、当該フレームの重要度が高いと判断し、当該フレーム画像に対して前記フィルタ処理を施し、前記フレーム画像が前記符号化手段によってエンハンスメントレイヤ符号化が行われたものである場合に、当該フレームの重要度が低いと判断し、当該フレーム画像に対して前記フィルタ処理を施さないように制御してもよい。これによって、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、面内符号化フレーム画像、前方向予測符号化フレーム画像、ベースレイヤフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。また、前記制御手段は、当該画像符号化装置画像復号化装置の処理能力についての余裕を監視し、余裕がある場合には、より重要度の低いフレーム画像までフィルタ処理を施し、余裕がない場合には、より重要度の高いフレーム画像までフィルタ処理を施さないように制御してもよい。例えば、前記フレーム画像には、前記重要度に対応する優先順位が対応付けられ、前記制御手段は、当該画像符号化装置が備えるCPUの稼働率を監視することによって前記余裕を監視し、前記稼働率が高い場合には、優先度の高いフレーム画像だけフィルタ処理を施し、前記稼働率が低い場合には、優先度の低いフレーム画像までフィルタ処理を施すように制御してもよい。これによって、画像符号化装置画像復号化装置の処理能力がフルに発揮されるように、フィルタ処理のON/OFFを制御することができるので、高い効率でCPUが使用されることとなり、同じハードウェア資源であっても、高画質の符号化復号化が実現される。以上のように、本発明により、低ビットレート高圧縮率で高画質の画像符号化及び画像復号化が実現され、特に、限られたハードウェア資源下でのソフトウェアによる画像符号化処理及び画像復号化処理における高い画質改善効果が発揮され、情報通信技術とコンピュータが広く普及した今日における実用的価値は極めて高いと言える。実施の形態1以下、本発明の具体的な実施の形態について、図面を参照しながら説明する。図1は、本発明の実施の形態1に係る画像符号化装置300の構成を示すブロック図である。同図において、図23に示した従来の画像符号化装置100と同様の構成要素およびデータについてはすでに説明しているので、同一の符号を付し、説明を省略する。以降の図においても同様に、すでに説明した既出の構成要素およびデータについては、同一の符号を付し、説明を省略する。画像符号化装置300は、差分器101、画像符号化部102、可変長符号化部305、画像復号化部104、加算器105、画像メモリ107、ピクチャ間予測部108、ピクチャ間予測推定部109、スイッチ301、スイッチ302、画素間フィルタA303および画素間フィルタB304を備える。スイッチ301とスイッチ302とは、それぞれ、フィルタ種別データFilterType1の値に応じて、端子1と端子2とのいずれかを選択的に接続するスイッチである。スイッチ301は、加算器105の出力端子と、画素間フィルタA303および画素間フィルタB304の入力端子との間に設けられる。また、スイッチ302は、画像メモリ107の入力端子と、画素間フィルタA303および画素間フィルタB304の出力端子との間に設けられている。画素間フィルタA303と画素間フィルタB304とは、例えば、ブロック間の境界付近における高周波ノイズを平滑化し、ブロックひずみを除去するデブロックフィルタで、それぞれ平滑化の度合いが異なる。また、平滑化の度合いに対応して、平滑化のための演算処理量が異なる。なお、スイッチ301やスイッチ302等、図示する構成はハードウェアとして実装しても、ソフトウェアとして実装してもどちらでもよい。また、他の図面でも同様である。可変長符号化部305は、入力されるフィルタ種別データFilterType1と差分画像符号化データCodedResと予測パラメータデータPredParamとを、それぞれ可変長符号化、例えば、ハフマン符号化して、1つの符号化データBitstream1にまとめて画像符号化装置300の外部へ出力する。以上のように構成される画像符号化装置300の動作を、従来の画像符号化装置100と比較して新たに構成された部分についてより具体的に説明する。まず、画像符号化装置300には、外部からフィルタ種別データFilterType1が入力される。ここで、外部からの入力とは、例えば、画像符号化装置の外部からのユーザによるキーボード等のユーザインターフェースを用いた入力であったり、あるいは、装置で固定のデータであって、装置でビットレート圧縮率や画像サイズに応じて決定される値である。このフィルタ種別データFilterType1は、スイッチ301とスイッチ302とに入力される。当該スイッチ301とスイッチ302とは、このフィルタ種別データFilterType1の値に応じて端子1と端子2とのいずれかに接続を切り替える。例えば、フィルタ種別データFilterType1の値が1の場合には、スイッチ301とスイッチ302とはいずれも端子1を接続する。このとき加算器105から出力される復号化画像データReconに対しては、画素間フィルタA303によるフィルタリングが適用される。フィルタ種別データFilterType1の値が2の場合には、スイッチ301とスイッチ302とは端子2側に切り替わり、加算器105から出力される復号化画像データReconに対して、画素間フィルタB304によるフィルタリングが適用される。このように画素間フィルタA303または画素間フィルタB304のフィルタリングが施されたフィルタ済復号化画像データFilteredImg1は画像メモリ107に格納され、以降のピクチャの予測符号化における参照画像として使用される。また、画素間フィルタを特定するフィルタ種別データFilterType1は、同一ピクチャの差分画像符号化データCodedResおよび予測パラメータデータPredParamとともに可変長符号化部305に入力され、それぞれ可変長符号化される。フィルタ種別データFilterType1の可変長符号化結果は、当該差分画像符号化データCodedResと予測パラメータデータPredParamとの可変長符号化結果に対応付けて、符号化データBitstream1に格納され、記録媒体に記録されたり、画像復号化装置に伝送されたりする。すなわち、各ピクチャの復号化画像データReconに対して適用された画素間フィルタの種別が、符号化データBitstream1に格納されたフィルタ種別データFilterType1によって画像復号化装置に通知される。これにより、符号化データBitstream1を復号化する画像復号化装置では、画像符号化装置300において各ピクチャの復号化画像データReconに適用された画素間フィルタを特定することができるので、各ピクチャの復号化画像に対してそれと同一のフィルタを使用することができる。なお、上記説明においてフィルタ種別データFilterType1の値を1、2としたが、これは説明の便宜上定義した値であって、複数のフィルタを区別できる値であればどのような値でもよい。以上のように画像符号化装置300では、画素間フィルタとして異なる予測性能処理量の画素間フィルタを複数個備え、それらを外部から入力されるフィルタ種別データFilterType1に応じて切り替えて使用することができる。このように異なる予測性能処理量の画素間フィルタを切り替えて使用することには次の利点がある。まず、説明のため、画素間フィルタA303は画素間フィルタB304に比べて処理量は少なく、一方、画素間フィルタB304は画素間フィルタA303に比べてノイズ抑圧効果が高く予測符号化効率が向上するとする。本発明の画像符号化装置300が出力する符号化データを復号化する画像復号化装置として、画素間フィルタA303のみを備えた画像復号化装置Aと、画素間フィルタA303および画素間フィルタB304の双方を備えた画像復号化装置Bとの2種類の画像復号化装置を考える。前者の画像復号化装置Aは要求される処理量が小さく、処理能力が低い機器に適している。後者の画像復号化装置Bは処理量が大きい機器に適している。後者の画像復号化装置Bは、画素間フィルタA303と画素間フィルタB304とのいずれの画素間フィルタを使用した符号化データも復号化可能であり、前者の画像復号化装置Aに対して上位互換性を持つ。このような場合に、画像符号化装置300は、上記2種類のいずれの画像復号化装置にも対応する画像符号化装置として機能することができる。つまり、上記の説明のように画像符号化装置300において、対象とする画像復号化装置の処理能力に応じて適切な予測性能処理量の画素間フィルタを選択できるようにしておくことにより、幅広い種類の機器に対して、画像符号化装置300において適用されたものと同じ画素間フィルタを使用した符号化方式を適用する符号化データBitstream1を復号化させることができる。また、画像復号化装置の処理能力に応じた符号化データの生成という用途以外にも、画像符号化装置300の処理能力に応じて画素間フィルタを切り替えることができる。例えば、符号化する画像サイズやピクチャレートが大きい場合には、符号化処理全体に要する処理量が大きくなる。従って、符号化する画像サイズやピクチャレートが一定値以下の場合には要求される処理能力が高い画素間フィルタB304を使用し、符号化する画像サイズやピクチャレートが一定値以上の場合には、要求される処理能力が低い画素間フィルタA303を使用して、符号化処理全体に要する処理量が高くならないようにすることができる。また、複数の処理を1台の装置で時分割して実行するタイムシェアリングシステム上で画像符号化を実現する場合には、他の処理の影響で画像符号化に費やせる処理量が動的に変化する可能性がある。そこで、画像符号化に費やせる処理量が一定以上の場合には処理量が高い画素間フィルタB304を使用し、画像符号化に費やせる処理量が一定以下の場合には処理量が画素間フィルタB304より少ない画素間フィルタA303を使用することができる。画素間フィルタの切り替えのタイミングは、特定の性質の画像に適した画素間フィルタを複数備えて、各画像の性質に応じてピクチャ単位に画素間フィルタを切り替えるようにしてもよい。例えば、文字などエッジ情報が重要な場合にはエッジの保存性に優れた画素間フィルタを使用する。この切り替えは、エッジ検出や文字検出等の画像処理技術によって自動的に判断して行うことや、ユーザが明示的に自然画像に適した画素間フィルタ、文字に適した画素間フィルタ、エッジに適した画素間フィルタから選択してもよい。このように複数の画素間フィルタの切り替えが可能になれば、画像の性質に適切なフィルタを選択できるため、予測効率をより向上することができる。すなわち、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えることも有効である。従って、本実施の形態では処理量に応じて切り替える説明を行ったが、画質がよくなるようにフィルタを切り替えてもよい。また、画素間フィルタを切り替える単位は、ピクチャ単位とは限らず、画像内の部分によっても画像の性質が異なる可能性があるため、例えば、MPEGのスライス、マクロブロックおよびブロックなどのピクチャより小さい画像領域を単位としてもよく、少なくとも1画素以上が集合した領域を単位として画素間フィルタを切り替えるようにしてもよい。図2は、入力画像のスライスごとに画素間フィルタを切り替える画像符号化装置400の構成を示すブロック図である。画像符号化装置400は、MPEGのスライス単位で画素間フィルタを切り替えて復号化画像のフィルタリングを行う画像符号化装置であって、差分器101、画像符号化部102、画像復号化部104、加算器105、画像メモリ107、ピクチャ間予測部108、ピクチャ間予測推定部109、スイッチ403、スイッチ404、画素間フィルタA303、画素間フィルタB304、可変長符号化部305、フィルタ切り替え位置判定部401およびスイッチ402を備える。フィルタ切り替え位置判定部401は、外部から入力される画像データImgから入力画像のスライスを検出し、検出されたスライスが切り替わるごとに、例えば、1個のパルスを出力するようなフィルタ切り替え制御データSetFTypeをスイッチ402に出力する。スイッチ402は、フィルタ切り替え制御データSetFTypeが出力されていない間は端子間の接続が遮断されているスイッチであって、フィルタ切り替え制御データSetFTypeが出力されている瞬間、ごくわずかの時間だけ、外部から入力されるフィルタ種別データFilterType1をスイッチ403とスイッチ404とに導通する。スイッチ403とスイッチ404とは、いずれも入力画像データImgのスライスが切り替わるごとに瞬間的に入力されるフィルタ種別データFilterType1の値に応じて、端子1または端子2のいずれかを接続し、その状態を保持する。すなわち、スイッチ402の接続が遮断されている間には、画素間フィルタは切り替わらない。その結果、入力画像データImgのスライスの切り替わりごとに、フィルタ種別データFilterType1によって新たな画素間フィルタが選択され、スライスの途中で画素間フィルタが切り替えられることを防止することができる。以上説明したように、本発明の画像符号化装置により、本発明の画像符号化装置が出力する符号化データを再生する画像復号化装置の処理能力に応じた画素間フィルタを用いた符号化データを作成することが可能になる。また、画像符号化装置の処理能力に応じて画素間フィルタを選択することができる。なお、本実施の形態の画像符号化装置の備える画素間フィルタは2つであるが、3つ以上の画素間フィルタを備えてもよい。本実施の形態と同様に、3つ以上の画素間フィルタのいずれかを選択して使用し、使用した画素間フィルタの種別を示すフィルタ種別データを符号化データに含めればよい。また、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えてもよい。なお、画像符号化装置400では、フィルタ切り替え制御データSetFTypeを、検出されるスライスの切り替わりごとに値1を示し、それ以外の間は値0を示すパルス波形としたが、本発明はこれに限定されず、例えば、スライスの切り替わりごとに反転する矩形波などであってもよいし、その他の波形であってもよい。また、スイッチ402をフィルタ切り替え制御データSetFTypeが同位相の間は端子間の接続が遮断されているスイッチとしたが、本発明はこれに限定されず、フィルタ切り替え位置でない場合には、フィルタ切り替え位置判定部401は、スイッチ402を遮断するための値を示すフィルタ切り替え制御データSetFTypeを出力するとしてもよい。また、画像符号化装置400では、画像データImgのスライス単位で画素間フィルタを切り替えるとしたが、ピクチャ単位に画素間フィルタを切り替えるとしてもよく、また、ブロック、マクロブロックまたは一定複数画素ずつを単位に画素間フィルタを切り替えるとしてもよい。図3aは、本発明の画像符号化装置が出力する符号化データBitstreamのストリーム構成を示す図である。図3bは、本発明の画像符号化装置が画素間フィルタをスライスを単位として切り替えた場合に出力される符号化データBitstreamのストリーム構成を示す図である。本発明の符号化データの特徴は、複数の画素間フィルタの1つを特定するフィルタ種別データFilterTypeを符号化データBitstreamに含むことである。このストリーム構成により、本発明の符号化データBitstreamを復号化する画像復号化装置では、符号化データBitstreamに含まれているフィルタ種別データFilterTypeを調べることにより、符号化の際に使用された画素間フィルタと同一の画素間フィルタを使用することができる。図3aに示した符号化データBitstreamでは、符号化データBitstream全体に付されるヘッダ901の中例えば、斜線部に、各ピクチャのフィルタリングに用いられた画素間フィルタを示すフィルタ種別データFilterTypeの値が記述されている。この符号化データBitstreamは、図1に示した画像符号化装置300から出力される符号化データBitstream1に対応している。また、図3bに示した符号化データBitstreamでは、スライスごとに設けられるスライスヘッダ902の中例えば、斜線部に、当該スライスのフィルタリングに用いられた画素間フィルタを示すフィルタ種別データFilterTypeの値が記述される。この符号化データBitstreamは、図2に示した画像符号化装置400から出力される符号化データBitstream1に対応している。このように、フィルタ種別データFilterTypeを符号化データBitstreamの先頭部分であるヘッダ901や、データの記録伝送の基本単位であり誤り訂正修整の単位でもあるスライスの先頭となるスライスヘッダ902などに格納することによって、画像復号化装置では、ヘッダ901もしくはスライスから符号化データBitstreamを入力することにより、当該スライスの復号化前にそのスライスのフィルタリング種別を特定することができる。なお、ここではスライス単位で画素間フィルタを切り替えると説明したが、スライス単位だけでなく、スライスより小さい画像領域単位1画素以上が集合した領域であればよい、例えば、MPEGのマクロブロックブロックなどで画素間フィルタを切り替えてもよい。また、スライスより大きい画像領域の単位であるピクチャで切り替えてもよい。この場合、図3aに示したヘッダ901の中例えば、斜線部に記述する以外に、例えば、ピクチャ符号化データごとに設けられるピクチャヘッダの中に、各ピクチャに対応するフィルタ種別データFilterType1の値を記述してもよい。また、マクロブロックまたはブロックをフィルタリング方法の切り替え単位とする場合には、各マクロブロックまたは各ブロックのフィルタ種別データFilterType1の値をスライスごとにまとめて、スライスヘッダに記述しておけばよい。更に、パケット等で伝送する場合はヘッダ部とデータ部を分離して別に伝送してもよい。その場合は、図3のようにヘッダ部とデータ部が1つのビットストリームとなることはない。しかしながら、パケットの場合は、伝送する順序が多少前後することがあっても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、1つのビットストリームとなっていなくても、概念は図3で説明したビットストリームの場合と同じである。以上説明したように、本発明の画像符号化装置に入力されるフィルタ種別データFilterType1の値を、画像復号化装置の処理能力に応じた画素間フィルタを選択するよう設定しておくことにより、本発明の画像符号化装置が出力する符号化データを再生する画像復号化装置の処理能力に応じた符号化データを作成することが可能になる。また、画像符号化装置の処理能力に応じて画素間フィルタを選択することができる。また、処理量に応じて切り替えるのではなく、画質を向上するようにフィルタを切り替えてもよい。図4は、本実施の形態1に係る画像符号化装置によって生成された符号化データBitstream1を復号化する画像復号化装置1000の構成を示すブロック図である。画像復号化装置1000は、入力される符号化データBitstream1のヘッダに記述されているフィルタ種別データFilterType1に従ってピクチャごとまたはスライスごとに画素間フィルタを切り替え、符号化データBitstream1の符号化データを復号化する画像復号化装置であって、可変長復号化部201、画像復号化部202、加算器203、画像メモリ205、ピクチャ間予測部206、スイッチ1001、スイッチ1002、画素間フィルタA1003および画素間フィルタB1004を備える。画像復号化装置1000には、外部から符号化データBitstream1が入力される。この符号化データBitstream1は、例えば実施の形態1における画像符号化装置300または画像符号化装置400によって符号化されたものである。可変長復号化部201は、入力された符号化データBitstream1を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType1とに分離し、差分画像符号化データCodedResを画像復号化部202に、予測パラメータデータPredParamをピクチャ間予測部206に、フィルタ種別データFilterType1をスイッチ1001とスイッチ1002とにそれぞれ出力する。スイッチ1001およびスイッチ1002は、フィルタ種別データFilterType1として値1が入力された場合には、端子1側に切り替わり、復号化像データReconに画素間フィルタA1003によるフィルタリングを適用する。フィルタ種別データFilterType1として値2が入力された場合には、スイッチ1001およびスイッチ1002は、端子2側に切り替わり、復号化画像データReconに画素間フィルタB1004によるフィルタリングを適用する。いずれの画素間フィルタにより画素間フィルタ演算が施された場合にも、フィルタ済復号化画像データFilteredImg1は画像メモリ205に格納されるとともに、画像復号化装置1000の外部、例えば、表示装置などに出力される。以上説明したように、本発明の画像復号化装置1000によれば、ヘッダ部に画素間フィルタの種別を特定するフィルタ種別データFilterType1を含んだ符号化データBitstream1を復号化することが可能になる。なお、本実施の形態の画像復号化装置の備える画素間フィルタは2つであるが、3つ以上の画素間フィルタを備えてもよい。この場合、本実施の形態と同様に、符号化データBitstream内のフィルタ種別データに従い3つ以上の画素間フィルタのいずれかを選択し、使用すればよい。なお、実施の形態1で示したように、フィルタ種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。図5は、指定された画素間フィルタが内部に備えられていない場合には、備えられている画素間フィルタを代用する画像復号化装置1100の構成を示すブロック図である。画像復号化装置1100は、符号化データ中に含まれるフィルタ種別データで選択された画素間フィルタが画像復号化装置1100内に備えられていない場合には、画像符号化装置1100に備えられているいずれかの画素間フィルタを代わりに用いることを特徴とする。この画像復号化装置1100は、可変長復号化部201、画像復号化部202、加算器203、画像メモリ205、ピクチャ間予測部206、スイッチ1001、スイッチ1002、画素間フィルタA1003、画素間フィルタB1004およびフィルタ種別データ変換部1101を備える。例えば、画像復号化装置1100には、フィルタ種別データFilterType1の値1と値2とが示す2種類の画素間フィルタA1003と、画素間フィルタB1004としか備えられていないとする。画像復号化装置1100には、外部から符号化データBitstream3が入力される。可変長復号化部201は、入力される符号化データBitstream3を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType3とに分離し、差分画像符号化データCodedResを画像復号化部202に、予測パラメータデータPredParamをピクチャ間予測部206に、フィルタ種別データFilterType3をフィルタ種別データ変換部1101にそれぞれ出力する。フィルタ種別データ変換部1101は、フィルタ種別データFilterType3の値が画像復号化装置1100に備えられていない画素間フィルタを示す値3をとる場合には、フィルタ種別データFilterType3の値3を、例えば画像復号化装置1100に備えられている画素間フィルタのうち、指定された画素間フィルタと平滑度が最も近似する画素間フィルタを示す2の値に変換して、フィルタ種別データFilterType4として出力する。この変換処理を行うことにより、画像復号化装置1100において、符号化時とは異なる画素間フィルタを用いるため多少の画質劣化は生じるが本来の復号化画像に近い復号化処理が可能であるため、簡易的な画像復号機能としては十分有効性がある。フィルタ種別データFilterType4として値1が入力された場合には、スイッチ1001とスイッチ1002とは、いずれも端子1側に切り替わり、復号化画像データReconに対して画素間フィルタA1003によるフィルタリングを適用する。フィルタ種別データFilterType4として値2が入力された場合には、スイッチ1001とスイッチ1002とは、いずれも端子2側に切り替わり、復号化画像データReconに対して画素間フィルタB1004によるフィルタリングを適用する。画素間フィルタによる処理結果であるフィルタ済復号化画像データFilteredImg3は、画像復号化装置1100外の表示装置などに出力される。以上説明したように、画像復号化装置1100によれば、画像復号化装置1100に備えられていない画素間フィルタを指定したフィルタ種別データFilterType3が、入力符号化データBitstream3に含まれている場合でも、内部に備えられている画素間フィルタを代用して復号化を行うことができる。したがって、大幅な画質の劣化を招くことなく、符号化データBitstreamを復号化することができる。なお、画像復号化装置1100が備えている画素間フィルタ画素間フィルタ演算なしも含むが1つの場合には強制的にその画素間フィルタを使用することで復号化を行うことができる。なお、本実施の形態の画像復号化装置では、2個の画素間フィルタ画素間フィルタ演算なしも1つのフィルタとして数えるを備えているが3個以上の画素間フィルタがあっても同様の処理が可能である。すなわち、画素間フィルタの1つとして、画素間フィルタ演算を行わず復号化画像データReconをそのまま画像メモリ205に格納する処理を含めてもよい。なお、実施の形態1で示したように、フィルタ種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。画素間フィルタ303、304、1003、1004の動作について図7および図8を用いてより詳細に説明する。図7は、画素間フィルタの一例であるデブロックフィルタの演算内容を示す図である。図7aは、フィルタリング前におけるブロック境界付近の画素値を示す図である。図7bは、フィルタリング後におけるブロック境界付近の画素値を示す図である。図8は、画素間フィルタのフィルタリング処理の流れを示すフローチャートである。図7aは、同一水平走査線上の画素601~画素608におけるそれぞれの画素値を示している。画素601~画素604はいずれもブロック610内の画素であるが、画素605~画素608はブロック610に隣接するブロック611内の画素である。画素601~画素604の画素値は、それぞれp3、p2、p1およびp0であり、画素605~画素608の画素値は、それぞれq0、q1、q2およびq3である。画像符号化装置において、ピクチャ間予測、画像符号化、可変長符号化および画像復号化などの処理は一般に、ブロックまたはマクロブロックなどを単位として行われる。このため、隣接ブロックまたはマクロブロック間の境界、例えばブロック610とブロック611との境界をまたぐ画素間、例えば画素604と画素605とで高周波数に符号化ノイズが生じやすい。例えば、図7aに示す画素604の画素値p0と画素605の画素値q0とでは符号化ノイズの影響によって画素値の差が大きくなり易いという傾向がある。このため、画素間フィルタは、複数のパラメータを用いてフィルタを決定することができ、例えばフィルタを決定するパラメータα、βに対応したフィルタであり、この画素間フィルタによりブロック境界をまたぐ画素群の画素値をフィルタリングする。図8に示すように、画素間フィルタは、まず、ブロック境界をまたぐ画素604と画素605との画素値の差p0-q0の絶対値を求め、求められた絶対値がパラメータαの値未満であるか否かを判定するS701。判定の結果、画素値の差p0-q0の絶対値がパラメータαの値以上であれば、画素間フィルタは、復号化画像データReconで表される画素値に対してデブロックフィルタ処理を行わないS704。一方、ステップS701における判定の結果、ブロック境界をまたぐ隣接画素間の画素値の差p0-q0の絶対値がパラメータαの値未満であれば、画素間フィルタはさらに、画素604と画素603との画素値の差p1-p0の絶対値を求め、求められた絶対値が、パラメータβの値未満であるか否かを判定するS702。ここで、画素604と画素603とは、同一ブロック610内の隣接画素である。判定の結果、画素値の差p1-p0の絶対値がパラメータβの値以上であれば、画素間フィルタ503は、復号化画像データReconで表される画素値に対してデブロックフィルタ処理を行わないS704。また、判定の結果、画素値の差p1-p0の絶対値がパラメータβの値未満であれば、さらに、画素605と画素606との画素値の差q1-q0の絶対値を求め、求められた絶対値が、パラメータβの値未満であるか否かを判定するS703。ここで、画素605と画素606とは、同一ブロック611内の隣接画素である。判定の結果、画素値の差q1-q0の絶対値がパラメータβの値以上であれば、画素間フィルタは復号化画像データReconで表される画素値に対してデブロックフィルタ処理を行わないS704。一方、画素値の差q1-q0の絶対値がパラメータβの値未満であれば、画素間フィルタ503は、復号化画像データReconに対してフィルタリングを行って符号化ノイズを除去し、処理を終了する。画素間フィルタは、以上の処理をブロック境界をまたぐ水平走査線方向および垂直走査線方向の各画素列について繰り返す。このように、3組の隣接画素の画素値の差のいずれかが一定値未満の場合にデブロックフィルタ処理を施すことでブロック歪みを除去する。なお、上記ステップS704におけるデブロックフィルタ処理では、境界近傍の画素に平滑化フィルタ高域周波数成分抑圧フィルタを行う。例えば、平滑化による画素604の新たな画素値P0は、画素604の画素値p0、画素605の画素値q0、画素603の画素値p1および画素606の画素値q1に高域周波数成分を抑圧する低域通過フィルタLowPassFilterを用いて生成することができる。実施の形態2図6は、第2の実施の形態に係る画像符号化装置500の構成を示すブロック図である。画像符号化装置500が画像符号化装置300と異なるのは、画素間フィルタ処理として、復号化画像データReconをそのまま参照画像データRefとして画像メモリ107に格納することを選択できることである。画像符号化装置500は、差分器101、画像符号化部102、画像復号化部104、加算器105、画像メモリ107、ピクチャ間予測部108、ピクチャ間予測推定部109、スイッチ501、スイッチ502、画素間フィルタ503、テーブル保持部504および可変長符号化部505を備える。スイッチ501とスイッチ502とは、フィルタ種別データFilterType2の値が0のとき、いずれも端子0側に切り替わり、加算器105から出力される復号化画像データReconをそのまま画像メモリ107に格納する。スイッチ501とスイッチ502とは、フィルタ種別データFilterType2の値が1のとき、いずれも端子1側に切り替わり、加算器105から出力された復号化画像データReconを画素間フィルタ503に導通する。画素間フィルタ503は、画素値のフィルタリングに用いられるフィルタで、例えば、ブロック境界における高周波成分の符号化ノイズを抑圧するデブロックフィルタである。画素間フィルタ503により画素間フィルタ演算されたフィルタ済復号化画像データFilteredImg2は画像メモリ107に格納される。可変長符号化部505は、このフィルタ種別データFilterType2と差分画像符号化データCodedResと予測パラメータデータPredParamとを可変長符号化して図3aに示したような1つの符号化データBitstream2にまとめ、画像符号化装置500の外部へ出力する。なお、画像符号化装置500の備える画素間フィルタは1つであるが、2つ以上の画素間フィルタを備えてもよい。2つ以上の画素間フィルタのいずれか、もしくは、画素間フィルタ演算なしを選択して使用し、使用した画素間フィルタの種別画素間フィルタ演算なしを含むを示すフィルタ種別データを符号化データに含めればよい。また、画像符号化装置500では、テーブル保持部504を省略し、テーブル保持部504の機能を画素間フィルタ503の内部に備えるようにしてもよい。以上説明したように、本発明の画像符号化装置500では、当該画像符号化装置500から出力された符号化データBitstream2を再生する画像復号化装置の処理能力に応じた画素間フィルタを用いて符号化データを作成することが可能になる。また、画像符号化装置500の処理能力に応じて画素間フィルタを選択することもできる。また、フィルタ種別をピクチャ単位またはピクチャより小さい画像領域の単位で切り替えるとしてもよい。図9は、画素間フィルタ処理を行うか行わないかを選択できる実施の形態2に係る画像復号化装置1200の構成を示すブロック図である。画像復号化装置1200が図4の画像復号化装置1000と異なる点は、画素間フィルタ処理として画素間フィルタ演算を行わず、復号化画像データReconをそのまま参照画像データRefとして画像メモリ205に格納することが選択できることである。画像復号化装置1200は、可変長復号化部201、画像復号化部202、加算器203、画像メモリ205、ピクチャ間予測部206、スイッチ1201、スイッチ1202および画素間フィルタ1203を備える。画像復号化装置1200には、例えば、図6の画像符号化装置500によって符号化された図7aの符号化データのように、ヘッダ内に符号化の際に適用された画素間フィルタを示すフィルタ種別データFilterType2が含まれている符号化データBitstream2が入力される。フィルタ種別データFilterType2には、フィルタ種別として画素間フィルタ演算なしを示す値が含まれている。可変長復号化部201は、入力された符号化データBitstream2を可変長復号化し、差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType2とに分離する。分離された差分画像符号化データCodedResと予測パラメータデータPredParamとフィルタ種別データFilterType2とは、それぞれ、画像復号化部202とピクチャ間予測部206とスイッチ1201およびスイッチ1202とに出力される。スイッチ1201およびスイッチ1202は、いずれも、フィルタ種別データFilterType2として値0が入力された場合には、端子0側に切り替わり、加算器203から出力された復号化画像データReconは、そのまま画像メモリ205に格納される。スイッチ1201とスイッチ1202とは、フィルタ種別データFilterType2として値1が入力された場合には、いずれも端子1側に切り替わり、復号化画像データReconに対して画素間フィルタ1203によるフィルタリングを適用する。また、フィルタ種別データから、参照画像となる復号化画像に画素間フィルタを使用しないと判断される場合には、その復号化画像を参照画像として画像メモリに格納するときには画素間フィルタによるフィルタリングを行わず、画像復号化装置の外部に出力するときのみ画素間フィルタを使用するとしてもよい。図10は、さらに画像出力部に選択可能な画素間フィルタを備えた画像復号化装置1300の構成を示すブロック図である。すでに説明したように、画像復号化装置1300は、加算器203から出力される復号化画像に対して、画素間フィルタによるフィルタリングを行わないことをフィルタ種別データFilterType2が示している場合には、画像メモリに格納される復号化画像にはフィルタリングせず、外部に出力される復号化画像には出力側に設けた画素間フィルタによってフィルタリングを行う画像復号化装置であって、可変長復号化部201、画像復号化部202、加算器203、画像メモリ205、ピクチャ間予測部206、スイッチ1201、スイッチ1202、画素間フィルタ1203、スイッチ1301、スイッチ1302および画素間フィルタ1303を備える。スイッチ1201、スイッチ1202、スイッチ1301、スイッチ1302は、フィルタ種別データFilterType2の値が1の場合には全て端子1側に切り替わる。この場合には、スイッチ1201とスイッチ1202とは、加算器203の出力と、画素間フィルタ1203と、画像メモリ205とを導通し、スイッチ1302は、スイッチ1202の出力と画素間フィルタ1303との導通を遮断してスイッチ1301と短絡する。したがって、画素間フィルタ1203が復号化画像データReconに対してフィルタ演算を行い、フィルタ済復号化画像データFilterdImg3を出力する。フィルタ済復号化画像データFilteredImg3は、そのまま、すなわち、重ねて画素間フィルタ1303でフィルタリングされることなく、出力画像OutImgとして画像復号化装置外の表示装置などに出力される。フィルタ種別データFilterType2の値が0の場合には、スイッチ1201、スイッチ1202、スイッチ1301およびスイッチ1302は全て端子0側に切り替わる。この場合には、スイッチ1201は、加算器203の出力と、画素間フィルタ1203との導通を遮断し、スイッチ1202と短絡する。一方、スイッチ1302は、スイッチ1202の出力と画素間フィルタ1303とスイッチ1301の外部出力端子とを導通する。したがって、加算器203から出力された復号化画像データReconは、画素間フィルタ1203では画素間フィルタ演算されず、そのまま、画像メモリ205に参照画像として格納される。スイッチ1202の出力側から取り出された復号化画像データRecon、すなわち、実際にはフィルタリングされていないフィルタ済復号化画像データFilteredImg3は、画素間フィルタ1303によって画素間フィルタ演算が施され、出力画像OutImgとして画像復号化装置1300外の表示装置などに出力される。なお、ここでは説明のために、画素間フィルタ1203と画素間フィルタ1303とは異なる構成要素として記載したが、実装上は同じ画素間フィルタを使用してもよい2つの画素間フィルタは同時に動作することがないため、同じ画素間フィルタを用いても問題はない。また、画素間フィルタ1203と画素間フィルタ1303とは従来の画素間フィルタ106であってもよいし、図6に示したテーブル保持部504を内蔵する画素間フィルタ503であってもよい。またさらに、複数のパラメータ表620を保持するテーブル保持部504を内蔵した画素間フィルタ503であってもよい。ただし、この場合には、画素間フィルタ503にもフィルタ種別データFilterType2が入力される必要がある。以上説明したように、画像復号化装置1300によれば、参照画像となる復号化画像に対してフィルタリングを施さない場合であっても、その復号化画像に対して画素間フィルタによるフィルタリングを施すことができるので、画像復号化装置1300から出力される出力画像OutImgを表示する表示装置では、より高画質の動画像を表示することができる。これは、参照画像となる復号化画像に対してフィルタリングを施さない場合には処理能力に余裕がある機器の場合に特に有効である。なお、実施の形態1で示したように、フィルタ種別データFilterType2で示される画素間フィルタの種別がピクチャ単位、或いは、ピクチャより小さい画像領域の単位で切り替わる場合には、フィルタ種別が変更された時点で画素間フィルタを切り替える。図11は、各ピクチャのピクチャタイプに応じて画素間フィルタ1203を選択することができる画像復号化装置1400の構成を示すブロック図である。画像復号化装置1400は、復号化済みのピクチャが参照画像として使用されるか否かの情報、例えば、各ピクチャのピクチャタイプなどを含む符号化データを復号化する画像復号化装置であって、画像復号化部202、加算器203、画像メモリ205、ピクチャ間予測部206、画素間フィルタ1203、可変長復号化部1401、スイッチ1402、スイッチ1403およびピクチャ種別データ変換部1404を備える。可変長復号化部1401は、外部から入力される符号化データBitstream4を可変長復号化し、ピクチャ種別データPTypeと差分画像符号化データCodedResと予測パラメータデータPredParamとに分離する。分離されたピクチャ種別データPTypeはピクチャ種別データ変換部1404に、差分画像符号化データCodedResは画像復号化部202に、予測パラメータデータPredParamはピクチャ間予測部206に、それぞれ、出力される。ピクチャ種別データPTypeは、当該ピクチャが参照画像として使用されるか否かを示す情報である。例えば、国際標準規格であるMPEG-1、2では、フレーム毎にピクチャタイプと呼ばれる情報が符号化データに含まれており、Bピクチャと呼ばれるフレームは参照画像として使用されることはない。従って、符号化データに含まれているこのピクチャタイプを本実施の形態のピクチャ種別データPTypeとして用いてもよい。参照画像として使用されないピクチャには、画素間フィルタによるフィルタリングを行わなくとも、他のピクチャの復号化にはあまり悪影響を与えない。ここで、画像復号化装置1400は、当該ピクチャが参照画像として使用されない場合には画素間フィルタを行わない。例えば、画像復号化装置1400の処理能力が低く、再生時刻に間に合った復号化を実行できない場合には、参照画像として使用されないピクチャに画素間フィルタによるフィルタリングを行わないことによって画像復号化装置1400の処理量を軽減することができる。図11のブロック図を用いて説明すると、まず、ピクチャ種別データ変換部1404は、入力されるピクチャタイプデータPTypeがBピクチャ以外のピクチャを示していれば、すなわち、当該ピクチャが参照画像として使用されることを示していれば、スイッチ1402とスイッチ1403とは、いずれも端子1に切り替わる。これにより画像復号化装置1400は、画素間フィルタ1203を使用して復号化画像データReconに画素間フィルタ演算を行い、演算結果を、フィルタ済復号化画像データFilteredImg5として画像メモリ205に格納するとともに、画像復号化装置1400外の表示装置などに出力する。一方、ピクチャタイプデータPTypeが、当該ピクチャがBピクチャであることを示していれば、すなわち、当該ピクチャが参照画像として使用されないことを示していれば、スイッチ1402とスイッチ1403とは端子0に切り替わり、画素間フィルタ1203は使用されず、加算器105から出力された復号化画像データReconは、そのまま外部に出力される。以上のように、画像復号化装置1400によれば、あまり他のピクチャに参照されることがないBピクチャに対して画素間フィルタ1203によるフィルタリングを省略するので、他のピクチャの復号化に大きな影響を与えることなく、符号化データBitstreamの復号化に要求される処理量を軽減することができる。また、このように画像復号化装置1400は、符号化データのピクチャタイプに応じて画素間フィルタを選択するので、ピクチャヘッダなどのヘッダ情報の中に画素間フィルタの選択情報が入っていない、従来の画像符号化装置から出力される符号化データに対しても、参照されない画像に対してフィルタリング処理を省略して、フィルタリング処理の負荷を軽減することができる。なお、参照されないピクチャはフィルタリング処理をするしないに関わらず、例えば図11で示せば画像メモリ205には保存する必要がない。よって、参照されるピクチャのみ、画像メモリ205にフィルタリング処理をしたデータを保存すればよい。なお、厳密にはBピクチャは参照されない画像を意味するのではなく、Bピクチャを参照するような画像符号化方法も考えられる。従って、ピクチャタイプによって単純に画素間フィルタを選択するのではなく、実際に参照されるピクチャであるかどうかを判断すれば、Bピクチャを参照する場合でもより適切な処理が可能である。ただし、Bピクチャを参照する場合でも、実装を簡単化するために、単純にピクチャタイプで切り替えてもよい。また、画素間フィルタを行うかどうかを切り替えるのでなく、図4または図5に示すように、画素間フィルタ1003、画素間フィルタ1004と2つのフィルタをピクチャタイプ、もしくは参照されるピクチャかどうかによって切り替えてもよい。更に、ピクチャタイプ、およびピクチャが参照されるかどうかによって画素間フィルタを切り替える画像復号化装置の例を説明したが、この切り替えを画像符号化装置でも同様に行うことができる。実施の形態3図12は、本発明の実施の形態3に係る画像符号化装置1500の機能構成を示すブロック図である。画像符号化装置1500は、CPU、メモリ、画像符号化のためのプログラムをインストールしたハードディスクHD等を備えるコンピュータ装置により実現され、その機能として、操作受付部1505、前処理部1510、減算部1512、直交変換部1513、量子化部1514、可変長符号化部1517、後処理部1520、逆量子化部1521、逆直交変換部1522、加算部1524、スイッチ部1530、画素間フィルタ1540、画像メモリ1541、動き検出部1542、動き補償部1543、優先順位決定部1550およびフィルタ処理制御部1560を備える。操作受付部1505は、操作者の入力操作を受け付ける。前処理部1510は、入力された画像信号を操作受付部1505の操作で指定され空間解像度にフォーマット変換するフォーマット変換部、およびピクチャタイプに合わせてピクチャを並べ替えるピクチャ並べ替え部等を備え、ピクチャタイプおよびフレームごとのフレーム画像等を順次出力する。なお、ピクチャタイプには、画面内符号化モード時に作成される、参照画像のないIピクチャIntraPicture:面内符号化画像と、画面間符号化モード時に作成され1つのピクチャのみを参照するPピクチャPredictivePicture:予測符号化画像及び後方画像も参照できるBピクチャBiPredictivePicture:複数予測画像とがあり、画面間符号化モード時における動き検出の際に、画像メモリ1541に格納された、動き検出部1542によって同時に参照可能な復号化画像の枚数が制限される。また、フレーム画像を符号化する場合、3つのピクチャタイプを使用して符号化する場合のモードこのモードを以下、IPB符号化モードとも記す。と、Iピクチャ及びPピクチャの2つだけを使用して符号化する場合のモードとがある。このIピクチャ及びPピクチャの2つだけを使用して符号化する場合のモードには、参照の可能性があるPピクチャ及び可能性のないPピクチャについて符号化するモードこのモードを以下、第1IP符号化モードとも記す。と、階層符号化における基本レイアのPピクチャ、補強レイアで参照の可能性があるPピクチャ及び可能性のないPピクチャについて符号化するモードこのモードを以下、第2IP符号化モードとも記す。とがある。階層符号化とは、ピクチャを基本レイアと補強レイアの2つに分類し、基本レイアは基本レイアのピクチャ群のみで単独で再生できるまとまりであり、補強レイアは符号化復号化のためにベースラインのピクチャ群が必要となるピクチャ群である。基本レイアのみだとビット数が少なく、基本レイアと補強レイアを合わせるとビット数が多いがピクチャ数が多くなることから、ベースラインは全ての場合に記録伝送し、補強レイアは高画質が必要な場合のみ記録伝送することで、2通りの用途が容易に実現できるのが階層符号化の特徴である。第1IP符号化モードの場合には、フレーム画像に可能性ありあるいは可能性なしの情報が付加されると共に、ピクチャタイプに可能性ありあるいは可能性なしの情報が付加される。また、第2符号化モードの場合には、フレーム画像に基本、可能性ありあるいは可能性なしの情報が付加されると共に、ピクチャタイプに基本、可能性ありあるいは可能性なしの情報が付加される。減算部1512は、画面内符号化モード時には前処理部1510から出力されたフレーム画像をそのまま出力し、画面間符号化モード時にはフレーム画像と、動き補償部1543から出力された動き補償画像との差分値である動き補償誤差残差画像を計算する。直交変換部1513は、減算部1512から出力された画面内符号化モード時のフレーム画像及び画面間符号化モード時の動き補償誤差に対してそれぞれ離散コサイン変換等の直交変換を行うことにより、周波数領域に変換した周波数成分を出力する。量子化部1514は、直交変換部1513から出力された周波数成分を量子化することにより、量子化値を出力する。可変長符号化部1517は、量子化部1514から出力された量子化値に対してその発生頻度に応じた符号長を割り当てる可変長符号ハフマン符号を用いることで、さらなる情報圧縮を施した符号化信号を出力する。後処理部1520は、符号化信号等を一時的に記憶するバッファや、量子化部1514における量子化幅を制御するためのレート制御部等を備え、上記動きベクトル、ピクチャタイプ等や、可変長符号化部1517から出力された符号化信号をビットストリームの符号化信号に変換して出力する。逆量子化部1521は、量子化部1514によって生成された量子化値を逆量子化することにより周波数成分を復号化する。逆直交変換部1522は、逆量子化部1521によって復号化された周波数成分を逆直交変換することにより、画面内符号化モード時にはフレーム画像を、画面間符号化モード時には画素の差分値である動き補償誤差残差画像を復号化する。加算部1524は、画面内符号化モード時には逆直交変換部1522によって復号化されたフレーム画像復号化画像をそのまま出力し、画面間符号化モード時には逆直交変換部1522によって復号化された残差画像と、動き補償部1543によって生成された動き補償画像とを加算することによりフレーム画像を復号化する。スイッチ部1530は、フィルタ処理制御部1560によるピクチャごとのスイッチON/OFF制御によりスイッチング態様を同期して切り替える一対のスイッチ1531,1532からなり、画素間フィルタ1540をループ内に組み入れたり、ループから外したり、すなわち、画素間フィルタ1540による処理をスキップさせたりする。画素間フィルタ1540は、スイッチ1531,1532のON時に、加算部1524から出力された復号化画像に対してブロック単位で空間的な低域通過フィルタ処理を行い、ブロック歪み等のない復号化画像を生成する。例えば、ある画素とその周囲の画素と平均値を算出し、ある画素と周囲の画素との差が所定の範囲内であれば、そのある画素を算出した平均値に置き換える処理をブロック境界付近の画素に対して1つずつ実行する。画像メモリ1541は、スイッチ部1530から出力された復号化画像を複数フレーム分、記憶する。これにより、後処理部1520から出力される符号化信号を復号化する画像復号化装置と同じ状態で復号化画像をモニタしたり、復号化画像を画面間符号化モード時における参照画像として用いることが可能になる。なお、第1IP符号化モード及び第2IP符号化モードにおいて、参照の可能性ありの情報が付加されたPピクチャの復号化画像は画像メモリ1541に必ず格納され、参照の可能性なしの情報が付加されたPピクチャの復号化画像は画像メモリ1541に格納される必要はない。このため、可能性あり/なしの情報は、復号化画像を画像メモリ1541に格納する/しないと同じ意味を表している。動き検出部1542は、画面間符号化モード時に画像メモリ1541に格納されている復号化画像の中から前処理部1510から出力されたフレーム画像と差分が最も小さい参照画像をサーチし、差分画素の動き量である動きベクトルを出力する。なお、動きベクトル出力の際に、参照する画像が前方画像であるか、後方画像であるか、両画像の平均値であるかをブロック予測タイプを出力する。動き補償部1543は、動きベクトル及びブロック予測タイプで示される演算を行い、動き補償画像を生成する。優先順位決定部1550は、ピクチャタイプや、基本レイヤ、補強レイヤに応じてそのピクチャの優先度を出力する。フィルタ処理制御部1560は、優先順位決定部1550から出力された優先度またはCPU稼働率に応じてスイッチ1531,1532をON/OFF制御する。図13は、図12に示される優先順位決定部1550の詳細な機能構成を示すブロック図である。同図に示されるように、優先順位決定部1550は、ピクチャタイプ及び基本レイア、補強レイアに応じてそのピクチャの優先度を出力するものであり、図13に示されるように、3つのテーブル1551~1553と、セレクタ1554と、決定処理部1555とからなる。なお、第2IP符号化モードにおけるPピクチャの場合には、そのピクチャタイプに基本、参照される可能性のあり又はなしを示す情報も付加されている。テーブル1551は、操作受付部1505の操作によってIPB符号化モードが指定された場合に選択され、フレーム画像のピクチャタイプと優先度とを対応付けたテーブルであって、Iピクチャでは優先度が0、Pピクチャでは優先度が1、Bピクチャでは優先度が2に設定されている。なお、数値が大きくなるに従って、優先度が低くなるように定められている。テーブル1552は、操作受付部1505の操作によって第1IP符号化モードが指定された場合に選択され、フレーム画像のピクチャタイプと優先度とを対応付けたテーブルであって、Iピクチャでは優先度が0、P参照される可能性ありピクチャでは優先度が1、P参照される可能性なしピクチャでは優先度が2に設定されている。テーブル1553は、第2IP符号化モードI、P基本、参照の可能性あり、参照の可能性なし符号化モードが指定された場合に選択されるテーブルであって、Iピクチャでは優先度が0、P基本ピクチャでは優先度が1、P参照される可能性ありピクチャでは優先度が2、P参照される可能性なしピクチャでは優先度が3に設定されている。セレクタ1554は、操作受付部1505により指定された符号化モードIPB符号化モード、第1IP符号化モードに基づいて、テーブル1551~1553のいずれか1つを選択する。決定処理部1555は、セレクタ1554によって選択されたテーブルを参照し、前処理部1510から出力されたピクチャタイプ及び基本レイヤ、補強レイヤに応じた優先度を決定し、決定した優先度を出力する。具体的には、IPB符号化モードが指定されている場合、セレクタ1554はテーブル1551を選択しており、決定処理部1555は、前処理部1510からピクチャタイプが出力されるごとに、Iピクチャ、Pピクチャ、Bピクチャに対応付けられた優先度を出力する。また、第1IP符号化モードが指定されている場合、セレクタ1554はテーブル1552を選択しており、決定処理部1555は、ピクチャタイプと、Pピクチャに付加されているデータ可能性あり、可能性なしに基づいて、優先度を出力する。さらに、第2IP符号化モードが指定されている場合、セレクタ1554はテーブル1553を選択しており、決定処理部1555は、ピクチャタイプと、Pピクチャタイプに付加されているデータ参照の基本、可能性あり、可能性なしに基づいて、優先度を出力する。図14は、図12に示されるフィルタ処理制御部1560の詳細な機能構成を示すブロック図である。同図に示されるように、フィルタ処理制御部1560は、優先順位決定部1550から出力された優先度及びCPU稼働率に応じてスイッチ1531,1532をON/OFF制御するものであり、図14に示されるように、3つのテーブル1561~1563と、セレクタ1564と、スイッチ切換処理部1565とからなる。テーブル1561は、IPB符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とCPUの稼働率との組み合わせを示すテーブルであって、CPUの稼働率が70未満では優先度が0~2の場合にスイッチONし、CPUの稼働率が70以上80未満では優先度が0と1の場合にだけスイッチONし、CPUの稼働率が80以上では優先度が0の場合にだけスイッチONするように設定されている。テーブル1562は、第1IP符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とCPUの稼働率との組み合わせを示すテーブルであって、CPUの稼働率が70未満では優先度が0~2の場合にスイッチONし、CPUの稼働率が70以上80未満では優先度が0と1の場合にだけスイッチONし、CPUの稼働率が80以上では優先度が0の場合にだけスイッチONするように設定されている。テーブル1563は、第2IP符号化モードが指定される場合に選択され、フィルタ処理を施す場合の優先度とCPUの稼働率との組み合わせを示すテーブルであって、CPUの稼働率が70未満では優先度が0~3の場合にスイッチONし、CPUの稼働率が70以上80未満では優先度が0と1と2の場合にだけスイッチONし、CPUの稼働率が80以上では優先度が0と1の場合にだけスイッチONするように設定されている。セレクタ1564は、操作受付部1505により指定された符号化モードIPB符号化モード、新第1IP符号化モードに基づいて、テーブル1561~1563のいずれか1つを選択する。スイッチ切換処理部1565は、セレクタ1564によって選択されたテーブルを参照し、優先順位決定部1550から出力された優先度及びピクチャごとに取得したCPU稼働率に基づいて、スイッチONあるいはOFFの信号を出力し、スイッチ部1530のスイッチ1531,1532をON/OFF制御する。具体的には、IPB符号化モードが指定されている場合、セレクタ1564はテーブル1561を選択しており、スイッチ切換処理部1565は、CPU稼働率が70未満の場合、Iピクチャ、Pピクチャ、Bピクチャの全てについてスイッチONの信号を出力する。また、CPU稼働率が70以上で80未満の場合、スイッチ切換処理部1565は、Iピクチャと、Pピクチャとの場合にだけ、スイッチONの信号を出力する。また、CPU稼働率が80以上の場合、スイッチ切換処理部1565は、Iピクチャの場合にだけ、スイッチONの信号を出力する。また、第1IP符号化モードが指定されている場合、セレクタ1564はテーブル1562を選択しており、スイッチ切換処理部1565は、CPU稼働率が70未満の場合、Iピクチャ、Pピクチャ可能性あり、Pピクチャ可能性なしの全てについてスイッチONの信号を出力する。また、CPU稼働率が70以上で80未満の場合、スイッチ切換処理部1565は、Iピクチャと、Pピクチャ可能性ありとの場合にだけ、スイッチONの信号を出力する。また、CPU稼働率が80以上の場合、スイッチ切換処理部1565は、Iピクチャの場合にだけ、スイッチONの信号を出力する。さらに、第2IP符号化モードが指定されている場合、セレクタ1564はテーブル1563を選択しており、スイッチ切換処理部1565は、Iピクチャ、Pピクチャベース、Pピクチャ可能性あり、Pピクチャ可能性なしの全てについてスイッチONの信号を出力する。また、CPU稼働率が70以上で80未満の場合、スイッチ切換処理部1565は、Iピクチャと、Pピクチャベースと、Pピクチャ可能性ありとの場合にだけ、スイッチONの信号を出力する。また、CPU稼働率が80以上の場合、スイッチ切換処理部1565は、Iピクチャと、Pピクチャベースとの場合にだけ、スイッチONの信号を出力する。次いで、このように構成された画像符号化装置1500の動作を説明する。フレーム画像をIピクチャとして符号化する画面内符号化モード時には、前処理部1510から出力されたフレーム画像は、直交変換部1513による直交変換によって周波数成分に圧縮符号化され、量子化部1514による量子化によって量子化値に圧縮符号化される。この量子化値は、可変長符号化部1517による可変長符号化によって可変長に圧縮符号化され、後処理部1520によってIピクチャのビットストリームの符号化信号に変換され、ハードディスク等の記憶媒体に格納される。一方、量子化部1514から出力された量子化値は、逆量子化部1521による逆直交変換によって周波数成分に復号化され、逆直交変換部1522による逆直交変換によってフレーム画像に復号化される。この復号化されたフレーム画像復号化画像は、フィルタ処理制御部1560の制御によりスイッチ1531,1532がONされている場合には画素間フィルタ1540によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ1541に格納され、スイッチ1531,1532がOFFされている場合にはフィルタ処理が施されることなく画像メモリ1541に格納される。また、フレーム画像をPピクチャ及びBピクチャとして符号化する画面間符号化モード時には、動き検出部1542によって動きベクトルが生成され、動き補償部1543によって動き補償画像予測画像が生成され、減算部1512によって動き補償誤差差分画像が生成される。なお、動き検出部1542は、画像メモリ1541に格納されている復号化画像の中から前処理部1510から出力されたフレーム画像と差分が最も小さい予測画像を、前方または後方の1つもしくは複数の参照画像から探索する。図15は、画像メモリ1541に格納されているフレーム画像の参照関係を示す図である。特に、図15aはIPB方式の場合の予測における参照画像を示す図であり、図15bは第1IP方式の場合の予測における参照画像を示す図であり、図15cは第2IP方式の場合の予測における参照画像を示す図である。なお、各方式の各ピクチャの下欄にそのピクチャに対応付けられた優先順位優先度が示されている。図15aのIPB方式の場合におけるPピクチャの予測では、前方のIピクチャ及びPピクチャを参照することができる。Bピクチャの予測では、前方のIピクチャ又はPピクチャを参照することができると共に、後方で時間的に最も近いIピクチャ又はPピクチャを1つ参照することができる。なお、H.26LのBピクチャの予測では、Iピクチャ、Pピクチャに加え、Bピクチャを前方画像として参照することもできるようになっている。このBピクチャを参照画像として用いるモードの場合には、Bピクチャのフレーム画像に可能性ありあるいは可能性なしの情報が付加されると共に、ピクチャタイプに可能性ありあるいは可能性なしの情報が付加される。そして、このモードにおいて、参照の可能性ありの情報が付加されたBピクチャの復号化画像は必ず画像メモリ1541に格納され、参照の可能性なしの情報が付加されたBピクチャの復号化画像は画像メモリ1541に格納される必要はない。図15bの第1IP方式の場合におけるP参照の可能性ありピクチャの予測では、前方のIピクチャ及びP参照の可能性ありピクチャを参照することができる。P参照の可能性なしピクチャの予測では、前方のIピクチャ又はP参照の可能性ありピクチャを参照することができる。図15cの第2IP方式の場合におけるPベースピクチャの予測では、前方のIピクチャ及びPベースピクチャを参照することができる。P参照の可能性ありピクチャの予測では、前方のIピクチャ及びPベースピクチャを参照することができる。P参照の可能性なしピクチャの予測では、前方のIピクチャ、Pベースピクチャ又はP参照の可能性ありピクチャを複数参照することができる。なお、説明の便宜上、IPB符号化モードが指定されている場合について説明する。このような制限下、動き検出部1542は、サーチした参照画像と前処理部1510から出力されたフレーム画像との差分画素の動き量を動きベクトルとして出力すると共に、参照する画像が前方画像であるか、後方画像であるか、双方向画像の平均値であるかを示すブロック予測タイプを出力する。また、動き補償部1543は、動き検出部1542から出力された動きベクトルと、ブロック予測タイプとで示される演算を差分画素に対して行い、動き補償画像を生成する。そして、減算部1512は、前処理部1510から出力されたフレーム画像と動き補償部1543によって生成された動き補償画像とを減算することにより、動き補償誤差差分画像を生成する。減算部1512から出力された動き補償誤差差分画像は、直交変換部1513による直交変換によって周波数成分に圧縮符号化され、量子化部1514による量子化によって量子化値に圧縮符号化される。この量子化値は、可変長符号化部1517による可変長符号化によって可変長に圧縮符号化され、後処理部1520によって動きベクトル等と共にPピクチャ又はBピクチャのビットストリームの符号化信号に変換され、ハードディスク等の記憶媒体に格納される。一方、量子化部1514から出力された参照の可能性を有するPピクチャ又はBピクチャの量子化値は、逆量子化部1521による逆直交変換によって周波数成分に復号化され、逆直交変換部1522による逆直交変換によって動き補償誤差差分画像に復号化される。そして、加算部1524によって、動き補償誤差差分画像と動き補償画像とを加算することにより、フレーム画像に復号化される。この復号化されたフレーム画像復号化画像は、フィルタ処理制御部1560の制御によりスイッチ1531,1532がONされている場合には画素間フィルタ1540によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ1541に格納され、スイッチ1531,1532がOFFされている場合にはフィルタ処理が施されることなく画像メモリ1541に格納される。ここで、フィルタ処理制御部1560によるスイッチ1531,1532のON/OFF制御をより詳細に説明する。図16は、フィルタ処理制御部1560のスイッチ切換処理部1565が実行するスイッチ駆動処理を示すフローチャートである。ところで、優先順位決定部1550の決定処理部1555は、セレクタ1554によって選択されたテーブル1551を参照し、前処理部1510から出力されたピクチャごとにピクチャタイプに応じた優先度を決定し、決定した優先度を出力している。具体的には、IPB符号化モードが指定されている場合、セレクタ1554はテーブル1551を選択しており、決定処理部1555は、前処理部1510からピクチャタイプが出力されるごとに、Iピクチャの場合には優先度0を、Pピクチャの場合には1を、Bピクチャの場合には優先度2を出力する。フィルタ処理制御部1560のスイッチ切換処理部1565は、ピクチャの符号化ごとにそのピクチャの優先度と、この画像符号化装置1500が備えるCPUの稼働率とを取得しS21、テーブル図14の例では、テーブル1561の参照するエントリーを決定するS22。具体的には、CPU稼働率が70未満であれば、参照するエントリーを1行目と決定し、CPU稼働率が70以上で80未満であれば、参照するエントリーを2行目と決定し、CPU稼働率が80以上であれば、参照するエントリーを3行目と決定する。参照するエントリーを決定し終わると、スイッチ切換処理部1565は、そのエントリーの右欄を読み出しS23、復号化画像のピクチャタイプに設定された優先度が右欄にあるかどうか判断するS24。右欄にあればS24でYes、スイッチ切換処理部1565は、スイッチオンの信号をスイッチ1531,1532に出力するS25。これにより復号化画像にフィルタ処理が施され、フィルタ処理が施された復号化画像が画像メモリ1541に格納される。これに対して、右欄になければS24でNo、スイッチ切換処理部1565は、スイッチオフの信号をスイッチ1531,1532に出力するS26。これにより復号化画像に対するフィルタ処理がスキップされ、フィルタ処理を施さずに復号化画像が画像メモリ1541に格納される。このような制御がピクチャごとに行われ、フィルタ処理が施された復号化画像やフィルタ処理が施されない復号化画像が順次画像メモリ1541に格納される。従って、画像符号化において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像符号化装置であっても画像メモリに格納される重要なフレームの画質を維持し、画像メモリに格納された復号化画像にブロック歪みが蓄積されることが少なくなり、動き補償部による予測効率が向上され、MPEGの技術よりも画質劣化を減少させることができ、低ビットレートで高い画質改善効果が得られる。すなわち、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、画面内符号化フレーム画像、前方向予測符号化フレーム画像、基本レイヤのフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。また、画像符号化装置の処理能力がフルに発揮されるように、フィルタ処理のON/OFFを制御することができるので、高い効率でCPUが使用されることとなり、同じハードウェア資源であっても、高画質の符号化が実現される。実施の形態4次いで、本発明の実施の形態に係る画像復号化装置について説明する。図17は、本発明の実施の形態4に係る画像復号化装置1600の機能構成を示すブロック図である。この画像復号化装置1600は、図12に示される画像符号化装置1500で符号化された符号化信号を復号化するものであって、CPU、メモリ、画像復号化のためのプログラムをインストールしたハードディスクHD等を備えるコンピュータ装置により実現され、その機能として、前処理部1610と、可変長復号化部1617と、逆量子化部1621と、逆直交変換部1622と、加算部1624と、スイッチ部1630と、画素間フィルタ1640と、後処理部1670と、画像メモリ1641と、動き補償部1643と、優先順位決定部1650と、フィルタ処理制御部1660とからなる。前処理部1610は、符号化信号を一時的に格納するバッファ等を備え、符号化信号に含まれるピクチャタイプ、動きベクトル、画像自体の符号化信号を分離して出力する。なお、画像の符号化信号が第1IP符号化モードの場合には、フレーム画像に可能性ありあるいは可能性なしの情報が付加されると共に、ピクチャタイプに可能性ありあるいは可能性なしの情報が付加される。また、第2IP符号化モードの場合には、フレーム画像に基本、可能性ありあるいは可能性なしの情報が付加されると共に、ピクチャタイプに基本、可能性ありあるいは可能性なしの情報が付加される。可変長復号化部1617は、前処理部1610から出力された符号化信号に対して復号化ハフマン復号化することにより、固定長の量子化値を出力する。逆量子化部1621は、可変長復号化部1617から出力された量子化値を逆量子化することにより周波数成分を復号化する。逆直交変換部1622は、逆量子化部1621によって復号化された周波数成分を逆直交変換することにより、画面内符号化モード時にはフレーム画像を、画面間符号化モード時には画素の差分値である動き補償誤差残差画像を復号化する。加算部1624は、画面内符号化モード時には逆直交変換部1622によって復号化されたフレーム画像復号化画像をそのまま出力し、画面間符号化モード時には逆直交変換部1622によって復号化された動き補償誤差残差画像と動き補償部1643によって生成された動き補償画像とを加算することによりフレーム画像を復号化する。スイッチ部1630は、フィルタ処理制御部1660によるピクチャごとのスイッチON/OFF制御によりスイッチング態様を同期して切り替える一対のスイッチ1631,1632からなり、画素間フィルタ1640をループ内に組み入れたり、ループから外したり、すなわち、画素間フィルタ1640による処理をスキップさせたりする。画素間フィルタ1640は、スイッチ1631,1632のON時に、加算部1624から出力された復号化画像に対してブロック単位で空間的な低域通過フィルタ処理を行い、ブロック歪み等のない復号化画像を生成する。例えば、ある画素とその周囲の画素と平均値を算出し、ある画素と周囲の画素との差が所定の範囲内であれば、そのある画素を算出した平均値に置き換える処理をブロック境界付近の画素に対して1つずつ実行する。後処理部1670は、所定の空間解像度にフォーマット変換するフォーマット変換部や、ピクチャタイプに合わせて並べ替えられた画面を元の順序に戻す画面順序戻し部等を備え、復号化画像をモニタ等に出力する。画像メモリ1641は、スイッチ部1630から出力された参照の可能性を有する復号化画像を複数フレーム分記憶する。動き補償部1643は、前処理部1610から出力された動きベクトル及びブロック予測タイプで示される演算を画像メモリ1641に格納されている復号化画像に対して行い、動き補償画像を生成する。優先順位決定部1650は、図13に示される優先順位決定部1550と同構成であって、前処理部1610から出力されたピクチャタイプや、基本レイヤ、補強レイヤに応じてそのピクチャの優先度を出力する。フィルタ処理制御部1660は、図14に示されるフィルタ処理制御部1560と同構成であって、優先順位決定部1650から出力された優先度及び監視によって得られたCPU稼働率に応じてスイッチ部1630のスイッチ1631,1632をON/OFF制御する。次いで、このように構成された画像復号化装置1600の動作を説明する。なお、画像符号化装置1500と合わせて説明する便宜上、IPB符号化モードが指定されている場合について説明する。Iピクチャの符号化信号をフレーム画像に復号化する画面内符号化モード時には、前処理部1610から出力された符号化信号は、可変長復号化部1617によって可変長復号化され量子化値に復号化され、逆量子化部1621による逆直交変換によって周波数成分に伸張復号化され、逆直交変換部1622による逆直交変換によってフレーム画像復号化画像に復号化される。この復号化されたフレーム画像復号化画像は、フィルタ処理制御部1660の制御によりスイッチ1631,1632がONされている場合には画素間フィルタ1640によってブロック歪みを除去するフィルタ処理が施された後、画像メモリ1641に格納されると共に、後処理部1670において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力される。これに対して、スイッチ1631,1632がOFFされている場合には、復号化画像は、フィルタ処理が施されることなく画像メモリ1641に格納されると共に、後処理部1670において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力される。また、Pピクチャ及びBピクチャの符号化信号をフレーム画像に復号化する画面間符号化モード時には、前処理部1610から出力された符号化信号は、可変長復号化部1617によって可変長復号化され量子化値に復号化され、逆量子化部1621による逆直交変換によって周波数成分に伸張復号化され、逆直交変換部1622による逆直交変換によって動き補償誤差差分画像に復号化される。一方、動き補償部1643によって動き補償画像予測画像が生成される。なお、動き補償部1643は、前処理部1610から出力された動きベクトルと、ブロック予測タイプとで示される演算を画像メモリ1641から読み出した参照画像の差分画素に対して行い、動き補償画像を生成する。そして、加算部1624によって、動き補償誤差差分画像と動き補償画像とを加算することにより、フレーム画像に復号化される。この復号化されたフレーム画像復号化画像は、フィルタ処理制御部1660の制御によりスイッチ1631,1632がONされている場合には画素間フィルタ1640によってブロック歪みを除去するフィルタ処理が施された後、後処理部1670において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力されると共に、参照可能性を有する復号化画像は画像メモリ1641に格納される。これに対してスイッチ1631,1632がOFFされている場合にはフィルタ処理が施されることなく、後処理部1670において画像の順番が元に戻されたり、フォーマット変換され、モニタ等に出力されると共に、参照可能性を有する復号化画像は、画像メモリ1641に格納される。ここで、画像符号化装置1500のスイッチ1531,1532の場合と同様に、スイッチ1631,1632は、フィルタ処理制御部1660によりON/OFF制御されている。すなわち、フィルタ処理制御部1660のスイッチ切換処理部は、ピクチャの符号化ごとにそのピクチャの優先度と、この画像復号化装置1600が備えるCPUの稼働率とを取得し、IPB符号化モード用のテーブルの参照するエントリーを決定し、そのエントリーの右欄を読み出し、復号化画像のピクチャタイプに設定された優先度が右欄にあるかどうか判断する。右欄にあれば、フィルタ処理制御部1660のスイッチ切換処理部は、スイッチオンの信号をスイッチ1631,1632に出力する。これにより復号化画像にフィルタ処理が施され、フィルタ処理が施された復号化画像が画像メモリ1641に格納される。これに対して、右欄になければ、フィルタ処理制御部1660のスイッチ切換処理部は、スイッチオフの信号をスイッチ1631,1632に出力する。これにより復号化画像に対するフィルタ処理がスキップされ、フィルタ処理を施さずに復号化画像が画像メモリ1641に格納される。このような制御がピクチャごとに行われ、フィルタ処理が施された復号化画像やフィルタ処理が施されない復号化画像が順次画像メモリ1641に格納される。従って、画像復号化において、常に、ノイズ除去等の画素間フィルタをかけるのではなく、必要に応じて、選択的に画素間フィルタをかけることができるので、例えば、画質に大きく影響するフレーム画像だけに対して画素間フィルタをかけることで、処理能力が小さい画像復号化装置であっても画像メモリに格納される重要なフレームの画質を維持し、画像メモリに格納された復号化画像にブロック歪みが蓄積されることが少なくなり、動き補償部による予測効率が向上され、MPEGの技術よりも画質劣化を減少させることができ、低ビットレートで高い画質改善効果が得られる。すなわち、他のフレーム画像に対して大きい影響度を持つフレーム画像、つまり、画面内符号化フレーム画像、前方向予測符号化フレーム画像、ベースレイヤフレーム画像等について優先的に画素間フィルタが施されるので、同じ処理負荷の増大に対して、より有効に画素間フィルタによるノイズ除去等の画質改善効果を得ることができる。また、画像復号化装置の処理能力がフルに発揮されるように、フィルタ処理のON/OFFを制御することができるので、高い効率でCPUが使用されることとなり、同じハードウェア資源であっても、高画質の復号化が実現される。なお、本発明は、このような画像符号化装置や画像復号化装置として実現することができるだけでなく、これらの装置が備える特徴的な手段をステップとする画像符号化方法や画像復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのプログラムは、CD-ROM等の記録媒体やインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。実施の形態5さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。図18は、上記実施の形態1から実施の形態2の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。図18bは、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図18aは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクFD上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている。また、図18cは、フレキシブルディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ICカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。図19から図22は、上記実施の形態で示した符号化処理または復号化処理を行う機器、およびこの機器を用いたシステムを説明する図である。図19は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107~ex110が設置されている。このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104を介して、コンピュータex111、PDAPersonalDigitalAssistantex112、カメラex113、携帯電話ex114が接続される。しかし、コンテンツ供給システムex100は図19のような組み合わせに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107~ex110を介さずに、電話網ex104に直接接続されてもよい。カメラex113はディジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDCPersonalDigitalCommunications方式、CDMACodeDivisionMultipleAccess方式、W-CDMAWidebandCodeDivisionMultipleAccess方式、若しくはGSMGlobalSystemforMobileCommunications方式の携帯電話機、またはPHSPersonalHandyphoneSystem等であり、いずれでも構わない。また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はディジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディアCD-ROM、フレキシブルディスク、ハードディスクなどに組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。図20は、携帯電話ex115の一例を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キー群から構成される本体部ex204、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアex207、携帯電話ex115に記憶メディアex207を装着可能とするためのスロット部ex206を有している。記憶メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROMElectricallyErasableandProgrammableReadOnlyMemoryの一種であるフラッシュメモリ素子を格納したものである。このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ例えば、音楽ライブを撮影した映像等を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。さらに、携帯電話ex115について図21を用いて説明する。携帯電話ex115は表示部ex202及び本体部ex204の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCDLiquidCrystalDisplay制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声データを音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声データに変換した後、これを音声出力部208を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部ex204の操作キーの操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。画像符号化部ex312は、カメラ部ex203から供給された画像データを上記実施の形態で示した符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信データを変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。次に、画像復号化部ex309は、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声データに変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図22に示すようにディジタル放送用システムにも上記実施の形態の少なくとも符号化方法または復号化方法いずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ受信機ex401またはセットトップボックスSTBex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。なお、カーナビゲーションex413の構成は例えば図21に示す携帯電話機ex115と同様であるが、図21に示した構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられる。同様なことがコンピュータex111やテレビ受信機ex401等でも考えられる。また、上記携帯電話ex114等の端末は、符号化器復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。このように、本明細書に示した符号化方法、復号化方法を実装することにより本実施の形態で示したいずれの装置システムに関しても実現可能になる。"