"画像信号を符号化した符号化画像データと、音声信号を符号化した符号化音声データとが多重化された多重化データが記録された記録媒体と、前記記録媒体から前記多重化データを復号する復号化装置とから構成される復号化システムであって、前記記録媒体に記録された前記多重化データに含まれる前記符号化画像データと、前記符号化音声データとは、符号化装置により符号化されており、前記符号化装置は、音声信号を符号化して符号化音声データを生成する音声処理部と、複数のマクロブロックに分割された画像信号をマクロブロック毎に符号化して、符号化画像データを生成する画像符号化部と、を備え、前記画像符号化部は、前記符号化画像データを復号化して、マクロブロックの差分画像を符号化単位で生成する手段と、前記マクロブロックの差分画像と動き補償ブロックの動き補償画像から前記マクロブロックの再生画像を生成する手段と、前記マクロブロックの再生画像の符号化歪みを除去する歪み除去手段と、符号化歪みを除去された前記再生画像を参照画像として記憶する記憶手段と、を有するものであり、前記歪み除去手段は、前記マクロブロックに対する前記動き補償ブロックの画素サイズが前記マクロブロックの画素サイズより小さく、かつ、前記動き補償ブロックの画素サイズが前記符号化単位の画素サイズよりも大きい場合であって、前記マクロブロックの内部に位置する隣接する2つの動き補償ブロックの残差誤差が0のとき、隣接する2つの一方の動き補償ブロックと他方の動き補償ブロックが接するブロック境界のみで符号化歪を除去し、前記一方の動き補償ブロックの内部のブロック境界と前記他方の動き補償ブロックの内部のブロック境界では符号化歪を除去しないことを特徴とし、前記復号化装置は、前記多重化データから前記符号化音声データと前記符号化画像データを分離する多重分離部と、分離された前記符号化音声データを復号化する音声処理部と、分離された符号化画像データをマクロブロック毎に復号化する画像復号化部と、を備え、前記画像復号化部は、前記符号化画像データを復号化して、マクロブロックの差分画像を符号化単位で生成する手段と、前記マクロブロックの差分画像と動き補償ブロックの動き補償画像から前記マクロブロックの再生画像を生成する手段と、前記マクロブロックの再生画像の符号化歪みを除去する歪み除去手段と、符号化歪みを除去された前記再生画像を参照画像として記憶する記憶手段と、を有するものであり、前記歪み除去手段は、前記マクロブロックに対する前記動き補償ブロックの画素サイズが前記マクロブロックの画素サイズより小さく、かつ、前記動き補償ブロックの画素サイズが前記符号化単位の画素サイズよりも大きい場合であって、前記マクロブロックの内部に位置する隣接する2つの動き補償ブロックの残差誤差が0のとき、隣接する2つの一方の動き補償ブロックと他方の動き補償ブロックが接するブロック境界のみで符号化歪を除去し、前記一方の動き補償ブロックの内部のブロック境界と前記他方の動き補償ブロックの内部のブロック境界では符号化歪を除去しない、ことを特徴とする復号化システム。さて、このような従来の符号化歪除去方法は、符号化歪除去効果は大きいが処理が非常に複雑で実装が困難であるという課題があった。また、単位時間あたりの処理量が多いという課題があった。また、如何に効果的な符号化歪除去方法を用いても、特別な付加情報無く画像信号と符号化歪を正確に区別することは不可能であるから、符号化歪除去を行うことで画像信号の画質を損なう可能性がある。これは、図33の従来の復号化方法を用いた画像復号化装置のブロック図のように、符号化歪除去を行った結果を参照画像とする場合は後続画面の符号化結果にも影響するため、特に問題は大きい。本発明は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで従来よりも画像信号の画質を損なう可能性が少ない高性能な符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化歪除去方法、符号化方法および復号化方法を提供することを目的とする。そしてこの目的を達成するために、本発明は、画像から符号化歪を除去する符号化歪除去方法であって、動き補償単位が符号化単位よりも大きい場合に、動き補償単位の境界と符号化単位の境界とが一致する境界と動き補償単位の境界と符号化単位の境界とが異なる境界とで異なる方法で符号化歪を除去する。これにより、動き補償単位の境界における符号化歪と、符号化単位の境界における符号化歪の性質が異なることから、各単位によって符号化歪の除去のフィルタを切替ることで、符号化歪を含む画像信号から効率よく符号化歪のみを除去できる。また、さらに、前記動き補償単位の残差誤差が0のとき、前記動き補償単位の境界のみで符号化歪を除去する。また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、符号化歪を含む画像から画像パラメータを抽出するステップと、符号化歪を除去する画素を、前記画像パラメータを用いて特定する第1のステップと、符号化歪を除去する方法を、前記画像パラメータを用いて特定する第2のステップと、第1のステップで特定した画素に第2のステップで特定した方法で符号化歪を除去する第3のステップとを備える。これにより、符号化歪を除去する画素を特定する第1のステップと、符号化歪を除去する方法を特定する第2のステップにおいて共通に利用できる画像パラメータを予め計算し、前記画像パラメータを用いることで第1のステップおよび第2のステップの処理を簡単化することで、画質を劣化せずに符号化歪除去方法の処理を削減することができる。また本発明は、画像から符号化歪を除去する符号化歪除去方法であって、ブロック単位で符号化歪を除去するか否かを判断し、前記判断によって除去すべきブロックについて更に画素毎に符号化歪を除去すべきか否かを判断して符号化歪除去処理を行う画素を決定する。これにより、まずブロック単位で符号化歪の除去を行うかどうかを判定し、符号化歪除去が不要なブロックは画素単位の判定を省略することで、符号化歪除去方法の処理量を削減できる。画像符号化の情報を使用すれば、符号化歪除去の不要なブロック例えば、静止しており参照画像と画素が完全に一致するブロックであることを容易に判定できる場合も多い。また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記第一のブロックにおける量子化パラメータと前記第二のブロックにおける量子化パラメータとの平均値に対応する符号化歪を除去する方法を決定するパラメータと、を比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。これにより、量子化パラメータの異なるブロック境界における符号化歪除去処理において、隣接するブロックの量子化パラメータの平均値をブロック境界の両側のフィルタ処理に用いることができる。また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、符号化歪を除去するときに閾値を決定するためのパラメータを復号する復号化ステップと、前記第一のブロックの画素における画素値と前記第二のブロックの画素における画素値との差分値と、前記復号されたパラメータに基づいた所定の閾値と、を比較する比較ステップと前記比較ステップにおける比較の結果に基づいて符号化歪の除去方法を切り換える除去ステップとを有する。これにより、符号化歪除去を行う際に使用する閾値パラメータを予め個々の符号化信号に重畳しておき、符号化歪除去の際に各符号化信号に適切な閾値パラメータを利用した符号化歪除去を行うことで、符号化歪を含む画像信号から効率よく符号化歪を除去できる。閾値パラメータは画像信号に合った適切な符号化歪除去方法を示すものであり、個々の画素もしくは個々のブロック毎に符号化歪除去方法を明示的に切替るものでは無く、従って閾値パラメータを符号化信号に重畳するために必要なデータ量はわずかである。また、前記動画像は複数のブロックから構成されるスライスを有し、前記パラメータは、前記動画像に対応する画像データを符号化して得られる符号列におけるスライスのヘッダ情報に含まれる。また本発明は、複数の参照画像から少なくとも1つを参照して符号化する動画像符号化装置であって、複数の方法で符号化歪を除去して得られた複数の符号化画像を参照画像とする。これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、動画像符号化の圧縮率が向上する。また、前記複数の方法のうち、第1の方法は前記符号化画像に対して符号化歪を除去しない方法であり、第2の方法は前記符号化画像に対して符号化歪を除去する方法である。また本発明は、複数の参照画像から少なくとも1つを参照して復号化する動画像復号化装置であって、複数の方法で符号化歪を除去して得られた複数の復号化画像を参照画像とする。これにより、少なくとも2通りで符号化歪除去を行った複数の画面を参照画面とし、参照する際は適切な一方を逐次選択することで、符号化歪を含む画像信号から効率よく符号化歪を除去できたものを参照画像とすることができ、符号化信号を正しく復号化できる。また、前記複数の方法のうち第1の方法は前記復号化画像に対して符号化歪を除去しない方法であり、第2の方法は前記復号化画像に対して符号化歪を除去する方法である。また本発明は、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像の符号化歪を除去する符号化歪除去方法であって、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックを有するピクチャか、所定数の前記奇数ラインの画素から構成される一方のフィールド構造のブロックを有するピクチャ若しくは所定数の前記偶数ラインの画素から構成される他方のフィールド構造のブロックを有するピクチャかを判断する判断ステップと、符号化歪を除去する対象のブロックが、全て前記フレーム構造のブロックを有するピクチャのブロックであるとき、隣接する前記フレーム構造のブロック間で符号化歪を除去し、符号化歪を除去する対象のブロックが、全て前記フィールド構造のブロックを有するピクチャのブロックであるとき、隣接する前記フィールド構造のブロック間で符号化歪を除去する除去ステップとを有する。これにより、フレーム構造のブロックを有するピクチャかフィールド構造のブロックを有するピクチャかによって、符号化歪を除去する対象ブロックの処理を切り換えることができる。また、さらに、符号化歪を除去する対象のブロックが、前記フレーム構造のブロックと前記フィールド構造のブロックとを有するピクチャのブロックであるとき、前記フィールド構造であるブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フィールド構造であるブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フレーム構造である前記第一のブロックを前記フィールド構造のブロックに変換する変換ステップと、前記フィールド構造である前記第二のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。これにより、フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。また、前記フレーム構造である前記第一のブロックから前記フィールド構造のブロックへの変換は、マクロブロック単位または上下に隣接する2つのマクロブロックをまとめた単位で切り換える。また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、符号化歪を除去する対象ブロックが、前記フレーム構造のブロックか前記フィールド構造のブロックかを判断する判断ステップと、前記対象ブロックがフィールド構造である前記第2のブロックであるとき、前記フレーム構造である前記第1のブロックを前記フィールド構造のブロックに変換し、前記対象ブロックがフレーム構造である前記第1のブロックであるとき、前記フィールド構造である前記第2のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記対象ブロックの画素における画素値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。これにより、フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。また、前記変換ステップにおける前記フレーム構造のブロックから前記フィールド構造のブロックへの変換では、前記フレーム構造のブロックにおける奇数ラインの画素から変換後の一方のフィールドを生成し、前記フレーム構造のブロックにおける偶数ラインの画素から変換後の他方のフィールドを生成し、前記比較ステップにおける前記差分値と前記閾値との比較は、前記第二のブロックの一方のフィールドの画素における画素値と前記第一のブロックの前記変換後の一方のフィールドの画素における画素値とを比較、あるいは、前記第二のブロックの他方のフィールドの画素における画素値と前記第一のブロックの前記変換後の他方のフィールドの画素における画素値とを比較する。また本発明は、動画像を構成する、複数のブロックを有するピクチャにおいて、隣接する第一のブロックと第二のブロックとの境界線を挟んだ領域において符号化歪を除去する符号化歪除去方法であって、前記第一のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における、所定数の前記奇数ラインの画素と所定数の前記偶数ラインの画素とを有するフレーム構造のブロックであり、前記第二のブロックは、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記奇数ラインの画素から構成される一方のフィールドと、奇数ラインの画素と偶数ラインの画素とから構成されるインタレース画像における所定数の前記偶数ラインの画素から構成される他方のフィールドと、を有するフィールド構造のブロックであり、前記フィールド構造である前記第二のブロックを前記フレーム構造のブロックに変換する変換ステップと、前記フレーム構造である前記第一のブロックの画素における画素値と変換されたブロックの画素における画素値との差分値と、所定の閾値とを比較する比較ステップと、前記比較ステップにおける比較の結果に基づいて符号化歪を除去する除去ステップとを有する。これにより、フレーム構造のブロックとフィールド構造のブロックが隣接するときに、適応的に符号化歪を除去する対象ブロックの処理を行うことができる。また、前記フィールド構造である前記第二のブロックから前記フレーム構造のブロックへの変換は、マクロブロック単位または上下に隣接する2つのマクロブロックをまとめた単位で切り換える。また、前記フィールド構造である第二のブロックは、前記フレーム構造のブロックに変換しない。また、前記変換ステップにおける前記フィールド構造のブロックから前記フレーム構造のブロックへの変換では、前記一方のフィールドのブロックの画素と前記他方のフィールドのブロックの画素とから変換後のフレームを生成し、前記第一のブロックの奇数ラインの画素における画素と前記第二のブロックの前記変換後の奇数ラインの画素における画素値とを比較、あるいは前記第一のブロックの偶数ラインの画素における画素と前記第二のブロックの前記変換後の偶数ラインの画素における画素値とを比較する。また、前記比較ステップにおいて、前記境界線に対して対象の位置にある、前記境界線と同方向に一列に並んだ複数の画素毎に、前記差分値と前記閾値との比較をする。これにより、複数画素をまとめて符号化歪の除去をすることができる。また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを有する画像符号化装置であって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。また本発明は、画像から符号化歪を除去するためのプログラムであって、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去する。また本発明は、符号化差分画像を復号化し、差分画像を出力する復号化部と、参照画像から動き補償画像を出力する動き補償部と、前記差分画像と前記動き補償画像とを加算し合成画像を出力する加算部と、前記合成画像が有する符号化歪を除去し再生画像を出力する符号化歪除去部と、前記再生画像を前記参照画像として記憶する記憶部とを用いた画像符号化のためのプログラムであって、前記符号化歪除去部において、上記符号化歪除去方法のいずれかの方法によって符号化歪を除去することをコンピュータに実行させる。以上の様に、本発明にかかる符号化歪除去方法は、処理が簡単な符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性が少ない符号化歪除去方法、符号化歪除去を行うことで画像信号の画質を損なう可能性を低減可能な符号化方法および復号化方法を提供することができ、その実用的価値は高い。以下、本発明の実施の形態について、説明する。実施の形態1図1の復号化方法を用いた画像復号化装置のブロック図において、可変長復号化部52は符号化信号Strを可変長復号化し、周波数符号成分DCoefを出力する。逆ジグザグスキャン部54は周波数符号成分DCoefの周波数成分を2次元のブロックに並べ替えて、ブロック単位の周波数成分である周波数成分FCoefを出力する。逆コサイン変換部56は周波数成分FCoefを逆量子化および逆DCTを行い、差分画像DifCoefとして出力する。一方、動き補償部60は、外部から入力される動きベクトルMVによって示される位置の画素をメモリ64に蓄積された参照画像Refから動き補償画像MCpelとして出力すると共に、動き補償ブロックの大きさを示す動き補償ブロックサイズMcsizeを出力する。加算部58は、差分画像DifCoefと動き補償画像MCpelを加算し、再生画像Coefとして出力する。デブロックフィルタ62は再生画像Coef、動き補償ブロックサイズMCsize、差分画像DifCoefを受け、符号化歪除去を行い、復号画像信号Voutを出力する。再生画像Coefはメモリ64に格納されて、後続の画像復号化で参照画像Refとして使用される。図2は本発明の符号化歪除去方法を用いたデブロックフィルタ符号化歪除去部とも言う62のブロック図である。このデブロックフィルタ62はITU-TH.26LのTML8に記載されているデブロックフィルタの内容を参照して本願発明者が発明したものである。フィルタ対象画素数決定部4は入力される再生画像Coef毎に、符号化歪を含む画素位置を決定し、フィルタ対象画素数FtrPelとして出力する。すなわち、フィルタ対象画素数FtrPelはフィルタ処理をすべきと判断した画素位置を示す。フィルタ係数決定部6はフィルタ対象画素数FtrPelと再生画像Coefの画素値を用いて、当該画素の符号化歪除去に適切なフィルタの係数フィルタのタップ数も含むを決定し、フィルタ係数FtrTapとして出力する。フィルタ処理部8は、フィルタ係数FtrTapで示すフィルタの係数で再生画像Coefに符号化歪を除去するフィルタ処理を行い、復号画像信号Voutを出力する。動き補償ブロック境界判定部2は差分画像DifCoefと動き補償ブロックサイズMCsizeを入力とし、当該処理対象ブロックの差分画像DifCoefが所定値以下であるか、例えば0であるかどうかを判定すると共に、動き補償ブロックの境界であるかどうかを判定し、動き補償ブロック境界フラグIsEdgeを出力する。図3はITU-TH.26LTML8に採用されている動き補償ブロックサイズの例を示す。同例では、動き補償ブロックサイズの最大値が16×16画素であり、マクロブロックと呼ばれるサイズと一致する。図3のa~gはそれぞれ動き補償ブロックサイズが4×4、4×8、8×4、8×8、8×16、16×8、16×16に対応する。ITU-TH.26LTML8ではこの7通りの動き補償ブロックサイズからマクロブロック単位で適切なものを選択して符号化復号化に使用する。なお、上下に隣接する2つのマクロブロックをまとめた単位で適切なものを選択して符号化復号化することができ、このマクロブロックをまとめた単位をマクロブロックペアという。一方、ITU-TH.26LTML8では、周波数変換および符号化の単位は4×4画素である。この4×4画素の単位を符号化単位という。符号化単位は、4×4画素以外のサイズであってもよい。図3aに示すようにA~Pの16ブロックのそれぞれは、4×4画素で構成されている。このように、符号化の単位である4×4画素と動き補償ブロックサイズは図3a以外の場合は一致しない。符号化歪として特に視覚的に妨害となるブロック歪は符号化単位である最小4×4画素で発生するため、従来の符号化歪除去方法では常に4×4画素単位で処理を行っている。さて、動き補償符号化することで、画面間の相関が特に強い場合は、画面間の動き補償の残差誤差が0となる。この場合には、4×4画素単位で符号化復号化すべき差分画像DifCoefも0であるから、動き補償のブロックの境界部以外には符号化復号化の符号化歪に伴う画素値の不連続な値は発生しないと考えられる。そこで、例えば図3bのような動き補償ブロックの場合は、図3aのAC、BD、EG、FH、IK、JL、MO、NPの4×4画素境界点線で示す境界線で符号化歪除去処理は不要である。同様に、図3cのような動き補償ブロックの場合は、図3aのAB、CD、EF、GH、IJ、KL、MN、OPの4×4画素境界で符号化歪除去処理は不要である。そして、4×4画素単位で符号化復号化すべき差分画像DifCoefも0の場合は、動き補償ブロックの境界のみで符号化歪除去処理を行い、動き補償ブロック内の4×4画素単位での境界においては符号化歪除去処理を行わない。これにより、全てのブロック境界で符号化歪除去処理を行う場合と比較し、符号化歪除去処理の演算回数を削減することができる。従って、動き補償ブロック境界判定部2は、当該処理対象ブロックの差分画像DifCoefが0であり且つ動き補償ブロックの境界でない場合は選択部10a、10bをOFF実線で示すとし、選択部10bから再生画像Coefを復号画像信号Voutとして出力する。この選択部の切り替えは、動き補償ブロック境界フラグIsEdgeで選択する。これによりフィルタ対象画素数決定部4、フィルタ係数決定部6、フィルタ処理部8の処理を省略することができる。なお、上記以外の場合は、選択部10a、10bをON点線で示すとし、選択部10bからフィルタ処理部8の出力を復号画像信号Voutとして出力する。この選択部の切り替えは動き補償ブロック境界フラグIsEdgeで選択する。以上のように、本実施の形態によれば、動き補償ブロック境界フラグIsEdgeでフィルタ対象画素数決定部4、フィルタ係数決定部6、フィルタ処理部8の処理を省略する仕組みを導入することで、処理削減による高速化および処理に必要な電力削減効果が得られる。なお、本実施の形態では、単純に符号化歪除去処理を行わない例を示したが、符号化歪除去処理を行わない代わりに簡単な処理の符号化歪除去処理を使用し、複雑な処理が必要な符号化歪除去処理と4×4画素単位で切り替えてもよい。実施の形態2本実施の形態では、符号化歪除去方法を簡単に実現する具体的な処理手順を説明する。まず、図4は符号化歪除去方法を示すフローチャートである。ステップS18で対象ブロックが符号化歪除去対象ブロックか否かを判定する。符号化歪除去対象ブロックであればステップS19に進み、対象ブロックで無ければステップS24に進む。ステップS19では適切な符号化歪除去フィルタ選択し、ステップS20では選択したフィルタで符号化歪除去処理を行って、ステップS21で対象画素を当該ブロックの未処理画素に変更する。ステップS22で当該ブロックに未処理画素が存在しない場合は、ステップS24に進み、未処理画素が存在すればステップ19以降を繰り返す。ステップS24では当該画面に未処理ブロックが存在するか否かを判定する。未処理ブロックがあればステップS23に進み、当該画面に未処理ブロックが無ければ当該画面の符号化歪除去処理を終了する。ステップS23では対象ブロックを未処理ブロックに変更して、ステップS18以下の処理を繰り返す。図6は本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートであり、図2に示すフィルタ対象画素数決定部4の動作の一例である。また図6は動き補償ブロックが図8aに示す場合を示す。また、符号化歪除去対象画素値を、図8bに示すように、p3、p2、p1、p0、q0、q1、q2、q3とし、符号化歪除去済画素値をP3、P2、P1、P0、Q0、Q1、Q2、Q3とする。ここで、各画素値は画素の位置の並びの順番に記号を付したものであり、p0~p3とP0~P3は同じブロックの対応する画素、q0~q3とQ0~Q3は同じブロックの対応する画素を示す。量子化パラメータQPが大きいほど量子化ステップが粗く符号化歪の大きさも大きくなる。そこで、量子化パラメータQPの大きさによってフィルタを切り替えることが有効である。図5に量子化パラメータQPと符号化歪除去の各パラメータ対応表を示す。また、フィルタの対象画素数を決定するパラメータnを決定するための、パラメータ符号化歪除去処理のパラメータπ、Ω、nの対応表を以下の表1に示す。なお、πは、例えば、画素値の差が大きい場合はエッジであるためフィルタをかけてはいけないので、差がπ未満の画素の間にはフィルタをかけないようにπを決めるとよい。また、Ωは、例えば、画素値の差が小さい場合はその差が非常に小さいΩ未満かやや小さい2×Ω未満かによって差が小さいほどエッジでは無く符号化誤差の影響が強いと考えられるので強力なフィルタnが大きいをかけるようにΩを決めるとよい。表1ここで、dif1=p0q0dif2=p1q1dif1a=|dif1|dif2a=|dif2|とする。即ち、図6の本発明の符号化歪除去方法におけるフィルタ対象画素数決定のフローチャートは、表1をもとにまとめたものである。ステップS27は符号化歪除去処理で繰り返し計算されるパラメータである画素差分値DifPelを計算する。画素差分値DifPelはステップS27で計算されたdif1aとdif2aのことである。ステップS28ではdif1aとπを比較し、dif1aがπを超えていればステップS29でn=0即ち符号化歪除去処理をしないとして処理を終了する。dif1aがπ以下であればステップS30に進む。ステップS30ではdif2aをΩと比較し、dif2aがΩ未満であればステップS31でn=2即ち隣り合う各ブロックにおいてブロック境界から2つ目の画素までを符号化歪除去処理するとして処理を終了する。dif2aがΩ以上であればステップS32に進む。ステップS32ではdif2aを2×Ωと比較し、dif2aが2×Ω未満であればステップS33でn=1即ち隣り合う各ブロックにおいてブロック境界から1つ目の画素までを符号化歪除去処理するとして処理を終了する。dif2aが2×Ω以上であればステップS34でn=0即ち符号化歪除去処理をしないとして処理を終了する。dif2は境界近傍の画素値の差分の絶対値であり、この差分値が小さいほど境界近傍で高周波数成分が少ないと考えられるため、dif2が小さいほど符号化歪除去処理を行う画素数を増加することで、効率よく境界部の符号化歪を除去できる。図7は本発明の符号化歪除去方法におけるフィルタ係数決定のフローチャートであり、図2に示すフィルタ係数決定部6の動作の一例である。ステップS37では、nとdif1a、dif2a、φを用いて3通りの条件の比較を行い、3通りの全ての条件が満たされた場合には、ステップS39で3タップフィルタ処理を行うように設定する。すなわち、φはフィルタのタップ数を決定する閾値であり、高周波数成分が少ないn=2の場合で且つ境界部で画素値の変化が少ない|dif2a-dif1a|<φ場合に3タップフィルタになる。通常、3タップフィルタは1タップフィルタよりも高周波数成分を強く抑圧するフィルタが使用される。なお、nの値により、フィルタ処理を切り換えることができるため、このように求められたnを用いて、フィルタをかける画素数を切り換えるのではなく、フィルタの種類を切り換えることも可能である。また、このように求められたnにより、フィルタをかける画素数と、フィルタの種類をともに切り換えてもよい。ステップS37で3通りの条件が満足されない場合は、ステップS38でnが1以上であるかを判定し、nが1以上であればステップS40で1タップフィルタ処理を行うように設定する。一方、nが0あればステップS42でフィルタ処理を行わないように設定する。なお、量子化パラメータQPはブロック毎に変更される可能性がある。しかしながら、量子化パラメータQPが異なるブロック境界では、符号化歪除去処理が複雑になってしまう。これを防ぐために、本発明では境界ブロックで量子化パラメータQPが変化する場合でも、境界においては、隣接ブロックの量子化パラメータQPの平均値なお、端数は例えば切捨てを行う隣接ブロックの量子化パラメータQPの最大値隣接ブロックの量子化パラメータQPの最小値左もしくは上隣接ブロックの量子化パラメータQPのいずれかの方法で選択したQPをブロック境界の両側のフィルタ処理で使用する。なお、上記4通りの量子化パラメータQPの選択による差はわずかであり、予め選択した1通りのものを使用すれば良い。以上のような方法により、符号化歪の除去を簡単に実施することができる。次に、図8aは図1に示す符号化歪除去部62の別例を示すブロック図である。また、図2に示す点線で囲まれた部分の別の例でもある。同図において、図34の従来の符号化歪除去方法を用いた符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。画素差分計算部20は再生画像Coefからブロック境界の画素差分値を計算し、画素差分値DifPelを出力する。画素差分値DifPelはdif1aおよびdif2aに相当する信号を含んでいる。画素差分値DifPelは、例えば、図8bに示すように、符号化単位ブロックの境界線に対し、左右対称の位置、または上下対称の位置にある画素同士を比較し、その差色差または輝度差であるd1、d2、d3、d4から求まる。これらの差の平均値例えばd1d2d3d4/4が一定値以下であれば、d4を求めた幅の範囲内には、画像の境界線が存在しないと考えられるので、デブロックフィルタを実行するように動作する。他方、平均値が一定値以上であれば、画像の境界線が存在すると考えられるので、デブロックフィルタを実行しない様に制御する。なお、比較を行うのはd1、d2、d3、d4の内のいずれか一つ、いずれか二つ、いずれか3つのどれかであってもよい。また、平均値ではなく、差の内で一番大きいものを一定値と比較するようにしてもよい。フィルタ対象画素数決定部4の動作の一例としては図6に示すフィルタ対象画素数決定のフローチャートがある。また、フィルタ係数決定部6の動作の一例としては図7に示すフィルタ係数数決定のフローチャートがある。そして、図8bに示すように画素差分値DifPelを参照することで、画素差分を計算する回数をフィルタ対象画素数決定部4およびフィルタ係数決定部6のそれぞれで削減できる。従って、フィルタ対象画素数決定部4およびフィルタ係数決定部6で再生画像Coefを参照せずにフィルタ対象画素数およびフィルタ係数を決定することができる。以上のように、画素差分値DifPelとして計算した値を繰り返し使用することで、演算量を削減することができる。実施の形態3本実施の形態では、他の実施の形態で示した符号化歪除去方法を実現することができる符号化装置及び復号化装置について説明する。図9は符号化装置を示すブロック図である。動き検出部30は第1メモリ38および第2メモリ40から出力される参照画像Ref1と参照画像Ref2をそれぞれ画像信号Vinと比較し、参照画像に対する画像信号Vinの動き量である動きベクトルMVを検出する。なお、その際に参照画像Ref1と参照画像Ref2のいずれの画像を参照した方が予測誤差が少なくなるかの情報も動きベクトルMVに含めて動き補償部32に通知する。動き補償部32は動きベクトルMVで示される位置の画像を参照画像Ref1または参照画像Ref2から抽出し、動き補償画像MCpelとして出力する。減算部42は画像信号Vinと動き補償画像MCpelの差分値を計算してコサイン変換部DCT46に出力する。コサイン変換部46は入力された差分値をDCT変換および量子化し、周波数成分FCoefを出力する。ジグザグスキャン部48は周波数成分FCoefの順番の並べ替えを行った周波数符号成分DCoefを出力し、可変長符号化部50は周波数符号成分DCoefを可変長符号化して符号化信号Strを出力する。一方、DCT部コサイン変換部46の出力は逆DCT部逆コサイン変換部に入力される。そして、周波数成分Fcoefと動き補償部32からの出力である動き補償画像Mcpelとが合成部34で合成され、合成画像coefが出力される。出力された合成画像は、一方ではそのままメモリ38に出力され、他方では、デブロックフィルタ36で処理された後、符号化歪が除去された復号画像信号Voutがメモリ40に記憶される。図10は復号化装置を示すブロック図であり、例えば図9に示す符号化装置のブロック図で符号化した符号化信号Strを正しく復号化することができる。図32又は図33に示す画像復号化装置のブロック図と同じ動作をする機器は同じ番号を付し、説明を省略する。逆DCT部逆コサイン変換部56は周波数成分FCoefを逆量子化および逆DCTを行って差分画像DifCoefを出力し、加算部58で差分画像DifCoefと動き補償画像MCpelを加算することで再生画像Coefを得る。再生画像Coefは第1メモリ64に記憶され、またデブロックフィルタ62で再生画像Coefから符号化歪が除去された復号画像信号Voutは第2メモリ66に記憶される。以上の動作によって、第1メモリ38及び第1メモリ64には符号化歪が除去されていない画像、第2メモリ40及び第2メモリ66には符号化歪が除去された画像が格納されることになる。符号化歪の除去処理は必ずしも符号化歪のみを除去できるわけでは無く、本来の画像信号の一部も失われる可能性がある。そこで、図9に示す符号化装置における、動き検出部30で第1メモリ38および第2メモリ40の両方から常に最適なものを選択できる仕組みを備えるようにする。この構成により、本来の画像信号の一部を、符号化歪を除去することにより失った場合でも第1メモリ38を参照することで適切な参照画像を選ぶことができる。同様に図10に示す復号化装置においても適切な参照画像を選ぶことができる。なお、本実施の形態では直交変換としてDCTを用いたが、アダマール変換やウェーブレット変換を用いても良い。実施の形態4図11は本実施の形態における符号化歪除去部を示すブロック図であり、例えば図1に示すデブロックフィルタ62に相当する。また、フィルタを決定するための閾値を決めることを特徴とする。同図において、図34に示す従来の符号化歪除去部のブロック図に記載されている機器と同じ動作をする機器は同じ番号を付し、説明を省略する。フィルタ決定パラメータ復号化部22はフィルタ決定パラメータ信号FtrStrを復号化し、フィルタパラメータFtrPrmを出力する。フィルタ決定パラメータ信号FtrStrは、閾値そのものではなく、閾値を決定するためのパラメータである。フィルタパラメータFtrPrmは、図5のπ、Ω、φに相当する。これらのパラメータπ、Ω、φを画像毎に最適化したデータをフィルタ決定パラメータ信号FtrStrから復号し取得することで、当該画像に適した符号化歪除去を行うことができる。図12は本発明の符号化歪除去方法における符号化信号Strの構成図である。図12aは1画面に対応する符号化信号であり、1画面のデータであるピクチャデータPicDataと1画面の全データに共通のデータであるピクチャヘッダPicHdrで構成される。ピクチャヘッダPicHdrにはフィルタ決定パラメータ信号FtrStrが含まれている。図12bはピクチャデータPicDataの構造であり、ピクチャデータPicDataは複数のブロック単位の集合で構成されるスライスの符号化信号である、スライス信号SliceStrを含んでいる。図12cはスライス信号SliceStrの構造であり、1スライスのデータであるスライスデータSliceDataと1スライスの全データに共通のデータであるスライスヘッダSliceHdrで構成される。スライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが含むことにより、スライスデータSliceData単位で受信した符号化信号を正しく復号化できる。なお、ピクチャデータPicDataに複数のスライス信号SliceStrが含まれている場合は、全てのスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrを含む代わりに、一部のスライスヘッダSliceHdrのみにフィルタ決定パラメータ信号FtrStrを含むようにしてもよい。フィルタ決定パラメータ信号FtrStrの内容が各スライスで共通であれば、図12cに示すようにスライスヘッダSliceHdrにフィルタ決定パラメータ信号FtrStrが無い場合は、他のスライスヘッダSliceHdrのフィルタ決定パラメータ信号FtrStrで代用することで、フィルタ決定パラメータ信号FtrStrの繰り返しによるビット数の増加を抑えることも可能である。また、符号化信号Strが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図12のようにヘッダ部とデータ部が1つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、1つのビットストリームとなっていなくても、概念は図12で説明したビットストリームの場合と同じである。図13は、符号化装置のブロック図を示す。同図において、図9に示す符号化装置のブロック図の機器と同じ動作をする機器は同じ番号を付し、説明を省略する。メモリ217は、符号化対象の画像信号である入力画像信号Vinを記憶する。画質比較部216は、メモリ217から読み出した符号化対象の画像信号と復号化画像Voutを比較する。画質比較部216で比較した結果得られた誤差の大きさは、復号化画像に対応するデブロックフィルタの閾値とともに比較結果メモリ218に記憶される。選択部219は、比較結果メモリ218に記憶された誤差の中で誤差の大きさが最も小さい場合に対応するデブロックフィルタの閾値を最適閾値として選択する。選択した最適閾値は、閾値データ付加部220において、対応するピクチャのビットストリームに関連付けた付加ビットストリームとして多重化される。また、選択部219で出力した最適閾値を元に、閾値コントロール部215は次のピクチャのデブロックフィルタの閾値の候補を生成し、デブロックフィルタ36に通知して符号化歪の除去処理の閾値を変更するとともに、比較結果メモリ218に現在使用中の閾値を通知する。図14は、図13のブロック図をより概念的に示した符号化装置、例えば最適閾値選択器226は、図13のジグザグスキャン48、可変長符号化器50、閾値データ付加部220の3つを除く部分の動作、又は、メモリ217、画質比較部216、比較結果メモリ218、選択部219、閾値コントロール215の動作に相当する。また、ビデオエンコーダ227は、例えば図13のメモリ217、画質比較部216、比較結果メモリ218、選択部219、閾値コントロール215の5つを除く部分の動作に対応する。また、閾値228は上記最適閾値に相当する。最適閾値選択器226は、最適閾値を選択する。ここで、最適閾値とは例えば図5に示す量子化パラメータQP毎に決定されたπ、Ω、φのセットが相当する。選択された最適閾値は、メモリ228に記憶され、フィルタ決定パラメータFtrStrとしてビデオエンコーダ227に加えられる。なお、エンコードされたFtrStrはデコーダにおいては、例えば図11に示すフィルタ決定パラメータ復号化部22で処理されることになる。なお、最適閾値は、図13に示す閾値コントロール215内のメモリに記憶され、閾値コントロール215により閾値データが、閾値データ付加部に220に送られるようにしても良い。次に符号化歪を除去するときにフィルタ決定パラメータFtrStrを決定する動作を説明する。図15、図16、図17は、図13、図14で説明した符号化装置の動作を示すフローチャートである。図15は、画質の測定をするための動作の一例を示すフローチャートである。まず、目標フレームtarget_frameを設定し、最初のピクチャを出力するステップ229。ここで目標フレームtarget_frameとは閾値を導出するときに使用するピクチャである。次に閾値コントロール部215において、閾値の範囲を設定しステップ230、ステップ230で設定した範囲の一方の端の値を、閾値の初期値として閾値コントロール215から出力するステップ231。次に、設定した閾値の初期値を用いて符号化歪の除去をデブロックフィルタ36で行い、目標フレームtarget_frameの画像の符号化を開始しステップ232、符号化された1枚目のピクチャと入力画像信号Vinの画質を画質比較器216で測定するステップ233。この測定結果はメモリ218に記録されステップ234、現在のフレーム番号current_frameはインクリメントされるステップ235。すなわち、最初のピクチャから次のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器226およびビデオエンコーダ227あるいは図13に示すメモリ217、動き補償部30、減算部42に出力する。ステップ236で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。達していなければ、ステップ233から235が繰り返される。そして入力されるピクチャに対する画質が画質比較部216で測定され、測定結果がメモリ218に記憶される。また、現在のフレーム番号が目標フレームtarget_frameに達していれば、ステップ237に進み、最初のピクチャである1枚目の画像に戻す。ステップ238Aで、閾値コントロール215において、閾値をインクリメントする。すなわち閾値を次の値に設定する。ここで次の値とは、初期値から、所定の増加量を加算した値である。ステップ238Bで、閾値範囲における他方の端の値に至るまでの全ての閾値についてテストが行われたかどうかが判断される。全ての閾値についてテストが行われたのであれば最適閾値を選択するための処理を終了する。全ての閾値についてテストが行われていなければステップ232に戻り、再び目標フレームtarget_frameのピクチャを符号化する。このように、ひとつの閾値について全ての目標フレームtarget_frameについて画質の測定を行った後、閾値を所定量加算して、再び全ての目標フレームtarget_frameについて画質の測定を行うことにより、画質の測定をすることができる。次に、図16のフローチャートを用いて、ひとつのピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行い、続いて次のピクチャに対し、設定した閾値範囲内にある全ての閾値で画質の測定を行う方法について説明する。まず、目標フレームtarget_frameを設定し、最初のピクチャを出力するステップ239。現在のフレーム番号current_frameをゼロに設定しステップ240、最初のピクチャであることを設定する。次に、閾値コントロール部215において、閾値の範囲を設定しステップ241、デブロックフィルタ36に対する閾値を設定するステップ242。最初のピクチャに対し閾値の初期値を用いて符号化符号化歪除去処理を行い、ステップ243符号化されたピクチャの画質を画質比較器216で測定するステップ244。この測定結果をメモリ218に記録しステップ245、閾値コントロール215部において、閾値を次の値にインクリメントするステップ246A。そして、ステップ246Bで、全ての閾値がテストされたかどうかが判断される。全ての閾値がテストされていなければ、ステップ242に戻り、同じピクチャに対し、別の閾値で画質の測定をする。全ての閾値について画質の測定がされていればステップ247に進む。ステップ247で、現在のフレーム番号current_frameをインクリメントする。すなわち、最初のフレームである1枚目のピクチャから次のフレームである2枚目のピクチャに切り替え、次のピクチャを例えば図14に示す最適閾値選択器226およびビデオエンコーダ227あるいは図13に示すメモリ217、動き補償部30、減算部42に出力する。ステップ248で、現在のフレーム番号が目標フレームtarget_frameに達したかどうかを判断する。現在のフレーム番号が目標フレームtarget_frameに達していなければ、ステップ241に戻る。また、達していれば、画像の測定の処理を終了する。図17は、図15または図16において説明した閾値とその閾値に対する画質の測定結果とに基づき、最適な閾値を選択する方法について説明するフローチャートである。図17のステップ249で、選択部219は、画質の測定結果のデータと、対応する閾値データとのペアを取得する。ステップ250で、測定結果を所定の順番に配置する。ステップ251で、所定の条件に基づき最適画質を有するピクチャを選択し、そのピクチャに対応する閾値を最適閾値として選択する。所定の条件は、例えばSN比が小さいこと、再生ピクチャ当該閾値でデブロックフィルタ処理された画像とオリジナルピクチャ入力画像信号Vinとの間の差が最も低いこと、前記差の平均2乗がもっとも低いこと、等のいずれか、または組み合わせとすることができる。ステップ252で、選択された最適閾値をフィルタ決定パラメータFtrStrとして例えば図14に示すビデオエンコーダ227に出力する。このように、図17で説明した方法を用いて、最適閾値を選択することができる。なお、以上の実施の形態4においては、範囲の全ての閾値について画質の測定を行い、画質の測定結果を収集し、その中から最適な閾値を選出したが、閾値範囲の全ての閾値について順番に画質の測定を行い、最適な画質の測定結果が得られた時点で画質の測定を終了し、その画質の測定結果に対応する閾値を最適な閾値として選出してもよい。これにより、画質の測定回数を減らすことが可能となる。また、あるブロックの符号化歪の除去処理は、そのブロックの画素値と隣接ブロックの画素値との比較が行われる。この場合、隣接ブロックは、符号化歪の除去処理が終了し、画素値の修正が終了したブロックを用いるようにする。例えば、図18において、ブロックGの符号化歪の除去処理を行う場合、ブロックGに隣接する4つのブロックE,D,H,Mのそれぞれと符号化歪の除去を行うことができる。この場合、隣接ブロックの内、すでに符号化歪の除去処理が終了したブロックと行うようにすれば、より正確な符号化歪の除去を行うことが可能となる。そこで、符号化歪の除去を線順次で、走査順次に行う。すなわち、画像の水平走査線の走査方向、走査線順に符号化歪の除去を行うとよい。つまり図18において、1本目の走査線であるA,B,E,F,C,D,の順番に符号化歪の除去処理を行い、各ブロックについて4本の境界線があるが、その内、上側の境界線と左側の境界線とに接している隣接ブロックについて符号化歪の除去処理を行うとよい。この場合、ブロックAについては、上側の境界線と左側の境界線とに接している隣接ブロックは存在しないので、符号化歪の除去を行わない。また、ブロックBについては、上側の境界線に接している隣接ブロックは存在しないので、左側の境界線に接している隣接ブロックAとの間で符号化歪の除去を行う。また、ブロックGについては、上側の境界線と左側の境界線とに接している隣接ブロックはブロックE,Dであるので、ブロックGについては、ブロックE,Dに対しては符号化歪の除去を行ない、ブロックH,Mに対しては符号化歪の除去を行わない。このように、新たなブロックに対し、符号化歪の除去が終了した隣接ブロックとの間について符号化歪の除去を行い、まだ符号化歪の除去が終了していない隣接ブロックとの間について符号化歪の除去を行わないようにすれば、より正確な符号化歪の除去処理を行うことができる。実施の形態5本実施の形態では、まず、図19に示すように複数の画素、例えば1列に並ぶ4画素を1グループとしてまとめ、グループのペアで演算し、符号化歪の除去処理をする例について説明する。ここで言う符号化歪の除去処理とは、ブロック間の境界線を挟んだ領域においてデブロックフィルタ処理を行うか否かの判断、およびデブロックフィルタ処理の両方、またはいずれかを言う。また、ブロックとは、符号化処理単位である4x4の16画素を含むブロックまたは図3で説明した動き補償を行うブロックのいずれかを言う。図19に示すように1グループを構成する4画素は、ブロックの境界線と同方向に並んだブロック内の4画素である。図19には、4画素を含むグループr1、r2、r3、r4が示されている。グループr1、r2、r3、r4のデータは、それぞれ4個のレジスタ例えばSIMDレジスタに保持することができる。グループr1、r2は、境界線に対し左右対称の位置にある。グループr3、r4も、境界線に対し左右対称の位置にある。グループr1にある画素値と、グループr2にある画素値が比較され、その差により符号化歪の除去処理を行う。これらの差を得るための演算は、グループr1の上端にある画素と、グループr2の上端にある画素との差1、グループr1の上端の次にある画素と、グループr2の上端の次にある画素との差2、グループr1の下端の上にある画素と、グループr2の下端の上にある画素との差3、グループr1の下端にある画素と、グループr2の下端にある画素との差4、を求め、これらの差1、差2、差3、差4の平均値、またはこれらの差1、差2、差3、差4の絶対値の和などを代表差として表し、代表差を所定の閾値と比較することにより行われる。他の演算方法も可能である。同じグループの4画素単位で演算を行うため、各画素単位で演算を行う場合に比べて並列演算が可能であり、並列化による高速な実装が容易になる。以上は、グループr1とグループr2とが比較される場合を説明したが、さらに、正確さが必要とされる場合は、グループr3にある画素の明るさと、グループr4にある画素の明るさが比較され、グループr1,r2で得られた比較結果の代表差と、今回の代表差の両方を加算、又は平均することにより符号化歪の除去処理を行うことも可能である。以上は、境界線が縦方向にある場合を説明したが、横方向も同様である。境界線が横方向にある場合は、横方向に並んだ4画素をグループとして捕らえられる。ところで、図20a、bは、それぞれ画面上の走査線がインターレースで構成されている場合を示す。ここで、インタレース画像とは、1つのフレームが時刻の異なる2つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、1つのフレームをフレームのまま処理したり、2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。図において、ねずみ色の小さな四角は奇数ラインの画素を示し、白色の小さな四角は偶数ラインの画素を示す。すなわち、奇数ラインで構成されるねずみ色の画素で1フィールドを構成し、偶数ラインで構成される白色の画素でフレームの他方のフィールドが構成されている。インタレース画像信号では、1つのフレームが時刻の異なる2つのフィールド偶数フィールドと奇数フィールドで構成される。静止画像の場合は時刻によって画素値が変化しないので、フレームの上下のラインの相関がフィールドの上下のラインの相関よりも強い。一方、動画像の場合は時刻によって画像が大きく変化するため、2つのフィールドの画素値が大きく異なり、フレームの上下のラインの相関よりもフィールドの上下のラインの相関の方が強くなる。従って、静止画像はフレーム、動画像はフィールドとして処理するのが効率が良い。また、ピクチャがインタレース画像のとき、例えば、1ブロックが全てフレーム構造フレーム構造については後述のピクチャ、2ブロックが全てフィールド構造フィールド構造については後述のピクチャ、3ブロックがフレーム構造とフィールド構造のブロックとを有することができるピクチャ、が考えられる。そして、例えば、ピクチャが1の場合フレームの場合には、全てフレーム構造単位でデブロックフィルタ処理を行い、ピクチャが2の場合フィールドの場合には、全てフィールド構造単位でデブロックフィルタ処理を行い、ピクチャが3の場合には、適応的にフィールド構造からフレーム構造あるいはフレーム構造からフィールド構造に変換をしてデブロックフィルタ処理を行う。以下、それぞれについて具体的に説明する。静止もしくは動きの小さいインタレース画像は、図20aに示す様な奇数フィールドと偶数フィールドとからなる1フレーム単位で処理されるフレーム構造という。フレーム構造においては、図20aの右側に示す様に、16画素で構成されるひとつのブロックに奇数ラインの画素と偶数ラインの画素が含まれる。符号化歪の除去処理は、フレーム構造を有するブロック間で行なわれる。すなわち、図8bで説明した様に、ブロックの境界において符号化歪の除去処理がなされる。大きな動きのインタレース画像は、図20bに示す様な奇数フィールドと偶数フィールドとに分けられた1フィールド単位で処理されるフィールド構造という。フィールド構造は、図20bの右側に示す様に、奇数ラインで構成される奇数フィールドと、偶数ラインで構成される偶数フィールドに分けられ、奇数フィールドには奇数ラインで構成されるブロックが含まれ、偶数フィールドは偶数ラインで構成されるブロックが含まれる。符号化歪の除去処理は、フィールド構造を有する奇数ラインのブロック間のみまたは偶数ラインのブロック間のみで行なわれる。図21aは、インタレース画像の一部がフレーム構造で形成され、別の一部がフィールド構造で形成される例を示す。好ましくは、画像の中で、動画部分がフィールド構造で形成され、静止画部分がフレーム構造で形成される。フィールド構造またはフレーム構造で形成される最小単位はDCT等の直交変換もしくは動き補償が実行される最大単位であるマクロブロックまたばそれを複数個統合したスーパーマクロブロックである。ここでは簡単に、図21aの自動車を含む四角部分がフィールド構造で形成され、残りの部分がフレーム構造で形成されているとする。フィールド構造で形成されている部分と、フレーム構造で形成されている部分が隣接している部分での符号化歪の除去処理をどの様に行なうかを次に説明する。図21bにおいて、コラムC1,C2,C3,C4に含まれるブロックは自動車がある部分に属し、動きがあるためフィールド構造で形成されている一方、コラムC5,C6,C7,C8に含まれるブロックは、自動車のない部分に属し、静止画像で効率が良いフレーム構造で形成されている。なお、この例ではマクロブロックは水平垂直とも16画素であり、ブロックは水平垂直とも4画素である。図21bにおいて、コラムC4とC5は間隔をあけて示されているが、画像上では隣接している。コラムC3とC4の間にある境界線、及びコラムC5とC6の間にある境界線に対しては、図8bで示した符号化歪の除去処理が行なわれる。コラムC4とコラムC5との間にある境界線に対しては、図21cに示す様に、まずコラムC5にあるフレーム構造のブロックがフィールド構造のブロックに変換される。この変換は、例えば図21bに示すコラムC5の奇数ラインの画素から図21cに示すコラムC5のねずみ色の画素からなるブロックに変換し、図21bに示すコラムC5の偶数ラインの画素から図21cに示す白色の画素からなるコラムC5のブロックに変換する。続いて、コラムC4とC5との間にある境界線に対して図8bで示した符号化歪の除去処理が行なわれる。この様に、フレーム構造のブロックをフィールド構造のブロックに変換したのは、動きのある場合にフィールド構造のブロックをフレーム構造のブロックにすると垂直方向の画素の相関が失われ、垂直方向の符号化歪の除去処理を行うと不自然な劣化が発生するためである。一方、静止している場合にフレーム構造のブロックをフィールド構造にすると垂直方向の高周波数成分における符号化誤差の抑圧効果は小さくなるが、垂直方向の画素の相関は失われないため不自然な画質劣化が発生しにくい。なお、処理量を減らすフレームをフィールドに変換するのみためにフレーム構造のブロックをフィールド構造のブロックに変換するとしたが、処理量を考慮せず、つまり、フレームはフィールドに変換し、更にフィールドをフレームに変換するため、先の場合と比べるとフィールドをフレームに変換する分の処理が新たに処理量が増加するが、符号化歪の除去処理の対象となっている現在デブロックフィルタで画素値を変えようとしている画素が、フレーム構造のブロック内にあるか、フィールド構造のブロック内にあるかどうかを判断し、符号化歪の除去処理の対象となっている画素が、フィールド構造のブロック内にあれば、フレーム構造のブロックをフィールド構造符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプのブロックに変換し、符号化歪の除去処理の対象となっている画素が、フレーム構造のブロック内にあれば、フィールド構造のブロックをフレーム構造符号化歪の除去処理の対象となっている画素を有するブロックの構造のタイプのブロックに変換してもよい。以下、図22のフローチャートに基づいて、フレーム構造とフィールド構造が混在する場合の動作について説明する。インタレース画像信号列のフレームは、異なる時刻timeinstantで走査される、二つのフィールドで構成される。すなわち、二つのフィールドを1つにまとめたフレーム符号化フレーム構造の符号化、または、フィールドを個別に扱うフィールド符号化フィールド構造の符号化が可能である。更に、これらの符号化方法は、下記の二つのカテゴリーにグループ分けできる。すなわち、画面全体をフレーム符号化か、フィールド符号化のいずれかできりかえて符号化する固定符号化と、画面を複数の区分に分割し、区分毎にフレーム符号化かフィールド符号化かのいずれかを切り替えて行なう適応符号化である。固定符号化には、フレーム構造に対応したフレーム固定符号化と、フィールド構造に対応したフィールド固定符号化がある。固定符号化では、インタレースビデオシーケンスは、コンテンツに係わりなくフレーム符号化またはフィールド符号化のいずれかで常に符号化される。他方、適応符号化では、コンテンツにより、または画面により、または画面内の区分単位でフレーム符号化またはフィールド符号化のいずれかの符号化の選択が可能である。画面内の区分は、マクロブロックレベルまでの細かさで行うことができる。従って、適応符号化では、マクロブロックは、フレーム符号化またはフィールド符号化のいずれかで符号化できることとなる。以下の説明では、マクロブロックを単にブロックと略す。フレーム符号化されたブロック、すなわちフレーム構造を有するブロックでは、ノンインタレースビデオの符号化歪を除去する場合と同様にして符号化歪の除去が行なわれる。フィールド符号化されたブロック、すなわちフィールド構造を有するブロックでは、フィールドが偶数フィールドおよび奇数フィールドに分けられ、各フィールドは、個別の画面として扱われ、各フィールド毎に符号化歪の除去が行なわれる。ステップ63は、対象ブロックがフィールド符号化されているか、それともフレーム符号化されるかどうかを判断する。ブロックがフィールド符号化されている場合には、ステップ64~69が実行される。ブロックがフレーム符号化されている場合には、ステップ70~72が実行される。ステップ64~66では偶数フィールド構造のブロックが処理され、ステップ67~69では奇数フィールド構造のブロックが処理される。ステップ64~66での処理は、図21bのコラムC3とC4の間の境界における白色画素間の符号化歪の除去処理に相当する。また、ステップ67~69での処理は、図21bのコラムC3とC4の間の境界におけるねずみ色画素間の符号化歪の除去処理に相当する。ステップ64で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ65でフィルタリングすべき画素の数が決定される。ステップ66でフィールドモードで符号化歪の除去が行なわれる。ステップ67,68,69では、ステップ64,65,66と同様な処理が行なわれる。ステップ70~72ではフレーム構造のブロックが処理される。この処理は、図21bのコラムC5とC6の間の境界における符号化歪の除去処理に相当する。ステップ70で画素間の明るさが比較され、符号化歪の除去が必要かどうかが判断される。ステップ71でフィルタリングすべき画素の数が決定される。ステップ72でフレームモードで符号化歪の除去が行なわれる。ステップ73で全てのブロックが処理されたかどうかが判断され、処理が終了する。図23は、図22のステップ64と67が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪の除去が必要かどうかが判断され、この判断結果に基づき、偶数フィールド、奇数フィールドのブロックが共に符号化歪の除去が行なわれる。これにより、符号化歪の除去処理を簡略化することが可能となる。図24は、図23のステップ65と68が一本化された場合を示す。すなわち、偶数フィールドのブロックと奇数フィールドのブロックの両方に対し符号化歪を除去すべき画素の数を決定する。この決定に基づき、偶数フィールド、奇数フィールドのブロックの符号化歪の除去が行なわれる。これにより、更に符号化歪の除去処理を簡略化することが可能となる。図25は、図21aに示した様に、ひとつの画面にフレーム符号化のブロックとフィールド符号化のブロックが混在している場合に、フレーム構造のブロックとフィールド構造のブロックが境界線を挟んだ両側にある場合の処理のフローチャートを示す。ステップ95で、符号化歪の除去を行なうブロックによって挟まれる境界線が、特定の境界線、すなわち境界線の一方側にフレーム構造のブロックがあり、他方側にフィールド構造のブロックがある境界線かどうかが判断される。この判断は、図21bにおけるコラムC4とC5の間の境界線であるかどうかの判断に相当する。特定の境界線であると判断された場合は、ステップ96に移る。ステップ96で、境界線の一方側にあるフレーム構造のブロックをフィールド構造のブロックに変換する。この変換は、図21bのコラムC5に示すブロックから、図21cのコラムC5に示すブロックへの変換に相当する。変換されたブロックを変換ブロックと言う。ステップ97で、境界線の他方側にあるフィールド構造のブロックと、変換ブロックとの間で符号化歪の除去が必要かどうかが判断される。この判断は、図21cにおけるコラムC4とC5の間の境界線での判断に相当する。必要と判断されればステップ98に進む。ステップ98で、フィルタリングすべき画素の数を決定する。ステップ99で、フィールドモードで符号化歪の除去が行なわれる。なお、図25では、適応符号化でフレーム構造とフィールド構造のブロックが隣接する場合にフレーム構造をフィールド構造に変換し、フィールドで符号化歪を除去する例を示したが、逆にフィールド構造をフレーム構造に変換し、フレームで符号化歪を除去してもよい。図25のようにフィールドで符号化歪を除去すれば、動きの速い画像信号でも同じ時刻の画素のみを用いた符号化歪の除去が行われるため不自然な画質劣化がおきにくい利点がある。しかしながら、逆にフレームで符号化歪を除去すると、動きの小さな画像信号では垂直方向の画素相関がフィールドで行うよりも強いため、フールドでデブロックフィルタする場合よりも高周波数成分の劣化が少ないという利点がある。従って、それぞれに利点があり、機器を製造する際に一方を選択するか、もしくは使用者が一方を選択できるようにしてもよい。更に、適応符号化の場合でも、ブロック単位でなく画面単位でフレームかフィールドかで符号化歪の除去処理を決定してもよい。画面単位でデブロックフィルタがフィールドモードもしくはフレームモードの1つとすることで、実装が簡単化できる。フィールドモードもしくはフレームモードのいずれであるかは一方に固定してもよいし、また画面毎に切替可能としてもよい。画面毎に切替可能とするとき、どちらのモードが適切であるかを符号化装置で判断し、復号化装置のデブロックフィルタがどちらのモードで符号化歪の処理をすべきかを示す識別信号を符号列のヘッダ部に含めて伝送してもよい。また、ブロック単位でフィールド/フレーム切り換え可能な場合はフィールド単位で符号化歪を除去し、切替不可能禁止な場合、例えばピクチャに関する情報ピクチャパラメータにおいて当該ピクチャにおいて切り換え不可とされている場合は、フレーム単位で符号化歪の除去処理をするようにしてもよい。なお、実施の形態1から実施の形態5で示したデブロックフィルタは図32で示したループ外フィルタとしても図33で示したループ内フィルタとしても使用することができる。ループ内フィルタでは、符号化歪の除去処理を行う前のデータをメモリ64に格納することで、ブロック歪が除去されていない画像が予測画像として参照されることになり、ブロック歪が除去された画像を予測画像として参照する場合よりも僅かに符号化画質が劣化する。一方、ループ外フィルタでは、符号化歪の除去処理の結果は参照画像とならないことから、デブロックフィルタ62として任意のものを実装しても、復号画像が大きく劣化することがない。たとえば、消費電力が優先される携帯機器ではデブロックフィルタ62として少演算量のフィルタを使用し、画質が最優先の娯楽用据え置き機器では高演算量の高精度高画質なフィルタをデブロックフィルタ62として使用することができる。実施の形態6さらに、上記各実施の形態で示した符号化歪除去方法、符号化方法および復号化方法の構成を実現するためのプログラムを、フロッピーディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。図26は、上記実施の形態1から実施の形態5の符号化歪除去方法、符号化方法および復号化方法を格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合の説明図である。図26bは、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図26aは、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクFDはケースF内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックTrが形成され、各トラックは角度方向に16のセクタSeに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクFD上に割り当てられた領域に、上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法が記録されている。また、図26cは、フロッピーディスクFDに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクFDに記録する場合は、コンピュータシステムCsから上記プログラムとしての符号化歪除去方法、符号化方法および復号化方法をフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化歪除去方法、符号化方法および復号化方法をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。なお、上記説明では、記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、CD-ROM、メモリカード、ROMカセット等、プログラムを記録できるものであれば同様に実施することができる。さらにここで、上記実施の形態で示した動画像符号化方法や動画像復号化方法の応用例とそれを用いたシステムを説明する。図27は、コンテンツ配信サービスを実現するコンテンツ供給システムex100の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex107~ex110が設置されている。このコンテンツ供給システムex100は、例えば、インターネットex101にインターネットサービスプロバイダex102および電話網ex104、および基地局ex107~ex110を介して、コンピュータex111、PDApersonaldigitalassistantex112、カメラex113、携帯電話ex114、カメラ付きの携帯電話ex115などの各機器が接続される。しかし、コンテンツ供給システムex100は図27のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex107~ex110を介さずに、各機器が電話網ex104に直接接続されてもよい。カメラex113はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、PDCPersonalDigitalCommunications方式、CDMACodeDivisionMultipleAccess方式、W-CDMAWideband-CodeDivisionMultipleAccess方式、若しくはGSMGlobalSystemforMobileCommunications方式の携帯電話機、またはPHSPersonalHandyphoneSystem等であり、いずれでも構わない。また、ストリーミングサーバex103は、カメラex113から基地局ex109、電話網ex104を通じて接続されており、カメラex113を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex113で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ116で撮影した動画データはコンピュータex111を介してストリーミングサーバex103に送信されてもよい。カメラex116はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex116で行ってもコンピュータex111で行ってもどちらでもよい。また、符号化処理はコンピュータex111やカメラex116が有するLSIex117において処理することになる。なお、画像符号化復号化用のソフトウェアをコンピュータex111等で読み取り可能な記録媒体である何らかの蓄積メディアCD-ROM、フレキシブルディスク、ハードディスクなどに組み込んでもよい。さらに、カメラ付きの携帯電話ex115で動画データを送信してもよい。このときの動画データは携帯電話ex115が有するLSIで符号化処理されたデータである。このコンテンツ供給システムex100では、ユーザがカメラex113、カメラex116等で撮影しているコンテンツ例えば、音楽ライブを撮影した映像等を上記実施の形態同様に符号化処理してストリーミングサーバex103に送信する一方で、ストリーミングサーバex103は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex111、PDAex112、カメラex113、携帯電話ex114等がある。このようにすることでコンテンツ供給システムex100は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。その一例として携帯電話について説明する。図28は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話ex115を示す図である。携帯電話ex115は、基地局ex110との間で電波を送受信するためのアンテナex201、CCDカメラ等の映像、静止画を撮ることが可能なカメラ部ex203、カメラ部ex203で撮影した映像、アンテナex201で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex202、操作キーex204群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex208、音声入力をするためのマイク等の音声入力部ex205、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex207、携帯電話ex115に記録メディアex207を装着可能とするためのスロット部ex206を有している。記録メディアex207はSDカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるEEPROMElectricallyErasableandProgrammableReadOnlyMemoryの一種であるフラッシュメモリ素子を格納したものである。さらに、携帯電話ex115について図29を用いて説明する。携帯電話ex115は表示部ex202及び操作キーex204を備えた本体部の各部を統括的に制御するようになされた主制御部ex311に対して、電源回路部ex310、操作入力制御部ex304、画像符号化部ex312、カメラインターフェース部ex303、LCDLiquidCrystalDisplay制御部ex302、画像復号化部ex309、多重分離部ex308、記録再生部ex307、変復調回路部ex306及び音声処理部ex305が同期バスex313を介して互いに接続されている。電源回路部ex310は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex115を動作可能な状態に起動する。携帯電話ex115は、CPU、ROM及びRAM等でなる主制御部ex311の制御に基づいて、音声通話モード時に音声入力部ex205で集音した音声信号を音声処理部ex305によってディジタル音声データに変換し、これを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。また携帯電話機ex115は、音声通話モード時にアンテナex201で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex306でスペクトラム逆拡散処理し、音声処理部ex305によってアナログ音声信号に変換した後、これを音声出力部ex208を介して出力する。さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーex204の操作によって入力された電子メールのテキストデータは操作入力制御部ex304を介して主制御部ex311に送出される。主制御部ex311は、テキストデータを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して基地局ex110へ送信する。データ通信モード時に画像データを送信する場合、カメラ部ex203で撮像された画像データをカメラインターフェース部ex303を介して画像符号化部ex312に供給する。また、画像データを送信しない場合には、カメラ部ex203で撮像した画像データをカメラインターフェース部ex303及びLCD制御部ex302を介して表示部ex202に直接表示することも可能である。画像符号化部ex312は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex203から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex308に送出する。また、このとき同時に携帯電話機ex115は、カメラ部ex203で撮像中に音声入力部ex205で集音した音声を音声処理部ex305を介してディジタルの音声データとして多重分離部ex308に送出する。多重分離部ex308は、画像符号化部ex312から供給された符号化画像データと音声処理部ex305から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex306でスペクトラム拡散処理し、送受信回路部ex301でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex201を介して送信する。データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex201を介して基地局ex110から受信した受信信号を変復調回路部ex306でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex308に送出する。また、アンテナex201を介して受信された多重化データを復号化するには、多重分離部ex308は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex313を介して当該符号化画像データを画像復号化部ex309に供給すると共に当該音声データを音声処理部ex305に供給する。次に、画像復号化部ex309は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをLCD制御部ex302を介して表示部ex202に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex305は、音声データをアナログ音声信号に変換した後、これを音声出力部ex208に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図30に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex409では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex410に伝送される。これを受けた放送衛星ex410は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex406で受信し、テレビ受信機ex401またはセットトップボックスSTBex407などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex402に記録した符号化ビットストリームを読み取り、復号化する再生装置ex403にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex404に表示される。また、ケーブルテレビ用のケーブルex405または衛星/地上波放送のアンテナex406に接続されたセットトップボックスex407内に画像復号化装置を実装し、これをテレビのモニタex408で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex411を有する車ex412で衛星ex410からまたは基地局ex107等から信号を受信し、車ex412が有するカーナビゲーションex413等の表示装置に動画を再生することも可能である。更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクex421に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダex420がある。更にSDカードex422に記録することもできる。レコーダex420が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクex421やSDカードex422に記録した画像信号を再生し、モニタex408で表示することができる。なお、カーナビゲーションex413の構成は例えば図29に示す構成のうち、カメラ部ex203とカメラインターフェース部ex303、画像符号化部ex312を除いた構成が考えられ、同様なことがコンピュータex111やテレビ受信機ex401等でも考えられる。また、上記携帯電話ex114等の端末は、符号化器復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の3通りの実装形式が考えられる。なお、上記実施の形態1から実施の形態6に示した符号化装置、復号化装置等の構成は、説明したものに限られない。このように、上記実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。"