"映像を補間する方法において、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する段階と、を含むことを特徴とする平滑化を考慮した映像補間方法。前記補間フィルタは、複数個の基底関数に基づいて、前記画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されたことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、前記画素単位ピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されたことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、前記画素単位ピクセルのうち、前記補間位置に隣接するピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されたことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ及びウィンドウ関数を合成したフィルタ係数から構成され、前記ウィンドウ関数は、前記補間位置を中心に対称的な形態であることを特徴とする請求項2に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタに、平滑度パラメータを合成させたフィルタ係数から構成され、前記平滑度パラメータは、前記平滑度の速度及び前記平滑度の範囲のうち少なくとも一つを制御することを特徴とする請求項2に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、スプライン関数である基底関数に基づいて、前記スプライン関数の境界条件によって、前記画素単位ピクセルの境界ピクセルで、最大に平滑化するためのフィルタ係数から構成されることを特徴とする請求項2に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、多項式である基底関数に基づいて、前記補間フィルタの低周波応答を最大化させるフィルタ係数から構成されたことを特徴とする請求項2に記載の平滑化を考慮した映像補間方法。前記補間フィルタ選択段階は、前記補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記選択された補間フィルタを利用して生成したピクセル値を、前記スケーリング比率に基づいて正規化する段階を含むことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記補間フィルタ選択段階は、クロマ成分のピクセル補間のために、前記補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記クロマ成分のピクセル及びルマ成分のピクセル別に、それぞれ選択された互いに異なる補間フィルタを利用して、前記副画素単位のピクセル値を生成する段階を含むことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記補間フィルタは、iフィルタ係数{-1,4,-10,57,19,-7,3,-1}で構成された8タップ、スケーリング比率26、1/4画素単位の補間フィルタ、iiフィルタ係数{-1,4,-11,40,40,-11,4,-1}で構成された8タップ、スケーリング比率26、1/2画素単位の補間フィルタ、iiiフィルタ係数{-3,60,8,-1}で構成された4タップ、スケーリング比率26、1/8画素単位の補間フィルタ、ivフィルタ係数{-4,54,16,-2}で構成された4タップ、スケーリング比率26、1/4画素単位の補間フィルタ、vフィルタ係数{-5,46,27,-4}で構成された4タップ、スケーリング比率26、3/8画素単位の補間フィルタ、viフィルタ係数{-4,36,36,-4}で構成された4タップ、スケーリング比率26、1/2画素単位の補間フィルタのうち少なくとも一つを含むことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記映像補間方法は、ビデオエンコーダにより、入力ピクチャのブロック別に、前記ビデオエンコーダに保存された補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成して予測符号化を行い、前記予測符号化による予測結果について、変換及び量子化を行う段階と、前記量子化された変換係数及び符号化情報について、エントロピ符号化を行って生成されたビットストリームを出力する段階と、を含む特徴とする請求項1に記載の平滑化を考慮した映像補間方法。前記映像補間方法は、ビデオデコーダにより、ビデオの符号化されたビットストリームを受信し、エントロピ復号化を行ってパージングし、符号化情報と、前記ビデオピクチャの符号化されたデータとを抽出する段階と、前記ピクチャのうち現在ブロックの符号化されたデータのうち、量子化された変換係数について逆量子化及び逆変換を行い、前記ビデオデコーダに保存された補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成して予測復号化を行い、前記ピクチャを復元する段階と、を含むことを特徴とする請求項1に記載の平滑化を考慮した映像補間方法。映像補間装置において、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する補間部と、を含むことを特徴とする平滑化を考慮した映像補間方法。請求項1に記載の映像補間方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。本発明は、映像補間を介して、画素単位ピクセルを補間し、副画素単位ピクセルを生成するために、映像特性を考慮して適する補間フィルタ係数を決定するものである。本発明の一実施形態による平滑化を考慮した映像補間方法は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する段階と、を含む。ビデオの符号化過程及び復号化過程で、動き予測/補償時、参照フレームを補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び補償を行うことにより、インター予測の正確度が高くなる。また、平滑化補間フィルタを利用して、補間結果の高周波成分が低減し、さらに平滑な補間結果が導き出されることにより、高周波成分が除去され、映像符号化及び映像復号化の効率も向上する。本発明の一実施形態による平滑化を考慮した映像補間方法は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する段階と、を含む。一実施形態による前記補間フィルタは、複数個の基底関数に基づいて、前記画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、前記画素単位ピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、前記画素単位ピクセルのうち、前記補間位置に隣接するピクセルと前記補間位置との距離に基づいて、前記平滑度が決定されるフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ及びウィンドウ関数を合成したフィルタ係数から構成されてもよい。一実施形態による前記ウィンドウ関数は、前記補間位置を中心に対称的な形態であってもよい。一実施形態による前記補間フィルタは、前記画素単位ピクセルを空間ドメインで補間するために、前記複数個の基底関数を利用した変換及び逆変換のためのフィルタに、平滑度パラメータを合成させたフィルタ係数から構成され、前記平滑度パラメータは、前記平滑度の速度及び前記平滑度の範囲のうち少なくとも一つを制御することができる。一実施形態による前記補間フィルタは、前記補間フィルタは、スプライン関数に基づいたフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタは、多項式に基づいて、前記補間フィルタの低周波応答を最大化するフィルタ係数から構成されてもよい。一実施形態による前記補間フィルタ選択段階は、前記補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記選択された補間フィルタを利用して生成したピクセル値を、前記スケーリング比率に基づいて正規化する段階を含んでもよい。一実施形態による前記補間フィルタ選択段階は、ピクセルの特性に基づいて、前記補間フィルタのうち互いに異なる補間フィルタを選択する段階を含み、前記副画素単位のピクセル値生成段階は、前記ピクセルの特性別にそれぞれ選択された互いに異なる補間フィルタを利用して、前記副画素単位のピクセル値を生成する段階を含んでもよい。本発明の一実施形態による平滑化を考慮した映像補間装置は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する補間部と、を含む。本発明の一実施形態によるカラー成分を考慮した映像補間方法は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択する段階と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する段階と、を含む。一実施形態によるカラー成分を考慮した映像補間方法の前記補間フィルタ選択段階は、クロマ成分のピクセル補間のために、前記補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い補間フィルタを選択する段階を含んでもよい。一実施形態による前記平滑度が高い補間フィルタは、前記画素単位ピクセルを平滑化し、複数個の基底関数を利用して、前記平滑化された画素単位ピクセルを変換し、前記変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されたフィルタ;前記複数個の基底関数を利用した変換及び逆変換のためのフィルタ係数及び低域通過フィルタリングのためのウィンドウ関数係数を合成したフィルタ;スプライン関数の境界条件に基づいて、前記画素単位ピクセルの境界ピクセルで最大に平滑化するためのフィルタ係数から構成されたフィルタ;及び補間フィルタの低周波応答を最大化させる多項式に基づいたフィルタ係数から構成されたフィルタのうち一つであってもよい。本発明の一実施形態によるカラー成分を考慮した映像補間装置は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択するフィルタ選択部と、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成する補間部と、を含む。本発明の一実施形態による映像補間フィルタを利用したビデオ符号化装置は、入力ピクチャのブロック別に、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成して予測符号化を行い、前記予測符号化による予測結果について変換及び量子化を行う符号化部と、前記量子化された変換係数及び符号化情報についてエントロピ符号化を行って生成されたビットストリームを出力する出力部と、前記補間フィルタのフィルタ係数が保存された保存部と、を含む。本発明の一実施形態による映像補間フィルタを利用したビデオ復号化装置は、ビデオの符号化されたビットストリームを受信し、エントロピ復号化を行ってパージングし、符号化情報と、前記ビデオピクチャの符号化されたデータとを抽出する受信抽出部と、前記ピクチャのうち現在ブロックの符号化されたデータのうち、量子化された変換係数について逆量子化及び逆変換を行い、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、前記副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択し、前記選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、前記少なくとも1つの副画素単位のピクセル値を生成して予測復号化を行い、前記ピクチャを修復する復号化部と、前記補間フィルタのフィルタ係数が保存された保存部と、を含む。本発明は、一実施形態による映像補間方法を電算的に具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。以下、本明細書に記載した本発明の多様な実施形態で、映像は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称することができる。以下、図1ないし図12Cを参照して、一実施形態による平滑化を考慮した映像補間について開示する。また、図13Aないし図27を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化について開示し、特に、以下図15ないし図27を参照して、一実施形態によって、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオの符号化及び復号化について開示する。以下、図1ないし図12Cを参照して、一実施形態による平滑化を考慮した映像補間及び平滑化補間フィルタについて説明する。図1は、一実施形態による映像補間装置のブロック図を図示している。一実施形態による平滑化を考慮した映像補間装置10は、フィルタ選択部12及び補間部14を含む。以下、説明の便宜のために、一実施形態による平滑化を考慮した映像補間装置10をビデオ符号化装置10と縮約して指称する。ビデオ符号化装置10の符号化部120及び出力部130の動作は、ビデオエンコーディングプロセッサ、中央プロセッサ、グラフィックプロセッサなどによって有機的に制御されてもよい。一実施形態による映像補間装置10は、映像を入力され、画素単位integerpelunitのピクセルを補間し、副画素単位subpelunitのピクセル値を生成することができる。入力される映像は、ビデオピクチャシーケンス、ピクチャ、フレーム、ブロックであってもよい。一実施形態によるフィルタ選択部12は、画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタを選択することができる。一実施形態による補間部14は、フィルタ選択部12で選択された補間フィルタを利用して、副画素単位の補間位置に隣接した画素単位ピクセルを補間し、副画素単位のピクセル値を生成することができる。副画素単位ピクセル値を生成するための画素単位ピクセルに係わる補間フィルタリングは、副画素単位の補間位置に隣接した画素単位ピクセルを含み、画素単位の参照ピクセル値について補間フィルタリングを行う動作を含んでもよい。一実施形態による補間フィルタは、複数個の基底関数に基づいて画素単位参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。一実施形態による補間フィルタは、一次元フィルタまたは二次元フィルタの形態であってもよい。一実施形態による補間部14は、選択された補間フィルタが一次元フィルタである場合、2方向以上の一次元補間フィルタを利用して、連続してフィルタリングを行い、現在副画素単位のピクセル値を生成することができる。一実施形態による平滑化補間フィルタは、補間位置と画素単位ピクセルとの距離に基づいて、平滑度が決定されてもよい。一実施形態による補間フィルタは、副画素単位の補間位置と平滑度とによって異なるフィルタ係数から構成されてもよい。以下、一実施形態によって、副画素単位の補間位置と平滑度とを考慮して決定される補間フィルタを、平滑化補間フィルタと指称する。一実施形態による平滑化補間フィルタは、画素単位ピクセルのうち、補間位置に隣接するピクセルと補間位置との距離に基づいて、平滑度が決定される。また、一実施形態による補間フィルタは、画素単位の参照ピクセルのうち、補間位置と遠い参照ピクセルであるほどさらに平滑にするためのフィルタ係数から構成されてもよい。一実施形態による平滑化補間フィルタは、画素単位ピクセルを空間ドメインspatialdomainで補間するために、複数個の基底関数を利用した変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数を合成したフィルタ係数から構成されてもよい。一実施形態によるウィンドウ関数は、補間位置を中心に対称的な形態であってもよい。一実施形態によって、変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数が合成された平滑化補間フィルタは、画素単位の参照ピクセルのうち、補間位置に近い参照ピクセルであればあるほど、大きい加重値を付与し、遠い参照ピクセルであればあるほど、小さい加重値を付与するためのフィルタ係数から構成されてもよい。一実施形態による平滑化補間フィルタは、画素単位の参照ピクセルを平滑化し、複数個の基底関数を利用して、平滑化された画素単位の参照ピクセルを変換し、変換結果として生成された複数個の係数を逆変換するためのフィルタ係数から構成されてもよい。一実施形態による平滑化補間フィルタは、空間ドメインの補間フィルタとして、変換及び逆変換のための補間フィルタに、平滑度パラメータを合成させたフィルタ係数から構成される。平滑度パラメータは、平滑度の速度及び平滑度の範囲のうち、少なくとも一つを制御することができる。一実施形態による平滑化補間フィルタは、スプライン関数に基づいたフィルタ係数から構成される。すなわち、補間フィルタ係数を決定するための変換及び逆変換の基底関数がスプライン関数であってもよい。一実施形態による補間フィルタは、さらに平滑な補間結果のために、スプライン関数を利用して決定されたフィルタ係数から構成される。一実施形態によって、スプライン関数に基づいた平滑化補間フィルタは、スプライン関数の境界条件に基づいて、画素単位の参照ピクセルのうち境界ピクセルで、最大に平滑化するためのフィルタ係数から構成される。他の実施形態によって、変換及び逆変換の基底関数が多項式である場合、平滑化補間フィルタは、多項式に基づいて、補間フィルタの低周波応答を最大化させるフィルタ係数から構成される。一実施形態による平滑化補間フィルタは、副画素単位の補間位置及び平滑度だけではなく、フィルタ長によって異なるフィルタ係数から構成される。また一実施形態による平滑化補間フィルタは、副画素単位の補間位置、平滑度及びフィルタ長だけではなく、補間結果のスケーリング比率によって異なるフィルタ係数から構成される。一実施形態によるフィルタ選択部12は、平滑化補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタを選択することができる。一実施形態による補間部14は、フィルタ選択部12で選択された平滑化補間フィルタを利用して、生成したピクセル値を正規化する。また一実施形態によるフィルタ選択部12は、ピクセルの特性によって、補間フィルタのうち、互いに異なる補間フィルタを選択することができる。一実施形態による補間部14は、ピクセルの特性別に、それぞれ選択された互いに異なる補間フィルタを利用して、副画素単位のピクセル値を生成することができる。一実施形態によるフィルタ選択部12で選択可能な補間フィルタは、一実施形態による平滑化補間フィルタだけではなく、平滑化を考慮していない一般補間フィルタも含んでもよい。従って、フィルタ選択部12は、映像特性によって、平滑化を全然考慮しない一般補間フィルタを選択することもできる。具体的に、例えば、他の実施形態による映像補間装置10は、カラー成分別に異なる補間フィルタを利用して、映像補間を行うことができる。他の実施形態によるフィルタ選択部12は、補間フィルタにおいて、副画素単位の補間位置及び現在ピクセルのカラー成分に基づいて異なって補間フィルタを選択することができる。他の実施形態による補間部14は、選択された補間フィルタを利用して、画素単位ピクセルを補間し、少なくとも1つの副画素単位のピクセル値を生成することができる。例えば、フィルタ選択部12は、ルマ成分の補間フィルタとクロマ成分の補間フィルタとを、異なって決定することができる。他の実施形態によるフィルタ選択部12は、クロマ成分のピクセル補間のために、補間フィルタのうち、ルマ成分のピクセルのための補間フィルタより平滑度が高い平滑化補間フィルタを選択することができる。例えば、クロマ成分のピクセル補間のために、スプライン関数に基づいて決定されたフィルタ係数から構成された補間フィルタ、多項式に基づいて決定されたフィルタ係数から構成された補間フィルタなどが選択されてもよい。スプライン関数に基づいて決定されたフィルタ係数は、スプライン関数の境界条件に基づいて、画素単位ピクセルの境界ピクセルで、最大に平滑化することができる。一実施形態によって、多項式によって決定された補間フィルタは、低周波応答を最大化させるためのフィルタ係数から構成される。また、クロマ成分のピクセル補間のために、ルマ成分のピクセルのための補間フィルタより平滑度が高い平滑度パラメータに基づいて決定されたフィルタ係数から構成された補間フィルタ、ルマ成分のピクセルのための補間フィルタより高周波成分を多く除去するウィンドウ関数と合成されたフィルタ係数から構成された補間フィルタなどが選択されてもよい。一実施形態によって、クロマ成分の平滑な補間結果を導き出すために、複数個の基底関数に基づいた変換及び逆変換のためのフィルタ係数、及び低域通過フィルタリングのためのウィンドウ関数係数が合成された平滑化補間フィルタが選択される。映像の補間は、低画質の映像を高画質に変換するときに利用される。インターレースinterlace映像をプログレシブprogressive映像に変換するときに利用されたり、あるいは低画質の映像をアップサンプリングupsamplingし、高画質の映像に変換するときに利用されたりする。また、ビデオ符号化装置が映像を符号化するとき、動き推定及び動き補償部は、補間された参照フレームを利用してインター予測を行うことができる。参照フレームを補間して高画質の映像を生成し、高画質の映像に基づいて、動き推定及び補償を行うことにより、インター予測の正確度を高めることができる。同様に、映像復号化装置が映像を復号化するときにも、動き補償部は、補間された参照フレームを利用して動き補償を行うことにより、インター予測の正確度を高めることができる。また一実施形態による映像補間装置10が利用する平滑化補間フィルタは、補間フィルタを利用した補間結果の高周波成分を低減させ、さらに平滑な補間結果を導き出すことができる。高周波成分の存在は、映像圧縮効率を阻害するので、平滑度が調節可能な映像補間を介して、映像符号化及び映像復号化効率も向上することができる。図2は、画素単位と副画素単位との関係を図示している。図2を参照すれば、映像補間装置10は、空間ドメインの画素単位のピクセル値、すなわち、所定ブロック20のO位置のピクセル値間を補間し、補間位置であるX位置のピクセル値を生成する。X位置のピクセル値は、αx及びαyによって補間位置が決定される副画素単位のピクセル値である。図2は、所定のブロック20が4x4の場合を例として挙げて説明するが、ブロックの大きさは、4x4に限定されるものではなく、さらに大きかったり、あるいは小さいサイズのブロックに係わる補間フィルタリングを介して、副画素単位のピクセル値を生成することができるということは、当業者であるならば容易に分かるであろう。ビデオ処理分野で、現在映像の動き補償及び予測のために動きベクトルが利用される。予測符号化によれば、現在映像を予測するために、以前に復号化された映像が参照され、動きベクトルは、参照映像の所定地点を示す。それにより、動きベクトルは、参照映像の画素単位のピクセルを示す。しかし、現在映像が参照するピクセルの位置が、参照映像の画素単位のピクセル間に位置する地点であってもよい。かような地点を、副画素単位の位置であるという。副画素単位の位置には、ピクセルが存在しないので、画素単位ピクセルのピクセル値を利用して、副画素単位のピクセル値が予測されるだけである。すなわち、画素単位ピクセルに係わる補間を介して、副画素単位のピクセル値が推定される。以下、図3、図4A、図4B及び図4Cを参照して、画素単位ピクセルに係わる補間方法について説明する。図3は、副画素単位のピクセル値を決定するために参照される隣接する画素単位ピクセルを図示している。図3を参照すれば、映像補間装置10は、空間ドメインの画素単位のピクセル値31,33間の補間を行い、補間位置のピクセル値35を生成する。αによって補間位置が決定される副画素単位のピクセル値35である。図4A、図4B及び図4Cは、一実施形態によって、副画素単位のピクセル値を決定するために参照される画素単位ピクセルを例示している。図4Aを参照すれば、画素単位ピクセルの2つのピクセル値31,33間を補間して、副画素単位のピクセル値35を生成するために、ピクセル値31,33を含む隣接した複数の画素単位ピクセルのピクセル値37,39を利用する。言い換えれば、-M-1番目からM番目までの2M個のピクセル値を、一次元補間フィルタリングすることにより、0番目ピクセルと1番目ピクセルとの間を補間することができる。また、図4Aは、水平方向のピクセル値間を補間する場合を例として挙げて説明したが、垂直方向のピクセル値間、または対角diagonal方向のピクセル値を利用して、一次元補間フィルタリングが可能である。図4Bを参照すれば、垂直方向に隣接したP041及びP143間を補間して、垂直方向の補間位置αのピクセル値Pαを生成することができる。図4Aと比較すれば、水平方向に配列されたピクセル値37,39の代わりに、垂直方向に配列されたピクセル値47,49を利用して補間を行うという点のみ異なるだけ、補間フィルタリング方法は類似している。図4Cの実施形態も、図4Bの実施形態と同様に、水平方向に配列されたピクセル値37,39の代わりに、対角方向に配列されたピクセル値46,48を利用するという点のみ異なるだけ、隣接した2つのピクセル値40,42間を補間して、補間位置αのピクセル値44を生成する方法は、水平方向の一次元補間フィルタリング方法と類似している。図4A、図4B及び図4Cで例示された方向の一次元補間フィルタリングだけではなく、さらに多様な方向の補間位置のピクセル値が生成される。副画素単位のピクセル値を生成するための画素単位ピクセルに係わる補間は、補間フィルタリングを介して具現されてもよい。補間フィルタリングを数学式で表現すれば、下記の通りである。2M個の画素単位参照ピクセル{pm}={p-M1,p-M2、...,p0,p1,...,pM}のベクトルpと、フィルタ係数{fm}={f-M1,f-M2,...,f0,f1,...,fM}のベクトルfxとの内積dotproductにより、補間の結果として生成されたピクセル値pxが導出される。補間位置αによって、フィルタ係数fαが変わり、これによって、補間の結果、ピクセル値pαが決定されるので、いかなる補間フィルタが選択されるか、すなわち、フィルタ係数fxがいかように決定されるかが補間フィルタリングの性能に相当な影響を及ぼす。以下、基底関数に基づいた変換及び逆変換を利用した映像補間、及び補間フィルタの決定方法について説明する。一実施形態によって、変換及び逆変換を利用した補間フィルタは、まず、互いに異なる周波数成分の複数の基底関数を利用して、ピクセル値を変換する。変換は、空間ドメインのピクセル値を変換ドメインの係数に変換する全ての変換であってもよく、前述の離散コサイン変換であってもよい。画素単位のピクセル値は、複数の基底関数を利用して変換される。ピクセル値は、輝度luminance成分に対するピクセル値でもあり、彩度chroma成分に対するピクセル値でもある。基底関数には制限がなく、空間ドメインのピクセル値を変換ドメインの値に変換する全ての変換であってもよい。例えば、基底関数は、離散コサイン変換及び逆離散コサイン変換のためのコサインcosine関数またはサインsine関数である。または、スプラインspline関数、多項基底polynomialbasisなど多様な基底関数が利用されてもよい。また、離散コサイン変換は、変形離散コサイン変換modifiedDCT、ウィンドウを利用した変形離散コサイン変換modifiedDCTwithwindowingであってもよい。一実施形態によって、変換及び逆変換を利用した補間フィルタは、変換に利用された複数の基底関数の位相を変更shiftし、位相変更された複数の基底関数を利用して生成された複数の係数、すなわち、変換ドメインtransformdomainの値を逆変換する。逆変換の結果、空間ドメインのピクセル値が出力され、出力された値は、補間位置のピクセル値である。<直交基底関数に基づいた直交変換及び逆変換を利用したフィルタ係数>以下、補間部14が直交基底関数に基づいた変換及び逆変換を利用する補間フィルタリングについて説明する。特に、直交基底関数の一例として、離散コサイン変換を例として挙げて説明する。例えば、図4Aを参照すれば、画素単位ピクセルの2つのピクセル値31,33間を補間して、副画素単位のピクセル値35を生成するために、ピクセル値31,33を含む隣接した複数のピクセル値37,39を利用して、-M-1番目からM番目までの2M個のピクセル値を一次元離散コサイン変換し、位相変更された基底関数に基づいて、一次元逆離散コサイン変換することにより、0番目ピクセルと1番目ピクセルとの間を補間することができる。補間部14は、まず、画素単位のピクセル値を一次元離散コサイン変換する。一次元離散コサイン変換は、次の数式1を計算することによって行われる。plは、-M-1番目からM番目までのピクセル値37,39であり、Ckは、ピクセル値を一次元離散コサイン変換した結果として生成された複数の周波数ドメインの係数である。このとき、kは、数式1の条件を満足する正の整数である。補間部14が数式2を計算し、ピクセル値37,39を一次元離散コサイン変換すれば、次の数式2を計算して係数を逆変換する。αは、図13に図示されたように2つのピクセル値間の補間位置を意味するところ、1/2、1/4、3/4、1/8、3/8、5/8、7/8、1/16,...と同様に、多様な分数値である。分数値には制限がなく、αは、分数ではない間違い値でもある。Pαは、一次元逆離散コサイン変換結果として生成される補間位置のピクセル値35を意味する。数式1と比較すれば、逆離散コサイン変換に利用される基底関数であるコサイン関数の位相は、整数lによって決定される代わりに、分数αによって決定されるので、一次元離散コサイン変換に利用される基底関数の位相と異なる。すなわち、逆変換で利用する基底関数、すなわち、コサイン関数の位相が、それぞれ2αによって変更されたということが分かる。補間部14が、数式2の位相変更された複数のコサイン関数に基づいて、逆離散コサイン変換を行えば、図4Aの補間位置、すなわち、P0のピクセル値35が生成される。数式1による離散コサイン変換を行列式で表現すれば、下記数式3のようである。ここで、Cは、数式1と係わって説明した2M個の係数に係わる2Mx1行列であり、REFは、数式1と係わって説明した画素単位のピクセル値、すなわち、P-M-1,...PMピクセル値に係わる2Mx1行列である。補間に利用される画素単位ピクセル位置のピクセル値の個数、すなわち、2Mは、一次元補間フィルタのタップtap数を意味する。Dは、一次元離散コサイン変換のための正方行列であり、次の数式4のように定義される。k及びlは、前記条件を満足する整数であり、Dklは、数式3の離散コイン変換のための正方行列Dのk行、l列を意味する。Mは、数式3のMと同一のMである。数式2による位相変更された複数の基底関数を利用した逆離散コサイン変換を、行列式で表現すれば、次の数式5の通りである。ここで、Pαは、数式2のPαと同一であり、Wαは、位相変更された複数の基底関数を利用した一次元逆離散コサイン変換のための1x2M行列であり、次の数式6のように定義されてもよい。kは、前記条件を満足する整数であり、Wkαは、数式5と係わって説明したWα行列のk列を意味する。数式3及び数式5に基づいて、一次元離散コサイン変換、及び位相変更された複数の基底関数を利用した一次元逆離散コサイン変換のためのフィルタFαは、次の数式7のように定義することができる。k及びlは、前記条件を満足する整数であり、Flαは、Fαのl列を意味し、Wα及びDは、数式3のWα及びDと同一である。一実施形態による補間部14は、さらに平滑化された副画素単位のピクセル値を生成するために、基底関数に基づいた変換及び逆変換に利用した補間フィルタを変形することができる。以下、実施形態による多様な平滑化補間フィルタを決定するために、ウィンドウ関数が利用される場合、複数個の平滑化パラメータが利用される場合、スプライン関数が基底関数に利用される場合、及び多項式が基底関数に利用される場合について順に説明する。<ウィンドウ関数を利用した平滑化補間フィルタ>一実施形態によって、ウィンドウ関数を利用して、補間フィルタ係数を平滑化する方式について説明する。一実施形態によって、使用可能なウィンドウ関数は、ハミングHammingウィンドウ関数、コサインウィンドウ関数、エクスポネンシャルexponentialウィンドウ関数、ハニングHanningウィンドウ関数、ブラックマンBlackmanウィンドウ関数、三角triangleウィンドウ関数を含んでもよい。以下、説明の便宜のために、特定ウィンドウ関数を利用して、一実施形態による変換及び逆変換に基づいた補間フィルタを平滑化する実施形態について説明するが、説明するウィンドウ関数以外に、類似した周波数応答を有する他のウィンドウ関数も活用可能であるということは、当業者であるならば、容易に理解することができるであろう。ハミングウィンドウ関数によるウィンドウ係数は、数式8による。ハミングウィンドウ関数を含んで多様であるウィンドウ関数は、入力nが、N/2を基準で対称であり、周波数応答が、低域通過フィルタと類似している。ウィンドウ関数に対する入力において、ウィンドウ関数が形成するウィンドウにカバーされる入力だけが出力されてもよい。ウィンドウサイズNは、原本補間フィルタのフィルタ長より大きい正の整数として設定されてもよい。例えば、1/2ピクセルまたは1/4ピクセルのように、副画素単位を生成するための補間フィルタに、ウィンドウ関数を適用するために、ウィンドウ関数の中央位置が、1/2または1/4の副画素単位ほど移動されてもよい。すなわち、ウィンドウ関数の中央位置が補間位置に移動され、補間位置を中心に対称形態である。例えば、数式9と数式10は、それぞれ1/2ピクセル単位と1/4ピクセル単位との補間フィルタのための、ハミングウィンドウ関数によるウィンドウ係数を例示している。数式11のウィンドウ係数は、副画素単位の補間位置αによって一般化された、補間フィルタのためのウィンドウ関数であり、順序通り、ハミングウィンドウ関数、コサインウィンドウ関数、エクスポネンシャルウィンドウ関数によるウィンドウ係数を例示している。数式11によるウィンドウ係数を、原本補間フィルタfkαに合成することにより、平滑化補間フィルタ係数は、数式12によって決定される。一実施形態によって、ウィンドウ関数を利用して、平滑化補間フィルタを決定することにより、画素単位参照ピクセルと補間位置との距離に基づいて、補間フィルタ係数に係わる加重値が調節されてもよい。例えば、ウィンドウ関数によって、補間フィルタのフィルタ係数のうち、補間位置から遠い距離に位置した画素単位参照ピクセルのためのフィルタ係数は、大きく平滑化され、補間位置に近い参照ピクセルのためのフィルタ係数は、大きく変更されない形態に、平滑化補間フィルタが決定される。また、ウィンドウ関数を利用して、平滑化補間フィルタを決定することにより、画素単位参照ピクセルを平滑化した後、補間フィルタリングが行われるという効果がある。入力された画素単位参照ピクセルRef={p-M1,p-M2,...,p0,p1,...,pM}は、ノイズを含んでいるか、あるいは量子化エラーによって毀損されてもいる。このために、一実施形態による映像補間装置10は、画素単位参照ピクセルを利用した補間前に、まず、画素単位参照ピクセルを平滑化した後で補間フィルタリングを行うことにより、補間効果を向上させることができる。<2個のパラメータを利用した平滑化補間フィルタ>他の実施形態による平滑化補間フィルタは、2個のパラメータに基づいて、フィルタ係数の平滑度を決定することができる。変換及び逆変換に基づいた補間フィルタ係数と、平滑化マトリックスSとを合成した、副画素単位のための平滑化補間フィルタ係数は、数式13による。数式14は、平滑化マトリックスSの一例である。数式14による平滑化マトリックスSは、3対角マトリックス形態である。すなわち、平滑化マトリックスSの成分において、1本の中心対角線と、中心対角線に隣接しながら、相応する2本の対角線との上の成分を除いた残りの成分は、いずれも0である。平滑化マトリックスSで、平滑度σiは、補間される画素単位ピクセルからの距離i-αと無関係に決定されてもよい。その場合、平滑化マトリックスSによる平滑化は、均等平滑化と指称することができる。また、一実施形態による平滑化マトリックスSで、平滑度σiは、画素単位ピクセル位置のインデックスiによって変更されてもよい。その場合、平滑化マトリックスSによる平滑化は、非均等滑化と指称することができる。例えば、平滑度σiは、数式15による。正の指数lは、補間される補間位置と画素単位参照ピクセルとの距離が遠いほど、平滑化効果を上昇させることができる。従って、正の指数lは、平滑化の速度、すなわち、補間位置と画素単位参照ピクセルとの距離によって、平滑化効果が増大する速度を制御することができる。平滑化パラメータβは、平滑化の範囲、すなわち、補間位置近くでの平滑化を制御することができる。もし0より小さいβが使用されるのであるならば、数式13による平滑化マトリックスSは、シャープニングフィルタsharpeningfilterに変更される。従って、0より小さい平滑化マトリックスS、が変換及び逆変換を利用した補間フィルタと合成されるのであるならば、高周波成分を増幅させるフィルタの生成は、他の実施形態で具現されもするであろう。一実施形態による映像補間装置10は、副画素単位の予測のために、平滑化補間フィルタ係数データを、あらかじめメモリなどに積載しておいて使用することができる。図5は、一実施形態によって、平滑化補間フィルタの平滑度パラメータによる平滑化ファクタのグラフ50を図示している。第1曲線52及び第2曲線54は、一実施形態による離散変換に基づいた補間フィルタを平滑化させるための平滑化ファクタのグラフを示している。mが大きいほど、すなわち、補間される画素単位ピクセルから遠くなるほど、平滑化ファクタは0に近くなる。ここで、平滑化パラメータβが小さい第1曲線52は、平滑化パラメータβが大きい第2曲線54に比べて、相対的に平滑化ファクタの幅が広い。すなわち、平滑化パラメータβが大きい平滑化補間フィルタによれば、低周波成分だけが主にフィルタリングされ、相対的に強く平滑化された副画素単位のピクセル値が生成される。平滑化補間フィルタの平滑化パラメータβが相対的に小さければ、相対的に高周波成分が保存されたまま補間され、副画素単位のピクセル値が生成される。一実施形態による映像補間装置10は、平滑化補間フィルタのフィルタ係数を決定するために、基底関数として、直交基底関数以外にも、スプライン関数及び多項式を利用することができる。<スプライン関数に基づいた平滑化補間フィルタ>一実施形態による映像補間装置10は、スプライン関数に基づいて、平滑化補間フィルタのフィルタ係数を決定することができる。また、映像補間装置10は、補間結果を平滑化するために、境界条件が付加されたスプライン関数を利用することができる。具体的に、例えば、2個以上のM個の画素単位ピクセルpmを利用する補間フィルタを構成するために、変数ρを有する多項スプライン補間を利用する場合、変数ρが3≦ρ≦M1の範囲で最大平滑度を示し、-M2番目ピクセルとM-1番目ピクセルとでは、スプライン値、すなわち、補間の結果値が無限大に平滑になるように、ρ-1個の追加条件が設定されてもよい。かような追加条件は、ノットアノットnotaknot境界条件またはdeBoor境界条件と呼ばれる。スプライン関数に基づいた補間フィルタ係数を利用した補間結果は、数式16のような加重和で表現されてもよい。入力ピクセルpmは、画素単位参照ピクセルであり、mの範囲が[-M1,M]すなわち、-M1≦m≦Mである入力ピクセルの集合{pm}が入力される。スプライン関数Sxが、補間の結果として生成されたピクセル値である。fmxは、カージナルスプラインインターポラントcardinalsplineinterpolantsであり、カージナルスプライン関数によるフィルタ係数である。fmxは、同一の境界条件を有し、画素単位参照ピクセルの位置すなわち、-M1≦m≦M、mは整数だけで値を有するカージナルスプライン関数値である。フィルタ係数fmxは、数式17によって決定される。kが0≦k≦2M-2の範囲の整数であるとき、スプラインフィルタ係数fmxは、[-M1k,-Mk2]の範囲、すなわち、-M1kから-Mk2までの整数mごとに決定される。数式17で、係数は、数式18の等式に基づいて決定される。一実施形態による副画素単位の補間のために、補間位置αによるスプラインフィルタ係数fmαで構成されたFIRフィルタをあらかじめ算出して保存しておき、画素単位参照ピクセルpmに、スプラインフィルタ係数fmαから構成されたFIRフィルタを利用した補間フィルタリングを介して、0番ピクセルと1番目ピクセルとの間の補間位置αの副画素単位のピクセル値が生成される。図6は、一実施形態による平滑化補間フィルタで利用可能なスプライン関数のグラフ60を例示している。図6を参照すれば、変数ρが3であるスプライン関数に基づいて、2M=6、すなわち、6タップ補間フィルタのための3個のスプラインインターポラント曲線f-2x61、f-1x62、f0x63が図示されている。例えば、α=1/4である副画素単位のピクセル値を生成するための補間フィルタ係数は、スプラインインターポラント曲線f-2x61,f-1x62,f0x63上で、f-21/464、f-11/465、f01/466と決定される。<多項式に基づいた平滑化補間フィルタ>一実施形態による映像補間装置10は、多項式に基づいて、平滑化補間フィルタのフィルタ係数を決定することができる。多項式に基づいた補間フィルタ係数{fk}で構成された多項式補間関数は、数式19のように、多項式の基底関数に基づいて表現されてもよい。整数kは、-M1≦k≦Mの範囲に定義される。また、映像補間装置10は、補間結果を平滑化するために、多項式に基づいた補間フィルタ係数{fk}において、低周波帯域で最適化されたフィルタ係数を決定することができる。一例として、周波数ωが0であるとき、多項式補間関数の関数値と、多項式補間関数の導関数の値とがいずれも同一である場合に決定されるフィルタ係数{fk}が、低周波帯域で最適化された補間フィルタ係数に決定される。これによれば、数式20のように、整数kに係わる関数として、未知数である2M個のフィルタ係数{fk}のための2M個の線形関数が導き出される。数式20の線形関数の解は、ニュートン多項式Newtonpolynomialに係わる解法を介して求めることができる。数式21は、数式20の線形関数に係わる解として算出された2M個のフィルタ係数{fk}である。数式20及び数式21のニュートン多項式に基づいて決定されたフィルタ係数{fk}から構成された補間フィルタは、低周波数帯域で最高周波数応答を有するので、この補間フィルタを利用したピクセル値は、さらに平滑化された補間結果を導き出すことができる。従って、多項式の基底関数に基づいて決定されたフィルタ係数から構成された補間フィルタが、平滑化補間フィルタとして選択される。これによって、一実施形態による映像補間装置10は、多項式に基づいた補間フィルタ係数から構成された平滑化補間フィルタを選択し、さらに平滑化された補間ピクセルを生成することができる。特に、クロマ成分のピクセルは、高周波成分が強いので、クロマ成分の画素単位ピクセルについて副画素単位のピクセル値を生成するために、多項式に基づいた補間フィルタ係数から構成された平滑化補間フィルタが利用される。<拡大補間のための補間フィルタ係数>一実施形態による多様な平滑化補間フィルタ生成方法は、整数ではない浮動小数点数floatingpointnumberを生成する演算式に基づいて、フィルタ係数の絶対値は、ほぼ1より大きくない。特に、副画素単位の補間位置αによって、整数ではない実数の演算結果が発生することもある。浮動小数点基盤の演算の効率より、整数基盤の演算効率の方が高い。これにより、一実施形態による映像補間装置10は、スケーリング比率を利用して、フィルタ係数を整数に拡大することにより、補間フィルタリングの演算効率性を向上させることができる。また、ピクセル値のビット深が大きくなることにより、補間フィルタリングの正確度も向上する。一実施形態による映像補間装置10は、フィルタ係数fmαに所定の値を乗じ、大きい値の係数Fmαを利用して映像を補間することができる。例えば、数式22によって、フィルタ係数Fmαは、フィルタ係数fmαから拡大することができる。演算効率のためにスケーリング比率は、2nの形態である。nは、0及び正の整数である。2nほど拡大されたフィルタ係数による補間フィルタリング結果は、原フィルタ係数によるフィルタリング結果に比べて、ビット深がnビットほど拡大される。拡大されたフィルタ係数Fmαを利用した整数演算補間フィルタリングは、数式23による。すなわち、拡大されたフィルタ係数Fmαを利用して補間フィルタリングが行われた後、拡大されたビット深が原本ビット深に復元されなければならない。このとき、offsetは、2n-1である。すなわち、一実施形態による拡大された平滑化補間フィルタを利用して拡大されたフィルタリング結果は、原本ビットに復元されるために、スケーリング比率2nほど縮小されるので、拡大されたフィルタリング結果のビット深がnビットほど縮小される。もし水平方向の一次元補間フィルタリングと、垂直方向の一次元補間フィルタリングとを介して、2段階補間フィルタリングが行われた場合、全2nビットほど縮小される。従って、第1一次元補間フィルタがn1ビットほど拡大され、第2一次元補間フィルタがn2ほど拡大された場合、第1一次元補間フィルタリングと第2一次元補間フィルタリングとを介して、2段階補間フィルタリング後、n1とn2との和2nほど縮小される。第1一次元補間フィルタは、拡大されていない補間フィルタである。平滑化補間フィルタ係数fmαの総和は、1である数式24。拡大された平滑化補間フィルタのフィルタ係数Fmαのための正規化条件は、数式25による必要がある。しかし、数式25による正規化条件は、ラウンディングエラーroundingerrorによって誤差が発生することもある。一実施形態による映像補間装置10は、数式19による正規化条件に基づいて、拡大されたフィルタ係数Fmαを四捨五入することができる。正規化のために拡大されたフィルタ係数Fmαのうち一部は、原本値に比べて所定範囲内で調整されてもよい。例えば、拡大されたフィルタ係数は、ラウンディングエラーを補正するために、±1の範囲内で調整される。以上、多様な平滑化補間フィルタ及びフィルタ係数について開示した。特に、平滑化補間フィルタのフィルタ係数を決定するための関数として、ウィンドウ関数、スプライン関数、多項式などが利用される。補間フィルタのためには、関数の周波数応答は、周波数によって変わるが、平滑化補間フィルタのためには、関数の周波数応答のフィルタ利得filtergainが1に近いことが望ましい。従って、一実施形態による映像補間装置10は、周波数が変わったにしても、周波数応答のフィルタ利得が1に最も近い関数を利用してフィルタ係数を決定し、このフィルタ係数から構成された補間フィルタを平滑化補間フィルタとして選択することができる。図7は、一実施形態による映像補間方法のフローチャートを図示している。段階71で、ピクチャの画素単位間に位置する少なくとも1つの副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。一実施形態による補間フィルタの平滑度は、補間位置と画素単位との距離に基づいて決定される。一実施形態による補間フィルタは、複数個の基底関数に基づいた変換及び逆変換を行うためのフィルタ係数から構成されたフィルタである。一実施形態による平滑化補間フィルタは、ウィンドウ関数が合成された補間フィルタ、複数個の平滑化パラメータに基づいた補間フィルタ、平滑化パラメータに基づいた補間フィルタ、スプライン補間フィルタ及び多項式補間フィルタのうち少なくとも一つを含んでもよい。一実施形態によって、平滑化補間フィルタを利用したフィルタリングのために、画素単位参照ピクセルに係わるフィルタ係数において、画素単位参照ピクセルと補間位置との距離が遠いほど、当該フィルタ係数は、さらに平滑になるように決定される。段階72で、段階71で選択された補間フィルタを利用して、画素単位ピクセルのピクセル値を補間し、少なくとも1つの副画素単位のピクセル値が生成される。補間フィルタにおいて、フィルタ係数が整数に拡大された補間フィルタが選択されれば、補間フィルタを利用して生成したピクセル値は、スケーリング比率に基づいて正規化される。一実施形態によって、補間されるピクセルの特性によって、補間フィルタのうち、互いに異なる補間フィルタが選択され、ピクセルの特性別に、それぞれ選択された互いに異なる補間フィルタを利用して、副画素単位のピクセル値が生成される。以下、図8Aないし図12Cを参照して、副画素単位の補間位置及び平滑度を考慮して決定された補間フィルタのフィルタ係数の多様な実施形態について開示する。図8A、図8B及び図8Cは、一実施形態によって、平滑度パラメータと補間位置とによって決定される12タップ補間フィルタのフィルタ係数を図示している。図8A、図8B及び図8Cを参照して、前述の直交変換に基づいた補間フィルタのうち、図5を参照して説明した、画素単位参照ピクセルを平滑にした後で直交変換及び逆変換を行うために、平滑化マトリックスと直交変換とに基づいた補間フィルタが合成された平滑化補間フィルタのフィルタ係数について開示する。図8A、図8B及び図8Cは、平滑化パラメータβが、0、0.002、0.004、0.006、0.008、0.010、0.012、0.014、0.016、0.018、0.020に変動することによって、そして補間位置αが、1/8、1/4、3/8、1/2、5/8、3/4、7/8に変動することによって、互いに異なるフィルタ係数から構成された多様な補間フィルタが開示されている。例えば、図8Aのテーブルにおいて、平滑化パラメータβが0.002であり、補間位置αが1/8であるところを見れば、補間フィルタとして、フィルタ係数{fm}、すなわち、{f-11,f-10,f-9,f-8,f-7,f-6,f-5,f-4,f-3,f-2,f-1,f0,f1,f2,f3,f4,f5,f6,f7,f8,f9,f10,f11,f12}が{-1,4,-7,12,-24,246,37,-16,9,-5,3,-1}で構成されたフィルタが選択される。図9A、図9B及び図9Cは、一実施形態によって、平滑度パラメータと補間位置とによって決定される6タップ補間フィルタのフィルタ係数を図示している。図8A、図8B及び図8Cのフィルタ係数は、平滑化マトリックスと直交変換補間フィルタとが合成された平滑化補間フィルタのうち、12タップ補間フィルタの12個のフィルタ係数であることに比べて、図9A、図9B、及び図9Cでは、6タップ補間フィルタの6個のフィルタ係数について開示している。図8A、図8B及び図8Cは、平滑化パラメータβと補間位置αとが変動することによって、互いに異なるフィルタ係数から構成された多様な平滑化補間フィルタが開示される。図8A、図8B、図8C、図9A、図9B及び図9Cを参照して開示されたフィルタ係数は、一実施形態による拡大補間フィルタリングによって、スケーリング比率256=28に拡大されて四捨五入された係数である。図8A、図8B、図8C、図9A、図9B及び9Cを観察すれば、補間位置αが一定であり、平滑化パラメータβが増大することにより、フィルタ係数fmが相対的に小さくなる傾向が発生する。また、平滑化パラメータβが一定であり、補間位置αが1/2から遠くなることにより、フィルタ係数fmにおいて、mがm=0からm=-M1またはm=Mの方に遠くなるほど、f0に比べて、フィルタ係数fmが相対的に小さくなり、m=0近くのフィルタ係数のフィルタ係数fmが相対的に大きくなる傾向が発生する。従って、平滑化パラメータβが増大することにより、補間位置αが1/2から遠くなるすなわち、画素単位ピクセルに近くなることにより、さらにシャープな補間フィルタ、すなわち、あまり平滑化されない補間フィルタが選択される。一実施形態による補間フィルタは、ミラー反射型対称フィルタであるので、補間位置αのフィルタ係数fmαを利用して、補間位置1-αのフィルタ係数fmαが決定される。例えば、図9Aで、平滑化パラメータβ=0.002であるフィルタ係数{fm}において、補間位置α=3/8であるフィルタ係数{fm3/8}と、補間位置α=1-3/8=5/8であるフィルタ係数{fm5/8}とを比較すれば、以下の通りである。{fm3/8}={11,-42,196,117,-35,10}{fm5/8}={10,-35,117,196,-42,11}すなわち、m=-2,-1,0であるときの{fm3/8}と、m=3,2,1であるときの{fm5/8}とが同一であり、m=3,2,1であるときの{fm3/8}と、m=-2,-1,0であるときの{fm5/8}とが同一であるということが確認される。従って、以下、図10ないし図12Cのテーブルでは、補間位置が1/2より小さいか、あるいはそれと同じである場合の補間フィルタ係数{fmα}だけが開示されているとしても、補間位置が1/2より大きい場合の残りの補間フィルタ係数{fmα}が決定されるということは、当業者であるならば、容易に理解することができるであろう。図10は、一実施形態によって、クロマchroma成分のピクセルのための平滑度パラメータと補間位置とによって決定される6タップ補間フィルタのフィルタ係数を例示している。一実施形態による映像補間装置10は、映像特性によって、異なる種類の補間フィルタを選択することができる。例えば、平滑化マトリックスと直交変換補間フィルタとが合成された平滑化補間フィルタが決定される場合、映像特性によって、平滑度パラメータが変更される。具体的な例として、クロマ成分のピクセルは、4:2:0カラーフォーマットによってダウンサンプリングされるので、ルマ成分のピクセルに比べて、低周波成分が少ない。その場合、図10を参照して、ルマ成分のピクセルのための補間フィルタと別個に、クロマ成分のピクセルのための補間フィルタだけが別途に選択される。以下、図11を参照して、カラー成分によって、補間フィルタと異なって選択される多様なフィルタ係数について開示する。図11は、一実施形態によって、カラー成分及び映像補間位置によって異なって決定される平滑化補間フィルタのフィルタ係数を例示している。図11を参照すれば、フィルタタップ数2M、補間位置α、カラー成分Lルマ/Cクロマに変動することによって、互いに異なるフィルタ係数から構成された多様な平滑化補間フィルタが例示される。図11のフィルタ係数は、スケーリング比率256=28に拡大されて四捨五入された係数である。前述のように、補間フィルタ係数のミラー反射特性に基づいて、補間位置σが1/2より小さいか、あるいはそれと同じ場合だけが開示されている。図8Aないし図10で観察したところと類似して、クロマ成分のためのフィルタ係数と、ルマ成分のためのフィルタ係数とを比較すれば、平滑化パラメータβが大きい場合のフィルタ係数と、小さい場合のフィルタ係数とを比較した結果と類似している。図12A、図12B及び図12Cは、一実施形態によって、映像補間位置及びスケーリング比率による平滑化補間フィルタのフィルタ係数を例示している。図12A、図12B及び図12Cを参照して、スケーリング比率2nが512、256,128、64に変動し、補間フィルタのフィルタタップ及び補間位置αが変動することにより、平滑化補間フィルタの拡大、四捨五入及び正規化されたフィルタ係数の多様な変形例について開示している。特に、図12Cの補間フィルタ係数のうち、1/8ピクセル単位の補間のためのフィルタ係数は、クロマ成分ピクセルの動き補償で、有用に利用される。ただし、クロマ成分のピクセルについては、ルマ成分のピクセルに比べて、人間が視覚的に認知する画質がそれほど重要ではないので、相対的に短いフィルタタップ4タップと、ビット深が低く、スケーリング比率25である平滑化補間フィルタとが利用される。以上、図8Aないし図12Cを介して開示されたフィルタ係数は、多様な実施形態のうち一部であるのみ、一実施形態による平滑化を考慮した補間フィルタについて、補間位置、平滑化パラメータ、ウィンドウ関数の種類、スプライン関数の種類、多項式解法の種類、スケーリング比率、四捨五入いかんなどを含んだ多様な要因によって、フィルタ係数が変形されもするということは、当業者であるならば、容易に理解することができるであろう。以下、図13Aないし図27を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化について開示する。図15ないし図25を参照して、一実施形態により、ツリー構造による符号化単位に基づいたビデオの符号化及び復号化について開示し、図26及び図27を参照して、一実施形態による平滑化補間フィルタを利用するビデオの符号化及び復号化方法について開示する。映像と係わるデータについて各種動作が遂行されるとき、映像と係わるデータは、データグループに分割され、同一データグループに含まれるデータについて、同一の動作が遂行される。以下、本明細書で、所定基準によって形成されるデータグループをデータ単位と指称する。以下、本明細書で、データ単位ごとになされる動作は、データ単位に含まれたデータを利用して、当該動作が遂行されるということを意味する。<平滑化補間フィルタを利用するビデオ符号化/復号化>図13Aは、一実施形態による平滑化補間フィルタを利用するビデオ符号化装置のブロック図を図示している。ビデオ符号化装置100の符号化部120及び出力部130の動作は、ビデオエンコーディングプロセッサ、中央プロセッサ、グラフィックプロセッサなどによって有機的に制御される。一実施形態によるビデオ符号化装置100は、入力されたビデオにおいて、現在ピクチャを符号化するために、現在ピクチャを所定サイズのデータ単位に分割し、データ単位別に符号化を行う。例えば、現在ピクチャは、空間ドメインの画素で構成される。現在ピクチャにおいて、空間的に隣接する画素を共に符号化するために、所定範囲内の隣接画素が1つのグループをなすように、現在ピクチャは、所定サイズの画素グループに分割される。分割された所定サイズの画素グループの画素に係わる一連の符号化動作により、現在ピクチャに係わる符号化が行われる。ピクチャの符号化処理対象になる初期データが、空間ドメインの画素値であるので、それぞれの所定サイズの画素グループが、符号化処理対象になるデータ単位に利用される。また、空間ドメインの画素グループの画素値についてビデオ符号化のための変換を行い、変換ドメインの変換係数が生成されるが、変換係数も、空間ドメインの画素グループと同一サイズの係数グループを維持する。従って、変換ドメインの変換係数の係数グループも、ピクチャの符号化のためのデータ単位に利用される。従って、空間ドメイン及び変換ドメインをまとめて、所定サイズのデータグループが、符号化のためのデータ単位に利用される。このとき、データ単位の大きさは、データ単位に含まれるデータの個数と定義される。例えば、空間ドメインの画素の個数、または変換ドメインの変換係数の個数が、データ単位の大きさを示すことができる。ビデオにおいて、現在符号化処理対象であるデータ単位、スライス、ピクチャ、ピクチャシーケンスのうち、いずれか1つのデータレベルのデータグループごとに、現在データ単位に係わる符号化方式または符号化特性が決定される。一実施形態によるビデオ符号化装置100は、データ単位別に、インター予測、イントラ予測を含む予測符号化、変換、量子化及びエントロピ符号化を行うことにより、現在ピクチャの符号化を行うことができる。インター予測によれば、経時的に、先行するか、あるいは後続するピクチャのピクセル値を参照して、現在ピクセル値が推定されるように、参照ピクチャの参照領域のピクセル値と、現在ピクチャのピクセル値との残差データ、及び参照されたピクセル値を示す参照データが決定される。一実施形態によるビデオ符号化装置100は、さらに正確なインター予測のために、副画素単位ピクセル値を利用して、残差データ及び参照データを決定することができる。ビデオ符号化装置100は、副画素単位のインター予測のために、隣接する画素単位ピクセル間に位置する副画素単位ピクセル値を決定するために、隣接する画素単位ピクセルを補間して、副画素単位のピクセル値を決定することができる。また、隣接する画素単位ピクセルを含み、2以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。補間フィルタリングのための参照ピクセルは、参照ピクチャ上のピクセルである。一実施形態によるビデオ符号化装置100は、効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。一実施形態による符号化部120に、一実施形態による映像補間装置10が搭載される。すなわち、符号化部120は、副画素単位のインター予測のために、映像補間装置10によって、変換及び逆変換に基づいて決定されたフィルタ係数から構成された補間フィルタを利用して、副画素単位のピクセル値を生成することができる。一実施形態によるビデオ符号化装置100は、効果的な補間フィルタリングのために、補間フィルタ係数をあらかじめメモリに保存しておくことができる。一実施形態による補間フィルタ係数は、補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類により、多様な種類の補間フィルタ係数が、ビデオ符号化装置100のメモリに保存される。例えば、i8タップ、スケーリング比率26、1/4画素単位のフィルタ係数である{-1,4,-10,57,19,-7,3,-1}、ii8タップ、スケーリング比率26、1/2画素単位の補間フィルタ係数である{-1,4,-11,40,40,-11,4,-1}、iii4タップ、スケーリング比率26、1/8画素単位のフィルタ係数である{-3,60,8,-1}、iv4タップ、スケーリング比率26、1/4画素単位のフィルタ係数である{-4,54,16,-2}、v4タップ、スケーリング比率26、3/8画素単位のフィルタ係数である{-5,46,27,-4}、vi4タップ、スケーリング比率26、1/2画素単位のフィルタ係数である{-4,36,36,-4}がメモリに保存され、本発明による平滑化補間フィルタリングのために利用される。本例によるフィルタ係数を含み、図8Aないし図12Cで例示された多様なフィルタ係数のように、多様な基底関数、ウィンドウ関数などを介して変形可能な平滑化補間フィルタ係数が、補間フィルタとして利用されるということは、前述の通りである。メモリに保存されたフィルタ係数を利用した補間フィルタリングを介して、インター予測のための演算速度が向上する。符号化部120は、補間フィルタのうち、副画素単位の補間位置αと平滑度とによって、所望の平滑化補間フィルタを選択し、インター予測に利用することができる。それだけではなく、フィルタタップ数、ビット深、スケーリング比率などによって、現在ピクセルに適する平滑化補間フィルタが決定される。一実施形態による符号化部100は、映像特性によって、補間フィルタを決定することができる。例えば、符号化部100は、ピクセルのカラー成分により、互いに異なる補間フィルタを決定することができる。例えば、ルマ成分のピクセルのための補間フィルタ、及びクロマ成分のピクセルのための補間フィルタが別個に選択され、互いに異なる補間フィルタリングを介して補間された副画素単位のピクセル値がそれぞれ生成される。副画素単位の補間に基づいたインター予測を含み、イントラ予測、変換/量子化を行い、ビデオが符号化される。一実施形態による出力部130は、符号化情報を符号化して出力し、符号化されたピクチャデータを出力することができる。符号化情報は、補間フィルタの選択に係わる情報が別途に符号化される。すなわち、副画素単位の予測符号化のために、いかなる補間フィルタが使用されたかということに係わる情報が符号化される。例えば、映像の符号化過程で、いかなるフィルタを利用して補間したかということを復号化する側が知っていてこそ、符号化過程で利用された補間フィルタと同一のフィルタを利用して、映像を補間して復号化することができる。このために、補間に利用されたフィルタを特定することができる情報が映像と共に符号化される。ただし、フィルタの選択が、以前の符号化結果、すなわち、コンテクストcontextに基づいて行われる場合には、フィルタ選択と係わる情報を別途に符号化する必要がない。出力部130は、符号化情報及び符号化されたピクチャデータについてエントロピ符号化を行い、ビットストリームを出力することができる。図13Bは、一実施形態による平滑化補間フィルタを利用する映像復号化装置のブロック図を図示している。一実施形態による平滑化補間フィルタを利用するビデオ復号化装置200は、受信抽出部220及び復号化部230を含む。以下、説明の便宜のために、一実施形態による平滑化補間フィルタを利用するビデオ復号化装置200をビデオ復号化装置200と縮約して指称する。ビデオ復号化装置200の受信抽出部220及び復号化部230の動作は、ビデオデコーディングプロセッサ、グラフィックプロセッサ、中央プロセッサなどによって有機的に制御される。ビデオ復号化装置200は、ビットストリームから映像を復元するために、エントロピ復号化、逆量子化、逆変換、インター予測/補償、イントラ予測/補償を含む動作を介して、ビットストリームの符号化されたピクチャデータを復号化することができる。一実施形態による受信抽出部220は、符号化されたビデオに係わるビットストリームを受信してパージングする。受信抽出部220は、パージングされたビットストリームから、現在ピクチャについて、データ単位別に符号化されたデータを抽出し、符号化されたデータを復号化することができるように、符号化方式に係わる情報が収録された符号化情報を抽出することができる。符号化情報が補間フィルタ情報を含んでいる場合、復号化部230は、補間フィルタ情報から、いずれの補間フィルタを利用して、副画素単位のイントラ予測を行ったかを読み取り、復号化部230は、符号化過程で利用された補間フィルタを利用して、動き補償を行うこともできる。復号化部230は、符号化モードに係わる情報に基づいて決定された各種復号化方式に従って、符号化されたピクチャについて、エントロピ復号化、逆量子化、逆変換、インター予測/補償、イントラ予測/補償などの各種復号化動作を遂行することにより、符号化されたピクチャデータを復号化することができる。動き補償のために、参照データを利用して、現在ピクチャに係わる時間順序上、先行するか、あるいは後続する参照ピクチャの参照領域が決定され、参照領域のピクセル値と残差データとが合成されて現在ピクセル値が復元される。符号化過程で、副画素単位で補間されたピクセルを基に、残差データ及び参照データが決定された場合、復号化部230も、副画素単位で補間されたピクセルを基に、動き補償を行うことができる。復号化部230は、副画素単位の動き補償のために、参照ピクチャのピクセルのうち、隣接する画素単位ピクセルを補間して、副画素単位のピクセル値を生成することができる。隣接する画素単位ピクセルを含み、2以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。一実施形態によるビデオ復号化装置200は、効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。一実施形態による復号化部230に、一実施形態による映像補間装置10が搭載される。すなわち、復号化部230は、副画素単位の動き補償のために、変換に基づいた補間フィルタを利用して、副画素単位のピクセル値を生成することができる。一実施形態によるビデオ復号化装置200は、効果的な補間フィルタリングのために、補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類により、多様に選択可能な補間フィルタのフィルタ係数をメモリに保存しておくことができる。前述のように、例えば、i8タップ、スケーリング比率26、1/4画素単位のフィルタ係数である{-1,4,-10,57,19,-7,3,-1}、ii8タップスケーリング比率26、1/2画素単位のフィルタ係数である{-1,4,-11,40,40,-11,4,-1}、iii4タップ、スケーリング比率26、1/8画素単位のフィルタ係数である{-3,60,8,-1}、iv4タップ、スケーリング比率26、1/4画素単位のフィルタ係数である{-4,54,16,-2}、v4タップ、スケーリング比率26、3/8画素単位のフィルタ係数である{-5,46,27,-4}、vi4タップ、スケーリング比率26、1/2画素単位のフィルタ係数である{-4,36,36,-4}のうち少なくとも1つのフィルタ係数がメモリに保存され、本発明による平滑化補間フィルタリングのために利用される。本例によるフィルタ係数を含み、図8Aないし12Cに図示されたように、多様な基底関数、ウィンドウ関数などを介して変形可能な平滑化補間フィルタ係数が、平滑化補間フィルタリングのために利用されるということは、前述の通りである。復号化部230は、補間フィルタのうち、副画素単位の補間位置α及び平滑度、それだけではなく、フィルタタップ数、ビット深、スケーリング比率などによって、現在ピクセルに適する補間フィルタを選択的に決定し、副画素単位の動き補償を行うことができる。また、復号化部230は、映像特性によって平滑化補間フィルタを決定することができる。例えば、ピクセルのカラー成分によって、互いに異なる補間フィルタを選択し、ルマ成分のピクセルのための補間フィルタリング、及びクロマ成分のピクセルのための補間フィルタリングが別個に行われ、補間された副画素単位のピクセル値がそれぞれ生成される。従って、復号化部230は、逆量子化/逆変換を介して、空間ドメインのデータを復元し、イントラ予測及び画素単位の補間だけではなく、副画素単位の補間に基づいた動き補償を行うことにより、ピクセル値を復元して、現在ピクチャを復元することができる。ピクチャが復元されることにより、ビデオが復号化される。図14Aは、一実施形態による平滑化補間フィルタを利用する映像符号化方法のフローチャートを図示している。段階1410で、入力されたビデオのうち、現在ピクチャを符号化するために、副画素単位の補間を利用した予測符号化が行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。一実施形態による補間フィルタの平滑度は、補間位置と画素単位との距離に基づいて決定される。参照ピクチャ上の2以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値を利用して、残差データ及び参照データが決定されることにより、予測符号化が行われる。効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。段階1420で、副画素単位の補間に基づいたインター予測を含み、イントラ予測が行われた結果について変換/量子化が行われる、段階1430で、量子化された変換係数の形態である符号化されたピクチャデータ及び符号化情報について、エントロピ符号化を行い、ビットストリームを出力することができる。符号化情報は、副画素単位の予測符号化のために、いかなる補間フィルタが使用されたかということに係わる情報を含んでもよい。図14Bは、一実施形態による平滑化補間フィルタを利用する映像復号化方法のフローチャートを図示している。段階1450で、符号化されたビデオに係わるビットストリームを受信し、エントロピ復号化してパージングし、ビットストリームから、現在ピクチャの量子化された変換係数及び符号化情報が抽出される。符号化情報が補間フィルタ情報を含んでいる場合、補間フィルタ情報から、必要な補間フィルタの種類を読み取ることもできる。段階1460で、符号化情報から読み取られた符号化モードに基づいて決定された各種復号化方式に従って、量子化された変換係数について逆量子化及び逆変換を行い、残差データを含んで空間ドメインのデータが復元される。段階1470で、符号化モードに基づいて、動き補償、イントラ予測などの各種復号化動作を介して、符号化されたピクチャデータが復号化される。特に、副画素単位で補間されたピクセルを基に、符号化された残差データ及び参照データが抽出された場合、副画素単位で補間されたピクセルを基に、動き補償が行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。メモリにあらかじめ保存された補間フィルタ係数を利用して補間されたピクセルを参照して動き補償が行われることにより、演算速度が増大する。参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の2以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値と残差データとが合成されることにより、動き補償が行われて予測復号化が行われる。段階1480で、予測復号化を介して復元されたピクセル値を利用して、現在ピクチャが復元され、ビデオが復号化される。<ツリー構造による符号化単位に基づいて平滑化補間を利用するよったビデオ符号化/復号化>以下、図15ないし図27を参照して、一実施形態により、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ符号化装置及びビデオ復号化装置、並びにそれに相応するビデオ符号化方法及びビデオ復号化方法の実施形態について説明する。本実施形態によるビデオ符号化装置100は、一実施形態によるツリー構造による符号化単位及び変換単位に基づいて、ビデオを符号化することができる。ビデオの現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャが区画される。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256などのデータ単位であり、縦横サイズが2の自乗である正方形のデータ単位である。本実施形態による符号化部120は、少なくとも1つの最大符号化単位別に、ピクチャデータを符号化することができる。一実施形態による符号化単位は、最大サイズ及び深度によって特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさが小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含む。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域spatialdomainの映像データが、深度によって階層的に分類される。最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度、及び符号化単位の最大サイズがあらかじめ設定される。本実施形態による符号化部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度に決定する。符号化部120は、最大符号化単位別に決定された符号化深度の符号化単位で符号化された映像データを出力することができる。また、符号化部120は、決定された符号化深度に係わる情報を出力部130に伝達し、符号化深度に係わる情報が、符号化情報として符号化される。最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定して、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定される。従って、1つの最大符号化単位について、符号化深度が一つ以上設定されてもよく、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。従って、一実施形態による符号化部120で、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態によるツリー構造による符号化単位は、現在最大符号化単位に含まれる全ての深度別符号化単位において、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全ての分割回数を示すことができる。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度が1に設定され、2回分割された符号化単位の深度が2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2、3及び4の深度レベルが存在するので、第1最大深度は4、第2最大深度は5に設定される。最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなることによって生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を、多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用され、段階別にデータ単位が変更されてもよい。例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を予測単位と指称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち、少なくとも一つが分割されたデータ単位を含む。例えば、サイズ2Nx2Nただし、Nは正の整数の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N、2NxN、Nx2N、NxNなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が、対称的な比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含む。予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つである。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションについて行われる。また、スキップモードは、2Nx2Nサイズのパーティションについてのみ行われる。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいはそれと同じサイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位、及びインターモードのための変換単位を含む。一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度によって、ツリー構造による変換単位によって区画される。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが、2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深度1、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定される。符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。符号化深度別符号化情報は、インター予測のために、副画素単位の補間のための補間フィルタリングと係わる情報を含む。また、符号化部120は、最大符号化単位または現在符号化単位ごとに、あらかじめ限定的に設定された変換単位の最多分割レベルに基づいて、符号化単位に係わる符号化過程で、ツリー構造の変換単位を利用して変換を行うことができる。深度別符号化単位ごとに、符号化単位と同じであるか、あるいはそれより小サイズの基礎変換単位は、段階的に下位変換深度の変換単位に分割される。一実施例によるツリー構造の変換単位は、現在許容される最大サイズの変換単位である基礎変換単位から、符号化単位に許容される最多分割レベルまでの下位レベルの変換単位を含む。符号化部120は、現在符号化単位内で、変換深度によるレベル別に変換を行った結果、周辺領域の変換単位とは独立して、同一領域の変換深度別変換単位間には、階層的な構造を形成するツリー構造による変換単位を決定することができる。すなわち、符号化単位ごとに、多様な大きさの変換単位を利用して変換を行って変換結果を比べることにより、ツリー構造による変換単位が決定される。符号化単位の決定過程において、符号化単位の変換のための変換単位が決定される。一つ以上の深度の深度別符号化単位と、それぞれの深度別符号化ごとに、内部に含まれる一つ以上の変換深度の変換深度別変換単位とが変換に利用される。符号化単位ごとに、符号化誤差が最小である変換単位が決定されなければならない。変換単位の最小符号化誤差を発生させる変換深度が決定されるために、全ての変換深度別変換単位ごとに、符号化誤差が測定されて比較される。一実施形態による変換単位は、符号化単位の変換による誤差を最小化するデータ単位に決定される。従って、深度別符号化単位と変換単位との組み合わせのうち、最も符号化誤差の小さい組み合わせが決定され、最大符号化単位内の領域ごとに、個別的に組み合わせが決定されるので、ツリー構造の符号化単位と、ツリー構造の変換単位とが決定される。一実施形態による最大符号化単位のツリー構造による符号化単位、パーティション及びツリー構造による変換単位の決定方式については、図15ないし図25を参照して説明する。符号化部120は、深度別符号化単位の符号化誤差をラグランジュ乗数Lagrangianmultiplier基盤の率歪曲最適化技法ratedistortionoptimizationを利用して測定することができる。ビデオ符号化装置100は、符号化部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、並びに出力部130によって符号化された、深度別符号化モードに関する情報を、共に含んだビットストリーム形態で出力することができる。一実施形態によるツリー構造の符号化単位、予測単位、変換単位などに基づいて、ピクチャが符号化されることによって決定された、符号化深度の符号化単位の符号化モードについての情報は、ビットストリームのヘッダ、SPS、PPSなどに含まれる。符号化された映像データは、映像の残差データの符号化結果である。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位の大きさ情報などを含む。符号化深度情報は、現在深度に符号化せずに、下位深度の符号化単位に符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位に符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復的に符号化が行われ、同一の深度の符号化単位ごとに、再帰的recursive符号化が行われる。1つの最大符号化単位中に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに少なくとも1つの符号化モードについての情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位である。例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティション大きさ情報を含む。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含む。ピクチャ、スライスまたはGOP別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットなどに挿入される。ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含む。従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を既存マクロブロック単位で符号化するならば、ピクチャごとにマクロブロックの数が過度に多くなる。このために、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させながら、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇する。出力部130は、ツリー構造の符号化単位、ツリー構造の変換単位に基づいて、ビデオが符号化されるのに使用された符号化方式についての情報を示す符号化情報を符号化して出力することができる。一実施形態による符号化情報は、符号化深度の符号化単位に係わる各種符号化モードに係わる情報及び符号化深度に係わる情報を含む。本実施形態によるビデオ復号化装置200の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、ビデオ符号化装置100を参照して説明したところと同一である。ビデオ復号化装置200は、符号化されたビデオに係わるビットストリームを受信する。受信抽出部220は、受信されたビットストリームをパージングする。受信抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化されたピクチャデータを抽出して復号化部230に出力する。受信抽出部220は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズについての情報を抽出することができる。また、受信抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。符号化情報から、符号化深度に係わる情報及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、復号化部230が、最大符号化単位ごとに映像データを復号化する。最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定されてもよく、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位の大きさ情報などを含む。符号化深度別符号化情報から、インター予測のために、副画素単位の補間のための補間フィルタリングと係わる情報が抽出される。また、符号化深度情報として、深度別分割情報が抽出される。受信抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復的に符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式に従ってデータを復号化し、映像を復元することができる。一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられるので、受信抽出部220は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度でそれ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、復号化部230は、現在最大符号化単位の符号化されたピクチャデータについても、現在深度の符号化単位を予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して復号化することができる。すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、復号化部230によって同一の符号化モードで復号化する1つのデータ単位と見なされる。復号化部230は、最大符号化単位ごとに、前記読み取られた符号化深度及び符号化モードに基づいて、それぞれの最大符号化単位の符号化されたピクチャデータを復号化し、現在ピクチャを復元することができる。最大符号化単位に含まれるツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、符号化モードとして、パーティションタイプ、予測モード、変換単位構造などが読み取られる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含む。復号化部230は、ツリー構造の符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、復号化部230は、ツリー構造の変換単位構造を読み取り、符号化単位ごとに変換単位に基づいた逆変換を行うことができる。ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位で決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。従って、高い解像度の映像またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用して、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して復元することができる。図15は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、32x32、16x16、8x8を含む。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割されてもよく、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図15に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べて、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32、16である符号化単位まで含む。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含む。ビデオデータ320の最大深度は3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32、16、8である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上する。図16は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化部120で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。一実施形態による動き推定部420及び動き補償部425は、副画素単位の参照ピクセルを利用して、細密に動きを推定するために、画素単位のピクセルを補間して、副画素単位のピクセルを生成することができる。副画素単位のピクセルを生成するための補間フィルタは、図1及び図13Aで説明した平滑化補間フィルタである。イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、周波数変換部430及び量子化部440を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、周波数逆変換部470を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループフィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピ符号化部450を経て、ビットストリーム455として出力される。一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素である、イントラ予測部410、動き推定部420、動き補償部425、周波数変換部430、量子化部440、エントロピ符号化部450、逆量子化部460、周波数逆変換部470、デブロッキング部480及びループフィルタリング部490が、いずれも最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決めなければならない。図17は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ、及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、周波数逆変換部540を経て、空間領域の映像データが復元される。空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位について動き補償を行う。一実施形態による動き補償部560は、副画素単位の参照ピクセルを利用して、細密に動きを償うために、画素単位のピクセルを補間して、副画素単位のピクセルを生成することができる。副画素単位のピクセルを生成するための補間フィルタは、図2及び図13Bで説明した平滑化補間フィルタである。イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループフィルタリング部580を経て後処理され、復元フレーム595として出力される。また、デブロッキング部570及びループフィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。ビデオ復号化装置200の復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が行われる。一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部500の構成要素である、パージング部510、エントロピ復号化部520、逆量子化部530、周波数逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループフィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部540は、符号化単位ごとに、変換単位の大きさを決めなければならない。図18は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び最大幅が64であり、最大深度が4である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。すなわち、符号化単位610は、符号化単位の階層構造600のうち最大符号化単位であり、深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸にそって深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640、サイズ4x4である深度4の符号化単位650が存在する。サイズ4x4である深度4の符号化単位650は、最小符号化単位である。それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位はサイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。最後に、深度4のサイズ4x4の符号化単位650は、最小符号化単位であり、最下位深度の符号化単位であり、当該予測単位も、サイズ4x4のパーティション650だけに設定される。一実施形態によるビデオ符号化装置100の符号化部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つが含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプに選択される。図19は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。一実施形態によるビデオ符号化装置100または、一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位で映像を符号化するか復号化する。符号化過程中の変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。例えば、一実施形態によるビデオ符号化装置100または、一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。図20は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置100の出力部130は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうちいずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。予測モードについての情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報810を介して、パーティションタイプについての情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで予測符号化が行われるか設定される。また、変換単位サイズについての情報820は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2イントラ変換単位サイズ828のうち一つである。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズに係わる情報820を抽出して、復号化に利用することができる。図21は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が下位深度の符号化単位に分割されるか否かを示す。深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含む。予測単位が対称的な比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、それらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに、反復的に予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。サイズN_0xN_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しながら分割し920、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930について反復的に符号化を行い、最小符号化誤差を検索していくことができる。深度1及びサイズ2N_1x2N_1=N_0xN_0の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含む。また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しながら分割し950、深度2及びサイズN_2xN_2の符号化単位960について反復的に符号化を行い、最小符号化誤差を検索していくことができる。最大深度がdである場合、深度別符号化単位は、深度d-1であるまで設定され、分割情報は、深度d-2まで設定される。すなわち、深度d-2から分割され970、深度d-1まで符号化が行われる場合、深度d-1及びサイズ2N_d-1x2N_d-1の符号化単位980の予測符号化のための予測単位990は、サイズ2N_d-1x2N_d-1のパーティションタイプ992、サイズ2N_d-1xN_d-1のパーティションタイプ994、サイズN_d-1x2N_d-1のパーティションタイプ996、サイズN_d-1xN_d-1のパーティションタイプ998を含む。パーティションタイプにおいて、1つのサイズ2N_d-1x2N_d-1のパーティション、2つのサイズ2N_d-1xN_d-1のパーティション、2つのサイズN_d-1x2N_d-1のパーティション、4つのサイズN_d-1xN_d-1のパーティションごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。サイズN_d-1xN_d-1のパーティションタイプ998による符号化誤差が最小であるとしても、最大深度がdであるので、深度d-1の符号化単位CU_d-1は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d-1に決定され、パーティションタイプは、N_d-1xN_d-1に決定される。また、最大深度がdであるので、深度d-1の符号化単位990について分割情報は設定されない。データ単位999は、現在最大符号化単位に係わる最小単位と指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。かような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。かように、深度0,1,...,d-1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度に決定される。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度0から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが0に設定され、符号化深度を除いた深度別分割情報は、1に設定されなければならない。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が0である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。図22、図23及び図24は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決めた符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。深度別符号化単位1010は、最大符号化単位の深度が0であるとすれば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、それと同じである。変換単位1070のうち一部パーティション1052の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060における当該予測単位及びパティションと比較すれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。このために、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。下記表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示している。一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の受信抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。パーティションタイプ情報は、予測単位の高さまたは幅が対称的な比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nとを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。変換単位サイズは、イントラモードで2種類の大きさ、インターモードで2種類の大きさに設定される。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxN、非対称形パーティションタイプであるならば、N/2xN/2に設定される。一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることにより、周辺符号化単位が参照される。図25は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N1322,2NxN1324,Nx2N1326,NxN1328,2NxnU1332、2NxnD1334,nLx2N1336及びnRx2N1338のうち一つに設定される。変換単位分割情報TUsizeflagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N1322,2NxN1324,Nx2N1326及びNxN1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。パーティションタイプ情報が非対称形パーティションタイプ2NxnU1332,2NxnD1334,nLx2N1336及びnRx2N1338のうち一つに設定された場合、変換単位分割情報TUsizeflagが0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。図25を参照して説明した変換単位分割情報TUsizeflagは、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報が1ビットのフラグに限定されるものではなく、設定によって0,1,2,3,...などに増加して、変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用して、ビデオ復号化に利用することができる。例えば、a現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、a-1変換単位分割情報が0であるとき、変換単位の大きさが32x32、a-2変換単位分割情報が1であるとき、変換単位の大きさが16x16、a-3変換単位分割情報が2であるとき、変換単位の大きさが8x8に設定される。他の例として、b現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、b-1変換単位分割情報が0であるとき、変換単位の大きさが32x32に設定され、変換単位の大きさが、32x32より小さいなることがないので、それ以上の変換単位分割情報が設定されることがない。さらに他の例として、c現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されることがない。従って、最大変換単位分割情報をMaxTransformSizeIndex、最小変換単位サイズをMinTransformSize、変換単位分割情報が0である場合の変換単位、すなわち、基礎変換単位RootTuの大きさをRootTuSizeと定義するとき、現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeは、下記数式のように定義される。CurrMinTuSize=maxMinTransformSize,RootTuSize/2^MaxTransformSizeIndex現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeと比べて、基礎変換単位サイズであるRootTuSizeは、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、前記数式によれば、RootTuSize/2^MaxTransformSizeIndexは、基礎変換単位サイズであるRootTuSizeを最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、MinTransformSizeは、最小変換単位サイズであるので、これらのうち小さい値が、現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeである。一実施形態による基礎変換単位サイズRootTuSizeは、予測モードによって変わることもある。例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記数式によって決定される。下記数式で、MaxTransformSizeは、最大変換単位サイズ、PUSizeは、現在予測単位サイズを示す。RootTuSize=minMaxTransformSize,pUSizeすなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位である基礎変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。現在パーティション単位の予測モードがイントラモードであるならば、RootTuSizeは、下記数式によって決定される。PartitionSizeは、現在パーティション単位の大きさを示す。RootTuSize=minMaxTransformSize,partitionSizeすなわち、現在予測モードがイントラモードであるならば、基礎変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定される。ただし、パーティション単位の予測モードによって変わる事実施形態による現在最大変換単位サイズである基礎変換単位サイズRootTuSizeは、一実施形態であるのみ、現在最大変換単位サイズを決定する要因がそれに限定されるものではないということを留意しなければならない。図26は、本発明の一実施形態により、ツリー構造による符号化単位に基づいて平滑化補間フィルタを利用するビデオ符号化方法のフローチャートを図示している。段階2610で、入力されたビデオのうち、現在ピクチャを符号化するために、現在ピクチャは、少なくとも1つの最大符号化単位に分割される。最大符号化単位の領域が、1つ以上の深度によって分割された少なくとも1つの分割領域がそれぞれ符号化される。深度別に分割領域ごとに符号化するために、副画素単位の補間に基づいたインター予測を含み、イントラ予測が行われた結果について変換/量子化が行われる。ここで、深度別に分割領域の符号化結果を比較し、少なくとも1つの分割領域別に、最終符号化結果が出力される分割深度が決定され、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。ツリー構造の符号化単位と同様に、ツリー構造による変換単位が決定される。すなわち、ピクチャの符号化結果として、決定されたツリー構造の符号化単位と同様に、ツリー構造による変換単位の符号化結果が、ピクチャの符号化されたデータとして出力される。一実施形態によるインター予測は、符号化単位の予測単位またはパーティションごとに行われる。副画素単位の補間を利用して生成されたピクセルを参照して、現在予測単位またはパーティーの動きが予測される。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。効率的な映像補間のために、補間フィルタ係数を選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。段階2620で、最大符号化単位ごとに、少なくとも1つの分割領域別に、最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とがビットストリームの形態に出力される。符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位階層構造情報などを含む。符号化情報は、副画素単位の予測符号化のためにいかなる補間フィルタが使用されたかということに係わる情報を含む。符号化された符号化モードについての情報は、符号化された映像データと共に、復号化端に伝送される。図27は、本発明の一実施形態により、ツリー構造による符号化単位に基づいて、平滑化補間フィルタを利用するビデオ復号化方法のフローチャートを図示している。段階2710で、符号化されたビデオに係わるビットストリームが受信される。段階2720で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度、及び符号化モードについての情報が抽出される。符号化情報から、副画素単位の動き補償のために、いかなる補間フィルタが必要であるかということに係わる情報を抽出される。符号化情報から、一実施形態による符号化深度及び符号化モードについての情報が読み取られる。一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位がツリー構造による符号化単位に分割される。また、抽出された情報のうち変換単位階層構造情報によれば、符号化単位内のツリー構造による変換深度の変換単位が決定される。段階2730で、最大符号化単位別符号化深度及び符号化モードについての情報を利用して、ツリー構造の符号化単位、これに係わる予測単位、これに係わるツリー構造の変換単位に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化深度及び符号化モードについての情報に基づいて、現在符号化単位について復号化が行われながら、ツリー構造の変換単位のうち決定された変換単位を利用して、現在符号化単位について逆変換が行われる。符号化単位の予測単位またはパーティションごとに、符号化モードに基づいて動き補償、イントラ予測などの各種復号化動作を介して、符号化されたピクチャデータが復号化される。特に、副画素単位で補間されたピクセルを基に符号化された残差データ及び参照データが抽出された場合、現在予測単位または現在パーティションに係わる動き補償は、副画素単位で補間されたピクセルを参照して行われる。副画素単位のピクセル値を生成するための補間フィルタにおいて、副画素単位の補間位置及び平滑度に基づいて、異なって補間フィルタが選択される。効率的な映像補間のために、補間フィルタ係数の選択的に決定することができる。メモリにあらかじめ保存された補間フィルタ係数において、副画素単位の補間位置、平滑度、フィルタタップ数、ビット深、スケーリング比率、変換に基づいた補間フィルタリングの基底関数の種類、カラー成分などにより、所望の補間フィルタが選択され、副画素単位のピクセル値のための補間が行われる。参照データを利用して、参照ピクチャ及び参照領域が決定され、参照ピクチャ上の2以上の画素単位の参照ピクセルに係わる補間フィルタリングを介して、副画素単位のピクセル値が生成される。生成された副画素単位ピクセル値と残差データとが合成されることにより、現在予測単位または現在パーティションに係わる動き補償が行われて予測復号化が行われる。最大符号化単位ごとに復号化が行われながら、空間領域の映像データが復元され、ピクチャ及びピクチャシーケンスであるビデオが復元される。復元されたビデオは、再生装置によって再生されるか、記録媒体に保存されるか、ネットワークを介して伝送される。一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体例えば、ROMreadonlymemory、フロッピー登録商標ディスク、ハードディスクなど、光学的判読媒体例えば、CDcompactdisc-ROM、DVDdigitalversatilediscなどのような記録媒体を含む。以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。"