"符号化されたビデオに係わるビットストリームを受信してパージングする段階と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含み、前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ復号化方法。前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含むことを特徴とする請求項1に記載のビデオ復号化方法。前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含み、前記復号化段階は、前記パーティションタイプを利用して、イントラ予測またはインター補償を行う段階を含むことを特徴とする請求項1に記載のビデオ復号化方法。前記復号化段階は、前記現在符号化単位が下位深度の符号化単位に分割される場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも1つの場合に、前記現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測またはインター補償を省略する段階をさらに含むことを特徴とする請求項3に記載のビデオ復号化方法。前記抽出段階は、前記符号化モードについての情報から、前記符号化単位の予測復号行うためのデータ単位である予測単位のパーティションタイプ及び予測モードについての情報を抽出し、前記復号化段階は、前記抽出されたパーティションタイプ及び予測モードについての情報に基づいて、前記符号化単位に係わる予測復号行う段階を含み、前記パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含み、前記予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つを含むことを特徴とする請求項1に記載のビデオ復号化方法。深度別符号化単位は、それぞれの深度による空間的分割回数ほど最大符号化単位が分割された領域であり、前記符号化単位は、前記深度別符号化単位のうち、前記符号化深度によって。前記最大符号化単位が分割された領域であり、前記最大符号化単位の深度が最上位深度であり、前記深度別符号化単位の大きさは、1階層上位深度の深度別符号化単位の高さ及び幅が半分された大きさであり、前記ピクチャは、深度によって、最大符号化単位及び前記符号化単位に階層的に分割され、前記符号化単位は、それぞれの符号化深度によって独立して分割され、前記最大符号化単位に対して、少なくとも1つの符号化深度が決定され、前記最大符号化単位は、前記少なくとも1つの符号化深度によって、少なくとも1つの符号化単位を含むことを特徴とする請求項1に記載のビデオ復号化方法。ビデオのピクチャを、最大サイズの符号化単位である少なくとも1つの最大符号化単位に分割する段階と、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する段階と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する段階と、を含み、前記パーティションタイプは、現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ符号化方法。前記現在符号化単位が、下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含むことを特徴とする請求項7に記載のビデオ符号化方法。前記現在符号化単位が下位深度の符号化単位に分割されない場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合に、前記現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含み、前記符号化単位決定段階は、前記パーティションタイプを利用して、イントラ予測またはインター補償を行う段階を含むことを特徴とする請求項7に記載のビデオ符号化方法。前記符号化単位決定段階は、前記現在符号化単位が下位深度の符号化単位に分割される場合、前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び前記現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも1つの場合に、前記現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測またはインター予測を省略する段階をさらに含むことを特徴とする請求項9に記載のビデオ符号化方法。前記符号化段階は、現在符号化単位の予測符号化を行うためのデータ単位である予測単位のパーティションタイプ及び予測モードに基づいて予測符号化を行う段階を含み、前記出力段階は、前記符号化モードについての情報として、前記現在符号化単位のパーティションタイプ及び予測モードについての情報をビットストリームに挿入して伝送する段階を含み、前記パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含み、前記予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つを含むことを特徴とする請求項7に記載のビデオ符号化方法。ビデオデコーディングプロセッサを含むビデオ復号化装置において、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する抽出部と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記ビデオデコーディングプロセッサと連動し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する復号化部と、を含み、前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ復号化装置。ビデオエンコーディングプロセッサを含むビデオ符号化装置において、ビデオのピクチャを、最大サイズの符号化単位である少なくとも1つの最大符号化単位に分割する最大符号化単位分割部と、前記ビデオエンコーディングプロセッサと連動し、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する符号化単位決定部と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する出力部と、を含み、前記パーティションタイプは、現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含むことを特徴とするビデオ符号化装置。請求項1に記載のビデオ復号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。請求項7に記載のビデオ符号化方法をコンピュータで具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。本発明は、階層的構造の予測パーティションを利用して、空間領域及び変換領域の間の変換を行うビデオの符号化及び復号化に関する。本発明の一実施形態によるツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージングparsingする段階と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含む。映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を階層的に調節して決定することができるので、映像圧縮効率が上昇することが可能である。符号化端から、ビデオの符号化されたデータと共に、符号化深度及び符号化モードについての情報を伝送するので、復号化端は、ツリー構造による符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することができるので、映像の符号化/復号化の効率性が向上するのである。本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法は、符号化されたビデオに係わるビットストリームを受信してパージングparsingする段階と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する段階と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する段階と、を含む。一実施形態による前記パーティションタイプは、前記現在符号化単位と同一サイズのデータ単位と、前記現在符号化単位の高さ及び幅のうち一つを分割した部分的データ単位と、を含む。本発明の一実施形態によるツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法は、ビデオのピクチャを、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する段階と、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する段階と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する段階と、を含む。本発明の一実施形態による、ビデオデコーディングプロセッサを含み、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置は、符号化されたビデオに係わるビットストリームを受信してパージングする受信部と、前記ビットストリームから、前記ビデオのピクチャを復号化するためのデータ単位である符号化単位の大きさ及び可変深度を示す符号化単位構造情報、並びに前記ピクチャのツリー構造の符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する抽出部と、前記符号化単位構造情報と、前記符号化深度及び符号化モードについての情報とに基づいて、前記ツリー構造の符号化単位を決定し、現在符号化単位の深度に基づいてパーティションタイプを決定し、前記ビデオデコーディングプロセッサと連動し、前記符号化単位及び前記パーティションタイプを基に、前記ピクチャを復号化する復号化部と、を含む。本発明の一実施形態による、ビデオエンコーディングプロセッサを含み、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置は、ビデオのピクチャを、最大サイズの符号化単位である少なくとも一つの最大符号化単位に分割する最大符号化単位分割部と、前記ビデオエンコーディングプロセッサと連動し、前記最大符号化単位ごとに、前記最大符号化単位を深度によって階層的に分割した深度別符号化単位、及び前記深度別符号化単位の深度に基づいて決定されたパーティションタイプを基に、前記ピクチャを符号化し、前記深度別符号化単位ごとに独立して符号化深度の符号化単位を決定し、ツリー構造による符号化単位を決定する符号化単位決定部と、前記ツリー構造による符号化単位と、前記パーティションタイプとに基づいて符号化されたデータ、前記符号化深度及び符号化モードについての情報、並びに符号化単位の大きさ及び可変深度を示す符号化単位構造情報を出力する出力部と、を含む。本発明は、本発明の一実施形態によるビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。本発明は、本発明のビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。以下、本明細書に記載した本発明の多様な実施形態においてで、映像は、静止映像だけではなく、ビデオのような動画を含めて包括的に指称することができる。以下、図1ないし図15を参照しつつ、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置及びビデオ復号化装置、ビデオ符号化方法及びビデオ復号化方法について説明する。。図1は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置のブロック図である。一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化装置100は、ビデオ符号化装置100と略称する。最大符号化単位分割部110は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割されもする。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のようなデータ単位であり、縦横にサイズが2の自乗である正方形のデータ単位であってもよい。映像データは、少なくとも1つの最大符号化単位別であり、符号化単位決定部120に出力される。一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割されもする。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義されもする。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域spatialdomainの映像データが、深度によって階層的に分類されもする。最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されてもよい。符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が発生する深度を選択して符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最小である深度が選択されもする。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定されもする。最大符号化単位の大きさは、深度が深くなるにつれて、符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって深度別符号化誤差が異なるので、位置によって符号化深度が異なって決定されもする。従って、1つの最大符号化単位に対して、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画されもする。従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定する。一実施形態によるツリー構造による符号化単位は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されもする。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されもする。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度は、2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、最大深度は、4に設定されもする。最大符号化単位の予測符号化及び変換が行われもする。予測符号化及び変換も、同様に最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。一実施形態による、ビデオ符号化のために行う変換は、周波数変換、直交変換、定数変換などを含んでもよい。最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別符号化単位に対して、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換について説明する。一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位の大きさまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使われ、段階別にデータ単位が変更されもする。例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うため、符号化単位と異なるデータ単位を選択することができる。最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、さらにそれ以上分割されない符号化単位を基に予測符号化が行われもする。以下、予測符号化の基盤になるさらにそれ以上分割されない符号化単位を予測単位と指称する。予測単位が分割されたパーティションは、予測単位、並びに予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。例えば、サイズ2Nx2Nただし、Nは、正の整数の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になり、パーティションの大きさは、2Nx2N、2NxN、Nx2Nなどである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的な比率で分割された対称的パーティションだけではなく、1:nまたはn:1のように、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。一実施形態による符号化単位のパーティションタイプまたは予測単位の大きさは、現在符号化単位の深度、または現在符号化単位の下位深度への分割いかんに基づいて決定されもする。現在符号化単位のパーティションタイプの対称的パーティションは、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分されたパーティションを含んでもよい。すなわち、サイズ2Nx2Nの符号化単位の対称的パーティションタイプは、サイズ2Nx2N,2NxN,Nx2Nのパーティションを含んでもよい。現在符号化単位がそれ以上下位深度の符号化単位に分割されることがなければ、現在符号化単位のパーティションタイプの対称的パーティションは、下位深度の符号化単位と同一サイズのパーティションを含んでもよい。すなわち、現在符号化単位が現在最大符号化単位の符号化単位のうち、それ以上下位深度の符号化単位に分割されることがない最小符号化単位であるならば、現在符号化単位の対称的パーティションは、サイズ2Nx2N,2NxN,Nx2Nのパーティションだけではなく、サイズNxNのパーティションを含むこともできる。同様に、現在符号化単位が、現在最大符号化単位の符号化単位のうち。最下位深度の符号化単位であるならば、現在符号化単位の対称的パーティションは、サイズ2Nx2N,2NxN,Nx2Nのパーティションだけではなく。サイズNxNのパーティションを含んでもよい。しかし、最下位深度ではない深度の符号化単位については、サイズ2Nx2N,2NxN,Nx2Nのパーティションタイプが設定されもする。例えば、現在深度のサイズ2Nx2Nである符号化単位が1回分割され、下位深度のサイズNxNである符号化単位に分割されれば、サイズNxNである符号化単位に対して、NxNサイズのパーティションを利用して、イントラ予測及びインター予測が行われもする。従って、不要なプロセスの重複を避けるために、一実施形態による階層的な符号化単位の構造では、サイズ2Nx2Nである符号化単位に対して、NxNサイズのパーティションタイプが設定されないこともある。ただし、サイズ2Nx2Nの現在符号化単位が最小符号化単位であるならば、サイズNxNの符号化単位にそれ以上分割されることがないので、現在符号化単位で、サイズNxNのパーティションを利用したインター予測またはイントラ予測が行われもする。従って、サイズ2Nx2Nの最小符号化単位のパーティションタイプは、サイズ2Nx2N,2NxN,Nx2N及びNxNのパーティションを含んでもよい。予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つであってもよい。例えば、イントラモード及びインターモードの予測符号化は、2Nx2N,2NxN,Nx2Nサイズのパーティションに対して行われる。すなわち、現在符号化単位が最小符号化単位ではない場合、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位で、最下位深度の符号化単位ではない場合のうち、少なくとも1つの場合には、NxNサイズのパーティションを利用したイントラ予測及びインター予測は、省略される。ただし、現在符号化単位が最小符号化単位であるならば、下位深度の符号化単位に対して、イントラ予測及びインター予測が行われることがないので、最小符号化単位に係わるイントラ予測及びインター予測は、2Nx2N,2NxN,Nx2Nサイズのパーティションだけではなく、NxNサイズのパーティションに対して行われもする。また、スキップモードは、2Nx2Nサイズのパーティションに対してのみ行われもする。符号化単位以内の1つの予測単位ごとに、独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同じであるサイズの変換単位を基に変換が行われもする。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されつつ、符号化単位の残差データが変換深度によって、ツリー構造による変換単位によって区画されもする。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割されて変換単位に至るまでの分割回数を示す変換深度が設定されもする。例えば、サイズ2Nx2Nの現在符号化単位の変換単位の大きさが、2Nx2Nであるならば、変換深度0、変換単位の大きさがNxNであるならば、変換深度1、変換単位の大きさがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度によってツリー構造による変換単位が設定されもする。符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位の大きさなどを決定することができる。一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図3ないし図13を参照しつつ詳細に説明する。符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数Lagrangianmultiplier基盤の率歪曲最適化技法ratedistortionoptimizationを利用して測定することができる。出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ、及び深度別符号化モードについての情報をビットストリーム状に出力する。符号化された映像データは、映像の残差データの符号化結果であってもよい。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。符号化深度情報は、現在深度で符号化せず、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義されもする。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義されもする。反対に、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位で分割されるように定義されもする。現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位に対して符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的recursive符号化が行われもする。1つの最大符号化単位内にツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードについての情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードについての情報が決定されもする。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定されもする。従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つに対して、当該符号化深度及び符号化モードに係わる符号化情報が割り当てられる。一実施形態による出力部130は、ビデオの符号化されたデータを伝送するためのビットストリームのヘッダ、SPSsequenceparameterset及びPPSpictureparametersetなどに、一実施形態による当該符号化深度及び符号化モードに係わる情報を挿入して出力することができる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割された大きさの正方形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。例えば、出力部130を介して出力される符号化情報は、、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類されもする。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはGOPの別に定義される符号化単位の大きさ及び可変深度に係わる符号化単位構造情報が、ビットストリームのヘッダ、SPS、PPSなどに挿入されもする。一実施形態による可変深度は、現在ツリー構造の符号化単位に対して許容される最大深度だけではなく、最小サイズの符号化単位の最下位深度、深度レベルの個数または深度の変化量を示すこともできる。一実施形態による深度レベルの個数は、現在ツリー構造の符号化単位で、存在可能な深度別符号化単位の深度レベルの個数を示すことができる。一実施形態による深度の変化量は、現在ツリー構造の符号化単位で存在する深度別符号化単位の深度レベルの可変回数を示すことができる。一実施形態による可変深度についての情報は、シーケンス、ピクチャ、スライスまたはGOPごとに設定されもする。すなわち、シーケンス、ピクチャ、スライスまたはGOPのデータ単位ごとに、現在ツリー構造の符号化単位で許容可能な符号化単位の最大サイズ及び最小サイズのうち少なくとも一つについての情報と、可変深度についての情報とが設定される。従って、出力部130は、符号化情報として、ピクチャ、スライスまたはGOPの別に決定された可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち、少なくとも二つ以上の情報を含み、符号化情報を、ビットストリームのヘッダ、すなわち、SPS、PPSなどに挿入し、ビーストストリームを出力することができる。また、出力部130を介して出力される符号化情報は、変換インデックスを含んでもよい。一実施形態による変換インデックス情報は、現在符号化単位を変換するのに利用された変換単位の構造についての情報を示すことができる。一実施形態による変換インデックス情報は、現在変換単位が、下位レベルの変換単位に分割されるか否かを示すことができる。ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にした大きさの符号化単位である。すなわち、現在深度の符号化単位の大きさが2Nx2Nであるならば、下位深度の符号化単位の大きさは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を、最大4個含んでもよい。従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。従って、映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、既存マクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態によるビデオ符号化装置は、映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節することができるので、映像圧縮効率が上昇する。図2は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置のブロック図である。一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化装置200は、ビデオ復号化装置200と略称する。一実施形態によるビデオ復号化装置200の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図1及びビデオ符号化装置100を参照して説明した通りである。受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングparsingする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、受信されたビットストリームから、現在ピクチャに係わるヘッダ、SPS、PPSのうち少なくとも一つから、現在ピクチャの符号化単位の大きさ及び可変深度に係わる符号化単位構造情報と、符号化深度及び符号化モードに係わる情報と、を抽出することができる。映像データ及び符号化情報抽出部220は、一実施形態による符号化情報から、シーケンス、ピクチャ、スライスまたはGOPのデータ単位ごとに、現在ツリー構造の符号化単位で許容可能な符号化単位の最大サイズ及び最小サイズのうち、少なくとも一つについての情報と、可変深度についての情報とを抽出することができる。映像データ復号化部230は、符号化モード情報のうち、可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち、少なくとも二つ以上の情報を利用し、シーケンス、ピクチャ、スライスまたはGOPなどのデータ単位ごとに、現在現在ツリー構造の符号化単位について許容可能な符号化単位の最大サイズ及び最小サイズを決定することができる。一実施形態による符号化情報から、ピクチャ、スライスまたはGOPの別に決定された可変深度についての情報、符号化単位の最大サイズについての情報、符号化単位の最小サイズについての情報のうち少なくとも二つ以上の情報が抽出され、判読された情報に基づいて、現在データ単位で許容可能な符号化単位の最大サイズ及び最小サイズが決定されもする。また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230に、最大符号化単位ごとに映像データを復号化させることができる。最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報に対して設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、符号化深度情報として、深度別分割情報が抽出されもする。また、映像データ復号化部230がパージングされたビットストリームから抽出した符号化モード情報から、符号化情報から変換インデックスについての情報が判読されもする。映像データ復号化部230は、映像データ、及び符号化情報抽出部220によって抽出された変換インデックス情報に基づいて、現在符号化単位の変換単位を構成し、変換単位に基づいて、現在符号化単位の逆変換を行いつつ、符号化されたデータを復号化する。符号化単位の復号化結果、現在ピクチャが復元される。映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置100のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置200は、最小符号化誤差を生じさせる符号化方式によってデータを復号化し、映像を修復することができる。一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位に対して割り当てられてもよいので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推されもする。映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを修復する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位のうちそれぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、及び逆変換過程を含んでもよい。映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報を含めてツリー構造による変換単位を判読し、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が、現在深度でそれ以上分割されないことを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データに対して、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位に対して設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって、同一の符号化モードで復号化する1つのデータ単位と見なされる。ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位に決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。従って、高い解像度の映像またはデータ量が過度に多い映像であるとしても、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位の大きさ及び符号化モードによって、効率的に映像データを復号化して修復することができる。以下、図3ないし図13を参照しつつ、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。図3は、階層的符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅x高さで表現され、サイズ64x64である符号化単位から、32x32、16x16、8x8を含んでもよい。第1ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。第2ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。第3ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図3に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。解像度が高いか、あるいはデータ量が多い、場合符号化効率の向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、第3ビデオデータ330に比べ、解像度が高い第1ビデオデータ310及び第2ビデオデータ320は、符号化サイズの最大サイズが64に選択される。第1ビデオデータ310の最大深度が2であるので、第1ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割されて深度が2階層深くなり、長軸サイズが32、16である符号化単位まで含んでもよい。一方、第3ビデオデータ330の最大深度が1であるので、第3ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割されて深度が1階層深くなり、長軸サイズが8である符号化単位まで含んでもよい。第2ビデオデータ320の最大深度が3であるので、第2ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割されて深度が3階層深くなり、長軸サイズが32、16、8である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能が向上する。サイズ64x64の符号化単位に対して、サイズ64x64,64x32,32x64のパーティションタイプが設定されもする。第1ビデオデータ310、第2ビデオデータ320及び第3ビデオデータ330について、サイズ64x64の符号化単位が最小符号化単位ではないから、サイズ32x32のパーティションタイプは省略される。サイズ32x32の符号化単位について、サイズ32x32,32x16,16x32のパーティションタイプが設定されもする。第1ビデオデータ310、第2ビデオデータ320及び第3ビデオデータ330について、サイズ32x32の符号化単位が最小符号化単位ではないから、サイズ16x16のパーティションタイプは省略される。サイズ16x16の符号化単位については、サイズ16x16,16x8,8x16のパーティションタイプが設定されもする。第1ビデオデータ310について、サイズ16x16の符号化単位が最小符号化単位であるので、サイズ8x8のパーティションタイプが設定されもする。しかし、第2ビデオデータ320及び第3ビデオデータ330について、サイズ16x16の符号化単位が最小符号化単位ではないから、サイズ8x8のパーティションタイプが省略されもする。ただし、第1ビデオデータ310、第2ビデオデータ320及び第3ビデオデータ330について、サイズ8x8の符号化単位が最小符号化単位であるので、サイズ8x8,8x4,4x8のパーティションタイプだけではなく、サイズ4x4のパーティションタイプが設定されもする。図4は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405において、イントラモードの符号化単位に対してイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、周波数変換部430及び量子化部440を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、周波数逆変換部470を介して空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループフィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピ符号化部450を経て、ビットストリーム455に出力される。一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素であるイントラ予測部410、動き推定部420、動き補償部425、周波数変換部430、量子化部440、エントロピ符号化部450、逆量子化部460、周波数逆変換部470、デブロッキング部480及びループフィルタリング部490が、いずれも最大符号化単位ごとに最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定しなければならない。図5は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。ビットストリーム505が、パージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、周波数逆変換部540を経て、空間領域の映像データが復元される。空間領域の映像データに対して、イントラ予測部550は、イントラモードの符号化単位に対してイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位に対して動き補償を行う。イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループフィルタリング部580を経て後処理され、復元フレーム595に出力されもする。また、デブロッキング部570及びループフィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510後の段階別作業が行われる。一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部400の構成要素であるパージング部510、エントロピ復号化部520、逆量子化部530、周波数逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループフィルタリング部580が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部540は、符号化単位ごとに、変換単位の大きさを決定しなければならない。図6は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。一実施形態によるビデオ符号化装置100及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既定の符号化単位の最大サイズにより、深度別符号化単位の大きさが決定される。一実施形態による符号化単位の階層構造600は、符号化単位の最大高及び幅が64であり、最大深度が3である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる予測単位及びパーティションが図示されている。すなわち、符号化単位610は、符号化単位の階層構造600のうち、最大符号化単位であって深度が0であり、符号化単位の大きさ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640が存在する。サイズ8x8である深度3の符号化単位640は、最小符号化単位である。それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614に分割される。サイズ64x64の符号化単位610が最小符号化単位ではないので、サイズ32x32のパーティションは、設定されない。同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624に分割される。サイズ32x32の符号化単位620が最小符号化単位ではないので、サイズ16x16のパーティションは、設定されない。同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634に分割される。サイズ16x16の符号化単位630が最小符号化単位ではないので、サイズ8x8のパーティションは、設定されない。最後に、深度3のサイズ8x8の符号化単位640の予測単位は、最小符号化単位であり、最下位深度の符号化単位であるので、当該予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに。符号化を行わなければならない。同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つを含むデータに対して、深度2の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用してそれぞれ符号化されなければならない。それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位610のうち、最小符号化誤差が発生する深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプに選択される。図7は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じであるサイズの符号化単位で映像を符号化したり復号化する。符号化過程のうち、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位で、それぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択されもする。図8は、本発明の一実施形態による深度別符号化情報を図示している。一実施形態によるビデオ符号化装置100の出力部130は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を符号化して伝送することができる。パーティションタイプについての情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態についての情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804及びサイズNx2Nのパーティション806のうち、いずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804及びサイズNx2Nのパーティション806のうち一つを示すように設定される。ただし、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nの現在符号化単位CU_0が最小符号化単位である場合に、サイズNxNのパーティション808を含んでもよい。予測モードについての情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報810を介して、パーティションタイプについての情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで、予測符号化が行われるかが設定される。また、変換単位サイズについての情報820は、現在符号化単位をいかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2イントラ変換単位サイズ828のうち一つである。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズについての情報820を抽出し、復号化に利用することができる。図9は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用されもする。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916を含んでもよい。予測単位が対称的な比率で分割されたパーティション912,914,916だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティションごとに反復して予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0及びサイズ2N_0xN_0については、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要はない。しかし、サイズN_0xN_0の符号化単位930による符号化誤差がさらに小さければ、深度0を1に変更しつつ分割し920、深度1及びサイズN_0xN_0の符号化単位930に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。深度1及びサイズ2N_1x2N_1=N_0xN_0の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946を含んでもよい。また、サイズ2N_1xN_1,N_1x2N_1,2N_1xN_1のパーティションタイプ942,944,946による符号化誤差より、サイズN_2xN_2の符号化単位960による符号化誤差がさらに小さければ、深度1を深度2に変更しつつ分割し950、深度2及びサイズN_2xN_2の符号化単位960に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。最大深度がd-1である場合、深度別符号化単位は、深度d-1になるまで分割され、分割情報は、深度d-2まで設定される。すなわち、深度d-2から分割され970、深度d-1まで符号化が行われる場合、深度d-1及びサイズ2N_d-1x2N_d-1の符号化単位980の予測符号化のための予測単位990は、サイズ2N_d-1x2N_d-1のパーティションタイプ992、サイズ2N_d-1xN_d-1のパーティションタイプ994、サイズN_d-1x2N_d-1のパーティションタイプ996、サイズN_d-1xN_d-1のパーティションタイプ998を含んでもよい。パーティションタイプのうち、1つのサイズ2N_d-1x2N_d-1のパーティション、2つのサイズ2N_d-1xN_d-1のパーティション、2つのサイズN_d-1x2N_d-1のパーティション、4つのサイズN_d-1xN_d-1のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。サイズN_d-1xN_d-1のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がd-1であるので、深度d-1の符号化単位CU_d-1は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d-1に決定され、パーティションタイプは、N_d-1xN_d-1に決定される。また、最大深度がd-1であるので、深度d-1の符号化単位980に対して、分割情報は設定されない。深度0及びサイズ2N_0x2N_0の符号化単位900、並びに深度1及びサイズ2N_1x2N_1の符号化単位930は、最小符号化単位ではないので、サイズ2N_0x2N_0の符号化単位900の予測単位910は、N_0xN_0サイズのパーティションタイプを含まず、サイズ2N_1x2N_1の符号化単位930の予測単位940は、サイズN_1xN_1のパーティションタイプを含むことができない。ただし、最小符号化単位である深度d-1の符号化単位980の予測単位990は、サイズN_d-1xN_d-1のパーティションタイプ998を含んでもよい。データ単位999は、現在最大符号化単位に係わる最小単位であると指称されもする。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が、4分割された大きさの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。このようにして、深度0,1,...,d-1,dの全ての深度別最小符号化誤差を比較し。誤差が最小である深度が選択され、符号化深度に決定されもする。符号化深度、予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度0から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが0に設定され、符号化深度を除いた深度別分割情報は、1に設定されなければならない。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位についての情報を抽出して符号化単位912を復号化するのに利用することができる。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が0である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用して、復号化に利用することができる。図10、図11及び図12は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。符号化単位1010は、最大符号化単位に対して、一実施形態によるビデオ符号化装置100が決定した符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。深度別符号化単位1010は、最大符号化単位の深度が0であるならば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。NxNのパーティションタイプは、符号化単位1032が最小符号化単位である場合にのみ設定される。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいはそれと同じである。変換単位1070において、一部1052の映像データについては、符号化単位に比べて、小サイズのデータ単位で変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060のうち、当該予測単位及びパーティションと比べれば、互いに異なる大きさまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態に他のビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成されもする。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下、表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示す。ビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームからツリー構造による符号化単位に係わる符号化情報を抽出することができる。分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0であるならば、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度に対して。パーティションタイプ情報、予測モード、変換単位サイズ情報が定義されもする。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに独立して符号化が行われなければならない。予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。パーティションタイプ情報は、予測単位の高さまたは幅が、対称的な比率で分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的な比率で分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。対称的パーティションタイプNxNは、現在符号化単位2Nx2Nが最小符号化単位である場合にのみ設定されもする。変換単位サイズは、イントラモードで2種類の大きさ、インターモードで2種類の大きさに設定されもする。すなわち、変換単位分割情報が0であるならば、変換単位の大きさが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割された大きさの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさは、NxN、非対称形パーティションタイプであるならば、N/2xN/2に設定される。一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つに対して割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照される。図13は、表1の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N1322、2NxN1324、Nx2N1326、2NxnU1332、2NxnD1334、nLx2N1336及びnRx2N1338のうち一つに設定されもする。サイズ2Nx2Nの符号化単位1318が最小符号化単位である場合には、パーティションタイプ情報が、NxN1328に設定される。変換単位分割情報TUsizeflagは、変換インデックスの一種であり、変換インデックスに対応する変換単位の大きさは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N1322,2NxN1324,Nx2N1326及びNxN1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定されもする。パーティションタイプ情報が、非対称形パーティションタイプ2NxnU1332,2NxnD1334,nLx2N1336及びnRx2N1338のうち一つに設定された場合、変換単位分割情報TUsizeflagが0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。図13を参照して説明した変換単位分割情報TUsizeflagは、0または1の値段を持つフラグであるが、一実施形態による変換単位分割情報が、1ビットのフラグに限定されるものではなく、設定によって、0、1、2、3、...などに増加し、変換単位が階層的に分割されもする。変換単位分割情報は、変換インデックスの一実施形態として利用されもする。その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位の大きさが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入されもする。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。例えば、a現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、a-1変換単位分割情報が0であるとき、変換単位の大きさが32x32、a-2変換単位分割情報が1であるとき、変換単位の大きさが16x16、a-3変換単位分割情報が2であるとき、変換単位の大きさが8x8に設定される。他の例で、b現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、b-1変換単位分割情報が0であるとき、変換単位の大きさが32x32に設定され、変換単位の大きさが32x32より小さくないので、それ以上の変換単位分割情報が設定されない。さらに他の例で、c現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されない。従って、最大変換単位分割情報を、MaxTransformSizeIndex、最小変換単位サイズをMinTransformSize、変換単位分割情報が0である場合の変換単位サイズをRootTuSizeと定義するとき、現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeは、下記の数式1のように定義される。CurrMinTuSize=maxMinTransformSize,RootTuSize/2^MaxTransformSizeIndex1現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeと比較し、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、システム上採択可能な最大変換単位サイズを示すことができる。すなわち、数式1によれば、RootTuSize/2^MaxTransformSizeIndexは、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeを最大変換単位分割情報に相応する回数ほど分割した変換単位サイズであり、MinTransformSizeは、最小変換単位サイズであるので、それらのうち小さい値が、現在現在符号化単位で可能な最小変換単位サイズCurrMinTuSizeである。一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって変わることもある。例えば、現在予測モードがインターモードであるならば、RootTuSizeは、下記の数式2によって決定されもする。数式2で、MaxTransformSizeは、最大変換単位サイズ、PUSizeは、現在予測単位サイズを示す。RootTuSize=minMaxTransformSize,PUSize2すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定されもする。現在パーティション単位の予測モードが予測モードがイントラモードであるならば、RootTuSizeは、下記の数式3によって決定されもする。PartitionSizeは、現在パーティション単位の大きさを示す。RootTuSize=minMaxTransformSize,PartitionSize3すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在パーティション単位サイズのうち小さい値に設定されもする。ただし、パーティション単位の予測モードによって変動する一実施形態による現在最大変換単位サイズRootTuSizeは、一実施形態であるのみ、現在最大変換単位サイズを決定する要因が、これに限定されるものではないということに留意しなければならない。図14は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ符号化方法のフローチャートである。段階1210で、現在ピクチャは、少なくとも1つの最大符号化単位に分割される。また、可能な全分割回数を示す最大深度があらかじめ設定されもする。段階1220で、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域が符号化され、少なくとも1つの分割領域別に、最終符号化結果が出力される深度が決定され、ツリー構造による符号化単位が決定される。最大符号化単位は、深度が深くなるたびに空間的に分割され、下位深度の符号化単位に分割される。それぞれの符号化単位は、隣接する他の符号化単位と独立して、空間的に分割されつつ、さらに下位深度の符号化単位に分割されもする。深度別に、符号化単位ごとに反復して符号化が行われなければならない。また、深度別符号化単位ごとに、符号化誤差が最小であるパーティションタイプ別変換単位が決定されなければならない。符号化単位の最小符号化誤差を生じさせる符号化深度が決定されるために、全ての深度別符号化単位ごとに、符号化誤差が測定されて比較される。最大符号化単位ごとに、深度別符号化単位と、深度別符号化単位の深度とに基づいて決定されたパーティションタイプを基に、ピクチャが符号化され、深度別符号化単位ごとに、独立して符号化深度の符号化単位が決定され、ツリー構造による符号化単位が決定されもする。現在符号化単位が下位深度の符号化単位にそれ以上分割されないのであるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位であるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位であるならば、現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含んでもよい。パーティションタイプは、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含んでもよい。現在符号化単位の予測単位のパーティションタイプ及び予測モードに基づいて予測符号化が行われる。従って、現在符号化単位が下位深度の符号化単位にそれ以上分割されない場合、または現在符号化単位が現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合には、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされた対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションだけではなく、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用した予測が行われもする。また、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも1つの場合には、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測及びインター予測は省略される。段階1230で、最大符号化単位ごとに、少なくとも1つの分割領域別に最終符号化結果である映像データと、符号化深度及び符号化モードについての情報とが出力される。一実施形態による符号化モードについての情報は、符号化深度についての情報または分割情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位サイズ情報及び変換インデックス情報などを含んでもよい。一実施形態による、シーケンス、ピクチャ、スライスまたはGOPなどのデータ単位ごとに、符号化単位の大きさ及び可変深度に係わる符号化単位構造情報が、ビットストリームのヘッダ、SPS、PPSのうち少なくとも一つに挿入されて出力されもする。一実施形態による符号化された符号化モードについての情報及び符号化単位の大きさ可変深度に係わる符号化単位構造情報は、ビットストリームのヘッダ、SPS、PPSなどに挿入されて符号化された映像データと共に。復号化端に伝送される。図15は、本発明の一実施形態による、ツリー構造の符号化単位に基づいた予測単位を利用するビデオ復号化方法のフローチャートである。段階1310で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階1320で、パージングされたビットストリームから、最大サイズの最大符号化単位に割り当てられる現在ピクチャの映像データ、最大符号化単位別符号化深度及び符号化モードについての情報、及び符号化単位のサイズ可変深度に係わる符号化単位構造情報が抽出される。一実施形態による符号化深度及び符号化モードについての情報、符号化単位構造情報、分割情報などは、ビットストリームのヘッダ、SPS、PPSなどから抽出されもする。最大符号化単位別符号化深度は、現在ピクチャの符号化過程で、最大符号化単位別に符号化誤差が最小である深度に選択された深度である。最大符号化単位別符号化は、最大符号化単位を、深度別に階層的に分割した少なくとも1つのデータ単位に基づいて映像データが符号化されたものである。一実施形態による符号化深度及び符号化モードについての情報によれば、最大符号化単位が、ツリー構造による符号化単位に分割されもする。ツリー構造による符号化単位による符号化単位は、それぞれ符号化深度の符号化単位である。従って、符号化単位別符号化深度を把握した後、それぞれの映像データを復号化することによって、映像の符号化/復号化の効率性が向上する。符号化情報のうち、現在ツリー構造の符号化単位に係わる可変深度についての情報、符号化単位の大きさについての情報のうち、少なくとも二つ以上の情報に基づいて、現在ツリー構造の符号化単位の符号化単位の最大サイズ及び最小サイズが決定されもする。また、符号化モードについての情報のうち、変換インデックスによれば、符号化単位内のツリー構造による変換単位が決定される。現在符号化単位の深度に基づいてパーティションタイプが決定され、符号化単位及びパーティションタイプを基に、予測復号化を含めてピクチャが復号化されもする。一実施形態によるパーティションタイプは、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされたパーティションのように、現在符号化単位の高さまたは幅が対称的な比率で分割された対称的パーティション、非対称的な比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、及び任意的形態のパーティションのうち少なくとも一つを含んでもよい。現在符号化単位が下位深度の符号化単位に分割されないのであるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位であるならば、または現在符号化単位が、現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位であるならば、現在符号化単位のパーティションタイプは、下位深度の符号化単位と同一サイズのパーティションをさらに含んでもよい。段階1330で、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データが復号化される。符号化単位構造情報及び分割情報に基づいて、符号化単位の最大サイズ及び最小サイズが判読され、現在ツリー構造の符号化単位が決定されもする。符号化モードについての情報から、符号化単位の予測単位のパーティションタイプ及び予測モードについての情報が判読され、パーティションタイプ及び予測モードについての情報に基づいて、符号化単位に係わる予測復号化が行われ、現在符号化単位が復号化される。例えば、現在符号化単位が下位深度の符号化単位に分割される場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位ではない場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位ではない場合のうち少なくとも1つの場合には、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションを利用したイントラ予測、またはインター予測/補償は省略される。ただし、現在符号化単位が下位深度の符号化単位に分割されることがない場合、現在符号化単位が、現在最大符号化単位の符号化単位のうち、最小サイズの符号化単位である場合、及び現在符号化単位が現在最大符号化単位の符号化単位のうち、最下位深度の符号化単位である場合のうち少なくとも1つの場合には、現在符号化単位と同一サイズのパーティション、現在符号化単位の高さ及び幅のうち一つが半分にされたパーティションと、現在符号化単位が非対称的形態に分割されたパーティションだけではなく、現在符号化単位の下位深度の符号化単位と同一サイズのパーティションと、を利用したイントラ予測、またはインター予測/補償も遂行することができる。復号化された映像データは、再生装置によって再生されたり、あるいは記録媒体に保存されたり、ネットワークを介して伝送される。なお、上述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体例えば、ROMreadonlymemory、フロッピー登録商標ディスク、ハードディスクなど、光学的判読媒体例えば、CD-ROM、DVDなどのような記録媒体を含む。以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるものであるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。"