"受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する段階と、前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化する段階と、を含むことを特徴とするデータ単位併合を利用したビデオ復号化方法。前記データ単位は、前記ピクチャ符号化のために、前記現在ピクチャを分割することによって獲得される符号化単位、及び前記ピクチャを予測符号化するために前記ピクチャを分割することによって獲得された予測単位のうち、少なくとも一つを含み、前記抽出及び読み取り段階は、前記データ単位別に、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を抽出して読み取る段階と、前記データ単位別に、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の抽出いかんを決定する段階と、を含み、前記復号化段階は、前記符号化単位ごとに、前記併合情報に基づいて、前記隣接データ単位との併合いかんを決定する段階を含むことを特徴とする請求項1に記載のデータ単位併合を利用したビデオ復号化方法。前記抽出及び読み取り段階は、前記併合情報に基づいて、前記データ単位の動きベクトル差分情報を抽出し、前記データ単位の補助予測情報の抽出いかんを決定する段階と、前記併合関連情報のうち、前記現在データ単位と併合されるデータ単位を示す併合インデックス情報を抽出する段階と、をさらに含むことを特徴とする請求項2に記載のデータ単位併合を利用したビデオ復号化方法。前記復号化段階は、前記併合関連情報のうち、併合情報に基づいて、現在データ単位が少なくとも1つの隣接データ単位と併合される場合、前記併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位に隣接する区域において、前記現在データ単位と併合されるデータ単位を含む少なくとも1つの候補データ単位群を決定する段階と、前記少なくとも1つの候補データ単位群のうち、前記現在データ単位と併合される1つのデータ単位を決定する段階と、を含むことを特徴とする請求項1に記載のデータ単位併合を利用したビデオ復号化方法。前記データ単位が、前記ピクチャのインター予測のために前記予測単位が分割されたデータ単位であるパーティションを含む場合、前記抽出及び読み取り段階は、前記予測モード情報のうち、スキップモード情報を予測単位ごとに抽出し、前記予測単位がパーティションに分割される場合、前記併合関連情報を前記パーティションごとに抽出する段階を含み、前記抽出及び読み取り段階は、前記予測単位に係わる、前記スキップモード情報、前記予測単位情報、前記パーティション情報及び前記併合情報を順次に抽出する段階と、を含み、インター予測のためのデータ単位を分割することによって獲得された隣接するパーティション間には相互併合が行われず、前記パーティション情報は、前記予測単位が前記パーティションに分割されるか否か、及びパーティションタイプについての情報を含むことを特徴とする請求項1に記載のデータ単位併合を利用したビデオ復号化方法。前記抽出及び読み取り段階は、ピクチャに係わる符号化過程で、前記ピクチャが所定最大サイズの符号化単位に分割されたそれぞれの最大符号化単位について、深度が深くなるにつれて、前記最大符号化単位が階層的に分割されて縮小された領域別に、少なくとも1つの深度別符号化単位ごとに、イントラ予測及びインター予測、変換及び量子化を行い、最小符号化誤差を発生させる深度である符号化深度が決定され前記最大符号化単位別に、ツリー構造による符号化単位が構成された場合、前記符号化深度の符号化単位ごとに、前記イントラ予測またはインター予測のための予測単位またはパーティションの決定を含んで符号化方式を示す符号化情報及び前記符号化モードによって符号化されたデータを抽出する段階を含み、前記データ単位は、前記符号化深度の符号化単位の予測単位またはパーティションであることを特徴とする請求項1に記載のデータ単位併合を利用したビデオ復号化方法。ピクチャ符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決定する段階と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つによって、少なくとも1つの隣接データ単位との併合いかんを決定する段階と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含むことを特徴とするデータ単位併合を利用したビデオ符号化方法。前記データ単位は、前記ピクチャ符号化のために、前記現在ピクチャを分割することによって獲得される符号化単位、及び前記ピクチャを予測符号化するために前記ピクチャを分割することによって獲得された予測単位のうち、少なくとも一つを含み、前記符号化情報決定段階は、前記データ単位別に、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を決定する段階と、前記データ単位別に、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定する段階と、を含み、前記スキップモード情報及び前記併合情報が前記符号化単位ごとに、決定されることを特徴とする請求項7に記載のデータ単位併合を利用したビデオ符号化方法。前記符号化情報決定段階は、前記併合関連情報として、前記現在データ単位に係わる併合情報及び併合されるデータ単位を示す併合インデックス情報を決定する段階と、前記併合情報に基づいて、前記データ単位の動きベクトル差分情報を符号化し、前記データ単位の補助予測情報の符号化いかんを決定する段階と、をさらに含むことを特徴とする請求項8に記載のデータ単位併合を利用したビデオ符号化方法。前記併合いかん決定段階は、現在データ単位に隣接する区域において、前記現在データ単位と併合されるデータ単位を含む少なくとも1つの候補データ単位群を決定する段階と、前記少なくとも1つの候補データ単位群のうち、前記現在データ単位と併合される1つのデータ単位を検索して決定する段階と、を含むことを特徴とする請求項8に記載のデータ単位併合を利用したビデオ符号化方法。前記データ単位が、前記現在ピクチャのインター予測のために前記予測単位が分割されたデータ単位であるパーティションをさらに含む場合、前記符号化情報決定段階は、前記予測モード情報のうち、スキップモード情報を前記予測単位ごとに符号化し、前記予測単位がパーティションに分割される場合、前記併合関連情報を前記パーティションごとに決定する段階と、前記予測単位ごとに、前記スキップモード情報、前記予測単位情報、前記パーティション情報及び前記併合情報を順次に符号化する段階と、を含み、インター予測のためのデータ単位を分割して獲得された隣接するパーティション間には相互併合を行わず、前記パーティション情報は、前記予測単位が前記パーティションに分割されるか否か、及びパーティションタイプについての情報を含むことを特徴とする請求項8に記載のデータ単位併合を利用したビデオ符号化方法。前記符号化モード決定段階は、前記現在ピクチャが所定最大サイズの符号化単位に分割されたそれぞれの最大符号化単位について、深度が深くなるにつれて、前記最大符号化単位が階層的に分割されて縮小された領域別に、少なくとも1つの深度別符号化単位ごとに、イントラ予測及びインター予測、変換及び量子化を行い、最小符号化誤差を発生させる深度である符号化深度を決定し、前記符号化深度の符号化単位ごとに、前記イントラ予測またはインター予測のための予測単位またはパーティションの決定を含んで符号化方式を示す符号化モードを決定し、前記最大符号化単位別に、ツリー構造による符号化単位を決定する段階を含み、前記データ単位は、前記符号化深度の符号化単位の予測単位またはパーティションであることを特徴とする請求項7に記載のデータ単位併合を利用したビデオ符号化方法。ビデオ復号化装置において、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出するパージング部及び抽出部と、前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化するデータ単位併合部及び復号化部と、を含むことを特徴とするデータ単位併合を利用したビデオ復号化装置。ビデオ符号化装置において、現在ピクチャ符号化のためのデータ単位と、前記データ単位ごとに予測符号化を含む符号化方式と、を示す符号化モードを決定する符号化モード決定部と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つによって、少なくとも1つの隣接データ単位との併合いかんを決定するデータ単位併合決定部と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する符号化情報決定部と、を含むことを特徴とするデータ単位併合を利用したビデオ符号化装置。請求項1ないし7のうちいずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能である記録媒体。本発明は、ブロック併合を利用してビデオを符号化する方法及びその装置、ブロック併合を利用してビデオを復号化する方法及びその装置を提供するものである。本発明の一実施形態によるデータ単位併合を利用したビデオ符号化方法は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決める段階と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを決定する段階と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含む。本発明の一実施形態によるデータ単位併合を利用したビデオ符号化方法は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに行われる予測符号化を含む符号化方式と、を示す符号化モードを決定する段階と、前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを決定する段階と、前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する段階と、を含む。一実施形態による前記符号化情報決定段階は、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を決定する段階と、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定する段階と、を含んでもよい。本発明の一実施形態によるデータ単位併合を利用したビデオ復号化方法は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する段階と、前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化する段階と、を含む。一実施形態による前記抽出及び読み取り段階は、前記データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を抽出して判読する段階と、前記スキップモード情報に基づいて、前記データ単位と前記隣接データ単位とが併合されるか否かを示す併合情報の抽出いかんを決定する段階と、を含んでもよい。本発明の一実施形態によるビデオ符号化装置は、現在ピクチャの符号化のためのデータ単位と、前記データ単位ごとに予測符号化を含む符号化方式と、を示す符号化モードを決定する符号化モード決定部;前記データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを決定するデータ単位併合決定部;及び前記データ単位別に、前記隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報を決定し、前記決定された情報を含み、前記データ単位の符号化情報を決定する符号化情報決定部;を含む。本発明の一実施形態によるビデオ復号化装置は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、前記符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出するパージング部及び抽出部;及び前記予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを分析し、前記隣接データ単位と併合されたデータ単位について、前記隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、前記符号化情報に基づいて、決定されたデータ単位別に、前記符号化されたビデオデータを復号化するデータ単位併合部及び復号化部;を含む。本発明は、一実施形態によるデータ単位併合を利用したビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。本発明は、一実施形態によるデータ単位併合を利用したビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。以下、本明細書に記載した本発明の多様な実施形態で、映像は、静止映像だけではなく、ビデオのような動画を含んで包括的に指称することができる。以下、本明細書に記載した本発明の多様な実施形態で、データ単位は、ビデオを構成するデータのうち、所定範囲のデータの集合を指称する。また、以下、要素のリストを羅列するときに使用される少なくとも1つの~のような表現は、リストのそれぞれの要素を修飾するのではなく、要素のリスト全体を修飾するのである。以下、図1ないし図18を参照し、一実施形態によるデータ単位の併合を利用するビデオの符号化及び復号化を開示する。以下、図19ないし図33を参照しつつ、本発明の一実施形態による、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化及び復号化を開示する。以下、図1ないし図18を参照し、一実施形態によるデータ単位の併合を利用したビデオ符号化装置及びビデオ復号化装置、そしてビデオ符号化方法及びビデオ復号化装置を開示する。図1は、一実施形態によるデータ単位の併合を利用したビデオ符号化装置のブロック図を図示している。一実施形態によるデータ単位の併合を利用したビデオ符号化装置10は、符号化モード決定部11、データ単位併合決定部13及び符号化情報決定部15を含む。以下、説明の便宜のために、一実施形態によるデータ単位の併合を利用したビデオ符号化装置10は、一実施形態によるビデオ符号化装置10と縮約して指称する。一実施形態によるビデオ符号化装置10は、ビデオデータを入力され、ピクチャごとに、ピクチャ間インター予測、ピクチャ内イントラ予測、変換、量子化及びエントロピー符号化の作業を経て符号化し、符号化されたビデオデータ及び符号化モードに係わる情報が収録された符号化情報を出力する。一実施形態による符号化モード決定部11は、現在ピクチャの符号化のためのデータ単位を決定し、データ単位ごとに行われる符号化方式を決定することができる。ビデオ圧縮符号化方式では、ビデオデータのうち、重複する部分を除去することによってデータのサイズを縮小するために、周辺データを利用する予測符号化技法が遂行される。一実施形態による符号化モード決定部11は、予測符号化のためのデータ単位を正方形ブロック、または正方形ブロック内のパーティションと決定することができる。一実施形態による符号化モード決定部11は、データ単位ごとに、インターモード、イントラモード、スキップモードまたはダイレクトモードなどの予測符号化方式を示す予測モードを決定することができる。また、一実施形態による符号化モード決定部11は、データ単位の予測モードによる予測符号化のために、補助的に必要な予測方向または参照インデックスのような付随事項を決定することができる。一実施例による符号化モード決定部11は、予測符号化のための予測モード及び関連付随事項を含んで各種符号化モードを決定し、これによって、ビデオデータを符号化することができる。一実施形態によるデータ単位併合決定部13は、符号化モード決定部11で決定されたデータ単位のうち、インターモードであるデータ単位だけではなく、スキップモードまたはダイレクトモードであるデータ単位についても、少なくとも1つの隣接データ単位との併合いかんを決定することができる。現在データ単位が隣接データ単位と併合されれば、現在データ単位は、隣接データ単位の動きベクトル情報を共有することができる。現在データ単位の動きベクトル差分情報は、独立して符号化されるが、現在データ単位の補助予測情報は、併合される隣接データ単位の補助予測情報を借用したり参照し、それによって誘導されるので、別途に符号化されない。一実施形態によるデータ単位併合決定部13は、現在データ単位に隣接する区域において、現在データ単位と併合されるデータ単位を含む少なくとも1つの候補データ単位群を決定することができる。一実施形態によるデータ単位併合決定部13は、少なくとも1つの候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を検索することができる。この時区域ごとに、現在データ単位と併合されるデータ単位を含む候補データ単位群が一つずつ決定される。符号化/復号化システム間にあらかじめ定めた所定規則によって、現在データ単位と隣接する少なくとも1つの区域において、候補データ単位群を決定する方式、または候補データ単位群のうち、1つのデータ単位を決定する方式が設定される。また、一実施形態によるビデオ符号化装置10は、現在データ単位と隣接する少なくとも1つの区域で、候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち1つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つを符号化して出力することもできる。例えば、一実施形態によるデータ単位併合決定部13は、候補データ単位群のうち、現在データ単位と同一の参照インデックスを有するデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することができる。他の例として、一実施形態によるデータ単位併合決定部13は、候補データ単位群のうち、予測モードがインターモードであるデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することもできる。このように選択された候補データ単位のうち、最終的に1つのデータ単位が、現在データ単位と併合される候補データ単位として決定される。一実施形態によるデータ単位併合決定部13は、一般的なインターモードの動きベクトル予測方式を利用して、現在データ単位と併合される候補データ単位を決定することができる。具体的には、一般的なインターモードの動きベクトル予測方式によれば、現在データ単位の動きベクトルとして予測される候補ベクトルは、現在データ単位の全ての境界に接する隣接データ単位において、複数個の候補ベクトルが決定される。すなわち、現在データ単位の左側境界に接する隣接データ単位中から一つ、上端境界に接する隣接データ単位中から一つ、及びコーナーに接する境界に接する隣接データ単位中から一つがそれぞれ選択され、3つのデータ単位の動きベクトルのうち一つが、候補ベクトルとして決定される。一般的なインターモードの動きベクトル予測方式によって、一実施形態によるデータ単位併合決定部13は、現在データ単位の左側境界に接する全ての隣接データ単位を含む左側候補データ単位群、及び上端境界に接する全ての隣接データ単位を含む上端候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を検索して決定することができる。また、一実施形態によるデータ単位併合決定部13は、現在データ単位の左側候補データ単位群と、上端候補データ単位群つに追加し、現在データ単位のコーナーに接する左側上端隣接データ単位、右側上端隣接データ単位及び右側下端隣接データ単位を含むコーナー候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を検索して決定することもできる。その場合、一実施形態によるデータ単位併合決定部13は、左側候補データ単位群のうち、1つの候補データ単位を決定する方式、上端候補データ単位群のうち、1つの候補データ単位を決定する方式、そしてコーナー候補データ単位群のうち、1つの候補データ単位を決定する方式は、あらかじめ設定されたimplicit方式に従う。また、一実施形態によるデータ単位併合決定部13は、左側候補データ単位群のうち決定された1つの候補データ単位、上端候補データ単位群のうち決定された1つの候補データ単位、コーナー候補データ単位群のうち1つの候補データ単位、すなわち、3つの候補データ単位のうち、最終的に現在データ単位に併合される1つの隣接データ単位を決定する方式も、あらかじめ設定された方式に従う。例えば、一実施形態によるデータ単位併合決定部13は、候補データ単位において、予測モードがインターモードであるデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することもできる。他の例として、一実施形態によるデータ単位併合決定部13は、候補データ単位において、現在データ単位と同一の参照インデックスを有するデータ単位を検索し、現在データ単位と併合される候補データ単位として選択することができる。一実施形態によるデータ単位併合決定部13は、1つのデータ単位のさらに正確なインター予測のために分割されたパーティションは、相互隣接しているとしても、併合しないことが望ましい。現在パーティションの形態及び位置によって、現在パーティションに隣接するデータ単位のうち、アクセスすることができるデータ単位が異なることがあるので、併合される隣接データ単位を含む併合候補群が変更されることもある。従って、一実施形態によるデータ単位併合決定部13は、現在パーティションの形態及び位置を考慮して、併合される隣接データ単位を検索することができる。一実施形態による符号化情報決定部15は、データ単位別に、予測モード情報、併合関連情報及び予測関連情報を決定することができる。一実施形態による符号化情報決定部15は、符号化モード決定部11によって決定された符号化情報のうち、予測関連情報を、データ単位併合決定部13のデータ単位併合によって更新することができる。一実施形態による符号化情報決定部15は、データ単位併合決定部13のデータ単位併合によって、併合関連情報を含むように、データ単位の符号化情報を符号化することができる。一実施形態による符号化情報決定部15は、符号化モード決定部11によって符号化されたビデオデータ及び符号化情報を出力することができる。一実施形態による予測関連情報のうち、予測モード情報は、現在データ単位の予測モードが、インターモード、イントラモード、スキップモードまたはダイレクトモードであるかを示す情報である。例えば、予測モード情報は、現在データ単位がスキップモードであるか否かを示すスキップモード情報、ダイレクトモードであるか否かを示すダイレクトモード情報を含んでもよい。一実施形態による併合関連情報は、データ単位の併合いかんを決定したり、データ単位の併合を行うために必要な情報を含む。例えば、併合関連情報は、現在データ単位が隣接データ単位と併合されるか否かを示す併合情報と、併合されるデータ単位を示す併合インデックス情報とを含んでもよい。一実施形態による符号化情報決定部15は、隣接データ単位の予測モード及びパーティションタイプと、現在データ単位と隣接データ単位との併合いかんとの組み合わせに係わるコンテクストモデリングを介して、併合情報を符号化することができる。一実施形態による予測関連情報は、データ単位の予測符号化に必要な補助予測情報及び動き情報をさらに含んでもよい。例えば、前述のように、予測方向、予測のために参照されるデータ単位を示す参照インデックスなどを含み、予測符号化と係わる付随情報を総称する補助予測情報、そして動きベクトルまたは動きベクトル差分情報を含んでもよい。一実施形態による符号化情報決定部15は、データ単位の予測モード及びデータ単位の併合可能性の密接な関連性に基づいて、予測モード情報によって、併合関連情報の設定いかんを決定することができる。まず、スキップモードではないデータ単位についてデータ単位併合が行われる第1実施形態で、一実施形態による符号化情報決定部15は、現在データ単位の予測モードがスキップモードであるか否かを示すスキップモード情報を符号化し、スキップモード情報に基づいて、現在データ単位と隣接データ単位とが併合されるか否かを示す併合情報の符号化いかんを決定することもできる。具体的に見れば、第1実施形態で、現在データ単位がスキップモードである場合、一実施形態による符号化情報決定部15は、現在データ単位がスキップモードであることを示すように、スキップモード情報を設定し、現在データ単位の併合情報は省略することができる。現在データ単位がスキップモードではないならば、一実施形態による符号化情報決定部15は、スキップモードではないことを示すように、スキップモード情報を設定し、現在データ単位の併合情報を符号化することができる。一実施形態による符号化情報決定部15は、併合情報に基づいて、データ単位の動きベクトル差分情報を符号化し、データ単位の補助予測情報の符号化いかんを決定することができる。すなわち、現在データ単位が隣接データ単位と併合されるならば、符号化情報決定部15は、現在データ単位が隣接データ単位と併合されることを示すように現在データ単位の併合情報を設定し、現在データ単位の補助予測情報は、符号化しないこともある。一方、現在データ単位が隣接データ単位と併合されないならば、符号化情報決定部15は、現在データ単位が隣接データ単位と併合されないことを示すように、現在データ単位の併合情報を設定し、現在データ単位の補助予測情報を符号化しなければならない。現在データ単位が隣接データ単位と併合されるにせよ併合されないにせよ、符号化情報決定部15は、現在データ単位の動きベクトル差分情報を符号化しなければならない。また、スキップモードではなく、ダイレクトモードでもないデータ単位について、データ単位併合いかんが決定される第2実施形態で、一実施形態による符号化情報決定部15は、ダイレクトモードであるデータ単位についても、データ単位の併合いかんを示すための併合関連情報を符号化することができる。具体的に見れば、第2実施形態で、一実施形態による符号化情報決定部15は、スキップモードではないデータ単位について、データ単位がスキップモードではないことを示すように、スキップモード情報を設定し、ダイレクトモード情報を符号化することができる。また、一実施形態による符号化情報決定部15は、ダイレクトモード情報に基づいて、併合情報の符号化いかんを決定することができる。すなわち、現在データ単位がダイレクトモードである場合、一実施形態による符号化情報決定部15は、現在データ単位がダイレクトモードであることを示すように、ダイレクトモード情報を設定し、現在データ単位の併合情報は省略することができる。現在データ単位がダイレクトモードではないならば、一実施形態による符号化情報決定部15は、ダイレクトモードではないことを示すように、ダイレクトモード情報を設定し、現在データ単位の併合情報を符号化することができる。併合情報が符号化されるならば、併合情報に基づいて、現在データ単位の補助予測情報の符号化いかんが決定され、現在データ単位の動きベクトル差分情報が符号化されることについては、第1実施形態で説明した通りである。一実施形態によって、現在ピクチャが分割されたデータ単位は、ピクチャ符号化のために、1データ単位である符号化単位、予測符号化のための予測単位、インター予測のためのパーティションなどを含んでもよい。一実施形態によるデータ単位併合決定部13は、符号化単位ごとに、隣接データ単位との併合いかんを決定し、一実施形態による符号化情報決定部15は、符号化単位ごとに、スキップモード情報及び併合情報を決定することができる。また、一実施形態によるデータ単位併合決定部13は、予測単位ごとに、隣接データ単位との併合いかんを決定し、一実施形態による符号化情報決定部15は、予測単位ごとに、スキップモード情報及び併合情報を決定することもできる。スキップモード情報及び併合情報を共に使う場合、スキップモードとデータ併合は、現在データ単位の固有予測情報を符号化しないという点で共通点を有するので、一実施形態によるビデオ符号化装置10は、スキップモード及びデータ併合による予測方式を区別するのが望ましい。例えば、スキップモードのデータ単位の参照インデックス及び参照方向は、あらかじめ決定された規則によって決定し、隣接データ単位と併合されるデータ単位は、隣接データ単位の動き情報の参照インデックス及び参照方向を借用することができる。一実施形態による符号化情報決定部15は、スキップモード情報は、予測単位ごとに符号化し、併合関連情報は、パーティションごとに符号化することもできる。また、一実施形態による符号化情報決定部15は、併合関連情報及びスキップモード情報を、いずれもデータ単位ごとに符号化することもできる。または、一実施形態による符号化情報決定部15は、併合関連情報を、あらかじめ設定された所定予測モードのデータ単位についてのみ符号化するように設定することもできる。一実施形態によるビデオ符号化装置10は、符号化単位間のデータ単位併合を決定したり、予測単位間のデータ単位併合を決定することができる。また、一実施形態によるビデオ符号化装置10は、選択的に、スキップモード情報と共に、ダイレクトモード情報を符号化することができる。これによって、一実施形態による符号化情報決定部15は、データ単位のスキップモード情報に基づいて、データ単位がスキップモードではない場合、データ単位について、ダイレクトモード情報が符号化されるか否かを示すスキップ/ダイレクトモード符号化情報、符号化単位間の併合が決定されるか否かを示す符号化単位併合決定情報、及び予測単位間の併合が決定されるか否かを示す予測単位併合決定情報のうち、少なくとも一つを符号化することができる。図2は、一実施形態によるデータ単位の併合を利用したビデオ復号化装置のブロック図を図示する。一実施形態によるデータ単位の併合を利用したビデオ復号化装置20は、パージング部/抽出部21、及びデータ単位併合部/復号化部23を含む。以下、説明の便宜のために、一実施形態によるデータ単位の併合を利用したビデオ復号化装置20は、一実施形態によるビデオ復号化装置20に縮約して指称する。一実施形態によるビデオ復号化装置20は、符号化されたビデオデータのビットストリームを入力され、符号化されたビデオデータ及び符号化方式に係わる情報が収録された符号化情報を抽出し、エントロピ復号化、逆量子化、逆変換、ピクチャ間インター予測/補償の作業を経て復号化してビデオデータを復元する。一実施形態によるパージング部/抽出部21は、受信されたビットストリームをパージングし、符号化されたビデオデータ及び符号化情報を抽出し、符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報を抽出する。一実施形態によるパージング部/抽出部21は、予測モード情報として、スキップモード情報、ダイレクトモード情報などを抽出することができる。一実施形態によるパージング部/抽出部21は、予測関連情報として、参照方向及び参照インデックスなどの補助予測情報、動きベクトル差分情報などを抽出することができる。一実施形態によるパージング部/抽出部21は、併合関連情報として、併合情報及び併合インデックス情報などを抽出することができる。一実施形態によるパージング部/抽出部21は、隣接データ単位の予測モード及びパーティションタイプと現在データ単位と隣接データ単位との併合いかんとの組み合わせに係わるコンテクストモデリングを介して符号化された併合情報を読み取り、現在データ単位と併合される隣接データ単位の予測モード、パーティションタイプを分析することもできる。まず、スキップモードではないデータ単位について、データ単位併合いかんが決定される第1実施形態で、一実施形態によるパージング部/抽出部21は、データ単位のスキップモード情報を、受信されたビットストリームから抽出して読み取り、スキップモード情報に基づいて、データ単位の併合情報の抽出いかんを決定することができる。すなわち、スキップモード情報に基づいて、現在データ単位がスキップモードではないことが判読されれば、一実施形態によるパージング部/抽出部21は、受信されたビットストリームから、現在データ単位の併合情報を抽出することができる。一実施形態によるパージング部/抽出部21は、併合情報に基づいて、データ単位の動きベクトル差分情報を抽出し、データ単位のインター補助予測情報の抽出いかんを決定することができる。すなわち、併合情報に基づいて、現在データ単位が隣接データ単位と併合されないと判読されれば、一実施形態によるパージング部/抽出部21は、受信されたビットストリームから、動きベクトル差分情報を抽出し、データ単位の補助予測情報を抽出することができる。一方、併合情報に基づいて、現在データ単位が隣接データ単位と併合されると判読されれば、一実施形態によるパージング部/抽出部21は、受信されたビットストリームから、動きベクトル差分情報を抽出するが、データ単位の補助予測情報は、抽出しないこともある。次に、スキップモードでもなく、ダイレクトモードでもないデータ単位について、データ単位併合いかんが決定される第2実施形態で、一実施形態によるパージング部/抽出部21は、データ単位の予測モードがスキップモードではない場合、データ単位についてダイレクトモード情報を抽出し、ダイレクトモード情報に基づいて、併合情報の抽出いかんを決定することができる。すなわち、ダイレクトモードによって、現在データ単位がダイレクトモードであるということが判読されれば、一実施形態によるパージング部/抽出部21は、受信されたビットストリームから併合情報を抽出しないこともある。一方、ダイレクトモードによって、現在データ単位がダイレクトモードではないことが判読されれば、一実施形態によるパージング部/抽出部21は、受信されたビットストリームから併合情報を抽出することができる。一実施形態によるパージング部/抽出部21は、併合情報に基づいて、データ単位の動きベクトル差分情報を抽出し、補助予測情報の抽出いかんを決定することができることについては、第1実施形態で説明した通りである。一実施形態によるデータ単位併合部/復号化部23は、予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんを分析する。データ単位併合部/復号化部23は、符号化情報に基づいてデータ単位を決定し、決定されたデータ単位別に、符号化されたビデオデータを復号化してピクチャを復元することができる。特に、一実施形態によるデータ単位併合部/復号化部23は、隣接データ単位と併合されたデータ単位について、隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、符号化情報に基づいて、ビデオデータを復号化することができる。一実施形態によるパージング部/抽出部21は、符号化単位ごとに、スキップモード情報及び併合情報を抽出して読み取り、一実施形態によるデータ単位併合部/復号化部23は、符号化単位ごとに併合情報に基づいて、隣接データ単位との併合いかんを決定することができる。また、一実施形態によるパージング部/抽出部21は、予測単位ごとに、スキップモード情報及び併合情報を抽出して読み取り、一実施形態によるデータ単位合/復号化部23は、予測単位ごとに併合情報に基づいて、隣接データ単位との併合いかんを決定することができる。一実施形態によるデータ単位併合部/復号化部23は、パージング部/抽出部21によって抽出された併合関連情報に基づいて、現在データ単位が隣接データ単位と併合されるか否かを読み取り、隣接データ単位のうち、併合されるデータ単位を検索することができる。まず、一実施形態によるデータ単位併合部/復号化部23は、併合関連情報のうち、併合情報に基づいて、現在データ単位が隣接データ単位と併合されるか否かを分析することができる。現在データ単位が隣接データ単位と併合されると判読される場合、一実施形態によるデータ単位併合部/復号化部23は、併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位に隣接する区域において、現在データ単位と併合されるデータ単位を含む少なくとも1つの候補データ単位群を決定することができる。一実施形態によるデータ単位併合部/復号化部23は、少なくとも1つの候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を決定することができる。現在データ単位に隣接する少なくとも1つの区域ごとに、現在データ単位の併合のための候補データ単位群が決定される。一実施形態によるデータ単位併合部/復号化部23は、符号化/復号化システム間に所定規則によってあらかじめ設定された候補データ単位群を決定する方式、及び候補データ単位群のうち1つのデータ単位を決定する方式のうち、少なくとも一つに基づいて、現在データ単位と併合される1つのデータ単位を決定することができる。一実施形態によるパージング部/抽出部21は、現在データ単位と隣接する少なくとも1つの区域において、候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち1つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つを抽出することができる。一実施形態によるデータ単位併合部/復号化部23は、抽出された候補データ単位群を決定する方式に係わる情報、及び候補データ単位群のうち1つのデータ単位を決定する方式に係わる情報のうち、少なくとも一つに基づいて、現在データ単位と併合される1つのデータ単位をすることもできる。例えば、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部/復号化部23は、第1候補データ単位、第2候補データ単位または第3候補データ単位を決めたら、それぞれ上位隣接データ単位の併合候補群で、現在データ単位と同一の参照インデックスを有する隣接データ単位を検索し、併合される1つのデータ単位として決定することができる。または、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部/復号化部23は、第1候補データ単位、第2候補データ単位または第3候補データ単位を決めたら、それぞれ上位隣接データ単位の併合候補群で、予測モードがインターモードである隣接データ単位を検索し、現在データ単位と併合される1つのデータ単位として決定することもできる。一実施形態によるデータ単位併合部/復号化部23は、一般的なインターモードの動きベクトル予測方式を利用して、現在データ単位と併合される候補データ単位として決定することができる。具体的には、一実施形態によるデータ単位併合部/復号化部23は、併合関連情報のうち、併合インデックス情報に基づいて、現在データ単位の左側境界に接する全ての左側隣接データ単位を含む左側候補データ単位群、及び上端境界に接する全ての上端隣接データ単位を含む上端候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を決定することができる。また、一実施形態によるデータ単位併合部/復号化部23は、現在データ単位の左側候補データ単位群と、上端候補データ単位群とに追加して、現在データ単位のコーナーに接する左側上端隣接データ単位、右側上端隣接データ単位及び右側下端隣接データ単位を含むコーナー候補データ単位群のうち、現在データ単位と併合される1つのデータ単位を、併合インデックス情報に基づいて、決定することもできる。具体的に見れば、一実施形態によるデータ単位併合部/復号化部23は、併合インデックス情報を読み取り、現在データ単位と併合する隣接データ単位が、左側候補データ単位群のうち一つである第1候補データ単位、上端候補データ単位群のうち一つである第2候補データ単位、及びコーナー候補データ単位群のうち一つである第3候補データ単位のうち一つであるかを決定することができる。また、一実施形態によるデータ単位併合部/復号化部23は、第1候補データ単位が決定されたならば、左側隣接データ単位のうち一つを、第2候補データ単位が決定されたならば、上端隣接データ単位のうち一つを、あるいは、第3候補データ単位が決定されたならば、コーナーに接する隣接データ単位のうち一つを、現在データ単位と併合される1つのデータ単位として検索して決定することができる。その場合、左側隣接データ単位、上端隣接データ単位及びコーナーに接する隣接データ単位において、現在データ単位と併合される1つのデータ単位を検索して決定する方式は、あらかじめ設定された方式に従う。例えば、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部/復号化部23は、候補データ単位のうち、予測モードがインターモードである隣接データ単位を検索し、現在データ単位と併合される1つのデータ単位として決定することもできる。他の例として、あらかじめ設定された一方式によって、一実施形態によるデータ単位併合部/復号化部23は、候補データ単位のうち、現在データ単位と同一の参照インデックスを有する隣接データ単位を検索し、併合される1つのデータ単位として決定することができる。一実施形態によるデータ単位併合部/復号化部23は、1つのデータ単位内のパーティション間には、相互併合しないことが望ましい。一実施形態によるデータ単位併合部/復号化部23は、現在パーティションの形態及び位置によって、可変的に形成される隣接データ単位の併合候補群において、現在データ単位と併合されるデータ単位を決定することができる。一実施形態によるパージング部/抽出部21は、スキップモード情報を予測単位ごとに抽出し、併合関連情報をパーティションごとに抽出することができる。または、一実施形態によるパージング部/抽出部21は、併合関連情報及びスキップモード情報をデータ単位ごとに抽出することもできる。また、一実施形態によるパージング部/抽出部21は、所定予測モードのデータ単位についてのみ併合関連情報を抽出することもできる。一実施形態によるパージング部/抽出部21は、予測単位に係わる、スキップモード情報、予測単位情報、パーティション情報及び併合情報を順次に抽出することができる。一実施形態によるパーティション情報は、予測単位がパーティションに分割されるか否かということや、パーティションタイプについての情報などを含んでもよい。一実施形態によるビデオ復号化装置20は、符号化単位間にデータ単位併合を行ったり、予測単位間にデータ単位併合を行うことによって、ビデオデータを復号化することができる。また、一実施形態によるビデオ復号化装置20は、選択的に、符号化されたスキップモード情報と共に、ダイレクトモード情報によって復号化することができる。これによって、一実施形態によるパージング部/抽出部21は、データ単位のスキップモード情報に基づいて、データ単位がスキップモードではない場合、データ単位について、ダイレクトモード情報が符号化されるか否かを示すスキップ/ダイレクトモード符号化情報、符号化単位の併合が決定されるか否かを示す符号化単位併合決定情報、及び予測単位間の併合が決定されるか否かを示す予測単位併合決定情報のうち、少なくとも一つを抽出することができる。また、一実施形態によるデータ単位併合部/復号化部23は、抽出された情報に基づいて、スキップモード及びダイレクトモードをいずれも利用して復号化したり、符号化単位または予測単位を基にデータ単位併合されたビデオデータを復号化することができる。一実施形態によるデータ単位併合部/復号化部23は、スキップモードのデータ単位の参照インデックス及び参照方向は、あらかじめ決定された規則によって決定し、隣接データ単位と併合されるデータ単位は、隣接データ単位の動き情報の参照インデックス及び参照方向を借用することによって、ビデオデータを復号化することができる。ビデオ解像度が高くなって、データ量が急増しながら、データ単位のサイズが増大することによって、重複するデータが増加するので、スキップモードまたはダイレクトモードであるデータ単位が多くなる。しかし、既存マクロブロック併合方式は、スキップモード及びダイレクトモードではないインターモードであるマクロブロックについてのみブロック併合いかんを決定し、固定されたサイズ及び固定された位置の隣接マクロブロックと併合されるので、データ単位の併合が制限的に活用されるものではない。一実施形態によるデータ単位の併合を利用するビデオ符号化装置10、及び一実施形態によるデータ単位の併合を利用するビデオ復号化装置20は、多様なサイズ、多様な形態及び多様な予測モードのデータ単位について包括的に、データ単位の併合を行うことができ、多様な位置の隣接データ単位と併合されもする。これによって、多様なデータ単位が、さらに多様な隣接データ単位の予測関連情報を共有することによって、さらに幅広い範囲の周辺情報を参照して重複データが除去されるので、ビデオ符号化効率が向上するのである。図3は、関連技術によって、現在マクロブロックに併合される隣接ブロックを図示している。関連技術によるブロック併合によれば、現在マクロブロックと併合される隣接ブロックの併合候補群に含まれるためには、現在マクロブロックより先に符号化されたインターモードの隣接ブロックでなければならない。従って、現在マクロブロックの上端境界及び右側境界に隣接するブロックだけが併合候補群に含まれる。併合されたブロックが1つの領域を構成することができ、併合されたブロックの領域別に符号化情報及び併合関連情報が符号化される。例えば、ブロック併合が行われるか否かに係わる併合情報、ブロック併合が行われたならば、現在マクロブロックの上端隣接ブロック及び左側隣接ブロックのうちいずれのブロックと併合されるかを示す併合ブロック位置情報などが符号化される。関連技術によるブロック併合によれば、現在マクロブロックの境界に、複数個のブロックが接していても、現在マクロブロックの左側上端サンプルに接する隣接ブロックだけが、現在マクロブロックと併合されるように選択される。すなわち、第1現在マクロブロック31の上端境界に隣接しながら、第1現在マクロブロック31の左側上端サンプルに接する第1上端隣接ブロック32、及び第1現在マクロブロック31の左側境界に隣接しながら、第1マクロブロック31の左側上端サンプルに接する第2左側隣接ブロック33のうち一つが、第1現在マクロブロック31のブロック併合対象に選択される。同様に、第2現在マクロブロック35の左側上端サンプルに接する第2上端隣接ブロック36、及び第2左側隣接ブロック37のうち一つが、選択的に第2現在マクロブロック35と併合される。図4及び図5は、それぞれ関連技術及び本発明の一実施形態によって、現在データ単位の隣接データ単位において、現在データ単位と併合される1つのデータ単位を選択する方式を比較している。図4を参照しつつ、関連技術によるデータ単位の併合について説明すれば、現在データ単位41の上端境界に、隣接データ単位42,43,44が接しており、左側境界に、隣接データ単位45,46,47,48が接しているとしても、現在データ単位41のデータ単位併合対象は、上端隣接データ単位として、データ単位42、または左側隣接データ単位として、データ単位45のみで限定される。また、インターモードである隣接データ単位との併合だけが可能であるので、隣接データ単位42,45がスキップモードまたはダイレクトモードである場合には、データ単位の併合いかんが全く考慮されない。図5に図示された一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20のデータ単位併合方式によれば、現在データ単位41と併合される隣接データ単位の併合候補群は、上端隣接データ単位42,43,44、及び左側隣接データ単位45,46,47,48をいずれも含んでもよい。このとき、現在データ単位41がインターモードだけではなく、スキップモードまたはダイレクトモードである場合まで、隣接データ単位との併合いかんが決定される。例えば、現在データ単位41の上端隣接データ単位42,43,44を含む上端併合候補群52のうち一つが、上端併合候補A’として決定される。類似の方式で、現在データ単位41の左側隣接データ単位45,46,47,48を含む左側併合候補群55のうち一つが左側併合候補L’として決定される。上端併合候補A’及び左側併合候補L’のうち一つが、最終的に現在データ単位41と併合される隣接データ単位として決定される。一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20は、あらかじめ設定された方式によって、上端併合候補群52のうち一つを上端併合候補A’として決定する方式、または左側併合候補群55のうち一つを左側併合候補L’として決定することができる。上端併合候補群52のうち上端併合候補A’を検索したり、左側併合候補群55のうち左側併合候補Lを検索するように、あらかじめ設定された方式に係わる情報が別途に符号化されないとしても、一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20間にあらかじめ認知されている。例えば、上端併合候補群52及び左側併合候補群55において、現在データ単位41と同一の参照インデックス情報を有する隣接データ単位が、上端併合候補A’及び左側併合候補L’として決定される。他の例として、上端併合候補群52及び左側併合候補群55において、インターモードであって、現在データ単位41の左側上端サンプルに最も近接する隣接データ単位が、上端併合候補A’及び左側併合候補L’として決定される。同様に、一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20は、あらかじめ設定された方式によって、上端併合候補A’及び左側併合候補L’のうち一つを、最終的に現在データ単位41と併合される隣接データ単位として決定する動作も、あらかじめ設定された方式に従う。図6及び図7は、本発明の一実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化/復号化順序を図示している。まず、図6は、現在データ単位がスキップモードであるか否かを考慮して、データ単位の併合いかんが決定される第1実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化/復号化順序を図示している。一実施形態によるビデオ符号化装置10は、現在データ単位のスキップモード情報skip_flagを符号化する段階61。現在データ単位のスキップモード情報skip_flagは、現在データ単位がスキップモードであるならば、1に、スキップモードでなければ、0に設定される。現在データ単位がスキップモードであるならば、併合情報merging_flagは、省略される段階62。現在データ単位がスキップモードではないならば、併合情報merging_flagが符号化される段階63。スキップモードである現在データ単位の予測方向及び参照インデックス情報は、あらかじめ設定された規則によって決定される。隣接データ単位と併合される現在データ単位の予測方向及び参照インデックス情報は、隣接データ単位の動きベクトルの参照インデックス及び参照方向を借用することができる。例えば、現在スライスがPスライスであるならば、スキップモードであるデータ単位の予測方向は、リスト0方向、Bスライスであるならば、双方向に設定され、スキップモードであるデータ単位の参照インデックスは、0に設定される規則があらかじめ設定されていれば、それによって、スキップモードであるデータ単位の予測復号化が可能である。現在データ単位の併合情報merging_flagは、現在データ単位が隣接データ単位と併合されたならば、1に、併合されないならば、0に設定される。現在データ単位が隣接データ単位と併合されるならば、現在データ単位の予測符号化のための補助予測情報は、隣接データ単位の情報を借用されるか、あるいはそれによって誘導されるので、現在データ単位の予測方向及び参照インデックス情報Interdirection/Refindexの符号化は省略される段階64。現在データ単位が隣接データ単位と併合されても、動きベクトル差分情報mvdは、符号化される段階65。現在データ単位が隣接データ単位と併合されないならば、現在データ単位の予測方向及び参照インデックス情報Interdirection/Refindexが符号化され段階66、動きベクトル差分情報mvdが符号化される段階67。例えば、現在データ単位の予測方向は、リスト0List0方向、リスト1List1方向、両Bi方向を含んでもよい。一実施形態によるビデオ復号化装置20も、段階61ないし67の順序によって、現在データ単位のスキップモード情報を抽出して読み取り、これを基に、併合情報及び予測関連情報を抽出して読み取ることができる。図7は、現在データ単位がスキップモード及びダイレクトモードであるかを考慮して、データ単位の併合いかんが決定される第2実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化/復号化順序を図示している。一実施形態によるビデオ符号化装置10は、現在データ単位のスキップモード情報skip_flagを符号化する段階71。現在データ単位がスキップモードであるならば、併合情報merging_flagの符号化は省略される段階72。現在データ単位がスキップモードではないならば、ダイレクトモード情報direct_flagが符号化される段階73。現在データ単位のダイレクトモード情報direct_flagは、現在データ単位がダイレクトモードであるならば、1に、ダイレクトモードではないならば、0に設定される。現在データ単位がダイレクトモードであるならば、併合情報merging_flagは、符号化されないこともある段階74。現在データ単位がダイレクトモードではないならば、併合情報merging_flagが符号化される段階75。現在データ単位が隣接データ単位と併合されるならば、現在データ単位の予測方向及び参照インデックス情報Interdirection/Refindexの符号化は省略され段階76、動きベクトル差分情報mvdが符号化される段階77。現在データ単位が隣接データ単位と併合されないならば、現在データ単位の予測方向及び参照インデックス情報Interdirection/Refindex及び動きベクトル差分情報mvdが符号化される段階78,79。一実施形態によるビデオ復号化装置20も、段階71ないし79の順序によって、現在データ単位のスキップモード情報またはダイレクトモード情報を抽出して読み取り、これを基に、併合情報及び予測関連情報を抽出して読み取ることができる。図8及び図9は、それぞれ関連技術及び本発明の一実施形態によって、現在データ単位の拡張された隣接データ単位において、現在データ単位と併合される1つのデータ単位を選択する方式を比べる。図8を参照すれば、関連技術によるデータ単位の併合について述べれば、現在データ単位81のデータ単位併合対象は、現在データ単位81の左側上端サンプルに接する上端隣接データ単位82、及び左側隣接データ単位85だけに限定される。すなわち、現在データ単位81の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位89,91,93は、現在データ単位81の併合候補群に含まれるものではない。図9を参照すれば、後述するデータ単位併合方式は、インターモードの動きベクトル予測方式と類似している。図9に図示された一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20の拡張されたデータ単位併合方式によれば、現在データ単位81と併合される隣接データ単位の併合候補群は、上端隣接データ単位82,83,84、及び左側隣接データ単位85,86,87,88だけではなく、現在データ単位81の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位89,91,93をいずれも含んでもよい。例えば、現在データ単位81の上端隣接データ単位82,83,84を含む上端併合候補群92のうち一つが、上端併合候補A’として決定され、左側隣接データ単位85,86,87,88を含む左側併合候補群95のうち一つが、左側併合候補L’として決定される。また、現在データ単位81の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位89,91,93を含むコーナー併合候補群96のうち一つが、コーナー併合候補C’として決定される。上端併合候補A’、左側併合候補L’及びコーナー併合候補C’のうち一つが、最終的に現在データ単位81と併合される隣接データ単位として決定される。一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20が、あらかじめ設定された方式によって、上端併合候補群92のうち一つを、上端併合候補A’として決定する方式、左側併合候補群95のうち一つを、左側併合候補L’として決定する方式、コーナー併合候補群96のうち一つを、コーナー併合候補C’として決定する方式と、上端併合候補A’、左側併合候補L’及びコーナー併合候補C’のうち一つを最終的に選択する方式は、あらかじめ設定された規則に従うことについては、図5を参照すれば、説明した通りである。図9を参照すれば、記述された実施形態は、現在データ単位81と併合される候補データ単位の方向が、上端及び左側だけではなく、コーナーを含むので、併合位置情報は、0または1のフラッグタイプではない、併合インデックスで表現されることが望ましい。図10、図11及び図12は、多様な実施形態による予測モード情報、併合関連情報及び予測関連情報の符号化/復号化順序を図示している。図10を参照すれば、一実施形態によるビデオ符号化装置10は、予測符号化のためのデータ単位である予測単位ごとに、スキップモード情報及び併合情報を符号化することができる。段階101で、一実施形態によるビデオ符号化装置10は、予測単位のスキップモード情報skip_flagを符号化し、段階102で、スキップモードではない予測単位について併合情報merging_flagを符号化することができる。一実施形態によるビデオ符号化装置10は、スキップモードではなく、隣接データ単位と併合されない予測単位について固有の予測モード情報Predictioninfo及びパーティション情報Partitioninfoを符号化することができる段階103及び104。従って、一実施形態によるビデオ復号化装置20は、予測単位ごとに、スキップモード情報及び併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置20は、スキップモードではなく、隣接データ単位と併合されない予測単位については固有の予測モード情報及びパーティション情報を抽出することができる。図11を参照すれば、一実施形態によるビデオ符号化装置10は、予測単位ごとに、スキップモード情報を符号化し、予測単位が、さらに精密な予測符号化のために分割されたそれぞれのパーティションについて、併合情報を符号化することができる。段階111で、一実施形態によるビデオ符号化装置10は、予測単位のスキップモード情報skip_flagを符号化し、段階112で、スキップモードではない予測単位について、予測モード情報Predictioninfoを符号化し、段階113で、パーティション情報Partitioninfoを符号化することができる。一実施形態によるビデオ符号化装置10は、スキップモードではない予測単位のパーティションごとに、併合情報merging_flagを符号化することができる段階114。一実施形態によるビデオ符号化装置10は、スキップモードではない予測単位のパーティションののうち、隣接データ単位と併合されないパーティションについて、固有の動き情報Motioninfoを符号化することができる段階115。従って、一実施形態によるビデオ復号化装置20は、予測単位ごとに、スキップモード情報を抽出して読み取り、パーティションごとに、併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置20は、スキップモードではなく、隣接データ単位と併合されないパーティションについて、固有の動き情報を抽出することができる。図12を参照すれば、一実施形態によるビデオ符号化装置10は、予測単位ごとに、スキップモード情報を符号化し、所定条件が満足されるとき、それぞれのパーティションについて、併合情報を符号化することができる。段階121で、一実施形態によるビデオ符号化装置10は、予測単位のスキップモード情報skip_flagを符号化し、段階122で、スキップモードではない予測単位について予測モード情報Predictioninfoを符号化し、段階123で、パーティション情報Partitioninfoを符号化することができる。一実施形態によるビデオ符号化装置10は、予測単位のパーティションごとに、所定条件が満足いかんを判断した後Mergingenabledcondition段階124、スキップモードではない予測単位のパーティションにおいて、所定条件を満足するYesデータ単位についてのみ併合情報merging_flagを符号化することができる段階125。一実施形態によるビデオ符号化装置10は、スキップモードではない予測単位のパーティションにおいて、所定条件を満足するが、隣接データ単位と併合されないパーティション及び所定条件を満足することができないNoパーティションについて、固有の動き情報Motioninfoを符号化することができる段階126。一実施形態によって、併合情報を符号化するためのパーティションの所定条件としては、パーティションが所定予測モードである場合を含んでもよい。例えば、スキップモードではないインターモードnonskipmodeである条件、スキップモードでもなくダイレクトモードではないインターモードnonskipintermodeandnondirectintermodeである条件、またはパーティションに分割されないインターモードnonpartitionedintermodeである条件によって、パーティションの併合情報が符号化される。具体的には、例えば、一実施形態によるビデオ符号化装置10は、スキップモードでもなくダイレクトモードでもないインターモードであるデータ単位について、データ単位併合を行う場合、段階124で、スキップモードではない予測単位のパーティションが、ダイレクトモードではないインターモードであるか否かが判断される。ダイレクトモードではないパーティションについては、併合情報merging_flagが符号化され段階125、ダイレクトモードではないが、隣接データ単位と併合されないパーティション及びダイレクトモードであるパーティションについては、固有の動き情報Motioninfoを符号化することができる段階126。従って、一実施形態によるビデオ復号化装置20は、予測単位ごとに、スキップモード情報を抽出して読み取り、パーティションごとに併合情報を抽出して読み取ることができる。一実施形態によるビデオ復号化装置20は、スキップモードではなく、所定条件を満足するが、隣接データ単位と併合されないパーティション、及び所定条件を満足することができないパーティションについて固有の動き情報を抽出することができる。図13は、一実施形態によって、現在パーティションと併合されない隣接データ単位を図示している。予測符号化のためのデータ単位、すなわち、予測単位は、さらに精密な予測符号化のために、2以上のパーティションに分割される。例えば、第1予測単位131は、幅が半分になり、第1パーティション132及び第2パーティション133に分割される。第1パーティション132及び第2パーティション133は、同一の第1予測単位131に含まれているとしても、互いに異なる動き特性を有するために分割されたものであるので、第1パーティション132及び第2パーティション133間に、データ単位併合が行われないことが望ましい。従って、一実施形態によるビデオ符号化装置10は、第2パーティション133について、同一の第1予測単位131内の第1パーティション132とのデータ単位併合の決定過程を省略することができる。また、第2パーティション133のための併合インデックス情報は、左側隣接データ単位を示すインデックスを含む必要がない。第2予測単位135の高さが半分になり、第3パーティション136及び第4パーティション137に分割された場合にも、第3パーティション136及び第4パーティション137間に、データ単位の併合が行われてはならないので、第4パーティション137について、第3パーティション136とのデータ単位併合いかんは、判断される必要がない。また、第4パーティション137のための併合インデックス情報は、上端隣接データ単位を示すインデックスを含む必要がない。図14は、一実施形態によって、現在パーティションの形態及び位置によって、異なって決定される候補データ単位を図示している。パーティションの形態及び位置によって、データ単位併合の対象になる隣接データの位置が変わる。例えば、予測単位141が、2つのパーティション142,143に分割される場合、左側パーティション142が併合することができる隣接データ単位候補は、左側パーティション142の上端境界に隣接するデータ単位144、左側境界に隣接するデータ単位145及び右側上端コーナーに隣接するデータ単位146である。右側パーティション143は、左側境界に左側パーティション142が接しているが、左側パーティション142及び右側パーティション143は、同一の予測単位141のパーティションであるので、相互併合されるものではない。従って、右側パーティション143が併合することができる隣接データ単位候補は、右側パーティション143の上端に隣接するデータ単位146、及び右側上端コーナーに隣接するデータ単位147である。また、右側パーティション143のための併合インデックス情報は、左側上端隣接データ単位を示すインデックスを含まない。図15は、一実施形態による幾何学的形態のパーティションである現在パーティションと併合されない隣接データ単位を図示している。一実施形態によるビデオ符号化装置10の予測符号化において、予測単位は、垂直または水平の一定方向に分割されるだけではなく、任意の方向に分割され、幾何学的に多様な形態のパーティションに分割されもする。図15に、任意の方向に分割された予測単位148,152,156,160が図示されている。幾何学的形態のパーティションは、位置及び形態によって、パーティションの上端境界及び左側境界に隣接する隣接データ単位と併合されない。例えば、予測単位158の2つのパーティション149,150において、パーティション150は、左側境界に接する隣接データ単位151とは併合されるが、上端境界に接する隣接データ単位が、同一の予測単位158に属する残りのパーティション149であるので、上端隣接データ単位と併合されない。その場合、パーティション150のための併合インデックス情報は、上端隣接データ単位であるパーティション149を示すインデックスを含まない。同様に、予測単位152の2つのパーティション153,154において、パーティション154は、左側隣接データ単位155とは併合されるが、上端隣接データ単位が、同一の予測単位152に属する残りのパーティション153であるので、上端隣接データ単位と併合されない。同様に、予測単位156の2つのパーティション157,158において、パーティション158は、上端隣接データ単位159とは併合されるが、左側隣接データ単位が、同一の予測単位156に属する残りのパーティション157であるので、左側隣接データ単位と併合されない。同様に、予測単位160の2つのパーティション161,162において、パーティション162は、同一の予測単位160に属する残りのパーティション161が、上端隣接データ単位でありつつ、左側隣接データ単位であるので、上端隣接データ単位及び左側隣接データ単位と併合されない。図13、図14及び図15で述べたように、データ単位の形態または位置によって、併合されない隣接データ単位が生じる場合、一実施形態による併合インデックス情報は、併合されない隣接データ単位を示すインデックスを含まないように設定されることが望ましい。また、一実施形態によるビデオ符号化装置10は、データ単位の併合により、現在データ単位が拡張し、すでに存在する他のデータ単位と重複させるデータ単位併合は、行わないことが望ましい。例えば、1つの予測単位が2つのパーティションに分割された場合、2番目のパーティションの所定候補データ単位が、最初のパーティションのような動き情報を有するなら阿波、所定候補データ単位と2番目のパーティションとの併合は許容されない。例えば、図13の第1予測単位131の第1パーティション132、及び第2パーティション133において、第2パーティション133の上端予測単位が、第1パーティション132のような動き情報を有するならば、第1パーティション132と、第2パーティション133との上端予測単位が、いずれも第2パーティション133の候補データ単位群から除外されることが望ましい。第2パーティション133が、上端予測単位の動き情報を参照するように、データ単位併合が行われるならば、結局、第1パーティション132の動き情報を参照しないのと同一の意味になるからである。一実施形態による併合情報は、データ単位の併合いかんと共に、隣接データ単位の予測モード及びパーティションタイプを考慮したコンテクストモデリングを介して設定される。現在データ単位の隣接データ単位の予測モード及びパーティションタイプと、現在データ単位と隣接データ単位とが併合される場合との組み合わせをコンテクストモデルと解釈することによって、コンテクストモデルのインデックスが併合情報として表現される。以下、表0は、一実施形態によるコンテクストモデリングを介した併合情報を図示している。説明の便宜のために、表0の併合情報は、現在データ単位との併合対象を左側隣接データ単位及び上端隣接データ単位に限定する。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNだけではなく、1:nまたはn:1のように、非対称的である比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2N、幾何学的に多様な形態に分割された幾何学的パーティションタイプなど、任意的形態のパーティションを選択的に含んでもよい。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。表0によれば、現在データ単位の左側隣接データ単位及び上端隣接データ単位が、いずれもイントラモードである場合、データ単位併合が行われないので、現在データ単位の併合情報は、パーティションタイプ別に、コンテクストモデルを区別する必要なしに、インデックス0に割り当てられる。また、左側隣接データ単位及び上端隣接データ単位が、スキップモードまたはダイレクトモードではないインターモードであり、左側隣接データ単位及び上端隣接データ単位のうち一つだけ現在データ単位と併合される場合、並びに左側隣接データ単位及び上端隣接データ単位がいずれも現在データ単位と併合される場合には、隣接データ単位のパーティションタイプ別に、データ単位の併合いかんの組み合わせによって、併合情報のコンテクストモデルが設定される。その場合、表0の併合情報は、それぞれのコンテクストモデルインデックス1ないし6のうち一つが割り当てられている。また、予測モードとして、スキップモード及びダイレクトモードが支援される場合には、左側隣接データ単位及び上端隣接データ単位のうち、少なくとも一つがスキップモードまたはダイレクトモードである場合について、隣接データ単位のパーティションタイプ別に、併合情報のコンテクストモデルが設定され、それぞれの併合情報は、コンテクストモデルインデックス7ないし9のうち一つに割り当てられる。従って、一実施形態によるビデオ復号化装置20は、コンテクストモデリングによる併合情報を読み取り、現在データ単位と隣接データ単位との併合いかん、並びに隣接データ単位の予測モード及びパーティションタイプを分析することができる。一実施形態によるビデオ復号化装置20は、現在データ単位と併合される隣接データ単位の動き情報を利用して、現在データ単位の動き情報を類推することができる。これ以外に、一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20は、データ単位併合によって形成された併合されたデータ単位の形態が正四角形であるならば、併合されたデータ単位について変換を行うことができる。また、一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20で、現在データ単位と併合する隣接データ単位は、イントラ予測方向情報を共有することができる。データ単位併合によって形成された併合されたデータ単位のためのイントラ予測方向に係わる情報は、データ単位別に符号化されたり復号化されるのではなく、合されたデータ単位について一回だけ符号化または復号化される。図16は、一実施形態によって、現在データ単位と併合されるように決定された隣接データ単位の利用例を図示している。一実施形態によるビデオ符号化装置10、及び一実施形態によるビデオ復号化装置20は、現在データ単位165と併合される隣接データ単位の境界を拡張し、現在データ単位のパーティション分割に利用することもできる。例えば、現在データ単位165が、左側隣接データ単位164,165,166と併合される場合、左側隣接データ単位164,165,166の境界が、現在データ単位165まで拡張される。現在データ単位165は、左側隣接データ単位164,165,166の拡張された境界によって、パーティション167,168,169に分割される。図17は、一実施形態によるデータ単位の併合を利用したビデオ符号化方法のフローチャートを図示している。段階171で、現在ピクチャ符号化のためのデータ単位、及びデータ単位ごとに行われる予測符号化を含む符号化方式を示す符号化モードが決定される。段階172で、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんが決定される。データ単位は、予測符号化のための予測単位、及び予測単位の詳細予測符号化のためのパーティションを含んでもよい。現在データ単位の上端境界に接する全ての上端隣接データ単位、及び左側境界に接する全ての左側隣接データ単位において、現在データ単位と併合されるデータ単位が検索される。また、現在データ単位の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位のうちでも、現在データ単位と併合されるデータ単位が検索されもする。段階173で、データ単位別に、隣接データ単位との併合いかんに基づいて、予測モード情報、併合関連情報及び予測関連情報が決定され、予測モード情報、併合関連情報及び予測関連情報を含み、データ単位に係わる符号化情報が符号化される。スキップモード及びダイレクトモードであるデータ単位についても、データ単位の併合関連情報が符号化される。従って、所定隣接データ単位との併合いかんが決定されるデータ単位については、スキップモード情報またはダイレクトモード情報が符号化された後、併合関連情報が符号化される。併合関連情報は、現在データ単位と隣接データ単位との併合いかんを示す併合情報、及び隣接データ単位を示す併合インデックス情報を含んでもよい。スキップモード情報と併合関連情報とが、いずれも予測単位について符号化される場合には、スキップモード情報及び併合関連情報が符号化された後、予測単位の予測モード情報及びパーティションタイプ情報が符号化される。スキップモード情報は、予測単位について符号化され、併合関連情報は、パーティションについて符号化される場合には、予測単位のスキップモード情報、予測モード情報及びパーティションタイプ情報が符号化された後、パーティション別に、併合関連情報が符号化される。図18は、一実施形態によるデータ単位の併合を利用したビデオ復号化方法のフローチャートを図示している。段階181で、受信されたビットストリームをパージングし、ビットストリームから符号化されたビデオデータ及び符号化情報が抽出され、符号化情報のうち、予測モード情報、併合関連情報及び予測関連情報が抽出される。一実施形態による併合関連情報は、現在データ単位について、スキップモード情報またはダイレクトモード情報の読み取り結果に基づいて抽出される。例えば、スキップモードではないデータ単位について、併合関連情報が抽出される。または、スキップモード及びダイレクトモードではないインターモードのデータ単位について、併合関連情報が抽出される。併合関連情報から、現在データ単位と隣接データ単位との併合いかんを示す併合情報、及び隣接データ単位を示す併合インデックス情報が判読される。一実施形態によって、スキップモード情報と併合関連情報とが、いずれも予測単位ごとに抽出される場合には、スキップモード情報及び併合関連情報が抽出された後、予測単位の予測モード情報及びパーティションタイプ情報が抽出される。一実施形態によってスキップモード情報は、予測単位レベルで抽出され、併合関連情報は、パーティションレベルで抽出される場合には、予測単位のスキップモード情報、予測モード情報及びパーティションタイプ情報が抽出された後、パーティション別に併合関連情報が抽出される。段階182で、予測モード情報及び併合関連情報に基づいて、データ単位別に、予測モード及び符号化モードのうち少なくとも一つに基づいて、少なくとも1つの隣接データ単位との併合いかんが分析される。隣接データ単位と併合されたデータ単位について、隣接データ単位の予測関連情報を利用して、インター予測及び動き補償を行いつつ、符号化情報に基づいて、決定されたデータ単位別に符号化されたビデオデータが復号化される。併合情報及び併合インデックス情報に基づいて、現在データ単位の上端境界に接する全ての上端隣接データ単位、並びに左側境界に接する全ての左側隣接データ単位において、現在データ単位と併合されるデータ単位が決定される。また、現在データ単位の左側上端コーナー、右側上端コーナー、左側下端コーナーに接する隣接データ単位のうちでも、現在データ単位と併合されるデータ単位が決定される。現在データ単位と併合されたデータ単位の動き関連情報を利用して、現在データ単位の動き関連情報が再構成される。動き関連情報を利用して、現在データ単位の動き補償を介して、現在データ単位が復元されて現在ピクチャが復元される。以下、図19ないし図33を参照し、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置及び方法と、ビデオ復号化装置及び方法とを開示する。図19は、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置のブロック図を図示している。一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置100は、最大符号化単位分割部110、符号化単位決定部120及び出力部130を含む。以下、説明の便宜のために、一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置100は、ビデオ符号化装置100と縮約して指称する。最大符号化単位分割部110は、映像の現在ピクチャのための最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャを区画することができる。現在ピクチャが最大符号化単位より大きければ、現在ピクチャの映像データは、少なくとも1つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ32x32,64x64,128x128,256x256のようなデータ単位であり、縦横のサイズが2の自乗である正四角形のデータ単位であってもよい。映像データは、少なくとも1つの最大符号化単位別に、符号化単位決定部120に出力される。一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、最大符号化単位から符号化単位が空間的に分割された回数を示し、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義される。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは減少するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含んでもよい。一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域spatialdomainの映像データが、深度によって階層的に分類される。最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されている。符号化単位決定部120は、深度ごとに最大符号化単位の領域が分割された少なくとも1つの分割領域を符号化し、少なくとも1つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化単位決定部120は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最小の符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された符号化深度及び最大符号化単位別映像データは、出力部130に出力される。最大符号化単位内の映像データは、最大深度以下の少なくとも1つの深度に従って深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較、結果符号化誤差が最小である深度が選択される。それぞれの最大化符号化単位ごとに、少なくとも1つの符号化深度が決定される。最大符号化単位のサイズは、深度が深くなるにつれて符号化単位が階層的に分割されて分割され、符号化単位の個数は増加する。また、1つの最大符号化単位に含まれる同一の深度の符号化単位であるとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への分割いかんが決定される。従って、1つの最大符号化単位に含まれるデータであるとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される。従って、1つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって区画される。従って、一実施形態による符号化単位決定部120は、現在最大符号化単位に含まれるツリー構造による符号化単位が決定される。一実施形態によるツリー構造による符号化単位は、現在最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では、深度に従って階層的に決定され、他の領域については、独立して決定される。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定される。一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第1最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による第2最大深度は、最大符号化単位から最小符号化単位までの深度レベルの全個数を示す。例えば、最大符号化単位の深度が0であるとするとき、最大符号化単位が1回分割された符号化単位の深度は、1に設定され、2回分割された符号化単位の深度が2に設定される。その場合、最大符号化単位から4回分割された符号化単位が最小符号化単位であるならば、深度0,1,2,3及び4の深度レベルが存在するので、第1最大深度は4、第2最大深度は、5に設定される。最大符号化単位の予測符号化及び変換が行われる。予測符号化及び変換も同様に、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に行われる。一実施形態によって、ビデオ符号化のために行う変換は、周波数変換、直交変換、定数変換などを含んでもよい。最大符号化単位が深度別に分割されるたびに、深度別符号化単位の個数が増加するので、深度が深くなるにつれて、生成される全ての深度別符号化単位について、予測符号化及び変換を含んだ符号化が行われなければならない。以下、説明の便宜のために、少なくとも1つの最大符号化単位のうち、現在深度の符号化単位を基に、予測符号化及び変換を説明する。一実施形態によるビデオ符号化装置100は、映像データの符号化のためのデータ単位のサイズまたは形態を多様に選択することができる。映像データの符号化のためには、予測符号化、変換、エントロピ符号化などの段階を経るが、全ての段階にわたって、同一のデータ単位が使用されもし、段階別にデータ単位が変更されもする。例えば、ビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位の映像データの予測符号化を行うために、符号化単位と異なるデータ単位を選択することができる。最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測符号化の基盤になるそれ以上分割されない符号化単位を予測単位と指称する。予測単位が分割されたパーティションは、予測単位及び予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位を含んでもよい。例えば、サイズ2Nx2Nただし、Nは、正の整数の符号化単位が、それ以上分割されない場合、サイズ2Nx2Nの予測単位になって、パーティションのサイズは、2Nx2N,2NxN,Nx2N,NxNである。一実施形態によるパーティションタイプは、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションだけではなく、1:nまたはn:1のように非対称的である比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含んでもよい。予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つである。例えば、イントラモード及びインターモードは、2Nx2N,2NxN,Nx2N,NxNサイズのパーティションについて行われる。また、スキップモードは、2Nx2Nサイズのパーティションについてのみ行われる。符号化単位以内の1つの予測単位ごとに独立して符号化が行われ、符号化誤差が最小である予測モードが選択される。また、一実施形態によるビデオ符号化装置100は、映像データの符号化のための符号化単位だけではなく、符号化単位と異なるデータ単位を基に、符号化単位の映像データの変換を行うことができる。符号化単位の変換のためには、符号化単位より小さいか、あるいは同じであるサイズの変換単位を基に変換が行われる。例えば、変換単位は、イントラモードのためのデータ単位及びインターモードのための変換単位を含んでもよい。一実施形態によるツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小サイズの変換単位に分割されながら、符号化単位の残差データが、変換深度に従って、ツリー構造による変換単位によって区画される。一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ2Nx2Nの現在符号化単位の変換単位のサイズが2Nx2Nであるならば、変換深度0、変換単位のサイズがNxNであるならば、変換深度1、変換単位のサイズがN/2xN/2であるならば、変換深度2に設定される。すなわち、変換単位についても、変換深度に従って、ツリー構造による変換単位が設定される。符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び変換関連情報が必要である。従って、符号化単位決定部120は、最小符号化誤差を発生させた符号化深度だけではなく、予測単位をパーティションに分割したパーティションタイプ、予測単位別予測モード、変換のための変換単位のサイズなどを決定することができる。一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図11及び図12を参照して詳述する。符号化単位決定部120は、深度別符号化単位の符号化誤差をラグランジュ乗数Lagrangianmultiplier基盤の率歪曲最適化技法ratedistortionoptimizationを利用して測定することができる。出力部130は、符号化単位決定部120で決定された少なくとも1つの符号化深度に基づいて符号化された最大符号化単位の映像データ及び深度別符号化モードについての情報をビットストリーム形態で出力する。符号化された映像データは、映像の残差データの符号化結果であってもよい。深度別符号化モードについての情報は、符号化深度情報、予測単位のパーティションタイプ情報、予測モード情報、変換単位のサイズ情報などを含んでもよい。符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義される。一方、現在符号化単位の現在深度が符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みることになるので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義される。現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同一の深度の符号化単位ごとに、再帰的recursive符号化が行われる。1つの最大符号化単位中に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも1つの符号化モードについての情報が決定されなければならないので、1つの最大符号化単位については、少なくとも1つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度に従って階層的に区画され、位置別に符号化深度が異なるので、データについて、符号化深度及び符号化モードについての情報が設定される。従って、一実施形態による出力部130は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち、少なくとも一つについて、当該符号化深度及び符号化モードに係わる符号化情報を割り当てられる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正四角形のデータ単位である。一実施形態による最小単位は、最大符号化単位に含まれる全ての符号化単位、予測単位、パーティション単位、及び変換単位内に含まれることができる最大サイズの正方形データ単位であってもよい。例えば、出力部130を介して出力される符号化情報は、深度別符号化単位別符号化情報と、予測単位別符号化情報とに分類される。深度別符号化単位別符号化情報は、予測モード情報、パーティションサイズ情報を含んでもよい。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ成分についての情報、イントラモードの補間方式についての情報などを含んでもよい。また、ピクチャ、スライスまたはGOP別に定義される符号化単位の最大サイズについての情報及び最大深度についての情報は、ビットストリームのヘッダに挿入される。ビデオ符号化装置100の最も簡単な形態の実施形態によれば、深度別符号化単位は、1階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度の符号化単位のサイズが2Nx2Nであるならば、下位深度の符号化単位のサイズは、NxNである。また、2Nx2Nサイズの現在符号化単位は、NxNサイズの下位深度符号化単位を最大4個含む。従って、ビデオ符号化装置100は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。ビデオ符号化装置100は、類似の予測関連情報を有する相互隣接するデータ単位同士予測関連情報を共有するためにデータ単位併合技法を追加して遂行することができる。ビデオ符号化装置100の符号化単位決定部120が、一実施形態によるビデオ符号化装置10の符号化モード決定部11及びデータ併合決定部13を含み、ビデオ符号化装置100において出力部130が、一実施形態によるビデオ符号化装置10の符号化情報決定部15を含む。それによって、ビデオ符号化装置100の符号化単位決定部120は、ツリー構造による符号化単位、予測単位及びパーティションについて、隣接するデータ単位間のデータ単位併合を行うか否かを決定し、出力部130は、符号化単位に係わる符号化情報に併合関連情報を含んで符号化することができる。一実施形態による符号化単位決定部120は、ツリー構造による符号化単位の現在予測単位または現在パーティションの予測モードが、スキップモードまたはダイレクトモードであるとしても、隣接データ単位との予測関連情報を共有するためのデータ単位併合の可能性を分析することができる。一実施形態による符号化単位決定部120は、現在予測単位または現在パーティションと併合される隣接データ単位の候補群に、現在予測単位または現在パーティションの左側境界に隣接する全ての左側隣接データ単位、上端境界に隣接する全ての上端隣接データ単位を含む。また、一実施形態によるツリー構造による符号化単位に基づいて、現在予測単位または現在パーティションの左側下端コーナーに隣接する左側下端隣接データ単位も、スキャニング順序または復号化順序によって参照される。従って、一実施形態による符号化単位決定部120は、現在予測単位または現在パーティションの併合候補群に、全ての左側隣接データ単位、全ての上端隣接データ単位だけではなく、左側上端コーナー、右側上端コーナー及び左側下端コーナーに隣接するデータ単位をさらに含む。また、現在予測単位または現在パーティションの予測モードに基づいて、データ単位併合可能性が決定されるので、予測モード情報と併合情報との符号化は、互いに密接に関連している。例えば、一実施形態による出力部130は、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップ情報、またはダイレクト情報に基づいて、併合関連情報が続けて設定されるように、符号化情報を符号化することができる。一実施形態によるビデオ符号化装置100によって構成されたツリー構造による符号化単位は、多様な形態、並びに多様な予測モードの予測単位及びパーティションを含むので、現在予測単位またはパーティションの上端境界及び左側境界には、多様な形態、及び多様な予測モードの予測単位またはパーティションが接することができる。一実施形態による符号化単位決定部120は、現在予測単位またはパーティションの上端境界及び左側境界に接する多様な全ての隣接予測単位または隣接パーティションについて、現在データ単位とのデータ単位併合の可能性を検索し、併合対象を決定することができる。それによって、ツリー構造による符号化単位に基づいて、現在予測単位またはパーティションが、さらに多様なサイズ、形態、位置の隣接データ単位と予測関連情報とを共有することができるので、幅広い範囲の周辺情報を利用して、重複データが除去され、ビデオ符号化効率が向上するのである。図20は、本発明の一実施形態によって、ツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置のブロック図を図示している。一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置200は、受信部210、映像データ及び符号化情報抽出部220及び映像データ復号化部230を含む。以下、説明の便宜のために、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置200は、ビデオ復号化装置200と縮約して指称する。一実施形態によるビデオ復号化装置200の各種プロセッシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など各種用語の定義は、図19及びビデオ符号化装置100を参照して説明したところと同一である。受信部210は、符号化されたビデオに係わるビットストリームを受信してパージングparsingする。映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データを抽出し、映像データ復号化部230に出力する。映像データ及び符号化情報抽出部220は、現在ピクチャに係わるヘッダから、現在ピクチャ符号化単位の最大サイズについての情報を抽出することができる。また、映像データ及び符号化情報抽出部220は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部230に出力される。すなわち、ビット列の映像データを最大符号化単位に分割し、映像データ復号化部230が最大符号化単位ごとに、映像データを復号化する。最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティションタイプ情報、予測モード情報及び変換単位のサイズ情報などを含む。また、一実施形態による符号化深度及び符号化モードに係わる符号化情報は、現在予測単位または現在パーティションに係わる併合関連情報をさらに含む。映像データ及び符号化情報抽出部220が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態によるビデオ符号化装置100のように符号化端で、最大符号化単位別深度別符号化単位ごとに、反復して符号化を行い、最小符号化誤差を発生させることによって決定された符号化深度及び符号化モードについての情報である。従って、ビデオ復号化装置200は、最小符号化誤差を発生させる符号化方式によってデータを復号化して映像を復元することができる。一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち、所定データ単位について割り当てられているので、映像データ及び符号化情報抽出部220は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同一の符号化深度及び符号化モードについての情報を有している所定データ単位は、同一の最大符号化単位に含まれるデータ単位と類推される。映像データ復号化部230は、最大符号化単位別符号化深度及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部230は、最大符号化単位に含まれるツリー構造による符号化単位ののうち、それぞれの符号化単位ごとに、判読されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む予測過程、並びに逆変換過程を含む。映像データ復号化部230は、符号化深度別符号化単位の予測単位のパーティションタイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、映像データ復号化部230は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報を含んでツリー構造による変換単位を読み取り、符号化単位ごとに、変換単位に基づいた逆変換を行うことができる。映像データ復号化部230は、深度別分割情報を利用して、現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないことを示しているのであれば、現在深度が符号化深度である。従って、映像データ復号化部230は、現在最大符号化単位の映像データについて、現在深度の符号化単位を、予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報を利用して、復号化することができる。すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同一の分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部230によって同一の符号化モードで復号化する1つのデータ単位と見なされる。また、ビデオ復号化装置200は、データ単位併合技法を利用して、現在予測単位または現在パーティションの周辺データ単位の予測関連情報を利用して、現在予測単位またはパーティションを復元することができる。このために、ビデオ復号化装置200の受信部210及び映像データ及び符号化情報抽出部220は、一実施形態によるビデオ復号化装置20のパージング部/抽出部21を含み、ビデオ復号化装置200の映像データ復号化部230が、一実施形態によるビデオ復号化装置20のデータ単位併合決定部23を含む。一実施形態による映像データ及び符号化情報抽出部220は、符号化モードについての情報のうち、予測モード情報及び併合関連情報を抽出することができる。一実施形態による映像データ及び符号化情報抽出部220は、予測モード情報及び併合関連情報の密接な関連性に基づいて、符号化モードについての情報のうち、予測モード情報によって、併合関連情報の抽出及び読み取りの可能性を決定することができる。例えば、一実施形態による映像データ及び符号化情報抽出部220は、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップモード情報、またはダイレクト情報に基づいて、併合関連情報を続けて抽出することができる。また、併合関連情報として、併合情報及び併合インデックス情報が抽出される。一実施形態によるビデオ復号化装置200の映像データ復号化部230は、符号化深度及び符号化モードについての情報に基づいて、ツリー構造による符号化単位を構成することができ、ツリー構造による符号化単位のうち、それぞれの符号化単位は、多様な形態及び多様な予測モードの予測単位及びパーティションを含んでいる。一実施形態によるビデオ復号化装置200の映像データ復号化部230は、併合関連情報に基づいて、現在予測単位またはパーティションの上端境界及び左側境界に接する多様な隣接予測単位または隣接パーティション全部について、現在データ単位と併合されるか否かを検索し、併合対象を決定することができる。併合された隣接予測単位またはパーティションの予測関連情報を参照し、現在予測単位またはパーティションの予測関連情報が決定されるか、あるいは誘導される。ビデオ復号化装置200は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる符号化情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位として決定されたツリー構造による符号化単位の符号化された映像データの復号化が可能になる。また、ツリー構造による符号化単位に基づいて、多様なサイズ及び形態の隣接データ単位の予測関連情報を共有して符号化されたデータも、密接な関連性に基づいて設定された予測関連情報及び併合関連情報に基づいて、隣接データ単位の予測関連情報を参照して正確に復号化される。以下、図21ないし図31を参照し、本発明の一実施形態によるツリー構造による符号化単位、予測単位及び変換単位の決定方式について説明する。図21は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位のサイズが幅x高さで表現され、サイズ64x64である符号化単位から、32x32,16x16,8x8を含む。サイズ64x64の符号化単位は、サイズ64x64,64x32,32x64,32x32のパーティションに分割され、サイズ32x32の符号化単位は、サイズ32x32,32x16,16x32,16x16のパーティションに、サイズ16x16の符号化単位は、サイズ16x16,16x8,8x16,8x8のパーティションに、サイズ8x8の符号化単位は、サイズ8x8,8x4,4x8,4x4のパーティションに分割される。ビデオデータ310については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が2に設定されている。ビデオデータ320については、解像度が1920x1080、符号化単位の最大サイズが64、最大深度が3に設定されている。ビデオデータ330については、解像度が352x288、符号化単位の最大サイズが16、最大深度が1に設定されている。図11に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。解像度が高かったり、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ330に比べて、解像度が高いビデオデータ310,320は、符号化サイズの最大サイズが64に選択される。ビデオデータ310の最大深度が2であるので、ビデオデータ310の符号化単位315は、長軸サイズが64である最大符号化単位から、2回分割して深度が2階層深くなり、長軸サイズが32,16である符号化単位まで含む。一方、ビデオデータ330の最大深度が1であるので、ビデオデータ330の符号化単位335は、長軸サイズが16である符号化単位から、1回分割して深度が1階層深くなり、長軸サイズが8である符号化単位まで含む。ビデオデータ320の最大深度が3であるので、ビデオデータ320の符号化単位325は、長軸サイズが64である最大符号化単位から、3回分割して深度が3階層深くなり、長軸サイズが32,16,8である符号化単位まで含む。深度が深くなるほど、詳細情報の表現能力が向上するのである。図22は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。一実施形態による映像符号化部400は、ビデオ符号化装置100の符号化単位決定部120で、映像データを符号化するのに経る作業を含む。すなわち、イントラ予測部410は、現在フレーム405のうち、イントラモードの符号化単位についてイントラ予測を行い、動き推定部420及び動き補償部425は、インターモードの現在フレーム405及び参照フレーム495を利用して、インター推定及び動き補償を行う。イントラ予測部410、動き推定部420及び動き補償部425から出力されたデータは、周波数変換部430及び量子化部440を経て、量子化された変換係数として出力される。量子化された変換係数は、逆量子化部460、周波数逆変換部470を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部480及びループフィルタリング部490を経て後処理され、参照フレーム495として出力される。量子化された変換係数は、エントロピ符号化部450を経て、ビットストリーム455として出力される。一実施形態によるビデオ符号化装置100に適用されるためには、映像符号化部400の構成要素である、イントラ予測部410、動き推定部420、動き補償部425、周波数変換部430、量子化部440、エントロピ符号化部450、逆量子化部460、周波数逆変換部470、デブロッキング部480及びループフィルタリング部490がいずれも、最大符号化単位ごとに、最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいた作業を行わなければならない。特に、イントラ予測部410、動き推定部420及び動き補償部425は、現在最大符号化単位の最大サイズ及び最大深度を考慮して、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部430は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを決めなければならない。図23は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム505がパージング部510を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化についての情報がパージングされる。符号化された映像データは、エントロピ復号化部520及び逆量子化部530を経て、逆量子化されたデータとして出力され、周波数逆変換部540を経て、空間領域の映像データが復元される。空間領域の映像データについて、イントラ予測部550は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部560は、参照フレーム585を共に利用して、インターモードの符号化単位について動き補償を行う。イントラ予測部550及び動き補償部560を経た空間領域のデータは、デブロッキング部570及びループフィルタリング部580を経て後処理され、復元フレーム595に出力される。また、デブロッキング部570及びループフィルタリング部580を経て後処理されたデータは、参照フレーム585として出力される。ビデオ復号化装置200の映像データ復号化部230で映像データを復号化するために、一実施形態による映像復号化部500のパージング部510以後の段階別作業が行われる。一実施形態によるビデオ復号化装置200に適用されるためには、映像復号化部400の構成要素であるパージング部510、エントロピ復号化部520、逆量子化部530、周波数逆変換部540、イントラ予測部550、動き補償部560、デブロッキング部570及びループフィルタリング部580がいずれも、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。特に、イントラ予測部550、動き補償部560は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、周波数逆変換部540は、符号化単位ごとに、変換単位のサイズを決めなければならない。図24は、本発明の一実施形態による深度別符号化単位及びパーティションを図示している。一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、映像特性を考慮するために、階層的な符号化単位を使う。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定される。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが決定される。一実施形態による符号化単位の階層構造600は、符号化単位の最大高さ及び幅が64であり、最大深度が4である場合を図示している。このとき、最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。一実施形態による符号化単位の階層構造600の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造600の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる予測単位及びパーティションが図示されている。すなわち、符号化単位610は、符号化単位の階層構造600において、最大符号化単位として深度が0であり、符号化単位のサイズ、すなわち、高さ及び幅が64x64である。縦軸に沿って深度が深くなり、サイズ32x32である深度1の符号化単位620、サイズ16x16である深度2の符号化単位630、サイズ8x8である深度3の符号化単位640が存在する。サイズ8x8である深度3の符号化単位640は、最小符号化単位である。それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度0のサイズ64x64の符号化単位610が予測単位であるならば、予測単位は、サイズ64x64の符号化単位610に含まれるサイズ64x64のパーティション610、サイズ64x32のパーティション612、サイズ32x64のパーティション614、サイズ32x32のパーティション616に分割される。同様に、深度1のサイズ32x32の符号化単位620の予測単位は、サイズ32x32の符号化単位620に含まれるサイズ32x32のパーティション620、サイズ32x16のパーティション622、サイズ16x32のパーティション624、サイズ16x16のパーティション626に分割される。同様に、深度2のサイズ16x16の符号化単位630の予測単位は、サイズ16x16の符号化単位630に含まれるサイズ16x16のパーティション630、サイズ16x8のパーティション632、サイズ8x16のパーティション634、サイズ8x8のパーティション636に分割される。同様に、深度3のサイズ8x8の符号化単位640の予測単位は、サイズ8x8の符号化単位640に含まれるサイズ8x8のパーティション640、サイズ8x4のパーティション642、サイズ4x8のパーティション644、サイズ4x4のパーティション646に分割される。一実施形態によるビデオ符号化装置100の符号化単位決定部120は、最大符号化単位610の符号化深度を決定するために、最大符号化単位610に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。同一の範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度1の符号化単位一つが含むデータについて、深度2の符号化単位は、四つが必要である。従って、同一のデータの符号化結果を深度別に比較するために、1つの深度1の符号化単位及び4つの深度2の符号化単位を利用して、それぞれ符号化されなければならない。それぞれの深度別符号化のためには、符号化単位の階層構造600の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造600の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して最小符号化誤差が検索される。最大符号化単位610において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位610の符号化深度及びパーティションタイプに選択される。図25は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じであるサイズの符号化単位で映像を符号化したり復号化する。符号化過程において、変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択される。例えば、一実施形態によるビデオ符号化装置100、または一実施形態によるビデオ復号化装置200で、現在符号化単位710が64x64サイズであるとき、32x32サイズの変換単位720を利用して変換が行われる。また、64x64サイズの符号化単位710のデータを、64x64サイズ以下の32x32,16x16,8x8,4x4サイズの変換単位にそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。図26は、本発明の一実施形態によって、深度別符号化情報を図示している。一実施形態によるビデオ符号化装置100の出力部130は、符号化モードについての情報として、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズに係わる情報820を符号化して伝送することができる。パーティションタイプに係わる情報800は、現在符号化単位の予測符号化のためのデータ単位であり、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ2Nx2Nの現在符号化単位CU_0は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806、サイズNxNのパーティション808のうち、いずれか1つのタイプに分割されて利用される。その場合、現在符号化単位のパーティションタイプについての情報800は、サイズ2Nx2Nのパーティション802、サイズ2NxNのパーティション804、サイズNx2Nのパーティション806及びサイズNxNのパーティション808のうち一つを示すように設定される。予測モードについての情報810は、それぞれのパーティションの予測モードを示す。例えば、予測モードについての情報810を介して、パーティションタイプについての情報800が示すパーティションが、イントラモード812、インターモード814及びスキップモード816のうち一つで、予測符号化が行われるかが設定される。また、変換単位サイズについての情報820は、現在符号化単位を、いかなる変換単位を基に変換を行うかを示す。例えば、変換単位は、第1イントラ変換単位サイズ822、第2イントラ変換単位サイズ824、第1インター変換単位サイズ826、第2イントラ変換単位サイズ828のうち一つである。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部210は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報800、予測モードについての情報810、変換単位サイズに係わる情報820を抽出し、復号化に利用することができる。図26に図示されていないが、一実施形態による符号化モードについての情報は、併合関連情報を含み、併合関連情報は、インターモード、イントラモード、スキップモード、ダイレクトモードなどの予測モードについての情報810に基づいて設定される。例えば、予測モードについての情報810がスキップモードである場合には、併合関連情報が選択的に設定される。予測モードについての情報810がスキップモード及びダイレクトモードではないインターモードである場合にだけ、併合関連情報が設定される。図27は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用される。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。深度0及び2N_0x2N_0サイズの符号化単位900の予測符号化のための予測単位910は、2N_0x2N_0サイズのパーティションタイプ912、2N_0xN_0サイズのパーティションタイプ914、N_0x2N_0サイズのパーティションタイプ916、N_0xN_0サイズのパーティションタイプ918を含む。予測単位が対称的である比率に分割されたパーティション912,914,916,918だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含む。パーティションタイプごとに、1つの2N_0x2N_0サイズのパーティション、2つの2N_0xN_0サイズのパーティション、2つのN_0x2N_0サイズのパーティション、4つのN_0xN_0サイズのパーティションごとに、反復して予測符号化が行われなければならない。サイズ2N_0x2N_0、サイズN_0x2N_0、サイズ2N_0xN_0及びサイズN_0xN_0のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ2N_0x2N_0のパーティションについてのみ予測符号化が行われる。サイズ2N_0x2N_0,2N_0xN_0及びN_0x2N_0のパーティションタイプ912,914,916のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。サイズN_0xN_0のパーティションタイプ918による符号化誤差が最も小さければ、深度0を1に変更しながら分割し920、深度2及びサイズN_0xN_0のパーティションタイプの符号化単位930に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。深度1及びサイズ2N_1x2N_1=N_0xN_0の符号化単位930の予測符号化のための予測単位940は、サイズ2N_1x2N_1のパーティションタイプ942、サイズ2N_1xN_1のパーティションタイプ944、サイズN_1x2N_1のパーティションタイプ946、サイズN_1xN_1のパーティションタイプ948を含む。また、サイズN_1xN_1サイズのパーティションタイプ948による符号化誤差が最も小さければ、深度1を深度2に変更しながら分割し950、深度2及びサイズN_2xN_2の符号化単位960に対して反復して符号化を行い、最小符号化誤差を検索して行くことができる。最大深度がdである場合、深度別分割情報は、深度d-1になるまで設定され、分割情報は、深度d-2まで設定される。すなわち、深度d-2から分割され970、深度d-1まで符号化が行われる場合、深度d-1及びサイズ2N_d-1x2N_d-1の符号化単位980の予測符号化のための予測単位990は、サイズ2N_d-1x2N_d-1のパーティションタイプ992、サイズ2N_d-1xN_d-1のパーティションタイプ994、サイズN_d-1x2N_d-1のパーティションタイプ996、サイズN_d-1xN_d-1のパーティションタイプ998を含む。パーティションタイプのうち、1つのサイズ2N_d-1x2N_d-1のパーティション、2つのサイズ2N_d-1xN_d-1のパーティション、2つのサイズN_d-1x2N_d-1のパーティション、4つのサイズN_d-1xN_d-1のパーティションごとに、反復して予測符号化を介した符号化が行われ、最小符号化誤差が生じるパーティションタイプが検索される。サイズN_d-1xN_d-1のパーティションタイプ998による符号化誤差が最も小さいとしても、最大深度がdであるので、深度d-1の符号化単位CU_d-1は、それ以上下位深度への分割過程を経ず、現在最大符号化単位900に係わる符号化深度が深度d-1に決定され、パーティションタイプは、N_d-1xN_d-1に決定される。また、最大深度がdであるので、深度d-1の符号化単位952に対して、分割情報は設定されない。データ単位999は、現在最大符号化単位に係わる最小単位であると指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が4分割されたサイズの正四角形のデータ単位である。このような反復符号化過程を介して、一実施形態によるビデオ符号化装置100は、符号化単位900の深度別符号化誤差を比較し、最小の符号化誤差が生じる深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定される。このように、深度0,1,...,d-1,dの全ての深度別最小符号化誤差を比較し、誤差が最小である深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティションタイプ及び予測モードは、符号化モードについての情報として符号化されて伝送される。また、深度0から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが0に設定され、符号化深度を除いた深度別分割情報は、1に設定されなければならない。一実施形態によるビデオ復号化装置200の映像データ及び符号化情報抽出部220は、符号化単位900に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位912を復号化するのに利用される。一実施形態によるビデオ復号化装置200は、深度別分割情報を利用して、分割情報が0である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用し、復号化に利用することができる。図28、図29及び図30は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。符号化単位1010は、最大符号化単位について、一実施形態によるビデオ符号化装置100が決めた符号化深度別符号化単位である。予測単位1060は、符号化単位1010において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位1070は、それぞれの符号化深度別符号化単位の変換単位である。深度別符号化単位1010は、最大符号化単位の深度が0であるならば、符号化単位1012,1054は、深度が1、符号化単位1014,1016,1018,1028,1050,1052は、深度が2、符号化単位1020,1022,1024,1026,1030,1032,1048は、深度が3、符号化単位1040,1042,1044,1046は、深度が4である。予測単位1060において、一部パーティション1014,1016,1022,1032,1048,1050,1052,1054は、符号化単位が分割された形態である。すなわち、パーティション1014,1022,1050,1054は、2NxNのパーティションタイプであり、パーティション1016,1048,1052は、Nx2Nのパーティションタイプ、パーティション1032は、NxNのパーティションタイプである。深度別符号化単位1010の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。変換単位1070において、一部1052の映像データについては、符号化単位に比べて小さいサイズのデータ単位で、変換または逆変換が行われる。また、変換単位1014,1016,1022,1032,1048,1050,1052,1054は、予測単位1060において、当該予測単位及びパーティションと比べれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200は、同一の符号化単位に係わるイントラ予測/動き推定/動き補償作業、及び変換/逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。それによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに、再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含む。以下、表1は、一実施形態によるビデオ符号化装置100、及び一実施形態によるビデオ復号化装置200で設定することができる一例を示している。一実施形態によるビデオ符号化装置100の出力部130は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置200の符号化情報抽出部220は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度dの分割情報が0であるならば、現在符号化単位が、下位符号化単位にそれ以上分割されない深度が符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、1段階さらに分割されなければならない場合には、分割された4個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプで定義され、スキップモードは、パーティションタイプ2Nx2Nでのみ定義される。パーティションタイプ情報は、予測単位の高さまたは幅が対称的である比率に分割された対称的パーティションタイプ2Nx2N,2NxN,Nx2N及びNxNと、非対称的である比率に分割された非対称的パーティションタイプ2NxnU,2NxnD,nLx2N,nRx2Nとを示すことができる。非対称的パーティションタイプ2NxnU及び2NxnDは、それぞれ高さが1:3及び3:1に分割された形態であり、非対称的パーティションタイプnLx2N及びnRx2Nは、それぞれ幅が1:3及び3:1に分割された形態を示す。変換単位サイズは、イントラモードで2種のサイズ、インターモードで2種のサイズに設定される。すなわち、変換単位分割情報が0であるならば、変換単位のサイズが、現在符号化単位のサイズ2Nx2Nに設定される。変換単位分割情報が1であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ2Nx2Nである現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位のサイズは、NxN、非対称形パーティションタイプであるならば、N/2xN/2に設定される。一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち、少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含む。従って、隣接したデータ単位同士それぞれ保有している符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で現在符号化単位に隣接するデータが検索されることによって周辺符号化単位が参照される。図31は、表1の符号化情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位1300は、符号化深度の符号化単位1302,1304,1306,1312,1314,1316,1318を含む。このうち1つの符号化単位1318は、符号化深度の符号化単位であるので、分割情報が0に設定される。サイズ2Nx2Nの符号化単位1318のパーティションタイプ情報は、パーティションタイプ2Nx2N1322,2NxN1324、Nx2N1326、NxN1328,2NxnU1332,2NxnD1334、nLx2N1336及びnRx2N1338のうち一つに設定される。変換単位分割情報TUsizeflagは、変換インデックスの一種であり、変換インデックスに対応する変換単位のサイズは、符号化単位の予測単位タイプまたはパーティションタイプによって変更される。例えば、パーティションタイプ情報が、対称形パーティションタイプ2Nx2N1322,2NxN1324,Nx2N1326及びNxN1328のうち一つに設定されている場合、変換単位分割情報が0であるならば、サイズ2Nx2Nの変換単位1342が設定され、変換単位分割情報が1であるならば、サイズNxNの変換単位1344が設定される。パーティションタイプ情報が非対称形パーティションタイプ2NxnU1332,2NxnD1334,nLx2N1336及びnRx2N1338のうち一つに設定された場合、変換単位分割情報TUsizeflagが0であるならば、サイズ2Nx2Nの変換単位1352が設定され、変換単位分割情報が1であるならば、サイズN/2xN/2の変換単位1354が設定される。図31を参照して説明した変換単位分割情報TUsizeflagは、0または1の値を有するフラグであるが、一実施形態による変換単位分割情報が、1ビットのフラグに限定されるものではなく、設定によって0,1,2,3,...などに増加して変換単位が階層的に分割される。変換単位分割情報は、変換インデックスの一実施形態として利用される。その場合、一実施形態による変換単位分割情報を、変換単位の最大サイズ、変換単位の最小サイズと共に利用すれば、実際に利用された変換単位のサイズが表現される。一実施形態によるビデオ符号化装置100は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を符号化することができる。符号化された最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報は、SPSに挿入される。一実施形態によるビデオ復号化装置200は、最大変換単位サイズ情報、最小変換単位サイズ情報及び最大変換単位分割情報を利用し、ビデオ復号化に利用することができる。例えば、a現在符号化単位がサイズ64x64であり、最大変換単位サイズが32x32であるならば、a-1変換単位分割情報が0であるとき、変換単位のサイズが32x32、a-2変換単位分割情報が1であるとき、変換単位のサイズが16x16、a-3変換単位分割情報が2であるとき、変換単位のサイズが8x8に設定される。他の例として、b現在符号化単位がサイズ32x32であり、最小変換単位サイズが32x32であるならば、b-1変換単位分割情報が0であるとき、変換単位のサイズが32x32に設定され、変換単位のサイズが32x32より小さいなることがないので、それ以上の変換単位分割情報が設定されない。さらに他の例として、c現在符号化単位がサイズ64x64であり、最大変換単位分割情報が1であるならば、変換単位分割情報は、0または1であり、他の変換単位分割情報が設定されない。従って、最大変換単位分割情報をMaxTransformSizeIndex、最小変換単位サイズをMinTransformSize、変換単位分割情報が0である場合の変換単位サイズをRootTuSizeと定義するとき、現在符号化単位で可能である最小変換単位サイズCurrMinTuSizeは、以下の式1のように定義される。CurrMinTuSize=maxMinTransformSize,RootTuSize/2^MaxTransformSizeIndex1現在符号化単位で可能である最小変換単位サイズCurrMinTuSizeと比較し、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、システム上採択可能である最大変換単位サイズを示すことができる。すなわち、式1によれば、RootTuSize/2^MaxTransformSizeIndexは、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeを最大変換単位分割情報に相応する回数ほど分割された変換単位サイズであり、MinTransformSizeは、最小変換単位サイズであるので、それらのうちで小さい値が現在現在符号化単位で可能である最小変換単位サイズCurrMinTuSizeである。一実施形態による最大変換単位サイズRootTuSizeは、予測モードによって異なりもする。例えば、現在予測モードがインターモードであるならば、RootTuSizeは、以下の式2によって決定される。式2で、MaxTransformSizeは、最大変換単位サイズ、PUSizeは、現在予測単位サイズを示す。RootTuSize=minMaxTransformSize,PUSize2すなわち、現在予測モードがインターモードであるならば、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在予測単位サイズのうち小さい値に設定される。現在パーティション単位の予測モードが予測モードがイントラモードであるならば、RootTuSizeは、下の式3によって決定される。PartitionSizeは、現在パーティション単位のサイズを示す。RootTuSize=minMaxTransformSize、PartitionSize3すなわち、現在予測モードがイントラモードであるならば、変換単位分割情報が0である場合の変換単位サイズであるRootTuSizeは、最大変換単位サイズ及び現在パーティション単位サイズにおいて小さい値に設定される。ただし、パーティション単位の予測モードによって変わる一実施形態による現在最大変換単位サイズRootTuSizeは、一実施形態であるのみ、現在最大変換単位サイズを決定する要因は、これに限定されるのではないということに留意しなければならない。図32は、一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化方法のフローチャートを図示している。段階1210で、ビデオの現在ピクチャが最大符号化単位で区画することができる。段階1220で、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で、映像データを符号化し、最小の符号化誤差が生じる深度を選択して符号化深度として決定し、符号化深度として決定された深度の符号化単位によって構成されたツリー構造による符号化単位が決定される。決定された符号化単位によって符号化された最大符号化単位別映像データが出力される。段階1230で、ツリー構造による符号化単位の予測単位またはパーティションについて、隣接するデータ単位間のデータ単位併合を行うか否かが決定される。併合されるデータ単位間には、予測関連情報が共有される。一実施形態によるツリー構造による符号化単位の現在予測単位または現在パーティションは、予測モードがスキップモードまたはダイレクトモードであるとしても、隣接データ単位との予測関連情報を共有するためのデータ単位併合の必要性が分析される。段階1230で、ツリー構造による符号化単位の符号化モードに係わる情報は、併合情報及び併合インデックス情報を含む併合関連情報を含むように符号化される。ツリー構造による符号化単位に基づいて符号化された最大符号化単位の映像データ及び符号化モードについての情報がビットストリーム形態に出力される。図33は、本発明の一実施形態によってツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化方法のフローチャートを図示している。段階1310で、符号化されたビデオに係わるビットストリームが受信されてパージングされる。段階1320で、パージングされたビットストリームから最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位ごとに符号化された映像データが抽出され、符号化深度及び符号化モードについての情報が抽出される。符号化深度及び符号化モードについての情報のうち、一実施形態による併合関連情報が抽出される。予測モード情報に基づいて、併合関連情報の抽出及び読み取り可能性が決定される。例えば、ツリー構造による符号化単位の現在予測単位または現在パーティションのためのスキップモード情報、またはダイレクト情報に基づいて、併合関連情報が続けて抽出される。また併合関連情報として、併合情報及び併合インデックス情報が抽出される。段階1330で、最大符号化単位の符号化深度及び符号化モードについての情報に基づいて、ツリー構造による符号化単位の予測単位のパーティションタイプ、予測モード及び変換単位サイズ情報などを読み取り、最大符号化単位の映像データの復号化に利用される。また、併合関連情報に基づいて、現在データ単位に隣接する全ての隣接データ単位のうち、併合対象が検索されてデータ単位の併合が決定される。併合された隣接予測単位またはパーティションの予測関連情報を共有したり、参照して現在予測単位またはパーティションの予測関連情報が類推することによって、現在予測単位及びパーティションの動き予測及び補償が行われる。ツリー構造による符号化単位別動き予測及び補償を含んだ復号化を介して、最大符号化単位の映像データが復元され、現在ピクチャが復元される。一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ符号化装置100、及び一実施形態によるツリー構造による符号化単位に基づいて、データ単位の併合を利用するビデオ復号化装置200は、ツリー構造による多様なサイズ、多様な形態及び多様な予測モードの予測モード及びパーティションについて、相互予測関連情報の共有のためのデータ単位の併合可能性が検討されるので、多様な位置の隣接データ単位間に併合されて予測関連情報が共有される。それによって、さらに幅広い範囲の周辺情報を利用して、重複データが除去されるので、映像データの符号化効率が向上するのである。また、多様な予測モードと併合可能性との密接な関連性を考慮し、予測モード情報と併合関連情報が階層的、連続的に符号化/復号化されるので、符号化情報の符号化効率も向上するのである。一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体例えば、ROMreadonlymemory、フロッピー登録商標ディスク、ハードディスクなど、光学的判読媒体例えば、CDcompactdisc-ROM、DVDdigitalversatilediscのような記録媒体を含む。以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないであろう。"