(57)【要約】  現在ブロックの周辺に位置した複数の隣接サンプルを獲得する段階、複数の隣接サンプルのうち現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する段階、及び参照サンプルのサンプル値を、参照サンプルと現在サンプル間の距離を示す参照距離によって調整し、調整された参照サンプルのサンプル値を、現在サンプルの予測値として決定する段階を含む映像予測方法が提供される。
2019508944.tif 000002
【特許請求の範囲】
【請求項１】
現在ブロックの周辺に位置した複数の隣接サンプルを獲得する段階と、
前記複数の隣接サンプルのうち、前記現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する段階と、
前記参照サンプルのサンプル値を、前記参照サンプルと前記現在サンプルとの距離を示す参照距離によって調整し、調整された参照サンプルのサンプル値を、前記現在サンプルの予測値として決定する段階と、を含む映像予測方法。
【請求項２】
前記予測値決定段階は、
前記複数の隣接サンプルを代表する隣接サンプル代表値を決定する段階と、
前記参照サンプルのサンプル値と、前記隣接サンプル代表値との加重平均により、前記現在サンプルを予測する段階と、を含み、
前記加重平均に利用される加重値は前記参照距離及び前記イントラモードが示す方向のうち少なくとも一つによって決定されることを特徴とする請求項１に記載の映像予測方法。
【請求項３】
前記参照距離が延長されるほど、前記参照サンプルのサンプル値の加重値は減少し、前記隣接サンプル代表値の加重値は増加することを特徴とする請求項２に記載の映像予測方法。
【請求項４】
前記隣接サンプル代表値は、前記複数の隣接サンプルのサンプル値の平均と決定されることを特徴とする請求項２に記載の映像予測方法。
【請求項５】
前記隣接サンプル代表値は、前記参照サンプルを含んだ少なくとも２以上の隣接サンプルのサンプル値の平均と決定され、
前記隣接サンプル代表値の決定に使用される隣接サンプルの数は、前記現在ブロックの大きさによって決定されることを特徴とする請求項２に記載の映像予測方法。
【請求項６】
前記予測値決定段階は、
前記参照距離によって選択された平滑化フィルタを利用し、前記参照サンプルのサンプル値を平滑化する段階と、
前記平滑化された参照サンプルのサンプル値を、前記現在サンプルの予測値として決定する段階と、を含むことを特徴とする請求項１に記載の映像予測方法。
【請求項７】
前記参照距離が延長されるほど、前記平滑化フィルタの平滑化強度が増大することを特徴とする請求項６に記載の映像予測方法。
【請求項８】
前記参照サンプル平滑化段階は、
前記参照距離に係わる平滑化フィルタが定義されていない場合、平滑化フィルタが定義された第１距離及び第２距離を検索する段階と、
前記第１距離によって選択された第１平滑化フィルタを利用し、前記参照サンプルを平滑化することにより、第１中間値を決定し、前記第２距離によって選択された第２平滑化フィルタを利用し、前記参照サンプルまたは前記第１中間値を平滑化することにより、第２中間値を決定する段階と、
前記第１中間値及び第２中間値の加重平均を、前記現在サンプルの予測値として決定する段階と、を含むことを特徴とする請求項６に記載の映像予測方法。
【請求項９】
前記イントラモードが水平方向性イントラモードである場合、前記参照距離は、前記参照サンプルと前記現在サンプルとの水平距離であり、
前記イントラモードが垂直方向性イントラモードである場合、前記参照距離は、前記参照サンプルと前記現在サンプルとの垂直距離であることを特徴とする請求項１に記載の映像予測方法。
【請求項１０】
前記参照サンプル決定段階は、
前記現在サンプルから、前記イントラモードの方向が２つの隣接サンプル間のサブサンプルを示す場合、前記サブサンプルに隣接した隣接サンプルに基づいて、参照サンプルを決定することを特徴とする請求項１に記載の映像予測方法。
【請求項１１】
前記映像予測方法において、
前記現在ブロックの予測に、前記参照サンプルのサンプル値の調整が行われるか否かということを決定する段階がさらに含まれ、
前記予測段階は、
前記参照サンプルのサンプル値の調整が行われるように決定されるとき、前記参照サンプルのサンプル値を調整し、前記現在サンプルを予測し、
前記参照サンプルのサンプル値の調整が行われないと決定されるとき、前記参照サンプルのサンプル値を調整せず、前記現在サンプルを予測することを特徴とする請求項１に記載の映像予測方法。
【請求項１２】
前記参照サンプルのサンプル値の調整が行われるか否かということを決定する段階は、
前記現在ブロックの予測に、前記参照サンプルのサンプル値の調整が行われるか否かということを示す参照サンプル調整情報を獲得する段階と、
前記参照サンプル調整情報により、前記現在ブロックの予測に、前記参照サンプルのサンプル値の調整が行われるか否かということを決定する段階と、を含むことを特徴とする請求項１１に記載の映像予測方法。
【請求項１３】
前記参照サンプルのサンプル値調整が行われるか否かということを決定する段階は、
前記現在ブロックのサイズ情報、前記現在ブロックの色情報、前記現在ブロックに許容される予測方法に係わる予測方法情報のうち少なくとも一つにより、前記参照サンプルのサンプル値調整が行われるか否かということを決定することを特徴とする請求項１１に記載の映像予測方法。
【請求項１４】
現在ブロックの周辺に位置した複数の隣接サンプルを獲得する隣接サンプル獲得部と、
前記複数の隣接サンプルのうち、前記現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する参照サンプル決定部と、
前記参照サンプルのサンプル値を、前記参照サンプルと前記現在サンプルとの距離を示す参照距離によって調整し、調整された参照サンプルのサンプル値を、現在サンプルの予測値として決定する予測部と、を含む映像予測装置。
【請求項１５】
請求項１に記載の映像予測方法を実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化及び復号に利用されるイントラ予測方法及びその装置に係り、さらに具体的には、イントラ予測において、現在サンプルが参照する参照サンプルを、現在サンプルと参照サンプルとの距離によって調整する方法及びその装置に関する。
【背景技術】
【０００２】
高画質のビデオは、符号化時、多量のデータが要求される。しかし、ビデオデータを伝達するために許容される帯域幅は、限定されており、ビデオデータ伝送時に適用されるデータレートが制限されてしまう。従って、効率的なビデオデータ伝送のために、画質の劣化を最小化させながら、圧縮率を向上させたビデオデータの符号化方法及び復号方法が必要である。
【０００３】
該ビデオデータは、ピクセル間の空間的重複性及び時間的重複性を除去することによって圧縮される。隣接したピクセル間に共通した特徴を有するのが一般的であるために、隣接したピクセル間の重複性を除去するために、ピクセルからなるデータ単位で符号化情報が伝送される。
【０００４】
該データ単位に含まれたピクセルのピクセル値は、直接伝送ず、該ピクセル値を獲得するために必要な方法が伝送される。該ピクセル値を、原本値と類似して予測する予測方法が、データ単位ごとに決定され、該予測方法に係わる符号化情報が、符号化器から復号器に伝送される。また、予測値が該原本値と完全に同一ではないので、該原本値と該予測値との差に係わるレジデュアルデータが符号化器から復号器に伝送される。
【０００５】
予測が正確になるほど、予測方法特定に必要な符号化情報が増加するが、該レジデュアルデータの大きさが低減する。従って、該符号化情報と該レジデュアルデータとの大きさを考慮し、予測方法が決定される。特に、ピクチャで分割されたデータ単位は、多様な大きさを有するが、データ単位が大きいほど、予測正確度が低下する可能性が高い代わりに、符号化情報が減少する。従って、ピクチャの特性に適するように、ブロックの大きさが決定される。
【０００６】
また、該予測方法には、イントラ予測及びインター予測がある。該イントラ予測は、ブロックの周辺ピクセルから、ブロックのピクセルを予測する方法である。該インター予測は、ブロックが含まれたピクチャが参照する他のピクチャのピクセルを参照し、ピクセルを予測する方法である。従って、該イントラ予測により、空間的重複性が除去され、該インター予測により、時間的重複性が除去される。
【０００７】
該予測方法の数が増加するほど、該予測方法を示すための符号化情報量が増加する。従って、ブロックに適用される符号化情報も、他のブロックから予測し、符号化情報の大きさを小さくすることができる。
【０００８】
人間の視覚が認知することができない限度において、ビデオデータ損失が許容されるが、レジデュアルデータを変換過程及び量子化過程によって損失圧縮（lossy  compression）し、レジデュアルデータの量を減少させることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
現在サンプルと参照サンプルとの距離によって参照サンプルを調整し、現在サンプルの予測正確度を高めるイントラ予測方法が開示される。また、前記イントラ予測方法を遂行するイントラ予測装置が開示される。併せて、前記イントラ予測方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読み取り可能な記録媒体が開示される。
【課題を解決するための手段】
【００１０】
現在ブロックの周辺に位置した複数の隣接サンプルを獲得する段階、前記複数の隣接サンプルのうち、前記現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する段階、前記参照サンプルを、前記参照サンプルと前記現在サンプルとの距離を示す参照距離によって調整し、調整された参照サンプルにより、前記現在サンプルを予測する段階を含む映像予測方法が提供される。
【００１１】
現在ブロックの周辺に位置した複数の隣接サンプルを獲得する隣接サンプル獲得部、前記複数の隣接サンプルのうち、前記現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する参照サンプル決定部、及び前記参照サンプルを、前記参照サンプルと前記現在サンプルとの距離を示す参照距離によって調整し、調整された参照サンプルにより、前記現在サンプルを予測する予測部を含む映像予測装置が提供される。
【００１２】
本実施形態がなすべき技術的課題は、前述の技術的課題に限定されるものではなく、以下で説明される実施形態から、他の技術的課題が類推されるのである。
【発明の効果】
【００１３】
現在サンプルと参照サンプルとの距離によって参照サンプルを調整し、イントラ予測正確度を向上させることができる。該イントラ予測正確度向上により、原本映像と予測映像との差である予測誤差が低減することにより、圧縮率及び画質が向上する。
【図面の簡単な説明】
【００１４】
【図１Ａ】本発明の一実施形態により、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図を図示する図面である。
【図１Ｂ】一実施形態により、ツリー構造による符号化単位に基づいたビデオ復号装置１５０のブロック図を図示する図面である。
【図２Ａ】本発明の一実施形態による映像符号化装置２００のブロック図を図示する図面である。
【図２Ｂ】一実施形態による復号装置２５０のブロック図を図示する図面である。
【図３】一実施形態により、現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図４】一実施形態により、非正方形の形態である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図５】一実施形態により、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図面である。
【図６】一実施形態により、奇数個の符号化単位のうち所定符号化単位が決定される方法を図示する図面である。
【図７】一実施形態により、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。
【図８】一実施形態により、所定順序で符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されるように決定される過程を図示する図面である。
【図９】一実施形態により、第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図１０】一実施形態により、第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する図面である。
【図１１】一実施形態により、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。
【図１２】一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示した図面である。
【図１３】一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。
【図１４】一実施形態により、符号化単位の形態及び大きさによって決定される深度区分及び符号化単位区分のためのインデックス（ＰＩＬ：part  index）を図示する図面である。
【図１５】一実施形態により、ピクチャに含まれる複数個の所定データ単位によって複数個の符号化単位が決定されたところを図示する図面である。
【図１６】一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。
【図１７】映像に含まれたブロックのイントラ予測を行う映像予測装置１７００を図示する図面である。
【図１８Ａ】隣接サンプル獲得部の一次元隣接サンプル配列の決定方法を示す図面である。
【図１８Ｂ】隣接サンプル獲得部の一次元隣接サンプル配列の決定方法を示す図面である
【図１９Ａ】現在サンプルの位置と、現在ブロックのイントラモードによる参照サンプルとの決定方法を示す図面である。
【図１９Ｂ】現在サンプルの位置と、現在ブロックのイントラモードによる参照サンプルとの決定方法を示す図面である。
【図２０】参照距離及び隣接サンプル代表値により、参照サンプルのサンプル値を調整する方法を示す図面である。
【図２１Ａ】参照サンプルを、参照距離による平滑化フィルタを利用して調整する方法を示す図面である。
【図２１Ｂ】参照サンプルを、参照距離による平滑化フィルタを利用して調整する方法を示す図面である。
【図２２】現在サンプルの参照サンプルを、現在サンプルの参照距離によって調整することにより、現在サンプルを予測する方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
現在ブロックの周辺に位置した複数の隣接サンプルを獲得する段階、前記複数の隣接サンプルのうち、前記現在ブロックのイントラモードの方向が示す隣接サンプルを、現在サンプルが参照する参照サンプルとして決定する段階、前記参照サンプルを、前記参照サンプルと前記現在サンプルとの距離を示す参照距離によって調整し、調整された参照サンプルにより、前記現在サンプルを予測する段階を含む映像予測方法が提供される。
【００１６】
開示された実施形態の利点、特徴、及びそれらを達成する方法は、添付される図面と共に説明する実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるのみである。
【００１７】
本明細書で使用される用語について簡略に説明し、開示された実施形態について具体的に説明する。
【００１８】
本明細書で使用される用語は、本発明での機能を考慮しながら、可能な限り、現在汎用される一般的な用語を選択したが、それは、関連分野に携わる技術者の意図、判例、または新たな技術の出現などによって異なるのである。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分において、詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではなく、その用語が有する意味と、本発明の全般にわたる内容とを基に定義されなければならない。
【００１９】
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
【００２０】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア、ＦＰＧＡまたはＡＳＩＣのようなハードウェア構成要素を意味し、「部」は、ある役割を遂行する。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるように構成されもするが、またはそれ以上のプロセッサを再生させるように構成されもする。従って、一例として「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」において提供される機能は、さらに小数の構成要素及び「部」に結合されるか、あるいはさらなる構成要素及び「部」に分離されもする。
【００２１】
「現在ブロック」は、現在符号化または復号される符号化単位、予測単位及び変換単位のうち一つを意味する。また、「下位ブロック」は、「現在ブロック」から分割されたデータ単位を意味する。そして「上位ブロック」は、「現在ブロック」を含むデータ単位を意味する。
【００２２】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になる。例えば、空間領域の映像において、ピクセル値、変換領域上の変換係数がサンプルでもある。かような少なくとも１つのサンプルを含む単位をブロックと定義することができる。
【００２３】
以下では、添付した図面を参照し、実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は省略する。
【００２４】
図１Ａは、本発明の一実施形態により、ツリー構造による符号化単位に基づいた映像符号化装置１００のブロック図を図示する。
【００２５】
映像符号化装置１００は、符号化部１１０及び出力部１２０を含む。
【００２６】
符号化部１１０は、映像を複数の符号化方法によって符号化することができる。符号化部１１０は、複数の符号化方法による符号化結果を比較し、最も効率的な符号化方法を選択することができる。どの符号化方法が最も効率的であるかということは、率・歪曲最適化（rate-distortion  optimization）によっても決定される。例えば、符号化方法Ａ及び符号化方法Ｂが互いに両立不可能であるとき、符号化部１１０は、率・歪曲最適化により、符号化方法Ａ及び符号化方法Ｂのうち、さらに効率的な符号化方法によって映像を符号化することができる。
【００２７】
符号化部１１０は、最大符号化単位の大きさにより、ピクチャ、またはピクチャに含まれたスライスを、複数の最大符号化単位に分割する。最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横に大きさが２の自乗である正方形のデータ単位でもある。符号化部１１０は、最大符号化単位の大きさを示す最大符号化単位サイズ情報を出力部１２０に提供することができる。そして、出力部１２０は、最大符号化単位サイズ情報をビットストリームに含めることができる。
【００２８】
符号化部１１０は、最大符号化単位を分割して符号化単位を決定する。該符号化単位は、最大サイズ及び最大深度で決定される。深度とは、最大符号化単位から、符号化単位が空間的に分割された回数と定義される。深度が１増大するたびに、該符号化単位は、２個以上の符号化単位に分割される。従って、深度が増大するほど、深度別符号化単位の大きさは小さくなる。該符号化単位の分割いかんは、率・歪曲最適化により、符号化単位の分割が効率的であるか否かということによって決定される。そして、該符号化単位が分割された否かということを示す分割情報が生成される。該分割情報は、フラグ形態でも表現される。
【００２９】
該符号化単位は、多様な方法によって分割される。例えば、正方形の符号化単位は、幅及び高さが半分である４個の正方形の符号化単位に分割される。正方形の符号化単位は、幅が半分である２個の長方形の符号化単位にも分割される。また、正方形の符号化単位は、高さが半分である２個の長方形の符号化単位にも分割される。正方形の符号化単位は、幅または高さを１：２：１に分割することにより、３つの符号化単位にも分割される。
【００３０】
幅が高さの２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、２個の幅が高さの４倍である長方形の符号化単位にも分割される。幅が高さの２倍である長方形の符号化単位は、幅を１：２：１に分割することにより、２個の長方形の符号化単位と、１つの正方形の符号化単位とにも分割される。
【００３１】
同様に、高さが幅の２倍である長方形の符号化単位は、２個の正方形の符号化単位にも分割される。また、高さが幅の２倍である長方形の符号化単位は、２個の高さが幅の４倍である長方形の符号化単位にも分割される。同様に、高さが幅の２倍である長方形の符号化単位は、高さを１：２：１に分割することにより、２個の長方形の符号化単位と、１つの正方形の符号化単位とに分割される。
【００３２】
映像符号化装置１００において、２個以上の分割方法が使用可能である場合、映像符号化装置１００で使用可能な分割方法のうち、符号化単位に使用される分割方法に係わる情報がピクチャごとに決定される。従って、ピクチャごとに、特定の分割方法だけが使用されるようにも決定される。もし映像符号化装置１００が、１つの分割方法のみを使用する場合、符号化単位に使用される分割方法に係わる情報が別途に決定されない。
【００３３】
符号化単位の分割情報が、符号化単位が分割されることを示すとき、符号化単位の分割方法を示す分割形態情報が生成される。もし符号化単位が属したピクチャで使用される分割方法が一つである場合、該分割形態情報は、生成されない。もし分割方法が符号化単位周辺の符号化情報に適応的に決定される場合、該分割形態情報は、生成されない。
【００３４】
最大符号化単位は、最小符号化単位サイズ情報により、最小符号化単位まで分割される。該最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位深度とも定義される。従って、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【００３５】
前述のように、符号化単位の最大サイズにより、現在ピクチャの映像データは、最大符号化単位に分割される。そして、最大符号化単位は、深度別に分割される符号化単位を含んでもよい。該最大符号化単位は、深度別に分割されるので、該最大符号化単位に含まれた空間領域（spatial  domain）の映像データが、深度によって階層的にも分類される。
【００３６】
最大符号化単位を階層的に分割することができる最大回数を制限する最大深度、または符号化単位の最小サイズが事前に設定されている。
【００３７】
符号化部１１０は、符号化単位を階層的に分割したときの符号化効率と、符号化単位を分割しなかったときの符号化効率を比較する。そして、符号化部１１０は、比較結果により、符号化単位を分割するか否かということを決定する。もし符号化単位の分割がさらに効率的であると決定された場合、符号化部１１０は、符号化単位を階層的に分割する。もし比較結果により、符号化単位を分割しないことが効率的であると決定された場合、符号化単位を分割しない。符号化単位の分割いかんは、隣接した他の符号化単位の分割いかんに独立して決定される。
【００３８】
一実施形態によれば、符号化単位の分割いかんは、符号化過程において、深度が高い符号化単位からも決定される。例えば、最大深度の符号化単位と、最大深度より１ほど低い符号化単位との符号化効率が比較され、最大符号化単位の各領域ごとに、最大深度の符号化単位と、最大深度より１ほど低い符号化単位とのうち、いずれがさらに効率的に符号化されるかということが判断される。そして、該判断結果により、最大符号化単位の各領域ごとに、最大深度より１ほど低い符号化単位の分割いかんが決定される。その後、最大符号化単位の各領域ごとに、最大深度より２ほど低い符号化単位と、前述の判断結果とに基づいて、選択された最大深度より１ほど低い符号化単位と、最小深度の符号化単位との組み合わせのうち、いずれがさらに効率的に符号化されるかということが判断される。同一判断過程が、深度が低い符号化単位に対して順次に遂行され、最終的に、最大符号化単位と、最大符号化単位が階層的に分割されて生成された階層構造とのうち、いずれがさらに効率的に符号化されるかということにより、最大符号化単位の分割いかんが決定される。
【００３９】
符号化単位の分割いかんは、符号化過程において、深度が低い符号化単位からも決定される。例えば、最大符号化単位と、最大符号化単位より１ほど深度が高い符号化単位との符号化効率が比較され、最大符号化単位と、最大符号号単位より１ほど深度が高い符号化単位とのうち、いずれがさらに効率的に符号化されるかということが判断される。もし最大符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割されない。もし最大符号化単位より１ほど深度が高い符号化単位の符号化効率がさらに良好である場合、最大符号化単位は、分割され、分割された符号化単位に対して、同一比較過程が反復される。
【００４０】
深度が高い符号化単位から符号化効率を検討する場合、演算量が多いが、符号化効率が高いツリー構造を獲得することができる。反対に、深度が低い符号化単位から符号化効率を検討する場合、演算量が少ないが、符号化効率が低いツリー構造を獲得することができる。従って、符号化効率と演算量とを考慮し、最大符号化単位の階層的ツリー構造を獲得するためのアルゴリズムが多様な方法によって設計される。
【００４１】
符号化部１１０は、深度別符号化単位の効率性を判断するために、符号化単位に最も効率的な予測及び変換方法を決定する。該符号化単位は、最も効率的な予測及び変換方法を決定するために、所定データ単位にも分割される。該データ単位は、符号化単位の分割方法によって多様な形態を有することができる。該データ単位を決定するための符号化単位の分割方法は、パーティションモードと定義されることができる。例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは、正の整数）の符号化単位が分割されない場合、符号化単位に含まれた予測単位の大きさは、２Ｎｘ２Ｎになる。サイズ２Ｎｘ２Ｎの符号化単位が分割される場合、符号化単位に含まれた予測単位の大きさは、パーティションモードにより、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどにもなる。一実施形態によるパーティションモードは、符号化単位の高さまたは幅が対称的な比率に分割された対称的データ単位だけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたデータ単位、斜線方向に分割されたデータ単位、その他幾何学的な形態に分割されたデータ単位、任意的形態のデータ単位を生成することができる。
【００４２】
該符号化単位は、符号化単位に含まれたデータ単位を基準に、予測及び変換が行われる。しかし、一実施形態により、予測のためのデータ単位と、変換のためのデータ単位とが別途に決定されもする。予測のためのデータ単位は、予測単位と、変換のためのデータ単位は、変換単位とも定義される。該予測単位で適用されるパーティションモードと、変換単位で適用されるパーティションモードは、互いに異なり、符号化単位において、予測単位の予測と、変換単位の変換は、並列して独立しても行われる。
【００４３】
該符号化単位は、効率的な予測方法を決定するために、１以上の予測単位にも分割される。同様に、該符号化単位は、効率的な変換方法を決定するために、１以上の変換単位にも分割される。該予測単位の分割と、該変換単位の分割は、独立しても行われる。しかし、該符号化単位内部の復元サンプルが、イントラ予測に使用される場合、該符号化単位に含まれた予測単位または変換単位との間で従属的関係が形成されるので、該予測単位と該変換単位との分割が互いに影響を及ぼす。
【００４４】
該符号化単位に含まれた予測単位は、イントラ予測またはインター予測によって予測される。該イントラ予測は、予測単位周辺の参照サンプルを利用し、予測単位のサンプルを予測する方法である。該インター予測は、現在ピクチャが参照する参照ピクチャから参照サンプルを獲得し、該予測単位のサンプルを予測する方法である。
【００４５】
符号化部１１０は、イントラ予測のために、複数のイントラ予測方法を予測単位に適用し、最も効率的なイントラ予測方法を選択することができる。該イントラ予測方法には、ＤＣモード、プレーナ（planar）モード、垂直モード及び水平モードのような方向性（directional）モードなどが含まれる。
【００４６】
該イントラ予測は、符号化単位周辺の復元サンプルを参照サンプルとして使用する場合、予測単位ごとに行われる。しかし、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、符号化単位内部の参照サンプルの復元が、現在サンプルの予測より優先されなければならないので、変換単位の変換順序に、予測単位の予測順序が属する。従って、該符号化単位内部の復元サンプルが参照サンプルとして使用される場合、該予測単位に対し、該予測単位に対応する変換単位に対するイントラ予測方法だけが決定され、実質的なイントラ予測は、変換単位ごとに行われる。
【００４７】
符号化部１１０は、最適の動きベクトル及び参照ピクチャを決定することにより、最も効率的なインター予測方法を選択することができる。符号化部１１０は、インター予測のために、現在符号化単位から、空間的、時間的に隣接する符号化単位から、複数の動きベクトル候補を決定し、そのうち最も効率的な動きベクトルを動きベクトルとして決定することができる。同様に、現在符号化単位から、空間的、時間的に隣接する符号化単位から複数の参照ピクチャ候補を決定し、そのうち最も効率的な参照ピクチャを決定することができる。一実施形態により、参照ピクチャは、現在ピクチャに対して事前に決定された参照ピクチャリストのうち決定される。一実施形態により、予測の正確性のために、複数の動きベクトル候補のうち最も効率的な動きベクトルを、予測動きベクトルとして決定し、予測動きベクトルを補正し、動きベクトルを決定することができる。該インター予測は、符号化単位内部の予測単位別ごとに、並列的に行われる。
【００４８】
符号化部１１０は、スキップモードにより、動きベクトル及び参照ピクチャを示す情報のみを獲得し、符号化単位を復元することができる。該スキップモードによれば、動きベクトル及び参照ピクチャを示す情報を除い、残差信号を含んだ全ての符号化情報が省略される。該残差信号が省略されるので、予測の正確性が非常に高い場合、スキップモードが使用される。
【００４９】
該予測単位に対する予測方法によって使用されるパーティションモードが制限される。例えば、イントラ予測には、２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードだけが適用される一方、インター予測には、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズの予測単位に係わるパーティションモードが適用される。また、インター予測のスキップモードには、２Ｎｘ２Ｎサイズの予測単位に係わるパーティションモードだけが適用される。映像符号化装置１００において、各予測方法に対して許容されるパーティションモードは、符号化効率によっても変更される。
【００５０】
映像符号化装置１００は、符号化単位または符号化単位に含まれた変換単位を基準に、変換を行うことができる。映像符号化装置１００は、符号化単位に含まれたピクセルに係わる原本値と予測値との差値であるレジデュアルデータを、所定過程を経て変換させることができる。例えば、映像符号化装置１００は、レジデュアルデータに対して、量子化及びＤＣＴ／ＤＳＴ変換を介して損失圧縮を行うことができる。または、映像符号化装置１００は、レジデュアルデータに対し、量子化なしに無損失圧縮を行うことができる。
【００５１】
映像符号化装置１００は、量子化及び変換に最も効率的な変換単位を決定することができる。ツリー構造による符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的にさらに小さいサイズの変換単位に分割されながら、符号化単位のレジデュアルデータが、変換深度により、ツリー構造による変換単位によって区画される。そして、映像符号化装置１００は、決定された変換単位のツリー構造により、符号化単位及び変換単位の分割に係わる変換分割情報を生成することができる。
【００５２】
映像符号化装置１００は、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定される。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位の大きさが２Ｎｘ２Ｎであるならば、変換深度０に設定され、変換単位の大きさがＮｘＮであるならば、変換深度１に決定され、変換単位の大きさがＮ／２ｘＮ／２であるならば、変換深度２に設定される。すなわち、変換深度により、ツリー構造による変換単位が設定される。
【００５３】
結論として、符号化部１１０は、複数のイントラ予測方法及びインター予測方法のうち、現在予測単位に最も効率的な予測方法を決定する。そして、符号化部１１０は、予測結果による符号化効率により、予測単位決定方式を判断する。同様に、符号化部１１０は、変換結果による符号化効率により、変換単位決定方式を判断する。最も効率的な予測単位及び変換単位の決定方式により、最終的に、符号化単位の符号化効率が決定される。符号化部１１０は、各深度別符号化単位の符号化効率により、最大符号化単位の階層構造を確定する。
【００５４】
符号化部１１０は、深度別符号化単位の符号化効率性、予測方法の予測効率性などを、ラグランジュ乗数  （Lagrangian  multiplier）基盤の率・歪曲最適化技法（rate-distortion  optimization）を利用して測定することができる。
【００５５】
符号化部１１０は、決定された最大符号化単位の階層構造により、符号化単位の深度別分割いかんを示す分割情報を生成することができる。そして、符号化部１１０は、分割が完了した符号化単位に対して、予測単位の決定のためのパーティションモード情報、及び変換単位の決定のための変換単位分割情報を生成することができる。また、符号化部１１０は、符号化単位の分割方法が２個以上である場合、分割方法を示す分割形態情報を、分割情報と共に生成することができる。そして、符号化部１１０は、予測単位及び変換単位に使用された予測方法及び変換方法に係わる情報を生成することができる。
【００５６】
出力部１２０は、最大符号化単位の階層構造により、符号化部１１０が生成した情報をビットストリーム形態で出力することができる。
【００５７】
一実施形態による最大符号化単位のツリー構造による符号化単位、予測単位及び変換単位の決定方式については、図３ないし図１２を参照して詳細に後述する。
【００５８】
図１Ｂは、一実施形態により、ツリー構造による符号化単位に基づいた映像復号装置１５０のブロック図を図示する。
【００５９】
映像復号装置１５０は、受信部１６０及び復号化部１７０を含む。
【００６０】
一実施形態による映像復号装置１５０の復号動作のための符号化単位、深度、予測単位、変換単位、各種分割情報など各種用語の定義は、図１Ａの映像符号化装置１００を参照して説明したところと同一である。また、映像復号装置１５０の目的が、映像データの復元であるが、映像符号化装置１００で使用された多様な符号化方法が映像復号装置１５０に適用されもする。
【００６１】
受信部１６０は、符号化されたビデオに係わるビットストリームを受信してパージングする。復号化部１７０は、パージングされたビットストリームから、最大符号化単位別に、復号に必要な情報を抽出する。復号化部１７０は、現在ピクチャに係わるヘッダ、シーケンスパラメータセットまたはピクチャパラメータセットから、現在ピクチャの符号化単位の最大サイズに係わる情報を抽出することができる。
【００６２】
また、復号化部１７０は、パージングされたビットストリームから、最大符号化単位別に、ツリー構造による符号化単位に係わる最終深度及び分割情報を抽出する。復号化部１７０は、最大符号化単位を、抽出された最終深度及び分割情報によって分割し、最大符号化単位のツリー構造を決定することができる。
【００６３】
復号化部１７０が抽出した分割情報は、映像符号化装置１００により、最小符号化誤差を発生させると決定されたツリー構造に係わる分割情報である。従って、映像復号装置１５０は、最小符号化誤差を発生させる符号化方式によってデータを復号し、映像を復元することができる。
【００６４】
復号化部１７０は、符号化単位に含まれた予測単位及び変換単位のようなデータ単位に係わる分割情報を抽出することができる。例えば、復号化部１７０は、予測単位に係わる最も効率的なパーティションモードに係わる情報を抽出することができる。そして、復号化部１７０は、変換単位において、最も効率的なツリー構造に係わる変換分割情報を抽出することができる。
【００６５】
また、復号化部１７０は、符号化単位から分割された予測単位について、最も効率的な予測方法に係わる情報を獲得することができる。そして、復号化部１７０は、符号化単位から分割された変換単位について、最も効率的な変換方法に係わる情報を獲得することができる。
【００６６】
復号化部１７０は、映像符号化装置１００の出力部１２０においてビットストリームを構成する方式により、ビットストリームから情報を抽出する。
【００６７】
復号化部１７０は、分割情報に基づいて、最大符号化単位を最も効率的なツリー構造を有した符号化単位に分割することができる。そして、復号化部１７０は、パーティションモードに係わる情報により、符号化単位を予測単位に分割することができる。復号化部１７０は、変換分割情報により、符号化単位を変換単位に分割することができる。
【００６８】
復号化部１７０は、予測単位を、予測方法に係わる情報によって予測することができる。そして、復号化部１７０は、変換単位を、変換方法に係わる情報により、ピクセルの原本値と予測値との差に該当するレジデュアルデータを、逆量子化及び逆変換することができる。また、復号化部１７０は、予測単位の予測結果と、変換単位の変換結果とにより、符号化単位のピクセルを復元することができる。
【００６９】
図２Ａは、多様な実施形態による符号化単位に基づいた映像符号化部２００のブロック図を図示する。
【００７０】
一実施形態による映像符号化部２００は、ビデオ符号化装置１００の符号化部１１０から、ビデオデータを符号化するのに経る作業を遂行する。すなわち、イントラ予測部２０４は、現在フレーム２０２において、イントラモードの符号化単位に対してイントラ予測を行い、インター予測部２０６は、インターモードの現在フレーム２０２及び参照フレーム２２６を利用してインター予測を行う。
【００７１】
イントラ予測部２０４またはインター予測部２０６による予測によって決定された予測誤差データは、変換部２１０及び量子化部２１２を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部２１８、逆変換部２２０を介して、空間領域の予測誤差データに復元され、復元された空間領域の予測誤差データは、デブロッキング部２２２及びオフセット調整部２２４を経て後処理される。そして、後処理された予測誤差データとは、イントラ予測部２０４またはインター予測部２０６による予測データが結合することにより、参照フレーム２２６が生成される。量子化された変換係数は、エントロピー符号化部２１４を経て、ビットストリーム２１６として出力される。
【００７２】
映像符号化部２００の構成要素であるイントラ予測部２０４、インター予測部２０６、変換部２１０、量子化部２１２、エントロピー符号化部２１４、逆量子化部２１８、逆変換部２２０、デブロッキング部２２２及びオフセット調整部２２４は、映像のツリー構造による符号化単位それぞれに対して遂行される。
【００７３】
特に、イントラ予測部２０４及びインター予測部２０６は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、変換部２１０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位の大きさを決定する。
【００７４】
図２Ｂは、多様な実施形態による符号化単位に基づいた映像復号化部２５０のブロック図を図示する。
【００７５】
ビットストリーム２５２が、パージング部２５４を経て、復号対象である符号化された映像データ、及び復号のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピー復号化部２５６及び逆量子化部２５８を経て、逆量子化されたデータとして出力され、逆変換部２６０を経て、空間領域の予測誤差データが復元される。
【００７６】
空間領域の予測誤差データに対して、イントラ予測部２６２は、イントラモードの符号化単位に対してイントラ予測を行い、インター予測部２６４は、参照フレーム２７０を利用して、インターモードの符号化単位に対してインター予測を行う。
【００７７】
イントラ予測部２６２及びインター予測部２６４から予測された予測データは、デブロッキング部２６６及びオフセット調整部２６８を経て後処理される。そして、後処理された予測データと予測誤差データとが結合され、復元フレーム２７２が生成される。
【００７８】
ビデオ復号装置１５０の復号化部１７０で映像データを復号するために、一実施形態による映像復号化部２５０のパージング部２５４以後の段階別作業が遂行される。
【００７９】
映像復号化部２５０の構成要素であるパージング部２５４、エントロピー復号化部２５６、逆量子化部２５８、逆変換部２６０、イントラ予測部２６２、インター予測部２６４、デブロッキング部２６６及びオフセット補償部２６８は、映像のツリー構造による符号化単位それぞれに対して遂行される。
【００８０】
特に、イントラ予測部２６２、インター予測部２６４は、ツリー構造による符号化単位ごとに、それぞれパーティション及び予測モードを決定し、逆変換部２６０は、符号化単位ごとに、変換単位の大きさを決定する。
【００８１】
図３は、一実施形態により、映像復号装置１５０が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【００８２】
一実施形態により、映像復号装置１５０は、ブロック形態情報を利用して、符号化単位の形態を決定することができ、分割形態情報を利用して、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、映像復号装置１５０が利用するブロック形態情報が、いかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定される。
【００８３】
一実施形態により、映像復号装置１５０は、現在符号化単位が正方形状であるということを示すブロック形態情報を利用することができる。例えば、映像復号装置１５０は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということを決定することができる。図３を参照すれば、現在符号化単位３００のブロック形態情報が正方形の形態を示す場合、復号化部１７０は、分割されないことを示す分割形態情報により、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて、分割された符号化単位３１０ｂ，３１０ｃ，３１０ｄなどを決定することができる。
【００８４】
図３を参照すれば映像復号装置１５０は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づいて、現在符号化単位３００を、垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。映像復号装置１５０は、水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位３００を、水平方向に分割した２つの符号化単位３１０ｃを決定することができる。映像復号装置１５０は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位３００を、垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、該分割形態情報が示すことができる多様な形態が含まれる。正方形の符号化単位が分割される所定分割形態は、以下において、多様な実施形態を介して具体的に説明する。
【００８５】
図４は、一実施形態により、映像復号装置１５０が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【００８６】
一実施形態により、映像復号装置１５０は、現在符号化単位が非正方形状であるということを示すブロック形態情報を利用することができる。映像復号装置１５０は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０のブロック形態情報が、非正方形の形態を示す場合、映像復号装置１５０は、分割されないことを示す分割形態情報により、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で多様な実施形態を介して具体的に説明する。
【００８７】
一実施形態により、映像復号装置１５０は、分割形態情報を利用して、符号化単位が分割される形態を決定することができ、その場合、該分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図４を参照すれば、分割形態情報が２つの符号化単位に、現在符号化単位４００または４５０が分割されることを示す場合、映像復号装置１５０は、該分割形態情報に基づいて、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができる。
【００８８】
一実施形態により、映像復号装置１５０が、分割形態情報に基づいて、非正方形の形態の現在符号化単位４００または４５０を分割する場合、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、映像復号装置１５０は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができる。
【００８９】
一実施形態により、該分割形態情報が、奇数個のブロックに符号化単位を分割することを示す場合、映像復号装置１５０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、該分割形態情報が３個の符号化単位に、現在符号化単位４００または４５０を分割することを示す場合、映像復号装置１５０は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃに分割することができる。一実施形態により、映像復号装置１５０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさが、いずれも同一ではない。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃにおいて、所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定される符号化単位は、複数の種類の大きさを有することができる。
【００９０】
一実施形態により、該分割形態情報が、奇数個のブロックに符号化単位が分割されることを示す場合、映像復号装置１５０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、映像復号装置１５０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して、所定制限を置くことができる。図４を参照すれば、映像復号装置１５０は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃのうち、中央に位置する符号化単位４３０ｂ，４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なるようにする。例えば、映像復号装置１５０は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどだけ分割されるように制限することができる。
【００９１】
図５は、一実施形態により、映像復号装置１５０が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
【００９２】
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、該分割形態情報が、水平方向に第１符号化単位５００を分割することを示す場合、映像復号装置１５０は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定される。以下では、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解される。
【００９３】
一実施形態により、映像復号装置１５０は、決定された第２符号化単位５１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割して決定された非正方形の形態の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどに分割するか、あるいは第２符号化単位５１０を分割しない。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができ、映像復号装置１５０は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割し、例えば、多様な形態の複数個の第２符号化単位５１０を分割することができ、第２符号化単位５１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００が分割された方式によっても分割される。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄにも分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的にも分割される。符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【００９４】
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどそれぞれを、符号化単位に分割するか、あるいは第２符号化単位５１０を分割しないと決定することができる。映像復号装置１５０は、一実施形態により、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像復号装置１５０は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち所定第３符号化単位について、所定制限を置くことができる。例えば、映像復号装置１５０は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないように制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図５を参照すれば、映像復号装置１５０は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にだけ分割するか、第２符号化単位５１０が分割された形態に対応する形態に分割する）されると制限するか、あるいは所定回数だけに分割（例えば、ｎ回だけ分割、ｎ＞０）すると制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに係わる前記制限は、単純な実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、他の符号化単位５２０ｂ，５２０ｄと異なるように復号される多様な制限を含むと解釈されなければならない。
【００９５】
図６は、一実施形態により、映像復号装置１５０が、奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
【００９６】
一実施形態により、映像復号装置１５０は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、映像復号装置１５０は、現在符号化単位６００を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃを決定することができる。映像復号装置１５０は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定サンプルの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
【００９７】
一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態により、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、かような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での座標間の差を示す情報に該当する。すなわち、映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
【００９８】
一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法でもって解釈されなければならない。
【００９９】
一実施形態により、映像復号装置１５０は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち所定基準により、符号化単位を選択することができる。例えば、映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、大きさが異なる符号化単位６２０ｂを選択することができる。
【０１００】
一実施形態により、映像復号装置１５０は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像復号装置１５０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。
【０１０１】
一実施形態により、映像復号装置１５０は、上端符号化単位６２０ａの幅を、ｘｂ−ｘａと決定することができ、高さを、ｙｂ−ｙａと決定することができる。一実施形態により、映像復号装置１５０は、真ん中符号化単位６２０ｂの幅をｘｃ−ｘｂと決定することができ、高さをｙｃ−ｙｂと決定することができる。一実施形態により、映像復号装置１５０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。映像復号装置１５０は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像復号装置１５０は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述の映像復号装置１５０が、異なる符号化単位と異なる大きさとを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【０１０２】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されると解釈される。
【０１０３】
一実施形態により、映像復号装置１５０は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち、所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、映像復号装置１５０は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、映像復号装置１５０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、映像復号装置１５０は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に係わる制限を置くことができる。
【０１０４】
一実施形態により、映像復号装置１５０は、偶数個の符号化単位のうち、所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。映像復号装置１５０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した奇数個の符号化単位のうち、所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略する。
【０１０５】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、映像復号装置１５０は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
【０１０６】
図６を参照すれば、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、真ん中に位置する符号化単位６２０ｂを決定することができる。さらには、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位６００の真ん中に位置するサンプル６４０で獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位６００が、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割された場合、前記サンプル６４０を含む符号化単位６２０ｂ、を真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位を決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多種の情報が、真ん中に位置する符号化単位を決定する過程で利用されるこ。
【０１０７】
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定しようとする符号化単位に含まれる所定サンプルでも獲得される。図６を参照すれば、映像復号装置１５０は、現在符号化単位６００が分割されて決定された複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位６００内の所定位置のサンプル（例えば、現在符号化単位６００の真ん中に位置するサンプル）で獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。すなわち、映像復号装置１５０は、現在符号化単位６００のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、映像復号装置１５０は、現在符号化単位６００が分割されて決定される複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されるサンプルが含まれた符号化単位６２０ｂを決定し、所定制限を置くことができる。図６を参照すれば、一実施形態により、映像復号装置１５０は、所定情報が獲得されるサンプルとして、現在符号化単位６００の真ん中に位置するサンプル６４０を決定することができ、映像復号装置１５０は、かようなサンプル６４０が含まれる符号化単位６２０ｂに対して、復号過程での所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定しようとする符号化単位６２０ｂに含まれる任意の位置のサンプルとも解釈される。
【０１０８】
一実施形態により、所定情報が獲得されるサンプルの位置は、現在符号化単位６００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態によって所定情報が獲得されるサンプルの位置を決定することができる。例えば、映像復号装置１５０は、現在符号化単位の幅に係わる情報、及び高さに係わる情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルとして決定することができる。他の例を挙げれば、映像復号装置１５０は、現在符号化単位に係わるブロック形態情報が非正方形状であるということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルとして決定することができる。
【０１０９】
一実施形態により、映像復号装置１５０は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち、所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルとして獲得することができ、映像復号装置１５０は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用し、分割することができる。すなわち、該符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルとして獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的にも分割される。該符号化単位の再帰的分割過程については、図４を介して説明したので、詳細な説明は省略する。
【０１１０】
一実施形態により、映像復号装置１５０は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、かような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。
【０１１１】
図７は、一実施形態により、映像復号装置１５０が、現在符号化単位を分割して複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【０１１２】
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報により、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定するか、第１符号化単位７００を水平方向に分割し、第２符号化単位７３０ａ，７３０ｂを決定するか、あるいは第１符号化単位７００を垂直方向及び水平方向に分割し、第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができる。
【０１１３】
図７を参照すれば、映像復号装置１５０は、第１符号化単位７００を垂直方向に分割して決定された第２符号化単位７１０ａ，７１０ｂに対して、水平方向７１０ｃに処理されるように順序を決定することができる。映像復号装置１５０は、第１符号化単位７００を水平方向に分割して決定された第２符号化単位７３０ａ，７３０ｂの処理順序を、垂直方向７３０ｃに決定することができる。映像復号装置１５０は、第１符号化単位７００を、垂直方向及び水平方向に分割して決定された第２符号化単位７５０ａ，７５０ｂ，７５０ｃ，７５０ｄに対して、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（raster  scan  order）またはｚスキャン順序（ｚ  scan  order）（７５０ｅ）など）によって決定することができる。
【０１１４】
一実施形態により、映像復号装置１５０は、符号化単位を再帰的に分割することができる。図７を参照すれば、映像復号装置１５０は、第１符号化単位７００を分割し、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを決定することができ、決定された複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄを分割する方法は、第１符号化単位７００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位７１０ａ，７１０ｂ，７３０ａ，７３０ｂ，７５０ａ，７５０ｂ，７５０ｃ，７５０ｄは、それぞれ独立して複数個の符号化単位にも分割される。図７を参照すれば、映像復号装置１５０は、第１符号化単位７００を垂直方向に分割し、第２符号化単位７１０ａ，７１０ｂを決定することができ、さらには、第２符号化単位７１０ａ，７１０ｂそれぞれを独立して分割するか、あるいは分割しないと決定することができる。
【０１１５】
一実施形態により、映像復号装置１５０は、左側の第２符号化単位７１０ａを水平方向に分割し、第３符号化単位７２０ａ，７２０ｂに分割することができ、右側の第２符号化単位７１０ｂは、分割しない。
【０１１６】
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。映像復号装置１５０は、左側の第２符号化単位７１０ａが分割されて決定された第３符号化単位７２０ａ，７２０ｂが処理される順序を、右側の第２符号化単位７１０ｂと独立して決定することができる。左側の第２符号化単位７１０ａが水平方向に分割され、第３符号化単位７２０ａ，７２０ｂが決定されたので、第３符号化単位７２０ａ，７２０ｂは、垂直方向７２０ｃにも処理される。また、左側の第２符号化単位７１０ａ、及び右側の第２符号化単位７１０ｂが処理される順序は、水平方向７１０ｃに該当するので、左側の第２符号化単位７１０ａに含まれる第３符号化単位７２０ａ，７２０ｂが、垂直方向７２０ｃに処理された後、右側符号化単位７１０ｂが処理される。前述の内容は、符号化単位が、それぞれ分割前の符号化単位により、処理順序が決定される過程について説明するためのものであるので、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理される多様な方法に利用されると解釈されなければならない。
【０１１７】
図８は、一実施形態により、映像復号装置１５０が、所定順序符号化単位が処理されえない場合、現在符号化単位が、奇数個の符号化単位に分割されるということを決定する過程を図示する。
【０１１８】
一実施形態により、映像復号装置１５０は、獲得されたブロック形態情報及び分割形態情報に基づいて、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ，８１０ｂに分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅにも分割される。一実施形態により、映像復号装置１５０は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割され、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割される。
【０１１９】
一実施形態により、映像復号装置１５０は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが所定順序によって処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図８を参照すれば、映像復号装置１５０は、第１符号化単位８００を再帰的に分割し、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅを決定することができる。映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位８００、第２符号化単位８１０ａ，８１０ｂまたは第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが分割される形態のうち、奇数個の符号化単位に分割されるか否かということを決定することができる。例えば、第２符号化単位８１０ａ，８１０ｂのうち、右側に位置する符号化単位が、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅにも分割される。第１符号化単位８００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚ−スキャン順序（ｚ−scan  order）８３０）にもなり、映像復号装置１５０は、右側第２符号化単位８１０ｂが、奇数個に分割されて決定された第３符号化単位８２０ｃ，８２０ｄ，８２０ｅが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。
【０１２０】
一実施形態により、映像復号装置１５０は、第１符号化単位８００に含まれる第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅの境界により、第２符号化単位８１０ａ，８１０ｂの幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。例えば、非正方形状の左側第２符号化単位８１０ａの高さを半分に分割して決定される第３符号化単位８２０ａ，８２０ｂは、条件を満足するが、右側第２符号化単位８１０ｂを３個の符号化単位に分割して決定される第３符号化単位８２０ｃ，８２０ｄ，８２０ｅの境界が、右側第２符号化単位８１０ｂの幅または高さを半分に分割することができないので、第３符号化単位８２０ｃ，８２０ｄ，８２０ｅは、条件を満足することができないと決定され、映像復号装置１５０は、かような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、該判断結果に基づいて、右側第２符号化単位８１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して、所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は省略する。
【０１２１】
図９は、一実施形態により、映像復号装置１５０が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態により、映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位９００を分割することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割される。例えば、図９を参照すれば、ブロック形態情報が、第１符号化単位９００が正方形であるということを示し、分割形態情報が、非正方形の符号化単位に分割されることを示す場合、映像復号装置１５０は、第１符号化単位９００を、複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が、第１符号化単位９００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、映像復号装置１５０は、正方形状の第１符号化単位９００を、奇数個の符号化単位として垂直方向に分割されて決定された第２符号化単位９１０ａ，９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ，９２０ｂ，９２０ｃに分割することができる。
【０１２２】
一実施形態により、映像復号装置１５０は、第１符号化単位９００に含まれる第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位９１０ａ，９１０ｂ，９１０ｃ，９２０ａ，９２０ｂ，９２０ｃの境界により、第１符号化単位９００の幅及び高さのうち少なくとも一つが半分に分割されるか否かということと係わる。図９を参照すれば、正方形状の第１符号化単位９００を垂直方向に分割して決定される第２符号化単位９１０ａ，９１０ｂ，９１０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理される条件を満足することができないと決定される。また、正方形状の第１符号化単位９００を水平方向に分割して決定される第２符号化単位９２０ａ，９２０ｂ，９２０ｃの境界が、第１符号化単位９００の幅を半分に分割することができないので、第１符号化単位９００は、所定順序によって処理される条件を満足することができないと決定される。映像復号装置１５０は、かような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、該判断結果に基づいて、第１符号化単位９００は、奇数個の符号化単位に分割されるものであると決定することができる。一実施形態により、映像復号装置１５０は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち、所定位置の符号化単位に対して所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので詳細な説明は省略する。
【０１２３】
一実施形態により、映像復号装置１５０は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【０１２４】
図９を参照すれば、映像復号装置１５０は、正方形状の第１符号化単位９００、非正方形状の第１符号化単位９３０または９５０を多様な形態の符号化単位に分割することができる。
【０１２５】
図１０は、一実施形態により、映像復号装置１５０が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が、所定条件を満足する場合、第２符号化単位が分割される形態が制限されるということを図示する。
【０１２６】
一実施形態により、映像復号装置１５０は、受信部１６０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立しても分割される。それにより、映像復号装置１５０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、映像復号装置１５０は、垂直方向に第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、映像復号装置１５０は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に、水平方向に分割されるないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定される。しかし、それは、映像復号装置１５０がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００を４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄに分割したところと同一結果であり、それは、映像復号側面で非効率的である。
【０１２７】
一実施形態により、映像復号装置１５０は、水平方向に、第１符号化単位３３０が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、映像復号装置１５０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に、垂直方向に分割されるないように制限することができる。
【０１２８】
図１１は、一実施形態により、分割形態情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１５０が、正方形状の符号化単位を分割する過程を図示する。
【０１２９】
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。分割形態情報には、符号化単位が分割される多様な形態に係わる情報が含まれるが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれない場合がある。かような分割形態情報によれば、映像復号装置１５０は、正方形状の第１符号化単位１１００を、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。該分割形態情報に基づいて、映像復号装置１５０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。
【０１３０】
一実施形態により、映像復号装置１５０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００が分割される方法に対応する分割方法でもある。
【０１３１】
例えば、映像復号装置１５０は、左側第２符号化単位１１１０ａが水平方向に分割され、正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂが水平方向に分割され、正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、映像復号装置１５０は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。かような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定される。
【０１３２】
他の例を挙げれば、映像復号装置１５０は、上端第２符号化単位１１２０ａが垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂが垂直方向に分割され、正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、映像復号装置１５０は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂがいずれも垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂ，１１２４ａ，１１２４ｂを決定することもできる。かような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定される。
【０１３３】
図１２は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
【０１３４】
一実施形態により、映像復号装置１５０は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１２００を分割することができる。該ブロック形態情報が正方形状を示し、該分割形態情報が、第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄを決定することができる。図１２を参照すれば、第１符号化単位１２００が、水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立しても分割される。例えば、映像復号装置１５０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを、水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。かような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程は、図１０と係わって説明したので、詳細な説明は省略する。
【０１３５】
一実施形態により、映像復号装置１５０は、所定順序によって符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図６と係わって説明したので、詳細な説明は省略する。図１２を参照すれば、映像復号装置１５０は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態により、映像復号装置１５０は、第１符号化単位１２００が分割される形態により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。
【０１３６】
一実施形態により、映像復号装置１５０は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、映像復号装置１５０は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｂを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｃ，１２１６ｄを垂直方向に処理する順序１２１７により、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。
【０１３７】
一実施形態により、映像復号装置１５０は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、映像復号装置１５０は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序１２２７により、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。
【０１３８】
図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定される。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位であり、第１符号化単位１２００が分割された結果になる。それにより、映像復号装置１５０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
【０１３９】
図１３は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【０１４０】
一実施形態により、映像復号装置１５０は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺の長さにもなる。映像復号装置１５０は、現在符号化単位の長辺の長さが分割される前の符号化単位の長辺の長さに対して、２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度より、ｎほど深度が増大したと決定することができる。以下では、深度が増大した符号化単位を、下位深度の符号化単位と表現する。
【０１４１】
図１３を参照すれば、一実施形態により、正方形状であるということを示すブロック形態情報（例えば、ブロック形態情報は、「０：SQUARE」を示すことができる）に基づいて、映像復号装置１５０は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２１倍に分割して決定された第２符号化単位１３０２は、ＮｘＮサイズを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズに分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２サイズを有することができる。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／２２倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２１倍である第２符号化単位１３０２の深度は、Ｄ＋１でもあり、第１符号化単位１３００の幅及び高さの１／２２倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。
【０１４２】
一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であるということを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であるということを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、映像復号装置１５０は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。
【０１４３】
映像復号装置１５０は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。
【０１４４】
一実施形態により、映像復号装置１５０は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２を決定することもできる。すなわち、映像復号装置１５０は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。
【０１４５】
一実施形態により、映像復号装置１５０は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１３０２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／２サイズの第３符号化単位１３２４を決定することができる。
【０１４６】
一実施形態により、映像復号装置１５０は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。
【０１４７】
一実施形態により、映像復号装置１５０は、ＮｘＮ／２サイズの第２符号化単位１３１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４を決定することもできる。すなわち、映像復号装置１５０は、第２符号化単位１３１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３２４を決定することができる。
【０１４８】
一実施形態により、映像復号装置１５０は、正方形状の符号化単位、例えば、１３００、１３０２、１３０４を、水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態により、深度が、符号化単位の最長辺の長さに基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００，１３０２または１３０４が水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００，１３０２または１３０４の深度と同一である。
【０１４９】
一実施形態により、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／２倍に該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３１４の深度は、Ｄ＋１でもあり、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第３符号化単位１３１４または１３２４の深度は、Ｄ＋２でもある。
【０１５０】
図１４は、一実施形態により、符号化単位の形態及び大きさによっても決定される深度区分及び符号化単位区分のためのインデックス（ＰＩＤ：part  index）を図示する。
【０１５１】
一実施形態により、映像復号装置１５０は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、映像復号装置１５０は、分割形態情報により、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、映像復号装置１５０は、第１符号化単位１４００に係わる分割形態情報に基づいて、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。
【０１５２】
一実施形態により、正方形状の第１符号化単位１４００に係わる分割形態情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺の長さに基づいて、深度が決定される。例えば、正方形状の第１符号化単位１４００の一辺の長さと、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺の長さとが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見ることができる。それに反し、映像復号装置１５０が、分割形態情報に基づいて、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの一辺の長さは、第１符号化単位１４００の一辺の長さの１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位であるＤ＋１の深度でもある。
【０１５３】
一実施形態により、映像復号装置１５０は、高さが幅より大きい形態の第１符号化単位１４１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態により、映像復号装置１５０は、幅が高さより大きい形態の第１符号化単位１４２０を、分割形態情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。
【０１５４】
一実施形態により、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１６ａ，１４１６ｂ，１４１６ｃ，１４１６ｄは、長辺の長さに基づいて、深度が決定される。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの一辺の長さは、高さが幅より大きい非正方形状の第１符号化単位１４１０の一辺の長さの１／２倍であるので、正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度であるＤ＋１である。
【０１５５】
さらには、映像復号装置１５０が分割形態情報に基づいて、非正方形状の第１符号化単位１４１０を、奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺の長さ、及び正方形状の第２符号化単位１４１４ｂの一辺の長さは、第１符号化単位１４１０の一辺の長さの１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。映像復号装置１５０は、第１符号化単位１４１０に係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより大きい非正方形状の第１符号化単位１４２０に係わる符号化単位の深度を決定することができる。
【０１５６】
一実施形態により、映像復号装置１５０は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃのうち、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの二つを含んでもよい。従って、スキャン順序により、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２増加した３でもある。すなわちインデックスの値の不連続性が存在する。一実施形態により、映像復号装置１５０は、かような分割された符号化単位間区分のためのインデックスの不連続性存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
【０１５７】
一実施形態により、映像復号装置１５０は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像復号装置１５０は、高さが幅より大きい長方形形態の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像復号装置１５０は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。
【０１５８】
一実施形態により、映像復号装置１５０は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち、所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より大きい長方形形態の第１符号化単位１４１０に係わる分割形態情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１５０は、第１符号化単位１４１０を、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。映像復号装置１５０は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１５０は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１５０は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態により、映像復号装置１５０は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと幅は同一であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２増加した３でもある。かような場合のように、均一にインデックスが増加していて、増加幅が異なる場合、映像復号装置１５０は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態情報が、奇数個の符号化単位に分割されることを示す場合、映像復号装置１５０は、奇数個の符号化単位のうち、所定位置の符号化単位（例えば、真ん中符号化単位）が、他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１５０は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定しようとする所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであり、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
【０１５９】
一実施形態により、映像復号装置１５０は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
【０１６０】
図１５は、一実施形態により、ピクチャに含まれる複数個の所定データ単位によって複数個の符号化単位が決定されたところを図示する。
【０１６１】
一実施形態により、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、再帰的に分割され始めるデータ単位と定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下では、説明上の便宜のために、かような所定データ単位を基準データ単位と称する。
【０１６２】
一実施形態により、該基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一であってもよく、２の乗数と表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形の形態を示すことができ、以後、整数個の符号化単位にも分割される。
【０１６３】
一実施形態により、映像復号装置１５０は、現在ピクチャを、複数個の基準データ単位に分割することができる。一実施形態により、映像復号装置１５０は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。かような基準データ単位の分割過程は、四分木（quad-tree）構造を利用した分割過程に対応する。
【０１６４】
一実施形態により、映像復号装置１５０は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、映像復号装置１５０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用して、少なくとも１つの符号化単位を決定することができる。
【０１６５】
図１５を参照すれば、映像復号装置１５０は、正方形状の基準符号化単位１５００を利用することができ、または非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、ピクチャ（picture）、スライス（slice）、スライスセグメント（slice  segment）、最大符号化単位など）によっても決定される。
【０１６６】
一実施形態により、映像復号装置１５０の受信部１６０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図１２の現在符号化単位１２００または１２５０が分割される過程を介して説明したので、詳細な説明は省略する。
【０１６７】
一実施形態により、映像復号装置１５０は、所定条件に基づいて事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、受信部１６０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。映像復号装置１５０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、該基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、映像復号装置１５０は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【０１６８】
一実施形態により、映像復号装置１５０は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定される。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を四分木構造によってｎ回分割した大きさでもある。すなわち、映像復号装置１５０は、最大符号化単位を、四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、分割することができる。
【０１６９】
図１６は、一実施形態により、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【０１７０】
一実施形態により、映像復号装置１５０は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順に決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster  scan）、Ｚスキャン（Ｚ−scan）、Ｎスキャン（Ｎ−scan）、右上向き対角スキャン（up-right  diagonal  scan）、水平的スキャン（horizontal  scan）、垂直的スキャン（vertical  scan）など多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。
【０１７１】
一実施形態により、映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。映像復号装置１５０は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【０１７２】
一実施形態により、映像復号装置１５０の受信部１６０は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位でビットストリームから獲得される。すなわち、受信部１６０は、前記多くのデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、映像復号装置１５０は、獲得されたプロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【０１７３】
一実施形態により、映像復号装置１５０は、ピクチャ１６００に含まれるプロセッシングブロック（１６０２、１６１２）の大きさを決定することができる。例えば、映像復号装置１５０は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、映像復号装置１５０は、一実施形態により、プロセッシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを基準符号化単位の縦サイズの４倍に決定することができる。映像復号装置１５０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
【０１７４】
一実施形態により、映像復号装置１５０は、プロセッシングブロックの大きさに基づいて、ピクチャ１６００に含まれるそれぞれのプロセッシングブロック１６０２，１６１２を決定することができ、プロセッシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
【０１７５】
一実施形態により、映像復号装置１５０は、ビットストリームから少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向と定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定される。
【０１７６】
一実施形態により、映像復号装置１５０は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、受信部１６０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとに獲得される。
【０１７７】
映像復号装置１５０は、一実施形態により、決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
【０１７８】
一実施形態により、受信部１６０は、ビットストリームから、プロセッシングブロック１６０２，１６１２に係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、映像復号装置１５０は、前記プロセッシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、映像復号装置１５０は、それぞれのプロセッシングブロック１６０２，１６１２に係わる少なくとも１つの基準符号化単位の決定順序１６０４，１６１４を決定することができる。例えば、該基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１６０２，１６１２に係わる基準符号化単位決定順序は、プロセッシングブロックごとに異なる。プロセッシングブロック１６０２に係わる基準符号化単位決定順序１６０４がラスタースキャン（raster  scan）順序である場合、プロセッシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によっても決定される。それに反し、他のプロセッシングブロック１６１２に係わる基準符号化単位決定順序１６１４がラスタースキャン順序の逆順である場合、プロセッシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
【０１７９】
図１７は、映像に含まれたブロックのイントラ予測を行う映像予測装置１７００を図示する。
【０１８０】
映像予測装置１７００は、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０を含む。図１７において、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、別途の構成単位によって表現されているが、一実施形態により、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、合わされて同一構成単位によっても具現される。
【０１８１】
図１７において、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、１つの装置に位置した構成単位によって表現されたが、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０の各機能を担当する装置は、必ずしも物理的に隣接する必要はない。従って、一実施形態により、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、分散していてもよい。
【０１８２】
隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、一実施形態により、１つのプロセッサによっても具現される。また、一実施形態により、複数個のプロセッサによっても具現される。
【０１８３】
隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０は、映像予測装置１７００の記録媒体に、プログラム形態に保存されている。また、隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０の機能を遂行するプログラムは、映像予測装置１７００の必要により、外部からも獲得される。
【０１８４】
図１７の隣接サンプル獲得部１７１０、参照サンプル決定部１７２０及び予測部１７３０で遂行される機能は、図１Ａの符号化部１１０、及び図１Ｂの復号化部１７０でも遂行される。
【０１８５】
隣接サンプル獲得部１７１０は、現在ブロックの周辺に位置した複数の隣接サンプルを獲得する。該隣接サンプルは、現在ブロックに含まれたサンプルを予測するために使用される。従って、現在ブロックの復元以前に復元されたサンプルが、該隣接サンプルとして獲得される。
【０１８６】
図１６で説明されたラスタースキャン順序によれば、現在ブロックが、現在ピクチャの最上側部に位置しない限り、現在ブロックの上側に隣接したサンプルは、現在ブロックより先に復元されている。従って、現在ブロックの上側ブロックに含まれたサンプルのうち、現在ブロックに隣接したサンプルが、現在ブロックの隣接サンプルに含まれる。
【０１８７】
同様に、現在ブロックが、現在ピクチャの最左側部に位置しない限り、現在ブロックの左側に隣接したサンプルは、現在ブロックより先に復元されている。従って、現在ブロックの左側ブロックに含まれたサンプルのうち、現在ブロックに隣接したサンプルが、現在ブロックの隣接サンプルに含まれる。
【０１８８】
ラスタースキャン順序によれば、現在ブロックの右側ブロックは、現在ブロックの復元後に復元される。従って、現在ブロックのイントラモードの方向が、右上側方向である場合、現在ブロックの右側ブロックの代わりに、現在ブロックの右上側ブロックから、現在ブロックの隣接サンプルが獲得される。具体的には、右上側ブロックの最下側サンプルが隣接サンプルに含まれる。
【０１８９】
同様に、ラスタースキャン順序によれば、現在ブロックの下側ブロックは、現在ブロックの復元後に復元される。従って、現在ブロックのイントラモードの方向が左下側方向である場合、現在ブロックの下側ブロックの代わりに、現在ブロックの左下側ブロックから、現在ブロックの隣接サンプルが獲得される。具体的には、左下側ブロックの最右側サンプルが隣接サンプルに含まれる。
【０１９０】
現在ブロックが参照する隣接ブロックのうち復元されていないブロックがある場合、隣接サンプル獲得部１７１０は、復元されたブロックから獲得された隣接サンプルを参照し、復元されていないブロックの隣接サンプルの位置に対応する代替（substitution）隣接サンプルを生成することができる。現在ブロックが映像のエッジにあるか、あるいは復元順序により、隣接ブロックが現在ブロックより遅く復元される場合、現在ブロックは、隣接ブロックを参照することができない。従って、隣接サンプル獲得部１７１０は、復元されたブロックの隣接サンプルを「獲得可能（available）」と表示し、復元されていないブロックに対応する隣接サンプルを「獲得不可能（not  available）」と表示する。そして、隣接サンプル獲得部１７１０は、「獲得可能（available）」と表示された隣接サンプルのサンプル値を隣接ブロックから獲得し、「獲得不可能（not  available）」と表示された隣接サンプルを、「獲得可能（available）」と表示された隣接サンプルから決定された代替隣接サンプルで代替する。
【０１９１】
代替隣接サンプルは、「獲得可能（available）」と表示された隣接サンプルの平均値とも決定される。また、該代替隣接サンプルは、「獲得不可能（not  available）」と表示された隣接サンプルから最も近くに位置した獲得可能（available）」と表示された隣接サンプルのサンプル値にも決定される。それ以外にも、代替隣接サンプルは、多様な方法によっても決定される。
【０１９２】
該代替隣接サンプルの決定方法は、現在ブロック、または現在ブロックの上位データ単位の属性によっても決定される。また、該代替隣接サンプルの決定方法は、現在ブロック、または現在ブロックの上位データ単位の属性と関係なく、複数の決定方法のうち最も効率的な方法で決定される。現在ブロックに対して、最も効率的な代替隣接サンプルの決定方法は、フラグの形態でビットストリームに含まれ、符号化器から復号器に伝送される。
【０１９３】
隣接サンプル獲得部１７１０は、獲得された隣接サンプルを、平滑化フィルタによって平滑化することができる。隣接サンプル間の差の程度により、平滑化に使用される平滑化フィルタが決定される。隣接サンプルが平滑化されるか否かということは、現在ブロックの大きさ及びイントラモードによっても決定される。該隣接サンプルが平滑化されることにより、隣接サンプルの値は、連続性を有することになり、予測正確度が上昇する。
【０１９４】
参照サンプル決定部１７２０は、隣接サンプルを含む一次元隣接サンプル配列（one-dimensional  adjacent  sample  array）を生成することができる。隣接サンプルの位置は、ｘ座標値とｙ座標値とによって表現される。従って、該隣接サンプルから、参照サンプルを検索する過程において、隣接サンプルの位置に係わる２個の変数が考慮されることにより、計算の複雑性が増大してしまう。
【０１９５】
しかし、全ての隣接サンプルが、同一のｘ座標値またはｙ座標値を有するように隣接サンプルが変換されれば、隣接サンプルの位置が、ｘ座標値またはｙ座標値によって表現される。例えば、全ての隣接サンプルが、同一のｘ座標値を有するように変換されれば、隣接サンプルの位置は、ｙ座標値によって表現される。１つの変数によって表現される変換された隣接サンプルが一列に含まれた配列を、一次元隣接サンプル配列という。該一次元隣接サンプル配列において、隣接サンプルの位置が、１つの変数によって表現されるので、一次元隣接サンプル配列から、参照サンプルを検索する過程において、計算の複雑性が低減される。
【０１９６】
該一次元隣接サンプル配列から、現在サンプルが参照する参照サンプルがさらに容易に決定される。例えば、現在ブロックの予測において、上側ブロックから獲得された隣接サンプルと、左側ブロックから獲得された隣接サンプルとが共に利用される場合、隣接サンプルの座標を一次元で単純化し、現在サンプルが参照する参照サンプルが容易に決定される。
【０１９７】
一次元隣接サンプル配列の決定方法は、図１８Ａ及び図１８Ｂで説明する。
【０１９８】
図１８Ａは、イントラ予測に使用されるイントラモードの一実施形態を示す。０回イントラモードと１回イントラモードは、それぞれプレーナモード（planar  mode）とＤＣモードとを示す。該プレーナモードと該ＤＣモードは、方向性がない非方向性（non-directional）イントラモードである。一方、２回ないし３４回のイントラモードは、方向性がある方向性イントラモードを示す。図１８Ａに示されたイントラモードの参照番号は、任意的に設定されたものであるので、当業者であるならば、参照番号を容易に変更することができるであろう。
【０１９９】
２回イントラモードないし１０回イントラモードによれば、左側ブロック及び左下側ブロックから獲得された隣接サンプルだけが、現在ブロックの予測に利用される。従って、現在ブロックが、２回イントラモードないし１０回イントラモードによって予測される場合、一次元隣接サンプル配列は、左側ブロック及び左下側ブロックから獲得された隣接サンプルから構成される。そして、一次元隣接サンプル配列は、隣接サンプルのｙ左標値によって区分される。
【０２００】
２６回イントラモードないし３４回イントラモードによれば、上側ブロックまたは右上側ブロックから獲得された隣接サンプルだけが、現在ブロックの予測に利用される。従って、現在ブロックが、２６回イントラモードないし３４回イントラモードによって予測される場合、一次元隣接サンプル配列は、上側ブロックまたは右上側ブロックから獲得された隣接サンプルから構成される。そして、一次元隣接サンプル配列は、隣接サンプルのｘ左標値によって区分される。
【０２０１】
１１回ないし２５回のイントラモードの場合、上側ブロックから獲得された隣接サンプルと、左側ブロックから獲得された隣接サンプルとが共に利用されるので、上側ブロックから獲得された隣接サンプルと、左側ブロックから獲得された隣接サンプルとのうち一つを変換すれば、一次元隣接サンプル配列が生成される。該隣接サンプルを変換し、一次元隣接サンプル配列を生成する方法に係わる一実施形態について、図１８Ｂで説明する。
【０２０２】
図１８Ｂは、１８回ないし２５回のイントラモードの場合、一次元隣接サンプル配列を生成する方法が図示されている。
【０２０３】
現在ブロック１８００の左側隣接サンプル１８３０は、現在ブロック１８００のイントラモードの方向１８０２により、変換隣接サンプル１８４０に変換される。具体的には、変換隣接サンプル１８４０は、変換隣接サンプル１８４０から、イントラモードの方向１８０２が示す左側隣接サンプル１８３０と同一に決定される。例えば、一次元隣接サンプル配列１８１０の変換隣接サンプル１８４２は、変換隣接サンプル１８４２から、イントラモードの方向１８０２が示す左側隣接サンプル１８３２と同一に決定される。
【０２０４】
現在ブロック１８００の上側隣接サンプル１８２０と変換隣接サンプル１８４０は、一次元隣接サンプル配列１８１０に含まれる。そして、一次元隣接サンプル配列１８１０に含まれた隣接サンプルは、同一ｙ左標値を有する。従って、一次元隣接サンプル配列１８１０のサンプル位置は、ｘ左標値によって区分される。すなわち、一次元隣接サンプル配列１８１０に含まれたサンプルの位置は、１個の参照値によって表現される。
【０２０５】
図１８Ｂの実施形態と異なり、１８回ないし２５回のイントラモードの場合、一次元隣接サンプル配列は、縦に配列される。従って、上側隣接サンプルが変換され、左側隣接サンプルと共に、一次元隣接サンプル配列に含まれる。一次元隣接サンプル配列の隣接サンプルの位置は、ｙ左標値によって区分される。
【０２０６】
参照サンプル決定部１７２０は、現在ブロックのイントラモードにより、隣接サンプルで構成された一次元隣接サンプル配列から、現在サンプルが参照する参照サンプルを決定する。具体的には、一次元隣接サンプル配列の隣接サンプルのうち現在サンプルから、現在ブロックのイントラモードの方向が示す隣接サンプルが、参照サンプルに決定される。図１９Ａ及び図１９Ｂにおいて、参照サンプルの決定方法が説明される。
【０２０７】
図１９Ａは、現在サンプルの位置と、現在ブロックのイントラモードによる参照サンプルとの決定方法を示す。
【０２０８】
現在ブロック１９００は、対角線方向のイントラモード１９２０によって予測される。従って、現在サンプル１９０２から、イントラモード１９２０の方向に位置した隣接サンプル１９１２が、現在サンプル１９０２の参照サンプルに決定される。そして、現在サンプル１９０２の予測値は、参照サンプルである隣接サンプル１９１２と同一に決定される。同様に、現在サンプル１９０２と同一の隣接サンプル１９１２を、参照サンプルにするサンプル１９０３，１９０４，１９０５，１９０６，１９０７，１９０８は、いずれも同一予測値を有する。結果として、現在ブロック１９００の予測ブロックは、１８回イントラモード１９２０の予測方向に沿って、斜線方向の縞模様テクスチャを有する。
【０２０９】
図１９Ｂは、現在サンプルがサブサンプルを参照する場合、現在サンプルの参照サンプル決定方法を示す。
【０２１０】
現在サンプルから、イントラモードの方向が示す参照サンプルの参照位置は、整数値と少数値とを有する。少数値が０である場合、参照サンプルは、一次元隣接サンプル配列の隣接サンプルと決定される。しかし、少数値が０ではない場合、参照サンプルは、一次元隣接サンプル配列のサブサンプルとも決定される。該サブサンプルとは、隣接サンプル間に位置したサンプルであり、隣接サンプルによって決定される。現在ブロックが、斜線方向のイントラモードである場合、参照サンプルがサブサンプルと決定される可能性が高い。
【０２１１】
図１９Ｂによれば、現在サンプル１９５０の参照サンプルは、現在サンプル１９５０から斜線方向のイントラモード１９７０の予測方向が示すサブサンプル１９６０と決定される。サブサンプル１９６０は、隣接サンプル１９６４と隣接サンプル１９６６との間に位置し、隣接サンプル１９６４と隣接サンプル１９６６とにより、サブサンプル１９６０のサンプル値が決定される。例えば、サブサンプル１９６０のサンプル値は、参照位置の少数値と、隣接サンプル１９６４，１９６６を利用した線形補間とによっても決定される。また、他の例として、サブサンプル１９６０のサンプル値は、参照位置の少数値と、隣接サンプル１９６２，１９６４，１９６６，１９６８を利用したスプライン補間またはＤＣＴ基盤補間によっても決定される。生成されたサブサンプルは、参照サンプルに決定され、現在サンプルの予測に使用される。
【０２１２】
予測部１７３０は、参照サンプルのサンプル値を、参照距離（reference  distance）によって調整し、調整された参照サンプルのサンプル値を、現在サンプルの予測値と決定する。
【０２１３】
該参照距離は、参照サンプルと現在サンプルとの距離に基づいて決定される。例えば、参照サンプルと現在サンプルとの距離が、参照距離とも決定される。また、計算の快適性のために、参照サンプルと現在サンプルとの水平距離及び垂直距離のうち一つが、参照距離として決定される。該水平距離は、参照サンプルの位置と、現在サンプルの位置とのｘ成分間の差を意味し、該垂直距離は、参照サンプルの位置と、現在サンプルの位置とのｙ成分間の差を意味する。
【０２１４】
例えば、水平距離が垂直距離より長い場合、該水平距離が参照距離とも決定される。反対に、垂直距離が水平距離より長い場合、垂直距離が参照距離とも決定される。従って、イントラモードが水平モードに近い水平方向性イントラモードである場合、該参照距離は、参照サンプルと現在サンプルとの水平距離と定義される。反対に、イントラモードが垂直モードに近い垂直方向性イントラモードである場合、該参照距離は、参照サンプルと現在サンプルとの垂直距離と定義される。
【０２１５】
該参照サンプルは、参照距離によっても調整される。該参照距離が短い場合、現在サンプルと参照サンプルとの関連性が高い。従って、該現在サンプルは、参照サンプルと同一値を有する確率が高い。従って、該現在サンプルを参照サンプルによって予測しても、大きい予測誤差が発生する確率が低い。
【０２１６】
しかし、参照距離が長い場合、現在サンプルと参照サンプルとの関連性が相対的に低い。従って、現在サンプルを参照サンプルによって予測する場合、大きい予測誤差が発生する確率が高くなり、効果的ではなくなる。従って、参照距離が長いほど、参照サンプルを大幅に調整し、予測誤差を減少させる必要がある。
【０２１７】
該参照距離が、参照サンプルと現在サンプルとの水平距離及び垂直距離のうち一つに決定された場合、参照サンプルの調整において、イントラモードの方向を追加して考慮することができる。特に、イントラモードの方向が、対角線方向である場合、参照サンプルと現在サンプルとの実際距離と参照距離との差が大きくなる。従って、正確な予測のために、イントラモードの方向を考慮し、参照サンプルが調整される。
【０２１８】
該参照サンプルは、隣接サンプル代表値と、参照距離によって調整されるか、あるいは参照距離による平滑化フィルタによっても調整される。該参照サンプルの調整により、参照サンプルのサンプル値が変更される。以下、隣接サンプル代表値及び参照距離による調整方法が、図２０及び数式（１）を参照して説明され、該参照距離による平滑化フィルタによる調整方法が、図２１Ａ、図２１Ｂ及び数式（２）を参照して説明される。
【０２１９】
予測部１７３０は、複数の隣接サンプルを代表する隣接サンプル代表値を決定し、隣接サンプル代表値及び参照距離により、参照サンプルのサンプル値を調整することができる。そして、予測部１７３０は、参照サンプルのサンプル値、及び隣接サンプル代表値により、現在サンプルの予測値を決定することができる。該隣接サンプル代表値と参照距離とによる参照サンプル調整方法は、数式（１）及び図２０に基づいて説明する。
【０２２０】
隣接サンプル代表値は、一次元隣接サンプル配列に含まれた複数の隣接サンプルから決定される。そして、隣接サンプル代表値は、参照サンプルを含んだ少なくとも２以上の隣接サンプルの平均と決定される。例えば、隣接サンプル代表値は、参照サンプルのサンプル値と、参照サンプルに隣接した隣接サンプルのサンプル値との領域平均（local  average）と決定される。具体的には、参照サンプル、参照サンプルのすぐ左側（immediately  left）に位置した隣接サンプル、参照サンプルのすぐ右側（immediately  right）に位置した隣接サンプルのサンプル値の平均が、隣接サンプル代表値と決定される。
【０２２１】
該隣接サンプル代表値の決定に使用される隣接サンプルの数は、現在ブロックの大きさによっても決定される。該現在ブロックの大きさが小さい場合、２個あるいは３個の隣接サンプルの平均が、隣接サンプル代表値とも決定される。一方、該現在ブロックが大きい場合、現在ブロックの大きさに比例し、４個以上の隣接サンプルの平均が、隣接サンプル代表値とも決定される。また、隣接サンプルの数は、現在ブロック、または現在ブロックの隣接ブロックから獲得された符号化情報から、適応的に決定される。
【０２２２】
隣接サンプル代表値は、一次元隣接サンプル配列に含まれた全ての隣接サンプルの平均とも決定される。従って、現在ブロックの予測に使用される全ての隣接サンプル代表値は、同一値に決定される。
【０２２３】
参照サンプル及び隣接サンプル代表値により、現在サンプルの予測値が決定される。例えば、現在サンプルの予測値は、参照サンプルのサンプル値と、隣接サンプル代表値との加重平均と決定される。従って、該参照サンプルは、参照サンプルと隣接サンプル代表値との加重値によっても調整される。例えば、該参照サンプルの加重値が、隣接サンプル代表値の加重値より大きい場合、該参照サンプルは、小幅に調整される。反対に、参照サンプルの加重値が、隣接サンプル代表値の加重値より小さい場合、参照サンプルは、大幅に調整される。
【０２２４】
加重平均に利用される加重値は、参照距離によっても決定される。該参照距離が短い場合、参照サンプルと現在サンプルとが同一である確率が高いので、参照サンプルの加重値は、隣接サンプル代表値の加重値より大きく決定される。反対に、参照距離が長い場合、参照サンプルと現在サンプルとの差が大きい確率が高いので、隣接サンプル代表値の加重値、は参照サンプルの加重値より大きく決定される。従って、該参照距離が延長されるにつれ、参照サンプルの加重値は減少し、隣接サンプル代表値の加重値は、増加する。
【０２２５】
参照距離が、参照サンプルと現在サンプルとの水平距離及び垂直距離のうち一つに決定された場合、イントラモードの方向が、参照サンプルと隣接サンプル代表値とに係わる加重値決定に反映される。例えば、イントラモードの方向が対角線方向である場合、隣接サンプル代表値に係わる加重値が増加する。
【０２２６】
参照距離が延長されることにより、隣接サンプル代表値の加重値は、線形的に増加する。一実施形態により、隣接サンプル代表値の加重値は、非線形的または区間線形的（piece-wise  linear）に増加する。反対に、参照サンプルの加重値は、参照距離延長により、線形的、非線形的または区間線形的に減少する。
【０２２７】
参照サンプルと隣接サンプル代表値との加重値は、統計結果により、予測誤差が最も少なく発生すると判断された加重値にも決定される。
【０２２８】
該参照距離による参照サンプルの調整は、下記数式（１）によっても行われる。Ａは、参照サンプルのサンプル値を意味し、ＤＣは、隣接サンプル代表値を意味する。Ｓは、参照サンプルの加重値と、隣接サンプル代表値の加重値との和を意味し、ｗは、隣接サンプル代表値の加重値を意味する。そして、Ａ’は、調整された参照サンプルを意味する。
【０２２９】
Ａ’＝（（Ｓ−ｗ）＊Ａ＋（ｗ）＊ＤＣ）／Ｓ      （１）
Ｓは、現在ブロックの辺の長さ、または辺の長さの倍数とも決定される。また、Ｓは、イントラモードの方向を考慮し、参照サンプルと現在サンプルとの実際距離によっても決定される。
【０２３０】
ｗは、Ｓより小さいように決定される。従って、参照サンプル及び隣接サンプル代表値の加重値は、必ず０より大きいように決定される。そして、ｗの最大値は、Ｓと同じであるか、あるいはそれより小さいようにも決定される。従って、参照サンプルの加重値Ｓ−ｗは、常時０より大きいようにも設定される。
【０２３１】
ｗは、参照距離によって増加するように設定される。ｗは、参照距離に比例し、線形的に増加するようにも設定される。また、参照距離と予測誤差とに係わる統計的結果により、ｗの線形的増加が最適ではないと判断された場合、ｗは、非線形的または区分線形的に増加するようにも設定される。ｗの値は、参照距離と予測誤差とに係わる統計的結果により、任意的にも決定される。
【０２３２】
ｗは、全てのブロックに対して、同一決定方法によっても決定される。また、ｗは、現在ブロックの特性により、適応的に決定されるか、あるいはビットストリームから伝達された情報によっても決定される。
【０２３３】
ＤＣは、一次元隣接サンプル配列に含まれた全ての隣接サンプルの平均とも決定される。また、ＤＣは、参照サンプルと、参照サンプルに隣接した隣接サンプルとの領域平均とも決定される。該領域平均の計算に必要な隣接サンプルの個数は、現在ブロックの大きさによっても決定される。
【０２３４】
前述の参照距離及び隣接サンプル代表値により、参照サンプルのサンプル値を調整する方法の実施形態が図２０によって説明される。
【０２３５】
図２０には、垂直方向性イントラモードの場合、参照距離及び隣接サンプル代表値により、参照サンプルのサンプル値を調整する方法の実施形態が図示されている。
【０２３６】
まず、現在ブロック２０００の隣接サンプルを含む一次元隣接サンプル配列２０１０が決定される。また、一次元隣接サンプル配列２０１０に含まれた隣接サンプルから獲得された隣接サンプル代表値を含む一次元代表値配列２０２０が獲得される。一次元隣接サンプル配列２０１０及び一次元代表値配列２０２０は、水平方向に配列される。
【０２３７】
現在ブロック２０００に適用されるイントラモード２００６により、現在サンプル２００２の予測に使用される参照サンプル２０１２が、一次元隣接サンプル配列２０１０から決定される。そして、一次元代表値配列２０２０から、参照サンプル２０１２に対応する隣接サンプル代表値２０２２が決定される。また、現在サンプル２００２と参照サンプル２０１２との垂直距離が、現在サンプル２００２と参照サンプル２０１２との水平距離より長いために、参照サンプル２０１２の参照距離２００４が、現在サンプル２００２と参照サンプル２０１２との垂直距離と決定される。
【０２３８】
参照サンプル２０１２のサンプル値は、数式（１）を参照し、参照距離２００４と隣接サンプル代表値２０２２とによっても調整される。隣接サンプル代表値２０２２は、一次元隣接サンプル配列２０１０に含まれた全ての隣接サンプルの平均であるか、あるいは一次元隣接サンプル配列２０１０において、参照サンプル２０１２に隣接した隣接サンプルの領域平均でもある。そして、参照サンプル２０１２に係わる加重値と、隣接サンプル代表値２０２２に係わる加重値は、参照距離２００４によって決定される。
【０２３９】
例えば、隣接サンプル代表値２０２２の加重値が、参照距離２００４と同一に決定され、参照距離２００４が５であり、隣接サンプル代表値２０２２及び参照サンプル２０１２の加重値の和が８である場合、隣接サンプル代表値２０２２の加重値は、５に決定され、参照サンプル２０１２に係わる加重値は、３に決定される。
【０２４０】
参照サンプル２０１２のサンプル値と、隣接サンプル代表値２０２２の加重値との和は、現在ブロックの大きさによっても決定される。しかし、参照サンプル２０１２と隣接サンプル代表値２０２２との加重値の和が、現在ブロックの他の特性によって決定されるか、あるいは現在ブロックの大きさと関係なく固定された値を有するようにも設定される。
【０２４１】
現在サンプル２００２は、隣接サンプル代表値２０２２と参照距離２００４とによって調整された参照サンプル２０１２によって予測される。具体的には、現在サンプル２００２の予測値は、調整された参照サンプル２０１２のサンプル値と同一値に決定される。
【０２４２】
以上、参照距離及び隣接サンプル代表値による参照サンプル調整方法が説明された。以下、参照サンプルを調整するために、参照サンプルに、参照距離による平滑化フィルタを使用する参照サンプル調整方法が説明される。
【０２４３】
予測部１７３０は、参照距離によって選択された平滑化フィルタ（smoothing  filter）を利用し、参照サンプルのサンプル値を平滑化（smoothing）することができる。そして、予測部１７３０は、平滑化された参照サンプルのサンプル値は、現在サンプルの予測値と決定することができる。本明細書において平滑化とは、参照サンプルのサンプル値が、参照サンプルに隣接したサンプルのサンプル値と連続性を有するように、参照サンプルのサンプル値を調整することを意味する。
【０２４４】
該平滑化フィルタは、Ｎ個のフィルタ係数を含むＮタップフィルタである。例えば、平滑化フィルタが［１／４，２／４，１／４］の平滑化フィルタ係数を含む３タップフィルタであり、該平滑化フィルタが参照サンプルのすぐ左側に位置した隣接サンプルＰ（Ｘ−１）、参照サンプルＰ（Ｘ）、参照サンプルのすぐ右側に位置した隣接サンプルＰ（Ｘ＋１）に適用される場合、平滑化フィルタが適用された参照サンプルは、｛Ｐ（Ｘ−１）＋２＊Ｐ（Ｘ）＋Ｐ（Ｘ＋１）｝／４になる。
【０２４５】
フィルタ係数の個数は、現在ブロックの大きさ、参照距離及びイントラモードのうち少なくとも一つによっても決定される。現在ブロックが大きいほど、平滑化フィルタに含まれたフィルタ係数の個数は、増加する。また、参照距離及びイントラモードにより、フィルタ係数の個数が決定される。
【０２４６】
該フィルタ係数は、平滑化強度によっても決定される。該平滑化フィルタの平滑化強度を低下させるために、参照サンプルに割り当てられたフィルタ係数が、参照サンプルの隣接サンプルに割り当てられたフィルタ係数より大きいようにも設定される。反対に、平滑化フィルタの平滑化強度を増大させるために、参照サンプルに割り当てられたフィルタ係数が、参照サンプルの隣接サンプルに割り当てられたフィルタ係数と同一であるようにも設定される。
【０２４７】
該平滑化強度は、参照距離が延長されることによって増大するようにも設定される。例えば、該平滑化強度は、参照距離に線形的に比例して増大するようにも設定される。また、他の例として、該平滑化強度は、参照距離が延長されることにより、非線形的または区間線形的に増大するようにも設定される。該平滑化強度は、参照距離及び予測誤差に係わる統計的結果により、任意的にも決定される。
【０２４８】
該平滑化は、平滑化フィルタを参照サンプルに何回か適用することによっても行われる。例えば、該参照距離が１である場合、平滑化フィルタを参照サンプルに１回適用し、参照距離が２である場合、平滑化フィルタを参照サンプルに２回適用する。同一平滑化フィルタが、参照サンプルの平滑化に重複しても使用される。また、該参照距離により、互いに異なる平滑化フィルタが、連続的にも使用される。
【０２４９】
図２１Ａにおいて、参照距離による平滑化フィルタに係わる一実施形態が説明されている。
【０２５０】
現在ブロック２１００には、垂直方向のイントラモード２１０１が適用される。従って、Ｐ０ないしＰ７の参照サンプルは、いずれもＰ０ないしＰ７のような列に位置した隣接サンプルＢに決定される。
【０２５１】
Ｐ０ないしＰ７の参照サンプルは、それぞれＰ０ないしＰ７の参照距離による平滑化フィルタによって調整される。Ｐ０ないしＰ７の参照距離は、隣接サンプルＢからの垂直距離と決定される。例えば、Ｐ０の参照距離は、１に決定され、Ｐ１の参照距離は、２に決定される。
【０２５２】
Ｐ０ないしＰ７の参照距離により、平滑化フィルタが選択される。例えば、参照距離が１である平滑化フィルタが［０，１，０］である場合、Ｐ０に係わる平滑化フィルタは、［０，１，０］とも決定される。他の例として、参照距離が４である平滑化フィルタが［１／４，１／２，１／４］である場合、Ｐ４に係わる平滑化フィルタは、［１／４，１／２，１／４］とも決定される。さらに他の例として、参照距離が８である平滑化フィルタが［１／３，１／３，１／３］である場合、Ｐ７に係わる平滑化フィルタは、［１／３，１／３，１／３］とも決定される。Ｐ０ないしＰ７の参照サンプルに適用される平滑化フィルタの平滑化強度は、Ｐ０ないしＰ７の参照距離が延長される増大されるように設計される。
【０２５３】
図２１Ａにおいては、平滑化フィルタが３個のフィルタ係数を有する３タップフィルタとして説明されたが、該平滑化フィルタは、さらに多くのフィルタ係数を有することができる。また、該フィルタ係数の個数は、現在ブロックのイントラモードまたは大きさによっても決定される。
【０２５４】
Ｐ０ないしＰ７は、一次元隣接サンプル配列２１１０に含まれた隣接サンプルＡ，Ｂ，Ｃに平滑化フィルタを適用することによっても調整される。隣接サンプルＢは、Ｐ０ないしＰ７の参照サンプルであり、隣接サンプルＡ，Ｃは、参照サンプルである隣接サンプルＢに隣接した隣接サンプルであり、参照サンプルの平滑化に使用される。参照距離が短いＰ０は、［０，１，０］の平滑化フィルタが適用されるので、平滑化されない。しかし、参照距離が長いサンプルについては、平滑化フィルタによる平滑化が行われる。例えば、Ｐ４は、［１／４，１／２，１／４］の平滑化フィルタが適用されるので、Ｐ４は、（１／４）＊Ａ＋（１／２）＊Ｂ＋（１／４）＊Ｃと同一に調整される。他の例としてＰ７は、［１／３，１／３，１／３］の平滑化フィルタが適用されるので、Ｐ７は、（１／３）＊Ａ＋（１／３）＊Ｂ＋（１／３）＊Ｃと同一に調整される。Ｐ１、Ｐ２、Ｐ３、Ｐ５、Ｐ６も、参照距離による平滑化フィルタによっても調整される。
【０２５５】
図２１Ａで説明された方法は、他方向のイントラモードに対しても適用される。また、図２１Ａで説明された方法は、他サイズの現在ブロックに対しても適用される。
【０２５６】
予測部１７３０は、平滑化された参照サンプルのサンプル値を、現在サンプルの予測値と決定することができる。現在サンプルの参照距離に対して平滑化フィルタが定義されている場合、現在サンプルの平滑化フィルタによって平滑化された参照サンプルのサンプル値が、現在サンプルの予測値に決定される。しかし、予測部１７３０は、現在サンプルの参照距離に対して平滑化フィルタが定義されていない場合、他の参照距離に対して定義された平滑化フィルタを利用し、参照サンプルのサンプル値を調整することができる。
【０２５７】
予測部１７３０は、参照距離に係わる平滑化フィルタが定義されていない場合、平滑化フィルタが定義された第１距離と第２距離とを検索することができる。該第１距離は、現在サンプルの参照距離より短く、該第２距離は、現在サンプルの参照距離より長い。第１距離と参照距離との差と、第２距離と参照距離との差は、小さいことが望ましい。
【０２５８】
予測部１７３０は、第１距離に係わる平滑化フィルタにより、参照サンプルのサンプル値を平滑化し、第１中間値を獲得することができる。同様に、予測部１７３０は、第２距離に係わる平滑化フィルタにより、参照サンプルのサンプル値、または第１中間値を平滑化し、第２中間値を獲得することができる。
【０２５９】
そして、予測部１７３０は、第１中間値及び第２中間値を利用し、現在サンプルの予測値を決定することができる。例えば、第１中間値と第２中間値との加重平均を、現在サンプルの予測値と決定することができる。第１中間値と第２中間値との加重値を決定するために、第１距離と参照距離との差と、第２距離と参照距離との差との比率が考慮される。
【０２６０】
また、予測部１７３０は、平滑化フィルタが定義された第３距離、第４距離などを追加して検索し、第３距離、第４距離などによる第３中間値及び第４中間値を獲得することができる。そして、３個以上の中間値を利用し、現在サンプルの予測値を決定することができる。
【０２６１】
該参照距離に係わる平滑化フィルタが定義されていない場合、該参照距離による参照サンプルの調整は、下記数式（２）によっても行われる。Ａ［ｉ］は、第１中間値を意味し、Ａ［ｉ＋１］は、第２中間値を意味する。ｘは、第１中間値の加重値を意味し、ｙは、第２中間値の加重値を意味する。そして、Ａ’は、調整された参照サンプルを意味する。
【０２６２】
Ａ’＝（（ｘ）＊Ａ［ｉ］＋（ｙ）＊Ａ［ｉ＋１］）／（ｘ＋ｙ）      （２）
ｘは、第１距離と参照距離との差によって決定される。ｘは、第１距離と参照距離との差が増大することによって減少するようにも決定される。ｙは、第２距離と参照距離との差によって決定される。ｙは、第２距離と参照距離との差が増大することによって減少するようにも決定される。また、ｘ、ｙは、Ａ’を決定するための補間方法によっても決定される。
【０２６３】
予測部１７３０は、前述の平滑化フィルタによる参照サンプル調整方法により、現在ブロックに含まれた全てのサンプルを予測することができる。
【０２６４】
図２１Ｂは、特定の参照距離に係わる平滑化フィルタだけが定義された場合、現在ブロック２１２０の予測方法の一実施形態を示す。
【０２６５】
現在ブロック２１２０は、イントラモード２１２２の方向に沿って予測される。現在ブロック案に含まれたＰ０ないしＰ７に対して、いずれも隣接サンプルＡが参照サンプルと決定される。
【０２６６】
図２１Ｂの一実施形態においては、２の倍数の参照距離に対して、平滑化フィルタが定義されている。従って、参照サンプルである隣接サンプルＡのサンプル値を、平滑化フィルタによって平滑化することにより、Ｐ１、Ｐ３、Ｐ５、Ｐ７の予測値が獲得される。または、Ｐ３は、Ｐ１を、Ｐ５は、Ｐ３を、Ｐ７は、Ｐ５を順次に平滑化することによって予測値が獲得される。
【０２６７】
しかし、Ｐ０、Ｐ２、Ｐ４、Ｐ６については、平滑化フィルタが定義されていないので、Ｐ１、Ｐ３、Ｐ５、Ｐ７に基づいて、予測値が獲得される。
【０２６８】
例えば、Ｐ０は、隣接サンプルＡ及びＰ１から、Ｐ２は、Ｐ１及びＰ３から、Ｐ４は、Ｐ３及びＰ５から、Ｐ６は、Ｐ５及びＰ７から、予測値が獲得される。従って、Ｐ０ないしＰ７の予測値に連続性が付与される。
【０２６９】
Ｐ０ないしＰ７以外にも、現在ブロック２１２０の全てのサンプルが、前述の方法によっても予測される。第２列２１３４、第４列２１３８、第６列２１４２、第８列２１４６に位置したサンプルは、平滑化フィルタにより、一次元隣接サンプル配列２１３０の隣接サンプルを平滑化して予測される。または、第４列２１３８のサンプルは、第２列２１３４のサンプルを、第６列２１４２のサンプルは、第４列２１３８のサンプルを、第８列２１４６のサンプルは、第６列２１４２のサンプルを平滑化することにより、予測される。
【０２７０】
そして、第１列２１３２、第３列２１３６、第５列２１４０、第７列２１４４に位置したサンプルは、第２列２１３４、第４列２１３８、第６列２１４２、第８列２１４６に位置したサンプルに基づいても予測される。
【０２７１】
図２１Ｂでは、参照距離が２の倍数である場合について定義された平滑化フィルタが説明されたが、他の実施形態においては、参照距離が４または８の倍数に対して平滑化フィルタが定義されている。さらに他の実施形態において、平滑化フィルタが定義された参照距離が不規則にも決定される。
【０２７２】
図２０ないし図２１Ｂの調整方法は、計算過程において差があるだけであり、結論としては、同一調整結果が導き出される。従って、図２０ないし図２１Ｂの調整方法は、互いに相互互換される。
【０２７３】
予測部１７３０は、前述の参照サンプル調整方法により、現在ブロック２１２０を予測した後、現在ブロック２１２０に含まれたサンプルの予測値を、現在ブロック２１２０のイントラモードが示す予測方向の垂直方向に、一次元フィルタまたは二次元フィルタを利用して平滑化することができる。そして、現在ブロック２１２０に含まれたサンプルの予測値を平滑化するか否かということは、予測値を平滑化するか否かということを示す情報によって決定されるか、あるいは現在ブロック２１２０の大きさ及び形態、現在ブロック２１２０のイントラモードなどによっても決定される。一実施形態により、予測部１７３０は、現在ブロック２１２０に含まれた全てのサンプルの予測値を平滑化することができる。他の実施形態により、予測部１７３０は、現在ブロック２１２０において、不連続的な（discontinuous）一部サンプルの予測値のみを平滑化することができる。例えば、隣接サンプルのうち一部が不連続的である場合、不連続隣接サンプルから予測されたサンプルの予測値のみを平滑化することができる。
【０２７４】
予測部１７３０は、現在ブロックのイントラ予測に参照サンプルが調整されるか否かということを決定することができる。従って、現在ブロックの予測に参照サンプルが調整されると判断されるとき、予測部１７３０は、参照距離によって調整された参照サンプルに基づいて、現在サンプルを予測する。反対に、現在ブロックの予測に参照サンプルが調整されないとき、予測部１７３０は、参照距離を考慮せず、参照サンプルによって現在サンプルを予測する。
【０２７５】
映像予測装置１７００の機能が、図１Ａの符号化部１１０で遂行される場合、符号化部１１０は、現在ブロックのイントラ予測に参照サンプルが調整される場合と、調整されない場合との符号化効率を比較し、現在ブロックのイントラ予測に参照サンプルが調整されるか否かということを決定する。そして、符号化部１１０は、現在ブロックのイントラ予測に参照サンプルが調整されるか否かということを示す参照サンプル調整情報を生成し、図１Ａの出力部１２０は、参照サンプル調整情報が含まれたビットストリームを出力する。
【０２７６】
参照サンプル調整情報は、予測単位、または予測単位を含む上位データ単位に対して生成される。例えば、参照サンプル調整情報は、予測単位の上位データ単位である符号化単位、最大符号化単位、スライス、ピクチャなどに対しても生成される。
【０２７７】
また、参照サンプル調整情報は、２種類のデータ単位に対しても生成される。第１参照サンプル調整情報は、上位データ単位に対して生成され、第２参照サンプル調整情報は、下位データ単位に対しても生成される。
【０２７８】
第１参照サンプル調整情報は、上位データ単位に対して、参照サンプルの調整が許容されるか否かということを示すことができる。そして、第１参照サンプル調整情報が、参照サンプル調整の許容を示す場合、第２参照サンプル調整情報は、上位データ単位に含まれた下位データ単位に対して、参照サンプルの調整が行われるか否かということを示すことができる。例えば、該上位データ単位に対して生成された第１参照サンプル調整情報が、参照サンプルの調整を許容しない場合、上位データ単位に含まれた全ての下位データ単位に対して、参照サンプルの調整が許容されない。従って、全ての下位データ単位に対して、第２参照サンプル調整情報は、生成されない。反対に、第１参照サンプル調整情報が、参照サンプルの調整を許容する場合、上位データ単位に含まれた全ての下位データ単位に対して、それぞれ下位データ単位に参照サンプルの調整が行われるか否かということを示す第２参照平坦化情報が生成される。
【０２７９】
他の実施形態によれば、第１参照サンプル調整情報は、上位データ単位に対して、参照サンプルの調整が必ず行われるか否かということを示すことができる。そして、第１参照サンプル調整情報が、参照サンプル調整が必ずしも行われないと示す場合、第２参照サンプル調整情報は、上位データ単位に含まれた下位データ単位に対して、参照サンプルの調整が行われるか否かということを示すことができる。例えば、上位データ単位に対して生成された第１参照サンプル調整情報が、参照サンプルの調整が必ず行われると示す場合、上位データ単位に含まれた全ての下位データ単位に対して、参照サンプルの調整が行われる。従って、全ての下位データ単位に対して、第２参照サンプル調整情報は、生成されない。反対に、第１参照サンプル調整情報が、参照サンプルの調整が必ずしも行われないと示す場合、上位データ単位に含まれた全ての下位データ単位に対して、それぞれ下位データ単位に参照サンプルの調整が行われるか否かということを示す第２参照サンプル調整情報が生成される。
【０２８０】
さらに他の実施形態によれば、第１参照サンプル調整情報は、全ての下位データ単位に対して、参照サンプル調整が行われる場合、全ての下位データ単位に対して、参照サンプル調整が行われない場合、参照サンプル調整が、下位データ単位の第２参照サンプル調整情報によって決定される場合のうち一つを示すようにも生成される。
【０２８１】
前述の実施形態の上位データ単位は、シーケンス、ピクチャ、スライスなどを含み、該下位データ単位は、最大符号化単位、符号化単位、予測単位などを含んでもよい。
【０２８２】
符号化部１１０は、現在ブロック、及び現在ブロックの上位データ単位に係わる特定条件が満足される場合、現在ブロックのイントラ予測に対して、参照サンプル調整を適用することができる。例えば、符号化部１１０は、現在ブロックが決定された大きさ以上である場合、参照サンプル調整が適用されるようにも設定される。ブロックが小さい場合、参照距離の最大値が小さいために、参照サンプルを調整することによって得ることができる符号化効率が低い。従って、確率的に、参照サンプル調整による符号化効率が高い大サイズのブロックに対して、参照サンプル調整が行われる。
【０２８３】
他の例において、スライスの種類により、参照サンプル調整が適用されるか否かということが判断される。例えば、符号化部１１０は、イントラ予測だけ利用されるＩスライスに対して、参照サンプル調整が適用され、インター予測とイントラ予測とが併用されるＰスライスまたはＢスライスについては、参照サンプル調整が適用されないようにも設定される。
【０２８４】
また、現在ブロックの色成分がルマ成分であるか、あるいはクロマ成分であるかということにより、参照サンプル調整の適用いかんが決定される。そして、多重レイヤ映像において、現在ブロックがいかなるレイヤに含まれるかということにより、参照サンプル調整の適用いかんが決定される。それ以外にも、現在ブロック、及び現在ブロックの上位データ単位の多様な属性により、参照サンプル調整の適用いかんが決定される。
【０２８５】
符号化部１１０は、現在ブロック、及び現在ブロックの上位データ単位に係わる属性だけで、参照サンプル調整の適用いかんを決定することができない場合にだけ、現在ブロックのイントラ予測に参照サンプルが調整される場合と、調整されない場合との符号化効率を比較し、現在ブロックのイントラ予測に参照サンプルが調整されるか否かということを決定することができる。従って、符号化部１１０は、現在ブロック、及び現在ブロックの上位データ単位に係わる属性だけで、参照サンプル調整の適用いかんを決定することができない場合、現在ブロックのイントラ予測に参照サンプルが調整されるか否かということを示す参照サンプル調整情報を生成することができる。従って、全てのブロックに対して、参照サンプル調整情報を生成する実施形態に比べ、参照サンプル調整情報の生成量が減少するために、符号化効率が改善される。映像予測装置１７００の機能が、図１Ｂの復号化部１７０で遂行される場合、復号化部１７０は、図１Ｂの受信部１６０で獲得された参照サンプル調整情報により、現在ブロックに参照サンプルの調整が行われるか否かということを判断することができる。また、復号化部１７０は、現在ブロック、または現在ブロックの上位データ単位に係わる属性により、現在ブロックに参照サンプルの調整が行われるか否かということを判断することができる。符号化部１１０と復号化部１７０は、互いに相応するが、復号化部１７０の参照サンプル調整を行うか否かということの判断方法に係わる説明は省略する。
【０２８６】
図２２は、現在サンプルの参照サンプルを、現在サンプルの参照距離によって調整することにより、現在サンプルを予測する方法を示すフローチャートである。
【０２８７】
段階２２１０において、現在ブロックの周辺に位置した複数の隣接サンプルが獲得される。特定位置の隣接サンプルを、隣接ブロックから獲得することができない場合、獲得された隣接サンプルを利用し、特定位置の隣接サンプルが生成される。そして、隣接サンプルは、隣接サンプル間の差の程度によって平滑化される。現在ブロックのイントラモードにより、隣接サンプルが含まれた一次元隣接サンプル配列が決定される。
【０２８８】
段階２２２０において、複数の隣接サンプルのうち、現在ブロックのイントラモードの方向が示す隣接サンプルが、参照サンプルとして決定される。現在サンプルから、イントラモードの方向が、隣接サンプル間のサブサンプルを示す場合、サブサンプルが参照サンプルとしても決定される。
【０２８９】
段階２２３０において、参照サンプルは、参照距離によって調整され、調整された参照サンプルにより、現在サンプルが予測される。
【０２９０】
該参照サンプルは、隣接サンプル代表値と参照距離とによっても調整される。また、該参照サンプルは、参照距離による平滑化フィルタによっても調整される。
【０２９１】
隣接サンプル代表値と参照距離とにより、参照サンプルが調整される場合、まず複数の隣接サンプルを代表する隣接サンプル代表値が決定される。そして、該参照サンプルと該隣接サンプル代表値との加重平均により、参照サンプルが調整される。そして、調整された参照サンプルにより、現在サンプルが予測される。
【０２９２】
隣接サンプル代表値は、一次元隣接サンプル配列に含まれた全ての隣接サンプルの平均とも決定される。また、隣接サンプル代表値は、参照サンプルを含んだ少なくとも２以上の隣接サンプルの領域平均とも決定される。該領域平均の決定に使用される隣接サンプルの数は、現在ブロックの大きさによって決定される。
【０２９３】
参照サンプルと隣接サンプル代表値との加重平均決定において、参照距離が延長されるほど、参照サンプルの加重値は減少し、隣接サンプル代表値の加重値は増加する。
【０２９４】
該参照距離による平滑化フィルタにより、参照サンプルが調整される場合、参照距離によって選択された平滑化フィルタを利用し、参照サンプルが平滑化され、平滑化された参照サンプルに基づいて、現在サンプルが予測される。該平滑化フィルタの平滑化強度は、参照距離が延長されるほど増大するようにも設定される。
【０２９５】
該参照距離に係わる平滑化フィルタが定義されていない場合、平滑化フィルタが定義された第１距離及び第２距離が検索される。該第１距離によって選択された第１平滑化フィルタを利用し、参照サンプルを平滑化することにより、第１中間値が決定される。同様に、該第２距離によって選択された第２平滑化フィルタを利用し、参照サンプルまたは第１中間値を平滑化することにより、第２中間値が決定される。そして、第１中間値及び第２中間値を利用し、現在サンプルの予測値が補間される。
【０２９６】
参照サンプルの調整いかんは、現在ブロック、または現在ブロックの上位データ単位によっても決定される。また、参照サンプルの調整いかんは、現在ブロックに係わる参照サンプル調整情報によっても決定される。
【０２９７】
前述の参照サンプル調整方法により、現在サンプルは、さらに正確に予測される。
【０２９８】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。
【０２９９】
本発明は、特定の最上の実施形態に係わって説明されたが、それら以外に、本発明に代替、変形及び修正が適用された発明は、前述の説明に照らし、当業者に明白でだろう。すなわち、特許請求の範囲は、かような全ての代替、変形及び修正がなされた発明を含むものであると解釈する。従って、本明細書及び図面で説明した全ての内容は、例示的であり、非制限的な意味に解釈しなければならない。
【図１Ａ】
2019508944.tif 000003
【図１Ｂ】
2019508944.tif 000004
【図２Ａ】
2019508944.tif 000005
【図２Ｂ】
2019508944.tif 000006
【図３】
2019508944.tif 000007
【図４】
2019508944.tif 000008
【図５】
2019508944.tif 000009
【図６】
2019508944.tif 000010
【図７】
2019508944.tif 000011
【図８】
2019508944.tif 000012
【図９】
2019508944.tif 000013
【図１０】
2019508944.tif 000014
【図１１】
2019508944.tif 000015
【図１２】
2019508944.tif 000016
【図１３】
2019508944.tif 000017
【図１４】
2019508944.tif 000018
【図１５】
2019508944.tif 000019
【図１６】
2019508944.tif 000020
【図１７】
2019508944.tif 000021
【図１８ａ】
2019508944.tif 000022
【図１８ｂ】
2019508944.tif 000023
【図１９ａ】
2019508944.tif 000024
【図１９ｂ】
2019508944.tif 000025
【図２０】
2019508944.tif 000026
【図２１ａ】
2019508944.tif 000027
【図２１ｂ】
2019508944.tif 000028
【図２２】
2019508944.tif 000029
【国際調査報告】
2019508944.tif 000030
2019508944.tif 000031
2019508944.tif 000032
2019508944.tif 000033
2019508944.tif 000034
2019508944.tif 000035