(57)【要約】  ビデオピクチャから、イントラ予測のためのデータ単位を決定する段階、データ単位を、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいはデータ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得する段階、イントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定する段階、予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成する段階、並びにデータ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階を含むビデオ復号方法が提供される。
2018535607.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ復号方法において、
ビデオピクチャから、イントラ予測のためのデータ単位を決定する段階と、
ビットストリームから、前記データ単位を、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいは前記データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得する段階と、
前記ビットストリームから獲得された前記イントラ予測類型情報に基づいて、前記第１イントラ予測類型によって予測される第１データ単位、及び前記第２イントラ予測類型によって予測される第２データ単位を決定する段階と、
前記所定予測情報を利用し、前記第１イントラ予測類型による前記第１データ単位に係わる第１予測値を生成する段階と、
前記データ単位に隣接するデータ単位を利用し、前記第２イントラ予測類型による前記第２データ単位に係わる第２予測値を生成する段階と、を含む前記ビデオ復号方法。
【請求項２】
前記所定予測情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅ  ｒｓｅｔ）またはスライスヘッダのうち少なくとも一つに含まれたことを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項３】
前記所定予測情報は、前記第１イントラ予測類型によって予測される前記第１データ単位が含まれた上位階層のデータ単位に隣接するサンプル値を含むことを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項４】
前記第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階は、前記第２イントラ予測類型による前記第２データ単位に隣接する左側データ単位または上端データ単位のうち少なくとも一つを利用して、予測値を生成する段階をさらに含むことを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項５】
前記第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階は、前記第２イントラ予測類型による前記第２データ単位に隣接する右側データ単位または下端データ単位のうち少なくとも一つを利用して、予測値を生成する段階をさらに含むことを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項６】
前記第２イントラ予測類型によって予測される前記第２データ単位の前記第２予測値をフィルタリングする段階を含むことを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項７】
前記データ単位は、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）または変換ユニット（ＴＵ）のうち一つであることを特徴とする請求項１に記載の前記ビデオ復号方法。
【請求項８】
ビデオ符号化方法において、
所定予測情報を利用して予測する第１イントラ予測類型による第１データ単位、及び第２データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型による前記第２データ単位を決定する段階と、
前記所定予測情報を利用し、前記第１イントラ予測類型による前記第１データ単位に係わる第１予測値を生成する段階と、
前記第２データ単位に隣接するデータ単位を利用し、前記第２イントラ予測類型による前記第２データ単位に係わる第２予測値を生成する段階と、
前記第１予測値または前記第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成してビデオピクチャを符号化する段階と、を含み、
前記ビットストリームは、前記所定予測情報を含む前記ビデオ符号化方法。
【請求項９】
前記所定予測情報は、ＳＰＳ（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ＰＰＳ（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅ  ｒｓｅｔ）またはスライスヘッダのうち少なくとも一つに含まれることを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１０】
前記所定予測情報は、前記第１イントラ予測類型によって予測される前記第１データ単位が含まれた上位階層のデータ単位に隣接するサンプル値を含むことを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１１】
前記第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階は、前記第２イントラ予測類型による前記第２データ単位に隣接する左側データ単位または上端データ単位のうち少なくとも一つを利用して、予測値を生成する段階をさらに含むことを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１２】
前記第２イントラ予測類型によるデータ単位に係わる第２予測値を生成する段階は、前記第２イントラ予測類型による前記第２データ単位に隣接する右側データ単位または下端データ単位のうち少なくとも一つを利用して、予測値を生成する段階をさらに含むことを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１３】
前記第２イントラ予測類型によって予測される前記第２データ単位の前記第２予測値をフィルタリングする段階を含むことを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１４】
前記データ単位は、コーディングユニッ（ＣＵ）ト、予測ユニット（ＰＵ）または変換ユニット（ＴＵ）のうち一つであることを特徴とする請求項８に記載の前記ビデオ符号化方法。
【請求項１５】
ビデオ復号装置において、
ビデオピクチャから、イントラ予測のためのデータ単位を決定するデータ単位決定部と、
ビットストリームから、前記データ単位を、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいは前記データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得するビットストリーム獲得部と、
前記ビットストリームから獲得された前記イントラ予測類型情報に基づいて、前記第１イントラ予測類型によって予測される第１データ単位、及び前記第２イントラ予測類型によって予測される第２データ単位を決定し、前記所定予測情報を利用し、前記第１イントラ予測類型による前記第１データ単位に係わる第１予測値を生成し、前記データ単位に隣接するデータ単位を利用し、前記第２イントラ予測類型による前記第２データ単位に係わる第２予測値を生成する復号部と、を含む前記ビデオ復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に含まれる多様なデータ単位を利用し、映像を符号化または復号することに関する。
【背景技術】
【０００２】
映像データは、所定のデータ圧縮標準、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）標準によるコーデック（ｃｏｄｅｃ）によって符号化された後、ビットストリームの形態で記録媒体に保存されたり通信チャネルを介して伝送されたりする。
【０００３】
高解像度または高画質の映像コンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質の映像コンテンツを効果的に符号化または復号するコーデックの必要性が増大している。符号化された映像コンテンツは、復号されることによって再生される。最近では、かような高解像度または高画質の映像コンテンツを効果的に圧縮するための方法が実施されている。例えば、符号化する映像を任意的方法で処理する過程を介した効率的映像圧縮方法が実施されている。
【０００４】
映像を圧縮するために、多様なデータ単位が利用され、かようなデータ単位間に、包含関係が存在する。かような映像圧縮に利用されるデータ単位の大きさを決定するために、多様な方法によってデータ単位が分割され、映像の特性によって最適化されたデータ単位が決定されることにより、映像の符号化または復号が行われる。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の圧縮方式の場合、圧縮順序が左側上端から右側下端まで進められ、画面内予測遂行時、左側及び上端の符号化された値のみを利用して予測が行われた。その場合、領域全体を、左側、上端の値で予測することになるので、右側領域及び下端領域の予測正確度が下がるという問題がある。
【課題を解決するための手段】
【０００６】
一実施形態によるビデオ復号する方法において、ビデオピクチャから、イントラ予測のためのデータ単位を決定する段階、ビットストリームから、データ単位を所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいはデータ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得する段階、ビットストリームから獲得されたイントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定する段階、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成する段階、並びにデータ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階を含むビデオ復号方法が提供される。
【０００７】
一実施形態によるビデオ符号化方法において、所定予測情報を利用して予測する第１イントラ予測類型による第１データ単位、及び第２データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型による第２データ単位を決定する段階、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成する段階、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する段階、並びに第１予測値及び第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成してビデオピクチャを符号化する段階を含み、該ビットストリームは、所定予測情報を含むビデオ符号化方法が提供される。
【０００８】
一実施形態によるビデオ復号装置において、ビデオピクチャから、イントラ予測のためのデータ単位を決定するデータ単位決定部、ビットストリームから、データ単位を、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいはデータ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得するビットストリーム獲得部、並びにビットストリームから獲得されたイントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定し、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成し、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する復号部を含むビデオ復号装置が提供される。
【０００９】
一実施形態によるビデオ符号化装置において、所定予測情報を利用して予測する第１イントラ予測類型による第１データ単位、及び第２データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型による第２データ単位を決定するデータ単位決定部、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成し、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成し、第１予測値及び第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成してビデオピクチャを符号化するビットストリーム生成部、並びに符号化部を含み、該ビットストリームは、所定予測情報を含むビデオ符号化装置が提供される。
【発明の効果】
【００１０】
使用可能な参照値を拡張させて利用ことにより、映像の特性に適応的なデータ単位を利用することができ、それにより、効率的な映像の符号化及び復号が可能であり、復元映像の画質向上が可能である。
【図面の簡単な説明】
【００１１】
【図１】一実施形態により、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を復号することができる映像復号装置のブロック図である。
【図２】一実施形態により、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を符号化することができる映像符号化装置のブロック図である。
【図３】一実施形態により、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定する過程を図示する図面である。
【図４】一実施形態により、所定予測情報に基づいた第１イントラ予測類型によって、第１データ単位を予測する過程を図示する図面である。
【図５】一実施形態により、隣接するデータ単位を利用して予測する第２イントラ予測類型によって、第２データ単位を予測する過程を図示する図面である。
【図６】一実施形態により、左側及び上端に隣接するデータ単位、並びに右側及び下端に隣接するデータ単位を利用して予測する第２イントラ予測類型によって、第２データ単位を予測する過程を図示する図面である。
【図７】一実施形態により、データ単位に対して、第１イントラ予測類型及び第２イントラ予測類型が決定される過程を図示する図面である。
【図８】一実施形態によるイントラ予測類型情報を利用したビデオ復号方法のフローチャートである。
【図９】一実施形態による、イントラ予測類型情報を利用したビデオ符号化方法のフローチャートである。
【図１０】一実施形態により、第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する図面である。
【図１１】一実施形態により、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。
【図１２】一実施形態により、複数個の符号化単位間の処理順序が符号化単位の分割過程によって異なりうることを図示した図面である。
【図１３】一実施形態により、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることによって符号化単位の深度が決定される過程を図示する図面である。
【図１４】一実施形態により、符号化単位の形態及び大きさによって決定される深度及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ  ｉｎｄｅｘ）を図示する図面である。
【図１５】一実施形態により、ピクチュアに含まれる複数個の所定データ単位によって複数個の符号化単位が決定されたことを図示する図面である。
【図１６】一実施形態により、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する図面である。
【図１７】一実施形態により、符号化単位が分割される形態の組み合わせがピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定される符号化単位を図示する図面である。
【図１８】一実施形態により、バイナリー（ｂｉｎａｒｙ）コードで表現される分割形態情報に基づいて決定される符号化単位の多様な形態を図示する図面である。
【図１９】一実施形態により、バイナリーコードで表現される分割形態情報に基づいて決定される符号化単位の他の形態を図示する図面である。
【図２０】ループフィルタリングを行う映像符号化・復号システムのブロック図である。
【図２１】一実施形態による最大符号化単位に含まれるフィルタリング単位の一例、及びフィルタリング単位のフィルタリング遂行情報を図示する図面である。
【図２２】一実施形態により、所定符号化方法によって決定された符号化単位間の併合（ｍｅｒｇｅ）または分割（ｓｐｌｉｔ）が行われる過程を図示する図面である。
【図２３】一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する図面である。
【図２４】一実施形態による符号化単位のイントラ予測のための参照サンプルを図示する図面である。
【発明を実施するための形態】
【００１２】
本発明の利点、特徴、及びそれらを達成する方法は、添付される図面と共に説明する実施形態を参照すれば、明確になるであろう。しかし、本発明は、以下で開示される実施形態に限定されるものではなく、互いに異なる多様な形態に具現され、ただし、本実施形態は、本発明の開示を完全なものにし、本発明が属する技術分野で当業者に、発明の範疇を完全に知らせるために提供されるものである。
【００１３】
本明細書で使用される用語について簡略に説明し、本発明について具体的に説明する。
【００１４】
本発明で使用される用語は、本発明での機能を考慮しながら、可能な限り現在汎用される一般的な用語を選択したが、それは、関連分野の当業者の意図、判例、または新たな技術の出現などによっても異なる。また、特定の場合、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味、及び本発明の全般にわたった内容を基に定義されなければならない。
【００１５】
本明細書での単数の表現は、文脈上明白に単数であると特定しない限り、複数の表現を含む。
【００１６】
明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対となる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書で使用される「部」という用語は、ソフトウェア構成要素、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）またはＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ  ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）のようなハードウェア構成要素を意味し、「部」は、ある役割を行う。しかしながら、「部」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」は、アドレッシングすることができる記録媒体にあるようにも構成されるが、１またはそれ以上のプロセッサを再生させるようにも構成される。従って、一例として、「部」は、ソフトウェア構成要素、客体志向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素、並びにプロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ及び変数を含む。構成要素及び「部」のうち提供される機能は、さらに少数の構成要素及び「部」に結合されたり、さらなる構成要素及び「部」にさらに分離さたりもする。
【００１７】
以下、「映像」は、ビデオの静止映像のような静的イメージであるか、または動画、すなわち、ビデオそれ自体のような動的イメージを示すことができる。
【００１８】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセッシング対象になるデータを意味する。例えば、空間領域の映像におけるピクセル値、変換領域上の変換係数がサンプルでもある。かような少なくとも１つのサンプルを含む単位をブロックと定義することができる。
【００１９】
以下では、添付図面を参照し、本発明の実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。そして、図面において、本発明について明確に説明するために、説明と関係のない部分は省略する。
【００２０】
図１は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて映像を復号することができる映像復号装置１００のブロック図を図示する。
【００２１】
図１を参照すれば、映像復号装置１００は、一実施形態によって、ビデオピクチャから、イントラ予測のためのデータ単位を決定するデータ単位決定部１１０、ビットストリームから、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいはデータ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得するビットストリーム獲得部１２０、獲得されたイントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定し、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成し、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による前記第２データ単位に係わる第２予測値を生成する復号部１３０を含んでもよい。一実施形態によって、映像復号装置１００のビットストリーム獲得部１２０において、イントラ予測類型情報を獲得した場合、映像復号装置１００の復号部１３０は、イントラ予測類型情報に基づいて、第１イントラ予測類型によって、第１データ単位に係わる第１予測値を生成することができる。
【００２２】
一実施形態によって、映像復号装置１００のデータ単位決定部１１０は、イントラ予測のためのデータ単位を決定することができる。例えば、データ単位は、コーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）または変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のうち一つでもある。
【００２３】
一実施形態によって、映像復号装置１００のビットストリーム獲得部１２０は、決定されたデータ単位を、第１イントラ予測類型によって予測するか、あるいは第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得することができる。第１イントラ予測類型による予測は、周辺データ単位ではない他の情報を利用して、イントラ予測を行うものでもある。第２イントラ予測類型による予測は、周辺データ単位を利用してイントラ予測を行うものでもある。
【００２４】
一実施形態によって、映像復号装置１００の復号部１３０は、イントラ予測類型情報に基づいて、第１イントラ予測類型によって、第１データ単位に係わる第１予測値を生成することができる。復号部１３０は、第２イントラ予測類型によって、第２データ単位に係わる第２予測値を生成することができる。例えば、復号部１３０は、第２データ単位が隣接するデータ単位のうち、左側及び上端のデータ単位、または右側及び下端のデータ単位を利用して、予測値を生成することができる。
【００２５】
図３は、一実施形態によって、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定する過程を図示する。
【００２６】
一実施形態によって、復号部１３０は、イントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位３１０、及び第２イントラ予測類型によって予測される第２データ単位３２０を決定することができる。例えば、予測されるデータ単位が周辺データ単位を利用して予測されるか、あるいは周辺データ単位に係わる情報ではない他の情報を利用して予測されるかということが決定される。
【００２７】
一実施形態により、復号部１３０は、周辺データ単位に係わる情報ではない他の情報を利用してデータ単位を予測することができる。例えば、復号部１３０は、スライスヘッダ、ＰＰＳ（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）またはＳＰＳ（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）に保存された指定された値を利用して予測を行うことができる。例えば、データ単位内の領域別に所定値をあらかじめ割り当てることができる。
【００２８】
図３を参照すれば、復号部１３０が、第１イントラ予測類型によって、第１データ単位３１０に対する予測を行った場合、復号部１３０は、第２イントラ予測類型によって、第２データ単位３２０に対する予測を行うことができる。例えば、第２データ単位３２０に対する予測は、第１イントラ予測類型によって予測された第１データ単位３１０に係わる情報を利用して行われる。例えば、第２データ単位３２０は、右側または下端に隣接するデータ単位のうち少なくとも一つを利用して予測される。
【００２９】
一実施形態により、復号部１３０は、第２データ単位３２０に隣接する第１データ単位３１０のサンプル値の平均値でもって、第２データ単位３２０の予測値を生成することができる。または、復号部１３０は、第２データ単位３２０内の右側予測サンプルについては、右側に隣接する第１データ単位のサンプル値を利用して予測値を生成し、第２データ単位３２０内の下端予測サンプルについては、下端に隣接する第１データ単位のサンプル値を利用して、予測値を生成することができる。
【００３０】
一実施形態により、復号部１３０は、第２データ単位３２０内の予測サンプルについて、隣接するデータ単位との相対的な方向性に基づいて予測値を生成することができる。また、例えば、復号部１３０は、相対的な距離に対する加重値をサンプル値に適用し、第２データ単位３２０の予測値を生成することができる。
【００３１】
一実施形態により、復号部１３０は、右側に隣接する第１データ単位の参照サンプル、及び上端に隣接する第２データ単位の参照サンプルを利用して、第２データ単位３２０の予測値を生成することができる。例えば、復号部１３０は、異なるイントラ予測類型によって予測される第１データ単位及び第２データ単位の参照サンプルに対して、同一Ｉｎｔｒａ＿ａｎｇｕｌａｒモードを適用し、予測するデータ単位の予測値を生成することができる。例えば、復号部１３０は、同一Ｉｎｔｒａ＿ａｎｇｕｌａｒモードを適用しても、参照サンプルの種類、すなわち、第１データ単位の参照サンプルであるか、あるいは第２データ単位の参照サンプルであるかということにより、加重値を適用してデータ単位の予測値を生成することができる。
【００３２】
図４は、一実施形態によって、所定予測情報に基づいた第１イントラ予測類型によって、第１データ単位を予測する過程を図示する。
【００３３】
一実施形態によって、復号部１３０は、第１イントラ予測類型によって予測される第１データ単位４２０は、周辺データ単位に係わる情報ではない他の情報を利用しても予測される。例えば、第１データ単位４２０は、第１データ単位４２０が含まれた上位階層のデータ単位に隣接するサンプル値４１０を利用しても予測される。第１データ単位４２０が含まれた上位階層のデータ単位に隣接するサンプル値４１０は、ＣＴＵ（ｃｏｄｉｎｇ  ｔｒｅｅ  ｕｎｉｔ）境界の周辺ピクセルに係わる情報、またはＣＵ（ｃｏｄｉｎｇ  ｕｎｉｔ）境界の周辺ピクセルに係わる情報を含んでもよい。ＣＴＵ境界の周辺ピクセルに係わる情報を利用して予測を行う場合、予測対象単位は、ＣＵ、ＰＵ（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）、ＴＵ（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）またはＣＴＵでもある。ＣＵ境界の周辺ピクセルに係わる情報を利用して予測を行う場合、予測対象単位は、ＰＵ、ＴＵまたはＣＵでもある。
【００３４】
一実施形態によって、復号部１３０は、第１データ単位４２０が含まれた上位階層のデータ単位に隣接する参照サンプルのサンプル値４１０の平均値でもって、第１データ単位４２０の予測値を生成することができる。例えば、復号部１３０は、第１データ単位４２０参照サンプルとの非連続性を除去するために、上位階層のデータ単位に隣接するサンプルに対してフィルタリングを行うことができる。例えば、復号部１３０は、上位階層のデータ単位の左側上端サンプル及び左側サンプル、または右側サンプルに、それぞれ異なるフィルタを取ることができる。
【００３５】
一実施形態によって、復号部１３０は、第１データ単位４２０が含まれた上位階層のデータ単位に隣接する参照サンプルとの相対的な方向性に基づいて、Ｉｎｔｒａ＿ａｎｇｕｌａｒモードを適用することにより、予測値を生成することができる。また、例えば、復号部１３０は、相対的な距離に係わる加重値をサンプル値に適用し、第１データ単位４２０の予測値を生成することができる。
【００３６】
図５は、一実施形態によって、隣接するデータ単位を利用して予測する第２イントラ予測類型によって、第２データ単位を予測する過程を図示する。
【００３７】
一実施形態によって、復号部１３０は、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型によって予測を行うことができる。例えば、データ単位５１０に対する予測を行う場合、データ単位５１０の下端に隣接する第１イントラ予測類型によって符号化されたデータ単位５３０に係わる情報５１１を利用することができる。例えば、データ単位５２０に対する予測を行う場合、データ単位５２０の右側に隣接する第１イントラ予測類型によって符号化されたデータ単位５３０に係わる情報５２１を利用することができる。
【００３８】
一実施形態によって、復号部１３０は、データ単位５１０内の予測されるサンプルの位置により、左側または上端の距離が近い場合、左側及び上端のサンプル値を利用して予測を行う。または、一実施形態によって、復号部１３０は、データ単位５１０内の予測されるピクセルの位置により、右側または下端の距離が近い場合、右側及び下端のサンプル値を利用して予測を行う。
【００３９】
一実施形態によって、復号部１３０は、データ単位５１０の周辺参照サンプルの平均値でもって、データ単位５１０の予測値を生成することができる。例えば、復号部１３０は、左側に隣接する参照サンプル、及び上端に隣接する参照サンプルの平均値、並びに下端に隣接する参照サンプル、及び右側に隣接する参照サンプルの平均値を利用して、データ単位内の参照サンプルの予測値を生成することができる。例えば、復号部１３０は、データ単位５１０内の予測サンプルと、周辺参照サンプルとの距離に係わる加重値をそれぞれの平均値に適用し、データ単位内の予測サンプルの予測値を生成することができる。
【００４０】
一実施形態によって、復号部１３０は、データ単位５１０と、データ単位周辺参照サンプルの方向性とを考慮し、予測サンプルの予測値を生成することができる。データ単位５１０と、データ単位周辺参照サンプルの方向性とを考慮する方法については、図６で後述するようにする。
【００４１】
一実施形態によって、復号部１３０は、データ単位５２０内の予測サンプルに対して隣接する参照サンプルのうち１参照サンプルを、１行に対する予測サンプル値として利用することができる。例えば、復号部１３０は、データ単位５１０の下端に隣接する参照サンプルのうち１参照サンプルを、データ単位５２０内の垂直方向の１行全体に対する予測サンプル値として利用することができる。例えば、復号部１３０は、データ単位５２０の右側に隣接する参照サンプルのうち１参照サンプルを、データ単位５２０内の水平方向の１行全体に対する予測サンプル値として利用することができる。
【００４２】
図６は、一実施形態によって、左側及び上端に隣接するデータ単位、並びに右側及び下端に隣接するデータ単位を利用して予測する第２イントラ予測類型によって、第２データ単位を予測する過程を図示する。
【００４３】
図６を参照すれば、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成する場合、復号部１３０は、左側データ単位及び上端データ単位のうち少なくとも一つを利用して、予測値を生成することができる。または、復号部１３０は、右側データ単位及び下端データ単位のうち少なくとも一つを利用して、予測値を生成することができる。復号部１３０は、左側データ単位及び上端データ単位のうち少なくとも一つを利用して生成された予測値を、同一予測モード６３１を利用して、距離によって、バイリニア（ｂｉ−ｌｉｎｅａｒ）で補間し、新たな予測値６１１を生成することができる。
【００４４】
一実施形態によって、復号部１３０は、既存予測モード６４１以外に、新たな予測モード６４２に基づいて、右側データ単位及び下端データ単位のうち少なくとも一つを利用して、予測値６２１を生成することができる。例えば、復号部１３０は、既存３５個の予測モード６４０において、３２個の予測モードを追加した新たな６７個の予測モード６４０を利用して、右側及び下端のデータ単位に隣接するサンプル値を利用することができる。
【００４５】
一実施形態によって、復号部１３０は、左側データ単位及び上端データ単位のうち少なくとも一つを利用して生成された予測値、並びに右側データ単位及び下端データ単位のうち少なくとも一つを利用して生成された予測値に対して、境界部分を緩和するために、フィルタリングを行うことができる。例えば、復号部１３０は、２つのモードで参照されていない隣接したサンプルと予測サンプルとの非連続性を除去するためのフィルタリングを行うことができる。
【００４６】
図７は、一実施形態によって、データ単位に対して、第１イントラ予測類型及び第２イントラ予測類型が決定される過程を図示する。
【００４７】
一実施形態によって、復号部１３０は、イントラ予測類型情報に基づいて、それぞれのＣＵ、ＰＵまたはＴＵに対して、第１イントラ予測類型によって予測値を生成するか、あるいは第２イントラ予測類型によって予測値を生成するかということを決定することができる。
【００４８】
一実施形態によって、復号部１３０は、Ｉｎｔｒａ＿ＤＣモードについては、第１イントラ予測類型によって予測を行い、Ｉｎｔｒａ＿ＤＣモード以外に他のモードについては、第２イントラ予測類型によって予測を行うように決定することができる。
【００４９】
一実施形態によって、復号部１３０は、データ単位を、第１データ単位または第２データ単位のうちいずれか一つに分類するかということを示すフラグを獲得し、獲得されたフラグが、第１データ単位または第２データ単位のうちいずれか一つに分類すると示す場合、第１イントラ予測類型または第２イントラ予測類型によって、データ単位に対する予測値を生成することができる。
【００５０】
図８は、一実施形態による、イントラ予測類型情報を利用したビデオ復号方法のフローチャートを図示する。
【００５１】
段階Ｓ８１０において、映像復号装置１００のデータ単位決定部１１０は、ビデオピクチャから、イントラ予測のためのデータ単位を決定することができる。
【００５２】
段階Ｓ８２０において、映像復号装置１００のビットストリーム獲得部１２０は、ビットストリームから、データ単位を、所定予測情報を利用して予測する第１イントラ予測類型によって予測するか、あるいは前記データ単位に隣接するデータ単位を利用して予測する第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報を獲得することができる。
【００５３】
段階Ｓ８３０において、映像復号装置１００の復号部１３０は、ビットストリームから獲得されたイントラ予測類型情報に基づいて、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定することができる。
【００５４】
段階Ｓ８４０において、映像復号装置１００の復号部１３０は、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成することができる。
【００５５】
段階Ｓ８５０において、映像復号装置１００の復号部１３０は、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成することができる。
【００５６】
図１０は、一実施形態によって、映像復号装置１００が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する。
【００５７】
一実施形態によって、復号部１３０は、ビットストリーム獲得部１２０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立しても分割される。それによって復号部１３０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、復号部１３０は、垂直方向に第１符号化単位１０００が分割されて決定された非正方形状の左側第２符号化単位１０１０ａを水平方向に分割し、第３符号化単位１０１２ａ，１０１２ｂを決定することができる。ただし、復号部１３０は、左側第２符号化単位１０１０ａを水平方向に分割した場合、右側第２符号化単位１０１０ｂは、左側第２符号化単位１０１０ａが分割された方向と同一に、水平方向に分割されることがないように制限することができる。もし右側第２符号化単位１０１０ｂが同一方向に分割され、第３符号化単位１０１４ａ，１０１４ｂが決定された場合、左側第２符号化単位１０１０ａ及び右側第２符号化単位１０１０ｂが水平方向にそれぞれ独立して分割されることにより、第３符号化単位１０１２ａ，１０１２ｂ，１０１４ａ，１０１４ｂが決定される。しかし、それは、復号部１３０がブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１０００を４個の正方形状の第２符号化単位１０３０ａ，１０３０ｂ，１０３０ｃ，１０３０ｄで分割したところと同一結果であり、それは、映像復号側面で非効率的である。
【００５８】
一実施形態によって、復号部１３０は、水平方向に、第１符号化単位９００が分割されて決定された非正方形状の第２符号化単位１０２０ａまたは１０２０ｂを垂直方向に分割し、第３符号化単位１０２２ａ，１０２２ｂ，１０２４ａ，１０２４ｂを決定することができる。ただし、復号部１３０は、第２符号化単位のうち一つ（例えば、上端第２符号化単位１０２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１０２０ｂ）は、上端第２符号化単位１０２０ａが分割された方向と同一に、垂直方向に分割されることがないように制限することができる。
【００５９】
図１１は、一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、映像復号装置１００が、正方形状の符号化単位を分割する過程を図示する。
【００６０】
一実施形態によって、復号部１３０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００を分割し、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。該分割形態情報には、符号化単位が分割される多様な形態に係わる情報が含まれもするが、多様な形態に係わる情報には、正方形状の４個の符号化単位に分割するための情報が含まれない場合がある。かような分割形態情報によれば、復号部１３０は、正方形状の第１符号化単位１１００を、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割することができない。該分割形態情報に基づいて、復号部１３０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどを決定することができる。
【００６１】
一実施形態によって、復号部１３０は、非正方形状の第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１１１０ａ，１１１０ｂ，１１２０ａ，１１２０ｂなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１１００が分割される方法に類似した分割方法でもある。
【００６２】
例えば、復号部１３０は、左側第２符号化単位１１１０ａが水平方向に分割され、正方形状の第３符号化単位１１１２ａ，１１１２ｂを決定することができ、右側第２符号化単位１１１０ｂが水平方向に分割され、正方形状の第３符号化単位１１１４ａ，１１１４ｂを決定することができる。さらには、復号部１３０は、左側第２符号化単位１１１０ａ及び右側第２符号化単位１１１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１１１６ａ，１１１６ｂ，１１１６ｃ，１１１６ｄを決定することもできる。かような場合、第１符号化単位１１００が４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定される。
【００６３】
他の例を挙げれば、復号部１３０は、上端第２符号化単位１１２０ａが垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂを決定することができ、下端第２符号化単位１１２０ｂが垂直方向に分割され、正方形状の第３符号化単位１１２４ａ，１１２４ｂを決定することができる。さらには、復号部１３０は、上端第２符号化単位１１２０ａ及び下端第２符号化単位１１２０ｂがいずれも垂直方向に分割され、正方形状の第３符号化単位１１２２ａ，１１２２ｂ，１１２４ａ，１１２４ｂを決定することもできる。かような場合、第１符号化単位１１００が、４個の正方形状の第２符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１３０ｄに分割されたところと同一形態に符号化単位が決定される。
【００６４】
図１２は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうるということを図示したものである。
【００６５】
一実施形態によって、復号部１３０は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１２００を分割することができる。該ブロック形態情報が正方形状を示し、該分割形態情報が、第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す場合、復号部１３０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄなどを決定することができる。図１２を参照すれば、第１符号化単位１２００が、水平方向または垂直方向だけでに割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立しても分割される。例えば、復号部１３０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。かような第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂの分割過程は、図１０に係わって説明したので、詳細な説明は省略する。
【００６６】
一実施形態によって、復号部１３０は、所定順序によって、符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図７に係わって説明したので、詳細な説明は省略する。図１２を参照すれば、復号部１３０は、正方形状の第１符号化単位１２００を分割し、４個の正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。一実施形態によって、復号部１３０は、第１符号化単位１２００が分割される形態によって、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄの処理順序を決定することができる。
【００６７】
一実施形態によって、復号部１３０は、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、復号部１３０は、左側第２符号化単位１２１０ａに含まれる第３符号化単位１２１６ａ，１２１６ｂを垂直方向にまず処理した後、右側第２符号化単位１２１０ｂに含まれる第３符号化単位１２１６ｃ，１２１６ｄを垂直方向に処理する順序（１２１７）によって、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを処理することができる。
【００６８】
一実施形態によって、復号部１３０は、水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができ、復号部１３０は、上端第２符号化単位１２２０ａに含まれる第３符号化単位１２２６ａ，１２２６ｂを水平方向にまず処理した後、下端第２符号化単位１２２０ｂに含まれる第３符号化単位１２２６ｃ，１２２６ｄを水平方向に処理する順序（１２２７）によって、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを処理することができる。
【００６９】
図１２を参照すれば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂがそれぞれ分割され、正方形状の第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄが決定される。垂直方向に分割されて決定された第２符号化単位１２１０ａ，１２１０ｂ、及び水平方向に分割されて決定された第２符号化単位１２２０ａ，１２２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄ，１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄによれば、結局、同一形態の符号化単位に第１符号化単位１２００が分割された結果になる。それにより、復号部１３０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して再帰的に符号化単位を分割することにより、結果として、同一形態の符号化単位を決定しても、同一形態に決定された複数個の符号化単位を、互いに異なる順序で処理することができる。
【００７０】
図１３は、一実施形態によって、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。
【００７１】
一実施形態によって、復号部１３０は、符号化単位の深度を、所定基準によって決定することができる。例えば、該所定基準は、符号化単位の長辺長にもなる。復号部１３０は、現在符号化単位の長辺長が、分割される前の符号化単位の長辺長より２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大したと決定することができる。以下では、深度が増大された符号化単位を、下位深度の符号化単位と表現する。
【００７２】
図１３を参照すれば、一実施形態によって、正方形状であるということを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」を示すことができる）に基づいて、復号部１３０は、正方形状である第１符号化単位１３００を分割し、下位深度の第２符号化単位１３０２、第３符号化単位１３０４などを決定することができる。正方形状の第１符号化単位１３００の大きさを２Ｎｘ２Ｎとするならば、第１符号化単位１３００の幅及び高さを１／２１倍に分割して決定された第２符号化単位１３０２は、ＮｘＮサイズを有することができる。さらには、第２符号化単位１３０２の幅及び高さを１／２サイズで分割して決定された第３符号化単位１３０４は、Ｎ／２ｘＮ／２サイズを有することができる。その場合、第３符号化単位１３０４の幅及び高さは、第１符号化単位１３００の１／２２倍に該当する。第１符号化単位１３００の深度がＤである場合、第１符号化単位１３００の幅及び高さの１／２１倍である第２符号化単位１３０２の深度は、Ｄ＋１であり、第１符号化単位１３００の幅及び高さの１／２２倍である第３符号化単位１３０４の深度は、Ｄ＋２でもある。
【００７３】
一実施形態によって、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であるということを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であるということを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、復号部１３０は、非正方形状である第１符号化単位１３１０または１３２０を分割し、下位深度の第２符号化単位１３１２または１３２２、第３符号化単位１３１４または１３２４などを決定することができる。
【００７４】
復号部１３０は、Ｎｘ２Ｎサイズの第１符号化単位１３１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２などを決定することができる。すなわち、復号部１３０は、第１符号化単位１３１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮｘＮ／２サイズの第２符号化単位１３２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位１３１２を決定することもできる。
【００７５】
一実施形態によって、復号部１３０は、２ＮｘＮサイズの第１符号化単位１３２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位１３０２，１３１２，１３２２などを決定することもできる。すなわち、復号部１３０は、第１符号化単位１３２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位１３０２、またはＮ／２ｘＮサイズの第２符号化単位１３１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位１３２２を決定することもできる。
【００７６】
一実施形態によって、復号部１３０は、ＮｘＮサイズの第２符号化単位１３０２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、復号部１３０は、第２符号化単位１３０２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４を決定するか、Ｎ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいはＮ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定することができる。
【００７７】
一実施形態によって、復号部１３０は、Ｎ／２ｘＮサイズの第２符号化単位１３１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、復号部１３０は、第２符号化単位１３１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定することができる。
【００７８】
一実施形態によって、復号部１３０は、ＮｘＮ／２サイズの第２符号化単位１３１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位１３０４，１３１４，１３２４などを決定することもできる。すなわち、復号部１３０は、第２符号化単位１３１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位１３０４、またはＮ／２２ｘＮ／２サイズの第３符号化単位１３１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２２サイズの第３符号化単位１３２４を決定することができる。
【００７９】
一実施形態によって、復号部１３０は、例えば、正方形状の符号化単位１３００，１３０２，１３０４を水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位１３００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位１３１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位１３２０を決定することができる。一実施形態によって、深度が符号化単位の最長辺長に基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位１３００，１３０２または１３０４が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位１３００，１３０２または１３０４の深度と同一でもある。
【００８０】
一実施形態によって、第３符号化単位１３１４または１３２４の幅及び高さは、第１符号化単位１３１０または１３２０の１／２２倍に該当する。第１符号化単位１３１０または１３２０の深度がＤである場合、第１符号化単位１３１０または１３２０の幅及び高さの１／２倍である第２符号化単位１３１２または１３１４の深度は、Ｄ＋１であり、第１符号化単位１３１０または１３２０の幅及び高さの１／２２倍である第３符号化単位１３１４または１３２４の深度は、Ｄ＋２でもある。
【００８１】
図１４は、一実施形態によって、符号化単位の形態及び大きさによって決定される深度及び符号化単位区分のためのインデックス（ＰＩＤ：ｐａｒｔ  ｉｎｄｅｘ）を図示する。
【００８２】
一実施形態によって、復号部１３０は、正方形状の第１符号化単位１４００を分割し、多様な形態の第２符号化単位を決定することができる。図１４を参照すれば、復号部１３０は、分割形態情報によって、第１符号化単位１４００を垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。すなわち、復号部１３０は、第１符号化単位１４００に係わる分割形態情報に基づいて、第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄを決定することができる。
【００８３】
一実施形態によって、正方形状の第１符号化単位１４００に係わる分割形態情報によって決定される第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂ，１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄは、長辺長に基づいて深度が決定される。例えば、正方形状の第１符号化単位１４００の１辺長と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの長辺長とが同一であるので、第１符号化単位１４００と、非正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、復号部１３０が、分割形態情報に基づいて、第１符号化単位１４００を４個の正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄに分割した場合、正方形状の第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの１辺長は、第１符号化単位１４００の１辺長の１／２倍であるので、第２符号化単位１４０６ａ，１４０６ｂ，１４０６ｃ，１４０６ｄの深度は、第１符号化単位１４００の深度であるＤより１深度下位であるＤ＋１の深度でもある。
【００８４】
一実施形態によって、復号部１３０は、高さが幅より大きい形態の第１符号化単位１４１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。一実施形態によって、復号部１３０は、幅が高さより大きい形態の第１符号化単位１４２０を分割形態情報によって垂直方向に分割し、複数個の第２符号化単位１４２２ａ，１４２２ｂ，１４２４ａ，１４２４ｂ，１４２４ｃに分割することができる。
【００８５】
一実施形態によって、非正方形状の第１符号化単位１４１０または１４２０に係わる分割形態情報によって決定される第２符号化単位１４１２ａ，１４１２ｂ，１４１４ａ，１４１４ｂ，１４１６ａ，１４１６ｂ，１４１６ｃ，１４１６ｄは、長辺長に基づいて、深度が決定される。例えば、正方形状の第２符号化単位１４１２ａ，１４１２ｂの１辺長は、高さが幅より大きい非正方形状の第１符号化単位１４１０の１辺長の１／２倍であるので、正方形状の第２符号化単位１４０２ａ，１４０２ｂ，１４０４ａ，１４０４ｂの深度は、非正方形状の第１符号化単位１４１０の深度Ｄより１深度下位の深度であるＤ＋１である。
【００８６】
さらには、復号部１３０が分割形態情報に基づいて、非正方形状の第１符号化単位１４１０を奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。奇数個の第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃは、非正方形状の第２符号化単位１４１４ａ，１４１４ｃ、及び正方形状の第２符号化単位１４１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位１４１４ａ，１４１４ｃの長辺長、及び正方形状の第２符号化単位１４１４ｂの１辺長は、第１符号化単位１４１０の１辺長の１／２倍であるので、第２符号化単位１４１４ａ，１４１４ｂ，１４１４ｃの深度は、第１符号化単位１４１０の深度であるＤより１深度下位であるＤ＋１の深度でもある。復号部１３０は、第１符号化単位１４１０に係わる符号化単位の深度を決定する前記方式に類似した方式で、幅が高さより大きい非正方形状の第１符号化単位１４２０に係わる符号化単位の深度を決定することができる。
【００８７】
一実施形態によって、復号部１３０は、分割された符号化単位の区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１４を参照すれば、奇数個に分割された符号化単位１４１４ａ，１４１４ｂ，１４１４ｃにおいて真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと同幅であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃの二つを含んでもよい。従って、スキャン順序によって真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。すなわち、インデックス値の不連続性が存在する。一実施形態によって、復号部１３０は、かように分割された符号化単位間の区分のためのインデックス不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が互いに同一サイズではないか否かということを決定することができる。
【００８８】
（ＰＩＤを利用してのｔｒｉ−ｓｐｌｉｔ決定）
一実施形態によって、映像復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像復号装置１００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態によって、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からでも獲得される。
【００８９】
一実施形態によって、映像復号装置１００は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態によって、高さが幅より大きい長方形状の第１符号化単位１４１０に係わる分割形態情報が、３個の符号化単位に分割されることを示す場合、映像復号装置１００は、第１符号化単位１４１０を、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃに分割することができる。映像復号装置１００は、３個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃそれぞれに係わるインデックスを割り当てることができる。映像復号装置１００は、奇数個に分割された符号化単位のうち真ん中符号化単位を決定するために、各符号化単位に係わるインデックスを比較することができる。映像復号装置１００は、符号化単位のインデックスに基づいて、インデックスのうち真ん中値に該当するインデックスを有する符号化単位１４１４ｂを、第１符号化単位１４１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態によって、映像復号装置１００は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間のサイズ比に基づいて、インデックスを決定することができる。図１４を参照すれば、第１符号化単位１４１０が分割されて生成された符号化単位１４１４ｂは、他の符号化単位１４１４ａ，１４１４ｃと同幅であるが、高さが異なる符号化単位１４１４ａ，１４１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位１４１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位１４１４ｃは、インデックスが２が増加した３でもある。かような場合のように、均一にインデックスが増加していて増加幅が異なる場合、映像復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態によって、分割形態情報が奇数個の符号化単位に分割されることを示す場合、映像復号装置１００は、奇数個の符号化単位のうち所定位置の符号化単位（例えば、真ん中符号化単位）が他の符号化単位と大きさが異なる形態に現在符号化単位を分割することができる。その場合、映像復号装置１００は、符号化単位に係わるインデックス（ＰＩＤ）を利用して、異なる大きさを有する真ん中符号化単位を決定することができる。ただし、前述のインデックス、決定しようとする所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定したものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
【００９０】
一実施形態によって、復号部１３０は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
【００９１】
図１５は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位によって、複数個の符号化単位が決定されたところを図示する。
【００９２】
一実施形態によって、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、再帰的に分割され始めるデータ単位と定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程において利用される最上位深度の符号化単位に該当する。以下では、説明の便宜上、かような所定データ単位を基準データ単位と称する。
【００９３】
一実施形態によって、基準データ単位は、所定サイズ及び所定形態を示すことができる。一実施形態により、該基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一でもあり、２の乗数で表現される整数でもある。すなわち、該基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位に分割される。
【００９４】
一実施形態によって、映像復号装置１００の復号部１３０は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態によって、復号部１３０は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。かような基準データ単位の分割過程は、四分木（ｑｕａｄ−ｔｒｅｅ）構造を利用した分割過程に対応する。
【００９５】
一実施形態によって、復号部１３０は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズをあらかじめ決定することができる。それにより、復号部１３０は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用して、少なくとも１つの符号化単位を決定することができる。
【００９６】
図１５を参照すれば、映像復号装置１００は、正方形状の基準符号化単位１５００を利用することができ、または非正方形状の基準符号化単位１５０２を利用することもできる。一実施形態によって、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（ｓｅｑｕｅｎｃｅ）、ピクチャ（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、スライスセグメント（ｓｌｉｃｅ  ｓｅｇｍｅｎｔ）、最大符号化単位など）によって決定される。
【００９７】
一実施形態によって、映像復号装置１００のビットストリーム獲得部１２０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを、前記多様なデータ単位ごとに、ビットストリームから獲得することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は省略する。
【００９８】
一実施形態によって、復号部１３０は、所定条件に基づいて、あらかじめ決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム獲得部１２０は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。復号部１３０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。該基準符号化単位の形態に係わる情報、及び該基準符号化単位の大きさに係わる情報を、相対的に小サイズのデータ単位ごとにビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではなくなるので、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、該基準符号化単位の大きさ及び形態を示すインデックスに係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、あらかじめ決定されている。すなわち、復号部１３０は、あらかじめ決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【００９９】
一実施形態によって、復号部１３０は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含ま、それぞれの基準符号化単位の再帰的な分割過程を介して符号化単位が決定される。一実施形態によって、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態によって、基準符号化単位の大きさは、最大符号化単位を四分木構造によってｎ回分割した大きさでもある。すなわち、復号部１３０は、最大符号化単位を、四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態によって、基準符号化単位をブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。
【０１００】
図１６は、一実施形態によって、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【０１０１】
一実施形態によって、復号部１３０は、ピクチャを分割する少なくとも１つのプロセッシングブロックを決定することができる。プロセッシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセッシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順に決定される。すなわち、それぞれのプロセッシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセッシングブロックで決定される基準符号化単位決定順序は、プロセッシングブロックごとに異なりうる。プロセッシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（ｒａｓｔｅｒ  ｓｃａｎ）、Ｚスキャン（Ｚ−ｓｃａｎ）、Ｎスキャン（Ｎ−ｓｃａｎ）、右上向き対角スキャン（ｕｐ−ｒｉｇｈｔ  ｄｉａｇｏｎａｌ  ｓｃａｎ）、水平的スキャン（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎ）、垂直的スキャン（ｖｅｒｔｉｃａｌ  ｓｃａｎ）など多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。
【０１０２】
一実施形態によって、復号部１３０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。復号部１３０は、プロセッシングブロックの大きさに係わる情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【０１０３】
一実施形態によって、映像復号装置１００のビットストリーム獲得部１２０は、ビットストリームから、プロセッシングブロックの大きさに係わる情報を、特定のデータ単位ごとに獲得することができる。例えば、該プロセッシングブロックの大きさに係わる情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位で、ビットストリームから獲得される。すなわち、ビットストリーム獲得部１２０は、前述のさまざまなデータ単位ごとに、ビットストリームから、プロセッシングブロックの大きさに係わる情報を獲得することができ、復号部１３０は、獲得されたプロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【０１０４】
一実施形態によって、復号部１３０は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、復号部１３０は、ビットストリームから獲得されたプロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、復号部１３０は、一実施形態によって、プロセッシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。復号部１３０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
【０１０５】
一実施形態により、復号部１３０は、プロセッシングブロックの大きさに基づいて、ピクチャ１６００に含まれるそれぞれのプロセッシングブロック１６０２，１６１２を決定することができ、基準符号化単位決定部１２は、プロセッシングブロック１６０２，１６１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態によって、基準符号化単位の決定は、基準符号化単位サイズの決定を含んでもよい。
【０１０６】
一実施形態によって、復号部１３０は、ビットストリームから、少なくとも１つのプロセッシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序に係わる情報を獲得することができ、獲得した決定順序に係わる情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。該決定順序に係わる情報は、プロセッシングブロック内において、基準符号化単位が決定される順序または方向と定義される。すなわち、該基準符号化単位が決定される順序は、それぞれのプロセッシングブロックごとに独立して決定される。
【０１０７】
一実施形態によって、映像復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序に係わる情報を、ビットストリームから獲得することができる。例えば、ビットストリーム獲得部１２０は、基準符号化単位の決定順序に係わる情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセッシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。該基準符号化単位の決定順序に係わる情報は、プロセッシングブロック内での基準符号化単位決定順序を示すので、決定順序に係わる情報は、整数個のプロセッシングブロックを含む特定データ単位ごとにも獲得される。
【０１０８】
映像復号装置１００は、一実施形態によって、決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
【０１０９】
一実施形態によって、ビットストリーム獲得部１２０は、ビットストリームから、プロセッシングブロック１６０２，１６１２に係わる情報として、基準符号化単位決定順序に係わる情報を獲得することができ、復号部１３０は、前記プロセッシングブロック１６０２，１６１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序によって、ピクチャ１６００に含まれる少なくとも１つの基準符号化単位を決定することができる。図１６を参照すれば、復号部１３０は、それぞれのプロセッシングブロック１６０２，１６１２に係わる少なくとも１つの基準符号化単位の決定順序（１６０４，１６１４）を決定することができる。例えば、基準符号化単位の決定順序に係わる情報が、プロセッシングブロックごとに獲得される場合、それぞれのプロセッシングブロック１６０２，１６１２に係わる基準符号化単位決定順序は、プロセッシングブロックごとに異なりうる。プロセッシングブロック１６０２に係わる基準符号化単位決定順序（１６０４）がラスタースキャン（ｒａｓｔｅｒ  ｓｃａｎ）順序である場合、プロセッシングブロック１６０２に含まれる基準符号化単位は、ラスタースキャン順序によって決定される。それに対し、他のプロセッシングブロック１６１２に係わる基準符号化単位決定順序（１６１４）がラスタースキャン順序の逆順である場合、プロセッシングブロック１６１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によっても決定される。
【０１１０】
復号部１３０は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。復号部１３０は、前述の実施形態を介して決定された基準符号化単位に基づいて、映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
【０１１１】
一実施形態によって、映像復号装置１００は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を、ビットストリームから獲得して利用することができる。該ブロック形態情報または該分割形態情報は、多様なデータ単位に係わるビットストリームに含まれもする。例えば、映像復号装置１００は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ビデオパラメータセット（ｖｉｄｅｏ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）、スライスセグメントヘッダ（ｓｌｉｃｅ  ｓｅｇｍｅｎｔ  ｈｅａｄｅｒ）に含まれたブロック形態情報または分割形態情報を利用することができる。さらに、映像復号装置１００は、最大符号化単位、基準符号化単位、プロセッシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態情報に係わるシンタックスをビットストリームから獲得して利用することができる。
【０１１２】
一実施形態によって、復号部１３０は、符号化単位が分割される分割形態の種類を、所定データ単位ごとに異なって決定することができる。映像復号装置１００の復号部１３０は、一実施形態によって、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに符号化単位が分割される形態の組み合わせを、異なるように決定することができる。
【０１１３】
図１７は、一実施形態によって、符号化単位が分割される形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定される符号化単位を図示する。
【０１１４】
図１７を参照すれば、復号部１３０は、ピクチャごとに符号化単位が分割される分割形態の組み合わせを、異なるように決定することができる。例えば、復号部１３０は、映像に含まれる少なくとも１つのピクチャのうち４個の符号化単位に分割されるピクチャ１７００、２個または４個の符号化単位に分割されるピクチャ１７１０、及び２個、３個または４個の符号化単位に分割されるピクチャ１７２０を利用して、映像を復号することができる。復号部１３０は、ピクチャ１７００を、複数個の符号化単位に分割するために、４個の正方形の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部１３０は、ピクチャ１７１０を分割するために、２個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。復号部１３０は、ピクチャ１７２０を分割するために、２個、３個または４個の符号化単位に分割されることを示す分割形態情報のみを利用することができる。前述の分割形態の組み合わせは、映像復号装置１００の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
【０１１５】
一実施形態によって、映像復号装置１００のビットストリーム獲得部１２０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに獲得することができる。例えば、ビットストリーム獲得部１２０は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅ  ｒｓｅｔ）またはスライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）において分割形態情報の組み合わせを示すインデックスを獲得することができる。映像復号装置１００の復号部１３０は、獲得したインデックスを利用して、所定データ単位ごとに、符号化単位が分割される分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。
【０１１６】
図１８は、一実施形態によって、バイナリー（ｂｉｎａｒｙ）コードで表現される分割形態情報に基づいて決定される符号化単位の多様な形態を図示する。
【０１１７】
一実施形態によって、映像復号装置１００は、ビットストリーム獲得部１２０を介して獲得したブロック形態情報及び分割形態情報を利用して、符号化単位を多様な形態に分割することができる。分割される符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。
【０１１８】
図１８を参照すれば、復号部１３０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。
【０１１９】
一実施形態によって、復号部１３０が、正方形状の符号化単位を水平方向及び垂直方向に分割し、４個の正方形の符号化単位に分割することができる場合、正方形の符号化単位に係わる分割形態情報が示すことができる分割形態は、４種でもある。一実施形態によって、該分割形態情報は、２桁のバイナリーコードとして表現され、それぞれの分割形態ごとに、バイナリーコードが割り当てられる。例えば、符号化単位が分割されない場合、該分割形態情報は、（００）ｂと表現され、符号化単位が、水平方向及び垂直方向に分割される場合、該分割形態情報は、（０１）ｂと表現され、符号化単位が水平方向に分割される場合、該分割形態情報は、（１０）ｂと表現され、符号化単位が垂直方向に分割される場合、該分割形態情報は、（１１）ｂと表現される。
【０１２０】
一実施形態によって、復号部１３０は、非正方形状の符号化単位を、水平方向または垂直方向に分割する場合、分割形態情報が示すことができる分割形態の種類は、いくつの符号化単位に分割するかということによって決定される。図１８を参照すれば、復号部１３０は、一実施形態によって、非正方形状の符号化単位を３個まで分割することができる。復号部１３０は、符号化単位を２つの符号化単位に分割することができ、その場合、分割形態情報は、（１０）ｂと表現される。復号部１３０は、符号化単位を３つの符号化単位に分割することができ、その場合、分割形態情報は、（１１）ｂと表現される。復号部１３０は、符号化単位を分割しないと決定することができ、その場合、分割形態情報は、（０）ｂと表現される。すなわち、復号部１３０は、分割形態情報を示すバイナリーコードを利用するために、固定長コーディング（ＦＬＣ：ｆｉｘｅｄ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）ではなく、可変長コーディング（ＶＬＣ：ｖａｒｉａｂｌｅ  ｌｅｎｇｔｈ  ｃｏｄｉｎｇ）を利用することができる。
【０１２１】
一実施形態によって、図１８を参照すれば、符号化単位が分割されないことを示す分割形態情報のバイナリーコードは、（０）ｂと表現される。もし符号化単位が分割されないことを示す分割形態情報のバイナリーコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態情報がないにもかかわらず、２ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図１８で図示するように、非正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１３０は、分割形態情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないと決定することができるので、ビットストリームを効率的に利用することができる。ただし、該分割形態情報が示す非正方形状の符号化単位の分割形態は、単に図１８で図示する３種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
【０１２２】
図１９は、一実施形態によって、バイナリーコードで表現される分割形態情報に基づいて決定される符号化単位の他の形態を図示する。
【０１２３】
図１９を参照すれば、復号部１３０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向または垂直方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。すなわち、該分割形態情報は、正方形状の符号化単位を一方方向に分割されることを示すことができる。かような場合、正方形状の符号化単位が分割されないことを示す分割形態情報のバイナリーコードは、（０）ｂと表現される。もし符号化単位が分割されないことを示す分割形態情報のバイナリーコードが（００）ｂに設定された場合であるならば、（０１）ｂに設定された分割形態情報がないにもかかわらず、２ビットの分割形態情報のバイナリーコードをいずれも利用しなければならない。しかし、図１９で図示するように、正方形状の符号化単位に係わる３種の分割形態を利用する場合であるならば、復号部１３０は、分割形態情報として、１ビットのバイナリーコード（０）ｂを利用しても、符号化単位が分割されないと決定することができるので、ビットストリームを効率的に利用することができる。ただし、分割形態情報が示す正方形状の符号化単位の分割形態は、単に図１９で図示する３種形態だけに限って解釈されるものではなく、前述の実施形態を含む多様な形態に解釈されなければならない。
【０１２４】
一実施形態によって、ブロック形態情報または分割形態情報は、バイナリーコードを利用して表現され、かような情報が直ちにビットストリームに生成される。また、バイナリーコードで表現されるブロック形態情報または分割形態情報は、即座にビットストリームに生成されなず、ＣＡＢＡＣ（ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ  ｂｉｎａｒｙ  ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）で入力されるバイナリーコードとしても利用される。
【０１２５】
一実施形態によって、映像復号装置１００は、ＣＡＢＡＣを介して、ブロック形態情報または分割形態情報に係わるシンタックスを獲得する過程について説明する。ビットストリーム獲得部１２０を介して、前記シンタックスに係わるバイナリーコードを含むビットストリームを獲得することができる。復号部１３０は、獲得したビットストリームに含まれるビンストリング（ｂｉｎ  ｓｔｒｉｎｇ）を逆二進化し、ブロック形態情報または分割形態情報を示すシンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）を検出することができる。一実施形態によって、復号部１３０は、復号するシンタックス要素に該当するバイナリービンストリングの集合を求め、確率情報を利用して、それぞれのビンを復号することができ、復号部１３０は、かような復号されたビンによって構成されるビンストリングが、以前に求めたビンストリングのうち一つと同じになるまで反復することができる。復号部１３０は、ビンストリングの逆二進化を行い、シンタックス要素を決定することができる。
【０１２６】
一実施形態によって、復号部１３０は、適応的二進算術コーディング（ａｄａｐｔｉｖｅ  ｂｉｎａｒｙ  ａｒｉｔｈｍｅｔｉｃ  ｃｏｄｉｎｇ）の復号過程を遂行し、ビンストリングに対するシンタックスを決定することができ、復号部１３０は、ビットストリーム獲得部１２０を介して獲得したビンに対する確率モデルを更新することができる。図１８を参照すれば、映像復号装置１００のビットストリーム獲得部１２０は、一実施形態によって、分割形態情報を示すバイナリーコードを示すビットストリームを獲得することができる。獲得した１ビットまたは２ビットの大きさを有するバイナリーコードを利用して復号部１３０は、該分割形態情報に係わるシンタックスを決定することができる。復号部１３０は、該分割形態情報に係わるシンタックスを決定するために、２ビットのバイナリーコードのうちそれぞれのビットに係わる確率を更新することができる。すなわち、復号部１３０は、２ビットのバイナリーコードのうち最初ビンの値が０または１のうちいずれの値であるかということにより、次のビンを復号するとき、０または１の値を有する確率を更新することができる。
【０１２７】
一実施形態によって、復号部１３０は、シンタックスを決定する過程において、シンタックスに係わるビンストリングのビンを復号する過程で利用されるビンに係わる確率を更新することができ、復号部１３０は、前記ビンストリングのうち特定ビットにおいては、確率を更新せず、同一確率を有すると決定することができる。
【０１２８】
図１８を参照すれば、非正方形状の符号化単位に係わる分割形態情報を示すビンストリングを利用してシンタックスを決定する過程において、復号部１３０は、非正方形状の符号化単位を分割しない場合には、０の値を有する１つのビンを利用し、該分割形態情報に係わるシンタックスを決定することができる。すなわち、ブロック形態情報が現在符号化単位は、非正方形状であるということを示す場合、該分割形態情報に係わるビンストリングの最初ビンは、非正方形状の符号化単位が分割されない場合、０であり、２個または３個の符号化単位に分割される場合、１でもある。それにより、非正方形の符号化単位に係わる分割形態情報のビンストリングの最初ビンが０である確率は、１／３であり、１である確率は、２／３でもある。前述のように、復号部１３０は、非正方形状の符号化単位が分割されないことを示す分割形態情報は、０の値を有する１ビットのビンストリングだけが表現されるので、復号部１３０は、分割形態情報の最初ビンが１である場合にだけ、２番目ビンが０であるか１であるかということを判断し、該分割形態情報に係わるシンタックスを決定することができる。一実施形態によって、復号部１３０は、該分割形態情報に係わる最初ビンが１である場合、２番目ビンが０または１である確率は、互いに同一確率であることとしてビンを復号することができる。
【０１２９】
一実施形態によって、映像復号装置１００は、分割形態情報に係わるビンストリングのビンを決定する過程において、それぞれのビンに係わる多様な確率を利用することができる。一実施形態によって、復号部１３０は、非正方形ブロック方向により、分割形態情報に係わるビンの確率を、異なるように決定することができる。一実施形態によって、復号部１３０は、現在符号化単位の広さまたは長辺長により、分割形態情報に係わるビンの確率を、異なるように決定することができる。一実施形態によって、復号部１３０は、現在符号化単位の形態及び長辺長のうち少なくとも一つにより、分割形態情報に係わるビンの確率を、異なるように決定することができる。
【０１３０】
一実施形態によって、復号部１３０は、所定サイズ以上の符号化単位については、分割形態情報に係わるビンの確率を同一であると決定することができる。例えば、符号化単位の長辺長を基準に、６４サンプル以上の大きさの符号化単位については、該分割形態情報に係わるビンの確率が同一であると決定することができる。
【０１３１】
一実施形態によって、復号部１３０は、分割形態情報のビンストリングを構成するビンに係わる初期確率は、スライスタイプ（例えば、Ｉスライス、ＰスライスまたはＢスライス）に基づいて決定される。
【０１３２】
図２０は、ループフィルタリングを行う映像符号化・復号システムのブロック図を示した図面である。
【０１３３】
映像符号化・復号システム２０００の符号化端２０１０は、映像の符号化されたビットストリームを伝送し、復号化端２０５０は、ビットストリームを受信して復号することで復元映像を出力する。ここで、符号化端２０１０は、後述する映像符号化装置２００に類似した構成でもあり、復号化端２０５０は、映像復号装置１００に類似した構成でもある。
【０１３４】
符号化端２０１０において、予測符号化部２０１５は、インター予測及びイントラ予測を介して参照映像を出力し、変換及び量子化部２０２０は、参照映像と現在入力映像とのレジデュアルデータを、量子化された変換係数に量子化して出力する。エントロピー符号化部２０２５は、量子化された変換係数を符号化して変換し、ビットストリームとして出力する。量子化された変換係数は、逆量子化及び逆変換部２０３０を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキングフィルタリング部２０３５及びループフィルタリング部２０４０を経て復元映像として出力される。該復元映像は、予測符号化部２０１５を経て、次の入力映像の参照映像にも使用される。
【０１３５】
復号化端２０５０に受信されたビットストリームにおいて符号化された映像データは、エントロピー復号部２０５５及び逆量子化及び逆変換部２０６０を経て、空間領域のレジデュアルデータに復元される。予測復号部２０７５から出力された参照映像及びレジデュアルデータが組み合わされて空間領域の映像データが構成され、デブロッキングフィルタリング部２０６５及びループフィルタリング部２０７０は、空間領域の映像データに対してフィルタリングを行い、現在原本映像に係わる復元映像を出力することができる。復元映像は、予測復号部２０７５により、次の原本映像に係わる参照映像としても利用される。
【０１３６】
符号化端２０１０のループフィルタリング部２０４０は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用して、ループフィルタリングを行う。ループフィルタリング部２０４０によって使用されたフィルタ情報は、エントロピー符号化部２０１０に出力され、符号化された映像データと共に、復号化端２０５０に伝送される。復号化端２０５０のループフィルタリング部２０７０は、復号化端２０５０から入力されたフィルタ情報に基づいて、ループフィルタリングを行うことができる。
【０１３７】
図２１は、一実施形態による最大符号化単位に含まれるフィルタリング単位の一例、及びフィルタリング単位のフィルタリング遂行情報を示した図面である。
【０１３８】
符号化端２０１０のループフィルタリング部２０４０、及び復号化端２０５０のループフィルタリング部２０７０のフィルタリング単位が、図３ないし図５を介して説明した一実施形態による符号化単位と類似したデータ単位から構成されるならば、フィルタ情報は、フィルタリング単位を示すためのデータ単位のブロック形態情報及び分割形態情報、並びにフィルタリング単位に対するループフィルタリング遂行いかんを示すループフィルタリング遂行情報を含んでもよい。
【０１３９】
一実施形態による最大符号化単位２１００に含まれたフィルタリング単位は、最大符号化単位２１００に含まれた符号化単位と同一のブロック形態及び分割形態を有することができる。また、一実施形態による最大符号化単位２１００に含まれたフィルタリング単位は、最大符号化単位２１００に含まれた符号化単位の大きさを基準にも分割される。図２１を参照し、例えば、該フィルタリング単位は、深度Ｄの正方形状のフィルタリング単位２１４０、深度Ｄの非正方形状のフィルタリング単位２１３２，２１３４、深度Ｄ＋１の正方形状のフィルタリング単位２１１２，２１１４，２１１６，２１５２，２１５４，２１６４、深度Ｄ＋１の非正方形状のフィルタリング単位２１６２，２１６６、深度Ｄ＋２の正方形状のフィルタリング単位２１２２，２１２４，２１２６，２１２８を含んでもよい。
【０１４０】
最大符号化単位２１００に含まれたフィルタリング単位のブロック形態情報、分割形態情報（深度）及びループフィルタリング遂行情報は、下記表１のように符号化される。
【０１４１】
【表１】
2018535607.tif 000003
一実施形態によるブロック形態情報及びブロック分割情報により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される過程は、図１３を介して説明した通りである。一実施形態によるフィルタリング単位のループフィルタリング遂行情報は、フラグ値が１である場合、当該フィルタリング単位に対してループフィルタリングが行われることを示し、０である場合、ループフィルタリングが行われないことを示す。表１を参照すれば、ループフィルタリング部２０４０，２０７０により、フィルタリングの対象になるフィルタリング単位を決定するためのデータ単位の情報は、フィルタ情報としていずれも符号化されて伝送される。
【０１４２】
一実施形態によって、構成された符号化単位は、原本映像との誤差を最小化させる形態に構成された符号化単位であるので、該符号化単位内において、空間的相関度が高いと予想される。従って、一実施形態による符号化単位に基づいて、フィルタリング単位が決定されることにより、符号化単位の決定と別途に、フィルタリング単位を決定する動作が省略される。また、それにより、一実施形態による符号化単位に基づいて、フィルタリング単位を決定することにより、フィルタリング単位の分割形態を決定するための情報を省略することができるので、フィルタ情報の伝送ビットレートを節約することができる。
【０１４３】
前述の実施形態においては、フィルタリング単位が、一実施形態による符号化単位に基づいて決定されるように説明したが、符号化単位に基づいてフィルタリング単位の分割を行っていて、任意の深度において、それ以上分割せず、当該深度までだけにフィルタリング単位の形態が決定されもする。
【０１４４】
前述の実施形態に開示されたフィルタリング単位の決定は、ループフィルタリングだけではなく、デブロッキングフィルタリング、適応的ループフィルタリングなど多様な実施形態にも適用される。
【０１４５】
一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、現在符号化単位を分割することができ、該ブロック形態情報は、正方形状のみを利用するとあらかじめ決定され、該分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されることを示すことができるとあらかじめ決定される。すなわち、該現在符号化単位は、前記ブロック形態情報によれば、符号化単位は、常時正方形状を有し、前記分割形態情報に基づいて、分割されないか、あるいは４個の正方形状の符号化単位にも分割される。映像復号装置１００は、かようなブロック形態及び分割形態のみを利用するとあらかじめ決定された所定符号化方法を利用して生成されたビットストリームを、ビットストリーム獲得部１１０を介して獲得することができ、復号部１２０は、あらかじめ決定されたブロック形態及び分割形態のみを利用することができる。かような場合、映像復号装置１００は、前述の所定符号化方法と類似した所定復号方法を利用することにより、所定符号化方法との互換性問題を解決することができる。一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報が示すことができる多様な形態のうち、あらかじめ決定されたブロック形態及び分割形態のみを利用する前述の所定復号方法を利用する場合、ブロック形態情報は、正方形状のみを示すことになるので、映像復号装置１００は、ビットストリームから、ブロック形態情報を獲得する過程を省略することができる。前述の所定復号方法を利用するか否かということを示すシンタックスが利用され、かようなシンタックスは、シーケンス、ピクチャ、スライス単位、最大符号化単位など複数個の符号化単位を含む多様な形態のデータ単位ごとに、ビットストリームから獲得される。すなわち、ビットストリーム獲得部１１０は、所定復号方法の使用いかんを示すシンタックスに基づいて、ブロック形態情報を示すシンタックスを、ビットストリームから獲得するか否かということを決定することができる。
【０１４６】
図２３は、一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する。
【０１４７】
一実施形態による映像復号装置１００は、上位データ単位に含まれた下位データ単位を、Ｚスキャン順序によってスキャンすることができる。また、一実施形態による映像復号装置１００は、最大符号化単位内、またはプロセッシングブロックに含まれる符号化単位内のＺスキャンインデックスによって、データに順次にアクセスすることができる。
【０１４８】
一実施形態による映像復号装置１００が基準符号化単位を、少なくとも１つの符号化単位に分割することができることは、図３及び図４を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と非正方形状の符号化単位とが混在する。一実施形態による映像復号装置１００は、基準符号化単位内の各符号化単位に含まれたＺスキャンインデックスによって、データアクセスを遂行することができる。このとき、基準符号化単位内に、非正方形状の符号化単位が存在するか否かということによってＺスキャンインデックスを適用する方式が異なる。
【０１４９】
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が存在しない場合、基準符号化単位内の下位深度の符号化単位同士は、連続したＺスキャンインデックスを有することができる。例えば、一実施形態によって、上位深度の符号化単位は、下位深度の符号化単位４個を含んでもよい。ここで、４個の下位深度の符号化単位は、互いに隣接する境界が連続的なものであり、それぞれの下位深度の符号化単位は、Ｚスキャン順序を示すインデックスによって、Ｚスキャン順序でスキャンされる。一実施形態によるＺスキャン順序を示すインデックスは、各符号化単位について、Ｚスキャン順序によって増加する数にも設定される。その場合、同一深度の深度別符号化単位同士Ｚスキャン順序によってスキャンが可能である。
【０１５０】
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が少なくとも１以上存在する場合、映像復号装置１００は、基準符号化単位内の符号化単位を、それぞれサブブロックに分割し、分割されたサブブロックに対して、Ｚスキャン順序によるスキャンを行うことができる。例えば、基準符号化単位内に、垂直方向または水平方向の非正方形状の符号化単位が存在する場合、分割されたサブブロックを利用して、Ｚスキャンを行うことができる。また、例えば、基準符号化単位内において、奇数個の符号化単位に分割が行われた場合、サブブロックを利用して、Ｚスキャンを行うことができる。該サブブロックは、それ以上分割されない符号化単位、または任意の符号化単位が分割されたものであり、正方形状でもある。例えば、正方形状の符号化単位から、４個の正方形状のサブブロックが分割される。また、例えば、非正方形状の符号化単位からは、２個の正方形状のサブブロックが分割される。
【０１５１】
図２３を参照し、例えば、一実施形態による映像復号装置１００は、符号化単位２３００内において、下位深度の符号化単位２３０２，２３０４，２３０６，２３０８、２３１０を、Ｚスキャン順序によってスキャンすることができる。符号化単位２３００及び符号化単位２３０２，２３０４，２３０６，２３０８，２３１０は、それぞれ相対的に上位符号化単位及び下位符号化単位である。符号化単位２３００は、水平方向の非正方形状の符号化単位２３０６，２３１０を含む。それら非正方形状の符号化単位２３０６，２３１０は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。また、符号化単位２３０８は、正方形状であり、非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位である。非正方形状の符号化単位２３０６，２３１０と同様に、符号化単位２３０８は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。符号化単位２３００内に、非正方形状の符号化単位２３０６，２３１０が含まれるか、あるいは非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位２３０８が含まれた場合、符号化単位間に隣接する境界が不連続的であるために、連続的なＺスキャンインデックスが設定されない。従って、映像復号装置１００は、符号化単位をサブブロックに分割することにより、Ｚスキャンインデックスを連続的に設定することができる。また、映像復号装置１００は、非正方形状の符号化単位２３０６，２３１０、または奇数個に分割された非正方形状の符号化単位の中間に位置した符号化単位２３０８に対して、連続したＺスキャンを行うことができる。
【０１５２】
図２３に図示された符号化単位２３２０は、符号化単位２３００内の符号化単位２３０２，２３０４，２３０６，２３０８，２３１０をサブブロックに分割したものである。該サブブロックそれぞれに対してＺスキャンインデックスが設定され、該サブブロック間の隣接する境界は、連続的であるので、該サブブロック同士Ｚスキャン順序によって、スキャンが可能である。例えば、一実施形態による復号装置において、符号化単位２３０８は、サブブロック２３２２，２３２４，２３２６，２３２８にも分割される。このとき、サブブロック２３２２，２３２４は、サブブロック２３３０に対するデータ処理後にスキャンされ、サブブロック２３２６，２３２８は、サブブロック２３３２に対するデータ処理後にスキャンされる。また、それぞれのサブブロック同士Ｚスキャン順序によってスキャンされる。
【０１５３】
前述の実施形態において、データ単位に対してＺスキャン順序によってスキャンすることは、データ保存、データローディング、データアクセスなどのためのものでもある。
【０１５４】
また、前述の実施形態では、データ単位をＺスキャン順序によってスキャンすることができると説明したが、データ単位のスキャン順序は、ラスタースキャン、Ｎスキャン、右上向き対角スキャン、水平的スキャン、垂直的スキャンなど多様なスキャン順序によって遂行され、該Ｚスキャン順序に限定して解釈されるものではない。
【０１５５】
また、前述の実施形態では、基準符号化単位内の符号化単位に対してスキャンを行うと説明したが、それに限定して解釈されるものではなく、スキャン遂行の対象は、最大符号化単位、またはプロセッシングブロック内の任意のブロックでもある。
【０１５６】
また、前述の実施形態では、非正方形状のブロックが、少なくとも１以上存在する場合にのみサブブロックに分割し、Ｚスキャン順序によるスキャンを行うように説明したが、単純化された具現のために、非正方形状のブロックが存在しない場合にも、サブブロックを分割し、Ｚスキャン順序によるスキャンを行うこともできる。
【０１５７】
一実施形態による映像復号装置１００は、符号化単位に対するインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行い、レジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を復元することができる。
【０１５８】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測モードが選択される。
【０１５９】
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ形態、または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個にも行われる。また、一実施形態による２ＮｘＮ形態またはＮｘ２Ｎ形態の符号化単位については、スキップモードが適用されもする。
【０１６０】
一方、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位のスキップモードにおいて、双方向予測（ｂｉ−ｐｒｅｄｉｃｔｉｏｎ）の遂行が許容される。スキップモードにおいては、符号化単位に対してスキップモード情報のみを伝送されるために、当該符号化単位に対するレジデュアルデータの利用が省略される。従って、その場合、逆量子化及び逆変換に対するオーバーヘッド（ｏｖｅｒｈｅａｄ）を節約することができる。その代わり、一実施形態による映像復号装置１００は、スキップモードが適用される符号化単位に対して双方向予測を許容し、復号効率を高めることができる。また、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位に対して、双方向予測を許容するが、動き補償段階において、補間タップ（ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｔａｐ）数を相対的に少なく設定し、メモリ帯域幅を効率的に使用することができる。一例として、８タップの補間フィルタを使用する代わりに、８未満のタップ数の補間フィルタ（例えば、２タップ補間フィルタ）を使用することもできる。
【０１６１】
また、一実施形態による映像復号装置１００は、現在符号化単位に含まれた領域をすでに設定された形態で分割（例えば、斜線基盤分割）し、分割された各領域に対するイントラ予測情報またはインター予測情報をシグナリングすることもできる。
【０１６２】
一実施形態による映像復号装置１００は、イントラモードを利用して、現在符号化単位の予測サンプルを、現在符号化単位の周辺サンプルを利用して獲得することができる。このとき、イントラ予測は、周辺のすでに再構成されたサンプルを使用して予測を行うが、かようなサンプルを参照サンプルという。
【０１６３】
図２４は、一実施形態による符号化単位のイントラ予測のための参照サンプルを示す図面である。図２４を参照すれば、ブロック形態が非四角型形態であり、水平方向の長さがｗであり、垂直方向の長さがｈである現在符号化単位２３００に対して、上端の参照サンプル２３０２が、ｗ＋ｈ個、左側の参照サンプル２３０４が、ｗ＋ｈ個、左側上端の参照サンプル２３０６が一つであり、総２（ｗ＋ｈ）＋１個の参照サンプルが必要である。参照サンプル準備のために、参照サンプルが存在しない部分に対してパディングを行う段階を経て、再構成された参照サンプルに含まれた量子化エラーを減らすための予測モード別参照サンプルフィルタリング過程を経ることもできる。
【０１６４】
前述の実施形態においては、現在符号化単位のブロック形態が非四角型形態である場合の参照サンプルの個数について説明したが、かような参照サンプルの個数は、現在符号化単位が、四角形状のブロック形態の場合にも、同一に適用される。
【０１６５】
前述の多様な実施形態は、映像復号装置１００が遂行する映像復号方法に係わる動作について説明したものである。以下では、かような映像復号方法に対して、逆順の過程に該当する映像符号化方法を遂行する映像符号化装置２００の動作について、多様な実施形態を介して説明する。
【０１６６】
図２は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を符号化することができる映像符号化装置２００のブロック図を図示する。
【０１６７】
図２を参照すれば、映像符号化装置２００は、一実施形態によって、分割形態情報、ブロック形態情報のような所定情報を含むビットストリームを生成するためのビットストリーム生成部２１０、前記所定情報を利用して、映像を符号化するための符号化部２２０を含んでもよい。一実施形態によって、映像符号化装置２００の符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を分割する少なくとも１つの符号化単位を決定することができ、映像符号化装置２００のビットストリーム生成部２１０において、かようなブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ここで、該ブロック形態情報は、符号化単位の形態を示す情報またはシンタックスを意味し、該分割形態情報は、符号化単位が分割される形態を示す情報またはシンタックスを意味する。
【０１６８】
一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化単位が正方形であるか、あるいは非正方形の形態を有することができ、かような形態を示す情報は、ブロック形態情報に含まれもする
一実施形態によって、符号化部２２０は、符号化単位がいかなる形態に分割されるかということを決定することができる。符号化部２２０は、符号化単位に含まれる少なくとも１つの符号化単位の形態を決定することができ、ビットストリーム生成部２１０は、かような符号化単位の形態に係わる情報を含む分割形態情報を含むビットストリームを生成することができる。
【０１６９】
一実施形態によって、符号化部２２０は、符号化単位が分割されるか、あるいは分割されないかということを決定することができる。符号化部２２０が、符号化単位に１つの符号化単位だけが含まれるか、あるいは符号化単位が分割されないと決定する場合、ビットストリーム生成部２１０は、符号化単位が分割されないことを示す分割形態情報を含むビットストリームを生成することができる。また、符号化部２２０は、符号化単位に含まれる複数個の符号化単位に分割することができ、ビットストリーム生成部２１０は、符号化単位は、複数個の符号化単位に分割されることを示す分割形態情報を含むビットストリームを生成することができる。
【０１７０】
一実施形態によって、符号化単位をいくつの符号化単位に分割するかということを示すか、あるいはいずれの方向に分割するかということを示す情報が、分割形態情報に含まれもする。例えば、該分割形態情報は、垂直方向及び水平方向のうち少なくとも１つの方向に分割することを示すか、あるいは分割しないということを示すことができる。
【０１７１】
図３は、一実施形態によって、映像符号化装置２００が現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【０１７２】
一実施形態によって、符号化部２２０は、符号化単位の形態を決定することができる。例えば、符号化部２２０は、ＲＤ（ｒａｔｅ  ｄｉｓｔｏｒｔｉｏｎ）ｃｏｓｔを考慮し、最適のＲＤ  ｃｏｓｔを有する符号化単位の形態を決定することができる。
【０１７３】
一実施形態により、符号化部２２０は、現在符号化単位が正方形状であることを決定することができ、それにより、正方形状の符号化単位が分割される形態を決定することができる。例えば、符号化部２２０は、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということなどを決定することができる。図３を参照すれば、符号化部２２０は、現在符号化単位３００と同一サイズを有する符号化単位３１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位３１０ｂ、３１０ｃ、３１０ｄなどを決定することができる。
【０１７４】
図３を参照すれば、符号化部２２０は、一実施形態によって、現在符号化単位３００を垂直方向に分割した２つの符号化単位３１０ｂを決定することができる。符号化部２２０は、現在符号化単位３００を水平方向に分割した２つの符号化単位３１０ｃを決定することができる。符号化部２２０は、現在符号化単位３００を、垂直方向及び水平方向に分割した４つの符号化単位３１０ｄを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれもする。正方形の符号化単位が分割される所定分割形態は、以下において、多様な実施形態を介して具体的に説明する。
【０１７５】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位３００が、符号化部２２０によって分割された形態を示す分割形態情報を含むビットストリームを生成することができる。
【０１７６】
図４は、一実施形態によって、映像符号化装置２００が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【０１７７】
一実施形態によって、符号化部２２０は、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図４を参照すれば、現在符号化単位４００または４５０の符号化部２２０は、現在符号化単位４００または４５０と同一サイズを有する符号化単位４１０または４６０を分割しないか、あるいは所定分割方法によって分割された符号化単位４２０ａ，４２０ｂ，４３０ａ，４３０ｂ，４３０ｃ，４７０ａ，４７０ｂ，４８０ａ，４８０ｂ，４８０ｃを決定することができる。映像符号化装置２００のビットストリーム生成部２１０は、かような分割形態を示す分割形態情報を含むビットストリームを生成することができる。非正方形の符号化単位が分割される所定分割方法は、以下において、多様な実施形態を介して具体的に説明する。
【０１７８】
一実施形態によって、符号化部２２０は、符号化単位が分割される形態を決定することができる。図４を参照すれば、符号化部２２０は、現在符号化単位４００または４５０を分割し、現在符号化単位に含まれる２つの符号化単位４２０ａ，４２０ｂまたは４７０ａ，４７０ｂを決定することができ、ビットストリーム生成部２１０は、かような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
【０１７９】
一実施形態によって、符号化部２２０が非正方形の形態の現在符号化単位４００または４５０を分割する場合、非正方形の現在符号化単位４００または４５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、符号化部２２０は、現在符号化単位４００または４５０の形態を考慮し、現在符号化単位４００または４５０の長辺を分割する方向に、現在符号化単位４００または４５０を分割し、複数個の符号化単位を決定することができ、ビットストリーム生成部２１０は、かような分割形態を示す分割形態情報を含むビットストリームを生成することができる。
【０１８０】
一実施形態により、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができる。例えば、符号化部２２０は、現在符号化単位４００または４５０を、３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃに分割することができる。一実施形態によって、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさは、いずれも同一ではないこともある。例えば、決定された奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃにおいて、所定符号化単位４３０ｂまたは４８０ｂの大きさは、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位４００または４５０が分割されて決定される符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃがそれぞれ互いに異なる大きさを有することもできる。
【０１８１】
一実施形態によって、符号化部２２０は、現在符号化単位４００または４５０に含まれる奇数個の符号化単位を決定することができ、さらには、符号化部２２０は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して、所定制限を置くことができる。図４を参照すれば、符号化部２２０は、現在符号化単位４００または４５０が分割されて生成された３個の符号化単位４３０ａ，４３０ｂ，４３０ｃ，４８０ａ，４８０ｂ，４８０ｃのうち中央に位置する符号化単位４３０ｂ，４８０ｂに対する復号過程を、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なるようにすることができる。例えば、符号化部２２０は、中央に位置する符号化単位４３０ｂ，４８０ｂについては、他の符号化単位４３０ａ，４３０ｃ，４８０ａ，４８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどのみ分割されるように制限することができる。
【０１８２】
図５は、一実施形態によって、映像符号化装置２００が符号化単位を分割する過程を図示する。
【０１８３】
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位５００を符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態によって、符号化部２２０は、第１符号化単位５００を水平方向に分割し、第２符号化単位５１０を決定することができ、ビットストリームである実施形態によって利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定される。以下では、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるものであると理解される。
【０１８４】
一実施形態によって、映像符号化装置２００は、決定された第２符号化単位５１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図５を参照すれば、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割して決定された非正方形の形態の第２符号化単位５１０を、少なくとも１つの第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどに分割するか、あるいは第２符号化単位５１０を分割しないこともある。映像符号化装置２００のビットストリーム生成部２１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができ、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００を分割し、多様な形態の複数個の、例えば、第２符号化単位５１０を分割することができ、第２符号化単位５１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位５００が分割された方式によっても分割される。一実施形態により、第１符号化単位５００が、第１符号化単位５００に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位５１０に分割された場合、第２符号化単位５１０も、第２符号化単位５１０に係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどにも分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、かような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定される。図５を参照すれば、非正方形状の第２符号化単位５１０が分割されて決定される奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的にも分割される。一実施形態によって、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち一つである正方形状の第３符号化単位５２０ｃは、水平方向に分割され、複数個の第４符号化単位にも分割される。複数個の第４符号化単位のうち一つである非正方形状の第４符号化単位５４０は、さらに複数個の符号化単位にも分割される。例えば、非正方形状の第４符号化単位５４０は、奇数個の符号化単位５５０ａ，５５０ｂ，５５０ｃにさらに分割される。
【０１８５】
該符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的にも分割される。該符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【０１８６】
一実施形態によって、符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位５２０ａ，５２０ｂ，５２０ｃ，５２０ｄなどそれぞれを符号化単位に分割するか、あるいは第２符号化単位５１０を分割しないと決定することができる。符号化部２２０は、一実施形態によって、非正方形状の第２符号化単位５１０を、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄに分割することができる。映像符号化装置２００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、所定第３符号化単位に対して、所定制限を置くことができる。例えば、映像符号化装置２００は、奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄにおいて、真ん中に位置する符号化単位５２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図５を参照すれば、映像符号化装置２００は、非正方形状の第２符号化単位５１０に含まれる奇数個の第３符号化単位５２０ｂ，５２０ｃ，５２０ｄのうち、真ん中に位置する符号化単位５２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にのみ分割するか、あるいは第２符号化単位５１０が分割された形態に対応する形態に分割）されるように制限するか、あるいは所定回数にのみ分割（例えば、ｎ回だけ分割、ｎ＞０）するように制限することができる。ただし、真ん中に位置した符号化単位５２０ｃに対する前記制限は、単なる実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位５２０ｃが、異なる符号化単位５２０ｂ，５２０ｄと異なるように復号される多様な制限を含むと解釈されなければならない。
【０１８７】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位内の所定位置のサンプルに係わるビットストリームと共に、現在符号化単位を分割するために使用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。
【０１８８】
図６は、一実施形態によって、符号化部２２０が奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。映像符号化装置２００の符号化部２２０は、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。図６を参照すれば、ビットストリーム生成部２１０は、現在符号化単位６００に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、真ん中に位置するサンプル６４０）に係わるビットストリームと共に、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。ただし、かようなブロック形態情報及び分割形態情報のうち少なくとも一つに係わる現在符号化単位６００内の所定位置は、図６で図示する真ん中位置に限定して解釈されるものではなく、所定位置には、現在符号化単位６００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれものであると解釈されなければならない。
【０１８９】
一実施形態によって、映像符号化装置２００は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なものがあり、かような方法に係わる説明は、以下の多様な実施形態を介して後述する。
【０１９０】
一実施形態によって、映像符号化装置２００の符号化部２２０は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【０１９１】
図６は、一実施形態によって、映像符号化装置２００が奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
【０１９２】
一実施形態によって、符号化部２２０は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図６を参照すれば、符号化部２２０は、現在符号化単位６００を分割し、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃを決定することができる。符号化部２２０は、奇数個の符号化単位６２０ａ，６２０ｂ，６２０ｃの位置に係わる情報を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃに含まれる所定サンプルの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。具体的には、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃの左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報に基づいて、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を決定することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
【０１９３】
一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を含んでもよい。一実施形態によって、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す情報は、現在符号化単位６００に含まれる符号化単位６２０ａ，６２０ｂ，６２０ｃの幅または高さを示す情報を含んでもよく、かような幅または高さは、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での座標間差を示す情報に該当する。すなわち、映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃのピクチャ内での位置または座標に係わる情報を直接利用するか、あるいは座標間の差値を示す符号化単位の幅または高さに係わる情報を利用することにより、真ん中に位置する符号化単位６２０ｂを決定することができる。
【０１９４】
一実施形態により、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃにそれぞれ含まれる左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を利用し、真ん中符号化単位６２０ｂを決定することができる。例えば、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの座標を、昇順または降順に整列したとき、真ん中に位置するサンプル６３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位６２０ｂを、現在符号化単位６００が分割されて決定された符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル６３０ａ，６３０ｂ，６３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を基準に、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法は、前述の方法に限定して解釈されるものではなく、サンプル座標を利用することができる多様な算術的方法によって解釈されなければならない。
【０１９５】
一実施形態によって、映像符号化装置２００は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、符号化単位６２０ａ，６２０ｂ，６２０ｃのうち、所定基準によって、符号化単位を選択することができる。例えば、符号化部２２０は、符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、大きさが異なる符号化単位６２０ｂを選択することができる。
【０１９６】
一実施形態によって、映像符号化装置２００は、上端符号化単位６２０ａの左側上端のサンプル６３０ａの位置を示す情報である（ｘａ，ｙａ）座標、真ん中符号化単位６２０ｂの左側上端のサンプル６３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位６２０ｃの左側上端のサンプル６３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの幅または高さを決定することができる。映像符号化装置２００は、符号化単位６２０ａ，６２０ｂ，６２０ｃの位置を示す座標である（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）を利用して符号化単位６２０ａ，６２０ｂ，６２０ｃそれぞれの大きさを決定することができる。
【０１９７】
一実施形態により、映像符号化装置２００は、上端符号化単位６２０ａの幅を、ｘｂ−ｘａと決定することができ、高さを、ｙｂ−ｙａと決定することができる。一実施形態によって、符号化部２２０は、真ん中符号化単位６２０ｂの幅を、ｘｃ−ｘｂと決定することができ、高さを、ｙｃ−ｙｂと決定することができる。一実施形態によって、符号化部２２０は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位６２０ａ及び真ん中符号化単位６２０ｂの幅及び高さとを利用して決定することができる。符号化部２２０は、決定された符号化単位６２０ａ，６２０ｂ，６２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図６を参照すれば、映像符号化装置２００は、上端符号化単位６２０ａ及び下端符号化単位６２０ｃの大きさと異なる大きさを有する真ん中符号化単位６２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述の映像符号化装置２００が、他の符号化単位と異なる大きさを有する符号化単位を決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎないので、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【０１９８】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置に係わる情報が利用されると解釈される。
【０１９９】
一実施形態によって、映像符号化装置２００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、符号化部２２０は、水平方向に沿って所定位置の符号化単位を決定することができる。すなわち、符号化部２２０は、水平方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、符号化部２２０は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、符号化部２２０は、垂直方向に位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
【０２００】
一実施形態によって、映像符号化装置２００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。符号化部２２０は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置に係わる情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図６で説明した奇数個の符号化単位のうち所定位置（例えば、真ん中位置）の符号化単位を決定する過程と類似した過程でもあるので、省略する。
【０２０１】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、現在符号化単位の分割過程で利用された所定情報を利用することができる。例えば、映像符号化装置２００の符号化部２２０は、現在符号化単位が複数個に分割された符号化単位のうち真ん中に位置する符号化単位を決定するために、現在符号化単位の分割過程で利用された所定情報として、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができ、かような情報は、である。
【０２０２】
図６を参照すれば、映像符号化装置２００の符号化部２２０は、現在符号化単位６００を、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃに分割することができ、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて、真ん中に位置する符号化単位６２０ｂを決定することができ、ビットストリーム生成部２１０は、現在符号化単位６００の分割過程で利用されたブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。符号化部２２０は、現在符号化単位６００の分割過程で利用されたブロック形態情報及び分割形態情報のうち少なくとも１つのビットストリームに係わるサンプルの位置を考慮し、真ん中に位置する符号化単位６２０ｂを決定することができる。すなわち、現在符号化単位６００の真ん中に位置するサンプル６４０に係わるビットストリームと共に、現在符号化単位６００のブロック形態情報及び分割形態情報のうち少なくとも一つを含むビットストリームが生成され、その場合、符号化部２２０は、前記サンプル６４０を含む符号化単位６２０ｂを、複数個の符号化単位６２０ａ，６２０ｂ，６２０ｃにおいて真ん中に位置する符号化単位と決定することができる。ただし、現在符号化単位が分割されて決定された複数個の符号化単位のうち真ん中に位置する符号化単位に決定するために利用される情報が、現在符号化単位の分割過程で利用されたブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多様な種類の情報が利用されることができる。それと係わり、映像符号化装置２００が、所定位置の符号化単位を決定する過程は、映像復号装置１００が現在符号化単位から決定された複数個の符号化単位のうち所定位置の符号化単位を決定する過程と反対になる過程でもあるので、詳細な説明は省略する。
【０２０３】
一実施形態によって、映像符号化装置２００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、かような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。
【０２０４】
図７は、一実施形態によって、映像符号化装置２００が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。図７に係わる映像符号化装置２００が、複数個の符号化単位を処理する過程は、図７に係わって説明した映像復号装置１００の動作と類似した過程でもあるので、詳細な説明は省略する。
【０２０５】
図８は、一実施形態によって、映像符号化装置２００が、所定順序で符号化単位が処理されない場合、現在符号化単位が、奇数個の符号化単位に分割されると決定する過程を図示する。
【０２０６】
一実施形態によって、映像符号化装置２００の符号化部２２０は、現在符号化単位が、奇数個の符号化単位に分割されることを決定することができ、ビットストリーム生成部２１０は、現在符号化単位の形態を示すブロック形態情報及び現在符号化単位の分割形態（奇数個に分割される）を示す分割形態情報を含むビットストリームを生成することができる。図８を参照すれば、正方形状の第１符号化単位８００が非正方形状の第２符号化単位８１０ａ、８１０ｂに分割され、第２符号化単位８１０ａ，８１０ｂは、それぞれ独立して、第３符号化単位８２０ａ，８２０ｂ，８２０ｃ，８２０ｄ，８２０ｅにも分割される。一実施形態によって、符号化部２２０は、第２符号化単位のうち左側符号化単位８１０ａは、水平方向に分割し、複数個の第３符号化単位８２０ａ，８２０ｂを決定することができ、右側符号化単位８１０ｂは、奇数個の第３符号化単位８２０ｃ，８２０ｄ，８２０ｅに分割することができる。図８に係わる映像符号化装置２００が、現在符号化単位が奇数個の符号化単位に分割されると決定する過程は、図８に係わって説明した映像復号装置１００の動作と反対になる過程でもあるので、詳細な説明は省略する。
【０２０７】
図９は、一実施形態によって、映像符号化装置２００が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定するところを図示する。一実施形態によって、符号化部２２０は、第１符号化単位９００を分割することができ、ビットストリーム生成部２１０は、第１符号化単位９００の形態を示すブロック形態情報、及び第１符号化単位９００が分割される形態を示す分割形態情報のうち少なくとも一つを含むビットストリームを生成することができる。正方形状の第１符号化単位９００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図９を参照すれば、符号化部２２０は、第１符号化単位９００を複数個の非正方形の符号化単位に分割することができ、その場合、ビットストリーム生成部２１０は、第１符号化単位９００は、正方形であるということを示すブロック形態情報、及び第１符号化単位９００が、非正方形の符号化単位に分割されることを示す分割形態情報を含むビットストリームを生成することができる。具体的には、符号化部２２０は、正方形状の第１符号化単位９００を、奇数個の符号化単位として、垂直方向に分割されて決定された第２符号化単位９１０ａ、９１０ｂ，９１０ｃ、または水平方向に分割されて決定された第２符号化単位９２０ａ、９２０ｂ，９２０ｃに分割することができ、その場合、ビットストリーム生成部２１０は、第１符号化単位９００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す分割形態情報を含むビットストリームを生成することができる。図９に係わる映像符号化装置２００が、第１符号化単位９００を分割し、少なくとも１つの符号化単位を決定する過程は、図９に係わって説明した映像復号装置１００の動作と反対になる過程でもあるので、詳細な説明は省略する。
【０２０８】
図１０は、一実施形態によって、映像符号化装置２００、が第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する。
【０２０９】
一実施形態によって、符号化部２２０正方形状の第１符号化単位１０００を、非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立しても分割される。それにより、符号化部２２０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれを複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。図１０に係わる映像符号化装置２００が、非正方形状の第２符号化単位が所定条件を満足するとき、分割される形態の制限する動作は、図１０に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２１０】
図１１は、一実施形態によって、分割形態情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、映像符号化装置２００が、正方形状の符号化単位を分割する過程を図示する。それと係わる映像符号化装置２００の動作は、図１１に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２１１】
図１２は、一実施形態によって、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なりうることを図示したものである。
【０２１２】
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位１２００を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができる。一実施形態によって、ビットストリーム生成部２１０は、第１符号化単位１２００が正方形状であるということを示すブロック形態情報、並びに第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す分割形態情報を含むビットストリームを生成することができる。
【０２１３】
一実施形態によって、符号化部２２０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄなどを決定することができる。図１２を参照すれば、第１符号化単位１２００が水平方向または垂直方向だけで分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、独立しても分割される。例えば、符号化部２２０は、第１符号化単位１２００が垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。図１０に係わる映像符号化装置２００の動作は、図１０に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２１４】
図１３は、一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることによって、符号化単位の深度が決定される過程を図示する。映像符号化装置２００の符号化部２２０が、符号化単位の深度を決定する過程は、図１３に係わって説明した映像復号装置１００の復号部１２０が、符号化単位の深度を決定する過程と反対になるものでもあるので、詳細な説明は省略する。
【０２１５】
一実施形態によって、映像符号化装置２００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像符号化装置２００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像符号化装置２００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態によって、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）から獲得される。図１４に係わる映像符号化装置２００の動作は、図１４に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２１６】
図１５は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位によって、複数個の符号化単位が決定されたところを図示する。一実施形態によって、符号化部２２０は、符号化単位の再帰的な分割が始まる所定データ単位として、前述の基準符号化単位を利用することができる。図１５に係わり、映像符号化装置２００が基準符号化単位を利用する動作は、図１５に係わって説明した映像復号装置１００が、基準符号化単位を利用する動作と反対になるものでもあるので、詳細な説明は省略する。
【０２１７】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを含むビットストリームを、前記多様なデータ単位ごとに生成することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位の決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は省略する。
【０２１８】
一実施形態によって、符号化部２２０は、所定条件に基づいて、あらかじめ決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム生成部２１０は、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスを含むビットストリームを生成することができる。符号化部２２０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。一実施形態によって、基準符号化単位の大きさ及び形態を示すインデックスに係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、あらかじめ決定されている。すなわち、符号化部２２０は、あらかじめ決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。基準符号化単位の大きさ及び形態を識別するためのインデックスを利用する符号化部２２０の動作は、前述の復号部１２０の動作と類似したのでもあるので、詳細な説明は省略する。
【０２１９】
図１６は、一実施形態によって、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【０２２０】
一実施形態によって、符号化部２２０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。符号化部２２０は、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができ、ビットストリーム生成部２１０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【０２２１】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを特定のデータ単位ごとに生成することができる。例えば、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。すなわち、ビットストリーム生成部２１０は、前記多くのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができ、符号化部２２０は、前記プロセッシングブロックの大きさに係わる情報を利用して、ピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【０２２２】
一実施形態によって、符号化部２２０は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、符号化部２２０は、プロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、符号化部２２０は、一実施形態によって、プロセッシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。符号化部２２０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。プロセッシングブロックに係わる符号化部２２０の動作は、図１６に係わって説明した復号部１２０の動作と類似したのでもあるので、詳細な説明は省略する。
【０２２３】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２１０は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を含むビットストリームを生成することができる。該ブロック形態情報または該分割形態情報は、多様なデータ単位に係わるビットストリームに含まれもする。例えば、映像符号化装置２００のビットストリーム生成部２１０は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ビデオパラメータセット（ｖｉｄｅｏ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）、スライスセグメントヘッダ（ｓｌｉｃｅ  ｓｅｇｍｅｎｔ  ｈｅａｄｅｒ）に含まれたブロック形態情報または分割形態情報を利用することができる。さらに、映像符号化装置２００のビットストリーム生成部２１０は、ブロック形態情報または分割形態情報を示すシンタックスを含むビットストリームを、最大符号化単位、基準符号化単位、プロセッシングブロックごとに生成することができる。
【０２２４】
一実施形態によって、符号化部２２０は、符号化単位が分割される分割形態の種類を所定データ単位ごとに異なるように決定することができる。映像符号化装置２００の符号化部２２０は、一実施形態によって、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに、符号化単位が分割される形態の組み合わせを、異なるように決定することができる。
【０２２５】
図１７は、一実施形態によって、符号化単位が分割される形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定される符号化単位を図示する。
【０２２６】
図１７を参照すれば、符号化部２２０は、ピクチャごとに、符号化単位が分割される分割形態の組み合わせを、異なるように決定することができる。例えば、符号化部２２０は、映像に含まれる少なくとも１つのピクチャのうち４個の符号化単位にも分割されるピクチャ１７００、２個または４個の符号化単位にも分割されるピクチャ１７１０、及び２個、３個または４個の符号化単位にも分割されるピクチャ１７２０を利用して映像を復号することができる。符号化部２２０は、ピクチャ１７００を、４個の正方形の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７１０を、２個または４個の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７２０を、２個、３個または４個の符号化単位に分割することができる。前述の分割形態の組み合わせは、映像符号化装置２００の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに、多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
【０２２７】
一実施形態によって、映像符号化装置２００の符号化部２２０は、分割形態情報の組み合わせを示すインデックスを利用し、所定データ単位ごとに、符号化単位が分割される分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。さらには、映像符号化装置２００のビットストリーム生成部２１０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに生成することができる。例えば、ビットストリーム生成部２１０は、分割形態情報の組み合わせを示すインデックスを含むシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅ  ｒｓｅｔ）またはスライスヘッダを生成することができる。
【０２２８】
図１８、図１９は、一実施形態によって、バイナリー（ｂｉｎａｒｙ）コードで表現される分割形態情報に基づいて決定される符号化単位の多様な形態を図示する。
【０２２９】
一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位を多様な形態に分割することができ、ビットストリーム生成部２１０を介して、ブロック形態情報及び分割形態情報を含むビットストリームを生成することができる。分割される符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。図１８を参照すれば、符号化部２２０は、分割形態情報に基づいて、正方形状の符号化単位を水、平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。映像符号化装置２００が利用することができる分割形態情報のバイナリーコードに係わる特徴は、図１８及び図１９を介して説明した映像復号装置１００の特徴に該当するので、詳細な説明は省略する。
【０２３０】
一実施形態による映像符号化装置２００は、符号化単位に対するインター予測またはイントラ予測を行い、予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行い、レジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を符号化することができる。
【０２３１】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測が行われ、最も小さい予測モードが選択される。
【０２３２】
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ、または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個に行われる。また、一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位が正方形状である場合だけではなく、非正方形状である場合にも、ＣＵスキップモード（ｓｋｉｐ  ｍｏｄｅ）を利用して符号化単位を符号化することができる。ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて決定される正方形状の符号化単位だけではなく、非正方形状の符号化単位の場合にも、ＣＵスキップモードを利用して映像を復号することができることにより、相対的にさらに適応的なスキップモードの利用が可能になることにより、映像の符号化／復号効率が向上する。かような非正方形状の符号化単位において、スキップモードを利用する映像符号化装置２００の特徴は、映像符号化装置２００のスキップモード利用に係わって説明した特徴と類似したのでもあるので、詳細な説明は省略する。
【０２３３】
図２２は、一実施形態によって、所定符号化方法によって決定された符号化単位間の併合（ｍｅｒｇｅ）または分割（ｓｐｌｉｔ）が行われる過程を図示する。
【０２３４】
一実施形態によって、映像符号化装置２００は、前述の所定符号化方法を利用し、ピクチャを分割する符号化単位を決定することができる。例えば、映像符号化装置２００は、符号化単位の分割情報に基づいて、現在深度の符号化単位を決定するか、あるいは下位深度の４個の符号化単位に分割することができる。前述のように、映像符号化装置２００は、一実施形態によって、現在符号化単位は、常時正方形状を有することを示すブロック形態情報、現在符号化単位は、分割されないことを示すか、あるいは４個の正方形状の符号化単位に分割されることを示すことができる分割形態情報を利用して、符号化単位を決定することができる。図２２を参照すれば、前述の所定符号化方法によって決定された正方形の符号化単位により、ピクチャ２２００，２２２０が分割される。
【０２３５】
ただし、前述の所定復号単位による場合、現在符号化単位が分割されるか否かということは、現在符号化単位内に含まれる相対的に小さいオブジェクト（ｏｂｊｅｃｔ）が表現されるのに適するか否かということによって決定されるために、ピクチャ内の大きいオブジェクトと小さいオブジェクトとが１つの符号化単位を介して符号化されることは、不可能なことがある。ここで、オブジェクトとは、ピクチャに含まれたサンプルの集合であり、類似のサンプル値を有することにより、他の領域と区分されるサンプルの領域を意味する。図２２を参照すれば、映像符号化装置２００は、小さいオブジェクト２２２１を復元するために、第１符号化単位２２２２を、４個の下位深度の符号化単位に分割することにより、小さいオブジェクト２２２１の復号のための符号化単位を決定することができる。しかし、大きいオブジェクト２２２３が現在符号化単位２２２２に含まれないので、大きいオブジェクト２２２３が、現在符号化単位２２２２を利用して復号されるには適さず、さらには、小さいオブジェクト２２２１を復号するために、現在符号化単位２２２２が分割されたために、結局、大きいオブジェクト２２２３の復号のために、不要な符号化単位の分割過程が遂行されなければならないので、非効率的である。すなわち、映像符号化装置２００が、大きいオブジェクト２２２３に対する部分を符号化するために、１つの符号化単位を利用することができるならば、映像符号化を効率的に遂行することができる。
【０２３６】
一実施形態によって、映像符号化装置２００の符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、ブロック形態情報は、正方形状のみを利用するとあらかじめ決定され、該分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されることを示すことができるとあらかじめ決定される。それは、多様な実施形態を介して説明した所定符号化方法で利用される符号化単位決定過程に該当する。その場合、符号化部２２０は、前記所定符号化方法を利用して決定された符号化単位を互いに併合（ｍｅｒｇｅ）するか、あるいは決定された符号化単位を分割（ｓｐｌｉｔ）するために、ピクチャに含まれるサンプル値を利用することができる。例えば、符号化部２２０は、類似のサンプル値を有する部分を検討し、ピクチャに含まれる多様なオブジェクトを検出することができ、かように検出されたオブジェクトに係わる部分に基づいて、符号化単位の併合／分割過程を遂行することができる。
【０２３７】
図２２を参照すれば、一実施形態によって、符号化部２２０は、前述の所定符号化方法を利用して、ピクチャ２２００を分割する複数個の符号化単位を決定することができる。ただし、ピクチャに含まれた類似のサンプル値を有する部分２２０１が存在するにもかかわらず、類似領域を１つの符号化単位ではない複数個の符号化単位に分割する過程が遂行される場合があり得る。その場合、符号化部２２０は、所定符号化方法を介して符号化単位が決定されても、かような符号化単位を、１つの符号化単位２２０２に併合し、１つの符号化単位として符号化することができる。図２２を参照すれば、他の実施形態として、符号化部２２０は、前述の所定符号化方法を利用し、小さいオブジェクト２２２１の符号化のための符号化単位２２２２を、４個の符号化単位に分割することができる。かように分割された符号化単位の場合、検出された大きいオブジェクト２２２３がいずれも含まれないので、符号化部２２０は、類似のサンプル値を有する部分を含む１つの符号化単位に符号化単位を併合（２２２５）することができる。
【０２３８】
一実施形態によって、符号化部２２０は、符号化単位の分割情報を利用して、符号化単位を分割しないか、あるいは４個の符号化単位に分割する所定符号化方法を利用して、符号化単位を決定した後、ピクチャに含まれるサンプルのサンプル値を考慮し、符号化単位をさらに分割することができる。すなわち、符号化部１２０は、オブジェクト別に符号化単位を決定するために、符号化単位間の併合だけではなく、すでに決定された符号化単位を分割することができる。図２２を参照すれば、符号化部１２０は、オブジェクト２２２３のために符号化単位を併合することができ、オブジェクト２２２３のために最適化された符号化単位を決定するために、オブジェクト２２２３のために併合された符号化単位をさらに分割（２２２６）することができる。すなわち、符号化部２２０は、分割（２２２６）過程を介して、オブジェクト２２２３が含まれない部分をオブジェクト２２２３とは別個の符号化単位２２２７と決定することができる。
【０２３９】
一実施形態によるブロック形態情報及びブロック分割情報により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される過程は、図１３を介して説明した通りである。一実施形態によるフィルタリング単位のループフィルタリング遂行情報は、フラグ値が１である場合、当該フィルタリング単位に対してループフィルタリングが行われることを示し、０である場合、ループフィルタリングが行われないことを示す。表１を参照すれば、ループフィルタリング部２０４０，２０７０によってフィルタリング対象になるフィルタリング単位を決定するためのデータ単位の情報は、フィルタ情報としていずれも符号化されて伝送される。
【０２４０】
一実施形態によって、構成された符号化単位は、原本映像との誤差を最小化させる形態に構成された符号化単位であるので、符号化単位内において、空間的相関度が高いと予想される。従って、一実施形態による符号化単位に基づいて、フィルタリング単位が決定されることにより、符号化単位の決定と別途に、フィルタリング単位を決定する動作が省略されもする。また、それにより、一実施形態による符号化単位に基づいて、フィルタリング単位を決定することにより、フィルタリング単位の分割形態を決定するための情報を省略することができるので、フィルタ情報の伝送ビットレートを節約することができる。
【０２４１】
前述の実施形態においては、フィルタリング単位が一実施形態による符号化単位に基づいて決定されると説明したが、符号化単位に基づいて、フィルタリング単位の分割を行っていて、任意の深度でそれ以上分割せず、当該深度までだけフィルタリング単位の形態が決定されもする。
【０２４２】
前述の実施形態に開示されたフィルタリング単位の決定は、ループフィルタリングだけでなく、デブロッキングフィルタリング、適応的ループフィルタリングなど多様な実施形態にも適用される。
【０２４３】
一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用し、現在符号化単位を分割することができ、該ブロック形態情報は、正方形状のみを利用するとあらかじめ決定され、分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されることを示すことができると、あらかじめ決定される。すなわち、現在符号化単位は、前記ブロック形態情報によれば、該符号化単位は、常時正方形状を有し、前記分割形態情報に基づいて分割されないか、あるいは４個の正方形状の符号化単位にも分割される。映像復号装置１００は、かようなブロック形態及び分割形態のみを利用するとあらかじめ決定された所定符号化方法を利用して生成されたビットストリームを、ビットストリーム獲得部１２０を介して獲得することができ、復号部１３０は、あらかじめ決定されたブロック形態及び分割形態のみを利用することができる。かような場合、映像復号装置１００は、前述の所定符号化方法と類似した所定復号方法を利用することにより、所定符号化方法との互換性問題を解決することができる。一実施形態によって、映像復号装置１００は、ブロック形態情報及び分割形態情報が示すことができる多様な形態のうち、あらかじめ決定されたブロック形態及び分割形態のみを利用する前述の所定復号方法を利用する場合、ブロック形態情報は、正方形状のみを示すことになるので、映像復号装置１００は、ビットストリームから、ブロック形態情報を獲得する過程を省略することができる。前述の所定復号方法を利用するか否かということを示すシンタックスが利用され、かようなシンタックスは、シーケンス、ピクチャ、スライス単位、最大符号化単位など複数個の符号化単位を含む多様な形態のデータ単位ごとに、ビットストリームから獲得されることができる。すなわち、ビットストリーム獲得部１２０は、所定復号方法の使用いかんを示すシンタックスに基づいて、ブロック形態情報を示すシンタックスをビットストリームから獲得するか否かということを決定することができる。
【０２４４】
図２３は、一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する。
【０２４５】
一実施形態による映像復号装置１００は、上位データ単位に含まれた下位データ単位をＺスキャン順序によってスキャンすることができる。また、一実施形態による映像復号装置１００は、最大符号化単位またはプロセッシングブロックに含まれる符号化単位内のＺスキャンインデックスによって、データに順次にアクセスすることができる。
【０２４６】
一実施形態による映像復号装置１００が、基準符号化単位を少なくとも１つの符号化単位に分割することができるということは、図３及び図４を参照して説明した通りである。このとき、基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在する。一実施形態による映像復号装置１００は、基準符号化単位内の各符号化単位に含まれたＺスキャンインデックスによって、データアクセスを行うことができる。このとき、基準符号化単位内に、非正方形状の符号化単位が存在するか否かということにより、Ｚスキャンインデックスを適用する方式が異なりうる。
【０２４７】
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が存在しない場合、基準符号化単位内の下位深度の符号化単位同士は、連続したＺスキャンインデックスを有することができる。例えば、一実施形態によって、上位深度の符号化単位は、下位深度の符号化単位４個を含んでもよい。ここで、４個の下位深度の符号化単位は、互いに隣接する境界が連続的なものであり、それぞれの下位深度の符号化単位は、Ｚスキャン順序を示すインデックスによって、Ｚスキャン順序にスキャンされる。一実施形態によるＺスキャン順序を示すインデックスは、各符号化単位に対して、Ｚスキャン順序によって増加する数に設定される。その場合、同一深度の深度別符号化単位同士、Ｚスキャン順序によってスキャンが可能である。
【０２４８】
一実施形態により、基準符号化単位内に、非正方形状の符号化単位が少なくとも１以上存在する場合、映像復号装置１００は、基準符号化単位内の符号化単位をそれぞれサブブロックに分割し、分割されたサブブロックに対して、Ｚスキャン順序によるスキャンを行うことができる。例えば、基準符号化単位内に、垂直方向または水平方向の非正方形状の符号化単位が存在する場合、分割されたサブブロックを利用して、Ｚスキャンを行うことができる。また、例えば、基準符号化単位内において、奇数個の符号化単位に分割が行われた場合、サブブロックを利用して、Ｚスキャンを行うことができる。該サブブロックは、それ以上分割されない符号化単位、または任意の符号化単位が分割されたものであり、正方形状でもある。例えば、正方形状の符号化単位から、４個の正方形状のサブブロックが分割される。また、例えば、非正方形状の符号化単位からは、２個の正方形状のサブブロックが分割される。
【０２４９】
図２３を参照し、例えば、一実施形態による映像復号装置１００は、符号化単位２３００内において、下位深度の符号化単位２３０２，２３０４，２３０６，２３０８，２３１０をＺスキャン順序によってスキャンすることができる。符号化単位２３００及び符号化単位２３０２，２３０４，２３０６，２３０８，２３１０は、それぞれ相対的に上位符号化単位及び下位符号化単位である。符号化単位２３００は、水平方向の非正方形状の符号化単位２３０６，２３１０を含む。それら非正方形状の符号化単位２３０６，２３１０は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。また、符号化単位２３０８は、正方形状であり、非正方形状の符号化単位が奇数個であり、分割時、中間に位置した符号化単位である。非正方形状の符号化単位２３０６，２３１０と同様に、符号化単位２３０８は、隣接した正方形状の符号化単位２３０２，２３０４との境界が不連続的である。符号化単位２３００内に、非正方形状の符号化単位２３０６，２３１０が含まれるか、あるいは非正方形状の符号化単位が、奇数個であり、分割時、中間に位置した符号化単位２３０８が含まれた場合、符号化単位間に隣接する境界が不連続的であるために、連続的なＺスキャンインデックスが設定されることがない。従って、映像復号装置１００は、符号化単位をサブブロックに分割することにより、Ｚスキャンインデックスを連続的に設定することができる。また、映像復号装置１００は、非正方形状の符号化単位２３０６，２３１０、または奇数個に分割された非正方形状の符号化単位の中間に位置した符号化単位２３０８に対して連続したＺスキャンを行うことができる。
【０２５０】
図２３に図示された符号化単位２３２０は、符号化単位２３００内の符号化単位２３０２，２３０４，２３０６，２３０８，２３１０をサブブロックに分割したものである。サブブロックそれぞれに対してＺスキャンインデックスが設定され、サブブロック間の隣接する境界は、連続的であるので、サブブロック同士Ｚスキャン順序によってスキャンが可能である。例えば、一実施形態による復号装置において、符号化単位２３０８は、サブブロック２３２２，２３２４，２３２６，２３２８にも分割される。このとき、サブブロック２３２２，２３２４は、サブブロック２３３０に対するデータ処理後にスキャンされ、サブブロック２３２６，２３２８は、サブブロック２３３２に対するデータ処理後にスキャンされることができる。また、それぞれのサブブロック同士Ｚスキャン順序によってスキャンされる。
【０２５１】
前述の実施形態において、データ単位に対して、Ｚスキャン順序によってスキャンすることは、データ保存、データローディング、データアクセスなどのためのものでもある。
【０２５２】
また、前述の実施形態では、データ単位をＺスキャン順序によってスキャンすることができることについて説明したが、データ単位のスキャン順序は、ラスタースキャン、Ｎスキャン、右上向き対角スキャン、水平的スキャン、垂直的スキャンなど多様なスキャン順序によって遂行され、Ｚスキャン順序に限定して解釈されるものではない。
【０２５３】
また、前述の実施形態では、基準符号化単位内の符号化単位に対してスキャンを行うと説明したが、それに限定して解釈されるものではなく、スキャン遂行の対象は、最大符号化単位、またはプロセッシングブロック内の任意のブロックでもある。
【０２５４】
また、前述の実施形態では、非正方形状のブロックが、少なくとも１以上存在する場合にのみサブブロックに分割し、Ｚスキャン順序によるスキャンを行うと説明したが、単純化された具現のために、非正方形状のブロックが存在しない場合にも、サブブロックを分割し、Ｚスキャン順序によるスキャンを行うこともできる。
【０２５５】
一実施形態による映像復号装置１００は、符号化単位に対するインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を復元することができる。
【０２５６】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測モードが選択される。
【０２５７】
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ形態または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個にも行われる。また、一実施形態による２ＮｘＮ形態またはＮｘ２Ｎ形態の符号化単位については、スキップモードが適用されもする。
【０２５８】
一方、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位のスキップモードで、双方向予測（ｂｉ−ｐｒｅｄｉｃｔｉｏｎ）の遂行が許容されもする。スキップモードでは、符号化単位に対してスキップモード情報のみを伝送されるために、当該符号化単位に対するレジデュアルデータの利用が省略される。従って、その場合、逆量子化及び逆変換に対するオーバーヘッド（ｏｖｅｒｈｅａｄ）を節約することができる。その代わり、一実施形態による映像復号装置１００は、スキップモードが適用される符号化単位に対して、双方向予測を許容して復号効率を高めることができる。また、一実施形態による映像復号装置１００は、８ｘ４形態または４ｘ８形態の符号化単位に対して、双方向予測を許容するが、動き補償段階において、補間タップ（ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｔａｐ）数を相対的に少なく設定し、メモリ帯域幅を効率的に使用することができる。一例として、８タップの補間フィルタを使用する代わりに、８未満のタップ数の補間フィルタ（例えば、２タップ補間フィルタ）を使用することもできる。
【０２５９】
また、一実施形態による映像復号装置１００は、現在符号化単位に含まれた領域を、すでに設定された形態に分割（例えば、斜線基盤分割）し、分割された各領域に係わるイントラ予測情報またはインター予測情報をシグナリングすることもできる。
【０２６０】
一実施形態による映像復号装置１００は、イントラモードを利用し、現在符号化単位の予測サンプルを、現在符号化単位の周辺サンプルを利用して獲得することができる。このとき、該イントラ予測は、周辺のすでに再構成されたサンプルを使用して予測を行うが、かようなサンプルを参照サンプルという。
【０２６１】
図２４は、一実施形態による符号化単位のイントラ予測のための参照サンプルを示す図面である。図２４を参照すれば、ブロック形態が非四角型形態であり、水平方向の長さがｗ、垂直方向の長さがｈである現在符号化単位２３００に対して、上端の参照サンプル２３０２が、ｗ＋ｈ個、左側の参照サンプル２３０４が、ｗ＋ｈ個、左側上端の参照サンプル２３０６が、１であり、総２（ｗ＋ｈ）＋１個の参照サンプルが必要である。参照サンプル準備のために、参照サンプルが存在しない部分に対してパディングを行う段階を経て、再構成された参照サンプルに含まれた量子化エラーを減らすための予測モード別参照サンプルフィルタリング過程を経ることもできる。
【０２６２】
前述の実施形態では、現在符号化単位のブロック形態が非四角型形態である場合の参照サンプルの個数について説明したが、かような参照サンプルの個数は、現在符号化単位が四角形状のブロック形態の場合にも、同一に適用される。
【０２６３】
前述の多様な実施形態は、映像復号装置１００が遂行する映像復号方法に係わる動作について説明したものである。以下では、かような映像復号方法に対して逆順の過程に該当する映像符号化方法を遂行する映像符号化装置２００の動作について、多様な実施形態を介して説明する。
【０２６４】
図２は、一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、映像を符号化することができる映像符号化装置のブロック図を図示する。
【０２６５】
図２を参照すれば、映像符号化装置２００は、一実施形態によって、ビデオピクチャから、イントラ予測のためのデータ単位を決定するデータ単位決定部２１０、所定予測情報を利用して、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成し、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成し、第１予測値及び第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成してビデオピクチャを符号化するビットストリーム生成部２３０、及び符号化部２２０を含んでもよい。ここで、イントラ予測類型情報は、データ単位が、第１イントラ予測類型または第２イントラ予測類型のうち少なくとも１つの類型によって予測されるということを示す情報であり、第１イントラ予測類型は、周辺データ単位のサンプル値ではない他の情報を利用してデータ単位を予測するものでもあり、第２イントラ予測類型は、周辺データ単位のサンプル値を利用してデータ単位を予測するものでもある。
【０２６６】
一実施形態によって、映像符号化装置のデータ単位決定部２１０は、データ単位が、第１イントラ予測類型または第２イントラ予測類型のうちいずれの類型によって予測されるかということを決定することができる。一方、例えば、データ単位は、コーディングユニット（ｃｏｄｉｎｇ  ｕｎｉｔ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ  ｕｎｉｔ）または変換ユニット（ｔｒａｎｓｆｏｒｍ  ｕｎｉｔ）のうち一つでもある。
【０２６７】
一実施形態によって、映像符号化装置２００の符号化部２２０は、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成し、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成することができる。また、符号化部２２０は、第１予測値及び第２予測値を利用して、符号化情報を生成することができる。例えば、第１イントラ予測類型による予測は、周辺データ単位ではない他の情報を利用して、イントラ予測を行うものでもある。例えば、第２イントラ予測類型による予測は、周辺データ単位を利用してイントラ予測を行うものでもある。
【０２６８】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２３０は、第１予測値及び第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成することができる。また、ビットストリーム生成部２３０は、第１データ単位を、第１イントラ予測類型によって予測するか、あるいは第２イントラ予測類型によって予測するかということを示すイントラ予測類型情報をビットストリームに含めることができる。
【０２６９】
図３は、一実施形態によって、第１イントラ予測類型によって予測される第１データ単位、及び第２イントラ予測類型によって予測される第２データ単位を決定する過程を図示する。
【０２７０】
一実施形態によって、データ単位決定部２１０は、第１イントラ予測類型によって予測される第１データ単位３１０、及び第２イントラ予測類型によって予測される第２データ単位３２０を決定することができる。すなわち、予測されるデータ単位が、周辺データ単位を利用して予測されるか、あるいは周辺データ単位に係わる情報ではない他の情報を利用して予測されるかということが決定される。
【０２７１】
一実施形態により、符号化部２２０は、周辺データ単位に係わる情報ではない他の情報を利用して、データ単位の予測値を生成することができる。例えば、符号化部２２０は、あらかじめ保存されている値を利用して、データ単位の予測値を生成することができる。例えば、あらかじめ保存されている値は、ＲＤＯ結果によって決定される。
【０２７２】
図３に係わって説明した映像復号装置１００の動作と反対になる過程でもあるので、詳細な説明は省略する。
【０２７３】
図４は、一実施形態によって、所定予測情報に基づいた第１イントラ予測類型によって、第１データ単位を予測する過程を図示する。
【０２７４】
一実施形態によって、符号化部２２０は、第１イントラ予測類型によって予測される第１データ単位４２０は、周辺データ単位に係わる情報ではない他の情報を利用しても予測される。例えば、第１データ単位４２０は、第１データ単位４２０が含まれた上位階層のデータ単位に隣接するサンプル値４１０を利用しても予測される。第１データ単位４２０が含まれた上位階層のデータ単位に隣接するサンプル値４１０は、ＣＴＵ境界の周辺ピクセルに係わる情報、またはＣＵ境界の周辺ピクセルに係わる情報を含んでもよい。ＣＴＵ境界の周辺ピクセルに係わる情報を利用して予測を行う場合、予測対象単位は、ＣＵ、ＰＵ、ＴＵまたはＣＴＵでもある。ＣＵ境界の周辺ピクセルに係わる情報利用して予測を行う場合、予測対象単位は、ＰＵ、ＴＵまたはＣＵでもある。
【０２７５】
図５は、一実施形態によって、隣接するデータ単位を利用して予測する第２イントラ予測類型によって、第２データ単位を予測する過程を図示する。
【０２７６】
一実施形態によって、符号化部２２０は、データ単位に隣接するデータ単位を利用して、第２イントラ予測類型によって予測を行うことができる。例えば、データ単位５１０に対する予測を行う場合、データ単位５１０の下端に隣接する第１イントラ予測類型によって、まず符号化されたデータ単位５３０に係わる情報５１１を利用することができる。例えば、データ単位５２０に対する予測を行う場合、データ単位５２０の右側に隣接する第１イントラ予測類型によって、あらかじめ符号化されたデータ単位５３０に係わる情報５２１を利用することができる。
【０２７７】
一実施形態によって、符号化部２２０は、データ単位５１０内の予測されるピクセルの位置により、左側または上端の距離が近い場合、左側及び上端のサンプル値を利用して予測を行う。または、一実施形態によって、符号化部２２０は、データ単位５１０内の予測されるピクセルの位置により、右側または下端の距離が近い場合、右側及び下端のサンプル値を利用して予測を行う。
【０２７８】
図６に係わって説明した映像復号装置１００の動作と反対になる過程でもあるので、詳細な説明は省略する。
【０２７９】
図７は、一実施形態によって、データ単位に対して、第１イントラ予測類型及び第２イントラ予測類型が決定される過程を図示する。
【０２８０】
一実施形態より、ビットストリーム生成部２３０は、それぞれのＣＵ、ＰＵまたはＴＵに対して、第１イントラ予測類型によって予測値を生成するか、あるいは第２イントラ予測類型によって予測値を生成するかということを示すイントラ予測類型情報をビットストリームに含めることができる。
【０２８１】
一実施形態によって、ビットストリーム生成部２３０は、Ｉｎｔｒａ＿ＤＣモードについては、第１イントラ予測類型によって予測を行い、Ｉｎｔｒａ＿ＤＣモード以外に他のモードについては、第２イントラ予測類型によって予測を行うように示すイントラ予測類型情報をビットストリームに含めることができる。
【０２８２】
一実施形態によって、ビットストリーム生成部２３０は、データ単位を、第１データ単位または第２データ単位のうちいずれか一つに分類するかということを示すイントラ予測類型情報をビットストリームに含めることができる。
【０２８３】
図９は、一実施形態によって、イントラ予測類型情報を利用したビデオ符号化方法のフローチャートを図示する。
【０２８４】
段階Ｓ９１０において、映像符号化装置２００のデータ単位の決定部２１０は、第１イントラ予測類型によって予測される第１データ単位、または第２イントラ予測類型によって予測される第２データ単位を決定することができる。例えば、第１イントラ予測類型は、データ単位に隣接するデータ単位のサンプル値ではない他の情報を利用して、データ単位に対する予測を行うものでもある。例えば、第２イントラ予測類型は、データ単位に隣接するデータ単位のサンプル値を利用して、データ単位に対する予測を行うものでもある。
【０２８５】
段階Ｓ９２０において、映像符号化装置２００の符号化部２２０は、第１イントラ予測類型による第１データ単位に係わる第１予測値を生成するものでもある。
【０２８６】
段階Ｓ９３０において、映像符号化装置２００の符号化部２２０は、第２イントラ予測類型による第２データ単位に係わる第２予測値を生成するものでもある。
【０２８７】
段階Ｓ９４０において、映像符号化装置２００のビットストリーム生成部２３０は、第１予測値及び第２予測値のうち少なくとも一つに基づいて決定される符号化情報を含むビットストリームを生成することができる。符号化部２２０は、ビットストリームが生成されたビデオピクチャを符号化することができる。
【０２８８】
図１０は、一実施形態によって、映像符号化装置２００が、第１符号化単位１０００が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する。
【０２８９】
一実施形態によって、符号化部２２０が、正方形状の第１符号化単位１０００を非正方形状の第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂに分割すると決定することができる。第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂは、独立しても分割される。それにより、符号化部２２０は、第２符号化単位１０１０ａ，１０１０ｂ，１０２０ａ，１０２０ｂそれぞれを複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。図１０に係わる映像符号化装置２００が、非正方形状の第２符号化単位が所定条件を満足するとき、分割される形態の制限する動作は、図１０に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２９０】
図１１は、一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、映像符号化装置２００が、正方形状の符号化単位を分割する過程を図示する。それと係わる映像符号化装置２００の動作は、図１１に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２９１】
図１２は、一実施形態によって、複数個の符号化単位間の処理順序が符号化単位の分割過程によって異なりうることを図示したものである。
【０２９２】
一実施形態によって、符号化部２２０は、正方形状の第１符号化単位１２００を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができる。一実施形態によって、ビットストリーム生成部２３０は、第１符号化単位１２００が正方形状であるということを示すブロック形態情報、並びに第１符号化単位１２００が水平方向及び垂直方向のうち少なくとも１つの方向に分割されることを示す分割形態情報を含むビットストリームを生成することができる。
【０２９３】
一実施形態によって、符号化部２２０は、第１符号化単位１２００を分割し、例えば、第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂ，１２３０ａ，１２３０ｂ，１２３０ｃ，１２３０ｄなどを決定することができる。図１２を参照すれば、第１符号化単位１２００が、水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１２１０ａ，１２１０ｂ，１２２０ａ，１２２０ｂは、独立しても分割される。例えば、符号化部２２０は、第１符号化単位１２００が、垂直方向に分割されて生成された第２符号化単位１２１０ａ，１２１０ｂを水平方向にそれぞれ分割し、第３符号化単位１２１６ａ，１２１６ｂ，１２１６ｃ，１２１６ｄを決定することができ、第１符号化単位１２００が水平方向に分割されて生成された第２符号化単位１２２０ａ，１２２０ｂを、水平方向にそれぞれ分割し、第３符号化単位１２２６ａ，１２２６ｂ，１２２６ｃ，１２２６ｄを決定することができる。図１０に係わる映像符号化装置２００の動作は、図１０に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２９４】
図１３は、一実施形態によって、符号化単位が再帰的に分割されて複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する。映像符号化装置２００の符号化部２２０が、符号化単位の深度を決定する過程は、図１３に係わって説明した映像復号装置１００の復号部１３０が符号化単位の深度を決定する過程と反対になるものでもあるので、詳細な説明は省略する。
【０２９５】
一実施形態によって、映像符号化装置２００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックスの値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図１４を参照すれば、映像符号化装置２００は、高さが幅より大きい長方形状の第１符号化単位１４１０を分割し、偶数個の符号化単位１４１２ａ，１４１２ｂを決定するか、あるいは奇数個の符号化単位１４１４ａ，１４１４ｂ，１４１４ｃを決定することができる。映像符号化装置２００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態によって、該ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）で獲得される。図１４に係わる映像符号化装置２００の動作は、図１４に係わって説明した映像復号装置１００の動作と反対になるものでもあるので、詳細な説明は省略する。
【０２９６】
図１５は、一実施形態によって、ピクチャに含まれる複数個の所定データ単位によって、複数個の符号化単位が決定されたところを図示する。一実施形態によって、符号化部２２０は、符号化単位の再帰的な分割が始まる所定データ単位として、前述の基準符号化単位を利用することができる。図１５に係わって、映像符号化装置２００が基準符号化単位を利用する動作は、図１５に係わって説明した映像復号装置１００が、基準符号化単位を利用する動作と反対になるものでもあるので、詳細な説明は省略する。
【０２９７】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２３０は、基準符号化単位の形態に係わる情報、及び基準符号化単位の大きさに係わる情報のうち少なくとも一つを含むビットストリームを、前記多様なデータ単位ごとに生成することができる。正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位が決定される過程は、図３の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位１５００に含まれる少なくとも１つの符号化単位の決定される過程は、図４の現在符号化単位４００または４５０が分割される過程を介して説明したので、詳細な説明は省略する。
【０２９８】
一実施形態によって、符号化部２２０は、所定条件に基づいて、あらかじめ決定される一部データ単位によって、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、ビットストリーム生成部２３０は、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位ごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスを含むビットストリームを生成することができる。符号化部２２０は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。一実施形態によって、基準符号化単位の大きさ及び形態を示すインデックスに係わる基準符号化単位の大きさ及び形態のうち少なくとも一つは、あらかじめ決定されている。すなわち、符号化部２２０は、あらかじめ決定された基準符号化単位の大きさ及び形態のうち少なくとも一つを、インデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。該基準符号化単位の大きさ及び形態を識別するためのインデックスを利用する符号化部２２０の動作は、前述の復号部１３０の動作と類似したのでもあるので、詳細な説明は省略する。
【０２９９】
図１６は、一実施形態によって、ピクチャ１６００に含まれる基準符号化単位の決定順序を決定する基準になるプロセッシングブロックを図示する。
【０３００】
一実施形態によって、符号化部２２０は、プロセッシングブロックの大きさに係わる情報を獲得し、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができる。符号化部２２０は、映像に含まれる少なくとも１つのプロセッシングブロックの大きさを決定することができ、ビットストリーム生成部２３０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。かようなプロセッシングブロックの大きさは、プロセッシングブロックの大きさに係わる情報が示すデータ単位の所定サイズでもある。
【０３０１】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２３０は、プロセッシングブロックの大きさに係わる情報を含むビットストリームを、特定のデータ単位ごとに生成することができる。例えば、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができる。すなわち、ビットストリーム生成部２３０は、前記多くのデータ単位ごとに、プロセッシングブロックの大きさに係わる情報を含むビットストリームを生成することができ、符号化部２２０は、前記プロセッシングブロックの大きさに係わる情報を利用してピクチャを分割する少なくとも１つのプロセッシングブロックの大きさを決定することができ、かようなプロセッシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【０３０２】
一実施形態によって、符号化部２２０は、ピクチャ１６００に含まれるプロセッシングブロック１６０２，１６１２の大きさを決定することができる。例えば、符号化部２２０は、プロセッシングブロックの大きさに係わる情報に基づいて、プロセッシングブロックの大きさを決定することができる。図１６を参照すれば、符号化部２２０は、一実施形態によって、プロセッシングブロック１６０２，１６１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。符号化部２２０は、少なくとも１つのプロセッシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。プロセッシングブロックに係わる符号化部２２０の動作は、図１６に係わって説明した復号部１３０の動作と類似したのでもあるので、詳細な説明は省略する。
【０３０３】
一実施形態によって、映像符号化装置２００のビットストリーム生成部２３０は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を含むビットストリームを生成することができる。該ブロック形態情報または該分割形態情報は、多様なデータ単位に係わるビットストリームに含まれもする。例えば、映像符号化装置２００のビットストリーム生成部２３０は、シーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ビデオパラメータセット（ｖｉｄｅｏ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、スライスヘッダ（ｓｌｉｃｅ  ｈｅａｄｅｒ）、スライスセグメントヘッダ（ｓｌｉｃｅ  ｓｅｇｍｅｎｔ  ｈｅａｄｅｒ）に含まれたブロック形態情報または分割形態情報を利用することができる。さらに、映像符号化装置２００のビットストリーム生成部２３０は、ブロック形態情報または分割形態情報を示すシンタックスを含むビットストリームを、最大符号化単位、基準符号化単位、プロセッシングブロックごとに生成することができる。
【０３０４】
一実施形態によって、符号化部２２０は、符号化単位が分割される分割形態の種類を所定データ単位ごとに異なるように決定することができる。映像符号化装置２００の符号化部２２０は、一実施形態によって、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに符号化単位が分割される形態の組み合わせを、異なるように決定することができる。
【０３０５】
図１７は、一実施形態によって、符号化単位が分割される形態の組み合わせが、ピクチャごとに互いに異なる場合、それぞれのピクチャごとに決定される符号化単位を図示する。
【０３０６】
図１７を参照すれば、符号化部２２０は、ピクチャごとに符号化単位が分割される分割形態の組み合わせを、異なるように決定することができる。例えば、符号化部２２０は、映像に含まれる少なくとも１つのピクチャのうち４個の符号化単位にも分割されるピクチャ１７００、２個または４個の符号化単位にも分割されるピクチャ１７１０、及び２個、３個または４個の符号化単位にも分割されるピクチャ１７２０を利用して、映像を復号することができる。符号化部２２０は、ピクチャ１７００を、４個の正方形の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７１０を、２個または４個の符号化単位に分割することができる。符号化部２２０は、ピクチャ１７２０を、２個、３個または４個の符号化単位に分割することができる。前述の分割形態の組み合わせは、映像符号化装置２００の動作について説明するための実施形態に過ぎないので、前述の分割形態の組み合わせは、前記実施形態に限定して解釈されるものではなく、所定データ単位ごとに多様な形態の分割形態の組み合わせが利用されると解釈されなければならない。
【０３０７】
一実施形態によって、映像符号化装置２００の符号化部２２０は、分割形態情報の組み合わせを示すインデックスを利用して、所定データ単位ごとに符号化単位が分割される分割形態の組み合わせを決定することができ、それにより、所定データ単位ごとに互いに異なる分割形態の組み合わせを利用することができる。さらには、映像符号化装置２００のビットストリーム生成部２３０は、分割形態情報の組み合わせを示すインデックスを含むビットストリームを、所定データ単位（例えば、シーケンス、ピクチャ、スライスなど）ごとに生成することができる。例えば、ビットストリーム生成部２３０は、分割形態情報の組み合わせを示すインデックスを含むシーケンスパラメータセット（ｓｅｑｕｅｎｃｅ  ｐａｒａｍｅｔｅｒ  ｓｅｔ）、ピクチャパラメータセット（ｐｉｃｔｕｒｅ  ｐａｒａｍｅｔｅ  ｒｓｅｔ）またはスライスヘッダを生成することができる。
【０３０８】
図１８、図１９は、一実施形態によって、バイナリー（ｂｉｎａｒｙ）コードで表現される分割形態情報に基づいて決定される符号化単位の多様な形態を図示する。
【０３０９】
一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位を、多様な形態に分割することができ、ビットストリーム生成部２３０を介して、ブロック形態情報及び分割形態情報を含むビットストリームを生成することができる。分割される符号化単位の形態は、前述の実施形態を介して説明した形態を含む多様な形態に該当する。図１８を参照すれば、符号化部２２０は、分割形態情報に基づいて、正方形状の符号化単位を、水平方向及び垂直方向のうち少なくとも１つの方向に分割することができ、非正方形状の符号化単位を、水平方向または垂直方向に分割することができる。映像符号化装置２００が利用することができる分割形態情報のバイナリーコードに係わる特徴は、図１８及び図１９を介して説明した映像復号装置１００の特徴に該当するので、詳細な説明は省略する。
【０３１０】
一実施形態による映像符号化装置２００は、符号化単位に対するインター予測またはイントラ予測を行って予測データを生成し、現在符号化単位に含まれた変換単位に対して逆変換を行ってレジデュアルデータを生成し、生成された予測データとレジデュアルデータとを利用し、現在符号化単位を符号化することができる。
【０３１１】
一実施形態による符号化単位の予測モードは、イントラモード、インターモード及びスキップモードのうち少なくとも一つでもある。一実施形態により、符号化単位ごとに独立して予測が行われ、誤差が最も小さい予測モードが選択される。
【０３１２】
一実施形態による２Ｎｘ２Ｎ形態の符号化単位が分割され、２つの２ＮｘＮ形態、または２つのＮｘ２Ｎ形態の符号化単位に分割された場合、それらそれぞれの符号化単位に対して、インターモード予測及びイントラモード予測が別個にも行われる。また、一実施形態によって、映像符号化装置２００の符号化部２２０は、符号化単位が正方形状である場合だけではなく、非正方形状である場合にも、ＣＵスキップモード（ｓｋｉｐ  ｍｏｄｅ）を利用して符号化単位を符号化することができる。ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて決定される正方形状の符号化単位だけではなく、非正方形状の符号化単位の場合にも、ＣＵスキップモードを利用して映像を復号することができることにより、相対的にさらに適応的なスキップモードの利用が可能になることにより、映像の符号化／復号効率が向上する。かような非正方形状の符号化単位において、スキップモードを利用する映像符号化装置２００の特徴は、映像符号化装置２００のスキップモード利用に係わって説明した特徴と類似したのでもあるので、詳細な説明は省略する。
【０３１３】
図２２は、一実施形態によって、所定符号化方法によって決定された符号化単位間の併合（ｍｅｒｇｅ）または分割（ｓｐｌｉｔ）が行われる過程を図示する。
【０３１４】
一実施形態によって、映像符号化装置２００は、前述の所定符号化方法を利用し、ピクチャを分割する符号化単位を決定することができる。例えば、映像符号化装置２００は、符号化単位の分割情報に基づいて、現在深度の符号化単位を決定するか、あるいは下位深度の４個の符号化単位に分割することができる。前述のように、映像符号化装置２００は、一実施形態によって、現在符号化単位は、常時正方形状を有することを示すブロック形態情報、現在符号化単位は、分割されないことを示すか、あるいは４個の正方形状の符号化単位に分割されることを示すことができる分割形態情報を利用して、符号化単位を決定することができる。図２２を参照すれば、前述の所定符号化方法によって決定された正方形の符号化単位によって、ピクチャ２２００，２２２０が分割される。
【０３１５】
ただし、前述の所定復号単位による場合、現在符号化単位が分割されるか否かということは、現在符号化単位内に含まれる相対的に小さいオブジェクト（ｏｂｊｅｃｔ）が表現されるのに適するか否かということによって決定されるために、ピクチャ内の大きいオブジェクトと小さいオブジェクトとが１つの符号化単位を介して符号化されることは不可能なことがある。ここで、オブジェクトとは、ピクチャに含まれたサンプルの集合であり、類似のサンプル値を有することにより、他の領域と区分されるサンプルの領域を意味する。図２２を参照すれば、映像符号化装置２００は、小さいオブジェクト２２２１を復元するために、第１符号化単位２２２２を４個の下位深度の符号化単位に分割することにより、小さいオブジェクト２２２１の復号のための符号化単位を決定することができる。しかし、大きいオブジェクト２２２３が、現在符号化単位２２２２に含まれないので、大きいオブジェクト２２２３が、現在符号化単位２２２２を利用して復号されるには適さず、さらには、小さいオブジェクト２２２１を復号するために、現在符号化単位２２２２が分割されたために、結局、大きいオブジェクト２２２３の復号のために、不要な符号化単位の分割過程が遂行されなければならないので、非効率的である。すなわち、映像符号化装置２００、が大きいオブジェクト２２２３に対する部分を符号化するために、１つの符号化単位を利用することができるならば、映像符号化を効率的に遂行することができる。
【０３１６】
一実施形態によって、映像符号化装置２００の符号化部２２０は、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、現在符号化単位を分割することができ、該ブロック形態情報は、正方形状のみを利用するとあらかじめ決定され、該分割形態情報は、分割しないか、あるいは４個の正方形状の符号化単位に分割されることを示すことができるとあらかじめ決定される。それは、多様な実施形態を介して説明した所定符号化方法で利用される符号化単位決定過程に該当する。その場合、符号化部２２０は、前記所定符号化方法を利用して決定された符号化単位を互いに併合（ｍｅｒｇｅ）するか、あるいは決定された符号化単位を分割（ｓｐｌｉｔ）するために、ピクチャに含まれるサンプル値を利用することができる。例えば、符号化部２２０は、類似のサンプル値を有する部分を検討し、ピクチャに含まれる多様なオブジェクトを検出することができ、かように検出されたオブジェクトに係わる部分に基づいて、符号化単位の併合／分割過程を遂行することができる。
【０３１７】
図２２を参照すれば、一実施形態によって、符号化部２２０は、前述の所定符号化方法を利用して、ピクチャ２２００を分割する複数個の符号化単位を決定することができる。ただし、該ピクチャに含まれた類似のサンプル値を有する部分２２０１が存在するにもかかわらず、類似領域を、１つの符号化単位ではない複数個の符号化単位に分割する過程が遂行される場合があり得る。その場合、符号化部２２０は、所定符号化方法を介して符号化単位が決定されても、かような符号化単位を、１つの符号化単位２２０２に併合し、１つの符号化単位として符号化することができる。図２２を参照すれば、他の実施形態として、符号化部２２０は、前述の所定符号化方法を利用し、小さいオブジェクト２２２１の符号化のための符号化単位２２２２を、４個の符号化単位に分割することができる。かように分割された符号化単位の場合、検出された大きいオブジェクト２２２３がいずれも含まれないので、符号化部２２０は、類似のサンプル値を有する部分を含む１つの符号化単位に符号化単位を併合（２２２５）することができる。
【０３１８】
一実施形態によって、符号化部２２０は、符号化単位の分割情報を利用して、符号化単位を分割しないか、あるいは４個の符号化単位に分割する所定符号化方法を利用して、符号化単位を決定した後、ピクチャに含まれるサンプルのサンプル値を考慮し、符号化単位をさらに分割することができる。すなわち、符号化部１３０は、オブジェクト別に符号化単位を決定するために、符号化単位間の併合だけではなく、すでに決定された符号化単位を分割することができる。図２２を参照すれば、符号化部１３０は、オブジェクト２２２３のために、符号化単位を併合することができ、オブジェクト２２２３のために最適化された符号化単位を決定するために、オブジェクト２２２３のために併合された符号化単位をさらに分割（２２２６）することができる。すなわち、符号化部２２０は、分割（２２２６）過程を介して、オブジェクト２２２３が含まれない部分を、オブジェクト２２２３とは別個の符号化単位（２２２７）として決定することができる。
【０３１９】
前述の映像符号化装置２００の動作を介して、所定符号化方法によって決定された符号化単位間の併合（ｍｅｒｇｅ）または分割（ｓｐｌｉｔ）を行った後、映像に係わるビットストリームを生成した場合、映像復号装置１００としては、かようなビットストリームを獲得した後、前述の映像符号化方法の逆順の動作に該当する映像復号方法を遂行することにより、映像を復号することができる。
【０３２０】
図２３は、一実施形態による符号化単位のＺスキャン順序によるインデックスを図示する。
【０３２１】
一実施形態による映像符号化装置２００の符号化部２２０は、上位データ単位に含まれた下位データ単位を、Ｚスキャン順序によってスキャンすることができる。また、一実施形態による映像符号化装置２００は、最大符号化単位内、またはプロセッシングブロックに含まれる符号化単位内のＺスキャンインデックスによって、データに順次にアクセスすることができる。一実施形態による映像符号化装置２００の符号化部２２０が、基準符号化単位を少なくとも１つの符号化単位に分割することができることは、図３及び図４を参照して説明した通りである。このとき、該基準符号化単位内には、正方形状の符号化単位と、非正方形状の符号化単位とが混在することができる。映像符号化装置２００が、符号化単位のＺスキャン順序によるインデックスに係わる特徴は、図２３を介して説明した映像復号装置１００の特徴と類似した特徴でもあるので、詳細な説明は省略する。
【０３２２】
以上、多様な実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が、本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にあすべての差異は、本発明に含まれたものであると解釈されなければならないのである。
【０３２３】
なお、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して、前記プログラムを動作させる汎用デジタルコンピュータで具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ  ｄｉｓｃ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）など）のような記録媒体を含む。
【図１】
2018535607.tif 000004
【図２】
2018535607.tif 000005
【図３】
2018535607.tif 000006
【図４】
2018535607.tif 000007
【図５】
2018535607.tif 000008
【図６】
2018535607.tif 000009
【図７】
2018535607.tif 000010
【図８】
2018535607.tif 000011
【図９】
2018535607.tif 000012
【図１０】
2018535607.tif 000013
【図１１】
2018535607.tif 000014
【図１２】
2018535607.tif 000015
【図１３】
2018535607.tif 000016
【図１４】
2018535607.tif 000017
【図１５】
2018535607.tif 000018
【図１６】
2018535607.tif 000019
【図１７】
2018535607.tif 000020
【図１８】
2018535607.tif 000021
【図１９】
2018535607.tif 000022
【図２０】
2018535607.tif 000023
【図２１】
2018535607.tif 000024
【図２２】
2018535607.tif 000025
【図２３】
2018535607.tif 000026
【図２４】
2018535607.tif 000027
【国際調査報告】
2018535607.tif 000028
2018535607.tif 000029
2018535607.tif 000030
2018535607.tif 000031
2018535607.tif 000032
2018535607.tif 000033
2018535607.tif 000034
2018535607.tif 000035