(57)【要約】  １つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割し、最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決定し、最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定し、最大符号化単位のツリー構造による符号化単位を基に、最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを行うためのフィルタリング単位を決定し、フィルタリング単位を基に、インループ・フィルタリングを行うための符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法である。
2013524676.tif 000002
【特許請求の範囲】
【請求項１】
１つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割する段階と、
前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する段階と、
前記最大符号化単位のツリー構造による符号化単位を基に、前記最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを行うためのフィルタリング単位を決定する段階と、
前記決定されたフィルタリング単位を基に、前記インループ・フィルタリングを遂行する段階と、を含むことを特徴とする符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法。
【請求項２】
前記フィルタリング単位決定段階は、
前記最大符号化単位のツリー構造による符号化単位、及びそれぞれの符号化深度の符号化単位の予測符号化のためのデータ単位であるパーティションを基に、前記フィルタリング単位を決定することを特徴とする請求項１に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法。
【請求項３】
前記フィルタリング単位決定段階は、
前記ツリー構造による符号化単位のうち少なくとも一つを分割または併合したデータ単位を、前記フィルタリング単位として決定する段階と、
前記ツリー構造による符号化単位を、前記フィルタリング単位の予測値として利用し、前記フィルタリング単位を決定する段階と、
前記ツリー構造による符号化単位に係わる深度別符号化単位階層のうちフィルタリング階層を決定し、前記フィルタリング階層までの階層的データ単位を、前記フィルタリング単位として決定する段階と、のうち少なくとも一つを含むことを特徴とする請求項２に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法。
【請求項４】
前記ビデオ符号化方法は、
前記インループ・フィルタリングについての情報を符号化し、前記ピクチャの符号化データ及び前記最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に、前記フィルタリング単位で伝送する段階をさらに含み、
前記インループ・フィルタリングについての情報は、前記ツリー構造による符号化単位に係わるフィルタリング単位を決定するために、深度別符号化単位階層のうち一つに決定されるフィルタリング階層情報、前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリング遂行いかんを示すインループ・フィルタリング遂行情報、前記インループ・フィルタリングのためのフィルタ係数情報、及び前記フィルタリング階層の上限階層及び下限階層についての情報のうち少なくとも一つを含むことを特徴とする請求項２に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法。
【請求項５】
前記フィルタリング単位決定段階は、
前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリング遂行いかんを示すインループ・フィルタリング遂行情報を設定する段階をさらに含むことを特徴とする請求項２に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法。
【請求項６】
受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうちそれぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のインループ・フィルタリングについての情報を抽出する段階と、
前記抽出された前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記抽出された映像データを復号化する段階と、
前記抽出されたインループ・フィルタリングについての情報を利用し、前記最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位を決定する段階と、
前記最大符号化単位の復号化された映像データに対して、前記フィルタリング単位に基づいて、前記インループ・フィルタリングを行う段階と、を含むことを特徴とする符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項７】
前記フィルタリング単位決定段階は、
前記インループ・フィルタリングについての情報に基づいて、前記最大符号化単位のツリー構造による符号化単位、及びそれぞれの符号化深度の符号化単位の予測復号化のためのデータ単位のパーティションを基に、前記フィルタリング単位を決定することを特徴とする請求項６に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項８】
前記フィルタリング単位決定段階は、
前記インループ・フィルタリングについての情報に基づいて、前記ツリー構造による符号化単位のうち少なくとも一つを分割または併合したデータ単位を、前記フィルタリング単位として決定する段階と、
前記インループ・フィルタリングについての情報に基づいて、前記ツリー構造による符号化単位を、前記フィルタリング単位の予測値として利用し、前記フィルタリング単位を予測する段階と、
前記フィルタリング階層情報に基づいて、前記フィルタリング階層までの階層的データ単位を、前記フィルタリング単位として決定する段階と、のうち少なくとも一つを含むことを特徴とする請求項７に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項９】
前記インループ・フィルタリングについての情報は、
前記ツリー構造による符号化単位に係わるフィルタリング単位を決定するために、深度別符号化単位階層のうち一つに決定されるフィルタリング階層情報、前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリング遂行いかんを示すインループ・フィルタリング遂行情報、前記インループ・フィルタリングのためのフィルタ係数情報、並びに前記フィルタリング階層の上限階層及び下限階層についての情報のうち少なくとも一つを含むことを特徴とする請求項７に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項１０】
前記インループ・フィルタリング遂行段階は、
前記インループ・フィルタリング遂行情報に基づいて、前記最大符号化単位のツリー構造による符号化単位それぞれに対するインループ・フィルタリング遂行いかんを決定する段階を含むことを特徴とする請求項９に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項１１】
前記最大符号化単位に含まれるツリー構造による符号化単位は、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位であり、
前記符号化深度の符号化単位は、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに独立して符号化結果を出力されるように決定された符号化単位であることを特徴とする請求項６に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法。
【請求項１２】
１つのピクチャを符号化するための分割された最大サイズのデータ単位である最大符号化単位において、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する符号化単位決定部と、
前記最大符号化単位のツリー構造による符号化単位を基に、前記最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを行うためのフィルタリング単位を決定し、前記フィルタリング単位を基に、インループ・フィルタリングを行うインループ・フィルタリング部と、
前記インループ・フィルタリングについての情報を符号化し、前記ピクチャの符号化データ及び前記最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に、前記フィルタリング単位で伝送する伝送部と、を含むことを特徴とする符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化装置。
【請求項１３】
受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうちそれぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のインループ・フィルタリングについての情報を抽出する受信部及び抽出部と、
前記それぞれの最大符号化単位について、抽出された前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記符号化単位別に符号化された映像データを復号化する復号化部と、
前記インループ・フィルタリングについての情報を利用し、前記最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位を決定し、前記最大符号化単位の復号化された映像データに対して、前記フィルタリング単位に基づいて、前記インループ・フィルタリングを行うインループ・フィルタリング遂行部と、を含むことを特徴とする符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化装置。
【請求項１４】
請求項１に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。
【請求項１５】
請求項６に記載の符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化及び復号化に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
【０００３】
局部的に損傷されたピクセルに対するフィルタリング能は落ち、損傷されたピクセルによって、ビデオ圧縮率も低下する。従って、ビデオコーデックは、ビデオ圧縮率を向上させ、原本映像と復元映像との誤差を低減させ、復元映像の画質を向上させるために、ループ・フィルタリングを遂行する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、インループ・フィルタリングを遂行することにより、ビデオを符号化して復号化する実施形態に関する。
【課題を解決するための手段】
【０００５】
本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法は、１つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割する段階と、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決め、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する段階と、前記最大符号化単位のツリー構造による符号化単位を基に、前記最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを遂行するためのフィルタリング単位を決定し、前記フィルタリング単位を基にインループ・フィルタリングを遂行する段階と、を含む。
【発明の効果】
【０００６】
一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを介して、インループ・フィルタリングが遂行された参照ピクチャを利用することにより、原本ピクチャとの誤差を減少させる予測符号化が行われる。また、一実施形態によるインループ・フィルタリングによって、既定の符号化単位を基に、インループ・フィルタリングのためのフィルタリング単位が決定されるので、インループ・フィルタリングのために追加情報を伝送するためのビット量が低減する。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化装置のブロック図である。
【図２】一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化装置のブロック図である。
【図３】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。
【図７】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図８】本発明の一実施形態によって、深度別符号化情報を図示する図面である。
【図９】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図１０】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１１】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１２】本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１３】表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１４】インループ・フィルタリングを遂行するビデオ符号化／復号化システムのブロック図である。
【図１５】一実施形態による最大符号化単位に含まれるツリー構造のフィルタリング単位の一例図示する図面である。
【図１６】一実施形態による最大符号化単位に含まれるツリー構造のフィルタリング単位の分割情報及びフィルタリング遂行情報を図示する図面である。
【図１７】一実施形態によって、最大符号化単位、それぞれの最大符号化単位のツリー構造による符号化単位及びパーティションを含むデータ単位を図示する図面である。
【図１８】図１７のデータ単位に係わるフィルタリング階層０のフィルタリング単位を図示する図面である。
【図１９】図１７のデータ単位に係わるフィルタリング階層１のフィルタリング単位を図示する図面である。
【図２０】図１７のデータ単位に係わるフィルタリング階層２のフィルタリング単位を図示する図面である。
【図２１】図１７のデータ単位に係わるフィルタリング階層３のフィルタリング単位を図示する図面である。
【図２２】図１７のデータ単位に係わるフィルタリング階層１のフィルタリング単位及びインループ・フィルタリング遂行情報を図示する図面である。
【図２３】一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法のフローチャートである。
【図２４】本発明の一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法のフローチャートである。
【発明を実施するための形態】
【０００８】
本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法は、１つのピクチャを符号化するための最大サイズのデータ単位である最大符号化単位に分割する段階と、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する段階と、前記最大符号化単位のツリー構造による符号化単位を基に、前記最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを遂行するためのフィルタリング単位を決定する段階と、前記フィルタリング単位を基にインループ・フィルタリングを遂行する段階と、を含む。
【０００９】
一実施形態による前記フィルタリング単位決定段階は、前記最大符号化単位のツリー構造による符号化単位を基に、前記フィルタリング単位を決定する段階を含んでもよい。他の実施形態による前記インループ・フィルタリング遂行段階は、前記最大符号化単位のツリー構造による符号化単位、及びそれぞれの符号化深度の符号化単位の予測符号化のためのデータ単位であるパーティションを基に、前記フィルタリング単位を決定することができる。
【００１０】
一実施形態による前記フィルタリング単位決定段階は、前記ツリー構造による符号化単位のうち少なくとも一つを分割または併合したデータ単位を、前記フィルタリング単位として決定することができる。一実施形態による前記フィルタリング単位決定段階は、前記ツリー構造による符号化単位を、前記フィルタリング単位の予測値として利用することができる。
【００１１】
一実施形態による前記フィルタリング単位決定段階は、前記ツリー構造による符号化単位に係わる深度別符号化単位階層のうちフィルタリング階層を決定し、前記フィルタリング階層までの階層的データ単位を、前記フィルタリング単位として決定することができる。
【００１２】
一実施形態による前記フィルタリング階層は、前記最大符号化単位の最低階層から、前記最大符号化単位のツリー構造による符号化単位のうち、最後の深度を示す最高階層までの階層のうち一つに決定されることができる。一実施形態による前記フィルタリング階層について、前記最高階層以下の上限階層が設定されてもよい。
【００１３】
一実施形態による前記ビデオ符号化方法は、前記インループ・フィルタリングについての情報を符号化し、前記ピクチャの符号化データ及び前記最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に、前記フィルタリング単位で伝送する段階をさらに含んでもよい。一実施形態による前記インループ・フィルタリングについての情報は、前記ツリー構造による符号化単位に係わるフィルタリング単位を決定するために、深度別符号化単位階層のうち一つに決定されるフィルタリング階層情報、前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリングの遂行いかんを示すインループ・フィルタリング遂行情報、前記インループ・フィルタリングのためのフィルタ係数情報及び前記フィルタリング階層の上限階層及び下限階層についての情報のうち少なくとも一つを含んでもよい。
【００１４】
一実施形態による前記インループ・フィルタリング遂行段階は、前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリングの遂行いかんを示すインループ・フィルタリング遂行情報を設定する段階をさらに含んでもよい。
【００１５】
一実施形態による前記フィルタリング単位決定段階は、カラー成分のうちルーマ成分のためのフィルタリング単位、及びクロマ成分のためのフィルタリング単位が別個に決定されてもよい。一実施形態による前記フィルタリング単位決定段階は、カラー成分のうちルーマ成分のためのフィルタリング単位を参照し、クロマ成分のためのフィルタリング単位を予測することができる。
【００１６】
一実施形態による前記フィルタリング単位決定段階は、前記ピクチャ内の最大符号化単位について、同一のフィルタリング単位を適用するか、あるいは前記ピクチャ及び前記ピクチャのシーケンス、フレーム、フィールド及び最大符号化単位のうち１つのデータ単位別に、別個のフィルタリング単位を決定することができる。
【００１７】
一実施形態による前記インループ・フィルタリング遂行段階は、複数個のフィルタタイプのうち一つを選択し、前記インループ・フィルタリングを遂行することができる。一実施形態による前記インループ・フィルタリング遂行段階は、前記決定されたフィルタリング単位ごとに、前記インループ・フィルタリングの遂行いかんと、前記複数個のフィルタタイプのうち利用されるフィルタタイプとを示すインループ・フィルタリング遂行情報を設定する段階をさらに含んでもよい。
【００１８】
一実施形態による前記インループ・フィルタリング遂行情報は、前記インループ・フィルタリングのための所定フィルタタイプを遂行したり遂行しなかったりする場合を区別するためのフラグや、前記フィルタリング単位の所定映像特性またはコーディング・シンボルによって分類されるフィルタタイプを識別することができる。
【００１９】
一実施形態による前記インループ・フィルタリング遂行段階は、前記フィルタリング単位に係わるインループ・フィルタリングを遂行するためのフィルタ係数を生成する段階をさらに含んでもよい。
【００２０】
一実施形態による前記伝送段階は、前記インループ・フィルタリングについての情報を、前記ピクチャのＳＰＳ（sequence  parameter set）またはＰＰＳ（picture  parameter  set）に挿入して伝送することができる。
【００２１】
本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうちそれぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のインループ・フィルタリングについての情報を抽出する段階と、前記それぞれの最大符号化単位について、抽出された前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記符号化単位別に符号化された映像データを復号化する段階と、前記インループ・フィルタリングについての情報を利用し、前記最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位を決定する段階と、前記抽出された映像データに対して、前記決定されたフィルタリング単位に基づいて、前記インループ・フィルタリングを遂行する段階と、を含む。
【００２２】
一実施形態による前記ビデオ復号化方法のフィルタリング単位決定段階は、インループ・フィルタリングについての情報に基づいて、前記最大符号化単位のツリー構造による符号化単位を基に、前記フィルタリング単位を決定する段階を含んでもよい。一実施形態による前記ビデオ復号化方法のインループ・フィルタリング遂行段階は、前記最大符号化単位のツリー構造による符号化単位、及びそれぞれの符号化深度の符号化単位の予測符号化のためのデータ単位であるパーティションを基に、前記フィルタリング単位を決定することができる。
【００２３】
一実施形態による前記ビデオ復号化方法のフィルタリング単位決定段階は、前記インループ・フィルタリングについての情報に基づいて、前記ツリー構造による符号化単位のうち少なくとも一つを分割または併合したデータ単位を、前記フィルタリング単位として決定するか、あるいは前記ツリー構造による符号化単位を、前記フィルタリング単位の予測値として利用し、前記フィルタリング単位を予測することができる。
【００２４】
一実施形態による前記ビデオ復号化方法のフィルタリング単位決定段階は、前記フィルタリング階層情報に基づいて、前記フィルタリング階層までの階層的データ単位を、前記フィルタリング単位として決定することができる。一実施形態による前記インループ・フィルタリング遂行段階は、前記インループ・フィルタリング遂行情報に基づいて、前記最大符号化単位のツリー構造による符号化単位それぞれに対するインループ・フィルタリングの遂行いかんを決定する段階を含んでもよい。
【００２５】
一実施形態による前記ビデオ復号化方法のインループ・フィルタリング遂行段階は、前記インループ・フィルタリング遂行情報に基づいて、前記複数個のフィルタタイプのうち一つを選択し、前記インループ・フィルタリングを遂行することができる。
【００２６】
一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法は、前記インループ・フィルタリングが遂行された現在ピクチャを参照し、次のピクチャに対する予測復号化を遂行する段階をさらに含んでもよい。
【００２７】
本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化装置は、１つのピクチャを符号化するための分割された最大サイズのデータ単位である最大符号化単位において、前記最大符号化単位の空間的分割回数を示す深度によって階層的に構成される深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化結果を出力する符号化深度の符号化単位を独立して決定し、前記最大符号化単位内で、同一領域では深度によって階層的であり、他の領域については独立的である符号化深度の符号化単位で構成される、ツリー構造による符号化単位を決定する符号化単位決定部；前記最大符号化単位のツリー構造による符号化単位を基に、前記最大符号化単位と原本ピクチャとの誤差を最小化するためのインループ・フィルタリングを遂行するためのフィルタリング単位を決定し、前記フィルタリング単位を基にインループ・フィルタリングを遂行するインループ・フィルタリング部；及び前記インループ・フィルタリングについての情報を符号化し、前記ピクチャの符号化データ及び前記最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に、前記フィルタリング単位で伝送する伝送部；を含む。
【００２８】
本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化装置は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうちそれぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位に係わる符号化モード情報、及び前記最大符号化単位のインループ・フィルタリングについての情報を抽出する受信部及び抽出部；前記それぞれの最大符号化単位について、抽出された前記ツリー構造による符号化単位に係わる符号化モード情報に基づいて、前記符号化単位別に符号化された映像データを復号化する復号化部；及び前記インループ・フィルタリングについての情報を利用し、前記最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位を決定し、前記最大符号化単位の復号化された映像データに対して、前記フィルタリング単位に基づいて、前記インループ・フィルタリングを遂行するインループ・フィルタリング遂行部；を含む。
【００２９】
本発明は、本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。本発明は、本発明の一実施形態による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体を含む。
【００３０】
図１は、本発明の一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化装置のブロック図を図示している。
【００３１】
一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化装置１００（以下、「ビデオ符号化装置１００」と略称する）は、符号化単位決定部１１０、インループ・フィルタリング部１２０及び伝送部１３０を含む。
【００３２】
一実施形態による符号化単位決定部１１０は、ビデオの１つのピクチャの映像データを入力され、最大サイズのデータ単位である最大符号化単位に分割する。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６のようなデータ単位であり、縦横に大きさが、８より大きい２の自乗である正方形のデータ単位であってもよい。
【００３３】
一実施形態による符号化単位決定部１１０は、それぞれの最大符号化単位ごとに、空間的に分割された領域別に、階層的構造の符号化単位を決定する。最大符号化単位の階層的構造の符号化単位は、最大符号化単位の空間的分割回数を示す深度に基づいて表現される。望ましくは、ツリー構造による符号化単位は、最大符号化単位に含まれるすべての深度別符号化単位のうち、符号化深度に決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で、同一領域では深度によって階層的に決定され、他の領域については、独立して決定される。
【００３４】
一実施形態による符号化単位決定部１１０は、現在最大符号化単位に含まれる深度別符号化単位をそれぞれ符号化し、領域別に、上位深度及び下位深度の符号化単位に係わる符号化結果を比較して、最適の符号化結果を出力する符号化単位及び当該深度である符号化深度を決定することができる。また、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。
【００３５】
従って、一実施形態による符号化単位決定部１１０は、最大符号化単位ごとに、領域別に独立して決定された符号化深度の符号化単位で構成されたツリー構造による符号化単位を決定することができる。また、一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位を決定する過程で、予測符号化を遂行する。一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位が最適の符号化結果を出力するための予測符号化が行われるデータ単位である予測単位またはパーティションを決定することができる。例えば、サイズ２Ｎｘ２Ｎの符号化単位に係わるパーティションタイプは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮのパーティションを含んでもよい。一実施形態によるパーティションタイプは、符号化単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。また、パーティションタイプの予測モードは、インターモード、イントラモード、スキップモードなどを含んでもよい。
【００３６】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、符号化単位が最大符号化単位から階層的に分割される回数による指標であり、深度が深くなるほど深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義されてもよい。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含んでもよい。
【００３７】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による最大深度は、最大符号化単位から最小符号化単位までのすべて分割回数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定される。その場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４に設定されてもよい。
【００３８】
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１３を参照して詳細に後述する。
【００３９】
一実施形態によるインループ・フィルタリング部１２０は、符号化単位決定部１１０によって決定された最大符号化単位のツリー構造による符号化単位を基に、インループ・フィルタリングを遂行するためのフィルタリング単位を決定し、フィルタリング単位を基に、インループ・フィルタリングを行う。
【００４０】
一実施形態によるインループ・フィルタリング部１２０は、最大符号化単位のツリー構造による符号化単位及びパーティションを基に、フィルタリング単位を決定することができる。例えば、フィルタリング単位は、ツリー構造による符号化単位及びパーティションのうち少なくとも１つのデータ単位を分割または併合することにより、決定されてもよい。他の例として、ツリー構造による符号化単位及びパーティションがフィルタリング単位の予測値に利用され、フィルタリング単位が予測されもする。
【００４１】
一実施形態によるインループ・フィルタリング部１２０は、最大符号化単位のツリー構造による符号化単位のうち、符号化単位の深度別階層のうちフィルタリング階層を決定し、決定されたフィルタリング階層までの階層的符号化単位を、フィルタリング単位として決定することができる。
【００４２】
他の実施形態によるインループ・フィルタリング部１２０は、最大符号化単位のツリー構造による符号化単位のうち、符号化単位の深度別階層だけでなく、予測単位であるパーティション階層まで含み、フィルタリング階層を決定することもでき、決定されたフィルタリング階層までの階層的符号化単位及びパーティションを、フィルタリング単位として決定することができる。従って、一実施形態によるフィルタリング階層は、最大符号化単位の最初階層から、最大符号化単位のツリー構造による符号化単位のうち最小符号化単位または予測単位を示す最終階層までの階層のうち一つに決定されてもよい。
【００４３】
一実施形態によるフィルタリング階層について、最初の階層から最終階層までの上限階層及び下限階層が設定され、フィルタリング階層は、上限階層及び下限階層間で決定されもする。
【００４４】
一実施形態によるインループ・フィルタリング部１２０は、フィルタリング単位ごとに、インループ・フィルタリングの遂行いかんを示すインループ・フィルタリング遂行情報、フィルタリング階層の最初の階層及び最終階層についての情報、並びにフィルタリング階層の上限階層及び下限階層についての情報などを設定することができる。
【００４５】
一実施形態によるインループ・フィルタリング部１２０は、カラー成分のうちルーマ成分に対するインループ・フィルタリング、及びクロマ成分に対するインループ・フィルタリングを別途に遂行することができる。これにより、一実施形態によるインループ・フィルタリング部１２０は、ルーマ成分のためのフィルタリング単位、及びクロマ成分のためのフィルタリング単位を別個に決定することができる。また、一実施形態によるインループ・フィルタリング部１２０は、ルーマ成分のためのフィルタリング単位を参照し、クロマ成分のためのフィルタリング単位を予測するように、フィルタリング単位を予測符号化することもできる。
【００４６】
一実施形態によるインループ・フィルタリング部１２０は、ピクチャ内の最大符号化単位について、いずれも同一のフィルタリング単位を適用することができる。または、一実施形態によるインループ・フィルタリング部１２０は、現在フレームに対して、同一のフィルタリング単位を適用することもできる。
【００４７】
一実施形態によるインループ・フィルタリング部１２０は、ピクチャ内のそれぞれの最大符号化単位について、別個のフィルタリング単位を決定することもできる。例えば、一実施形態によるフィルタリング単位は、シーケンス、ピクチャ、フレーム、フィールド、最大符号化単位のうち１つのデータ単位別で決定され、同一のデータ単位では同一のフィルタリング単位が適用されてもよい。
【００４８】
一実施形態によるインループ・フィルタリング部１２０は、フィルタリング単位ごとに、インループ・フィルタリングの遂行いかんを示すインループ・フィルタリング遂行情報を設定することができる。また、一実施形態によるインループ・フィルタリング部１２０は、複数個のフィルタタイプのうち一つを選択し、インループ・フィルタリングを行うことができる。これにより、一実施形態によるインループ・フィルタリング部１２０は、決定されたフィルタリング単位ごとに、インループ・フィルタリング遂行いかんと、複数個のフィルタタイプのうち利用されたフィルタタイプを統合的に示すインループ・フィルタリング遂行情報とを設定することもできる。
【００４９】
一実施形態によるインループ・フィルタリング遂行情報は、インループ・フィルタリングのための所定フィルタタイプを遂行したり遂行しなかったりする場合を区別するためのフラグであってもよい。または、一実施形態によるインループ・フィルタリング遂行情報は、インループ・フィルタリングのために利用される所定特性によって分類されるフィルタタイプを区別するように設定されてもよい。また、一実施形態によるインループ・フィルタリング遂行情報は、コーディング・シンボルによって分類されるフィルタタイプを区別するように設定されてもよい。
【００５０】
インループ・フィルタリングは、予測されたピクチャと原本ピクチャとの誤差を最小化するために遂行される。従って、一実施形態によるインループ・フィルタリング部１２０は、予測されたピクチャの最大符号化単位と原本ピクチャの当該領域との誤差を最小化するために適応的フィルタを利用することができる。従って、一実施形態によるインループ・フィルタリング部１２０は、フィルタリング単位に係わるインループ・フィルタリングを行うためのフィルタ係数を生成することができ、フィルタ係数情報を設定することもできる。
【００５１】
一実施形態による伝送部１３０は、インループ・フィルタリング部１２０によって決定されたインループ・フィルタリングについての情報を符号化し、ピクチャの符号化されたデータ、及び最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に伝送することができる。一実施形態による伝送部１３０は、インループ・フィルタリングについての情報、符号化されたデータ及び符号化単位に係わる符号化情報を、フィルタリング単位で伝送することができる。
【００５２】
一実施形態によるインループ・フィルタリングについての情報は、ツリー構造による符号化単位に係わるフィルタリング階層情報、フィルタリング単位ごとに、インループ・フィルタリング遂行いかんを示すインループ・フィルタリング遂行情報、インループ・フィルタリングのためのフィルタ係数情報、並びにフィルタリング階層の上限階層及び下限階層についての情報などを含んでもよい。
【００５３】
一実施形態による伝送部１３０は、インループ・フィルタリングについての情報をピクチャのＳＰＳ（sequence  parameter  set）またはＰＰＳ（picture  parameter  set）に挿入して伝送することができる。
【００５４】
一実施形態によるインループ・フィルタリングのためのフィルタリング単位の決定、及びインループ・フィルタリング遂行情報の符号化については、図１４ないし図２４を参照して詳細に後述する。
【００５５】
一実施形態による符号化単位決定部１１０は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及び大きさの符号化単位を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。
【００５６】
映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を、大きさが１６ｘ１６または８ｘ８に固定されている既存マクロブロック単位に符号化するなら、当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態による符号化単位決定部１１０は、映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して、符号化単位を調節することができるので、ビデオに係わる最終的な圧縮効率が上昇する。
【００５７】
また、一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを介して、インループ・フィルタリングが遂行された参照ピクチャを利用することにより、原本ピクチャとの誤差を減少させる予測符号化が行われる。また、一実施形態によるインループ・フィルタリング部１２０が、既定の符号化単位を基に、インループ・フィルタリングのためのフィルタリング単位を決定するので、インループ・フィルタリングのために、追加情報を伝送するためのビット量が低減されてもよい。
【００５８】
図２は、一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化装置のブロック図を図示している。
【００５９】
一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化装置２００（以下、「ビデオ復号化装置２００」と略称する）は、受信部及び抽出部２１０、復号化部２２０及びインループ・フィルタリング遂行部２３０を含む。
【００６０】
一実施形態による受信部及び抽出部２１０は、ビデオに係わるビットストリームを受信してパージングし、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、ツリー構造による符号化単位に係わる符号化モード情報、及びインループ・フィルタリングについての情報を抽出する。一実施形態による受信部及び抽出部２１０は、パージングされたビットストリームから、インループ・フィルタリングについての情報、符号化されたデータ及びツリー構造による符号化単位に係わる符号化モード情報を、フィルタリング単位で抽出することができる。一実施形態による受信部及び抽出部２１０は、インループ・フィルタリングについての情報を、ピクチャのＳＰＳまたはＰＰＳから抽出することもできる。
【００６１】
一実施形態による復号化部２２０は、受信部及び抽出部２１０によって抽出されたツリー構造による符号化単位に係わる符号化モード情報に基づいて、符号化単位別に符号化された映像データを復号化する。
【００６２】
一実施形態による復号化部２２０は、最大符号化単位別ツリー構造による符号化単位に係わる符号化モード情報に基づいて、最大符号化単位内に含まれる符号化深度の符号化単位及び当該符号化単位のパーティションタイプ、予測モード、変換単位などを判読することができる。
【００６３】
一実施形態による復号化部２２０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに判読されたパーティションタイプ、予測モード、変換単位に基づいて、符号化された映像データを復号化することにより、最大符号化単位の符号化された映像データを復号化することができる。
【００６４】
復号化部２２０によって復号化された映像データ、並びに受信部及び抽出部２１０によって抽出されたインループ・フィルタリングについての情報が、一実施形態によるインループ・フィルタリング遂行部２３０に入力される。
【００６５】
一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリングについての情報を利用し、最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位を決定する。例えば、一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリングについての情報に基づいて、ツリー構造による符号化単位のうち少なくとも１つの符号化単位を分割または併合し、フィルタリング単位として決定することができる。他の例として、一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリングについての情報に基づいて、ツリー構造による符号化単位を予測値として利用し、現在最大符号化単位のためのフィルタリング単位を予測することもできる。また、インループ・フィルタリング遂行部２３０は、最大符号化単位のフィルタリング単位に基づいて、インループ・フィルタリングについての情報を利用し、復号化された映像データに対して、インループ・フィルタリングを遂行いかんを決定することができる。
【００６６】
他の一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリングについての情報を利用し、最大符号化単位のツリー構造による符号化単位及びパーティションに基づいて、インループ・フィルタリングのためのフィルタリング単位を決定することもできる。
【００６７】
一実施形態によるインループ・フィルタリングについての情報について具体的に説明すれば、一実施形態による受信部及び抽出部２１０は、フィルタリング階層情報、インループ・フィルタリング遂行情報、フィルタ係数情報、並びにフィルタリング階層の上限階層及び下限階層についての情報などを抽出し、インループ・フィルタリング遂行部２３０に伝達することができる。
【００６８】
一実施形態によるインループ・フィルタリング遂行部２３０は、フィルタリング階層情報に基づいて、ツリー構造による符号化単位のうちフィルタリング階層までの符号化単位を、フィルタリング単位として決定することができる。また、一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリング遂行情報に基づいて、最大符号化単位のツリー構造による符号化単位それぞれに対するインループ・フィルタリング遂行いかんを決定することができる。
【００６９】
一実施形態によるインループ・フィルタリング遂行部２３０は、フィルタリング階層情報に基づいて、ルーマ成分のためのフィルタリング単位、及びクロマ成分のためのフィルタリング単位を別個に決定し、ルーマ成分及びクロマ成分別に、インループ・フィルタリングを行うことができる。または、一実施形態によるインループ・フィルタリング遂行部２３０は、フィルタリング階層情報に基づいて、ルーマ成分のためのフィルタリング単位を参照し、クロマ成分のためのフィルタリング単位を予測し、ルーマ成分及びクロマ成分別に、インループ・フィルタリングを行うこともできる。
【００７０】
一実施形態によるインループ・フィルタリング遂行部２３０は、ピクチャ内の最大符号化単位について、同一のフィルタリング単位を適用するか、あるいは現在フレームに対して、同一のフィルタリング単位を適用することもできる。
【００７１】
一実施形態によるインループ・フィルタリング遂行部２３０は、現在シーケンス、ピクチャ、フレーム、フィールド及び最大符号化単位のうち１つのデータ単位別に、別個のフィルタリング単位を決定することもできる。
【００７２】
一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリング遂行情報に基づいて、複数個のフィルタタイプのうち一つを選択し、インループ・フィルタリングを行うことができる。また、一実施形態によるインループ・フィルタリング遂行部２３０は、それぞれのフィルタリング単位ごとに、インループ・フィルタリング遂行情報に基づいてインループ・フィルタリング遂行いかんを決定し、インループ・フィルタリングを遂行するならば、複数個のフィルタタイプのうち利用されるフィルタタイプをさらに決定することもできる。
【００７３】
一実施形態によるインループ・フィルタリング遂行情報は、インループ・フィルタリングのための所定フィルタタイプを遂行したり遂行しなかったりする場合を区別するためのフラグであってもよい。その場合、一実施形態によるインループ・フィルタリング遂行部２３０は、インループ・フィルタリング遂行フラグに基づいて、それぞれのフィルタリング単位に係わるインループ・フィルタリング遂行いかんを決定することができる。
【００７４】
一実施形態によるインループ・フィルタリング遂行部２３０は、一実施形態によるインループ・フィルタリング遂行情報を利用して、所定特性によって分類されるフィルタタイプを区別して、インループ・フィルタリングを行うことができる。例えば、一実施形態によるインループ・フィルタリング遂行部２３０は、フィルタリング領域の映像特性を考慮して、決定されたフィルタタイプを分類するためのインループ・フィルタリング遂行情報に基づいて、インループ・フィルタリングを遂行しない場合；インループ・フィルタリングを遂行するならば、平坦領域のためのフィルタタイプを利用する場合；エッジ領域のためのフィルタタイプを利用する場合；テクスチュア領域のためのフィルタタイプを利用する場合；のうち一つを決定し、インループ・フィルタリングを行うことができる。
【００７５】
一実施形態によるインループ・フィルタリング遂行部２３０は、一実施形態によるインループ・フィルタリング遂行情報を利用して、コーディング・シンボルによって分類されるフィルタタイプを区別し、インループ・フィルタリングを行うことができる。コーディング・シンボルは、動きベクトル（ＭＶ：Motion  vector）、差分動きベクトル（ＭＶＤ：motion  vector  difference）、符号化ブロックパターン情報（ＣＢＰ：coded  block  pattern）、予測モードなどを含んでもよい。
【００７６】
一実施形態によるインループ・フィルタリング遂行部２３０は、フィルタ係数情報に基づいて、インループ・フィルタリングのためのフィルタを生成することもできる。例えば、一実施形態によるインループ・フィルタは、ウィーナ・フィルタ基盤であってもよい。フィルタ係数情報がウィーナ・フィルタ係数の差分情報である場合、一実施形態によるインループ・フィルタリング遂行部２３０は、既存フィルタ係数及び差分情報を利用して、現在フィルタ係数を予測することもできる。
【００７７】
一実施形態によるインループ・フィルタリングは、二次元係数のフィルタを利用するか、あるいは連続的な一次元係数フィルタリングによる。
【００７８】
一実施形態によるインループ・フィルタリング遂行部２３０を介して、インループ・フィルタリングが遂行された現在ピクチャを参照し、次のピクチャに対する予測復号化が行われる。一実施形態によるビデオ復号化装置２００によれば、インループ・フィルタリングが遂行された参照ピクチャを利用して、次のピクチャが予測復号化されるので、復元映像と原本映像との誤差が減少する。
【００７９】
図３は、本発明の一実施形態による符号化単位の概念を図示している。符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、大きさ６４ｘ６４である符号化単位から、３２ｘ３２，１６ｘ１６，８ｘ８を含んでもよい。サイズ６４ｘ６４である符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２の予測単位に分割されてもよく、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６の予測単位も、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８の予測単位に、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４の予測単位に分割されてもよい。
【００８０】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図１０に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示している。
【００８１】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【００８２】
ビデオデータ３１０の最大深度は、２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割して深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含んでもよい。また、ビデオデータ３３０の最大深度は、１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割して深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【００８３】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割して深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含んでもよい。深度が深くなるほど、詳細情報の表現能力が向上する。
【００８４】
図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。
【００８５】
一実施形態による映像符号化部４００は、一実施形態によるビデオ符号化装置１００に対応する。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位に対してイントラ予測を遂行し、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を行う。
【００８６】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。
【００８７】
一実施形態による映像符号化部４００のイントラ予測部４１０、動き推定部４２０、動き補償部４２５、変換部４３０、量子化部４４０、逆量子化部４６０、逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、最大符号化単位別に、ツリー構造による符号化単位を考慮して、動作することができる。
【００８８】
特に、ループ・フィルタリング部４９０は、符号化単位の最大サイズ及びツリー構造による符号化単位に基づいて、フィルタリング単位を決定し、それぞれのフィルタリング単位に係わるインループ・フィルタリング遂行いかんを決定し、これを基に、インループ・フィルタリングを行うことができる。またループ・フィルタリング部４９０は、フィルタリング階層、インループ・フィルタリング遂行いかん、フィルタタイプなどについての情報を設定して出力することもできる。
【００８９】
図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５がパージング部５１０を経て、復号化対象である符号化されたビデオデータ、及び復号化のために必要な符号化についての情報がパージングされる。符号化されたビデオデータは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆変換部５４０を経て、空間領域の映像データが復元される。
【００９０】
空間領域の映像データに対して、イントラ予測部５５０は、イントラモードの符号化単位に対してイントラ予測を遂行し、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位に対して動き補償を行う。
【００９１】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【００９２】
一実施形態によるビデオ復号化装置２００の復号化部２２０で、映像データを復号化するため、一実施形態による映像復号化部５００のパージング部５１０後の段階別動作が遂行されてもよい。
【００９３】
一実施形態による映像復号化部５００は、一実施形態によるビデオ復号化装置２００に相応するので、映像復号化部５００のパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。
【００９４】
特に、ループ・フィルタリング部４９０は、フィルタリング階層、インループ・フィルタリング遂行いかん、フィルタタイプなどについての情報を利用し、符号化単位の最大サイズ及びツリー構造による符号化単位に基づいたフィルタリング単位を決定し、それぞれのフィルタリング単位に係わるインループ・フィルタリング遂行いかんを決め、これを基に、インループ・フィルタリングを行うことができる。
【００９５】
図６は、本発明の一実施形態による深度別符号化単位及び予測単位を図示している。一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために、領域別に独立して決定されたツリー構造による符号化単位を使用する。符号化単位の最大高、最大幅及び最大深度は、映像の特性によって適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。
【００９６】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が５である場合を図示している。図６に図示された最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示している。
【００９７】
一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基盤になる部分的データ単位である予測単位（またはパーティション）が図示されている。
【００９８】
すなわち、符号化単位６１０は、符号化単位の階層構造６００において、最大符号化単位であり、深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【００９９】
それぞれの深度別に横軸に沿って、符号化単位の予測単位として、パーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６であってもよい。反対に見れば、符号化単位は、予測単位６１０，６１２，６１４，６１６を含む最小サイズの正方形のデータ単位であってもよい。
【０１００】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６であってもよい。
【０１０１】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６であってもよい。
【０１０２】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６であってもよい。
【０１０３】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、サイズ４ｘ４の符号化単位６５０の予測単位は、サイズ４ｘ４のパーティション６５０、サイズ４ｘ２のパーティション６５２、サイズ２ｘ４のパーティション６５４、サイズ２ｘ２のパーティション６５６であってもよい。
【０１０４】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１１０は、最大符号化単位６１０の符号化深度を決定するため、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わなければならない。
【０１０５】
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに、深度２の符号化単位は、四つが含まれる。従って、同一のデータの符号化結果を深度別に比較するため、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【０１０６】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を遂行し、当該深度で最小の符号化誤差である代表符号化誤差が選択されてもよい。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を遂行し、深度別代表符号化誤差を比較して最小符号化誤差が検索されてもよい。最大符号化単位６１０において、最小符号化誤差が発生する深度及び予測単位が、最大符号化単位６１０の符号化深度及びパーティションタイプとして選択されてもよい。
【０１０７】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じである大きさの符号化単位で、映像を符号化したり復号化する。符号化過程において、変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択されてもよい。
【０１０８】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して変換が遂行されてもよい。
【０１０９】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【０１１０】
図８は、本発明の一実施形態による深度別符号化モード情報を図示している。一実施形態によるビデオ符号化装置１００は、ツリー構造による符号化単位に係わる符号化モード情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送することができる。
【０１１１】
パーティションタイプについての情報８００は、現在符号化単位の予測符号化のために、予測単位（パーティション）として、現在符号化単位が分割されたタイプについての情報を示す。例えば、深度０及びサイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、サイズＮｘＮの予測単位８０８のうちいずれか１つのタイプに分割され、予測単位に利用されてもよい。その場合、現在符号化単位のパーティションタイプについての情報８００は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６及びサイズＮｘＮの予測単位８０８のうち一つを示すように設定される。
【０１１２】
予測モードについての情報８１０は、それぞれの予測単位の予測モードを示す。例えば、予測モードについての情報８１０を介して、パーティションタイプについての情報８００が示す予測単位が、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つで予測符号化が行われるが設定される。
【０１１３】
また、変換単位サイズについての情報８２０は、現在符号化単位を、いかなる変換単位を基に変換を行うかということを示す。例えば、変換単位は、イントラモードの第１サイズ８２２及び第２サイズ８２４、インターモードの第１サイズ８２６及び第２サイズ８２８のうち一つであってもよい。
【０１１４】
一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化部２２０が、この情報８００，８１０，８２０を復号化に利用することができる。
【０１１５】
図９は、本発明の一実施形態による深度別符号化単位を図示している。深度の変化を示すために、分割情報が利用されてもよい。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるかいかんを示す。
【０１１６】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。符号化単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではない。
【０１１７】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズの予測単位、２つの２Ｎ＿０ｘＮ＿０サイズの予測単位、２つのＮ＿０ｘ２Ｎ＿０サイズの予測単位、４つのＮ＿０ｘＮ＿０サイズの予測単位ごとに、反復的に予測符号化が遂行されなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０の予測単位については、イントラモード及びインターモードで、予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０の予測単位に対してのみ、予測符号化が遂行される。
【０１１８】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が一番小さければ、それ以上下位深度に分割する必要ない。
【０１１９】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が一番小さければ、深度０を１に変更しつつ分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を遂行し、最小符号化誤差を検索して行くことができる。
【０１２０】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が一番小さければ、深度１を深度２に変更しつつ分割し（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０に対して反復的に符号化を遂行し、最小符号化誤差を検索して行くことができる。
【０１２１】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定されてもよい。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【０１２２】
パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位ごとに、反復して予測符号化を介した符号化が遂行され、最小符号化誤差が生じるパーティションタイプが検索されてもよい。
【０１２３】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最小であるとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定されてもよい。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２に対して、分割情報は設定されない。
【０１２４】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と呼ばれる。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれるすべての符号化深度の符号化単位、予測単位及び変換単位に含まれる最大サイズの正方形データ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小である符号化誤差が生じる深度を選択して符号化深度を決定し、当該パーティションタイプ及び予測モードが符号化深度の符号化モードに設定されてもよい。
【０１２５】
このように、深度０，１，…，ｄ−１，ｄのすべての深度別最小符号化誤差を比較し、誤差が最小である深度が選択されて符号化深度に決定されてもよい。符号化深度及び当該深度の予測単位は、符号化モードについての情報として符号化され、伝送されてもよい。また、深度０から符号化深度に至るまで、符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度で把握し、当該深度に係わる符号化モードについての情報を利用し、当該符号化単位の符号化されたデータを復号化することができる。
【０１２６】
図１０，図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び変換単位の関係を図示している。
【０１２７】
符号化単位グループ１０１０は、現在最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定したツリー構造による符号化単位である。予測単位グループ１０６０は、符号化単位グループ１０１０において、それぞれの符号化深度の符号化単位の予測単位であり、変換単位グループ１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【０１２８】
符号化単位グループ１０１０は、最大符号化単位の深度が０であるとすれば、深度１の符号化単位１０１２，１０５４、深度２の符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２、深度３の符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０４８、深度４の符号化単位１０４０，１０４２，１０４４，１０４６を含む。
【０１２９】
予測単位１０６０のうち一部の予測単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、それぞれの符号化単位が分割されたタイプである。すなわち、予測単位１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、予測単位１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプであり、予測単位１０３２は、ＮｘＮのパーティションタイプである。すなわち、予測単位は、それぞれの符号化単位より小さいか、あるいは同じである。
【０１３０】
変換単位１０７０のうち一部の予測単位１０５２の映像データについては、符号化単位に比べて小サイズのデータ単位で変換または逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、当該符号化単位の予測単位と互いに異なる大きさまたは形態のデータ単位である。すなわち、１つの符号化単位の変換単位及び予測単位は、それぞれ独立して決定される。従って、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００は、同一の符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に遂行することができる。
【０１３１】
これにより、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が遂行され、最適符号化単位が決定されることにより、再帰的ツリー構造による符号化単位が構成される。
【０１３２】
符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で利用される符号化モード情報の一例を図示している。
【０１３３】
【表１】
2013524676.tif 000003
一実施形態によるビデオ符号化装置１００の伝送部１３０は、ツリー構造による符号化単位に係わる符号化モード情報を出力し、一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化モード情報を抽出することができる。
【０１３４】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるかいかんを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位がそれ以上分割されない符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義されてもよい。分割情報が１であるならば、下位深度で一段階さらに分割されるので、分割された４個の下位深度の符号化単位ごとに、独立して符号化が遂行されなければならない。
【０１３５】
予測モード情報は、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、すべてのパーティションタイプ情報で定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【０１３６】
パーティションタイプ情報は、対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、符号化単位の高さまたは幅が非対称的な比率に分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎとを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１３７】
変換単位サイズ情報は、変換単位分割情報によって、２種の大きさに設定されてもよい。すなわち、変換単位分割情報が０であるならば、変換単位のサイズ２Ｎｘ２Ｎが、現在符号化単位の大きさに設定される。変換単位分割情報が１であるならば、現在符号化単位が、分割された大きさの変換単位に設定される。また、現在符号化単位に係わるパーティションタイプが、対称形パーティションタイプであるならば、変換単位の大きさはＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定されてもよい。
【０１３８】
一実施形態によるツリー構造による符号化単位の符号化モード情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられてもよい。符号化深度の符号化単位は、同一の符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。従って、接したデータ単位同士それぞれ割り当てられた符号化情報を確認すれば、同一の符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位に割り当てられた符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１３９】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測符号化するために、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用されてもよい。
【０１４０】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータを検索することにより、周辺符号化単位が参照されもする。
【０１４１】
図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８の予測単位のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定されてもよい。
【０１４２】
パーティションタイプ情報が対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０１４３】
パーティションタイプ情報が非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０１４４】
図１４は、インループ・フィルタリングを行うビデオ符号化／復号化システムのブロック図を図示している。ビデオ符号化／復号化システム１４００の符号化端１４１０は、ビデオの符号化されたデータストリームを伝送し、復号化端１４５０は、データストリームを受信して復号化することにより、復元映像を出力する。
【０１４５】
符号化端１４１０で、予測符号化部１４１５は、インター予測及びイントラ予測を介して参照映像を出力し、参照映像と現在入力映像との残差成分が、変換部及び量子化部１４２０を経て量子化された変換係数として出力される。量子化された変換係数は、エントロピ符号化部１４２５を経て符号化されたデータストリームとして出力される。量子化された変換係数は、逆量子化部及び逆変換部１４３０を経て、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング・フィルタリング部１４３５及びループ・フィルタリング部１４４０を経て、復元映像として出力される。復元映像は、予測符号化部１４１５を経て、次の入力映像の参照映像に使われる。
【０１４６】
復号化端１４５０に受信されたデータストリームのうち符号化された映像データは、エントロピ復号化部１４５５及び逆量子化部及び逆変換部１４６０を経て、空間領域の残差成分に復元される。予測復号化部１４７５から出力された参照映像及び残差成分を介して空間領域の映像データが構成され、デブロッキング・フィルタリング部１４６５及びループ・フィルタリング部１４７０を介して、現在原本映像に対する復元映像が出力される。復元映像は、予測復号化部１４７５によって、次の原本映像に対する参照映像として利用される。
【０１４７】
符号化端１４１０のループ・フィルタリング部１４４０は、ユーザ入力またはシステム設定によって入力されたフィルタ情報を利用し、ループ・フィルタリングを行う。ループ・フィルタリング部１４４０によって使用されたフィルタ情報は、エントロピ符号化部１４２５に出力され、符号化された映像データと共に、復号化端１４５０に伝送される。復号化端１４５０のループ・フィルタリング部１４７０は、復号化端１４５０から入力されたフィルタ情報に基づいて、ループ・フィルタリングを行うことができる。
【０１４８】
図１５及び図１６は、一実施形態による最大符号化単位に含まれるツリー構造のフィルタリング単位の一例と、フィルタリング単位の分割情報及びフィルタリング遂行情報とを図示している。
【０１４９】
符号化端１４１０のループ・フィルタリング部１４４０、及び復号化端１４５０のループ・フィルタリング部１４７０のフィルタリング単位が、本発明の一実施形態によるツリー構造による符号化単位のように、最大符号化単位内で領域別に階層的なデータ単位で構成されるならば、フィルタ情報は、ツリー構造によるフィルタリング単位を示すためのデータ単位の分割フラグ、及びフィルタリング単位に係わるループ・フィルタリング遂行いかんを示すループ・フィルタリング・フラグを含んでもよい。
【０１５０】
最大符号化単位１５００に含まれたツリー構造のフィルタリング単位は、階層順序として、階層１のフィルタリング単位１５１０，１５４０、階層２のフィルタリング単位１５５０，１５５２，１５５４，１５６２，１５６４，１５６６、階層３のフィルタリング単位１５７０，１５７２，１５７４，１５７６，１５９２，１５９４，１５９６、階層４のフィルタリング単位１５８０，１５８２，１５８４，１５８６を含む。
【０１５１】
最大符号化単位１５００に含まれたフィルタリング単位のツリー構造１６００は、データ単位の階層別分割フラグ及びフィルタリングフラグを図示している。円形フラグは、当該データ単位に係わる分割フラグを示し、ひし形フラグは、フィルタリング・フラグを示す。
【０１５２】
円形フラグ横の参照番号は、最大符号化単位１５００内のデータ単位を示し、円形フラグが１である場合、現在階層のデータ単位が、下位階層のデータ単位に分割されることを示し、０である場合、現在階層のデータ単位がそれ以上分割されず、フィルタリング単位として決定されることを示す。
【０１５３】
フィルタリング・フラグは、フィルタリング単位に対して決定されるので、ひし形フラグは、円形フラグが０である場合にのみ設定される。ひし形フラグが１である場合、当該フィルタリング単位に対してループ・フィルタリングが行われることを示し、０である場合、ループ・フィルタリングが遂行されないことを示す。
【０１５４】
最大符号化単位１５５０に係わるフィルタリング階層が、０，１，２，３，４である場合、分割情報及びフィルタリング遂行いかんは、以下の表２のように符号化される。
【０１５５】
【表２】
2013524676.tif 000004
すなわち、適応的ループ・フィルタリング部１４４０及び適応的ループ・フィルタリング部１４７０によって、フィルタリングの対象になるツリー構造のフィルタリング単位のための決定を行うためのデータ単位の階層別分割フラグが、フィルタ情報としていずれも符号化されて伝送されなければならない。
【０１５６】
一実施形態によって構成されたツリー構造による符号化単位は、原本映像との誤差を最小化する形態で構成された符号化単位であるので、符号化単位内で、空間的相関度が高いと予想される。従って、符号化単位に基づいて、フィルタリング単位が決定されることにより、符号化単位の決定と別途に、フィルタリング単位を決定する動作が省略されもする。また、これにより、一実施形態によるツリー構造による符号化単位に基づいて、フィルタリング単位を決定することにより、フィルタリング単位の階層別分割フラグを省略することができるので、フィルタ情報の伝送ビットレートを節約することができる。以下、図１７ないし図２２を利用し、一実施形態によるフィルタリング単位決定方法及びフィルタ情報について詳述する。
【０１５７】
図１７は、一実施形態によって、最大符号化単位、それぞれの最大符号化単位のツリー構造による符号化単位、及びパーティションを含むデータ単位を図示している。データ単位グループ１７００は、サイズ３２ｘ３２の９個の最大符号化単位の符号化深度の符号化単位を含んでいる。また、それぞれの最大符号化単位は、ツリー構造による符号化単位及びパーティションを含んでいる。符号化深度の符号化単位は、実線で図示されており、符号化深度の符号化単位が分割された形態のパーティションは、符号化単位内で点線で分割されている。ツリー構造の符号化単位の符号化深度は、０，１，２であり、最多階層個数である最大深度は、３に設定される。
【０１５８】
図１８、図１９、図２０及び図２１は、それぞれ図１７のデータ単位に係わるフィルタリング階層０，１，２及び３のフィルタリング単位を図示している。
【０１５９】
一実施形態によるインループ・フィルタリング部１２０及びインループ・フィルタリング遂行部２３０は、最大符号化単位のツリー構造による符号化単位及びパーティションにおいて、符号化単位の深度別階層及びパーティション階層のうち、フィルタリング階層を決定し、最大符号化単位から決定されたフィルタリング階層のデータ単位までの階層別データ単位を、フィルタリング単位として決定することができる。
【０１６０】
一実施形態によるインループ・フィルタリング部１２０及びインループ・フィルタリング遂行部２３０は、フィルタリング単位を決定するために、フィルタリング階層を利用する。データ単位グループ１７００を例として挙げれば、９個の最大符号化単位について、同一のフィルタリング階層情報が設定される。一実施形態によるフィルタリング階層情報によれば、深度０から符号化深度までの符号化単位のうち、最大符号化単位からフィルタリング階層の深度までの符号化単位は、モードフィルタリング単位として決定される。ただし、すでに符号化深度である符号化単位は、フィルタリング階層によって、下位深度に分割されない。
【０１６１】
具体的には、フィルタリング階層０である場合、符号化深度０である符号化単位、すなわち、最大符号化単位がフィルタリング単位として決定されてもよい。従って、フィルタリング単位グループ１８００は、深度０である符号化単位を含む。
【０１６２】
フィルタリング階層１である場合、最大符号化単位から符号化深度１である符号化単位までフィルタリング単位として決定されてもよい。従って、フィルタリング単位グループ１９００は、深度０である符号化単位及び深度１である符号化単位を含む。ただし、符号化深度が０である最大符号化単位内の深度１の符号化単位は、含まれない。
【０１６３】
フィルタリング階層２である場合、最大符号化単位から符号化深度２である符号化単位までフィルタリング単位として決定されてもよい。従って、フィルタリング単位グループ２０００は、符号化深度０である符号化単位、符号化深度１である符号化単位及び符号化深度２である符号化単位を含んでもよい。ただし、符号化深度が０である最大符号化単位内の深度１及び深度２の符号化単位、並びに符号化深度が１である最大符号化単位内の深度２の符号化単位は、含まれない。
【０１６４】
フィルタリング階層３である場合、フィルタリング階層が符号化単位の最大深度と同一であり、その場合、最大符号化単位からすべての符号化深度の符号化単位と共に、パーティションまでフィルタリング単位として決定されてもよい。従って、フィルタリング単位グループ２１００は、符号化深度０である符号化単位、符号化深度１である符号化単位、符号化深度２である符号化単位及びパーティションを含む。同様に、符号化深度が０である最大符号化単位内の深度１及び深度２の符号化単位、符号化深度が１である最大符号化単位内の深度２の符号化単位は、含まれない。
【０１６５】
図２２は、図１７のデータ単位に係わるフィルタリング階層１のフィルタリング単位及びインループ・フィルタリング遂行情報を図示している。一実施形態によるフィルタリング階層が１に決定された場合、フィルタリング単位グループ１９００が、最終的にフィルタリング単位グループ２２００に決定されてもよい。従って、フィルタリング単位グループ２２００のフィルタリング単位は、深度０であるデータ単位及び深度１である符号化単位を含み、それぞれのフィルタリング単位に対して、インループ・フィルタリング遂行情報が設定されてもよい。図２２に例示されたインループ・フィルタリング遂行情報は、当該フィルタリング単位に対して、インループ・フィルタリングを行うか行わないかを示すフラグであり、フィルタリンググループ２２００のフィルタリング単位別に、０または１のインループ・フィルタリング遂行情報が割り当てられてもよい。その場合、フィルタリング単位グループ２２００のためのフィルタリング単位に係わる情報は、フィルタリング階層が１であるフィルタリング階層情報、及びフラグ形態のインループ・フィルタリング遂行情報を含んでもよい。
【０１６６】
インループ・フィルタリング遂行情報は、フラグ形態だけではなく、インループ・フィルタリング遂行いかんと、複数個のフィルタタイプのうち利用されたフィルタタイプとを指すように設定されもする。例えば、インループ・フィルタリング遂行情報が、０，１，２，３である場合、それぞれ「インループ・フィルタリングが行われない場合」、「フィルタタイプ１が使われる場合」、「フィルタタイプ２が使われる場合」、「フィルタタイプ３が使われる場合」を定義することができる。
【０１６７】
または、一実施形態によるインループ・フィルタリング遂行情報は、フィルタリング単位の所定映像特性によって分類されるフィルタタイプを区別するように設定されてもよい。例えば、フィルタリング領域の映像特性を考慮して、インループ・フィルタリングが行われない場合、インループ・フィルタリングが遂行されるならば、「平坦領域のためのフィルタタイプが利用される場合」、「エッジ領域のためのフィルタタイプが利用される場合」、「テクスチャ領域のためのフィルタタイプが利用される場合」のうち一つを示すように、一実施形態によるインループ・フィルタリング遂行情報が設定されてもよい。
【０１６８】
また、一実施形態によるインループ・フィルタリング遂行情報は、コーディング・シンボルによって分類されるフィルタタイプを区別するように設定されてもよい。コーディング・シンボルは、動きベクトル（ＭＶ：motion  vector）、動きベクトル差分値（ＭＶＤ：motion  vector  difference）、符号化ブロックパターン情報（ＣＢＰ：coded  block  pattern）、予測モードなどを含む。
【０１６９】
動きベクトル差分値は、動きベクトル差分の垂直成分及び水平成分の絶対値の和を示す。また、現在領域に、０ではない量子化された変換係数（non-zero  coefficient）が存在するなら、符号化ブロックパターン情報は、１に設定され、存在しないなら、０に設定される。
【０１７０】
コーディング・シンボルは、映像の符号化の結果として生成されるので、類似したコーディング・シンボルが設定された領域は、類似した映像特性の領域である可能性が高い。例えば、一般的に、動きベクトル差分値が所定臨界値より大きいか、あるいは符号化ブロックパターン情報が１である領域は、テクスチャ成分が多く、動きベクトル差分値が所定臨界値より小さいか、あるいは符号化ブロックパターン情報が０である領域は、比較的予測符号化が望ましくなされ、量子化誤差が最小化された領域であるか、あるいは平坦な領域である可能性が高い。
【０１７１】
これにより、所定フィルタリング単位のためのフィルタタイプは、フィルタリング単位の動きベクトル差分値が臨界値より小さい領域のためのフィルタ、及び大きい領域のためのフィルタに区別されてもよい。また、所定フィルタリング単位のためのフィルタタイプは、符号化ブロックパターン情報が０である領域のためのフィルタ、及び１である領域のためのフィルタに区別されてもよい。また、所定フィルタリング単位のためのフィルタタイプは、動きベクトル差分値及び符号化ブロックパターン情報の条件が組み合わされた４種の場合によって、フィルタリング単位の動きベクトル差分値が臨界値より小さく、符号化ブロックパターン情報が０である領域のためのフィルタ、動きベクトル差分値が臨界値より小さく、符号化ブロックパターン情報が１である領域のためのフィルタ、動きベクトル差分値が臨界値より大きく、符号化ブロックパターン情報が０である領域のためのフィルタ、及び動きベクトル差分値が臨界値より大きく、符号化ブロックパターン情報が１である領域のためのフィルタに区別される。
【０１７２】
予測モードも、映像の時空間的特性を反映して符号化した結果として生成された情報であるので、フィルタリング単位の予測モードによって、フィルタタイプが決定されもする。
【０１７３】
一実施形態によるビデオ符号化装置１００のインループ・フィルタリング部１２０は、フィルタリング単位ごとに、ツリー構造による符号化単位に係わるフィルタリング階層情報、インループ・フィルタリング遂行情報、インループ・フィルタリングのためのフィルタ係数情報、フィルタリング階層の上限階層及び下限階層についての情報などを含むフィルタ情報を設定することができる。一実施形態によるビデオ符号化装置１００の伝送部１３０は、インループ・フィルタリングについての情報を、符号化されたデータ及び符号化単位に係わる符号化情報と共に伝送することができる。
【０１７４】
一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、フィルタ情報に基づいてフィルタリング単位を把握し、フィルタリング単位のフィルタリング遂行いかん、またはフィルタタイプを分析し、インループ・フィルタリングを行うことができる。
【０１７５】
従って、符号化単位と独立的なインループ・フィルタリングのためのフィルタリング単位を別途に決定するための演算負担が低減し、フィルタリング単位を決定するための階層別分割情報は不要になり、フィルタリング階層情報だけでフィルタリング単位が設定されるので、伝送ビットレートも低下する。
【０１７６】
図２３は、一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ符号化方法のフローチャートを図示している。段階２３１０で、１つのピクチャが符号化されるための最大サイズのデータ単位である最大符号化単位に分割される。段階２３２０で、最大符号化単位の深度別符号化単位のうち、それぞれの深度別符号化単位ごとに、符号化深度の符号化単位が独立して決定されることにより、ツリー構造による符号化単位が決定される。
【０１７７】
段階２３３０で、最大符号化単位のツリー構造による符号化単位を基に、インループ・フィルタリングを行うためのフィルタリング単位が決定され、フィルタリング単位を基に、インループ・フィルタリングが行われる。
【０１７８】
段階２３４０で、インループ・フィルタリングについての情報が符号化され、ピクチャの符号化データ、及び最大符号化単位のツリー構造による符号化単位に係わる符号化モード情報と共に、フィルタリング単位で伝送される。一実施形態によるフィルタ情報は、フィルタリング階層情報、フィルタリング遂行情報、フィルタ係数情報、並びにフィルタリング階層の上限階層及び下限階層についての情報などを含んでもよい。
【０１７９】
図２４は、本発明の一実施形態によるツリー構造による符号化単位に基づいたインループ・フィルタリングを伴うビデオ復号化方法のフローチャートを図示している。段階２４１０で、受信されたビットストリームがパージングされ、現在ピクチャの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、ツリー構造による符号化単位に係わる符号化モード情報、及び最大符号化単位のインループ・フィルタリングについての情報が抽出される。一実施形態によるフィルタ情報として、フィルタリング階層情報、フィルタリング遂行情報、フィルタ係数情報、並びにフィルタリング階層の上限階層及び下限階層についての情報などが抽出されてもよい。
【０１８０】
段階２４２０で、それぞれの最大符号化単位について、抽出されたツリー構造による符号化単位に係わる符号化モード情報に基づいて、符号化単位別に符号化された映像データが復号化される。段階２４３０で、抽出されたインループ・フィルタリングについての情報を利用し、最大符号化単位のツリー構造による符号化単位に基づいて、インループ・フィルタリングのためのフィルタリング単位が決定され、最大符号化単位の復号化された映像データに対して、フィルタリング単位に基づいて、インループ・フィルタリングが行われる。
【０１８１】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。前記コンピュータで読み取り可能な記録媒体は、マグネチック保存媒体（例えば、ＲＯＭ（read  only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）及び光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disc））のような保存媒体を含む。
【０１８２】
以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者は、本発明が本発明の本質的な特性から外れない範囲で変形された形態で現されることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいるあらゆる差異は、本発明に含まれたものであると解釈されねばならない。
【図１】
2013524676.tif 000005
【図２】
2013524676.tif 000006
【図３】
2013524676.tif 000007
【図４】
2013524676.tif 000008
【図５】
2013524676.tif 000009
【図６】
2013524676.tif 000010
【図７】
2013524676.tif 000011
【図８】
2013524676.tif 000012
【図９】
2013524676.tif 000013
【図１０】
2013524676.tif 000014
【図１１】
2013524676.tif 000015
【図１２】
2013524676.tif 000016
【図１３】
2013524676.tif 000017
【図１４】
2013524676.tif 000018
【図１５】
2013524676.tif 000019
【図１６】
2013524676.tif 000020
【図１７】
2013524676.tif 000021
【図１８】
2013524676.tif 000022
【図１９】
2013524676.tif 000023
【図２０】
2013524676.tif 000024
【図２１】
2013524676.tif 000025
【図２２】
2013524676.tif 000026
【図２３】
2013524676.tif 000027
【図２４】
2013524676.tif 000028
【国際調査報告】
2013524676.tif 000029
2013524676.tif 000030