(57)【要約】  符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方式に係り、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される符号化単位、符号化単位の予測及び変換のための予測単位、及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。
2013524715.tif 000002
【特許請求の範囲】
【請求項１】
１枚のピクチャを、最大サイズのデータ単位である最大符号化単位に分割する段階と、
前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される符号化単位と、前記符号化単位の予測及び変換のための予測単位及び変換単位と、を決定する段階と、
前記符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、
前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定する段階と、
前記決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う段階と、を含むことを特徴とする符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項２】
前記フィルタリング境界を決定する段階は、
前記符号化単位、予測単位及び変換単位のうち、所定サイズ以上のデータ単位が有する境界に基づいて、前記フィルタリング境界を決定することを特徴とする請求項１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項３】
前記フィルタリング強度を決定する段階は、
前記フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モードがイントラモードであるかインターモードであるかということ；前記フィルタリング境界に隣接したピクセルの変換係数値が０ではない値を有するか否かということ；及び前記フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モードがインターモードである場合、前記隣接したピクセルが属する予測単位の動き予測に利用される参照フレーム及び動きベクトル；に基づいて、前記フィルタリング強度を決定することを特徴とする請求項１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項４】
前記フィルタリング強度を決定する段階は、
前記フィルタリング強度をＢｓとするとき、前記Ｂｓは、０、１、２、３、４の５段階に区分され、前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルをｐ０及びｑ０とするとき、
前記ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードがイントラモードであり、前記フィルタリング境界が符号化単位の境界である場合、前記フィルタリング強度Ｂｓは、最も強いフィルタリングを示すＢｓ＝４の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードがイントラモードであり、前記フィルタリング境界が符号化単位の境界ではない場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝３の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードがいずれもイントラモードではなく、前記ｐ０及びｑ０が属する変換単位が、少なくとも一つが０ではない変換係数値を有する場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝２の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードが、いずれもイントラモードではなく、前記ｐ０及びｑ０が属する符号化単位がいずれも０である変換係数値を有し、前記ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルのうち、いずれか一つが異なる場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝１の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードがいずれもイントラモードではなく、前記ｐ０及びｑ０が属する変換単位がいずれも０である変換係数値を有し、前記ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルが同一である場合、前記フィルタリング強度Ｂｓは、最も弱いフィルタリング強度を意味するＢｓ＝０の値を有するように決定されることを特徴とする請求項１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項５】
前記デブロッキング・フィルタリングを行う段階は、
前記フィルタリング強度、及び前記フィルタリング境界を基準に隣接した所定個数のピクセルのピクセル値間の絶対値差と、所定の臨界値との比較結果に基づいて、前記フィルタリング境界に対する前記デブロッキング・フィルタリング遂行いかんを決定する段階をさらに含むことを特徴とする請求項１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項６】
前記デブロッキング・フィルタリング遂行いかんを決定する段階は、
前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値、及び前記フィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値が、前記ピクセルが属した変換単位の量子化パラメータによって決定された所定臨界値より小さく、かつ前記フィルタリング強度が最も弱いフィルタリング強度ではない場合にのみ、前記デブロッキング・フィルタリングを行うことによって決定することを特徴とする請求項５に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項７】
前記デブロッキング・フィルタリングを行う段階は、
前記フィルタリング強度；前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値；及び前記フィルタリング境界を基準に同一側面に隣接して位置したピクセルピクセル値の差の絶対値；に基づいて、前記フィルタリング境界に隣接してフィルタリングされるピクセルの個数及びフィルタタップ係数を決定する段階と、
前記フィルタタップ係数に基づいた加重和を介して、前記フィルタリングされるピクセルのピクセル値を変更する段階と、を含むことを特徴とする請求項１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法。
【請求項８】
受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位についての符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングに係わる情報を抽出する段階と、
前記ツリー構造による符号化単位についての符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する段階と、
前記デブロッキング・フィルタリングに係わる情報を利用し、前記ツリー構造による符号化単位、前記予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、
前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定する段階と、
前記決定されたフィルタリング強度に基づいて、前記復号化された映像データについて、デブロッキング・フィルタリングを行う段階と、を含むことを特徴とする符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項９】
前記フィルタリング境界を決定する段階は、
前記符号化単位、予測単位及び変換単位のうち、所定サイズ以上のデータ単位を有する境界に基づいて、前記フィルタリング境界を決定することを特徴とする請求項８に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１０】
前記フィルタリング強度を決定する段階は、
前記フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モードがイントラモードであるか、あるいはインターモードであるかということと、前記フィルタリング境界に隣接したピクセルの変換係数値が０ではない値を有するか否かということと、によって、前記フィルタリング強度を決定することを特徴とする請求項８に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１１】
前記フィルタリング強度を決定する段階は、
前記フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モードがインターモードである場合、前記隣接したピクセルが属する予測単位の動き予測に利用される参照フレーム及び動きベクトルに基づいて、前記フィルタリング強度を決定することを特徴とする請求項８に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１２】
前記フィルタリング強度をＢｓとするとき、前記Ｂｓは、０、１、２、３、４の５段階に区分され、前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルをｐ０及びｑ０とするとき、
前記ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードが、イントラモードであり、前記フィルタリング境界が符号化単位の境界である場合、前記フィルタリング強度Ｂｓは、最も強いフィルタリングを示すＢｓ＝４の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードが、イントラモードであり、前記フィルタリング境界が符号化単位の境界ではない場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝３の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードがいずれもイントラモードではなく、前記ｐ０及びｑ０が属する変換単位が、少なくとも一つが０ではない変換係数値を有する場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝２の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードが、いずれもイントラモードではなく、前記ｐ０及びｑ０が属する変換単位がいずれも０である変換係数値を有し、前記ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルのうち、いずれか一つが異なる場合、前記フィルタリング強度Ｂｓは、Ｂｓ＝１の値を有するように決定され、
前記ｐ０及びｑ０が属する符号化単位の予測モードが、いずれもイントラモードではなく、前記ｐ０及びｑ０が属する変換単位が、いずれも０である変換係数値を有し、前記ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルが同一である場合、前記フィルタリング強度Ｂｓは、最も弱いフィルタリング強度を意味するＢｓ＝０の値を有するように決定されることを特徴とする請求項８に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１３】
前記デブロッキング・フィルタリングを行う段階は、
前記フィルタリング強度、及び前記フィルタリング境界を基準に隣接した所定個数のピクセルのピクセル値間の絶対値差と所定の臨界値との比較結果に基づいて、前記フィルタリング境界に対する前記デブロッキング・フィルタリング遂行いかんを決定する段階をさらに含むことを特徴とする請求項８に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１４】
前記デブロッキング・フィルタリング遂行いかんを決定する段階は、
前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値、及び前記フィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値が、前記ピクセルが属した符号化単位の量子化パラメータによって決定された所定臨界値より小さく、かつ前記フィルタリング強度が最も弱いフィルタリング強度ではない場合にのみ、前記デブロッキング・フィルタリングを行うことによって決定することを特徴とする請求項１３に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【請求項１５】
前記デブロッキング・フィルタリングを行う段階は、
前記フィルタリング強度；前記フィルタリング境界と隣接しつつ、前記フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値；及び前記フィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値；に基づいて、前記フィルタリング境界に隣接してフィルタリングされるピクセルの個数及びフィルタタップ係数を決定する段階と、
前記フィルタタップ係数に基づいた加重和を介して、前記フィルタリングされるピクセルのピクセル値を変更する段階と、を含むことを特徴とする請求項１１に記載の符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオの符号化及び復号化に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、所定サイズのマクロブロックに基づいて、制限された符号化方式によって符号化されている。
【０００３】
マクロブロックに基づいた予測符号化方式は、ブロック間の境界でのピクセル値の不連続によって、ブロッキング効果（blocking  effect）を誘発することがある。従って、ビデオコーデックでは、ビデオ圧縮率を向上させて復元映像の画質を向上させるために、デブロッキング・フィルタリングを行う。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、従来のマクロブロック基盤符号化方式の限界を克服し、新たなツリー構造の符号化単位を利用したビデオコーデックで、デブロッキング・フィルタリングを行う方法を提供するものである。
【課題を解決するための手段】
【０００５】
本発明は、ツリー構造符号化単位に基づいて符号化されるビデオで、符号化単位の境界領域で発生するブロッキング効果を低減させるデブロッキング・フィルタリングを行う方法及びその装置を提供する。
【発明の効果】
【０００６】
本発明の実施形態によれば、ツリー構造符号化単位に基づいて圧縮復元されたビデオから、ブロッキング効果を除去することによって、圧縮復元されたビデオの品質を大きく改善することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図である。
【図２】一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図である。
【図３】本発明の一実施形態による符号化単位の概念を図示する図面である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による深度別符号化単位及び予測単位を図示する図面である。
【図７】本発明の一実施形態による、符号化単位及び変換単位の関係を図示する図面である。
【図８】本発明の一実施形態による深度別符号化情報を図示する図面である。
【図９】本発明の一実施形態による深度別符号化単位を図示する図面である。
【図１０】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１１】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１２】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図面である。
【図１３】表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図面である。
【図１４】本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位及び変換単位を含むデータ単位を図示する図面である。
【図１５】図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基準に決定されたフィルタリング境界を図示する図面である。
【図１６】図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基準に決定されたフィルタリング境界を図示する図面である。
【図１７】図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基準に決定されたフィルタリング境界を図示する図面である。
【図１８】図１７のフィルタリング境界を基準に、本発明の一実施形態によるデブロッキング・フィルタリングリング過程を説明するための参照図である。
【図１９Ａ】本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。
【図１９Ｂ】本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。
【図２０Ａ】本発明の一実施形態によって、臨界値α及びβを決定するための参照テーブルである。
【図２０Ｂ】本発明の一実施形態によって、臨界値α及びβを決定するための参照テーブルである。
【図２１】本発明の一実施形態による、臨界値αについて設定されるオフセット値設定過程について説明するための参照図である。
【図２２Ａ】本発明の一実施形態によって、デブロッキング・フィルタリング過程に利用される所定の中間値ｔｃを決定するのに利用される参照テーブルである。
【図２２Ｂ】本発明の一実施形態によって、デブロッキング・フィルタリング過程に利用される所定の中間値ｔｃを決定するのに利用される参照テーブルである。
【図２３】本発明の一実施形態による符号化単位に基づいたビデオ符号化方法のフローチャートである。
【図２４】本発明の一実施形態による符号化単位に基づいたビデオ復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００８】
本発明の一実施形態による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化方法は、１枚のピクチャを、最大サイズのデータ単位である最大符号化単位に分割する段階と、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される符号化単位と、前記符号化単位の予測及び変換のための予測単位及び変換単位と、を決定する段階と、前記符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいてデブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う段階と、を含む。
【０００９】
本発明の一実施形態による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化方法は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位についての符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングに係わる情報を抽出する段階と、前記ツリー構造による符号化単位についての符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する段階と、前記デブロッキング・フィルタリングに係わる情報を利用し、前記ツリー構造による符号化単位、前記予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定する段階と、前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定する段階と、前記決定されたフィルタリング強度に基づいて、前記復号化された映像データについて、デブロッキング・フィルタリングを行う段階と、を含む。
【００１０】
本発明の一実施形態による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化装置は、１枚のピクチャを符号化するための分割された最大サイズのデータ単位である最大符号化単位において、前記最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される符号化単位と、前記符号化単位の予測及び変換のための予測単位及び変換単位と、を決定する符号化単位決定部；前記符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定し、前記決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行うデブロッキング・フィルタリング部；及び前記デブロッキング・フィルタリングに係わる情報を符号化し、前記ピクチャの符号化データ及び前記最大符号化単位のツリー構造による符号化単位についての符号化モード情報を共に伝送する伝送部；を含む。
【００１１】
本発明の一実施形態による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位についての符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングに係わる情報を抽出する受信部及び抽出部；前記ツリー構造による符号化単位についての符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する復号化部；及び前記デブロッキング・フィルタリングに係わる情報を利用し、前記ツリー構造による符号化単位、前記予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、前記決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定し、前記決定されたフィルタリング強度に基づいて、前記復号化された映像データについて、デブロッキング・フィルタリングを行うデブロッキング・フィルタリング部；を含む。
【００１２】
図１は、本発明の一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ符号化装置のブロック図を図示している。
【００１３】
一実施形態によるツリー構造による符号化単位に基づいたデブロッキングを遂行するビデオ符号化装置１００（以下、「ビデオ符号化装置１００」とする）は、符号化単位決定部１１０、デブロッキング・フィルタリング部１３０及び伝送部１２０を含む。
【００１４】
一実施形態による符号化単位決定部１１０は、ビデオの１枚のピクチャの映像データを入力され、最大サイズのデータ単位である最大符号化単位に分割する。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦横サイズが８より大きい２の自乗である正方形のデータ単位であってもよい。
【００１５】
一実施形態による符号化単位決定部１１０は、それぞれの最大符号化単位ごとに、空間的に分割された領域別に、階層的構造の符号化単位を決定する。最大符号化単位の階層的構造の符号化単位は、最大符号化単位の空間的分割回数を示す深度に基づいて表現される。望ましくは、ツリー構造による符号化単位は、最大符号化単位に含まれる全ての深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内において同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されてもよい。
【００１６】
一実施形態による符号化単位決定部１１０は、現在最大符号化単位に含まれる深度別符号化単位をそれぞれ符号化し、領域別に、上位深度及び下位深度の符号化単位に係わる符号化結果を比較し、最適の符号化結果を出力する符号化単位及び当該深度である符号化深度を決定することができる。また、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。
【００１７】
従って、一実施形態による符号化単位決定部１１０は、最大符号化単位ごとに、領域別に独立して決定された符号化深度の符号化単位から構成されたツリー構造による符号化単位を決定することができる。また、一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位を決定する過程で、予測符号化を行う。一実施形態による符号化単位決定部１１０は、符号化深度の符号化単位が最適の符号化結果を出力するための予測符号化が遂行されるデータ単位である予測単位またはパーティションを決定することができる。例えば、サイズ２Ｎｘ２Ｎの符号化単位に係わるパーティションタイプは、サイズ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮのパーティションを含んでもよい。一実施形態によるパーティションタイプは、符号化単位の高さまたは幅が対称的な比率に分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的な比率に分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。また、パーティションタイプの予測モードは、インターモード、イントラモード、スキップモードなどを含んでもよい。
【００１８】
一実施形態による符号化単位は、最大サイズ及び深度で特徴づけられる。深度とは、符号化単位が最大符号化単位から階層的に分割される回数による指標であり、深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割される。最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位に定義されてもよい。最大符号化単位は、深度が深くなるにつれ、深度別符号化単位の大きさは小さくなるので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含む。
【００１９】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と係わる指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示すことができる。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示すことができる。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度が２に設定される。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は、４、第２最大深度は、５に設定されてもよい。
【００２０】
一実施形態による最大符号化単位のツリー構造による符号化単位及びパーティションの決定方式については、図３ないし図１３を参照して詳細に説明する。
【００２１】
一実施形態によるデブロッキング・フィルタリング部１３０は、符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。例えば、デブロッキング・フィルタリング部１３０は、後述するように、符号化単位、予測単位及び変換単位が決定されれば、これら符号化単位、予測単位及び変換単位の大きさなどを基に、所定サイズ以上を有するデータ単位の境界をデブロッキング・フィルタリングを行うフィルタリング境界として決定し、フィルタリング境界に隣接したピクセル値に対するデブロッキング・フィルタリングを行うことができる。
【００２２】
一実施形態による伝送部１２０は、デブロッキング・フィルタリング部１３０によって決定されたデブロッキング・フィルタリングに係わる情報を符号化し、ピクチャの符号化されたデータ、及び最大符号化単位のツリー構造による符号化単位についての符号化モード情報を共に伝送することができる。デブロッキング・フィルタリングに係わる情報は、ツリー構造による符号化単位、予測単位及び変換単位などのデータ単位が有する境界のうち、デブロッキング・フィルタリングが行われるデータ単位を決定するためのデータ単位サイズのようなフィルタリング境界決定情報を含んでもよい。
【００２３】
一実施形態による伝送部１２０は、デブロッキング・フィルタリングに係わる情報を、ピクチャのＳＰＳ（sequence  parameter  set）またはＰＰＳ（picture  parameter  set）に挿入して伝送することができる。
【００２４】
一実施形態によるデブロッキング・フィルタリングのためのフィルタリング境界の決定及びデブロッキング・フィルタリング過程については、図１４ないし図２４を参照して後述する。
【００２５】
一実施形態による符号化単位決定部１１０は、現在ピクチャの特性を考慮して決定された最大符号化単位の大きさ及び最大深度を基に、それぞれの最大符号化単位ごとに、
最適の形態及び大きさの符号化単位を決定することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化することができるので、多様な映像サイズの符号化単位の映像特性を考慮して、最適の符号化モードが決定される。
【００２６】
映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、大きさが１６ｘ１６または８ｘ８に固定されている既存マクロブロック単位に符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、一実施形態による符号化単位決定部１１０は、映像の大きさを考慮して、符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節することができるので、ビデオに係わる最終的な圧縮効率が上昇する。
【００２７】
また、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを介して、デブロッキング・フィルタリングが行われた参照ピクチャを利用することによって、原本ピクチャとの誤差を減少させる予測符号化が行われてもよい。
【００２８】
図２は、一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置のブロック図を図示している。
【００２９】
一実施形態によるツリー構造による符号化単位に基づいたデブロッキング・フィルタリングを行うビデオ復号化装置２００（以下、「ビデオ復号化装置２００」とする）は、受信部及び抽出部２１０、復号化部２２０及びデブロッキング・フィルタリング部２３０を含む。
【００３０】
一実施形態による受信部及び抽出部２１０は、ビデオに係わるビットストリームを受信してパージングし、最大符号化単位別に、ツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、ツリー構造による符号化単位についての符号化モード情報、及びデブロッキング・フィルタリングに係わる情報を抽出する。一実施形態による受信部及び抽出部２１０は、デブロッキング・フィルタリングに係わる情報を、ピクチャのＳＰＳまたはＰＰＳから抽出することもできる。
【００３１】
一実施形態による復号化部２２０は、受信部及び抽出部２１０によって抽出されたツリー構造による符号化単位についての符号化モード情報に基づいて、符号化単位別に符号化された映像データを復号化する。
【００３２】
一実施形態による復号化部２２０は、最大符号化単位別ツリー構造による符号化単位についての符号化モード情報に基づいて、最大符号化単位内に含まれる符号化深度の符号化単位及び当該符号化単位のパーティションタイプ、予測モード、変換単位などを決定することができる。
【００３３】
一実施形態による復号化部２２０は、最大符号化単位に含まれるツリー構造による符号化単位において、それぞれの符号化単位ごとに、決定されたパーティションタイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することによって、最大符号化単位の符号化された映像データを復号化することができる。
【００３４】
復号化部２２０によって復号化された映像データ、及び受信部及び抽出部２１０によって抽出されたデブロッキング・フィルタリングに係わる情報が、一実施形態によるデブロッキング・フィルタリング部２３０に入力される。
【００３５】
一実施形態によるデブロッキング・フィルタリング部２３０は、デブロッキング・フィルタリングに係わる情報を利用し、ツリー構造による符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいてフィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについて、デブロッキング・フィルタリングを行う。
【００３６】
一実施形態によるデブロッキング・フィルタリング部２３０を介してデブロッキング・フィルタリングが行われた参照ピクチャを参照し、次のピクチャに対する予測復号化が行われるので、復元映像と原本映像との誤差が減少する。
【００３７】
図３は、本発明の一実施形態による符号化単位の概念を図示している。
【００３８】
符号化単位の例は、符号化単位の大きさは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含んでもよい。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２の予測単位に分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６の予測単位に、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８の予測単位に、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４の予測単位に分割されてもよい。
【００３９】
ビデオデータ３１０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が２に設定されている。ビデオデータ３２０については、解像度が１９２０ｘ１０８０、符号化単位の最大サイズが６４、最大深度が３に設定されている。ビデオデータ３３０については、解像度が３５２ｘ２８８、符号化単位の最大サイズが１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの全分割回数を示す。
【００４０】
解像度が高いか、あるいはデータ量が多い場合、符号化効率の向上だけでなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択される。
【００４１】
ビデオデータ３１０の最大深度が２であるので、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２、１６である符号化単位まで含んでもよい。また、ビデオデータ３３０の最大深度が１であるので、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含んでもよい。
【００４２】
ビデオデータ３２０の最大深度が３であるので、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割され深度が３階層深くなり、長軸サイズが３２、１６、８である符号化単位まで含んでもよい。深度が深くなるほど、ｐ詳細情報の表現能力が向上する。
【００４３】
図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を図示している。
【００４４】
一実施形態による映像符号化部４００は、一実施形態によるビデオ符号化装置１００に対応する。すなわち、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの符号化単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの現在フレーム４０５及び参照フレーム４９５を利用して、インター推定及び動き補償を遂行する。
【００４５】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力されたデータは、周波数変換部４３０及び量子化部４４０を経て量子化された変換係数として出力される。量子化された変換係数は、逆量子化部４６０、逆周波数変換部４７０を介して、空間領域のデータに復元され、復元された空間領域のデータは、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５として出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力される。
【００４６】
一実施形態による映像符号化部４００のイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、逆量子化部４６０、逆周波数変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、最大符号化単位別に、ツリー構造による符号化単位を考慮して動作することができる。
【００４７】
特に、デブロッキング・フィルタリング部４８０は、符号化単位の最大サイズ及びツリー構造による符号化単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。
【００４８】
図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を図示している。ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化されたビデオデータ、及び復号化のために必要な符号化に係わる情報がパージングされる。符号化されたビデオデータは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、逆周波数変換部５４０を経て、空間領域の映像データが復元される。
【００４９】
空間領域の映像データについて、イントラ予測部５５０は、イントラモードの符号化単位についてイントラ予測を行い、動き補償部５６０は、参照フレーム５８５を共に利用して、インターモードの符号化単位について動き補償を行う。
【００５０】
イントラ予測部５５０及び動き補償部５６０を経た空間領域のデータは、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理され、復元フレーム５９５として出力される。また、デブロッキング部５７０及びループ・フィルタリング部５８０を経て後処理されたデータは、参照フレーム５８５として出力される。
【００５１】
一実施形態によるビデオ復号化装置２００の復号化部２２０で、映像データを復号化するため、一実施形態による映像復号化部５００のパージング部５１０以後の段階別動作が遂行される。
【００５２】
一実施形態による映像復号化部５００は、一実施形態によるビデオ復号化装置２００に相応するので、映像復号化部５００のパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、逆周波数変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０が、最大符号化単位ごとに、ツリー構造による符号化単位に基づいて作業を行わなければならない。
【００５３】
特に、デブロッキング部５７０は、パージングされたデブロッキング・フィルタリングに係わる情報を利用し、ツリー構造による符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、決定されたフィルタリング強度に基づいて、復号化された映像データについて、デブロッキング・フィルタリングを行う。デブロッキング・フィルタリングに係わる具体的な動作は、図１４以下で後述する。
【００５４】
図６は、本発明の一実施形態による深度別符号化単位及び予測単位を図示している。一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、映像特性を考慮するために領域別に独立して決定されたツリー構造による符号化単位を使う。符号化単位の最大高及び最大幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって多様に設定されもする。既設定の符号化単位の最大サイズによって、深度別符号化単位の大きさが決定されてもよい。
【００５５】
一実施形態による符号化単位の階層構造６００は、符号化単位の最大高及び最大幅が６４であり、最大深度が５である場合を図示している。図６に図示された最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示す。
【００５６】
一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測符号化の基になる部分的データ単位である予測単位（または、パーティション）が図示されている。
【００５７】
すなわち、符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって深度が０であり、符号化単位の大きさ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【００５８】
それぞれの深度別に横軸に沿って、符号化単位の予測単位として、パーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６であってもよい。反対から見れば、符号化単位は、予測単位６１０，６１２，６１４，６１６を含む最小サイズの正方形のデータ単位である。
【００５９】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６であってもよい。
【００６０】
同様に、深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６であってもよい。
【００６１】
同様に、深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６であってもよい。
【００６２】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最下位深度の符号化単位であり、サイズ４ｘ４の符号化単位６５０の予測単位は、サイズ４ｘ４のパーティション６５０、サイズ４ｘ２のパーティション６５２、サイズ２ｘ４のパーティション６５４、サイズ２ｘ２のパーティション６５６であってもよい。
【００６３】
一実施形態によるビデオ符号化装置１００の符号化単位決定部１１０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに、符号化を行わなければならない。
【００６４】
同一の範囲及び大きさのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位一つを含むデータに、深度２の符号化単位は、四つが含まれる。従って、同一データの符号化結果を深度別に比較するために、１つの深度１の符号化単位及び４つの深度２の符号化単位を利用して、それぞれ符号化されなければならない。
【００６５】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で最小の符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度が深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較して、最小符号化誤差が検索される。最大符号化単位６１０において、最小符号化誤差が発生する深度及び予測単位が、最大符号化単位６１０の符号化深度及びパーティションタイプに選択されてもよい。
【００６６】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【００６７】
一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同サイズの符号化単位で映像を符号化したり復号化する。符号化過程のうち、周波数変換のための変換単位の大きさは、それぞれの符号化単位より大きくないデータ単位を基に選択される。
【００６８】
例えば、一実施形態によるビデオ符号化装置１００、または一実施形態によるビデオ復号化装置２００で、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。
【００６９】
また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位で、それぞれ周波数変換を行って符号化した後、原本との誤差が最小である変換単位が選択される。
【００７０】
図８は、本発明の一実施形態によって、深度別符号化モード情報を図示している。
【００７１】
一実施形態によるビデオ符号化装置１００は、ツリー構造による符号化単位についての符号化モード情報であり、それぞれの符号化深度の符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【００７２】
パーティションタイプに係わる情報８００は、現在符号化単位の予測符号化のために、予測単位（パーティション）として、現在符号化単位が分割されたタイプに係わる情報を示す。例えば、深度０及びサイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、サイズＮｘＮの予測単位８０８のうちいずれか１つのタイプに分割され、予測単位に利用される。その場合、現在符号化単位のパーティションタイプに係わる情報８００は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６及びサイズＮｘＮの予測単位８０８のうち一つを示すように設定される。
【００７３】
予測モードに係わる情報８１０は、それぞれの符号化単位の予測モードを示す。例えば、予測モードに係わる情報８１０を介して、パーティションタイプに係わる情報８００が示す予測単位が、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち、いずれの一つによって予測符号化が行われるか設定される。
【００７４】
また、変換単位サイズに係わる情報８２０は、現在符号化単位をいかなる変換単位を基に周波数変換を行うかを示す。例えば、変換単位は、イントラモードの第１サイズ８２２及び第２サイズ８２４、インターモードの第１サイズ８２６及び第２サイズ８２８のうち一つである。
【００７５】
一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティションタイプに係わる情報８００、予測モードに係わる情報８１０、変換単位サイズに係わる情報８２０を抽出し、復号化部２２０が、この情報８００，８１０，８２０を復号化に利用することができる。
【００７６】
図９は、本発明の一実施形態による深度別符号化単位を図示している。
【００７７】
深度の変化を示すために、分割情報が利用されてもよい。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示す。
【００７８】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティションタイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティションタイプ９１８を含んでもよい。符号化単位が対称的な比率に分割されたパーティション９１２，９１４，９１６，９１８だけが例示されているが、前述のように、パーティションタイプは、これらに限定されるものではない。
【００７９】
パーティションタイプごとに、１つの２Ｎ＿０ｘ２Ｎ＿０サイズの予測単位、２つの２Ｎ＿０ｘＮ＿０サイズの予測単位、２つのＮ＿０ｘ２Ｎ＿０サイズの予測単位、４つのＮ＿０ｘＮ＿０サイズの予測単位ごとに、反復的に予測符号化が行われなければならない。サイズ２Ｎ＿０ｘ２Ｎ＿０、サイズＮ＿０ｘ２Ｎ＿０、サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０の予測単位については、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０の予測単位についてのみ予測符号化が行われる。
【００８０】
サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティションタイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さければ、それ以上下位深度に分割する必要ない。
【００８１】
サイズＮ＿０ｘＮ＿０のパーティションタイプ９１８による符号化誤差が最も小さければ、深度０を１に変更しつつ分割され（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティションタイプの符号化単位９３０に対して反復的に符号化を行い、最小符号化誤差を検索して行くことができる。
【００８２】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティションタイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティションタイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティションタイプ９４６、サイズＮ＿１ｘＮ＿１のパーティションタイプ９４８を含んでもよい。また、サイズＮ＿１ｘＮ＿１サイズのパーティションタイプ９４８による符号化誤差が最も小さければ、深度１を深度２に変更しつつ分割され（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について、反復的に符号化を行い、最小符号化誤差を検索して行くことができる。
【００８３】
最大深度がｄである場合、深度別符号化単位は、深度ｄ−１になるまで設定され、分割情報は、深度ｄ−２まで設定されてもよい。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティションタイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８を含んでもよい。
【００８４】
パーティションタイプにおいて、１つのサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、４つのサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位ごとに、反復的に予測符号化を介した符号化が行われ、最小符号化誤差が発生するパーティションタイプが検索される。
【００８５】
サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションタイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるので、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１として決定され、パーティションタイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）として決定される。また、最大深度がｄであるので、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。
【００８６】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」であると指称される。一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割された大きさの正方形のデータ単位であり、最大符号化単位に含まれる全ての符号化深度の符号化単位、予測単位及び変換単位に含まれる最大サイズの正方形データ単位である。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最小の符号化誤差が発生する深度を選択し、符号化深度を決定し、当該パーティションタイプ及び予測モードが、符号化深度の符号化モードに設定される。
【００８７】
このように、深度０，１，…，ｄ−１，ｄの全ての深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度として決定される。符号化深度及び当該深度の予測単位は、符号化モードに係わる情報として符号化されて伝送される。また、深度０から符号化深度に至るまで符号化単位が分割されなければならないので、符号化深度の分割情報だけが「０」に設定され、符号化深度を除いた深度別分割情報は、「１」に設定されなければならない。
【００８８】
一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、符号化単位９００に係わる符号化深度、及び予測単位に係わる情報を抽出し、符号化単位９００を復号化するのに利用することができる。一実施形態によるビデオ復号化装置２００は、深度別分割情報を利用して、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用して、当該符号化単位の符号化されたデータを復号化することができる。
【００８９】
図１０、図１１及び図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【００９０】
符号化単位グループ１０１０は、現在最大符号化単位について、一実施形態によるビデオ符号化装置１００が決定したツリー構造による符号化単位である。予測単位グループ１０６０は、符号化単位グループ１０１０において、それぞれの符号化深度の符号化単位の予測単位であり、変換単位グループ１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【００９１】
符号化単位グループ１０１０は、最大符号化単位の深度が０であるとすれば、深度１の符号化単位１０１２，１０５４、深度２の符号化単位１０１４，１０１６，１０１８，１０２８，１０５０、１０５２、深度３の符号化単位１０２０、１０２２，１０２４，１０２６，１０３０，１０３２，１０４８、深度４の符号化単位１０４０，１０４２，１０４４，１０４６を含む。
【００９２】
予測単位１０６０のうち一部（１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４）は、それぞれの符号化単位が分割されたタイプである。すなわち、予測単位１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティションタイプであり、予測単位１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティションタイプ、予測単位１０３２は、ＮｘＮのパーティションタイプである。すなわち、予測単位は、それぞれの符号化単位より小さいか、あるいは同じである。
【００９３】
変換単位１０７０のうち一部（１０５２）の映像データについては、符号化単位に比べて小サイズのデータ単位であり、周波数変換または逆周波数変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、当該符号化単位の予測単位と互いに異なるサイズまたは形態のデータ単位である。すなわち、１つの符号化単位の変換単位及び予測単位は、それぞれ独立して決定される。従って、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００は、同一符号化単位に係わるイントラ予測／動き推定／動き補償作業、及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。
【００９４】
これによって、最大符号化単位ごとに、領域別に階層的な構造の符号化単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。
【００９５】
符号化情報は、符号化単位に係わる分割情報、パーティションタイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００、及び一実施形態によるビデオ復号化装置２００で利用される符号化モード情報の一例を図示している。
【００９６】
【表１】
2013524715.tif 000003
一実施形態によるビデオ符号化装置１００の伝送部１２０は、ツリー構造による符号化単位についての符号化モード情報を出力し、一実施形態によるビデオ復号化装置２００の受信部及び抽出部２１０は、受信されたビットストリームから、ツリー構造による符号化単位についての符号化モード情報を抽出することができる。
【００９７】
分割情報は、現在符号化単位が、下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位がそれ以上分割されない符号化深度であるので、符号化深度について、パーティションタイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報が１であるならば、下位深度に１段階さらに分割されるので、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われなければならない。
【００９８】
予測モード情報は、イントラモード、インターモード及びスキップモードのうち一つで示すことができる。イントラモード及びインターモードは、全てのパーティションタイプ情報で定義され、スキップモードは、パーティションタイプ２Ｎｘ２Ｎでのみ定義される。
【００９９】
パーティションタイプ情報は、対称的パーティションタイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、符号化単位の高さまたは幅が、非対称的な比率で分割された非対称的パーティションタイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示すことができる。非対称的パーティションタイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティションタイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１００】
変換単位サイズ情報は、変換単位分割情報によって、２種の大きさに設定される。すなわち、変換単位分割情報が０であるならば、変換単位のサイズ２Ｎｘ２Ｎが現在符号化単位の大きさに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、現在符号化単位に係わるパーティションタイプが対称形パーティションタイプであるならば、変換単位の大きさは、ＮｘＮ、非対称形パーティションタイプであるならば、Ｎ／２ｘＮ／２に設定される。
【０１０１】
一実施形態によるツリー構造による符号化単位の符号化モード情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つに対して割り当てられてもよい。符号化深度の符号化単位は、同一符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。従って、隣接したデータ単位同士それぞれ割り当てられた符号化情報を確認すれば、同一符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位に割り当てられた符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の衣符号化深度の分布が類推される。
【０１０２】
従って、その場合、現在符号化単位が、周辺データ単位を参照して予測符号化するために、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用されてもよい。
【０１０３】
他の実施形態で、現在符号化単位が周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用して、深度別符号化単位内で現在符号化単位に隣接するデータを検索することによって、周辺符号化単位が参照されもする。
【０１０４】
図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるので、分割情報が０に設定される。サイズ２Ｎｘ２Ｎの符号化単位１３１８の予測単位のパーティションタイプ情報は、パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６，ＮｘＮ  １３２８，２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定されてもよい。
【０１０５】
パーティションタイプ情報が、対称形パーティションタイプ２Ｎｘ２Ｎ  １３２２，２ＮｘＮ  １３２４，Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定される。
【０１０６】
パーティションタイプ情報が、非対称形パーティションタイプ２ＮｘｎＵ  １３３２，２ＮｘｎＤ  １３３４，ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定される。
【０１０７】
図１４は、本発明の一実施形態によって、最大符号化単位、各最大符号化単位を細分したツリー構造による符号化単位、各符号化単位を細分した予測単位、及び変換単位を含むデータ単位を図示している。すなわち、図１４は、前述の図１０ないし図１２に図示されたような符号化単位、予測単位及び変換単位を全部含むデータ単位をオーバーラッピングして、一つに表示したのである。図１４で、最大符号化単位の大きさは、３２ｘ３２と仮定し、符号化深度の符号化単位は、実線で図示され、符号化深度の符号化単位が分割された形態の予測単位及び変換単位は、符号化単位内に点線で図示される。また、ツリー構造の符号化単位の符号化深度が０、１、２であり、最大深度が３に設定されたものであると仮定する。
【０１０８】
図１４を参照すれば、データ単位グループ１４００は、サイズ３２ｘ３２の９個の最大符号化単位の符号化深度の符号化単位を含んでいる。前述のように、最大符号化単位ごとに、深度によって区別される階層的な構造の符号化単位を利用して再帰的に符号化が行われ、最適符号化単位が決定される一方、各符号化単位の予測及び変換のための最適の予測単位及び変換単位が決定されてもよい。一実施形態によるデブロッキング・フィルタリング部１３０は、図１４に図示されたような符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定する。
【０１０９】
具体的には、デブロッキング・フィルタリング部１３０は、符号化単位、予測単位及び変換単位のうち所定サイズ以上のデータ単位が有する境界に基づいて、フィルタリング境界を決定することができる。言い替えれば、図１４を参照すれば、現在ピクチャが３２ｘ３２サイズの最大符号化単位に分割され、各最大符号化単位は、さらに深度によって区別される階層的な構造の符号化単位に分割され、各符号化単位は、さらに予測及び変換のために深度別符号化単位よりさらに小サイズの予測単位及び変換単位に分割されるとき、かような符号化単位、予測単位及び変換単位それぞれが有する境界のうち、所定サイズ以上のデータ単位が有する境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界として決定することができる。
【０１１０】
図１５ないし図１７は、それぞれ図１４のデータ単位について、所定サイズ以上のデータ単位が有する境界を基準に決定されたフィルタリング境界を図示している。
【０１１１】
図１４及び図１５を参照すれば、図１４の符号化単位、予測単位及び変換単位が決定されれば、デブロッキング・フィルタリング部１３０は、符号化単位、予測単位及び変換単位それぞれの境界のうち、所定サイズ以上のデータ単位が有する境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界として決定することができる。例えば、デブロッキング・フィルタリング部１３０は、図１５に図示されたように、３２ｘ３２以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界として決定するか、あるいは図１６に図示されたように、１６ｘ１６以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界として決定するか、あるいは図１７に図示されたように、８ｘ８以上の大きさを有する符号化単位、予測単位及び変換単位の境界のみをデブロッキング・フィルタリングが行われるフィルタリング境界として決定することができる。このように、所定サイズ以上のデータ単位が有する境界のみを、デブロッキング・フィルタリングが行われるフィルタリング境界として決定すれば、同一分割形態についても、フィルタリングが行われるフィルタリング境界は変化する。例えば、図１５に図示されたように、３２ｘ３２以上の大きさを有するデータ単位の境界についてのみデブロッキング・フィルタリングが行われると仮定したとき、３２ｘ３２サイズの最大符号化単位１５１０を分割した符号化単位、変換単位及び分割単位の境界のうち、３２ｘ３２サイズの最大符号化単位１５１０と重複する境界部分は除き、内部境界は、フィルタリング境界として考慮されない。これに対し、図１６に図示されたように、１６ｘ１６以上の大きさを有するデータ単位の境界についてのみデブロッキング・フィルタリングが行われる場合には、図１５の最大符号化単位１５１０に対応する最大符号化単位１６１０を分割した符号化単位１６１１ないし１６１４が有する内部境界も、フィルタリング境界として決定される。
【０１１２】
一方、デブロッキング・フィルタリング部１３０は、所定サイズ以上のデータ単位が有する境界でも、フレーム境界に該当する場合には、当該境界をフィルタリング境界として決定しない。すなわち、ピクチャのエッジに該当する最外郭の境界については、本発明の実施形態によるデブロッキング・フィルタリングが行われない。
【０１１３】
図１８は、図１７のフィルタリング境界を基準に、本発明の一実施形態によるデブロッキング・フィルタリング過程について説明するための参照図である。
【０１１４】
デブロッキング・フィルタリング部１３０は、所定サイズ以上のデータ単位の境界を基準に、デブロッキング・フィルタリングが行われるフィルタリング境界が決定されれば、フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定する。
【０１１５】
以下、図１８の水平方向フィルタリング境界１８１０、及び垂直方向フィルタリング境界１８２０のようなフィルタリング境界を基準に、デブロッキング・フィルタリングを行う過程について説明する。
【０１１６】
図１９Ａ及び図１９Ｂは、本発明の一実施形態によるデブロッキング・フィルタリングについて説明するためのフィルタリング境界に位置したピクセルを図示した図面である。
【０１１７】
図１９Ａを参照すれば、水平方向フィルタリング境界を基準に、デブロッキング・フィルタリングを適用する前の水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、ｐ０ないしｐ４及びｑ０ないしｑ４  １９１０と定義する。また、デブロッキング・フィルタリングを適用した後の水平方向フィルタリング境界の上側及び下側に隣接したピクセルのピクセル値を、ｐ０’ないしｐ４’及びｑ０’ないしｑ４’  １９２０と定義する。同様に、１９Ｂを参照すれば、垂直方向フィルタリング境界を基準に、デブロッキング・フィルタリングを適用する前の垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、ｐ０ないしｐ４及びｑ０ないしｑ４  １９３０と定義する。また、デブロッキング・フィルタリングを適用した後の垂直方向フィルタリング境界の左側及び右側に隣接したピクセルのピクセル値を、ｐ０’ないしｐ４’及びｑ０’ないしｑ４’１９４０と定義する。水平方向及び垂直方向のフィルタリング境界を基準にしたデブロッキング・フィルタリング動作は、方向の違いがあるだけであり、同一に動作する。
【０１１８】
デブロッキング・フィルタリング部１３０は、フィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モードが、イントラモードであるか、あるいはインターモードであるか、及びフィルタリング境界に隣接したピクセルの変換係数値が０ではない値を有するか否かによって、フィルタリング強度を決定する。フィルタリング強度をＢｓ（boundary  strength）とするとき、Ｂｓは、０、１、２、３、４の５段階に区分される。Ｂｓの大きさは、フィルタリング強度に比例する。すなわち、Ｂｓ＝４である場合が、最も強いデブロッキング・フィルタリング強度を意味し、Ｂｓ＝０である場合は、最も弱いデブロッキング・フィルタリング強度を意味する。Ｂｓ＝０である場合は、デブロッキング・フィルタリングが行われないこともある。
【０１１９】
具体的には、フィルタリング境界と隣接しつつ、フィルタリング境界を基準に分離されたピクセルを、ｐ０及びｑ０とするとき、デブロッキング・フィルタリング部１３０は、ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードがイントラモードであり、フィルタリング境界が符号化単位の境界である場合、フィルタリング強度Ｂｓを最も強いフィルタリングを示すＢｓ＝４の値を有するように決定する。例えば、図１８の水平方向フィルタリング境界１８１０を基準に、デブロッキング・フィルタリングを行う場合、デブロッキング・フィルタリング部１３０は、水平方向フィルタリング境界１８１０を基準に、最近接のピクセルｐ０が属する符号化単位１８４０、及びｑ０が属する符号化単位１８３０のうち、少なくとも１つの予測モードがイントラモードであり、現在フィルタリング境界が、符号化単位の境界である場合には、Ｂｓ＝４の値を有するように、フィルタリング強度を決定する。ここで、水平方向フィルタリング境界１８１０が、符号化単位の境界であるか否かということは、最近接のピクセルｐ０が属する符号化単位１８４０、及びｑ０が属する符号化単位１８３０が深度別符号化単位に基づいたデータ単位であるか、あるいは予測及び変換のために、深度別符号化単位を分割した図１１及び図１２の予測単位及び変換単位の境界に該当するか否かによって決定されてもよい。
【０１２０】
また、デブロッキング・フィルタリング部１３０は、ｐ０及びｑ０が属する符号化単位のうち、少なくとも１つの予測モードがイントラモードであり、フィルタリング境界が、符号化単位の境界ではない場合には、フィルタリング強度Ｂｓ＝３の値を有するように決定する。
【０１２１】
また、デブロッキング・フィルタリング部１３０は、ｐ０及びｑ０が属する符号化単位の予測モードがいずれもイントラモードではなく、ｐ０及びｑ０が属する変換単位が、少なくとも一つは、０ではない変換係数値を有する場合、フィルタリング強度ＢｓがＢｓ＝２の値を有するように決定する。
【０１２２】
また、デブロッキング・フィルタリング部１３０は、ｐ０及びｑ０が属する符号化単位の予測モードが、いずれもイントラモードではなく、ｐ０及びｑ０が属する変換単位が、いずれも０である変換係数値を有し、ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルのうちいずれか一つが異なる場合、フィルタリング強度Ｂｓが、Ｂｓ＝１の値を有するように決定する。
【０１２３】
また、デブロッキング・フィルタリング部１３０は、ｐ０及びｑ０が属する符号化単位の予測モードが、いずれもイントラモードではなく、ｐ０及びｑ０が属する変換単位がいずれも０である変換係数値を有し、ｐ０及びｑ０が属する予測単位の動き予測に利用される参照フレーム及び動きベクトルが同一である場合、フィルタリング強度Ｂｓが最も弱いフィルタリング強度を示すＢｓ＝０の値を有するように決定する。
【０１２４】
一方、デブロッキング・フィルタリング部１３０は、決定されたフィルタリング強度、及びフィルタリング境界を基準に隣接した所定個数のピクセルのピクセル値間の絶対値差と所定の臨界値との比較結果に基づいて、フィルタリング境界に対するデブロッキング・フィルタリング遂行いかんを決定することができる。具体的には、デブロッキング・フィルタリング部１３０は、フィルタリング境界と隣接しつつ、フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値、及びフィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値が、ピクセルが属した変換単位の量子化パラメータによって決定された所定臨界値より小さく、かつフィルタリング強度が最も弱いフィルタリング強度ではない場合にのみ、デブロッキング・フィルタリングを行うことによって決定する。例えば、デブロッキング・フィルタリング部１３０は、ｉ）フィルタリング強度Ｂｓが０ではなく、かつｉｉ）
【０１２５】
【数１】
2013524715.tif 000004
である条件をいずれも満足する場合にのみ、フィルタリング境界についてデブロッキング・フィルタリングを行うように、デブロッキング・フィルタリングをオン・オフすることができる。ここで、臨界値α及びβは、ｐ０及びｑ０が属する変換単位の量子化時に利用された量子化パラメータＱＰ（quantization  parameter）に基づいてあらかじめ決定された値である。
【０１２６】
図２０Ａ及び図２０Ｂは、本発明の一実施形態によって、臨界値α及びβを決定するための参照テーブルである。
【０１２７】
図２０Ａ及び図２０Ｂを参照すれば、臨界値α及びβは、indexＡ及びindexＢに基づいて決定されるが、indexＡ及びindexＢは、次の数式：indexＡ＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetＡ）及びindexＢ＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetＢ）によって決定される値である。前記数式で、ｑＰａｖは、ｐ０及びｑ０が属する変換単位が有する量子化パラメータＱＰの平均値を意味する。Clip３（ａ，ｂ，ｃ）は、ｃの範囲がａ≦ｃ≦ｂになるように、ｃの値をクリッピング（clipping）する演算を意味する。例えば、前述の数式：indexＡ＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetＡは、ｑＰａｖ＋FilterOffsetＡの値が０以下であるならば、０にし、５１以上であるならば、５１にするという意味である。また、FilterOffsetＡ及びFilterOffsetＢは、臨界値α及びβそれぞれについて設定された所定のオフセット値を意味する。
【０１２８】
図２１は、本発明の一実施形態によって、臨界値αについて設定されるオフセット値設定過程について説明するための参照図である。一例として、図２１に図示されたような曲線形態でもって、量子化パラメータに比例するように臨界値αが設定される場合、FilterOffsetＡ値を増加させれば、indexＡの値が増加し、結局、図２１に図示されたように、デフォルトに設定された曲線を、右側方向（ｂ方向）に移動させることになる。もしFilterOffsetＡ値を減少させれば、indexＡの値が減少し、図２１に図示されたデフォルトに設定された曲線を、左側方向（ａ方向）に移動させることになる。このように、FilterOffsetＡ及びFilterOffsetＢは、デブロッキング・フィルタリング処理強度を調整するのに利用される。
【０１２９】
デブロッキング・フィルタリング部１３０では、このようにｐ０及びｑ０が属する変換単位の量子化パラメータＱＰ及び所定のオフセット値に基づいて、フィルタリング境界に対するデブロッキング・フィルタリング遂行いかんを決定する。
【０１３０】
デブロッキングが、フィルタリングが行われると決定された境界について、デブロッキング・フィルタリング部１３０は、フィルタリング強度、フィルタリング境界と隣接しつつ、フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値、及びフィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値に基づいて、フィルタリング境界に隣接してフィルタリングされるピクセルの個数並びにフィルタタップ係数を決定する。また、デブロッキング・フィルタリング部１３０は、フィルタタップ係数に基づいた加重和を介して、フィルタリングされるピクセルのピクセル値を変更することによってフィルタリングを行う。
【０１３１】
具体的には、現在フィルタリング境界のフィルタリング強度Ｂｓ＜４である場合、デブロッキング・フィルタリング部１３０は、ｐ１、ｐ０、ｑ０、ｑ１を入力にする４タップＦＩＲ（finite  impulse  response  filter）を利用して、ｐ１’、ｐ０’、ｑ０’、ｑ１’を生成する。デブロッキング・フィルタリング部１３０は、次の数式：
【０１３２】
【数２】
2013524715.tif 000005
によってデルタ△値を計算する。ここでｔｃは、
【０１３３】
【数３】
2013524715.tif 000006
と臨界値βとによって決定される。
【０１３４】
図２２Ａ及び図２２Ｂは、本発明の一実施形態によってｍデブロッキング・フィルタリング過程に利用される所定の中間値ｔｃを決定するのに利用される参照テーブルである。ｔｃは、図２２Ａ及び図２２Ｂに図示されたように、indexＡ及びフィルタリング強度ｂＳによってあらかじめテーブル形態で決定された値を利用して決定される。
【０１３５】
そして、デブロッキング・フィルタリング部１３０は、次の数式：ｐ０’＝ｐ０＋△；ｑ０’＝ｑ０＋△のように、境界に最近接したピクセルｐ０及びｑ０に対するデブロッキング・フィルタリングされたピクセル値を生成する。フィルタリング境界に最近接したピクセルｐ０及びｑ０の次に隣接したピクセルｐ１及びｑ１は、次の数式：ｐ１’＝ｐ１＋△／２；ｑ１’＝ｑ１＋△／２を介して、ピクセル値が変更される。
【０１３６】
一方、現在フィルタリング境界のフィルタリング強度Ｂｓ＝４である場合、デブロッキング・フィルタリング部１３０は、フィルタリング境界と隣接しつつ、フィルタリング境界を基準に分離されたピクセルのピクセル値差の絶対値と、フィルタリング境界を基準に同一側面に隣接して位置したピクセルのピクセル値差の絶対値とに基づいて、フィルタリング境界に隣接してフィルタリングされるピクセルの個数並びにフィルタタップ係数を決定する。具体的には、
【０１３７】
【数４】
2013524715.tif 000007
である場合、デブロッキング・フィルタリング部１３０は、フィルタリング境界に最近接したピクセルｐ０については、入力ピクセル値を、ｐ２、ｐ１、ｐ０、ｑ０、ｑ１にし、｛１，２，２，２，１｝のフィルタタップ係数を有する５タップフィルタを利用してフィルタリングされたピクセル値ｐ０’を生成する。
【０１３８】
ｐ０の次に隣接したピクセルｐ１について、デブロッキング・フィルタリング部１３０は、入力ピクセル値を、ｐ２、ｐ１、ｐ０、ｑ１にし、｛１，１，１，１｝のフィルタタップ係数を有する４タップフィルタを利用してフィルタリングされたピクセル値ｐ１’を生成する。
【０１３９】
ｐ１の次に隣接したピクセルｐ２について、デブロッキング・フィルタリング部１３０は、入力ピクセル値を、ｐ３、ｐ２、ｐ１、ｐ０、ｑ０にし、｛２，３，１，１，１｝のフィルタタップ係数を有する５タップフィルタを利用してフィルタリングされたピクセル値ｐ２’を生成する。
【０１４０】
同様に、
【０１４１】
【数５】
2013524715.tif 000008
である場合、デブロッキング・フィルタリング部１３０は、フィルタリング境界に最近接したピクセルｑ０については、入力ピクセル値を、ｑ２、ｑ１、ｑ０、ｐ０、ｐ１にし、｛１，２，２，２，１｝のフィルタタップ係数を有する５タップフィルタを利用してフィルタリングされたピクセル値ｑ０’を生成する。
【０１４２】
ｑ０の次に隣接したピクセルｑ１について、デブロッキング・フィルタリング部１３０は、入力ピクセル値を、ｑ２、ｑ１、ｑ０、ｐ１にし、｛１，１，１，１｝のフィルタタップ係数を有する４タップフィルタを利用してフィルタリングされたピクセル値ｑ１’を生成する。
【０１４３】
ｑ１の次に隣接したピクセルｑ２について、デブロッキング・フィルタリング部１３０は、入力ピクセル値を、ｑ３、ｑ２、ｑ１、ｑ０、ｐ０にし、て｛２，３，１，１，１｝のフィルタタップ係数を有する５タップフィルタを利用してフィルタリングされたピクセル値ｑ２’を生成する。
【０１４４】
一実施形態によるビデオ復号化装置２００のデブロッキング・フィルタリング部２３０は、ビットストリームからパージングされたデブロッキング・フィルタリングに係わる情報を利用し、ツリー構造による符号化単位、予測単位及び変換単位のうち、少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定し、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及び前記フィルタリング境界に隣接したピクセルの変換係数値に基づいて、前記フィルタリング境界でのフィルタリング強度を決定し、前記決定されたフィルタリング強度に基づいて、前記復号化された映像データについて、デブロッキング・フィルタリングを行う。ビデオ復号化装置２００のデブロッキング・フィルタリング部２３０の動作は、ビデオ符号化装置１００のデブロッキング・フィルタリング部１３０の動作と類似しており、具体的な説明は省略する。
【０１４５】
図２３は、本発明の一実施形態による符号化単位に基づいたビデオ符号化方法のフローチャートである。図２３を参照すれば、段階２３１０で、符号化単位決定部１１０は、１枚のピクチャを、最大サイズのデータ単位である最大符号化単位に分割する。そして、段階２３２０で、符号化単位決定部１１０は、最大符号化単位の空間的分割回数を示す深度によって、階層的に構成される符号化単位、符号化単位の予測及び変換のための予測単位、並びに変換単位を決定する。
【０１４６】
段階２３３０で、デブロッキング・フィルタリング部１３０は、符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位に基づいて、デブロッキング・フィルタリングを行うフィルタリング境界を決定する。前述のように、フィルタリング境界には、所定サイズ以上のデータ単位の境界を基準に決定されてもよい。
【０１４７】
段階２３４０で、デブロッキング・フィルタリング部１３０は、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定し、段階２３５０で、決定されたフィルタリング強度に基づいて、デブロッキング・フィルタリングを行う。
【０１４８】
図２４は、本発明の一実施形態による符号化単位に基づいたビデオ復号化方法を示したフローチャートである。図２４を参照すれば、段階２４１０で、受信部及び抽出部２１０は、受信されたビットストリームをパージングし、現在ピクチャが分割された最大符号化単位のうち、それぞれの最大符号化単位に含まれるツリー構造による符号化単位によって、符号化単位別に符号化された映像データ、前記ツリー構造による符号化単位についての符号化モード情報、及び前記最大符号化単位のデブロッキング・フィルタリングに係わる情報を抽出する。
【０１４９】
段階２４２０で、復号化部２２０は、ツリー構造による符号化単位についての符号化モード情報に基づいて、前記符号化単位別に、予測及び変換のための予測単位及び変換単位を決定し、符号化された映像データを復号化する
段階２４３０で、デブロッキング・フィルタリング部２３０は、パージングされたデブロッキング・フィルタリングに係わる情報を利用し、ツリー構造による符号化単位、予測単位及び変換単位のうち少なくとも１つのデータ単位の境界のうち、デブロッキング・フィルタリングを行うフィルタリング境界を決定する。
【０１５０】
段階２４４０で、デブロッキング・フィルタリング部２３０は、決定されたフィルタリング境界を基準に隣接したピクセルが属する符号化単位の予測モード、及びフィルタリング境界に隣接したピクセルの変換係数値に基づいて、フィルタリング境界でのフィルタリング強度を決定する。
【０１５１】
段階２４５０で、デブロッキング・フィルタリング部２３０は、決定されたフィルタリング強度に基づいて、前記復号化された映像データについて、デブロッキング・フィルタリングを行う。
【０１５２】
一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムで作成可能であり、コンピュータ可読記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されてもよい。前記コンピュータ可読記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスクなど）及び光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disc））のような記録媒体を含む。
【０１５３】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2013524715.tif 000009
【図２】
2013524715.tif 000010
【図３】
2013524715.tif 000011
【図４】
2013524715.tif 000012
【図５】
2013524715.tif 000013
【図６】
2013524715.tif 000014
【図７】
2013524715.tif 000015
【図８】
2013524715.tif 000016
【図９】
2013524715.tif 000017
【図１０】
2013524715.tif 000018
【図１１】
2013524715.tif 000019
【図１２】
2013524715.tif 000020
【図１３】
2013524715.tif 000021
【図１４】
2013524715.tif 000022
【図１５】
2013524715.tif 000023
【図１６】
2013524715.tif 000024
【図１７】
2013524715.tif 000025
【図１８】
2013524715.tif 000026
【図１９Ａ】
2013524715.tif 000027
【図１９Ｂ】
2013524715.tif 000028
【図２０ａ】
2013524715.tif 000029
【図２０ｂ】
2013524715.tif 000030
【図２１】
2013524715.tif 000031
【図２２ａ】
2013524715.tif 000032
【図２２ｂ】
2013524715.tif 000033
【図２３】
2013524715.tif 000034
【図２４】
2013524715.tif 000035
【国際調査報告】
2013524715.tif 000036
2013524715.tif 000037
2013524715.tif 000038
2013524715.tif 000039