(57)【要約】【課題】  動的に決定されたデータ処理単位に基づく映像の符号化及び復号化を提供する。【解決手段】  基本ブロックに分類された映像データに対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、グループに含まれるサブグループと、に映像データを分類し、所定グループを符号化するために、グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって、所定グループのデータを符号化する方式を示すグループの符号化モードを決定し、決定された符号化モードによって、グループのデータを符号化する映像符号化方法であり、該映像符号化の過程中、それぞれの細部過程は、グループの符号化モードを考慮して行われる。【選択図】      図１
2015035825.tif 000002
【特許請求の範囲】
【請求項１】
映像復号化方法において、
グループが少なくとも一つのサブグループを含む時、前記グループを含む複数個のグループと複数個のサブグループを用いて符号化された映像データを含む
ビットストリームを受信する段階と、
前記グループ及び前記サブグループのうちから決定されたデータユニットの単位に前記映像データが符号化されたかを示す符号化モードを、前記ビットストリームから獲得する段階と、
前記符号化モードによって決定された前記グループの映像データを復号化する段階と、
を含み、前記符号化モードは、前記グループと前記サブグループのうち一つであるデータユニットの少なくとも一つのサイズによって階層的に決定された符号化ブロックパターンを含み、前記データユニットにノン-ゼロ量子化係数が存在するか否かを示すことを特徴とする映像復号化方法。
【請求項２】
前記符号化モードを前記ビットストリームから獲得する段階は、
前記データユニットの形態についての情報、前記データユニットのサイズについての情報、前記グループに含まれたサブグループの最大個数と係わる最大レベルについての情報を獲得する段階
と、
前記データユニットの形態についての情報及び前記データユニットのサイズについての情報を用いて前記映像データを分類して、復号化を行うためのグループを決定する段階と、
を含むことを特徴とする請求項１に記載の映像復号化方法。
【請求項３】
前記グループの映像データを復号化する復号化段階は、
前記データユニットに含まれた前記サブデータユニットの境界、前記データユニット内で変換が行われたデータユニットの境界、前記データユニット内で変換が行われたデータユニットの境界のうち少なくとも一つの境界に対してデブロッキングフィルタリングが行われるか否かを決定する段階と、
前記データユニット内の前記少なくとも一つの境界に対するデブロッキングフィルタリングの強度を決定する段階と、
前記決定された境界及び前記デブロッキングフィルタリングの強度を用いて、前記データユニットに対してインループフィルタリングを行う段階と、
を含むことを特徴とする請求項１に記載の映像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化及び復号化に関する。
【背景技術】
【０００２】
既存のＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣのようなブロック基盤ビデオ符号化／復号化方式で、マクロブロックのサイズは、１６×１６に固定されている。特に、Ｈ．２６４／ＡＶＣの場合、さらに正確な推定または予測のために、８×８以下の４×４ブロックに細分して使用することもある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、動的に決定されたデータ処理単位に基づく映像の符号化及び復号化を提供し、該映像符号化方法は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類する段階と、前記所定グループを符号化するために、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化する方式を示す前記所定グループの符号化モードを決定する段階と、前記決定された符号化モードによって、前記所定グループのデータを符号化する段階と、を含む。
【課題を解決するための手段】
【０００４】
本発明の一実施形態による映像符号化方法は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類する段階と、前記所定グループを符号化するために、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化する方式を示す前記所定グループの符号化モードを決定する段階と、前記決定された符号化モードによって、前記所定グループのデータを符号化する段階と、を含む。
【０００５】
一実施形態による映像符号化方法は、前記所定グループの符号化モードを示すフラグを符号化する段階をさらに含むことができる。
【０００６】
一実施形態による映像符号化方法の前記データ分類段階は、前記グループに含まれる基本ブロックの個数を示すグループのサイズと、前記グループに含まれる基本ブロックによって形成されるグループの形態とを決定する段階を含むことができる。
【０００７】
一実施形態による映像符号化方法の前記データ分類段階は、前記グループに含まれるサブグループの個数を示すレベル及び前記基本ブロックのスキャン順序に基づいて、前記グループのサブグループを決定する段階を含むことができる。
【０００８】
一実施形態による映像符号化方法の前記符号化モードは、前記グループのデータの符号化が行われるデータ処理単位であって、前記グループ単位、前記サブグループ単位、前記基本ブロック単位のうちいずれか一つを示すデータ処理単位の種類についての情報と、前記データ処理単位に含まれる基本ブロックの個数を示す前記データ処理単位のサイズについての情報と、前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含むことができる。
【０００９】
一実施形態による映像符号化方法の前記符号化モード決定段階は、前記グループの所定データ処理単位別に、少なくとも１つの推定モードによって、前記データ処理単位に対する符号化を行う段階と、前記所定データ処理単位及び推定モードの組み合わせ別に符号化による誤差率を算出する段階と、前記算出された誤差率のうち最小の誤差率に対応する前記所定データ処理単位の推定モードを決定する段階と、を含むことができる。
【００１０】
一実施形態による映像符号化方法の前記符号化モード決定段階は、前記グループ内データ処理単位別に推定モードを考慮した符号化誤差率を比較し、最小の誤差率に対応するデータ処理単位及び推定モードの組み合わせを、前記グループの符号化モードに決定する段階を含むことができる。
【００１１】
一実施形態による映像符号化方法は、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数を、複数個の基本ブロック単位に再配列する段階をさらに含むことができる。
【００１２】
一実施形態による前記映像符号化方法は、前記周波数変換された係数が、基本ブロック単位に再配列されているか否かを示すフラグを符号化する段階をさらに含むことができる。
【００１３】
一実施形態による前記映像符号化方法は、前記グループ内データの周波数変換のためのデータ処理単位を示すフラグを符号化する段階をさらに含むことができる。
【００１４】
一実施形態による前記データ分類段階は、前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に、前記グループ単位のサイズ、形態及び最大レベルを決定できる。
【００１５】
本発明の一実施形態による映像復号化方法は、基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングする段階と、前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す前記所定グループの符号化モードを読み取る段階と、前記読み取られた符号化モードに基づいて、前記所定グループのデータを復号化する段階と、を含む。
【００１６】
一実施形態による映像復号化方法の前記符号化モード読取り段階は、前記パージングされたデータから、復号化のためのデータ処理単位として設定されたグループの形態、前記グループ内に含まれる基本ブロックの個数を示すグループのサイズ、及び前記グループ内サブグループの最大個数に関する最大レベル情報を読み取る段階と、前記グループの形態及び前記グループのサイズについての情報を利用し、前記パージングされた映像データを分類して復号化するためのデータ処理単位であるグループを決定する段階と、を含むことができる。
【００１７】
一実施形態による映像復号化方法で、前記グループ単位は、前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に設定されうる。
【００１８】
一実施形態による映像復号化方法で、前記サブグループは、前記グループに含まれるサブグループの個数を示すレベル、及び前記基本ブロックのスキャン順序に基づいて設定されうる。
【００１９】
一実施形態による映像復号化方法の前記符号化モード読取り段階は、前記所定グループに係わるデータから、前記所定グループの符号化モードを示す符号化モード・フラグを抽出する段階と、前記符号化モード・フラグを利用し、前記所定グループの符号化モードを読み取る段階と、を含むことができる。
【００２０】
一実施形態による映像復号化方法で、前記グループの符号化モードは、前記グループのデータが符号化されたデータ処理単位が、前記グループ、前記サブグループ、前記基本ブロックのうちいずれか一つであることを示すデータ処理単位の種類についての情報と、前記データ処理単位に含まれる基本ブロックの個数を示すデータ処理単位のサイズについての情報と、前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含むことができる。
【００２１】
一実施形態による映像復号化方法の前記グループ復号化段階は、前記符号化モードの前記データ処理単位の種類についての情報と、サイズについての情報とに基づいて復号化を行うデータ処理単位を決定する段階と、前記符号化モードの推定モードについての情報に基づいて、前記データ処理単位の推定モードを決定する段階と、前記決定されたデータ処理単位及び推定モードに基づいて、前記グループに係わる映像データを復号化する段階と、を含むことができる。
【００２２】
一実施形態による映像復号化方法で、前記符号化モードは、前記グループに係わる符号化のうち、前記グループ内のデータ処理単位別に、少なくとも１つの推定モードによる所定データ処理単位に係わる符号化を行って推定モード別の符号化誤差率を算出し、前記データ処理単位別に、前記推定モード別の符号化誤差率のうち最小の誤差率に対応する前記所定データ処理単位及び推定モードの組み合わせを決定し、前記グループ内のデータ処理単位及び推定モードの組み合わせ別に符号化誤差率を比較し、最小の誤差率を有するデータ処理単位及び推定モードの組み合わせを選択し、前記グループの符号化モードに設定されたものでありうる。
【００２３】
一実施形態による映像復号化方法で、前記基本ブロック単位の復号化処理順序は、ジグザグ・スキャン方式でありうる。
【００２４】
一実施形態による映像復号化方法は、複数個の基本ブロックの周波数変換された係数をグループ単位及びサブグループ単位のうち一つに再配列する段階をさらに含むことができる。
【００２５】
一実施形態による映像復号化方法は、前記パージングされたデータから、前記グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数が、基本ブロック単位に再配列されているか否かを示すフラグを読み取る段階をさらに含むことができる。
【００２６】
一実施形態による映像復号化方法は、前記パージングされたデータから、前記グループ内データの周波数変換のためのデータ処理単位を示すフラグを読み取る段階をさらに含むことができる。
【００２７】
本発明の一実施形態による映像符号化装置は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類するデータ分類部と、前記グループを符号化するために、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくとも１つのデータ処理単位、及び前記少なくとも１つのデータ処理単位による前記グループのデータの符号化方式を示す前記グループの符号化モードを決定するグループ符号化モード決定部と、前記決定された符号化モードによって前記グループのデータを符号化するグループ符号化部と、を含む。
【００２８】
本発明の一実施形態による映像復号化装置は、基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングする受信部と、前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す前記所定グループの符号化モードを読み取るグループ符号化モード読取り部と、前記読み取られた符号化モードに基づいて、前記所定グループのデータを復号化するグループ復号化部と、を含む。
【００２９】
一実施形態によって、映像に係わるデータ処理単位の種類及び動き推定方式を示す符号化モードが決定されれば、符号化モードに対応するデータ処理単位及び動き推定モードを考慮して映像を符号化する。
【００３０】
本発明の一実施形態によって動的に決定されたデータ処理単位によって映像を符号化する方法は、前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、前記入力映像の符号化のための周波数変換及び量子化を行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のための動き推定を行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのインループ・フィルタリングを行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのエントロピ符号化を行う段階と、をさらに含む。
【００３１】
一実施形態によって、映像に係わるデータ処理単位の種類及び動き推定方式を示す符号化モードが読み取られれば、符号化モードに対応するデータ処理単位及び動き推定モードを考慮して映像を復号化する。
【００３２】
本発明の一実施形態によって、動的に決定されたデータ処理単位によって映像を復号化する方法は、前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行う段階と、をさらに含む。
【００３３】
本発明の一実施形態によって動的に決定されたデータ処理単位によって映像を符号化する装置は、前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、前記入力映像の符号化のための周波数変換及び量子化を行う周波数変換及び量子化部と、前記大型データ処理単位に基づいて、前記入力映像の符号化のための動き推定を行う動き推定部と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、前記大型データ処理単位に基礎して前記入力映像の符号化のためのエントロピ符号化を行うエントロピ符号化部と、をさらに含む。
【００３４】
本発明の一実施形態によって、動的に決定されたデータ処理単位によって映像を復号化する装置は、前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行うエントロピ復号化部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う逆量子化及び逆周波数変換部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う動き推定部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、をさらに含む。
【００３５】
一実施形態による前記映像符号化方法または前記復号化方法では、前記動き推定のためのデータ処理単位のサイズに基づいて、前記周波数変換のためのデータ処理単位のサイズが決定されうる。
【００３６】
一実施形態による前記映像符号化方法及び前記映像復号化方法の動き推定遂行と関連して、前記大型データ処理単位に基づいて、順次的動き推定のためのデータ処理単位別スキャン順序が決定され、現在データ処理単位の右側上端に位置する隣接するデータ処理単位を参照ブロックとして利用できるか否か（neighbor availability）が決定されうる。
【００３７】
一実施形態によって、前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位のうち正方形ブロック状のデータ処理単位を利用できる。前記正方形ブロック状のデータ処理単位に基づくところの周波数変換のためのデータ処理単位のサイズは、前記正方形ブロック状のデータ処理単位より小さいか、あるいは同じ所定サイズに制限されうる。
【００３８】
一実施形態によって、前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位のイントラ推定を含むことができ、またコンプレックス・プレーン形態を利用したイントラ・モードに基づいて行われる前記大型データ処理単位のイントラ推定を含むことができる。一実施形態によって、前記大型データ処理単位に基づいて、イントラ・モードで動き推定が可能なデータ処理単位があらかじめ設定されうる。
【００３９】
一実施形態による前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位に基づいたイントラ・モード及びインター・モードが混合された形態の推定モードで行われる動き推定を含むことができ、インター・モードの動き推定のための動きベクトルは、前記大型データ処理単位に基づいて決定されうる。また、前記大型データ処理単位に基づいて決定された動きベクトルに対応し、インター・モードのための動きベクトル推定子が誘導されうる。
【００４０】
一実施形態による前記大型データ処理単位に基づく動き推定と関連して、前記大型データ処理単位に基づいて拡張された形態のスキップ・モードが決定されうる。また、相互隣接する少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループが決定され、同じスキップ・グループに含まれるあらゆるデータ処理単位については、同時にスキップ・モードで動き推定が行われうる。
【００４１】
一実施形態による前記大型データ処理単位に基づく前記周波数変換は、前記大型データ処理単位に基づいた大型ブロック基盤の整数離散コサイン変換（ＤＣＴ）を含むことができる。また、現在データ処理単位のクロマ（chroma）成分に対して、前記大型データ処理単位に基づいて決定された所定サイズで周波数変換が行われうる。一実施形態による大型データ処理単位に基づいた周波数変換によって発生する演算量負担を減らすように変形された形態の周波数変換が行われうる。
【００４２】
一実施形態による前記大型データ処理単位に基づくエントロピ符号化は、前記大型データ処理単位に基づいて決定されるデータ処理単位別サイズによって、階層的な符号化ブロック・パターン（coded  block  pattern）を利用できる。
【００４３】
一実施形態による前記大型データ処理単位に基づくエントロピ符号化は、前記現在データ処理単位を、前記現在データ処理単位の量子化された係数のうち０ではない量子化された係数が存在する確率に基づいて分類した領域別に符号化ブロック・パターンをスキャンできる。前記現在データ処理単位の分類された領域別の符号化ブロック・パターンに基づいて、０ではない係数が含まれた領域だけの係数のストリップがスキャンされうる。また、前記０ではない係数が含まれた領域の係数のストリップを示す表示は、ビット・ストリームに含まれるように符号化され、ビット・ストリームの復号化過程で、０ではない係数が含まれた領域の係数ストリップであることを示す表示を読み取ることができる。
【００４４】
一実施形態による前記エントロピ符号化またはエントロピ復号化は、前記大型データ処理単位に基づいて、コンテクスト基盤適応的二進算術符号技法（ＣＡＢＡＣ：context-based  adaptive  binary  arithmetic  code）またはコンテクスト基盤適応的可変長符号技法（ＣＡＶＬＣ：context-based  adaptive  variable  length  code）を利用できる。
【００４５】
一実施形態による前記大型データ処理単位に基づくエントロピ符号化またはエントロピ復号化は、前記大型データ処理単位に基づくイントラ・モードまたはクロマ成分に対して、単一コンテクストとして決定された符号化ブロック・パターンを利用できる。
【００４６】
一実施形態による前記大型データ処理単位に基づくインループ・フィルタリングは、前記大型データ処理単位に基づいて、現在データ処理単位内部の下位データ処理単位に対するデブロッキング・フィルタリングの遂行いかんを含むことができる。また、前記現在データ処理単位に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位の左側境界または上端境界に対するデブロッキング・フィルタリング、所定サイズのデータ処理単位で周波数変換された前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングは、除外されうる。
【００４７】
また、一実施形態による前記インループ・フィルタリングでは、前記現在データ処理単位のクロマ成分に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位のクロマ成分の境界に対するデブロッキング・フィルタリングが除外されうる。一実施形態による前記インループ・フィルタリングは、インター・モード及びイントラ・モードが混合された形態で動き推定が行われた前記現在データ処理単位に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングが除外されうる。
【００４８】
一実施形態による前記インループ・フィルタリング遂行と関連して、前記現在データ処理単位内部の少なくとも１つの下位データ処理単位の境界に対して、境界別デブロッキング・フィルタリングの強度が個別的に設定されうる。
【００４９】
一実施形態による前記インループ・フィルタリングは、前記大型データ処理単位に基づいて、大型サイズの現在データ処理単位に対してリンギング効果低減のための付加的なフィルタリングを含むことができる。
【００５０】
本発明は、本発明の一実施形態によって動的に決定されたデータ処理単位による映像符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【００５１】
また本発明は、本発明の一実施形態によって動的に決定されたデータ処理単位による映像復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態による映像符号化装置のブロック図である。
【図２】本発明の一実施形態による映像復号化装置のブロック図である。
【図３】本発明で提案するデータ処理単位であるグループの概念を図示する図である。
【図４】本発明で提案するデータ処理単位のサブグループの一例を図示する図である。
【図５】本発明で提案するデータ処理単位のサブグループの他の例を図示する図である。
【図６】本発明の一実施形態による符号化モードのシンタックスを図示する図である。
【図７】データ処理単位別の符号化方式の一例を図示する図である。
【図８】本発明の一実施形態による、グループの符号化モードを決定する符号化方法のフローチャートである。
【図９】本発明の一実施形態による、符号化モードを読み取って復号化する方法のフローチャートである。
【図１０】本発明で可能なデータ処理単位の階層的構造を図示する図である。
【図１１】本発明の他の実施形態によるスーパー・マクロブロック及びマクロブロック単位による符号化モードのシンタックスを図示する図である。
【図１２】本発明の他の実施形態による、符号化モードがスキップ・モードである場合、動きベクトル推定方式を図示する図である。
【図１３】本発明の他の実施形態のデータ処理単位別の符号化／復号化処理順序を図示する図である。
【図１４】本発明の他の実施形態の周波数係数の配列方式を図示する図である。
【図１５】既存符号化方式及び本発明の他の実施形態によるＣＢＰ（coded  block  pattern）及び係数ブロック・サイズと関連したシンタックス符号化方式を比較する図である。
【図１６】本発明の他の実施形態のＣＢＰ関連シンタックスを図示する図である。
【図１７】本発明の他の実施形態のＢフレームの符号化モードを図示する図である。
【図１８】本発明の一実施形態による映像符号化方法のフローチャートである。
【図１９】本発明の一実施形態による映像復号化方法のフローチャートである。
【図２０Ａ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｂ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｃ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｄ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｅ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｆ】一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。
【図２０Ｇ】本発明の一実施形態による、動的に決定されたデータ処理単位を考慮した映像符号化方法のフローチャートである。
【図２１】本発明の一実施形態による大型データ処理単位を考慮した動き推定のためのデータ処理単位別スキャン方式を図示する図である。
【図２２】本発明の一実施形態による大型データ処理単位を考慮した動き推定で、隣接する近隣データ処理単位の利用可能性を図示する図である。
【図２３Ａ】本発明の一実施形態による大型データ処理単位のうち簡素化された階層的データ処理単位を図示する図である。
【図２３Ｂ】本発明の一実施形態による大型データ処理単位を考慮したシンタックスを図示する図である。
【図２４Ａ】本発明の一実施形態によるスキップ・グループの一構成方式を図示する図である。
【図２４Ｂ】本発明の一実施形態によるスキップ・グループの他の構成方式を図示する図である。
【図２４Ｃ】本発明の一実施形態によるスキップ・グループの他の構成方式を図示する図である。
【図２５Ａ】本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示する図である。
【図２５Ｂ】本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示する図である。
【図２６Ａ】本発明の一実施形態による大型データ処理単位のクロマ成分のための一動き推定方式を図示する図である。
【図２６Ｂ】本発明の一実施形態による大型データ処理単位のクロマ成分のための他の動き推定方式を図示する図である。
【図２７】本発明の一実施形態による大型データ処理単位のクロマ成分に係わるデータ処理単位のサイズを誘導する方式を図示する図である。
【図２８】本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンを利用する方法のフローチャートである。
【図２９Ａ】本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンする一方式を図示する図である。
【図２９Ｂ】本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンする他の方式を図示する図である。
【図３０Ａ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３０Ｂ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３０Ｃ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３０Ｄ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３０Ｅ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３０Ｆ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。
【図３１Ａ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３１Ｂ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３１Ｃ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３１Ｄ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３１Ｅ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３１Ｆ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。
【図３２Ａ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【図３２Ｂ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【図３２Ｃ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【図３２Ｄ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【図３２Ｅ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【図３２Ｆ】一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
【発明を実施するための形態】
【００５３】
以下、本明細書の理解のために、本発明の実施形態の目次を紹介する。
【００５４】
まず、（I．データ処理単位の動的決定）において、一実施形態によって動的に決定されるデータ処理単位及び符号化モードについて説明する。
【００５５】
（II．動的に決定されたデータ処理単位による映像符号化装置）、先に動的に決定されたデータ処理単位及び符号化モードによって映像を符号化する装置について記述する。
【００５６】
一実施形態によって動的に決定されたデータ処理単位による映像符号化装置のそれぞれの細部動作について、（III．動き推定プロセシング）、（III−１．イントラ推定）、（III−２．インター推定）、（IV．周波数変換及び量子化）、（V．エントロピ符号化）において説明する。
【００５７】
（VII．動的に決定されたデータ処理単位による映像復号化装置）では、一実施形態によって動的に決定されたデータ処理単位による映像符号化モードに対応する一実施形態によって動的に決定されたデータ処理単位による映像復号化装置について説明する。
【００５８】
（VIII．動的に決定されたデータ処理単位による映像符号化方法及び映像復号化方法）では、一実施形態によって動的に決定されたデータ処理単位による映像符号化方法及びそれに対応する映像復号化方法について説明する。
【００５９】
（I．データ処理単位の動的決定）
図１は、本発明の一実施形態による映像符号化装置のブロック図を図示している。
【００６０】
一実施形態による映像符号化装置１００は、データ分類部１１０、グループ符号化モード決定部１２０、グループ符号化部１３０を含む。
【００６１】
データ分類部１００は、入力された映像データが、基本ブロック単位に分類されている場合、基本ブロックに基づいて、映像データを少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含んでグループに含まれるサブグループ及び基本ブロックとにデータを分類し、分類されたデータをグループ符号化モード決定部１２０及びグループ符号化部１３０に出力する。
【００６２】
基本ブロック、グループ、サブグループは、映像データを符号化処理するためのデータ処理単位の種類である。
【００６３】
グループは、基本ブロックの個数を示す「サイズ」と、グループに含まれる基本ブロックによって形成される「形態」の属性とを有することができる。サブグループは、グループ内サブグループの個数を示す「レベル」と、グループ内基本ブロック間の「スキャン順序」とによって決定される。サイズ、形態、最大レベル、スキャン順序のうち少なくともいずれか一つを含むグループの属性は、それぞれのグループ別、ピクチャ別、シーケンス別に決定されうる。
【００６４】
グループの決定方式については、以下の図３、サブグループの決定方式については、以下の図４及び図５で説明する。
【００６５】
グループ符号化モード決定部１２０は、グループを符号化するために利用されるデータ処理単位、すなわち、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくとも１つのデータ処理単位によるグループ内データの符号化方式についての情報を含むグループの符号化モードを決定する。
【００６６】
グループ符号化モード決定部１２０の一実施形態は、データ分類部１１０で分類されたグループ、サブグループ、基本ブロックのうちそれぞれのデータ処理単位別に、それぞれのグループのデータを符号化して発生する誤差率を決定し、それぞれのグループのデータ処理単位別の誤差率に基づいて、当該グループの符号化モードを決定できる。従って、グループのデータ処理単位別の誤差率に基づいて、動的に決定されたデータ処理単位によって、映像データが符号化される。
【００６７】
グループ符号化モード決定部１２０で決定する符号化モードは、グループのデータをグループ単位、サブグループ単位、基本ブロック単位のうちいずれの単位で符号化処理するか示すデータ処理単位の種類についての情報と、データ処理単位に含まれる基本ブロックの個数を示すデータ処理単位のサイズについての情報と、データ処理単位による動き推定のために必要な参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含む。
【００６８】
グループ符号化モード決定部１２０は、グループのデータをデータ処理単位別に、基本ブロック単位で符号化した場合の誤差率、サブグループ単位で符号化した場合の誤差率、グループ単位で符号化した場合の誤差率を算出して相互比較し、誤差率が最も低いデータ処理単位を、当該グループの符号化処理単位として決定できる。すなわち、符号化遂行及び誤差率算出過程が、グループ単位、サブグループ単位、基本ブロック単位ごとに行われる。
【００６９】
また、グループ符号化モード決定部１２０の一実施形態は、それぞれのデータ処理単位ごとに、さまざまな推定モードで符号化した場合の誤差率を比較し、データ処理単位別に誤差率が最も低い推定モードを決定できる。
【００７０】
例えば、グループ符号化モード決定部１２０は、グループのデータを、データ処理単位ごとに推定モードでもって、スキップ・モード、インター・モード、イントラ・モードで符号化し、推定モード別の符号化誤差率を算出して比較し、最も低い誤差率を発生させる推定モードを当該データ処理単位の代表推定モードに決定できる。すなわち、推定モード別の符号化遂行による誤差率の比較と、それによる代表推定モード決定との過程が、グループ単位、サブグループ単位、基本ブロック単位ごとに行われる。
【００７１】
グループ符号化モード決定部１２０は、データ処理単位別に代表推定モードの誤差率を比較し、最も低い誤差率を有するデータ処理単位を、当該グループのデータのための代表データ処理単位として決定できる。最も低い誤差率を発生させる代表データ処理単位と代表推定モードとの組み合わせに基づいて、当該グループの代表データ処理単位の種類、サイズ、代表推定モードについての情報が、当該グループの符号化モードに決定される。
【００７２】
グループ符号化部１３０は、グループ符号化モード決定部１２０で決定されたグループ別の符号化モードによって、データ分類部１１０から入力された映像データを符号化して出力する。映像符号化装置１００は、映像データ以外にも、グループ別の符号化モードを示すフラグを符号化するグループ符号化モード・フラグをさらに符号化できる。
【００７３】
本発明の一実施形態による映像符号化装置１００は、基本ブロック間のラスター・スキャン（raster  scan）方式の代わりに、ジグザグ・スキャン方式を介して、１つのピクチャ内のデータを符号化できる。
【００７４】
一実施形態による映像符号化装置１００は、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数を、複数個の基本ブロック単位に再配列させられる。一実施形態による映像符号化装置１００は、基本ブロックまたはサブグループ単位で映像データを周波数変換することができる。このとき、周波数変換のためのデータ処理単位は、動き推定のためのデータ処理単位と一致しないこともある。
【００７５】
一実施形態による映像符号化装置１００は、所定データ処理単位のデータが周波数変換された係数が、可変的なデータ処理単位によって再配列されているか否かを示すフラグを符号化することもできる。
【００７６】
図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。
【００７７】
一実施形態による映像復号化装置２００は、受信部２１０、グループ符号化モード読取り部２２０及びグループ復号化部２３０を含む。基本ブロック、グループ、サブグループ、符号化モードなどの概念は、一実施形態による映像符号化装置１００の説明で述べたところと同一である。
【００７８】
受信部２１０は、基本ブロック、グループ、サブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングし、復号化される情報を抽出し、グループ符号化モード読取り部２２０及びグループ復号化部２３０に出力する。
【００７９】
グループ符号化モード読取り部２２０は、受信部２１０でパージングされたデータから、グループの符号化モードを読み取り、グループ復号化部２３０に出力する。グループ符号化モード読取り部２２０は、パージングされたデータから、グループの形態、サイズ、最大レベルについての情報を読み取り、読み取られたグループの形態及びサイズ情報を利用し、所定グループを決定できる。グループの属性は、グループ、ピクチャ、シーケンスなどのデータ単位別に設定されている。
【００８０】
他の実施形態のグループ符号化モード読取り部２２０は、パージングされたデータから所定グループの符号化モードを示すグループ符号化モード・フラグを抽出し、グループ符号化モード・フラグを利用し、所定グループの符号化モードを読み取ることができる。読み取られたグループ別の符号化モードは、それぞれのグループのデータを復号化するとき、使われるデータ処理単位の種類、サイズ、推定モードなどについての情報を含んでいる。
【００８１】
グループ復号化部２３０は、グループ符号化モード読取り部２２０から入力されたグループ別の符号化モードを利用し、受信部２１０で受信されたグループ別データを復号化して出力する。
【００８２】
グループ復号化部２３０は、符号化モードのうちデータ処理単位の種類及びサイズについての情報に基づいて、グループのデータ復号化のためのグループ内データ処理単位を決定し、符号化モードのうち推定モードについての情報に基づいて、当該データ処理単位の推定モードを決定できる。グループ復号化部２３０は、符号化モードから決定されたデータ処理単位及び推定モードに基づいて、当該グループのデータを復号化できる。
【００８３】
グループ復号化部２３０は、基本ブロック単位のジグザグ・スキャン方式によって、１ピクチャのデータをスキャンすることによって、グループ別の符号化モードを読み取って復号化できる。
【００８４】
一実施形態の映像復号化装置２００は、複数個の基本ブロックの周波数変換された係数を、グループ単位及びサブグループ単位のうち一つに再配列することもできる。一実施形態の映像復号化装置２００は、基本ブロックまたはサブグループ単位に分類されたデータを、周波数逆変換することもできる。
【００８５】
映像復号化装置２００は、パージングされたデータから、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数が符号化過程で、基本ブロック単位に再配列されているか否かを示すフラグをさらに抽出できる。係数再配列いかんフラグに基づいて、復号化過程で係数を、グループ単位及びサブグループ単位のうち一つに再配列させられる。
【００８６】
図３は、本発明で提案するデータ処理単位であるグループの概念を図示している。
【００８７】
大容量のデータを処理できるハードウェア及びネットワーク環境が構築されつつ、大容量のデータに比べて、既存のマクロブロック単位が有用な情報を収録するのに、相対的に小さな単位でありうる。例えば、ＳＤ（standard  definition）クラス以上のＨＤ（high  definition）クラス解像度、及びそれ以上の解像度では、小サイズのマクロブロックによって、実際のテキスチャ・コーディングに使われることが望ましいビットが、マクロブロック・モード、動きベクトルのようなマクロブロック・シンボルである付加情報に割り当てられることによって、ＲＤコスト（rate-distortion  cost）が低下しうる。
【００８８】
本発明は、少なくとも１つの基本ブロックを含むグループ単位を、データ処理単位として導入する。
【００８９】
基本ブロック３００は、少なくとも１つのデータを含む単位である。例えば、ＭＰＥＧまたはＨ．２６４の８×８，１６×１６マクロブロックでありうる。
【００９０】
グループは、少なくとも１つの基本ブロックを含む単位であり、その形態及び基本ブロックの個数を示すグループのサイズは、任意に決定されうる。例えば、サイズ１６及び正四角形であるグループ３１０、サイズ８及び長方形であるグループ３２０，３２５、サイズ１３及びダイアモンド形であるグループ３３０などが存在しうる。かようなグループの形態及びサイズは、映像データのピクチャ、ピクチャ・シーケンス単位で一定に設定され、あらゆるグループごとに、個別的に設定されもする。
【００９１】
図４は、本発明で提案するデータ処理単位のサブグループの一例を図示している。
【００９２】
グループ内のサブグループは、グループ内に少なくとも１つの基本ブロックを含み、サブグループを決定する第１決定方式は、レベル及びスキャン順序によって決定される方式である。図４は、正方形、グループ・サイズ１６、最大レベル４であるグループを図示している。
【００９３】
まず、グループ内サブグループの個数によって、レベル４であるグループ４１０，４２０，４５０、レベル２であるグループ４３０，４６０、レベル１であるグループ４４０に分類されうる。
【００９４】
また、グループ内基本ブロックのスキャン順序によって、ジグザグ・スキャン順序のグループ４１０、バーチカルスキャン順序のグループ４２０，４３０，４４０、ラスター・スキャン順序のグループ４５０，４６０に分類されうる。
【００９５】
従って、サイズ１６、正方形のグループ４１０に対して、レベル４、ジグザグ・スキャン順序でサブグループが設定されれば、サイズ４、正方形の４個のサブグループが形成されうる。グループ４２０に対して、レベル４、バーチカルスキャン順序でサブグループが設定されれば、サイズ４、長方形の４個のサブグループ４２２，４２４，４２６，４２８が形成されうる。同様に、グループ４５０に対して、レベル４、ラスター・スキャン順序でサブグループが設定されれば、サイズ４、長方形の４個のサブグループ４５２，４５４，４５６，４５８が形成されうる。
【００９６】
サイズ１６、正方形のグループ４３０に対して、レベル２、バーチカル・スキャン順序でサブグループが設定されれば、サイズ８、長方形の２個のサブグループ４３２，４３４が形成されうる。同様に、グループ４６０に対して、レベル２、ラスター・スキャン順序でサブグループが設定されれば、サイズ８、長方形の２個のサブグループ４６２，４６４が形成されうる。
【００９７】
サイズ１６、正方形のグループ４４０に対して、レベル１、バーチカル・スキャン順序でサブグループが設定されれば、サイズ１６、正方形の１個のサブグループ４４５が形成されうる。
【００９８】
図４には、それぞれのレベルごとに、さまざまなスキャン順序がいずれも設定されているが、レベル別に所定スキャン順序が設定されもする。また、周波数変換のためのデータ処理単位は、先に定義されたグループ、サブグループのサイズ以下の単位でもありうる。
【００９９】
図５は、本発明で提案するデータ処理単位のサブグループの他の例を図示している。
【０１００】
サブグループを決定する第２決定方式は、グループ内基本ブロックのスキャン順序によって、羅列される基本ブロックのシーケンスを、レベルによって区分する方式である。図５は、正方形、グループ・サイズ１６であるグループ５００，５５０を例に挙げ、サブグループの第２決定方式について述べている。
【０１０１】
正方形、グループ・サイズ１６であるグループ５００は、ジグザグ・スキャン順序によって、基本ブロック１，２，５，９，６，３，４，７，１０，１３，１４，１１，８，１２，１５，１６の順序で、基本ブロックのシーケンス５１０が再配列されうる。グループ５００のレベルが３である場合、基本ブロック・シーケンス５１０は、基本ブロック１，２，５，９，６を含む第１サブグループ、基本ブロック３，４，７，１０，１３を含む第２サブグループ、基本ブロック１４，１１，８，１２，１５，１６を含む第３サブグループに分類されうる。従って、グループ５００をジグザグ・スキャン順序によって、レベル３のサブグループに分類すれば、グループ５２０のようにサブグループが分類されうる。
【０１０２】
他の例として、正方形、グループ・サイズ１６であるグループ５５０は、逆ジグザグ・スキャン順序によって、基本ブロック４，８，３，２，７，１２，１６，１１，６，１，５，１０，１５，１４，９，１３の順序で、基本ブロックのシーケンス５６０が再配列されうる。グループ５５０のレベルが４である場合、基本ブロック・シーケンス５６０は、基本ブロック４，８，３，２を含む第１サブグループ、基本ブロック７，１２，１６，１１を含む第２サブグループ、基本ブロック６，１，５，１０を含む第３サブグループ、基本ブロック１５，１４，９，１３を含む第４サブグループに分類されうる。従って、グループ５５０を逆ジグザグ・スキャン順序によって、レベル４のサブグループに分類すれば、グループ５７０のようにサブグループが分類されうる。
【０１０３】
図６は、本発明の一実施形態による符号化モードのシンタックスを図示している。
【０１０４】
一実施形態による映像復号化装置２００のグループ符号化モード読取り部２２０で、所定グループの符号化モードを示すシンタックスによって、グループ符号化モードを読み取る過程のフローチャートを示している。
【０１０５】
段階６１０（Group_SKIP？）で、グループ符号化モード読取り部２２０は、所定グループのデータがグループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Group_SKIP）を確認する。「Group_SKIP」フラグ値が１であるならば、当該グループのデータに対して、グループ単位のスキップ・モードで復号化を行う（段階６２０（Group_SKIP））。「Group_SKIP」フラグ値が０であるならば、段階６３０に移動する。
【０１０６】
段階６３０（Level  Mode？）で、グループ符号化モード読取り部２２０は、レベルによるサブグループが設定されているか否かを判断する。「はい」であるならば、グループ符号化モード読取り部２２０は、サブグループ単位の復号化方式を調べる（段階６４０（Subgroup_SKIP？））。サブグループが設定されていないならば、グループ符号化モード読取り部２２０は、基本ブロック単位の復号化方式を調べる（段階６５０（Unit_SKIP？））。
【０１０７】
望ましい実施形態では、レベルは、１よりは大きく、グループ・サイズよりは小さいのである。レベルが１であるならば、グループと同じデータ処理単位であるためである。
【０１０８】
グループ符号化モード読取り部２２０は、当該グループのデータがサブグループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Subgroup_SKIP）を確認する（段階６４０（Subgroup_SKIP？））。「Subgroup_SKIP」フラグ値が１であるならば、グループ符号化部２３０は、サブグループ単位のスキップ・モードで復号化を行う（段階６６０（Subgroup_SKIP））。「Subgroup_SKIP」フラグ値が０であるならば、グループ符号化部２３０は、スキップ・モードを除外した推定モードで、サブグループ単位の復号化を行う（段階６７０（Subgroup_Mode））。
【０１０９】
グループ単位のスキップ・モードに係わる差別性のために、望ましい実施形態では、あらゆるサブグループに対して、「Subgroup_SKIP」フラグ値が１に設定されていることがあってはならない。
【０１１０】
望ましい実施形態で、サブグループ単位の復号化（Subgroup_Mode）における一般モードは、レベル及びスキャン順序によって決定される。このときのレベルは、最大レベルより小さいか、あるいは同じであらねばならない。
【０１１１】
グループ符号化モード読取り部２２０は、当該グループのデータが、基本ブロック単位のスキップ・モードで符号化されているか否かを示すフラグ（Unit_SKIP）を確認する（段階６５０（Unit_SKIP））。「Unit_SKIP」フラグの値が１であるならば、グループ符号化部２３０は、基本ブロック単位のスキップ・モードで復号化を行う（段階６８０（Unit_SKIP））。「Unit_SKIP」フラグの値が０であるならば、グループ符号化部２３０は、スキップ・モードを除外した推定モードで基本ブロック単位の復号化を行う（段階６９０（Unit_Mode））。
【０１１２】
望ましい実施形態で、サブグループ単位またはグループ単位のスキップ・モードに係わる差別性のために、望ましい実施形態では、あらゆる基本ブロックに対して、「Unit_SKIP」フラグ値が１に設定されていてはならない。
【０１１３】
図７は、データ処理単位別の符号化方式の一例を図示している。
【０１１４】
グループ内データ処理単位別の符号化方式は、場合によって、任意に決定されうる。以下、正方形、グループ・サイズ４、最大レベル２であるグループ７１０のデータ処理単位別の符号化方式の一例について叙述する。
【０１１５】
サイズ４、最大レベル２であるグループ７１０において、レベルが２であるとき、スキャン順序によって、バーチカル・スキャン順序のサブグループ７２０、ラスター・スキャン順序のサブグループ７３０が設定され、レベルが１であるとき、サブグループ７４０が設定される。
【０１１６】
基本ブロック７００に係わる符号化方式のうちスキップ・モード（Unit_SKIP）は、１６×１６スキップ・モードが採択されうる。また、基本ブロック７００の符号化方式のうち一般モード（Unit＿Mode）は、１６×１６，８×８，４×４イントラ・モード及び１６×１６，１６×８，８×１６，８×８，４×８，８×４，４×４インター・モードのうち一つが採択されうる。
【０１１７】
サブグループ７２０，７３０に係わる符号化方式として、レベル１のサブグループ７４０に係わる符号化方式のうち一般モード（Subgroup_Mode）は、３２×３２インター・モード及び３２×３２イントラ・モードのうち一つが採択されうる。レベル２のサブグループ７２０，７３０に係わる符号化方式のうち一般モード（Subgroup_Mode）は、１６×３２インター・モード及び３２×１６インター・モードのうち一つが採択されうる。
【０１１８】
グループ７１０に係わる符号化方式は、スキップ・モード（Group_SKIP）であって、３２×３２スキップ・モードが設定されうる。
【０１１９】
図８は、本発明の一実施形態によって、グループの符号化モードを決定する符号化方法のフローチャートを図示している。図８を参考にして、データ処理単位別の符号化モードに関連して、最適のデータ処理単位及び推定モードを決定する方式について叙述する。
【０１２０】
フローチャート（８００）は、所定グループの符号化モードを決定するために、映像符号化装置１００、特に、映像符号化モード決定部１２０が行うプロセスに係わるフローチャートである。
【０１２１】
符号化しようとするデータから獲得されたグループの形態、サイズ、最大レベルについての情報に基づいて（［From  Picture/Sequence  or  Group  information］）、符号化されるデータのうち所定グループが決定される（段階８１０（Group  Type，Group  Size，MaxLevel））。グループの形態、サイズ、最大レベル情報は、ピクチャ、シーケンスまたはグループ単位で設定されている。
【０１２２】
以下、データ処理単位別の符号化が行われる。
【０１２３】
まず、グループ単位のスキップ・モードで符号化が行われ（段階８２０（Group  Skip  Encoding））、グループ単位のスキップ・モードの符号化による誤差率として、ＲＤコスト（rate  distortion  cost）が算出される（段階８３０（Group_Skip  ＲＤ  cost））。例えば、３２×３２グループに係わる３２×３２スキップ・モードの符号化によるＲＤコストが算出される。
【０１２４】
基本ブロック単位の符号化が行われる（段階８４０（Unit  Encoding（Skip，Intra，inter）））。基本ブロック単位の符号化は、スキップ・モード、イントラ・モード、インター・モードでそれぞれ行われうる。基本ブロック単位の符号化は、グループ内基本ブロックごとに行われねばならないので、グループ・サイズに相応するグループ内基本ブロックの個数ほど段階８４０が反復される（［Group  Size］）。
【０１２５】
基本ブロック単位の符号化によるＲＤコストが算出される（段階８５０（Unit  GroupＲＤ  Cost））。例えば、１６×１６スキップ・モード、１６×１６／８×８／４×４イントラ・モード、１６×１６／１６×８／８×１６／８×８／４×８／８×４／４×４インター・モードのような基本ブロック単位別に符号化した結果、算出されるＲＤコストのうち最も小さい基本ブロック単位が検索される。すなわち、基本ブロック単位の最小ＲＤコストに相応する基本ブロック・サイズ及び推定モードの組み合わせが選択される。
【０１２６】
サブグループ単位の符号化が行われる（段階８６０（Sub_Group  Encoding））。サブグループを設定するためにレベルを確認し（段階８６２（Level  Typoe））、スキャン順序を確認し（段階８６４（Scan  Order））、該当レベルのそれぞれのサブグループごとに、符号化が行われる（段階８６０）。サブグループ単位の符号化は、イントラ・モード、インター・モードでそれぞれ行われうる。サブグループ単位の符号化は、グループ内サブグループごとに行われねばならないので、レベルによって可能なレベルの数ほど、段階８６２，８６４，８６０が反復される（［Number  of  Level］）。
【０１２７】
サブグループ単位の符号化によるＲＤコストが算出される（段階８７０（Sub  Group  ＲＤ  cost））。それぞれのサブグループごとに、イントラ・モード、インター・モードの符号化のうち最もＲＤコストが小さい最適推定モードが決定され、あらゆるサブグループのうちＲＤコストが最も小さいサブグループ及び推定モードの組み合わせが決定される。例えば、レベルによって、３２×３２インター・モード／３２×３２イントラ・モード、または１６×３２／３２×１６インター・モードのようなサブブロック単位別に符号化した結果として算出されるＲＤコストのうち最も小さいサブグループ単位が検索される。すなわち、サブグループ単位の最小ＲＤコストに相応するサブグループ・サイズ及び推定モードの組み合わせが選択される。
【０１２８】
映像符号化モード決定部１２０は、段階８３０で算出されたグループ単位のＲＤコスト、段階８５０で選択された基本ブロック単位組み合わせのＲＤコスト、段階８７０で選択されたサブグループ単位組み合わせのＲＤコストを比較し、最低ＲＤコストを選択する（段階８８０（Select  Best  ＲＤ））。
【０１２９】
映像符号化モード決定部１２０は、段階８８０で選択された最低ＲＤコストに対応するデータ処理単位またはデータ処理単位のサイズ、及び推定モード組み合わせに基づいて、当該グループの符号化モードを決定する（段階８９０（Best  Group  Mode（Level  type  or  unit  mode）））。例えば、グループの符号化モードは、グループ単位、サブグループ単位、基本ブロック単位のうちいずれの単位であるかということ、データ処理単位の種類、データ処理単位のサイズと関連した情報（３２×３２，３２×１６，１６×３２，１６×１６，１６×８，８×１６，８×８，４×８，８×４，４×４）、推定モード（スキップ、イントラ、インター・モードなど）についての情報を含むことができる。
【０１３０】
図９は、本発明の一実施形態によって、符号化モードを読み取って復号化する方法のフローチャートを図示している。
【０１３１】
フローチャート（９００）は、映像復号化装置２００、特に、グループ符号化モード読取り部２２０が所定グループの復号化のために、グループの符号化モードを読み取るプロセスのフローチャートを示している。
【０１３２】
グループ符号化モード読取り部２２０は、復号化しようとするデータからグループの形態、サイズ、最大レベルについての情報を獲得し（［From  Picture/Sequence  or  Group  information］）、復号化されるデータのうち所定グループを決定する（段階９１０（Group  Type，Group Size，MaxLevel））。グループの形態、サイズ、最大レベルについての情報は、ピクチャ、シーケンスまたはグループ単位で設定されている。
【０１３３】
グループ符号化モード読取り部２２０は、所定グループが、グループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Group_Skip）を確認する（段階９２０（Check Group_Skip））。確認の結果、グループ単位のスキップ・モードである場合、当該グループに対して、スキップ・モードで復号化する（段階９３０（Group  Skip  decoding））。確認の結果、グループ単位のスキップ・モードではない場合、段階９４０（Check Level）に移動する。
【０１３４】
段階９４０で、グループ符号化モード読取り部２２０は、グループのレベルを確認する。確認の結果、レベルによってサブグループが設定されていないとすれば、グループ符号化モード読取り部２２０は、基本ブロック単位の復号化方式を調べる（段階９９０（Check Unit_mode））。レベルが確認された場合、グループ符号化モード読取り部２２０は、サブグループのレベルを確認し（段階９６０（Check  Level））、スキャン順序を決定する（段階９７０（Scan  Order））。グループ符号化モード読取り部２２０は、レベル及びスキャン順序によって決定されたサブグループに対して復号化を行う（段階９５０（Sub_Group  Decoding））。グループ内サブグループごとに復号化されるので、グループ内レベルの数ほどサブグループの復号化過程（段階９６０，９７０，９５０）が反復される（［Number  of  Level］）。
【０１３５】
グループ符号化モード読取り部２２０は、基本ブロック単位の推定モードを示すフラグ（Unit_mode）を確認する（段階９９０（Check  Unit_mode））。確認の結果によって決定された推定モードによって、グループ符号化モード読取り部２２０は、当該基本ブロックに対して復号化を行う（段階９８０（Skip/Intra/Inter  Unit  Decoding））。グループ符号化モード読取り部２２０は、「Subgroup_SKIP」フラグ値が０であるならば、段階９８０によって、スキップ・モードを除外した推定モードで、当該サブグループに係わる復号化を行う。グループ内基本ブロックごとに復号化されるので、グループ・サイズほど基本ブロックの復号化過程（段階９９０，９８０）が反復される（［Group  of  Size］）。
【０１３６】
以下、本発明で提案するグループ、サブグループ、基本ブロックの可変的なデータ処理単位による符号化及び復号化において、多様な実施形態について述べる。
【０１３７】
本発明の一実施形態で、インター・モードの動きベクトル推定方式の一例は、現在データ処理単位のあらゆる周辺データ処理単位の動きベクトルの中央値（median  value）を現在データ処理単位の動きベクトルとして決定できる。
【０１３８】
本発明の一実施形態で、インター・モードの動きベクトル推定方式は、グループ、サブグループ、基本ブロックなどのサイズを考慮して、異なって決定されもする。例えば、データ処理単位のサイズによって、参照する周辺ブロックのサイズ、種類などが異なって設定されうる。
【０１３９】
本発明の一実施形態で、イントラ・モードの動き推定方式の一例は、現在データ処理単位の任意の角度または方向上に位置する隣接ピクセル５個を参照し、５個の隣接ピクセル値の加重平均値（weighted  average）を現在ピクセル値に推定できる。
【０１４０】
本発明の一実施形態で、イントラ・モードの動き推定方式の一例は、所定グループに対して、周波数変換処理のためのデータ処理単位別に所定グループのデータを再配列し、参照ピクセルとして使用できる。イントラ・モードの推定方式の他の例は、動きベクトルのｘ軸変化量及びｙ軸変化量をグラデーション（gradation、∇）を利用して表現することもできる。
【０１４１】
３２×３２イントラ・モードのブロックの動き推定方式の一例は、動きベクトルなどの推定信号２つの加重平均を利用して現在ブロックを推定できる。加重平均は、ピクセル別に最も近い参照ピクセルに、さらに大きい加重値を付与する方式で求められうる。
【０１４２】
本発明の一実施形態で、グループ単位のスキップ・モードを示すフラグは、ピクチャ単位で集めて一度に処理されうる。望ましい実施形態で、Ｂピクチャのみ当該ピクチャ内のグループ単位のスキップ・モードを示すフラグが一度に処理されうる。
【０１４３】
本発明の一実施形態は、スキップ・モードと対比される方式であり、現在データ処理単位の情報を誘導する方式を提案する。例えば、動きベクトル及びテキスチャ情報が、いずれもシグナリングされずに誘導されうる。また、動きベクトル情報はシグナリングされ、テキスチャ情報は誘導されたり、テキスチャ情報はシグナリングされ、動きベクトル情報は誘導されうる。ＤＣ情報のみシグナリングされる推定モードが可能である。量子化パラメータ（Ｑｐ：Quantization  parameter）別に、多様な動き情報誘導方式が定義されもする。
【０１４４】
本発明の一実施形態は、スキップ・モードのデータ処理単位が階層構造を形成できる。例えば、スキップ・モードの３２×３２ブロック内の１６×１６ブロックも、スキップ・モードであるならば、３２×３２スキップフラグ及び１６×１６スキップフラグの階層構造を示すフラグが設定されうる。また、スキップ・モードである基本ブロックの集合であるグループが形成されもする。
【０１４５】
本発明の実施形態によって、だんだんと上昇しているビデオ・コンテンツの解像度に対応するために、既存のマクロブロック・サイズをさらに効率的なサイズに拡張し、ビデオ圧縮性能が向上しうる。
【０１４６】
以下、図１０ないし図１７を参考にして、既存のＨ．２６４動映像符号化／復号化方式に対比して、本発明で提案するグループ、サブグループ、基本ブロックの階層的概念を、３２×３２データのスーパー・マクロブロック（以下、「ＳＭＢ」または「Ｓ−ＭＢ」とも表記）単位，１６×１６マクロブロック（以下、「ＭＢ」とも表記）単位、８×８マクロブロック単位の階層的構造として具現された本発明の他の実施形態について詳述する。
【０１４７】
図１０は、本発明で可能なデータ処理単位の階層的構造を図示している。
【０１４８】
データ処理単位の階層的構造１０００は、３段階の構造を有することができる。第１階層１０１０は、最も大きいサイズである３２×３２スーパー・マクロブロックであり、例えば、１個の３２×３２スキップ・モードである場合、１個の３２×３２インター・モードである場合、２個の３２×１６インター・モードを含む場合、２個の１６×３２インター・モードを含む場合、４個の１６×１６インター・モードを含む場合がありうる。第１階層１０１０については、１６×１６ブロック、８×８ブロック及び４×４ブロック単位の周波数変換が行われうる。
【０１４９】
第２階層１０２０は、第１階層１０１０のスーパー・マクロブロックのうち分化された１６×１６マクロブロックに該当する。例えば、第２階層１０２０の１６×１６マクロブロックは、１個の１６×１６イントラ・モードである場合、１個の１６×１６スキップ・モードである場合、１個の１６×１６インター・モードである場合、２個の１６×８インター・モードを含む場合、２個の８×１６インター・モードを含む場合、４個の８×８インター・モードを含む場合がありうる。第２階層１０２０については、８×８ブロック及び４×４ブロック単位の周波数変換が行われうる。
【０１５０】
第３階層１０３０は、第２階層１０２０のマクロブロックのうち分化された８×８ブロックに該当する。例えば、第３階層１０３０の８×８マクロブロックは、１個の８×８スキップ・モードである場合、１個の８×８インター・モードである場合、２個の８×４インター・モードを含む場合、２個の４×８インター・モードを含む場合、４個の４×４インター・モードを含む場合がありうる。第３階層１０３０については、４×４ブロック単位の周波数変換が行われうる。
【０１５１】
本発明が提案するマクロブロックの拡張型階層構造によって、大容量のビデオデータのための３２×３２スーパー・マクロブロック・モードで符号化／復号化が可能であるだけではなく、８×８以下のマクロブロック・モードにもプロセシングが可能である。また、本発明が提案するマクロブロックの拡張型階層構造で、スキップ・モードまたはイントラ・モード、１６×１６以下のマクロブロック単位などの処理は、既存符号化／復号化方式と同じ方式が採択されうるので、新たな符号化／復号化システムの構築のために必要な費用及び時間が節減されうる。
【０１５２】
図１１は、本発明の他の実施形態によるスーパー・マクロブロック及びマクロブロック単位による符号化モードのシンタックスを図示する。
【０１５３】
映像復号化装置２００の他の実施形態によれば、グループ符号化モード読取り部２２０は、現在グループの符号化モードを判断するために、まずスーパー・マクロブロック単位のスキップ・モードで符号化されているか否かを示すフラグ（ＳＭＢ_SKIP）を確認する（段階１１１０（ＳＭＢ_SKIP？））。「ＳＭＢ_SKIP」フラグ値が１であるならば、グループ復号化部２３０は、３２×３２スーパー・マクロブロック単位のスキップ・モードで、動き推定を介した復号化を行う（段階１１２０（SMB_SKIP（３２Ｘ３２）））。
【０１５４】
「ＳＭＢ_SKIP」フラグ値が０であるならば、グループ符号化モード読取り部２２０は、現在グループがスーパー・マクロブロック単位で符号化されているか否かを判断する（段階１１３０（ＳＭＢ？））。段階１１３０の判断によって、スキップ・モードではない推定モードで、スーパー・マクロブロック単位の符号化がなされているとするならば、その判断の結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＳＭＢ_mode」フラグによって、３２×３２インター・モード、３２×１６インター・モード、１６×３２インター・モード、１６×１６インター・モードのスーパー・マクロブロック単位で、動き推定を介した復号化を行う（段階１１４０（SMB_Mode（３２Ｘ３２，３２Ｘ１６，１６Ｘ３２）））。
【０１５５】
望ましい実施形態によれば、１６×１６インター・モードのスーパー・マクロブロック単位による動き推定方式は、既存１６×１６インター・モードのマクロブロック単位による動き推定方式と同一でありうる。
【０１５６】
段階１１３０の判断によって、現在グループが、スーパー・マクロブロック単位インター・モードで符号化されていないと判断されれば、グループ符号化モード読取り部２２０は、マクロブロック単位のスキップ・モードで符号化されたグループであるか否かを示すフラグ（ＭＢ_SKIP）を確認する（段階１１５０（ＭＢ_SKIP？））。
【０１５７】
段階１１５０の判断によって、マクロブロック単位のスキップ・モードで符号化がなされているとするならば、その判断結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＭＢ_SKIP」フラグによって、１６×１６スーパー・マクロブロック単位で、スキップ・モードの動き推定を介した復号化を行う（段階１１６０（ＭＢ_SKIP（１６Ｘ１６）））。
【０１５８】
段階１１５０の判断によって、マクロブロック単位のスキップ・モードで符号化がなされていないとすれば、その判断結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＭＢ_SKIP」フラグによって、１６×１６イントラ・モード、１６×１６インター・モード、１６×８インター・モード、８×１６インター・モード、８×８インター・モードなどのマクロブロック単位、または８×８マクロブロックより小さいサブマクロブロック単位で復号化を行う（段階１１７０（ＭＢ_Mode（１６Ｘ１６，１６Ｘ８，８Ｘ１６…）））。
【０１５９】
図１２は、本発明の他の実施形態によって、符号化モードがスキップ・モードである場合の動きベクトル推定方式を図示している。
【０１６０】
他の実施形態による映像符号化装置１００及び映像復号化装置２００は、スキップ・モードであるブロックの動きベクトルを推定するために、スーパー・マクロブロック単位基盤の動きベクトル推定方式、またはマクロブロック単位基盤の動きベクトル推定方式を使用できる。
【０１６１】
スーパー・マクロブロック単位基盤の動きベクトル推定方式の一例は、３２×３２スキップ・モードのスーパー・マクロブロックは、周辺ブロックの動きベクトルを利用し、動きベクトルを推定できる。周辺ブロックは、スーパー・マクロブロックまたはマクロブロックでありうる。例えば、下記の式（１）によって、スーパー・マクロブロックの動きベクトルが推定されている。
【０１６２】
ＭＶ＝Median（ＭＶａ，ＭＶｂ，ＭＶｃ）        （１）
Median（・）関数は、入力の中央値を出力する関数である。すなわち、スーパー・マクロブロックの動きベクトルＭＶ  １２１０は、周辺ブロックのうち左側ブロックの動きベクトルＭＶａ  １２２０、上端ブロックの動きベクトルＭＶｂ  １２２５、右側上端ブロックの動きベクトルＭＶｃ  １２３０のうち中央値を有する動きベクトルとして決定される。
【０１６３】
マクロブロック単位基盤の動きベクトル推定方式の一例は、１６×１６スキップ・モードのマクロブロックは、周辺ブロックの動きベクトルを利用し、マクロブロックの動きベクトルを推定できる。例えば、下記の式（２），（３），（４）及び（５）によって、マクロブロックの動きベクトルが推定されうる。
【０１６４】
ＭＶ０＝Median（ＭＶａ，ＭＶｂ，ＭＶｃ）      （２）
ＭＶ１＝Median（ＭＶ０，ＭＶｃ，ＭＶｄ）      （３）
ＭＶ２＝Median（ＭＶｅ，ＭＶ０，ＭＶ１）      （４）
ＭＶ３＝Median（ＭＶ０，ＭＶ１，ＭＶ２）      （５）
１６×１６スキップ・モードのマクロブロックＭＶ０  １２４０、ＭＶ１  １２４５、ＭＶ２  １２５０、ＭＶ３  １２５５は、それぞれの周辺ブロックのうち左側ブロックの動きベクトル、上端ブロックの動きベクトル、右側上端ブロックの動きベクトルのうち中央値を有する動きベクトルとして決定される。すなわち、式（２）によってＭＶ０  １２４０は、ＭＶａ  １２６０、ＭＶｂ  １２６５、ＭＶｃ  １２７０の中央値として決定され、式（３）によってＭＶ１  １２４５は、ＭＶ０  １２４０、ＭＶｃ  １２７０、ＭＶｄ  １２７５の中央値であり、式（４）によってＭＶ２  １２５０は、ＭＶｅ  １２８０、ＭＶ０  １２４０、ＭＶ１  １２４５の中央値であり、式（５）によってＭＶ３  １２５５は、ＭＶ２  １２５０、ＭＶ０  １２４０、ＭＶ１  １２４５の中央値として決定される。
【０１６５】
他の実施形態による映像符号化装置１００は、スーパー・マクロブロック単位の動きベクトル推定であるか、またはマクロブロック単位の動きベクトル推定であるか、動きベクトル推定方式を示すフラグをスライスまたは所定データ単位に、規則的に挿入できる。他の実施形態による映像復号化装置２００は、スライスまたは所定データ単位から、動きベクトル推定方式に対するフラグを抽出し、スーパー・マクロブロックまたはマクロブロックの動きベクトルを推定するのに利用できる。
【０１６６】
図１３は、本発明の他の実施形態のデータ処理単位別の符号化／復号化処理順序を図示している。
【０１６７】
本発明では、映像の符号化または復号化段階で、３段階階層構造を有する拡張されたマクロブロック・モードを支援するために、水平方向にマクロブロック別にスキャンするラスター・スキャン方式（１３１０）の代わりに、１６×１６マクロブロック別に行うジグザグ・スキャン順序（１３２０）を導入する。
【０１６８】
例えば、現在マクロブロックは、ブロック１３３０のような１６×１６マクロブロックの集合のうち一つ（１６×１６  ＭＢ）のブロック、ブロック１３４０のような３２×３２スーパー・マクロブロック（３２×３２  Ｓ−ＭＢ）に含まれたマクロブロック、ブロック１３５０のように３２×１６または１６×３２スーパー・マクロブロック対（３２×１６／１６×３２  Ｓ−ＭＢ）に含まれたマクロブロック、ブロック１３７０のように３２×１６または１６×３２ハーフ・スーパー・マクロブロック（３２×１６／１６×３２  Ｓ−ＭＢ_half）に含まれたマクロブロック、ブロック１３６０のような１６×１６マクロブロック（１６×１６  ＭＢ）などでありうる。
【０１６９】
本発明の映像符号化装置１００のグループ符号化モード決定部１２０は、それぞれの３２×３２スーパー・マクロブロックに対して、１つの３２×３２スーパー・マクロブロックである場合と、４個の１６×１６マクロブロックである場合とのＲＤコストを比較し、３２×３２スーパー・マクロブロック・モードまたは１６×１６マクロブロック・モードのうち一つで符号化するように決定できる。
【０１７０】
マクロブロックのジグザグ・スキャン方式によって、既存の符号化または復号化のシステム構造を大きく変更せずにスキャン方式だけを変更して使用できるので、既存の符号化または復号化のシステムを利用して本発明を容易に具現することもできる。
【０１７１】
また、スーパー・マクロブロック単位に符合しない映像のエッジ部分は、ブロック１３７０のような３２×１６または１６×３２ハーフ・スーパー・マクロブロック、またはブロック１３６０のような１６×１６マクロブロックなどを利用して容易に処理されうる。
【０１７２】
図１４は、本発明の他の実施形態の周波数係数の配列方式を図示している。
【０１７３】
本発明は、映像の符号化過程及び復号化過程で、１６×１６ブロックの周波数係数１４００をインターリーブド方式によって、８×８マクロブロック１４５０に再配列させられる。このように、８×８マクロブロック単位で再配列された係数は、８×８マクロブロック単位でエントロピ符号化または復号化されうる。
【０１７４】
１６×１６ブロックの係数を、８×８マクロブロック単位のインターリーブド方式で再配列する方式の一例は、１６×１６ブロックの係数の位置によって、左側上端、右側上端、左側下端、右側下端の８×８マクロブロックに再配列されうる。
【０１７５】
係数の再配列順序によれば、１６×１６ブロックのうち、２×２ブロックの係数のうち左側上端の係数は、左側上端の８×８マクロブロック１４６０に配される。すなわち，１６×１６ブロックの係数１４１０は、左側上端の８×８マクロブロック１４６０の係数１４６２に配される。
【０１７６】
また、１６×１６ブロックのうち、２×２ブロックの係数のうち右側上端の係数は、右側上端の８×８マクロブロック１４７０に配される。すなわち，１６×１６ブロックの係数１４３０は、右側上端の８×８マクロブロック１４７０の係数１４７２に配される。
【０１７７】
同様に、１６×１６ブロックのうち、２×２ブロックの係数のうち左側下端の係数は、左側下端の８×８マクロブロック１４８０に配される。すなわち，１６×１６ブロックの係数１４２０は、左側下端の８×８マクロブロック１４８０の係数１４８２に配される。
【０１７８】
最後に、１６×１６ブロックのうち、２×２ブロックの係数のうち右側下端の係数を、右側下端の８×８マクロブロック１４９０に配する。すなわち，１６×１６ブロックの係数１４４０は、右側下端の８×８マクロブロック１４９０の係数１４９２に配される。
【０１７９】
図１５は、既存符号化方式と、本発明の他の実施形態とによるＣＢＰ（coded  block  pattern）及び係数ブロック・サイズと関連したシンタックス符号化方式を比較している。
【０１８０】
一般的なＣＢＰを考慮した係数の符号化方式１５１０は、ＣＢＰ値を確認し（段階１５２０（ＣＢＰ＝０））、ＣＢＰ値が０であるならば、ＣＢＰを考慮した係数の符号化過程を終了する。ＣＢＰ値が０ではなければ、係数ブロック・サイズを示すフラグ（ＴＦｌａｇ）を符号化し（段階１５３０（Encode  ＴＦｌａｇ））、現在係数を符号化することにより（段階１５４０（Encode  Ｃｏｅｆｆ．））、ＣＢＰを考慮した係数の符号化が完了する。既存の符号化／復号化方式のように、８×８ブロック単位または４×４ブロック単位で、周波数変換された係数が羅列された場合、「Ｔｆｌａｇ」フラグは、８×８ブロック単位または４×４ブロック単位の係数であるかを示すことができる。
【０１８１】
本発明が提案するＣＢＰを考慮した符号化方式１５５０によれば、ＣＢＰ値が確認され（段階１５２０（ＣＰＢ＝０））、ＣＢＰ値が０であるならば、ＣＢＰを考慮した係数の符号化が終了する。ＣＢＰ値が０ではなければ、現在係数が８×８ブロック単位または４×４ブロック単位の係数であるか示すフラグ（ＴＦｌａｇ８）が符号化され（段階１５６０（Encode  ＴＦｌａｇ８））、「ＴＦｌａｇ８」フラグの値に基づいた判断の結果（段階１５７０（ＴＦｌａｇ８））、現在係数が４×４ブロック単位の係数であるならば、係数が符号化されることにより（段階１５９０（Encode  Ｃｏｅｆｆ．））、係数の符号化が完了する。
【０１８２】
「ＴＦｌａｇ８」フラグの値に基づいた判断の結果（段階１５７０（ＴＦｌａｇ８））、現在係数が４×４ブロック単位の係数ではないならば、現在係数が８×８ブロック単位または１６×１６ブロック単位の係数であるかを示すフラグ（ＴＦｌａｇ１６）が符号化され（段階１５８０（Encode  ＴＦｌａｇ１６））、現在係数が符号化されることにより（段階１５９０（Encode  Ｃｏｅｆｆ．））、係数の符号化が完了する。
【０１８３】
従って、本発明は、周波数変換された係数が配列されたデータ処理単位と関連した２つのフラグ（ＴＦｌａｇ８，ＴＦｌａｇ１６）を利用し、可変的なブロック・サイズによる周波数変換を介した符号化及び周波数逆変換を介した復号化が行われうる。
【０１８４】
周波数変換と関連して、本発明の一実施形態は、周波数変換された係数の配列ブロックのサイズだけではなく、整数単位の周波数変換を導入することもできる。８×８インターリーブド方式の係数ブロックを介して、ＥＯＢ（end  of  block）長が短縮されうる。また、「Ｔｆａｌｇ８」フラグ値が１であるとき、１６×１６インター・モードのためのオーバーヘッドは、１ビットだけさらに要求される。多様なサイズのブロックによって、エネルギー圧縮効率が高まるので、周波数変換頻度が減少しうる。
【０１８５】
図１６は、本発明の他の実施形態のＣＢＰ関連シンタックスを図示している。
【０１８６】
本発明の他の実施形態による映像符号化装置２００は、階層的構造のＣＢＰ符号化方式を導入している。スキップ・モードではないマクロブロックのために、ＣＢＰ情報の符号化いかんを示すフラグ（ＭＢ＿ＣＢＰ＿flag）が符号化される（段階１６００（Encode  ＭＢ_ＣＢＰ_flag））。「ＭＢ＿ＣＢＰ＿flag」フラグに基づいた判断の結果（段階１６１０（ＭＢ_ＣＢＰ_flag＝０？））、「ＭＢ＿ＣＢＰ＿flag」フラグ値が０であるならば、それ以上の追加情報が必要ではないので、ＣＢＰ符号化過程が終了される。「ＭＢ＿ＣＢＰ＿flag」フラグに基づいた判断の結果（段階１６１０（ＭＢ_ＣＢＰ_flag＝０？））、「ＭＢ＿ＣＢＰ＿flag｝フラグ値が１であるならば、当該マクロブロックのためのＣＢＰの符号化が行われる（段階１６２０（Ｈ．２６４  ＣＢＰ  coding））。
【０１８７】
本発明の他の実施形態による映像復号化装置２００は、受信されたデータに挿入されている「ＭＢ＿ＣＢＰ＿flag」フラグを抽出し、復号化対象のマクロブロックに対して、ＣＢＰの復号化が必要であるか否かを判断できる。
【０１８８】
図１７は、本発明の他の実施形態のＢフレームの符号化モードを図示している。
【０１８９】
本発明の映像符号化装置１００及び映像復号化装置２００は、Ｂフレームのための符号化モードで、スーパー・マクロブロック単位のダイレクトモード（Ｓ−ＭＢ  DIRECT  mode）を導入できる。現在スーパー・マクロブロックの符号化モードが、ダイレクト・モードであるならば、テキスチャ・コーディングが行われねばならないのである。
【０１９０】
例えば、３２×３２スーパー・マクロブロック１７１０のそれぞれの１６×１６マクロブロック１７２０，１７３０，１７４０，１７５０ごとに含まれたＣＢＰ符号化いかんを示すフラグ（ＭＢ＿ＣＢＰ＿ＦＬＡＧ）は、当該１６×１６マクロブロック１７２０，１７３０，１７４０，１７５０がスキップ・モードであるか、あるいはダイレクト・モードの符号化であるかを示している。
【０１９１】
すなわち、「ＭＢ＿ＣＢＰ＿ＦＬＡＧ」フラグが１であるマクロブロック１７２０，１７５０は、ダイレクト・モードのマクロブロック１７６０，１７９０であるから、Ｈ．２６４標準によるダイレクト・モードと同じ動き推定方式で動きベクトルが推定されうる。
【０１９２】
一方、「ＭＢ＿ＣＢＰ＿ＦＬＡＧ」フラグが０であるマクロブロック１７３０，１７４０は、ダイレクト・モードのマクロブロック１７７０，１７８０であるから、動きベクトルの推定のために、それ以上の情報が必要ではない。
【０１９３】
映像符号化装置１００及び映像復号化装置２００の他の例は、ダイナミック・レンジ分割方式のためのブロック単位を、量子化パラメータ、解像度、シーケンス特性に基づいて決定できる。また、水平方向、垂直方向だけではなく、多様な方向にデータ処理単位が分類されうる。
【０１９４】
前述の３段階の階層構造で第１レベルは、スキップ・モード及びインター・モードだけではなく、イントラ・モード及びインター・モードが複合された推定モードのスーパー・マクロブロックを含むことができる。
【０１９５】
符号化モードまたはデータ処理単位は、ピクチャ、シーケンス、スライス、マクロブロックなどの多様なデータ単位別に設定され、最大または最小の基本ブロック・サイズ及び分化階層レベルで表現されもする。データ処理単位の階層構造の二段階構造（binary  tree）は、ｎ段階構造（n-ary  tree）に分化されうる。
【０１９６】
映像符号化装置１００及び映像復号化装置２００の他の実施形態で、動き推定のためのブロックのサイズ、周波数変換のためのブロックのサイズ、デブロッキング・フィルタリングのためのブロックのサイズ順に、順次にブロックのサイズが小さいか、あるいは同じにように維持されうる。また、動き推定のためのデータ処理単位及び周波数変換のためのデータ処理単位を統合したり分離して表現させることができる。
【０１９７】
任意のグループによって形成されたイントラ・モードまたはインター・モードのマクロブロックは、任意の個数の基本ブロックを含むグループから形成されうる。この場合、グループのサイズに基づいてブロック推定が行われたり、グループのサイズに基づいて周波数変換が行われうる。
【０１９８】
任意の個数のスキップ・モードのマクロブロックで、グループが形成されもする。
【０１９９】
図１８は、本発明の一実施形態による映像符号化方法のフローチャートを図示している。
【０２００】
段階１８１０で、基本ブロックに分類された映像データが、グループ、サブグループ及び基本ブロックを含む拡張された概念に分類される。グループは、基本ブロックの個数を示すサイズ、形態及び最大レベルの属性を有することができ、サブグループは、レベル及びスキャン順序によって設定されうる。
【０２０１】
段階１８２０で、グループを符号化するために利用されるデータ処理単位として、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくともいずれか一つについての情報と、前記少なくとも１つのデータ処理単位によってグループのデータを符号化する方式についての情報とを含むグループの符号化モードが決定される。
【０２０２】
グループの符号化モードは、グループ内それぞれのデータ処理単位別に行われたグループのデータに係わる符号化によって発生する誤差率に基づいて決定されうる。それぞれのグループごとに、グループ単位の符号化誤差率、グループ内あらゆるサブグループの符号化誤差率のうちの最低誤差率、グループ内あらゆる基本ブロックの符号化誤差率のうちの最低誤差率を比較し、最適のデータ処理単位及び推定モードが選択される。それぞれのグループの符号化モードは、当該グループの最適のデータ処理単位及び推定モードについての情報を含む。
【０２０３】
段階１８３０で、決定された符号化モードによって、それぞれのグループのデータが符号化される。映像データ及びグループ別の符号化モードを示す情報だけではなく、グループ内の周波数変換された係数が、所定データ処理単位に再配列されているか否かについての情報、ＣＢＰ符号化情報などが符号化され、伝送データに挿入されもする。
【０２０４】
図１９は、本発明の一実施形態による映像復号化方法のフローチャートを図示している。
【０２０５】
段階１９１０で、基本ブロック、グループ及びサブグループのうち１つのデータ処理単位で符号化されたデータが受信され、受信されたデータから復号化に必要な情報がパージングされる。受信されたデータから、復号化対象になる映像データをパージングし、映像の復号化のために必要なパラメータなどがパージングされもする。
【０２０６】
段階１９２０で、段階１９１０でパージングされたデータから、グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す所定グループの符号化モードが読み取られる。
【０２０７】
グループを決定するために、パージングされたデータから、グループのサイズ、形態、最大レベルを示す情報を抽出して読み取る。グループが決定されれば、それぞれのグループの符号化モードを抽出して読み取る。
【０２０８】
段階１９３０で、読み取られた符号化モードに対応する所定グループのデータが復号化される。
【０２０９】
所定グループの符号化モードから抽出及び判読されたいかなるデータ処理単位で復号するかについての情報、当該データ処理単位のサイズ及び形態に関連した情報、動き推定方式についての情報などを利用し、所定グループのデータが復号化される。
【０２１０】
（II．動的に決定されたデータ処理単位による映像符号化装置）
図２０Ａ、図２０Ｂ、図２０Ｃ、図２０Ｄ、図２０Ｅ及び図２０Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置１００の変形実施形態のブロック図を図示している。
【０２１１】
一実施形態による映像符号化装置１００のグループ符号化部１３０は、グループ符号化モード決定部１２０で決定されたグループの符号化モードに基づくデータ処理単位及び推定モードによって、グループのデータを符号化するために、周波数変換及び量子化、イントラ推定及びインター推定を含む動き推定、インループ・フィルタリング、エントロピ符号化を行う。
【０２１２】
一実施形態による映像符号化装置１００は、グループのデータ処理単位を動的に決定する。従って、グループのデータ処理単位は、グループ、サブグループ、基本ブロックの階層的構造のうち一つでありうる。
【０２１３】
一実施形態による映像符号化装置１００によって動的に決定されるデータ処理単位は、既存の映像符号化フォーマットでは定義されていないデータ処理単位であるので、既存の映像符号化プロセスとは区別される固有プロセスが必要である。例えば、１６×１６マクロブロックまたは８×８マクロブロックよりも大サイズの大型データ処理単位が利用される場合、グループ符号化部１３０は、大型データ処理単位を考慮するプロセスを介して、映像符号化作業を行わねばならない。
【０２１４】
図２０Ａは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮した周波数変換及び量子化が適用された場合のブロック図を図示している。
【０２１５】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第１実施形態は、大型データ処理単位を考慮した周波数変換及び量子化部２００１、イントラ推定部及びインター推定部を含む動き推定部１３３、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
【０２１６】
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、グループ符号化モード決定部１２０で決定された符号化モードに基づいた大型データ処理単位によって、周波数変換及び量子化を行うために、大型データ処理単位を基にする整数離散コサイン変換（ＤＣＴ）及び量子化を行うことができる。
【０２１７】
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、大型データ処理単位によって周波数変換及び量子化を行うために、大型データ処理単位のクロマ（chroma）成分に対し、離散コサイン変換及び量子化を行うことができる。
【０２１８】
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、大型データ処理単位を基盤とする離散コサイン変換によって加重されうる演算量の負担を減少させるために、低複雑度演算が可能な離散コサイン変換を行うことができる。
【０２１９】
図２０Ｂは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のブロック図を図示する。
【０２２０】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第２実施形態は、周波数変換及び量子化部１３１、大型データ処理単位を考慮したプロセシングによる動き推定部２００３、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。大型データ処理単位を考慮したプロセシングを基盤として、イントラ推定及びインター推定が行われうる。
【０２２１】
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、グループ符号化モード決定部１２０で決定された符号化モードに基づいた大型データ処理単位を考慮し、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせがあらかじめ決定されうる。周波数変換のためのデータ処理単位は、動き推定のためのデータ処理単位よりサイズが小さいことが望ましい。
【０２２２】
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、大型データ処理単位を考慮し、データ処理単位別の動き推定のためのスキャン方式及び隣接ブロックを参照ブロックとして利用できる可能性（neighbor  availability）を決定できる。
【０２２３】
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、大型データ処理単位を考慮し、符号化モードを示すビットの伝送量を節約するために、正方形のデータ処理単位のみが採択する簡略化された符号化モードを利用できる。
【０２２４】
図２０Ｃは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のブロック図を図示している。
【０２２５】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第３実施形態は、周波数変換及び量子化部１３１、大型データ処理単位を考慮したイントラ推定部２００４及びインター推定部１３５、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
【０２２６】
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、所定大型データ処理単位に対してイントラ推定を行うイントラ・モードをさらに定義できる。
【０２２７】
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、さらに大型データ処理単位の正確な動き推定のために、イントラ・モードにコンプレックス・プレーンを利用した推定モードを導入できる。
【０２２８】
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、イントラ推定が可能な大型データ処理単位の種類を限定できる。
【０２２９】
図２０Ｄは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したインター推定が適用された場合のブロック図を図示する。
【０２３０】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第４実施形態は、周波数変換及び量子化部１３１、イントラ推定部１３４及び大型データ処理単位を考慮したインター推定部２００５、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
【０２３１】
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位の推定モードであり、インター推定及びイントラ推定が混在しうる混合モードを導入できる。
【０２３２】
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位別に動きベクトル（ＭＶ）を決定し、それによって、動きベクトル推定子（ＭＶＰ）を誘導できる。
【０２３３】
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位に対するスキップ・モードを新たに導入し、複数のスキップ・モードのデータ処理単位を含むスキップ・グループを設定できる。スキップ・グループに属するスキップ・モードのデータ処理単位いずれについても、共にスキップ処理できる。
【０２３４】
図２０Ｅは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のブロック図を図示する。
【０２３５】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第５実施形態は、周波数変換及び量子化部１３１、イントラ推定部及びインター推定部を含む動き推定部１３３、大型データ処理単位を考慮したインループ・フィルタリング部２００７及びエントロピ符号化部１３９を含む。
【０２３６】
グループ符号化部１３０の第５実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部の下位処理単位の境界に対するフィルタリングいかんを決定し、フィルタリング強度を調節できる。
【０２３７】
グループ符号化部１３０の第５実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部のリンギング効果を低減させるためのインループ・フィルタリングを行うことができる。
【０２３８】
図２０Ｆは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したエントロピ符号化が適用された場合のブロック図を図示する。
【０２３９】
一実施形態による映像符号化装置１００のグループ符号化部１３０の第６実施形態は、周波数変換及び量子化部１３１、イントラ推定部及びインター推定部を含む動き推定部１３３、インループ・フィルタリング部１３７及び大型データ処理単位を考慮したエントロピ符号化部２００９を含む。
【０２４０】
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に係わる符号化ブロック・パターンを定義する。また、大型データ処理単位を考慮したエントロピ符号化部２００９は、データ処理単位内に０ではない符号化ブロック・パターンが存在する確率に基づいて、符号化ブロック・パターンをスキャンできる。
【０２４１】
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に対してコンテクスト基盤の適応的二進算術符号化（ＣＡＢＡＣ）、またはコンテクスト基盤の適応的可変長符号化（ＣＡＶＬＣ）を適用できる。
【０２４２】
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に係わる符号化ブロック・パターンの新規コンテクストを設定できる。
【０２４３】
前述のグループ符号化部１３０の第１実施形態ないし第６実施形態は、それぞれの符号化過程別に、大型データ処理単位を考慮して行うことができる固有プロセスである。以下、映像符号化全過程にわたって、大型データ処理単位のうち一つである大型ブロックを基に、映像シーケンスを符号化する方法について、図２０Ｇを参照しつつ説明する。
【０２４４】
図２０Ｇは、本発明の一実施形態によって動的に決定されたデータ処理単位を考慮した映像符号化方法のフローチャートを図示している。
【０２４５】
一実施形態による映像符号化方法（２０００）は、階層的構造のブロック２０２０のうち所定符号化モードに対応するブロックを利用し、入力映像シーケンス２０１０に係わる符号化を行う。ブロックの階層的構造２０２０は、図１０を参照しつつ説明したグループ、サブグループ、基本ブロックの階層的構造と同一である。
【０２４６】
一実施形態による映像符号化方法（２０００）は、周波数変換及び量子化段階（２０３０）、動き推定段階（２０４０）、インループ・フィルタリング段階（２０８０）、エントロピ符号化段階（２０９０）を経て、映像ビット・ストリームを出力する（２０９８）。動き推定段階（２０４０）は、所定プロセシング（２０５０）基盤のイントラ推定段階（２０６０）及びインター推定段階（２０７０）を含む。
【０２４７】
一実施形態による映像符号化方法（２０００）は、大型ブロックを考慮するので、周波数変換及び量子化段階（２０３０）、動き推定のためのプロセシング（２０５０）、イントラ推定段階（２０６０）、インター推定段階（２０７０）、インループ・フィルタリング段階（２０８０）、エントロピ符号化段階（２０９０）も、大型ブロックを考慮した固有プロセスを行うことができる。
【０２４８】
例えば、周波数変換及び量子化段階（２０３０）の大型ブロックを考慮した固有プロセスは、大型ブロック基盤の整数離散コサイン変換（ＤＣＴ）及び量子化（２０３２）、大型ブロックのクロマ成分に対する離散コサイン変換及び量子化（２０３４）、大型ブロック基盤の離散コサイン変換のための低複雑度演算（２０３６）のうち少なくともいずれか一つを含むことができる。
【０２４９】
動き推定のためのプロセシング（２０５０）の大型ブロックを考慮した固有プロセスは、動き推定のための大型ブロック及び周波数変換のための大型ブロックの組み合わせ（２０５２）、動き推定のためのブロック・スキャニング方式及び隣接ブロック参照可能性（２０５４）、階層的構造の大型ブロックの簡略化モード（２０５６）のうち少なくともいずれか一つを含むことができる。
【０２５０】
イントラ推定段階（２０６０）の大型ブロックを考慮した固有プロセスは、大型ブロック基盤のイントラ・モードの導入（２０６２）、イントラ推定のためのコンプレックス・プレーンの導入（２０６４）、推定可能なイントラ・モードの決定（２０６６）のうち少なくともいずれか一つを含むことができる。
【０２５１】
インター推定段階（２０７０）の大型ブロックを考慮した固有プロセスは、イントラ・モード及びインター・モードが混合された推定モードの導入（２０７２）、大型ブロックの動きベクトル（ＭＶ）の決定方式及び動きベクトル推定子（ＭＶＰ）の誘導方式（２０７４）、大型ブロックの新規スキップ・モード及びスキップ・グループの導入（２０７６）のうち少なくともいずれか一つを含むことができる。
【０２５２】
インループ・フィルタリング段階（２０８０）の大型ブロックを考慮した固有プロセスは、大型ブロック内部の境界に対するフィルタリングいかん決定及びフィルタリング強度決定（２０８２）、大型ブロック内部のリンギング効果低減フィルタリング２０８４のうち少なくともいずれか一つを含むことができる。
【０２５３】
エントロピ符号化段階（２０９０）の大型ブロックを考慮した固有プロセスは、大型ブロックに係わる符号化ブロック・パターン（ＣＢＰ）の導入及び符号化ブロック・パターンスキャン方式（２０９２）、大型ブロックを考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、大型ブロックの符号化ブロック・パターンに対するコンテクストの設定方式（２０９６）のうち少なくともいずれか一つを含むことができる。
【０２５４】
図２０Ａないし２０Ｇ図を参照しつつ説明した大型データ処理単位を考慮した映像符号化装置１００または映像符号化方法（２０００）は、既存の映像符号化フォーマットを大きく変更せずに、大型データ処理単位を考慮した固有プロセスを追加したり、あるいは代替して適用することによって映像を符号化できる。
【０２５５】
先に、図２０Ａないし図２０Ｇを参照しつつ映像符号化についてのみ記述したが、大型データ処理単位を考慮した固有プロセスは、映像符号化に対応する映像復号化に適用されることが望ましい。従って、以下で述べる各過程別固有プロセスは、映像符号化だけではなく、映像復号化にも適用されうる。
【０２５６】
（III．動き推定プロセシング）
以下、一実施形態による映像符号化装置１００のグループ符号化部１３０の動き推定部１３３の固有プロセシング、及び一実施形態による映像符号化方法（２０００）の動き推定のためのプロセシング（２０５０）について詳述する。また、一実施形態による映像符号化装置１００に対応する映像復号化装置でも、以下の動き推定のためのプロセシングが適用されうる。
【０２５７】
一実施形態による動き推定のためのプロセシングは、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせ、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性、大型ブロックの簡略化モードとすることを特徴とする。
【０２５８】
第一に、動き推定のためのデータ処理単位が、既存の１６×１６マクロブロックまたは８×８マクロブロック以上に拡大されることによって、動き推定のためのデータ処理単位の最大サイズ以下の範囲で、動き推定のためのデータ処理単位に比例して、周波数変換のためのデータ処理単位も拡大しうる。
【０２５９】
すなわち、動き推定のためのデータ処理単位が、３２×３２マクロブロックまたは１６×１６マクロブロックである場合、動き推定のためのデータ処理単位によって、周波数変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックのうち一つで組み合わせられうる。
【０２６０】
第二に、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性は、以下の図２１及び図２２を参照しつつ詳述する。
【０２６１】
図２１は、本発明の一実施形態による大型データ処理単位を考慮した動き推定のためのデータ処理単位別スキャン方式を図示している。先に、図１３を参照しつつ、スーパー・マクロブロック単位のスキャン方式について説明したように、１フレーム内１３２０の大型データ処理単位は、ジグザグ・スキャン方式によって符号化モードが検索される。
【０２６２】
図１３のように、フレーム１３２０内部のスーパー・マクロブロックが縦横方向に並んで整列され、６４×６４ラージ・ブロック（large  block）単位でブロックが整列されうる。一実施形態による動き推定スキャン方式は、図１３のように整列された場合以外にも、図２１のように、フレーム２１００内のスーパー・マクロブロックが整列されていない場合にも適用されうる。
【０２６３】
例えば、フレーム２１００の最初のスキャン対象２１１０が正方形のスーパー・マクロブロックではなくともよい。ジグザグにスキャンされる正方形のスーパー・マクロブロック２１４０が、必ずしも並んで整列されていなくともよい。スーパー・マクロブロック２１２０及びスーパー・マクロブロック２１３０は、隣接した近隣ブロックであるが、互いに一列に整列されていない。
【０２６４】
また、正方形のスーパー・マクロブロック（３２×３２  Ｓ−ＭＢ、３２×１６／１６×３２  Ｓ−ＭＢ）形態でスキャンされるものではなくとも、長方形のスーパー・マクロブロック（３２×１６／１６×３２  Ｓ−ＭＢ_half）によってスキャンされる位置で、１６×１６マクロブロック２１４０単位でスキャンされもする。
【０２６５】
フレーム１３２０のように、スキャン対象ブロックが整列された場合には、既存の隣接ブロック推定及びコンテクストと同一の方式で隣接ブロックを参照ブロックとして利用できる。しかし、フレーム２１００のように、スキャン対象ブロックが整列されていない場合には、参照ブロックが、場合によっては変更されるので、現在ブロックの動きベクトル推定子またはイントラ推定子は、最も隣接した位置の同一サイズのブロックを指すように設定されうる。
【０２６６】
正方形のブロック（３２×３２  Ｓ−ＭＢ、３２×１６／１６×３２  Ｓ−ＭＢ、１６×１６  ＭＢ）のみ設定可能な簡略化モードでは、さらに発生する演算複雑度（complexity）及びシグナリング（signaling）が制御されうる。
【０２６７】
図２２は、本発明の一実施形態による大型データ処理単位を考慮した動き推定で、隣接する近隣データ処理単位の利用可能性を図示している。データ処理単位の例示として、既存の１６×１６マクロブロック２２１０及び３２×３２スーパー・マクロブロック２２５０が利用される。
【０２６８】
動きベクトル推定子（ＭＶＰ）及びイントラ推定子の遂行中に、上端右側の隣接ブロックを参照ブロックとして利用できるか否か（以下、隣接ブロック参照可能性（neighbor  availability））は、すでにスキャンされた周辺ブロックであるか否かということと、位置インデックス単位とによって決定されうる。
【０２６９】
図２２で、データ処理単位として正方形のブロックが利用される場合を参照しつつ、隣接ブロック参照可能性について説明する。１フレーム内のブロックは、最小データ単位である４×４ブロック別に、上端右側の隣接ブロックを参照できる第１ブロック群２２０２（Available  Above_Right）、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４（Not  Available  Above_Right  by  ４Ｘ４  index）、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６（Not  Available  Above_Right  by  ８Ｘ８  index）、１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８（Not  Available  Above_Right  by  １６Ｘ１６  index）に分類される。
【０２７０】
例えば、既存の１６×１６マクロブロック２２１０の場合，４×４ブロックａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｃ１，ｃ２，ｃ３，ｄ１，ｄ２は、上端右側の隣接ブロックを参照できる第１ブロック群２２０２に該当する。４×４ブロックａ４，ｂ４，ｃ４，ｄ４は、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４に該当する。４×４ブロックｄ２は、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６に該当する。
【０２７１】
従って、既存の１６×１６マクロブロック２２１０の場合、隣接ブロック参照可能性と関連して、第１ブロック群２２０２、第２ブロック群２２０４、第３ブロック群２２０６が分類されうる。
【０２７２】
一実施形態によって、大型データ処理単位が導入される場合、参照ブロックの決定のために、４×４インデックスまたは８×８インデックス以外に、１６×１６インデックスが追加されうる。従って，１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８が存在しうる。
【０２７３】
３２×３２スーパー・マクロブロック２２５０の場合，４×４ブロックＡ１，Ａ２，Ａ３，Ｂ１，Ｂ２，Ｂ３，Ｃ１，Ｃ２，Ｃ３，Ｄ１，Ｄ３，Ｅ１，Ｅ２，Ｅ３，Ｆ１，Ｆ２，Ｆ３，Ｇ１，Ｇ２，Ｇ３，Ｈ１，Ｈ３，Ｉ１，Ｉ２，Ｉ３，Ｊ１，Ｊ２，Ｊ３，Ｋ１，Ｋ２，Ｋ３，Ｌ１，Ｌ３，Ｍ１，Ｍ２，Ｍ３，Ｎ１，Ｎ３，Ｏ１，Ｏ２，Ｏ３，Ｐ１，Ｐ３は、上端右側の隣接ブロックを参照できる第１ブロック群２２０２に該当する。
【０２７４】
４×４ブロックＡ４，Ｂ４，Ｃ４，Ｄ４，Ｅ４，Ｆ４，Ｇ４，Ｈ４，Ｉ４，Ｊ４，Ｋ４，Ｌ４，Ｍ４，Ｎ４，Ｏ４，Ｐ４は、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４に該当する。４×４ブロックＤ２，Ｈ２，Ｌ２，Ｐ２は、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６に該当する。
【０２７５】
一方、４×４ブロックＮ２は、１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８に該当する。
【０２７６】
上端右側の隣接ブロック参照可能性は、動きベクトル推定子またはイントラ推定子を決定するための条件、または動きベクトル推定子またはイントラ推定子の誘導関数の入力変数として利用されうる。従って、一実施形態によって大型データ処理単位が導入される場合、動きベクトル推定子またはイントラ推定子を決定するための条件、または誘導関数の入力変数として、１６×１６インデックスによる上端右側の隣接ブロック参照可能性が追加されうる。
【０２７７】
第三に、正方形のデータ処理単位だけ採択される簡略化された符号化モードは、以下の図２３Ａ及び図２３Ｂを参照しつつ述べる。
【０２７８】
図２３Ａは、本発明の一実施形態による大型データ処理単位のうち簡素化された階層的データ処理単位を図示している。
【０２７９】
図１０で述べたデータ処理単位の階層的構造１０００によれば、一実施形態によるデータ処理単位は、正方形のブロック（３２×３２、１６×１６、８×８、４×４）及び長方形のブロック（３２×１６、１６×３２、１６×８、８×１６、８×４、４×８）をいずれも含んでいる。データ処理単位の階層的構造１０００によれば、多様なデータ処理単位による符号化が可能である。
【０２８０】
一実施形態による映像符号化装置１００は、正方形のブロックだけを含むデータ処理単位の階層的構造２３１０に簡略化されうる。
【０２８１】
第１階層２３１０は、イントラ・モードの３２×３２スーパー・マクロブロック、スキップ・モードの３２×３２スーパー・マクロブロック、インター・モードの３２×３２スーパー・マクロブロック、１６×１６マクロブロックを含むことができる。第１階層２３１０は、３２×３２，１６×１６，８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
【０２８２】
第２階層２３２０は、イントラ・モードの１６×１６マクロブロック、スキップ・モードの１６×１６マクロブロック、インター・モードの１６×１６マクロブロック、インター・モードの８×８マクロブロックを含むことができる。第２階層２３２０は、１６×１６，８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
【０２８３】
第３階層２３３０は、スキップ・モードの８×８マクロブロック、インター・モードの８×８マクロブロック、インター・モードの４×４ブロックを含むことができる。第３階層２３３０は、８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
【０２８４】
簡略化されたデータ処理単位の階層的構造２３１０によれば、同じサイズ及び形態のインター・モード及びイントラ・モードのブロックがそれぞれ存在することになる。また、符号化モードの数が減少するので、符号化モードを示すビットが節約されうる。
【０２８５】
図２３Ｂは、本発明の一実施形態による大型データ処理単位を考慮したシンタックスを図示している。シンタックス２３５０は、所定データ処理単位の符号化モードによる各種情報を含む。
【０２８６】
「mode」値２３５２は、符号化モードを示している。「ｒｅｆ＿ｉｄｘ／ｍｖｄ」値２３５４は、参照インデックス及び動きベクトルの変移を示している。「coded＿block＿pattern」値２３５６は、符号化ブロック・パターンを示している。「transform＿size＿flag」値２３５８は、周波数変換のためのデータ処理単位のサイズを示している。「residual（）」値２３６０は、残差成分についての情報を示している。
【０２８７】
簡略化されたデータ処理単位の階層的構造２３１０に、よれば、「mode」値２３５２のビットが節約されうる。また、符号化モードによる周波数変換のためのデータ処理単位のサイズが制限されれば、シンタックス２３５０のうち、「coded＿block＿pattern」値２３５６及び「transform＿size＿flag」値２３５８が変形されうる。
【０２８８】
（III−１．イントラ推定）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したイントラ推定部２００４、及び一実施形態による映像符号化方法（２０００）のイントラ推定段階（２０６０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
【０２８９】
第一に、大型ブロック基盤のイントラ・モード（２０６２）が追加される。例えば、イントラ・モードの３２×３２スーパー・マクロブロック、イントラ・モードの１６×１６マクロブロックが追加されうる。
【０２９０】
第二に、さらに精巧なイントラ推定のためのコンプレックス・プレーンを利用した推定モードが導入されうる。
【０２９１】
第三に、それぞれのデータ処理単位別に、イントラ推定可能であることを示す符号化モードが個別的に決定されうる。
【０２９２】
（III−２．インター推定）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したインター推定部２００５及び一実施形態による映像符号化方法（２０００）のインター推定段階（２０７０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
【０２９３】
第一に、任意の大型データ処理単位に対して、イントラ・モード及びインター・モードが混合された推定モードが設定されうる。また、大型データ処理単位内の下位データ処理単位別に、イントラ・モードまたはインター・モードが混在して設定されうる。
【０２９４】
第二に、大型データ処理単位に対するスキップ・モードが新たに定義され、少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループが導入されうる。例えば、スキップ・モードの３２×３２スーパー・マクロブロック、複数のスキップ・モードの３２×３２スーパー・マクロブロックを含むスキップ・グループを、以下の図２４Ａないし図２４Ｃを介して提案している。
【０２９５】
図２４Ａ、図２４Ｂ及び図２４Ｃは、本発明の一実施形態によるスキップ・グループのさまざまな構成方式を図示している。説明の便宜のために、図２４Ａ、図２４Ｂ及び図２４Ｃの大型データ処理単位としては、３２×３２スーパー・マクロブロックが利用される。
【０２９６】
一実施形態による映像符号化及び映像復号化は、スキップ・モードであるブロックをスキップ処理するにおいて、相互隣接するスキップ・モードであるブロックをスキップ・グループにまとめ、スキップ・グループに対して同時にスキップ処理できる。従って、１フレームをスキャンしていて、スキップ・グループが読み取られれば、隣接する近隣ブロックが同じスキップ・グループに含まれるスキップ・モードのブロックであるか否かが判断されねばならない。
【０２９７】
従って、所定ブロックがスキップ・モードであり、スキップ・グループに含まれているか否かを示すための表示が必要である。図２４Ａ、図２４Ｂ及び図２４Ｃに図示されている一実施形態は、所定ブロックがスキップ・モードであり、スキップ・グループに含まれているか否かを示すための表示として、スキップ・モード・フラグを使用する。スキップ・モード・フラグが「０」であるならば、当該ブロックは、スキップ・モードではないブロックであり、「２」であるならば、当該ブロックがスキップ・グループの開始ブロックであり、「１」であるならば、当該ブロックがスキップ・グループに属するブロックであることを示す。
【０２９８】
一実施形態によるスキップ・グループに関連し、フレーム内のスキップ・モードであるブロックを検索してスキップ・グループをスキャンするために、スキップ・グループの位置が選定されうる。また、隣接するスキップ・モードのブロックを含むスキップ・グループの最大サイズが制限されうる。
【０２９９】
従って、一実施形態による大型データ処理単位に基づいたインター推定では、スキップ・グループの位置が固定されてサイズが固定された場合（図２４Ａのフレーム２４００）、スキップ・グループの位置が固定されて任意のサイズによって形成される場合（図２４Ｂのフレーム２４４０）、あらゆる位置にスキップ・グループが位置でき、任意のサイズによって形成される場合（図２４Ｃのフレーム２４７０）でスキップ処理を行うことができる。
【０３００】
図２４Ａの第１フレーム２４００では、スキップ・グループのサイズが６４×６４ブロックに固定されている。従って、スキャン・グループを検索するためには、６４×６４ブロックごとに、左側上端に位置した３２×３２スーパー・マクロブロックだけスキップ・モードであるか否かを検索すればよい。例えば、３２×３２スーパー・マクロブロック２４１２のスキップ・モード・フラグが「０」と表示されているので、スキップ・モードではなく、スーパー・マクロブロック２４１２を含む６４×６４ブロック２４１０は、スキップ・グループではないことが確認されうる。
【０３０１】
６４×６４ブロック２４１０の次のスキャン順序として、６４×６４ブロック２４２０の左側上端スーパー・マクロブロックを検索し、スキップ・モード・フラグが「０」であるならば、６４×６４ブロック２４２０も、スキップ・グループではないことが確認される。
【０３０２】
スーパー・マクロブロック２４３２のスキップ・モード・フラグは、「２」と表示されているので、スキップ・グループの開始ブロックであることが確認される。第１フレーム２４００のスキップ・グループのサイズは、６４×６４ブロックに固定されているので、スーパー・マクロブロック２４３２を左側上端に含む６４×６４ブロック２４３０が、スキップ・グループである。また、６４×６４ブロック２４３０内の他のスーパー・マクロブロック２４３４などは、いずれもスキップ・モード・フラグが「１」であるスキップ・モードのブロックであることが予想される。
【０３０３】
図２４Ａを、参照して例示された固定位置及び固定サイズのスキップ・グループの場合、固定位置の３２×３２ブロックのスキップ・モード・フラグが、「０」または「２」であるかが確認されれば、隣接ブロックも、スキップ・モードであるか否かが確認されるので、符号化端から固定位置の当該ブロックのスキップ・モード・フラグだけ送信されれば、復号化端で受信し、当該フレームのあらゆるブロックがスキップ・モードであるか否かを識別できる。
【０３０４】
図２４Ｂのフレーム２４４０では、スキップ・グループのサイズが固定されていないが、スキップ・グループが始まることができる位置は、固定されている。すなわち、６４×６４ブロックごとに、その左側上端に位置した３２×３２ブロックからスキップ・グループが始まることができるので、フレーム２４４０をスキャンするとき、６４×６４ブロックごとに左側上端に位置した３２×３２ブロックのスキップ・モード・フラグが、「０」または「２」であるかを確認すればよい。例えば、６４×６４ブロック２４５０の左側上端の３２×３２ブロックのスキップ・モード・フラグが「０」であることがスキャンされれば、６４×６４ブロック２４５０は、スキップ・グループではないことが確認される。
【０３０５】
一方、他の６４×６４ブロックの左側上端に位置した３２×３２ブロック２４６１がスキャンされれば、スキップ・モード・フラグが「２」であるから、３２×３２ブロック２４６１から始まるスキップ・グループ２４６０が決定されねばならない。３２×３２ブロック２４６１の右側方向及び下端方向に隣接する３２×３２ブロックのスキップ・モード・フラグをスキャンし、連続してスキップ・モード・フラグが「１」である３２×３２ブロック２４６２，２４６３，２４６４，２４６５，２４６６，２４６７，２４６８，２４６９は、３２×３２ブロック２４６１と同じスキップ・グループ２４６０に含まれると確認される。
【０３０６】
また、フレーム２４４０をスキャンしている最中に、固定位置の３２×３２ブロックのスキップ・モード・フラグは、確認されねばならないが、すでに以前にスキャンされて所定スキップ・グループに含まれていることが確認されたブロックは、スキャンされない。例えば、３２×３２ブロック２４６３，２４６７，２４６９は、それぞれ個別的な６４×６４ブロックの左側上端に位置するので、スキップ・モード・フラグがスキャンされねばならない固定位置のブロックであるが、すでに以前スキャン順序によって、スキップ・グループ２４６０に含まれるブロックであることが確認された状態である。従って、３２×３２ブロック２４６３，２４６７，２４６９は、スキャンされずに、次の位置にスキャンが進むことになる。
【０３０７】
図２４Ｂを参照しつつ例示された固定位置及び固定サイズのスキップ・グループの場合、固定位置の３２×３２ブロックのスキップ・モード・フラグ及びスキップ・グループのサイズが符号化端から送信されて復号化端で受信される。復号化端は、当該フレームのブロックのスキップ・モード・フラグを読み取り、当該ブロックがスキップ・モードであるか否かを識別できる。ただし、固定位置のブロックであったとしても、スキップ・モード・フラグが「１」であるので、他のスキップ・グループのブロックであることが表示されるブロックは、別途にスキップ・モード・フラグが送受信される必要がない。
【０３０８】
図２４Ｃのフレーム２４７０では、スキップ・グループのサイズが固定されておらず、スキップ・グループが始まることができる位置も固定されていない。従って、フレーム２４７０をスキャンするとき、あらゆる３２×３２ブロックのスキップ・モード・フラグが確認されねばならない。
【０３０９】
例えば、３２×３２ブロック２４７２のスキップ・モード・フラグが「０」であるから、次の順序として、すぐに隣接する３２×３２ブロック２４７４がスキャンされる。スキャンの進行過程によって、スキップ・モード・フラグが「２」である３２×３２ブロックが検索されるまで、あらゆる３２×３２ブロックが順にスキャンされる。
【０３１０】
一方、スキップ・モード・フラグが「２」である３２×３２ブロック２４８２がスキャンされれば、３２×３２ブロック２４８２から始まるスキップ・グループ２４８０が決定されねばならない。３２×３２ブロック２４８２の右側方向及び下端方向に隣接する３２×３２ブロックのスキップ・モード・フラグをスキャンし、連続してスキップ・モード・フラグが「１」である３２×３２ブロックは、いずれも３２×３２ブロック２４８２と同じスキップ・グループ２４８０に含まれると確認される。
【０３１１】
スキップ・グループ２４８０が決定された後、スキップ・グループ２４８０に含まれた３２×３２ブロックは、スキャンされることなく、スキップ・グループ２４８０に属していない次の３２×３２ブロック２４９２にスキャンが進められる。同様に、３２×３２ブロック２４９２を皮切りに、スキップ・グループ２４９０が決定されうる。
【０３１２】
図２４Ｃを参照しつつ例示された固定位置及び任意のサイズのスキップ・グループの場合、あらゆる位置での３２×３２ブロックのスキップ・モード・フラグ及びスキップ・グループのサイズが符号化端から送信されて復号化端で受信することができる。復号化端は、スキップ・モード・フラグを利用し、当該フレームでのブロック別に、スキップ・モードであるか否かを識別できる。ただし、他のスキップ・グループに含まれると確認された３２×３２ブロックは、別途にスキップ・モード・フラグが送受信される必要がない。
【０３１３】
従って、本発明は、図２４Ａ、図２４Ｂ及び図２４Ｃを参照しつつ述べた多様な実施形態によって、スキップ・モードのブロックをグループでスキップ処理できるので、それぞれのブロック別に、スキップ・モードを表示するためのビットが節約され、あらゆるブロックがスキャンされる必要なしに、スキップ・モードが効率的に検索されうる。
【０３１４】
第三に、インター推定による動きベクトル（ＭＶ）は、大型データ処理単位として決定され、動きベクトル推定子（ＭＶＰ）も、大型データ処理単位で誘導されうる。
【０３１５】
図２５Ａ及び図２５Ｂは、本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示している。
【０３１６】
一実施形態によるインター推定によって生成される動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）は、大型データ処理単位で誘導される。しかし、図２５Ａ及び図２５Ｂでは、大型データ処理単位の個別的な符号化モードの追加なしに、既存データ処理単位（１６×１６マクロブロック）の動きベクトルを利用し、大型データ処理単位（１６×１６マクロブロックのグループ、すなわち、３２×３２ブロック）の動きベクトルを誘導する方法が開示されている。
【０３１７】
例えば、一実施形態による大型データ処理単位である３２×３２スーパー・マクロブロック２５００のインター推定であるならば、インター・モードである３２×３２スーパー・マクロブロック（inter  ３２×３２）に係わる動きベクトルｍｖｓが推定されたり誘導される。
【０３１８】
一方、大型データ処理単位の符号化モードが個別的に定義されていない映像符号化または映像復号化の過程で、マクロブロックの動きベクトルを利用し、スーパー・マクロブロックの動きベクトルを誘導できる。
【０３１９】
例えば、１６×１６マクロブロック２５０２，２５０４，２５０６，２５０８の動きベクトルが、それぞれｍｖ０，ｍｖ１，ｍｖ２，ｍｖ３である場合、ｍｖ１，ｍｖ２，ｍｖ３は、ｍｖ０を利用して誘導されうる。一例として、下記の式（６）によって、ｍｖ１，ｍｖ２，ｍｖ３が推定されうる。
【０３２０】
ｍｖ１＝ｍｖ２＝ｍｖ３＝ｆ（ｍｖ０）（ここで、ｆ（ｘ）＝median（ｘ，neighbors））      （６）
median（ｘ，ｙ）関数は、ｘ及びｙの中間値を求める関数であり、入力変数「neighbors」は、隣接する大型データ処理単位の代表動きベクトルを示す。１６×１６マクロブロックの動きベクトルは、代表１６×１６マクロブロック２５０２の動きベクトルｍｖ０と、隣接する３２×３２ブロックの代表動きベクトルとの中間値に推定されうる。
【０３２１】
従って、図２５Ａの場合によれば、１６×１６マクロブロック別にいずれも動きベクトルを測定する必要なしに、１つの動きベクトルを１６×１６マクロブロックそれぞれの動きベクトルと見なすことができ、３２×３２スーパー・マクロブロック単位の動きベクトルｍｖｓが１６×１６マクロブロックの動きベクトルから推定されうる。
【０３２２】
図２５Ａの場合は、符号化端と復号化端との間には、３２×３２ブロックの動きベクトルに係わるシグナリングのために、１つのマクロブロックの動きベクトルｍｖ０（または、３２×３２ブロックの動きベクトルｍｖｓ）をシグナリングするための追加フラグを伝送する必要がある。また、復号化端は、受信された動きベクトルを利用した３回の誘導過程を介して、シグナリングされていない残りの動きベクトルｍｖ１，ｍｖ２，ｍｖ３を誘導することができる。
【０３２３】
図２５Ｂでは、１６×１６マクロブロック動きベクトルを利用した３２×３２ブロックの動きベクトルを推定する他の方式が提案される。他の推定方式は、３２×３２ブロック２５１０を、１６×１６マクロブロックにサブサンプリングし、サブサンプリングされたブロックの動きベクトルを利用し、３２×３２ブロックの動きベクトルを推定する。
【０３２４】
例えば、左側上端ピクセル２５１２、右側上端ピクセル２５１４、左側下端ピクセル２５１６、右側下端ピクセル２５１８は、それぞれ順に、左側上端マクロブロック２５２２、右側上端マクロブロック２５２４、左側下端マクロブロック２５２６、右側下端マクロブロック２５２８にマッピングすることによって、サブサンプリングされた１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８が生成されうる。
【０３２５】
サブサンプリングされた１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８のそれぞれの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’は、下記のように誘導されうる。
【０３２６】
ｍｖ１’＝ｍｖ２’＝ｍｖ３’＝ｍｖ０’      （７）
従って，１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８のそれぞれの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’は、そのうちの動きベクトル一つだけ測定すれば、残りの動きベクトルも推定されうる。
【０３２７】
３２×３２ブロック２５１０の動きベクトルは、１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８の代表動きベクトルＭＶ（＝ｍｖ１’＝ｍｖ２’＝ｍｖ３’＝ｍｖ０’）でもって推定されうる。または、ｍｖ１’，ｍｖ２’，ｍｖ３’，ｍｖ０’を利用した動きベクトル推定子を利用して、ＭＶが推定されうる。従って、図２５Ｂの場合は、符号化端と復号化端との間には、３２×３２ブロックの動きベクトルに係わるシグナリングのために、１つのマクロブロックの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’のうち一つをシグナリングするための追加フラグの伝送が必要である。
【０３２８】
（IV．周波数変換及び量子化）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮した周波数変換及び量子化部２００１及び一実施形態による映像符号化方法（２０００）の周波数変換及び量子化段階（２０３０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
【０３２９】
一実施形態による映像符号化または映像復号化は、符号化モード別データ処理単位が既存マクロブロック・サイズより大きくありうるので、既存の周波数変換のデータ処理単位である８×８ブロックまたは４×４ブロック以外のデータ処理単位が導入されうる。
【０３３０】
これによって、一実施形態による映像符号化及び映像復号化は、（ｉ−１）８×８ブロックまたは４×４ブロック以外の大型ブロック基盤の整数離散コサイン変換及び量子化が導入され、（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換は、カラー規格を考慮し、輝度（luma）成分によって、データ処理単位のサイズが変更されうる。また、（ｉ−３）大型ブロック基盤の離散コサイン変換によって発生する演算負担量を減少させるために、低複雑度演算のための変形された形態の離散コサイン変換が導入されうる。
【０３３１】
図２６Ａ及び図２６Ｂは本発明の一実施形態による大型データ処理単位のクロマ成分のためのさまざまな動き推定方式を図示している。（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換（２０３４）については後述する。ＹＵＶカラー規格フォーマットは、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットを含む。図２６Ａは、ＹＵＶ４２０フォーマットに係わる推定モード別の周波数変換方式について説明し、図２６Ｂは、ＹＵＶ４４４フォーマットに係わる推定モード別の周波数変換方式について説明している。luma成分に係わる推定モード別データ処理単位が、３２×３２スーパー・マクロブロックである場合を例に挙げる。
【０３３２】
図２６Ａのブロック図（２６００）は、大型データ処理単位を考慮した周波数変換及び量子化部２００１の一実施形態であり、ＹＵＶ４２０フォーマットのクロマ成分について、推定モード別に適用可能な周波数変換方式を図示している。
【０３３３】
ＹＵＶ４２０フォーマットは、Ｙ成分、Ｕ成分、Ｖ成分それぞれに割り当てられるビット量の比率が４：１：１であるので、Ｕ，Ｖ成分に該当するそれぞれのクロマ成分に割り当てられるビット量がＹ成分に該当するluma成分に割り当てられるビット量の４分の１以下である。従って、luma成分に係わるデータ処理単位のサイズに比べて、クロマ成分に係わるデータ処理単位のサイズが４分の１以下であることが望ましい。例えば、クロマ成分のための周波数変換のためのデータ処理単位の最大サイズは、３２×３２ブロックの４分の１である１６×１６ブロックであることが望ましい。
【０３３４】
イントラ・モード２６１０の場合、（ｉ）８×８ブロックの方向性イントラ推定２６１２が行われた後、４×４離散コサイン変換及び２×２アダマール（Hadamard）変換２６１４、すなわち８×８周波数変換が行われる既存方式に、さらに（ｉｉ）１６×１６ブロックの方向性イントラ推定２６１６が行われた後、１６×１６離散コサイン変換２６１８が行われる新たなデータ処理単位が追加されうる。
【０３３５】
また、インター・モード（２６２０）の場合、Ｎ×Ｍブロックのインター推定２６２２が行われた後、（ｉ）４×４離散コサイン変換及び２×２アダマール変換２６２４、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６離散コサイン変換２６２６が行われる新たなデータ処理単位が追加されうる。
【０３３６】
イントラ・モード２６１０またはインター・モード２６２０による動き推定及び周波数変換後、量子化２６３０及びエントロピ符号化２６４０を経て、一実施形態による大型データ処理単位のクロマ成分に対して符号化が行われうる。
【０３３７】
図２６Ｂのブロック図（２６５０）は、大型データ処理単位を考慮した周波数変換及び量子化部２００１の他の実施形態であり、ＹＵＶ４４４フォーマットのクロマ成分に対して、推定モード別に適用可能な周波数変換方式を図示している。
【０３３８】
ＹＵＶ４４４フォーマットは、Ｙ成分、Ｕ成分、Ｖ成分それぞれに割り当てられるビット量の比率が、４：４：４であるので、クロマ成分それぞれに割り当てられるビット量がluma成分に割り当てられるビット量と同一である。例えば、luma成分に係わるデータ処理単位の最大サイズが３２×３２ブロックであるから、クロマ成分に係わるデータ処理単位の最大サイズも、３２×３２ブロックでありうる。
【０３３９】
イントラ・モード２６６０の場合、（ｉ）８×８ブロックの方向性イントラ推定２６６１が行われた後、４×４離散コサイン変換及び２×２アダマール変換２６６２、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６ブロックの方向性イントラ推定２６６３が行われた後、１６×１６離散コサイン変換２６６４が行われる新たなデータ処理単位、（ｉｉｉ）３２×３２ブロックの方向性イントラ推定２６６５が行われた後、３２×３２離散コサイン変換２６６６が行われる新たなデータ処理単位が追加されうる。
【０３４０】
また、インター・モード２６７０の場合、Ｎ×Ｍブロックのインター推定２６７２が行われた後、（ｉ）４×４離散コサイン変換及び２×２アダマール変換２６２４、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６離散コサイン変換２６７６が行われる新たなデータ処理単位が追加されうる。
【０３４１】
イントラ・モード２６６０またはインター・モード２６７０による動き推定及び周波数変換後、量子化２６８０及びエントロピ符号化２６９０を経て、一実施形態による大型データ処理単位のクロマ成分に対して符号化が行われうる。
【０３４２】
図２６Ａ及び図２６Ｂを参照しつつ図示されたブロック図（２６００，２６５０）による推定モード及び周波数変換ブロックの関係を具体的に整理したテーブルが、図２７で図示されている。これによって、それぞれの推定モード別に、luma成分に対する周波数変換ブロックのサイズによって、クロマ成分に対する周波数変換ブロックのサイズが誘導されうる。
【０３４３】
図２７は、本発明の一実施形態による大型データ処理単位のクロマ成分に係わるデータ処理単位のサイズを誘導する方式を図示している。（ｉ−１）大型ブロック基盤の整数離散コサイン変換及び量子化（２０３２）、及び（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換（２０３４）について述べる。
【０３４４】
ＹＵＶ４２０フォーマットの場合、クロマ成分のための周波数変換ブロックのサイズは、luma成分のための周波数変換ブロックのサイズの４分の１以下である。ただし、周波数変換ブロックの最小サイズは、８×８ブロックである。
【０３４５】
ＹＵＶ４２０フォーマットの場合、イントラ・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４２０フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが３２×３２ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、１６×１６ブロックに誘導されうる。また、ＹＵＶ４２０フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが１６×１６，８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
【０３４６】
ＹＵＶ４２０フォーマットの場合、インター・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４２０フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、１６×１６，８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
【０３４７】
ＹＵＶ４４４フォーマットの場合、イントラ・モードである場合、クロマ成分のための周波数変換ブロックのサイズは、luma成分のための周波数変換ブロックのサイズと同一でありうる。同様に、周波数変換ブロックの最小サイズは、８×８ブロックである。
【０３４８】
ＹＵＶ４４４フォーマットの場合、イントラ・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４４４フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが、３２×３２ブロック及び１６×１６ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、それぞれ３２×３２ブロック及び１６×１６ブロックに誘導されうる。
【０３４９】
また、ＹＵＶ４４４フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが、８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
【０３５０】
ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、１６×１６ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、１６×１６ブロックに誘導されうる。また、ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、８×８，４×４ブロックである場合、当該クロマ成分のための離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
【０３５１】
従って、luma成分の離散コサイン変換のためのデータ処理単位からクロマ成分のためのデータ処理単位が誘導されうる。ＹＵＶカラー規格フォーマットのうち、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットだけを利用して、推定モード別周波数変換について説明したが、一実施形態による動的に決定されたデータ処理単位による映像符号化または映像復号化が、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットにのみ限定されるものではない。
【０３５２】
（V．インループ・フィルタリング）
一実施形態による映像符号化装置１００のインループ・フィルタリング部２００７及び一実施形態による映像符号化方法（２０００）の周波数変換及び量子化段階（２０８０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
【０３５３】
一実施形態による映像符号化または映像復号化は、大型データ処理単位のサイズが既存マクロブロックのサイズより大きく、大型データ処理単位内部に対するフィルタリングを考慮する必要がある。
【０３５４】
従って、一実施形態によって大型データ処理単位を考慮したインループ・フィルタリングに係わる固有プロセスは、大型データ処理単位内部の下位データ処理単位境界に対するフィルタリング遂行いかんの決定及び境界別フィルタリング強度の決定の方式と、大型データ処理単位の符号化によるリンギング効果低減のためのフィルタリングとを含むことができる。
【０３５５】
一実施形態による大型データ処理単位を考慮したインループ・フィルタリングで、大型データ処理単位内部の下位データ処理単位境界に対するフィルタリング遂行いかんと、境界別フィルタリング強度の決定方式ついては、既存の映像符号化または映像復号化でのインループ・フィルタリングで使われたインループ・フィルタリング関連フラグを利用して、下記のように説明する。
【０３５６】
既存方式によれば、１６×１６マクロブロックまたは８×８マクロブロックごとに境界に対して、インループ・フィルタリングの遂行いかんが判断される。例えば、既存Ｈ．２６４映像符号化／復号化フォーマットでは、インループ・フィルタリング関連フラグが設定される。インループ・フィルタリング関連フラグは、現在マクロブロックと、左側隣接マクロブロックとの境界に対するインループ・フィルタリングの遂行いかんを示す第１フラグ（「filterLeftMbEdgeFlag」）、及び現在マクロブロックと、上端隣接マクロブロックとの境界に対するインループ・フィルタリングの遂行いかんを示す第２フラグ（「filterTopMbEdgeFlag」）を含む。
【０３５７】
また、インループ・フィルタリング関連フラグは、１６×１６マクロブロックまたは８×８マクロブロックの内部で、８×８ブロックまたは４×４ブロックに基づいた周波数変換によって発生する境界効果（block  artifact）を低減させるために、１６×１６マクロブロックまたは８×８マクロブロックの内部でのインループ・フィルタリングの遂行いかんを示す第３フラグ（「filterInternalEdgeflag」）を含むことができる。
【０３５８】
また、インループ・フィルタリング関連フラグは、クロマ成分に対するブロックの境界に対するインループ・フィルタリングの遂行いかんを示す第４フラグ（「chromaEdgeflag」）を含むことができる。
【０３５９】
一実施形態による映像符号化または映像復号化では、１６×１６マクロブロックまたは８×８マクロブロックより大きい大型データ処理単位で符号化されるために、既存のインループ・フィルタリング関連フラグを利用するためには、インループ・フィルタリングを行うための条件に、大型データ処理単位内部であるか否かが追加されねばならない。
【０３６０】
例えば、一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、現在境界が大型データ処理単位内部の境界であるならば、第１，２，４フラグを「０」に設定し、現在境界が大型データ処理単位外部の境界であるならば、第１，２，４フラグを「１」に設定できる。すなわち、大型データ処理単位内部に含まれるマクロブロックの境界については、インループ・フィルタリングを行わないように、インループ・フィルタリング関連フラグが設定されうる。
【０３６１】
また、一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、１６×１６マクロブロックによって周波数変換された場合、第３フラグが「０」に設定されうる。すなわち，１６×１６マクロブロック単位の符号化モードで、１６×１６マクロブロックに周波数変換された場合には、１６×１６マクロブロック内部に対して、周波数変換による境界効果を低減するためのインループ・フィルタリングを行わないように、インループ・フィルタリング関連フラグが設定されうる。
【０３６２】
インループ・フィルタリング関連フラグは、イントラ・モード及びインター・モードが混合された推定モードのマクロブロックである場合、互いに異なる推定モードの隣接ブロック間の境界に対するインループ・フィルタリングの遂行いかんを示す第５フラグ（「mixedModeEdgeFlag」）を含むことができる。
【０３６３】
一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、大型データ処理単位の内部で、イントラ・モード及びインター・モードの隣接ブロックが存在しうるので、第５フラグの条件に、現在データ処理単位が大型データ処理単位である場合を追加できる。また、大型データ処理単位の内部の下位データ処理単位の境界ごとに、インループ・フィルタリング強度が個別的に設定されうる。
【０３６４】
一実施形態による映像符号化及び映像復号化は、大型データ処理単位で、各種プロセスが行われるので、境界効果以外にも、リンギング効果が発生しうる。従って、一実施形態による映像符号化及び映像復号化のインループ・フィルタリングで、大型データ処理単位の符号化によるリンギング効果低減のためのフィルタリングが行うことができる。
【０３６５】
（VI．エントロピ符号化）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したエントロピ符号化部２００９、及び一実施形態による映像符号化方法（２０００）のエントロピ符号化段階（２０９０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
【０３６６】
一実施形態による大型データ処理単位を考慮したエントロピ符号化または復号化のための固有プロセスは、大型データ処理単位を考慮した階層的符号化ブロック・パターン（ＣＢＰ：coded  block  pattern）及び符号化ブロック・パターンのスキャン方式の導入（２０９２）、大型データ処理単位を考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、イントラ・モードまたはクロマ成分の大型データ処理単位に係わる符号化ブロック・パターンに対する単一コンテクストの導入（２０９６）を含む。
【０３６７】
図２８は、本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンを利用した方法のフローチャートを図示している。
【０３６８】
一実施形態によるエントロピ符号化及びエントロピ復号化は、既存の符号化ブロック・パターンである８×８ブロックに係わる符号化ブロック・パターン（ＣＢＰ８）だけではなく、大型データ処理単位を考慮した階層的符号化ブロック・パターンを利用できる。
【０３６９】
例えば、一実施形態によるデータ処理単位の符号化モードが、３２×３２スーパー・マクロブロックのインター・モード（Inter＿３２×３２）、３２×１６スーパー・マクロブロックのインター・モード（Inter＿３２×１６）、１６×３２スーパー・マクロブロックのインター・モード（Inter＿１６×３２）などの１６×１６ブロックのインター・モード以上のデータ処理単位の符号化モードである場合、１６×１６ブロックに係わる符号化ブロック・パターン（ＣＢＰ１６）が追加される。従って、ＣＢＰ１６及びＣＢＰ８を含む階層的符号化ブロック・パターンによって、エントロピ符号化または復号化が行われうる。
【０３７０】
従って、Inter＿３２×３２、Inter＿３２×１６、Inter＿１６×３２の符号化モードに対するエントロピ符号化の場合、ＣＢＰ１６から符号化されねばならない（段階２８００（ＣＢＰ１６））。まず、段階２８１０（Luma_ＣＢＰ＝１？）で、luma成分に対するＣＢＰ１６（Luma＿ＣＢＰ１６）が「１」であるか否かが判断され、「０」であるならば、エントロピ符号化のためのテキスチャ・プロセシング作業が終了される。luma成分に対するＣＢＰ１６（Luma＿ＣＢＰ１６）が「１」であるならば、段階２８２０（Ｔｒ_Type）で、データ処理単位のサイズを示すフラグ（Ｔｒ＿type）が符号化された後、段階２８３０（Ｃｂｐ８）で、ＣＢＰ８が符号化される。段階２８４０で、luma成分に対するテキスチャ・プロセシングが行われる。
【０３７１】
段階２８５０（Croma_ＣＢＰ１６＝１？）で、クロマ成分に対するＣＢＰ１６（Chroma＿ＣＢＰ１６）が「１」であるか否か判断され、段階２８６０で、クロマ成分に対するテキスチャ・プロセシングが行われる。
【０３７２】
ＣＢＰ１６を利用したエントロピ符号化方法のフローチャート（２８００）は、一実施形態によって、１６×１６ブロックのインター・モード以上のデータ処理単位の符号化モードである場合、１６×１６ブロックに係わる符号化ブロック・パターン（ＣＢＰ１６）が追加された場合を図示しているが、データ処理単位がさらに変形される場合にも、データ処理単位を考慮して変形された符号化ブロック・パターンが存在しうる。
【０３７３】
図２９Ａ及び図２９Ｂは、本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンするさまざまな方式を図示している。大型データ処理単位を考慮した符号化ブロック・パターン（ＣＢＰ）のスキャン方式（２０９２）について述べる。
【０３７４】
一実施形態によるエントロピ符号化は、データ処理単位２９００をスキャンし、「０」ではない符号化ブロック・パターンを検索する。既存スキャン方式は、８×８正方形ブロックをインターリーブド方式でスキャンする。
【０３７５】
一実施形態によるエントロピ符号化は、データ処理単位２９００の左側上端から右側下端に向かる対角線を中心に、ジグザグに往復してスキャンする方式を導入する。データ処理単位２９００内の左側上端に位置する符号化ブロック・パターンであるほど、０ではない確率が高いので、０ではない有効ビットを符号化しようとするエントロピ符号化の効率性が向上しうる。
【０３７６】
一実施形態による符号化ブロック・パターンのスキャン効率性のために、データ処理単位２９００を多数の境界２９１０，２９２０，２９３０，２９４０，２９５０，２９６０，２９７０に区画できる。ジグザグ・スキャン方式によって、境界間の領域のストリップのうち０ではない符号化ブロック・パターン（「ｘ」表示がある位置）があるか否かが検索され、０ではない符号化ブロック・パターンが含まれたストリップだけ符号化されることが望ましい。
【０３７７】
すなわち、一実施形態による符号化ブロック・パターンのスキャン方式は、データ処理単位２９００をスキャンし、境界２９１０以前の第１領域、境界２９１０と２９２０との第１領域、境界２９２０と２９３０との第３領域、境界２９３０と２９４０と間の第４領域、境界２９４０と２９５０との第５領域、境界２９５０と２９６０との第６領域、境界２９６０と２９７０との第７領域、境界２９７０以後の第８領域のうち「０」ではない符号化ブロック・パターンが含まれた領域のストリップが符号化されねばならない。
【０３７８】
一実施形態は、伝送ビットを節約するために、「０」ではない符号化ブロック・パターンが含まれた領域のストリップを示す二種の方式が、図２９Ａ及び図２９Ｂでそれぞれ図示されている。
【０３７９】
図２９Ａでは、「有効ストリップ」及び「終了ストリップ」を定義し、有効ストリップの領域から終了ストリップの領域までの少なくとも１つの領域のデータだけ有効データであることを示すことができる。図２９Ｂでは、「終了ストリップ」を定義し、「終了ストリップ」の領域までの少なくとも１つの領域のデータだけ有効データであることを示すことができる。
【０３８０】
図２９Ａの場合には、データ処理単位２９００の符号化ブロック・パターンのスキャン領域を決定するために、シンタックス上での有効ストリップ及び終了ストリップを示すフラグだけそれぞれ定義されればよい。有効ストリップの領域と終了ストリップの領域との間に無効ストリップがあっても、無効ストリップを示すフラグが必要なく、終了していないストリップであることを示すフラグも必要ない。従って，１つのデータ処理単位２９００の伝送ビットに対して、符号化ブロック・パターンと関連して、有効ストリップ及び終了ストリップをそれぞれ示すフラグのための２ビットだけ必要である。
【０３８１】
図２９Ｂの場合には、データ処理単位２９００の符号化ブロック・パターンのスキャン領域を決定するために、シンタックス上で終了ストリップを示すフラグだけ定義されればよい。終了ストリップの領域以前の終了していないストリップであることを示すフラグも必要ない。従って、１つのデータ処理単位２９００の伝送ビットに対して、符号化ブロック・パターンと関連して、終了ストリップを示すフラグのための１ビットだけ必要である。
【０３８２】
一実施形態によるエントロピ符号化は、大型データ処理単位の符号化モードの導入によって、イントラ・モードまたはクロマ成分の大型データ処理単位に対する新規符号化ブロック・パターン、及び新規符号化ブロック・パターンの単一コンテクストが定義されうる。
【０３８３】
例えば、一実施形態による大型データ処理単位の符号化モードは、３２×３２スーパー・マクロブロックのイントラ・モード（Intra＿３２×３２）、１６×１６マクロブロックのイントラ・モード（Intra＿１６×１６）、１６×１６マクロブロックのクロマ成分のためのイントラ・モード（Ｃｒ＿１６×１６、Ｃｂ＿１６×１６）を新たに含むことができる。
【０３８４】
イントラ・モードの大型データ処理単位は、内部のあらゆるデータが０である確率が非常に低い。従って、現在データ処理単位の符号化ブロック・パターンのコンテクストは、隣接データ処理単位のコンテクストを利用することよりは、それぞれの大型データ処理単位別に、符号化ブロック・パターンに対する１つのコンテクストが設定されることが望ましい。
【０３８５】
インター・モードの符号化ブロック・パターンのコンテクストは、既存のインター・モードである８×８マクロブロックに係わる符号化ブロック・パターンのコンテクストと同じ方式で設定されうる。従って、インター・モードである隣接８×８マクロブロックのコンテクストを利用し、現在８×８マクロブロックのコンテクストが決定されうる。
【０３８６】
一実施形態による復号化端で、大型データ処理単位に基づいたエントロピ符号化によって符号化された映像ビット・ストリームを復号化する場合、大型データ処理単位を考慮したエントロピ復号化が必要である。例えば、一実施形態による復号化端は、１６×１６マクロブロック別の符号化ブロック・パターンを利用したエントロピ復号化を介して映像を復元する。
【０３８７】
（VII．動的に決定されたデータ処理単位による映像復号化装置）
図３０Ａ、図３０Ｂ、図３０Ｃ、図３０Ｄ、図３０Ｅ及び図３０Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像復号化装置２００の変形実施形態のブロック図を図示している。
【０３８８】
一実施形態による映像復号化装置２００に、大型データ処理単位を適用するために、グループ復号化部２３０は、大型データ処理単位を考慮し、エントロピ復号化、逆量子化及び逆周波数変換、イントラ推定及び動き補償、インループ・フィルタリングを経て、復元映像を生成する。
【０３８９】
受信部２１０は、映像符号化装置１００から伝送された映像ビット・ストリームを受信し、グループ符号化モード読取り部２２０は、映像ビット・ストリームから符号化モードを読み取ることができる。符号化モードは、シンタックス、フラグなどから読み取ることができる。グループ復号化部２３０は、読み取られた符号化モードに基づいて、グループ・データを符号化する。
【０３９０】
一実施形態によるグループ復号化部２３０は、動的に決定されたデータ処理単位を考慮した復号化のために、既存の映像符号化／復号化フォーマットとは区別される固有プロセスを行うことができる。動的に決定されたデータ処理単位のうち、大型データ処理単位を考慮した固有プロセスについて、先に図２１ないし図２９Ｂを参照しつつ述べた技術に相応する。以下、グループ復号化部２３０の各過程別固有プロセスについて詳述する。
【０３９１】
図３０Ａは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したエントロピ復号化が適用された場合のブロック図を図示している。
【０３９２】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第１実施形態は、大型データ処理単位を考慮したエントロピ復号化部３０１０、イントラ推定部及び動き補償部２３３、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。
【０３９３】
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、グループ符号化モード読取り部２２０で読み取られた符号化モードに基づいた大型データ処理単位によって、エントロピ復号化を行うことができる。エントロピ復号化部３０１０で行うエントロピ復号化は、［VI．エントロピ符号化］において述べたエントロピ符号化されたビット・ストリームを復号化する作業である。
【０３９４】
図２８ないし図２９Ｂを参照して述べた符号化ブロック・パターンが、一実施形態によるエントロピ復号化部３０１０で使われうる。読み取られた符号化ブロック・パターンは、「０」ではない符号化ブロック・パターンが発生する確率が高い方向に沿ってスキャンされて符号化されたものでありうる。
【０３９５】
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、大型データ処理単位によってエントロピ復号化を行うために、大型データ処理単位に対して、コンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）を利用できる。
【０３９６】
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、大型データ処理単位を基盤とする符号化ブロック・パターンに対する新規に設定されたコンテクストを復号化できる。
【０３９７】
図３０Ｂは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のブロック図を図示する。
【０３９８】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第２実施形態は、エントロピ復号化部２３１、大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。
【０３９９】
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、グループ符号化モード読取り部２２０で読み取られた符号化モードに基づいた大型データ処理単位によるプロセシングによって、動き推定または補償を行うことができる。一実施形態による大型データ処理単位を考慮したプロセシングは、［III．動き推定プロセシング］において述べた通りである。
【０４００】
一実施形態によるデータ処理単位は、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせによって決定されうる。
【０４０１】
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、大型データ処理単位を考慮して決定されたデータ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性を利用できる。データ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性の望ましい実施形態は、図１３、２１及び２２を参照して述べた通りである。
【０４０２】
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、正方形の大型データ処理単位だけ利用される簡略化された符号化モードを利用できる。簡略化された符号化モードの望ましい実施形態は、図２３Ａ及び２３Ｂを参照して述べた通りである。
【０４０３】
図３０Ｃは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のブロック図を図示している。
【０４０４】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第３実施形態は、エントロピ復号化部２３１、大型データ処理単位を考慮したイントラ推定部３０４０、動き補償部２３５、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。映像が、［III−１．イントラ推定］において述べた一実施形態による固有プロセスによって符号化された場合、映像復号化装置２００でも、［III−１．イントラ推定］において述べたプロセスに基づいて復号化することが望ましい。
【０４０５】
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、所定大型データ処理単位に対して追加されるイントラ・モードを利用できる。例えば、イントラ推定部３０４０は、イントラ・モードの３２×３２スーパー・マクロブロック、イントラ・モードの１６×１６スーパー・マクロブロックなどを利用できる。
【０４０６】
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、さらに正確な大型データ処理単位の動き推定のために、イントラ・モードに、コンプレックス・プレーンを利用した推定モードを導入できる。
【０４０７】
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、制限された種類の大型データ処理単位だけを利用して、イントラ推定を行うことができる。
【０４０８】
図３０Ｄは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した動き補償が適用された場合のブロック図を図示している。
【０４０９】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第４実施形態は、エントロピ復号化部２３１、イントラ推定部２３４及び大型データ処理単位を考慮した動き補償部３０５０、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。一実施形態による大型データ処理単位によって符号化された映像については、一実施形態による［III−２．インター推定］において述べた一実施形態による固有プロセスに基づいて、動き推定及び動き補償を行われることが望ましい。
【０４１０】
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位の推定モードとして、インター推定及びイントラ推定が混在しうる混合モードを導入できる。
【０４１１】
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位別に決定された動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）を利用できる。
【０４１２】
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位別に定義された新規スキップ・モードを利用し、複数のスキップ・モードのデータ処理単位を含むスキップ・グループに対して、同時にスキップ処理できる。
【０４１３】
図３０Ｅは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した逆量子化及び逆周波数変換が適用された場合のブロック図を図示している。
【０４１４】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第５実施形態は、エントロピ復号化部２３１、イントラ推定部及び動き補償部２３３、大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０及びインループ・フィルタリング部２３９を含む。大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、［IV．周波数変換及び量子化］において述べた一実施形態による周波数変換及び量子化技法の逆過程を行うことが望ましい。
【０４１５】
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位によって逆量子化及び逆周波数変換を行うために、大型データ処理単位を基盤とする整数離散コサイン逆変換及び逆量子化を行うことができる。
【０４１６】
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位によって逆周波数変換及び逆量子化を行うために、大型データ処理単位のクロマ成分に対して、離散コサイン逆変換及び逆量子化を行うことができる。
【０４１７】
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位を基盤とする離散コサイン逆変換によって増加しうる演算量の負担を減少させるために、低複雑度演算を指向する離散コサイン逆変換を行うことができる。
【０４１８】
図３０Ｆは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のブロック図を図示している。
【０４１９】
一実施形態による映像復号化装置２００のグループ復号化部２３０の第６実施形態は、エントロピ復号化部２３１、イントラ推定部及び動き補償部２３３、逆量子化及び逆周波数変換部２３７及び大型データ処理単位を考慮したインループ・フィルタリング部３０９０を含む。大型データ処理単位を考慮したインループ・フィルタリング部３０９０は、［V．インループ・フィルタリング］において述べた一実施形態によるインループ・フィルタリングに対応する作業を行うことが望ましい。
【０４２０】
グループ復号化部２３０の第６実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部の下位処理単位の境界に対してフィルタリングを行うか否かが決定されうる。また、大型データ処理単位内部の下位処理単位の境界別に、フィルタリング強度が調節されうる。
【０４２１】
グループ復号化部２３０の第６実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部のリンギング効果低減のためにインループ・フィルタリングを行うことができる。
【０４２２】
先に、図３０Ａないし図３０Ｆを参照して説明したグループ復号化部２３０の第１実施形態ないし第６実施形態は、読み取られた符号化モードによって、既存の１６×１６ブロック、８×８ブロック、４×４ブロック以外のデータ処理単位を利用し、グループのデータを復号化できる。特に、大型データ処理単位を考慮して既存の映像符号化／復号化フォーマットのシンタックスを変形することによって、既存の映像符号化／復号化フォーマットに、大型データ処理単位による多様なプロセスを適用できる。
【０４２３】
（VIII．動的に決定されたデータ処理単位による映像符号化方法及び映像復号化方法）
図３１Ａ、図３１Ｂ、図３１Ｃ、図３１Ｄ、図３１Ｅ及び図３１Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化方法（１８００）の変形実施形態のフローチャートを図示している。
【０４２４】
図３１Ａ、図３１Ｂ、図３１Ｃ、図３１Ｄ、図３１Ｅ及び図３１Ｆについていずれも共通し、段階１８１０で、基本ブロックに分類された映像データが、グループ、サブグループ及び基本ブロックを含む拡張された概念に分類される。また段階１８２０で、グループを符号化するために利用されるデータ処理単位についての情報及びグループの符号化モードが決定される。ここで、グループの符号化モードは、大型データ処理単位を考慮した符号化モードを含むことができる。
【０４２５】
段階１８３０では、グループの符号化のために、周波数変換及び量子化、動き推定、インループ・フィルタリング、エントロピ符号化過程が行われうる。図３１Ａないし図３１Ｆを参照し、グループの符号化のためのそれぞれの過程別固有プロセスについて詳述する。
【０４２６】
図３１Ａは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮した周波数変換及び量子化が適用された場合のフローチャートを図示している。
【０４２７】
段階１８３１で、大型データ処理単位を考慮した符号化モードによる周波数変換及び量子化を経て、グループのデータが符号化される。大型データ処理単位を考慮した周波数変換及び量子化のために、大型ブロック基盤の整数離散コサイン変換及び量子化（２０３２）、大型ブロックのクロマ成分に対する離散コサイン変換及び量子化（２０３４）、大型ブロック基盤の離散コサイン変換のための低複雑度演算（２０３６）のうち少なくともいずれか一つが行われうる。
【０４２８】
図３１Ｂは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したプロセシングによる動き推定が適用された場合のフローチャートを図示している。
【０４２９】
段階１８３３で、大型データ処理単位を考慮した符号化モードによる動き推定プロセシングを経て、グループのデータが符号化される。大型データ処理単位を考慮した動き推定プロセシングのために、動き推定のための大型ブロック及び周波数変換のための大型ブロックの組み合わせ（２０５２）、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性（２０５４）、大型ブロックの簡略化モード（２０５６）のうち少なくともいずれか一つが行われうる。
【０４３０】
図３１Ｃは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のフローチャートを図示している。
【０４３１】
段階１８３４で、大型データ処理単位を考慮した符号化モードによるイントラ推定を経て、グループのデータが符号化される。大型データ処理単位を考慮したイントラ推定のために、大型ブロック基盤のイントラ・モード（２０６２）、イントラ推定のためのコンプレックス・プレーンの導入（２０６４）、推定可能なイントラ・モードの決定（２０６６）のうち少なくともいずれか一つが行われうる。
【０４３２】
図３１Ｄは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したインター推定が適用された場合のフローチャートを図示している。
【０４３３】
段階１８３５で、大型データ処理単位を考慮した符号化モードによるインター推定を経て、グループのデータが符号化される。大型データ処理単位を考慮したインター推定のために、イントラ・モード及びインター・モードが混合された推定モードの導入（２０７２）、大型ブロックの動きベクトル（ＭＶ）の決定方式及び動きベクトル推定子（ＭＶＰ）の誘導方式（２０７４）、大型ブロックの新規スキップ・モード及びスキップ・グループの導入（２０７６）のうち少なくともいずれか一つが行われうる。
【０４３４】
図３１Ｅは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のフローチャートを図示している。
【０４３５】
段階１８３７で、大型データ処理単位を考慮した符号化モードによるインループ・フィルタリングを経て、グループのデータが符号化される。大型データ処理単位を考慮したインループ・フィルタリングのために、大型ブロック内部の境界に対するフィルタリングいかん決定及びフィルタリング強度決定（２０８２）、大型ブロック内部のリンギング効果低減フィルタリング２０８４のうち少なくともいずれか一つが行われうる。
【０４３６】
図３１Ｆは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したエントロピ符号化が適用された場合のフローチャートを図示している。
【０４３７】
段階１８３９で、大型データ処理単位を考慮した符号化モードによるエントロピ符号化を経て、グループのデータが符号化される。大型データ処理単位を考慮したエントロピ符号化のために、大型ブロックに係わる符号化ブロック・パターン（ＣＢＰ）の導入及び符号化ブロック・パターン・スキャン方式（２０９２）、大型ブロックを考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、大型ブロックの符号化ブロック・パターンに対するコンテクスト設定（２０９６）のうち少なくともいずれか一つが行われうる。
【０４３８】
図３２Ａ、図３２Ｂ、図３２Ｃ、図３２Ｄ、図３２Ｅ及び図３２Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートを図示している。
【０４３９】
図３２Ａ、図３２Ｂ、図３２Ｃ、図３２Ｄ、図３２Ｅ及び図３２Ｆに対していずれも共通して、段階１９１０で、映像ビット・ストリームを受信してパージングする。受信された映像ビット・ストリームは、基本ブロック、グループ、サブグループ単位で符号化されたデータを含む。また、段階１９２０で、グループの符号化方式を示すグループの符号化モードを読み取る。グループの符号化モードは、グループのデータ処理単位；イントラ・モード、インター・モード、スキップ・モードなどの動き推定モードを含むことができる。
【０４４０】
段階１９３０では、グループの復号化のために、エントロピ復号化、逆周波数変換及び逆量子化、動き推定及び補償、インループ・フィルタリング過程が行われうる。図３２Ａないし図３２Ｆを参照しつつ、グループの復号化のためのそれぞれの過程別固有プロセスについて詳述する。
【０４４１】
図３２Ａは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したエントロピ復号化が適用された場合のフローチャートを図示する。
【０４４２】
段階１９３１で、大型データ処理単位を考慮したエントロピ符号化を経て、グループのデータが復号化される。大型データ処理単位を考慮したエントロピ復号化を行うために、大型データ処理単位を基盤とする符号化ブロック・パターンが利用されうる。大型データ処理単位を考慮したエントロピ符号化は、大型データ処理単位に対して、コンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）を利用できる。
【０４４３】
大型データ処理単位を考慮したエントロピ復号化を行うために、大型データ処理単位を基盤とする符号化ブロック・パターンに対する新規に設定されたコンテクストを利用し、符号化ブロック・パターンが復号化されうる。
【０４４４】
図３２Ｂは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のフローチャートを図示している。
【０４４５】
段階１９３３で、大型データ処理単位を考慮したプロセスによって行う動き推定または補償を経て、グループのデータが復号化される。一実施形態によるデータ処理単位は、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせによって決定されうる。大型データ処理単位を考慮して決定されたデータ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性を利用できる。
【０４４６】
一実施形態によって、イントラ推定及び動き補償のために大型データ処理単位を考慮したプロセシングは、正方形の大型データ処理単位だけ利用される簡略化された符号化モードを利用できる。
【０４４７】
図３２Ｃは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のフローチャートを図示している。
【０４４８】
段階１９３４で、大型データ処理単位を考慮した符号化モードによるイントラ推定を経て、グループのデータが復号化される。一実施形態による大型データ処理単位を考慮したイントラ推定段階は、大型データ処理単位に対して追加されるイントラ・モードを利用できる。大型データ処理単位を考慮したイントラ・モードにコンプレックス・プレーンを利用した推定モードが導入されうる。大型データ処理単位を考慮したイントラ推定は、制限された種類の大型データ処理単位に対してのみ行われもする。
【０４４９】
図３２Ｄは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した動き補償が適用された場合のフローチャートを図示している。
【０４５０】
段階１９３５で、大型データ処理単位を考慮した符号化モードによる動き補償を経て、グループのデータが復号化される。大型データ処理単位を考慮した動き補償のために、大型データ処理単位の推定モードとして、インター推定及びイントラ推定が混在できる混合モードが利用されうる。
【０４５１】
動き補償のために大型データ処理単位別に決定された動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）が利用されうる。大型データ処理単位別に定義された新規スキップ・モードが利用され、複数のスキップ・モードのデータ処理単位を含むスキップ・グループに対して、同時にスキップ処理されうる。
【０４５２】
図３２Ｅは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した逆量子化及び逆周波数変換が適用された場合のフローチャートを図示している。
【０４５３】
段階１９３７で、大型データ処理単位を考慮した符号化モードによる逆量子化及び逆周波数変換を経て、グループのデータが復号化される。
【０４５４】
大型データ処理単位を考慮した逆量子化及び逆周波数変換のために、大型データ処理単位を基盤とする整数離散コサイン逆変換及び逆量子化が行われうる。大型データ処理単位のクロマ成分に対して、離散コサイン逆変換及び逆量子化が行われうる。大型データ処理単位を基盤とする離散コサイン逆変換によって増加しうる演算量の負担を減少させるために、低複雑度演算を指向する離散コサイン逆変換が行われうる。
【０４５５】
図３０Ｆは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のフローチャートを図示している。
【０４５６】
段階１９３９で、大型データ処理単位を考慮したインループ・フィルタリングを経て、グループのデータが復号化される。
【０４５７】
大型データ処理単位を考慮したインループ・フィルタリングを行うために、大型データ処理単位内部の下位処理単位の境界に対して、フィルタリングを行うか否かが決定されうる。また、大型データ処理単位内部の下位処理単位の境界別に、フィルタリング強度が調節されうる。また、大型データ処理単位内部のリンギング効果の低減のために、インループ・フィルタリングを行うことができる。
【０４５８】
一方、前述の本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピー（登録商標）ディスク、ハードディスク）、光学的読取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital  versatile  disc）など）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。
【０４５９】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
2015035825.tif 000003
【図２】
2015035825.tif 000004
【図３】
2015035825.tif 000005
【図４】
2015035825.tif 000006
【図５】
2015035825.tif 000007
【図６】
2015035825.tif 000008
【図７】
2015035825.tif 000009
【図８】
2015035825.tif 000010
【図９】
2015035825.tif 000011
【図１０】
2015035825.tif 000012
【図１１】
2015035825.tif 000013
【図１２】
2015035825.tif 000014
【図１３】
2015035825.tif 000015
【図１４】
2015035825.tif 000016
【図１５】
2015035825.tif 000017
【図１６】
2015035825.tif 000018
【図１７】
2015035825.tif 000019
【図１８】
2015035825.tif 000020
【図１９】
2015035825.tif 000021
【図２０Ａ】
2015035825.tif 000022
【図２０Ｂ】
2015035825.tif 000023
【図２０Ｃ】
2015035825.tif 000024
【図２０Ｄ】
2015035825.tif 000025
【図２０Ｅ】
2015035825.tif 000026
【図２０Ｆ】
2015035825.tif 000027
【図２０Ｇ】
2015035825.tif 000028
【図２１】
2015035825.tif 000029
【図２２】
2015035825.tif 000030
【図２３Ａ】
2015035825.tif 000031
【図２３Ｂ】
2015035825.tif 000032
【図２４Ａ】
2015035825.tif 000033
【図２４Ｂ】
2015035825.tif 000034
【図２４Ｃ】
2015035825.tif 000035
【図２５Ａ】
2015035825.tif 000036
【図２５Ｂ】
2015035825.tif 000037
【図２６Ａ】
2015035825.tif 000038
【図２６Ｂ】
2015035825.tif 000039
【図２７】
2015035825.tif 000040
【図２８】
2015035825.tif 000041
【図２９Ａ】
2015035825.tif 000042
【図２９Ｂ】
2015035825.tif 000043
【図３０Ａ】
2015035825.tif 000044
【図３０Ｂ】
2015035825.tif 000045
【図３０Ｃ】
2015035825.tif 000046
【図３０Ｄ】
2015035825.tif 000047
【図３０Ｅ】
2015035825.tif 000048
【図３０Ｆ】
2015035825.tif 000049
【図３１Ａ】
2015035825.tif 000050
【図３１Ｂ】
2015035825.tif 000051
【図３１Ｃ】
2015035825.tif 000052
【図３１Ｄ】
2015035825.tif 000053
【図３１Ｅ】
2015035825.tif 000054
【図３１Ｆ】
2015035825.tif 000055
【図３２Ａ】
2015035825.tif 000056
【図３２Ｂ】
2015035825.tif 000057
【図３２Ｃ】
2015035825.tif 000058
【図３２Ｄ】
2015035825.tif 000059
【図３２Ｅ】
2015035825.tif 000060
【図３２Ｆ】
2015035825.tif 000061