(57)【要約】  現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得し、双方向動き予測モードを示す場合、第１参照ピクチャ及び第２参照ピクチャ内において、現在ブロックの第１参照ブロック及び第２参照ブロックを示す第１動きベクトル及び第２動きベクトルを獲得し、第１動きベクトルが示す第１参照ブロックの第１ピクセルの第１周辺領域、及び第２動きベクトルが示す第２参照ブロックの第２ピクセルの第２周辺領域に補間フィルタを適用し、第１ピクセル及び第２ピクセルのピクセル値を生成し、第１周辺領域及び第２周辺領域にフィルタを適用し、第１ピクセル及び第２ピクセルのグラジエント値を生成し、第１ピクセル及び第２ピクセルのピクセル値、グラジエント値を利用し、現在ブロックの予測ピクセル値を生成するビデオ復号方法である。
2018533871.tif 000002
【特許請求の範囲】
【請求項１】
ビデオの復号方法において、
ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、
前記獲得された動き予測モード情報が双方向動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する段階と、
前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、
前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成する段階と、
前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、を含むビデオ復号方法。
【請求項２】
前記現在ブロックの予測ピクセル値を生成する段階は、
前記第１ピクセルを含む一定サイズの第１ウィンドウ内ピクセルのグラジエント値、前記第２ピクセルを含む一定サイズの第２ウィンドウ内ピクセルのグラジエント値、前記第１ウィンドウ内ピクセルのピクセル値、及び前記第２ウィンドウ内ピクセルのピクセル値を利用し、水平方向及び垂直方向の単位時間当たり変位ベクトルを決定する段階と、
前記水平方向及び垂直方向の単位時間当たり変位ベクトル、前記現在ピクチャと前記第１参照ピクチャとの第１時間的距離、及び前記現在ピクチャと前記第２参照ピクチャとの第２時間的距離をさらに利用し、前記現在ブロックの予測ピクセル値を生成する段階と、を含むことを特徴とする請求項１に記載のビデオ復号方法。
【請求項３】
前記第１動きベクトルは、小数ピクセル位置（ｉ＋α，ｊ＋β）（ｉ，ｊは、整数であり、α、βは、小数である）の前記第１ピクセルを示すベクトルであり、
前記第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成する段階は、
ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセルのピクセル値にグラジエントフィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階と、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階と、を含むことを特徴とする請求項２に記載のビデオ復号方法。
【請求項４】
前記第１動きベクトルは、小数ピクセル位置（ｉ＋α，ｊ＋β）（ｉ，ｊは、整数であり、α、βは、小数である）の前記第１ピクセルを示すベクトルであり、
前記第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成する段階は、
ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセルのピクセル値に補間フィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階と、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値にグラジエントフィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階と、を含むことを特徴とする請求項２に記載のビデオ復号方法。
【請求項５】
前記ピクセル位置（ｉ，ｊ）のピクセル値、及び前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセル値にグラジエントフィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階は、
前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置するＭ−１（Ｍは、整数である）個の周辺整数ピクセル、及び前記ピクセル位置（ｉ，ｊ）のピクセルに対してＭタップグラジエントフィルタを適用し、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階を含み、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階は、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＮ−１（Ｎは、整数である）個のピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に対してＮタップ補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階を含むことを特徴とする請求項３に記載のビデオ復号方法。
【請求項６】
前記ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセル値に補間フィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階は、
前記ピクセル位置（ｉ，ｊ＋β）から垂直方向に位置するＮ−１（Ｎは、整数である）個の所定方向成分が整数である周辺ピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値に対してＮタップ補間フィルタを適用し、前記ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階を含み、
前記前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値にグラジエントフィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階は、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＭ−１（Ｍは、整数である）個のピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値に対してＭタップグラジエントフィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階を含むことを特徴とする請求項４に記載のビデオ復号方法。
【請求項７】
前記Ｎタップ補間フィルタは、ＤＣＴ（discrete  cosine  transform）基盤の水平方向の小数ピクセル位置でのピクセル値のための補間フィルタであることを特徴とし、
前記Ｎは、６であることを特徴とする請求項５に記載のビデオ復号方法
【請求項８】
前記Ｍタップグラジエントフィルタは、垂直方向のＤＣＴ基盤の補間フィルタを利用し、事前にフィルタ係数が決められている、垂直方向の小数ピクセル位置でのグラジエント値のための補間フィルタであり、
前記Ｍは、６であることを特徴とする請求項５に記載のビデオ復号方法。
【請求項９】
前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置するＭ−１（Ｍは、整数である）個の周辺整数ピクセル、及び前記ピクセル位置（ｉ，ｊ）のピクセルに対してＭタップグラジエントフィルタを適用し、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階は、
前記Ｍタップグラジエントフィルタが適用された値に対して、逆スケーリングビット数に基づいた逆スケーリングを行い、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階を含み、
前記逆スケーリングビット数は、サンプルのビットデプスに基づき、
前記逆スケーリングは、前記逆スケーリングビット数ほど右側にビットシフティングすることを含むことを特徴とする請求項７に記載のビデオ復号方法。
【請求項１０】
前記Ｍタップグラジエントフィルタのフィルタ係数は、２＾ｘ（ｘは、整数である）ほどスケーリングされ、前記Ｎタップ補間フィルタのフィルタ係数は、２＾ｙ（ｙは、整数である）ほどスケーリングされた場合、
前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＮ−１（Ｎは、整数である）個のピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に対してＮタップ補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階は、
前記Ｎタップ補間フィルタが適用された値に対して、逆スケーリングビット数に基づいた逆スケーリングを行い、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階を含み、
前記逆スケーリングビット数は、サンプルのビットデプス、前記ｘ及びｙに基づき、
前記逆スケーリングは、前記逆スケーリングビット数ほど右側にビットシフティングすることを含むことを特徴とする請求項７に記載のビデオ復号方法。
【請求項１１】
ビデオの符号化方法において、
現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定する段階と、
前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、
前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、
前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成する段階と、を含むビデオ符号化方法。
【請求項１２】
ビデオの復号装置において、
ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得し、
前記獲得された動き予測モード情報が双方向動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する獲得部と、
前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、を含むビデオ復号装置。
【請求項１３】
ビデオの符号化装置において、
現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び現在ピクチャ内の現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記生成された第１ピクセルのピクセル値、第２ピクセルのピクセル値、第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、
前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに係わる動き予測モードが、双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含むビデオ符号化装置。
【請求項１４】
請求項１に記載のビデオ復号方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ復号方法及びビデオ符号化に係り、詳細には、双方向（bi-directional）動き予測モードにおいてインター予測を行うビデオ復号及びビデオ符号化に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及により、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号したりするビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて制限された符号化方式によって符号化されている。
【０００３】
周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、該ブロックごとに、ＤＣＴ（discrete  cosine  transformation）変換を行い、ブロック単位の周波数係数を符号化する。空間領域の映像データに比べ、周波数領域の係数が、圧縮しやすい形態を有する。特に、ビデオコーデックのインター予測またはイントラ予測を介して、空間領域の映像画素値は、予測誤差で表現されるので、該予測誤差に対して周波数変換が行われれば、多くのデータが０に変換される。該ビデオコーデックは、連続してに反復的に発生するデータを小サイズのデータに置換することにより、データ量を節減している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
多様な実施形態によれば、双方向動き予測モードにおいて、第１参照ピクチャの第１参照ブロックのピクセル値、及び第２参照ピクチャの第２参照ブロックのピクセル値を利用するだけではなく、第１参照ブロックの第１グラジエント値、及び第２参照ブロックの第２グラジエント値を共に利用し、現在ブロックの予測ピクセル値が生成される。従って、原本ブロックと類似した予測ブロックが生成されるために、符号化／復号効率が高くなる。
【０００５】
多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。
【０００６】
ただ、多様な実施形態の技術的課題は、以上で言及した特徴に制限されるものではなく、言及されていない他の技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろうということは、言うまでもない。
【課題を解決するための手段】
【０００７】
本発明の技術的課題は、以上で言及した特徴に制限されるものではなく、言及されていない他の技術的課題は、以下の記載から、当該技術分野の当業者に明確に理解されるであろう。
【０００８】
多様な実施形態によるビデオ復号方法は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、前記獲得された動き予測モード情報が双方向（bi-direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する段階と、前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタ（interpolation  filter）を適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成する段階と、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、を含む。
【０００９】
前記現在ブロックの予測ピクセル値を生成する段階は、前記第１ピクセルを含む一定サイズの第１ウィンドウ内ピクセルのグラジエント値、前記第２ピクセルを含む一定サイズの第２ウィンドウ内ピクセルのグラジエント値、前記第１ウィンドウ内ピクセルのピクセル値、及び前記第２ウィンドウ内ピクセルのピクセル値を利用し、水平方向及び垂直方向の単位時間当り変位ベクトルを決定する段階と、前記水平方向及び垂直方向の単位時間当り変位ベクトル、前記現在ピクチャと前記第１参照ピクチャとの第１時間的距離、及び前記現在ピクチャと前記第２参照ピクチャとの第２時間的距離をさらに利用し、前記現在ブロックの予測ピクセル値を生成する段階と、を含んでもよい。
【００１０】
前記第１動きベクトルは、小数ピクセル位置（fractional  pixel  position）（ｉ＋α，ｊ＋β）（ｉ、ｊは、整数であり、α、βは、小数である）の前記第１ピクセルを示すベクトルであり、前記第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成する段階は、ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセルのピクセル値にグラジエントフィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階と、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階と、を含んでもよい。
【００１１】
前記第１動きベクトルは、小数ピクセル位置（ｉ＋α，ｊ＋β）（ｉ、ｊは、整数であり、α、βは、小数である）の前記第１ピクセルを示すベクトルであり、前記第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成する段階は、ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセルのピクセル値に補間フィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階と、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値にグラジエントフィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階と、を含んでもよい。
【００１２】
前記ピクセル位置（ｉ，ｊ）のピクセル値、及び前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセル値にグラジエントフィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階は、前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置するＭ−１（Ｍは、整数である）個の周辺整数ピクセル、及び前記ピクセル位置（ｉ，ｊ）のピクセルに対してＭタップグラジエントフィルタを適用し、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階を含み、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に補間フィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階は、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＮ−１（Ｎは、整数である）個のピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に対してＮタップ補間フィルタ（interpolation  filter）を適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階を含んでもよい。
【００１３】
前記ピクセル位置（ｉ，ｊ）のピクセル値、及びピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置する整数ピクセル値に補間フィルタを適用し、ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階は、前記ピクセル位置（ｉ，ｊ＋β）から垂直方向に位置するＮ−１（Ｎは、整数である）個の所定方向成分が整数である周辺ピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値に対してＮタップ補間フィルタ（interpolation  filter）を適用し、前記ピクセル位置（ｉ，ｊ＋β）のピクセル値を生成する段階を含み、前記前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値にグラジエントフィルタを適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階は、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＭ−１（Ｍは、整数である）個のピクセルのピクセル値、及び前記ピクセル位置（ｉ，ｊ＋β）のピクセル値に対してＭタップグラジエントフィルタ（gradient  filter）を適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの水平方向のグラジエント値を生成する段階を含んでもよい。
【００１４】
前記Ｎタップ補間フィルタ（interpolation  filter）は、ＤＣＴ（discrete  cosine  transformation）基盤の水平方向の小数ピクセル位置でのピクセル値のための補間フィルタ（interpolation  filter  for  pixel  value  of  fractional  pixel  position  in  horizontal  direction）であることを特徴とし、前記Ｎは、６でもある。
【００１５】
前記Ｍタップグラジエントフィルタは、垂直方向のＤＣＴ（discrete  cosine  transform）基盤の補間フィルタを利用して、事前にフィルタ係数が決められている、垂直方向の小数ピクセル位置でのグラジエント値のための補間フィルタ（interpolation  filter  for  gradient  of  fractional  pixel  position  in  vertical  direction）であり、前記Ｍは、６でもある。
【００１６】
前記ピクセル位置（ｉ，ｊ）のピクセルから垂直方向に位置するＭ−１（Ｍは、整数である）個の周辺整数ピクセル、及び前記ピクセル位置（ｉ，ｊ）のピクセルに対してＭタップグラジエントフィルタを適用し、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階は、前記Ｍタップグラジエントフィルタが適用された値に対して、逆スケーリング（de−scaling）ビット数に基づいた逆スケーリングを行い、前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値を生成する段階を含み、前記逆スケーリングビット数は、サンプルのビットデプスに基づいて、前記逆スケーリングは、前記逆スケーリングビット数ほど右側にビートシフティングすることを含んでもよい。
【００１７】
前記Ｍタップグラジエントフィルタのフィルタ係数は、２＾ｘ（ｘは、整数である）ほどスケーリングされ、前記Ｎタップ補間フィルタのフィルタ係数は、２＾ｙ（ｙは、整数である）ほどスケーリングされた場合、前記ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルのうち、水平成分の位置が整数ピクセル位置であるＮ−１（Ｎは、整数である）個のピクセルのグラジエント値、及び前記ピクセル位置（ｉ，ｊ＋β）のグラジエント値に対してＮタップ補間フィルタ（interpolation  filter）を適用し、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階は、前記Ｎタップ補間フィルタ（interpolation  filter）が適用された値に対して、逆スケーリングビット数に基づいた逆スケーリングを行い、前記小数ピクセル位置（ｉ＋α，ｊ＋β）にある前記第１ピクセルの垂直方向のグラジエント値を生成する段階を含み、前記逆スケーリングビット数は、サンプルのビットデプス、前記ｘ及びｙに基づいて、前記逆スケーリングは、前記逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。
【００１８】
多様な実施形態によるビデオ復号装置は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得し、前記獲得された動き予測モード情報が双方向（bi−direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する獲得部と、前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、を含む。
【００１９】
多様な実施形態によるビデオ符号化方法は、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定する段階と、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに対する動き予測モードが、双方向（bi−direction）動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成する段階と、を含む。
【００２０】
多様な実施形態によるビデオ符号化装置は、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び現在ピクチャ内の現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記生成された第１ピクセルのピクセル値、第２ピクセルのピクセル値、第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに対する動き予測モードが、双方向（bi−direction）動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含む。
【００２１】
多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。
【発明の効果】
【００２２】
多様な実施形態により、双方向動き予測モードにおいて、参照ピクチャの参照ブロックのグラジエント値を利用し、現在ブロックに対するインター予測を行い、現在ブロックの原本ブロックの値と類似した値を予測することにより、符号化／復号の効率を高めることができる。
【図面の簡単な説明】
【００２３】
【図１Ａ】多様な実施形態によるビデオ復号装置のブロック図である。
【図１Ｂ】多様な実施形態によるビデオ復号方法のフローチャートである。
【図１Ｃ】多様な実施形態によるビデオ符号化装置のブロック図である。
【図１Ｄ】多様な実施形態によるビデオ符号化方法のフローチャートである。
【図１Ｅ】多様な実施形態による映像復号部のブロック図である。
【図１Ｆ】多様な実施形態による映像復号部のブロック図である。
【図２】一実施形態によるブロック基盤双方向動き予測過程及び補償過程について説明するための参照図である。
【図３Ａ】一実施形態による、ピクセル単位動き補償を遂行する過程について説明するための参照図である。
【図３Ｂ】一実施形態による、ピクセル単位動き補償を遂行する過程について説明するための参照図である。
【図３Ｃ】一実施形態による、ピクセル単位動き補償を遂行する過程について説明するための参照図である。
【図４】一実施形態によって、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。
【図５】他の実施形態によって、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。
【図６Ａ】一実施形態によって、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。
【図６Ｂ】一実施形態によって、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。
【図７Ａ】一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【図７Ｂ】一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【図７Ｃ】一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【図７Ｄ】一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【図７Ｅ】一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【図８】一実施形態によって、水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。
【図９】一実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。
【図１０】一実施形態によって、現在符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図１１】一実施形態によって、非正方形の形態である符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図１２】一実施形態によって、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位が分割される過程を図示する図面である。
【図１３】一実施形態によって、奇数個の符号化単位のうち所定符号化単位が決定される方法を図示する図面である。
【図１４】一実施形態によって、現在符号化単位が分割され、複数個の符号化単位が決定される場合、複数個の符号化単位が処理される順序を図示する図面である。
【図１５】一実施形態によって、所定順序で符号化単位が処理されない場合、現在符号化単位が奇数個の符号化単位に分割されることによって決定される過程を図示する図面である。
【図１６】一実施形態によって、第１符号化単位が分割され、少なくとも１つの符号化単位が決定される過程を図示する図面である。
【図１７】一実施形態によって、第１符号化単位が分割されて決定された非正方形状の第２符号化単位が所定条件を満足する場合、第２符号化単位が分割される形態が制限されることを図示する図面である。
【図１８】一実施形態によって、分割形態情報が４個の正方形状の符号化単位に分割することを示すことができない場合、正方形状の符号化単位が分割される過程を図示する図面である。
【図１９】一実施形態によって、複数個の符号化単位間の処理順序が符号化単位の分割過程によって異なることを図示した図面である。
【図２０】一実施形態によって、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わることにより、符号化単位の深度が決定される過程を図示する図面である。
【図２１】一実施形態によって、符号化単位の形態及び大きさによって決定される深度及び符号化単位を区分するためのインデックス（ＰＩＤ：part  index）を図示する図面である。
【図２２】一実施形態によって、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたことを図示する図面である。
【図２３】一実施形態によって、ピクチャに含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する図面である。
【発明を実施するための形態】
【００２４】
多様な実施形態によるビデオ復号方法は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得する段階と、前記獲得された動き予測モード情報が双方向（bi−direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する段階と、前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタ（interpolation  filter）を適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成する段階と、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、を含む。
【００２５】
多様な実施形態によるビデオ復号装置は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得し、前記獲得された動き予測モード情報が双方向（bi−direction）動き予測モードを示す場合、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルを、前記ビットストリームから獲得する獲得部と、前記第１動きベクトルが示す前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２動きベクトルが示す前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１周辺領域及び前記第２周辺領域にフィルタを適用し、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、を含む。
【００２６】
多様な実施形態によるビデオ符号化方法は、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び前記現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定する段階と、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成する段階と、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記第１ピクセルのピクセル値、前記第２ピクセルのピクセル値、前記第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成する段階と、前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに対する動き予測モードが、双方向（bi−direction）動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成する段階と、を含む。
【００２７】
多様な実施形態によるビデオ符号化装置は、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び現在ピクチャ内の現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、前記第１参照ブロックを示す第１動きベクトル、及び前記第２参照ブロックを示す第２動きベクトルを決定し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、前記第１ピクセルのピクセル値、及び前記第２ピクセルのピクセル値を生成し、前記第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び前記第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、前記生成された第１ピクセルのピクセル値、第２ピクセルのピクセル値、第１ピクセルのグラジエント値、及び前記第２ピクセルのグラジエント値を利用し、前記現在ブロックの予測ピクセル値を生成するインター予測部と、前記第１動きベクトル及び前記第２動きベクトルに係わる情報、及び前記現在ブロックに対する動き予測モードが、双方向（bi−direction）動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成するビットストリーム生成部と、を含む。
【００２８】
多様な実施形態による方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含んでもよい。
【００２９】
以下、「映像」は、ビデオの静止映像や動画、すなわち、ビデオそのものを示すことができる。
【００３０】
以下、「サンプル」は、映像のサンプリング位置に割り当てられたデータであり、プロセシング対象になるデータを意味する。例えば、空間領域の映像において、ピクセルがサンプルでもある。
【００３１】
以下、「現在ブロック（current  block）」は、符号化または復号する映像のブロックを意味する。
【００３２】
図１Ａは、多様な実施形態によるビデオ復号装置のブロック図を図示する。
【００３３】
多様な実施形態によるビデオ復号装置１００は、獲得部１０５及びインター予測部１１０を含む。
【００３４】
獲得部１０５は、現在ブロックの予測モードに係わる情報、現在ブロックの動き予測モードを示す情報、及び動きベクトルに係わる情報を含むビットストリームを受信する。
【００３５】
獲得部１０５は、受信されたビットストリームから、現在ブロックの予測モードに係わる情報、現在ブロックの動き予測モードを示す情報、及び動きベクトルに係わる情報を獲得することができる。また、獲得部１０５は、以前に復号されたピクチャのうち参照ピクチャを示す参照ピクチャインデックスを、受信されたビットストリームから獲得することができる。
【００３６】
インター予測部１１０は、現在ブロックの予測モードがインター予測モードである場合、現在ブロックに対するインター予測を行う。すなわち、インター予測部１１０は、現在ブロックが含まれた現在ピクチャより以前に復号されたピクチャのうち少なくとも一つを利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１１０は、現在ブロックの動き予測モードが、双方向（bi−direction）動き予測モードである場合、現在ピクチャより以前に復号された２つのピクチャを利用し、現在ブロックの予測ピクセル値を生成することができる。すなわち、インター予測部１１０は、ビットストリームから獲得された動き予測モードに係わる情報が、双方向動き予測モードを示す場合、現在ピクチャより以前に復号された２つのピクチャを利用し、現在ブロックの予測ピクセル値を生成することができる。
【００３７】
インター予測部１１０は、ブロック単位動き補償部１１５及びピクセル単位動き補償部１２０を含んでもよい。
【００３８】
ブロック単位動き補償部１１５は、現在ブロックに対するブロック単位の動き補償を行うことができる。ブロック単位動き補償部１１５は、ビットストリームから獲得された参照ピクチャインデックスを利用し、以前に復号されたピクチャのうち少なくとも１つの参照ピクチャを決定することができる。このとき、参照ピクチャインデックスは、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャインデックスを意味する。ここで、Ｌ０方向に係わる参照ピクチャインデックスは、Ｌ０参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味し、Ｌ１方向に係わる参照ピクチャインデックスは、Ｌ１参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味する。
【００３９】
ブロック単位動き補償部１１５は、ビットストリームから受信された動きベクトルに係わる情報を利用し、少なくとも１つの参照ピクチャ内位置する現在ブロックの参照ブロックを決定することができる。ここで、現在ブロックに対応する対応ブロックが参照ブロックでもある。
【００４０】
すなわち、ブロック単位動き補償部１１５は、現在ブロックから参照ブロックを示す動きベクトルを利用し、現在ブロックの参照ブロックを決定することができる。
【００４１】
ここで、動きベクトルは、現在ピクチャ内の現在ブロックの基準座標と、参照ピクチャ内参照ブロックの基準座標との変位を示すベクトルを意味する。例えば、現在ブロックの左上側座標が（１，１）であり、参照ピクチャ内参照ブロックの左上側座標が（３，３）である場合、動きベクトルは、（２，２）でもある。
【００４２】
ここで、動きベクトルに係わる情報は、動きベクトルの差分値を含んでもよく、ブロック単位動き補償部１１５は、動きベクトルの予測子（predictor）、及びビットストリームから獲得された動きベクトルの差分値を利用して動きベクトルを復元し、復元された動きベクトルを利用し、少なくとも１つの参照ピクチャ内に位置する現在ブロックの参照ブロックを決定することができる。このとき、動きベクトルの差分値は、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャに対する動きベクトルの差分値を意味する。ここで、Ｌ０方向に対する動きベクトルの差分値は、Ｌ０参照ピクチャリストに含まれた参照ピクチャ内参照ブロックを示す動きベクトルの差分値を意味し、Ｌ１方向に係わる動きベクトルの差分値は、Ｌ１参照ピクチャリストに含まれた参照ピクチャ内参照ブロックを示す動きベクトルの差分値を意味する。
【００４３】
ブロック単位動き補償部１１５は、参照ブロックのピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行うことができる。ブロック単位動き補償部１１５は、現在ブロック内現在ピクセルに対応する参照ブロック内参照ピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行うことができる。ここで、参照ピクセルは、参照ブロックに含まれたピクセルであり、現在ブロック内現在ピクセルに対応する対応ピクセルが参照ピクセルでもある。
【００４４】
ブロック単位動き補償部１１５は、複数の参照ピクチャそれぞれに含まれた複数の参照ブロックを利用し、現在ブロックに対してブロック単位の動き補償を行うことができる。例えば、ブロック単位動き補償部１１５は、現在ブロックの動き予測モードが双方向動き予測モードである場合、以前に符号化されたピクチャのうち２つの参照ピクチャを決定し、２つのピクチャに含まれた２つの参照ブロックを決定することができる。
【００４５】
ブロック単位動き補償部１１５は、２つの参照ブロック内の２参照ピクセルのピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行うことができる。ブロック単位動き補償部１１５は、２つの参照ピクセルのピクセル値に係わる平均値または加重和を利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。
【００４６】
参照ブロックの基準位置は、整数ピクセル（integer  pixel）の位置でもあるが、それに制限されるものではなく、小数ピクセル（fractional  pixel）の位置でもある。ここで、整数ピクセルとは、位置成分が整数であるピクセルであり、整数ピクセル位置にあるピクセルを意味する。小数ピクセルは、位置成分が小数であるピクセルであり、小数ピクセル位置にあるピクセルを意味する。
【００４７】
例えば、現在ブロックの左上側座標が（１，１）であり、動きベクトルが（２．５，２．５）である場合、参照ピクチャ内参照ブロックの左上側座標は、（３．５，３．５）でもある。このとき、小数ピクセルの位置は、１／４ペル（ｐｅｌ：pixel  element）または１／１６ペル単位とも決定される。それに制限されるものではなく、多様な小数ペル単位によっても、小数ピクセルの位置が決定される。
【００４８】
参照ブロックの基準位置が、小数ピクセルの位置である場合、ブロック単位動き補償部１１５は、第１動きベクトルが示す第１参照ブロックのピクセルのうち第１ピクセルを含む第１周辺領域、及び第２動きベクトルが示す第２参照ブロックのピクセルのうち第２ピクセルを含む第２周辺領域に補間フィルタを適用し、第１ピクセルのピクセル値、及び第２ピクセルのピクセル値を生成することができる。
【００４９】
すなわち、参照ブロック内参照ピクセル値は、所定方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。このとき、所定方向は、水平方向または垂直方向でもある。
【００５０】
例えば、ブロック単位動き補償部１１５は、所定方向成分が整数であるピクセルのピクセル値に対して、補間フィルタ（interpolation  filter）を利用してフィルタリングを行い、その結果値でもって参照ピクセル値を決定し、参照ピクセル値を利用し、現在ブロックに対するブロック単位の動き補償値を決定することができる。参照ピクセルの平均値または加重和を利用し、ブロック単位の動き補償値動きが決定される。このとき、補間フィルタは、ＤＣＴ（discrete  cosine  transform）基盤のＭタップ（tap）の補間フィルタを利用することができる。ＤＣＴ基盤のＭタップの補間フィルタの係数は、ＤＣＴ及びＩＤＣＴからも誘導される。このとき、補間フィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。このとき、補間フィルタは、水平方向または垂直方向の一次元補間フィルタリングでもある。例えば、ｘ，ｙ直交座標成分でピクセルの位置を表現する場合、水平方向は、ｘ軸と平行方向を意味する。垂直方向は、ｙ軸と平行方向を意味する。
【００５１】
ブロック単位動き補償部１１５は、まず、垂直方向の一次元補間フィルタを利用し、整数位置のピクセル値に対してフィルタリングを行い、フィルタリングが行われて生成された値に、水平方向の一次元補間フィルタを利用してフィルタリングを行い、小数ピクセル位置での参照ピクセル値を決定することができる。
【００５２】
一方、スケーリングされたフィルタ係数を利用する場合、フィルタリングが行われて生成された値は、スケーリングされていないフィルタ係数を利用した場合に比べ、その値が大きくなる。従って、ブロック単位動き補償部１１５は、フィルタリングが行われて生成された値に対して、逆スケーリング（de−scaling）を行うことができる。
【００５３】
ブロック単位動き補償部１１５は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセル値に対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、入力映像のサンプルのビットデプスに基づいても決定される。例えば、逆スケーリングビット数は、サンプルのビットデプスから８を差し引いた値でもある。
【００５４】
また、ブロック単位動き補償部１１５は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセル値に対してフィルタリングを行い、フィルタリングが行われて生成された値に対して、水平方向の一次元補間フィルタを利用してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングビット数、水平方向の一次元補間フィルタのスケーリングビット数、及びサンプルのビットデプスに基づいても決定される。例えば、垂直方向の一次元補間フィルタのスケーリングビット数ｐが６であり、水平方向の一次元補間フィルタのスケーリングビット数ｑが６であり、サンプルのビットデプスがｂである場合、逆スケーリングビット数は、ｐ＋ｑ＋８−ｂであり、２０−ｂでもある。
【００５５】
ブロック単位動き補償部１１５が一次元補間フィルタを利用し、所定方向成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングビット数ほど右側にビットシフティングしか行わなければ、四捨五入エラーが発生しうるために、一次元補間フィルタを利用し、所定方向成分が整数であるピクセルに対してフィルタリングを行った後、オフセットほど加え、その後、逆スケーリングを行うことができる。このとき、オフセットは、２＾（逆スケーリングビット数−１）でもある。
【００５６】
ピクセル単位動き補償部１２０は、現在ブロックに対するピクセル単位の動き補償を行い、ピクセル単位動き補償値を生成することができる。ピクセル単位の動き補償部１２０は、現在ブロックの動き予測モードが双方向動き予測モードである場合、現在ブロックに対してピクセル単位動き補償を行い、ピクセル単位動き補償値を生成することができる。
【００５７】
ピクセル単位動き補償部１２０は、第１参照ピクチャ及び第２参照ピクチャのピクセルのオプティカルフロー（optical  flow）に基づいて、現在ブロックに対するピクセル単位動き補償を行い、ピクセル単位の動き補償値を生成することができる。オプティカルフローについては、図３Ａに係わる説明で後述する。
【００５８】
ピクセル単位動き補償部１２０は、現在ブロックの参照ブロックに含まれたピクセルに対して、ピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。
【００５９】
ピクセル単位動き補償部１２０は、現在ブロックの現在ピクセルに対応する参照ブロック内参照ピクセルを決定し、参照ピクセルのグラジエント値を決定することができる。
【００６０】
ピクセル単位動き補償部１２０は、参照ピクセルのグラジエント値を利用し、現在ブロックに対するピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。
【００６１】
ピクセル単位動き補償部１２０は、第１動きベクトルが示す第１参照ブロックのピクセルのうち第１ピクセルを含む第１ピクセルの第１周辺領域、及び第２動きベクトルが示す第２参照ブロックのピクセルのうち第２ピクセルを含む第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成することができる。
【００６２】
ピクセル単位動き補償部１２０は、第１参照ピクチャ内第１ピクセルを中心に、第１ピクセルを含む所定サイズの第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定し、第２参照ピクチャ内第２参照ピクセルを中心に、第２参照ピクセルを含む所定サイズの第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定することができる。
【００６３】
ピクセル単位動き補償部１２０は、第１ウィンドウ内ピクセルのピクセル値及びグラジエント値と、第２ウィンドウ内ピクセルのピクセル値及びグラジエント値を利用し、現在ピクセルに係わる単位時間当たり変位ベクトルを決定することができる。
【００６４】
ピクセル単位動き補償部１２０は、現在ピクセルに係わる単位時間当たり変位ベクトル、及び参照ピクセルのグラジエント値を利用し、現在ブロックに対するピクセル単位の動き補償を行うことができる。
【００６５】
参照ブロックの基準位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセルの位置でもある。
【００６６】
参照ブロックの基準位置が、小数ピクセルの位置である場合、参照ブロック内参照ピクセルのグラジエント値は、所定方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。
【００６７】
例えば、ピクセル単位動き補償部１２０は、所定方向成分が整数である周辺ピクセルのピクセル値に対して、グラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、参照ピクセルのグラジエント値を決定することができる。このとき、グラジエントフィルタのフィルタ係数は、ＤＣＴ（discrete  cosine  transform）基盤の補間フィルタに対して、既決定の係数を利用しても決定される。グラジエントフィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。
【００６８】
このとき、グラジエントフィルタは、水平方向または垂直方向の一次元グラジエントフィルタリングでもある。
【００６９】
ピクセル単位動き補償部１２０は、参照ピクセルに対する水平方向または垂直方向のグラジエント値を決定するために、水平方向または垂直方向の一次元グラジエントフィルタを利用し、対応方向成分が整数である周辺ピクセルに対してフィルタリングを行うことができる。
【００７０】
例えば、ピクセル単位動き補償部１２０は、水平方向の一次元グラジエントフィルタを利用し、参照ピクセルの周辺に位置するピクセルのうち水平方向成分が整数であるピクセルから、水平方向に位置するピクセルに対してフィルタリングを行い、参照ピクセルに係わる水平方向のグラジエント値を決定することができる。
【００７１】
もし参照ピクセルの位置が（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセル単位動き補償部１２０は、（ｘ，ｙ）位置のピクセル、及び（ｘ，ｙ）位置のピクセルから、垂直方向に位置するピクセルのうち垂直成分が整数であるピクセルに対して、垂直方向の一次元補間フィルタを利用してフィルタリングを行い、その結果値でもって、（ｘ，ｙ＋β）のピクセル値を決定することができる。
【００７２】
ピクセル単位動き補償部１２０は、（ｘ，ｙ＋β）位置のピクセル値、及び（ｘ，ｙ＋β）位置から水平方向に位置するピクセルのうち水平成分が整数であるピクセルに対して、水平方向のグラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定することができる。
【００７３】
一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。前述のところでは、先に、垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、一次元の水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行う内容について説明したが、先に、一次元の水平方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向の補間フィルタリング値を生成し、一次元の垂直方向の補間フィルタを利用し、前記水平方向の補間フィルタリング値にフィルタリングを行うことができる。
【００７４】
以上、ピクセル単位動き補償部１２０が、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定する内容について詳細に説明した。ピクセル単位動き補償部１２０において、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値も、水平方向のグラジエント値が決定されるところと類似した方式で決定されるので、詳細な説明は省略する。
【００７５】
以上、ピクセル単位動き補償部（２３０）が、小数ピクセル位置でのグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタを利用する内容について詳細に説明した。ただし、それらに制限されるものではなく、整数ピクセル位置でのグラジエント値を決定するためにも、グラジエントフィルタ及び補間フィルタを利用することができる。ただし、整数ピクセルの場合、補間フィルタを利用しないとしても、ピクセル値が決定されるが、小数ピクセルでの処理と一貫した処理のために、整数ピクセル、及び所定方向成分が整数である周辺ピクセルに対して補間フィルタを利用してフィルタリングを行い、前記整数ピクセル値を決定することができる。例えば、整数ピクセルでの補間フィルタ係数は、｛０，０，６４，０，０｝でもあり、周辺整数ピクセルに係わる補間フィルタ係数が０であるために、現在整数ピクセルのピクセル値だけ利用してフィルタリングが行われ、結果としては、補間フィルタを利用し、現在整数ピクセル及び周辺整数ピクセルに対してフィルタリングを行い、現在整数ピクセルでのピクセル値が決定される。
【００７６】
ピクセル単位動き補償部１２０は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほどビットシフティングすることを含んでもよい。逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。例えば、ビットシフティング数は、サンプルのビットデプスから８を差し引いた値でもある。
【００７７】
ピクセル単位動き補償部１２０は、水平方向のグラジエントフィルタを利用し、前記逆スケーリングを行って生成された値に対してフィルタリングを行った後、逆スケーリングを行うことができる。同様に、ここで、逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングされたビット数、水平方向の一次元グラジエントフィルタのスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。例えば、一次元補間フィルタのスケーリングビット数ｐが６であり、一次元グラジエントフィルタのスケーリングビット数ｑが４であり、サンプルのビットデプスがｂである場合、逆スケーリングビット数は、ｐ＋ｑ＋８−ｂであり、１８−ｂでもある。
【００７８】
ピクセル単位動き補償部１２０が、フィルタリングが行われた後、フィルタリングが行われて生成された値に対して、逆スケーリングビット数ほど右側にビットシフティングしか行わなければ、四捨五入エラーが発生しうるために、フィルタリングが行われて生成された値に、オフセットほど加え、その後、逆スケーリングを行うことができる。このとき、オフセットは、２＾（スケーリングビット数−１）でもある。
【００７９】
インター予測部１１０は、現在ブロックに対するブロック単位の動き補償値、及びピクセル単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１１０は、現在ブロックに対するブロック単位の動き補償値、及びピクセル単位の動き補償値を合わせ、現在ブロックの予測ピクセル値を生成することができる。ここで、ブロック単位の動き補償値は、ブロック単位の動き補償を行って生成された値を意味し、ピクセル単位の動き補償値は、ピクセル単位の動き補償を行って生成された値であり、ブロック単位の動き補償値は、参照ピクセルの平均値または加重和でもあり、ピクセル単位の動き補償値は、現在ピクセルに係わる変位ベクトル、及び参照ピクセルのグラジエント値に基づいて決定された値でもある。
【００８０】
ビデオ復号装置１００は、ビットストリームから、現在ブロックのレジデュアルブロックを獲得し、前記レジデュアルブロックと、現在ブロックの予測ピクセル値とを利用し、現在ブロックを復元することができる。例えば、ビデオ復号装置１００は、ビットストリームから、現在ブロックのレジデュアルブロックのピクセル値と、現在ブロックの予測ピクセル値とを合わせ、復元ブロックのピクセル値を決定することができる。
【００８１】
ビデオ復号装置１００は、映像復号部（図示せず）を含んでもよく、映像復号部（図示せず）は、獲得部１０５及びインター予測部１１０を含んでもよい。映像復号部については、図１Ｅを参照して説明する。
【００８２】
図１Ｂは、多様な実施形態によるビデオ復号方法のフローチャートを図示する。
【００８３】
Ｓ１０５段階において、ビデオ復号装置１００は、ビットストリームから、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を獲得することができる。ビデオ復号装置１００は、現在ピクチャ内の現在ブロックに係わる動き予測モード情報を含むビットストリームを受信し、受信されたビットストリームから、現在ブロックに係わる動き予測モード情報を獲得することができる。
【００８４】
ビデオ復号装置１００は、ビットストリームから、現在ブロックの予測モードに係わる情報を獲得し、現在ブロックの予測モードに係わる情報を基に、現在ブロックの予測モードを決定することができる。このとき、現在ブロックの予測モードがインター予測モードである場合、ビデオ復号装置１００は、現在ブロックに係わる動き予測モード情報を獲得することができる。
【００８５】
例えば、ビデオ復号装置１００は、現在ブロックの予測モードに係わる情報を基に、現在ブロックの予測モードをインター予測モードに決定することができる。ビデオ復号装置１００は、現在ブロックの予測モードがインター予測モードである場合、ビットストリームから、現在ブロックに係わる動き予測モード情報を獲得することができる。
【００８６】
Ｓ１１０段階において、動き予測モード情報が、双方向動き予測モードを示す場合、ビデオ復号装置１００は、第１参照ピクチャ内において、現在ブロックの第１参照ブロックを示す第１動きベクトル、及び第２参照ピクチャ内において、現在ブロックの第２参照ブロックを示す第２動きベクトルをビットストリームから獲得することができる。
すなわち、ビデオ復号装置１００は、第１動きベクトル及び第２動きベクトルに係わる情報を含むビットストリームを受信し、受信されたビットストリームから、第１動きベクトル及び第２動きベクトルを獲得することができる。ビデオ復号装置１００は、ビットストリームから参照ピクチャインデックスを獲得し、参照ピクチャインデックスに基づいて、以前に復号されたピクチャのうち第１参照ピクチャ及び第２参照ピクチャを決定することができる。
【００８７】
Ｓ１１５段階において、ビデオ復号装置１００は、第１動きベクトルが示す第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び第２動きベクトルが示す第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、第１ピクセルのピクセル値、及び第２ピクセルのピクセル値を生成することができる。
【００８８】
Ｓ１２０段階において、ビデオ復号装置１００は、第１周辺領域及び第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成することができる。ここで、フィルタは、一次元フィルタでもあり、グラジエントフィルタ及び補間フィルタを含んでもよい。
【００８９】
Ｓ１２５段階において、ビデオ復号装置１００は、第１ピクセルのピクセル値、第２ピクセルのピクセル値、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を利用し、現在ブロックの予測ピクセル値を生成することができる
ビデオ復号装置１００は、ビットストリームから、現在ブロックに係わるレジデュアル信号を獲得することができ、現在ブロックに係わるレジデュアル信号、及び現在ブロックの予測ピクセル値を利用し、現在ブロックを復元することができる。すなわち、ビデオ復号装置１００は、現在ブロックに係わるレジデュアル信号が示す現在ブロックのレジデュアルピクセル値と、現在ブロックの予測ピクセル値とを合わせ、現在ブロックの復元ブロックのピクセル値を生成することができる。
【００９０】
図１Ｃは、多様な実施形態によるビデオ符号化装置のブロック図を図示する。
【００９１】
多様な実施形態によるビデオ符号化装置１５０は、インター予測部１５５及びビットストリーム生成部１７０を含む。
【００９２】
インター予測部１５５は、現在ブロックに対してインター予測を行う。すなわち、インター予測部１５５は、現在ブロックの予測モードがインター予測モードである場合、現在ブロックが含まれた現在ピクチャより以前に符号化されたピクチャのうち少なくとも一つを利用し、現在ブロックの予測ピクセル値を生成することができる。
【００９３】
インター予測部１５５は、ブロック単位動き補償部１６０及びピクセル単位動き補償部１６５を含んでもよい。
【００９４】
ブロック単位動き補償部１６０は、現在ブロックに対してブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。
【００９５】
ブロック単位動き補償部１６０は、以前に復号されたピクチャのうち少なくとも１つの参照ピクチャを決定し、少なくとも１つの参照ピクチャ内に位置する現在ブロックの参照ブロックを決定することができる。
【００９６】
ブロック単位動き補償部１６０は、参照ブロックのピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。ブロック単位動き補償部１６０は、現在ブロックの現在ピクセルに対応する参照ブロックの参照ピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。
【００９７】
ブロック単位動き補償部１６０は、複数の参照ピクチャそれぞれに含まれた複数の参照ブロックを利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。例えば、ブロック単位動き補償部１６０は、現在ブロックの動き予測モードが双方向（bi−direction）予測モードである場合、以前に符号化されたピクチャのうち２つの参照ピクチャを決定し、２つのピクチャに含まれた２つの参照ブロックを決定することができる。ここで、双方向予測とは、ディスプレイされる順序が、現在ピクチャより以前であるピクチャ、及びディスプレイされる順序が、現在ピクチャより以後であるピクチャを利用してインター予測を行うことを意味することに制限されるものではなく、ディスプレイされる順序にかかわらず、現在ピクチャより以前に符号化された２つのピクチャを利用してインター予測することを意味する。
【００９８】
ブロック単位動き補償部１６０は、２つの参照ブロック内での２つの参照ピクセル値を利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。ブロック単位動き補償部１６０は、２つの参照ピクセルの平均ピクセル値または加重和を利用し、現在ブロックに対するブロック単位の動き補償を行い、ブロック単位の動き補償値を生成することができる。
【００９９】
ブロック単位動き補償部１６０は、以前に符号化されたピクチャのうち現在ブロックの動き補償のための参照ピクチャを示す参照ピクチャインデックスを出力することができる。
【０１００】
ブロック単位動き補償部１６０は、現在ブロックを始点にし、現在ブロックの参照ブロックを終点にする動きベクトルを決定し、動きベクトルを出力することができる。動きベクトルは、現在ピクチャ内の現在ブロックの基準座標と、参照ピクチャ内参照ブロックの基準座標との変位を示すベクトルを意味する。例えば、現在ブロックの左上側角の座標が、（１，１）であり、参照ピクチャ内参照ブロックの左上側座標が、（３，３）である場合、動きベクトルは、（２，２）でもある。
【０１０１】
参照ブロックの基準位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセル（fractional  pixel）の位置でもある。このとき、小数ピクセルの位置は、１／４ペル単位または１／１６ペル単位とも決定される。ただし、それに制限されるものではなく、多様な小数ペル単位により、小数ピクセルの位置が決定される。
【０１０２】
例えば、参照ブロックの基準位置が、（１．５、１．５）であり、現在ブロックの左上側角の座標が、（１，１）である場合、動きベクトルは、（０．５、０．５）でもある。動きベクトルが小数ピクセルの位置である参照ブロックの基準位置を示すために、１／４ペル単位または１／１６ペル単位と決定される場合、動きベクトルをスケーリングして整数の動きベクトルを決定し、アップスケーリングされた動きベクトルを利用し、参照ブロックの基準位置を決定することができる。参照ブロックの基準位置が、小数ピクセルの位置である場合、参照ブロックの参照ピクセルの位置も、小数ピクセルの位置でもある。従って、参照ブロックにおいて小数ピクセル位置のピクセル値は、所定方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。
【０１０３】
例えば、ブロック単位動き補償部１６０は、補間フィルタ（interpolation  filter）を利用し、所定方向成分が整数である周辺ピクセルのピクセル値に対するフィルタリングを行い、その結果値でもって、小数ピクセル位置の参照ピクセル値を決定し、参照ピクセルのピクセル値を利用し、現在ブロックに対するブロック単位の動き補償値を決定することができる。このとき、補間フィルタは、ＤＣＴ（discrete  cosine  transform）基盤のＭタップ（tap）の補間フィルタを利用することができる。ＤＣＴ基盤のＭタップの補間フィルタの係数は、ＤＣＴ及びＩＤＣＴ（inverse  discrete  cosine  transform）からも誘導される。このとき、補間フィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。
【０１０４】
このとき、補間フィルタは、水平方向または垂直方向の一次元補間フィルタリングでもある。
【０１０５】
ブロック単位動き補償部１６０は、まず、周辺整数ピクセルに対して、垂直方向の一次元補間フィルタを利用してフィルタリングを行い、フィルタリングが行われた値に、水平方向の一次元補間フィルタを利用してフィルタリングを行い、小数ピクセル位置での参照ピクセル値を決定することができる。スケーリングされたフィルタ係数を利用する場合、ブロック単位動き補償部１６０は、垂直方向の一次元補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行った後、フィルタリングが行われた値に対して、逆スケーリングを行うことができる。このとき、逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。例えば、ビットシフティング数は、サンプルのビットデプスから８を差し引いた値でもある。
【０１０６】
また、ブロック単位動き補償部１６０は、水平方向の一次元補間フィルタを利用し、水平方向成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、垂直方向の一次元補間フィルタ係数に対してスケーリングされたビット数、水平方向の一次元補間フィルタ係数に対してスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。
【０１０７】
ブロック単位動き補償部１６０が、逆スケーリングビット数ほど右側にビットシフティングしか行わなければ、四捨五入エラーが発生しうるために、所定方向の一次元補間フィルタを利用し、前記所定方向の成分が整数であるピクセルに対してフィルタリングを行い、フィルタリングが行われた値にオフセットを加え、オフセットが加えられた値に対して、逆スケーリングを行うことができる。このとき、オフセットは、２＾（スケーリングビット数−１）でもある。
【０１０８】
かように、垂直方向の一次元補間フィルタを利用したフィルタリング後、逆スケーリングビット数は、サンプルのビットデプスに基づいて決定する内容について説明したが、それに制限されるものではなく、サンプルのビットデプスだけではなく、補間フィルタ係数に対してスケーリングされたビット数を考慮しても決定される。すなわち、フィルタリング遂行時に利用されるレジスタサイズ、及びフィルタリング遂行過程で生成された値を保存するバッファの大きさを考慮し、オーバーフロー（overflow）が発生しない範囲で、サンプルのビットデプス、補間フィルタ係数に対してスケーリングされたビット数に基づいて、逆スケーリングビット数が決定される。
【０１０９】
ピクセル単位動き補償部１６５は、現在ブロックに対するピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。例えば、ピクセル単位動き補償部１６５は、動き予測モードが双方向動き予測モードである場合、現在ブロックに対して、ピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。
【０１１０】
ピクセル単位動き補償部１６５は、現在ブロックの参照ブロックに含まれたピクセルのグラジエント値を利用し、現在ブロックに対するピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。
【０１１１】
ピクセル単位動き補償部１６５は、第１参照ピクチャ内第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び第２参照ピクチャ内第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成することができる。
【０１１２】
ピクセル単位動き補償部１６５は、第１参照ピクチャ内第１参照ピクセルを中心に、第１参照ピクセルを含む所定サイズの第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定し、第２参照ピクチャ内第２参照ピクセルを中心に、第２参照ピクセルを含む所定サイズの第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を決定することができる。ピクセル単位動き補償部１６５は、第１ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値、並びに第２ウィンドウ内ピクセルのピクセル値、及びピクセルのグラジエント値を利用し、現在ピクセルに係わる単位時間当たり変位ベクトルを決定することができる。
【０１１３】
ピクセル単位動き補償部１６５は、単位時間当たり変位ベクトル、及び参照ピクセルのグラジエント値を利用し、現在ブロックに対するピクセル単位の動き補償を行い、ピクセル単位の動き補償値を生成することができる。
【０１１４】
参照ピクセルの位置は、整数ピクセルの位置でもあるが、それに制限されるものではなく、小数ピクセルの位置でもある。
【０１１５】
参照ブロックの基準位置が、小数ピクセルの位置である場合、参照ブロック内参照ピクセルのグラジエント値は、所定方向成分が整数である周辺ピクセルのピクセル値を利用しても決定される。
【０１１６】
例えば、ピクセル単位動き補償部１６５は、所定方向成分が整数である周辺ピクセルのピクセル値に対して、グラジエントフィルタを利用してフィルタリングを行い、その結果値でもって、参照ピクセルのグラジエント値を決定することができる。このとき、グラジエントフィルタのフィルタ係数は、ＤＣＴ（discrete  cosine  transform）基盤の補間フィルタに対して、既決定の係数を利用しても決定される。
【０１１７】
グラジエントフィルタの係数は、フィルタリング遂行時、実数演算を減らすために、整数係数にスケーリングされたフィルタ係数でもある。このとき、利用されるグラジエントフィルタは、水平方向または垂直方向の一次元グラジエントフィルタリングでもある。
【０１１８】
ピクセル単位動き補償部１６５は、参照ピクセルに対する水平方向または垂直方向のグラジエント値を決定するために、水平方向または垂直方向の一次元グラジエントフィルタを利用し、対応方向成分が整数である周辺ピクセルに対してフィルタリングを行うことができる。
【０１１９】
例えば、ピクセル単位動き補償部１６５は、垂直方向の一次元補間フィルタを利用し、参照ピクセルに隣接する整数ピクセルから、垂直方向のピクセルのうち垂直成分が整数であるピクセルに対してフィルタリングを行い、垂直成分が小数であるピクセルのピクセル値を決定することができる。
【０１２０】
ピクセル単位動き補償部１６５は、参照ピクセルに隣接する前記整数ピクセルに隣接する他の列（column）に位置するピクセルについても、垂直方向の一次元補間フィルタを利用し、垂直方向の周辺整数ピクセルに対してフィルタリングを行い、前記他の列（column）に位置する小数ピクセル位置のピクセル値を決定することができる。ここで、前記他の列（column）に位置するピクセルの位置は、垂直方向に小数ピクセルの位置であり、水平方向には、整数ピクセルの位置でもある。
【０１２１】
すなわち、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセル単位動き補償部１６５は、（ｘ，ｙ）位置から垂直方向の周辺整数ピクセルに対して、垂直方向の補間フィルタを利用してフィルタリングを行うことにより、（ｘ，ｙ＋β）位置でのピクセル値を決定することができる。
【０１２２】
ピクセル単位動き補償部１６５は、（ｘ，ｙ＋β）位置でのピクセル値、及び（ｘ，ｙ＋β）位置でのピクセル値から、水平方向に位置するピクセルのうち水平成分が整数であるピクセルのピクセル値に対して、水平方向のグラジエントフィルタを利用してフィルタリングを行うことにより、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定することができる。
【０１２３】
一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。前述のように、まず、垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、一次元の水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行うことができるが、それに制限されるものではなく、先に、一次元の水平方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向のグラジエントフィルタリング値を生成し、一次元の垂直方向の補間フィルタを利用し、前記水平方向のグラジエントフィルタリング値に対してフィルタリングを行うことができる。
【０１２４】
以上、ピクセル単位動き補償部１６５が、（ｘ＋α，ｙ＋β）位置での水平方向のグラジエント値を決定する内容について詳細に説明した。
【０１２５】
ピクセル単位動き補償部１６５は、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値も、水平方向のグラジエント値が決定されるところと類似した方式で決定することができる。
【０１２６】
ピクセル単位動き補償部１６５は、垂直方向の一次元グラジエントフィルタを利用し、参照ピクセルの周辺の整数ピクセルから垂直方向の周辺整数ピクセルに対してフィルタリングを行い、参照ピクセルに対する垂直方向のグラジエント値を決定することができる。ピクセル単位動き補償部１６５は、参照ピクセルに隣接する他の列（column）に位置するピクセルについても、垂直方向の一次元グラジエントフィルタを利用し、垂直方向の周辺整数ピクセルに対してフィルタリングを行い、参照ピクセルに隣接しながら、他の列（column）に位置するピクセルに対する垂直方向のグラジエント値を決定することができる。ここで、前記ピクセルの位置は、垂直方向に小数ピクセルの位置であり、水平方向には、整数ピクセルの位置でもある。
【０１２７】
すなわち、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ここで、ｘ、ｙは、整数であり、α、βは、小数である）である場合、ピクセル単位動き補償部１６５は、（ｘ，ｙ）位置から垂直方向の周辺整数ピクセルに対して垂直方向のグラジエントフィルタを利用してフィルタリングを行うことにより、（ｘ，ｙ＋β）位置での垂直方向のグラジエント値を決定することができる。
【０１２８】
ピクセル単位動き補償部１６５は、（ｘ，ｙ＋β）位置でのグラジエント値、及び（ｘ，ｙ＋β）位置から水平方向に位置する周辺整数ピクセルのグラジエント値に対して、水平方向の補間フィルタを利用してフィルタリングを行うことにより、（ｘ＋α，ｙ＋β）位置での垂直方向のグラジエント値を決定することができる。
【０１２９】
一次元のグラジエントフィルタ、及び一次元の補間フィルタを利用する順序は、制限されるものではない。前述のように、まず、垂直方向のグラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向のグラジエントフィルタリング値を生成し、一次元の水平方向の補間フィルタを利用し、前記垂直方向のグラジエントフィルタリング値に対してフィルタリングを行うことができるが、それに制限されるものではなく、先に、一次元の水平方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、水平方向の補間フィルタリング値を生成し、一次元の垂直方向のグラジエントフィルタを利用し、前記水平方向の補間フィルタリング値に対してフィルタリングを行うことができる。
【０１３０】
以上、ピクセル単位動き補償部１６５が、小数ピクセル位置でのグラジエント値を決定するために、グラジエントフィルタ及び補間フィルタを利用する内容について詳細に説明した。ただし、それらに制限されるものではなく、整数ピクセル位置でのグラジエント値を決定するためにも、グラジエントフィルタ及び補間フィルタを利用することができる。
【０１３１】
整数ピクセルの場合、補間フィルタを利用しないとしても、そのピクセル値を決定することができるが、小数ピクセルでの処理と一貫した処理のために、前記整数ピクセル及び周辺整数ピクセルに対して補間フィルタを利用し、フィルタリングを行うことができる。例えば、整数ピクセルでの補間フィルタ係数は、｛０，０，６４，０，０｝でもあり、周辺整数ピクセルに乗じられる補間フィルタ係数が０であるために、現在整数ピクセルのピクセル値だけ利用してフィルタリングが行われ、結果としては、現在整数ピクセル及び周辺整数ピクセルに対して、補間フィルタを利用してフィルタリングを行うことによって生成された値と、現在整数ピクセルのピクセル値は、同一にも決定される。
【０１３２】
一方、スケーリングされたフィルタ係数を利用する場合、ピクセル単位動き補償部１６５は、水平方向の一次元グラジエントフィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、フィルタリングが行われた値に逆スケーリングを行うことができる。このとき、逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、サンプルのビットデプスに基づいても決定される。例えば、逆スケーリングビット数は、サンプルのビットデプスから８ほど差し引いた値でもある。
【０１３３】
ピクセル単位動き補償部１６５は、垂直方向の補間フィルタを利用し、垂直方向の成分が整数であるピクセルに対してフィルタリングを行った後、逆スケーリングを行うことができる。このとき、逆スケーリングは、逆スケーリングビット数ほど右側にビットシフティングすることを含んでもよい。逆スケーリングビット数は、垂直方向の一次元補間フィルタのスケーリングされたビット数、水平方向の一次元グラジエントフィルタのスケーリングされたビット数、及びサンプルのビットデプスに基づいても決定される。
【０１３４】
ピクセル単位動き補償部１６５が、逆スケーリングビット数ほど右側にビットシフティングしか行わなければ、四捨五入エラーが発生しうる。従って、一次元補間フィルタを利用してフィルタリングが行われた後、フィルタリングが行われた値にオフセットが加えられ、オフセットが加えられた値に逆スケーリングを行うことができる。このとき、オフセットは、２＾（ビットシフティング数−１）でもある。
【０１３５】
インター予測部１５５は、現在ブロックに対するブロック単位の動き補償値、及び現在ブロックに対するピクセル単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。例えば、インター予測部１５５は、現在ブロックに対するブロック単位の動き補償値、及びピクセル単位の動き補償値を合わせ、現在ブロックの予測ピクセル値を生成することができる。特に、インター予測部１５５は、現在ブロックの動き予測モードが双方向動き予測モードである場合、現在ブロックに対するブロック単位の動き補償値、及び現在ブロックに対するピクセル単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。
【０１３６】
インター予測部１５５は、現在ブロックの動き予測モードが片方向動き予測モードである場合、現在ブロックに対するブロック単位の動き補償値を利用し、現在ブロックの予測ピクセル値を生成することができる。ここで、片方向とは、以前に符号化されたピクチャのうち１つの参照ピクチャを利用することを意味する。１つの参照ピクチャは、ディスプレイ順序上、現在ピクチャより以前ピクチャであるものに制限されるものではなく、以後ピクチャでもある。
【０１３７】
インター予測部１５５は、現在ブロックの動き予測モードを決定し、現在ブロックの動き予測モードを示す情報を出力することができる。例えば、インター予測部１５５は、現在ブロックの動き予測モードとして、双方向（bi−directionａｌ）動き予測モードを決定し、双方向動き予測モードを示す情報を出力することができる。ここで、双方向動き予測モードというのは、２つの復号された参照ピクチャ内参照ブロックを利用して動き予測するモードを意味する。
【０１３８】
ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルを含むビットストリームを生成することができる。ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルを符号化し、符号化された動きベクトルを含むビットストリームを生成することができる。ビットストリーム生成部１７０は、参照ブロックを示す動きベクトルのベクトル差分値を符号化し、符号化された動きベクトルの差分値を含むビットストリームを生成することができる。ここで、動きベクトルの差分値は、動きベクトルと、動きベクトルの予測子との差値を意味する。このとき、動きベクトルの差分値は、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャに対する動きベクトルの差分値を意味する。ここで、Ｌ０方向に係わる動きベクトルの差分値は、Ｌ０参照ピクチャリストに含まれた参照ピクチャ内参照ブロックを示す動きベクトルの差分値を意味し、Ｌ１方向に係わる動きベクトルの差分値は、Ｌ１参照ピクチャリストに含まれた参照ピクチャ内参照ブロックを示す動きベクトルの差分値を意味する。
【０１３９】
また、ビットストリーム生成部１７０は、現在ブロックの動き予測モードを示す情報をさらに含むビットストリームを生成することができる。ビットストリーム生成部１７０は、以前に符号化されたピクチャのうち現在ブロックの参照ピクチャを示す参照ピクチャインデックスを符号化し、符号化された参照ピクチャインデックスを含むビットストリームを生成することができる。このとき、参照ピクチャインデックスは、Ｌ０方向及びＬ１方向を含む予測方向それぞれに係わる参照ピクチャインデックスを意味する。ここで、Ｌ０方向に係わる参照ピクチャインデックスは、Ｌ０参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味し、Ｌ１方向に係わる参照ピクチャインデックスは、Ｌ１参照ピクチャリストに含まれたピクチャのうち参照ピクチャを示すインデックスを意味する。
【０１４０】
ビデオ符号化装置１５０は、映像符号化部（図示せず）を含んでもよく、映像符号化部（図示せず）は、インター予測部１５５及びビットストリーム生成部１７０を含んでもよい。映像符号化部については、図１Ｆを参照して説明する。
【０１４１】
図１Ｄは、多様な実施形態によるビデオ符号化方法のフローチャートを図示する。
【０１４２】
図１Ｄを参照すれば、Ｓ１５０段階において、ビデオ符号化装置１５０は、現在ピクチャ内の現在ブロックに対応する第１参照ピクチャの第１参照ブロック、及び現在ブロックに対応する第２参照ピクチャの第２参照ブロックを決定し、第１参照ブロックを示す第１動きベクトル、及び第２参照ブロックを示す動きベクトルを決定することができる。
【０１４３】
Ｓ１５５段階において、ビデオ符号化装置１５０は、第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域に補間フィルタを適用し、第１ピクセルのピクセル値、及び第２ピクセルのピクセル値を生成することができる。
【０１４４】
Ｓ１６０段階において、ビデオ符号化装置１５０は、第１参照ブロックのピクセルのうち第１ピクセルの第１周辺領域、及び第２参照ブロックのピクセルのうち第２ピクセルの第２周辺領域にフィルタを適用し、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を生成し、第１ピクセルのピクセル値、第２ピクセルのピクセル値、第１ピクセルのグラジエント値、及び第２ピクセルのグラジエント値を利用し、現在ブロックの予測ピクセル値を生成することができる。
【０１４５】
Ｓ１６５段階において、ビデオ符号化装置１５０は、第１動きベクトル及び第２動きベクトルに係わる情報、及び現在ブロックに対する動き予測モードが双方向動き予測モードであるか否かということを示す動き予測モード情報を含むビットストリームを生成することができる。
【０１４６】
ビデオ符号化装置１５０は、現在ブロックの予測ピクセル値と、現在ブロックの原本ブロック（original  block）との差を示す現在ブロックのレジデュアル信号を符号化し、符号化されたレジデュアル信号をさらに含むビットストリームを生成することができる。ビデオ符号化装置１５０は、現在ブロックの予測モードに係わる情報及び参照ピクチャインデックスを符号化し、符号化された現在ブロックの予測モードに係わる情報及び参照ピクチャインデックスをさらに含むビットストリームを生成することができる。例えば、ビデオ符号化装置１５０は、現在ブロックの予測モードがインター予測モードであるか否かということを示す情報と、以前に復号されたピクチャのうち少なくとも１つのピクチャを示す参照ピクチャインデックスとを符号化し、符号化された現在ブロックの予測モードに係わる情報、及び参照ピクチャインデックスをさらに含むビットストリームを生成することができる。
【０１４７】
図１Ｅは、多様な実施形態による映像復号部５００のブロック図を図示する。
【０１４８】
多様な実施形態による映像復号部６００は、ビデオ復号装置１００の映像復号部（図示せず）において、映像データを符号化するのに経る作業を遂行する。
【０１４９】
図１Ｅを参照すれば、エントロピー復号部６１５は、ビットストリーム６０５から、復号対象である符号化された映像データ、及び復号のために必要な符号化情報をパージングする。符号化された映像データは、量子化された変換係数であり、逆量子化部６２０及び逆変換部６２５は、量子化された変換係数からレジデューデータを復元する。
【０１５０】
イントラ予測部６４０は、ブロック別にイントラ予測を行う。インター予測部６３５は、ブロック別に復元ピクチャバッファ６３０で獲得された参照映像を利用し、インター予測を行う。図１Ｅのインター予測部６３５は、図１Ａのインター予測部１１０に対応する。
【０１５１】
イントラ予測部６４０またはインター予測部６３５で生成された各ブロックに係わる予測データとレジデューデータとが加えられることにより、現在映像６０５のブロックに係わる空間領域のデータが復元され、デブロッキング部６４５及びＳＡＯ遂行部６５０は、復元された空間領域のデータに対してループフィルタリングを行い、フィルタリングされた復元映像６６０を出力することができる。また、復元ピクチャバッファ６３０に保存された復元映像は、参照映像としても出力される。
【０１５２】
ビデオ復号装置１００の復号部（図示せず）において、映像データを復号するために、多様な実施形態による映像復号部６００の段階別作業がブロック別にも遂行される。
【０１５３】
図１Ｆは、多様な実施形態による映像符号化部のブロック図を図示する。
【０１５４】
多様な実施形態による映像符号化部７００は、ビデオ符号化装置１５０の映像符号化部（図示せず）において、映像データを符号化するのに経る作業を遂行する。
【０１５５】
すなわち、イントラ予測部７２０は、現在映像７０５において、ブロック別に、イントラ予測を行い、インター予測部７１５は、ブロック別に、現在映像７０５、及び復元ピクチャバッファ７１０で獲得された参照映像を利用してインター予測を行う。ここで、図１Ｅのインター予測部７１５は、図１Ｃのインター予測部１６０に対応する。
【０１５６】
イントラ予測部７２０またはインター予測部７１５から出力された各ブロックに係わる予測データを、現在映像７０５のエンコーディングされるブロックに係わるデータから抜き出すことによってレジデューデータを生成し、変換部７２５及び量子化部７３０は、レジデューデータに対して変換及び量子化を行い、ブロック別に量子化された変換係数を出力することができる。逆量子化部７４５、逆変換部７５０は、量子化された変換係数に対して逆量子化及び逆変換を行い、空間領域のレジデューデータを復元することができる。復元された空間領域のレジデューデータは、イントラ予測部７２０またはインター予測部７１５から出力された各ブロックに係わる予測データと加えられることにより、現在映像７０５のブロックに係わる空間領域のデータに復元される。デブロッキング部７５５及びＳＡＯ遂行部は、復元された空間領域のデータに対して、インループフィルタリングを行い、フィルタリングされた復元映像を生成する。生成された復元映像は、復元ピクチャバッファ７１０に保存される。復元ピクチャバッファ７１０に保存された復元映像は、他の映像のインター予測のための参照映像にも利用される。エントロピー符号化部７３５は、量子化された変換係数に対してエントロピー符号化し、エントロピー符号化された係数が、ビットストリーム７４０として出力される。
【０１５７】
多様な実施形態による映像符号化部７００がビデオ符号化装置１５０に適用されるために、多様な実施形態による映像符号化部７００の段階別作業がブロック別にも遂行される。
【０１５８】
図２は、一実施形態によるブロック基盤双方向動き予測過程及び補償過程について説明するための参照図である。
【０１５９】
図２を参照すれば、ビデオ符号化装置１５０は、第１参照ピクチャ２１０及び第２参照ピクチャ２２０において、現在ピクチャ２００の符号化される現在ブロック２０１と最も類似した領域を検索する双方向動き予測を行う。ここで、第１参照ピクチャ２１０は、現在ピクチャ２００以前のピクチャであり、第２参照ピクチャ２２０は、現在ピクチャ２００以後のピクチャであると仮定する。ビデオ符号化装置１５０は、双方向動き予測結果、第１参照ピクチャ２１０において、現在ブロック２０１と最も類似した第１対応領域２１２、及び第２参照ピクチャ２２０において、現在ブロック２０１と最も類似した第２対応領域２２２を決定する。ここで、第１対応領域及び第２対応領域が、現在ブロックの参照領域にもなる。
【０１６０】
そして、ビデオ符号化装置１５０は、第１参照ピクチャ２１０の現在ブロック２０１と同一位置のブロック２１１と、第１対応領域２１２との位置差に基づいて、第１動きベクトルＭＶ１を決定し、第２参照ピクチャ２２０の現在ブロック２０１と同一位置のブロック２２１と、第２対応領域２２２との位置差に基づいて、第２動きベクトルＭＶ２を決定する。
【０１６１】
ビデオ符号化装置１５０は、第１動きベクトルＭＶ１及び第２動きベクトルＭＶ２を利用し、現在ブロック２０１に対するブロック単位双方向動き補償を行う。
【０１６２】
例えば、第１参照ピクチャ２１０の（ｉ，ｊ）（ｉ、ｊは、整数である）に位置したピクセル値を、Ｐ０（ｉ，ｊ）とし、第２参照ピクチャ２２０の（ｉ，ｊ）に位置したピクセル値を、Ｐ１（ｉ，ｊ）とし、ＭＶ１＝（ＭＶｘ１，ＭＶｙ１）とし、ＭＶ２＝（ＭＶｘ２，ＭＶｙ２）とすれば、現在ブロック２０１の（ｉ，ｊ）位置ピクセルのブロック単位双方向動き補償値Ｐ＿ＢｉＰｒｅｄＢｌｏｃｋ（ｉ，ｊ）は、次の数式；Ｐ＿ＢｉＰｒｅｄＢｌｏｃｋ（ｉ，ｊ）＝｛Ｐ０（ｉ＋ＭＶｘ１，ｊ＋ＭＶｙ１）＋Ｐ１（ｉ＋ＭＶｘ２，ｊ＋ＭＶｙ２）｝／２のようにも計算される。このように、ビデオ符号化装置１５０は、第１動きベクトルＭＶ１及び第２動きベクトルＭＶ２が示す第１対応領域２１２及び第２対応領域２２２のピクセルの平均値や加重和を利用し、現在ブロック２０１に対するブロック単位動き補償を行い、ブロック単位の動き補償値を生成することができる。
【０１６３】
図３Ａないし図３Ｃは、一実施形態によるピクセル単位動き補償を行う過程について説明するための参照図である。
【０１６４】
図３Ａにおいて、第１対応領域３１０及び第２対応領域３２０は、それぞれ図２の第１対応領域２１２及び第２対応領域２２２と対応するものであり、現在ブロック３００にオーバーラップ（ovelap）されるように、双方向動きベクトル（ＭＶ１，ＭＶ２）を利用してシフトされたものであると仮定する。
【０１６５】
また、現在ブロック３００の双方向予測される（ｉ，ｊ）（ｉ、ｊは、整数である）位置のピクセルを、Ｐ（ｉ，ｊ）と定義し、現在ブロック３００の双方向予測されるピクセルＰ（ｉ，ｊ）と対応する第１参照ピクチャの第１参照ピクセル値を、Ｐ０（ｉ，ｊ）と定義し、現在ブロック３００の双方向予測されるピクセルＰ（ｉ，ｊ）と対応する第２参照ピクチャの第２参照ピクセル値をＰ１（ｉ，ｊ）と定義する。
【０１６６】
言い替えれば、第１参照ピクセル値Ｐ０（ｉ，ｊ）は、第１参照ピクチャを示す双方向動きベクトルＭＶ１によって決定された現在ブロック３００のピクセルＰ（ｉ，ｊ）に対応するピクセルであり、第２参照ピクセルのピクセル値Ｐ１（ｉ，ｊ）は、第２参照ピクチャを示す双方向動きベクトルＭＶ２によって決定された現在ブロック３００のピクセルＰ（ｉ，ｊ）に対応するピクセルである。
【０１６７】
また、第１参照ピクセルの水平方向のグラジエント値を
【０１６８】
【数１】
2018533871.tif 000003
と定義し、第１参照ピクセルの垂直方向のグラジエント値を
【０１６９】
【数２】
2018533871.tif 000004
と定義し、第２参照ピクセルの水平方向のグラジエント値を
【０１７０】
【数３】
2018533871.tif 000005
と定義し、第２参照ピクセルの垂直方向のグラジエント値を
【０１７１】
【数４】
2018533871.tif 000006
と定義する。
【０１７２】
また、現在ブロック３００が属する現在ピクチャと、第１対応領域３１０が属する第１参照ピクチャとの時間的距離をτ０と定義し、現在ピクチャと、第２対応領域３２０が属する第２参照ピクチャとの時間的距離をτ１と定義する。ここで、ピクチャ間の時間的距離は、ピクチャのＰＯＣ（picture  order  count）の差を意味する。
【０１７３】
ビデオシーケンスにおいて、一定の小さい動きがあると仮定すれば、ピクセル単位で双方向動き補償される現在ピクセルＰ（ｉ，ｊ）と最も類似した第１参照ピクチャの第１対応領域３１０のピクセルは、第１参照ピクセルＰ０（ｉ，ｊ）ではなく、第１参照ピクセルＰ０（ｉ，ｊ）を、所定変位ベクトルほど移動させた第１変位参照ピクセルＰＡと仮定する。前述のように、ビデオシーケンスにおいて、一定の動きがあると仮定したので、第２参照ピクチャの第２対応領域３２０において、現在ピクセルＰ（ｉ，ｊ）と最も類似したピクセルは、第２参照ピクセルＰ１（ｉ，ｊ）を所定変位ベクトルほど移動させた第２変位参照ピクセルＰＢであると推定することができる。
【０１７４】
変位ベクトルは、前述のｘ軸方向の変位ベクトルＶｘ，ｙ軸方向の変位ベクトルＶｙにより構成される。従って、ピクセル単位動き補償部１６５は、かような変位ベクトルを構成するｘ軸方向の変位ベクトルＶｘ，ｙ軸方向の変位ベクトルＶｙを計算し、それを利用してピクセル単位で動き補償を行う。
【０１７５】
オプティカルフローは、観察者（目またはカメラのようなビデオ映像獲得装置）及び場面（scene）間の相対的な動きによって誘発される客体、表面の外観上動きのパターン（pattern  of  apprarent  motion）を意味する。ビデオシーケンスにおいて、オプティカルフローは、任意の時間ｔ及びｔ＋Δｔで獲得されたフレーム間の動きを計算することによっても表現される。時間ｔのフレーム（frame）内（ｘ，ｙ）に位置したピクセル値は、Ｉ（ｘ，ｙ，ｔ）とも定義される。すなわち、Ｉ（ｘ，ｙ，ｔ）は、時空間的に変化する値でもある。Ｉ（ｘ，ｙ，ｔ）を時間ｔについて微分すれば、次の数式（１）の通りである。
【０１７６】
【数５】
2018533871.tif 000007
もしブロック内の小さい動き部分について、動きによるピクセル値の変化は、存在するが、経時的にピクセル値が変わらないと仮定すれば、ｄＩ／ｄｔは、０になる。また、経時的なピクセル値の動きが一定であると仮定すれば、ｄｘ／ｄｔを、ピクセル値Ｉ（ｘ，ｙ，ｔ）のｘ軸方向の変位ベクトルＶｘと定義し、ｄｙ／ｄｔを、ピクセル値Ｉ（ｘ，ｙ，ｔ）のｙ軸方向の変位ベクトルＶｙと定義することができ、従って、数式（１）は、次の数式（２）のようにも表現される。
【０１７７】
【数６】
2018533871.tif 000008
ここで、ｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙの大きさは、双方向動き予測に利用されたピクセル正確度（pixel  accuracy）より小さい値であることが望ましい。例えば、双方向動き予測時、１／４ピクセル正確度または１／１６ピクセル正確度を有するとするとき、Ｖｘ及びＶｙの大きさは、１／４または１／１６より小さい値を有することが望ましい。
【０１７８】
ピクセル単位動き補償部１６５は、数式（２）によるｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙを計算し、かような変位ベクトルＶｘ及びＶｙを利用し、ピクセル単位で動き補償を行う。数式（２）において、ピクセル値Ｉ（ｘ，ｙ，ｔ）は、原信号の値であるために、原信号の値をそのまま利用することは、符号化時、多くのオーバーヘッドを誘発してしまう。従って、ピクセル単位動き補償部１６５は、ブロック単位で、双方向動き予測結果として決定された第１参照ピクチャ及び第２参照ピクチャのピクセルを利用し、数式（２）による変位ベクトルＶｘ及びＶｙを計算することができる。すなわち、ピクセル単位動き補償部１６５は、双方向動き補償される現在ピクセルＰ（ｉ，ｊ）を中心に、周辺のピクセルを含む所定サイズのウィンドウ（Ωｉｊ）内において、Δを最小にするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙを決定する。Δが０である場合が最も望ましいが、ウィンドウ（Ωｉｊ）内の全てのピクセルに対して、Δが０である場合を満足させるｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙが存在しないこともあるために、Δを最小にするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙが決定される。変位ベクトルＶｘ及びＶｙを求める過程は、図８を参照して詳細に説明する。
【０１７９】
現在ピクセルの予測ピクセル値を決定するために、次の数式（３）のように、ｔに係わる関数Ｐ（ｔ）が決定される。
【０１８０】
【数７】
2018533871.tif 000009
このとき、ｔ＝０でのピクチャが、現在ブロックが含まれた現在ピクチャであると仮定する。従って、現在ブロックに含まれた現在ピクセルの予測ピクセル値は、ｔが０であるときのＰ（ｔ）の値とも定義される。
【０１８１】
第１参照ピクチャ（第１参照ピクチャが、現在ピクチャより時間的に先に進んだ位置にあると仮定する）から、現在ピクチャまでの時間的距離がτ０であり、第２参照ピクチャ（第２参照ピクチャ、が現在ピクチャより時間的に遅れた位置にあると仮定）から、現在ピクチャまでの時間的距離がτ１である場合、第１参照ピクチャでの参照ピクセル値は、Ｐ（−τ０）と同一であり、第２参照ピクチャでの参照ピクセル値は、Ｐ（τ１）と同一である。以下では、計算の便宜のために、τ０とτ１とがいずれもτとして同一であると仮定する。
【０１８２】
Ｐ（ｔ）の各次数の係数は、下記数式（４）によっても決定される。ここで、Ｐ０（ｉ，ｊ）は、第１参照ピクチャの（ｉ，ｊ）位置でのピクセル値を意味し、Ｐ１（ｉ，ｊ）は、第２参照ピクチャの（ｉ，ｊ）位置でのピクセル値を意味する。
【０１８３】
【数８】
2018533871.tif 000010
従って、現在ブロック内現在ピクセルの予測ピクセル値Ｐ（０）は、下記数式（５）によっても決定される。
【０１８４】
【数９】
2018533871.tif 000011
数式（５）は、数式（２）を考慮するとき、下記数式（６）によっても表現される。
【０１８５】
【数１０】
2018533871.tif 000012
従って、現在ピクセルの予測ピクセル値は、変位ベクトルＶｘ，Ｖｙ、第１参照ピクセルの水平方向及び垂直方向のグラジエント値、及び第２参照ピクセルの水平方向及び垂直方向のグラジエント値を利用しても決定される。ここで、Ｖｘ，Ｖｙと関係ない部分（Ｐ０（ｉ，ｊ）＋Ｐ１（ｉ，ｊ））／２）は、ブロック単位の動き補償値部分であり、Ｖｘ，Ｖｙと関連ある項部分は、ピクセル単位の動き補償値部分でもある。結果としては、ブロック単位の動き補償値と、ピクセル単位の動き補償値との和により、現在ピクセルの予測ピクセル値が決定される。
【０１８６】
前述のところの便宜上、第１参照ピクチャから現在ピクチャまでの時間的距離がτであり、第２参照ピクチャから現在ピクチャまでの時間的距離がいずれもτと同一である場合、現在ピクセルの予測ピクセル値を決定する過程について説明したが、第１参照ピクチャから現在ピクチャまでの時間的距離がτ０であり、第２参照ピクチャから現在ピクチャまでの時間的距離がτ１でもある。このとき、現在ピクセルの予測ピクセル値Ｐ（０）は、下記数式（７）のようにも決定される。
【０１８７】
【数１１】
2018533871.tif 000013
数式（７）は、数式（２）を考慮するとき、下記数式（８）によっても表現される。
【０１８８】
【数１２】
2018533871.tif 000014
前述のところで、第１参照ピクチャは、ディスプレイ順序上、現在ピクチャより時間的に後に位置し、第２参照ピクチャは、ディスプレイ順序上、現在ピクチャより時間的に前に位置すると仮定して説明したが、第１参照ピクチャ及び第２参照ピクチャが、いずれもディスプレイ順序上、時間的に前に位置するか、あるいは第１参照ピクチャ及び第２参照ピクチャがいずれもディスプレイ順序上、時間的に後に位置することができる。
【０１８９】
例えば、図３Ｂに図示されているように、第１対応領域を含む第１参照ピクチャ、及び第２対応領域を含む第２参照ピクチャが、いずれもディスプレイ順序上、時間的に現在ブロックを含む現在ピクチャより前に位置することができる。
【０１９０】
その場合、図３Ａを参照して誘導された数式（８）において、第２参照ピクチャと現在ピクチャとの時間的な距離差を示すτ１を−τ１に代替した数式（９）により、現在ピクセルの予測ピクセル値Ｐ（０）が決定される。
【０１９１】
【数１３】
2018533871.tif 000015
例えば、図３Ｃに図示されているように、第１対応領域を含む第１参照ピクチャ、及び第２対応領域を含む第２参照ピクチャが、いずれもディスプレイ順序上、時間的に現在ブロックを含む現在ピクチャより後に位置することができる。
【０１９２】
その場合、図３Ａを参照して誘導された数式（８）において、第１参照ピクチャと現在ピクチャとの時間的な距離差を示すτ０を−τ０に代替した数式（１０）により、現在ピクセルの予測ピクセル値が決定される。
【０１９３】
【数１４】
2018533871.tif 000016
ただし、図３Ｂ及び図３Ｃのように、第１参照ピクチャ及び第２参照ピクチャが、いずれもディスプレイ順序上、時間的に前に位置するか、あるいは第１参照ピクチャ及び第２参照ピクチャが、いずれもディスプレイ順序上、時間的に後に位置する場合、ピクセル単位動き補償は、第１参照ピクチャ及び第２参照ピクチャが同一参照ピクチャではない場合にも行われる。また、その場合、ピクセル単位動き補償は、双方向動きベクトル（ＭＶ１，ＭＶ２）が、いずれもノンゼロ成分（non-zero  component）を有する場合にのみ行われる。また、その場合、ピクセル単位動き補償は、動きベクトル（ＭＶ１，ＭＶ２）の比率（ratio）が、第１参照ピクチャと現在ピクチャとの時間的な距離と、第２参照ピクチャと現在ピクチャとの時間的な距離の比率（ratio）と同一である場合にのみ行われる。例えば、動きベクトルＭＶ１のｘ成分と、動きベクトルＭＶ２のｘ成分との比率が、動きベクトルＭＶ１のｙ成分と、動きベクトルＭＶ２のｙ成分との比率と同一であり、該比率が、第１参照ピクチャと現在ピクチャとの時間的な距離（τ０）と、第２参照ピクチャと現在ピクチャとの時間的な距離（τ１）との比率（ratio）と同一である場合、ピクセル単位動き補償が行われる。
【０１９４】
図４は、一実施形態によって、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。
【０１９５】
図４を参照すれば、第１参照ピクチャの第１参照ピクセルＰ０（ｉ，ｊ）４１０の水平方向のグラジエント値
【０１９６】
【数１５】
2018533871.tif 000017
、及び垂直方向のグラジエント値
【０１９７】
【数１６】
2018533871.tif 000018
は、第１参照ピクセルＰ０（ｉ，ｊ）４１０と水平方向に隣接した周辺小数ピクセル位置でのピクセル値の変化量と、垂直方向に隣接した周辺小数ピクセル位置でのピクセル値の変化量とを求めることによっても計算される。すなわち、次の数式（１１）のように、Ｐ０（ｉ，ｊ）から水平方向にｈ（ｈは、１より小さい小数値である）ほど離れた小数ピクセルＰ０（ｉ−ｈ，ｊ）４６０、及び小数ピクセルＰ０（ｉ＋ｈ，ｊ）４７０のピクセル値の変化量を計算し、水平方向のグラジエント値
【０１９８】
【数１７】
2018533871.tif 000019
を計算し、垂直方向にｈほど離れた小数ピクセルＰ０（ｉ，ｊ−ｈ）４８０、及び小数ピクセルＰ０（ｉ，ｊ＋ｈ）４９０のピクセル値の変化量を計算し、垂直グラジエント値
【０１９９】
【数１８】
2018533871.tif 000020
を計算することができる。
【０２００】
【数１９】
2018533871.tif 000021
小数ピクセルＰ０（ｉ−ｈ，ｊ）４６０、Ｐ０（ｉ＋ｈ，ｊ）４７０、Ｐ０（ｉ，ｊ−ｈ）４８０及びＰ０（ｉ，ｊ＋ｈ）４９０の値は、一般的な補間方式を利用しても計算される。また、他の第２参照ピクチャの第２参照ピクセルの水平方向及び垂直方向のグラジエント値も、数式（１１）と類似して計算される。
【０２０１】
一実施形態によれば、数式（１１）のように、小数ピクセル位置でのピクセル値の変化量を計算し、グラジエント値を計算する代わりに、所定フィルタを利用し、各参照ピクセルでのグラジエント値を計算することができる。所定フィルタのフィルタ係数は、フィルタの線形性を考慮し、小数ピクセル位置でのピクセル値を求めるために利用される補間フィルタの係数からも決定される。
【０２０２】
図５は、他の実施形態によって、水平方向及び垂直方向のグラジエント値を計算する過程について説明するための参照図である。
【０２０３】
他の実施形態によれば、グラジエント値は、参照ピクチャのピクセルに、所定フィルタを適用しても決定される。図５を参照すれば、ビデオ復号装置１００は、現在水平傾斜度値を求める参照ピクセルＰ０  ５００を中心に、左側に、ＭＭａｘ個のピクセル５２０、及び右側に｜ＭＭｉｎ｜個のピクセル５１０に所定フィルタを適用し、Ｐ０  ５００の水平方向のグラジエント値を計算することができる。このとき、利用されるフィルタ係数は、図７Ａないし図７Ｄに図示されているように、ウィンドウサイズ決定に利用されるＭＭａｘ整数ピクセルとＭＭｉｎ整数ピクセルとの補間位置（小数ピクセル位置（fractional  pel  position）を示すα値によって決定される。一例として、図７Ａを参照すれば、ウィンドウサイズを決定するＭＭｉｎは、−２であり、ＭＭａｘは、３であり、参照ピクセルＰ０  ５００から１／４ほど離れた、すなわち、α＝１／４である場合には、図７Ａの２行目のフィルタ係数｛４、−１７，−３６，６０，−１５，４｝が、周辺ピクセルＰ−２，Ｐ−１，Ｐ０，Ｐ１，Ｐ２，Ｐ３に適用される。その場合、参照ピクセル５００の水平方向のグラジエント
値
【０２０４】
【数２０】
2018533871.tif 000022
は、次の数式：
【０２０５】
【数２１】
2018533871.tif 000023
４＊Ｐ−２−１７＊Ｐ−１＋−３６＊Ｐ０＋６０＊Ｐ１−１５＊Ｐ２＋４＊Ｐ３＋３２＞＞６のように、フィルタ係数と周辺ピクセルとを利用した加重和としても計算される。類似して、垂直方向のグラジエント値も、ウィンドウサイズ決定に利用されるＭＭａｘ値及びＭＭｉｎ値、並びに補間位置により、図７Ａないし図７Ｅに図示されたフィルタ係数を周辺ピクセルに適用することによっても計算される。
【０２０６】
図６Ａ及び図６Ｂは、一実施形態によって、一次元フィルタを利用し、水平方向及び垂直方向のグラジエント値を決定する過程について説明するための図面である。
【０２０７】
図６Ａを参照すれば、参照ピクチャにおいて、参照ピクセルの水平方向のグラジエント値を決定するために、整数ピクセルに対して複数の一次元フィルタを利用してフィルタリングが行われる。ピクセル単位の動き補償は、ブロック単位の動き補償後に行われる追加的な動き補償である。従って、ブロック単位の動き補償過程において、動きベクトルが示す現在ブロックの参照ブロックの基準位置は、小数ピクセル位置でもあり、小数ピクセル位置の参照ブロック内参照ピクセルに対して、ピクセル単位の動き補償が行われる。従って、小数ピクセル位置のピクセルのグラジエント値を決定することを考慮し、フィルタリングが行われる。
【０２０８】
図６Ａを参照すれば、まず、ビデオ復号装置１００は、参照ピクチャ内において、参照ピクセルの周辺整数ピクセルから、水平方向または垂直方向に位置するピクセルに対して、第１一次元フィルタを利用して、フィルタリングを行うことができる。同様に、ビデオ復号装置１００は、参照ピクセルと異なる行（row）または列（column）に位置する隣接整数ピクセルに対して、第１一次元フィルタを利用して、フィルタリングを行うことができる。ビデオ復号装置１００は、前記フィルタリングが行われて生成された値に対して、第２一次元フィルタを利用してフィルタリングを行うことにより、参照ピクセルの水平方向のグラジエント値を生成することができる。
【０２０９】
例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ），（ｘ−１，ｙ），（ｘ＋１，ｙ），…，（ｘ＋ＭＭｉｎ，ｙ），（ｘ＋ＭＭａｘ，ｙ）（ＭＭｉｎ、ＭＭｍａｘは、いずれも整数である）に対して、一次元垂直補間フィルタを利用し、次の数式（１２）のようにもフィルタリングが行われる。
【０２１０】
【数２２】
2018533871.tif 000024
このとき、ｆｒａｃFilterβは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタ（interpolation  filter）であり、ｆｒａｃFilterβ［ｊ’］は、（ｉ，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。Ｉ［ｉ，ｊ’］は、（ｉ，ｊ’）位置のピクセル値を意味する。
【０２１１】
すなわち、第１一次元フィルタは、垂直方向の小数ピクセル値を決定するための補間フィルタリングでもある。offset１は、四捨五入エラーを防止するためのオフセットであり、shift１は、逆スケーリングビット数を意味する。Ｔｅｍｐ［ｉ，ｊ＋β］は、小数ピクセル位置（ｉ，ｊ＋β）でのピクセル値を意味する。Ｔｅｍｐ［ｉ’，ｊ＋β］（ｉ’は、ｉを除いたｉ＋Ｍｍｉｎからｉ＋Ｍｍａｘまでの整数である）も、ｉをｉ’に代替し、数式（１２）によっても決定される。
【０２１２】
次に、ビデオ復号装置１００は、小数ピクセル位置（ｉ，ｊ＋β）でのピクセル値、及び小数ピクセル位置（ｉ’，ｊ＋β）でのピクセル値に対して、第２一次元フィルタを利用して、フィルタリングを行うことができる。
【０２１３】
【数２３】
2018533871.tif 000025
このとき、ｇｒａｄFilterαは、水平方向の小数ピクセル位置αでのグラジエント値を決定するためのグラジエントフィルタリングでもある。ｇｒａｄFilterα［ｉ’］は、（ｉ’，ｊ＋β）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、水平方向のグラジエント値を決定するためのグラジエントフィルタリングでもある。offset２は、四捨五入エラーを防止するためのオフセットであり、shift２は、逆スケーリングビット数を意味する。
【０２１４】
すなわち、数式（１３）によれば、ビデオ復号装置１００は、（ｉ，ｊ＋β）でのピクセル値（Ｔｅｍｐ［ｉ，ｊ＋β］）と、ピクセル位置（ｉ，ｊ＋β）において、垂直方向に位置するピクセル値（Ｔｅｍｐ［ｉ’，ｊ＋β］）とに対して、グラジエントフィルタ（ｇｒａｄFilterα）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での水平方向のグラジエント値（
【０２１５】
【数２４】
2018533871.tif 000026
）を決定することができる。
【０２１６】
前述のところで、補間フィルタを先に適用し、その後、グラジエントフィルタを適用し、水平方向のグラジエント値を決定する内容について説明したが、それに制限されるものではなく、先に、グラジエントフィルタを適用し、その後、補間フィルタを適用し、水平方向のグラジエント値が決定されもする。以下では、グラジエントフィルタを適用し、その後、補間フィルタを適用し、水平方向のグラジエント値が決定される実施形態について説明する。
【０２１７】
例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ），（ｘ−１，ｙ），（ｘ＋１，ｙ），…（ｘ＋ＭＭｉｎ，ｙ），（ｘ＋ＭＭａｘ，ｙ）（ＭＭｉｎ、ＭＭｍａｘは、いずれも整数である）に対して、第１一次元フィルタを利用し、次の数式（１４）のようにもフィルタリングが行われる。
【０２１８】
【数２５】
2018533871.tif 000027
このとき、ｇｒａｄFilterαは、水平方向の小数ピクセル位置αでのグラジエント値を決定するためのグラジエントフィルタであり、ｇｒａｄFilterα［ｉ’］は、（ｉ’，ｊ）位置のピクセルに適用されるグラジエントフィルタの係数を意味する。Ｉ［ｉ’，ｊ］は、（ｉ’，ｊ）位置のピクセル値を意味する。
【０２１９】
すなわち、第１一次元フィルタは、ピクセル位置の水平成分が小数である位置のピクセルの水平方向のグラジエント値を決定するための補間フィルタリングでもある。offset３は、四捨五入エラーを防止するためのオフセットであり、shift３は、逆スケーリングビット数を意味する。Ｔｅｍｐ［ｉ＋α，ｊ］は、ピクセル位置（ｉ＋α，ｊ）での水平方向のグラジエント値を意味する。Ｔｅｍｐ［ｉ＋α，ｊ’］（ｊ’は、ｉを除いたｊ＋Ｍｍｉｎからｊ＋Ｍｍａｘまでの整数である）も、ｊをｊ’に代替し、数式（１４）によっても決定される。
【０２２０】
次に、ビデオ復号装置１００は、ピクセル位置（ｉ＋α，ｊ）での水平方向のグラジエント値、及びピクセル位置（ｉ＋α，ｊ’）での水平方向のグラジエント値に対して、第２一次元フィルタを利用し、次の数式（１５）のようにフィルタリングを行うことができる。
【０２２１】
【数２６】
2018533871.tif 000028
このとき、ｆｒａｃFilterβは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタリングでもある。ｆｒａｃFilterβ［ｊ’］は、（ｉ＋β，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、垂直方向の小数ピクセル位置βでのピクセル値を決定するための補間フィルタリングでもある。offset４は、四捨五入エラーを防止するためのオフセットであり、shift４は、逆スケーリングビット数を意味する。
【０２２２】
すなわち、数式（１５）によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ）での水平方向のグラジエント値（Ｔｅｍｐ［ｉ＋α，ｊ］）と、ピクセル位置（ｉ＋α，ｊ）において、垂直方向に位置するピクセルの水平方向のグラジエント値（Ｔｅｍｐ［ｉ＋α，ｊ’］）とに対して、グラジエントフィルタ（ｆｒａｃFilterβ）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での水平方向のグラジエント値（
【０２２３】
【数２７】
2018533871.tif 000029
）を決定することができる。
【０２２４】
図６Ｂを参照すれば、参照ピクチャにおいて、参照ピクセルの垂直方向のグラジエント値を決定するために、整数ピクセルに対して、複数の一次元フィルタを利用してフィルタリングが行われる。ピクセル単位の動き補償は、ブロック単位の動き補償後に行われる追加的な動き補償である。従って、ブロック単位の動き補償過程において、動きベクトルが示す現在ブロックの参照ブロックの基準位置は、小数ピクセル位置でもあり、小数ピクセル位置の参照ブロック内参照ピクセルに対して、ピクセル単位の動き補償が行われる。従って、小数ピクセル位置のピクセルのグラジエント値を決定することを考慮し、フィルタリングが行われる。
【０２２５】
図６Ｂを参照すれば、まず、ビデオ復号装置１００は、参照ピクチャ内において、参照ピクセルの周辺整数ピクセルから、水平方向または垂直方向に位置するピクセルに対して、第１一次元フィルタを利用して、フィルタリングを行うことができる。同様に、ビデオ復号装置１００は、参照ピクセルと異なる列（column）または行（row）に位置する隣接ピクセルに対して、第１一次元フィルタを利用して、フィルタリングを行うことができる。ビデオ復号装置１００は、前記フィルタリングが行われて生成された値に対して、第２一次元フィルタを利用してフィルタリングを行うことにより、参照ピクセルの垂直方向のグラジエント値を生成することができる。
【０２２６】
例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、水平方向の整数ピクセル（ｘ，ｙ），（ｘ−１，ｙ−１），（ｘ＋１，ｙ＋１），…（ｘ＋ＭＭｉｎ，ｙ＋ＭＭｉｎ），（ｘ＋ＭＭａｘ，ｙ＋Ｍｍａｘ）（ＭＭｉｎ、ＭＭｍａｘは、いずれも整数である）に対して、第１一次元フィルタを利用し、次の数式（１６）のようにもフィルタリングが行われる。
【０２２７】
【数２８】
2018533871.tif 000030
このとき、ｆｒａｃFilterαは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタ（interpolation  filter）であり、ｆｒａｃFilterα［ｉ’］は、（ｉ’，ｊ）位置のピクセルに適用される補間フィルタの係数を意味する。Ｉ［ｉ’，ｊ］は、（ｉ’，ｊ）位置のピクセル値を意味する。
【０２２８】
すなわち、第１一次元フィルタは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタリングでもある。offset５は、四捨五入エラーを防止するためのオフセットであり、shift５は、逆スケーリングビット数を意味する。
【０２２９】
Ｔｅｍｐ［ｉ＋α，ｊ］は、小数ピクセル位置（ｉ＋α，ｊ）でのピクセル値を意味する。Ｔｅｍｐ［ｉ＋α，ｊ’］（ｊ’は、ｊを除いたｊ＋Ｍｍｉｎからｊ＋Ｍｍａｘまでの整数である）も、ｊをｊ’に代替し、数式（１６）によっても決定される。
【０２３０】
次に、ビデオ復号装置１００は、ピクセル位置（ｉ＋α，ｊ）でのピクセル値、及びピクセル位置（ｉ＋α，ｊ’）でのピクセル値に対して、第２一次元フィルタを利用し、次の数式（１７）のようにフィルタリングを行うことができる。
【０２３１】
【数２９】
2018533871.tif 000031
このとき、ｇｒａｄFilterβは、垂直方向の小数ピクセル位置βでの垂直方向のグラジエント値を決定するためのグラジエントフィルタリングでもある。ｇｒａｄFilterβ［ｊ’］は、（ｉ＋α，ｊ’）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、垂直方向の小数ピクセル位置βにおいて、垂直方向のグラジエント値を決定するためのグラジエントフィルタリングでもある。offset６は、四捨五入エラーを防止するためのオフセットであり、shift６は、逆スケーリングビット数を意味する。
【０２３２】
すなわち、数式（１７）によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ）でのピクセル値（Ｔｅｍｐ［ｉ＋α，ｊ］）と、ピクセル位置（ｉ＋α，ｊ）において、垂直方向に位置するピクセル値（Ｔｅｍｐ［ｉ＋α，ｊ’］）とに対して、グラジエントフィルタ（ｇｒａｄFilterβ）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での垂直方向のグラジエント値（
【０２３３】
【数３０】
2018533871.tif 000032
）を決定することができる。
【０２３４】
前述のところで、補間フィルタを先に適用し、その後、グラジエントフィルタを適用し、垂直方向のグラジエント値を決定する内容について説明したが、それに制限されるものではなく、先に、グラジエントフィルタを適用し、その後、補間フィルタを適用し、水平方向のグラジエント値が決定されもする。以下では、グラジエントフィルタを適用し、その後、補間フィルタを適用し、垂直方向のグラジエント値が決定される実施形態について説明する。
【０２３５】
例えば、参照ピクセルの位置が、（ｘ＋α，ｙ＋β）（ｘ、ｙは、整数であり、α、βは、小数である）の小数ピクセルの位置である場合、垂直方向の整数ピクセル（ｘ，ｙ），（ｘ，ｙ−１），（ｘ，ｙ＋１），…（ｘ，ｙ＋ＭＭｉｎ），（ｘ，ｙ＋Ｍｍａｘ）（ＭＭｉｎ、ＭＭｍａｘは、いずれも整数である）に対して、第１一次元フィルタを利用し、次の数式（１８）のようにもフィルタリングが行われる。
【０２３６】
【数３１】
2018533871.tif 000033
このとき、ｇｒａｄFilterβは、垂直方向の小数ピクセル位置βでのグラジエント値を決定するためのグラジエントフィルタであり、ｇｒａｄFilterβ［ｊ’］は、（ｉ，ｊ’）位置のピクセルに適用されるグラジエントフィルタの係数を意味する。Ｉ［ｉ，ｊ’］は、（ｉ，ｊ’）位置のピクセル値を意味する。
【０２３７】
すなわち、第１一次元フィルタは、ピクセル位置の垂直成分が小数である位置のピクセルの垂直方向のグラジエント値を決定するための補間フィルタリングでもある。offset７は、四捨五入エラーを防止するためのオフセットであり、shift７は、逆スケーリングビット数を意味する。
【０２３８】
Ｔｅｍｐ［ｉ，ｊ＋β］は、ピクセル位置（ｉ，ｊ＋β）での垂直方向のグラジエント値を意味する。Ｔｅｍｐ［ｉ’，ｊ＋β］（ｉ’は、ｉを除いたｉ＋Ｍｍｉｎからｉ＋Ｍｍａｘまでの整数である）も、ｉをｉ’に代替し、数式（１８）によっても決定される。
【０２３９】
次に、ビデオ復号装置１００は、ピクセル位置（ｉ，ｊ＋β）での垂直方向のグラジエント値、及びピクセル位置（ｉ’，ｊ＋β）での垂直方向のグラジエント値に対して、第２一次元フィルタを利用し、次の数式（１９）のようにフィルタリングを行うことができる。
【０２４０】
【数３２】
2018533871.tif 000034
このとき、ｆｒａｃFilterαは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタリングでもある。ｆｒａｃFilterα［ｉ’］は、（ｉ’，ｊ＋β）位置のピクセルに適用される補間フィルタの係数を意味する。すなわち、第２一次元フィルタは、水平方向の小数ピクセル位置αでのピクセル値を決定するための補間フィルタリングでもある。offset８は、四捨五入エラーを防止するためのオフセットであり、shift８は、逆スケーリングビット数を意味する。
【０２４１】
すなわち、数式（１９）によれば、ビデオ復号装置１００は、（ｉ，ｊ＋β）での垂直方向のグラジエント値（Ｔｅｍｐ［ｉ，ｊ＋β］）と、ピクセル位置（ｉ，ｊ＋β）から水平方向に位置するピクセルの垂直方向のグラジエント値（Ｔｅｍｐ［ｉ’，ｊ＋β）］）とに対して、補間フィルタ（ｆｒａｃFilterα）を利用してフィルタリングを行うことにより、（ｉ＋α，ｊ＋β）での垂直方向のグラジエント値（
【０２４２】
【数３３】
2018533871.tif 000035
）を決定することができる。
【０２４３】
一実施形態によれば、ビデオ復号装置１００は、（ｉ＋α，ｊ＋β）での水平方向及び垂直方向のグラジエント値は、前述の多様なフィルタの組み合わせによっても決定される。例えば、水平方向のグラジエント値を決定するために、第１一次元フィルタで、垂直方向のピクセル値を決定するための補間フィルタが利用され、第２一次元フィルタで、水平方向のグラジエント値のためのグラジエントフィルタが利用される。垂直方向のグラジエント値を決定するために、第１一次元フィルタで、垂直方向のグラジエント値を決定するためのグラジエントフィルタが利用され、第２一次元フィルタで、水平方向のピクセル値を決定するための補間フィルタが利用される。
【０２４４】
図７Ａないし図７Ｅは、一実施形態によって、小数ピクセル単位の小数ピクセル位置でのピクセル値、及び水平方向及び垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【０２４５】
図７Ａ及び図７Ｂは、１／４ペル（ｐｅｌ：pixel  element）単位の小数ピクセル位置での水平方向または垂直方向のグラジエント値を決定するためのフィルタのフィルタ係数を示した表である。
【０２４６】
前述のところのように、水平方向または垂直方向のグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタが利用される。図７Ａを参照すれば、一次元グラジエントフィルタのフィルタ係数が図示されている。このとき、グラジエントフィルタは、６タップのフィルタが利用される。グラジエントのフィルタ係数は、２＾４ほどスケーリングされた係数でもある。Ｍｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。例えば、水平方向に、小数ピクセル位置α＝１／４であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数は、｛４，−１７，−３６，６０，−１５，−４｝でもある。水平方向に、小数ピクセル位置α＝０，１／２，３／４であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数も、図７Ａを参照して決定される。
【０２４７】
図７Ｂを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、補間フィルタは、６タップのフィルタが利用される。補間フィルタのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。Ｍｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。
【０２４８】
図７Ｃは、１／４ペル単位の小数ピクセル位置でのピクセル値を決定するために利用される一次元補間フィルタのフィルタ係数を示した表である。
【０２４９】
前述のところのように、小数ピクセル位置でのピクセル値を決定するために、同一である２個の一次元補間フィルタが、水平方向及び垂直方向にも利用される。
【０２５０】
図７Ｃを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、一次元補間フィルタは、６タップのフィルタリングでもある。グラジエントのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。Ｍｍｉｎは、中心整数ピクセルを基準に、フィルタに適用される負数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味し、Ｍｍａｘは、中心整数ピクセルを基準に、フィルタに適用される正数方向の整数ピクセルのうち最も遠いピクセルの位置と、中心整数ピクセルの位置との差を意味する。
【０２５１】
図７Ｄは、１／１６ペル単位の小数ピクセル位置での水平方向または垂直方向のグラジエント値を決定するために利用されるフィルタのフィルタ係数を示した表である。
【０２５２】
前述のところのように、水平方向または垂直方向のグラジエント値を決定するために、一次元グラジエントフィルタ及び一次元補間フィルタが利用される。図７Ｄを参照すれば、一次元グラジエントフィルタのフィルタ係数が図示されている。このとき、グラジエントフィルタは、６タップのフィルタが利用される。グラジエントのフィルタ係数は、２＾４ほどスケーリングされた係数でもある。例えば、水平方向に、小数ピクセル位置αが１／１６であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数は、｛８，−３２，−１３，５０，−１８，５｝でもある。水平方向に、小数ピクセル位置αが、０、１／８、３／１６、１／４、５／１６、３／８、７／１６、１／２であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数も、図７Ｄを利用しても決定される。一方、小数ピクセル位置αが、９／１６、５／８、１１／１６、３／４、１３／１６、７／８、１５／１６であるピクセルの水平方向のグラジエント値を求めるためのグラジエントフィルタ係数は、α＝１／２基準に、フィルタ係数の対称性を利用しても決定される。すなわち、図７Ｄに開示されたα＝１／２基準に、左側の小数ピクセル位置のフィルタ係数を利用し、残りのα＝１／２基準に、右側の小数ピクセル位置のフィルタ係数が決定される。例えば、α＝１５／１６でのフィルタ係数は、α＝１／２基準に、対称位置であるα＝１／１６のフィルタ係数｛８，−３２，−１３，５０，−１８，５｝を利用しても決定される。すなわち、α＝１５／１６でのフィルタ係数は、フィルタ係数｛８，−３２，−１３，５０，−１８，５｝を逆順に配し、｛５，−１８，５０，−１３，−３２，８｝とも決定される。
【０２５３】
図７Ｅを参照すれば、一次元補間フィルタのフィルタ係数が図示されている。このとき、補間フィルタは、６タップのフィルタが利用される。補間フィルタのフィルタ係数は、２＾６ほどスケーリングされた係数でもある。例えば、水平方向に、小数ピクセル位置αが１／１６であるピクセルの水平方向のピクセル値を求めるための一次元補間フィルタ係数は、｛１，−３，６４，４，−２，０｝でもある。水平方向に、小数ピクセル位置α＝０、１／８、３／１６、１／４、５／１６、３／８、７／１６、１／２であるピクセルの水平方向のピクセル値を求めるための補間フィルタ係数も、図７Ｅを利用して決定される。一方、水平方向に、小数ピクセル位置αが、９／１６、５／８、１１／１６、３／４、１３／１６、７／８、１５／１６であるピクセルの水平方向のピクセル値を求めるための補間フィルタ係数は、α＝１／２基準に、フィルタ係数の対称性を利用しても決定される。すなわち、図７Ｅに開示されたα＝１／２基準に、左側の小数ピクセル位置のフィルタ係数を利用し、残りのα＝１／２基準に、右側の小数ピクセル位置のフィルタ係数が決定される。例えば、α＝１５／１６でのフィルタ係数は、α＝１／２基準に、対称位置であるα＝１／１６のフィルタ係数｛１，−３，６４，４，−２，０｝を利用しても決定される。すなわち、α＝１５／１６でのフィルタ係数は、フィルタ係数｛１，−３，６４，４，−２，０｝を逆順に配し、｛０，−２，４、６４，−３，１｝とも決定される。
【０２５４】
図８は、一実施形態によって、水平方向変位ベクトル及び垂直方向変位ベクトルを決定する過程について説明するための参照図である。
【０２５５】
図８を参照すれば、所定サイズのウィンドウ（Ωｉｊ）８００は、現在ブロックにおいて、双方向予測されるピクセルＰ（ｉ，ｊ）を中心にした（２Ｍ＋１）＊（２Ｎ＋１）（Ｍ、Ｎは、整数である）の大きさを有する。
【０２５６】
ウィンドウ内の双方向予測される現在ブロックのピクセルを、Ｐ（ｉ’，ｊ’）（ｉ−Ｍ≦ｉ’≦ｉ＋Ｍであり、ｊ−Ｎ≦ｊ’≦ｊ＋Ｎである場合、（ｉ’，ｊ’）∈Ωｉｊ）とり、現在ブロックの双方向予測されるピクセルＰ（ｉ’，ｊ’）と対応する第１参照ピクチャ８１０の第１参照ピクセルのピクセル値を、Ｐ０（ｉ’，ｊ’）とし、現在ブロックの双方向予測されるピクセルＰ（ｉ’，ｊ’）に対応する第２参照ピクチャ８２０の第２参照ピクセルのピクセル値を、Ｐ１（ｉ’，ｊ’）とし、第１参照ピクセルの水平方向のグラジエント値を
【０２５７】
【数３４】
2018533871.tif 000036
とし、垂直方向のグラジエント値を
【０２５８】
【数３５】
2018533871.tif 000037
とし、第２参照ピクセルの水平方向のグラジエント値を
【０２５９】
【数３６】
2018533871.tif 000038
とし、垂直方向のグラジエント値を
【０２６０】
【数３７】
2018533871.tif 000039
とすれば、第１変位対応ピクセルＰＡ’及び第２変位対応ピクセルＰＢ’は、次の数式（２０）のようにも決定される。このとき、ＰＡ’及びＰＢ’は、ローカルテーラーエクスパンション（local  Taylor  expansion）の一次線形ターム（first  linear  term）を利用しても決定される。
【０２６１】
【数３８】
2018533871.tif 000040
数式（２０）で、ｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙは、現在ピクセルＰ（ｉ，ｊ）の位置によって変化するために、すなわち、（ｉ，ｊ）に従属的であるので、Ｖｘ（ｉ，ｊ）、Ｖｙ（ｉ，ｊ）のようにも表現される。
【０２６２】
第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’は、次の数式（２１）のようにも決定される。
【０２６３】
【数３９】
2018533871.tif 000041
第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’を最小にするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙは、次の数式（２２）のように、差値△ｉ’ｊ’の二乗和であるΦ（Ｖｘ，Ｖｙ）を利用しても決定される。
【０２６４】
【数４０】
2018533871.tif 000042
すなわち、Φ（Ｖｘ，Ｖｙ）の極大値または極小値を利用しても決定される。Φ（Ｖｘ，Ｖｙ）は、Ｖｘ、Ｖｙを媒介変数にする関数であり、極大値または極小値は、次の数式（２３）により、τＶｘ及びτＶｙについてて整理されたΦ（Ｖｘ，Ｖｙ）を、τＶｘ及びτＶｙに対して偏微分し、０になる値を計算することによっても決定される。以下では、計算の便宜上、τ０とτ１とがτと同一であると仮定する。
【０２６５】
【数４１】
2018533871.tif 000043
数式：
【０２６６】
【数４２】
2018533871.tif 000044
及び数式：
【０２６７】
【数４３】
2018533871.tif 000045
を利用し、次の数式（２４）のように、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）を変数にする２個の線形方程式を獲得することができる。
【０２６８】
【数４４】
2018533871.tif 000046
数式（２４）において、ｓ１ないしｓ６は、次の数式（２５）の通りである。
【０２６９】
【数４５】
2018533871.tif 000047
数式（２４）の連立方程式を解けば、クレーマー公式（Kramer’s  formulas）により、τ＊Ｖｘ（ｉ，ｊ）＝−ｄｅｔ１／ｄｅｔ、τ＊Ｖｙ（ｉ，ｊ）＝−ｄｅｔ２／ｄｅｔのように、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）の値を解くことができる。ここで、ｄｅｔ１＝ｓ３＊ｓ５−ｓ２＊ｓ６、ｄｅｔ２＝ｓ１＊ｓ６−ｓ３＊ｓ４、ｄｅｔ＝ｓ１＊ｓ５−ｓ２＊ｓ２である。
【０２７０】
水平方向において、最初に最小化（minimization）を行い、その後、垂直方向に最小化を行い、前記数式の簡単な解（simplified  solution）が決定される。すなわち、例えば、水平方向の変位ベクトルだけ変化すると仮定すれば、数式（２４）の最初数式において、Ｖｙ＝０と仮定することができ、従って、数式：τＶｘ＝ｓ３／ｓ１とも決定される。
【０２７１】
その後、数式（２４）の２番目数式を、数式：τＶｘ＝ｓ３／ｓ１を利用して整理すれば、数式：τＶｙ＝（ｓ６−τＶｘ＊Ｓ２）／ｓ５とも決定される。
ここで、グラジエント値
【０２７２】
【数４６】
2018533871.tif 000048
は、結果値であるＶｘ（ｉ，ｊ）とＶｙ（ｉ，ｊ）とを変化させずにスケーリングされる。ただし、オーバーフローが発生せず、四捨五入エラーが発生しない場合を前提にする。
【０２７３】
Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）を求める過程において、０、または非常に小さい値によって除算演算が行われることを防止するために、正規化パラメータｒ及びｍが導入される。
【０２７４】
便宜上、Ｖｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）が、図３Ａに図示された方向と反対であると仮定する。例えば、図３Ａに図示されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）の方向に基づいて、数式（２４）によって導出されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）は、図３Ａの方向と反対に決定されたＶｘ（ｉ，ｊ）及びＶｙ（ｉ，ｊ）とは、互いにその値に符号差があるのみ、大きさは、同一である。
【０２７５】
第１変位対応ピクセルＰＡ’及び第２変位対応ピクセルＰＢ’は、次の数式（２６）のようにも決定される。このとき、ＰＡ’及びＰＢ’は、ローカルテーラーエクスパンション（local  Taylor  expansion）の一次線形ターム（first  linear  term）を利用しても決定される。
【０２７６】
【数４７】
2018533871.tif 000049
第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’は、次の数式（２７）のようにも決定される。
【０２７７】
【数４８】
2018533871.tif 000050
第１変位対応ピクセルＰＡ’と第２変位対応ピクセルＰＢ’との差値△ｉ’ｊ’を最小にするｘ軸方向の変位ベクトルＶｘ、ｙ軸方向の変位ベクトルＶｙは、次の数式（２８）のように、差値△の二乗和であるΦ（Ｖｘ，Ｖｙ）を利用しても決定される。すなわち、数式（２９）のように、Φ（Ｖｘ，Ｖｙ）が最小である場合のＶｘ，Ｖｙとも決定され、それは、Φ（Ｖｘ，Ｖｙ）の極大値または極小値を利用しても決定される。
【０２７８】
【数４９】
2018533871.tif 000051
【０２７９】
【数５０】
2018533871.tif 000052
Φ（Ｖｘ，Ｖｙ）は、Ｖｘ、Ｖｙを媒介変数にする関数であり、極大値または極小値は、次の数式（３０）のように、Φ（Ｖｘ，Ｖｙ）を、Ｖｘ及びＶｙに対して偏微分して０になる値を計算することによっても決定される。
【０２８０】
【数５１】
2018533871.tif 000053
すなわち、Ｖｘ、Ｖｙは、Φ（Ｖｘ，Ｖｙ）値を最小にするＶｘ及びＶｙとも決定される。前記最適化問題を解決するために、まず、垂直方向で最小化が行われ、その後、水平方向に最小化が行われる。前記最小化により、Ｖｘは、次の数式（３１）のようにも決定される。
【０２８１】
【数５２】
2018533871.tif 000054
ここでｃｌｉｐ３（ｘ，ｙ，ｚ）関数は、ｚ＜ｘであるならば、ｘであり、ｚ＞ｙであるならば、ｙであり、ｘ＜ｚ＜ｙであるならば、ｚを出力する関数である。数式（３１）によれば、ｓ１＋ｒ＞ｍである場合、Ｖｘは、ｃｌｉｐ３（−ｔｈＢＩＯ，ｔｈＢＩＯ，−ｓ３／（ｓ１＋ｒ））であり、ｓ１＋ｒ＞ｍではない場合、Ｖｘは、０でもある。
【０２８２】
前記最小化により、Ｖｙは、次の数式（３２）のようにも決定される。
【０２８３】
【数５３】
2018533871.tif 000055
ここでｃｌｉｐ３（ｘ，ｙ，ｚ）関数は、ｚ＜ｘであるならば、ｘであり、ｚ＞ｙであるならば、ｙであり、ｘ＜ｚ＜ｙであるならば、ｚを出力する関数である。数式（３２）によれば、ｓ５＋ｒ＞ｍである場合、Ｖｙは、ｃｌｉｐ３（−ｔｈＢＩＯ，ｔｈＢＩＯ，−（ｓ６−Ｖｘ＊ｓ２）／２／（ｓ５＋ｒ）であり、ｓ５＋ｒ＞ｍではない場合、Ｖｙは、０でもある。
【０２８４】
このときｓ１、ｓ２、ｓ３及びｓ５は、下記数式（３３）のようにも決定される。
【０２８５】
【数５４】
2018533871.tif 000056
前述のように、ｒとｍは、除算演算結果値が、０であるか、あるいはそれより小さい値になることを避けるために導入された正規化パラメータであり、入力ビデオの内部ビットデプスｄに基づいて、次の数式（３４）のようにも決定される。
【０２８６】
【数５５】
2018533871.tif 000057
Ｖｘ及びＶｙは、±ｔｈＢＩＯの上限及び下限を有することができる。その理由は、ノイズ、や不規則的な動きのために、ピクセル単位の動き補償を信頼することができない場合があるために、Ｖｘ及びＶｙは、特定臨界値ｔｈＢＩＯによってもクリッピングされる。ｔｈＢＩＯは、全ての参照ピクチャの方向が同一方向であるか否かということに基づいても決定される。例えば、全ての参照ピクチャの方向が同一方向である場合、ｔｈＢＩＯは、１２＊２＾（１４−ｄ）とも決定される。もし全ての参照ピクチャの方向が互いに異なる方向である場合、ｔｈＢＩＯは、１２＊２＾（１３−ｄ）とも決定される。
【０２８７】
図９は、一実施形態により、フィルタリング遂行後、オフセットを加え、逆スケーリングを行うことにより、水平方向または垂直方向のグラジエント値を決定する過程について説明するための図面である。
【０２８８】
図９を参照すれば、ビデオ復号装置１００は、所定方向成分が整数位置であるピクセルに対して、第１一次元フィルタ及び第２一次元フィルタを利用したフィルタリングを行い、水平方向または垂直方向のグラジエント値を決定することができる。ただし、所定方向成分が整数位置であるピクセルに対して、第１一次元フィルタまたは第２一次元フィルタを利用してフィルタリングを行った値が、所定範囲を外れてしまう。かような現象をオーバーフロー（overflow）現象という。一次元フィルタの係数は、不正確であって複雑な小数演算の代わりに、整数演算を行うために、整数でも決定される。一次元フィルタの係数が整数で決定されるために、スケーリングされる。スケーリングされた一次元フィルタの係数を利用してフィルタリングが行われれば、整数演算が可能になる一方、スケーリングされていない一次元フィルタを利用してフィルタリングが行われた場合と比較するとき、フィルタリングが行われた値の大きさが大きくなり、オーバーフロー現象が発生しうる。従って、オーバーフロー現象を防止するために、一次元フィルタを利用してフィルタリングが行われた後、逆スケーリング（de−scaling）が行われる。このとき、逆スケーリングは、右側に逆スケーリングビット数ほど右側にビットシフティングを行うことを含んでもよい。逆スケーリングビット数は、計算の正確度を最大化しながらも、フィルタリング演算のためのレジスタの最大ビット数、及びフィルタリング演算結果を保存する臨時バッファ（temporal  buffer）の最大ビット数を考慮しても決定される。特に、逆スケーリングビット数は、内部ビットデプス（internal  bit  depth）、補間フィルタのためのスケーリングビット数、及びグラジエントフィルタのためのスケーリングビット数に基づいても決定される。
【０２８９】
以下では、水平方向のグラジエント値を決定するために、まず、垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングが行われる過程において、逆スケーリングを行う内容について説明する。
【０２９０】
前述の数式（１２）によれば、ビデオ復号装置１００は、水平方向のグラジエント値を決定するために、まず、整数位置のピクセルに対して、垂直方向の補間フィルタを利用してフィルタリングを行うことができる。このとき、shift１は、ｂ−８とも決定される。このとき、ｂは、入力映像の内部ビットデプスでもある。下記表１を参照し、前記shift１に基づいて、実際逆スケーリングが行われる場合、レジスタのビットデプス（Reg  Bitdepth）及び臨時バッファのビットデプス（Temp  Bitdepth）について説明する。
【０２９１】
【表１】
2018533871.tif 000058
このとき、次の数式（３５）により、表１にある変数の値が決定される。
【０２９２】
【数５６】
2018533871.tif 000059
ここで、Ｍｉｎ（Ｉ）は、内部ビットデプスによって決定されるピクセル値（Ｉ）の最小値を意味し、Ｍａｘ（Ｉ）は、内部ビットデプスによって決定されるピクセル値（Ｉ）の最大値を意味する。FilterＳｕｍＰｏｓは、正数のフィルタ係数の和の最大値を意味し、FilterＳｕｍＮｅｇは、負数のフィルタ係数の和の最小値を意味する。
【０２９３】
例えば、図７Ｃに開示された１／４ペル単位のグラジエントフィルタｆｒａｃFilterが利用されると仮定する場合、FilterＳｕｍＰｏｓは、８８であり、FilterＳｕｍＮｅｇは、−２４でもある。
【０２９４】
CEILING（ｘ）関数は、エラーｘについて、ｘより大きいか、あるいはそれと同じ整数のうち最小の整数を出力する関数でもある。offset１は、shift１を利用して逆スケーリングを行う過程で発生しうる四捨五入エラーを防止するために、フィルタリングが行われた値に加えられるオフセット値であり、offset１は、２＾（shift１−１）とも決定される。
【０２９５】
表１を参照すれば、内部ビットデプスｂが８である場合、レジスタのビットデプス（Reg  Bitdpeth）は、１６であり、内部ビットデプスｂが９である場合、レジスタのビットデプスは、１７であり、以下、内部ビットデプスｂが、１０、１１、１２及び１６である場合、レジスタのビットデプスは、１８、１９、２４でもある。もしフィルタリングを行うために利用されるレジスタが３２ビットのレジスタである場合、表１にあるレジスタのビットデプスは、いずれも３２を超えないために、オーバーフロー現象が発生しなくなる。
【０２９６】
同様に、内部ビットデプスｂが、８、９、１０、１１、１２及び１６である場合、臨時バッファのビットデプス（Temp  BitDepth）は、いずれも１６である。もしフィルタリングが行われ、逆スケーリングが行われた値を保存するために利用される臨時バッファが１６ビットバッファである場合、表１にある臨時バッファのビットデプスは、１６であり、いずれも１６を超えないために、オーバーフロー現象が発生しなくなる。
【０２９７】
数式（１２）によれば、ビデオ復号装置１００は、水平方向のグラジエント値を決定するために、まず、垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、数式（１３）により、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングを行うことができる。このとき、shift２は、ｐ＋ｑ−shift１とも決定される。ここで、ｐは、図７Ｃに図示されたフィルタ係数を含む補間フィルタに対してスケーリングされたビット数を意味し、ｑは、図７Ａに図示されたフィルタ係数を含むグラジエントフィルタに対してスケーリングされたビット数を意味する。例えば、ｐは、６であり、ｑは、４であり、従って、shift２＝１８−ｂでもある。
【０２９８】
shift２が前述のところのように決定される理由は、フィルタ係数がアップスケーリングされた場合と、フィルタ係数がアップスケーリングされていない場合とにおいて、最終フィルタリング結果値を同一にするために、逆スケーリングされるビット数の総和であるshift１＋shift２は、フィルタに対してアップスケーリングされたビット数の和（ｐ＋ｑ）と同一でなければならないからである。
【０２９９】
下記表２を参照し、前記shift２に基づいて、実際逆スケーリングが行われる場合、レジスタのビットデプス（Reg  Bitdepth）及び臨時バッファのビットデプス（Temp  Bitdepth）について説明する。
【０３００】
【表２】
2018533871.tif 000060
このとき、次の数式（３６）により、表２にある変数の値が決定される。
【０３０１】
【数５７】
2018533871.tif 000061
ここで、ＴｅｍｐＭａｘは、表１のＴｅｍｐＭａｘを意味し、ＴｅｍｐＭｉｎは、表１のＴｅｍｐＭｉｎを意味する。FilterＳｕｍＰｏｓは、正数のフィルタ係数の和の最大値を意味し、FilterＳｕｍＮｅｇは、負数のフィルタ係数の和の最小値を意味する。例えば、図７Ｃに開示された１／４ペル単位のグラジエントフィルタｇｒａｄFilterが利用されると仮定する場合、FilterＳｕｍＰｏｓは、６８であり、FilterＳｕｍＮｅｇは、−６８でもある。
【０３０２】
offset２は、shift２を利用して逆スケーリングを行う過程で発生しうる四捨五入エラーを防止するために、フィルタリングが行われた値に加えられるオフセット値であり、offset２は、２＾（shift２−１）とも決定される。
【０３０３】
shift１及びshift２は、前述のところのようにも決定されるが、それに制限されるものではなく、shift１とshift２との和がフィルタに対するスケーリングビット数の和と同一になるように、多様にshift１及びshift２が決定される。このとき、オーバーフロー現象が発生しないことを前提に、shift１及びshift２の値が決定される。shift１及びshift２は、入力映像の内部ビットデプス、フィルタに対するスケーリングビット数に基づいても決定される。
【０３０４】
ただし、必ずしもshift１とshift２との和がフィルタに対するスケーリングビット数の和と同一であるように、shift１及びshift２を決定しなければならないものではない。例えば、shift１は、ｄ−８と決定することができるが、shift２を固定数とも決定することができる。
【０３０５】
shift１は、以前と同一であり、shift２が固定数である７である場合、前述のような表２において、ＯｕｔＭａｘ、ＯｕｔＭｉｎ及びTemp  Bitdepthが異なることもある。下記表３を参照し、臨時バッファのビットデプス（Temp  Bitdepth）について説明する。
【０３０６】
【表３】
2018533871.tif 000062
表２と異なり、表３の場合、全てのｂにおいて、臨時バッファのビットデプス（Temp  Bitdepth）が１６と同一であり、もし１６ビット臨時バッファを利用して、結果データを保存する場合を仮定すれば、臨時バッファのビットデプス（Temp  Bitdepth）が１６より小さいために、全ての入力映像の内部ビットデプスに対してオーバーフローが発生しなくなる。一方、表２を参照すれば、入力映像の内部ビットデプスが１２及び１６である場合、もし１６ビット臨時バッファを利用して、結果データを保存する場合を仮定すれば、臨時バッファのビットデプス（Temp  Bitdepth）が１６より大きいために、オーバーフロー現象が発生しうる。
【０３０７】
shift２が固定数である場合、スケーリングされたフィルタ係数を利用せず、フィルタリングが行われた場合の結果値と、スケーリングされたフィルタ係数を利用して、フィルタリングが行われてから、逆スケーリングが行われた場合の結果値とが異なることがある。その場合、さらに逆スケーリングされなければならないということは、当業者は、容易に理解することができるであろう。
【０３０８】
かように、水平方向のグラジエント値を決定するために、まず、垂直方向の補間フィルタを利用し、整数位置のピクセルに対してフィルタリングを行い、垂直方向の補間フィルタリング値を生成し、その後、水平方向のグラジエントフィルタを利用し、前記垂直方向の補間フィルタリング値に対してフィルタリングが行われる過程において、逆スケーリングを行う内容について説明したが、それらに制限されるものではなく、多様な一次元フィルタ組み合わせにより、水平方向及び垂直方向のグラジエント値を決定するために、所定方向成分が整数であるピクセルに対してフィルタリングが行われる場合、類似して、逆スケーリングを行うことができるということは、当業者は、容易に理解することができるであろう。
【０３０９】
以下、図１０ないし図２３を参照し、一実施形態によるビデオ復号装置１００が映像を復号する過程で利用することができるデータ単位を決定する方法について説明する。ビデオ符号化装置１５０の動作は、後述するビデオ復号装置１００の動作に係わる多様な実施形態と類似しているか、あるいは反対になる動作にもなる。
【０３１０】
図１０は、一実施形態により、ビデオ復号装置１００が、現在符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【０３１１】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報を利用して、符号化単位の形態を決定することができ、分割形態情報を利用して、符号化単位がいかなる形態に分割されるかということを決定することができる。すなわち、ビデオ復号装置１００が利用するブロック形態情報がいかなるブロック形態を示すかということにより、分割形態情報が示す符号化単位の分割方法が決定される。
【０３１２】
一実施形態により、ビデオ復号装置１００は、現在符号化単位が正方形状であるか否かということを示すブロック形態情報を利用することができる。例えば、ビデオ復号装置１００は、分割形態情報により、正方形の符号化単位を分割しないか、垂直に分割するか、水平に分割するか、あるいは４個の符号化単位に分割するかということなどを決定することができる。図１０を参照すれば、現在符号化単位１０００のブロック形態情報が正方形の形態を示す場合、ビデオ復号装置１００は、分割されないということを示す分割形態情報により、現在符号化単位１０００と同一サイズを有する符号化単位１０１０ａを分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて、分割された符号化単位１０１０ｂ，１０１０ｃ，１０１０ｄを決定することができる。
【０３１３】
図１０を参照すれば、ビデオ復号装置１００は、一実施形態により、垂直方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を垂直方向に分割した２つの符号化単位１０１０ｂを決定することができる。ビデオ復号装置１００は、水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を水平方向に分割した２つの符号化単位１０１０ｃを決定することができる。ビデオ復号装置１００は、垂直方向及び水平方向に分割されることを示す分割形態情報に基づいて、現在符号化単位１０００を垂直方向及び水平方向に分割した４つの符号化単位１０１０ｄを決定することができる。ただし、正方形の符号化単位が分割される分割形態は、前述の形態に限定して解釈されるものではなく、分割形態情報が示すことができる多様な形態が含まれてもよい。正方形の符号化単位が分割される所定分割形態は、以下で多様な実施形態を介して具体的に説明する。
【０３１４】
図１１は、一実施形態により、ビデオ復号装置１００が非正方形の形態である符号化単位を分割し、少なくとも１つの符号化単位を決定する過程を図示する。
【０３１５】
一実施形態により、ビデオ復号装置１００は、現在符号化単位が非正方形状であるか否かということを示すブロック形態情報を利用することができる。ビデオ復号装置１００は、分割形態情報により、非正方形の現在符号化単位を分割しないか、あるいは所定方法で分割するかということを決定することができる。図１１を参照すれば、現在符号化単位１１００または１１５０のブロック形態情報が非正方形の形態を示す場合、ビデオ復号装置１００は、分割されないということを示す分割形態情報により、現在符号化単位１１００または１１５０と同一サイズを有する符号化単位１１１０または１１６０を分割しないか、あるいは所定分割方法を示す分割形態情報に基づいて分割された符号化単位１１２０ａ，１１２０ｂ，１１３０ａ，１１３０ｂ，１１３０ｃ，１１７０ａ，１１７０ｂ，１１８０ａ，１１８０ｂ，１１８０ｃを決定することができる。非正方形の符号化単位が分割される所定分割方法は、以下で多様な実施形態を介して具体的に説明する。
【０３１６】
一実施形態により、ビデオ復号装置１００は、分割形態情報を利用して、符号化単位が分割される形態を決定することができ、その場合、分割形態情報は、符号化単位が分割されて生成される少なくとも１つの符号化単位の個数を示すことができる。図１１を参照すれば、分割形態情報が２つの符号化単位に、現在符号化単位１１００または１１５０が分割されることを示す場合、ビデオ復号装置１００は、分割形態情報に基づいて、現在符号化単位１１００または１１５０を分割し、現在符号化単位に含まれる２つの符号化単位１１２０ａ，１１４２０ｂ、または１１７０ａ，１１７０ｂを決定することができる。
【０３１７】
一実施形態により、ビデオ復号装置１００が分割形態情報に基づいて、非正方形の形態の現在符号化単位１１００または１１５０を分割する場合、非正方形の現在符号化単位１１００または１１５０の長辺の位置を考慮し、現在符号化単位を分割することができる。例えば、ビデオ復号装置１００は、現在符号化単位１１００または１１５０の形態を考慮し、現在符号化単位１１００または１１５０の長辺を分割する方向に、現在符号化単位１１００または１１５０を分割し、複数個の符号化単位を決定することができる。
【０３１８】
一実施形態により、分割形態情報が奇数個のブロックに符号化単位を分割することを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができる。例えば、分割形態情報が３個の符号化単位に、現在符号化単位１１００または１１５０を分割することを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０を、３個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃに分割することができる。一実施形態により、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができ、決定された符号化単位の大きさが、いずれも同一ではないこともある。例えば、決定された奇数個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃにおいて、所定符号化単位１１３０ｂまたは１１８０ｂの大きさは、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃとは異なる大きさを有することもできる。すなわち、現在符号化単位１１００または１１５０が分割されて決定される符号化単位は、複数の種類の大きさを有することができ、場合によっては、奇数個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃがそれぞれ互いに異なる大きさを有することもできる。
【０３１９】
一実施形態により、分割形態情報が奇数個のブロックに符号化単位が分割されることを示す場合、ビデオ復号装置１００は、現在符号化単位１１００または１１５０に含まれる奇数個の符号化単位を決定することができ、さらには、ビデオ復号装置１００は、分割して生成される奇数個の符号化単位のうち少なくとも１つの符号化単位に対して、所定制限を置くことができる。図１１を参照すれば、ビデオ復号装置１００は、現在符号化単位１１００または１１５０が分割されて生成された３個の符号化単位１１３０ａ，１１３０ｂ，１１３０ｃ，１１８０ａ，１１８０ｂ，１１８０ｃらのうち中央に位置する符号化単位１１３０ｂ，１１８０ｂに対する復号過程を、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃと異なるようにすることができる。例えば、ビデオ復号装置１００は、中央に位置する符号化単位１１３０ｂ，１１８０ｂについては、他の符号化単位１１３０ａ，１１３０ｃ，１１８０ａ，１１８０ｃと異なり、それ以上分割されないように制限するか、あるいは所定回数ほどのみ分割されるように制限することができる。
【０３２０】
図１２は、一実施形態により、ビデオ復号装置１００が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位を分割する過程を図示する。
【０３２１】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１２００を、符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、分割形態情報が、水平方向に第１符号化単位１２００を分割することを示す場合、ビデオ復号装置１００は、第１符号化単位１２００を水平方向に分割し、第２符号化単位１２１０を決定することができる。一実施形態により、利用される第１符号化単位、第２符号化単位、第３符号化単位は、符号化単位間の分割前後関係を理解するために利用された用語である。例えば、第１符号化単位を分割すれば、第２符号化単位が決定され、第２符号化単位が分割されれば、第３符号化単位が決定される。以下では、利用される第１符号化単位、第２符号化単位及び第３符号化単位の関係は、前述の特徴によるとも理解される。
【０３２２】
一実施形態により、ビデオ復号装置１００は、決定された第２符号化単位１２１０を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、符号化単位に分割するか、あるいは分割しないと決定することができる。図１２を参照すれば、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００を分割して決定された非正方形形態の第２符号化単位１２１０を、少なくとも１つの第３符号化単位１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄなどに分割するか、あるいは第２符号化単位１２１０を分割しない。ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを獲得することができるしビデオ復号装置１００は、獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００を分割し、多様な形態の複数個の、例えば、第２符号化単位１２１０を分割することができ、第２符号化単位１２１０は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１２００が分割された方式によって分割される。一実施形態により、第１符号化単位１２００が、第１符号化単位１２００に対するブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第２符号化単位１２１０に分割された場合、第２符号化単位１２１０も、第２符号化単位１２１０に対するブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、例えば、第３符号化単位１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄなどに分割される。すなわち、符号化単位は、符号化単位それぞれに係わる分割形態情報及びブロック形態情報のうち少なくとも一つに基づいて、再帰的に分割される。従って、非正方形状の符号化単位において、正方形の符号化単位が決定され、かような正方形状の符号化単位が再帰的に分割され、非正方形状の符号化単位が決定される。図１２を参照すれば、非正方形状の第２符号化単位１２１０が分割されて決定される奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄにおいて、所定符号化単位（例えば、真ん中に位置する符号化単位、または正方形状の符号化単位）は、再帰的に分割される。一実施形態により、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち１つの正方形状の第３符号化単位１２２０ｃは、水平方向に分割され、複数個の第４符号化単位に分割される。複数個の第４符号化単位のうち１つの非正方形状の第４符号化単位１２４０は、さらに複数個の符号化単位に分割される。例えば、非正方形状の第４符号化単位１２４０は、奇数個の符号化単位１２５０ａ，１２５０ｂ，１２５０ｃにさらに分割される。
【０３２３】
符号化単位の再帰的分割に利用される方法については、多様な実施形態を介して後述する。
【０３２４】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第３符号化単位１２２０ａ，１２２０ｂ，１２２０ｃ，１２２０ｄなどそれぞれを符号化単位に分割するか、あるいは第２符号化単位１２１０を分割しないと決定することができる。ビデオ復号装置１００は、一実施形態により、非正方形状の第２符号化単位１２１０を、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄに分割することができる。ビデオ復号装置１００は、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄにおいて、所定第３符号化単位に対して所定制限を置くことができる。例えば、ビデオ復号装置１００は、奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち、真ん中に位置する符号化単位１２２０ｃについては、それ以上分割されないと制限するか、あるいは設定可能な回数に分割されなければならないと制限することができる。図１２を参照すれば、ビデオ復号装置１００は、非正方形状の第２符号化単位１２１０に含まれる奇数個の第３符号化単位１２２０ｂ，１２２０ｃ，１２２０ｄのうち、真ん中に位置する符号化単位１２２０ｃは、それ以上分割されないか、所定分割形態に分割（例えば、４個の符号化単位にのみ分割するか、あるいは第２符号化単位１２１０が分割された形態に対応する形態に分割）されると制限するか、あるいは所定回数のみ分割（例えば、ｎ回だけ分割、ｎ＞０）すると制限することができる。ただし、真ん中に位置した符号化単位１２２０ｃに対する前記制限は、単純な一実施形態に過ぎないので、前述の実施形態に制限されて解釈されるものではなく、真ん中に位置した符号化単位１２２０ｃが、異なる符号化単位１２２０ｂ，１２２０ｄと異なるように復号される多様な制限を含むものと解釈されなければならない。
【０３２５】
一実施形態により、ビデオ復号装置１００は、現在符号化単位を分割するために利用されるブロック形態情報及び分割形態情報のうち少なくとも一つを、現在符号化単位内の所定位置で獲得することができる。
【０３２６】
図１３は、一実施形態により、ビデオ復号装置１００が、奇数個の符号化単位のうち所定符号化単位を決定するための方法を図示する。図１３を参照すれば、現在符号化単位１３００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位１３００に含まれる複数個のサンプルのうち所定位置のサンプル（例えば、中に位置するサンプル１３４０）からも獲得される。ただし、かようなブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される現在符号化単位１３００内の所定位置は、図１３で図示する内側位置に限定して解釈されるものではなく、所定位置には、現在符号化単位１３００内に含まれる多様な位置（例えば、最上端、最下端、左側、右側、左側上端、左側下端、右側上端または右側下端など）が含まれると解釈されなければならない。ビデオ復号装置１００は、所定位置から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを獲得し、現在符号化単位を多様な形態及び大きさの符号化単位に分割するか、あるいは分割しないと決定することができる。
【０３２７】
一実施形態により、ビデオ復号装置１００は、現在符号化単位が、所定個数の符号化単位に分割された場合、そのうち１つの符号化単位を選択することができる。複数個の符号化単位のうち一つを選択するための方法は、多様なことがあり、該方法についての説明は、以下の多様な実施形態を介して後述する。
【０３２８】
一実施形態により、ビデオ復号装置１００は、現在符号化単位を複数個の符号化単位に分割し、所定位置の符号化単位を決定することができる。
【０３２９】
図１３は、一実施形態により、ビデオ復号装置１００が奇数個の符号化単位のうち所定位置の符号化単位を決定するための方法を図示する。
【０３３０】
一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位のうち、真ん中に位置する符号化単位を決定するために、奇数個の符号化単位それぞれの位置を示す情報を利用することができる。図１３を参照すれば、ビデオ復号装置１００は、現在符号化単位１３００を分割し、奇数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃを決定することができる。ビデオ復号装置１００は、奇数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置についての情報を利用し、内側符号化単位１３２０ｂを決定することができる。例えば、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに含まれる所定サンプルの位置を示す情報に基づいて、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を決定することにより、内側に位置する符号化単位１３２０ｂを決定することができる。具体的には、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報に基づいて、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を決定することにより、内側に位置する符号化単位１３２０ｂを決定することができる。
【０３３１】
一実施形態により、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での位置または座標についての情報を含んでもよい。一実施形態により、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す情報は、現在符号化単位１３００に含まれる符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの幅または高さを示す情報を含んでもよく、かような幅または高さは、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での座標間の差を示す情報に該当する。すなわち、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのピクチャ内での位置または座標についての情報を直接利用するか、あるいは座標間の差値に対応する符号化単位の幅または高さについての情報を利用することにより、内側に位置する符号化単位１３２０ｂを決定することができる。
【０３３２】
一実施形態により、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を示す情報は、（ｘａ，ｙａ）座標を示すことができ、内側符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの位置を示す情報は、（ｘｂ，ｙｂ）座標を示すことができ、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの位置を示す情報は、（ｘｃ，ｙｃ）座標を示すことができる。ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにそれぞれ含まれる左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの座標を利用し、内側符号化単位１３２０ｂを決定することができる。例えば、左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの座標を、昇順または降順で整列したとき、真ん中に位置するサンプル１３３０ｂの座標である（ｘｂ，ｙｂ）を含む符号化単位１３２０ｂを、現在符号化単位１３００が分割されて決定された符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおける真ん中に位置する符号化単位と決定することができる。ただし、左側上端のサンプル１３３０ａ，１３３０ｂ，１３３０ｃの位置を示す座標は、ピクチャ内での絶対的な位置を示す座標を示すことができ、さらには、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を基準に、内側符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの相対的位置を示す情報である（ｄｘｂ，ｄｙｂ）座標、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの相対的位置を示す情報である（ｄｘｃ，ｄｙｃ）座標を利用することもできる。また、符号化単位に含まれるサンプルの位置を示す情報として、当該サンプルの座標を利用することにより、所定位置の符号化単位を決定する方法が、前述の方法に限定して解釈されるものではなく、サンプルの座標を利用することができる多様な算術的方法と解釈されなければならない。
【０３３３】
一実施形態により、ビデオ復号装置１００は、現在符号化単位１３００を、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割することができ、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち、所定基準により、符号化単位を選択することができる。例えば、ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおいて、大きさが異なる符号化単位１３２０ｂを選択することができる。
【０３３４】
一実施形態により、ビデオ復号装置１００は、上端符号化単位１３２０ａの左側上端のサンプル１３３０ａの位置を示す情報である（ｘａ，ｙａ）座標、内側符号化単位１３２０ｂの左側上端のサンプル１３３０ｂの位置を示す情報である（ｘｂ，ｙｂ）座標、下端符号化単位１３２０ｃの左側上端のサンプル１３３０ｃの位置を示す情報である（ｘｃ，ｙｃ）座標を利用し、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃそれぞれの幅または高さを決定することができる。ビデオ復号装置１００は、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの位置を示す座標である（ｘａ，ｙａ），（ｘｂ，ｙｂ），（ｘｃ，ｙｃ）を利用し、符号化単位１３２０ａ，１３２０ｂ，１３２０ｃそれぞれの大きさを決定することができる。
【０３３５】
一実施形態により、ビデオ復号装置１００は、上端符号化単位１３２０ａの幅を、ｘｂ−ｘａと決定することができ、高さを、ｙｂ−ｙａと決定することができる。一実施形態により、ビデオ復号装置１００は、内側符号化単位１３２０ｂの幅を、ｘｃ−ｘｂと決定することができ、高さを、ｙｃ−ｙｂと決定することができる。一実施形態により、ビデオ復号装置１００は、下端符号化単位の幅または高さは、現在符号化単位の幅または高さと、上端符号化単位１３２０ａ及び内側符号化単位１３２０ｂの幅及び高さとを利用して、決定することができる。ビデオ復号装置１００は、決定された符号化単位１３２０ａ，１３２０ｂ，１３２０ｃの幅及び高さに基づいて、他の符号化単位と異なる大きさを有する符号化単位を決定することができる。図１３を参照すれば、ビデオ復号装置１００は、上端符号化単位１３２０ａ及び下端符号化単位１３２０ｃの大きさと異なる大きさを有する内側符号化単位１３２０ｂを、所定位置の符号化単位と決定することができる。ただし、前述のビデオ復号装置１００が、異なる符号化単位と、異なる大きさを有する符号化単位とを決定する過程は、サンプル座標に基づいて決定される符号化単位の大きさを利用し、所定位置の符号化単位を決定する一実施形態に過ぎず、所定サンプル座標によって決定される符号化単位の大きさを比較し、所定位置の符号化単位を決定する多様な過程が利用される。
【０３３６】
ただし、符号化単位の位置を決定するために考慮するサンプルの位置は、前述の左側上端に限定して解釈されるものではなく、符号化単位に含まれる任意のサンプルの位置についての情報が利用されると解釈される。
【０３３７】
一実施形態により、ビデオ復号装置１００は、現在符号化単位の形態を考慮し、現在符号化単位が分割されて決定される奇数個の符号化単位のうち所定位置の符号化単位を選択することができる。例えば、現在符号化単位が、幅が高さより大きい非正方形状であるならば、ビデオ復号装置１００は、水平方向に沿って、所定位置の符号化単位を決定することができる。すなわち、ビデオ復号装置１００は、水平方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。現在符号化単位が、高さが幅より大きい非正方形状であるならば、ビデオ復号装置１００は、垂直方向に沿って、所定位置の符号化単位を決定することができる。すなわち、ビデオ復号装置１００は、垂直方向に、位置を異にする符号化単位のうち一つを決定し、当該符号化単位に対する制限を置くことができる。
【０３３８】
一実施形態により、ビデオ復号装置１００は、偶数個の符号化単位のうち所定位置の符号化単位を決定するために、偶数個の符号化単位それぞれの位置を示す情報を利用することができる。ビデオ復号装置１００は、現在符号化単位を分割し、偶数個の符号化単位を決定することができ、偶数個の符号化単位の位置についての情報を利用し、所定位置の符号化単位を決定することができる。それに係わる具体的な過程は、図１３で述べた奇数個の符号化単位のうち所定位置（例えば、真ん中位置）の符号化単位を決定する過程に対応する過程でもあるので、省略する。
【０３３９】
一実施形態により、非正方形状の現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、分割過程において、所定位置の符号化単位に係わる所定情報を利用することができる。例えば、ビデオ復号装置１００は、現在符号化単位が複数個に分割された符号化単位のうち、真ん中に位置する符号化単位を決定するために、分割過程において、真ん中符号化単位に含まれたサンプルに保存されたブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。
【０３４０】
図１３を参照すれば、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、現在符号化単位１３００を、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割することができ、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち、内側に位置する符号化単位１３２０ｂを決定することができる。さらには、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つが獲得される位置を考慮し、内側に位置する符号化単位１３２０ｂを決定することができる。すなわち、現在符号化単位１３００のブロック形態情報及び分割形態情報のうち少なくとも一つは、現在符号化単位１３００の内側に位置するサンプル１３４０から獲得され、前記ブロック形態情報及び前記分割形態情報のうち少なくとも一つに基づいて、現在符号化単位１３００が、複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃに分割された場合、前記サンプル１３４０を含む符号化単位１３２０ｂを真ん中に位置する符号化単位と決定することができる。ただし、真ん中に位置する符号化単位と決定するために利用される情報が、ブロック形態情報及び分割形態情報のうち少なくとも一つに限定して解釈されるものではなく、多様な種類の情報が、真ん中に位置する符号化単位を決定する過程でも利用される。
【０３４１】
一実施形態により、所定位置の符号化単位を識別するための所定情報は、決定する符号化単位に含まれる所定サンプルからも獲得される。図１３を参照すれば、ビデオ復号装置１００は、現在符号化単位１３００が分割されて決定された複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃにおいて、所定位置の符号化単位（例えば、複数個に分割された符号化単位のうち、真ん中に位置する符号化単位）を決定するために、現在符号化単位１３００内の所定位置のサンプル（例えば、現在符号化単位１３００の真ん中に位置するサンプル）から獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。。すなわち、ビデオ復号装置１００は、現在符号化単位１３００のブロックブロック形態を考慮し、前記所定位置のサンプルを決定することができ、ビデオ復号装置１００は、現在符号化単位１３００が分割されて決定される複数個の符号化単位１３２０ａ，１３２０ｂ，１３２０ｃのうち、所定情報（例えば、ブロック形態情報及び分割形態情報のうち少なくとも一つ）が獲得されることができるサンプルが含まれた符号化単位１３２０ｂを決定し、所定制限を置くことができる。図１３を参照すれば、一実施形態により、ビデオ復号装置１００は、所定情報が獲得されるサンプルとして、現在符号化単位１３００の内側に位置するサンプル１３４０を決定することができ、ビデオ復号装置１００は、かようなサンプル１３４０が含まれる符号化単位１３２０ｂを、復号過程における所定制限を置くことができる。ただし、所定情報が獲得されるサンプルの位置は、前述の位置に限定して解釈されるものではなく、制限を置くために決定する符号化単位１３２０ｂに含まれる任意の位置のサンプルとも解釈される。
【０３４２】
一実施形態により、所定情報が獲得されるサンプルの位置は、現在符号化単位１３００の形態によっても決定される。一実施形態により、ブロック形態情報は、現在符号化単位の形態が正方形であるか、あるいは非正方形であるかということを決定することができ、形態により、所定情報が獲得されるサンプルの位置を決定することができる。例えば、ビデオ復号装置１００は、現在符号化単位の幅についての情報、及び高さについての情報のうち少なくとも一つを利用し、現在符号化単位の幅及び高さのうち少なくとも一つを半分に分割する境界上に位置するサンプルを、所定情報が獲得されるサンプルと決定することができる。他のの例を挙げれば、ビデオ復号装置１００は、現在符号化単位に係わるブロック形態情報が非正方形状であるか否かということを示す場合、現在符号化単位の長辺を半分に分割する境界に隣接するサンプルのうち一つを、所定情報が獲得されるサンプルと決定することができる。
【０３４３】
一実施形態により、ビデオ復号装置１００は、現在符号化単位を、複数個の符号化単位に分割した場合、複数個の符号化単位のうち所定位置の符号化単位を決定するために、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用することができる。一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つを、符号化単位に含まれた所定位置のサンプルから獲得することができ、ビデオ復号装置１００は、現在符号化単位が分割されて生成された複数個の符号化単位を、複数個の符号化単位それぞれに含まれた所定位置のサンプルから獲得される分割形態情報及びブロック形態情報のうち少なくとも一つを利用して分割することができる。すなわち、符号化単位は、符号化単位それぞれに含まれた所定位置のサンプルから獲得されるブロック形態情報及び分割形態情報のうち少なくとも一つを利用して再帰的に分割される。符号化単位の再帰的分割過程については、図１２を介して説明したので、詳細な説明は、省略する。
【０３４４】
一実施形態により、ビデオ復号装置１００は、現在符号化単位を分割し、少なくとも１つの符号化単位を決定することができ、かような少なくとも１つの符号化単位が復号される順序を、所定ブロック（例えば、現在符号化単位）によって決定することができる。
【０３４５】
図１４は、一実施形態により、ビデオ復号装置１００が、現在符号化単位を分割し、複数個の符号化単位を決定する場合、複数個の符号化単位が処理される順序を図示する。
【０３４６】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報により、第１符号化単位１４００を垂直方向に分割し、第２符号化単位１４１０ａ，１４１０ｂを決定するか、第１符号化単位１４００を水平方向に分割し、第２符号化単位１４３０ａ，１４３０ｂを決定するか、あるいは第１符号化単位１４００を垂直方向及び水平方向に分割し、第２符号化単位１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを決定することができる。
【０３４７】
図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を垂直方向に分割して決定された第２符号化単位１４１０ａ，１４１０ｂを、水平方向１４１０ｃに処理されるように順序を決定することができる。ビデオ復号装置１００は、第１符号化単位１４００を水平方向に分割して決定された第２符号化単位１４３０ａ，１４３０ｂの処理順序を、垂直方向１４３０ｃと決定することができる。ビデオ復号装置１００は、第１符号化単位１４００を、垂直方向及び水平方向に分割して決定された第２符号化単位１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを、１行に位置する符号化単位が処理された後、次の行に位置する符号化単位が処理される所定順序（例えば、ラスタースキャン順序（（raster  scan  order）またはｚスキャン順序（ｚ  scan  order）１４５０ｅなどによって決定することができる。
【０３４８】
一実施形態により、ビデオ復号装置１００は、符号化単位を再帰的に分割することができる。図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を分割し、複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを決定することができ、決定された複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄそれぞれを再帰的に分割することができる。複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄを分割する方法は、第１符号化単位１４００を分割する方法に対応する方法にもなる。それにより、複数個の符号化単位１４１０ａ，１４１０ｂ，１４３０ａ，１４３０ｂ，１４５０ａ，１４５０ｂ，１４５０ｃ，１４５０ｄは、それぞれ独立して、複数個の符号化単位に分割される。図１４を参照すれば、ビデオ復号装置１００は、第１符号化単位１４００を垂直方向に分割し、第２符号化単位１４１０ａ，１４１０ｂを決定することができ、さらには、第２符号化単位１４１０ａ，１４１０ｂそれぞれを、独立して分割するか、あるいは分割しないと決定することができる。
【０３４９】
一実施形態により、ビデオ復号装置１００は、左側の第２符号化単位１４１０ａを水平方向に分割し、第３符号化単位１４２０ａ，１４２０ｂに分割することができ、右側の第２符号化単位１４１０ｂは、分割しない。
【０３５０】
一実施形態により、符号化単位の処理順序は、符号化単位の分割過程に基づいても決定される。言い換えれば、分割された符号化単位の処理順序は、分割される直前の符号化単位の処理順序に基づいても決定される。ビデオ復号装置１００は、左側の第２符号化単位１４１０ａが分割されて決定された第３符号化単位１４２０ａ，１４２０ｂが処理される順序を、右側の第２符号化単位１４１０ｂと独立して決定することができる。左側の第２符号化単位１４１０ａが水平方向に分割され、第３符号化単位１４２０ａ，１４２０ｂが決定されたので、第３符号化単位１４２０ａ，１４２０ｂは、垂直方向１４２０ｃに処理される。また、左側の第２符号化単位１４１０ａ及び右側の第２符号化単位１４１０ｂが処理される順序は、水平方向１４１０ｃに該当するので、左側の第２符号化単位１４１０ａに含まれる第３符号化単位１４２０ａ，１４２０ｂが垂直方向１４２０ｃに処理された後、右側符号化単位１４１０ｂが処理される。前述の内容は、符号化単位が、それぞれ分割前の符号化単位によって処理順序が決定される過程について説明するためのものであり、前述の実施形態に限定して解釈されるものではなく、多様な形態に分割されて決定される符号化単位が、所定順序によって独立して処理される多様な方法に利用されると解釈されなければならない。
【０３５１】
図１５は、一実施形態により、ビデオ復号装置１００が所定順序符号化単位が処理されない場合、現在符号化単位が、奇数個の符号化単位に分割されるということ決定する過程を図示する。
【０３５２】
一実施形態により、ビデオ復号装置１００は、獲得されたブロック形態情報及び分割形態情報に基づいて、現在符号化単位が奇数個の符号化単位に分割されると決定することができる。図１５を参照すれば、正方形状の第１符号化単位１５００が、非正方形状の第２符号化単位１５１０ａ，１５１０ｂに分割され、第２符号化単位１５１０ａ，１５１０ｂは、それぞれ独立して、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅに分割される。一実施形態により、ビデオ復号装置１００は、第２符号化単位のうち左側符号化単位１５１０ａは、水平方向に分割し、複数個の第３符号化単位１５２０ａ，１５２０ｂを決定することができ、右側符号化単位１５１０ｂは、奇数個の第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅに分割することができる。
【０３５３】
一実施形態により、ビデオ復号装置１００は、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが所定順序によって処理されるか否かということを判断し、奇数個に分割された符号化単位が存在するか否かということを決定することができる。図１５を参照すれば、ビデオ復号装置１００は、第１符号化単位１５００を再帰的に分割し、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅを決定することができる。ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１５００、第２符号化単位１５１０ａ，１５１０ｂまたは第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが分割される形態のうち奇数個の符号化単位に分割される否かということを決定することができる。例えば、第２符号化単位１５１０ａ，１５１０ｂにおいて、右側に位置する符号化単位が、奇数個の第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅに分割される。第１符号化単位１５００に含まれる複数個の符号化単位が処理される順序は、所定順序（例えば、ｚ−スキャン順序（ｚ−scan  order）１５３０）にもなり、ビデオ復号装置１００は、右側第２符号化単位１５１０ｂが奇数個に分割されて決定された第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅが、前記所定順序によって処理される条件を満足するか否かということを判断することができる。
【０３５４】
一実施形態により、ビデオ復号装置１００は、第１符号化単位１５００に含まれる第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第３符号化単位１５２０ａ，１５２０ｂ，１５２０ｃ，１５２０ｄ，１５２０ｅの境界により、第２符号化単位１５１０ａ，１５１０ｂの幅及び高さのうち少なくとも一つを半分に分割するか否かということに係わる。例えば、非正方形状の左側第２符号化単位１５１０ａの高さを半分に分割して決定される第３符号化単位１５２０ａ，１５２０ｂは、条件を満足するが、右側第２符号化単位１５１０ｂを３個の符号化単位に分割して決定される第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅの境界が、右側第２符号化単位１５１０ｂの幅または高さを半分に分割することができないので、第３符号化単位１５２０ｃ，１５２０ｄ，１５２０ｅは、条件を満足することができないとも決定され、ビデオ復号装置１００は、かような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、判断結果に基づいて、右側第２符号化単位１５１０ｂは、奇数個の符号化単位に分割されると決定することができる。一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して、所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は省略する。
【０３５５】
図１６は、一実施形態により、ビデオ復号装置１００が第１符号化単位１６００を分割し、少なくとも１つの符号化単位を決定する過程を図示する。一実施形態により、ビデオ復号装置１００は、獲得部１１０を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１６００を分割することができる。正方形状の第１符号化単位１６００は、４個の正方形状を有する符号化単位に分割されるか、あるいは非正方形状の複数個の符号化単位に分割することができる。例えば、図１６を参照すれば、ブロック形態情報が、第１符号化単位１６００は、正方形なのを示し、分割形態情報が非正方形の符号化単位に分割されるということを示す場合、ビデオ復号装置１００は、第１符号化単位１６００を複数個の非正方形の符号化単位に分割することができる。具体的には、分割形態情報が第１符号化単位１６００を、水平方向または垂直方向に分割し、奇数個の符号化単位を決定することを示す場合、ビデオ復号装置１００は、正方形状の第１符号化単位１６００が、奇数個の符号化単位として垂直方向に分割されて決定された第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ、または水平方向に分割されて決定された第２符号化単位１６２０ａ，１６２０ｂ，１６２０ｃに分割することができる。
【０３５６】
一実施形態により、ビデオ復号装置１００は、第１符号化単位１６００に含まれる第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ，１６２０ａ，１６２０ｂ，１６２０ｃが、所定順序によって処理される条件を満足するか否かということを決定することができ、前記条件は、第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃ，１６２０ａ，１６２０ｂ，１６２０ｃの境界により、第１符号化単位１６００の幅及び高さのうち少なくとも一つが半分に分割されるか否かということに係わる。図１６を参照すれば、正方形状の第１符号化単位１６００を垂直方向に分割して決定される第２符号化単位１６１０ａ，１６１０ｂ，１６１０ｃの境界が、第１符号化単位１６００の幅を半分に分割することができないので、第１符号化単位１６００は、所定順序によって処理される条件を満足することができないとも決定される。また、正方形状の第１符号化単位１６００を、水平方向に分割して決定される第２符号化単位１６２０ａ，１６２０ｂ，１６２０ｃの境界が、第１符号化単位１６００の幅を半分に分割することができないので、第１符号化単位１６００は、所定順序によって処理される条件を満足することができないとも決定される。ビデオ復号装置１００は、かような条件不満足の場合、スキャン順序の断絶（disconnection）と判断し、判断結果に基づいて、第１符号化単位１６００は、奇数個の符号化単位に分割されると決定することができる。一実施形態により、ビデオ復号装置１００は、奇数個の符号化単位に分割される場合、分割された符号化単位のうち所定位置の符号化単位に対して、所定制限を置くことができ、かような制限内容または所定位置などについては、多様な実施形態を介して説明したので、詳細な説明は省略する。
【０３５７】
一実施形態により、ビデオ復号装置１００は、第１符号化単位を分割し、多様な形態の符号化単位を決定することができる。
【０３５８】
図１６を参照すれば、ビデオ復号装置１００は、正方形状の第１符号化単位１６００、非正方形状の第１符号化単位１６３０または１６５０を、多様な形態の符号化単位に分割することができる。
【０３５９】
図１７は、一実施形態により、ビデオ復号装置１００が、第１符号化単位１７００が分割されて決定された非正方形状の第２符号化単位が、所定条件を満足する場合、第２符号化単位が分割される形態が制限されるところを図示する。
【０３６０】
一実施形態により、ビデオ復号装置１００は、獲得部１０５を介して獲得したブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、正方形状の第１符号化単位１７００を、非正方形状の第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂに分割すると決定することができる。第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂは、独立して分割される。それにより、ビデオ復号装置１００は、第２符号化単位１７１０ａ，１７１０ｂ，１７２０ａ，１７２０ｂそれぞれに係わるブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、複数個の符号化単位に分割するか、あるいは分割しないと決定することができる。一実施形態により、ビデオ復号装置１００は、垂直方向に、第１符号化単位１７００が分割されて決定された非正方形状の左側第２符号化単位１７１０ａを水平方向に分割し、第３符号化単位１７１２ａ，１７１２ｂを決定することができる。ただし、ビデオ復号装置１００は、左側第２符号化単位１７１０ａを水平方向に分割した場合、右側第２符号化単位１７１０ｂは、左側第２符号化単位１７１０ａが分割された方向と同一に、水平方向に分割されないように制限することができる。もし右側第２符号化単位１７１０ｂが同一方向に分割され、第３符号化単位１７１４ａ，１７１４ｂが決定された場合、左側第２符号化単位１７１０ａ及び右側第２符号化単位１７１０ｂが、水平方向にそれぞれ独立して分割されることにより、第３符号化単位１７１２ａ，１７１２ｂ，１７１４ａ，１７１４ｂが決定される。しかし、それは、ビデオ復号装置１００が、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１７００を４個の正方形状の第２符号化単位１７３０ａ，１７３０ｂ，１７３０ｃ，１７３０ｄに分割したところと同一である結果であり、それは、映像復号側面で非効率的である。
【０３６１】
一実施形態により、ビデオ復号装置１００は、水平方向に、第１符号化単位１１３００が分割されて決定された非正方形状の第２符号化単位１７２０ａまたは１７２０ｂを垂直方向に分割し、第３符号化単位１７２２ａ，１７２２ｂ，１７２４ａ，１７２４ｂを決定することができる。ただし、ビデオ復号装置１００は、第２符号化単位中の一つ（例えば、上端第２符号化単位１７２０ａ）を垂直方向に分割した場合、前述の理由により、他の第２符号化単位（例えば、下端符号化単位１７２０ｂ）は、上端第２符号化単位１７２０ａが分割された方向と同一に、垂直方向に分割されないいように制限することができる。
【０３６２】
図１８は、一実施形態により、分割形態情報が、４個の正方形状の符号化単位に分割することを示すことができない場合、ビデオ復号装置１００が正方形状の符号化単位を分割する過程を図示する。
【０３６３】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１８００を分割し、第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂなどを決定することができる。分割形態情報には、符号化単位が分割される多様な形態についての情報が含まれてもよいが、多様な形態についての情報には、正方形状の４個の符号化単位に分割するための情報が含まれない場合がある。かような分割形態情報によれば、ビデオ復号装置１００は、正方形状の第１符号化単位１８００を、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割することができない。分割形態情報に基づいて、ビデオ復号装置１００は、非正方形状の第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂなどを決定することができる。
【０３６４】
一実施形態により、ビデオ復号装置１００は、非正方形状の第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂなどをそれぞれ独立して分割することができる。再帰的な方法を介して、第２符号化単位１８１０ａ，１８１０ｂ，１８２０ａ，１８２０ｂなどそれぞれが所定順に分割され、それは、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、第１符号化単位１８００が分割される方法に対応する分割方法でもある。
【０３６５】
例えば、ビデオ復号装置１００は、左側第２符号化単位１８１０ａが水平方向に分割され、正方形状の第３符号化単位１８１２ａ，１８１２ｂを決定することができ、右側第２符号化単位１８１０ｂが水平方向に分割され、正方形状の第３符号化単位１８１４ａ，１８１４ｂを決定することができる。さらには、ビデオ復号装置１００は、左側第２符号化単位１８１０ａ及び右側第２符号化単位１８１０ｂがいずれも水平方向に分割され、正方形状の第３符号化単位１８１６ａ，１８１６ｂ，１８１６ｃ，１８１６ｄを決定することもできる。かような場合、第１符号化単位１８００が、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割されたところと同一形態で符号化単位が決定される。
【０３６６】
他の例を挙げれば、ビデオ復号装置１００は、上端第２符号化単位１８２０ａが垂直方向に分割され、正方形状の第３符号化単位１８２２ａ，１８２２ｂを決定することができ、下端第２符号化単位１８２０ｂが垂直方向に分割され、正方形状の第３符号化単位１８２４ａ，１８２４ｂを決定することができる。さらには、ビデオ復号装置１００は、上端第２符号化単位１８２０ａ及び下端第２符号化単位１８２０ｂがいずれも垂直方向に分割され、正方形状の第３符号化単位１８２２ａ，１８２２ｂ，１８２４ａ，１８２４ｂを決定することもできる。かような場合、第１符号化単位１８００が、４個の正方形状の第２符号化単位１８３０ａ，１８３０ｂ，１８３０ｃ，１８３０ｄに分割されたところと同一形態で符号化単位が決定される。
【０３６７】
図１９は、一実施形態により、複数個の符号化単位間の処理順序が、符号化単位の分割過程によって異なるということを図示したものである。
【０３６８】
一実施形態により、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報に基づいて、第１符号化単位１９００を分割することができる。ブロック形態情報が、正方形状を示し、分割形態情報が第１符号化単位１９００が、水平方向及び垂直方向のうち少なくとも１つの方向に分割されるということを示す場合、ビデオ復号装置１００は、第１符号化単位１９００を分割し、例えば、第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂ，１９３０ａ，１９３０ｂ，１９３０ｃ，１９３０ｄなどを決定することができる。図１９を参照すれば、第１符号化単位１９００が、水平方向または垂直方向だけに分割されて決定された非正方形状の第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂは、それぞれに係わるブロック形態情報及び分割形態情報に基づいて、独立して分割される。例えば、ビデオ復号装置１００は、第１符号化単位１９００が、垂直方向に分割されて生成された第２符号化単位１９１０ａ，１９１０ｂを水平方向にそれぞれ分割し、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを決定することができ、第１符号化単位１９００が水平方向に分割されて生成された第２符号化単位１９２０ａ，１９２０ｂを、水平方向にそれぞれ分割し、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができる。かような第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂの分割過程は、図１７に係わって説明したので、詳細な説明は省略する。
【０３６９】
一実施形態により、ビデオ復号装置１００は、所定順序により、符号化単位を処理することができる。所定順序による符号化単位の処理に係わる特徴は、図１４に係わって説明したので、詳細な説明は、省略する。図１９を参照すれば、ビデオ復号装置１００は、正方形状の第１符号化単位１９００を分割し、４個の正方形状の第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができる。一実施形態により、ビデオ復号装置１００は、第１符号化単位１９００が分割される形態により、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄの処理順序を決定することができる。
【０３７０】
一実施形態により、ビデオ復号装置１００は、垂直方向に分割されて生成された第２符号化単位１９１０ａ，１９１０ｂを水平方向にそれぞれ分割し、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを決定することができ、ビデオ復号装置１００は、左側第２符号化単位１９１０ａに含まれる第３符号化単位１９１６ａ，１９１６ｂを垂直方向にまず処理した後、右側第２符号化単位１９１０ｂに含まれる第３符号化単位１９１６ｃ，１９１６ｄを垂直方向に処理する順序（１９１７）により、第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄを処理することができる。
【０３７１】
一実施形態により、ビデオ復号装置１００は、水平方向に分割されて生成された第２符号化単位１９２０ａ，１９２０ｂを垂直方向にそれぞれ分割し、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを決定することができ、ビデオ復号装置１００は、上端第２符号化単位１９２０ａに含まれる第３符号化単位１９２６ａ，１９２６ｂを水平方向にまず処理した後、下端第２符号化単位１９２０ｂに含まれる第３符号化単位１９２６ｃ，１９２６ｄを水平方向に処理する順序（１９２７）により、第３符号化単位１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄを処理することができる。
【０３７２】
図１９を参照すれば、第２符号化単位１９１０ａ，１９１０ｂ，１９２０ａ，１９２０ｂがそれぞれ分割され、正方形状の第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄが決定される。垂直方向に分割されて決定された第２符号化単位１９１０ａ，１９１０ｂ、及び水平方向に分割されて決定された第２符号化単位１９２０ａ，１９２０ｂは、互いに異なる形態に分割されたものであるが、その後に決定される第３符号化単位１９１６ａ，１９１６ｂ，１９１６ｃ，１９１６ｄ，１９２６ａ，１９２６ｂ，１９２６ｃ，１９２６ｄによれば、結局、同一形態の符号化単位として第１符号化単位１９００が分割された結果になる。それにより、ビデオ復号装置１００は、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて、異なる過程を介して、再帰的に符号化単位を分割することにより、結果としては、同一形態の符号化単位を決定するにしても、同一形態に決定された複数個の符号化単位を、互いに異なる順序処理を施すことができる。
【０３７３】
図２０は、一実施形態により、符号化単位が再帰的に分割され、複数個の符号化単位が決定される場合、符号化単位の形態及び大きさが変わるにより、符号化単位の深度が決定される過程を図示する。
【０３７４】
一実施形態により、ビデオ復号装置１００は、符号化単位の深度を、所定基準によって決定することができる。例えば、所定基準は、符号化単位の長辺の長さにもなる。ビデオ復号装置１００は、現在符号化単位の長辺の長さが、分割される前の符号化単位の長辺の長さより２ｎ（ｎ＞０）倍に分割された場合、現在符号化単位の深度は、分割される前の符号化単位の深度よりｎほど深度が増大したと決定することができる。以下では、深度が増大された符号化単位を、下位深度の符号化単位と表現する。
【０３７５】
図２０を参照すれば、一実施形態により、正方形状であるか否かということを示すブロック形態情報（例えば、ブロック形態情報は、「０：ＳＱＵＡＲＥ」と示すことができる）に基づいて、ビデオ復号装置１００は、正方形状である第１符号化単位２０００を分割し、下位深度の第２符号化単位２００２、第３符号化単位２００４などを決定することができる。正方形状の第１符号化単位２０００の大きさを、２Ｎｘ２Ｎとすれば、第１符号化単位２０００の幅及び高さを１／２１倍に分割して決定された第２符号化単位２００２は、ＮｘＮの大きさを有することができる。さらには、第２符号化単位２００２の幅及び高さを１／２サイズに分割して決定された第３符号化単位２００４は、Ｎ／２ｘＮ／２の大きさを有することができる。その場合、第３符号化単位２００４の幅及び高さは、第１符号化単位２０００の１／２２倍に該当する。第１符号化単位２０００の深度がＤである場合、第１符号化単位２０００の幅及び高さの１／２１倍である第２符号化単位２００２の深度は、Ｄ＋１であり、第１符号化単位２０００の幅及び高さの１／２２倍である第３符号化単位２００４の深度は、Ｄ＋２でもある。
【０３７６】
一実施形態により、非正方形状を示すブロック形態情報（例えば、ブロック形態情報は、高さが幅より大きい非正方形であるか否かということを示す「１：ＮＳ＿ＶＥＲ」、または幅が高さより大きい非正方形であるか否かということを示す「２：ＮＳ＿ＨＯＲ」を示すことができる）に基づいて、ビデオ復号装置１００は、非正方形状である第１符号化単位２０１０または２０２０を分割し、下位深度の第２符号化単位２０１２または２０２２、第３符号化単位２０１４または２０２４などを決定することができる。
【０３７７】
ビデオ復号装置１００は、Ｎｘ２Ｎサイズの第１符号化単位２０１０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位２００２，２０１２，２０２２などを決定することができる。すなわち、ビデオ復号装置１００は、第１符号化単位２０１０を水平方向に分割し、ＮｘＮサイズの第２符号化単位２００２、またはＮｘＮ／２サイズの第２符号化単位２０２２を決定することができ、水平方向及び垂直方向に分割し、Ｎ／２ｘＮサイズの第２符号化単位２０１２を決定することもできる。
【０３７８】
一実施形態により、ビデオ復号装置１００は、２ＮｘＮサイズの第１符号化単位２０２０の幅及び高さのうち少なくとも一つを分割し、例えば、第２符号化単位２００２，２０１２，２０２２などを決定することもできる。すなわち、ビデオ復号装置１００は、第１符号化単位２０２０を垂直方向に分割し、ＮｘＮサイズの第２符号化単位２００２、またはＮ／２ｘＮサイズの第２符号化単位２０１２を決定することができ、水平方向及び垂直方向に分割し、ＮｘＮ／２サイズの第２符号化単位２０２２を決定することもできる。
【０３７９】
一実施形態により、ビデオ復号装置１００は、ＮｘＮサイズの第２符号化単位２００２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４などを決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２００２を垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４を決定するか、Ｎ／２２ｘＮ／２サイズの第３符号化単位２０１４を決定するか、あるいはＮ／２ｘＮ／２２サイズの第３符号化単位２０２４を決定することができる。
【０３８０】
一実施形態により、ビデオ復号装置１００は、Ｎ／２ｘＮサイズの第２符号化単位２０１２の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４などを決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２０１２を水平方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４、またはＮ／２ｘＮ／２２サイズの第３符号化単位２０２４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２２ｘＮ／２サイズの第３符号化単位２０１４を決定することができる。
【０３８１】
一実施形態により、ビデオ復号装置１００は、ＮｘＮ／２サイズの第２符号化単位２０１４の幅及び高さのうち少なくとも一つを分割し、例えば、第３符号化単位２００４，２０１４，２０２４などを決定することもできる。すなわち、ビデオ復号装置１００は、第２符号化単位２０１２を垂直方向に分割し、Ｎ／２ｘＮ／２サイズの第３符号化単位２００４、またはＮ／２２ｘＮ／２サイズの第３符号化単位２０１４を決定するか、あるいは垂直方向及び水平方向に分割し、Ｎ／２ｘＮ／２２サイズの第３符号化単位２０２４を決定することができる。
【０３８２】
一実施形態により、ビデオ復号装置１００は、例えば、正方形状の符号化単位２０００，２００２，２００４を、水平方向または垂直方向に分割することができる。例えば、２Ｎｘ２Ｎサイズの第１符号化単位２０００を垂直方向に分割し、Ｎｘ２Ｎサイズの第１符号化単位２０１０を決定するか、あるいは水平方向に分割し、２ＮｘＮサイズの第１符号化単位２０２０を決定することができる。一実施形態により、深度が符号化単位の最長辺の長さに基づいて決定される場合、２Ｎｘ２Ｎサイズの第１符号化単位２０００，２００２または２００４が、水平方向または垂直方向に分割されて決定される符号化単位の深度は、第１符号化単位２０００，２００２または２００４の深度と同一でもある。
【０３８３】
一実施形態により、第３符号化単位２０１４または２０２４の幅及び高さは、第１符号化単位２０１０または２０２０の１／２２倍に該当する。第１符号化単位２０１０または２０２０の深度がＤである場合、第１符号化単位２０１０または２０２０の幅及び高さの１／２倍である第２符号化単位２０１２または２０１４の深度は、Ｄ＋１であり、第１符号化単位２０１０または２０２０の幅及び高さの１／２２倍である第３符号化単位２０１４または２０２４の深度は、Ｄ＋２でもある。
【０３８４】
図２１は、一実施形態により、符号化単位の形態及び大きさによって決定される深度及び符号化単位を区分するためのインデックス（ＰＩＤ：part  index）を図示する。
【０３８５】
一実施形態により、ビデオ復号装置１００は、正方形状の第１符号化単位２１００を分割し、多様な形態の第２符号化単位を決定することができる。図２１を参照すれば、ビデオ復号装置１００は、分割形態情報により、第１符号化単位２１００を、垂直方向及び水平方向のうち少なくとも１つの方向に分割し、第２符号化単位２１０２ａ，２１０２ｂ、２１０４ａ，２１０４ｂ、２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄを決定することができる。すなわち、ビデオ復号装置１００は、第１符号化単位２１００に係わる分割形態情報に基づいて、第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂ，２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄを決定することができる。
【０３８６】
一実施形態により、正方形状の第１符号化単位２１００に係わる分割形態情報によって決定される第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂ，２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄは、長辺の長さに基づいて深度が決定される。例えば、正方形状の第１符号化単位２１００の１辺の長さと、非正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂの長辺の長さとが同一であるので、第１符号化単位２１００と、非正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂとの深度は、Ｄとして同一であると見ることができる。それに対し、ビデオ復号装置１００が、分割形態情報に基づいて、第１符号化単位２１００を４個の正方形状の第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄに分割した場合、正方形状の第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄの１辺の長さは、第１符号化単位２１００の１辺の長さの１／２倍であるので、第２符号化単位２１０６ａ，２１０６ｂ，２１０６ｃ，２１０６ｄの深度は、第１符号化単位２１００の深度であるＤより、１深度下位であるＤ＋１の深度でもある。
【０３８７】
一実施形態により、ビデオ復号装置１００は、高さが幅より長い形態の第１符号化単位２１１０を、分割形態情報によって水平方向に分割し、複数個の第２符号化単位２１１２ａ，２１１２ｂ，２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。一実施形態により、ビデオ復号装置１００は、幅が高さより長い形態の第１符号化単位２１２０を、分割形態情報によって垂直方向に分割し、複数個の第２符号化単位２１２２ａ，２１２２ｂ，２１２４ａ，２１２４ｂ，２１２４ｃに分割することができる。
【０３８８】
一実施形態により、非正方形状の第１符号化単位２１１０または２１２０に係わる分割形態情報によって決定される第２符号化単位２１１２ａ，２１１２ｂ，２１１４ａ，２１１４ｂ，２１１６ａ，２１１６ｂ，２１１６ｃ，２１１６ｄは、長辺の長さに基づいて深度が決定される。例えば、正方形状の第２符号化単位２１１２ａ，２１１２ｂの１辺の長さは、高さが幅より大きい非正方形状の第１符号化単位２１１０の１辺の長さの１／２倍であるので、正方形状の第２符号化単位２１０２ａ，２１０２ｂ，２１０４ａ，２１０４ｂの深度は、非正方形状の第１符号化単位２１１０の深度Ｄより、１深度下位の深度であるＤ＋１である。
【０３８９】
さらには、ビデオ復号装置１００が分割形態情報に基づいて、非正方形状の第１符号化単位２１１０を、奇数個の第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。奇数個の第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃは、非正方形状の第２符号化単位２１１４ａ，２１１４ｃ、及び正方形状の第２符号化単位２１１４ｂを含んでもよい。その場合、非正方形状の第２符号化単位２１１４ａ，２１１４ｃの長辺の長さ、及び正方形状の第２符号化単位２１１４ｂの１辺の長さは、第１符号化単位２１１０の１辺の長さの１／２倍であるので、第２符号化単位２１１４ａ，２１１４ｂ，２１１４ｃの深度は、第１符号化単位２１１０の深度であるＤより、１深度下位であるＤ＋１の深度でもある。ビデオ復号装置１００は、第１符号化単位２１１０に係わる符号化単位の深度を決定する前記方式に対応する方式で、幅が高さより長い非正方形状の第１符号化単位２１２０に係わる符号化単位の深度を決定することができる。
【０３９０】
一実施形態により、ビデオ復号装置１００は、分割された符号化単位区分のためのインデックス（ＰＩＤ）決定において、奇数個に分割された符号化単位が、互いに同一サイズではない場合、符号化単位間の大きさ比率に基づいて、インデックスを決定することができる。図２１を参照すれば、奇数個に分割された符号化単位２１１４ａ，２１１４ｂ，２１１４ｃのうち真ん中に位置する符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃと、幅は同一であるが、高さが異なる符号化単位２１１４ａ，２１１４ｃの高さの２倍でもある。すなわち、その場合、真ん中に位置する符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃを二つ含んでもよい。従って、スキャン順序によって真ん中に位置する符号化単位２１１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位２１１４ｃは、インデックスが２増加した３でもある。すなわち、インデックス値の不連続性が存在する。一実施形態により、ビデオ復号装置１００は、かような分割された符号化単位間区分のためのインデックス不連続性の存在いかんに基づいて、奇数個に分割された符号化単位が、互いに同一サイズではないか否かということを決定することができる。
【０３９１】
一実施形態により、ビデオ復号装置１００は、現在符号化単位から分割されて決定された複数個の符号化単位を区分するためのインデックス値に基づいて、特定分割形態に分割されたものであるか否かということを決定することができる。図２１を参照すれば、ビデオ復号装置１００は、高さが幅より長い長方形状の第１符号化単位２１１０を分割し、偶数個の符号化単位２１１２ａ，２１１２ｂを決定するか、あるいは奇数個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃを決定することができる。ビデオ復号装置１００は、複数個の符号化単位それぞれを区分するために、各符号化単位を示すインデックス（ＰＩＤ）を利用することができる。一実施形態により、ＰＩＤは、それぞれの符号化単位の所定位置のサンプル（例えば、左側上端サンプル）からも獲得される。
【０３９２】
一実施形態により、ビデオ復号装置１００は、符号化単位の区分のためのインデックスを利用して分割されて決定された符号化単位のうち所定位置の符号化単位を決定することができる。一実施形態により、高さが幅より長い長方形状の第１符号化単位２１１０に係わる分割形態情報が、３個の符号化単位に分割されるということを示す場合、ビデオ復号装置１００は、第１符号化単位２１１０を３、個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃに分割することができる。ビデオ復号装置１００は、３個の符号化単位２１１４ａ，２１１４ｂ，２１１４ｃそれぞれに係わるインデックスを割り当てることができる。ビデオ復号装置１００は、奇数個に分割された符号化単位のうち真ん中の符号化単位を決定するために、各符号化単位に対するインデックスを比較することができる。ビデオ復号装置１００は、符号化単位のインデックスに基づいて、インデックスのうち真ん中の値に該当するインデックスを有する符号化単位２１１４ｂを、第１符号化単位２１１０が分割されて決定された符号化単位のうち真ん中位置の符号化単位として決定することができる。一実施形態により、ビデオ復号装置１００は、分割された符号化単位の区分のためのインデックス決定において、符号化単位が互いに同一サイズではない場合、符号化単位間の大きさ比率に基づいて、インデックスを決定することができる。図２１を参照すれば、第１符号化単位２１１０が分割されて生成された符号化単位２１１４ｂは、他の符号化単位２１１４ａ，２１１４ｃと、幅は同一であるが、高さが異なる符号化単位２１１４ａ，２１１４ｃの高さの２倍でもある。その場合、真ん中に位置する符号化単位２１１４ｂのインデックス（ＰＩＤ）が１であるならば、その次の順序に位置する符号化単位２１１４ｃは、インデックスが２増加した３でもある。かような場合のように、均一にインデックスが増加していていて、増加幅が異なる場合、ビデオ復号装置１００は、他の符号化単位と異なる大きさを有する符号化単位を含む複数個の符号化単位に分割されたと決定することができる、一実施形態により、分割形態情報が、奇数個の符号化単位に分割されることを示す場合、ビデオ復号装置１００は、奇数個の符号化単位のうち所定位置の符号化単位（例えば、真ん中の符号化単位）が異なる符号化単位と、大きさが異なる形態に現在符号化単位を分割することができる。その場合、ビデオ復号装置１００は、符号化単位に係わるインデックス（ＰＩＤ）を利用し、異なる大きさを有する真ん中の符号化単位を決定することができる。ただし、前述のインデックス、決定する所定位置の符号化単位の大きさまたは位置は、一実施形態について説明するために特定されたものであるので、それに限定して解釈されるものではなく、多様なインデックス、符号化単位の位置及び大きさが利用されると解釈されなければならない。
【０３９３】
一実施形態により、ビデオ復号装置１００は、符号化単位の再帰的な分割が始まる所定データ単位を利用することができる。
【０３９４】
図２２は、一実施形態により、ピクチャに含まれる複数個の所定データ単位により、複数個の符号化単位が決定されたところを図示する。
【０３９５】
一実施形態により、所定データ単位は、符号化単位が、ブロック形態情報及び分割形態情報のうち少なくとも一つを利用して、再帰的に分割され始めるデータ単位とも定義される。すなわち、現在ピクチャを分割する複数個の符号化単位が決定される過程で利用される最上位深度の符号化単位に該当する。以下では、説明上便宜のために、かような所定データ単位を基準データ単位と称する。
【０３９６】
一実施形態により、基準データ単位は、所定の大きさ及び形態を示すことができる。一実施形態により、基準符号化単位は、ＭｘＮのサンプルを含んでもよい。ここで、Ｍ及びＮは、互いに同一でもあり、２の乗数によって表現される整数でもある。すなわち、基準データ単位は、正方形または非正方形の形態を示すことができ、その後、整数個の符号化単位に分割される。
【０３９７】
一実施形態により、ビデオ復号装置１００は、現在ピクチャを複数個の基準データ単位に分割することができる。一実施形態により、ビデオ復号装置１００は、現在ピクチャを分割する複数個の基準データ単位を、それぞれの基準データ単位に係わる分割情報を利用して分割することができる。かような基準データ単位の分割過程は、四分木（quad-tree）構造を利用した分割過程に対応する。
【０３９８】
一実施形態により、ビデオ復号装置１００は、現在ピクチャに含まれる基準データ単位が有することができる最小サイズを事前に決定することができる。それにより、ビデオ復号装置１００は、最小サイズ以上の大きさを有する多様な大きさの基準データ単位を決定することができ、決定された基準データ単位を基準に、ブロック形態情報及び分割形態情報を利用し、少なくとも１つの符号化単位を決定することができる。
【０３９９】
図２２を参照すれば、ビデオ復号装置１００は、正方形状の基準符号化単位２２００を利用することができ、または非正方形状の基準符号化単位２２０２を利用することもできる。一実施形態により、基準符号化単位の形態及び大きさは、少なくとも１つの基準符号化単位を含む多様なデータ単位（例えば、シーケンス（sequence）、ピクチャ（picture）、スライス（slice）、スライスセグメント（slice  segment）、最大符号化単位など）によって決定される。
【０４００】
一実施形態により、ビデオ復号装置１００の獲得部１０５は、基準符号化単位の形態についての情報、及び基準符号化単位の大きさについての情報のうち少なくとも一つを、前記多様なデータ単位ごとにビットストリームから獲得することができる。正方形状の基準符号化単位２２００に含まれる少なくとも１つの符号化単位が決定される過程は、図１０の現在符号化単位３００が分割される過程を介して説明し、非正方形状の基準符号化単位２２００に含まれる少なくとも１つの符号化単位が決定される過程は、図１１の現在符号化単位１１００または１１５０が分割される過程を介して説明したので、詳細な説明は、省略する。
【０４０１】
一実施形態により、ビデオ復号装置１００は、所定条件に基づいて、事前に決定される一部データ単位により、基準符号化単位の大きさ及び形態を決定するために、基準符号化単位の大きさ及び形態を識別するためのインデックスを利用することができる。すなわち、獲得部１０５は、ビットストリームから、前記多様なデータ単位（例えば、シーケンス、ピクチャ、スライス、スライスセグメント、最大符号化単位など）のうち所定条件（例えば、スライス以下の大きさを有するデータ単位）を満足するデータ単位として、スライス、スライスセグメント、最大符号化単位などごとに、基準符号化単位の大きさ及び形態の識別のためのインデックスのみを獲得することができる。ビデオ復号装置１００は、インデックスを利用することにより、前記所定条件を満足するデータ単位ごとに、基準データ単位の大きさ及び形態を決定することができる。基準符号化単位の形態についての情報、及び基準符号化単位の大きさについての情報を、相対的に小サイズのデータ単位ごとに、ビットストリームから獲得して利用する場合、ビットストリームの利用効率が良好ではないこともあるので、基準符号化単位の形態についての情報、及び基準符号化単位の大きさについての情報を直接獲得する代わりに、前記インデックスのみを獲得して利用することができる。その場合、基準符号化単位の大きさ及び形態を示すインデックスに対応する基準符号化単位の大きさ及び形態のうち少なくとも一つは、事前に決定されている。すなわち、ビデオ復号装置１００は、事前に決定された基準符号化単位の大きさ及び形態のうち少なくとも一つをインデックスによって選択することにより、インデックス獲得の基準になるデータ単位に含まれる基準符号化単位の大きさ及び形態のうち少なくとも一つを決定することができる。
【０４０２】
一実施形態により、ビデオ復号装置１００は、１つの最大符号化単位に含む少なくとも１つの基準符号化単位を利用することができる。すなわち、映像を分割する最大符号化単位には、少なくとも１つの基準符号化単位が含まれ、それぞれの基準符号化単位の再帰的な分割過程を介して、符号化単位が決定される。一実施形態により、最大符号化単位の幅及び高さのうち少なくとも一つは、基準符号化単位の幅及び高さのうち少なくとも１つの整数倍に該当する。一実施形態により、基準符号化単位の大きさは、最大符号化単位を四分木構造によってｎ回分割した大きさでもある。すなわち、ビデオ復号装置１００は、最大符号化単位を、四分木構造によってｎ回分割し、基準符号化単位を決定することができ、多様な実施形態により、基準符号化単位を、ブロック形態情報及び分割形態情報のうち少なくとも一つに基づいて分割することができる。
【０４０３】
図２３は、一実施形態により、ピクチャ２３００に含まれる基準符号化単位の決定順序を決定する基準になるプロセシングブロックを図示する。
【０４０４】
一実施形態により、ビデオ復号装置１００は、ピクチャを分割する少なくとも１つのプロセシングブロックを決定することができる。プロセシングブロックとは、映像を分割する少なくとも１つの基準符号化単位を含むデータ単位であり、プロセシングブロックに含まれる少なくとも１つの基準符号化単位は、特定順にも決定される。すなわち、それぞれのプロセシングブロックで決定される少なくとも１つの基準符号化単位の決定順序は、基準符号化単位が決定される多様な順序の種類のうち一つに該当し、それぞれのプロセシングブロックで決定される基準符号化単位決定順序は、プロセシングブロックごとに異なる。プロセシングブロックごとに決定される基準符号化単位の決定順序は、ラスタースキャン（raster  scan）、Ｚスキャン（Ｚ−scan）、Ｎスキャン（Ｎ−scan）、右上向対角スキャン（up-right  diagonal  scan）、水平的スキャン（horizontal  scan）、垂直的スキャン（vertical  scan）など多様な順序のうち一つでもあるが、決定される順序は、前記スキャン順序に限定して解釈されるものではない。
【０４０５】
一実施形態により、ビデオ復号装置１００は、プロセシングブロックの大きさについての情報を獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。ビデオ復号装置１００は、プロセシングブロックの大きさについての情報をビットストリームから獲得し、映像に含まれる少なくとも１つのプロセシングブロックの大きさを決定することができる。かようなプロセシングブロックの大きさは、プロセシングブロックの大きさについての情報が示すデータ単位の所定サイズでもある。
【０４０６】
一実施形態により、ビデオ復号装置１００の獲得部１０５は、ビットストリームから、プロセシングブロックの大きさについての情報を、特定のデータ単位ごとに獲得することができる。例えば、プロセシングブロックの大きさについての情報は、映像、シーケンス、ピクチャ、スライス、スライスセグメントなどのデータ単位として、ビットストリームから獲得される。すなわち、獲得部１０５は、前記多くのデータ単位ごとに、ビットストリームから、プロセシングブロックの大きさについての情報を獲得することができ、ビデオ復号装置１００は、獲得されたプロセシングブロックの大きさについての情報を利用してピクチャを分割する少なくとも１つのプロセシングブロックの大きさを決定することができ、かようなプロセシングブロックの大きさは、基準符号化単位の整数倍の大きさでもある。
【０４０７】
一実施形態により、ビデオ復号装置１００は、ピクチャ２３００に含まれるプロセシングブロック２３０２，２３１２の大きさを決定することができる。例えば、ビデオ復号装置１００は、ビットストリームから獲得されたプロセシングブロックの大きさについての情報に基づいて、プロセシングブロックの大きさを決定することができる。図２３を参照すれば、ビデオ復号装置１００は、一実施形態により、プロセシングブロック２３０２，２３１２の横サイズを、基準符号化単位横サイズの４倍、縦サイズを、基準符号化単位の縦サイズの４倍と決定することができる。ビデオ復号装置１００は、少なくとも１つのプロセシングブロック内において、少なくとも１つの基準符号化単位が決定される順序を決定することができる。
【０４０８】
一実施形態により、ビデオ復号装置１００は、プロセシングブロックの大きさに基づいて、ピクチャ２３００に含まれるそれぞれのプロセシングブロック２３０２，２３１２を決定することができ、プロセシングブロック２３０２，２３１２に含まれる少なくとも１つの基準符号化単位の決定順序を決定することができる。一実施形態により、基準符号化単位の決定は、基準符号化単位の大きさの決定を含んでもよい。
【０４０９】
一実施形態により、ビデオ復号装置１００は、ビットストリームから、少なくとも１つのプロセシングブロックに含まれる少なくとも１つの基準符号化単位の決定順序についての情報を獲得することができ、獲得した決定順序についての情報に基づいて、少なくとも１つの基準符号化単位が決定される順序を決定することができる。決定順序についての情報は、プロセシングブロック内において、基準符号化単位が決定される順序または方向とも定義される。すなわち、基準符号化単位が決定される順序は、それぞれのプロセシングブロックごとに独立して決定される。
【０４１０】
一実施形態により、ビデオ復号装置１００は、特定データ単位ごとに、基準符号化単位の決定順序についての情報を、ビットストリームから獲得することができる。例えば、獲得部１０５は、基準符号化単位の決定順序についての情報を、映像、シーケンス、ピクチャ、スライス、スライスセグメント、プロセシングブロックなどのデータ単位ごとに、ビットストリームから獲得することができる。基準符号化単位の決定順序についての情報は、プロセシングブロック内での基準符号化単位決定順序を示すので、決定順序についての情報は、整数個のプロセシングブロックを含む特定データ単位ごとにも獲得される。
【０４１１】
ビデオ復号装置１００は、一実施形態により、決定された順序に基づいて、少なくとも１つの基準符号化単位を決定することができる。
【０４１２】
一実施形態により、獲得部１０５は、ビットストリームから、プロセシングブロック２３０２，２３１２に係わる情報として、基準符号化単位決定順序についての情報を獲得することができ、ビデオ復号装置１００は、前記プロセシングブロック２３０２，２３１２に含まれた少なくとも１つの基準符号化単位を決定する順序を決定し、符号化単位の決定順序により、ピクチャ２３００に含まれる少なくとも１つの基準符号化単位を決定することができる。図２３を参照すれば、ビデオ復号装置１００は、それぞれのプロセシングブロック２３０２，２３１２に係わる少なくとも１つの基準符号化単位の決定順序（２３０４，２３１４）を決定することができる。例えば、基準符号化単位の決定順序についての情報が、プロセシングブロックごとに獲得される場合、それぞれのプロセシングブロック２３０２，２３１２に係わる基準符号化単位決定順序は、プロセシングブロックごとに異なる。プロセシングブロック２３０２に係わる基準符号化単位決定順序２３０４がラスタースキャン（raster  scan）順序である場合、プロセシングブロック２３０２に含まれる基準符号化単位は、ラスタースキャン順序によって決定される。それに対し、他のプロセシングブロック２３１２に係わる基準符号化単位決定順序２３１４がラスタースキャン順序の逆順である場合、プロセシングブロック２３１２に含まれる基準符号化単位は、ラスタースキャン順序の逆順によって決定される。
【０４１３】
ビデオ復号装置１００は、一実施形態により、決定された少なくとも１つの基準符号化単位を復号することができる。ビデオ復号装置１００は、前述の実施形態を介して決定された基準符号化単位に基づいて映像を復号することができる。基準符号化単位を復号する方法は、映像を復号する多様な方法を含んでもよい。
【０４１４】
一実施形態により、ビデオ復号装置１００は、現在符号化単位の形態を示すブロック形態情報または現在符号化単位を分割する方法を示す分割形態情報を、ビットストリームから獲得して利用することができる。ブロック形態情報または分割形態情報は、多様なデータ単位に係わるビットストリームに含まれる。例えば、ビデオ復号装置１００は、シーケンスパラメータセット（sequence  parameter  set）、ピクチャパラメータセット（picture  parameter  set）、ビデオパラメータセット（video  parameter  set）、スライスヘッダ（slice  header）、スライスセグメントヘッダ（slice  segment  header）に含まれたブロック形態情報または分割形態情報を利用することができる。さらに、ビデオ復号装置１００は、最大符号化単位、基準符号化単位、プロセシングブロックごとに、ビットストリームから、ブロック形態情報または分割形態情報に対応するシンタックスを、ビットストリームから獲得して利用することができる。
【０４１５】
以上、多様な実施形態を中心に説明した。本開示が属する技術分野で当業者であるならば、本開示が、本開示の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本開示に含まれていると解釈されなければならないのである。
【０４１６】
なお、前述の本開示の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータでも具現される。前記コンピュータで読み取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only  memory）、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact  disc  read  only  memory）、ＤＶＤ（digital  versatile  disc）のような記録媒体を含む。
【図１Ａ】
2018533871.tif 000063
【図１Ｂ】
2018533871.tif 000064
【図１Ｃ】
2018533871.tif 000065
【図１Ｄ】
2018533871.tif 000066
【図１Ｅ】
2018533871.tif 000067
【図１Ｆ】
2018533871.tif 000068
【図２】
2018533871.tif 000069
【図３Ａ】
2018533871.tif 000070
【図３Ｂ】
2018533871.tif 000071
【図３Ｃ】
2018533871.tif 000072
【図４】
2018533871.tif 000073
【図５】
2018533871.tif 000074
【図６Ａ】
2018533871.tif 000075
【図６Ｂ】
2018533871.tif 000076
【図７ａ】
2018533871.tif 000077
【図７ｂ】
2018533871.tif 000078
【図７ｃ】
2018533871.tif 000079
【図７ｄ】
2018533871.tif 000080
【図７ｅ】
2018533871.tif 000081
【図８】
2018533871.tif 000082
【図９】
2018533871.tif 000083
【図１０】
2018533871.tif 000084
【図１１】
2018533871.tif 000085
【図１２】
2018533871.tif 000086
【図１３】
2018533871.tif 000087
【図１４】
2018533871.tif 000088
【図１５】
2018533871.tif 000089
【図１６】
2018533871.tif 000090
【図１７】
2018533871.tif 000091
【図１８】
2018533871.tif 000092
【図１９】
2018533871.tif 000093
【図２０】
2018533871.tif 000094
【図２１】
2018533871.tif 000095
【図２２】
2018533871.tif 000096
【図２３】
2018533871.tif 000097
【国際調査報告】
2018533871.tif 000098
2018533871.tif 000099
2018533871.tif 000100
2018533871.tif 000101
2018533871.tif 000102
2018533871.tif 000103
2018533871.tif 000104
2018533871.tif 000105