(57)【要約】  一例では、ビデオデータを復号する方法が、ビデオデータのブロックに関連する画素値を予測するための予測区分構造を決定することを含む。本方法はまた、予測画素値に１つ以上の変換を適用するための変換区分構造を決定することを含む。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、１つ以上の非正方形変換を分割するかどうかを、１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。
2015516769.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、
親変換単位を分割することと、
前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することと
を含む、
決定された前記変換区分構造に基づいて前記予測画素値を復号することと
を備える方法。
【請求項２】
前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、請求項１に記載の方法。
【請求項３】
前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、請求項１に記載の方法。
【請求項４】
前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、請求項１に記載の方法。
【請求項５】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項４に記載の方法。
【請求項６】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項１に記載の方法。
【請求項７】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、請求項１に記載の方法。
【請求項８】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、請求項１に記載の方法。
【請求項９】
前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記方法が、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、
前記１つ以上のクロミナンス非正方形変換を分割することと
を更に備える、請求項８に記載の方法。
【請求項１０】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、請求項１に記載の方法。
【請求項１１】
ビデオデータを符号化する方法であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、
親変換単位を分割することと、
前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することと
を含む、
決定された前記変換区分構造に基づいて前記予測画素値を符号化することと
を備える方法。
【請求項１２】
前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、請求項１１に記載の方法。
【請求項１３】
ビデオデータの前記ブロックに関連する、前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、請求項１１に記載の方法。
【請求項１４】
前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、請求項１１に記載の方法。
【請求項１５】
前記異なるサイズの変換が、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項１４に記載の方法。
【請求項１６】
前記予測区分構造が、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項１１に記載の方法。
【請求項１７】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、請求項１１に記載の方法。
【請求項１８】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、請求項１１に記載の方法。
【請求項１９】
前記親変換単位が、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記方法は、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、
前記１つ以上のクロミナンス非正方形変換を分割することと
を更に備える、請求項１８に記載の方法。
【請求項２０】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、請求項１１に記載の方法。
【請求項２１】
ビデオデータをコード化するための装置であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、
親変換単位を分割することと、
前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することと
を含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することと
を行うように構成された１つ以上のプロセッサを備える装置。
【請求項２２】
前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないように構成される、請求項２１に記載の装置。
【請求項２３】
前記１つ以上のプロセッサは、ビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするように更に構成され、ビデオデータの前記ブロックはブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックと関連する参照インデックスのうちの１つを備える、請求項２１に記載の装置。
【請求項２４】
前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、異なるサイズの変換を残差値に適用するための変換区分構造を決定するように構成される、請求項２１に記載の装置。
【請求項２５】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項２４に記載の装置。
【請求項２６】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項２１に記載の装置。
【請求項２７】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更に分割され得ないと決定するように構成される、請求項２１に記載の装置。
【請求項２８】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するように構成される、請求項２１に記載の装置。
【請求項２９】
前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、
前記１つ以上のクロミナンス非正方形変換を分割する
ように更に構成される、請求項２８に記載の装置。
【請求項３０】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するように構成される、請求項２１に記載の装置。
【請求項３１】
前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を符号化するように構成され、前記予測画素値を符号化することは、符号化ビットストリームにおいて前記予測画素値の指示を提供することを備える、請求項２１に記載の装置。
【請求項３２】
前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を復号するように構成され、前記予測画素値を復号することは、符号化ビットストリームから前記予測画素値の指示を取得することを備える、請求項２１に記載の装置。
【請求項３３】
ビデオデータをコード化するための装置であって、
ビデオデータのブロックに関連する画素値を予測するための変換区分構造を決定する手段と、前記変換区分構造は１つ以上の非正方形区分を含む、
前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定するための手段と、前記変換分割構造を決定することが、
親変換単位を分割することと、
前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することと
を含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することと
を備える装置。
【請求項３４】
前記１つ以上の正方形変換を決定するための前記手段は、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないための手段を備える、請求項３３に記載の装置。
【請求項３５】
前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするための手段を更に備える、請求項３３に記載の装置。
【請求項３６】
前記１つ以上の正方形変換を決定するための前記手段は、異なるサイズの変換を残差値に適用するための変換区分構造を決定するための手段を備える、請求項３３に記載の装置。
【請求項３７】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項３６に記載の装置。
【請求項３８】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項３３に記載の装置。
【請求項３９】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更に分割され得ないと決定するための手段を備える、請求項３３に記載の装置。
【請求項４０】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するための手段を備える、請求項３３に記載の装置。
【請求項４１】
前記親変換単位が、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記装置は、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割するための手段と、
前記１つ以上のクロミナンス非正方形変換を分割するための手段と
を更に備える、請求項４０に記載の装置。
【請求項４２】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するための手段を備える、請求項３３に記載の装置。
【請求項４３】
実行されると、１つ以上のプロセッサに、
ビデオデータのブロックに関連する画素値を予測するための予測区分構造を決定すること、前記予測区分構造は１つ以上の非正方形区分を含む、
前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、
親変換単位を分割することと、
前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することと
を含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することと
を行わせる命令を記憶している非一時的コンピュータ可読媒体。
【請求項４４】
前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割させ、予測区分境界を越えて適用されない変換を分割させない、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項４５】
前記１つ以上のプロセッサに、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックに関連する参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にさせる命令を更に備える、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項４６】
前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、異なるサイズの変換を残差値に適用するための変換区分構造を決定させる、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項４７】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項４６に記載の非一時的コンピュータ可読媒体。
【請求項４８】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項４９】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更に分割され得ないと決定させる、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項５０】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定させる、請求項４３に記載の非一時的コンピュータ可読媒体。
【請求項５１】
前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、
前記１つ以上のクロミナンス非正方形変換を分割する
ように更に構成される、請求項５０に記載の非一時的コンピュータ可読媒体。
【請求項５２】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定させる、請求項４３に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、各々の内容全体が参照により本明細書に組み込まれる、２０１２年４月１６日に出願された米国仮出願第６１／６２５，０３８号、２０１２年４月２３日に出願された米国仮出願第６１／６３７，２２０号の利益を主張する。
【０００２】
[0002]本開示は、ビデオコード化に関する。
【背景技術】
【０００３】
[0003]デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップ又はデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダ、デジタルカメラ、デジタル記録機器、デジタルメディアプレーヤ、ビデオゲーム機器、ビデオゲームコンソール、セルラー又は衛星無線電話、所謂「スマートフォン」、ビデオ遠隔会議機器、ビデオストリーミング機器などを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、ＭＰＥＧ−２、ＭＰＥＧ−４、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）、現在開発中の高効率ビデオコード化（ＨＥＶＣ：High Efficiency Video Coding）規格によって定義された規格、及びそのような規格の拡張に記載されているビデオコード化技法のような、ビデオコード化技法を実装する。ビデオ機器は、そのようなビデオコード化技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、及び／又は記憶し得る。
【０００４】
[0004]ビデオコード化技法は、ビデオシーケンスに固有の冗長性を低減又は除去するための空間的（イントラピクチャ）予測及び／又は時間的（インターピクチャ）予測を含む。ブロックベースのビデオコード化の場合、ビデオスライス（例えば、ピクチャ又はピクチャの一部分）が、ツリーブロック、コード化単位（ＣＵ）及び／又はコード化ノードと呼ばれることもあるビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測を使用して符号化される。ピクチャのインターコード化（Ｐ又はＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間的予測、又は他の参照ピクチャ中の参照サンプルに対する時間的予測を使用し得る。ピクチャはフレームと呼ばれることがあり、参照ピクチャは参照フレームと呼ばれることがある。
【０００５】
[0005]空間的予測又は時間的予測は、コード化されるべきブロックの予測ブロックをもたらす。残差データは、コード化されるべき元のブロックと予測ブロックとの間の画素差分を表す。インターコード化ブロックは、予測ブロックを形成する参照サンプルのブロックを指す動きベクトルと、コード化ブロックと予測ブロックとの間の差分を示す残差データとに従って符号化される。イントラコード化ブロックは、イントラコード化モードと残差データとに従って符号化される。更なる圧縮のために、残差データは、画素領域から変換領域に変換されて残差変換係数をもたらすことができ、その残差変換係数は、次いで量子化され得る。量子化変換係数は、最初に２次元アレイで構成され、変換係数の１次元ベクトルを生成するために走査されてよく、なお一層の圧縮を達成するためにエントロピーコード化が適用されてよい。
【発明の概要】
【０００６】
[0006]全般に、本開示では、非正方形ブロックによるビデオコード化のための技法について説明する。ビデオコード化は一般に、予測（例えば、インター予測又はイントラ予測）と（予測誤差とも呼ばれる）残差データのコード化とを含む。残差ブロックは、ビデオデータの予測ブロックと実際のブロックとの間の画素ごとの差分に対応する。残差ブロックは、変換単位（ＴＵ）に対応し得る。予測ブロックが生成される方法を記述したデータは、ＰＵに対応し得る。
【０００７】
[0007]場合によっては、ビデオデータは、非正方形ブロックを使用して、例えば非正方形（非対称とも呼ばれる）ＰＵにより予測され得る。本開示では、変換を、２つ以上のＰＵに変換が適用されないように適用するための技法について説明する。例えば、本開示では、予測区分境界を越える変換の適用を回避し、それによりコード化効率を高めることができる技法について説明する。
【０００８】
[0008]場合によっては、ビデオデータは、非正方形ブロックを使用して、例えば非正方形ＴＵにより変換され得る。ＴＵのサイズは、４分木データ構造によって記述され得る。本開示では、非正方形４分木変換（ＮＳＱＴ）を簡略化するための技法について説明する。このようにして、これらの技法は、非正方形変換を使用するための簡略化された方式を提供することができる。
【０００９】
[0009]一例では、方法は、ビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定することと、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定することとを含む。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ又は複数の正方形変換に分割することを備えると決定すると、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ又は複数の非正方形変換に分割することを備えると決定すると、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。本方法はまた、決定された変換区分構造に基づいて予測画素値を復号することを含む。
【００１０】
[0010]別の例では、ビデオデータを符号化する方法は、ビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定することと、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定することとを含む。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ又は複数の正方形変換に分割することを備えると決定すると、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ又は複数の非正方形変換に分割することを備えると決定すると、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。本方法はまた、決定された変換区分構造に基づいて予測画素値を符号化することを含む。
【００１１】
[0011]別の例では、ビデオデータをコード化するための装置は、ビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定し、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定するように構成された１つ又は複数のプロセッサを備える。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ又は複数の正方形変換に分割することを備えると決定すると、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ又は複数の非正方形変換に分割することを備えると決定すると、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。１つ又は複数のプロセッサはまた、決定された変換区分構造に基づいて予測画素値をコード化するように構成される。
【００１２】
[0012]別の例では、ビデオデータをコード化するための装置は、ビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定するための手段と、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定するための手段とを含む。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ又は複数の正方形変換に分割することを備えると決定すると、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ又は複数の非正方形変換に分割することを備えると決定すると、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。本装置はまた、決定された変換区分構造に基づいて予測画素値をコード化するための手段を含む。
【００１３】
[0013]別の例では、非一時的コンピュータ可読媒体は、実行されると、１つ又は複数のプロセッサに、ビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定させ、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定させる命令を記憶している。変換分割構造を決定することは、親変換単位を分割することと、変換区分構造が、親変換単位を１つ又は複数の正方形変換に分割することを備えると決定すると、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、変換区分構造が、親変換単位を１つ又は複数の非正方形変換に分割することを備えると決定すると、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む。命令はまた、１つ又は複数のプロセッサに、決定された変換区分構造に基づいて予測画素値をコード化させる。
【００１４】
[0014]１つ又は複数の例の詳細は、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、その説明及び図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１５】
【図１】[0015]ビデオコード化における変換を適用するための技法を利用し得る例示的なビデオ符号化及び復号システムを示すブロック図。
【図２】[0016]ビデオコード化における変換を適用するための技法を実装し得るビデオエンコーダの例を示すブロック図。
【図３】[0017]ビデオコード化における変換を適用するための技法を実装し得るビデオデコーダの例を示すブロック図。
【図４Ａ】[0018]例示的な４分木を示す概念図。
【図４Ｂ】対応する最大コード化単位（ＬＣＵ）を示す概念図。
【図５】[0019]様々なサブブロックに区分された例示的なブロックを示す概念図。
【図６】[0020]予測ユニットに関連付けられ得る区分モードを全般的に示す図。
【図７】[0021]図６に示す予測ユニットのための強制変換分割の例を示す図。
【図８】[0022]図６に示す予測ユニットのための強制変換分割の別の例を示す図。
【図９】[0023]本開示の態様による、強制変換分割の例を示す図。
【図１０】[0024]本開示の態様による、ビデオデータのブロックを符号化するための例示的なプロセスを示す図。
【図１１】[0025]本開示の態様による、ビデオデータのブロックを復号するための例示的なプロセスを示す図。
【図１２】[0026]６４×６４コード化単位（ＣＵ）のための例示的なＴＵ分解を示す図。
【図１３】[0027]３２×３２ＣＵのための例示的なＴＵ分解を示す図。
【図１４】[0028]１６×１６ＣＵのための例示的なＴＵ分解を示す図。
【図１５】[0029]本開示の態様による、現在のブロックを符号化するための例示的な方法を示すフローチャート。
【図１６】[0030]本開示の態様による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャート。
【図１７】[0031]本開示の技法による、ビデオデータをコード化する例を示すフローチャート。
【発明を実施するための形態】
【００１６】
[0032]ビデオコード化機器は、ビデオデータを効率的に符号化及び復号するためのビデオ圧縮技法を実装する。ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的（フレーム内）予測及び／又は時間的（フレーム間）予測技法を適用することを含む。ビデオエンコーダは通常、以下でより詳細に説明するように、ビデオブロック又はコード化単位（ＣＵ）と呼ばれる矩形の領域に、元のビデオシーケンスの各ピクチャを区分化する。これらのビデオブロックは「イントラモード」（Ｉモード）を使用して、又は「インターモード」（Ｐモード又はＢモード）を使用して符号化され得る。
【００１７】
[0033]Ｐモード及びＢモードの場合、ビデオエンコーダは最初に、参照フレームと呼ばれ、Ｆrefとして示される別の時間ロケーションにおけるフレームで符号化されているブロックに類似するブロックを探索する。ビデオエンコーダは、符号化されるべきブロックからの一定の空間的変位に対する探索を制限し得る。最良の一致は、コード化されているブロックに対して、２次元（２Ｄ）の動きベクトル（Δｘ，Δｙ）を使用して特定されることがあり、この場合、Δｘは水平変位であり、Δｙは垂直変位である。参照フレームとともに動きベクトルが使用されて、予測区分又は予測ブロックＦpredとも呼ばれる予測単位（ＰＵ）を構成することができる。
【００１８】
Fpred(x,y) = Fref(x+Δx, y+Δy)
ここで、ピクチャ内の画素の場所は、（ｘ，ｙ）によって示される。
【００１９】
[0034]Ｉモードで符号化されるブロックの場合、ビデオエンコーダは、同じピクチャ内の以前符号化された隣接ブロックからのデータに基づいて空間予測技法を使用して予測ブロックを形成することができる。
【００２０】
[0035]いずれにしても、ＩモードとＰ又はＢモードの両方の場合、予測誤差、即ち、符号化されているブロック中の画素値と予測ブロックとの間の差分は、離散コサイン変換（ＤＣＴ）など、離散変換の重み付けされた基底関数のセットとして表され得る。変換は、４×４、８×８、又は１６×１６及びそれ以上など、様々なサイズのブロック（変換単位（ＴＵ））を使用して実行することができる。変換ブロックの形状は、常に正方形である必要はない。例えば、例えば１６×４、３２×８などの変換ブロックサイズをもつ、矩形形状の変換ブロックが使用されることもある。
【００２１】
[0036]変換後、重み（即ち変換係数）が次に量子化される。量子化は情報の損失をもたらし、従って、量子化係数は、元の変換係数よりも低い精度を有する。圧縮比、即ち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用される量子化パラメータ（ＱＰ）の値を調整することによって制御され得る。
【００２２】
[0037]量子化変換係数及び動きベクトルは、シンタックス要素の例であり、制御情報及び場合によっては他のコード化ビデオ情報とともに、ビデオシーケンスのコード化表現を形成する。場合によっては、ビデオエンコーダは、シンタックス要素をエントロピーコード化し、それによりそれらの表現に必要なビット数を更に減らすことができる。エントロピーコード化は、送信又は記憶されたシンボル（例えば、シンタックス要素）を表すのに必要なビット数を、シンタックス要素の分布の性質を利用する（例えば、幾つかのシンボルは他のシンボルよりも頻繁に生じることを認識する）ことによって最小限に抑えることを目的としたロスレス演算(lossless operation)である。
【００２３】
[0038]ビデオエンコーダはまた、コード化ピクチャを再現して、復元誤差に対応する歪みを計算することができる。ビデオエンコーダは、ブロックサイズ、ブロック区分戦略、量子化パラメータ、コード化モードなどのような様々なコード化要素を決定するときに、ビットレートと歪みの大きさとを測定することができる。ブロック区分戦略は、サブＣＵへのＣＵの区分と、ＰＵサイズの選択と、ＴＵサイズの選択とを含むことができる。圧縮比、即ち、元のシーケンスと圧縮されたシーケンスとを表すために使用されるビット数の比は、変換係数を量子化するときに使用される量子化パラメータ（ＱＰ）の値を調整することによって制御され得る。圧縮比はまた、採用されたエントロピーコード化の方法に依存し得る。
【００２４】
[0039]ビデオデコーダは、上述のシンタックス要素と制御情報とを使用して、現在のフレームを復号するための予測データ（例えば、予測ブロック）を構成することができる。例えば、ビデオデコーダは、予測ブロックと圧縮予測誤差とを追加することができる。ビデオデコーダは、量子化係数を使用して変換基底関数を重み付けすることによって、圧縮予測誤差を決定することができる。復元されたフレームと元のフレームとの間の差分は、復元誤差と呼ばれる。
【００２５】
[0040]上述のように、ビデオエンコーダ及びビデオデコーダなどのビデオコーダは、様々なサイズのブロックを使用するように構成されてよく、ブロックは非正方形であってよい。例えば、ビデオコーダは、矩形などの非正方形であるＰＵ及びＴＵを使用することができる。場合によっては、非正方形ブロックはビデオコード化プロセスを複雑にすることがある。一例では、１つ又は複数の非正方形ＰＵと１つ又は複数の正方形ＴＵとを使用してビデオデータのブロックをコード化することで、２つ以上の予測区分に１つの変換が適用される結果となり得る。そのような変換構成は、コード化効率に影響を与え得る。例えば、複数の予測区分（例えば、ＰＵ）を含む画像の領域は、その領域に不連続性があることを示し得る。不連続性を越えて、例えば予測区分を越えて単一の変換を適用することは、コード化効率に影響を及ぼす高周波雑音をもたらすことがある。
【００２６】
[0041]本開示の態様は、予測区分境界を越えることなく残差ビデオデータに変換を適用することに関する。即ち、本開示の態様によれば、ビデオエンコーダ又はビデオデコーダなどのビデオコーダは、１つ又は複数の正方形変換を、２つ以上の予測区分に１つ又は複数の変換が適用されないように、非正方形予測区分に適用することができる。従って、変換は、予測区分境界を越えず、ビデオコーダは、上述のように潜在的な高周波雑音をもたらすことを回避することができる。
【００２７】
[0042]本開示は一般に、単一の予測技法（例えば、インター予測技法又はイントラ予測技法）により予測されるピクチャのエリアとして予測区分に言及し得る。ビデオデータのブロックは、１つ又は複数の関連する予測区分を有し得る。場合によっては、予測区分は、説明したように、高効率ビデオコード化（ＨＥＶＣ）規格に従って予測単位（ＰＵ）に関連付けられ得る。上記のように、予測区分は、形状が正方形又は非正方形であり得る。
【００２８】
[0043]別の例では、非正方形ブロック（非正方形変換ブロックを含む）を使用することは、ブロックの配列を示すことに関連する複雑性をもたらすこともある。例えば、場合によっては、ビットストリームにおいて非正方形ＴＵの配列を信号伝達(signaling)することは、比較的複雑であり得る。更に、ＨＥＶＣ規格などの幾つかのビデオコード化規格は、非正方形変換を適用するための比較的複雑なルールを有し得る。
【００２９】
[0044]一例では、１つの非正方形変換は４つの非正方形変換に分割され得る（例えば、１つの３２×８変換は、４つの１６×４変換に分割され得る）。別の例では、１つの非正方形変換は４つの正方形変換に分割され得る（例えば、１つの１６×４変換は、４つの４×４変換に分割され得る）。更に、ビデオコーダが（以下でより詳細に説明するように）残差４分木（ＲＱＴ）の深度１で非正方形変換を適用し得る場合もあれば、ビデオコーダがＲＱＴの深度２で非正方形変換を適用し得る場合もある。従って、ビデオコーダは、正方形変換と非正方形変換との組合せを使用して変換の目的でブロックを分割することができるが、それらの変換の配列は、符号化ビットストリームにおいて示すのに比較的複雑であり得る。
【００３０】
[0045]また、本開示の態様は一般に、非正方形変換の適用を簡略化するための技法に関する。例えば、本開示の態様によれば、ビデオエンコーダ又はビデオデコーダなどのビデオコーダは、非正方形変換の構造に関連する１つ又は複数の所定のルールに準拠し得る。一例では、ビデオコーダは、非正方形変換を分割することを控えることがある。言い換えれば、ＴＵが少なくとも１つの非正方形ＴＵに分割されているとビデオコーダが決定したとき、ビデオコーダは、非正方形ＴＵは更に分割されないと決定することができる。
【００３１】
[0046]上記の例によれば、正方形変換が４つの非正方形変換に分割されたとき、分割は停止する。その場合、ビデオコーダは、変換を更に分割しようとせず、４つの非正方形変換が分割されるかどうかを示す追加データを一切信号伝達しない。同様に、ビデオデコーダは、４つの非正方形変換が更に分割されないことを決定するための（例えば、符号化ビットストリームにおいて信号伝達されるような）更なるデータを一切必要としなくなる。
【００３２】
[0047]従って、そのような例では、非正方形変換の存在は、変換の非正方形の形状を定義するだけではなく、非正方形ＴＵに関する分割の終了も示すものと解釈され得る。これらの場合、本来であれば分割に使用される追加の信号伝達は、そのような非正方形変換の場合には回避され得る。例えば、「ｎｏ−ｓｐｌｉｔ」フラグ又は「ｄｏ  ｎｏｔ  ｓｐｌｉｔ」フラグが、非正方形変換の場合に除かれ得る。
【００３３】
[0048]別の例では、非正方形変換は、追加の非正方形変換にのみ分割され得る。即ち、ＴＵを非正方形変換に分割した後、ビデオコーダは、引き続き非正方形変換を非正方形変換に分割することはあるが、非正方形変換を正方形変換に分割することはない。ビデオコーダは、最小変換サイズ制限に達するまで、非正方形変換を使用して非正方形変換を分割し続けることができる。
【００３４】
[0049]このようにして本開示の技法は、非正方形変換を適用することに関連する複雑性を低減するのを助けることができる。例えば、ビデオコーダは、正方形変換と非正方形変換との潜在的な組合せの数を減らすために、ＴＵが非正方形変換に分割されるかどうかに基づくルールセットを実装することができる。発信源ることで、１つ又は複数の関連する非正方形変換を有するブロックの配列及び／又は構造を信号伝達することに関連する複雑性を低減することができる。
【００３５】
[0050]また場合によっては、信号伝達に必要なデータの量は、分割の終了を信号伝達する必要を除去することによって減少し得る。例えば、「ｎｏ−ｓｐｌｉｔ」フラグ又は「ｄｏ  ｎｏｔ  ｓｐｌｉｔ」フラグが、非正方形変換の場合に除かれ得る。分割が非正方形変換の場合に許容されるが、更なる非正方形のサイズ又は形状に制限される例では、技法は、分割を信号伝達するのに必要なシンタックス要素のサイズを縮小することができる。例えば、場合によっては、使用され得る分割のタイプに制限が適用される場合に、分割のタイプを信号伝達するのに必要なビット深度は低減され得る。
【００３６】
[0051]図１は、ビデオコード化における変換を適用するための技法を利用し得る例示的なビデオ符号化及び復号システム１０を示すブロック図である。図１に示されるように、システム１０は、宛先機器１４によって後で復号されるべき符号化ビデオデータを与える発信源機器１２を含む。特に、発信源機器１２は、コンピュータ可読媒体１６を介してビデオデータを宛先機器１４に与える。発信源機器１２及び宛先機器１４は、デスクトップコンピュータ、ノートブック（即ち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、所謂「スマート」フォンなどの電話ハンドセット、所謂「スマート」パッド、テレビジョン、カメラ、表示装置、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミング機器などを含む、広範囲にわたる機器のいずれかを備え得る。場合によっては、発信源機器１２及び宛先機器１４は、ワイヤレス通信に対応し得る。
【００３７】
[0052]宛先機器１４は、コンピュータ可読媒体１６を介して復号されるべき符号化ビデオデータを受信し得る。コンピュータ可読媒体１６は、発信源機器１２から宛先機器１４に符号化ビデオデータを移動させることができる任意のタイプの媒体又は機器を備え得る。一例では、コンピュータ可読媒体１６は、発信源機器１２が、符号化ビデオデータを宛先機器１４にリアルタイムで直接送信することを可能にするための通信媒体を備え得る。符号化ビデオデータは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、宛先機器１４に送信され得る。通信媒体は、高周波（ＲＦ）スペクトル又は１つ以上の物理伝送線路のような、任意のワイヤレス又は有線通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、若しくはインターネットなどのグローバルネットワークのような、パケットベースネットワークの一部を形成し得る。通信媒体は、発信源機器１２から宛先機器１４への通信を可能にするために有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
【００３８】
[0053]幾つかの例では、符号化データは、出力インターフェース２２から記憶装置に出力され得る。同様に、符号化データは、入力インターフェースによって記憶装置からアクセスされ得る。記憶装置は、ハードドライブ、ブルーレイ（登録商標）ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、フラッシュメモリ、揮発性又は不揮発性メモリ、あるいは、符号化されたビデオデータを記憶するための任意の他の適切なデジタル記憶媒体のような、種々の分散された又はローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。更なる一例では、記憶装置は、発信源機器１２によって生成された符号化ビデオを記憶し得るファイルサーバ又は別の中間記憶装置に対応し得る。宛先機器１４は、ストリーミング又はダウンロードを介して、記憶装置から記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先機器１４に送信することが可能な任意のタイプのサーバであり得る。例示的なファイルサーバは、（例えば、ウェブサイトのための）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続記憶（ＮＡＳ）機器、又はローカルディスクドライブを含む。宛先機器１４は、インターネット接続を含む、任意の標準的なデータ接続を通じて符号化ビデオデータにアクセスし得る。これは、ファイルサーバに記憶された符号化ビデオデータにアクセスするのに好適であるワイヤレスチャネル（例えば、Ｗｉ−Ｆｉ（登録商標）接続）、有線接続（例えば、ＤＳＬ、ケーブルモデムなど）、又は両方の組合せを含み得る。記憶装置からの符号化ビデオデータの送信は、ストリーミング送信、ダウンロード送信、又はそれらの組合せであり得る。
【００３９】
[0054]本開示の技法は、必ずしもワイヤレス適用例又は設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、dynamic adaptive streaming over HTTP(DASH)などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、又は他の適用例など、種々のマルチメディア適用例のいずれかをサポートするビデオコード化に適用され得る。幾つかの例では、システム１０は、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、及び／又はビデオ電話などの適用例をサポートするために、一方向又は双方向のビデオ送信をサポートするように構成され得る。
【００４０】
[0055]図１の例では、発信源機器１２は、ビデオ発信源１８と、ビデオエンコーダ２０と、出力インターフェース２２とを含む。宛先機器１４は、入力インターフェース２８と、ビデオデコーダ３０と、表示装置３２とを含む。本開示によれば、発信源機器１２のビデオエンコーダ２０は、ビデオコード化における変換を適用するための技法を適用するように構成され得る。他の例では、発信源機器及び宛先機器は他のコンポーネント又は構成を含み得る。例えば、発信源機器１２は、外部カメラなどの外部ビデオ発信源１８からビデオデータを受信し得る。同様に、宛先機器１４は、内蔵表示装置を含むのではなく、外部表示装置とインターフェースし得る。
【００４１】
[0056]図１の示されるシステム１０は一例にすぎない。ビデオコード化における変換を適用するための技法は、任意のデジタルビデオ符号化及び／又は復号機器によって実行され得る。一般に、本開示の技法はビデオ符号化機器によって実行されるが、本技法は、通常「コーデック」と呼ばれるビデオエンコーダ／デコーダによっても実行され得る。その上、本開示の技法はまた、ビデオプリプロセッサによって実行され得る。発信源機器１２及び宛先機器１４は、発信源機器１２が宛先機器１４に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。幾つかの例では、機器１２、１４は、機器１２、１４の各々がビデオ符号化コンポーネントとビデオ復号コンポーネントとを含むように、実質的に対称的に動作し得る。従って、システム１０は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト又はビデオ電話のための、ビデオ機器１２とビデオ機器１４との間の一方向又は双方向のビデオ送信をサポートすることができる。
【００４２】
[0057]発信源機器１２のビデオ発信源１８は、ビデオカメラなどの撮像装置、以前に撮影されたビデオを含んでいるビデオアーカイブ、及び／又はビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースを含み得る。更なる代替として、ビデオ発信源１８は、発信源ビデオとしてのコンピュータグラフィックスベースのデータ、又はライブビデオとアーカイブされたビデオとコンピュータにより生成されたビデオとの組合せを生成し得る。場合によっては、ビデオ発信源１８がビデオカメラである場合、発信源機器１２及び宛先機器１４は、所謂カメラ電話又はビデオ電話を形成し得る。しかしながら、上述のように、本開示で説明される技法は、全般にビデオコード化に適用可能であってよく、ワイヤレス及び／又は有線の適用例に適用可能であってよい。各々の場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータで生成されたビデオは、ビデオエンコーダ２０によって符号化され得る。符号化ビデオ情報は、次いで、出力インターフェース２２によってコンピュータ可読媒体１６上に出力され得る。
【００４３】
[0058]コンピュータ可読媒体１６は、ワイヤレスブロードキャスト又は有線ネットワーク送信などの一時媒体、又はハードディスク、フラッシュドライブ、コンパクトディスク、デジタルビデオディスク、ブルーレイディスク、若しくは他のコンピュータ可読媒体などの記憶媒体（即ち、非一時的記憶媒体）を含み得る。幾つかの例では、ネットワークサーバ（図示せず）は、例えば、ネットワーク送信を介して、発信源機器１２から符号化されたビデオデータを受信し、宛先機器１４に符号化ビデオデータを与え得る。同様に、ディスクスタンピング設備などの媒体製造設備のコンピュータ機器は、発信源機器１２から符号化ビデオデータを受信し、その符号化ビデオデータを含んでいるディスクを製造することができる。従って、コンピュータ可読媒体１６は、様々な例において、様々な形態の１つ又は複数のコンピュータ可読媒体を含むことが理解されよう。
【００４４】
[0059]宛先機器１４の入力インターフェース２８は、コンピュータ可読媒体１６から情報を受信する。コンピュータ可読媒体１６の情報は、ビデオエンコーダ２０によって定義され、またビデオデコーダ３０によって使用される、ブロック及び他のコード化単位、例えば、ＧＯＰの特性及び／又は処理を記述するシンタックス要素を含む、シンタックス情報を含み得る。表示装置３２は、復号ビデオデータをユーザに対して表示し、陰極線管（ＣＲＴ）、液晶表示器（ＬＣＤ）、プラズマ表示器、有機発光ダイオード（ＯＬＥＤ）表示器、又は別のタイプの表示装置のような、様々な表示装置のいずれかを備え得る。
【００４５】
[0060]ビデオエンコーダ２０及びビデオデコーダ３０は、現在開発中の高効率ビデオコード化（ＨＥＶＣ）規格などのビデオコード化規格に従って動作することができ、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）に準拠することができる。代替的に、ビデオエンコーダ２０及びビデオデコーダ３０は、代替的にＭＰＥＧ−４、Ｐａｒｔ  １０、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ  Ｈ．２６４規格のような、他のプロプライエタリ規格又は業界規格、又はそのような規格の拡張に従って動作し得る。しかしながら、本開示の技法は、いかなる特定のコード化規格にも限定されない。ビデオコード化規格の他の例には、ＭＰＥＧ−２及びＩＴＵ−Ｔ  Ｈ．２６３がある。図１には示されていないが、幾つかの態様では、ビデオエンコーダ２０及びビデオデコーダ３０は各々、オーディオエンコーダ及びオーディオデコーダと統合されてよく、適切なＭＵＸ−ＤＥＭＵＸユニット、又は他のハードウェアとソフトウェアとを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、又はユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
【００４６】
[0061]ＩＴＵ−Ｔ  Ｈ．２６４／ＭＰＥＧ−４（ＡＶＣ）規格は、Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）として知られる共同パートナーシップの成果として、ＩＳＯ／ＩＥＣ  Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）とともにＩＴＵ−Ｔ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された。幾つかの態様では、本開示で説明される技法は、一般にＨ．２６４規格に準拠する機器に適用され得る。Ｈ．２６４規格は、ＩＴＵ−Ｔ研究グループによる２００５年３月付けのＩＴＵ−Ｔ勧告Ｈ．２６４、Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓに記載されており、本明細書ではＨ．２６４規格又はＨ．２６４仕様、あるいはＨ．２６４／ＡＶＣ規格又は仕様と呼ばれ得る。Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ（ＪＶＴ）はＨ．２６４／ＭＰＥＧ−４  ＡＶＣへの拡張に取り組み続けている。
【００４７】
[0062]ビデオエンコーダ２０及びビデオデコーダ３０は各々、１つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアのような、種々の適切なエンコーダ回路のいずれか、又はそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、機器は、好適な非一時的コンピュータ可読媒体にソフトウェアのための命令を記憶し、１つ又は複数のプロセッサを使用してその命令をハードウェアで実行して、本開示の技法を実行することができる。ビデオエンコーダ２０及びビデオデコーダ３０の各々は１つ又は複数のエンコーダ又はデコーダ中に含まれてよく、そのいずれも、それぞれの機器において複合エンコーダ／デコーダ（コーデック）の一部として統合されてよい。ビデオエンコーダ２０及び／又はビデオデコーダ３０を含む機器は、集積回路、マイクロプロセッサ、及び／又はセルラー電話などのワイヤレス通信機器を備え得る。
【００４８】
[0063]本開示では、概して、ビデオエンコーダ２０が、ある種の情報をビデオデコーダ３０などの別の機器に「信号伝達」することに言及することがある。しかし、ビデオエンコーダ２０はある種のシンタックス要素をビデオデータの様々な符号化部分に関連付けることによって情報を信号伝達してもよいことを理解されたい。即ち、ビデオエンコーダ２０は、ビデオデータの様々な符号化部分のヘッダにある種のシンタックス要素を格納することによって、データを「信号伝達」することができる。幾つかの場合には、そのようなシンタックス要素は、ビデオデコーダ３０によって受信及び復号される前に、符号化及び記憶され（例えば、記憶機器３２に記憶され）得る。従って、「信号伝達」という用語は概して、圧縮ビデオデータを復号するためのシンタックス又は他のデータの通信を、そのような通信が、媒体に格納された後の任意の時間に次いで復号機器によって取り出され得る、符号化時にこの媒体にシンタックス要素を格納するときに生じ得るなど、リアルタイム又はほぼリアルタイムで若しくはある期間にわたって生じるかどうかにかかわらず、示し得る。
【００４９】
[0064]ＪＣＴ−ＶＣは、ＨＥＶＣ規格の開発に取り組んでいる。ＨＥＶＣ規格化の取り組みは、ＨＥＶＣ  Ｔｅｓｔ  Ｍｏｄｅｌ（ＨＭ）と呼ばれるビデオコード化機器の発展的モデルに基づく。ＨＭは、例えば、ＩＴＵ−Ｔ  Ｈ．２６４／ＡＶＣに従う既存の機器に対してビデオコード化機器の幾つかの追加の能力を仮定する。例えば、Ｈ．２６４は９つのイントラ予測符号化モードを提供するが、ＨＭは３３個ものイントラ予測符号化モードを提供し得る。
【００５０】
[0065]一般に、ＨＭの作業モデルは、ピクチャが、ルーマとクロマの両方のサンプルを含む一連のツリーブロック又は最大コード化単位（ＬＣＵ）に分割され得ることを記載する。ビットストリーム内のシンタックスデータが、画素の数に関して最大コード化単位であるＬＣＵのサイズを定義し得る。スライスは、コード化順序で幾つかの連続するツリーブロックを含む。ピクチャは、１つ又は複数のスライスに区分され得る。各ツリーブロックは、４分木に従ってコード化単位（ＣＵ）に分割され得る。一般に、４分木データ構造はＣＵごとに１つのノードを含み、ルートノードはツリーブロックに対応する。ＣＵが４つのサブＣＵに分割された場合、ＣＵに対応するノードは４つのリーフノードを含み、リーフノードの各々はサブＣＵのうちの１つに対応する。
【００５１】
[0066]４分木データ構造の各ノードは、対応するＣＵのシンタックスデータを与え得る。例えば、４分木のノードは、そのノードに対応するＣＵがサブＣＵに分割されるかどうかを示す分割フラグを含み得る。ＣＵのシンタックス要素は、再帰的に定義されてよく、ＣＵがサブＣＵに分割されるかどうかに依存し得る。ＣＵが更に分割されない場合、そのＣＵはリーフＣＵと呼ばれる。本開示では、元のリーフＣＵの明示的分割が存在しない場合でも、リーフＣＵの４つのサブＣＵもリーフＣＵと呼ばれる。例えば、１６×１６サイズのＣＵがこれ以上分割されない場合、この１６×１６ＣＵがまったく分割されなくても、４つの８×８サブＣＵもリーフＣＵと呼ばれる。
【００５２】
[0067]ＣＵは、ＣＵがサイズ差異を有さないことを除いて、Ｈ．２６４規格のマクロブロックと同様の目的を有する。例えば、ツリーブロックは、４つの子ノード（サブＣＵとも呼ばれる）に分割されてよく、各子ノードは、今度は親ノードとなり、別の４つの子ノードに分割されてよい。４分木のリーフノードと呼ばれる、最後の分割されていない子ノードは、リーフＣＵとも呼ばれるコード化ノードを備える。コード化ビットストリームに関連するシンタックスデータは、最大ＣＵ深さと呼ばれる、ツリーブロックが分割され得る最大回数を定義することができ、また、コード化ノードの最小サイズを定義することもできる。それに応じて、ビットストリームは最小コード化単位（ＳＣＵ）も定義することができる。本開示では、ＨＥＶＣの文脈におけるＣＵ、ＰＵ、又はＴＵ、若しくは他の規格の文脈における同様のデータ構造（例えば、Ｈ．２６４／ＡＶＣにおけるマクロブロック及びそれのサブブロック）のいずれかを指すために「ブロック」という用語を使用する。
【００５３】
[0068]ＣＵは、コード化ノードと、コード化ノードに関連する予測単位（ＰＵ）及び変換単位（ＴＵ）とを含む。ＣＵのサイズは、コード化ノードのサイズに対応し、形状が方形でなければならない。ＣＵのサイズは、８×８画素から最大６４×６４以上の画素を有するツリーブロックのサイズまでに及び得る。各ＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。ＣＵに関連するシンタックスデータは、例えば、ＣＵを１つ又は複数のＰＵに区分することを記述し得る。区分モードは、ＣＵが、スキップモード符号化又はダイレクトモード符号化されるか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかによって異なり得る。ＰＵは、形状が非正方形になるように区分化され得る。ＣＵに関連するシンタックスデータは、例えば、４分木に従って、ＣＵを１つ又は複数のＴＵに区分化することも記述し得る。ＴＵは、形状が正方形又は非正方形（例えば、矩形）であり得る。
【００５４】
[0069]ＨＥＶＣ規格は、ＣＵごとに異なり得るＴＵに従った変換を可能にする。ＴＵは、一般に、区分化されたＬＣＵについて定義された所与のＣＵ内のＰＵのサイズに基づいてサイズ決定されるが、常にそうであるとは限らない。ＴＵは通常、ＰＵと同じサイズであるか又はＰＵよりも小さい。幾つかの例では、ＣＵに対応する残差サンプルは、「残差４分木」（ＲＱＴ）として知られる４分木構造を使用して、より小さい単位に再分割され得る。ＲＱＴのリーフノードは変換単位（ＴＵ）と呼ばれることがある。ＴＵに関連する画素差分値は、量子化され得る変換係数を生成するために変換され得る。
【００５５】
[0070]リーフＣＵは、１つ又は複数の予測単位（ＰＵ）を含み得る。一般に、ＰＵは、対応するＣＵの全て又は一部分に対応する空間的エリアを表し、そのＰＵの参照サンプルを取り出すためのデータを含み得る。その上、ＰＵは、予測に関するデータを含む。例えば、ＰＵがイントラモード符号化されるとき、ＰＵのデータは、ＰＵに対応するＴＵのイントラ予測モードを記述するデータを含み得る、残差４分木（ＲＱＴ）中に含まれ得る。別の例として、ＰＵがインターモード符号化されるとき、ＰＵは、ＰＵのための１つ又は複数の動きベクトルを定義するデータを含み得る。ＰＵの動きベクトルを定義するデータは、例えば、動きベクトルの水平成分、動きベクトルの垂直成分、動きベクトルの解像度（例えば、１／４画素精度又は１／８画素精度）、動きベクトルが指す参照ピクチャ、及び／又は動きベクトルの参照ピクチャリスト（例えば、リスト０、リスト１、又はリストＣ）を記述し得る。
【００５６】
[0071]１つ又は複数のＰＵを有するリーフＣＵはまた、１つ又は複数の変換単位（ＴＵ）を含み得る。変換単位は、上で論じられたように、（ＴＵ４分木構造とも呼ばれる）ＲＱＴを使用して指定され得る。例えば、分割フラグは、リーフＣＵが４つの変換単位に分割されるかどうかを示し得る。次いで、各変換単位は、更に、更なるサブＴＵに分割され得る。ＴＵが更に分割されないとき、そのＴＵはリーフＴＵと呼ばれ得る。一般に、イントラコード化の場合、リーフＣＵに属する全てのリーフＴＵは同じイントラ予測モードを共有する。即ち、一般に、リーフＣＵの全てのＴＵの予測値を計算するために同じイントラ予測モードが適用される。イントラコード化の場合、ビデオエンコーダは、イントラ予測モードを使用して各リーフＴＵの残差値を、ＴＵに対応するＣＵの一部と元のブロックとの間の差分として計算し得る。ＴＵは、必ずしもＰＵのサイズに制限されるとは限らない。従って、ＴＵはＰＵよりも大きく又は小さくなり得る。イントラコード化の場合、ＰＵは、同じＣＵのための対応するリーフＴＵと同じ位置にあり得る。幾つかの例では、リーフＴＵの最大サイズは、対応するリーフＣＵのサイズに対応し得る。
【００５７】
[0072]その上、リーフＣＵのＴＵはまた、残差４分木（ＲＱＴ）と呼ばれる、それぞれの４分木データ構造と関連付けられ得る。即ち、リーフＣＵは、リーフＣＵがどのようにＴＵに区分されるかを示す４分木を含み得る。ＴＵ４分木のルートノードは一般にリーフＣＵに対応し、ＣＵ４分木のルートノードは一般にツリーブロック（又はＬＣＵ）に対応する。分割されないＲＱＴのＴＵはリーフＴＵと呼ばれる。全般に、本開示では、別段明記されない限り、リーフＣＵ及びリーフＴＵに言及するためにそれぞれＣＵ及びＴＵという用語を使用する。
【００５８】
[0073]ビデオシーケンスは通常、一連のピクチャを含む。ピクチャグループ（ＧＯＰ）は、一般に、ビデオピクチャのうちの一連の１つ又は複数を備える。ＧＯＰは、ＧＯＰ中に含まれる幾つかのピクチャを記述するシンタックスデータを、ＧＯＰのヘッダ中、ピクチャのうちの１つ又は複数のヘッダ中、又は他の場所に含み得る。ピクチャの各スライスは、それぞれのスライスの符号化モードを記述するスライスシンタックスデータを含み得る。ビデオエンコーダ２０は通常、ビデオデータを符号化するために個々のビデオスライス内のビデオブロックに対して動作する。ビデオブロックは、ＣＵ内のコード化ノードに対応し得る。ビデオブロックは、固定のサイズ又は可変のサイズを有してよく、指定されるコード化規格に応じてサイズが異なり得る。
【００５９】
[0074]一例として、ＨＭは、様々なＰＵサイズでの予測をサポートする。特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＨＭは、２Ｎ×２Ｎ又はＮ×ＮのＰＵサイズでのイントラ予測をサポートし、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、又はＮ×Ｎの対称的なＰＵサイズでのインター予測をサポートする。ＨＭはまた、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、及びｎＲ×２ＮのＰＵサイズでのインター予測のための非対称区分をサポートする。非対称区分では、ＣＵの一方向は区分されないが、他の方向は２５％と７５％とに区分される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。従って、例えば、「２Ｎ×ｎＵ」は、上部の２Ｎ×０．５Ｎ  ＰＵと下部の２Ｎ×１．５Ｎ  ＰＵへと水平方向に区分された２Ｎ×２Ｎ  ＣＵを指す。
【００６０】
[0075]本開示では、「Ｎ×Ｎ（NxN）」及び「Ｎ×Ｎ（N by N）」は、垂直寸法及び水平寸法に関するビデオブロックの画素寸法、例えば、１６×１６（16x16）画素又は１６×１６（16 by 16）画素を指すために互換的に使用され得る。一般に、１６×１６ブロックは、垂直方向に１６画素を有し（ｙ＝１６）、水平方向に１６画素を有する（ｘ＝１６）。同様に、Ｎ×Ｎブロックは、一般に、垂直方向にＮ画素を有し、水平方向にＮ画素を有し、但し、Ｎは非負整数値を表す。ブロック内の画素は行と列で構成され得る。更に、ブロックは、必ずしも、水平方向に垂直方向と同じ数の画素を有する必要はない。例えば、ブロックはＮ×Ｍ画素を備えてよく、但し、Ｍは必ずしもＮに等しいとは限らない。
【００６１】
[0076]ＣＵのＰＵを使用したイントラ予測コード化又はインター予測コード化の後、ビデオエンコーダ２０は、ＣＵのＴＵのための残差データを計算し得る。ＰＵは、（画素領域とも呼ばれる）空間領域において予測画素データを生成する方法又はモードを記述するシンタックスデータを備えてよく、ＴＵは、変換、例えば、残差ビデオデータへの離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、又は概念的に同様の変換の適用後の、変換領域における係数を備え得る。残差データは、符号化されていないピクチャの画素と、ＰＵに対応する予測値との間の画素差分に対応し得る。ビデオエンコーダ２０は、ＣＵのための残差データを含むＴＵを形成し、次いで、ＴＵを変換して、ＣＵの変換係数を生成し得る。
【００６２】
[0077]変換の後に、ビデオエンコーダ２０は、変換係数を量子化し得る。量子化は、一般に、更なる圧縮を提供する、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部又は全てに関連するビット深度を低減することができる。例えば、量子化中にｎビット値がｍビット値に切り捨てられてよく、ｎはｍよりも大きい。
【００６３】
[0078]量子化の後に、ビデオエンコーダは、変換係数を走査して、量子化変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（従ってより低い周波数）の係数をアレイの前方に配置し、より低いエネルギー（従ってより高い周波数）の係数をアレイの後方に配置するように設計され得る。幾つかの例では、ビデオエンコーダ２０は、予め定義された走査順序を利用して、量子化された変換係数を走査し、エントロピー符号化され得る直列化されたベクトルを生成し得る。他の例では、ビデオエンコーダ２０は適応走査を実行し得る。量子化変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２０は、例えば、コンテキスト適応可変長コード化（ＣＡＶＬＣ）、コンテキスト適応バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化、又は別のエントロピー符号化方法に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２０はまた、ビデオデータを復号する際にビデオデコーダ３０が使用するための符号化ビデオデータに関連するシンタックス要素をエントロピー符号化することができる。
【００６４】
[0079]ＣＡＢＡＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルにコンテキストモデル内のコンテキストを割り当てることができる。コンテキストは、例えば、シンボルの隣接値が０ではないかどうかに関係し得る。ＣＡＶＬＣを実行するために、ビデオエンコーダ２０は、送信されるべきシンボルのための可変長コードを選択することができる。ＶＬＣにおけるコードワードは、比較的短いコードが優勢シンボル（more probable symbols）に対応し、より長いコードが劣勢シンボル（less probable symbols）に対応するように構成され得る。このようにして、ＶＬＣを使用すると、例えば、送信されるべきシンボルごとに等長コードワードを使用するよりも、ビットの節約を実現することができる。確率の決定は、シンボルに割り当てられるコンテキストに基づき得る。
【００６５】
[0080]ビデオエンコーダ２０は更に、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、及びＧＯＰベースのシンタックスデータなどのシンタックスデータを、例えば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、又はＧＯＰヘッダ中でビデオデコーダ３０に送り得る。ＧＯＰシンタックスデータは、それぞれのＧＯＰ中の幾つかのピクチャを記述することができ、ピクチャシンタックスデータは、対応するピクチャを符号化するために使用される符号化／予測モードを示すことができる。
【００６６】
[0081]ビデオデコーダ３０は、コード化ビデオデータを受信すると、ビデオエンコーダ２０に関して説明した符号化パス（encoding pass）と概して同様の復号パス（decoding pass）を実行することができる。例えば、復号プロセス中に、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信し得る。ビデオデコーダ３０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するために、ビットストリームを復号することができる。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
【００６７】
[0082]上記のように、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、様々なサイズのブロックを使用するように構成されてよく、ブロックは非正方形であってよい。例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、矩形などの非正方形であるＰＵ及びＴＵを使用することができる。
【００６８】
[0083]場合によっては、非正方形ブロックはビデオコード化プロセスを複雑にすることがある。例えば、１つ又は複数の非正方形ＰＵと１つ又は複数の正方形ＴＵとを使用してビデオデータのブロックをコード化することで、２つ以上の予測区分に１つの変換が適用される結果となることがあり、これはコード化効率に影響を及ぼし得る。別の例では、ビットストリームにおいて非正方形ＴＵの配列を信号伝達することは、比較的複雑であり得る。更に、ＨＥＶＣ規格などの幾つかのビデオコード化規格は、非正方形変換を適用するための比較的複雑なルールを有し得る。
【００６９】
[0084]本開示の態様は一般に、非正方形変換の適用を簡略化することに関する。例えば、本開示の態様によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、１つ又は複数の非正方形区分を含むビデオデータのブロックに関連する画素値を予測するための予測区分構造を決定することができる。ビデオエンコーダ２０及び／又はビデオデコーダ３０はまた、予測画素値に１つ又は複数の変換を適用するための変換区分構造を決定することができる。幾つかの例では、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、親ＴＵを１つ又は複数のサブＴＵに分割することができる。変換区分構造が親ＴＵを１つ又は複数の正方形変換に分割することを含むとき、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することができる。変換区分構造が親ＴＵを１つ又は複数の非正方形変換に分割することを含むとき、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、１つ又は複数の非正方形変換を分割するかどうかを、１つ又は複数の非正方形変換が非正方形であることに少なくとも一部基づいて決定することができる。ビデオエンコーダ２０及び／又はビデオデコーダ３０は次いで、決定された変換区分構造に基づいて予測画素値をコード化することができる。
【００７０】
[0085]例えば、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することに関して、本開示の態様によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、予測区分境界を越えることなく残差ビデオデータに変換を適用することができる。即ち、本開示の態様によれば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、正方形変換を、２つ以上の予測区分に変換が適用されないように、１つ又は複数の非正方形区分を有するＰＵに適用することができる。
【００７１】
[0086]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、以下でより詳細に説明するように、最大ＲＱＴ深度がビデオエンコーダ２０によって選択され、ハイレベルシンタックスを使用してビデオデコーダ３０に信号伝達され得る。最大ＲＱＴ深度は、変換分割が発生し得る回数を制限する。例えば、最大ＲＱＴ深度が１であるようにセットされた場合、ただ１つの変換選択、即ち深度０変換がある。
【００７２】
[0087]しかしながら、場合によっては、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、予測区分境界に基づいて、（例えば、セットされた最大ＲＱＴ深度を無効にする）強制変換分割を実行することができる。例えば、以下でより詳細に説明するように、深度０変換はＣＵのサイズを有し、そのため、非２Ｎ×２Ｎ  ＰＵ（例えば、複数の予測区分を有するＰＵ）の予測区分境界に及ぶことになる。従って、非２Ｎ×２Ｎ  ＰＵの場合、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、単一の変換が２つ以上のＰＵに及ぶのを防ぐために、強制分割を実行することができる。
【００７３】
[0088]一方、非正方形変換が利用不可能である場合、強制変換分割を実行してもなお、１つのＴＵがＰＵの２つ以上の予測区分に及ぶ結果となり得る。例えば、以下でより詳細に説明するように、非対称動き区分（ＡＭＰ：Asymmetric Motion Partition）モードなどの幾つかの予測モードの強制変換分割では、変換は動き境界（予測動き区分を別個に分ける境界）に及び得る。即ち、１つの変換が２つの異なる予測区分に適用される。
【００７４】
[0089]幾つかの例では、本開示の技法は強制変換分割プロセスにおいて適用され得る。例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、ＡＭＰ動き境界などの予測区分境界を変換が越えるときはいつでも、強制分割を実行することができる。強制分割を実行するとき、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、変換を、得られる変換が複数の予測区分に及ばなくなる（例えば、変換がちょうど１つの予測区分に対応する）まで、分割し続けることができる。このようにして、ビデオエンコーダ２０及び／又はビデオデコーダ３０は、予測区分境界を越えない最大変換を使用することができる。
【００７５】
[0090]１つ又は複数の非正方形変換を分割するかどうかを、非正方形変換が非正方形であることに基づいて決定することに関して、本開示の態様によれば、ビデオエンコーダ２０及び／又はビデオデコーダは、非正方形変換の適用を簡略化するための１つ又は複数の所定のルールに準拠し得る。一例では、ビデオエンコーダ２０及び／又はビデオデコーダは、非正方形変換を分割することを控えることがある。言い換えれば、ＴＵが少なくとも１つの非正方形ＴＵに分割されているとビデオエンコーダ２０及び／又はビデオデコーダが決定したとき、ビデオエンコーダ２０及び／又はビデオデコーダは、非正方形ＴＵは更に分割されないと決定することができる。
【００７６】
[0091]一例が以下の表１に示される。表１は一般に、ＴＵを含むＣＵのサイズに基づく、ルミナンス（Ｙ）ＴＵとクロミナンス（Ｕ、Ｖ）ＴＵの両方に関するＴＵの許容サイズの例を記述している。クロミナンスブロックは通常、対応するルミナンスブロックに対する１／４画素解像度によってダウンサンプリングされることに留意されたい。その上、ＲＱＴ構造は、様々なＴＵサイズに対応する様々な深度におけるノードを含み、ここで深度０は通常、親ＴＵ（例えば、親ルミナンス変換単位及び／又は親クロミナンス変換単位）が分割されないことを示し、深度１は、親ＴＵが１回分割されることを示し、深度２は、深度１におけるＴＵが更に分割されることを示す。上述の例によれば、ＴＵが１つ又は複数の非正方形ＴＵに分割された後、非正方形ＴＵは更に分割されない。従って、表１における「ＮＡ」のエントリは、親ＴＵが非正方形ＴＵであるために、対応する深度が利用不可能であることを示し得る。
【表１】
2015516769.tif 000003
【００７７】
[0092]別の例では、非正方形変換は、追加の非正方形変換にのみ分割され得る。即ち、ＴＵを非正方形変換に分割した後、ビデオエンコーダ２０及び／又はビデオデコーダは、引き続き非正方形変換を非正方形変換に分割することはあるが、非正方形変換を正方形変換に分割することはない。例えば最小ＴＵサイズに対する制限により、非正方形ＴＵが更に非正方形ＴＵに分割され得ない場合、分割は停止する。一例が以下の表２に示されている。
【表２】
2015516769.tif 000004
【００７８】
[0093]別の例では、（前述の例の）非正方形ＴＵを更なる非正方形ＴＵにのみ分割するルールは、ビデオデータのルミナンス（「ルーマ」）成分にのみ適用され得る。一例が以下の表３に示されている。
【表３】
2015516769.tif 000005
【００７９】
[0094]また別の例では、上記の例のルールは、適応的に適用され得る。例えば、ビデオエンコーダ２０及び／又はビデオデコーダは、以下でより詳細に説明するように、ＣＵサイズ、ピクチャタイプ、ピクチャ解像度、ブロックタイプなどのうちの１つ又は複数に基づいて、非正方形変換の所定のルールを適用することができる。
【００８０】
[0095]図２は、ビデオコード化における変換を適用するための技法を実装し得るビデオエンコーダ２０の例を示すブロック図である。ビデオエンコーダ２０は、ビデオスライス内のビデオブロックのイントラコード化とインターコード化とを実行し得る。イントラコード化は、空間的予測を利用して、所与のピクチャ内のビデオの空間的冗長性を低減又は除去する。インターコード化は、時間的予測を利用して、ビデオシーケンスの隣接ピクチャ又はピクチャ内のビデオの時間的冗長性を低減又は除去する。イントラモード（Ｉモード）は、幾つかの空間ベースのコード化モードのいずれかを指し得る。単方向予測（Ｐモード）又は双方向予測（Ｂモード）などのインターモードは、幾つかの時間ベースのコード化モードのいずれかを指し得る。
【００８１】
[0096]図２に示されるように、ビデオエンコーダ２０は、符号化されるべきビデオピクチャ内の現在のビデオブロックを受信する。図２の例では、ビデオエンコーダ２０は、モード選択ユニット４０と、参照ピクチャメモリ６４と、加算器５０と、変換処理ユニット５２と、量子化ユニット５４と、エントロピーコード化ユニット５６とを含む。モード選択ユニット４０は、今度は、動き補償ユニット４４と、動き推定ユニット４２と、イントラ予測ユニット４６と、区分化ユニット４８とを含む。ビデオブロックの復元のために、ビデオエンコーダ２０はまた、逆量子化ユニット５８と、逆変換単位６０と、加算器６２とを含む。復元されたビデオからブロック歪み（blockiness artifacts）を除去するためにブロック境界をフィルタリングする、デブロッキングフィルタ（図２に図示せず）も含まれ得る。所望される場合、デブロッキングフィルタは一般に、加算器６２の出力をフィルタリングすることになる。また、デブロッキングフィルタに加えて追加のフィルタ（ループ内又はループ後）が使用され得る。そのようなフィルタは、簡潔のために示されていないが、所望される場合、（ループ内フィルタとして）加算器５０の出力をフィルタリングし得る。
【００８２】
[0097]符号化プロセス中に、ビデオエンコーダ２０は、コード化されるべきビデオピクチャ又はスライスを受信する。ピクチャ又はスライスは、複数のビデオブロックに分割され得る。動き推定ユニット４２及び動き補償ユニット４４は、時間的予測を行うために、１つ又は複数の参照ピクチャ中の１つ又は複数のブロックに対して受信されたビデオブロックのインター予測コード化を実行する。イントラ予測ユニット４６は代替的に、空間的な予測を行うために、コード化されるべきブロックと同じピクチャ又はスライス中の１つ又は複数の隣接ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。ビデオエンコーダ２０は、例えば、ビデオデータのブロックごとに適切なコード化モードを選択するために、複数のコード化パスを実行し得る。
【００８３】
[0098]その上、区分化ユニット４８は、前のコード化パスにおける前の区分方式の評価に基づいて、ビデオデータのブロックをサブブロックに区分化し得る。例えば、区分化ユニット４８は、初めにピクチャ又はスライスをＬＣＵに区分化し、レート歪み分析（例えば、レート歪み最適化）に基づいてＬＣＵの各々をサブＣＵに区分化し得る。モード選択ユニット４０は、更に、ＬＣＵをサブＣＵに区分化することを示す４分木データ構造を生成し得る。４分木のリーフノードＣＵは、１つ又は複数のＰＵと、１つ又は複数のＴＵとを含み得る。
【００８４】
[0099]モード選択ユニット４０は、例えば、誤差結果に基づいて、コード化モード、即ち、イントラ又はインターのうちの１つを選択することができ、残差ブロックデータを生成するために、得られたイントラコード化されたブロック又はインターコード化されたブロックを加算器５０に与え、参照ピクチャとして使用するための符号化ブロックを復元するために、得られたイントラコード化されたブロック又はインターコード化されたブロックを加算器６２に与える。モード選択ユニット４０はまた、動きベクトル、イントラモードインジケータ、区分情報、及び他のそのようなシンタックス情報などのシンタックス要素をエントロピーコード化ユニット５６に与える。
【００８５】
[0100]動き推定ユニット４２及び動き補償ユニット４４は高度に統合され得るが、概念的な目的のために別々に示されている。動き推定ユニット４２によって実行される動き推定は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、例えば、現在のピクチャ（又は他のコード化単位）内でコード化されている現在のブロックに対する参照ピクチャ（又は他のコード化単位）内の予測ブロックに対する現在のピクチャ内のビデオブロックのＰＵの変位を示し得る。予測ブロックは、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、又は他の差分尺度によって決定され得る画素差分に関して、コード化されるブロックに精密に一致することがわかっているブロックである。幾つかの例では、ビデオエンコーダ２０は、参照ピクチャメモリ６４に記憶された参照ピクチャのサブ整数画素位置の値を計算し得る。例えば、ビデオエンコーダ２０は、参照ピクチャの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間し得る。従って、動き推定ユニット４２は、フル画素位置と分数画素位置とに対する動き探索を実行し、分数画素精度で動きベクトルを出力し得る。
【００８６】
[0101]動き推定ユニット４２は、ＰＵの位置を参照ピクチャの予測ブロックの位置と比較することによって、インターコード化スライス中のビデオブロックのＰＵのための動きベクトルを計算する。参照ピクチャは、第１の参照ピクチャリスト（リスト０）又は第２の参照ピクチャリスト（リスト１）から選択されてよく、それらの参照ピクチャリストの各々は、参照ピクチャメモリ６４に記憶された１つ又は複数の参照ピクチャを識別する。動き推定ユニット４２は、計算された動きベクトルをエントロピー符号化ユニット５６と動き補償ユニット４４とに送る。
【００８７】
[0102]動き補償ユニット４４によって実行される動き補償は、動き推定ユニット４２によって決定された動きベクトルに基づいて予測ブロックをフェッチ又は生成することに関与し得る。この場合も、幾つかの例では、動き推定ユニット４２と動き補償ユニット４４とは機能的に統合され得る。現在のビデオブロックのＰＵのための動きベクトルを受信すると、動き補償ユニット４４は、参照ピクチャリストのうちの１つにおいて動きベクトルが指す予測ブロックの位置を特定し得る。加算器５０は、以下で説明されるように、コード化されている現在ビデオブロックの画素値から予測ブロックの画素値を減算し、画素差分値を形成することによって、残差ビデオブロックを形成する。一般に、動き推定ユニット４２はルーマ成分に対して動き推定を実行し、動き補償ユニット４４は、クロマ成分とルーマ成分の両方のためにルーマ成分に基づいて計算された動きベクトルを使用する。モード選択ユニット４０はまた、ビデオスライスのビデオブロックを復号する際にビデオデコーダ３０が使用するためのビデオブロックとビデオスライスとに関連するシンタックス要素を生成し得る。
【００８８】
[0103]イントラ予測ユニット４６は、上で説明されたように、動き推定ユニット４２と動き補償ユニット４４とによって実行されるインター予測の代替として、現在のブロックをイントラ予測し得る。特に、イントラ予測ユニット４６は、現在のブロックを符号化するために使用すべきイントラ予測モードを決定し得る。幾つかの例では、イントラ予測ユニット４６は、例えば、別々の符号化パスの間に、様々なイントラ予測モードを使用して、現在のブロックを符号化することができ、イントラ予測ユニット４６（又は、幾つかの例において、モード選択ユニット４０）は、テストされたモードから使用するのに適切なイントラ予測モードを選択することができる。
【００８９】
[0104]例えば、イントラ予測ユニット４６は、様々なテストされたイントラ予測モードのためのレート歪み分析を使用してレート歪み値を計算し、テストされたモードの中で最良のレート歪み特性を有するイントラ予測モードを選択し得る。レート歪み分析は、一般に、符号化ブロックと、符号化ブロックを生成するために符号化された元の符号化されていないブロックとの間の歪み（又は誤差）の量、及び符号化ブロックを生成するために使用されるビットレート（即ち、ビット数）を決定する。イントラ予測ユニット４６は、どのイントラ予測モードがブロックについて最良のレート歪み値を呈するかを判定するために、様々な符号化ブロックの歪み及びレートから比率を計算し得る。
【００９０】
[0105]ブロック用のイントラ予測モードを選択した後、イントラ予測ユニット４６は、ブロック用に選択されたイントラ予測モードを示す情報を、エントロピーコード化ユニット５６に提供することができる。エントロピーコード化ユニット５６は、選択されたイントラ予測モードを示す情報を符号化することができる。ビデオエンコーダ２０は、（コードワードマッピングテーブルとも呼ばれる）複数のイントラ予測モードインデックステーブル及び複数の修正されたイントラ予測モードインデックステーブルと、様々なブロック用の符号化コンテキストの定義と、最確イントラ予測モードの指示とを含み得る送信されるビットストリーム構成データの中に、コンテキストの各々について使用する、イントラ予測モードインデックステーブルと修正されたイントラ予測モードインデックステーブルとを含めることができる。
【００９１】
[0106]ビデオエンコーダ２０は、コード化されている元のビデオブロックから、モード選択ユニット４０からの予測データを減算することによって、残差ビデオブロックを形成する。加算器５０は、この減算演算を実行する１つ又は複数のコンポーネントを表す。
【００９２】
[0107]変換処理ユニット５２は、離散コサイン変換（ＤＣＴ）又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換係数値を備えるビデオブロックを生成する。変換処理ユニット５２は、ＤＣＴと概念的に同様である他の変換を実行し得る。ウェーブレット変換、整数変換、サブバンド変換又は他のタイプの変換も使用され得る。いずれの場合も、変換処理ユニット５２は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換は、残差情報を画素値領域から周波数領域などの変換領域に変換し得る。
【００９３】
[0108]幾つかの例では、変換処理ユニット５２は、正方形変換ならびに非正方形変換を適用することができる。更に、変換処理ユニット５２は、クロマ変換を対応するルーマ変換と同期させることができる。従って、ルーマ変換ブロックが分割される場合、可能なときはいつでも、対応するクロマ変換ブロックも分割され得る。変換処理ユニット５２はまた、適用される変換の最小サイズに対する制限を適用することができる。例えば、変換処理ユニット５２は、最小サイズの４×Ｎ変換を適用することができ、そのため１６×４ブロックが、２×８変換の代わりに４つの４×４変換に分割され得る。表４は、非正方形変換の場合の変換分割の一例を提供している。
【表４】
2015516769.tif 000006
【００９４】
[0109]本開示の態様によれば、変換処理ユニット５２は、変換を、予測区分境界を変換が越えないように決定することができる。即ち、本開示の態様によれば、変換処理ユニット５２は、正方形変換を、２つ以上の予測区分に変換が適用されないように、１つ又は複数の非正方形区分を有するＰＵに適用することができる。
【００９５】
[0110]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、変換処理ユニット５２は、ＡＭＰ動き境界などの予測区分境界を変換が越えるときはいつでも、強制分割を実行することができる。強制分割を実行するとき、変換処理ユニット５２は、変換を、得られる変換が複数の予測区分に及ばなくなる（例えば、変換がちょうど１つの予測区分に対応する）まで、分割し続けることができる。
【００９６】
[0111]幾つかの例によれば、変換処理ユニット５２は、幾つかの色成分の場合のみ強制ＴＵ分割を実行することができる。例えば、変換処理ユニット５２は、ピクチャのルーマ色成分に対してのみ強制変換分割を適用することができる。この例では、変換処理ユニット５２は、コード化されているブロックの関連予測区分にかかわらず、クロマ色成分に２Ｎ×２Ｎ変換を適用することができる。別の例では、変換処理ユニット５２は、異なる強制分割方式をクロマ色成分に適用し得る。
【００９７】
[0112]変換処理ユニット５２は、本開示の技法に従って、強制変換分割を適応的に実行することができる。例えば、強制変換分割は、ビデオデータに関連するコード化特性に基づいて有効又は無効になり得る。この例では、変換分割を強制するかどうかを決定するためのコード化特性は、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、ブロックモード（例えば、インター／イントラ、Ｐ／Ｂ／Ｉ）、動きベクトル振幅、参照インデックス、又は様々な他の特性を含むことができる。
【００９８】
[0113]本開示の他の態様によれば、変換処理ユニット５２は、追加又は代替として、非正方形変換の適用を簡略化するための１つ又は複数の所定のルールに準拠することができる。一例では、変換処理ユニット５２は、非正方形変換を分割することを控えることがある。即ち、ＴＵを少なくとも１つの非正方形ＴＵに分割すると、変換処理ユニット５２は、非正方形変換を更に分割しないことがある。この例によれば、変換処理ユニット５２は、上の表１に示す変換分割制限を適用することができる。
【００９９】
[0114]別の例では、変換処理ユニット５２は、非正方形変換を追加の非正方形変換にのみ分割することができる。即ち、ＴＵを非正方形変換に分割した後、変換処理ユニット５２は、引き続き非正方形変換を非正方形変換に分割することはあるが、非正方形変換を正方形変換に分割することはない。例えばＴＵサイズに対する制限により、非正方形ＴＵが更に非正方形ＴＵに分割され得ない場合、変換処理ユニット５２はＴＵを更に分割することはない。この例によれば、変換処理ユニット５２は、上の表２に示す変換分割制限を適用することができる。
【０１００】
[0115]更に別の例では、変換処理ユニット５２は、コード化されているビデオデータの色成分に基づいて変換分割制限を適用することができる。例えば、変換処理ユニット５２は、ビデオデータのルーマ成分に上述の変換制限を適用することができるが、クロマ成分に異なる変換分割制限を適用しても（又は制限を適用しなくても）よい。この例によれば、変換処理ユニット５２は、上の表２に示す変換分割制限を適用することができる。
【０１０１】
[0116]更に別の例では、変換処理ユニット５２は、変換分割制限を適応的に適用することができる。例えば、変換処理ユニット５２は、ＣＵサイズ、ピクチャタイプ、ピクチャ解像度、ブロックタイプ、又はビデオ情報に関連する他の要素のうちの１つ又は複数に基づいて、上述の変換分割制限を適用することができる。即ち、例えば、変換処理ユニット５２は、サイズが６４×６４であるＣＵに第１の変換分割制限セットを適用し、サイズが３２×３２であるＣＵに第２の異なる変換分割制限セットを適用することができる。ピクチャタイプ、ピクチャ解像度、ブロックタイプ、又は他の要素を含め、他の要素も分割制限に影響を与え得る。
【０１０２】
[0117]変換処理ユニット５２は、得られた変換係数を量子化ユニット５４に送り得る。量子化ユニット５４は、ビットレートを更に低減するために変換係数を量子化する。量子化プロセスは、係数の一部又は全てに関連するビット深度を低減することができる。量子化の程度は、量子化パラメータを調整することによって修正され得る。幾つかの例では、量子化ユニット５４は、次いで、量子化変換係数を含む行列の走査を実行し得る。代替的に、エントロピー符号化ユニット５６が走査を実行し得る。
【０１０３】
[0118]量子化の後、エントロピーコード化ユニット５６は、量子化変換係数をエントロピーコード化する。例えば、エントロピーコード化ユニット５６は、コンテキスト適応型可変長コード化（ＣＡＶＬＣ）、コンテキスト適応型バイナリ算術コード化（ＣＡＢＡＣ）、シンタックスベースコンテキスト適応型バイナリ算術コード化（ＳＢＡＣ）、確率間隔区分エントロピー（ＰＩＰＥ）コード化又は別のエントロピーコード化技法を実行し得る。コンテキストベースエントロピーコード化の場合、コンテキストは隣接ブロックに基づき得る。エントロピーコード化ユニット５６によるエントロピーコード化の後、符号化ビットストリームは、別の機器（例えば、ビデオデコーダ３０）に送信されてよく、又は後で送信するか若しくは取り出すために保管され得る。
【０１０４】
[0119]逆量子化ユニット５８及び逆変換単位６０は、それぞれ逆量子化及び逆変換を適用して、例えば参照ブロックとして後で使用するために、画素領域中で残差ブロックを復元する。動き補償ユニット４４は、残差ブロックを参照ピクチャメモリ６４のピクチャのうちの１つの予測ブロックに加算することによって参照ブロックを計算し得る。動き補償ユニット４４はまた、復元された残差ブロックに１つ又は複数の補間フィルタを適用して、動き推定において使用するサブ整数画素値を計算し得る。加算器６２は、復元された残差ブロックを、動き補償ユニット４４によって生成された動き補償予測ブロックに加算して、参照ピクチャメモリ６４に記憶するための復元されたビデオブロックを生成する。復元されたビデオブロックは、後続のピクチャ中のブロックをインターコード化するための参照ブロックとして、動き推定ユニット４２及び動き補償ユニット４４によって使用され得る。
【０１０５】
[0120]図３は、ビデオコード化における変換を適用するための技法を実装し得るビデオデコーダ３０の例を示すブロック図である。図３の例では、ビデオデコーダ３０は、エントロピー復号ユニット７０と、動き補償ユニット７２と、イントラ予測ユニット７４と、逆量子化ユニット７６と、逆変換単位７８と、参照ピクチャメモリ８２と、加算器８０とを含む。
【０１０６】
[0121]背景として、ビデオデコーダ３０は、ネットワークを介した送信のために、所謂「ネットワークアブストラクションレイヤ単位（network abstraction layer unit）」、即ちＮＡＬ単位に圧縮された圧縮ビデオデータを受信し得る。各ＮＡＬ単位は、ＮＡＬ単位に記憶されるデータのタイプを識別するヘッダを含み得る。一般にＮＡＬ単位に記憶されるデータの２つのタイプがある。ＮＡＬ単位に記憶されるデータの第１のタイプはビデオコード化レイヤ（ＶＣＬ：video coding layer）データであり、これは圧縮ビデオデータを含む。ＮＡＬ単位に記憶されるデータの第２のタイプは非ＶＣＬデータと呼ばれ、これは、多数のＮＡＬ単位に共通のヘッダデータを定義するパラメータセットなどの追加情報と、補足拡張情報（ＳＥＩ：supplemental enhancement information）とを含む。
【０１０７】
[0122]例えば、パラメータセットは、（例えば、シーケンスパラメータセット（ＳＰＳ：sequence parameter set）中の）シーケンスレベルヘッダ情報と（例えば、ピクチャパラメータセット（ＰＰＳ）中の）まれに変化するピクチャレベルヘッダ情報とを含んでいることがある。パラメータセット中に含まれているまれに変化する情報は、シーケンス又はピクチャごとに繰り返される必要がなく、それによりコード化効率が改善される。更に、パラメータセットの使用はヘッダ情報の帯域外送信を可能にし、それにより誤り耐性のための冗長送信の必要を回避する。
【０１０８】
[0123]復号プロセス中に、ビデオデコーダ３０は、符号化ビデオスライスのビデオブロックと、関連するシンタックス要素とを表す符号化ビデオビットストリームを受信する。全般に、エントロピー復号ユニット７０は、量子化係数と、動きベクトルと、他のシンタックス要素とを生成するためにビットストリームをエントロピー復号する。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルでシンタックス要素を受信し得る。
【０１０９】
[0124]例えば、ビデオスライスがイントラコード化（Ｉ）スライスとしてコード化されるとき、イントラ予測ユニット７４は、信号伝達されたイントラ予測モードと、現在のピクチャの、前に復号されたブロックからのデータとに基づいて、現在のビデオスライスのビデオブロックのための予測データを生成し得る。ビデオピクチャがインターコード化（即ち、Ｂ、Ｐ、又はＧＰＢ）スライスとしてコード化されるとき、動き補償ユニット７２は、エントロピー復号ユニット７０から受信された動きベクトルと他のシンタックス要素とに基づいて、現在のビデオスライスのビデオブロックのための予測ブロックを生成する。予測ブロックは、参照ピクチャリストの１つの中の参照ピクチャの１つから生成され得る。ビデオデコーダ３０は、参照ピクチャメモリ８２に記憶された参照ピクチャに基づいて、デフォルトの構成技法を使用して、参照ピクチャリスト、即ち、リスト０とリスト１とを構築し得る。
【０１１０】
[0125]動き補償ユニット７２は、動きベクトルと他のシンタックス要素とを解析することによって現在のビデオスライスのビデオブロックについての予測情報を決定し、予測情報を使用して、復号されている現在のビデオブロックのための予測ブロックを生成する。例えば、動き補償ユニット７２は、ビデオスライスのビデオブロックをコード化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ又は複数に対する構成情報、スライスの各インター符号化ビデオブロックに対する動きベクトル、スライスの各インターコード化ビデオブロックに対するインター予測ステータス、及び現在のビデオスライス中のビデオブロックを復号するための他の情報を決定するために、受信されたシンタックス要素の幾つかを使用する。
【０１１１】
[0126]動き補償ユニット７２はまた、補間フィルタに基づいて補間を実行し得る。動き補償ユニット７２は、ビデオブロックの符号化中にビデオエンコーダ２０によって使用された補間フィルタを使用して、参照ブロックのサブ整数画素の補間値を計算し得る。この場合、動き補償ユニット７２は、受信されたシンタックス要素からビデオエンコーダ２０によって使用された補間フィルタを決定し、その補間フィルタを使用して予測ブロックを生成し得る。
【０１１２】
[0127]逆量子化ユニット７６は、ビットストリーム中で与えられ、エントロピー復号ユニット８０によって復号された量子化変換係数を逆量子化（inverse quantize）、即ち、逆量子化（de-quantize）する。逆量子化プロセスは、量子化の程度を判定し、同様に、適用されるべき逆量子化の程度を決定するための、ビデオスライス中のビデオブロックごとにビデオエンコーダ３０によって計算される量子化パラメータＱＰYの使用を含み得る。
【０１１３】
[0128]逆変換単位７８は、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に同様の逆変換処理を変換係数に適用して、画素領域において残差ブロックを生成する。例えば、ビデオデコーダ３０は、符号化ビットストリームから変換係数の２次元ブロックを復元することができる。逆変換単位７８は、変換係数の復元されたブロックに逆変換を適用して、画素領域において残差ブロックを生成することができる。本開示で説明するように、「変換」は一般に、（例えば、変換処理ユニット５２（図２）によって適用されるような）順変換又は（例えば、逆変換単位６０（図２）若しくは逆変換単位７８によって適用されるような）逆変換のいずれかを指し得る。
【０１１４】
[0129]逆変換単位７８は、変換処理ユニット５２に関して上述したのと同様の変換区分プロセスを決定し、適用することができる。幾つかの例では、逆変換単位７８は、変換区分構造（例えば、ＲＱＴ）を決定するための変換処理ユニット５２（図２）と同じプロセスを適用し得る。他の例では、逆変換単位７８は、例えば符号化ビットストリームにおいて受信された信号伝達に基づいてブロックに関するＲＱＴを決定することができる。
【０１１５】
[0130]いずれの場合も、本開示の態様によれば、逆変換単位７８は、変換を、予測区分境界を変換が越えないように決定することができる。即ち、本開示の態様によれば、逆変換単位７８は、正方形変換を、２つ以上の予測区分に変換が適用されないように、１つ又は複数の非正方形区分を有するＰＵに適用することができる。
【０１１６】
[0131]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、逆変換単位７８は、ＡＭＰ動き境界などの予測区分境界を変換が越えるときはいつでも、強制分割を実行することができる。強制分割を実行するとき、逆変換単位７８は、変換を、得られる変換が複数の予測区分に及ばなくなる（例えば、変換がちょうど１つの予測区分に対応する）まで、分割し続けることができる。
【０１１７】
[0132]幾つかの例によれば、逆変換単位７８は、幾つかの色成分の場合のみ強制ＴＵ分割を実行することができる。例えば、逆変換単位７８は、ピクチャのルーマ色成分に対してのみ強制変換分割を適用することができる。この例では、逆変換単位７８は、コード化されているブロックの関連予測区分にかかわらず、クロマ色成分に２Ｎ×２Ｎ変換を適用することができる。別の例では、逆変換単位７８は、異なる強制分割方式をクロマ色成分に適用し得る。
【０１１８】
[0133]逆変換単位７８は、本開示の技法に従って、強制変換分割を適応的に実行することができる。例えば、強制変換分割は、ビデオデータに関連するコード化特性に基づいて有効又は無効になり得る。この例では、変換分割を強制するかどうかを決定するためのコード化特性は、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、ブロックモード（例えば、インター／イントラ、Ｐ／Ｂ／Ｉ）、動きベクトル振幅、参照インデックス、又は様々な他の特性を含むことができる。
【０１１９】
[0134]本開示の他の態様によれば、逆変換単位７８は、追加又は代替として、非正方形変換の適用を簡略化するための１つ又は複数の所定のルールに準拠することができる。一例では、逆変換単位７８は、非正方形変換を分割することを控えることがある。即ち、ＴＵを少なくとも１つの非正方形ＴＵに分割すると、逆変換単位７８は、非正方形変換を更に分割しないことがある。この例によれば、逆変換単位７８は、上の表１に示す変換分割制限を適用することができる。
【０１２０】
[0135]別の例では、逆変換単位７８は、非正方形変換を追加の非正方形変換にのみ分割することができる。即ち、ＴＵを非正方形変換に分割した後、逆変換単位７８は、引き続き非正方形変換を非正方形変換に分割することはあるが、非正方形変換を正方形変換に分割することはない。例えばＴＵサイズに対する制限により、非正方形ＴＵが更に非正方形ＴＵに分割され得ない場合、逆変換単位７８はＴＵを更に分割することはない。この例によれば、逆変換単位７８は、上の表２に示す変換分割制限を適用することができる。
【０１２１】
[0136]更に別の例では、逆変換単位７８は、コード化されているビデオデータの色成分に基づいて変換分割制限を適用することができる。例えば、逆変換単位７８は、ビデオデータのルーマ成分に上述の変換制限を適用することができるが、クロマ成分に異なる変換分割制限を適用しても（又は制限を適用しなくても）よい。この例によれば、逆変換単位７８は、上の表２に示す変換分割制限を適用することができる。
【０１２２】
[0137]更に別の例では、逆変換単位７８は、変換分割制限を適応的に適用することができる。例えば、逆変換単位７８は、ＣＵサイズ、ピクチャタイプ、ピクチャ解像度、ブロックタイプなどのうちの１つ又は複数に基づいて、上述の変換分割制限を適用することができる。即ち、例えば、逆変換単位７８は、サイズが６４×６４であるＣＵに第１の変換分割制限セットを適用し、サイズが３２×３２であるＣＵに第２の異なる変換分割制限セットを適用することができる。
【０１２３】
[0138]ビデオデコーダ３０は、逆変換単位７８からの残差ブロックを動き補償ユニット８２によって生成された対応する予測ブロックと加算することによって、復号ビデオブロックを形成する。加算器８０は、この加算演算を実行する１つ又は複数のコンポーネントを表す。所望される場合、ブロッキネスアーティファクトを除去するために、復号されたブロックをフィルタリングするためのデブロッキングフィルタも適用され得る。画素遷移を平滑化し、又は別様にビデオ品質を改善するために、（コード化ループ内又はコード化ループ後の）他のループフィルタも使用され得る。所与のピクチャの中の復号されたビデオブロックは、次いで、その後の動き補償のために使用される参照ピクチャを記憶する参照ピクチャメモリ８２に記憶される。参照ピクチャメモリ８２はまた、図１の表示装置３２のような表示装置上での後の表示のために、復号されたビデオを記憶する。
【０１２４】
[0139]図４Ａ及び図４Ｂは、例示的な４分木１５０と、対応する最大コード化単位１７２とを示す概念図である。図４Ａは、階層式に構成されたノードを含む、例示的な４分木１５０を示している。４分木１５０は、例えば、提案されたＨＥＶＣ規格によるツリーブロックに関連付けられ得る。４分木１５０など、４分木中の各ノードは、子をもたないリーフノードであるか、又は４つの子ノードを有し得る。図４Ａの例では、４分木１５０はルートノード１５２を含む。ルートノード１５２は、リーフノード１５６Ａ〜１５６Ｃ（リーフノード１５６）とノード１５４とを含む、４つの子ノードを有する。ノード１５４はリーフノードでないので、ノード１５４は、この例ではリーフノード１５８Ａ〜１５８Ｄ（リーフノード１５８）である、４つの子ノードを含む。
【０１２５】
[0140]４分木１５０は、この例ではＬＣＵ１７２など、対応するＬＣＵの特性を記述するデータを含み得る。例えば、４分木１５０は、それの構造により、サブＣＵへのＬＣＵの分割を記述し得る。ＬＣＵ１７２が２Ｎ×２Ｎのサイズを有すると仮定する。ＬＣＵ１７２は、この例では、４つのサブＣＵ１７６Ａ〜１７６Ｃ（サブＣＵ１７６）及び１７４を有し、各々はサイズＮ×Ｎである。サブＣＵ１７４は更に４つのサブＣＵ１７８Ａ〜１７８Ｄ（サブＣＵ１７８）に分割され、各々はサイズＮ／２×Ｎ／２である。この例では、４分木１５０の構造はＬＣＵ１７２の分割に対応する。即ち、ルートノード１５２はＬＣＵ１７２に対応し、リーフノード１５６はサブＣＵ１７６に対応し、ノード１５４はサブＣＵ１７４に対応し、リーフノード１５８はサブＣＵ１７８に対応する。
【０１２６】
[0141]４分木１５０のノードのデータは、ノードに対応するＣＵが分割されるかどうかを記述し得る。ＣＵが分割される場合、４分木１５０中に４つの追加のノードが存在し得る。幾つかの例では、４分木のノードは以下の擬似コードと同様に実装され得る。
【０１２７】
quadtree_node {
boolean split_flag(1);
// signaling data
if (split_flag) {
quadtree_node child1;
quadtree_node child2;
quadtree_node child3;
quadtree_node child4;
}
}      
ｓｐｌｉｔ＿ｆｌａｇ値は、現在のノードに対応するＣＵが分割されるかどうかを表す１ビット値であり得る。ＣＵが分割されない場合、ｓｐｌｉｔ＿ｆｌａｇ値は「０」であり得るが、ＣＵが分割される場合、ｓｐｌｉｔ＿ｆｌａｇ値は「１」であり得る。４分木１５０の例に関して、分割フラグ値のアレイは１０１００００００であり得る。
【０１２８】
[0142]上記のように、ＣＵ深度は、ＬＣＵ１７２などのＬＣＵが分割された程度を指し得る。例えば、ルートノード１５２は、ＣＵ深さ０に対応し得、ノード１５４及びリーフノード１５６は、ＣＵ深度１に対応し得る。更に、リーフノード１５８は、ＣＵ深度２に対応し得る。
【０１２９】
[0143]図４ＡではＣＵ４分木の一例を示しているが、同様の４分木がリーフノードＣＵのＴＵに適用され得ることを理解されたい。即ち、リーフノードＣＵは、ＣＵのためのＴＵの区分を記述する（残差４分木（ＲＱＴ）と呼ばれる）ＴＵ４分木を含み得る。ＴＵ４分木は、ＴＵ４分木がＣＵのＴＵのイントラ予測モードを個々に信号伝達し得ることを除いて、概してＣＵ４分木に似ていることがある。
【０１３０】
[0144]本開示の態様によれば、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、予測区分境界を越えて変換が適用されないように、図４Ａ及び図４Ｂに示す再帰的構造に従って変換分割を実行することができる。例えば、以下でより詳細に説明するように、ビデオコーダは、ビデオデータのブロックのＴＵを正方形のサブブロックに分割することを、ブロックに関連する２つ以上の予測区分に変換が適用されないように適用することができる。
【０１３１】
[0145]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、ビデオコーダは、（例えば、図６に関して後述するように）ＡＭＰ動き境界などの予測区分境界を変換が越えるときはいつでも、強制変換分割を実行することができる。強制分割を実行するとき、ビデオコーダは、変換をＲＱＴ構造に従って、得られる変換が複数の予測区分に及ばなくなる（例えば、変換がちょうど１つの予測区分に対応する）まで、分割し続けることができる。
【０１３２】
[0146]図５は、様々なサブブロックに区分化された例示的なブロック１９０を示す概念図である。図５に示す例では、３つのレベルの変換分解がある。レベル１（深度１）の分解では、変換ブロック全体が４つの１／４サイズのブロックに分割される。次いで、レベル２（深度２）で、第２の１／４サイズの変換ブロックが、４つの１／１６サイズの変換ブロックに更に分割される。次いで、レベル３（深度３）で、第４の１／１６サイズの変換ブロックが、４つの更に小さい変換ブロックに更に分割される。実際には、変換ブロックが更に分割される必要があるかどうかは、例えば、レート歪み最適化に基づいて決定される。
【０１３３】
[0147]ブロック１９０は、ＴＵの例を表し、ブロック１９０の区分は、４分木を使用する例示的な区分を表す。ブロック１９０がＴＵを表す場合、対応する４分木は残差４分木（ＲＱＴ）を備え得る。この例では、ＲＱＴのルートノードに対応するレベル０区分は、ブロック１９０に対応することになる。レベル１区分、即ち、ルートノードのすぐ下にあるＲＱＴのノードは、サブブロック１９２Ａ〜１９２Ｄ（サブブロック１９２）に対応し得る。レベル２区分、即ち、レベル１ノードのすぐ下にあるＲＱＴのノードは、サブブロック１９４Ａ〜１９４Ｄに対応し得る。この例では、レベル１においてサブブロック１９２Ｂのみが区分されている。従って、サブブロック１９２Ａ、１９２Ｃ、及び１９２Ｄに対応するＲＱＴにおけるノードはリーフノード、即ち、子ノードをもたないノードと考えられ得る。
【０１３４】
[0148]この例では、サブブロック１９４Ｄは更に、サブブロック１９６Ａ〜１９６Ｄに区分される。ここでも、ブロック１９４Ａ、１９４Ｂ、及び１９４Ｃに対応するＲＱＴにおけるノードは、リーフノードと考えられ得る。同様に、サブブロック１９６Ａ〜１９６Ｄに対応するＲＱＴにおけるノードも、リーフノードと考えられ得る。
【０１３５】
[0149]図５のブロックの各々は正方形の形状であるが、幾つかの例では、ビデオコーダは非正方形の形状にＴＵを分割することもあることを理解されたい。図１２〜図１４は、非正方形ＴＵの様々な例を示している。Ｎ×２Ｎ  ＰＵ又は２Ｎ×Ｎ  ＰＵなどの非正方形ＰＵを有する様々なＣＵサイズについて、図１２〜図１４の例に示すようなブロック、又は同様のブロックに非正方形変換の再帰的４分木構造が適用され得る。
【０１３６】
[0150]上記のように、本開示の態様によれば、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、予測区分境界を越えて変換が適用されないように、図５のＲＱＴの例に示すように変換分割を実行することができる。例えば、以下でより詳細に説明するように、ビデオコーダは、ビデオデータのブロックのＴＵを正方形のサブブロックに分割することを、ブロックに関連する２つ以上の予測区分に変換が適用されないように適用することができる。
【０１３７】
[0151]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、ビデオコーダは、（例えば、図６に関して後述するように）ＡＭＰ動き境界などの予測区分境界を変換が越えるときはいつでも、強制変換分割を実行することができる。強制分割を実行するとき、ビデオコーダは、変換をＲＱＴ構造に従って、得られる変換が複数の予測区分に及ばなくなる（例えば、変換がちょうど１つの予測区分に対応する）まで、分割し続けることができる。
【０１３８】
[0152]図６は、ＰＵに関連付けられ得る区分モードを全般的に示している。例えば、特定のＣＵのサイズが２Ｎ×２Ｎであると仮定すると、ＣＵは、区分モード２Ｎ×２Ｎ（２００）、Ｎ×Ｎ（２０１）、Ｎ×２Ｎ（２０２）、２Ｎ×Ｎ（２０３）、ｎＬ×２Ｎ（２０４）、ｎＲ×２Ｎ（２０５）、２Ｎ×ｎＵ（２０６）、及び２Ｎ×ｎＤ（２０７）を使用して予測されてよく、それにより予測区分を定義し得る。図６の例に示す区分モードは単に説明のために提示されており、ビデオデータが予測される方法を示すために他の区分モードが使用されてよい。
【０１３９】
[0153]幾つかの場合には、ビデオコーダ（例えば、ビデオエンコーダ２０及び／又はビデオデコーダ３０など）は、区分モード２００及び２０１を使用して、イントラ予測又はインター予測を実行することができる。例えば、ビデオコーダは、２Ｎ×２Ｎ  ＰＵ（区分モード２００）を使用してＣＵ全体を予測することができる。別の例では、ビデオコーダは、４つのＮ×ＮサイズのＰＵ（区分モード２０１）を使用して、ＣＵを予測することができ、この場合に４つのセクションの各々は、潜在的に異なる予測技法が適用される。
【０１４０】
[0154]インターコード化に関して、対称区分モード２００及び２０１に加えて、ビデオコーダは、ＰＵの並行配列（区分モード２０３及び２０４）、又は様々な非対称動き区分ＡＭＰモードを実施することができる。ＡＭＰモードに関して、ビデオコーダは、区分モードｎＬ×２Ｎ（２０５）、ｎＲ×２Ｎ（２０６）、２Ｎ×ｎＵ（２０７）、及び２Ｎ×ｎＤ（２０８）を使用して、ＣＵを非対称的に区分化することができる。非対称区分では、ＣＵの一方向は区分化されないが、他の方向は２５％と７５％とに区分化される。２５％の区分に対応するＣＵの部分は、「ｎ」とその後ろに付く「Ｕｐ」、「Ｄｏｗｎ」、「Ｌｅｆｔ」、又は「Ｒｉｇｈｔ」という表示によって示される。
【０１４１】
[0155]本開示の態様によれば、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、区分モード２０１、２０２、２０３、２０４、２０５、２０６、及び２０７に関する図６に示す予測区分境界などの予測区分境界を越えて変換が適用されないように、変換分割を実行することができる。例えば、図９に関して以下でより詳細に説明するように、ビデオコーダは、ビデオデータのブロックのＴＵを正方形のサブブロックに分割することを、ブロックに関連する２つ以上の予測区分に変換が適用されないように適用することができる。
【０１４２】
[0156]場合によっては、技法は、強制変換分割プロセスとともに実装され得る。例えば、ビデオコーダは、変換が予測区分境界を越えるときはいつでも、強制変換分割を実行することができる。即ち、図６に関して、ビデオコーダは、非対称予測区分モードｎＬ×２Ｎ（２０５）、ｎＲ×２Ｎ（２０６）、２Ｎ×ｎＵ（２０７）、及び２Ｎ×ｎＤ（２０８）に関連する予測区分境界を越えて変換が適用されなくなるまで、ＴＵをより小さいサブＴＵに分割し続けることができる。
【０１４３】
[0157]図７は、図６に示す予測区分のための強制変換分割の例を示している。例えば、特定のＣＵのサイズが２Ｎ×２Ｎであると仮定して、図７は、区分モード２Ｎ×２Ｎ（２１０）、Ｎ×Ｎ（２１１）、Ｎ×２Ｎ（２１２）、２Ｎ×Ｎ（２１３）、ｎＬ×２Ｎ（２１４）、ｎＲ×２Ｎ（２１５）、２Ｎ×ｎＵ（２１６）、及び２Ｎ×ｎＤ（２１７）から生じる予測区分を含む、破線のある（又は実線と破線とが重複する場合に２つのオフセット破線のある）予測区分を示している。
【０１４４】
[0158]図７はまた、予測区分に適用される強制変換分割を示している。例えば、上記のように、ある場合には、ビデオエンコーダ（ビデオエンコーダ２０など）は最大ＲＱＴ深度を実装することができる。最大ＲＱＴ深度は、コード化を簡略化するように実装され得る。例えば、最大ＲＱＴ深度が１にセットされた場合、ただ１つの変換選択、例えば深度０変換２１０があり得る。このようにして最大ＲＱＴ深度を制限することで、変換を適用することに関連する潜在的な計算（例えば、レート歪み計算など）及び／又はＲＱＴに関連する信号伝達を減らすことができる。ビデオエンコーダ２０は、符号化ビットストリームにおいてハイレベルシンタックスを使用して最大ＲＱＴ深度を信号伝達することができ、この最大ＲＱＴ深度はビデオデコーダ（ビデオデコーダ３０など）によって復号され、実装され得る。
【０１４５】
[0159]しかしながら、ＰＵが分割されている場合、ビデオコーダは、強制変換分割を実行することができる。例えば、２つの異なる予測区分に１つの変換が適用されるのを防ぐために、ビデオコーダは、最大ＲＱＴ深度を無効にし、単一の変換分割を実行する（例えば、単一の変換を４つの等しいサイズの変換に分割する）ことができる。
【０１４６】
[0160]このようにして、図７は、非正方形変換が適用された区分２１２〜２１７であるような、非正方形変換による強制変換分割を示している。しかしながら、図８に関して以下で説明するように、場合によっては、非正方形変換が利用不可能である（例えば、特定の規格又は規格のプロファイル／レベルによって有効とされていない）こともある。
【０１４７】
[0161]図８は、図６に示す予測区分のための強制変換分割の別の例を示している。例えば、特定のＣＵのサイズが２Ｎ×２Ｎであると仮定して、図８は、区分モード２Ｎ×２Ｎ（２２０）、Ｎ×Ｎ（２２２）、Ｎ×２Ｎ（２２４）、２Ｎ×Ｎ（２２６）、ｎＬ×２Ｎ（２２８）、ｎＲ×２Ｎ（２３０）、２Ｎ×ｎＵ（２３２）、及び２Ｎ×ｎＤ（２３４）から生じる予測区分を含む、破線のある（又は実線と破線とが重複する場合に２つのオフセット破線のある）予測区分を示している。
【０１４８】
[0162]図８はまた、予測区分に適用される強制変換分割を示している。例えば、上記のように、ある場合には、ビデオエンコーダ（ビデオエンコーダ２０など）は最大ＲＱＴ深度を実装することができる。最大ＲＱＴ深度は、コード化を簡略化するように実装され得る。例えば、最大ＲＱＴ深度が１にセットされた場合、ただ１つの変換選択、例えば深度０変換２４０があり得る。上記のように、このようにして最大ＲＱＴ深度を制限することで、変換を適用することに関連する潜在的な計算（例えば、レート歪み計算など）及び／又はＲＱＴに関連する信号伝達を減らすことができる。
【０１４９】
[0163]しかしながら、ＰＵが分割されている場合、ビデオコーダは、強制変換分割を実行することができる。例えば、２つの異なる予測区分に１つの変換が適用されるのを防ぐために、ビデオコーダは、最大ＲＱＴ深度を無効にし、単一の変換分割を実行する（例えば、単一の変換を４つの等しいサイズの変換に分割する）ことができる。
【０１５０】
[0164]しかしながら、図８に示すように、このようにして強制分割を実行してもなお、１つの変換が２つの異なる予測区分に適用される結果となり得る。例えば、非正方形変換はあらゆるビデオコード化方式に利用可能であるとは限らない。その上、幾つかのビデオコード化方式は、ビデオコード化プロセスの複雑性を低減するために非正方形変換が適用されるのを防ぐことがある。例えば、非正方形変換は、プロファイル又はレベルに従って有効又は無効になり得る。
【０１５１】
[0165]図８の例では、ビデオコーダは区分モード２Ｎ×２Ｎ（２２０）に単一の変換２４０（深度０）を適用し得る。一方、残りの区分モードは、ブロックを２つ以上の予測区分に分割する。従って、ビデオコーダは、区分モードＮ×Ｎ（２２２）に対する変換２４２Ａ〜２４２Ｄ（深度１）と、区分モードＮ×２Ｎ（２２４）に対する変換２４４Ａ〜２４４Ｄ（深度１）と、区分モード２Ｎ×Ｎ（２２６）に対する変換２４６Ａ〜２４６Ｄ（深度１）と、区分モードｎＬ×２Ｎ（２２８）に対する変換２４８Ａ〜２４８Ｄ（深度１）と、区分モードｎＲ×２Ｎ（２３０）に対する変換２５０Ａ〜２５０Ｄ（深度１）と、区分モード２Ｎ×ｎＵ（２３２）に対する変換２５２Ａ〜２５２Ｄ（深度１）と、区分モード２Ｎ×ｎＤ（２３４）に対する変換２５４Ａ〜２５４Ｄ（深度１）とを含め、残りのブロックに強制変換分割プロセスを適用することができる。
【０１５２】
[0166]この例では、強制変換分割プロセスを適用してもなお、ＡＭＰモード２２８、２３０、２３２、及び２３４の場合に２つ以上の予測区分に１つの変換が適用される結果となる。例えば、区分モードｎＬ×２Ｎ（２２８）に関して、変換２４８Ａ及び変換２４８Ｂは、第１の予測区分２６２Ａと第２の予測区分２６４Ａの両方に適用される。即ち、変換２４８Ａ及び変換２４８Ｂは、（破線によって画定された）予測区分境界を越えて適用される。区分モードｎＲ×２Ｎ（２３０）に関して、変換２５０Ｂ及び変換２５０Ｄは、第１の予測区分２６４Ａと第２の予測区分２６４Ｂの両方に適用される。区分モード２Ｎ×ｎＵ（２３２）に関して、変換２５２Ａ及び変換２５２Ｂは、第１の予測区分２６６Ａと第２の予測区分２６６Ｂの両方に適用される。区分モード２Ｎ×ｎＤ（２３４）に関して、変換２５４Ｃ及び変換２５４Ｄは、第１の予測区分２６８Ａと第２の予測区分２６８Ｂの両方に適用される。
【０１５３】
[0167]上記のように、予測区分境界を越えて変換を適用すると、コード化効率に影響が及び得る。例えば、複数の予測区分を含む画像の領域は、その領域に不連続性があることを示し得る。不連続性を越えて、例えば予測区分を越えて単一の変換を適用することは、コード化効率に影響を及ぼす高周波雑音をもたらすことがある。
【０１５４】
[0168]図８の例に示す予測区分及び変換の適用は、単に説明のために提示されている。ビデオデータが予測される方法を示すために他の区分モードが使用されてよく、得られた予測区分に他の変換が適用されてよい。
【０１５５】
[0169]図９は、本開示の態様による、強制変換分割を示している。例えば、特定のＣＵのサイズが２Ｎ×２Ｎであると仮定して、図９は、区分モードｎＬ×２Ｎ（２８０）、ｎＲ×２Ｎ（２９０）、２Ｎ×ｎＵ（３００）、及び２Ｎ×ｎＤ（３１０）から生じる予測区分を含む、２つのオフセット破線のある予測区分を示している。
【０１５６】
[0170]本開示の態様によれば、（ビデオエンコーダ２０又はビデオデコーダ３０などの）ビデオコーダは、２つ以上の予測区分に変換を適用することなく、変換を適用し得る。例えば、ビデオコーダは、２つ以上の予測区分に１つの変換が適用されなくなるまで、強制変換分割を実行することができる。即ち、ビデオコーダは、１つ又は複数の正方形変換を、１つ又は複数の正方形変換の各々がちょうど１つの予測区分に対応するように決定することができる。
【０１５７】
[0171]図９の例に示すように、ビデオコーダは、ＡＭＰ動き区分内で変換が抑制されるように、強制変換分割を適用することができる。例えば、図９は、関連する深度１変換２８２Ａ及び２８２Ｂならびに深度２変換２８４Ａ〜２８４Ｄ及び２８６Ａ〜２８６Ｄを有する区分モードｎＬ×２Ｎ（２８０）を示している。この例では、ビデオコーダは、ブロックが２つ以上の予測区分を含むと決定することができる。従って、ビデオコーダは、関連ＴＵを分割し、４つの深度１のサブＴＵ（２８２Ａ及び２８２Ｂを含む）を生じさせることができる。ビデオコーダはまた、（図８の対応するｎＬ×２Ｎ予測ブロックに示すように）１つ又は複数の変換が依然として予測区分境界を越えると決定し得る。従って、ビデオコーダは、別の変換分割を実行して、予測区分境界を越えるサブＴＵを分割し、深度２のサブＴＵ２８４Ａ〜２８４Ｄ及び２８６Ａ〜２８６Ｄを生じさせることができる。
【０１５８】
[0172]ビデオコーダは、他の予測区分に関して上述したプロセスを適用することができる。例えば、図９はまた、関連する深度１変換２９２Ａ及び２９２Ｂ並びに深度２変換２９４Ａ〜２９４Ｄ及び２９６Ａ〜２９６Ｄを有する区分モードｎＲ×２Ｎ（２９０）と、関連する深度１変換３０２Ａ及び３０２Ｂ並びに深度２変換３０４Ａ〜３０４Ｄ及び３０６Ａ〜３０６Ｄを有する区分モード２Ｎ×ｎＵ（３００）と、関連する深度１変換３１２Ａ及び３１２Ｂならびに深度２変換３１４Ａ〜３１４Ｄ及び３１６Ａ〜３１６Ｄを有する区分モード２Ｎ×ｎＤとを示している。
【０１５９】
[0173]このようにして、ビデオコーダは、変換を、各変換がちょうど１つの予測区分に対応するまで分割する。図９は、２のＲＱＴ深度まで変換を分割することを示しているが、本開示の技法はこのように限定されない。即ち、他の例では、ビデオコーダは、予測区分構造に基づいてより多い（又はより少ない）変換分割を実行することができる。
【０１６０】
[0174]本開示の態様によれば、ビデオコーダは、変換を、動き区分境界を越えない最大変換が使用されるように選択することができる。例えば、図９に示すように、非対称動き区分エリアに比較的小さい変換（ＲＱＴ深度２変換）が適用されるように、変換が選択される。即ち、ブロック全体を深度２変換まで分割するのではなく、ビデオコーダは、予測区分境界を越えるＴＵにのみ、変換分割を適用する。この例では、データのブロックに適用された１つ又は複数の変換は、（例えば、符号化ビットストリームにおいて信号伝達される）ブロックに関連するＲＱＴの最低レベルよりも小さくなり得る。例えば、ビデオコーダは、ＲＱＴの最小ＴＵを、得られるＴＵがＲＱＴの最小ＴＵよりも小さくなるように分割することができる。
【０１６１】
[0175]幾つかの例では、ビデオコーダは、図９に示す強制変換分割を、色成分のサブセットに適用することができる。例えば、ビデオコーダは、ピクチャのルーマ色成分に対してのみ強制変換分割を適用することができる。この例では、ビデオコーダは、特定のブロックの予測区分の配列にかかわらず、分割されない２Ｎ×２Ｎ変換をピクチャのクロマ色成分に適用することができる。他の例では、ビデオコーダは、ルーマ色成分とクロマ色成分の両方に異なる強制分割方式を適用することができる。
【０１６２】
[0176]本開示の態様によれば、ビデオコーダは、様々な要素に基づいて図９に示す強制分割プロセスを適応的に適用することができる。例えば、ビデオコーダは、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、ブロックモード（インター／イントラ、Ｐ／Ｂ／Ｉ）、動きベクトル振幅、参照インデックスなど、ビデオデータに関連するコード化特性に基づいて強制変換分割を有効又は無効にすることができる。
【０１６３】
[0177]図１０は、本開示の態様による、ビデオデータのブロックを符号化するための例示的なプロセスを示している。ブロックは、現在のＣＵ、又は現在のＣＵの一部分を備え得る。ビデオエンコーダ２０（図１及び図２）に関して説明されるが、他の機器が図１０の方法と同様の方法を実行するように構成され得ることを理解されたい。
【０１６４】
[0178]この例では、ビデオエンコーダ２０は、初めに、現在のブロックを予測する（３２０）。例えば、ビデオエンコーダ２０は、現在のブロックの１つ又は複数の予測単位（ＰＵ）を計算し得る。ビデオエンコーダ２０はまた、現在のブロックに非正方形ＰＵを使用するかどうかを決定し得る。例えば、ビデオエンコーダ２０は、ブロックにＡＭＰモードを適用するかどうかを決定し得る。ビデオエンコーダ２０は、次いで、例えば、変換単位（ＴＵ）を生成するために、現在のブロックの残差ブロックを計算し得る（３２２）。残差ブロックを計算するために、ビデオエンコーダ２０は、元のコード化されていないブロックと現在のブロックの予測ブロックとの間の差分を計算することができる。
【０１６５】
[0179]ビデオエンコーダ２０はまた、サブブロックへの残差ブロックの区分を決定し得る（３２４）。例えば、ビデオエンコーダ２０は、ＴＵを１つ又は複数のサブＴＵに区分するかどうかを決定することができる。ビデオエンコーダ２０は、例えばＲＱＴ構造に従って、各サブＴＵに対して再帰的に区分決定を実行することができる。場合によっては、ビデオエンコーダ２０は、ＴＵが更に分割されない最大ＲＱＴ深度を実装することができる。
【０１６６】
[0180]本開示の態様によれば、ビデオエンコーダ２０は、２つ以上の予測区分に１つの変換が適用されるかどうかを決定し得る（３２６）。例えば、ビデオエンコーダ２０は、２つ以上の残差ブロック、例えば決定されたＰＵのうちの２つ以上にＴＵが関連付けられるかどうかを決定することができる。言い換えれば、ビデオエンコーダ２０は、予測区分境界を越えて変換が適用されるかどうかを決定することができる。
【０１６７】
[0181]２つ以上の予測区分に１つの変換が適用される場合、ビデオエンコーダ２０は変換を分割し得る（３２８）。幾つかの例では、ビデオエンコーダ２０は変換を４つの等しいサイズの変換に分割し得る。即ち、ビデオエンコーダ２０は、ＲＱＴ構造に従って、２つ以上のＰＵに関連するＴＵをサブＴＵに分割することができる。ビデオエンコーダ２０は、２つ以上の残差ブロックに関連付けられる変換を、各変換がちょうど１つの予測区分に対応するまで分割し続けることができる。
【０１６８】
[0182]ビデオエンコーダ２０は、次いで、残差ブロックの係数を変換し、量子化し得る（３３０）。次に、ビデオエンコーダ２０は、残差ブロックの量子化変換係数を走査し得る（３３２）。走査中又は走査後に、ビデオエンコーダ２０は、係数をエントロピー符号化することができる（３３４）。例えば、ビデオエンコーダ２０は、ＣＡＶＬＣ又はＣＡＢＡＣを使用して係数を符号化することができる。更に、ビデオエンコーダ２０は、残差ブロック（例えば、ＣＵに対応する親ＴＵ）がどのように区分されるか、また最大ＲＱＴ深度を適用するかどうかを示すシンタックス要素をコード化することができる。
【０１６９】
[0183]次いで、ビデオエンコーダ２０は、残差ブロックサイズを示す情報を含む、ブロックのエントロピーコード化されたデータを出力することができる（３３６）。このようにして、図１０の方法は、残差値を形成するためにビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定することと、２つ以上の予測区分に関連する残差値には適用されない１つ又は複数の正方形変換を残差値に適用するための変換区分構造を決定することと、決定された変換区分構造に従って、１つ又は複数の正方形変換を残差値に適用することとを含む方法の例を表している。
【０１７０】
[0184]図１１は、本開示の態様による、ビデオデータのブロックを復号するための例示的なプロセスを示している。現在のブロックは、現在のＣＵ、又は現在のＣＵの一部分を備え得る。ビデオデコーダ３０（図１及び図３）に関して説明されるが、他の機器が図１１の方法と同様の方法を実行するように構成され得ることを理解されたい。
【０１７１】
[0185]ビデオデコーダ３０は、現在のブロックのための予測ブロックを計算するために、例えば、イントラ予測モード又はインター予測モードを使用して現在のブロックを予測し得る（３４０）。ビデオデコーダ３０は、現在のブロックに対応する残差ブロックの係数のエントロピーコード化されたデータなど、現在のブロックのエントロピーコード化されたデータを受信することもできる（３４２）。例えば、ビデオデコーダ３０は、符号化ビットストリームからエントロピーコード化されたデータを取り出すことができる。ビデオデコーダ３０は、残差ブロックの係数を再現するために、エントロピーコード化されたデータをエントロピー復号することができる（３４４）。
【０１７２】
[0186]ビデオデコーダ３０はまた、１つ又は複数の残差ブロック、例えば１つ又は複数のＴＵに関するサイズを示す情報を復号することができる（３４６）。幾つかの例では、ビデオデコーダ３０は、ブロックのＴＵが１つ又は複数のサブＴＵに分割されるかどうかに関する情報を受信し得る。追加又は代替として、ビデオデコーダ３０は、最大ＲＱＴ深度に関する指示を受信し得る。次に、ビデオデコーダ３０は、量子化変換係数の１つ又は複数のブロックを作成するために、再現された係数を逆走査することができる（３４８）。
【０１７３】
[0187]本開示の態様によれば、ビデオデコーダ３０は、２つ以上の予測区分に１つの変換が適用されるかどうかを決定し得る（３５０）。例えば、ビデオデコーダ３０は、２つ以上の残差ブロックにＴＵが関連付けられるかどうかを決定することができる。言い換えれば、ビデオデコーダ３０は、予測区分境界を越えて変換が適用されるかどうかを決定することができる。
【０１７４】
[0188]２つ以上の予測区分に１つの変換が適用される場合、ビデオデコーダ３０は変換を分割し得る（３５２）。幾つかの例では、ビデオデコーダ３０は変換を４つの等しいサイズの変換に分割し得る。即ち、ビデオデコーダ３０は、ＲＱＴ構造に従って、２つ以上のＰＵに関連するＴＵをサブＴＵに分割することができる。ビデオデコーダ３０は、２つ以上の残差ブロックに関連付けられる変換を、各変換がちょうど１つの予測区分に対応するまで分割し続けることができる。
【０１７５】
[0189]ビデオデコーダ３０は、次いで、係数を逆量子化し逆変換して、１つ又は複数の残差ブロックを生成することができる（３５４）。ビデオデコーダ３０は、最終的に、予測ブロックと残差ブロックとを組み合わせることによって現在のブロックを復号することができる（３５６）。
【０１７６】
[0190]このようにして、図１１の方法は、残差値を形成するためにビデオデータのブロックに関連する画素値を予測するための、１つ又は複数の非正方形区分を含む予測区分構造を決定することと、２つ以上の予測区分に関連する残差値には適用されない１つ又は複数の正方形変換を残差値に適用するための変換区分構造を決定することと、決定された変換区分構造に従って、１つ又は複数の正方形変換を残差値に適用することとを含む方法の例を表している。
【０１７７】
[0191]図１２は、６４×６４ＣＵ４００のための例示的なＴＵ分解を示す概念図である。図１２の例示的な分解は全般的に、ＨＥＶＣ規格で従来実施されていたプロセスに対応するが、そのような分解は本開示の技法とともに使用されてもよい。
【０１７８】
[0192]ＣＵ４００の例の場合のように、Ｎ×２Ｎ  ＰＵなどの非正方形ＰＵを６４×６４ＣＵが含むとき、対応するＴＵが様々な方法で区分され得る。場合によっては、ＴＵの最大サイズは３２×３２に制限され得る。この例では、深度０のＴＵ４０２は適用不可能であり、６４×６４ＣＵは少なくとも４つのＴＵを含み得る。
【０１７９】
[0193]幾つかの例では、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、ＴＵ４０４が４つの３２×３２ＴＵ４０６Ａ〜４０６Ｄに分割されることを示す深度１を有するＴＵ４０４の例の場合のように、ＴＵを４つの３２×３２ＴＵに分割することができる。ビデオコーダは、ＴＵを更に分割することもできる。例えば、ＴＵ４０８は４つの３２×３２ＴＵ４１０Ａ〜４１０Ｄに分割される。更に、ＴＵ４１０Ａは、４つの非正方形ＴＵ４１２Ａ〜４１２Ｄに更に分割される。ＴＵ４１２Ａ〜４１２Ｄは、対応するＣＵのＰＵが非正方形である、例えばブロック４００に示すようにＮ×２Ｎのサイズを有するので、非正方形であり得る。
【０１８０】
[0194]図１２に示すように、場合によっては、ビデオコーダは、正方形変換と非正方形変換との組合せを使用し得る。例えば、ビデオコーダは、２Ｎ×２Ｎ及びＮ×Ｎ以外のサイズのインター予測ブロックに正方形変換を使用することができる。代替として、ビデオコーダは、垂直に区分された動き境界を有するＣＵ、例えばＳＩＺＥ＿Ｎ×２Ｎ、ＳＩＺＥ＿ｎＬ×２Ｎ、又はＳＩＺＥ＿ｎＲ×２Ｎを有するＰＵに非正方形変換を使用することができる。この例では、ビデオコーダは、０．５Ｎ×２Ｎ変換を使用することができる。水平に区分された動き境界を有するＣＵ、例えばＳＩＺＥ＿２Ｎ×Ｎ、ＳＩＺＥ＿２Ｎ×ｎＵ、又はＳＩＺＥ＿２Ｎ×ｎＤを有するＰＵには、ビデオコーダは２Ｎ×０．５Ｎ変換を使用することができる。
【０１８１】
[0195]図１３は、３２×３２ＣＵ４２０のための例示的なＴＵ分解を示す概念図である。この例では、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、３２×３２の最大ＴＵサイズを仮定すると、深度０を有するＴＵ４２２を適用することができる。一方、例示的なＣＵ４２０の場合のように、深度１における非正方形ＰＵを有する３２×３２ＣＵの場合、ビデオコーダはＴＵ４２４を、ＴＵ４２６Ａ〜４２６Ｄのような４つの非正方形ＴＵに分割することができる。深度２における非正方形ＰＵを有する３２×３２ＣＵの場合、ビデオコーダは、レベル１においてＴＵ４２８を４つの非正方形ＴＵ４３２Ａ〜４３２Ｄに分割し、更に、レベル２において非正方形ＴＵを４つの更なる非正方形ＴＵ４３０Ａ〜４３０Ｄに分割することができる。この例では、非正方形ＴＵ４３２Ａ〜４３２Ｄは０．５Ｎ×２Ｎのサイズを有し、非正方形ＴＵ４３０Ａ〜４３０Ｄは０．２５Ｎ×Ｎのサイズを有する。
【０１８２】
[0196]幾つかの例では、本開示の技法によれば、非正方形ＴＵ４３０Ａ〜４３０Ｄは利用不可能である。そのため、ＴＵ４３２Ａ〜４３２Ｄが更に区分されるかどうかを決定するのではなく、ビデオコーダは代わりに、ＴＵ４３２Ａ〜４３２Ｄが非正方形であるので、ＴＵ４３２Ａ〜４３２Ｄは更に分割されないと決定することができる。即ち、ビデオコーダは、ＴＵ４３２Ａ〜４３２Ｄが非正方形であることに基づいて、ＴＵ４２８が更にＴＵ４３０Ａ〜４３０Ｄに分割されないと決定することができる。
【０１８３】
[0197]他の例では、非正方形ＴＵ４３０Ａ〜４３０Ｄは、ＴＵ４３０Ａ〜４３０Ｄが非正方形であり、非正方形ＴＵ、例えばＴＵ４３２Ａから分割されるという理由だけで利用可能である。即ち、ビデオコーダは、非正方形ＴＵ４３０Ａ〜４３０Ｄを、ＴＵが非正方形ＴＵのサブＴＵであるという理由だけで使用することができる。更に他の例では、ビデオコーダは、ＴＵ４３０Ａ〜４３０Ｄが利用可能であるかどうかを決定するために、対応するＣＵ（例えば、ＣＵ４２０）のサイズ、ピクチャタイプ、ピクチャ解像度、ＣＵ４２０のブロックタイプ、又は他の要素などの他の要素を分析することができる。
【０１８４】
[0198]図１４は、１６×１６ＣＵ４４０のための例示的なＴＵ分解を示す概念図である。この例では、３２×３２の最大ＴＵサイズを仮定すると、（１６×１６のサイズを有し得る）深度０を有するＴＵ４４２は利用可能である。ＣＵ４４０のような深度１における非正方形ＰＵを有する１６×１６ＣＵの場合、ビデオコーダ（ビデオエンコーダ２０又はビデオデコーダ３０など）は、ＴＵ４４４を４つの非正方形ＴＵ４４６Ａ〜４４６Ｄに分割することができる。更に、深度２における非正方形ＰＵを有する１６×１６ＣＵの場合、ビデオコーダは、ＴＵ４４８を４つの非正方形ＴＵ４５２Ａ〜４５２Ｄに分割し、レベル１における非正方形ＴＵをＴＵ４５０Ａ〜４５０Ｄのような４つの正方形ＴＵに分割することができる。この例では、非正方形ＴＵ４５２Ａ〜４５２Ｄは０．５Ｎ×２Ｎのサイズを有し、正方形ＴＵ４５０Ａ〜４５０Ｄは、０．５Ｎ×０．５Ｎ（例えば、１６×１６（２Ｎ×２Ｎ）ＣＵの場合、４×４）のサイズを有する。
【０１８５】
[0199]幾つかの例では、本開示の技法によれば、正方形ＴＵ４５０Ａ〜４５０Ｄは、親ＴＵ４５２Ａが非正方形であるので、利用不可能である。そのため、ＴＵ４５２Ａ〜４５２Ｄが更に区分されるかどうかを決定するのではなく、ビデオコーダは代わりに、ＴＵ４５２Ａ〜４５２Ｄが非正方形であるので、ＴＵ４５２Ａ〜４５２Ｄは更に分割されないと決定することができる。即ち、ビデオコーダは、ＴＵ４５２Ａ〜４５２Ｄが非正方形であることに基づいて、ＴＵ４４８が更にＴＵ４５０Ａ〜４５０Ｄに分割されないと決定することができる。他の例では、ビデオコーダは、非正方形ＴＵが更なる非正方形ＴＵにのみ区分され得ると決定するように構成され得る。これらの例では、ＴＵ４５０Ａ〜４５０Ｄも、ＴＵ４５０Ａ〜４５０Ｄが正方形の形状であるので、利用不可能になる。
【０１８６】
[0200]図１５は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵ、又は現在のＣＵの一部分を備え得る。ビデオエンコーダ２０（図１及び図２）に関して説明されるが、他の機器が図１５の方法と同様の方法を実行するように構成され得ることを理解されたい。
【０１８７】
[0201]この例では、ビデオエンコーダ２０は、初めに、現在のブロックを予測する（４６０）。例えば、ビデオエンコーダ２０は、現在のブロックの１つ又は複数の予測単位（ＰＵ）を計算し得る。ビデオエンコーダ２０はまた、現在のブロックに非正方形ＰＵを使用するかどうかを決定し得る。ビデオエンコーダ２０は、次いで、例えば、変換単位（ＴＵ）を生成するために、現在のブロックの残差ブロックを計算し得る（４６２）。残差ブロックを計算するために、ビデオエンコーダ２０は、元のコード化されていないブロックと現在のブロックの予測ブロックとの間の差分を計算することができる。
【０１８８】
[0202]本開示の技法によれば、ビデオエンコーダ２０は、サブブロックへの残差ブロックの区分を決定することもできる（４６４）。例えば、ビデオエンコーダ２０は、ＴＵを、正方形であることもないこともある１つ又は複数のサブＴＵに区分するかどうかを決定することができる。ビデオエンコーダ２０は、各サブＴＵに対して再帰的に区分決定を実行することができる。幾つかの例では、ビデオエンコーダ２０は、ブロックを非正方形ＴＵに区分した後、区分決定を停止し得る。他の例では、ビデオエンコーダ２０は、非正方形ＴＵを更なるサブＴＵに区分するかどうかを、そのようなサブＴＵも非正方形になるときのみ決定し、そうでない場合には区分決定を停止し得る。ビデオエンコーダ２０は更に、区分決定を、ＴＵがルミナンスＴＵであるか、それともクロミナンスＴＵであるか、対応するＣＵのサイズ、ピクチャタイプ、ピクチャ解像度、ブロックタイプ、又は他の基準など、１つ又は複数の他の要素に基づいたものにすることができる。
【０１８９】
[0203]ビデオエンコーダ２０は、次いで、残差ブロックの係数を変換し、量子化し得る（４６６）。次に、ビデオエンコーダ２０は、残差ブロックの量子化変換係数を走査し得る（４６８）。走査中又は走査後に、ビデオエンコーダ２０は、係数をエントロピー符号化することができる（４７０）。例えば、ビデオエンコーダ２０は、ＣＡＶＬＣ又はＣＡＢＡＣを使用して係数を符号化することができる。更に、ビデオエンコーダ２０は、残差ブロック（例えば、ＣＵに対応する親ＴＵ）がどのように区分されるかを示すシンタックス要素をコード化することができる。次いで、ビデオエンコーダ２０は、残差ブロックサイズを示す情報を含む、ブロックのエントロピーコード化されたデータを出力することができる（４７２）。当然ながら、ＴＵの幾つかのサイズが利用不可能であるとき、例えば、幾つかの非正方形ＴＵが利用不可能であるとき、ＴＵがそれらのサイズを有するかどうかの情報を推測するようにビデオデコーダが構成され得るので、ビデオエンコーダ２０はそのような情報を提供する必要はない。
【０１９０】
[0204]このようにして、図１５の方法は、ビデオデータの親変換単位（ＴＵ）を１つ又は複数の非正方形ＴＵに分割することと、１つ又は複数の非正方形ＴＵが更に分割され得るかどうかを、１つ又は複数の非正方形ＴＵが非正方形であることに少なくとも一部基づいて決定することと、決定に基づいて１つ又は複数の非正方形ＴＵをコード化することとを含む方法の例を表している。
【０１９１】
[0205]図１６は、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは、現在のＣＵ、又は現在のＣＵの一部分を備え得る。ビデオデコーダ３０（図１及び図３）に関して説明されるが、他の機器が図１６の方法と同様の方法を実行するように構成され得ることを理解されたい。
【０１９２】
[0206]ビデオデコーダ３０は、現在のブロックのための予測ブロックを計算するために、例えば、イントラ予測モード又はインター予測モードを使用して現在のブロックを予測し得る（４９０）。ビデオデコーダ３０は、現在のブロックに対応する残差ブロックの係数のエントロピーコード化されたデータなど、現在のブロックのエントロピーコード化されたデータを受信することもできる（４９２）。ビデオデコーダ３０は、残差ブロックの係数を再現するために、エントロピーコード化されたデータをエントロピー復号することができる（４９４）。
【０１９３】
[0207]ビデオデコーダ３０はまた、１つ又は複数の残差ブロック、例えば１つ又は複数のＴＵに関するサイズを示す情報を復号することができる（４９６）。例えば、情報は、ＴＵが非正方形ＴＵに分割されるかどうかを示し得る。ビデオデコーダ３０は、一定のブロックサイズ情報を、例えば、親ＴＵが非正方形であるかどうかに少なくとも部分的に基づく非正方形ＴＵの利用可能性に基づいて、推測することができる。例えば、ブロックが非正方形であるために、又は最小サイズ制限のために、一定のブロックサイズが利用不可能であるとき、ビデオデコーダ３０は、利用不可能なサイズのブロックが利用不可能であることを推測することができ、従って、ブロックがそのような利用不可能なサイズに分割されないことを示す情報を復号する必要はない。
【０１９４】
[0208]次に、ビデオデコーダ３０は、量子化変換係数の１つ又は複数のブロックを作成するために、再現された係数を逆走査することができる（４９８）。ビデオデコーダ３０は、次いで、係数を逆量子化し逆変換して、１つ又は複数の残差ブロックを生成することができる（５００）。ビデオデコーダ３０は、最終的に、予測ブロックと残差ブロックとを組み合わせることによって現在のブロックを復号することができる（５０２）。
【０１９５】
[0209]このようにして、図１６の方法は、ビデオデータの親変換単位（ＴＵ）を１つ又は複数の非正方形ＴＵに分割することと、１つ又は複数の非正方形ＴＵが更に分割され得るかどうかを、１つ又は複数の非正方形ＴＵが非正方形であることに少なくとも部分的に基づいて決定することと、決定に基づいて１つ又は複数の非正方形ＴＵをコード化することとを含む方法の例を表している。
【０１９６】
[0210]図１７は、本開示の技法による、ビデオデータをコード化する例を示すフローチャートである。ビデオコーダに関して説明されるが、他の機器（ビデオエンコーダ２０（図１及び図２）、ビデオデコーダ３０（図１及び図３）、又は他のプロセッサ）が図１７の方法と同様の方法を実行するように構成され得ることを理解されたい。
【０１９７】
[0211]図１７に示す例では、ビデオコーダは、ビデオデータのブロックに関する予測区分構造を決定し得る（５１０）。例えば、ビデオコーダは、予測ブロックを計算するために、例えばイントラ予測モード又はインター予測モードを使用して、ビデオデータの現在のブロックを予測し得る。ビデオコーダは、予測の目的でブロックを分割するかどうかを決定することができる。幾つかの例では、ビデオコーダは、上述のように予測の目的で２つ以上のサブブロックにブロックを分割することができ、この場合、１つ又は複数のサブブロックは、形状が非対称である。
【０１９８】
[0212]ビデオコーダはまた、ブロックに関する変換区分構造を決定することができる（５１２）。例えば、ビデオコーダは、変換のブロックを分割するかどうかを決定することができる。幾つかの例では、ビデオコーダは、上述のように変換の目的で２つ以上のサブブロックにブロックを分割することができ、この場合、１つ又は複数のサブブロックは、形状が非対称である。但し、非対称変換は、ビデオコーダに対する制限により常に利用可能であると限らない。
【０１９９】
[0213]非正方形変換が利用不可能であるとき、ビデオコーダは、ちょうど１つの予測区分に対応するブロックの正方形変換を決定することができる（５１６）。例えば、上述のように、ビデオコーダは変換ブロックを、各変換がただ１つの予測区分に適用されるまで分割することができる。ビデオコーダは、強制変換分割構造に従って分割を実行することができる。非正方形変換が利用可能であり、ビデオコーダが少なくとも１つの非正方形変換を適用するとき、ビデオコーダは、変換が非正方形であることに基づいてブロックを更に分割するかどうかを決定することができる（５１８）。
【０２００】
[0214]例によっては、本明細書で説明された方法のうちいずれかの、幾つかの行為又はイベントは、異なる順番で実行される可能性があり、追加され、統合され、又は完全に除外され得る（例えば、全ての説明された行為又はイベントが、本方法の実施のために必要であるとは限らない）ことを理解されたい。更に、幾つかの例では、行為又はイベントは、連続的にではなく、同時に、例えば、マルチスレッド処理、割込み処理、又は複数のプロセッサを通じて実行され得る。更に、本開示の幾つかの態様は、明快にするために単一のモジュール又はユニットによって実行されるものとして説明しているが、本開示の技法はビデオコーダに関連するユニット又はモジュールの組合せによって実行され得ることを理解されたい。
【０２０１】
[0215]１つ又は複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されてよく、あるいは、コンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を支援する、任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、一般に、（１）非一時的である有形コンピュータ可読記憶媒体、あるいは（２）信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータあるいは１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【０２０２】
[0216]限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ、又は他の磁気記憶装置、フラッシュメモリ、あるいは、命令又はデータ構造の形態の所望のプログラムコードを記憶するために使用されコンピュータによってアクセスされ得る、任意の他の媒体を備え得る。同様に、いかなる接続も適切にコンピュータ可読媒体と称される。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、又は他のリモート発信源から送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）及びブルーレイディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０２０３】
[0217]命令は、１つ又は複数のデジタル信号プロセッサ（ＤＳＰ）などの１つ又は複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、あるいは他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用される「プロセッサ」という用語は、前述の構造、又は本明細書で説明される技法の実装に好適な他の構造のいずれかを指す。加えて、幾つかの態様では、本明細書で説明された機能は、符号化及び復号のために構成された専用のハードウェア及び／又はソフトウェアモジュール内で与えられてよく、あるいは複合コーデックに組み込まれてよい。また、本技法は、１つ又は複数の回路又は論理要素中で完全に実装され得る。
【０２０４】
[0218]本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）、又はＩＣのセット（例えば、チップセット）を含む、多種多様な機器又は装置において実装され得る。本開示では、開示される技法を実行するように構成された機器の機能的態様を強調するために、様々なコンポーネント、モジュール、又はユニットが説明されたが、それらのコンポーネント、モジュール、又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上で説明されたように、様々なユニットが、好適なソフトウェア及び／又はファームウェアとともに、上で説明された１つ又は複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられてよく、又は相互動作ハードウェアユニットの集合によって与えられてよい。
【０２０５】
[0219]様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に入る。
【図１】
2015516769.tif 000007
【図２】
2015516769.tif 000008
【図３】
2015516769.tif 000009
【図４Ａ】
2015516769.tif 000010
【図４Ｂ】
2015516769.tif 000011
【図５】
2015516769.tif 000012
【図６】
2015516769.tif 000013
【図７】
2015516769.tif 000014
【図８】
2015516769.tif 000015
【図９】
2015516769.tif 000016
【図１０】
2015516769.tif 000017
【図１１】
2015516769.tif 000018
【図１２】
2015516769.tif 000019
【図１３】
2015516769.tif 000020
【図１４】
2015516769.tif 000021
【図１５】
2015516769.tif 000022
【図１６】
2015516769.tif 000023
【図１７】
2015516769.tif 000024
【手続補正書】
【提出日】平成27年1月9日(2015.1.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオデータを復号する方法であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
予測された前記画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換区分構造を決定することは、
親変換単位を分割することと、
前記親変換単位を分割することが１つ以上の正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の正方形変換を、前記１つ以上の正方形変換の各々が前記親変換単位を前記１つ以上の正方形変換に分割する結果としてちょうど１つの予測区分に対応するように決定することと、
前記親変換単位を分割することが１つ以上の非正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することとを含む、
決定された前記変換区分構造に基づいて前記予測画素値を復号することとを備える方法。
【請求項２】
前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、請求項１に記載の方法。
【請求項３】
前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、請求項１に記載の方法。
【請求項４】
前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、請求項１に記載の方法。
【請求項５】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項４に記載の方法。
【請求項６】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項１に記載の方法。
【請求項７】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、請求項１に記載の方法。
【請求項８】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、請求項１に記載の方法。
【請求項９】
前記親変換単位は、親ルミナンス変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記方法が、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、
前記１つ以上のクロミナンス非正方形変換を分割することとを更に備える、請求項８に記載の方法。
【請求項１０】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、請求項１に記載の方法。
【請求項１１】
ビデオデータを符号化する方法であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
予測された前記画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換区分構造を決定することは、
親変換単位を分割することと、
前記親変換単位を分割することが１つ以上の正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の正方形変換を、前記１つ以上の正方形変換の各々が前記親変換単位を前記１つ以上の正方形変換に分割する結果としてちょうど１つの予測区分に対応するように決定することと、
前記親変換単位を分割することが１つ以上の非正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、
決定された前記変換区分構造に基づいて前記予測画素値を符号化することとを備える方法。
【請求項１２】
前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、請求項１１に記載の方法。
【請求項１３】
ビデオデータの前記ブロックに関連する、前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、請求項１１に記載の方法。
【請求項１４】
前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、請求項１１に記載の方法。
【請求項１５】
前記異なるサイズの変換が、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項１４に記載の方法。
【請求項１６】
前記予測区分構造が、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項１１に記載の方法。
【請求項１７】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、請求項１１に記載の方法。
【請求項１８】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、請求項１１に記載の方法。
【請求項１９】
前記親変換単位が、親ルミナンス変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記方法は、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、
前記１つ以上のクロミナンス非正方形変換を分割することとを更に備える、請求項１８に記載の方法。
【請求項２０】
前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、請求項１１に記載の方法。
【請求項２１】
ビデオデータをコード化するための装置であって、
ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、
予測された前記画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換区分構造を決定することは、
親変換単位を分割することと、
前記親変換単位を分割することが１つ以上の正方形変換に前記親変換単位を分割することを含むことを決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、
前記親変換単位を分割することが１つ以上の非正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを行うように構成された１つ以上のプロセッサを備える装置。
【請求項２２】
前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないように構成される、請求項２１に記載の装置。
【請求項２３】
前記１つ以上のプロセッサは、ビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするように更に構成され、ビデオデータの前記ブロックはブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックと関連する参照インデックスのうちの１つを備える、請求項２１に記載の装置。
【請求項２４】
前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、異なるサイズの変換を残差値に適用するための変換区分構造を決定するように構成される、請求項２１に記載の装置。
【請求項２５】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項２４に記載の装置。
【請求項２６】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項２１に記載の装置。
【請求項２７】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更に分割され得ないと決定するように構成される、請求項２１に記載の装置。
【請求項２８】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するように構成される、請求項２１に記載の装置。
【請求項２９】
前記親変換単位は、親ルミナンス変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、
前記１つ以上のクロミナンス非正方形変換を分割するように更に構成される、請求項２８に記載の装置。
【請求項３０】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するように構成される、請求項２１に記載の装置。
【請求項３１】
前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を符号化するように構成され、前記予測画素値を符号化することは、符号化ビットストリームにおいて前記予測画素値の指示を提供することを備える、請求項２１に記載の装置。
【請求項３２】
前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を復号するように構成され、前記予測画素値を復号することは、符号化ビットストリームから前記予測画素値の指示を取得することを備える、請求項２１に記載の装置。
【請求項３３】
ビデオデータをコード化するための装置であって、
ビデオデータのブロックに関連する画素値を予測するための変換区分構造を決定する手段と、前記変換区分構造は１つ以上の非正方形区分を含む、
予測された前記画素値に１つ以上の変換を適用するための変換区分構造を決定するための手段と、前記変換区分構造を決定することは、
親変換単位を分割することと、
前記親変換単位を分割することが１つ以上の正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の正方形変換を、前記１つ以上の正方形変換の各々が前記親変換単位を前記１つ以上の正方形変換に分割する結果としてちょうど１つの予測区分に対応するように決定することと、
前記親変換単位を分割することが１つ以上の非正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することとを含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを備える装置。
【請求項３４】
前記１つ以上の正方形変換を決定するための前記手段は、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないための手段を備える、請求項３３に記載の装置。
【請求項３５】
前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするための手段を更に備える、請求項３３に記載の装置。
【請求項３６】
前記１つ以上の正方形変換を決定するための前記手段は、異なるサイズの変換を残差値に適用するための変換区分構造を決定するための手段を備える、請求項３３に記載の装置。
【請求項３７】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項３６に記載の装置。
【請求項３８】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項３３に記載の装置。
【請求項３９】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更に分割され得ないと決定するための手段を備える、請求項３３に記載の装置。
【請求項４０】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するための手段を備える、請求項３３に記載の装置。
【請求項４１】
前記親変換単位が、親ルミナンス変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記装置は、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割するための手段と、
前記１つ以上のクロミナンス非正方形変換を分割するための手段とを更に備える、請求項４０に記載の装置。
【請求項４２】
前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するための手段を備える、請求項３３に記載の装置。
【請求項４３】
実行されると、１つ以上のプロセッサに、
ビデオデータのブロックに関連する画素値を予測するための予測区分構造を決定すること、前記予測区分構造は１つ以上の非正方形区分を含む、
予測された前記画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換区分構造を決定することは、
親変換単位を分割することと、
前記親変換単位を分割することが１つ以上の正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の正方形変換を、前記１つ以上の正方形変換の各々が前記親変換単位を前記１つ以上の正方形変換に分割する結果としてちょうど１つの予測区分に対応するように決定することと、
前記親変換単位を分割することが１つ以上の非正方形変換に前記親変換単位を分割することを含むことを決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、
決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを行わせる命令を記憶しているコンピュータ可読記憶媒体。
【請求項４４】
前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割させ、予測区分境界を越えて適用されない変換を分割させない、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項４５】
前記１つ以上のプロセッサに、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックに関連する参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にさせる命令を更に備える、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項４６】
前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、異なるサイズの変換を残差値に適用するための変換区分構造を決定させる、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項４７】
前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、請求項４６に記載のコンピュータ可読記憶媒体。
【請求項４８】
前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項４９】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更に分割され得ないと決定させる、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項５０】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定させる、請求項４３に記載のコンピュータ可読記憶媒体。
【請求項５１】
前記親変換単位は、親ルミナンス変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、
前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、
前記１つ以上のクロミナンス非正方形変換を分割するように更に構成される、請求項５０に記載のコンピュータ可読記憶媒体。
【請求項５２】
前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定させる、請求項４３に記載のコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２０５
【補正方法】変更
【補正の内容】
【０２０５】
[0219]様々な例が説明されてきた。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［１］  ビデオデータを復号する方法であって、ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、親変換単位を分割することと、前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することとを含む、決定された前記変換区分構造に基づいて前記予測画素値を復号することとを備える方法。
［２］  前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、［１］に記載の方法。
［３］  前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、［１］に記載の方法。
［４］  前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、［１］に記載の方法。
［５］  前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、［４］に記載の方法。
［６］  前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、［１］に記載の方法。
［７］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、［１］に記載の方法。
［８］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、［１］に記載の方法。
［９］  前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記方法が、前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、前記１つ以上のクロミナンス非正方形変換を分割することとを更に備える、［８］に記載の方法。
［１０］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、［１］に記載の方法。
［１１］  ビデオデータを符号化する方法であって、ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、親変換単位を分割することと、前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、決定された前記変換区分構造に基づいて前記予測画素値を符号化することとを備える方法。
［１２］  前記１つ以上の正方形変換を決定することは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないことを備える、［１１］に記載の方法。
［１３］  ビデオデータの前記ブロックに関連する、前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にすることを更に備える、［１１］に記載の方法。
［１４］  前記１つ以上の正方形変換を決定することは、異なるサイズの変換を残差値に適用するための変換区分構造を決定することを備える、［１１］に記載の方法。
［１５］  前記異なるサイズの変換が、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、［１４］に記載の方法。
［１６］  前記予測区分構造が、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、［１１］に記載の方法。
［１７］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更に分割され得ないと決定することを備える、［１１］に記載の方法。
［１８］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定することを備える、［１１］に記載の方法。
［１９］  前記親変換単位が、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記方法は、前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割することと、前記１つ以上のクロミナンス非正方形変換を分割することとを更に備える、［１８］に記載の方法。
［２０］  前記１つ以上の非正方形変換を分割するかどうかを決定することは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定することを備える、［１１］に記載の方法。
［２１］  ビデオデータをコード化するための装置であって、ビデオデータのブロックに関連する画素値を予測するための、１つ以上の非正方形区分を含む予測区分構造を決定することと、前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、親変換単位を分割することと、前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを行うように構成された１つ以上のプロセッサを備える装置。
［２２］  前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないように構成される、［２１］に記載の装置。
［２３］  前記１つ以上のプロセッサは、ビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするように更に構成され、ビデオデータの前記ブロックはブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックと関連する参照インデックスのうちの１つを備える、［２１］に記載の装置。
［２４］  前記１つ以上の正方形変換を決定するために、前記１つ以上のプロセッサは、異なるサイズの変換を残差値に適用するための変換区分構造を決定するように構成される、［２１］に記載の装置。
［２５］  前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、［２４］に記載の装置。
［２６］  前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、［２１］に記載の装置。
［２７］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更に分割され得ないと決定するように構成される、［２１］に記載の装置。
［２８］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するように構成される、［２１］に記載の装置。
［２９］  前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、前記１つ以上のクロミナンス非正方形変換を分割するように更に構成される、［２８］に記載の装置。
［３０］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記１つ以上のプロセッサは、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するように構成される、［２１］に記載の装置。
［３１］  前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を符号化するように構成され、前記予測画素値を符号化することは、符号化ビットストリームにおいて前記予測画素値の指示を提供することを備える、［２１］に記載の装置。
［３２］  前記予測画素値をコード化するために、前記１つ以上のプロセッサは、前記予測画素値を復号するように構成され、前記予測画素値を復号することは、符号化ビットストリームから前記予測画素値の指示を取得することを備える、［２１］に記載の装置。
［３３］  ビデオデータをコード化するための装置であって、ビデオデータのブロックに関連する画素値を予測するための変換区分構造を決定する手段と、前記変換区分構造は１つ以上の非正方形区分を含む、前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定するための手段と、前記変換分割構造を決定することが、親変換単位を分割することと、前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも部分的に基づいて決定することとを含む、決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを備える装置。
［３４］  前記１つ以上の正方形変換を決定するための前記手段は、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割し、予測区分境界を越えて適用されない変換を分割しないための手段を備える、［３３］に記載の装置。
［３５］  前記ブロックに関連するブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にするための手段を更に備える、［３３］に記載の装置。
［３６］  前記１つ以上の正方形変換を決定するための前記手段は、異なるサイズの変換を残差値に適用するための変換区分構造を決定するための手段を備える、［３３］に記載の装置。
［３７］  前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、［３６］に記載の装置。
［３８］  前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、［３３］に記載の装置。
［３９］  前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更に分割され得ないと決定するための手段を備える、［３３］に記載の装置。
［４０］  前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定するための手段を備える、［３３］に記載の装置。
［４１］  前記親変換単位が、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換は、１つ以上のルミナンス非正方形変換を備え、前記装置は、前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割するための手段と、前記１つ以上のクロミナンス非正方形変換を分割するための手段とを更に備える、［４０］に記載の装置。
［４２］  前記１つ以上の非正方形変換を分割するかどうかを決定するための前記手段は、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも一部基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定するための手段を備える、［３３］に記載の装置。
［４３］  実行されると、１つ以上のプロセッサに、ビデオデータのブロックに関連する画素値を予測するための予測区分構造を決定すること、前記予測区分構造は１つ以上の非正方形区分を含む、前記予測画素値に１つ以上の変換を適用するための変換区分構造を決定することと、前記変換分割構造を決定することは、親変換単位を分割することと、前記変換区分構造が前記親変換単位を１つ以上の正方形変換に分割することを備えると決定すると、１つ以上の正方形変換を、前記１つ以上の正方形変換の各々がちょうど１つの予測区分に対応するように決定することと、前記変換区分構造が前記親変換単位を１つ以上の非正方形変換に分割することを備えると決定すると、前記１つ以上の非正方形変換を分割するかどうかを、前記１つ以上の非正方形変換が非正方形であることに少なくとも一部基づいて決定することとを含む、決定された前記変換区分構造に基づいて前記予測画素値をコード化することとを行わせる命令を記憶している非一時的コンピュータ可読媒体。
［４４］  前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換の予測区分境界を越えて適用される変換を分割させ、予測区分境界を越えて適用されない変換を分割させない、［４３］に記載の非一時的コンピュータ可読媒体。
［４５］  前記１つ以上のプロセッサに、ブロックサイズ、ピクチャタイプ、ピクチャサイズ、予測モード、動きベクトル振幅、及び前記ブロックに関連する参照インデックスのうちの１つを備えるビデオデータの前記ブロックに関連するコード化特性に基づいて、前記１つ以上の正方形変換の前記決定を適応的に有効にさせる命令を更に備える、［４３］に記載の非一時的コンピュータ可読媒体。
［４６］  前記１つ以上の正方形変換を決定するために、前記命令が、前記１つ以上のプロセッサに、異なるサイズの変換を残差値に適用するための変換区分構造を決定させる、［４３］に記載の非一時的コンピュータ可読媒体。
［４７］  前記異なるサイズの変換は、残差４分木によって示される最小変換サイズよりも小さいサイズを有する少なくとも１つの変換を含む、［４６］に記載の非一時的コンピュータ可読媒体。
［４８］  前記予測区分構造は、サイズがｎＬ×２Ｎ、ｎＲ×２Ｎ、２Ｎ×ｎＵ、及び２Ｎ×ｎＤのうちの１つである予測単位を備える、［４３］に記載の非一時的コンピュータ可読媒体。
［４９］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更に分割され得ないと決定させる、［４３］に記載の非一時的コンピュータ可読媒体。
［５０］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記１つ以上の非正方形変換が更なる非正方形ＴＵにのみ更に分割され得ると決定させる、［４３］に記載の非一時的コンピュータ可読媒体。
［５１］  前記親変換単位は、ルミナンス親変換単位を備え、前記１つ以上の非正方形変換が、１つ以上のルミナンス非正方形変換を備え、前記１つ以上のプロセッサは、前記親ルミナンス変換単位に対応する親クロミナンス変換単位を、１つ以上のクロミナンス非正方形変換に分割し、前記１つ以上のクロミナンス非正方形変換を分割するように更に構成される、［５０］に記載の非一時的コンピュータ可読媒体。
［５２］  前記１つ以上の非正方形変換を分割するかどうかを決定するために、前記命令が、前記１つ以上のプロセッサに、前記親変換単位に対応するコード化単位のサイズ、前記親変換単位を含むピクチャのピクチャタイプ、前記親変換単位を含む前記ピクチャの画素解像度、及び前記親変換単位に対応する前記コード化単位に関するブロックタイプのうちの１つ以上に少なくとも部分的に基づいて、前記１つ以上の非正方形変換を分割するかどうかを決定させる、［４３］に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2015516769.tif 000025
2015516769.tif 000026
2015516769.tif 000027
2015516769.tif 000028