(57)【特許請求の範囲】
【請求項１】
ビデオデータを符号器が符号化する方法において、前記方法は、
予測モードに基づく予測ビデオブロックを生成するためにビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用することと、
残余ブロックを形成するために前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算することと、
前記残余ブロックに適用するための第１の変換サイズを有する変換を選択することと、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用することと、
前記選択された変換を示すヘッダデータを生成することであって、
前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が前記第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、
前記ヘッダデータを生成することと、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成すること、
を備える方法。
【請求項２】
前記第３の構文要素は第２の値を備え、前記第１の構文要素は前記第２の値が非零である場合順次前記第３の構文要素の後に続く、請求項１に記載の方法。
【請求項３】
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、請求項１に記載の方法。
【請求項４】
前記第１の値は、前記予測ビデオブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、請求項３に記載の方法。
【請求項５】
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、請求項１に記載の方法。
【請求項６】
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、請求項５に記載の方法。
【請求項７】
前記第１の変換サイズは前記予測ビデオブロックの前記予測ブロックサイズに等しい、請求項１に記載の方法。
【請求項８】
前記選択された変換を示すヘッダデータを生成することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定することを備える、請求項１に記載の方法。
【請求項９】
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、請求項８に記載の方法。
【請求項１０】
前記選択された変換を示すヘッダデータを生成することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２の値に等しいかどうかを判定することを備える、請求項１に記載の方法。
【請求項１１】
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、請求項１０に記載の方法。
【請求項１２】
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、請求項１０に記載の方法。
【請求項１３】
前記選択された変換は整数変換である、請求項１に記載の方法。
【請求項１４】
前記選択された変換は離散余弦変換である、請求項１に記載の方法。
【請求項１５】
ビデオデータを復号器が復号する方法において、前記方法は、
少なくとも１つのブロックについてのヘッダデータ及び前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信することであって、前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が前記第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記ビデオ信号を受信することと、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用することと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用された前記第１の変換サイズを判定すること、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用することと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算することを備える方法。
【請求項１６】
前記ヘッダデータは、該第３の構文要素は第２の値を備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続いている、請求項１５に記載の方法。
【請求項１７】
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、請求項１５に記載の方法。
【請求項１８】
前記第１の値は、前記少なくとも１つのブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、請求項１７に記載の方法。
【請求項１９】
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、請求項１５に記載の方法。
【請求項２０】
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、請求項１９に記載の方法。
【請求項２１】
前記第１の変換サイズは前記少なくとも１つのブロックの前記予測ブロックサイズに等しい、請求項１５に記載の方法。
【請求項２２】
前記第１の変換サイズを判定することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定することを備える、請求項１５に記載の方法。
【請求項２３】
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、請求項２２に記載の方法。
【請求項２４】
前記第１の変換サイズを判定することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２の値に等しいかどうかを判定することを備える、請求項１５に記載の方法。
【請求項２５】
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、請求項２４に記載の方法。
【請求項２６】
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、請求項２４に記載の方法。
【請求項２７】
前記逆変換は整数変換である、請求項１５に記載の方法。
【請求項２８】
前記逆変換は離散余弦変換である、請求項１５に記載の方法。
【請求項２９】
ビデオデータを符号化する装置において、
予測モードに基づく予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用する手段と、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算する手段と、
前記残余ブロックに適用するために、第１の変換サイズを有する変換を選択して手段と、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用する手段と、
前記選択された変換を示すヘッダデータを生成するための手段であって、
前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が前記第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記ヘッダデータを生成するための手段と、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成するための手段を備える装置。
【請求項３０】
空間予測または動き補償を適用するための前記手段は予測ユニットを備え、減算するための前記手段は加算器を備え、前記変換サイズを選択するための前記手段はモード決定ユニットを備え、ヘッダデータを生成するための前記手段はエントロピー符号化ユニットを備え、前記選択された変換を適用するための前記手段はブロック変換ユニットを備え、ビデオ信号を生成するための前記手段は前記エントロピー符号化ユニットを備える、請求項２９に記載の装置。
【請求項３１】
ビデオデータを復号する装置において、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信するための手段であって、前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が、前記少なくとも１つのブロックを符号化するために使用された第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記ビデオ信号を受信するための手段と、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用するための手段と、
前記第１の構文要素および前記第２の構文要素に基づいて、前記少なくとも１つのブロックを符号化するのに使用された前記第１の変換サイズを判定するための手段と、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用するための手段と、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算するための手段を備える装置。
【請求項３２】
受信のための前記手段は受信器を備え、空間予測または動き補償を適用するための前記手段は予測ユニットを備え、前記第１の変換サイズを判定するための前記手段はエントロピー復号ユニットを備え、逆変換を適用するための前記手段は逆変換ユニットを備え、加算するための前記手段は加算器を備える、請求項３１に記載の装置。
【請求項３３】
ビデオデータを符号化するシステムにおいて、
予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用するように構成された予測ユニットと、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算するように構成された加算器と、
前記残余ブロックに適用する第１の変換サイズを有する変換を選択するように構成されたモード決定ユニットと、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用するように構成されたブロック変換ユニットと、
前記選択された変換を示すヘッダデータを生成するエントロピー符号化ユニットであり、
前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が前記第１の変換サイズを示し、そして、前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成するように構成されている、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記エントロピー符号化ユニットと、
を備えるシステム。
【請求項３４】
前記ヘッダデータは、前記第３の構文要素は第２の値を備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続く、請求項３３に記載のシステム。
【請求項３５】
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、請求項３３に記載のシステム。
【請求項３６】
前記第１の値は、前記予測ビデオブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、請求項３５に記載のシステム。
【請求項３７】
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、請求項３３に記載のシステム。
【請求項３８】
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、請求項３７に記載のシステム。
【請求項３９】
前記第１の変換サイズは前記予測ビデオブロックの前記予測ブロックサイズに等しい、請求項３３に記載のシステム。
【請求項４０】
前記エントロピー符号化ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定するように構成される、請求項３３に記載のシステム。
【請求項４１】
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、請求項４０に記載のシステム。
【請求項４２】
前記エントロピー符号化ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２の値に等しいかどうかを判定するように構成される、請求項３３に記載のシステム。
【請求項４３】
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、請求項４２に記載のシステム。
【請求項４４】
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、請求項４２に記載のシステム。
【請求項４５】
前記選択された変換は整数変換である、請求項３３に記載のシステム。
【請求項４６】
前記選択された変換は離散余弦変換である、請求項３３に記載のシステム。
【請求項４７】
ビデオデータを復号するシステムにおいて、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信するように構成された受信器であって、
前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が、前記少なくとも１つのブロックを符号化するために使用された第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記受信器と、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用するように構成された予測ユニットと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定するように構成されたエントロピー復号ユニットと、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用するように構成された逆変換ユニットと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算するように構成された加算器を備えるシステム。
【請求項４８】
前記ヘッダデータは、第２の値を備える第３の構文要素をさらに備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続く、請求項４７に記載のシステム。
【請求項４９】
前記第１の構文要素の前記第１の値は複数の変換サイズに相当する、請求項４７に記載のシステム。
【請求項５０】
前記第１の値は、前記少なくとも１つのブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、請求項４９に記載のシステム。
【請求項５１】
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、請求項４７に記載のシステム。
【請求項５２】
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、請求項５１に記載のシステム。
【請求項５３】
前記第１の変換サイズは前記少なくとも１つのブロックの前記予測ブロックサイズに等しい、請求項４７に記載のシステム。
【請求項５４】
前記エントロピー復号ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定するように構成される、請求項５３に記載のシステム。
【請求項５５】
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、請求項５４に記載のシステム。
【請求項５６】
前記エントロピー復号ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２の値に等しいかどうかを判定するように構成される、請求項４７に記載のシステム。
【請求項５７】
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、請求項５６に記載のシステム。
【請求項５８】
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、請求項５６に記載のシステム。
【請求項５９】
前記逆変換は整数変換である、請求項４７に記載のシステム。
【請求項６０】
前記逆変換は離散余弦変換である、請求項４７に記載のシステム。
【請求項６１】
コンピュータ読み取り可能な記憶媒体であって、１つ又は複数のコンピュータが処理を実行するための命令を格納しており、前記命令は方法を実行させるものであり、
前記命令に基づいて前記方法は、
予測モードに基づく予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用することと、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算することと、
前記残余ブロックに適用するために、第１の変換サイズを有する変換を選択することと、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用することと、
前記選択された変換を示すヘッダデータを生成すること、であって、
前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が前記第１の変換サイズを示し、そして、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成すること、を実行する、
前記コンピュータ読み取り可能な記憶媒体。
【請求項６２】
コンピュータ読み取り可能な記憶媒体であって、１つ又は複数のコンピュータが処理を実行するための命令を格納しており、前記命令は方法を実行させるものであり、
前記命令に基づいて前記方法は、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信することであって、前記ヘッダデータが、少なくとも３つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、ここで前記少なくとも３つの変換サイズは、少なくとも１つのＮ×Ｍ変換サイズを備え、そしてＭとＮの少なくとも１つは１６より大きいか又は等しく、ここで前記第２の構文要素と一緒になった場合のみ前記第１の構文要素の前記第１の値が、前記少なくとも１つのブロックを符号化するために使用された第１の変換サイズを示し、ここで前記ヘッダデータはさらに、前記残余変換係数が１又は複数の非零係数を含むかどうかを示す第３の構文要素を備える、前記ビデオ信号を受信することと、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用することと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定することと、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用することと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算すること、を実行する、
前記コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
各出願の内容全体が参照によって本明細書に組み込まれる、本出願は、２００８年１０月３日に出願された米国仮出願第６１／１０２７８３号および２００９年５月１８日に出願された米国特許仮出願第６１／１７９２２８号の利益を主張する。
【０００２】
本発明は、８×８よりも大きい変換サイズを使用したビデオデータの符号化および復号に関する。
【背景技術】
【０００３】
デジタルビデオ機能は、デジタルテレビ、デジタル直接放送システム、無線電話ハンドセットなどの無線通信装置、無線放送システム、パーソナルデジタルアシスタンス（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、デジタルカメラ、デジタル録音装置、ビデオゲーム装置、ビデオゲームコンソースなどを含む広範囲の装置に組み込むことができる。デジタルビデオ装置は、ＭＰＥＧ−２や、ＭＰＥＧ−４や、Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）などのビデオ圧縮技術を実施してデジタルビデオをより効率的に送受信する。ビデオ圧縮技術は、空間予測および時間予測を実施してビデオシーケンスに固有の冗長性を低減させるかあるいは排除する。
【０００４】
ビデオ圧縮は一般に、空間予測および／または時間予測を含む。特に、画面内符号化は、空間予測によって、ビデオフレーム、ビデオフレームのスライスなどを含んでよい所与の符号化後単位内のビデオブロック同士の間の空間冗長性を低減させるかあるいは排除する。これに対して、画面間符号化は、時間予測によって、ビデオシーケンスの連続的な符号化後単位のビデオブロック同士の間の時間冗長性を低減させるかあるいは排除する。画面内符号化の場合、ビデオ符号器は、空間予測を実行し、同じ符号化後単位内の他のデータに基づいてデータを圧縮する。画面間符号化の場合、ビデオ符号器は、動き推定および動き補償を実行して、２つ以上の隣接する符号化後単位の互いに一致するビデオブロックの移動を追跡する。
【０００５】
空間または時間予測の後、符号化中の元のビデオブロックから予測プロセス中に生成される予測ビデオブロックを減算することによって、残余ブロックが生成される。したがって、残余ブロックは、予測ブロックと符号化中の現在のブロックとの差を示す。ビデオ符号器は、変換プロセス、量子化プロセス、およびエントロピー符号化プロセスを適用して、残余ブロックの伝達に関連するビットレートをさらに低減させ得る。これらの変換技術は、１組の画素値を周波数ドメインにおける画素値のエネルギーを表す変換係数に変換することができる。量子化は、変換係数に適用され、一般に、任意の所与の係数に関連するビットの数を制限するプロセスを伴う。エントロピー符号化の前に、ビデオ符号器は、量子化された係数ブロックをスキャンして係数の一次元ベクトルに変換する。ビデオ符号器エントロピーは、量子化された変換係数のベクトルを符号化して残余データをさらに圧縮する。
【０００６】
ビデオ復号器は、エントロピー復号演算を実行して係数を取り込むことができる。また復号器で逆方向スキャンを実行して、係数の受信された一次元ベクトルから二次元ブロックを形成することができる。ビデオ復号器は次いで、各係数を逆量子化し逆変換して、再構成された残余ブロックを得る。ビデオ復号器は次に、動き情報を含む予測情報に基づいて予測ビデオブロックを復号する。ビデオ復号器は次いで、再構成されたビデオブロックを生成するとともにビデオ情報の復号シーケンスを生成するために、予測ビデオブロックを対応する再構成された残余ブロックに加算する。
【発明の概要】
【０００７】
本出願のシステム、方法、および装置はそれぞれ、いくつかの態様を有し、どの態様もその所望の属性にのみ関係しているわけではない。以下に、特許請求の範囲によって表される本出願の範囲を制限せずに、本出願の顕著な特徴についてここで簡単に論じる。この議論を検討し、特に「詳細な説明」という名称の節を読んだ後、本出願の例示的な特徴が、特に、たとえばビデオ符号化効率の向上を含む、いくつかの向上をどのように実現できるかが理解される。
【０００８】
一実施形態には、ビデオデータを符号化する方法において、予測モードに基づく予測ビデオブロックを生成するためにビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用することと、残余ブロックを形成するために、ビデオフレーム内の元のビデオブロックから予測ビデオブロックを減算することと、残余ブロックに適用するための第１の変換サイズを有する変換を選択することと、選択された変換を示すヘッダデータを生成することであって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と第２の構文要素が第１の変換サイズを示すように、前記ヘッダデータを生成することと、残余変換係数を生成するために、選択された変換を残余ブロックに適用することと、ヘッダデータおよび残余変換係数に基づくビデオ信号を生成することとを備える方法がある。
【０００９】
他の実施形態には、ビデオデータを復号する方法において、少なくとも１つのブロックについてのヘッダデータおよび少なくとも１つのブロックについての残余変換係数を備えるビデオのフレーム内の少なくとも１つのブロックを示すビデオ信号を受信することであって、ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と第２の構文要素が、少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記ビデオ信号を受信することと、少なくとも１つのブロックの予測ブロックサイズの予測ビデオブロックを生成するために少なくとも１つのブロックに空間予測または動き補償を適用することと、前記第１の構文要素および第２の構文要素に基づいて少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを判定することと、復号された残余ブロックを得るために判定された第１の変換サイズの逆変換を残余変換係数に適用することと、復号されたビデオブロックを得るために復号された残余ブロックを予測ビデオブロックに加算することを備える方法がある。
【００１０】
他の実施形態には、ビデオデータを符号化する装置において、予測モードに基づいて予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用するための手段と、残余ブロックを形成するために、ビデオフレーム内の元のビデオブロックから予測ビデオブロックを減算するための手段と、残余ブロックに適用するために第１の変換サイズを有する変換を選択するための手段と、選択された変換を示すヘッダデータを生成するための手段であって、ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、前記第１の構文要素と第２の構文要素が一緒に第１の変換サイズを示すように、前記ヘッダデータを生成するための手段と、残余変換係数を生成するために、選択された変換を残余ブロックに適用するための手段と、ヘッダデータおよび残余変換係数に基づくビデオ信号を生成するための手段とを備える装置がある。
【００１１】
他の実施形態には、ビデオデータを復号する装置において、少なくとも１つのブロックについてのヘッダデータおよび少なくとも１つのブロックについての残余変換係数を備える、ビデオのフレーム内の少なくとも１つのブロックを示すビデオ信号を受信するための手段であって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と第２の構文要素が少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記ビデオ信号を受信するための手段と、少なくとも１つのブロックの予測ブロックサイズの予測ビデオブロックを生成するために、少なくとも１つのブロックに空間予測または動き補償を適用するための手段と、前記第１の構文要素および第２の構文要素に基づいて少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを判定するための手段と、復号された残余ブロックを得るために、判定された第１の変換サイズの逆変換を残余変換係数に適用する手段と、復号された残余ブロックを予測ビデオブロックに加算し、復号されたビデオブロックを得るための手段とを備える装置がある。
【００１２】
他の実施形態には、ビデオデータを符号化するシステムにおいて、予測モードに基づく予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用するように構成された予測ユニットと、残余ブロックを形成するために、ビデオフレーム内の元のビデオブロックから予測ビデオブロックを減算するように構成された加算器と、第１の変換サイズを有する変換を選択して残余ブロックに適用し、選択された変換を示すヘッダデータを生成するように構成されたプロセッサであって、ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、前記第１の構文要素と第２の構文要素が一緒に第１の変換サイズを示すように、前記ヘッダを生成するプロセッサと、残余変換係数を生成するために、選択された変換を残余ブロックに適用するように構成されたブロック変換ユニットと、前記ヘッダデータおよび残余変換係数に基づくビデオ信号を生成するように構成されたエントロピー符号化ユニットとを備えるシステムがある。
【００１３】
他の実施形態には、ビデオデータを復号するシステムにおいて、少なくとも１つのブロックについてのヘッダデータおよび少なくとも１つのブロックについての残余変換係数を備える、ビデオのフレーム内の少なくとも１つのブロックを示すビデオ信号を受信するように構成された受信器であって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった第１の構文要素と第２の構文要素が少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示す、受信器と、少なくとも１つのブロックの予測ブロックサイズの予測ビデオブロックを生成するために、少なくとも１つのブロックに空間予測または動き補償を適用するように構成された予測ユニットと、前記第１の構文要素および第２の構文要素に基づいて少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを判定するように構成されたプロセッサと、復号された残余ブロックを得るために判定された第１の変換サイズの逆変換を残余変換係数に適用するように構成された逆変換ユニットと、復号されたビデオブロックを得るために、復号された残余ブロックを予測ビデオブロックに加算するように構成された加算器とを備えるシステムがある。
【図面の簡単な説明】
【００１４】
【図１】ビデオ信号を符号化し復号するための送信元装置および送信先装置を示すブロック図。
【図２】図１のビデオ符号器の一実施形態のブロック図。
【図３】図１の符号器によって使用される変換の種類を図１の復号器に示すようにフラグ値を設定するプロセスの一実施形態のフローチャート。
【図４】図１の符号器によって使用される変換の種類を図１の復号器に示すようにフラグ値を設定するプロセスの他の実施形態のフローチャート。
【図５】図３のプロセスによって符号化されたビデオデータを復号するための正しい逆変換を選択するプロセスの一実施形態のフローチャート。
【図６】図４のプロセスによって符号化されたビデオデータを復号するための正しい逆変換を選択するプロセスの他の実施形態のフローチャート。
【図７】図１のビデオ復号器の一実施形態のブロック図。
【発明を実施するための形態】
【００１５】
以下の詳細な説明はある特定の実施形態を対象にする。しかし、本明細書の教示は多数の異なる方法に適用することができる。この説明では、同じ部分が同じ参照符号で示されている図面を参照する。
【００１６】
一実施形態は、ビデオ符号化および復号用の変換サイズ構文要素を対象とする。画像およびビデオ信号の符号化および復号プロセスにおいて簡略化された１組の変換選択規則および指針を実施することによって、低ビットレート構文を作成することが可能であった。上述のように、変換サイズ構文は、符号器における特定の変換サイズを示す手段であるとともに復号器における変換サイズを解釈する手段である。変換サイズ構文要素は、使用すべき変換のサイズを示すのに使用することができ、かついくつかのビットを備えるフラグ値を含んでよい。以下の詳細な説明では概して用語「ビデオ」、「画像」、および「ピクチャ」が交換可能に使用されることがあることに留意されたい。したがって、本発明の様々な形態の範囲をこれらの用語同士の違いの概念によって制限すべきではない。
【００１７】
図１は、本開示で説明する符号化技術を実施するビデオ符号化・復号システム１０を示すブロック図である。図１に示されているように、システム１０は、符号化されたビデオデータを通信チャネル１６を介して送信先装置１４に送信する送信元装置１２を含んでいる。送信元装置１２は、ビデオ送信装置１８、ビデオ符号器２０、および送信器２２を含んでよい。送信元装置１２のビデオ送信装置１８は、ビデオカメラなどのビデオ取り込み装置、事前に取り込まれたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダからのビデオフィードを含んでよい。さらなる代替形態として、ビデオ送信装置１８は、ソースビデオとしてのコンピュータグラフィクスによるデータ、またはライブビデオとコンピュータによって生成されたビデオの組合せを生成することができる。場合によっては、送信元装置１２は携帯電話またはテレビ電話であってよく、その場合、ビデオ送信装置１８は、電話に搭載されたビデオカメラであってよい。それぞれの場合に、取り込まれたか、事前に取り込まれたか、あるいはコンピュータによって生成されたビデオは、送信器２２および通信チャネル１６を介して送信元装置１２から送信先装置１４に送信するようにビデオ符号器２０によって符号化することができる。
【００１８】
ビデオ符号器２０はビデオ送信装置１８からビデオデータを受信する。ビデオ送信装置１８から受信されるビデオデータは一連のビデオフレームであってよい。ビデオ符号器２０は、一連のフレームを符号化単位に分割し、これらの符号化単位を処理して一連のビデオフレームを符号化する。符号化単位はたとえば、フレーム全体またはフレームの一部（たとえばスライス）であってよい。したがって、場合によっては、フレームをスライスに分割することができる。ビデオ符号器２０は、ビデオデータを符号化するために、各符号化単位を画素のブロック（本明細書ではビデオブロックまたはブロックと呼ばれる）に分割し、個々の符号化単位内のビデオブロックを処理する。そのため、符号化単位（たとえば、フレームやスライス）は複数のビデオブロックを含んでよい。言い換えれば、ビデオシーケンスは複数のフレームを含んでよく、フレームは複数のスライスを含んでよく、スライスは複数のビデオブロックを含んでよい。
【００１９】
各ビデオブロックは、一定サイズまたは可変サイズを有してよく、かつ指定された符号化標準に応じて異なるサイズを有してよい。一例として、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）Ｈ．２６４／ＭＰＥＧ−４，Ｐａｒｔ  １０，Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）（以下「Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０  ＡＶＣ」標準）は、輝度成分については１６×１６画素、８×８画素、または４×４画素、および彩度成分については８×８画素のような様々なブロックサイズの画像内予測をサポートする。画像内予測は、輝度成分については１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素のような様々なブロックサイズで実行することができ、彩度成分については対応するスケールのサイズで実行することができる。Ｈ．２６４では、たとえば、１６×１６画素の各ビデオブロックは、マクロブロック（ＭＢ）と呼ばれることが多く、より小さいサイズの副ブロックに細分して副ブロック単位で画像内予測または画像間予測を施すことができる。一般に、ＭＢおよび様々な副ブロックをビデオブロックとみなすことができる。したがって、ＭＢをビデオブロックとみなすことができ、区分または再区分される場合、ＭＢ自体をビデオブロックの組を形成するとみなすことができる。
【００２０】
各ビデオブロックごとに、ビデオ符号器２０は、ブロックのブロックタイプを選択する。ブロックタイプは、このブロックが画像間予測を使用して予測されるかそれとも画像内予測を使用して予測されるかということと、ブロックの予測ブロックサイズとを示すことができる。たとえば、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０  ＡＶＣ標準は、Ｉｎｔｅｒ  １６×１６、Ｉｎｔｅｒ  １６×８、Ｉｎｔｅｒ  ８×１６、Ｉｎｔｅｒ  ８×８、Ｉｎｔｅｒ  ８×４、Ｉｎｔｅｒ  ４×８、Ｉｎｔｅｒ  ４×４、Ｉｎｔｒａ  １６×１６、Ｉｎｔｒａ  ８×８、およびＩｎｔｒａ  ４×４を含むいくつかの画像間予測ブロックタイプおよび画像内予測ブロックタイプをサポートする。以下に詳しく説明するように、ビデオ符号器２０は、符号化すべき各ビデオブロックについてブロックタイプの１つを選択することができる。
【００２１】
ビデオ符号器２０は、各ビデオブロックについて予測モードも選択する。画像内符号化されたビデオブロックの場合、予測モードは、事前に符号化された１つまたは複数のビデオブロックを使用して現在のビデオブロックを予測する方法を判定することができる。Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０  ＡＶＣ標準では、たとえば、ビデオ符号器２０は、各Ｉｎｔｒａ  ４×４ブロックごとに９つの考えられる一方向予測モード、すなわち垂直予測モード、水平予測モード、ＤＣ予測モード、対角左下予測モード、対角右下予測モード、垂直右予測モード、水平下予測モード、垂直左予測モード、および水平上予測モードのうちの１つを選択することができる。各Ｉｎｔｒａ  ８×８ブロックを予測するのにも同様の予測モードが使用される。Ｉｎｔｒａ  １６×１６ブロックについては、ビデオ符号器２０は、４つの考えられる一方向予測モード、すなわち垂直予測モード、水平予測モード、ＤＣ予測モード、および平面上予測モードのうちの１つを選択することができる。場合によっては、ビデオ符号器２０は、一方向予測モードだけでなく、一方向モードの組合せを定める１つまたは複数の多方向予測モードも含む１組の予測モードから予測モードを選択することができる。たとえば、１つまたは複数の多方向予測モードは、２つの一方向予測モードを組み合わせた二方向予測モードであってよい。
【００２２】
ビデオ符号器２０は、ビデオブロックの予測モードを選択した後、選択された予測モードを使用して予測ビデオブロックを生成する。予測ビデオブロックが元のビデオブロックから減算されて残余ブロックが形成される。残余ブロックは、元のビデオブロックの画素値と生成された予測ブロックの画素値との差としての１組の画素差値を含んでいる。残余ブロックは、二次元ブロックフォーマット（たとえば、画素差値の二次元マトリクスやアレイ）で表すことができる。
【００２３】
ビデオ符号器２０は、残余ブロックを生成した後、ブロックを符号化する前に残余ブロックにいくつかの他の演算を実行することができる。ビデオ符号器２０は、整数変換、ＤＣＴ変換、方向性変換、またはウェーブレット変換などの変換を画素値の残余ブロックに適用して変換係数のブロックを生成することができる。変換係数は残余ブロックの周波数ドメイン表現であってよい。したがって、ビデオ符号器２０は残余画素値を変換係数（残余変換係数とも呼ばれる）に変換する。残余変換係数を変換ブロックまたは係数ブロックと呼ぶことができる。残余変換係数は、分離不能な変換が適用されるときには係数の一次元表現であってよく、あるいは分離可能な変換が適用されるときには係数の二次元表現であってよい。分離不能な変換は分離不能な方向性変換を含んでよい。分離可能な変換は、分離可能な方向性変換、ＤＣＴ変換、整数変換、およびウェーブレット変換を含んでよい。
【００２４】
変換後に、ビデオ符号器２０は、量子化を実行して量子化変換係数を生成する（量子化係数または量子化残余係数とも呼ばれる）。この場合も、量子化係数を一次元ベクトルフォーマットまたは二次元ブロックフォーマットで表すことができる。量子化とは一般に、係数を量子化して、場合によっては、係数を表すのに使用されるデータの量を少なくするプロセスを指す。量子化プロセスは、いくつかまたはすべての係数に関連するビット深さを浅くすることができる。用語「係数」は、本明細書で使用されるときは、変換係数、量子化係数、または他の種類の係数を表すことができる。本開示の技術は、場合によっては、残余画素値、量子化残余画素値、ならびに変換係数および量子化変換係数に適用することができる。
【００２５】
分離可能な変換が使用され、かつ係数ブロックが二次元ブロックフォーマットで表されるとき、ビデオ符号器２０は、係数をスキャンして二次元フォーマットから一次元フォーマットに変換する。言い換えれば、ビデオ符号器２０は、二次元ブロックから得た係数をスキャンして係数を係数の一次元ベクトルに直列化することができる。本開示の態様の１つによれば、ビデオ符号器２０は、収集された統計に基づいて係数ブロックを一次元に変換するのに使用されるスキャン順序を調整することができる。統計は、二次元ブロックの各位置における所与の係数値が零または非零になる可能性の表示を備えてよく、かつたとえば、二次元ブロックの各係数位置に関連する計数、確率または他の統計基準を備えてよい。場合によっては、ブロックの係数位置のサブセットについてのみ統計を収集することができる。たとえば特定数のブロックの後でスキャン順序が評価されると、非零係数を有する確率がより高いと判定されたブロック内の係数位置が、非零係数を有する確率がより低いと判定されたブロック内の係数位置より前にスキャンされるようにスキャン順序を変更することができる。このように、一次元係数ベクトルの最初の部分において非零係数をより効率的にグループ化し、一次元係数ベクトルの最後の部分において零値係数をより効率的にグループ化するように最初のスキャン順序を適合させることができる。これによって、一次元係数ベクトルの最初の部分の非零係数間の零のランが短くなり、一次元係数ベクトルの最後の部分に零のより長い１つのランが位置するようになるため、エントロピー符号化に使用されるビット数を少なくすることができる。
【００２６】
ビデオ符号器２０は、係数をスキャンした後、コンテクスト適応可変長符号化（ＣＡＶＬＣ）、コンテクスト適応２進算術符号化（ＣＡＢＡＣ）、ランレングス符号化など、様々なエントロピー符号化方法のいずれかを使用して符号化単位の各ビデオブロックを符号化する。送信元装置１２は、符号化されたビデオデータを送信器２２およびチャネル１６を介して送信先装置１４に送信する。通信チャネル１６は、無線周波数（ＲＦ）スペクトルや１つまたは複数の物理伝送線などの任意の無線通信媒体または有線通信媒体、あるいは無線媒体と有線媒体の任意の組合せを備えてよい。通信チャネル１６は、ローカルエリアネットワークなどのパケット式ネットワーク、広域ネットワーク、インターネットなどのグローバルネットワークの一部を形成することができる。通信チャネル１６は一般に、符号化されたビデオデータを送信元装置１２から送信先装置１４まで送信するための任意の適切な通信媒体または様々な通信媒体の集合を表す。
【００２７】
送信先装置１４は受信器２４と、ビデオ復号器２６と、表示装置２８とを含んでよい。ビデオ信号を受信する一手段である受信器２４は、符号化されたビデオビットストリームを送信元装置１２からチャネル１６を介して受信する。ビデオ復号器２６は、エントロピー復号を適用して符号化されたビデオビットストリームを復号し、ヘッダ情報、動きベクトル、および符号化後単位の符号化されたビデオブロックの量子化残余係数を得る。上述のように、送信元装置１２によって符号化された量子化残余係数は一次元ベクトルとして符号化されている。したがって、ビデオ復号器２６は、符号化されたビデオブロックの量子化残余係数をスキャンして係数の一次元ベクトルを量子化残余係数の二次元ブロックに変換する。ビデオ復号器２６は、ビデオ符号器２０と同様に、ビデオブロック内の所与の係数位置が零または非零になる可能性を示す統計を収集し、それによって、符号化プロセスで使用されたのと同じ方法でスキャン順序を調整することができる。したがって、直列化された量子化変換係数の一次元ベクトル表現を量子化変換係数の二次元ブロックに変換し直すために、ビデオ復号器２６によって相互適応スキャン順序を適用することができる。
【００２８】
ビデオ復号器２６は、復号されたヘッダ情報および復号された残余情報を使用して符号化単位の各ブロックを再構成する。特に、ビデオ復号器２６は、ヘッダ情報の一部として含められる予測情報および動き情報を使用して現在のビデオブロックの予測ビデオブロックを生成し、予測ブロックを対応する残余ビデオブロックと組み合わせて各ビデオブロックを再構成することができる。送信先装置１４は、再構成されたビデオブロックを表示装置２８を介してユーザに表示することができる。表示装置２８は、陰極管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤディスプレイ、他の種類の表示ユニットのような様々な表示装置のいずれかを備えてよい。
【００２９】
場合によっては、送信元装置１２と送信先装置１４は実質的に対称的に動作することができる。たとえば、送信元装置１２および送信先装置１４はそれぞれ、ビデオ符号化構成要素およびビデオ復号構成要素を含んでよい。したがって、システム１０は、たとえばビデオストリーミング、ビデオ放送、またはテレビ電話用の装置１２、１４間の一方向または二方向ビデオ伝送をサポートすることができる。ビデオ符号化構成要素およびビデオ復号構成要素を含む装置は、デジタルビデオレコーダ（ＤＶＲ）などの一般的な符号化記録再生装置の一部を形成してもよい。
【００３０】
ビデオ符号器２０およびビデオ復号器２６は、ＭＰＥＧ−１、ＭＰＥＧ−２、およびＭＰＥＧ−４におけるＭｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＭＰＥＧ）によって定められた標準、ＩＴＵ−Ｔ  Ｈ．２６３標準、Ｈ．２６４／ＭＰＥＧ４  Ｐａｒｔ  １０  ＡＶＣ標準、米国映画テレビ技術者協会（ＳＭＰＴＥ）４２１ＭビデオＣＯＤＥＣ標準（一般には「ＶＣ−１」と呼ばれる）、Ａｕｄｉｏ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｓｔａｎｄａｒｄ  Ｗｏｒｋｇｒｏｕｐ  ｏｆ  Ｃｈｉｎａ（一般には「ＡＶＳ」と呼ばれる）によって定められた標準のような様々なビデオ圧縮標準のいずれかと、標準化団体によって定められたかあるいはある機関によって独自標準として開発された任意の他のビデオ符号化標準に従って動作することができる。図１には示されていないが、いくつかの態様では、ビデオ符号器２０およびビデオ復号器２６はそれぞれ、オーディオ符号器および復号器とそれぞれ一体化することができ、かつ共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を扱う適切なＭＵＸ−ＤＥＭＵＸユニットまたは他のハードウェアおよびソフトウェアを含んでよい。このように、送信元装置１２および送信先装置１４はマルチメディアデータを処理することができる。ＭＵＸ−ＤＥＭＵＸユニットは、必要に応じて、ＩＴＵ  Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）のような他のプロトコルに従うことができる。
【００３１】
いくつかの態様では、ビデオ放送の場合、本開示で説明する技術を拡張Ｈ．２６４ビデオ符号化に適用して、２００７年７月に技術標準ＴＩＡ−１０９９（「ＦＬＯ仕様」）として発表されたＦｏｒｗａｒｄ  Ｌｉｎｋ  Ｏｎｌｙ（ＦＬＯ）無線インタフェース仕様「Ｆｏｒｗａｒｄ  Ｌｉｎｋ  Ｏｎｌｙ  Ａｉｒ  Ｉｎｔｅｒｆａｃｅ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｆｏｒ  Ｔｅｒｒｅｓｔｒｉａｌ  Ｍｏｂｉｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｍｕｌｔｉｃａｓｔ」を使用して地上移動体マルチメディアマルチキャスト（ＴＭ３）システムにおけるリアルタイムビデオサービスを供給することができる。すなわち、通信チャネル１６は、ＦＬＯ仕様などに従って無線ビデオ情報を放送するのに使用される無線情報チャネルを備えてよい。ＦＬＯ仕様は、ＦＬＯ無線インタフェースに適したビットストリーム構文および意味ならびに復号プロセスを定義する例を含む。
【００３２】
あるいは、ＤＶＢ−Ｈ（デジタルビデオ放送−ハンドヘルド）、ＩＳＤＢ−Ｔ（統合サービスデジタル放送−地上）、またはＤＭＢ（デジタル媒体放送）のような他の標準に従ってビデオを放送することができる。したがって、送信元装置１２は移動無線端末、ビデオストリーミングサーバ、またはビデオ放送サーバであってよい。しかし、本開示で説明する技術は、任意の特定の種類の放送、マルチキャスト、またはポイントツーポイントシステムに限定されない。放送の場合、送信元装置１２は、各々が図１の送信先装置１４と同様の装置であってよい複数の送信先装置にビデオデータのいくつかのチャネルを放送することができる。したがって、図１には単一の送信先装置１４が示されているが、ビデオ放送アプリケーションの場合、送信元装置１２は通常、ビデオコンテンツを多数の送信先装置に同時に放送する。
【００３３】
他の例では、イーサネット（登録商標）、電話（たとえばＰＯＴＳ）、ケーブル、電力線、および光ファイバシステムのうちの１つまたは複数を含む任意の有線または無線通信システム、ならびに／または符号分割多元接続（ＣＤＭＡまたはＣＤＭＡ２０００）通信システム、周波数分割多元接続（ＦＤＭＡ）システム、直交周波数分割多元（ＯＦＤＭ）接続システム、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）やＧＰＲＳ（汎用パケット無線サービス）やＥＤＧＥ（拡張データＧＳＭ環境）などの時分割多重接続（ＴＤＭＡ）システム、ＴＥＴＲＡ（Ｔｅｒｒｅｓｔｒｉａｌ  Ｔｒｕｎｋｅｄ  Ｒａｄｉｏ）携帯電話システム、広帯域符号分割多元接続（ＷＣＤＭＡ）システム、高データレート１ｘＥＶ−ＤＯ（Ｆｉｒｓｔ  ｇｅｎｅｒａｔｉｏｎ  Ｅｖｏｌｕｔｉｏｎ  Ｄａｔａ  Ｏｎｌｙ）または１ｘＥＶ−ＤＯゴールドマルチキャストシステム、ＩＥＥＥ  ８０２．１８システム、ＭｅｄｉａＦＬＯ．ＴＭ．システム、ＤＭＢシステム、ＤＶＢ−Ｈシステム、または２つ以上の装置間のデータ通信用の他の方式のうちの１つまたは複数を含む無線システムによる通信向けに送信器２２、通信チャネル１６、および受信器２４を構成することができる。
【００３４】
ビデオ符号器２０およびビデオ復号器２６はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＥＰＧＡ）、離散ロジック、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せとして実現することができる。ビデオ符号器２０およびビデオ復号器２６の各々は、いずれも、それぞれの移動装置、加入者装置、放送装置、サーバなどに複合符号器／復号器（ＣＯＤＥＣ）の一部として一体化することのできる１つまたは複数の符号器または復号器に含めることができる。また、送信元装置１２および送信先装置１４はそれぞれ、無線通信をサポートするのに十分な無線周波数（ＲＦ）無線構成要素およびアンテナを含め、必要に応じて、符号化されたビデオを送受信するのに適切な変調構成要素、復調構成要素、周波数変換構成要素、フィルタリング構成要素、および増幅器構成要素を含んでよい。しかし、例示を容易にするために、このような構成要素については、図１の送信元装置１２の送信器２２および送信先装置１４の受信器２４として簡単に説明する。
【００３５】
図２は、ビデオ符号器２０の一例を示すブロック図である。ビデオ復号器２６は、ビデオ符号器２０と同様の構成要素を含んでよい。ビデオ符号器２０は、ビデオフレーム内のブロックの画像内符号化および画像間符号化を実行することができる。画像内符号化は、空間予測によって、所与のビデオフレーム内のビデオの空間冗長性を低減させるかあるいは排除する。画像間符号化は、時間予測によって、互いに隣接するフレーム内のビデオの時間冗長性を低減させるかあるいは排除する。画像間符号化の場合、ビデオ符号器２０は、動き推定を実行して２つ以上の隣接するフレーム間の互いに一致するビデオブロックの移動を追跡する。
【００３６】
図２に示されているように、ビデオ符号器２０は、符号化すべきビデオフレーム内の現在のビデオブロック２１を受信する。図２の例では、ビデオ符号器２０は、動き予測ユニット２３と、基準フレームストア２５と、ブロック変換ユニット２９と、量子化ユニット３１と、逆量子化ユニット３３と、逆変換ユニット３５と、エントロピー符号化ユニット３７と、モード決定ユニット４３と、空間予測ユニット４７と、非ブロック化フィルタ４９とを含んでいる。ビデオ符号器２０は、加算器３９、加算器４１、およびスイッチ５１も含んでいる。ビデオ符号器２０は、量子化係数をスキャンするための不図示のスキャンユニットも含んでよい。図２は、ビデオブロックを画像間符号化するビデオ符号器２０の時間予測構成要素およびビデオブロックを画像内符号化する空間予測構成要素を示している。スイッチ５１は、モード決定ユニット４３によって制御することができ、空間予測ビデオブロックまたは時間予測ビデオブロックを入力ビデオブロック用の予測ビデオブロックとして選択するのに使用することができる。
【００３７】
動き予測ユニット２３は、画像間符号化を評価する際、ビデオブロック２１を１つまたは複数の互いに隣接するビデオフレーム内のブロックと比較して１つまたは複数の動きベクトルを生成する。隣接する１つまたは複数のフレームを基準フレームストア２５から取り込むことができる。可変サイズ、たとえば１６×１６、１６×８、８×１６、８×８、またはそれより小さいサイズのブロックについて動き推定を実行することができる。動き予測ユニット２３は、たとえば速度(rate)歪みモデルに基づいて現在のビデオブロック２１に最もよく一致する隣接するフレーム内のブロックを識別し、各ブロック間の変位を求める。これに基づいて、動き予測ユニット２３は、変位の大きさおよび軌跡を示す動きベクトルを作成する。
【００３８】
動きベクトルは、２分の１または４分の１画素精度、あるいは場合によってはそれよりも高い精度を有してよく、ビデオ符号器２０が整数画素位置より高い精度で動きを追跡してより優れた予測ブロックを得るのを可能にする。分数画素値を有する動きベクトルを使用すると、動き予測ユニット２３で補間演算を実行することができる。たとえば、ＡＶＣ／Ｈ．２６４標準では、２分の１画素位置で輝度信号を得る際、係数（１、−５、２０、２０、−５、１）／３２を有する６タップウィーナーフィルタを使用することができる。４分の１画素位置で輝度信号を得る際、整数画素位置における値および２分の１画素位置における補間値に対する双線形フィルタリングを使用することができる。最高で１／８画素精度を有してよい彩度構成要素の分数画素補間で双線形フィルタを使用することもできる。動き予測ユニット２３は、速度歪みモデルを使用してビデオブロックの最良の動きベクトルを識別した後、動き補償によって予測ビデオブロックを出力する。
【００３９】
代替形態において、画像内符号化を評価する場合、空間予測ユニット４７が使用され、同じ符号化単位（たとえば、同じフレーム）内のすでに符号化されたブロックを使用して予測ビデオブロックが形成される。たとえば、ビデオブロック２１をビデオブロック２１と同じフレーム内のすでに符号化された他のブロックと比較することができる。いくつかの実施形態では、すでに符号化されたブロックを基準フレームストア２５から取り込むことができる。いくつかの実施形態では、様々な空間予測方法を使用することができる。たとえば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣでは、サイズ４×４、８×８、および／または１６×１６のビデオブロックに対して方向性空間予測を実行することができる。さらに、４×４輝度ブロックおよび８×８輝度ブロックに合計で９つの予測方向を使用することができる。１６×１６輝度ブロックおよび１６×１６彩度ブロックに合計で４つの予測方向を使用することができる。他の種類の空間予測を同じ符号化単位内で実行することができる。たとえば、動き推定と同様のプロセスを使用して、現在の符号化単位のすでに符号化された部分内で現在のビデオブロックに一致するビデオブロックを識別することができる。さらに、一致するビデオブロックと現在のビデオブロックとの変位量を求め、次いで、現在のビデオブロックについての符号化されたビデオヘッダデータの一部として示すことができる。モード決定ユニット４３は、ラグランジュ速度歪みモデルのように事前に定められた基準に基づいて最適な空間予測モード（たとえば、予測ブロックサイズ、予測方向、または予測ビデオブロックの変位など）を選択することができる。
【００４０】
ビデオ符号器２０は、元のブロックから予測ブロックを減算するための一手段である加算器３９における元の、現在のビデオブロック２１から、動き予測ユニット２３または空間予測ユニット４７によって作成された予測ビデオブロックを減算することによって残余ビデオブロックを形成する。変換を適用するための一手段であるブロック変換ユニット２９は、残余ブロックに変換を適用する。モード決定ユニット４３によって、使用すべき変換のサイズおよび種類をブロック変換ユニット２９に示すことができる。量子化ユニット３１は、変換係数を量子化してビットレートをさらに低下させる。ビデオ信号を生成するための一手段であるエントロピー符号化ユニット３７は、量子化係数をエントロピー符号化してビットレートをさらに低下させる。ビデオ復号器２６は逆演算を実行して符号化されたビデオを再構成する。
【００４１】
逆量子化ユニット３３および逆変換ユニット３５はそれぞれ、逆量子化および逆変換を適用して残余ブロックを再構成する。加算器４１は、再構成された残余ブロックを予測ブロックに加算し、基準フレームストア２５に格納される再構成されたビデオブロックを作成する。再構成されたビデオブロックは、動き予測ユニット２３または空間予測ユニット４７によって、現在のビデオフレームまたは以後のビデオフレーム内の以後のビデオブロックを符号化するのに使用される。
【００４２】
現在のビデオフレーム２１内の所与のブロックに動き補償を実行する際、動き予測ユニット２３は、固定された１組のフィルタを使用して基準フレームから得た基準ブロックを補間することができる。現在のブロックが一方向に予測される場合には１つの基準ブロックが必要であり、現在のブロックが二方向(双方向)に予測される場合には２つの基準ブロックが必要である。Ｈ．２６４では、場合によっては、順方向および逆方向における複数の基準フレームを使用することができる。動き予測ユニット２３で使用される実際のフィルタは、動きベクトルの分数部によって決まる。たとえば、動きベクトルが所与の次元の基準フレーム内の２分の１画素位置を指す場合、２分１画素位置の値を求めるには、（１、−５、２０、２０、−５、１）／３２などの６タップフィルタがその次元において２分の１画素動きベクトルと一緒に使用される。両方の動きベクトル構成要素が整数位置を指す場合、基準フレームストア２５内の基準フレームから得た画素値を補間フィルタリング演算を実行せずに直接使用することができる。
【００４３】
図７は、ビデオ復号器２６の一例を示すブロック図である。符号化されたビットストリームがシステム７００に送り込まれる。ビットストリームの各部分は、それぞれの異なるビデオブロックに相当する。さらに、これらのビデオブロックのいくつかは単一のビデオフレームを構成してもよい。ビットストリームの、所与のビデオブロックに相当する部分がエントロピー復号ユニット７０２でエントロピー復号され、量子化残余変換係数を備える残余ブロックが形成される。次に、残余ブロックを不図示の逆スキャンユニットで逆スキャンすることができる。残余ブロックを逆量子化ユニット７０６で逆量子化し逆変換ユニット７０８で逆変換して復号された残余ブロックを形成することができる。エントロピー復号ユニット７０２は、後述のように、受信されたヘッダデータに基づいて、実行すべき逆変換の種類および／またはサイズを判定することができる。予測ビデオブロックが生成され、加算ユニット７１０で、復号された残余ブロックに加算される。
【００４４】
２種類の予測方法、すなわち画像内予測方法および画像間予測方法のうちの一方を使用して予測ビデオブロックを形成することができる。空間予測ユニット７１６は、同じビデオフレーム（または符号化単位としてビデオスライスが使用される場合には同じビデオスライス）内のすでに符号化されたブロックを使用して画像内予測ブロックを生成する。動き補償ユニット７１８は、基準フレームストア７２０に格納されている前のフレームおよび／または後のフレームを使用して画像間予測ブロックを生成する。ビデオブロックを符号化するのに使用される符号化モードを示す受信されたヘッダデータに応じて、空間予測ユニット７１６または動き補償ユニット７１８を呼び出して画像内予測ブロックまたは画像間予測ブロックを生成するようにスイッチ７２２を切り替えることができる。次に、予測ブロックが、加算ユニット７１０で、復号された残余ブロックに加算され、復号されたビデオブロックが生成される。
【００４５】
次に、結果として得られた再構成されたビデオブロックは、視覚的に悪影響を与える恐れのあるブロック化アーチファクトを防止するためにビデオブロックをブロックエッジの所でフィルタリングすることができる非ブロック化フィルタリングユニット７１２に送信される。生成される出力は、復号された最終ビデオブロックである。復号された最終ビデオブロックは、同じまたは他のビデオフレーム内の他のビデオブロックを再構成できるように基準フレームストア７２０に格納することができる。
【００４６】
復号器は、符号化されたビデオストリームを適切に復号するために、ビデオデータを符号化するのにどのような種類の変換が使用されたかを知る必要がある。復号器は次に、符号器で使用される順変換に対応する適切な逆変換を適用することがある。したがって、ビデオブロックを符号化するのに使用された変換の種類を示すデータをビデオビットストリームの一部として復号器に送信してビデオブロックを適切に復号する必要がある。
【００４７】
図２に関して説明したように、ブロック変換ユニット２９は残余ビデオブロックに変換を適用する。残余ブロックに変換を適用すると、量子化およびエントロピー符号化と組み合わせたときに高圧縮効率を可能にする所望のエネルギー集中が実現される。ＭＰＥＧ２やＨ．２６４／ＡＶＣのような一般的なブロック式ビデオ符号化システムで使用される変換の例には８×８ＤＣＴ変換ならびに４×４および８×８整数変換が含まれる。
【００４８】
Ｈ．２６４／ＡＶＣ標準は、高符号化効率をもたらす最新のビデオ符号化標準である。Ｈ．２６４／ＡＶＣは様々な種類のブロック変換を使用する。画像内予測（空間予測）されたブロックおよび画像間予測（時間予測）されたブロックについて、Ｈ．２６４／ＡＶＣは、４×４ＤＣＴ変換に基づく４×４整数変換または８×８ＤＣＴ変換に基づく８×８整数変換を使用する。
【００４９】
ビデオ信号の彩度信号については、追加的なレベルの２×２アダマール変換が各ブロック内の２×２ＤＣ構成要素に適用される。
【００５０】
ビデオ信号の輝度信号については、変換は以下のように選択される。まず、当該ブロックが画像内予測されるかそれとも画像間予測されるかが判定される。このブロックが画像間予測される場合、次に、ブロックサイズが８×８よりも小さいかどうかが判定される。該ブロックが８×８よりも小さい場合、４×４整数変換が使用される。該ブロックが８×８以上である場合、４×４整数変換または８×８整数変換が使用される。
【００５１】
当該ブロックが画像内予測される場合、このブロックがＩＮＴＲＡ＿１６×１６モードを使用して予測されるかどうかが判定される。該ブロックがＩＮＴＲＡ＿１６×１６モードを使用して予測される場合、４×４整数変換が該ブロックに適用され、追加的なレベルの４×４アダマール変換が各ブロック内の４×４ＤＣ構成要素に適用される。該ブロックがＩＮＴＲＡ＿１６×１６モードを使用して予測されない場合、該ブロックがＩＮＴＲＡ＿４×４モードを使用して予測される場合には４×４整数変換が使用され、該ブロックがＩＮＴＲＡ＿８×８モードを使用して予測される場合には８×８整数変換が使用される。
【００５２】
当該ブロックに対して４×４変換または８×８変換を使用できる場合、変換の選択は使用中のＨ．２６４／ＡＶＣプロファイルに依存する。ハイプロファイル以外の任意のＨ．２６４プロファイル（たとえば、ベースラインプロファイル、拡張ベースラインプロファイル、メインプロファイル）の下では、４×４整数変換のみが使用される。Ｈ．２６４／ＡＶＣハイプロファイル（すなわち、忠実度範囲拡張）の下では、８×８ＤＣＴ変換に基づく８×８整数変換を輝度信号に使用することもできる。４×４整数変換と８×８整数変換のいずれを選択するかは、追加的な構文要素、変換＿サイズ＿８×８＿フラグによって示される。４×４変換または８×８変換を使用できる場合（たとえば、サイズが８×８以上の画像間符号化されたブロック）、変換＿サイズ＿８×８＿フラグが符号化されたビデオデータと一緒に復号器に送信される。変換＿サイズ＿８×８＿フラグが１に設定された場合、残余ブロックに対して８×８整数変換が適用され、そうでない場合（変換＿サイズ＿８×８＿フラグが０に設定された場合）、残余ブロックに対して４×４整数変換が適用される。
【００５３】
Ｈ．２６４／ＡＶＣでは、１６×１６、１６×８、８×１６、８×８、８×４、４×８、および４×４のような様々なブロックサイズ（すなわち、モーションパーティション）に対して動き予測を実行することができる。通常、対象の縁部および多数のディテールを有する領域の周りではより小さいモーションパーティションが使用され、一方、より平滑な領域の周りにはより大きなモーションパーティションが通常選択される。その結果、動き予測後の残余ブロックも通常より平滑になり、すなわちそれらの残余ブロックはより低い周波数の成分を含む傾向がある。このような信号については、より大きい変換を適用すると、よりうまくエネルギーの集中が行われ得る。モーションパーティションおよび変換サイズを選択する方法およびそのための符号器は、すべて参照によって本明細書に組み込まれる米国特許第５１０７３４５号、米国特許第６９９６２８３号、および米国特許第６６００８３６号に記載されている。上述のように、Ｈ．２６４／ＡＶＣは、４×４整数変換および８×８整数変換のみを画像間符号化されたビデオブロックに使用する。４×４整数変換および８×８整数変換は、現在１ビットサイズに限定されている変換＿サイズ＿８×８＿フラグの値によって示される。したがって、１ビット変換＿サイズ＿８×８＿フラグでは２種類の変換しか示せないためＨ．２６４で使用されている現在の構文で追加的な変換サイズを示すことはできない。符号器および復号器によって使用される追加的な変換サイズを示すのを可能にする構文および構文要素について以下に説明する。いくつかの実施形態では、この構文要素は、変換サイズを示す２ビットフラグ値を備える。フラグ値は、復号器に送信されるヘッダ情報の一部として含めることができる。
【００５４】
以下の実施形態では、画像間予測されたビデオブロックまたは画像内予測されたビデオブロックを上述の方法と一緒に使用することができる。すなわち、動き補償または空間予測によってビデオブロックの予測ブロックを形成することができる。動き補償を使用する実施形態では、予測ブロックサイズはモーションパーティションサイズに等しく、したがって、用語「予測ブロック」と用語「モーションパーティション」は相互交換可能に使用することができる。さらに、空間予測が使用される実施形態では、予測ブロックサイズは、使用される空間予測ブロックのサイズに等しい。したがって、用語「予測ブロック」と用語「画像内予測ブロック」または用語「空間予測ブロック」を相互交換可能に使用することができる。たとえば、ＩＮＴＲＡ＿１６×１６予測およびＩＮＴＲＡ＿８×８予測を使用して符号化されたビデオブロックに複数の変換選択肢を使用することができる。４×４変換だけでなく、１６×１６変換、１６×８変換、８×１６変換、または８×８変換をＩＮＴＲＡ＿１６×１６予測されたビデオブロックに適用することができ、ＩＮＴＲＡ＿８×８予測されたビデオブロックに８×８変換を適用することができる。画像内予測されたブロックについては、画像間予測されたビデオブロックと同様に変換サイズを示すことができる。変換サイズフラグ構文要素を予測ブロックサイズ構文要素と組み合わせることができ、変換サイズフラグ構文要素の可変長符号化を使用することができる。
【００５５】
後述の構文は、フラグ値と所与のブロックの予測ブロックサイズとの両方を使用して変換サイズを示す。当該ブロックの予測ブロックサイズとフラグ値を組み合わせると、フラグ値と変換サイズとの１対１の対応を使用するときよりも多くの変換サイズを示すことができる。たとえば、変換サイズとフラグ値との１対１の対応では、２ビットフラグは、各フラグ値が単一の変換サイズを示す４つの異なる変換サイズを示すに過ぎない。しかし、該ブロックの予測ブロックサイズをさらに利用することによって、同数のビットをフラグに使用して追加的な変換サイズを示すことができる。たとえば、変換サイズを該ブロックの予測ブロックサイズに等しくすべきであることをフラグ値００が示し、予測ブロックサイズがＮ個の異なるブロックサイズの予測ブロックサイズであってよい場合、単一のフラグ値００が、Ｎ個の異なる変換サイズを示すことができる。したがって、一実施形態では、使用中の変換サイズが該ブロックの予測ブロックサイズに等しいことをフラグ値の１つまたは複数が示すことができる。他の実施形態では、可変長符号化を使用してフラグ値を符号化することができる。
【００５６】
図３は、所与のビデオブロックについて符号器２０によって使用される変換サイズを示すフラグ値を符号器に設定するプロセス３００の例示的な実施形態である。各ビデオブロックの予測ブロックサイズをモード決定ユニット４３で判定することができ、変換をブロック変換ユニット２９で実行することができる（図２参照）。予測ブロックサイズの選択とあるブロックで使用される変換サイズの選択は、モード決定ユニット４３によって行うことができる。プロセス３００の第１のステップ３０２では、この所与のブロックの予測ブロックサイズが８×８よりも大きいかどうかが判定される。予測ブロックサイズが８×８以下である場合、プロセスはステップ３０６に進む。あるいは、予測ブロックサイズが８×８よりも大きい場合、プロセスはステップ３３８に進む。
【００５７】
ステップ３０６では、予測ブロックサイズが８×８よりも小さいかどうかが判定される。予測ブロックサイズが８×８よりも小さい場合、プロセス３００は、当該ブロックに４×４変換が適用されるステップ３１０に進む。次いで、プロセス３００は、どのフラグ値も復号器に送信されるように設定されないステップ３１４に進む。あるいは、予測ブロックサイズが８×８以上であるとステップ３０６で判定される場合、プロセスは、該ブロックで使用すべき変換サイズが８×８であるかどうかが判定されるステップ３１８に進む。８×８変換サイズを使用すべきでないと判定される場合、プロセス３００は、該ブロックに４×４変換が適用されるステップ３２２に進み、次に、値が０の１ビットフラグが復号器に送信されるように設定されるステップ３２６に進む。代替形態において、ステップ３１８で、８×８変換を使用すべきであると判定され、プロセスは、該ブロックに８×８変換が適用されるステップ３３０に進み、次に、値が１の１ビットフラグが復号器に送信されるように設定されるステップ３３４に進む。
【００５８】
予測ブロックサイズが８×８よりも大きいとステップ３０２で判定される場合、プロセスはステップ３３８に進む。ステップ３３８で、この所与のブロックに８×８よりも大きい変換サイズを使用すべきかどうかが、自動的にまたは手動で、符号器で判定される。８×８よりも大きい変換サイズを使用すべきでない場合、プロセス３００は、この所与のブロックに対して使用すべき変換サイズが８×８であるかどうかが判定されるステップ３４２に進む。使用すべき変換サイズが８×８ではない場合、プロセス３００は、該ブロックに４×４変換が適用されるステップ３４６に進み、次に、１ビットフラグ値０が復号器に送信されるように設定されるステップ３５０に進む。代替形態において、使用すべき変換サイズが８×８である場合、プロセス３００は、該ブロックに８×８変換が適用されるステップ３５４に進み、次いで２ビットフラグ値１０が復号器に送信されるように設定されるステップ３５８に進む。
【００５９】
使用すべき変換サイズが８×８よりも大きいとステップ３３８で判定される場合、プロセス３００はステップ３６２に進む。ステップ３６２では、この所与のブロックの予測ブロックサイズが１６×１６であるかどうかが判定される。予測ブロックサイズが１６×１６であると判定される場合、プロセス３００は、１６×１６変換が該ブロックに適用されるステップ３６６に進み、次にステップ３８２に進む。あるいは、予測ブロックサイズが１６×１６ではないとステップ３６２で判定される場合、プロセス３００は、予測ブロックサイズが８×１６であるかどうかが判定されるステップ３７０に進む。予測ブロックサイズが８×１６であると判定される場合、プロセス３００は、該ブロックに８×１６変換が適用される次のステップ３７４に進み、次いでステップ３８２に進む。あるいは、予測ブロックサイズが８×１６ではないと判定される場合、プロセス３００は、該ブロックに１６×８変換が適用される次のステップ３７４に進み、次いでステップ３８２に進む。ステップ３８２では、２ビットフラグ値１１が復号器に送信されるように設定される。
【００６０】
プロセス３００によれば、フラグ値は以下の変換タイプに対応する。
【表１】
0005259828.tif 000002
【００６１】
当業者には、プロセス３００のステップのいくつかを省略するかあるいは新しいステップを追加しても同じ結果を実現できることが認識される。さらに、ステップのいくつかを異なる順序で実行することができる。フラグ値を再構成する（たとえば、０を８×８変換とし、１０を４×４変換とする）ことができることにも留意されたい。
【００６２】
図４は、所与のビデオブロックについて符号器２０によって使用される変換サイズを示すフラグ値を符号器で設定する他のプロセス４００の例示的な実施形態である。予測ブロックサイズをモード決定ユニット４３で判定することができ、変換をブロック変換ユニット２９で実行することができる。予測ブロックサイズの選択とあるブロックで使用される変換サイズの選択は、モード決定ユニット４３によって行われる。プロセス４００の第１のステップ４０２では、所与のブロックの予測ブロックサイズが８×８よりも大きいかどうかが判定される。予測ブロックサイズが８×８以下である場合、プロセスはステップ４０６に進む。あるいは、予測ブロックサイズが８×８よりも大きい場合、プロセスはステップ４３８に進む。
【００６３】
ステップ４０６では、予測ブロックサイズが８×８よりも小さいかどうかが判定される。予測ブロックサイズが８×８よりも小さい場合、プロセス４００は、当該ブロックに４×４変換が適用されるステップ４１０に進む。次いで、プロセス４００は、どのフラグ値も復号器に送信されるように設定されないステップ４１４に進む。あるいは、予測ブロックサイズが８×８以上であるとステップ４０６で判定される場合、プロセスは、該ブロックで使用すべき変換サイズが８×８であるかどうかが判定されるステップ４１８に進む。８×８変換サイズを使用すべきでないと判定される場合、プロセス４００は、該ブロックに４×４変換が適用されるステップ４２２に進み、次に、値が０の１ビットフラグが復号器に送信されるように設定されるステップ４２６に進む。代替形態において、ステップ４１８で、８×８変換を使用すべきであると判定され、プロセスは、該ブロックに８×８変換が適用されるステップ４３０に進み、次に、値が１の１ビットフラグが復号器に送信されるように設定されるステップ４３４に進む。
【００６４】
予測ブロックサイズが８×８よりも大きいとステップ４０２で判定される場合、プロセスはステップ４３８に進む。ステップ４３８で、予測ブロックサイズが１６×１６であるかどうかが判定される。予測ブロックサイズが１６×１６である場合、プロセス４００は、ブロックに適用すべき変換サイズが８×８であるかどうかが判定されるステップ４４２に進む。適用すべき変換サイズが８×８であると判定される場合、プロセス４００は、この所与のブロックに８×８変換が適用されるステップ４４６に進み、次に、値が００の２ビットフラグが復号器に送信されるように設定されるステップ４５０に進む。あるいは、適用すべき変換サイズは８×８ではないとステップ４４２で判定される場合、プロセス４４２は、該ブロックに１６×１６変換を適用すべきかどうかが判定されるステップ４５４に進む。１６×１６変換を適用すべきである場合、プロセス４００は、この所与のブロックに１６×１６変換が適用されるステップ４５８に進み、次に値が０１の２ビットフラグが復号器に送信されるように設定されるステップ４６２に進む。一方、適用すべき変換サイズは１６×１６ではないとステップ４５４で判定される場合、プロセス４００は、この所与のブロックに適用すべき変換サイズが１６×８であるかどうかが判定されるステップ４６６に進む。適用すべき変換サイズが１６×８である場合、プロセス４００は、この所与のブロックに１６×８変換が適用されるステップ４７０に進み、次に値が１０の２ビットフラグが復号器に送信されるように設定されるステップ４７４に進む。代替形態において、該ブロックに適用すべき変換サイズは１６×８ではないとステップ４６６で判定される場合、プロセス４００は、この所与のブロックに８×１６変換が適用されるステップ４７８に進み、次に値が１１の２ビットフラグが復号器に送信されるように設定されるステップ４８２に進む。
【００６５】
予測ブロックサイズが１６×１６ではないとステップ４３８で判定される場合、プロセス４００は、この所与のブロックに適用すべき変換サイズが８×８であるかどうかが判定されるステップ４８４に進む。適用すべき変換が８×８である場合、プロセス４００は、該ブロックに８×８変換が適用されるステップ４９２に進み、次に、１ビットフラグ値０が復号器に送信されるように設定されるステップ４２６に進む。代替形態において、該ブロックに適用すべき変換サイズは８×８ではないとステップ４８４で判定される場合、プロセスは、予測ブロックサイズが１６×８であるかどうかが判定されるステップ４８６に進む。予測ブロックサイズが１６×８である場合、プロセス４００は、該ブロックに１６×８変換が実行されるステップ４８８に進み、次にステップ４３４に進む。代替形態において、予測ブロックサイズは１６×８ではないとステップ４８６で判定される場合、プロセス４００は、該ブロックに８×１６変換が実行されるステップ４９０に進み、次にステップ４３４に進む。ステップ４３４では、値が１の１ビットフラグが復号器に送信されるように設定される。
【００６６】
プロセス４００によれば、フラグ値は以下の変換タイプに対応する。
【表２】
0005259828.tif 000003
【００６７】
当業者には、プロセス４００のステップのいくつかを省略するかあるいは新しいステップを追加しても同じ結果を実現できることが認識される。さらに、ステップのいくつかを異なる順序で実行することができる。フラグ値を再構成する（たとえば、００を１６×１６変換とし、０１を８×８変換とする）ことができることにも留意されたい。
【００６８】
図５は、プロセス３００を使用して符号器２０によって符号化されたブロックに対して復号器２６で逆変換を実行するためのプロセス５００の例示的な実施形態である。他の構成要素として、エントロピー復号ユニット、空間予測ユニット、動き補償ユニット、逆量子化ユニット、逆変換ユニット、エントロピー復号ユニット、および加算器を含んでよい復号器６は、プロセス５００の各ステップを実行する一手段である。さらに、復号器２６の様々な構成要素を使用してプロセス５００の様々なステップを実行することができる。ステップ５０２では、予測ブロックサイズが８×８より大きいかどうかが判定される。予測ブロックサイズが８×８よりも大きい場合、プロセスは、復号器が、１ビットまたは２ビットフラグ値を探し、このフラグ値および予測ブロックサイズに基づいて逆変換を実行するステップ５１８に進む。使用すべき逆変換の種類は表１に示されている。あるいは、予測ブロックサイズは８×８以下であるとステップ５０２で判定される場合、プロセス５００は、予測ブロックサイズが８×８よりも小さいかどうかが判定されるステップ５０６に進む。予測ブロックサイズが８×８よりも小さい場合、プロセス５００は、４×４逆変換が実行される次のステップ５１０に進む。一方、予測ブロックサイズが８×８以上であるとステップ５０６で判定される場合、プロセスは、復号器が、１ビットフラグ値を探し、フラグ値に基づいて逆変換を実行するステップ５１４に進む。使用すべき逆変換の種類は表１に示されている。
【００６９】
図６は、プロセス４００を使用して符号器２０によって符号化されたブロックに対して復号器２６で逆変換を実行するためのプロセス６００の例示的な実施形態である。プロセッサであってよい復号器２６は、他の構成要素として、プロセス６００の各ステップを実行する一手段である。ステップ６０２では、予測ブロックサイズが８×８より大きいかどうかが判定される。予測ブロックサイズが８×８よりも大きい場合、プロセスは、予測ブロックサイズが１６×１６であるかどうかが判定されるステップ６１８に進む。予測ブロックサイズが１６×１６である場合、プロセス６００は、復号器が２ビットフラグ値を探し、このフラグ値に従って該ブロックに逆変換が実行されるステップ６２２に進む。使用すべき逆変換の種類は表２に示されている。あるいは、予測ブロックサイズは１６×１６ではないとステップ６１８で判定される場合、プロセス６００は、復号器が１ビットフラグ値を探し、この１ビット値およびモーションパーティションサイズに基づいて逆変換が実行されるステップ６２６に進む。使用すべき逆変換の種類は表２に示されている。
【００７０】
予測ブロックサイズが８×８以下であるとステップ６０２で判定される場合、プロセス６００は、予測ブロックサイズが８×８よりも小さいかどうかが判定されるステップ６０６に進む。予測ブロックサイズが８×８よりも小さい場合、プロセス６００は、４×４逆変換が実行される次のステップ６１０に進む。一方、予測ブロックサイズは８×８以上であるとステップ６０６で判定される場合、プロセスは、復号器が、１ビットフラグ値を探し、フラグ値に基づいて逆変換を実行するステップ６１４に進む。使用すべき逆変換の種類は表２に示されている。
【００７１】
プロセス３００、４００、５００、および６００は、ビデオのあるブロックに使用すべき変換のサイズを判定するための特定の構文を表している。当業者には、各プロセスが、各ブロックの符号化および復号を行い、かつ各フラグ値を設定する例示的なプロセスに過ぎないことが認識される。追加的なステップ、より少ないステップ、または再構成されたステップを含む他のプロセスを使用しても表１または表２に示されているのと同じ構文を実現することができることに留意されたい。さらに、当業者には、各変換表示に割り当てられた特定のフラグ値を変更できることが認識される。また、表１および表２に示されているのと同様の構文を形成することができる。
【００７２】
追加的な変換サイズ（たとえば、３２×３２）および予測ブロックサイズ（たとえば、３２×３２）を使用して各ブロックの符号化および復号を行い、かつ各フラグ値を設定することができることにも留意されたい。たとえば、フラグは、上述のようにフラグ値に２ビットしか使用しない場合でも、フラグは、３２×３２の変換サイズを示すことができる。たとえば、プロセス３００では、ステップ３６２は、予測ブロックサイズが３２×３２に等しいかどうか判定することができ、ステップ３７０は、予測ブロックサイズが１６×３２に等しいかどうか判定することができる。次に、各ステップでそれぞれ、当該ブロックに３２×３２変換、１６×３２変換、または３２×１６変換が実行されるようにステップ３６６、３７４、および３７８を修正することができる。したがって、ステップ３５８で設定されるフラグ値は、１６×１６、８×１６、または１６×８の変換ではなく、３２×３２、１６×３２、または３２×１６の変換を示す。フラグ値と予測ブロックサイズの組合せを使用して追加的な変換サイズを示すように追加的な修正を施すことができる。
【００７３】
フラグ値の各ビットは、符号化されたビデオデータの一部として通信チャネル１６に沿って送信される。フラグ値の各ビットの配置は、符号化方式に応じて、送信されるビットストリームに沿って異なっていてよい。フラグ値は、復号器に送信されるヘッダの一部であってよい。ヘッダは、ブロックタイプ、予測モード、輝度および彩度についての符号化されたブロックパターン（ＣＢＰ）、予測ブロックサイズ、および１つまたは複数の動きベクトルのような、現在のビデオブロックの特定の特性を識別することができる追加的なヘッダ構文要素を含んでよい。これらのヘッダ構文要素は、たとえば、ビデオ符号器２０内のエントロピー符号化ユニット３７で生成することができる。
【００７４】
一実施形態では、ヘッダは、符号化されたブロック内に非零係数があるかどうかを示すビットを含む。非零係数が存在する場合、変換サイズを示すビットもヘッダに含められる。非零係数が存在しない場合、変換サイズビットは送信されない。他の実施形態では、非零係数が存在するかどうかとは無関係に各ヘッダにおいて変換サイズ要素が送信される。
【００７５】
本開示で説明した技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施することができる。ユニットまたは構成要素として説明したあらゆる特徴を集積論理装置として一緒に実現するか、あるいは互いに離散しているが相互運用可能な論理装置として別個に実現することができる。各技術は、ソフトウェアで実施される場合、実行時に上述の方法のうちの１つまたは複数を実行する指示を備えるコンピュータ読み取り可能媒体によって少なくとも部分的に実現することができる。コンピュータ読み取り可能媒体は、パッケージ材料を含んでよいコンピュータプログラム製品の一部を形成することができる。コンピュータ読み取り可能な媒体は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などのランダムアクセスメモリ（ＲＡＭ）を備えてよい。上記に加えてあるいは代替として、これらの技術を少なくとも部分的に、指示またはデータ構造の形でコードを運ぶかあるいは伝達し、かつコンピュータによってアクセスし、読み取り、かつ／あるいは実行することができるコンピュータ読み取り可能な通信媒体によって実現することができる。
【００７６】
コードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の同等の集積論理回路または離散論理回路のような１つまたは複数のプロセッサによって実行することができる。したがって、本明細書で使用される用語「プロセッサ」は、前述の構造のいずれかまたは本明細書で説明した技術を実施するのに適した任意の他の構造を指すことがある。また、いくつかの態様では、符号化および復号用に構成されるかあるいは複合ビデオ符号器復号器（ＣＯＤＥＣ）に組み込まれた専用のソフトウェアユニットまたはハードウェアユニット内に本明細書で説明した機能を設けることができる。様々な特徴をユニットとして示したのは、例示した装置の様々な機能態様を強調するためであり、このようなユニットが別個のハードウェア構成要素またはソフトウェア構成要素によって実現されなければならないことを必ずしも示唆するものではない。むしろ、１つまたは複数のユニットに関連する機能を共通または別個のハードウェア構成要素またはソフトウェア構成要素内に一体化することができる。
【００７７】
本開示の様々な実施形態について説明した。これらの実施形態および他の実施形態は以下の特許請求の範囲内である。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
（１）
ビデオデータを符号化する方法において、
予測モードに基づく予測ビデオブロックを生成するためにビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用することと、
残余ブロックを形成するために前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算することと、
前記残余ブロックに適用するための第１の変換サイズを有する変換を選択することと、
前記選択された変換を示すヘッダデータを生成することであって、前記ヘッダデータが少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記第１の変換サイズを示しているように前記ヘッダデータを生成することと、
残余変換係数を生成するために前記選択された変換を前記残余ブロックに適用することと、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成することを備える方法。
（２）
前記ヘッダデータは、符号化されたブロックパターンを示す第３の構文要素をさらに備え、前記第３の構文要素は第２の値を備え、前記第１の構文要素は前記第２の値が非零である場合順次前記第３の構文要素の後に続く、（１）に記載の方法。
（３）
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、（１）に記載の方法。
（４）
前記第１の値は、前記予測ビデオブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、（３）に記載の方法。
（５）
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、（３）に記載の方法。
（６）
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、（５）に記載の方法。
（７）
前記第１の変換サイズは前記予測ビデオブロックの前記予測ブロックサイズに等しい、（１）に記載の方法。
（８）
前記第１の変換サイズはＮ×Ｍであり、ＭとＮの少なくとも一方は１６以上である、（１）に記載の方法。
（９）
前記選択された変換を示すヘッダデータを生成することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定することを備える、（１）に記載の方法。
（１０）
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、（９）に記載の方法。
（１１）
前記選択された変換を示すヘッダデータを生成することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２の値に等しいかどうかを判定することを備える、（１）に記載の方法。
（１２）
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、（１１）に記載の方法。
（１３）
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、（１１）に記載の方法。
（１４）
前記選択された変換は整数変換である、（１）に記載の方法。
（１５）
前記選択された変換は離散余弦変換である、（１）に記載の方法。
（１６）
前記選択された変換は方向性変換である、（１）に記載の方法。
（１７）
ビデオデータを復号する方法において、
少なくとも１つのブロックについてのヘッダデータ及び前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信することであって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記ビデオ信号を受信することと、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用することと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定すること、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用することと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算することを備える方法。
（１８）
前記ヘッダデータは、符号化されたブロックパターンを示す第３の構文要素をさらに備え、該第３の構文要素は第２の値を備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続いている、（１７）に記載の方法。
（１９）
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、（１７）に記載の方法。
（２０）
前記第１の値は、前記少なくとも１つのブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、（１９）に記載の方法。
（２１）
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、（１７）に記載の方法。
（２２）
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、（２１）に記載の方法。
（２３）
前記第１の変換サイズは前記少なくとも１つのブロックの前記予測ブロックサイズに等しい、（１７）に記載の方法。
（２４）
前記第１の変換サイズはＮ×Ｍであり、ＭとＮの少なくとも一方は１６以上である、（１７）に記載の方法。
（２５）
前記第１の変換サイズを判定することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定することとを備える、（１７）に記載の方法。
（２６）
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、（２５）に記載の方法。
（２７）
前記第１の変換サイズを判定することは、
前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定することと、
前記予測ブロックサイズが第２の値に等しいかどうかを判定することを備える、（１７）に記載の方法。
（２８）
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、（２７）に記載の方法。
（２９）
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、（２７）に記載の方法。
（３０）
前記逆変換は整数変換である、（１７）に記載の方法。
（３１）
前記逆変換は離散余弦変換である、（１７）に記載の方法。
（３２）
前記逆変換は方向性変換である、（１７）に記載の方法。
（３３）
ビデオデータを符号化する装置において、
予測モードに基づく予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用する手段と、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算する手段と、
前記残余ブロックに適用するために、第１の変換サイズを有する変換を選択して手段と、
前記選択された変換を示すヘッダデータを生成するための手段であって、
前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記第１の変換サイズを示している、前記ヘッダデータを生成するための手段と、
残余変換係数を生成するために前記選択された変換を前記残余ブロックに適用する手段と、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成するための手段を備える装置。
（３４）
空間予測または動き補償を適用するための前記手段は予測ユニットを備え、減算するための前記手段は加算器を備え、前記変換サイズを選択するための前記手段はモード決定ユニットを備え、ヘッダデータを生成するための前記手段はエントロピー符号化ユニットを備え、前記選択された変換を適用するための前記手段はブロック変換ユニットを備え、ビデオ信号を生成するための前記手段は前記エントロピー符号化ユニットを備える、（３３）に記載の装置。
（３５）
ビデオデータを復号する装置において、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信するための手段であって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記少なくとも１つのブロックのモーションパーティションサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記ビデオ信号を受信するための手段と、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用するための手段と、
前記第１の構文要素および前記第２の構文要素に基づいて、前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定するための手段と、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用するための手段と、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算するための手段を備える装置。
（３６）
受信のための前記手段は受信器を備え、空間予測または動き補償を適用するための前記手段は予測ユニットを備え、前記第１の変換サイズを判定するための前記手段はエントロピー復号ユニットを備え、逆変換を適用するための前記手段は逆変換ユニットを備え、加算するための前記手段は加算器を備える、（３５）に記載の装置。
（３７）
ビデオデータを符号化するシステムにおいて、
予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用するように構成された予測ユニットと、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算するように構成された加算器と、
前記残余ブロックに適用する第１の変換サイズを有する変換を選択するように構成されたモード決定ユニットと、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用するように構成されたブロック変換ユニットと、
前記選択された変換を示すヘッダデータを生成するものであり、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記第１の変換サイズを示しており、そして、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成するように構成されたエントロピー符号化ユニットを備えるシステム。
（３８）
前記ヘッダデータは、符号化されたブロックパターンを示す第３の構文要素をさらに備え、前記第３の構文要素は第２の値を備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続く、（３７）に記載のシステム。
（３９）
前記第１の構文要素の前記第１の値は複数の変換サイズに対応する、（３７）に記載のシステム。
（４０）
前記第１の値は、前記予測ビデオブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、（３９）に記載のシステム。
（４１）
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、（３７）に記載のシステム。
（４２）
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、（４１）に記載のシステム。
（４３）
前記第１の変換サイズは前記予測ビデオブロックの前記予測ブロックサイズに等しい、（３７）に記載のシステム。
（４４）
前記第１の変換サイズはＮ×Ｍであり、ＭとＮの少なくとも一方は１６以上である、（３７）に記載のシステム。
（４５）
前記エントロピー符号化ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定するように構成される、（３７）に記載のシステム。
（４６）
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、（４５）に記載のシステム。
（４７）
前記エントロピー符号化ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２の値に等しいかどうかを判定するように構成される、（３７）に記載のシステム。
（４８）
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、請求項４７）に記載のシステム。
（４９）
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、（４７）に記載のシステム。
（５０）
前記選択された変換は整数変換である、（３７）に記載のシステム。
（５１）
前記選択された変換は離散余弦変換である、（３７）に記載のシステム。
（５２）
前記選択された変換は方向性変換である、（３７）に記載のシステム。
（５３）
ビデオデータを復号するシステムにおいて、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信するように構成された受信器であって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記受信器と、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用するように構成された予測ユニットと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定するように構成されたエントロピー復号ユニットと、
復号された残余ブロックを得るよために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用するように構成された逆変換ユニットと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算するように構成された加算器を備えるシステム。
（５４）
前記ヘッダデータは、符号化されたブロックパターンを示し、第２の値を備える第３の構文要素をさらに備え、前記第１の構文要素は、前記第２の値が非零である場合、順次前記第３の構文要素の後に続く、（５３）に記載のシステム。
（５５）
前記第１の構文要素の前記第１の値は複数の変換サイズに相当する、（５３）に記載のシステム。
（５６）
前記第１の値は、前記少なくとも１つのブロックの前記予測ブロックサイズに基づいて前記第１の変換サイズにマップされる、（５５）に記載のシステム。
（５７）
前記第１の変換サイズはサイズＸ×Ｙであり、ＸはＹに等しくない、（５３）に記載のシステム。
（５８）
ＸとＹの少なくとも一方は８に等しく、ＸとＹの少なくとも一方は１６に等しい、（５７）に記載のシステム。
（５９）
前記第１の変換サイズは前記少なくとも１つのブロックの前記予測ブロックサイズに等しい、（５３）に記載のシステム。
（６０）
前記第１の変換サイズはＮ×Ｍであり、ＭとＮの少なくとも一方は１６以上である、（５３）に記載のシステム。
（６１）
前記エントロピー復号ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２のしきい値より小さいかどうかを判定するように構成される、（５３）に記載のシステム。
（６２）
前記第１のしきい値は８×８であり、前記第２のしきい値は８×８である、（６１）に記載のシステム。
（６３）
前記エントロピー復号ユニットはさらに、前記予測ブロックサイズが第１のしきい値よりも大きいかどうかを判定し、かつ前記予測ブロックサイズが第２の値に等しいかどうかを判定するように構成される、（５３）に記載のシステム。
（６４）
前記第１のしきい値は８×８であり、前記第２の値は１６×１６である、（６３）に記載のシステム。
（６５）
前記第１のしきい値は８×８であり、前記第２の値は１６×８である、（６３）に記載のシステム。
（６６）
前記逆変換は整数変換である、（５３）に記載のシステム。
（６７）
前記逆変換は離散余弦変換である、（５３）に記載のシステム。
（６８）
前記逆変換は方向性変換である、（５３）に記載のシステム。
（６９）
実行時に、
予測モードに基づく予測ビデオブロックを生成するために、ビデオフレーム内の元のビデオブロックに空間予測または動き補償を適用することと、
残余ブロックを形成するために、前記ビデオフレーム内の前記元のビデオブロックから前記予測ビデオブロックを減算することと、
前記残余ブロックに適用するために、第１の変換サイズを有する変換を選択することと、
前記選択された変換を示すヘッダデータを生成することであって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記予測ビデオブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になって前記第１の構文要素と前記第２の構文要素が前記第１の変換サイズを示すように、前記ヘッダデータを生成することと、
残余変換係数を生成するために、前記選択された変換を前記残余ブロックに適用することと、
前記ヘッダデータおよび前記残余変換係数に基づいてビデオ信号を生成することを備える方法を実行する命令を備えるコンピュータ読み取り可能な媒体。
（７０）
実行時に、
少なくとも１つのブロックについてのヘッダデータおよび前記少なくとも１つのブロックについての残余変換係数を備えており、ビデオのフレーム内の前記少なくとも１つのブロックを示すビデオ信号を受信することであって、前記ヘッダデータが、少なくとも１つの変換サイズを示す第１の値を有する第１の構文要素および前記少なくとも１つのブロックの予測ブロックサイズを示す第２の構文要素を備えており、一緒になった前記第１の構文要素と前記第２の構文要素が前記少なくとも１つのブロックを符号化するのに使用される第１の変換サイズを有する変換を示している、前記ビデオ信号を受信することと、
前記少なくとも１つのブロックの前記予測ブロックサイズの予測ビデオブロックを生成するために、前記少なくとも１つのブロックに空間予測または動き補償を適用することと、
前記第１の構文要素および前記第２の構文要素に基づいて前記少なくとも１つのブロックを符号化するのに使用される前記第１の変換サイズを判定することと、
復号された残余ブロックを得るために、前記判定された第１の変換サイズの逆変換を前記残余変換係数に適用することと、
復号されたビデオブロックを得るために、前記復号された残余ブロックを前記予測ビデオブロックに加算することを備えた、方法を実行する命令を備えるコンピュータ読み取り可能な媒体。
【図１】
0005259828.tif 000004
【図２】
0005259828.tif 000005
【図３】
0005259828.tif 000006
【図４】
0005259828.tif 000007
【図５】
0005259828.tif 000008
【図６】
0005259828.tif 000009
【図７】
0005259828.tif 000010