(57)【要約】  変換ブロックの変換係数のうち予測される低周波数成分の変換係数を所定値に置き換え、置き換えられた変換係数を含む変換ブロックを逆変換し、不完全残留ブロックを生成し、不完全残留ブロックの値を利用し、低周波数成分の変換係数を予測する映像の符号化方法及び装置、その復号化方法及び装置である。
2013501451.tif 000002
【特許請求の範囲】
【請求項１】
映像の符号化方法において、
符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、第１変換ブロックを生成する段階と、
前記第１変換ブロックの変換係数のうち第１領域の変換係数を所定値に置き換えた第２変換ブロックを逆変換し、第２残留ブロックを生成する段階と、
前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する段階と、
前記第１領域の変換係数と、前記生成された予測子とを利用し、予測第１領域を生成し、前記予測第１領域を含んだ第３変換ブロックを生成し、入力映像を符号化する段階と、を含むことを特徴とする映像符号化方法。
【請求項２】
前記所定値は、０であることを特徴とする請求項１に記載の映像符号化方法。
【請求項３】
前記予測第１領域は、
前記第１領域の変換係数と、前記生成された予測子との差値を利用して生成されることを特徴とする請求項１に記載の映像符号化方法。
【請求項４】
前記第１領域の変換係数は、
前記予測ブロックの生成に利用されたイントラ予測モードによって決定されることを特徴とする請求項１に記載の映像符号化方法。
【請求項５】
前記予測子を生成する段階は、
前記予測ブロックの生成に利用された予測モード、前記第２残留ブロック及び周辺ピクセルのうち少なくとも一つを利用し、前記予測子を生成することを特徴とする請求項１に記載の映像符号化方法。
【請求項６】
前記第１領域の変換係数は、
前記予測ブロックが、ＤＣ（direct  current）モードでイントラ予測されて生成された場合、ＤＣ変換係数が選択され、
前記変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行及び最左側列の値を利用し、前記選択されたＤＣ変換係数の予測子を生成することを特徴とする請求項１に記載の映像符号化方法。
【請求項７】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍとするとき、次の数式：
【数２３】
2013501451.tif 000028
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成することを特徴とする請求項６に記載の映像符号化方法。
【請求項８】
前記第１領域の変換係数は、
前記予測ブロックが垂直モードで、イントラ予測されて生成された場合、最上側行の変換係数のうち選択され、
前記変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１に記載の映像符号化方法。
【請求項９】
前記変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎ ｘｘ）ｃｏｓ（ｍ ｙｙ）であるとするとき、次の数式：
【数２４】
2013501451.tif 000029
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数２５】
2013501451.tif 000030
のように、前記最上側行の変換係数の予測子ｆｄｐｎ０を生成することを特徴とする請求項８に記載の映像符号化方法。
【請求項１０】
前記第１領域の変換係数は、
前記予測ブロックが、水平モードでイントラ予測されて生成された場合、最左側列の変換係数のうち選択され、
前記変換係数の予測子を生成する段階は、
前記第２残留ブロックの最左側列の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１に記載の映像符号化方法。
【請求項１１】
前記変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）であるとするとき、次の数式：
【数２６】
2013501451.tif 000031
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数２７】
2013501451.tif 000032
のように、前記最左側列の変換係数の予測子ｆｄｐ０ｍを生成することを特徴とする請求項１０に記載の映像符号化方法。
【請求項１２】
前記第１領域の変換係数は、最上側行の変換係数及び最左側列の変換係数を含み、
前記予測される変換係数の予測子を生成する段階は、
前記第２残留ブロックの値及び前記予測ブロックの値を利用し、前記予測される変換係数のうち最も大きい高周波数成分を有する第１変換係数の予測子を生成する段階を含むことを特徴とする請求項１に記載の映像符号化方法。
【請求項１３】
前記第１変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数２８】
2013501451.tif 000033
（ここで、ａは、１からＬまでの整数である）
【数２９】
2013501451.tif 000034
（ここで、ｂは、１からＬまでの整数である）
を利用し、パラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第１変換係数に対応する予測子ｆｄｐＬ０及びｆｄｐ０Ｌを生成することを特徴とする請求項１２に記載の映像符号化方法。
【請求項１４】
前記変換ブロックの第１領域の変換係数のうち、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数を、前記所定値に置き換え、前記置き換えられた変換ブロックを逆変換し、第３残留ブロックを生成する段階と、
前記第３残留ブロックの値及び前記予測ブロックの値を利用し、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数のうち最も大きい周波数成分を有する第２変換係数の予測子を生成する段階と、
前記第１変換係数及び前記第２変換係数と、対応する前記予測子との差値を符号化する段階と、をさらに含むことを特徴とする請求項１２に記載の映像符号化方法。
【請求項１５】
前記第２変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック、第２残留ブロック及び第３残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第３残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）、前記第２変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ−１）及び（Ｌ−１，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数３０】
2013501451.tif 000035
（ａは、１からＬ−１までの整数）
【数３１】
2013501451.tif 000036
（ｂは、１からＬ−１までの整数）
を利用し、パラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第２変換係数に対応する予測子ｆｄｐＬ−１，０及びｆｄｐ０，Ｌ−１を生成することを特徴とする請求項１４に記載の映像符号化方法。
【請求項１６】
映像の復号化方法において、
現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する段階と、
前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成する段階と、
前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する段階と、
前記予測子と、対応する前記差値とを加算し、前記第１領域の変換係数を復元する段階と、を含むことを特徴とする映像復号化方法。
【請求項１７】
前記所定値は、０であることを特徴とする請求項１６に記載の映像復号化方法。
【請求項１８】
前記第２残留ブロックを生成する段階は、
前記置き換えられた変換ブロックを逆変換し、前記第２残留ブロックを生成することを特徴とする請求項１６に記載の映像復号化方法。
【請求項１９】
前記予測される変換係数は、
前記予測ブロックの生成に利用されたイントラ予測モードによって決定されることを特徴とする請求項１６に記載の映像復号化方法。
【請求項２０】
前記予測子を生成する段階は、
前記予測ブロックの生成に利用された予測モード、前記第２残留ブロック及び周辺ピクセルのうち少なくとも一つを利用し、前記予測子を生成することを特徴とする請求項１６に記載の映像復号化方法。
【請求項２１】
前記第１領域の変換係数は、
前記予測ブロックがＤＣ（direct  current）モードでイントラ予測されて生成された場合、ＤＣ変換係数であり、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行及び最左側列の値を利用し、前記選択されたＤＣ変換係数の予測子を生成することを特徴とする請求項１６に記載の映像復号化方法。
【請求項２２】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍであるとするとき、次の数式：
【数３２】
2013501451.tif 000037
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成することを特徴とする請求項２１に記載の映像復号化方法。
【請求項２３】
前記第１領域の変換係数は、
前記予測ブロックが、垂直モードでイントラ予測されて生成された場合、最上側行の変換係数のうち選択され、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１６に記載の映像復号化方法。
【請求項２４】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）であるとするとき、次の数式：
【数３３】
2013501451.tif 000038
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数３４】
2013501451.tif 000039
のように、前記最上側行の変換係数の予測子ｆｄｐｎ０を生成することを特徴とする請求項２３に記載の映像復号化方法。
【請求項２５】
前記第１領域の変換係数は、
前記予測ブロックが、水平モードでイントラ予測されて生成された場合、最左側列の変換係数のうち選択され、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最左側列の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１６に記載の映像復号化方法。
【請求項２６】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）であるとするとき、次の数式：
【数３５】
2013501451.tif 000040
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数３６】
2013501451.tif 000041
のように、前記最左側列の変換係数の予測子ｆｄｐ０ｍを生成することを特徴とする請求項２５に記載の映像復号化方法。
【請求項２７】
前記第１領域の変換係数は、最上側行の変換係数及び最左側列の変換係数を含み、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの値及び前記予測ブロックの値を利用し、前記第１領域の変換係数のうち最も大きい高周波数成分を有する第１変換係数の予測子を生成する段階を含むことを特徴とする請求項１６に記載の映像復号化方法。
【請求項２８】
前記第１変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数３７】
2013501451.tif 000042
（ａは、１からＬまでの整数）
【数３８】
2013501451.tif 000043
（ｂは、１からＬまでの整数）
を利用してパラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第１変換係数に対応する予測子ｆｄｐＬ０及びｆｄｐ０Ｌを生成することを特徴とする請求項２７に記載の映像復号化方法。
【請求項２９】
前記第１領域の変換係数のうち、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数を、前記所定値に置き換え、前記置き換えられた変換ブロックを逆変換し、第３残留ブロックを生成する段階と、
前記第３残留ブロックの値及び前記予測ブロックの値を利用し、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数のうち最も大きい周波数成分を有する第２変換係数の予測子を生成する段階と、
前記第１変換係数の差値と、対応する予測子とを加算し、前記第２変換係数の差値と、対応する予測子とを加算し、前記第１変換係数及び第２変換係数を復元する段階と、をさらに含むことを特徴とする請求項２７に記載の映像復号化方法。
【請求項３０】
前記第２変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック、第２残留ブロック及び第３残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第３残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）、前記第２変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ−１）及び（Ｌ−１，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数３９】
2013501451.tif 000044
（ａは、１からＬ−１までの整数）
【数４０】
2013501451.tif 000045
（ｂは、１からＬ−１までの整数）
を利用し、パラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第２変換係数に対応する予測子ｆｄｐＬ−１，０及びｆｄｐ０，Ｌ−１を生成することを特徴とする請求項２９に記載の映像復号化方法。
【請求項３１】
映像の符号化装置において、
符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、変換ブロックを生成する変換部と、
前記変換ブロックの変換係数のうち第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第１領域を除外した残りの第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成し、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する変換係数予測部と、
前記第１領域の変換係数と、対応する前記予測子との差値を計算する減算部と、
前記差値、及び前記第２領域の原変換係数を含む変換ブロックを符号化する符号化部と、を含むことを特徴とする映像符号化装置。
【請求項３２】
映像の復号化装置において、
現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する変換係数情報復元部と、
前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成し、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する変換係数予測部と、
前記予測子と、対応する前記差値とを加算し、前記予測される変換係数を復元する加算部と、を含むことを特徴とする映像復号化装置。
【請求項３３】
映像の復号化方法において、
予測領域を含む周波数変換された第１変換ブロックと、前記予測領域とに係わる情報を受信する段階と、
前記予測領域に係わる情報から抽出された前記第１変換ブロックの予測領域について、前記予測領域の変換係数を所定値に置き換えた第２変換ブロックを生成する段階と、
前記第２変換ブロックを逆変換し、残留ブロックを生成する段階と、
前記残留ブロックを利用し、前記予測領域の変換係数に係わる予測子を生成する段階と、
前記第１変換ブロックの予測領域に、前記予測子を加算し、第２変換ブロックを復元する段階と、を含むことを特徴とする映像復号化方法。
【請求項３４】
請求項１ないし請求項１５のうち、いずれか１項に記載の映像符号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項３５】
請求項１６ないし請求項３０のうち、いずれか１項に記載の映像復号化方法を実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像の符号化及び復号化に係り、さらに具体的には、周波数領域で映像データを予測し、映像の圧縮効率を向上させる映像の符号化、復号化方法及び装置に関する。
【背景技術】
【０００２】
高解像度または高画質のビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効率的に符号化したり復号化するビデオコーデック（codec）の必要性が増大している。映像圧縮の基本原理のうち一つは、符号化される映像データの予測値を生成し、原映像データと予測値との差値を符号化することによって、符号化される映像データのデータ量を低減させることである。ＭＰＥＧ−４
Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（advanced  video  coding）のようなコーデックでは、時間領域（time  domain）で、イントラ予測またはインター予測を介して現在ブロックの予測ブロックを生成し、現在ブロックと予測ブロックとの差値である残留値を変換及び量子化して符号化を行う。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、周波数領域で変換係数を予測することである。
【課題を解決するための手段】
【０００４】
本発明において、周波数領域で変換係数を予測することによって、映像の圧縮効率を向上させる映像の符号化、復号化方法及び装置を提供する。
【発明の効果】
【０００５】
本発明によれば、周波数領域で変換係数を予測し、予測子と実際変換係数との差のみを符号化することによって、映像の圧縮効率を向上させることができる。
【図面の簡単な説明】
【０００６】
【図１】本発明の一実施形態による映像符号化装置のブロック図である。
【図２】本発明の一実施形態による映像復号化装置のブロック図である。
【図３】本発明の一実施形態による階層的符号化単位を図示する図である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による深度別符号化単位及び予測単位を図示する図である。
【図７】本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。
【図８】本発明の一実施形態によって、深度別符号化情報を図示する図である。
【図９】本発明の一実施形態による深度別符号化単位を図示する図である。
【図１０】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。
【図１１】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。
【図１２】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。
【図１３】表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示する図である。
【図１４】本発明の一実施形態による周波数変換装置の構成を示したブロック図である。
【図１５】本発明の一実施形態による変換係数予測モードを示した図である。
【図１６】本発明の一実施形態による変換係数の予測過程で利用されるパラメータの名称（nomenclature）を説明するための参照図である。
【図１７】図１５の変換係数予測モード０  ＦＤＰ＿mode＿０による変換係数の予測過程を説明するための参照図である。
【図１８】変換係数予測モード０  ＦＤＰ＿mode＿０による変換係数の予測結果によって符号化される変換ブロックを示した図である。
【図１９】図１５の変換係数予測モード１  ＦＤＰ＿mode＿１による変換係数の予測過程を説明するための参照図である。
【図２０】変換係数予測モード１  ＦＤＰ＿mode＿１による変換係数の予測結果によって符号化される変換ブロックを示した図である。
【図２１】図１５の変換係数予測モード２  ＦＤＰ＿mode＿２による変換係数の予測過程を説明するための参照図である。
【図２２】変換係数予測モード２  ＦＤＰ＿mode＿２による変換係数の予測結果によって符号化される変換ブロックを示した図である。
【図２３】図１５の変換係数予測モード３  ＦＤＰ＿mode＿３によって変換係数を予測する過程を概括した参照図である。
【図２４】本発明の一実施形態によって、変換係数予測モード３  ＦＤＰ＿mode＿３によって、Ｌ＝３である場合の変換係数の予測過程を説明するための参照図である。図２７は変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数の予測結果によって符号化される変換ブロックを示した図である。
【図２５】本発明の一実施形態によって、変換係数予測モード３  ＦＤＰ＿mode＿３によって、Ｌ＝３である場合の変換係数の予測過程を説明するための参照図である。
【図２６】本発明の一実施形態によって、変換係数予測モード３  ＦＤＰ＿mode＿３によって、Ｌ＝３である場合の変換係数の予測過程を説明するための参照図である。
【図２７】変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数の予測結果によって符号化される変換ブロックを示す図である。
【図２８】本発明の一実施形態による映像符号化方法を示したフローチャートである。
【図２９】本発明の一実施形態による周波数逆変換装置の構成を示したブロック図である。
【図３０】本発明の一実施形態による映像復号化方法を示したフローチャートである。
【発明を実施するための形態】
【０００７】
本発明の一実施形態による映像の符号化方法は、符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、第１変換ブロックを生成する段階と、前記第１変換ブロックの変換係数のうち第１領域の変換係数を所定値に置き換えた第２変換ブロックを逆変換し、第２残留ブロックを生成する段階と、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する段階と、前記第１領域の変換係数と、前記生成された予測子とを利用し、予測第１領域を生成し、前記予測第１領域を含んだ第３変換ブロックを生成し、入力映像を符号化する段階と、を含むことを特徴とする。
【０００８】
本発明の一実施形態による映像の復号化方法は、現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する段階と、前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成する段階と、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する段階と、前記予測子と、対応する前記差値とを加算し、前記第１領域の変換係数を復元する段階と、を含むことを特徴とする。
【０００９】
本発明の一実施形態による映像の符号化装置は、符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、変換ブロックを生成する変換部；前記変換ブロックの変換係数のうち第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第１領域を除外した残りの第２領域の原変換係数を含む置き換えられた変換ブロックとを利用し、第２残留ブロックを生成し、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する変換係数予測部；前記第１領域の変換係数と、対応する前記予測子との差値を計算する減算部；及び前記差値、及び前記第２領域の原変換係数を含む変換ブロックを符号化する符号化部；を含むことを特徴とする。
【００１０】
本発明の一実施形態による映像の復号化装置は、現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する変換係数情報復元部；前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成し、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する変換係数予測部；及び前記予測子と、対応する前記差値とを加算し、前記予測される変換係数を復元する加算部；を含むことを特徴とする。
【００１１】
本発明の他の実施形態による映像の復号化方法は、予測領域を含む周波数変換された第１変換ブロックと、前記予測領域とに係わる情報を受信する段階と、前記予測領域に係わる情報から抽出された前記第１変換ブロックの予測領域について、前記予測領域の変換係数を所定値に置き換えた第２変換ブロックを生成する段階と、前記第２変換ブロックを逆変換し、残留ブロックを生成する段階と、前記残留ブロックを利用し、前記予測領域の変換係数に係わる予測子を生成する段階と、前記第１変換ブロックの予測領域に、前記予測子を加算し、第２変換ブロックを復元する段階と、を含むことを特徴とする。
【００１２】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、映像符号化方法及び映像復号化方法について説明する。
【００１３】
図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照すれば、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深度決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。
【００１４】
最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基づいて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位に分割される。一実施形態による最大符号化単位は、サイズ３２ｘ３２，６４ｘ６４，１２８ｘ１２８，２５６ｘ２５６などのデータ単位であり、縦サイズが８より大きい２の二乗である正方形のデータ単位であってもよい。分割された映像データは、少なくとも１つの最大符号化単位別に符号化深度決定部１２０に出力される。
【００１５】
本発明の一実施形態によれば、最大符号化単位及び深度（depth）を利用し、符号化単位が表現される。最大符号化単位は、現在ピクチャの符号化単位において、サイズが最も大きい符号化単位を示し、深度は、最大符号化単位から、符号化単位が空間的に分割された回数を示す。深度が深くなるほど、深度別符号化単位は、最大符号化単位から最小符号化単位まで分割され、最大符号化単位の深度が最上位深度であり、最小符号化単位が最下位符号化単位と定義されてもよい。最大符号化単位は、深度が深くなるにつれて、深度別符号化単位のサイズは縮小するので、上位深度の符号化単位は、複数個の下位深度の符号化単位を含むことができる。
【００１６】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位に分割し、それぞれの最大符号化単位は、深度別に分割される符号化単位を含むことができる。本発明の一実施形態による最大符号化単位は、深度別に分割されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データが、深度によって階層的に分類される。
【００１７】
最大符号化単位の高さ及び幅を階層的に分割することができる総回数を制限する最大深度及び符号化単位の最大サイズがあらかじめ設定されていてもよい。このような最大符号化単位及び最大深度は、ピクチャ単位またはスライス単位で設定される。すなわち、ピクチャまたはスライスごとに異なる最大符号化単位及び最大深度を有し、最大深度によって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定することができる。このように、ピクチャまたはスライスごとに、最大符号化単位及び最大深度を可変的に設定することによって、平坦な領域の映像は、さらに大きい最大符号化単位を利用して符号化することによって、圧縮率を向上させ、複雑度の高い映像は、さらに小さいサイズの符号化単位を利用し、映像の圧縮効率を向上させることができる。
【００１８】
符号化深度決定部１２０は、最大符号化単位ごとに深度を決定する。深度は、Ｒ−Ｄコスト（rate-distortion  cost）計算に基づいて決定される。具体的には、符号化深度決定部１２０は、深度ごとに最大符号化単位の領域が分割された少なくとも１つの分割領域を符号化し、少なくとも１つの分割領域別に、最終符号化結果が出力される深度を決定する。すなわち、符号化深度決定部１２０は、現在ピクチャの最大符号化単位ごとに、深度別符号化単位で映像データを符号化し、最も小さい符号化誤差が生じる深度を選択し、符号化深度として決定する。決定された最大深度は、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。
【００１９】
最大符号化単位内の映像データは、最大深度以下の少なくとも１つの深度によって、深度別符号化単位に基づいて符号化され、それぞれの深度別符号化単位に基づいた符号化結果が比較される。深度別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深度が選択されてもよい。それぞれの最大符号化単位ごとに、少なくとも１つの符号化深度が決定されてもよい。
【００２０】
最大符号化単位のサイズは、深度が深くなるにつれて、符号化単位が階層的に分割され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深度の符号化単位であったとしても、それぞれのデータに係わる符号化誤差を測定し、下位深度への縮小いかんが決定される。従って、１つの最大符号化単位に含まれるデータであったとしても、位置によって、深度別符号化誤差が異なるので、位置によって、符号化深度が異なって決定される場合もある。換言すれば、最大符号化単位に含まれるデータであったとしても、位置によって、深度別誤差が異なるので、位置によって、符号化深度が異なるように決定される場合もあるのである。従って、１つの最大符号化単位について、符号化深度が一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深度の符号化単位によって、分割されてもよい。
【００２１】
かくして、一実施形態による符号化深度決定部１２０は、現在最大符号化単位に含まれるツリー構造による符号化単位を決定することができる。一実施形態による「ツリー構造による符号化単位」は、現在最大符号化単位に含まれるあらゆる深度別符号化単位のうち、符号化深度として決定された深度の符号化単位を含む。符号化深度の符号化単位は、最大符号化単位内で同一領域では、深度によって階層的に決定され、他の領域については、独立して決定されもする。同様に、現在領域に係わる符号化深度は、他の領域に係わる符号化深度と独立して決定されてもよい。
【００２２】
一実施形態による最大深度は、最大符号化単位から最小符号化単位までの分割回数と関連した指標である。一実施形態による第１最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示してもよい。一実施形態による第２最大深度は、最大符号化単位から最小符号化単位までの深度レベルの総個数を示してもよい。例えば、最大符号化単位の深度が０であるとするとき、最大符号化単位が１回分割された符号化単位の深度は、１に設定され、２回分割された符号化単位の深度は、２に設定されてもよい。この場合、最大符号化単位から４回分割された符号化単位が最小符号化単位であるならば、深度０，１，２，３及び４の深度レベルが存在するので、第１最大深度は４、第２最大深度は５に設定されてもよい。
【００２３】
また、最大符号化単位の予測符号化及び周波数変換の遂行時にも、最大符号化単位ごとに、最大深度以下の深度ごとに、深度別符号化単位を基に遂行される。換言すれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基づいて行うことができる。映像データの符号化のためには、予測、周波数変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にかけて、同じサイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。
【００２４】
例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択することができる。最大符号化単位の予測符号化のためには、一実施形態による符号化深度の符号化単位、すなわち、それ以上分割されない符号化単位を基に、予測符号化が行われる。以下、予測の基礎になるデータ単位を「予測単位」とする。予測単位が分割されたパーティションは、予測単位と、予測単位の高さ及び幅のうち少なくとも一つが分割されたデータ単位とを含むことができる。
【００２５】
例えば、サイズ２Ｎｘ２Ｎ（ただし、Ｎは正の整数）の符号化単位が、それ以上分割されない場合、サイズ２Ｎｘ２Ｎの予測単位になり、パーティションのサイズは、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮなどになる。一実施形態によるパーティション・タイプは、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティションだけではなく、１：ｎまたはｎ：１のように、非対称的比率で分割されたパーティション、幾何学的な形態に分割されたパーティション、任意的形態のパーティションなどを選択的に含むこともできる。
【００２６】
予測単位の予測モードは、イントラモード、インターモード及びスキップモードのうち、少なくとも一つであってもよい。例えば、イントラモード及びインターモードは、２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ，ＮｘＮサイズのパーティションについて行われる。また、スキップモードは、２Ｎｘ２Ｎサイズのパーティションについてのみ行われる。符号化単位の内部に、複数の予測単位があるならば、それぞれの予測単位について、独立して符号化が行われ、符号化誤差が最も小さい予測モードが選択されてもよい。
【００２７】
また、映像符号化装置１００は、符号化単位と異なるサイズのデータ単位に基づいて映像データを周波数変換することができる。符号化単位の周波数変換のために、符号化単位より小さいか、あるいは同じサイズのデータ単位を基に、周波数変換が行われる。以下、周波数変換の基になる処理単位を「変換単位」とする。符号化単位と類似した方式で、符号化単位内の変換単位も、再帰的に（recursively）さらに小さいサイズの変換単位に分割されつつ、符号化単位の残留（resudual）データが変換深度によって、ツリー構造による変換単位によって区画されてもよい。
【００２８】
一実施形態による変換単位についても、符号化単位の高さ及び幅が分割され、変換単位に至るまでの分割回数を示す変換深度が設定されてもよい。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位の変換単位のサイズが、２Ｎｘ２Ｎであるならば、変換深度０、変換単位のサイズがＮｘＮであるならば、変換深度１、変換単位のサイズがＮ／２ｘＮ／２であるならば、変換深度２に設定することができる。すなわち、変換単位についても、変換深度によって、ツリー構造による変換単位が設定されてもよい。符号化深度別符号化情報は、符号化深度だけではなく、予測関連情報及び周波数変換関連情報が必要である。従って、符号化単位深度決定部１２０は、最小符号化誤差を発生させた符号化深度だけではなく、符号化深度の符号化予測単位を、予測単位パーティションに分割したパーティション・タイプ、予測単位別予測モード、周波数変換のための変換単位のサイズなどを決定することができる。
【００２９】
符号化深度決定部１２０は、ラグランジュ乗数（Lagrangian  multiplier）基盤の率歪曲最適化技法（rate-distortion  optimization）を利用し、深度別符号化単位の符号化誤差を測定し、最適の符号化誤差を有する最大符号化単位の分割形態を決定することができる。換言すれば、符号化深度決定部１２０は、最大符号化単位がいかなる形態の複数のサブ符号化単位に分割されるかを決定することができるが、ここで、複数のサブ符号化単位は、深度によってサイズが異なる。
【００３０】
映像データ符号化部１３０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位の映像データを符号化し、ビットストリームを出力する。符号化深度決定部１２０で最小符号化誤差を測定するために、符号化がすでに行われたので、これを利用して、符号化されたデータストリームを出力することもできる。
【００３１】
符号化情報符号化部１４０は、符号化深度決定部１２０で決定された少なくとも１つの符号化深度に基づいて、最大符号化単位ごとに、深度別符号化モードについての情報を符号化し、ビットストリームを出力する。深度別符号化モードについての情報は、符号化深度情報、符号化深度の符号化予測単位を予測単位パーティションに分割するパーティション・タイプ情報、予測単位別予測モード情報、変換単位のサイズ情報などを含むことができる。
【００３２】
符号化深度情報は、現在深度で符号化せずに、下位深度の符号化単位で符号化するか否かを示す深度別分割情報を利用して定義される。現在符号化単位の現在深度が、符号化深度であるならば、現在符号化単位は、現在深度の符号化単位で符号化されるので、現在深度の分割情報は、それ以上下位深度に分割されないように定義されてもよい。一方、現在符号化単位の現在深度が、符号化深度ではないならば、下位深度の符号化単位を利用した符号化を試みなければならないので、現在深度の分割情報は、下位深度の符号化単位に分割されるように定義されてもよい。
【００３３】
現在深度が符号化深度ではないならば、下位深度の符号化単位に分割された符号化単位について符号化が行われる。現在深度の符号化単位内に、下位深度の符号化単位が一つ以上存在するので、それぞれの下位深度の符号化単位ごとに、反復して符号化が行われ、同じ深度の符号化単位ごとに、再帰的（recursive）符号化が行われる。
【００３４】
１つの最大符号化単位内に、ツリー構造の符号化単位が決定され、符号化深度の符号化単位ごとに、少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定される。また、最大符号化単位のデータは、深度によって階層的に区画され、位置別に符号化深度が異なることがあるので、データについての符号化深度、及び符号化モードについての情報が設定されてもよい。
【００３５】
従って、一実施形態による符号化情報符号化部１４０は、最大符号化単位に含まれている符号化単位、予測単位及び最小単位のうち少なくとも一つについて、当該符号化深度と、符号化モードとに係わる符号化情報を割り当てることができる。
【００３６】
一実施形態による最小単位は、最下位符号化深度である最小符号化単位が４分割されたサイズの正方形のデータ単位であり、最大符号化単位に含まれるあらゆる符号化単位、予測単位及び変換単位内に含まれる最大サイズの正方形データ単位であってもよい。例えば、符号化情報符号化部１４０を介して出力される符号化情報は、深度別符号化・単位別符号化情報と、予測単位別符号化情報とに分類されてもよい。深度別符号化・単位別符号化情報は、予測モード情報、パーティションサイズ情報を含むことができる。予測単位別に伝送される符号化情報は、インターモードの推定方向についての情報、インターモードの参照映像インデックスについての情報、動きベクトルについての情報、イントラモードのクロマ（chroma）成分についての情報、イントラモードの補間方式についての情報などを含むことができる。また、ピクチャ、スライスまたはＧＯＰ別に定義される符号化単位の最大サイズについての情報、及び最大深度についての情報は、ビットストリームのヘッダに挿入されてもよい。
【００３７】
映像符号化装置１００の最も簡単な形態の実施形態によれば、深度別符号化単位は、ある階層上位深度の符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深度ｋの符号化単位のサイズが２Ｎｘ２Ｎであるならば、下位深度ｋ＋１の符号化単位のサイズは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの下位深度符号化単位を最大４個含むことができる。
【００３８】
従って、一実施形態による映像符号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位のサイズ及び最大深度を基に、それぞれの最大符号化単位ごとに、最適の形態及びサイズの符号化単位を決定し、ツリー構造による符号化単位を構成することができる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式などで符号化されるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定することができる。
【００３９】
映像の解像度が非常に高いか、あるいはデータ量が非常に大きい映像を、従来の１６ｘ１６サイズのマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が過度に多くなる。これにより、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、本発明の一実施形態による映像符号化装置は、映像のサイズを考慮し、符号化単位の最大サイズを増大させつつ、映像特性を考慮して符号化単位を調節することができるので、映像圧縮効率が上昇しうる。
【００４０】
図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。図２を参照すれば、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。一実施形態による映像復号化装置２００の各種プロセシングのための符号化単位、深度、予測単位、変換単位、各種符号化モードについての情報など、各種用語の定義は、図１及び映像符号化装置１００を参照して述べたところと同一である。映像関連データ獲得部２１０は、映像復号化装置２００が受信したビット列をパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像関連データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位に係わる情報を抽出することができる。本発明の一実施形態による映像復号化装置２００は、最大符号化単位別に映像データを復号化する。
【００４１】
符号化情報抽出部２２０は、映像復号化装置２００が受信したビット列をパージングし、現在ピクチャに係わるヘッダから、最大符号化単位別に、ツリー構造による符号化単位に係わる符号化深度及び符号化モードについての情報を抽出する。抽出された符号化深度及び符号化モードについての情報は、映像データ復号化部２３０に出力される。
【００４２】
最大符号化単位別符号化深度及び符号化モードについての情報は、一つ以上の符号化深度情報について設定され、符号化深度別符号化モードについての情報は、当該符号化単位のパーティション・タイプ情報、予測モード情報及び変換単位のサイズ情報などを含むことができる。また、符号化深度情報として、深度別分割情報を抽出することもできる。
【００４３】
符号化情報抽出部２２０が抽出した最大符号化単位別符号化深度及び符号化モードについての情報は、一実施形態による映像符号化装置１００のように、符号化端で、最大符号化単位別深度別符号化単位ごとに反復して符号化を行い、最小符号化誤差を発生させると決定された符号化深度及び符号化モードについての情報である。従って、映像復号化装置２００は、最小符号化誤差を発生させる符号化方式によってデータを復号化し、映像を復元することができる。
【００４４】
一実施形態による符号化深度及び符号化モードに係わる符号化情報は、当該符号化単位、予測単位及び最小単位のうち所定データ単位について割り当てられているので、符号化情報抽出部２２０は、所定データ単位別に、符号化深度及び符号化モードについての情報を抽出することができる。所定データ単位別に、当該最大符号化単位の符号化深度及び符号化モードについての情報が記録されているならば、同じ符号化深度及び符号化モードについての情報を有している所定データ単位は、同じ最大符号化単位に含まれるデータ単位として類推されてもよい。
【００４５】
映像データ復号化部２３０は、符号化情報抽出部から抽出された最大符号化単位別符号化深度及び符号化モード情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。すなわち、映像データ復号化部２３０は、最大符号化単位に含まれたツリー構造による符号化単位のうち、それぞれの符号化単位ごとに、判読されたパーティション・タイプ、予測モード、変換単位に基づいて符号化された映像データを復号化することができる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含むことができる。
【００４６】
映像データ復号化部２３０は、符号化深度別符号化単位の予測単位のパーティション・タイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれのパーティション及び予測モードによって、イントラ予測または動き補償を行うことができる。また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深度別符号化単位の変換単位のサイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位によって逆変換を行うことができる。
【００４７】
映像データ復号化部２３０は、深度別分割情報を利用する現在最大符号化単位の符号化深度を決定することができる。もし分割情報が現在深度で、それ以上分割されないということを示しているならば、現在深度が符号化深度である。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データについて現在深度の符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用し、復号化することができる。すなわち、符号化単位、予測単位及び最小単位のうち、所定データ単位について設定されている符号化情報を観察し、同じ分割情報を含んだ符号化情報を保有しているデータ単位が集まり、映像データ復号化部２３０によって、同じ符号化モードで復号化する１つのデータ単位と見なされる。
【００４８】
一実施形態による映像復号化装置２００は、符号化過程で、最大符号化単位ごとに、再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用することができる。すなわち、最大符号化単位ごとに、最適符号化単位と決定されたツリー構造に、他の符号化単位の符号化された映像データの復号化が可能になる。従って、高い解像度の映像、またはデータ量が過度に多い映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位のサイズ及び符号化モードによって、効率的に映像データを復号化して復元することができる。
【００４９】
図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照すれば、符号化単位の例は、符号化単位のサイズは、幅ｘ高さで表現され、サイズ６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８を含むことができる。サイズ６４ｘ６４の符号化単位は、サイズ６４ｘ６４，６４ｘ３２，３２ｘ６４，３２ｘ３２のパーティションに分割され、サイズ３２ｘ３２の符号化単位は、サイズ３２ｘ３２，３２ｘ１６，１６ｘ３２，１６ｘ１６のパーティションに、サイズ１６ｘ１６の符号化単位は、サイズ１６ｘ１６，１６ｘ８，８ｘ１６，８ｘ８のパーティションに、サイズ８ｘ８の符号化単位は、サイズ８ｘ８，８ｘ４，４ｘ８，４ｘ４のパーティションに分割されてもよい。
【００５０】
図３で、ビデオデータ３１０については、解像度は、１９２０ｘ１０８０、最大符号化単位のサイズは６４、最大深度が２に設定されている。また、ビデオデータ３２０については、解像度は１９２０ｘ１０８０、符号化単位の最大サイズは６４、最大深度が３に設定されている。また、ビデオデータ３３０については、解像度は３５２ｘ２８８、符号化単位の最大サイズは１６、最大深度が１に設定されている。図３に図示された最大深度は、最大符号化単位から最小符号化単位までの総分割回数を示す。
【００５１】
解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映させるために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度の高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択されてもよい。
【００５２】
ビデオデータ３１０の最大深度が２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、２回分割されて深度が２階層深くなり、長軸サイズが３２，１６である符号化単位まで含むことができる。一方、ビデオデータ３３０の最大深度が１であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、１回分割されて深度が１階層深くなり、長軸サイズが８である符号化単位まで含むことができる。
【００５３】
ビデオデータ３２０の最大深度が３であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、３回分割されて深度が３階層深くなり、長軸サイズが３２，１６，８である符号化単位まで含むことができる。深度が深くなるほど、さらに小さい符号化単位に基づいて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適する。
【００５４】
図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示したものである。一実施形態による映像符号化部４００は、前述のビデオ符号化装置１００の符号化深度決定部１２０で、映像データを符号化するのに行う作業を含んで行う。
【００５５】
図４を参照すれば、イントラ予測部４１０は、現在フレーム４０５において、イントラモードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インターモードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用し、インター予測及び動き補償を行う。
【００５６】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基づいて残留値が生成され、生成された残留値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。
【００５７】
量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、さらに残留値に復元され、復元された残留値は、デブロッキング部４８０及びループフィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビットストリーム４５５として出力されてもよい。
【００５８】
本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループフィルタリング部４９０は、いずれも最大符号化単位ごとに、最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位に基づいて、映像符号化過程を処理する。特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、現在最大符号化単位の最大サイズ及び最大深度を考慮し、ツリー構造による符号化単位のうち、それぞれの符号化単位のパーティション及び予測モードを決定し、周波数変換部４３０は、ツリー構造による符号化単位のうち、それぞれの符号化単位内の変換単位のサイズを考慮し、変換単位のサイズを決定せねばならない。
【００５９】
図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部５００のブロック図を示したものである。図５を参照すれば、ビットストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、残留値に復元される。残留値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償の結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループフィルタリング部５８０を経て、次の符号化単位または次のピクチャの予測に利用される。
【００６０】
本発明の一実施形態による映像復号化方法によって復号化するために、映像復号化部５００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループフィルタリング部５８０が、いずれも最大符号化単位ごとに、ツリー構造による符号化単位に基づいて、映像復号化過程を処理する。特に、イントラ予測部５５０、動き補償部５６０は、ツリー構造による符号化単位それぞれごとに、パーティション及び予測モードを決定し、周波数逆変換部５４０は、符号化単位ごとに変換単位のサイズを決定せねばならない。
【００６１】
図６は、本発明の一実施形態による深度別符号化単位及び予測パーティションを図示している。
【００６２】
一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深度は、映像の特性によって、適応的に決定され、ユーザの要求によって、多様に設定されもする。あらかじめ設定された符号化単位の最大サイズによって、深度別符号化単位のサイズが決定されてもよい。
【００６３】
本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深度が４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深度が深くなるので、深度別符号化単位の高さ及び幅がそれぞれ分割される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深度別符号化単位の予測基盤になる予測単位及びパーティションが図示されている。
【００６４】
符号化単位６１０は、符号化単位の階層構造６００において最大符号化単位であり、深度が０であり、符号化単位のサイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深度が深くなり、サイズ３２ｘ３２である深度１の符号化単位６２０、サイズ１６ｘ１６である深度２の符号化単位６３０、サイズ８ｘ８である深度３の符号化単位６４０、サイズ４ｘ４である深度４の符号化単位６５０が存在する。サイズ４ｘ４である深度４の符号化単位６５０は、最小符号化単位である。
【００６５】
さらに図６を参照すれば、それぞれの深度別に横軸に沿って、符号化単位の予測単位及びパーティションが配列される。すなわち、深度０のサイズ６４ｘ６４の最大符号化単位６１０が予測単位であるならば、予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４のパーティション６１０、サイズ６４ｘ３２のパーティション６１２、サイズ３２ｘ６４のパーティション６１４、サイズ３２ｘ３２のパーティション６１６に分割されてもよい。
【００６６】
同様に、深度１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２のパーティション６２０、サイズ３２ｘ１６のパーティション６２２、サイズ１６ｘ３２のパーティション６２４、サイズ１６ｘ１６のパーティション６２６に分割されてもよい。
【００６７】
深度２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６のパーティション６３０、サイズ１６ｘ８のパーティション６３２、サイズ８ｘ１６のパーティション６３４、サイズ８ｘ８のパーティション６３６に分割されてもよい。
【００６８】
深度３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８のパーティション６４０、サイズ８ｘ４のパーティション６４２、サイズ４ｘ８のパーティション６４４、サイズ４ｘ４のパーティション６４６に分割されてもよい。
【００６９】
最後に、深度４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最上位深度の符号化単位であり、当該予測単位もサイズ４ｘ４のパーティション６５０にのみ設定される。
【００７０】
一実施形態による映像符号化装置の符号化深度決定部１２０は、最大符号化単位６１０の符号化深度を決定するために、最大符号化単位６１０に含まれるそれぞれの深度の符号化単位ごとに符号化を行わねばならない。
【００７１】
同じ範囲及びサイズのデータを含むための深度別符号化単位の個数は、深度が深くなるほど、深度別符号化単位の個数も増加する。例えば、深度１の符号化単位１個が含むデータについて、深度２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深度別に比較するために、１個の深度１の符号化単位及び４個の深度２の符号化単位を利用し、それぞれ符号化されねばならない。
【００７２】
それぞれの深度別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深度別符号化単位の予測単位ごとに符号化を行い、当該深度で、最も小さい符号化誤差である代表符号化誤差が選択される。また、符号化単位の階層構造６００の縦軸に沿って深度を深くなり、それぞれの深度ごとに符号化を行い、深度別代表符号化誤差を比較し、最小符号化誤差が検索されてもよい。最大符号化単位６１０において、最小符号化誤差が生じる深度及びパーティションが、最大符号化単位６１０の符号化深度及びパーティション・タイプとして選択されてもよい。
【００７３】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【００７４】
本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいは同じサイズの符号化単位で映像を分割し、符号化したり復号化する。符号化過程において、周波数変換のための変換単位のサイズは、それぞれの符号化単位より大きくないデータ単位を基に選択されてもよい。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して周波数変換が行われる。また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位でそれぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択されてもよい。
【００７５】
図８は、本発明の一実施形態によって、深度別符号化情報を図示している。
【００７６】
本発明の一実施形態による映像符号化装置１００の符号化情報出力部１３０は、符号化モードについての情報であり、それぞれの符号化深度の符号化単位ごとに、パーティション・タイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を符号化して伝送することができる。
【００７７】
パーティション・タイプに係わる情報８００は、現在符号化単位の動き予測のためのデータ単位として、現在符号化単位の予測単位が分割されたパーティションの形態に係わる情報を示す。例えば、サイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６、サイズＮｘＮのパーティション８０８のうちいずれか１つのタイプに分割されて利用されてもよい。この場合、現在符号化単位のパーティション・タイプについての情報８００は、サイズ２Ｎｘ２Ｎのパーティション８０２、サイズ２ＮｘＮのパーティション８０４、サイズＮｘ２Ｎのパーティション８０６及びサイズＮｘＮのパーティション８０８のうち一つを示すように設定される。
【００７８】
予測モードについての情報８１０は、それぞれのパーティションの動き予測モードを示す。例えば、予測モードについての情報８１０を介して、分割タイプについての情報８００が指すパーティションが、イントラモード８１２、インターモード８１４及びスキップモード８１６のうち一つによって、動き予測が行われているかが設定される。
【００７９】
また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に、周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２インター変換単位サイズ８２８のうち一つであってもよい。
【００８０】
本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２１０は、それぞれの深度別符号化単位ごとに、パーティション・タイプについての情報８００、予測モードについての情報８１０、変換単位サイズに係わる情報８２０を抽出して復号化に利用することができる。
【００８１】
図９は、本発明の一実施形態による深度別符号化単位を図示している。
【００８２】
深度の変化いかんを示すために分割情報が利用されもする。分割情報は、現在深度の符号化単位が、下位深度の符号化単位に分割されるか否かを示している。
【００８３】
深度０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位９００の予測符号化のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１２、２Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズのパーティション・タイプ９１６、Ｎ＿０ｘＮ＿０サイズのパーティション・タイプ９１８を含むことができる。予測単位が対称的比率で分割されたパーティション９１２，９１４，９１６，９１８のみ例示されているが、前述のように、パーティション・タイプは、これらに限定されるものではなく、非対称的パーティション、任意的形態のパーティション、幾何学的形態のパーティションなどを含んでもよい。
【００８４】
パーティション・タイプごとに、１個の２Ｎ＿０ｘＮ＿０サイズのパーティション、２つの２Ｎ＿０ｘＮ＿０サイズのパーティション、２つのＮ＿０ｘ２Ｎ＿０サイズのパーティション、４個のＮ＿０ｘＮ＿０サイズのパーティションごとに、反復して予測符号化が行われねばならない。サイズ２Ｎ＿０ｘＮ＿０、サイズＮ＿０ｘＮ＿０、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０のパーティションについては、イントラモード及びインターモードで予測符号化が行われる。スキップモードは、サイズ２Ｎ＿０ｘ２Ｎ＿０のパーティションについて行われる。サイズ２Ｎ＿０ｘ２Ｎ＿０，２Ｎ＿０ｘＮ＿０及びＮ＿０ｘ２Ｎ＿０のパーティション・タイプ９１２，９１４，９１６のうち一つによる符号化誤差が最も小さいならば、それ以上下位深度に分割する必要はない。
【００８５】
サイズＮ＿０ｘＮ＿０のパーティション・タイプ９１８による符号化誤差が最も小さいならば、深度０を１に変更して分割し（９２０）、深度２及びサイズＮ＿０ｘＮ＿０のパーティション・タイプの符号化単位９３０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。
【００８６】
深度１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位９３０の予測符号化のための予測単位９４０は、サイズ２Ｎ＿１ｘ２Ｎ＿１のパーティション・タイプ９４２、サイズ２Ｎ＿１ｘＮ＿１のパーティション・タイプ９４４、サイズＮ＿１ｘ２Ｎ＿１のパーティション・タイプ９４６、サイズＮ＿１ｘＮ＿１のパーティション・タイプ９４８を含んでもよい。
【００８７】
また、サイズＮ＿１ｘＮ＿１サイズのパーティション・タイプ９４８による符号化誤差が最も小さいならば、深度１を深度２に変更して分割しつつ（９５０）、深度２及びサイズＮ＿２ｘＮ＿２の符号化単位９６０について反復して符号化を行い、最小符号化誤差を検索して行くことができる。
【００８８】
最大深度がｄである場合、深度別縮小情報は、深度ｄ−１であるまで設定され、分割情報は、深度ｄ−２まで設定することができる。すなわち、深度ｄ−２から分割され（９７０）、深度ｄ−１まで符号化が行われる場合、深度ｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位９８０の予測符号化のための予測単位９９０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション・タイプ９９６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８を含んでもよい。
【００８９】
パーティション・タイプにおいて、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、２つのサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション、２つのサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）のパーティション、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティションごとに、反復して予測符号化を介した符号化が行われてこそ、最小符号化誤差が生じるパーティション・タイプが検索される。サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）のパーティション・タイプ９９８による符号化誤差が最も小さいとしても、最大深度がｄであるから、深度ｄ−１の符号化単位ＣＵ＿（ｄ−１）は、それ以上下位深度への分割過程を経ず、現在最大符号化単位９００に係わる符号化深度が深度ｄ−１に決定され、パーティション・タイプは、Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）に決定される。また、最大深度がｄであるから、深度ｄ−１の符号化単位９５２について、分割情報は設定されない。
【００９０】
データ単位９９９は、現在最大符号化単位に係わる「最小単位」と呼ぶことができる。一実施形態による最小単位は、最下位符号化深度の最小符号化単位が４分割されたサイズの正方形のデータ単位であってもよい。このような反復的符号化過程を介して、一実施形態によるビデオ符号化装置１００は、符号化単位９００の深度別符号化誤差を比較し、最も小さい符号化誤差が生じる深度を選択し、符号化深度を決定し、当該パーティション・タイプ及び予測モードを、符号化深度の符号化モードに設定することができる。
【００９１】
こういう方法で、深度０，１，…，ｄ−１、ｄのあらゆる深度別最小符号化誤差を比較し、誤差が最も小さい深度が選択され、符号化深度として決定される。符号化深度、並びに予測単位のパーティション・タイプ及び予測モードは、符号化モードについての情報として符号化されて伝送されてもよい。また、深度０から符号化深度に至るまで符号化単位が分割されねばならないので、符号化深度の分割情報のみ「０」に設定され、符号化深度を除外した深度別分割情報は、「１」に設定されねばならない。
【００９２】
本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９００に係わる符号化深度及び予測単位についての情報を抽出し、符号化単位９００を復号化するのに利用することができる。一実施形態による映像復号化装置２００は、深度別分割情報を利用し、分割情報が「０」である深度を符号化深度として把握し、当該深度に係わる符号化モードについての情報を利用し、復号化に利用することができる。
【００９３】
図１０ないし図１２は、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【００９４】
符号化単位１０１０は、最大符号化単位１０００について、一実施形態による映像符号化装置１００が決定した符号化深度別符号化単位である。予測単位１０６０は、符号化単位１０１０において、それぞれの符号化深度別符号化単位の予測単位のパーティションであり、変換単位１０７０は、それぞれの符号化深度別符号化単位の変換単位である。
【００９５】
深度別符号化単位１０１０は、最大符号化単位１０００の深度が０であるとすれば、符号化単位１０１２，１０５４は、深度が１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深度が２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深度が３、符号化単位１０４０，１０４２，１０４４，１０４６は、深度が４である。
【００９６】
予測単位１０６０において、一部パーティション１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割された形態である。すなわち、パーティション１０１４，１０２２，１０５０，１０５４は、２ＮｘＮのパーティション・タイプであり、パーティション１０１６，１０４８，１０５２は、Ｎｘ２Ｎのパーティション・タイプ、パーティション１０３２は、ＮｘＮのパーティション・タイプである。深度別符号化単位１０１０の予測単位及びパーティションは、それぞれの符号化単位より小さいか、あるいは同じである。
【００９７】
変換単位１０７０において、一部（１０５２，１０５４）の映像データについては、符号化単位に比べて、小さいサイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち、当該予測単位及びパーティションと比較してみれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。単位ごとに再帰的に符号化が行われ、最適符号化単位が決定されることによって、再帰的ツリー構造による符号化単位が構成される。
【００９８】
符号化情報は、符号化単位に係わる分割情報、パーティション・タイプ情報、予測モード情報、変換単位サイズ情報を含んでもよい。以下の表１は、一実施形態によるビデオ符号化装置１００及び一実施形態によるビデオ復号化装置２００で設定可能である一例を示す。
【００９９】
【表１】
2013501451.tif 000003
一実施形態によるビデオ符号化装置１００の出力部１３０は、ツリー構造による符号化単位に係わる符号化情報を出力し、一実施形態によるビデオ復号化装置２００の符号化情報抽出部２２０は、受信されたビットストリームから、ツリー構造による符号化単位に係わる符号化情報を抽出することができる。
【０１００】
分割情報は、現在符号化単位が下位深度の符号化単位に分割されるか否かを示す。現在深度ｄの分割情報が０であるならば、現在符号化単位が、現在符号化単位が下位符号化単位にそれ以上分割されない深度が符号化深度であるから、符号化深度について、パーティション・タイプ情報、予測モード、変換単位サイズ情報が定義される。分割情報によって、１段階さらに分割されねばならない場合には、分割された４個の下位深度の符号化単位ごとに、独立して符号化が行われねばならない。
【０１０１】
予測モードは、イントラモード、インターモード及びスキップモードのうち一つで示してもよい。イントラモード及びインターモードは、あらゆるパーティション・タイプで定義され、スキップモードは、パーティション・タイプ２Ｎｘ２Ｎでのみ定義される。
【０１０２】
パーティション・タイプ情報は、予測単位の高さまたは幅が、対称的比率で分割された対称的パーティション・タイプ２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮと、非対称的比率で分割された非対称的パーティション・タイプ２ＮｘｎＵ，２ＮｘｎＤ，ｎＬｘ２Ｎ，ｎＲｘ２Ｎを示してもよい。非対称的パーティション・タイプ２ＮｘｎＵ及び２ＮｘｎＤは、それぞれ高さが１：３及び３：１に分割された形態であり、非対称的パーティション・タイプｎＬｘ２Ｎ及びｎＲｘ２Ｎは、それぞれ幅が１：３及び３：１に分割された形態を示す。
【０１０３】
変換単位サイズは、イントラモードで２種のサイズ、インターモードで２種のサイズに設定されてもよい。すなわち、変換単位分割情報が０であるならば、変換単位のサイズが、現在符号化単位のサイズ２Ｎｘ２Ｎに設定される。変換単位分割情報が１であるならば、現在符号化単位が分割されたサイズの変換単位が設定される。また、サイズ２Ｎｘ２Ｎである現在符号化単位に係わるパーティション・タイプが、対称形パーティション・タイプであるならば、変換単位のサイズは、ＮｘＮ、非対称型パーティション・タイプであるならば、Ｎ／２ｘＮ／２に設定することができる。
【０１０４】
一実施形態によるツリー構造による符号化単位の符号化情報は、符号化深度の符号化単位、予測単位及び最小単位のうち少なくとも一つについて割り当てられる。符号化深度の符号化単位は、同じ符号化情報を保有している予測単位及び最小単位を一つ以上含んでもよい。
【０１０５】
従って、隣接したデータ単位間でそれぞれ保有している符号化情報を確認すれば、同じ符号化深度の符号化単位に含まれるか否かが確認される。また、データ単位が保有している符号化情報を利用すれば、当該符号化深度の符号化単位を確認することができるので、最大符号化単位内の符号化深度の分布が類推される。
【０１０６】
従って、その場合、現在符号化単位が周辺データ単位を参照して予測する場合、現在符号化単位に隣接する深度別符号化単位内のデータ単位の符号化情報が直接参照されて利用される。
【０１０７】
他の実施形態で、現在符号化単位が、周辺符号化単位を参照して予測符号化が行われる場合、隣接する深度別符号化単位の符号化情報を利用し、深度別符号化単位内で、現在符号化単位に隣接するデータが検索されることによって、周辺符号化単位が参照されもする。
【０１０８】
図１３は、表１の符号化モード情報による符号化単位、予測単位及び変換単位の関係を図示している。
【０１０９】
最大符号化単位１３００は、符号化深度の符号化単位１３０２，１３０４，１３０６，１３１２，１３１４，１３１６，１３１８を含む。このうち１つの符号化単位１３１８は、符号化深度の符号化単位であるから、分割情報を０に設定することができる。サイズ２Ｎｘ２Ｎの符号化単位１３１８のパーティション・タイプ情報は、パーティション・タイプ２Ｎｘ２Ｎ  １３２２、２ＮｘＮ  １３２４、Ｎｘ２Ｎ  １３２６、ＮｘＮ  １３２８、２ＮｘｎＵ  １３３２、２ＮｘｎＤ  １３３４、ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定することができる。
【０１１０】
パーティション・タイプ情報が、対称形パーティション・タイプ２Ｎｘ２Ｎ  １３２２、２ＮｘＮ  １３２４、Ｎｘ２Ｎ  １３２６及びＮｘＮ  １３２８のうち一つに設定されている場合、変換単位分割情報（ＴＵ  size  flagが０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３４２が設定され、変換単位分割情報が１であるならば、サイズＮｘＮの変換単位１３４４が設定されてもよい。
【０１１１】
パーティション・タイプ情報が、非対称型パーティション・タイプ２ＮｘｎＵ  １３３２、２ＮｘｎＤ  １３３４、ｎＬｘ２Ｎ  １３３６及びｎＲｘ２Ｎ  １３３８のうち一つに設定された場合、変換単位分割情報（ＴＵ  size  flag）が０であるならば、サイズ２Ｎｘ２Ｎの変換単位１３５２が設定され、変換単位分割情報が１であるならば、サイズＮ／２ｘＮ／２の変換単位１３５４が設定されてもよい。
【０１１２】
以下、図４の本発明の一実施形態による映像符号化装置４００の周波数変換部４３０、及び図５の映像復号化装置５００の周波数逆変換部５４０で行われる周波数領域での変換係数の予測過程について具体的に説明する。
【０１１３】
図１４は、本発明の一実施形態による周波数変換装置の構成を示したブロック図である。図１４の周波数変換装置１２００は、図４の本発明の一実施形態による映像符号化装置４００の周波数変換部４３０として利用することができる。
【０１１４】
図１４を参照すれば、本発明の一実施形態による周波数変換装置１２００は、変換部１２１０、変換係数予測部１２２０及び減算部１２３０を含む。
【０１１５】
変換部１２１０は、符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、変換ブロックを生成する。予測ブロックは、図４のイントラ予測部４１０によるイントラ予測を介して生成されるか、あるいは動き補償部４２５による動き補償を介して生成される。第１残留ブロックは、現在ブロックと予測ブロックとの差値である原（original）残留ブロックを指すものであり、後述する不完全（incomplete）残留ブロックを指す第２残留ブロックと区別されるために、別途に定義したものである。変換部１２１０は、第１残留ブロックに係わる離散コサイン変換（discrete  cosine  transform）を行って変換ブロックを生成する。
【０１１６】
変換係数予測部１２２０は、変換ブロックの変換係数のうち、予測される少なくとも１つの変換係数を所定値に置き換え、所定値に置き換えられた変換係数を含む変換ブロックを逆変換し、第２残留ブロックを生成する。そして、変換係数予測部１２２０は、第２残留ブロックの値を利用し、予測される変換係数の予測子を生成する。具体的な変換係数の予測子を生成する過程については、後述する。
【０１１７】
減算部１２３０は、変換係数と、対応する予測子との差値を計算する。本発明の一実施形態による周波数変換装置１２００は、変換係数予測部１２２０によって予測された変換係数は、予測子との差値だけを出力し、変換係数予測部１２２０によって予測された変換係数を除外した残りの変換係数は、原変換ブロックの変換係数をそのまま出力する。本発明の一実施形態による周波数変換装置１２００によれば、変換係数のうち予測された変換係数については、予測された変換係数と予測子との差値のみを符号化することによって、符号化されたデータ量を低減させることができる。特に、本発明による変換係数予測過程を、相対的に大きい値を有する低周波数成分の変換係数に適用する場合、映像の圧縮効率をさらに向上させることができる。
【０１１８】
以下、変換係数の予測子を生成する過程について詳細に説明する。
【０１１９】
図１５は、本発明の一実施形態による変換係数予測モードを示した図である。図１５を参照すれば、本発明の変換係数予測モード（ＦＤＰ＿mode＿ｎ（ｎは０，１，２，３））は、予測される変換係数によって、次の通り分類される。後述するように、本発明の実施形態によれば、現在ブロックと予測ブロックとの差値である第１残留ブロックを構成する変換係数のうち、予測子によって予測される第１領域の変換係数は、予測子と原変換係数との差値を利用して符号化され、第１領域を除外した残りの第２領域の変換係数は、変換係数の予測過程なしに、原変換係数をそのまま利用して符号化される。
【０１２０】
１）ＦＤＰ＿mode＿０：変換ブロックの最上側行の所定個数（Ｌ）の変換係数１３１０を予測するモード
２）ＦＤＰ＿mode＿１：変換ブロックの最左側列の所定個数（Ｌ）の変換係数１３２０を予測するモード
３）ＦＤＰ＿mode＿２：変換ブロックのＤＣ（direct current）係数１３３０を予測するモード
４）ＦＤＰ＿mode＿３：変換ブロックのＤＣ係数、最上側行及び最左側列の所定個数（Ｌ）の変換係数１３４０を予測するモード
ここで、変換係数予測モードは、現在ブロックの予測ブロックの予測モードによって決定されてもよい。例えば、予測ブロックが、垂直方向のイントラ予測モードを介して生成された場合は、ＦＤＰ＿mode＿０、予測ブロックが、水平方向のイントラ予測モードを介して生成された場合は、ＦＤＰ＿mode＿１、予測ブロックが、ＤＣモードでイントラ予測されて生成された場合は、ＦＤＰ＿mode＿２、予測ブロックが、前述のイントラ予測モードと異なる方向の予測モードで予測された場合（動き補償された場合を含むことが可能）は、ＦＤＰ＿mode＿３に選択されてもよい。このように、予測モードによって、変換係数予測モードを選択する理由は、予測モードの方向性によって、参照ピクセルと近い残留ブロックの境界では、近い周辺ピクセルを参照ピクセルとして利用するために、残留値が小さくなり、予測モードの方向性によって、参照ピクセルと離れた残留ブロックの値が大きくなる傾向があるために、このような傾向を反映するためである。すなわち、本発明は、現在ブロックの予測に利用される前に符号化された後で復元された周辺ピクセルと、現在ブロックとのピクセル間の柔軟さ（smoothness）程度を最適化する方向に変換係数を予測する。
【０１２１】
また、予測される変換係数の個数（Ｌ）は、次の表２に表示されているように、変換ブロックのサイズによって設定されてもよい。
【０１２２】
【表２】
2013501451.tif 000004
変換ブロックのいずれか１行または１列の予測される変換係数の個数を示す変換係数予測長Ｌは、前記表２に表示されたところに限定されるものではなくして変更されてもよい。
【０１２３】
図１６は、本発明の一実施形態による変換係数の予測過程で利用されるパラメータの名称（nomenclature）について説明するための参照図である。
【０１２４】
現在ブロックのサイズをＮｘＭ（Ｎ，Ｍは整数）とすれば、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックは、いずれもＮｘＭのサイズを有する。図１７では、ＮｘＭが５ｘ５である場合を例示している。第１残留ブロック１４１０の（ｘ，ｙ）（０≦ｘ≦Ｎ−１、０≦ｙ≦Ｍ−１）に位置した残留値は、ｒｅｓ（ｘ，ｙ）と定義され、第１残留ブロック１４１０に係わる離散コサイン変換を行って生成された変換ブロック１４２０の（ｘ，ｙ）に位置した変換係数は、ｃ（ｘ，ｙ）と定義される。また、後述する第２残留ブロック１４３０の（ｘ，ｙ）に位置した値は、ｆ（ｘ，ｙ）と定義される。変換係数であるｃ（ｘ，ｙ）の予測子１４４０は、ｆｄｐｘｙと定義される。特に、本発明の一実施形態によれば、あらゆる変換係数の予測子を生成するのではなく、最上側行及び最左側列の予測子１４４５のうち所定個数の予測子のみが生成される。これは、最上側行及び最左側列の変換係数が、他の変換係数に比べて相対的に大きい値を有し、残りの高周波数成分に近い変換係数であるほど、０に近い値が多いために、このような高周波数成分の変換係数まで予測する場合、予測にかかる演算量に比べて、圧縮効率が大きく向上しないためである。
【０１２５】
以下、変換係数予測モードによる変換係数の予測過程について具体的に説明する。
【０１２６】
１．変換係数予測モード０
ＦＤＰ＿mode＿０による変換係数の予測過程
離散コサイン変換の基本成分関数basis＿elementｎｍは、basis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）であり、（ｎ，ｍ）位置での変換係数をｃｏｅｆｆｎｍであるとすれば、残留ブロックのｒｅｓ（ｘ，ｙ）は、次の式（１）のように、基本成分関数basis＿elementｎｍと、変換係数（ｃｏｅｆｆｎｍ）との線形組み合わせ（linear  combination）形態で表現される。
【０１２７】
【数１】
2013501451.tif 000005
ここで、ｎ＝ｍ＝０である場合、すなわち、「０」成分の基本成分関数basis＿element００は、定数１の値を有する。ｃｏｅｆｆ００は、一般的に、ＤＣ係数と呼ばれ、離散コサイン変換される入力値の平均値を示す。ＤＣ係数を除外した残りの変換係数は、ＡＣ係数と呼ばれる。
【０１２８】
式（１）の右側で、ＤＣ係数とＡＣ係数とを分離して表現すれば、次の式（２）のようである。
【０１２９】
【数２】
2013501451.tif 000006
式（２）で、ｎ＋ｍ＞０という条件は、ＡＣ係数に係わる演算であることを意味する。もし式（２）で、ＤＣ係数ｃｏｅｆｆ００を含む変換ブロックの予測しようとする最上側行の変換係数の値を０に設定し、逆離散コサイン変換を行った場合、復元された残留は、実際残留値と差が出る。これは、予測しようとする最上側行の変換係数の値を０に設定したためである。本発明について説明するにあたり、このように、変換係数の一部値を他の値に置き換え、置き換えられた変換ブロックを逆変換することによって生成される残留ブロックを、不完全（incomplete）残留ブロックまたは第２残留ブロックと呼ぶ。不完全残留ブロックである第２残留ブロックｆ（ｘ，ｙ）は、次の式（３）のように表現されてもよい。
【０１３０】
【数３】
2013501451.tif 000007
前述のように、不完全残留ブロックｆ（ｘ，ｙ）と、実際残留ブロックｒｅｓ（ｘ，ｙ）は、０に設定された変換係数によって差が生じる。一般的に、変換係数のうちＤＣ係数の値が最も大きい値を有する。従って、不完全残留ブロックｆ（ｘ，ｙ）と、実際残留ブロックｒｅｓ（ｘ，ｙ）との差は、ほぼＤＣ係数の差によるものである。従って、ｒｅｓ（ｘ，ｙ）及びｆ（ｘ，ｙ）から、次の式（４）のように、ＤＣ係数の値を予測することができる。
【０１３１】
【数４】
2013501451.tif 000008
デコーダ側では、式（４）を利用して、ＤＣ係数を直接的に予測することができない。なぜならは、復号化時には、逆変換を介して、周波数領域の変換係数を、時間領域の残留に変換するが、後述するように、本発明の一実施形態によれば、変換係数予測モードによって予測された変換係数については、予測子との差値のみがビットストリームに含まれており、残留情報ｒｅｓ（ｘ，ｙ）を直ちに復元することができないためである。
【０１３２】
式（４）で、原残留ブロックの情報ｒｅｓ（ｘ，ｙ）及び不完全残留ブロックの情報ｆ（ｘ，ｙ）において、最上側行の情報のみを利用し、予測ブロックの生成に、垂直方向のイントラ予測モードが適用され、残留ブロックの方向性によって、ｒｅｓ（ｘ，０）＝０であり、ｒｅｓ（０，ｙ）≠０であると仮定すれば、次の式（５）のようなＤＣ係数の予測子ｆｄｐ００を誘導することができる。
【０１３３】
【数５】
2013501451.tif 000009
ｆｄｐ００（００）は、ＤＣ係数の値に比例し、符号のみＤＣ係数と反対である値を有する。従って、式（５）に記載されたｆｄｐ００を、垂直方向のイントラ予測モードで予測されて生成された残留ブロックの変換ブロックの変換係数のうち、ＤＣ係数の予測子として利用することができる。具体的には、ｆｄｐ００に、所定の補正値ｃｏｒｒ＿factorを乗じた値を予測子として利用することが望ましい。補正値ｃｏｒｒ＿factorについては、後述する。
【０１３４】
変換ブロックの変換係数のうち、最上側行の変換係数ｃ（ｎ，０）の予測子ｆｄｐｎ０は、次の式（６）のように、基本成分関数と、最上側行に対応する不完全残留ブロック値との積（dot  product）を介して計算される。
【０１３５】
【数６】
2013501451.tif 000010
図１７は、図１５の変換係数予測モード０  ＦＤＰ＿mode＿０による変換係数の予測過程について説明するための参照図である。
【０１３６】
変換係数予測モード０  ＦＤＰ＿mode＿０では、最上側行の変換係数のうち、所定個数の変換係数が予測される。前述のように、変換係数予測モード０  ＦＤＰ＿mode＿０は、予測ブロックが垂直方向のイントラ予測モードを介して生成された場合に選択されることが望ましい。図１７では、最上側行の変換係数のうち、３個の変換係数ｃ（０，０），ｃ（１，０），ｃ（２，０）の予測子を生成する過程を例示している。
【０１３７】
変換係数予測部１２２０は、変換ブロックの変換係数のうち、予測される３個の変換係数ｃ（０，０），ｃ（１，０），ｃ（２，０）を、図面の符号１５０５で表示されているように０に置き換え、置き換えられた変換ブロック１５００を生成する。変換係数予測部１２２０は、置き換えられた変換ブロック１５００を逆変換し、第２残留ブロック１５１０を生成する。
【０１３８】
変換係数予測部１２２０は、生成された第２残留ブロックの最上側行の値１５１５を利用して予測される３個の変換係数ｃ（０，０），ｃ（１，０），ｃ（２，０）の予測子ｆｄｐ００，ｆｄｐ１０，ｆｄｐ２０を生成する。
【０１３９】
具体的には、前述の式（５）を利用し、変換係数予測部１２２０は、次の数式：
【０１４０】
【数７】
2013501451.tif 000011
のように、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００を生成する。
【０１４１】
また、変換係数予測部１２２０は、前述の式（６）を利用し、次の数式：
【０１４２】
【数８】
2013501451.tif 000012
及び
【０１４３】
【数９】
2013501451.tif 000013
のように、残りの最上側行の変換係数ｃ（１，０）及びｃ（２，０）の予測子ｆｄｐ１０及びｆｄｐ２０を生成する。
【０１４４】
変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００、残りの最上側行の変換係数ｃ（１，０）及びｃ（２，０）の予測子ｆｄｐ１０及びｆｄｐ２０を出力し、減算部１２３０は、原変換係数と予測子との差値を計算して出力する。
【０１４５】
前述のように、変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００、残りの最上側行の変換係数ｃ（１，０）及びｃ（２，０）の予測子ｆｄｐ１０及びｆｄｐ２０に、補正値ｃｏｒｒ＿factorを乗じてスケーリング（scaling）補正された予測子を出力することもできる。
【０１４６】
図１８は、変換係数予測モード０  ＦＤＰ＿mode＿０による変換係数の予測結果によって符号化される変換ブロックを示した図である。図１８を参照すれば、変換ブロック１６００の最上側行の変換係数のうち予測される変換係数１６０５は、そのまま符号化されるのではなく、変換係数予測部１２２０から計算された予測子との差値のみ符号化される。これを介して、相対的に大きいデータ値を有する変換係数のデータ量を低減させることによって、映像の圧縮効率を向上させることができる。
【０１４７】
２．変換係数予測モード１
ＦＤＰ＿mode＿１による変換係数の予測過程
原残留ブロックの情報ｒｅｓ（ｘ，ｙ）及び不完全残留ブロックの情報ｆ（ｘ，ｙ）のうち最左側列の情報のみを利用し、予測ブロックの生成に水平方向のイントラ予測モードが適用され、残留ブロックの方向性によって、ｒｅｓ（０，ｙ）＝０であり、ｒｅｓ（ｘ，０）≠０であると仮定する。また、不完全残留ブロックｆ（ｘ，ｙ）は、変換ブロックの最左側列の変換係数のうち、予測しようとする変換係数を０に置換した後で逆変換して生成されたものであると仮定する。それにより、前述の式（４）から、次の式（５）のようなＤＣ係数の予測子ｆｄｐ００を誘導することができる。
【０１４８】
【数１０】
2013501451.tif 000014
前述のように、式（７）のｆｄｐ００（００）は、ＤＣ係数の値に比例し、符号だけＤＣ係数と反対である値を有する。従って、式（７）のｆｄｐ００を水平方向のイントラ予測モードで予測されて生成された残留ブロックの変換ブロックの変換係数のうち、ＤＣ係数の予測子として利用することができる。ＤＣ係数の予測子ｆｄｐ００に、所定の補正値ｃｏｒｒ＿factorを乗じた値を予測子として利用することが望ましい。補正値ｃｏｒｒ＿factorについては、後述する。
【０１４９】
変換ブロックの変換係数のうち、最左側列の変換係数ｃ（０，ｍ）の予測子ｆｄｐ０ｍは、次の式（８）のように、基本成分関数と、最左側列に対応する不完全残留ブロック値との積を介して計算されてもよい。
【０１５０】
【数１１】
2013501451.tif 000015
図１９は、図１５の変換係数予測モード１  ＦＤＰ＿mode＿１による変換係数の予測過程について説明するための参照図である。
【０１５１】
変換係数予測モード１  ＦＤＰ＿mode＿１では、最左側列の変換係数のうち、所定個数の変換係数が予測される。前述のように、変換係数予測モード１  ＦＤＰ＿mode＿１は、予測ブロックが水平方向のイントラ予測モードを介して生成された場合に選択されることが望ましい。図１９では、最左側列の変換係数のうち３個の変換係数ｃ（０，０），ｃ（０，１），ｃ（０，２）の予測子を生成する過程を例示している。
【０１５２】
変換係数予測部１２２０は、変換ブロックの変換係数のうち、予測される３個の変換係数ｃ（０，０），ｃ（０，１），ｃ（０，２）を、図面符号１７０５で表示されているように０に置き換え、置き換えられた変換ブロック１７００を生成する。変換係数予測部１２２０は、置き換えられた変換ブロック１７００を逆変換し、第２残留ブロック１７１０を生成する。
【０１５３】
変換係数予測部１２２０は、生成された第２残留ブロック１７１０の最左側列の値１７１５を利用して予測される３個の変換係数ｃ（０，０），ｃ（０，１），ｃ（０，２）の予測子ｆｄｐ００，ｆｄｐ０１，ｆｄｐ０２を生成する。
【０１５４】
具体的には、前述の式（７）を利用し、変換係数予測部１２２０は、次の数式：
【０１５５】
【数１２】
2013501451.tif 000016
のように、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００を生成する。
【０１５６】
また、変換係数予測部１２２０は、前述の式（８）を利用し、次の数式：
【０１５７】
【数１３】
2013501451.tif 000017
のように、残りの最左側列の変換係数ｃ（０，１）及びｃ（０，２）の予測子ｆｄｐ０１及びｆｄｐ０２を生成する。
【０１５８】
変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００、残りの最左側列の変換係数ｃ（０，１）及びｃ（０，２）の予測子ｆｄｐ０１及びｆｄｐ０２を出力し、減算部１２３０は、原変換係数と予測子との差値を計算して出力する。
【０１５９】
前述のように、変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００、残りの最左側列の変換係数ｃ（０，１）及びｃ（０，２）の予測子ｆｄｐ０１及びｆｄｐ０２に、補正値ｃｏｒｒ＿factorを乗じてスケーリング補正された予測子を出力することもできる。
【０１６０】
図２０は、変換係数予測モード１  ＦＤＰ＿mode＿１による変換係数の予測結果によって符号化される変換ブロックを示した図である。図２０を参照すれば、変換ブロック１８００の最左側列の変換係数のうち予測される変換係数１８０５は、そのまま符号化されるものではなく、変換係数予測部１２２０から計算された予測子との差値のみ符号化される。これを介して、相対的に大きいデータ値を有する変換係数のデータ量を低減させることによって、映像の圧縮効率を向上させることができる。
【０１６１】
３．変換係数予測モード２
ＦＤＰ＿mode＿２による変換係数の予測過程
前述の式（２）で、変換ブロックの予測しようとするＤＣ係数ｃｏｅｆｆ００の値を０に設定し、逆離散コサイン変換を行って生成された不完全残留ブロックｆ（ｘ，ｙ）と、実際残留ブロックｒｅｓ（ｘ，ｙ）は、０に設定されたＤＣ係数ｃｏｅｆｆ００の値ほどの差が生じる。前述の式（４）で、原残留ブロックの情報ｒｅｓ（ｘ，ｙ）及び不完全残留ブロックの情報ｆ（ｘ，ｙ）において、最上側行及び最左側列の情報のみを利用し、ｒｅｓ（ｘ，０）＝ｒｅｓ（０，ｙ）＝０であると仮定すれば、次の式（９）のように、ＤＣ係数の予測子ｆｄｐ００を計算することができる。
【０１６２】
【数１４】
2013501451.tif 000018
ｆｄｐ００（００）は、ＤＣ係数の値に比例する値を有し、符号だけＤＣ係数と反対であるから、式（９）に図示されたｆｄｐ００を、ＤＣ係数の予測子として利用することができる。ＤＣ係数の予測子ｆｄｐ００に、所定の補正値ｃｏｒｒ＿factorを乗じた値を予測子として利用することが望ましい。補正値ｃｏｒｒ＿factorについては、後述する。
【０１６３】
図２１は、図１５の変換係数予測モード２  ＦＤＰ＿mode＿２による変換係数の予測過程について説明するための参照図である。
【０１６４】
変換係数予測モード２  ＦＤＰ＿mode＿２では、変換係数のうちＤＣ係数だけ予測される。前述のように、変換係数予測モード２  ＦＤＰ＿mode＿２は、予測ブロックがＤＣモードを介して生成された場合、選択されることが望ましい。図２１では、ｃ（０，０）の予測子を生成する過程を例示している。
【０１６５】
変換係数予測部１２２０は、変換ブロックの変換係数のうち予測されるｃ（０，０）を、図面符号１９０５で表示されているように０に置き換え、置き換えられた変換ブロック１９００を生成する。変換係数予測部１２２０は、置き換えられた変換ブロック１９００を逆変換し、第２残留ブロック１９１０を生成する。
【０１６６】
変換係数予測部１２２０は、生成された第２残留ブロック１９１０の最上側行及び最左側列の値１９１５を利用し、変換係数ｃ（０，０）の予測子ｆｄｐ００を生成する。
【０１６７】
具体的には、前述の式（９）を利用して、変換係数予測部１２２０は、次の数式：
【０１６８】
【数１５】
2013501451.tif 000019
のように、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００を生成する。
【０１６９】
変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００を出力し、減算部１２３０は、原変換係数と予測子との差値を計算して出力する。
【０１７０】
前述のように、変換係数予測部１２２０は、ＤＣ変換係数であるｃ（０，０）の予測子ｆｄｐ００に、補正値ｃｏｒｒ＿factorを乗じてスケーリング補正された予測子を出力することもできる。
【０１７１】
図２２は、変換係数予測モード２  ＦＤＰ＿mode＿２による変換係数の予測結果によって符号化される変換ブロックを示した図である。図２２を参照すれば、変換ブロック２０００の予測されるＤＣ変換係数２００５は、そのまま符号化されるものではなく、変換係数予測部１２２０から計算された予測子との差値のみ符号化される。これを介して、相対的に大きいデータ値を有するＤＣ成分の変換係数のデータ量を低減させることによって、映像の圧縮効率を向上させることができる。
【０１７２】
４．変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数の予測過程
変換係数予測モード３  ＦＤＰ＿mode＿３は、前述の変換係数予測モード０ないし２とは異なり、不完全残留ブロックの情報ｆ（ｘ，ｙ）だけではなく、予測ブロックの値ｐｒｅｄ（ｘ，ｙ）及び以前に符号化された後で復元された周辺ピクセルの値であるｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）を利用し、変換ブロックの最上側行及び最左側列の変換係数を予測するモードである。
【０１７３】
図２３は、図１５の変換係数予測モード３  ＦＤＰ＿mode＿３によって、変換係数を予測する過程を概括した参照図である。図２３を参照すれば、変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数を予測する過程は、高周波数成分の変換係数からＤＣ係数までの周波数サイズによって、順次に予測子を生成する。変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数を予測する過程は、以前に符号化された周辺ピクセルと現在ブロックのピクセルとの柔軟さ（smoothness）を最適化する方向に変換係数を予測するのである。
【０１７４】
具体的には、変換ブロック２１００の最上側行及び最左側列の変換係数のうちハッチング（hatching）された低周波数成分の変換係数２１０１ないし２１０５が、変換係数予測モード３  ＦＤＰ＿mode＿３によって予測される変換係数であると仮定する。
【０１７５】
変換係数予測部１２２０は、変換ブロックの予測される低周波数成分の変換係数２１０１ないし２１０５をいずれも０に置き換えた後、置き換えられた変換ブロックを逆変換し、不完全残留ブロックである第２残留ブロックを生成する。変換係数予測部１２２０は、第２残留ブロックの最上側行及び最左側列の値、予測ブロックの値及び周辺ピクセルを利用して予測される低周波数成分の変換係数２１０１ないし２１０５のうち、相対的に最も大きい高周波数成分を有する第１変換係数であるｃ（２，０）  ２１０１及びｃ（０，２）  ２１０２の予測子を生成する。
【０１７６】
第１変換係数２１０１，２１０２に係わる予測子が生成されれば、変換係数予測部１２２０は、変換ブロックの予測される変換係数のうち、第１変換係数の周波数成分より小さい周波数成分を有する変換係数２１１１ないし２１１３をさらに０に置き換え、置き換えられた変換ブロック２１１０を逆変換し、不完全残留ブロックである第３残留ブロックを生成する。変換係数予測部１２２０は、第３残留ブロックの最上側行及び最左側列の値、予測ブロックの値及び周辺ピクセルを利用し、変換係数２１１１ないし２１１３のうち相対的に最も大きい周波数成分を有する第２変換係数２１１１，２１１２の予測子を生成する。
【０１７７】
ＤＣ係数を除外したあらゆる低周波数成分の変換係数の予測子が生成されれば、変換係数予測部１２２０は、変換ブロックの変換係数のうち、ＤＣ係数２１２１のみを０に置き換え、置き換えられた変換ブロック２１２０を逆変換し、不完全残留ブロックである第４残留ブロックを生成する。変換係数予測部１２２０は、第４残留ブロックの最上側行及び最左側列の値、予測ブロックの値及び周辺ピクセルを利用し、ＤＣ係数２１２１の予測子を生成する。
【０１７８】
変換係数予測モード３ ＦＤＰ＿mode＿３による変換係数を予測する過程を一般化すれば、次の通りである。第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍは、basis＿elementｎｍ＝ｃｏｓ（ｎｘｘ）ｃｏｓ（ｍｙｙ）、予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、第１変換係数は、最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、変換係数予測部１２２０は、次の式（１０）のように、パラメータσ００、σ０ａ及びσｂ０を計算する。
【０１７９】
【数１６】
2013501451.tif 000020
ここで、ａは、１からＬまでの整数であり、
【０１８０】
【数１７】
2013501451.tif 000021
ここで、ｂは、１からＬまでの整数である。
【０１８１】
そして、変換係数予測部１２２０は、計算されたパラメータσ００、σ０ａ及びσｂ０を利用し、前記第１変換係数に対応する予測子ｆｄｐＬ０及びｆｄｐ０Ｌを生成する。
【０１８２】
次に、変換係数予測部１２２０は、変換ブロックの予測される変換係数のうち、第１変換係数の周波数成分より小さい周波数成分を有する変換係数を０に置き換え、置き換えられた変換ブロックを逆変換し、第３残留ブロックを生成する。変換係数予測部１２２０は、前述の式（１０）で、ｆ（ｘ，ｙ）の値を、新たに生成された第３残留ブロックの（ｘ，ｙ）に位置した値に替え、さらにパラメータσ００、σ０ａ及びσｂ０を計算してもよい。この場合、ａ＝１から（Ｌ−１）までの整数値の範囲を有し、ｂ＝１から（Ｌ−１）までの整数値を有する。そして、変換係数予測部１２２０は、新たに計算されたパラメータσ００、σ０ａ及びσｂ０を利用し、前記第２変換係数に対応する予測子ｆｄｐＬ０及びｆｄｐ０Ｌを生成する。このような予測過程は、予測される変換係数のうち、ＤＣ変換係数を除外した残りのＡＣ変換係数に係わる予測子が完了するまで反復される。
【０１８３】
図２４ないし図２６は、本発明の一実施形態によって、変換係数予測モード３  ＦＤＰ＿mode＿３によって、Ｌ＝３である場合の変換係数の予測過程について説明するための参照図である。具体的には、図２４は、第１変換係数に対応するｃ（０，２），ｃ（２，０）の予測子を生成する過程について説明するための参照図であり、図２５は、第２変換係数に対応するｃ（０，１），ｃ（１，０）の予測子を生成する過程について説明するための参照図であり、図２６は、ＤＣ係数であるｃ（０，０）の予測子を生成する過程について説明するための参照図である。
【０１８４】
図２４を参照すれば、変換係数予測部１２２０は、変換ブロックの変換係数のうち、予測される最上側行及び最左側列の変換係数ｃ（０，０），ｃ（０，１），ｃ（１，０），ｃ（０，２），ｃ（２，０）を、図面符号２２１０で表示されているように０に置き換え、置き換えられた変換ブロック２２００を生成する。変換係数予測部１２２０は、置き換えられた変換ブロック２２００を逆変換し、第２残留ブロック２２１０を生成する。
【０１８５】
次に、変換係数予測部１２２０は、第２残留ブロック２２１０の最上側行及び最左側列の値２２１５、上側の周辺ピクセル２２２０及び左側の周辺ピクセル２２３０を利用し、前述の式（１０）で、Ｌ＝２である場合に対応する次の式（１１）のように、パラメータσ００、σ０１、σ１０、σ０２及びσ２０を計算する。
【０１８６】
【数１８】
2013501451.tif 000022
変換係数予測部１２２０は、第１変換係数であるｃ（２，０）及びｃ（０，２）の予測子ｆｄｐ２０及びｆｄｐ０２を、次の式（１２）のように計算する。
【０１８７】
【数１９】
2013501451.tif 000023
式（１２）で、パラメータσ００、σ０１、σ１０、σ０２及びσ２０に乗じられる値は、実験的に決定されたところに変更されてもよい。
【０１８８】
図２５を参照すれば、第１変換係数に対応する予測子ｆｄｐ２０及びｆｄｐ０２が生成された後、変換係数予測部１２２０は、予測される変換係数のうち第１変換係数であるｃ（０，２）及びｃ（２，０）の周波数成分より小さい周波数成分を有する変換係数であるｃ（０，１），ｃ（１，０）及びｃ（０，０）２３１０を０に置き換え、置き換えられた変換ブロック２３００を逆変換し、第３残留ブロックを生成する。次に、変換係数予測部１２２０は、第３残留ブロック２３１０の最上側行及び最左側列の値２３１５、上側の周辺ピクセル２３２０及び左側の周辺ピクセル２３３０を利用し、次の式（１３）のように、パラメータσ００、σ０１及びσ１０を新たに計算する。
【０１８９】
【数２０】
2013501451.tif 000024
変換係数予測部１２２０は、第２変換係数であるｃ（１，０）及びｃ（０，１）の予測子ｆｄｐ１０及びｆｄｐ０１を、次の式（１４）のように計算する。
【０１９０】
【数２１】
2013501451.tif 000025
式（１４）で、パラメータσ００、σ０１、σ１０に乗じられる値は、実験的に決定されたところに変更されてもよい。
【０１９１】
最後に、図２６を参照すれば、第２変換係数に対応する予測子ｆｄｐ１０及びｆｄｐ０１が生成された後、変換係数予測部１２２０は、ＤＣ係数であるｃ（０，０）２４１０を０に置き換え、置き換えられた変換ブロック２４００を逆変換し、第４残留ブロック２４１０を生成する。次に、変換係数予測部１２２０は、第４残留ブロック２４１０の最上側行及び最左側列の値２４１５、上側の周辺ピクセル２４２０及び左側の周辺ピクセル２４３０を利用し、次の式（１５）のように、パラメータσ００を新たに計算する。
【０１９２】
【数２２】
2013501451.tif 000026
式（１５）を介して計算されたσ００は、直ちにＤＣ変換係数の予測子ｆｄｐ００として利用される。一方、変換係数予測部１２２０は、変換係数予測モード３  ＦＤＰ＿mode＿３によって順次に予測された予測子に、補正値ｃｏｒｒ＿factorを乗じてスケーリング補正された予測子を出力することもできる。
【０１９３】
図２７は、変換係数予測モード３  ＦＤＰ＿mode＿３による変換係数の予測結果によって符号化される変換ブロックを示した図である。図２７を参照すれば、変換ブロック２５００の予測されるＤＣ変換係数２５１０は、そのまま符号化されるものではなく、変換係数予測部１２２０から順次に計算された予測子との差値のみ符号化される。これを介して、相対的に大きいデータ値を有するＤＣ成分の変換係数のデータ量を低減させることによって、映像の圧縮効率を向上させることができる。
【０１９４】
前述のように、変換係数予測モードによって生成された変換係数の予測子ｆｄｐｎｍに、所定の補正値ｃｏｒｒ＿factorを乗じた後、その結果値を最終予測子として利用することができる。補正値ｃｏｒｒ＿factorは、変換係数の予測子と最終予測子との相関度（correlation）を考慮して決定してもよい。このような補正値ｃｏｒｒ＿factorは、残留ブロックの変換係数のうち、予測される変換係数を置き換えて逆変換した不完全残留ブロックと、最終予測子との相関度、または置き換えられていない変換係数と、最終予測子との相関度を考慮して決定された値であり、イントラ予測モード、変換係数予測モード、量子化パラメータＱＰ及び予測される変換係数の位置によって、次の表３のように設定されてもよい。表３では、イントラ予測モード、変換係数予測モード及び量子化パラメータＱＰ値によって、（ｘ，ｙ）に位置した変換係数の予測子Ｃｏｅｆｆｘｙに適用可能な補正値ｃｏｒｒ＿factorを例示している。
【０１９５】
【表３】
2013501451.tif 000027
表３に図示された補正値ｃｏｒｒ＿factorは、例示的な者に過ぎず、前述のように、変換係数の予測子と最終予測子との相関度を考慮し、他の値に変更されてもよい。
【０１９６】
図２８は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図２８を参照すれば、段階２６１０で、符号化される現在ブロックと予測ブロックとの差値である第１残留ブロックを周波数領域に変換し、変換ブロックを生成する。
【０１９７】
段階２６２０で、変換ブロックの変換係数のうち、予測される少なくとも１つの低周波数成分の変換係数を所定値に置き換え、所定値に置き換えられた変換係数を含む変換ブロックを逆変換し、第２残留ブロックを生成する。前述のように所定値は、０の値が望ましい。
【０１９８】
段階２６３０で、第２残留ブロックの値を利用し、予測される低周波数成分の変換係数の予測子を生成する。前述のように、変換係数予測部１２２０は、変換係数予測モードＦＤＰ＿modeによって、第２残留ブロックの最上側行及び最左側列ののうち少なくとも一つと、基本成分関数との線形組み合わせ値を計算し、変換係数の予測子を生成する。変換係数予測モード３である場合には、それ以外にも、予測ブロックの値及び周辺ピクセルの値も、変換係数の予測に利用される。
【０１９９】
段階２６４０で、変換係数の予測結果、生成された予測子と実際変換係数との差値を計算し、予測された低周波数成分の変換係数に係わる符号化情報としては、差値のみを符号化して伝送する。
【０２００】
図２９は、本発明の一実施形態による周波数逆変換装置の構成を示したブロック図である。図２９の周波数逆変換装置２７００は、図５の本発明の一実施形態による映像復号化装置５００の周波数逆変換部５４０として利用されてもよい。図２９を参照すれば、本発明の一実施形態による周波数逆変換装置２７００は、変換係数復元部２７１０、変換係数予測部２７２０及び加算部２７３０を含む。
【０２０１】
変換係数情報復元部２７１０は、ビットストリームから、現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち予測された変換係数と、対応する予測子との差値に係わる情報；及び予測された変換係数を除外した残りの変換係数；を復元する。一例として、図１８に図示されているように、実際変換係数と予測子との差値によって構成された情報と、予測された変換係数を除外した残りの変換係数に係わる情報とを復元する。
【０２０２】
変換係数予測部２７２０は、現在変換ブロックに適用された変換係数予測モードによって、前述の図１４の変換係数予測部１２２０と同一に変換ブロックの低周波数成分の変換係数を所定値に置き換え、所定値に置き換えられた変換係数を含む変換ブロックを逆変換し、第２残留ブロックを生成した後、第２残留ブロックの値を利用し、低周波数成分の変換係数の予測子を生成する。
【０２０３】
加算部２７３０は、予測子と、対応する変換係数の復元された差値とを加算し、低周波数成分の変換係数を復元する。
【０２０４】
図３０は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図３０を参照すれば、段階２８１０で、現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち少なくとも１つの変換係数と予測子との差値と、低周波数成分を除外した変換ブロックの残りの変換係数とが復元される。
【０２０５】
段階２８２０で、変換ブロックの変換係数を所定値に置き換え、所定値に置き換えられた変換係数を含む変換ブロックを逆変換し、第２残留ブロックを生成する。
【０２０６】
段階２８３０で、第２残留ブロックの値を利用し、変換係数の予測子を生成する。
【０２０７】
段階２８４０で、予測子と、対応する差値とを加算し、変換係数を復元する。
【０２０８】
本発明の一実施形態によれば、周波数領域で、変換係数の予測を介して、変換係数のうち相対的にデータ量が低周波数成分の変換係数のデータ量を低減させることによって、映像の圧縮効率を向上させることができる。
【０２０９】
本発明による映像の符号化、復号化方法はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光保存装置などが含まれる。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。
【０２１０】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で具現可能であることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
2013501451.tif 000046
【図２】
2013501451.tif 000047
【図３】
2013501451.tif 000048
【図４】
2013501451.tif 000049
【図５】
2013501451.tif 000050
【図６】
2013501451.tif 000051
【図７】
2013501451.tif 000052
【図８】
2013501451.tif 000053
【図９】
2013501451.tif 000054
【図１０】
2013501451.tif 000055
【図１１】
2013501451.tif 000056
【図１２】
2013501451.tif 000057
【図１３】
2013501451.tif 000058
【図１４】
2013501451.tif 000059
【図１５】
2013501451.tif 000060
【図１６】
2013501451.tif 000061
【図１７】
2013501451.tif 000062
【図１８】
2013501451.tif 000063
【図１９】
2013501451.tif 000064
【図２０】
2013501451.tif 000065
【図２１】
2013501451.tif 000066
【図２２】
2013501451.tif 000067
【図２３】
2013501451.tif 000068
【図２４】
2013501451.tif 000069
【図２５】
2013501451.tif 000070
【図２６】
2013501451.tif 000071
【図２７】
2013501451.tif 000072
【図２８】
2013501451.tif 000073
【図２９】
2013501451.tif 000074
【図３０】
2013501451.tif 000075
【手続補正書】
【提出日】平成24年2月8日(2012.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像の復号化方法において、
現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する段階と、
前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成する段階と、
前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する段階と、
前記予測子と、対応する前記差値とを加算し、前記第１領域の変換係数を復元する段階と、を含むことを特徴とする映像復号化方法。
【請求項２】
前記第２残留ブロックを生成する段階は、
前記置き換えられた変換ブロックを逆変換し、前記第２残留ブロックを生成することを特徴とする請求項１に記載の映像復号化方法。
【請求項３】
前記予測される変換係数は、
前記予測ブロックの生成に利用されたイントラ予測モードによって決定されることを特徴とする請求項１に記載の映像復号化方法。
【請求項４】
前記予測子を生成する段階は、
前記予測ブロックの生成に利用された予測モード、前記第２残留ブロック及び周辺ピクセルのうち少なくとも一つを利用し、前記予測子を生成することを特徴とする請求項１に記載の映像復号化方法。
【請求項５】
前記第１領域の変換係数は、
前記予測ブロックがＤＣ（direct  current）モードでイントラ予測されて生成された場合、ＤＣ変換係数であり、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行及び最左側列の値を利用し、前記選択されたＤＣ変換係数の予測子を生成することを特徴とする請求項１に記載の映像復号化方法。
【請求項６】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍであるとするとき、次の数式：
【数１】
2013501451.tif 000076
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成することを特徴とする請求項５に記載の映像復号化方法。
【請求項７】
前記第１領域の変換係数は、
前記予測ブロックが、垂直モードでイントラ予測されて生成された場合、最上側行の変換係数のうち選択され、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最上側行の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１に記載の映像復号化方法。
【請求項８】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎωｘ）ｃｏｓ（ｍωｙ）であるとするとき、次の数式：
【数２】
2013501451.tif 000077
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数３】
2013501451.tif 000078
のように、前記最上側行の変換係数の予測子ｆｄｐｎ０を生成することを特徴とする請求項７に記載の映像復号化方法。
【請求項９】
前記第１領域の変換係数は、
前記予測ブロックが、水平モードでイントラ予測されて生成された場合、最左側列の変換係数のうち選択され、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの最左側列の値を利用し、前記選択された最上側行の変換係数の予測子を生成することを特徴とする請求項１に記載の映像復号化方法。
【請求項１０】
前記第１領域の変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎωｘ）ｃｏｓ（ｍωｙ）であるとするとき、次の数式：
【数４】
2013501451.tif 000079
のように、前記ＤＣ変換係数の予測子ｆｄｐ００を生成し、
次の数式：
【数５】
2013501451.tif 000080
のように、前記最左側列の変換係数の予測子ｆｄｐ０ｍを生成することを特徴とする請求項９に記載の映像復号化方法。
【請求項１１】
前記第１領域の変換係数は、最上側行の変換係数及び最左側列の変換係数を含み、
前記第１領域の変換係数の予測子を生成する段階は、
前記第２残留ブロックの値及び前記予測ブロックの値を利用し、前記第１領域の変換係数のうち最も大きい高周波数成分を有する第１変換係数の予測子を生成する段階を含むことを特徴とする請求項１に記載の映像復号化方法。
【請求項１２】
前記第１変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック及び２残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第２残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎωｘ）ｃｏｓ（ｍωｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数６】
2013501451.tif 000081
（ａは、１からＬまでの整数）
【数７】
2013501451.tif 000082
（ｂは、１からＬまでの整数）
を利用し、パラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第１変換係数に対応する予測子ｆｄｐＬ０及びｆｄｐ０Ｌを生成することを特徴とする請求項１１に記載の映像復号化方法。
【請求項１３】
前記第１領域の変換係数のうち、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数を、前記所定値に置き換え、前記置き換えられた変換ブロックを逆変換し、第３残留ブロックを生成する段階と、
前記第３残留ブロックの値及び前記予測ブロックの値を利用し、前記第１変換係数の周波数成分より小さい周波数成分を有する変換係数のうち最も大きい周波数成分を有する第２変換係数の予測子を生成する段階と、
前記第１変換係数の差値と、対応する予測子とを加算し、前記第２変換係数の差値と、対応する予測子とを加算し、前記第１変換係数及び第２変換係数を復元する段階と、をさらに含むことを特徴とする請求項１１に記載の映像復号化方法。
【請求項１４】
前記第２変換係数の予測子を生成する段階は、
前記現在ブロック、予測ブロック、変換ブロック、第１残留ブロック、第２残留ブロック及び第３残留ブロックのサイズをＮｘＭ（Ｎ、Ｍは整数）、前記第３残留ブロックの（ｘ，ｙ）（０≦ｘ≦Ｎ−１，０≦ｙ≦Ｍ−１）に位置した値をｆ（ｘ，ｙ）、変換ブロックの（ｎ，ｍ）位置の変換係数の予測子をｆｄｐｎｍ、離散コサイン変換の基本成分関数basis＿elementｎｍがbasis＿elementｎｍ＝ｃｏｓ（ｎωｘ）ｃｏｓ（ｍωｙ）、前記予測ブロックで、（ｘ，ｙ）に位置した値をｐｒｅｄ（ｘ，ｙ）、前記現在ブロック以前に復元された周辺ブロックの値をｒｅｃ（ｘ，−１）及びｒｅｃ（−１，ｙ）、前記第１変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ）及び（Ｌ，０）（Ｌは、２以上の整数）、前記第２変換係数は、前記最上側行及び最左側列の変換係数（０，Ｌ−１）及び（Ｌ−１，０）（Ｌは、２以上の整数）に位置した変換係数であるとするとき、次の数式：
【数８】
2013501451.tif 000083
（ａは、１からＬ−１までの整数）
【数９】
2013501451.tif 000084
（ｂは、１からＬ−１までの整数）
を利用し、パラメータσ００、σ０ａ及びσｂ０を計算し、前記パラメータσ００、σ０ａ及びσｂ０を利用し、前記第２変換係数に対応する予測子ｆｄｐＬ−１，０及びｆｄｐ０，Ｌ−１を生成することを特徴とする請求項１３に記載の映像復号化方法。
【請求項１５】
映像の復号化装置において、
現在ブロックと予測ブロックとの差値である第１残留ブロックを、周波数領域に変換した変換ブロックの変換係数のうち、第１領域の変換係数と、対応する予測子との差値、及び前記第１領域の変換係数を除外した第２領域の原変換係数を復元する変換係数情報復元部と、
前記第１領域の変換係数を所定値に置き換え、前記第１領域の置き換えられた変換係数と、前記第２領域の原変換係数と、を含む置き換えられた変換ブロックを利用し、第２残留ブロックを生成し、前記第２残留ブロックを利用し、前記第１領域の変換係数の予測子を生成する変換係数予測部と、
前記予測子と、対応する前記差値とを加算し、前記予測される変換係数を復元する加算部と、を含むことを特徴とする映像復号化装置。
【国際調査報告】
2013501451.tif 000085
2013501451.tif 000086
2013501451.tif 000087
2013501451.tif 000088