(57)【要約】  符号化される現在符号化単位に係わる第１予測符号化単位を生成し、第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、第１予測符号化単位の各ピクセルのピクセル値を変更することによって、第２予測符号化単位を生成し、現在符号化単位と前記第２予測符号化単位との差値を符号化することによって、映像の予測効率を向上させる映像の符号化方法及び装置、並びにその復号化方法及び装置である。
2011526770.tif 000002
【特許請求の範囲】
【請求項１】
映像の符号化方法において、
符号化される現在符号化単位に係わる第１予測符号化単位を生成する段階と、
前記第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する段階と、
前記現在符号化単位と前記第２予測符号化単位との差値を符号化する段階と、を含むことを特徴とする映像の符号化方法。
【請求項２】
前記第１予測符号化単位を生成する段階は、
最大サイズを有する符号化単位である最大符号化単位、及び前記最大符号化単位の階層的分割情報の深さに基づいて、現在ピクチャを少なくとも１つの符号化単位で分割する段階と、
前記分割された符号化単位に係わるイントラ予測を行い、前記第１予測符号化単位を生成する段階と、をさらに含むことを特徴とする請求項１に記載の映像の符号化方法。
【請求項３】
前記第２予測符号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重平均値を介して、前記第１予測符号化単位の各ピクセルの値を変更することによって、前記第２予測符号化単位を生成することを特徴とする請求項１に記載の映像の符号化方法。
【請求項４】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの周辺ピクセルｆ［ｉ］［ｊ−１］，ｆ［ｉ−１］［ｊ］，ｆ［ｉ＋１］［ｊ］，ｆ［ｉ］［ｊ＋１］，ｆ［ｉ−１］［ｊ＋１］，ｆ［ｉ＋１］［ｊ−１］，ｆ［ｉ−１］［ｊ−１］，ｆ［ｉ＋１］［ｊ＋１］のうち選択された２個の周辺ピクセルをｆ１，ｆ２とするとき、次の数式
【数１３】
2011526770.tif 000016
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項３に記載の映像の符号化方法。
【請求項５】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの周辺ピクセルｆ［ｉ］［ｊ−１］，ｆ［ｉ−１］［ｊ］，ｆ［ｉ＋１］［ｊ］，ｆ［ｉ］［ｊ＋１］，ｆ［ｉ−１］［ｊ＋１］，ｆ［ｉ＋１］［ｊ−１］，ｆ［ｉ−１］［ｊ−１］，ｆ［ｉ＋１］［ｊ＋１］のうち選択された３個の周辺ピクセルをｆ１，ｆ２，ｆ３とするとき、次の数式
【数１４】
2011526770.tif 000017
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項３に記載の映像の符号化方法。
【請求項６】
前記第２予測符号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重調和平均値を介して、前記第１予測符号化単位の各ピクセルの値を変更することによって、前記第２予測符号化単位を生成することを特徴とする請求項１に記載の映像の符号化方法。
【請求項７】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの左側に位置した第２ピクセルのピクセル値をｆ［ｉ］［ｊ−１］、前記第１ピクセルの上側に位置した第３ピクセルのピクセル値をｆ［ｉ−１］［ｊ］とするとき、次の数式
【数１５】
2011526770.tif 000018
（α，β，γは、正の整数）を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項６に記載の映像の符号化方法。
【請求項８】
前記第２予測符号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重幾何平均値を介して、前記各ピクセルの値を変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項９】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの左側に位置した第２ピクセルのピクセル値をｆ［ｉ］［ｊ−１］、前記第１ピクセルの上側に位置した第３ピクセルのピクセル値をｆ［ｉ−１］［ｊ］とするとき、次の数式
【数１６】
2011526770.tif 000019
（α，β，γは、正の整数）を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項８に記載の映像の符号化方法。
【請求項１０】
前記第２予測符号化単位を生成する段階は、
前記各ピクセルの上側及び左側に位置したピクセルのうち少なくとも１つの値と、前記各ピクセル値との平均値に、前記各ピクセルの値を変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１１】
前記第２予測符号化単位を生成する段階は、
前記変更される各ピクセル、前記各ピクセルの周辺ピクセルのうち中間値に、前記各ピクセルの値を変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１２】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在符号化単位の上側に隣接したブロックの境界領域のピクセルのうち前記第１ピクセルと同じｊ列目のピクセルのピクセル値をｆ［−１］［ｊ］とするとき、次の数式
【数１７】
2011526770.tif 000020
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１３】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在符号化単位の左側に隣接した符号化単位の境界領域のピクセルのうち、前記第１ピクセルと同じｉ行目のピクセルのピクセル値をｆ［ｉ］［−１］とするとき、次の数式
【数１８】
2011526770.tif 000021
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１４】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在符号化単位の上側に隣接した符号化単位の境界領域のピクセルのうち、前記第１ピクセルと同じｊ列目のピクセルのピクセル値をｆ［−１］［ｊ］、前記現在符号化単位の左側に隣接した符号化単位の境界領域のピクセルのうち、前記第１ピクセルと同じｉ行目のピクセルのピクセル値をｆ［ｉ］［−１］とするとき、次の数式
【数１９】
2011526770.tif 000022
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１５】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］とするとき、次の数式
【数２０】
2011526770.tif 000023
のうちいずれか一つを利用し、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１６】
前記第２予測符号化単位を生成する段階は、
前記第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１予測符号化単位の最左上側に位置したピクセルのピクセル値をｆ［０］［０］、前記第１ピクセルと同じｊ番目列に位置し、前記第１予測ブロックの最上側行に位置したピクセルのピクセル値をｆ［０］［ｊ］、前記第１ピクセルと同じｉ行目に位置し、前記第１予測符号化単位の最左側１０に位置したピクセルのピクセル値をｆ［ｉ］［０］、
【数２１】
2011526770.tif 000024
とするとき、次の数式
【数２２】
2011526770.tif 000025
を利用し、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項１に記載の映像の符号化方法。
【請求項１７】
前記現在符号化単位と、前記第２予測符号化単位との差値を符号化する段階は、
互いに異なる演算を介して生成された前記第２予測符号化単位を利用して符号化されたビット・ストリームのコストを比較し、最小コストを有する前記第２予測符号化単位を生成するのに利用された演算情報を、前記ビット・ストリームの所定領域に付加する段階をさらに含むことを特徴とする請求項１に記載の映像の符号化方法。
【請求項１８】
前記現在符号化単位と、前記第２予測符号化単位との差値を符号化する段階は、
所定個数の符号化単位の符号化時に決定された演算情報の分布に基づいて、多く利用される演算情報に小ビットを割り当て、前記互いに異なる演算を区分して表示することを特徴とする請求項１６に記載の映像の符号化方法。
【請求項１９】
映像の符号化装置において、
符号化される現在符号化単位に係わる第１予測符号化単位を生成する予測部と、
前記第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する後処理部と、
前記現在符号化単位と、前記第２予測符号化単位との差値を符号化する符号化部と、を含むことを特徴とする映像の符号化装置。
【請求項２０】
映像復号化方法において、
受信されたビット・ストリームから、復号化される現在復号化単位の予測モード情報を抽出する段階と、
前記抽出された予測モード情報によって、前記現在復号化単位に係わる第１予測復号化単位を生成する段階と、
前記ビット・ストリームから、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用した演算情報を抽出する段階と、
前記抽出された演算情報によって、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測復号化単位を生成する段階と、
前記ビット・ストリームから、前記現在復号化単位と、前記第２予測復号化単位との差値に該当する残差を抽出して復元する段階と、
前記残差と、前記第２予測復号化単位とを加算し、前記現在復号化単位を復号化する段階と、を含むことを特徴とする映像の復号化方法。
【請求項２１】
前記第２予測復号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重平均値を介して、前記第１予測復号化単位の各ピクセルの値を変更することによって、前記第２予測復号化単位を生成することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項２２】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの周辺ピクセルｆ［ｉ］［ｊ−１］，ｆ［ｉ−１］［ｊ］，ｆ［ｉ＋１］［ｊ］，ｆ［ｉ］［ｊ＋１］，ｆ［ｉ−１］［ｊ＋１］，ｆ［ｉ＋１］［ｊ−１］，ｆ［ｉ−１］［ｊ−１］，ｆ［ｉ＋１］［ｊ＋１］のうち選択された２個の周辺ピクセルをｆ１，ｆ２とするとき、次の数式
【数２３】
2011526770.tif 000026
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２１に記載の映像の復号化方法。
【請求項２３】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの周辺ピクセルｆ［ｉ］［ｊ−１］，ｆ［ｉ−１］［ｊ］，ｆ［ｉ＋１］［ｊ］，ｆ［ｉ］［ｊ＋１］，ｆ［ｉ−１］［ｊ＋１］，ｆ［ｉ＋１］［ｊ−１］，ｆ［ｉ−１］［ｊ−１］，ｆ［ｉ＋１］［ｊ＋１］のうち選択された３個の周辺ピクセルをｆ１，ｆ２，ｆ３とするとき、次の数式
【数２４】
2011526770.tif 000027
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２１に記載の映像の復号化方法。
【請求項２４】
前記第２予測復号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重調和平均値を介して、前記第１予測復号化単位の各ピクセルの値を変更することによって、前記第２予測復号化単位を生成することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項２５】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの左側に位置した第２ピクセルのピクセル値をｆ［ｉ］［ｊ−１］、前記第１ピクセルの上側に位置した第３ピクセルのピクセル値をｆ［ｉ−１］［ｊ］とするとき、次の数式
【数２５】
2011526770.tif 000028
（α，β，γは、正の整数）を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２４に記載の映像の復号化方法。
【請求項２６】
前記第２予測復号化単位を生成する段階は、
前記変更される各ピクセルの少なくとも１つの周辺ピクセルと、前記各ピクセルとの加重幾何平均値を介して、前記第１予測符号化単位の各ピクセルの値を変更することによって、前記第２予測符号化単位を生成することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項２７】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１ピクセルの左側に位置した第２ピクセルのピクセル値をｆ［ｉ］［ｊ−１］、前記第１ピクセルの上側に位置した第３ピクセルのピクセル値をｆ［ｉ−１］［ｊ］とするとき、次の数式
【数２６】
2011526770.tif 000029
（α，β，γは、正の整数）を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２６に記載の映像の復号化方法。
【請求項２８】
前記第２予測復号化単位を生成する段階は、
前記各ピクセルの上側及び左側に位置したピクセルのうち少なくとも１つの値と、前記各ピクセルの値との平均値に、前記各ピクセルの値を変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項２９】
前記第２予測復号化単位を生成する段階は、
前記変更される各ピクセルと、前記各ピクセルの周辺ピクセルとの中間値に、前記各ピクセルの値を変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３０】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在復号化単位の上側に隣接した復号化単位の境界領域のピクセルのうち前記第１ピクセルと同じｊ列目のピクセルのピクセル値をｆ［−１］［ｊ］とするとき、次の数式
【数２７】
2011526770.tif 000030
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３１】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在復号化単位の左側に隣接した復号化単位の境界領域のピクセルのうち前記第１ピクセルと同じｉ行目のピクセルのピクセル値をｆ［ｉ］［−１］とするとき、次の数式
【数２８】
2011526770.tif 000031
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３２】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記現在復号化単位の上側の隣接した復号化単位の境界領域のピクセルのうち前記第１ピクセルと同じｊ列目のピクセルのピクセル値をｆ［−１］［ｊ］、前記現在復号化単位の左側に隣接した復号化単位の境界領域のピクセルのうち、前記第１ピクセルと同じｉ行目のピクセルのピクセル値をｆ［ｉ］［−１］とするとき、次の数式
【数２９】
2011526770.tif 000032
を介して、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３３】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］とするとき、次の数式
【数３０】
2011526770.tif 000033
のうちいずれか一つを利用し、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３４】
前記第２予測復号化単位を生成する段階は、
前記第１予測復号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、前記第１予測復号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値をｆ［ｉ］［ｊ］、前記第１予測復号化単位の最左上側に位置したピクセルのピクセル値をｆ［０］［０］、前記第１ピクセルと同じｊ番目列に位置し、前記第１予測復号化単位の最上側行に位置したピクセルのピクセル値をｆ［０］［ｊ］、前記第１ピクセルと同じｉ行目に位置し、前記第１予測復号化単位の最左側列に位置したピクセルのピクセル値をｆ［ｉ］［０］、
【数３１】
2011526770.tif 000034
とするとき、次の数式
【数３２】
2011526770.tif 000035
を利用し、前記第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更することを特徴とする請求項２０に記載の映像の復号化方法。
【請求項３５】
映像復号化装置において、
受信されたビット・ストリームから、復号化される現在復号化単位の予測モード情報、及び前記現在復号化単位に係わる第１予測復号化単位とを構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用した演算情報を抽出するエントロピ・デコーダと、
前記抽出された予測モード情報によって、前記第１予測復号化単位を生成する予測部と、
前記抽出された演算情報によって、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測復号化単位を生成する後処理部と、
前記ビット・ストリームから、前記現在復号化単位と、前記第２予測復号化単位との差値に該当する残差を復元する逆変換及び逆量子化部と、
前記残差と、前記第２予測復号化単位とを加算し、前記現在復号化単位を復号化する加算部と、を含むことを特徴とする映像の復号化装置。
【請求項３６】
請求項１ないし請求項１８のうち、いずれか一項に記載の映像符号化方法を実行するためのコンピュータで実行可能なプログラムコードが記録された記録媒体。
【請求項３７】
請求項２０ないし請求項３４のうち、いずれか一項に記載の映像復号化方法を実行するためのコンピュータで実行可能なプログラムコードが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予測された映像データの後処理を介して、映像の圧縮効率を向上させる映像の符号化方法及び装置、並びにその復号化方法及び装置に関する。
【背景技術】
【０００２】
ＭＰＥＧ（moving  picture  coding  coding  experts  group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ（AdvancedVideo  Coding）のような映像圧縮方式では、映像を符号化するために、１つのピクチャをマクロブロックに分ける。そして、インター予測及びイントラ予測で利用可能なあらゆる符号化モードで、それぞれのマクロブロックを符号化した後、マクロブロックの符号化にかかるビット率と、原マクロブロックと復号化されたマクロブロックとの歪曲程度とによって、符号化モードを一つ選択してマクロブロックを符号化する。
【０００３】
高解像度または高画質のビデオ・コンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオ・コンテンツを効果的に符号化したり復号化するビデオコーデックの必要性が高まっている。既存のビデオコーデックよれば、ビデオは、所定サイズのマクロブロックに基いて制限された予測モードによって、符号化されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、映像の圧縮効率を向上させる映像の符号化方法及び装置、並びにその復号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明の一実施形態によれば、予測ブロックに対する後処理を介して、予測ブロック内部の各ピクセルのピクセル値を変更し、新しい予測ブロックを生成する。
【０００６】
本発明の一実施形態による映像の符号化方法は、符号化される現在符号化単位に係わる第１予測符号化単位を生成する段階と、前記第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する段階と、前記現在符号化単位と前記第２予測符号化単位との差値を符号化する段階と、を含むことを特徴とする。
【０００７】
本発明の一実施形態による映像の符号化装置は、符号化される現在符号化単位に係わる第１予測符号化単位を生成する予測部と、前記第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する後処理部と、前記現在符号化単位と前記第２予測符号化単位との差値を符号化する符号化部と、を含むことを特徴とする。
【０００８】
本発明の一実施形態による映像復号化方法は、受信されたビットストリームから復号化される現在復号化単位の予測モード情報を抽出する段階と、前記抽出された予測モード情報によって、前記現在復号化単位に係わる第１予測復号化単位を生成する段階と、前記ビット・ストリームから、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用した演算情報を抽出する段階と、前記抽出された演算情報によって、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測復号化単位を生成する段階と、前記ビット・ストリームから、前記現在復号化単位と、前記第２予測復号化単位との差値に該当する残差を抽出して復元する段階と、前記残差と、前記第２予測復号化単位とを加算し、前記現在復号化単位を復号化する段階と、を含むことを特徴とする。
【０００９】
本発明の一実施形態による映像復号化装置は、受信されたビット・ストリームから、復号化される現在復号化単位の予測モード情報と、前記現在復号化単位に係わる第１予測復号化単位とを構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用した演算情報を抽出するエントロピ・デコーダ；前記抽出された予測モード情報によって、前記第１予測復号化単位を生成する予測部；前記抽出された演算情報によって、前記第１予測復号化単位を構成する各ピクセルと、前記各ピクセルの周辺ピクセルとを利用し、前記各ピクセルのピクセル値を変更し、第２予測復号化単位を生成する後処理部；前記ビット・ストリームから、前記現在復号化単位と、前記第２予測復号化単位との差値に該当する残差を復元する逆変換及び逆量子化部；前記残差と、前記第２予測復号化単位とを加算し、前記現在復号化単位を復号化する加算部；を含むことを特徴とする。
【発明の効果】
【００１０】
本発明の一実施形態によれば、予測ブロックに対する後処理を介して、予測ブロック内部の各ピクセルのピクセル値を変更し、新たな予測ブロックを生成することによって、映像の圧縮効率を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態による映像符号化装置のブロック図である。
【図２】本発明の一実施形態による映像復号化装置のブロック図である。
【図３】本発明の一実施形態による階層的符号化単位を図示する図である。
【図４】本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図である。
【図５】本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図である。
【図６】本発明の一実施形態による深さ別符号化単位及び予測単位を図示する図である。
【図７】本発明の一実施形態による符号化単位及び変換単位の関係を図示する図である。
【図８】本発明の一実施形態による深さ別符号化情報を図示する図である。
【図９】本発明の一実施形態による深さ別符号化単位を図示する図である。
【図１０Ａ】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。
【図１０Ｂ】本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示する図である。
【図１１】本発明の一実施形態による符号化単位別符号化情報を図示する図である。
【図１２】本発明の一実施形態によるイントラ予測装置の構成を示すブロック図である。
【図１３】本発明の一実施形態による符号化単位サイズによるイントラ予測モードの個数を図示する図である。
【図１４Ａ】本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。
【図１４Ｂ】本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。
【図１４Ｃ】本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例を説明するための図である。
【図１５】本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他例を説明するための図である。
【図１６】本発明の一実施形態による多様な方向性を有するイントラ予測モードを説明するための参照図である。
【図１７】本発明の一実施形態による双線形モードを説明するための参照図である。
【図１８】本発明の一実施形態による第１予測符号化単位の後処理動作を説明するための参照図である。
【図１９】本発明の一実施形態による後処理部の動作を説明するための参照図である。
【図２０】本発明の一実施形態による後処理部で利用される周辺ピクセルを説明するための参照図である。
【図２１】本発明の一実施形態による映像符号化方法を示したフローチャートである。
【図２２】本発明の一実施形態による映像復号化方法を示したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付された図面を参照しつつ、本発明の望ましい実施形態による映像符号化装置及び映像復号化装置、並びに映像符号化方法及び映像復号化方法について説明する。
【００１３】
図１は、本発明の一実施形態による映像符号化装置のブロック図である。図１を参照するに、本発明の一実施形態による映像符号化装置１００は、最大符号化単位分割部１１０、符号化深さ決定部１２０、映像データ符号化部１３０及び符号化情報符号化部１４０を含む。
【００１４】
最大符号化単位分割部１１０は、最大サイズの符号化単位である最大符号化単位に基いて、現在ピクチャまたは現在スライスを分割する。現在ピクチャまたは現在スライスは、少なくとも１つの最大符号化単位で分割される。分割された映像データは、少なくとも１つの最大符号化単位別に、符号化深さ決定部１２０に出力されうる。
【００１５】
本発明の一実施形態によれば、最大符号化単位及び深さを利用し、符号化単位が表現されうる。最大符号化単位は、現在ピクチャの符号化単位のうち、サイズが最も大きい符号化単位を示し、深さは、符号化単位が階層的に縮小されたサブ符号化単位サイズを示す。深さが大きくなりつつ、符号化単位は、最大符号化単位から最小符号化単位まで縮小され、最大符号化単位の深さは、最小深さに定義され、最小符号化単位の深さは、最大深さに定義されうる。最大符号化単位は、深さが大きくなるにつれて、深さ別符号化単位サイズは縮小するので、ｋ深さのサブ符号化単位は、ｋ＋１以上の深さを有する複数個のサブ符号化単位を含むことができる。
【００１６】
前述のように、符号化単位の最大サイズによって、現在ピクチャの映像データを最大符号化単位で分割し、それぞれの最大符号化単位は、深さ別に縮小される符号化単位を含むことができる。本発明の一実施形態による最大符号化単位は、深さ別に縮小されるので、最大符号化単位に含まれた空間領域（spatial  domain）の映像データが、深さによって階層的に分類されうる。
【００１７】
最大符号化単位から最上位符号化単位まで、現在符号化単位の高さ及び幅を階層的に縮小した総回数を制限する最大深さ及び符号化単位の最大サイズが既定でありうる。かような最大符号化単位及び最大深さは、ピクチャまたはスライス単位で設定されうる。すなわち、ピクチャまたはスライスごとに、異なる最大符号化単位及び最大深さを有し、最大深さによって、最大映像符号化単位に含まれた最小符号化単位サイズを可変的に設定できる。このように、ピクチャまたはスライスごとに、最大符号化単位及び最大深さを可変的に設定できるようにすることによって、平坦な領域の映像は、さらに大きい最大符号化単位を利用して符号化することによって圧縮率を向上させ、複雑度が大きい映像は、さらに小サイズの符号化単位を利用し、映像の圧縮効率を向上させることができる。
【００１８】
符号化深さ決定部１２０は、最大符号化単位ごとに、異なる最大深さを決定する。最大深さは、率・歪曲コスト（Ｒ−Ｄ（rate-distortion  cost）計算に基いて決定されうる。決定された最大深さは、符号化情報符号化部１４０に出力され、最大符号化単位別映像データは、映像データ符号化部１３０に出力される。
【００１９】
最大符号化単位内の映像データは、最大深さ以下の少なくとも１つの深さによって、深さ別符号化単位に基いて符号化され、それぞれの深さ別符号化単位に基いた符号化結果が比較される。深さ別符号化単位の符号化誤差の比較結果、符号化誤差が最も小さい深さが選択されうる。それぞれの最大化符号化単位ごとに、少なくとも１つの符号化深さが決定されうる。
【００２０】
最大符号化単位サイズは、深さが増大することによって、符号化単位が階層的に分割されて縮小され、符号化単位の個数は増加する。また、１つの最大符号化単位に含まれる同じ深さの符号化単位であるといっても、それぞれのデータに係わる符号化誤差を測定し、上位深さへの縮小いかんが決定される。従って、１つの最大符号化単位に含まれるデータであるといっても、位置によって、深さ別符号化誤差が異なるので、位置によって、符号化深さが異なって決定されうる。言い換えれば、最大符号化単位は、異なる深さによって、異なるサイズのサブ符号化単位で分割されうる。１つの最大符号化単位について、符号化深さが一つ以上設定され、最大符号化単位のデータは、一つ以上の符号化深さの符号化単位によって分割されうる。
【００２１】
また、最大符号化単位に含まれた異なるサイズのサブ符号化単位は、異なるサイズの処理単位に基いて、予測または周波数変換されうる。言い換えれば、映像符号化装置１００は、映像符号化のための複数の処理段階を、多様なサイズ及び多様な形態の処理単位に基いて、行うことができる。映像データの符号化のためには、予測、周波数変換、エントロピ符号化などの処理段階を経るが、あらゆる段階にわたって、同じサイズの処理単位が利用され、段階別に異なるサイズの処理単位を利用することができる。
【００２２】
例えば、映像符号化装置１００は、符号化単位を予測するために、符号化単位と異なる処理単位を選択できる。一例として、符号化単位のサイズが２Ｎｘ２Ｎ（ただし、Ｎは正の整数）である場合、予測のための処理単位は、２Ｎｘ２Ｎ、２ＮｘＮ、Ｎｘ２Ｎ、ＮｘＮでありうる。言い換えれば、符号化単位の高さまたは幅のうち少なくとも一つを半分にする形態の処理単位に基いて、動き予測が行われもする。以下、予測の基になるデータ単位は、「予測単位」とする。
【００２３】
予測モードは、イントラ・モード、インター・モード及びスキップ・モードのうち少なくとも一つであり、特定予測モードは、特定サイズまたは形態の予測単位についてのみ遂行されうる。例えば、イントラ・モードは、正方形である２Ｎｘ２Ｎ，ＮｘＮサイズの予測単位についてのみ遂行されうる。また、スキップ・モードは、２Ｎｘ２Ｎサイズの予測単位についてのみ遂行されうる。符号化単位内部に複数の予測単位があるならば、それぞれの予測単位について予測を行い、符号化誤差が最も小さい予測モードが選択されうる。
【００２４】
また、映像符号化装置１００は、符号化単位と異なるサイズの処理単位に基いて、映像データを周波数変換できる。符号化単位の周波数変換のために、符号化単位より小さいか、あるいはそれと同じサイズのデータ単位を基に、周波数変換が行われうる。以下、周波数変換の基になる処理単位を「変換単位」とする。
【００２５】
符号化深さ決定部１２０は、ラグランジュ乗数（Lagrangian  multiplier）に基づいた率・歪曲最適化技法（rate-distortion  optimization）を利用して深さ別符号化単位の符号化誤差を測定し、最適の符号化誤差を有する最大符号化単位の分割形態を決定できる。言い換えれば、符号化深さ決定部１２０は、最大符号化単位がいかなる形態の複数のサブ符号化単位で分割されるか決定できるが、ここで、複数のサブ符号化単位は、深さによってサイズが異なる。
【００２６】
映像データ符号化部１３０は、符号化深さ決定部１２０で決定された少なくとも１つの符号化深さに基づいて、最大符号化単位の映像データを符号化し、ビット・ストリームを出力する。符号化深さ決定部１２０で、最小符号化誤差を測定するために、符号化がすでに行われたので、これを利用して符号化されたデータ・ストリームを出力することもできる。
【００２７】
符号化情報符号化部１４０は、符号化深さ決定部１２０で決定された少なくとも１つの符号化深さに基づいて、最大符号化単位ごとに、深さ別符号化モードについての情報を符号化し、ビット・ストリームを出力する。深さ別符号化モードについての情報は、符号化深さ情報、符号化深さの符号化単位の予測単位の分割タイプ情報、予測単位別予測モード情報、変換単位サイズ情報などを含むことができる。
【００２８】
符号化深さ情報は、現在深さに符号化せずに、上位深さの符号化単位で符号化するか否かを示す深さ別縮小情報を利用して定義されうる。現在符号化単位の現在深さが符号化深さであるならば、現在符号化単位は、現在深さの符号化単位で符号化されるので、現在深さの縮小情報は、それ以上上位深さに縮小されないように定義されうる。反対に、現在符号化単位の現在深さが符号化深さではないならば、上位深さの符号化単位を利用した符号化を試みなければならないなので、現在深さの縮小情報は、上位深さの符号化単位に縮小されるように定義されうる。
【００２９】
現在深さが符号化深さではないならば、上位深さの符号化単位に縮小された符号化単位について符号化が行われる。現在深さの符号化単位内に、上位深さの符号化単位が一つ以上存在するので、それぞれの上位深さの符号化単位ごとに、反復的して符号化が行われ、同じ深さの符号化単位ごとに、再帰的（recursive）符号化が行われうる。
【００３０】
１つの最大符号化単位内に、少なくとも１つの符号化深さが決定され、符号化深さごとに少なくとも１つの符号化モードについての情報が決定されねばならないので、１つの最大符号化単位については、少なくとも１つの符号化モードについての情報が決定されうる。また、最大符号化単位のデータは、深さによって階層的に分割され、位置別に符号化深さが異なりうるので、データに対して、符号化深さ及び符号化モードについての情報が設定されうる。
【００３１】
従って、一実施形態による符号化情報符号化部１４０は、最大符号化単位に含まれている最小符号化単位ごとに、当該符号化情報を設定できる。すなわち、符号化深さの符号化単位は、同じ符号化情報を保有している最小符号化単位を一つ以上含んでいる。これを利用し、近隣最小符号化単位が同じ深さ別符号化情報を有しているならば、同じ最大符号化単位に含まれる最小符号化単位でありうる。
【００３２】
映像符号化装置１００の最も簡単な形態の実施形態によれば、深さ別符号化単位は、１階層下位深さの符号化単位の高さ及び幅を半分にしたサイズの符号化単位である。すなわち、現在深さ（ｋ）の符号化単位サイズが２Ｎｘ２Ｎであるならば、上位深さ（ｋ＋１）の符号化単位サイズは、ＮｘＮである。従って、２Ｎｘ２Ｎサイズの現在符号化単位は、ＮｘＮサイズの上位深さ符号化単位を最大４個含むことができる。
【００３３】
従って、一実施形態による映像復号化装置１００は、現在ピクチャの特性を考慮して決定された最大符号化単位サイズ及び最大深さを基に、それぞれの最大符号化単位ごとに、最適の形態分割形態を決定できる。また、それぞれの最大符号化単位ごとに、多様な予測モード、周波数変換方式で符号化できるので、多様な映像サイズの符号化単位の映像特性を考慮し、最適の符号化モードが決定されうる。
【００３４】
映像の解像度が非常に高いか、あるいはデータ量が非常に多い映像を、従来の１６ｘ１６サイズのマクロブロック単位で符号化するならば、ピクチャ当たりマクロブロックの数が多くなりすぎる。これによって、マクロブロックごとに生成される圧縮情報も多くなるので、圧縮情報の伝送負担が大きくなり、データ圧縮効率が低下する傾向がある。従って、本発明の一実施形態による映像符号化装置は、映像のサイズを考慮して、符号化単位の最大サイズを拡大させつつ、映像特性を考慮して、符号化単位を調節できるので、映像圧縮効率が上昇しうる。
【００３５】
図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。
【００３６】
図２を参照するに、本発明の一実施形態による映像復号化装置２００は、映像データ獲得部２１０、符号化情報抽出部２２０及び映像データ復号化部２３０を含む。
【００３７】
映像関連データ獲得部２１０は、映像復号化装置２００が受信したビット・ストリームをパージングし、最大符号化単位別に映像データを獲得し、映像データ復号化部２３０に出力する。映像関連データ獲得部２１０は、現在ピクチャまたはスライスに係わるヘッダから、現在ピクチャまたはスライスの最大符号化単位に係わる情報を抽出できる。本発明の一実施形態による映像復号化装置２００は、最大符号化単位別に映像データを復号化する。
【００３８】
符号化情報抽出部２２０は、映像復号化装置２００が受信したビット・ストリームをパージングし、現在ピクチャに係わるヘッダから、最大符号化単位別符号化深さ及び符号化モードについての情報を抽出する。抽出された符号化深さ及び符号化モードについての情報は、映像データ復号化部２３０に出力される。
【００３９】
最大符号化単位別符号化深さ及び符号化モードについての情報は、一つ以上の符号化深さ情報について設定され、符号化深さ別符号化モードについての情報は、符号化単位別予測単位の分割タイプ情報、予測モード情報及び変換単位サイズ情報などを含むことができる。また、符号化深さ情報として、深さ別縮小情報が抽出されもする。
【００４０】
最大符号化単位の分割形態についての情報は、最大符号化単位に含まれた深さによって異なるサイズのサブ符号化単位に係わる情報を含むことができ、符号化モードについての情報は、サブ符号化単位別予測単位に係わる情報、予測モードについての情報及び変換単位に係わる情報などを含むことができる。
【００４１】
映像データ復号化部２３０は、符号化情報抽出部で抽出された情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位の分割形態についての情報に基づいて、映像データ復号化部２３０は、最大符号化単位に含まれたサブ符号化単位を復号化できる。復号化過程は、イントラ予測及び動き補償を含む動き予測過程、及び周波数逆変換過程を含むことができる。
【００４２】
映像データ復号化部２３０は、最大符号化単位別符号化深さ及び符号化モードについての情報に基づいて、それぞれの最大符号化単位の映像データを復号化し、現在ピクチャを復元する。最大符号化単位別符号化深さ情報に基づいて、映像データ復号化部２３０は、少なくとも１つの符号化深さの符号化単位ごとに、映像データを復号化できる。復号化過程は、イントラ予測及び動き補償を含む予測過程及び逆変換過程を含むことができる。
【００４３】
映像データ復号化部２３０は、符号化単位別予測のために、符号化深さ別符号化単位の予測単位の分割タイプ情報及び予測モード情報に基づいて、符号化単位ごとに、それぞれの予測単位及び予測モードで、イントラ予測または動き補償を行うことができる。また、映像データ復号化部２３０は、最大符号化単位別逆変換のために、符号化深さ別符号化単位の変換単位サイズ情報に基づいて、符号化単位ごとに、それぞれの変換単位で逆変換を行うことができる。
【００４４】
映像データ復号化部２３０は、深さ別縮小情報を利用する現在最大符号化単位の符号化深さを決定できる。もし縮小情報が、現在深さで復号化することを示しているならば、現在深さが符号化深さである。従って、映像データ復号化部２３０は、現在最大符号化単位の映像データに対して、現在深さの符号化単位を、予測単位の分割タイプ、予測モード及び変換単位サイズ情報を利用して復号化できる。すなわち、最小符号化単位について設定されている符号化情報を観察し、同じ縮小情報を含む符号化情報を保有している最小符号化単位を集め、１つのデータ単位で復号化できる。
【００４５】
一実施形態による映像復号化装置２００は、符号化過程で、最大符号化単位ごとに再帰的に符号化を行い、最小符号化誤差を発生させた符号化単位に係わる情報を獲得し、現在ピクチャに係わる復号化に利用できる。すなわち、最大符号化単位ごとに最適符号化単位で、映像データの復号化が可能になる。従って、高い解像度の映像、またはデータ量が多すぎる映像でも、符号化端から伝送された最適符号化モードについての情報を利用し、映像の特性に適応的に決定された符号化単位サイズ及び符号化モードによって、効率的に映像データを復号化して復元できる。
【００４６】
図３は、本発明の一実施形態による階層的符号化単位を図示している。図３を参照するに、本発明による階層的符号化単位は、幅ｘ高さが６４ｘ６４である符号化単位から、３２ｘ３２、１６ｘ１６、８ｘ８、及び４ｘ４を含むことができる。正四角形の符号化単位以外にも、幅ｘ高さが６４ｘ３２、３２ｘ６４、３２ｘ１６、１６ｘ３２、１６ｘ８、８ｘ１６、８ｘ４，４ｘ８である符号化単位が存在しうる。
【００４７】
図３で、ビデオデータ３１０については、解像度は１９２０ｘ１０８０、最大符号化単位サイズは６４、最大深さが２に設定されている。また、ビデオデータ３２０については、解像度は１９２０ｘ１０８０、符号化単位の最大サイズは６４、最大深さが４に設定されている。また、ビデオデータ３３０については、解像度は３５２ｘ２８８、符号化単位の最大サイズは１６、最大深さが２に設定されている。
【００４８】
解像度が高いか、あるいはデータ量が多い場合、圧縮率向上だけではなく、映像特性を正確に反映するために、符号化サイズの最大サイズが相対的に大きいことが望ましい。従って、ビデオデータ３３０に比べ、解像度が高いビデオデータ３１０，３２０は、符号化サイズの最大サイズが６４に選択されうる。
【００４９】
最大深さは、階層的符号化単位で総階層数を示す。従って、ビデオデータ３１０の最大深さは２であるから、ビデオデータ３１０の符号化単位３１５は、長軸サイズが６４である最大符号化単位から、深さが２階層上昇し、長軸サイズが３２，１６である符号化単位まで含むことができる。一方、ビデオデータ３３０の最大深さは２であるから、ビデオデータ３３０の符号化単位３３５は、長軸サイズが１６である符号化単位から、深さが２階層上昇して長軸サイズが８，４である符号化単位まで含むことができる。
【００５０】
ビデオデータ３２０の最大深さは４であるから、ビデオデータ３２０の符号化単位３２５は、長軸サイズが６４である最大符号化単位から、深さが４階層上昇して長軸サイズが３２，１６，８，４である符号化単位まで含むことができる。深さが増大するほど、さらに小さいサブ符号化単位に基いて映像を符号化するので、さらに精密な場面を含んでいる映像を符号化するのに適することとなる。
【００５１】
図４は、本発明の一実施形態による符号化単位に基づいた映像符号化部のブロック図を示した図である。図４を参照するに、イントラ予測部４１０は、現在フレーム４０５のうち、イントラ・モードの予測単位についてイントラ予測を行い、動き推定部４２０及び動き補償部４２５は、インター・モードの予測単位について、現在フレーム４０５及び参照フレーム４９５を利用し、インター予測及び動き補償を行う。
【００５２】
イントラ予測部４１０、動き推定部４２０及び動き補償部４２５から出力された予測単位に基いて残差値が生成され、生成された残差値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力される。特に、図１２を参照して後述するように、本発明の一実施形態によるイントラ予測部４１０は、イントラ予測された符号化単位の各ピクセルを、その周辺ピクセルを利用して変更する後処理を行い、後処理された符号化単位と元符号化単位との差値である残差値は、周波数変換部４３０及び量子化部４４０を経て、量子化された変換係数として出力されうる。
【００５３】
量子化された変換係数は、逆量子化部４６０、周波数逆変換部４７０を介して、再び残差値に復元され、復元された残差値は、デブロッキング部４８０及びループ・フィルタリング部４９０を経て後処理され、参照フレーム４９５に出力される。量子化された変換係数は、エントロピ符号化部４５０を経て、ビット・ストリーム４５５として出力されうる。
【００５４】
本発明の一実施形態による映像符号化方法によって符号化するために、映像符号化部４００の構成要素であるイントラ予測部４１０、動き推定部４２０、動き補償部４２５、周波数変換部４３０、量子化部４４０、エントロピ符号化部４５０、逆量子化部４６０、周波数逆変換部４７０、デブロッキング部４８０及びループ・フィルタリング部４９０は、いずれも最大符号化単位、深さによるサブ符号化単位、予測単位及び変換単位に基いて、映像符号化過程を処理する。特に、イントラ予測部４１０、動き推定部４２０及び動き補償部４２５は、符号化単位の最大サイズ及び深さを考慮し、符号化単位内の予測単位及び予測モードを決定し、周波数変換部４３０は、符号化単位の最大サイズ及び深さを考慮し、変換単位サイズを考慮しなければならない。
【００５５】
図５は、本発明の一実施形態による符号化単位に基づいた映像復号化部のブロック図を示した図である。図５を参照するに、ビット・ストリーム５０５が、パージング部５１０を経て、復号化対象である符号化された映像データ及び復号化のために必要な符号化情報がパージングされる。符号化された映像データは、エントロピ復号化部５２０及び逆量子化部５３０を経て、逆量子化されたデータとして出力され、周波数逆変換部５４０を経て、残差値に復元される。残差値は、イントラ予測部５５０のイントラ予測の結果、または動き補償部５６０の動き補償結果と加算され、符号化単位別に復元される。復元された符号化単位は、デブロッキング部５７０及びループ・フィルタリング部５８０を経て、次の符号化単位、または次のピクチャの予測に利用される。
【００５６】
本発明の一実施形態による映像復号化方法によって、復号化するために、映像復号化部４００の構成要素であるパージング部５１０、エントロピ復号化部５２０、逆量子化部５３０、周波数逆変換部５４０、イントラ予測部５５０、動き補償部５６０、デブロッキング部５７０及びループ・フィルタリング部５８０がいずれも最大符号化単位、深さによるサブ符号化単位、予測単位及び変換単位に基いて、映像復号化過程を処理する。特に、イントラ予測部５５０、動き補償部５６０は、符号化単位の最大サイズ及び深さを考慮し、符号化単位内の予測単位及び予測モードを決定し、周波数逆変換部５４０は、符号化単位の最大サイズ及び深さを考慮し、変換単位サイズを考慮せねばならない。
【００５７】
図６は、本発明の一実施形態による深さ別符号化単位及び予測単位を図示している。
【００５８】
一実施形態による映像符号化装置１００及び一実施形態による映像復号化装置２００は、映像特性を考慮するために、階層的な符号化単位を使用する。符号化単位の最大高さ及び幅、最大深さは、映像の特性によって適応的に決定され、ユーザの要求によって、多様に設定されもする。既定の符号化単位の最大サイズによって、深さ別符号化単位サイズが決定されもする。
【００５９】
本発明の一実施形態による符号化単位の階層構造６００は、符号化単位の最大高さ及び幅が６４であり、最大深さが４である場合を図示している。一実施形態による符号化単位の階層構造６００の縦軸に沿って深さが増大するので、深さ別符号化単位の高さ及び幅がそれぞれ縮小される。また、符号化単位の階層構造６００の横軸に沿って、それぞれの深さ別符号化単位の予測基盤になる部分的データ単位である予測単位が図示されている。
【００６０】
最大符号化単位６１０は、符号化単位の階層構造６００のうち最大符号化単位であって深さが０であり、符号化単位サイズ、すなわち、高さ及び幅が６４ｘ６４である。縦軸に沿って深さが増大し、サイズ３２ｘ３２である深さ１の符号化単位６２０、サイズ１６ｘ１６である深さ２の符号化単位６３０、サイズ８ｘ８である深さ３の符号化単位６４０、サイズ４ｘ４である深さ４の符号化単位６５０が存在する。サイズ４ｘ４である深さ４の符号化単位６５０は、最小符号化単位である。
【００６１】
また、図６を参照するに、それぞれの深さ別に横軸に沿って、符号化単位の予測単位として、部分的データ単位が図示されている。すなわち、深さ０のサイズ６４ｘ６４の最大符号化単位６１０の予測単位は、サイズ６４ｘ６４の符号化単位６１０に含まれるサイズ６４ｘ６４の部分的データ単位６１０、サイズ６４ｘ３２の部分的データ単位６１２、サイズ３２ｘ６４の部分的データ単位６１４、サイズ３２ｘ３２の部分的データ単位６１６でありうる。
【００６２】
深さ１のサイズ３２ｘ３２の符号化単位６２０の予測単位は、サイズ３２ｘ３２の符号化単位６２０に含まれるサイズ３２ｘ３２の部分的データ単位６２０、サイズ３２ｘ１６の部分的データ単位６２２、サイズ１６ｘ３２の部分的データ単位６２４、サイズ１６ｘ１６の部分的データ単位６２６でありうる。
【００６３】
深さ２のサイズ１６ｘ１６の符号化単位６３０の予測単位は、サイズ１６ｘ１６の符号化単位６３０に含まれるサイズ１６ｘ１６の部分的データ単位６３０、サイズ１６ｘ８の部分的データ単位６３２、サイズ８ｘ１６の部分的データ単位６３４、サイズ８ｘ８の部分的データ単位６３６でありうる。
【００６４】
深さ３のサイズ８ｘ８の符号化単位６４０の予測単位は、サイズ８ｘ８の符号化単位６４０に含まれるサイズ８ｘ８の部分的データ単位６４０、サイズ８ｘ４の部分的データ単位６４２、サイズ４ｘ８の部分的データ単位６４４、サイズ４ｘ４の部分的データ単位６４６でありうる。
【００６５】
最後に、深さ４のサイズ４ｘ４の符号化単位６５０は、最小符号化単位であり、最上位深さの符号化単位であり、当該予測単位も、サイズ４ｘ４のデータ単位６５０である。
【００６６】
一実施形態による映像符号化装置の符号化深さ決定部１２０は、最大符号化単位６１０の符号化深さを決定するために、最大符号化単位６１０に含まれるそれぞれの深さの符号化単位ごとに、符号化を行わねばならない。
【００６７】
同じ範囲及びサイズのデータを含むための深さ別符号化単位の個数は、深さが増大するほど、深さ別符号化単位の個数も増加する。例えば、深さ１の符号化単位１個が含むデータに対して、深さ２の符号化単位は、４個が必要である。従って、同じデータの符号化結果を深さ別に比較するために、１個の深さ１の符号化単位及び４個の深さ２の符号化単位を利用し、それぞれ符号化されねばならない。
【００６８】
それぞれの深さ別符号化のためには、符号化単位の階層構造６００の横軸に沿って、深さ別符号化単位の予測単位ごとに符号化を行い、当該深さで最も小さい符号化誤差である代表符号化誤差が選択されうる。また、符号化単位の階層構造６００の縦軸に沿って深さを増大させ、それぞれの深さごとに符号化を行い、深さ別代表符号化誤差を比較して、最小符号化誤差が検索されうる。最大符号化単位６１０のうち、最小符号化誤差が発生する深さが、最大符号化単位６１０の符号化深さ及び分割タイプで選択されうる。
【００６９】
図７は、本発明の一実施形態による、符号化単位及び変換単位の関係を図示している。
【００７０】
本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、最大符号化単位ごとに、最大符号化単位より小さいか、あるいはそれと同じサイズの符号化単位に映像を分割し、符号化したり復号化する。符号化過程中で、周波数変換のための変換単位サイズは、それぞれの符号化単位よりは大きくないデータ単位を基に選択されうる。例えば、現在符号化単位７１０が６４ｘ６４サイズであるとき、３２ｘ３２サイズの変換単位７２０を利用して、周波数変換が行われうる。また、６４ｘ６４サイズの符号化単位７１０のデータを、６４ｘ６４サイズ以下の３２ｘ３２，１６ｘ１６，８ｘ８，４ｘ４サイズの変換単位に、それぞれ周波数変換を行って符号化した後、原本との誤差が最も少ない変換単位が選択されうる。
【００７１】
図８は、本発明の一実施形態による深さ別符号化情報を図示している。
【００７２】
本発明の一実施形態による映像符号化装置１００の符号化情報符号化部は、符号化モードについての情報であり、それぞれの符号化深さの符号化単位ごとに、分割タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を符号化して伝送できる。
【００７３】
分割タイプについての情報８００は、現在符号化単位の動き予測のために、予測単位として、現在符号化単位が分割されたタイプについての情報を示す。例えば、深さ０及びサイズ２Ｎｘ２Ｎの現在符号化単位ＣＵ＿０は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、サイズＮｘＮの予測単位８０８のうちいずれか１つのタイプに分割され、予測単位として利用されうる。この場合、現在符号化単位の分割タイプについての情報８００は、サイズ２Ｎｘ２Ｎの予測単位８０２、サイズ２ＮｘＮの予測単位８０４、サイズＮｘ２Ｎの予測単位８０６、及びサイズＮｘＮの予測単位８０８のうちいずれか一つを示すように設定される。
【００７４】
予測モードについての情報８１０は、それぞれの予測単位の動き予測モードを示す。例えば、予測モードについての情報８１０を介して、分割タイプについての情報８００が指す予測単位が、イントラ・モード８１２、インター・モード８１４及びスキップ・モード８１６のうちいずれか一つで動き予測が行われるか否かが設定されうる。
【００７５】
また、変換単位サイズについての情報８２０は、現在符号化単位をいかなる変換単位を基に、周波数変換を行うかを示す。例えば、変換単位は、第１イントラ変換単位サイズ８２２、第２イントラ変換単位サイズ８２４、第１インター変換単位サイズ８２６、第２イントラ変換単位サイズ８２８のうちいずれか一つでありうる。
【００７６】
本発明の一実施形態による映像復号化装置２００の符号化情報抽出部は、それぞれの深さ別符号化単位ごとに、分割タイプについての情報８００、予測モードについての情報８１０、変換単位サイズについての情報８２０を抽出し、復号化に利用できる。
【００７７】
図９は、本発明の一実施形態による深さ別符号化単位を図示している。
【００７８】
深さの増大いかんを示すために、縮小情報が利用されうる。縮小情報は、現在深さの符号化単位が、上位深さの符号化単位に縮小されるか否かを示す。
【００７９】
深さ０及び２Ｎ＿０ｘ２Ｎ＿０サイズの符号化単位の動き予測のための予測単位９１０は、２Ｎ＿０ｘ２Ｎ＿０サイズの分割タイプ９１２、２Ｎ＿０ｘＮ＿０サイズの分割タイプ９１４、Ｎ＿０ｘ２Ｎ＿０サイズの分割タイプ９１６、Ｎ＿０ｘＮ＿０サイズの分割タイプ９１８を含むことができる。
【００８０】
分割タイプごとに、１個の２Ｎ＿０ｘＮ＿０サイズの予測単位、２個の２Ｎ＿０ｘＮ＿０サイズの予測単位、２個のＮ＿０ｘ２Ｎ＿０サイズの予測単位、４個のＮ＿０ｘＮ＿０サイズの予測単位ごとに、反復して動き予測を介した符号化が行われねばならない。サイズ２Ｎ＿０ｘＮ＿０及びサイズＮ＿０ｘＮ＿０の予測単位については、イントラ・モード及びインター・モードで動き予測が行われ、サイズＮ＿０ｘ２Ｎ＿０及びサイズＮ＿０ｘＮ＿０の予測単位では、インター・モードでのみ動き予測が行われうる。スキップ・モードは、サイズ２Ｎ＿０ｘＮ＿０の予測単位についてのみ行われうる。
【００８１】
サイズＮ＿０ｘＮ＿０の分割タイプ９１８による符号化誤差が最も小さいならば、深さ０を１に増大（９２０）させ、深さ２及びサイズＮ＿０ｘＮ＿０の分割タイプの符号化単位９２２，９２４，９２６，９２８に対して、反復して最小符号化誤差を検索していくことができる。
【００８２】
同じ深さの符号化単位９２２，９２４，９２６，９２８に対して、符号化が反復して行われるので、このうち一つだけ例を挙げれば、深さ１の符号化単位の符号化について説明する。深さ１及びサイズ２Ｎ＿１ｘ２Ｎ＿１（＝Ｎ＿０ｘＮ＿０）の符号化単位の動き予測のための予測単位９３０は、サイズ２Ｎ＿１ｘ２Ｎ＿１の分割タイプ９３２、サイズ２Ｎ＿１ｘＮ＿１の分割タイプ９３４、サイズＮ＿１ｘ２Ｎ＿１の分割タイプ９３６、サイズＮ＿１ｘＮ＿１の分割タイプ９３８を含むことができる。分割タイプごとに、１個のサイズ２Ｎ＿１ｘ２Ｎ＿１の予測単位、２個のサイズ２Ｎ＿１ｘＮ＿１の予測単位、２個のサイズＮ＿１ｘ２Ｎ＿１の予測単位、４個のサイズＮ＿１ｘＮ＿１の予測単位ごとに、反復して動き予測を介した符号化が行われねばならない。
【００８３】
また、サイズＮ＿１ｘＮ＿１サイズの分割タイプ９３８による符号化誤差が最も小さいならば、深さ１を深さ２に増大（９４０）させつつ、深さ２及びサイズＮ＿２ｘＮ＿２の符号化単位９４２，９４４，９４６，９４８に対して、反復して最小符号化誤差を検索していくことができる。
【００８４】
最大深さがｄである場合、深さ別縮小情報は、深さｄ−１であるまで設定できる。すなわち、深さｄ−１及びサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の符号化単位の動き予測のための予測単位９５０は、サイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の分割タイプ９５２、サイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の分割タイプ９５４、サイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の分割タイプ９５６、サイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の分割タイプ９５８を含むことができる。
【００８５】
分割タイプごとに、１個のサイズ２Ｎ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、２個のサイズ２Ｎ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位、２個のサイズＮ＿（ｄ−１）ｘ２Ｎ＿（ｄ−１）の予測単位、４個のサイズＮ＿（ｄ−１）ｘＮ＿（ｄ−１）の予測単位ごとに、反復して動き予測を介した符号化が行われねばならない。最大深さがｄであるから、深さｄ−１の符号化単位９５２は、それ以上縮小過程を経ない。
【００８６】
本発明の一実施形態による映像符号化装置１００は、符号化単位９１２をための符号化深さを決定するために、深さ別符号化誤差を比較し、最も小さい符号化誤差が発生する深さを選択する。例えば、深さ０の符号化単位に係わる符号化誤差は、分割タイプ９１２，９１４，９１６，９１８ごとに動き予測を行って符号化した後、最も小さい符号化誤差が発生する予測単位が決定される。同様に、深さ０，１，…，ｄ−１ごとに、符号化誤差が最も小さい予測単位が検索されうる。深さｄでは、サイズ２Ｎ＿ｄｘ２Ｎ＿ｄの符号化単位であり、かつ予測単位９６０を基にした動き予測を介して符号化誤差が決定されうる。このように、深さ０，１，…，ｄ−１，ｄのあらゆる深さ別最小符号化誤差を比較し、誤差が最も小さい深さが選択され、符号化深さとして決定されうる。符号化深さ及び当該深さの予測単位は、符号化モードについての情報であり、符号化されて伝送されうる。また、深さ０から符号化深さに至るまで符号化単位が縮小されねばならないので、符号化深さの縮小情報だけ「０」に設定され、符号化深さを除外した深さ別縮小情報は、「１」に設定されねばならない。
【００８７】
本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位９１２に係わる符号化深さ、及び予測単位についての情報を抽出し、符号化単位９１２を復号化するのに利用されうる。一実施形態による映像復号化装置２００は、深さ別縮小情報を利用し、縮小情報が「０」である深さを符号化深さとして把握し、当該深さに係わる符号化モードについての情報を利用して復号化に利用できる。
【００８８】
図１０Ａ及び図１０Ｂは、本発明の一実施形態による、符号化単位、予測単位及び周波数変換単位の関係を図示している。
【００８９】
符号化単位１０１０は、最大符号化単位１０００に対して、一実施形態による映像符号化装置１００が決定した符号化深さ別符号化単位である。予測単位１０６０は、符号化単位１０１０のうち、それぞれの符号化深さ別符号化単位の予測単位であり、変換単位１０７０は、それぞれの符号化深さ別符号化単位の変換単位である。
【００９０】
深さ別符号化単位１０１０は、最大符号化単位１０００の深さが０であるとすれば、符号化単位１０１２，１０５４は、深さが１、符号化単位１０１４，１０１６，１０１８，１０２８，１０５０，１０５２は、深さが２、符号化単位１０２０，１０２２，１０２４，１０２６，１０３０，１０３２，１０３８は、深さが３、符号化単位１０４０，１０４２，１０４４，１０４６は、深さが４である。
【００９１】
予測単位１０６０のうち一部１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、符号化単位が分割されたタイプである。すなわち、予測単位１０１４，１０２２，１０５０，１０５４は、２ＮｘＮの分割タイプであり、予測単位１０１６，１０４８，１０５２は、Ｎｘ２Ｎの分割タイプ、予測単位１０３２は、ＮｘＮの分割タイプである。すなわち、深さ別符号化単位１０１０の予測単位は、それぞれの符号化単位より小さいか、あるいはそれと同じである。
【００９２】
変換単位１０７０のうち一部１０５２，１０５４の映像データに対しては、符号化単位に比べて小サイズのデータ単位で、周波数変換または周波数逆変換が行われる。また、変換単位１０１４，１０１６，１０２２，１０３２，１０４８，１０５０，１０５２，１０５４は、予測単位１０６０のうち当該予測単位と比較すれば、互いに異なるサイズまたは形態のデータ単位である。すなわち、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００は、同じ符号化単位に係わる予測及び周波数変換／逆変換作業であるとしても、それぞれ別個のデータ単位を基に行うことができる。
【００９３】
図１１は、本発明の一実施形態による符号化単位別符号化情報を図示している。
【００９４】
本発明の一実施形態による映像符号化装置１００の符号化情報符号化部１４０は、符号化単位別符号化情報を符号化し、本発明の一実施形態による映像復号化装置２００の符号化情報抽出部２２０は、符号化単位別符号化情報を抽出できる。
【００９５】
符号化情報は、符号化単位に係わる縮小情報、分割タイプ情報、予測モード情報、変換単位サイズ情報を含むことができる。図１１に図示されている符号化情報は、本発明の一実施形態による映像符号化装置１００及び映像復号化装置２００で設定できる一例に過ぎず、図示されているところに限定されるものではない。
【００９６】
縮小情報は、当該符号化単位の符号化深さを示すことができる。すなわち、縮小情報によって、それ以上縮小されない深さが符号化深さであるから、符号化深さに対して、分割タイプ情報、予測モード、変換単位サイズ情報が定義されうる。縮小情報によって、１段階さらに縮小されねばならない場合には、縮小された４個の上位深さの符号化単位ごとに、独立して符号化が行わればならない。
【００９７】
分割タイプ情報は、符号化深さの符号化単位の変換単位の分割タイプを２Ｎｘ２Ｎ，２ＮｘＮ，Ｎｘ２Ｎ及びＮｘＮのうちいずれか一つで示すことができる。予測モードは、動き予測モードを、イントラ・モード、インター・モード及びスキップ・モードのうち一つで示すことができる。イントラ・モードは、分割タイプ２Ｎｘ２Ｎ及びＮｘＮでのみ定義され、スキップ・モードは、分割タイプ２Ｎｘ２Ｎでのみ定義されうる。変換単位サイズは、イントラ・モードで二種のサイズ、インター・モードで二種のサイズに設定されうる。
【００９８】
符号化単位内の最小符号化単位ごとに、所属している符号化深さの符号化単位別符号化情報を収録していることがある。従って、隣接した最小符号化単位同士それぞれ保有している符号化情報を確認すれば、同じ符号化深さの符号化単位に含まれるか否かが確認されうる。また、最小符号化単位が保有している符号化情報を利用すれば、当該符号化深さの符号化単位を確認することができるので、最大符号化単位内の符号化深さの分布が類推されうる。
【００９９】
以下、図４の本発明の一実施形態による映像符号化装置１００のイントラ予測部４１０、及び図５の映像復号化装置２００のイントラ予測部５５０で行われるイントラ予測について具体的に説明する。以下の説明で符号化単位は、映像の符号化段階で称される用語であり、映像の復号化段階の側面で符号化単位は、復号化単位で定義されうる。すなわち、符号化単位並びに復号化単位という用語は、映像の符号化段階及び復号化段階のうち、いずれか１つの段階で称されるかという違いがあるのみであり、符号化段階での符号化単位は、復号化段階での復号化単位として呼ばれうる。用語の統一性のために、特別の場合を除いては、符号化段階及び復号化段階で、同一に符号化単位に統一して呼ぶことにする。
【０１００】
図１２は、本発明の一実施形態によるイントラ予測装置１２００の構成を示すブロック図である。図１２を参照するに、本発明の一実施形態によるイントラ予測装置１２００は、予測部１２１０及び後処理部１２２０を含む。予測部１２１０は、現在符号化単位サイズによって決まるイントラ予測モードを適用し、現在符号化単位に係わるイントラ予測を行い、第１予測符号化単位を出力する。後処理部１２００は、第１予測符号化単位を構成する各ピクセルの周辺ピクセルを利用し、第１予測符号化単位の各ピクセルのピクセル値を変更する後処理を行うことによって、後処理された第２予測符号化単位を出力する。
【０１０１】
図１３は、本発明の一実施形態による符号化単位サイズによるイントラ予測モードの個数を図示している。
【０１０２】
本発明の一実施形態によれば、符号化単位（復号化段階では、復号化単位）のサイズによって、符号化単位に適用されるイントラ予測モードの個数を多様に設定できる。一例として図１３を参照するに、イントラ予測される符号化単位のサイズをＮｘＮとするとき、２ｘ２，４ｘ４，８ｘ８，１６ｘ１６，３２ｘ３２，６４ｘ６４，１２８ｘ１２８サイズの符号化単位それぞれに対して実際行われるイントラ予測モードの個数は、それぞれ５，９，９，１７，３３，５，５個（例２の場合）に設定されうる。このように、符号化単位サイズによって、実際行われるイントラ予測モードの個数を差別化する理由は、符号化単位サイズによって、予測モード情報を符号化するためのオーバーヘッドが異なるためである。言い換えれば、小サイズの符号化単位の場合、全体映像で占める部分が小さいにもかかわらず、かような小さい符号化単位の予測モードなどの付加情報を伝送するためのオーバーヘッドが増加しうる。従って、小さい符号化単位をあまりにも多くの予測モードで符号化する場合、ビット量が増加して圧縮効率が低下しうる。また、大きいサイズを有する符号化単位、例えば、６４ｘ６４以上のサイズを有する符号化単位は、一般的に、映像の平坦な領域に係わる符号化単位として選択される場合が多いために、かような平坦な領域を符号化するのに多く選択される大きいサイズの符号化単位を、あまりにも多くの予測モードで符号化することも、圧縮効率側面で非効率的でありうる。
【０１０３】
従って、本発明の一実施形態によれば、符号化単位が、Ｎ１ｘＮ１（２≦Ｎ１≦８、Ｎ１は整数）、Ｎ２ｘＮ２（１６≦Ｎ２≦３２、Ｎ２は整数）、Ｎ３ｘＮ３（６４≦Ｎ３、Ｎ３は整数）の少なくとも三種のサイズに大別され、Ｎ１ｘＮ１サイズを有する符号化単位ごとに行われるイントラ予測モードの個数を、Ａ１（Ａ１は正の整数）、Ｎ２ｘＮ２サイズを有する符号化単位ごとに行われるイントラ予測モードの個数を、Ａ２（Ａ２は正の整数）、Ｎ３ｘＮ３サイズを有する符号化単位ごとに行われるイントラ予測モードの個数を、Ａ３（Ａ３は正の整数）とするとき、Ａ３≦Ａ１≦Ａ２の関係を満足するように、各符号化単位サイズによって行われるイントラ予測モードの個数を設定することが望ましい。すなわち、現在ピクチャが小さいサイズの符号化単位、中間サイズの符号化単位、大きいサイズの符号化単位に大別されるとするとき、中間サイズの符号化単位が最も多数の予測モードを有し、小サイズの符号化単位及び大サイズの符号化単位は、相対的に小さい数の予測モードを有するように設定することが望ましい。ただし、これに限定されるものではなく、小サイズ及び大サイズの符号化単位に対しても、さらに多数の予測モードを有するように設定することもできるのである。図１３に図示された各符号化単位サイズによる予測モードの個数は、一実施形態に過ぎず、各符号化単位サイズによる予測モードの個数は、変更されうる。
【０１０４】
図１４Ａは、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの一例について説明するための図である。
【０１０５】
図１３及び図１４Ａを参照するに、一例として、４×４サイズを有する符号化単位のイントラ予測時に、垂直（VERTICAL）モード（モード０）、水平（HORIZONTAL）モード（モード１）、ＤＣ（direct  current）モード（モード２）、対角線左側（diagonal  DOWN-LEFT）モード（モード３）、対角線右側（diagonal  DOWN-RIGHT）モード（モード４）、垂直右側（VERTICAL-RIGHT）モード（モード５）、水平下側（HORIZONTAL-DOWN）モード（モード６）、垂直左側（VERTICAL-LEFT）モード（モード７）及び水平上側（HORIZONTAL-UP）モード（モード８）を有することができる。
【０１０６】
図１４Ｂは、図１４Ａのイントラ予測モードの方向を示す図である。図１４Ｂで、矢印の端にある数字は、その方向に予測を行う場合の当該モード値を示す。ここで、モード２は、方向性のないＤＣ予測モードとしては示されていない。
【０１０７】
図１４Ｃは、図１４Ａに図示された符号化単位に係わるイントラ予測方法を図示した図である。図１４Ｃを参照するに、符号化単位サイズによって決定された利用可能なイントラ予測モードによって、現在符号化単位の周辺ピクセルであるＡ−Ｍを利用し、予測符号化単位を生成する。例えば、図１４Ａのモード０、すなわち、垂直モードによって、４×４サイズの現在符号化単位を予測符号化する動作について説明する。まず、４×４サイズの現在符号化単位の上側に隣接した画素ＡないしＤの画素値を、４×４現在符号化単位の画素値として予測する。すなわち、画素Ａの値を、４×４現在符号化単位の最初の列に含まれた４個の画素値で、画素Ｂの値を、４×４現在符号化単位の２列目に含まれた４個の画素値で、画素Ｃの値を、４×４現在符号化単位の３列目に含まれた４個の画素値で、画素Ｄの値を、４×４現在符号化単位の４列目に含まれた４個の画素値で予測する。次に、前記画素ＡないしＤを利用して予測された４×４現在符号化単位と、本来の４×４現在符号化単位とに含まれた画素の実際値を減算して誤差値を求めた後、その誤差値を符号化する。
【０１０８】
図１５は、本発明の一実施形態による所定サイズの符号化単位に適用されるイントラ予測モードの他例について説明するための図である。
【０１０９】
図１３及び図１５を参照するに、一例として、２×２サイズを有する符号化単位のイントラ予測時に、垂直（VERTICAL）モード、水平（HORIZONTAL）モード、ＤＣ（direct  current）モード、プレーン（PLANE）モード及び対角線右側（diagonal  DOWN-RIGHT）モードの総５個のモードが存在しうる。
【０１１０】
一方、図１３に図示されたように、３２ｘ３２サイズを有する符号化単位が、３３個のイントラ予測モードを有するとしたとき、３３個のイントラ予測モードの方向を設定する必要がある。本発明の一実施形態では、図１４及び図１５に図示されたようなイントラ予測モード以外に、多様な方向のイントラ予測モードを設定するために、符号化単位内のピクセルを中心に、参照ピクセルとして利用される周辺ピクセルを選択するための予測方向を、ｄｘ，ｄｙパラメータを利用して設定する。一例として、３３個の予測モードをそれぞれmode  Ｎ（Ｎは、０から３２までの整数）であると定義するとき、mode  ０は垂直モード、mode  １は水平モード、mode  ２はＤＣモード、mode  ３はプレーン・モードに設定し、mode  ４〜mode  ３１それぞれは、次の表１に表記されているような（１，−１）、（１，１）、（１，２）、（２，１）、（１，−２）、（２，１）、（１，−２）、（２，−１）、（２，−１１）、（５，−７）、（１０，−７）、（１１，３）、（４，３）、（１，１１）、（１，−１）、（１２，−３）、（１，−１１）、（１，−７）、（３，−１０）、（５，−６）、（７，−６）、（７，−４）、（１１，１）、（６，１）、（８，３）、（５，３）、（５，７）、（２，７）、（５，−７）、（４，−３）のうちいずれか１つの値に表現される（ｄｘ，ｄｙ）を利用し、ｔａｎ−１（ｄｙ／ｄｘ）の方向性を有する予測モードとして定義できる。
【０１１１】
【表１】
2011526770.tif 000003
最後のmode  ３２は、図１７を利用して後述するように、双線形（bilinear）補間を用する双線形モードに設定されうる。
【０１１２】
図１６は、本発明の一実施形態による多様な方向性を有するイントラ予測モードについて説明するための参照図である。
【０１１３】
表１を参照して前述のように、本発明の一実施形態によるイントラ予測モードは、複数個の（ｄｘ，ｄｙ）パラメータを利用して、ｔａｎ−１（ｄｙ／ｄｘ）の多様な方向性を有することができる。
【０１１４】
図１６を参照するに、現在符号化単位内部の予測しようとする現在ピクセルＰを中心に、表１に表記されたモード別（ｄｘ，ｄｙ）の値によって決まるｔａｎ−１（ｄｙ／ｄｘ）の角度を有する延長線１６０上に、位置した周辺ピクセル（Ａ，Ｂ）を、現在ピクセルＰの予測子として利用できる。このとき、予測子として利用される周辺ピクセルは、以前に符号化されて復元された、現在符号化単位の上側及び左側の以前符号化単位のピクセルであることが望ましい。また、延長線１６０が整数位置の周辺ピクセルではない整数位置周辺ピクセルの間を通過する場合、延長線１６０にさらに近い周辺ピクセルを、現在ピクセルＰの予測子として利用できる。また、図示されているように、延長線１６０と出合う上側の周辺ピクセルＡ、及び左側の周辺ピクセルＢの２個の周辺ピクセルが存在する場合、上側の周辺ピクセルＡ及び左側の周辺ピクセルＢの平均値を、現在ピクセルＰの予測子として利用したり、またはｄｘ＊ｄｙ値が正数である場合には、上側の周辺ピクセルＡを利用し、ｄｘ＊ｄｙ値が負数である場合には、左側の周辺ピクセルＢを利用できる。
【０１１５】
表１に表記されたような多様な方向性を有するイントラ予測モードは、符号化端と復号化端とであらかじめ設定され、各符号化単位ごとに設定されたイントラ予測モードの当該インデックスだけ伝送されるようにすることが望ましい。
【０１１６】
図１７は、本発明の一実施形態による双線形モードについて説明するための参照図である。図１７を参照するに、双線形（bi-linear）モードは、現在符号化単位内部の予測しようとする現在ピクセルＰを中心に、現在ピクセルＰ並びにその上下左右境界のピクセル値、現在ピクセルＰの上下左右境界までの距離を考慮した幾何平均値を計算し、その結果値を現在ピクセルＰの予測子として利用するのである。すなわち、双線形モードでは、現在ピクセルＰの予測子として、現在ピクセルＰの上下左右境界に位置したピクセルＡ  １７１、ピクセルＢ  １７２、ピクセルＤ  １７６及びピクセルＥ  １７７と、現在ピクセルＰの上下左右境界までの距離の幾何平均値を利用する。このとき、双線形モードも、イントラ予測モードのうちの一つであるから、予測時の参照ピクセルとして、以前に符号化された後で復元された上側と左側との周辺ピクセルを利用せねばならない。従って、ピクセルＡ  １７１及びピクセルＢ  １７２として、現在符号化単位内部の当該ピクセル値をそのまま利用するのではなく、上側及び左側の周辺ピクセルを利用して生成された仮想のピクセル値を利用する。
【０１１７】
具体的に、まず、次の式（１）のように、現在符号化単位に隣接した上側最右側の周辺ピクセル（RightUpPixel）１７４、及び左側最下端の周辺ピクセル（LeftDownPixel）１７５の平均値を計算することによって、現在符号化単位の右側最下端位置の仮想のピクセルＣ  １７３を計算する。
【０１１８】
Ｃ＝０．５（LeftDownPixel＋RightUpPixel）      （１）
次に、現在ピクセルＰの左側境界までの距離Ｗ１及び右側境界までの距離Ｗ２を考慮し、現在ピクセルＰを下端に延長したとき、最下端境界線に位置する仮想のピクセルＡ  １７１の値を、次の式（２）のように計算する。
【０１１９】
Ａ＝（Ｃ＊Ｗ１＋LeftDownPixel＊Ｗ２）／（Ｗ１＋Ｗ２）      （２）
同様に、現在ピクセルＰの上側境界までの距離ｈ１、及び下側境界までの距離ｈ２を考慮し、現在ピクセルＰを右側に延長したとき、最右側境界線に位置する仮想のピクセルＢ  １７２の値を次の式（３）のように計算する。
【０１２０】
Ｂ＝（Ｃ＊ｈ１＋RightUpPixel＊ｈ２）／（ｈ１＋ｈ２）      （３）
式（１）ないし（３）を利用して、現在ピクセルＰ  １７０の下側境界線上の仮想のピクセルＡ  １７１、及び右側境界線上の仮想のピクセルＢ  １７２の値が決定されれば、Ａ＋Ｂ＋Ｄ＋Ｅの平均値を、現在ピクセルＰ  １７０の予測子として利用できる。かような双線形予測過程は、現在符号化単位内部のあらゆるピクセルについて適用され、双線形予測モードによる現在符号化単位の予測符号化単位が生成される。
【０１２１】
本発明の一実施形態によれば、符号化単位サイズによって多様に設定されたイントラ予測モードによって予測符号化を行うことによって、映像の特性によって、さらに効率的な圧縮を可能にする。
【０１２２】
前述のように、図１２のイントラ予測部１２００の予測部１２１０から、符号化単位サイズによって多様に設定されたイントラ予測モードを適用して出力される予測符号化単位は、適用されたイントラ予測モードによって、一定の方向性を有する。かような予測符号化単位内部の方向性は、符号化される現在符号化単位のピクセルが一定の方向性を有する場合には、予測効率が向上しうるが、現在符号化単位のピクセルが方向性を有さない場合には、予測効率が落ちることがある。従って、後処理部１２２０は、イントラ予測を介して生成された予測符号化単位に係わる後処理動作として、予測符号化単位内部の各ピクセルと、少なくとも１つの周辺ピクセルとを利用し、予測符号化単位内部の各ピクセルのピクセル値を変更し、新たな予測符号化単位を生成することによって、映像の予測効率を向上させる。
【０１２３】
以下、図１２の後処理部１２２０で行われる予測符号化単位の後処理動作について説明する。
【０１２４】
後処理部１２２０は、予測部１２１０で生成された第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用した演算を介して、第１予測符号化単位を構成する各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する。ここで、予測部１２２０は、前述のように、符号化単位サイズによる利用可能なイントラ予測モードを適用し、第１予測符号化単位を生成する。
【０１２５】
図１８は、本発明の一実施形態による第１予測符号化単位の後処理動作について説明するための参照図である。図１８で、図面符号１８１０ないし１８６０は、後処理部１２２０によって処理される第１予測符号化単位内部の各ピクセル値が変更される過程を経時的に示したものである。
【０１２６】
図１８を参照するに、本発明の一実施形態による後処理部１２２０は、第１予測符号化単位内部の変更しようとするピクセルと、その周辺ピクセルとのピクセル値の加重平均値を計算し、第１予測符号化単位の各ピクセルのピクセル値を変更する。例えば、図１８で、第１予測符号化単位１８１０の変更しようとするピクセル１８２１のピクセル値をｆ［１］［１］、上側に位置したピクセル１８２２のピクセル値をｆ［０］［１］、左側に位置したピクセル１８２３のピクセル値をｆ［１］［０］とすれば、ピクセル１８２１のピクセル値ｆ［１］［１］を変更した値をｆ’［１］［１］とすれば、ｆ’［１］［１］は、次の式（４）のように計算されうる。
【０１２７】
【数１】
2011526770.tif 000004
図１８に図示されたように、本発明の一実施形態による後処理部１２２０は、第１予測符号化単位内部の各ピクセルに対して、最左上側から最右下側に変更しようとするピクセルと、その上側及び左側に位置したピクセルとの加重平均値を計算し、第１予測符号化単位の各ピクセルのピクセル値を変更する。しかし、本発明による予測符号化単位の後処理動作は、最左上側から最右下側に限定されるものではなく、最右上側から最左下側に、または最右下側から最左上側に、または最左下側から最右上側に、第１予測符号化単位の各ピクセルに対して順次に行われうる。例えば、後処理部１２２０は、図１８に図示された処理順序と反対に、最右下側から最左上側に、第１予測符号化単位のピクセルを変更する場合には、変更しようとするピクセルと、その下側及び右側に位置したピクセルとの加重平均値を計算し、第１予測符号化単位の各ピクセルのピクセル値を変更する。
【０１２８】
図１９及び図２０は、本発明の一実施形態による後処理部１２２０の動作について説明するための参照図である。図１９で、図面符号１９１０は、現在変更しようとする第１予測符号化単位の第１ピクセルを示し、図面符号１９１１ないし１９１８は、第１ピクセル１９１０の周辺に位置した周辺ピクセルを示す。
【０１２９】
図１９を参照するに、本発明の一実施形態による後処理部１２２０は、図１８に図示されているように、第１予測符号化単位の上側及び左側に位置した周辺ピクセルに限定されるものではなく、周辺ピクセル１９１１ないし１９１８のうち選択された所定個数の周辺ピクセルを利用し、第１ピクセル１９１０に対する後処理を行うことができる。すなわち、図２０を参照するに、現在符号化単位の第１ピクセルＣを中心に、その周辺ピクセルＰ１ないしＰ８のうちから所定個数の周辺ピクセルを選択し、選択された周辺ピクセルと、第１ピクセルＣとを利用した所定の演算を介して、第１ピクセルＣのピクセル値を変更する。例えば、第１予測符号化単位サイズをｍｘｎ（ｍ及びｎは正の整数）、第１予測符号化単位内部の変更しようとするｉ（ｉは、０からｍ−１までの整数）列目及びｊ（ｊは、０からｎ−１までの整数）行目に位置した第１ピクセル１９１０のピクセル値をｆ［ｉ］［ｊ］、第１ピクセル１９１０の周辺ピクセル１９１１ないし１９１８のうち、第１ピクセル１９１０の後処理のために選択されたｎ個（ｎは２または３）のピクセルの値をそれぞれｆ１ないしｆｎとすれば、後処理部１２２０は、次の式（５）のように、第１ピクセル１９１０のピクセル値ｆ［ｉ］［ｊ］をｆ’［ｉ］［ｊ］に変更する。
【０１３０】
【数２】
2011526770.tif 000005
後処理部１２２０は、第１予測符号化単位１９００内部のあらゆるピクセルに対して、前述の式（５）を適用してピクセル値を変更することによって、第２予測符号化単位を生成する。前述の式（５）では、３個までの周辺ピクセルを利用する場合を例示したが、これに限定されるものではなく、後処理部１２２０は、４個以上の周辺ピクセルを利用して後処理動作を行うことができる。
【０１３１】
本発明の第２実施形態による後処理部１２２０は、第１予測符号化単位の変更される各ピクセルと、各ピクセルの周辺に位置したピクセルとの加重調和平均値を介して、第１予測符号化単位の各ピクセルのピクセル値を変更することによって、第２予測ブロックを生成する。
【０１３２】
例えば、本発明の第２実施形態による後処理部１２２０は、次の式（６）のように、上側及び左側の周辺ピクセルを利用し、第１予測符号化単位のｉ列目及びｊ行目に位置したピクセルのピクセル値ｆ［ｉ］［ｊ］をｆ’［ｉ］［ｊ］に変更する。
【０１３３】
【数３】
2011526770.tif 000006
式（６）でα，β，γは、任意の正の整数値を有し、一例としてα＝２、β＝２、γ＝１でありうる。
【０１３４】
本発明の第３実施形態による後処理部１２２０は、第１予測符号化単位の変更される各ピクセルと、各ピクセルの周辺ピクセルとの加重幾何平均値を介して、第１予測符号化単位の各ピクセルのピクセル値を変更することによって、第２予測符号化単位を生成する。
【０１３５】
例えば、本発明の第３実施形態による後処理部１２２０は、次の式（７）のように、上側及び左側の周辺ピクセルを利用し、第１予測符号化単位のｉ列目及びｊ行目に位置したピクセルのピクセル値ｆ［ｉ］［ｊ］をｆ’［ｉ］［ｊ］に変更する。
【０１３６】
【数４】
2011526770.tif 000007
式（７）でα，β，γは、任意の正の整数値を有し、一例としてα＝１、β＝１、γ＝２でありうる。前述の式（５）ないし（７）では、いずれも変更しようとするピクセルｆ［ｉ］［ｊ］に、相対的に大きい加重値を付与する。
【０１３７】
前述のように、本発明の第１実施形態ないし第３実施形態で、後処理部１２２０は、変更しようとするピクセルの上側及び左側の周辺ピクセルに限定されるものではなく、図１９に図示されたような周辺ピクセル１９１１ないし１９１８のうち選択された所定個数の周辺ピクセルを利用し、後処理動作を行うことができる。
【０１３８】
本発明の第４実施形態による後処理部１２２０は、第１予測符号化単位の変更しようとするピクセルと、その周辺ピクセルのうち選択された１つの周辺ピクセルとの平均値に、第１予測符号化単位の各ピクセルのピクセル値を変更することによって、第２予測符号化単位を生成する。
【０１３９】
例えば、本発明の第４実施形態による後処理部１２２０は、次の式（８）のように、上側の周辺ピクセルを利用し、第１予測符号化単位のｉ列目及びｊ行目に位置したピクセルのピクセル値ｆ［ｉ］［ｊ］をｆ’［ｉ］［ｊ］に変更できる。
【０１４０】
【数５】
2011526770.tif 000008
同様に、本発明の第５実施形態による後処理部１２２０は、第１予測符号化単位の変更されるピクセルと、その左側に位置した周辺ピクセルとのの平均値に、第１予測符号河単位の各ピクセルのピクセル値を変更することによって、第２予測符号化単位を生成する。
【０１４１】
すなわち、本発明の第５実施形態による後処理部１２２０は、次の式（９）のように、第１予測符号化単位のｉ列目及びｊ行目に位置したピクセルのピクセル値ｆ［ｉ］［ｊ］をｆ’［ｉ］［ｊ］に変更する。
【０１４２】
【数６】
2011526770.tif 000009
本発明の第６実施形態による後処理部１２２０は、第１予測符号化単位の変更しようとするピクセル、その周辺ピクセルとの中間値（median）にピクセル値を変更することによって、第２予測符号化単位を生成する。例えば、再び図１９を参照するに、第１予測符号化単位１９００のｉ列目及びｊ行目に位置した第１ピクセル１９１０のピクセル値ｆ［ｉ］［ｊ］、第２ピクセル１９１２のピクセル値ｆ［ｉ］［ｊ−１］、第３ピクセル１９１１のピクセル値ｆ［ｉ−１］［ｊ］が次のサイズ順序；ｆ［ｉ］［ｊ−１］＞ｆ［ｉ−１］［ｊ］＞ｆ［ｉ］［ｊ］を有すると仮定する。この場合、本発明の第６実施形態による後処理部１２２０は、変更しようとする第１ピクセル５１０のピクセル値ｆ［ｉ］［ｊ］を、中間値であるｆ［ｉ−１］［ｊ］に変更する。
【０１４３】
本発明の第７実施形態ないし第９実施形態による後処理部１２２０は、変更されるピクセルの周辺ピクセルを利用する代わりに、現在符号化単位以前に符号化された後で復元された隣接した符号化単位のピクセル値を利用し、第２予測符号化単位を生成する。
【０１４４】
再び図１９を参照するに、本発明の第７実施形態による後処理部１２２０は、第１予測符号化単位１９００内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセル１９１０と同じ列に位置しつつ、現在符号化単位の上側隣接符号化単位に位置したピクセル１９２１の平均値を次の式（１０）のように計算し、第１ピクセル１９１０のピクセル値をｆ’［ｉ］［ｊ］に変更する。
【０１４５】
【数７】
2011526770.tif 000010
式（１０）でｆ［−１］［ｊ］は、第１ピクセル１９１０と同じ列に位置しつつ、現在符号化単位の上側隣接符号化単位に位置したピクセル１９２１のピクセル値を示す。
【０１４６】
同様に、本発明の第８実施形態による後処理部１２２０は、第１予測符号化単位１９００内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセル１９１０と同じ行に位置しつつ、現在符号化単位の左側隣接符号化単位に位置したピクセル１９２２の平均値を、次の式（１１）のように計算し、第１ピクセル１９１０のピクセル値をｆ’［ｉ］［ｊ］に変更する。
【０１４７】
【数８】
2011526770.tif 000011
式（１１）でｆ［ｉ］［−１］は、第１ピクセル１９１０と同じ行に位置しつつ、現在符号化単位の左側隣接符号化単位に位置したピクセル１９２２のピクセル値を示す。
【０１４８】
本発明の第９実施形態による後処理部１２２０は、第１予測符号化単位１９００内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセル１９１０、第１ピクセル１９１０と同じ列に位置しつつ現在符号化単位の上側隣接符号化単位に位置したピクセル１９２１、及び同じ行に位置しつつ、現在符号化単位の左側隣接符号化単位に位置したピクセル１９２２の加重平均値を、次の式（１２）のように計算し、第１ピクセル１９１０のピクセル値をｆ’［ｉ］［ｊ］に変更する。
【０１４９】
【数９】
2011526770.tif 000012
本発明の第１０実施形態による後処理部１２２０は、第１予測符号化単位１９００内部の変更しようとする第１ピクセルのピクセル値ｆ［ｉ］［ｊ］を、次の式（１３）ないし（１６）のうちいずれか一つを利用し、ｆ’［ｉ］［ｊ］に変更する。
【０１５０】
【数１０】
2011526770.tif 000013
式（１３）は、第１予測符号化単位の列単位で、ピクセル値を下方向にだんだんと増加させる値に変更するものであり、式（１４）は、第１予測符号化単位の行単位で、ピクセル値を右側に順次増加する値に変更するのである。式（１５）は、第１予測符号化単位の列単位で、各ピクセル値を下方向にだんだんと減少する値に変更することであり、式（１６）は、第１予測符号化単位の行単位で、各ピクセル値を右側にだんだんと減少する値に変更するものである。
【０１５１】
本発明の第１１実施形態による後処理部１２２０は、第１予測符号化単位内部の変更しようとするｉ列目及びｊ行目に位置した第１ピクセルのピクセル値を、ｆ［ｉ］［ｊ］、第１予測符号化単位の最左上側に位置したピクセルのピクセル値を、ｆ［０］［０］、第１ピクセルと同じｊ番目列に位置し、第１予測符号化単位の最上側行に位置したピクセルのピクセル値を、ｆ［０］［ｊ］、第１ピクセルと同じｉ行目に位置し、第１予測符号化単位の最左側列に位置したピクセルのピクセル値をｆ［ｉ］［０］、
【０１５２】
【数１１】
2011526770.tif 000014
とするとき、次の式（１７）のように、第１ピクセルのピクセル値をｆ’［ｉ］［ｊ］に変更する。
【０１５３】
【数１２】
2011526770.tif 000015
式（１７）は、一種の波動方程式（wave  equation）に基づいたものであり、第１予測符号化内部のピクセル値をスムージング（smoothing）するために、第１予測符号化単位の最上側行のピクセル値と、最左側１０のピクセル値とを境界条件としてＧ［ｉ］［ｊ］を計算し、Ｇ［ｉ］［ｊ］とｆ［ｉ］［ｊ］との平均値を計算することによって、第１予測符号化単位のピクセルのピクセル値を変更するのである。
【０１５４】
式（１７）は、一種の波動方程式に基づいたものであり、第１予測符号化内部のピクセル値をスムージングするために、第１予測符号化単位の最上側行のピクセル値と、最左側１０のピクセル値とを境界条件としてＧ［ｉ］［ｊ］を計算し、Ｇ［ｉ］［ｊ］とｆ［ｉ］［ｊ］との平均値を計算することによって、第１予測符号化単位のピクセルのピクセル値を変更するのである。
【０１５５】
本発明の第１実施形態ないし第１１実施形態のように、多様な演算モードを適用して生成された第２予測符号化単位を符号化したビット・ストリームのコストが比較され、最小コストを有する第２予測符号化単位を生成するのに利用された演算情報が、ビット・ストリームのヘッダ領域に付加される。演算情報をビット・ストリームに付加するとき、所定個数の符号化単位に対する符号化が完了した後、決定された演算情報の分布に基づいて、多く利用される演算情報に小ビットを割り当てる可変長符号化方式を適用することによって、互いに異なる演算を区分して表示できる。例えば、本発明の第１実施形態による演算が、ほとんどの符号化単位で最も小さいコストを発生させる最適の演算であるとするとき、第１実施形態による演算を示すインデックスに最小ビットを割り当て、第１実施形態による演算を、他の実施形態による演算と区別することができる。
【０１５６】
一方、符号化単位を、さらに小さいサブ符号化単位に分けて予測を行う場合、各サブ符号化単位別に互いに異なる演算を適用し、第２予測符号化単位を生成することもでき、計算を簡素化し、オーバーヘッドの比率を低くするために、同一の符号化単位に含まれるサブ符号化単位には、同じ演算を適用させることができる。
【０１５７】
最適の演算モードを決定するためのコストとしては、率・歪曲最適化（ＲＤ  optimization）方式が利用されうる。本発明の一実施形態による符号化方法は、他の符号化単位の参照データとして利用されるイントラ予測符号化単位に適用されるために、率・歪曲最適化方式で、歪曲値（distortion）に高い加重値を付与し、コストを計算することが望ましい。すなわち、従来の率・歪曲最適化方式は、次の式（１８）のように符号化された映像と原映像との差値である歪曲値、及び発生するビットレートに基づいてコストを計算する。
【０１５８】
Ｃｏｓｔ＝歪曲値（distortion）＋ビット率（bit-rate）      （１８）
これに対し、本発明の一実施形態による符号化方式では、次の式（１９）のように、従来の率・歪曲最適化方式に比べて、歪曲値にさらに高い加重値を割り当て、最適の演算モードを決定することが望ましい。
【０１５９】
Ｃｏｓｔ＝α＊歪曲値（distortion）＋ビット率（bit-rate）（αは、２以上の実数値）      （１９）
図２１は、本発明の一実施形態による映像符号化方法を示したフローチャートである。図２１を参照するに、段階２１１０で、符号化される現在符号化単位に係わる第１予測符号化単位を生成する。ここで、第１予測符号化単位は、一般的なイントラ予測方式、及び前述のように、符号化単位サイズによって多様な方向性を有するイントラ予測モードを適用して生成されたイントラ予測ブロックである。
【０１６０】
段階２１２０で、第１予測符号化単位を構成する各ピクセルと、少なくとも１つの周辺ピクセルとを利用して、第１予測符号化単位の各ピクセルのピクセル値を変更し、第２予測符号化単位を生成する。前述の後処理部１２２０の第１実施形態ないし第１１実施形態で説明したように、第１予測符号化単位の変更しようとするピクセルを中心に、その周辺ピクセルに多様な演算モードを適用し、第１予測符号化単位の各ピクセルのピクセル値を変更することによって、第２予測符号化単位を生成する。
【０１６１】
段階２１３０で、現在符号化単位と第２予測符号化単位との差値である残差を変換、量子化及びエントロピ符号化し、ビット・ストリームを生成する。生成されたビット・ストリームの所定領域には、第２予測符号化単位を生成するのに利用された演算情報を付加することにより、復号化装置で、現在符号化単位に係わる第２予測符号化単位を生成できるようにする。
【０１６２】
図２２は、本発明の一実施形態による映像復号化方法を示したフローチャートである。図２２を参照するに、段階２２１０で、受信されたビット・ストリームから、復号化される現在復号化単位の予測モード情報を抽出する。
【０１６３】
段階２２２０で、抽出された予測モード情報によって、現在復号化単位に係わる第１予測復号化単位を生成する。
【０１６４】
段階２２３０で、ビット・ストリームから、第１予測復号化単位を構成する各ピクセルと、各ピクセルの周辺ピクセルとを利用した演算情報を抽出する。
【０１６５】
段階２２４０で、抽出された演算情報によって、第１予測復号化単位を構成する各ピクセルと、各ピクセルの周辺ピクセルとを利用し、各ピクセルのピクセル値を変更し、第２予測復号化単位を生成する。
【０１６６】
段階２２５０で、ビット・ストリームから、現在復号化単位と第２予測復号化単位との差値に該当する残差を抽出して復元する。
【０１６７】
段階２２６０で、残差と第２予測復号化単位とを加算し、現在復号化単位を復号化する。
【０１６８】
本発明による映像の符号化、復号化方法はまた、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read-only  memory）、ＲＡＭ（random-access  memory）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などが含まれ、またコンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行されうる。
【０１６９】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明の本質的な特性から外れない範囲で変形された形態で具現されうることを理解できるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。
【図１】
2011526770.tif 000036
【図２】
2011526770.tif 000037
【図３】
2011526770.tif 000038
【図４】
2011526770.tif 000039
【図５】
2011526770.tif 000040
【図６】
2011526770.tif 000041
【図７】
2011526770.tif 000042
【図８】
2011526770.tif 000043
【図９】
2011526770.tif 000044
【図１０Ａ】
2011526770.tif 000045
【図１０Ｂ】
2011526770.tif 000046
【図１１】
2011526770.tif 000047
【図１２】
2011526770.tif 000048
【図１３】
2011526770.tif 000049
【図１４Ａ】
2011526770.tif 000050
【図１４Ｂ】
2011526770.tif 000051
【図１４Ｃ】
2011526770.tif 000052
【図１５】
2011526770.tif 000053
【図１６】
2011526770.tif 000054
【図１７】
2011526770.tif 000055
【図１８】
2011526770.tif 000056
【図１９】
2011526770.tif 000057
【図２０】
2011526770.tif 000058
【図２１】
2011526770.tif 000059
【図２２】
2011526770.tif 000060
【国際調査報告】
2011526770.tif 000061
2011526770.tif 000062
2011526770.tif 000063
2011526770.tif 000064