(57)【要約】  画像を構成する複数の色成分間の相関関係を利用して、何れか一つの色成分画像の動き予測情報または復元された一つの色成分画像から他の色成分画像を予測する画像の符号化方法及び装置、復号化方法及び装置を提供する。画像を構成する複数の色成分画像のうち所定の第１色成分画像は、一般的な画像符号化方式によって予測符号化を行って、他の残りの色成分画像は、動き予測及び補償を行うか、または復元された第１色成分画像から予測することを特徴とする画像符号化方法である。
2009518940.tif 000002
【特許請求の範囲】
【請求項１】
画像の符号化方法において、
入力画像の第１色成分画像の第１画素ブロックに対する予測符号化を行うステップと、
前記第１色成分画素ブロックに対応する少なくとも一つの他の色成分画素ブロックに対する動き予測を行って、前記少なくとも一つの他の色成分画素ブロックの第１予測画素ブロック候補を生成するステップと、
前記予測符号化された第１色成分画素ブロックを復元するステップと、
前記復元された第１色成分画素ブロックを利用して、前記少なくとも一つの他の色成分画素ブロックを予測して、前記少なくとも一つの他の色成分画素ブロックの第２予測画素ブロック候補を生成するステップと、
前記第１予測画素ブロック候補及び第２予測画素ブロック候補のうち一つを前記少なくとも一つの他の色成分画素ブロックの予測画素ブロックとして決定するステップと、を含むことを特徴とする符号化方法。
【請求項２】
前記色成分は、
Ｒ（赤）色成分、Ｇ（緑）色成分及びＢ（青）色成分であることを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記入力画像の第１色成分画像の第１画素ブロックに対する予測符号化を行うステップは、
前記第１色成分画素ブロックに対する動き予測及びイントラ予測のうち少なくとも一つを行って、前記第１色成分予測画素ブロックを生成するステップと、
前記生成された第１色成分予測画素ブロックと第１色成分原画素ブロックとの差である第１レジデューを生成するステップと、
前記第１レジデューを変換、量子化及びエントロピー符号化するステップと、をさらに含むことを特徴とする請求項１に記載の符号化方法。
【請求項４】
前記少なくとも一つの他の色成分画素ブロックの第１予測画素ブロック候補を生成するステップは、
前記第１色成分画素ブロックの予測符号化時に行われた動き予測結果、生成された前記第１色成分画素ブロックの動きベクトルを、前記他の色成分画素ブロックの動きベクトルに決定するステップと、
前記決定された動きベクトルが示す参照フレームの画素ブロックを、前記他の色成分画素ブロックの第１予測画素ブロック候補として決定するステップと、をさらに含むことを特徴とする請求項１に記載の符号化方法。
【請求項５】
前記予測符号化された第１色成分画素ブロックを復元するステップは、
前記第１レジデューを逆量子化及び逆変換するステップと、
前記逆量子化及び逆変換された第１レジデューと前記第１色成分予測画素ブロックとを合算して、前記第１色成分画素ブロックを復元するステップと、をさらに含むことを特徴とする請求項１に記載の符号化方法。
【請求項６】
前記少なくとも一つの他の色成分画素ブロックの第２予測画素ブロック候補を生成するステップは、
前記復元された第１色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復元された第１色成分画素ブロックの第ｉ行、第ｊ列に位置した復元された画素値を
【数１】
2009518940.tif 000019
前記
【数２】
2009518940.tif 000020
に対応する第２色成分画素ブロックの第２予測画素ブロック候補の予測画素値を
【数３】
2009518940.tif 000021
は、所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数４】
2009518940.tif 000022
を利用して、前記第２色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項１に記載の符号化方法。
【請求項７】
前記ａ及びｂは、
第１色成分周辺画素ブロックの復元された画素値を利用して予測された第２色成分周辺画素ブロックの予測画素値と前記第２色成分周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項６に記載の符号化方法。
【請求項８】
前記ａは、１であり、前記ｂは、前記第２色成分周辺画素ブロックの復元された画素値と前記第１色成分周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項６に記載の符号化方法。
【請求項９】
前記ａ及びｂは、
前記第２色成分画素ブロックの原画素値
【数５】
2009518940.tif 000023
と前記第２色成分画素ブロックの第２予測画素ブロック候補の予測画素値
【数６】
2009518940.tif 000024
との絶対値差の和を最小にする値であることを特徴とする請求項６に記載の符号化方法。
【請求項１０】
前記ａは、１であり、前記ｂは、第２色成分画素ブロックの原画素値
【数７】
2009518940.tif 000025
と前記第１色成分画素ブロックの復元された画素値
【数８】
2009518940.tif 000026
との差の平均であることを特徴とする請求項６に記載の符号化方法。
【請求項１１】
前記ａ及びｂは、
線形回帰モデルに基にして決定されることを特徴とする請求項６に記載の符号化方法。
【請求項１２】
前記少なくとも一つの他の色成分画素ブロックの第２予測画素ブロック候補を生成するステップは、
前記復元された第１色成分画素ブロックを利用して、前記第２色成分画素ブロックの第２予測画素ブロック候補を生成し、復元された第２色成分画素ブロックを利用して、第３色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項６に記載の符号化方法。
【請求項１３】
前記少なくとも一つの他の色成分画素ブロックの第２予測画素ブロック候補を生成するステップは、
前記復元された第２色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復元された第２色成分画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【数９】
2009518940.tif 000027
前記
【数１０】
2009518940.tif 000028
に対応する第３色成分画素ブロックの第２予測画素ブロック候補の予測画素値を
【数１１】
2009518940.tif 000029
は、所定の加重値、ｄは、所定のオフセット値とするとき、次の数式；
【数１２】
2009518940.tif 000030
を利用して、前記第３色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項１２に記載の符号化方法。
【請求項１４】
前記ｃ及びｄは、
前記第２色成分周辺画素ブロックの復元された画素値を利用して予測された前記第３色成分周辺画素ブロックの予測画素値と、前記第３色成分周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項１３に記載の符号化方法。
【請求項１５】
前記ｃは、１であり、前記ｄは、前記第３色成分周辺画素ブロックの復元された画素値と前記第２色成分周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項１３に記載の符号化方法。
【請求項１６】
前記ｃ及びｄは、
前記第３色成分画素ブロックの原画素値
【数１３】
2009518940.tif 000031
と前記第３色成分画素ブロックの第２予測画素ブロック候補の予測画素値
【数１４】
2009518940.tif 000032
との絶対値差の和を最小にする値であることを特徴とする請求項１３に記載の符号化方法。
【請求項１７】
前記ｃは、１であり、前記ｄは、第３色成分画素ブロックの原画素値
【数１５】
2009518940.tif 000033
と前記第２色成分画素ブロックの復元された画素値
【数１６】
2009518940.tif 000034
との差の平均であることを特徴とする請求項１３に記載の符号化方法。
【請求項１８】
画像符号化装置において、
入力画像のうち、以前に予測符号化された第１色成分画像の第１色成分画素ブロックに対応する少なくとも一つの他の色成分画素ブロックに対する動き予測を行って、前記他の色成分画素ブロックの第１予測画素ブロック候補を生成する第１予測画素ブロック候補生成部と、
前記予測符号化された第１色成分画素ブロックを復元する復元部と、
前記復元された第１色成分画素ブロックを利用して、前記他の色成分画素ブロックを予測して、前記他の色成分画素ブロックの第２予測画素ブロック候補を生成する第２予測画素ブロック候補生成部と、
前記第１予測画素ブロック候補及び前記第２予測画素ブロック候補のうち一つを、前記他の色成分画素ブロックの予測画素ブロック候補として決定する決定部と、を備えることを特徴とする符号化装置。
【請求項１９】
前記色成分は、
Ｒ色成分、Ｇ色成分及びＢ色成分であることを特徴とする請求項１８に記載の符号化装置。
【請求項２０】
前記第１予測画素ブロック候補生成部は、
前記第１色成分画素ブロックの予測符号化時に行われた動き予測結果として、生成された前記第１色成分画素ブロックの動きベクトルと同じ動きベクトルを、前記残りの色成分画素ブロックの動きベクトルと決定し、前記決定された動きベクトルが示す参照フレームの画素ブロックを、前記残りの色成分画素ブロックの第１予測画素ブロック候補として決定することを特徴とする請求項１８に記載の符号化装置。
【請求項２１】
前記第２予測画素ブロック候補生成部は、
前記復元された第１色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復元された第１色成分画素ブロックの第ｉ行、第ｊ列に位置した復元された画素値を
【数１７】
2009518940.tif 000035
前記
【数１８】
2009518940.tif 000036
に対応する第２色成分画素ブロックの第２予測画素ブロック候補の予測画素値を
【数１９】
2009518940.tif 000037
は、所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数２０】
2009518940.tif 000038
を利用して、前記第２色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項１８に記載の符号化装置。
【請求項２２】
前記ａ及びｂは、
第１色成分周辺画素ブロックの復元された画素値を利用して予測された第２色成分周辺画素ブロックの予測画素値と前記第２色成分周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項２１に記載の符号化装置。
【請求項２３】
前記ａは、１であり、前記ｂは、前記第２色成分周辺画素ブロックの復元された画素値と前記第１色成分周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項２１に記載の符号化装置。
【請求項２４】
前記ａ及びｂは、
前記第２色成分画素ブロックの原画素値
【数２１】
2009518940.tif 000039
と前記第２色成分画素ブロックの第２予測画素ブロック候補の予測画素値
【数２２】
2009518940.tif 000040
との絶対値差の和を最小にする値であることを特徴とする請求項２１に記載の符号化装置。
【請求項２５】
前記ａは、１であり、前記ｂは、第２色成分画素ブロックの原画素値
【数２３】
2009518940.tif 000041
と前記第１色成分画素ブロックの復元された画素値
【数２４】
2009518940.tif 000042
との差の平均であることを特徴とする請求項２１に記載の符号化装置。
【請求項２６】
前記ａ及びｂは、
線形回帰モデルに基にして決定されることを特徴とする請求項２１に記載の符号化装置。
【請求項２７】
前記第２予測画素ブロック候補生成部は、
前記復元された第１色成分画素ブロックを利用して、第２色成分画素ブロックの第２予測画素ブロック候補を生成し、復元された第２色成分画素ブロックを利用して、第３色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項２１に記載の符号化装置。
【請求項２８】
前記第２予測画素ブロック候補生成部は、
前記復元された第２色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復元された第２色成分画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【数２５】
2009518940.tif 000043
前記
【数２６】
2009518940.tif 000044
に対応する第３色成分画素ブロックの第２予測画素ブロック候補の予測画素値を
【数２７】
2009518940.tif 000045
は、所定の加重値、ｄは、所定のオフセット値とするとき、次の数式；
【数２８】
2009518940.tif 000046
を利用して、前記第３色成分画素ブロックの第２予測画素ブロック候補を生成することを特徴とする請求項２７に記載の符号化装置。
【請求項２９】
前記ｃ及びｄは、
前記第２色成分周辺画素ブロックの復元された画素値を利用して予測された前記第３色成分周辺画素ブロックの予測画素値と前記第３色成分周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項２８に記載の符号化装置。
【請求項３０】
前記ｃは、１であり、前記ｄは、前記第３色成分周辺画素ブロックの復元された画素値と前記第２色成分周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項２８に記載の符号化装置。
【請求項３１】
前記ｃ及びｄは、
前記第３色成分画素ブロックの原画素値
【数２９】
2009518940.tif 000047
と前記第３色成分画素ブロックの第２予測画素ブロック候補の予測画素値
【数３０】
2009518940.tif 000048
との絶対値差の和を最小にする値であることを特徴とする請求項２８に記載の符号化装置。
【請求項３２】
前記ｃは、１であり、前記ｄは、第３色成分画素ブロックの原画素値
【数３１】
2009518940.tif 000049
と前記第２色成分画素ブロックの復元された画素値
【数３２】
2009518940.tif 000050
との差の平均であることを特徴とする請求項２８に記載の符号化装置。
【請求項３３】
画像の復号化方法において、
入力ビットストリームに備えられた第１色成分画像の第１色成分画素ブロックを復号化するステップと、
前記ビットストリームに備えられた予測モード情報によって、前記第１色成分画素ブロックに対応する少なくとも一つの他の色成分画素ブロックに対する動き補償、及び前記復号化された第１色成分画素ブロックを利用した予測のうち少なくとも一つを通じて、前記他の色成分画素ブロックの予測画素ブロックを生成するステップと、
前記生成された他の色成分画素ブロックの予測画素ブロックを利用して、前記他の色成分画素ブロックを復号化するステップと、を含むことを特徴とする復号化方法。
【請求項３４】
前記色成分は、
Ｒ色成分、Ｇ色成分及びＢ色成分であることを特徴とする請求項３３に記載の復号化方法。
【請求項３５】
前記第１色成分画像の第１色成分画素ブロックを復号化するステップは、
前記第１色成分画素ブロックの第１レジデューを復号化するステップと、
前記第１色成分画素ブロックの予測モードによって、イントラ予測及び動き補償のうち少なくとも一つを行って、前記第１色成分画素ブロックの予測画素ブロックを生成するステップと、
前記復号化された第１レジデューと前記第１色成分画素ブロックの予測画素ブロックとを合算して、前記第１色成分画素ブロックを復号化するステップと、をさらに含むことを特徴とする請求項３３に記載の復号化方法。
【請求項３６】
前記他の色成分画素ブロックの予測画素ブロックを生成するステップは、
前記他の色成分画素ブロックに対する動き補償時に、前記第１色成分画素ブロックの動きベクトルを、前記他の色成分画素ブロックの動きベクトルに決定し、前記決定された動きベクトルが示す参照フレームの画素ブロックを、前記他の色成分画素ブロックの予測画素ブロックに決定することを特徴とする請求項３３に記載の復号化方法。
【請求項３７】
前記他の色成分画素ブロックの予測画素ブロックを生成するステップは、
前記復号化された第１色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復号化された第１色成分画素ブロックの第ｉ行、第ｊ列に位置した復号化された画素値を
【数３３】
2009518940.tif 000051
前記
【数３４】
2009518940.tif 000052
に対応する第２色成分画素ブロックの予測画素ブロックの予測画素値を
【数３５】
2009518940.tif 000053
は、所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数３６】
2009518940.tif 000054
を利用して、前記第２色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項３３に記載の復号化方法。
【請求項３８】
前記ａ及びｂは、
前記画像の符号化時に前記ビットストリームに挿入されて伝送されることを特徴とする請求項３７に記載の復号化方法。
【請求項３９】
前記他の色成分画素ブロックの予測画素ブロックを生成するステップは、
前記他の色成分画素ブロックのうち、前記第２色成分画素ブロックに対して、前記復号化された第１色成分画素ブロックを利用して、第２色成分画素ブロックの予測画素ブロックを生成し、前記他の色成分画素ブロックのうち、第３色成分画素ブロックに対しては、復号化された第２色成分画素ブロックを利用して、前記第３色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項３３に記載の復号化方法。
【請求項４０】
前記他の色成分画素ブロックの予測画素ブロックを生成するステップは、
前記復号化された第２色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復号化された第２色成分画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【数３７】
2009518940.tif 000055
前記
【数３８】
2009518940.tif 000056
に対応する第３色成分画素ブロックの予測画素ブロックの予測画素値を
【数３９】
2009518940.tif 000057
は、所定の加重値、ｄは、所定のオフセット値とするとき、次の数式；
【数４０】
2009518940.tif 000058
を利用して、前記第３色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項３９に記載の復号化方法。
【請求項４１】
前記ｃ及びｄは、
前記画像の符号化時に、前記ビットストリームに挿入されて伝送されることを特徴とする請求項４０に記載の復号化方法。
【請求項４２】
前記生成された他の色成分画素ブロックの予測画素ブロックを利用して、前記他の色成分画素ブロックを復号化するステップは、
前記ビットストリームに備えられた他の色成分画素ブロックのレジデューと前記他の色成分画素ブロックの予測画素ブロックとを合算して、前記他の色成分画素ブロックを復号化することを特徴とする請求項３３に記載の復号化方法。
【請求項４３】
画像の復号化装置において、
入力ビットストリームに備えられた第１色成分画像の第１色成分画素ブロックを復号化する第１復号化部と、
前記ビットストリームに備えられた予測モード情報によって、前記第１色成分画素ブロックに対応する少なくとも一つの他の色成分画素ブロックに対する動き補償、及び前記復号化された第１色成分画素ブロックを利用した予測のうち少なくとも一つを通じて、前記他の色成分画素ブロックの予測画素ブロックを生成する予測画素ブロック生成部と、
前記生成された他の色成分画素ブロックの予測画素ブロックを利用して、他の色成分画像の画素ブロックを復号化する第２復号化部と、を備えることを特徴とする復号化装置。
【請求項４４】
前記色成分は、
Ｒ色成分、Ｇ色成分及びＢ色成分であることを特徴とする請求項４３に記載の復号化装置。
【請求項４５】
前記第１復号化部は、
前記第１色成分画素ブロックの第１レジデューを復号化し、前記第１色成分画素ブロックの予測モードによってイントラ予測または動き補償を行って、前記第１色成分画素ブロックの予測画素ブロックを生成し、前記復号化された第１レジデューと前記第１色成分画素ブロックの予測画素ブロックとを合算して、前記第１色成分画素ブロックを復号化することを特徴とする請求項４３に記載の復号化装置。
【請求項４６】
前記予測画素ブロック生成部は、
前記他の色成分画素ブロックに対する動き補償時に、前記第１色成分画素ブロックの動きベクトルを、前記他の色成分画素ブロックの動きベクトルに決定し、前記決定された動きベクトルが示す参照フレームの画素ブロックを、前記予測画素ブロックに決定することを特徴とする請求項４３に記載の復号化装置。
【請求項４７】
前記予測画素ブロック生成部は、
前記復号化された第１色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復号化された第１色成分画素ブロックの第ｉ行、第ｊ列に位置した復号化された画素値を
【数４１】
2009518940.tif 000059
前記
【数４２】
2009518940.tif 000060
に対応する第２色成分画素ブロックの予測画素ブロックの予測画素値を
【数４３】
2009518940.tif 000061
は、所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数４４】
2009518940.tif 000062
を利用して、前記第２色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項４３に記載の復号化装置。
【請求項４８】
前記ａ及びｂは、
前記画像の符号化時に、前記ビットストリームに挿入されて伝送されることを特徴とする請求項４７に記載の復号化装置。
【請求項４９】
前記予測画素ブロック生成部は、
前記他の色成分画素ブロックのうち前記第２色成分画素ブロックに対して、前記復号化された第１色成分画素ブロックを利用して第２色成分画素ブロックの予測画素ブロックを生成し、前記他の色成分画素ブロックのうち第３色成分画素ブロックに対しては、復号化された第２色成分画素ブロックを利用して前記第３色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項４３に記載の復号化装置。
【請求項５０】
前記予測画素ブロック生成部は、
前記復号化された第２色成分画素ブロックのサイズをｉ×ｊ（ｉ,ｊは、整数）、前記復号化された第２色成分画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【数４５】
2009518940.tif 000063
前記
【数４６】
2009518940.tif 000064
に対応する第３色成分画素ブロックの予測画素ブロックの予測画素値を
【数４７】
2009518940.tif 000065
は、所定の加重値、ｄは、所定のオフセット値とするとき、次の数式；
【数４８】
2009518940.tif 000066
を利用して、前記第３色成分画素ブロックの予測画素ブロックを生成することを特徴とする請求項４９に記載の復号化装置。
【請求項５１】
前記ｃ及びｄは、
前記画像の符号化時に前記ビットストリームに挿入されて伝送されることを特徴とする請求項５０に記載の復号化装置。
【請求項５２】
前記第２復号化部は、
前記ビットストリームに備えられた他の色成分画素ブロックのレジデューと前記残りの色成分画素ブロックの予測画素ブロックとを合算して、前記残りの色成分画素ブロックを復号化することを特徴とする請求項４３に記載の復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化及び復号化に係り、さらに詳細には、画像を構成する複数の色成分間の相関関係を利用して、何れか一つの色成分画像の動き予測情報または復元された一つの色成分画像から他の色成分画像を予測することによって符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置に関する。
【背景技術】
【０００２】
一般的に、画像を取得するとき、最初画像は、ＲＧＢ（赤,緑,青）カラーフォーマット形態で取得される。ＲＧＢカラーフォーマット画像を符号化する時には、一般的にＹＵＶ（あるいはＹＣｂＣｒ）などのカラーフォーマットに変換する。このとき、Ｙは、白黒画像であって輝度成分を有し、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）は、色成分を有する。ＲＧＢ画像では、情報がＲ、Ｇ及びＢ成分に均一に分布されているが、ＹＵＶ（あるいはＹＣｂＣｒ）画像では、情報がＹ成分に集中し、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）成分には、情報の量が減る。したがって、圧縮する場合、圧縮効率が高まるという長所がある。圧縮効率をさらに改善するために、一般的に、ＹＵＶ（あるいはＹＣｂＣｒ）画像の色度成分Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）を１／４の大きさにサンプリングして構成したＹＵＶ（あるいはＹＣｂＣｒ）４：２：０画像を使用する。
【０００３】
しかし、ＹＵＶ（あるいはＹＣｂＣｒ）４：２：０画像で、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）を１／４の大きさにサンプリングするのは、色相歪曲が発生して高画質の応用には適していない。したがって、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）のサンプリング過程のないＹＵＶ（あるいはＹＣｂＣｒ）４：４：４画像を効果的に符号化する方法が必要である。最近には、ＲＧＢ画像をＹＵＶ（あるいはＹＣｂＣｒ）に変換する時に発生する色相歪曲を除去するために、ＲＧＢ４：４：４画像を直接符号化するレジデュアル色変換（Ｒｅｓｉｄｕａｌ  Ｃｏｌｏｒ  Ｔｒａｎｓｆｏｒｍ：ＲＣＴ）という技術が提案された。
【０００４】
このように、ＹＵＶ（あるいはＹＣｂＣｒ）４：４：４及びＲＧＢ４：４：４画像のように、色成分間に同じ解像度を有する画像を直ぐ符号化する場合、従来の符号化方法を適用すれば、符号化効率が低下する。したがって、ＹＵＶ（あるいはＹＣｂＣｒ）４：４：４画像を符号化するか、またはＲＧＢ入力画像をＹＵＶ（あるいはＹＣｂＣｒ）に変換せず、そのままＲＧＢドメインで符号化するとき、画像の統計的特性に合せて予測を行って、高画質を維持しつつも符号化効率を高めうる方案が必要である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、ＲＧＢカラーフォーマット入力画像を他のカラーフォーマットに変換せず、ＲＧＢ各色成分間の相関関係を考慮して、ＲＧＢのうち何れか一つの色成分の動き予測情報または復元された一つの色成分画像から他の色成分の画像を予測することによって符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
前記課題を解決するための本発明による画像の符号化方法は、（ａ）入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行うステップと、（ｂ）前記第１色成分画素ブロックに対応する残りの色成分画素ブロックに対する動き予測を行って、前記残りの色成分画素ブロックの第１予測画素ブロック候補を生成するステップと、（ｃ）前記予測符号化された第１色成分画素ブロックを復元するステップと、（ｄ）前記復元された第１色成分画素ブロックを利用して、前記残りの色成分画素ブロックを予測して、第２予測画素ブロック候補を生成するステップと、（ｅ）前記第１予測画素ブロック候補及び第２予測画素ブロック候補のうち一つを、前記残りの色成分画素ブロックの予測画素ブロックに決定するステップと、を含むことを特徴とする。
【０００７】
本発明による画像符号化装置は、入力画像に備えられた少なくとも２つの色成分の画像のうち、以前に予測符号化された第１色成分画像の所定サイズの画素ブロックに対応する残りの色成分画素ブロックに対する動き予測を行って、前記残りの色成分画素ブロックの第１予測画素ブロック候補を生成する第１予測画素ブロック候補生成部と、前記予測符号化された第１色成分画素ブロックを復元する復元部と、前記復元された第１色成分画素ブロックを利用して、前記残りの色成分画素ブロックを予測して、前記残りの色成分画素ブロックの第２予測画素ブロック候補を生成する第２予測画素ブロック候補生成部と、前記第１予測画素ブロック候補及び前記第２予測画素ブロック候補のうち一つを、前記残りの色成分画素ブロックの予測画素ブロック候補に決定する決定部と、を備えることを特徴とする。
【０００８】
本発明による画像の復号化方法は、（ａ）入力ビットストリームに備えられた少なくとも２つの色成分の符号化された画像のうち、第１色成分画像の所定サイズの画素ブロックを復号化するステップと、（ｂ）前記ビットストリームに備えられた予測モード情報によって、前記第１色成分画素ブロックに対応する残りの色成分画素ブロックに対する動き予測、または前記復号化された第１色成分画素ブロックを利用した予測を通じて、前記残りの色成分画素ブロックの予測画素ブロックを生成するステップと、（ｃ）前記生成された残りの色成分画素ブロックの予測画素ブロックを利用して、前記残りの色成分画素ブロックを復号化するステップと、を含むことを特徴とする。
【０００９】
本発明による画像の復号化装置は、入力ビットストリームに備えられた少なくとも２つの色成分の符号化された画像のうち、第１色成分画像の所定サイズの画素ブロックを復号化する第１復号化部と、前記ビットストリームに備えられた予測モード情報によって、前記第１色成分画素ブロックに対応する残りの色成分画素ブロックに対する動き予測、または前記復号化された第１色成分画素ブロックを利用した予測を通じて、前記残りの色成分画素ブロックの予測画素ブロックを生成する予測画素ブロック生成部と、前記生成された残りの色成分画素ブロックの予測画素ブロックを利用して、残りの色成分画像の画素ブロックを復号化する第２復号化部と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、一つの画像を構成する複数の色成分画像間の相関関係を利用して予測符号化を行うことによって、画像の符号化効率を向上させうる。
【００１１】
また、本発明によれば、ＲＧＢ入力画像をＹＵＶドメインに変換せず、入力画像そのままＲＧＢドメインで符号化を行うことによって、ＲＧＢ入力画像を他のカラーフォーマットに変換する過程中に発生する色相の歪曲を防止して、画像の品質を向上させうる。
【発明を実施するための最良の形態】
【００１２】
以下、添付された図面を参照して、本発明の望ましい実施形態について詳細に説明する。
【００１３】
図１Ａないし図１Ｃは、それぞれ一つのカラー画像を構成するＲ（赤）色成分画像、Ｇ（緑）色成分画像及びＢ（青）色成分画像の一例を示す図であり、図２Ａは、図１Ｂ及び図１ＣのＧ色成分画像とＢ色成分画像との相関関係を示すグラフであり、図２Ｂは、図１Ａ及び図１ＢのＲ色成分画像とＧ色成分画像との相関関係を示すグラフである。
【００１４】
一般的に、カラー画像を符号化する時に、それぞれの色成分画像別に予測符号化を行って、それぞれの色成分内で重複される情報を除去する。図１Ａないし図１Ｃを参照するに、一つのカラー画像を構成する同一位置のＲＧＢ色成分画像の画素値は、類似した画素値を有し、これは、図２Ａ及び図２Ｂに示された相関関係グラフを通じて再確認しうる。また、動き予測及び補償を行った後のＲＧＢ色成分画像の各画素ブロック間にも強い相関関係が存在する。
【００１５】
したがって、本発明は、画像を構成する複数の色成分画像のうち、所定の第１色成分画像は、一般的な画像符号化方式、例えば、Ｈ.２６４規格によって予測符号化を行った後、それぞれの色成分画像間の相関関係を考慮して、第１色成分画像の動き予測結果として生成された動きベクトルを利用して、他の残りの色成分画像の動き予測及び補償を行うか、または復元された第１色成分画像から他の残りの色成分画像を予測する符号化方法及び装置を提供する。一例として、画像がＲＧＢの３つの色成分を含んでいるならば、本発明による画像符号化方法及び装置は、まずＧ色成分画像を予測符号化し、Ｇ色成分画像の動き予測時に決定された動きベクトルと同じ動きベクトルを利用して、対応するＲ色成分画像及びＢ色成分画像の動き予測及び補償を行うか、または復元されたＧ色成分画像を利用して、Ｒ色成分画像及びＢ色成分画像を予測するか、または復元されたＧ色成分画像を利用してＲ色成分画像を予測し、復元されたＲ色成分画像を利用してＢ色成分画像を予測する。前述した例で色成分画像の符号化順序は、前記例に限定されず、いくらでも変更される。
【００１６】
また、他の実施形態として、本発明による画像符号化方法及び装置は、まずＧ色成分画像を予測符号化した後、Ｒ色成分画像及びＢ色成分画像に対して動き予測及び補償を行うか、または復元されたＧ色成分画像を利用して、Ｒ色成分画像及びＢ色成分画像を予測する。あるいは、まずＧ色成分画像を予測符号化した後、Ｒ色成分画像及びＢ色成分画像に対して動き予測及び補償を行うか、または復元されたＧ色成分画像を利用してＲ色成分画像を予測し、復元されたＲ色成分画像を利用してＢ色成分画像を予測する。前述した例で、色成分画像の符号化順序は、前記例に限定されず、いくらでも変更される。
【００１７】
図３は、本発明の望ましい実施形態による画像符号化装置の構成を示すブロック図である。以下では、説明の便宜のために、Ｈ.２６４規格による画像符号化装置を中心に説明するが、本発明による画像符号化装置は、レジデューコーディングを行う他の画像符号化装置にも適用可能である。図３を参照するに、画像符号化装置３００は、動き推定部３０２、動き補償部３０４、イントラ予測部３０６、減算部３０７、変換部３０８、量子化部３０９、再整列部３１０、エントロピーコーディング部３１１、逆量子化部３１２、逆変換部３１３、予測画素ブロック生成部３１４、加算部３１５、フィルタ３１６、フレームメモリ３１７及び制御部３１８を備える。
【００１８】
動き推定部３０２及び動き補償部３０４は、現在画素ブロックの予測画素ブロックを以前または以後の参照フレームで探索するインター予測を行う。動き推定部３０２は、第１色成分画像の所定サイズの画素ブロックに対する動き予測結果として決定された動きベクトルを、動き補償部３０４と予測画素ブロック生成部３１４とに伝達する。後述するように、第１色成分画素ブロックの動きベクトルは、第１色成分画素ブロックに対応する残りの色成分画素ブロックの動き予測及び補償のための動きベクトルとして利用される。前述したように、第１色成分画素ブロックの動きベクトルを使用せず、残りの色成分画素ブロックの動き予測を通じて動きベクトルを生成することも可能である。
【００１９】
イントラ予測部３０６は、現在画素ブロックの予測画素ブロックを現在フレームから予測するイントラ予測を行う。具体的に、イントラ予測部３０６は、第１色成分画像を所定サイズの画素ブロックに分割する。そして、イントラ予測部３０６は、分割された第１色成分画素ブロックに対して、そのサイズによって利用可能なイントラ予測モード、例えば、イントラ１６×１６予測モード、イントラ４×４予測モード、イントラ８×８予測モードによってイントラ予測を行う。
【００２０】
減算部３０７は、入力された第１色成分の原画像の該当画素ブロックからインター予測またはイントラ予測を通じて生成された予測画素ブロックを差し引いて第１レジデューを生成する。生成された第１レジデューは、変換部３０８によって周波数領域に変換され、量子化部３０９で量子化される。量子化された第１レジデュー成分の変換係数は、再整列部３１０で再整列された後、エントロピーコーディング部３１４によって符号化されてビットストリーム形態で出力される。
【００２１】
変換及び量子化された第１レジデューは、逆量子化部３１２と逆変換部３１３とを通じて逆量子化及び逆変換される。加算部３１５は、逆量子化及び逆変換された第１レジデューと第１色成分予測画素ブロックとを合算して第１色成分画素ブロックを復元する。このように復元された第１色成分画像は、デブロッキングフィルタリングを行うフィルタ３１６を経た後、フレームメモリ３１７に保存され、次のフレームに対するインター予測に使われる。また、復元された第１色成分画素ブロックは、次の画素ブロックのイントラ予測のために、イントラ予測部３０６に入力されて参照値として利用される。また、復元された第１色成分画素ブロックは、残りの色成分画素ブロックの予測のために、予測画素ブロック生成部３１４に入力される。
【００２２】
図４は、図３の予測画素ブロック生成部３１４の構成を具体的に示すブロック図である。
【００２３】
予測画素ブロック生成部３１４は、カラー画像を構成する色成分画像の相関関係を利用して、第１色成分画像の動き予測結果として生成された動きベクトルを利用して他の残りの色成分画像の動き予測及び補償を行うことによって、残りの色成分画素ブロックの第１予測画素ブロック候補を生成し、復元された第１色成分画像から残りの色成分画素ブロックの第２予測画素ブロック候補を生成し、生成された第１予測画素ブロック候補と第２予測画素ブロック候補とのコストを比較して、残りの色成分画素ブロックの最終予測画素ブロックを決定して出力する。
【００２４】
図４を参照するに、予測画素ブロック生成部３１４は、第１予測画素ブロック候補生成部３１４ａ、第２予測画素ブロック候補生成部３１４ｂ及び決定部３１４ｃを備える。
【００２５】
第１予測画素ブロック候補生成部３１４ａは、動き推定部３０２から入力される第１色成分画素ブロックの動きベクトルを利用して、第１色成分画素ブロックに対応する残りの色成分画素ブロックの動き予測及び補償を行って、残りの色成分画素ブロックの第１予測画素ブロック候補を生成する。前述したように、残りの色成分画素ブロック自身の動き予測及び補償を行って、残りの色成分画素ブロックの第１予測画素ブロック候補を生成することもできる。
【００２６】
第２予測画素ブロック候補生成部３１４ｂは、復元された第１色成分画像の所定サイズの画素ブロックから対応する残りの色成分画素ブロックを予測する。前述した図２Ａ及び図２Ｂを参照するに、カラー画像を構成する色成分画像の画素値は、相互相関関係を有し、これを１次関数として線形モデリングしうる。第２予測画素ブロック候補生成部３１４ｂは、線形的なモデリング過程を通じて生成された予測子を利用して、第１色成分画素ブロックの復元された画素値を媒介変数として復元された第１色成分画素ブロックに対応する残りの色成分画素ブロックの第２予測画素ブロック候補を生成する。復元された第１色成分画像の画素ブロックから残りの色成分画素ブロックの予測のための線形モデリング過程の具体的な内容は、後述する。
【００２７】
第２予測画素ブロック候補生成部３１４ｂは、ＲＧＢカラー入力画像のように、３個以上の色成分を含んでいる入力画像を予測符号化するとき、残りの第２及び第３色成分画素ブロックの何れも、復元された第１色成分画像の画素ブロックを利用して予測することによって、第２及び第３色成分画素ブロックそれぞれの第２予測画素ブロック候補を生成することもでき、または第２色成分画素ブロックの第２予測画素ブロック候補は、復元された第１色成分画素ブロックから予測し、第３色成分画素ブロックの第２予測画素ブロック候補は、復元された第２色成分画素ブロックから生成することもできる。すなわち、第２予測画素ブロック候補生成部３１４ｂは、復元された第１色成分画素ブロックから残りの色成分画素ブロックの第２予測画素ブロック候補を生成するか、または以前に処理されて復元された残りの色成分画素ブロックから他の残りの色成分画素ブロックの第２予測画素ブロック候補を生成することもできる。
【００２８】
決定部３１４ｃは、残りの色成分画素ブロックの第１予測画素ブロック候補と第２予測画素ブロック候補とのコストを比較して、残りの色成分画素ブロックの最終予測画素ブロックを決定する。一例として、決定部３１４ｃは、公知のビット率−歪曲コストを適用して、第１及び第２予測画素ブロック候補のそれぞれに対して、ビット量及び画質の歪曲を計算して、この二つの値を合算した値の最も小さい予測画素ブロック候補を最終予測画素ブロックに決定する。このとき、ビット量は、変換及び量子化を経た後、エントロピー符号化してビット量を計算でき、画質の歪曲は、画像を復元して原本画像との差値を自乗して合算した値の平均を使用しうる。また、他の実施形態として、演算量を減らすために、歪曲コストのみを比較して最終予測画素ブロックを選定しうる。
【００２９】
再び、図３を参照するに、減算部３０７は、第２及び第３色成分の原画像の画素ブロックから、予測画素ブロック生成部３１４で生成された第２及び第３色成分予測画素ブロックを差し引いて第２及び第３レジデューを生成する。第２及び第３レジデューは、前述した第１レジデューと同様に変換、量子化及びエントロピー符号化過程を経て符号化されてビットストリーム形態で出力される。
【００３０】
また、変換及び量子化された第２及び第３レジデューは、逆量子化部３１２と逆変換部３１３とを通じて逆量子化及び逆変換され、加算部３１５は、逆量子化及び逆変換された第２及び第３レジデューと、予測画素ブロック生成部３１４で生成された第２及び第３色成分予測画素ブロックとを合算して、第２及び第３色成分画素ブロックを復元する。このように復元された第２及び第３色成分画像は、デブロッキングフィルタリングを行うフィルタ３１６を経た後、フレームメモリ３１７に保存され、次のフレームに対するインター予測に使われる。復元された第２色成分画像の画素ブロックから第３色成分画素ブロックを予測する場合には、加算部３１５で復元された第２色成分画素ブロックは、さらに予測画素ブロック生成部３１４に入力される。
【００３１】
制御部３１８は、画像符号化装置３００の各構成要素を制御する一方、現在画素ブロックの予測モードを決定する。具体的に、制御部３１８は、インター予測された画像、イントラ予測された画像、及び本発明によっての色成分画像の相関関係を利用して、予測された画像のコストを計算し、予測された画像中で最も小さいコストを有する予測モードを最終的な予測モードに決定する。制御部３１８は、本発明によって予測された画像のコストが所定の臨界値より大きい場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて、各色成分画像を符号化するように選択しうる。
【００３２】
また、制御部３１８は、図２Ａ及び図２Ｂに示したような各色成分画像間の相関関係を表す基準値を計算し、各色成分画像間の基準値が所定臨界値以下である場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて、各色成分画像を符号化するように選択しうる。ここで、基準値としては、各色成分間の散布度を表す分散や標準偏差が利用される。
【００３３】
図５は、本発明の望ましい一実施形態による画像の符号化方法を示すフローチャートである。以下、図３ないし図５を参照して、本発明による画像符号化装置の動作及び画像符号化方法について説明する。
【００３４】
ステップ５１０で、イントラ予測部３０６は、入力された複数の色成分を有する入力画像のうち、選択された第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う。前述したように、動き推定部３０２及び動き補償部３０４は、第１色成分画素ブロックに対する動き予測及び補償を行って、第１色成分画素ブロックの時間的予測画素ブロックを生成し、イントラ予測部３０６は、第１色成分画素ブロックに対するイントラ予測を行って、空間的予測画素ブロックを生成する。制御部３１８は、第１色成分画素ブロックの時間的予測画素ブロック及び空間的予測画素ブロックに対して、ビット量及び画質の歪曲を計算して、最低コストを有する予測画素ブロックを第１色成分画素ブロックの最終予測画素ブロックに決定する。決定された最終予測画素ブロックと第１色成分原画素ブロックとの差である第１レジデューは、変換、量子化及びエントロピー符号化を経てビットストリーム形態で出力される。
【００３５】
ステップ５２０で、予測画素ブロック生成部３１４の第１予測画素ブロック候補生成部３１４ａは、動き推定部３０２から入力された第１色成分画素ブロックの動きベクトルを、第１色成分画素ブロックに対応する残りの色成分画素ブロックの動きベクトルに決定し、決定された残りの色成分画素ブロックの動きベクトルが示す参照フレームの画素ブロックを、残りの色成分画素ブロックの第１予測画素ブロック候補に決定する。
【００３６】
図６Ａ及び図６Ｂは、図４の第１予測画素ブロック候補生成部３１４ａで残りの色成分画素ブロックの第１予測画素ブロック候補生成過程を説明するための図である。図６Ａで、６１０は、Ｇ色成分現在フレームＧｔで符号化されるＧ色成分画素ブロックを表し、６１１は、Ｇ色成分画素ブロック６１０の動き予測時に参照されるＧ色成分参照フレームＧｔ−１で現在フレームのＧ色成分画素ブロック６１０と同じ位置のＧ色成分画素ブロックを表し、６１２は、動き予測結果として決定されたＧ色成分参照画素ブロックを表す。図６Ｂで、６２０は、Ｒ色成分現在フレームＲｔで符号化されるＲ色成分画素ブロックを表し、６２１は、Ｒ色成分画素ブロック６１０の動き予測時に参照されるＲ色成分参照フレームＲｔ−１で、現在フレームのＲ色成分画素ブロック６２０と同じ位置のＲ色成分画素ブロックを表し、６２２は、動き予測結果として決定されたＲ色成分参照画素ブロックを表す。
【００３７】
もし、第１色成分をＧ色とすれば、第１予測画素ブロック候補生成部３１４ａは、動き推定部３０２で生成されたＧ色成分画素ブロック６１０の動きベクトルＭＶＧと同じ動きベクトルを、対応するＲ色成分画素ブロック６２０の動きベクトルＭＶＲに決定する。そして、第１予測画素ブロック候補生成部３１４ａは、Ｇ色成分画素ブロック６１０の動きベクトルＭＶＧが参照するＧ色成分参照フレームＧｔ−１と時間上で同じＲ色成分参照フレームＲｔ−１内で、Ｇ色成分画素ブロック６１０の動きベクトルＭＶＧと同じＲ色成分画素ブロックの動きベクトルＭＶＲが示す参照画素ブロック６２２を、現在Ｒ色成分画素ブロックの第１予測画素ブロック候補に決定する。同様に、第１予測画素ブロック候補生成部３１４ａは、Ｇ色成分画素ブロック６１０の動きベクトルＭＶＧが参照するＧ色成分参照フレームＧｔ−１と時間上で同じＢ色成分参照フレーム内で、Ｇ色成分画素ブロック６１０の動きベクトルＭＶＧと同じＢ色成分画素ブロックの動きベクトルＭＶＢが示す参照画素ブロックを、現在Ｂ色成分画素ブロックの第１予測画素ブロック候補に決定する。この場合、Ｂ及びＲ色成分画素ブロックに対応する動きベクトルは、復号化端に伝送しなくてもよい。一方、前述したように、動き推定部３０２は、Ｂ及びＲ色成分画素ブロックの動き予測を行って、該当動きベクトルに対応する第１予測画素ブロックの画素ブロック候補を決定し、この場合には、Ｂ及びＲ色成分画素ブロックに対応する動きベクトル情報を復号化端に伝送せねばならない。
【００３８】
ステップ５３０で、第１色成分画素ブロックに対する予測符号化時に生成された第１レジデューを逆量子化及び逆変換し、第１色成分予測画素ブロックと逆量子化及び逆変換された第１レジデューとを合算することによって、第１色成分画素ブロックを復元する。
【００３９】
ステップ５４０で、第２予測画素ブロック候補生成部３１４ｂは、復元された第１色成分画素ブロックを利用して、残りの色成分画素ブロックの第２予測画素ブロックを生成する。
【００４０】
図７Ａは、入力画像に備えられたＧ色成分画像の１６×１６画素ブロック、図７Ｂは、入力画像に備えられたＢ色成分画像の１６×１６画素ブロック、図７Ｃは、入力画像に備えられたＲ色成分画像の１６×１６画素ブロックを示す図である。ここで、ｇｉ,ｊ、ｂｉ,ｊ、ｒｉ,ｊは、それぞれＧ、Ｂ、Ｒ色成分画像の１６×１６画素ブロックで第ｉ行及び第ｊ列に位置した画素値を表す。また、図７Ａないし図７Ｃのそれぞれでハッチングで表示された画素は、現在画素ブロック以前に処理された周辺画素ブロックの復元された画素を表す。
【００４１】
復元されたＧ色成分１６×１６画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【００４２】
【数４９】
2009518940.tif 000003
前記
【００４３】
【数５０】
2009518940.tif 000004
に対応するＢ色成分画素ブロックの第ｉ行、第ｊ列に位置した画素の予測値を
【００４４】
【数５１】
2009518940.tif 000005
は、所定の加重値、ｂは、所定のオフセット値とするとき、第２予測画素ブロック候補生成部３１４ｂは、復元されたＧ色成分画素ブロックの画素値と対応するＢ色画素ブロックの画素値との相関関係を、次の式（１）のように１次関数にモデリングし、Ｇ色成分画素ブロックの復元された画素値を媒介変数として対応するＢ色成分画素ブロックの画素値を予測する。
【００４５】
【数５２】
2009518940.tif 000006
式（１）を通じて得られた予測画素値は、画像の各画素値を８ビットで表現する場合、０と２５５との間の整数値でクリッピングされる。前記ａ及びｂの値は、画素の位置（ｉ,ｊ）によって変更されるが、本発明の実施形態では、所定のブロック内で定数値を有する場合を考慮する。
【００４６】
一実施形態として、前記ａ及びｂの値は、次の式（２）及び（３）のように、Ｇ色成分周辺画素ブロックの復元された画素値及びＢ色成分周辺画素ブロックの復元された画素値を利用した所定の関数値に決定される。
【００４７】
【数５３】
2009518940.tif 000007
前記ａ及びｂは、多様な形態で定義される。一例として、ａ及びｂは、Ｇ色成分周辺画素ブロックの復元された画素値を利用して、式（１）を通じて予測されたＢ色成分周辺画素ブロックの予測画素値とＢ色成分周辺画素ブロックの復元された画素値との差を最小にする値に決定される。他の例として、ａは１、ｂは、次の式（４）のように、Ｂ色成分周辺画素ブロックの復元された画素値とＧ色成分周辺画素ブロックの復元された画素値との差の平均と定義される。
【００４８】
【数５４】
2009518940.tif 000008
前述したａ及びｂの値の決定過程では、現在画素ブロックに隣接した周辺画素ブロックの画素値を利用した。ａ及びｂの値の決定時に利用される周辺画素ブロックの画素は、現在画素ブロックの上側または左側に隣接した画素以外に、さらに多くまたはより少なく採用される。このとき、ａ及びｂの値は、復号化端に伝送する必要がない。それは、復号化端でも同じ符号化端と同じ方式で同じａ及びｂを生成できるためである。
【００４９】
一方、他の実施形態として、周辺画素ブロックを利用せず、現在画素ブロック内の画素値を利用してａ及びｂの値を決定しうる。一例として、次の式（５）のように、前記ａ及びｂの値は、Ｂ色成分画像の１６×１６サイズの画素ブロック内の原画素値ｂｉ,ｊと前記式（１）を通じて予測された対応するＢ色成分画像の予測値との差の和（Ｓｕｍ  ｏｆ  ｄｉｆｆ（ｒＢ））が最小化となる値に決定される。
【００５０】
【数５５】
2009518940.tif 000009
ここで、ｐは、１以上の整数である。
【００５１】
他の例として、ａの値を１に決定し、ｂは、次の式（６）のように、Ｂ色成分１６×１６画素ブロック内の原画素値ｂｉ,ｊと復元されたＧ色成分１６×１６画素ブロックの画素値Ｇ’ｉ,ｊとの差の平均に決定しうる。
【００５２】
【数５６】
2009518940.tif 000010
このような実施形態では、ａ及びｂの値を復号化端に伝送する必要がある。
【００５３】
前述したように、式（１）の定数ａ及びｂの値が決定されれば、第２予測画素ブロック候補生成部３１４ｂは、復元されたＧ色成分画素ブロックの各画素値ｇ’ｉ,ｊを式（１）に代入して、対応するＢ色成分画素ブロックの画素値を予測することによって第２予測画素ブロック候補を生成する。
【００５４】
また、他のａ及びｂの値の決定方法では、統計分野で多く使用する線形回帰モデルに基づいた方法が利用される。
【００５５】
図８Ａは、本発明による画像符号化方法及び装置で、８×８画素ブロックの処理を示すフローチャートであり、図８Ｂは、本発明による画像符号化方法及び装置で、４×４画素ブロックの処理を示すフローチャートである。
【００５６】
第２予測画素ブロック候補生成部３１４ｂは、前述した１６×１６ブロックモード以外に、８×８ブロックモード及び４×４ブロックモードで、残りの色成分画素ブロックの第２予測画素ブロック候補を生成しうる。
【００５７】
図８Ａを参照するに、Ｂ色成分画像の画素ブロックを８×８モードで処理する場合、４個のＢ色成分画像の８×８画素ブロックは、左から右、上方かた下方に順次に予測される。Ｂ色成分画像の８×８画素ブロックの処理は、ブロックサイズが変わっただけで、前述したＢ色成分画像の１６×１６画素ブロックの画素値を予測する過程と類似して、式（１）を通じてＢ色成分画像の８×８画素ブロック内の各画素値を予測しうる。
【００５８】
すなわち、８×８モードで処理するとき、ａ及びｂは、Ｇ色成分周辺画素ブロックの復元された画素値を利用して、式（１）を通じて予測されたＢ色成分周辺画素ブロックの予測画素値とＢ色成分周辺画素ブロックの復元された画素値との差を最小にする値に決定されるか、またはａは１、ｂは、次の式（７）のように、Ｂ色成分周辺画素ブロックの復元された画素値とＧ色成分周辺画素ブロックの復元された画素値との差の平均と定義しうる。
【００５９】
【数５７】
2009518940.tif 000011
また、前記ａ及びｂは、Ｂ色成分画像の８×８サイズの画素ブロック内の原画素値ｂｉ,ｊと対応するＢ色成分画像の予測値との差の和（Ｓｕｍ  ｏｆ  ｄｉｆｆ（ｒＢ））が最小化となる値に決定されるか、またはａは１、ｂは、次の式（８）のように、Ｂ色成分画像の８×８画素ブロック内の原画素値ｂｉ,ｊと復元されたＧ色成分８×８画素ブロックの画素値Ｇ’ｉ,ｊとの差の平均に決定しうる。
【００６０】
【数５８】
2009518940.tif 000012
図８Ｂを参照するに、Ｂ色成分画像の画素ブロックを４×４モードで処理する場合、１６個のＢ色成分４×４画素ブロックは、左から右、上方から下方に順次に予測される。Ｂ色成分画像の各４×４画素ブロックの画素値は、ブロックサイズが変わっただけで、前述したＢ色成分画像の１６×１６画素ブロックまたは８×８画素ブロックの画素値を予測する過程と類似して式（１）を通じて予測される。
【００６１】
すなわち、ａ及びｂは、Ｇ色成分周辺画素ブロックの復元された画素値を利用して、式（１）を通じて予測されたＢ色成分周辺画素ブロックの予測画素値とＢ色成分周辺画素ブロックの復元された画素値との差を最小にする値に決定されるか、またはａは１、ｂは、次の式（９）のように、Ｂ色成分周辺画素ブロックの復元された画素値とＧ色成分周辺画素ブロックの復元された画素値との差の平均と定義しうる。
【００６２】
【数５９】
2009518940.tif 000013
また、式（１）のａ及びｂは、Ｂ色成分画像の４×４画素ブロック内の原画素値ｂｉ,ｊと対応するＢ色成分画像の予測値との差の和（Ｓｕｍ  ｏｆ  ｄｉｆｆ（ｒＢ））が最小化となる値に決定されるか、またはａは、１に固定され、ｂは、次の式（１０）のように、Ｂ色成分画像の４×４画素ブロック内の原画素値ｂｉ,ｊと復元されたＧ色成分画像の４×４画素ブロックの画素値Ｇ’ｉ,ｊとの差の平均に決定しうる。
【００６３】
【数６０】
2009518940.tif 000014
前述したように、Ｂ色成分画素ブロックの第２予測画素ブロックは、１６×１６、８×８、４×４ブロック単位でなされる。一適応的な実施形態として、前記３つのブロックモードのうち、適した一つのブロック単位で各マクロブロックの相関予測がなされる。
【００６４】
減算部３０７は、Ｂ色成分原画像の画素ブロックと第２予測画素ブロック生成部３１４ｂで予測された予測画素ブロックとの差を計算して第２レジデューを生成し、生成された第２レジデューは、変換、量子化及びエントロピー符号化過程を経て、ビットストリーム形態で出力される。
【００６５】
次いで、Ｒ色成分画像の画素ブロックの画素値は、前述したＢ色成分画像の画素ブロックの画素値と同様に復元されたＧ色成分画像の画素ブロックの画素値を利用して予測される。
【００６６】
一方、第２予測画素ブロック候補生成部３１４ｂは、Ｒ色成分画像の画素ブロックの画素値を予測するとき、復元されたＧ色成分画像の画素ブロックの代りに、以前に処理されたＢ色成分画像の画素ブロックの復元された画素値を利用して、Ｒ色成分画素ブロックの第２予測画素ブロックを生成しうる。すなわち、Ｂ色成分原画像の画素ブロックとＢ色成分画像の予測画素ブロックとの差である第２レジデューを変換及び量子化した値に対して逆変換及び逆量子化し、逆変換及び逆量子化された第２レジデューとＢ色成分画像の予測画素ブロックとを合算することによって、復元されたＢ色成分の画素ブロックをＲ色成分画像の画素ブロックの予測に利用しうる。
【００６７】
具体的に、復元されたＢ色成分画像の画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【００６８】
【数６１】
2009518940.tif 000015
前記
【００６９】
【数６２】
2009518940.tif 000016
に対応するＲ色成分画像の画素ブロックの第ｉ行、第ｊ列に位置した画素の予測値を
【００７０】
【数６３】
2009518940.tif 000017
は、Ｂ色成分画像とＲ色成分との相関関係を表す所定の加重値、ｄは、所定のオフセット値とするとき、第２予測画素ブロック候補生成部３１４ｂは、復元されたＢ色成分画素ブロックの画素値とＲ色成分画素ブロックとの相関関係を次の式（１１）のように１次関数にモデリングし、Ｂ色成分画像の画素値に対応するＲ色成分画像の画素値を予測する。
【００７１】
【数６４】
2009518940.tif 000018
式（１１）を通じて得られた予測画素値は、画像の各画素値を８ビットで表現する場合、０と２５５との間の整数値でクリッピングされる。前記ｃ及びｄの値は、前記ａ及びｂの値と同様に決定される。
【００７２】
式（１１）の定数ｃ及びｄの値が決定されれば、第２予測画素ブロック候補生成部３１４ｂは、復元されたＢ色成分画素ブロックの各画素値ｂ’ｉ,ｊを式（１１）に代入して、対応するＲ色成分画素ブロックの画素値を予測することによって、Ｒ色成分画素の第２予測画素ブロック候補を生成する。
【００７３】
図９は、本発明の望ましい実施形態による画像復号化装置の構成を示す図である。図９を参照するに、本発明による画像復号化装置９００は、エントロピーデコーダ９１０、再整列部９２０、逆量子化部９３０、逆変換部９４０、加算部９５０、イントラ予測部９６０、動き補償部９７０、予測画素ブロック生成部９８０及びフィルタ９９０を備える。
【００７４】
エントロピーデコーダ９１０及び再整列部９２０は、圧縮されたビットストリームを受信してエントロピー復号化を行って、量子化された係数を生成する。逆量子化部９３０及び逆変換部９４０は、量子化された係数に対する逆量子化及び逆変換を行って、各色成分画像のレジデュー情報、動きベクトル情報及び予測モード情報を抽出する。ここで、予測モード情報には、本発明によるイントラ予測方法によって符号化されたビットストリームであるか否かを表す所定のシンタックス情報が含まれる。また、本発明による画像符号化方法によって符号化されたビットストリームである場合、前記予測モード情報には、残りの色成分画像の画素ブロックの画素値の予測に利用される予測子情報が含まれる。
【００７５】
イントラ予測部９６０は、現在画素ブロックがイントラ予測された画素ブロックである場合、以前に復号化された周辺画素ブロックを利用して予測ブロックを生成する。動き補償部９７０は、現在画素ブロックがインター予測された画素ブロックである場合、動き補償を通じて予測ブロックを生成する。
【００７６】
予測画素ブロック生成部９８０は、前述した本発明の画像符号化方法によって符号化されたビットストリームである場合、復号化された第１色成分画素ブロックの動きベクトルを利用して、対応する残りの色成分画素ブロックに対する動き予測を行うか、または復号化された第１色成分画素ブロックを利用した予測を行うことによって、残りの色成分画素ブロックの予測画素ブロックを生成する。
【００７７】
具体的に、図３の予測画素ブロック生成部３１４と同一に、図９の予測画素ブロック生成部９８０は、ビットストリームに備えられた予測モード情報によって、第１色成分画素ブロックの動きベクトルと同じベクトルを残りの色成分画素ブロックの動きベクトルに決定し、決定された残りの色成分画素ブロックの動きベクトルが示す参照フレームの画素ブロックを予測画素ブロックに決定する。また、予測画素ブロック生成部９８０は、ビットストリームに備えられた予測モード情報によって復元された第１色成分画素ブロックの画素値を式（１）に代入して残りの色成分画素ブロックの画素値を予測することによって、残りの色成分画素ブロックの予測画素ブロックを生成しうる。このとき、周辺画素ブロックを利用してａ及びｂを予測する場合には、ａ及びｂがビットストリームに含まれる必要がない。すなわち、この場合には、予測モード情報にａ及びｂが含まれない。もし、第３色成分画像が復元された第２色成分画像を利用して予測された場合には、復元された第２色成分画像の画素ブロックの画素値を式（１１）に代入して、第３色成分画素ブロックの予測画素ブロックを生成しうる。
【００７８】
加算部９５０は、現在画素ブロックの予測モードによって、イントラ予測部９６０、動き補償部９７０及び予測画素ブロック生成部９８０のうち何れか一つで生成された予測画素ブロックと、逆変換部９４０から出力される各色成分画素ブロックのレジデューとを合算して各色成分画素ブロックを復号化する。
【００７９】
図１０は、本発明の望ましい実施形態による画像復号化方法を示すフローチャートである。図１０を参照するに、ステップ１０１０で、少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信し、ビットストリームに備えられた複数の色成分の画像のうち第１色成分画素ブロックに対する復号化を行う。具体的に、インターまたはイントラ予測された第１色成分画素ブロックの予測画素ブロックと、復号化された第１レジデューとを合算して、第１色成分画像の画素ブロックを復号化する。
【００８０】
ステップ１０２０で、復号化された第１色成分画素ブロック及びビットストリームのヘッダに備えられた予測モード情報を利用して、残りの色成分画素ブロックの画素値を予測することによって、残りの色成分画素ブロックの予測画素ブロックを生成する。前述したように、予測画素ブロック生成部９８０は、予測モード情報を通じて式（１）のような予測子を生成し、復号化された第１色成分画素ブロックの画素値を代入して、残り第２及び第３色成分画像の画素ブロックの画素値を予測するか、または式（１１）のような予測子を生成して、復号化された第２色成分画素ブロックの画素値を代入して第３色成分画素ブロックの画素値を予測する。また、予測モードによって、第２及び第３色成分画素ブロックの動き補償による予測画素ブロックを生成することも可能である。
【００８１】
ステップ１０３０で、第２及び第３色成分画素ブロックの予測画素ブロックのそれぞれを、逆変換された第２レジデュー及び第３レジデュー成分のそれぞれに加算して第２及び第３色成分画素ブロックを復号化する。
【００８２】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現できる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リード  オンリ  メモリ）、ＲＡＭ（ランダム  アクセス  メモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。
【００８３】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【００８４】
【図１Ａ】一つのカラー画像を構成するＲ色成分画像の一例を示す図である。
【図１Ｂ】一つのカラー画像を構成するＧ色成分画像の一例を示す図である。
【図１Ｃ】一つのカラー画像を構成するＢ色成分画像の一例を示す図である。
【図２Ａ】図１Ｂ及び図１ＣのＧ色成分画像とＢ色成分画像との相関関係を示すグラフである。
【図２Ｂ】図１Ａ及び図１ＢのＲ色成分画像とＧ色成分画像との相関関係を示すグラフである。
【図３】本発明の望ましい実施形態による画像符号化装置の構成を示すブロック図である。
【図４】図３の予測画素ブロック生成部の構成を具体的に示すブロック図である。
【図５】本発明の望ましい一実施形態による画像符号化方法を示すフローチャートである。
【図６Ａ】図４の第１予測画素ブロック候補生成部で、残りの色成分画素ブロックの第１予測画素ブロック候補生成過程を説明するための図である。
【図６Ｂ】図４の第１予測画素ブロック候補生成部で、残りの色成分画素ブロックの第１予測画素ブロック候補生成過程を説明するための図である。
【図７Ａ】入力画像に備えられたＧ色成分画像の１６×１６画素ブロックを示す図である。
【図７Ｂ】入力画像に備えられたＢ色成分画像の１６×１６画素ブロックを示す図である。
【図７Ｃ】入力画像に備えられたＲ色成分画像の１６×１６画素ブロックを示す図である。
【図８Ａ】本発明による画像符号化方法及び装置で８×８画素ブロックの処理を示すフローチャートである。
【図８Ｂ】本発明による画像符号化方法及び装置で４×４画素ブロックの処理を示すフローチャートである。
【図９】本発明の望ましい実施形態による画像復号化装置の構成を示す図である。
【図１０】本発明の望ましい実施形態による画像復号化方法を示すフローチャートである。
【図１Ａ】
2009518940.tif 000067
【図１Ｂ】
2009518940.tif 000068
【図１Ｃ】
2009518940.tif 000069
【図２Ａ】
2009518940.tif 000070
【図２Ｂ】
2009518940.tif 000071
【図３】
2009518940.tif 000072
【図４】
2009518940.tif 000073
【図５】
2009518940.tif 000074
【図６Ａ】
2009518940.tif 000075
【図６Ｂ】
2009518940.tif 000076
【図７Ａ】
2009518940.tif 000077
【図７Ｂ】
2009518940.tif 000078
【図７Ｃ】
2009518940.tif 000079
【図８Ａ】
2009518940.tif 000080
【図８Ｂ】
2009518940.tif 000081
【図９】
2009518940.tif 000082
【図１０】
2009518940.tif 000083
【国際調査報告】
2009518940.tif 000084
2009518940.tif 000085