(57)【要約】  複数の色成分画像間の相関関係を利用して復元された一つの色成分画像から他の色成分画像を予測する画像の符号化方法及び装置、その復号化方法及び装置を提供する。これによれば、一つの画像を構成する複数の色成分画像のうちから選択された第１色成分画像の復元画像を利用して残りの色成分画像を予測する。これを通じて画像のカラーフォーマットを変換する過程で生じる色相歪曲を防止し、画像の符号化効率を向上させうる。
2009534876.tif 000002
【特許請求の範囲】
【請求項１】
画像の符号化方法において、
（ａ）入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行うステップと、
（ｂ）前記予測符号化された第１色成分画像の画素ブロックを復元するステップと、
（ｃ）前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び前記第１色成分画像の復元された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを予測するステップと、を含むことを特徴とする符号化方法。
【請求項２】
前記色成分は、
Ｒ（赤）色成分、Ｇ（緑）色成分及びＢ（青）色成分であることを特徴とする請求項１に記載の符号化方法。
【請求項３】
前記（ｃ）ステップは、
前記第１色成分画像の復元された画素ブロックのサイズをｉ×ｊ（ｉ、ｊは、整数）、前記第１色成分画像の復元された画素ブロックの第１行、第ｊ列に位置した第１色成分の画素値を
【数１】
2009534876.tif 000029
前記
【数２】
2009534876.tif 000030
に対応する第２色成分画像の予測画素ブロックの第ｉ行、第ｊ列に位置した予測画素値を
【数３】
2009534876.tif 000031
は、前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数４】
2009534876.tif 000032
を利用して前記
【数５】
2009534876.tif 000033
を予測することを特徴とする請求項１に記載の符号化方法。
【請求項４】
前記ａ及びｂは、
前記第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項３に記載の符号化方法。
【請求項５】
前記ａは１であり、前記ｂは、前記第２色成分の周辺画素ブロックの復元された画素値と前記第１色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項３に記載の符号化方法。
【請求項６】
前記ａ及びｂは、
線形回帰モデルに基づいて決定されることを特徴とする請求項３に記載の符号化方法。
【請求項７】
前記（ｃ）ステップは、
前記第１色成分画像の復元された画素ブロックを利用して、前記第２色成分画像の画素ブロックの予測画素ブロックを生成し、復元された第２色成分画像の画素ブロックを利用して、前記第３色成分ブロック画像の予測画素ブロックを生成することを特徴とする請求項３に記載の符号化方法。
【請求項８】
画像の符号化方法において、
（ａ）入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の画素ブロックに対する予測符号化を行うステップと、
（ｂ）前記予測符号化された第１色成分画像の画素ブロックを復元するステップと、
（ｃ）前記復元された第１色成分画像の所定サイズの画素ブロック内に存在するエッジを検出するステップと、
（ｄ）前記検出されたエッジを利用して、前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離するステップと、
（ｅ）前記第１色成分画像の復元された周辺画素ブロックの画素値、前記第２色成分画像の復元された周辺画素ブロックの画素値及び前記第１色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素値を予測するステップと、を含むことを特徴とする符号化方法。
【請求項９】
前記（ｅ）ステップは、
前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックは、それぞれｎ（ｎは、整数）個の領域に分離され、前記復元された第１色成分画像の画素ブロックの第ｋ領域（ｋ＝１，２，...，ｎ）内の任意の画素値を
【数６】
2009534876.tif 000034
前記
【数７】
2009534876.tif 000035
に対応する第２色成分画像の画素ブロックの第ｋ領域の予測画素値を
【数８】
2009534876.tif 000036
は、前記第１色成分画像の第ｋ領域と第２色成分画像の第ｋ領域との相関関係を表す所定の加重値、ｆは、所定のオフセット値とするとき、次の数式；
【数９】
2009534876.tif 000037
を利用して前記
【数１０】
2009534876.tif 000038
を予測することを特徴とする請求項８に記載の符号化方法。
【請求項１０】
前記ｅ及びｆは、
前記第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項９に記載の符号化方法。
【請求項１１】
前記ｅは１であり、前記ｆは、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復元された画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第１色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項９に記載の符号化方法。
【請求項１２】
前記ｅ及びｆは、
線形回帰モデルに基づいて決定されることを特徴とする請求項９に記載の符号化方法。
【請求項１３】
画像符号化装置において、
入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、
前記予測符号化された第１色成分画像の画素ブロックを復元する復元部と、
前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び第１色成分画像の復元された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを予測する相関予測部と、を備えることを特徴とする符号化装置。
【請求項１４】
前記色成分は、
Ｒ色成分、Ｇ色成分及びＢ色成分であることを特徴とする請求項１３に記載の符号化装置。
【請求項１５】
前記相関予測部は、
前記第１色成分画像の復元された画素ブロックのサイズをｉ×ｊ（ｉ、ｊは、整数）、前記第１色成分画像の復元された画素ブロックの第１行、第ｊ列に位置した第１色成分の画素値を
【数１１】
2009534876.tif 000039
前記
【数１２】
2009534876.tif 000040
に対応する第２色成分画像の予測画素ブロックの第ｉ行、第ｊ列に位置した予測画素値を
【数１３】
2009534876.tif 000041
は、前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値、ｂは、所定のオフセット値とするとき、次の数式；
【数１４】
2009534876.tif 000042
を利用して前記
【数１５】
2009534876.tif 000043
を予測することを特徴とする請求項１３に記載の符号化装置。
【請求項１６】
前記ａ及びｂは、
前記第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の周辺画素ブロックの復元された画素値との間の差を最小にする値であることを特徴とする請求項１５に記載の符号化装置。
【請求項１７】
前記ａは１であり、前記ｂは、前記第２色成分の周辺画素ブロックの復元された画素値と前記第１色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項１５に記載の符号化装置。
【請求項１８】
前記ａ及びｂは、
線形回帰モデルに基づいて決定されることを特徴とする請求項１５に記載の符号化装置。
【請求項１９】
前記相関予測部は、
前記第１色成分画像の復元された画素ブロックを利用して、前記第２色成分画像の画素ブロックの予測画素ブロックを生成し、復元された第２色成分画像の画素ブロックを利用して、前記第３色成分ブロック画像の予測画素ブロックを生成することを特徴とする請求項１３に記載の符号化装置。
【請求項２０】
画像の符号化装置において、
入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、
前記予測符号化された第１色成分画像の画素ブロックを復元する復元部と、
前記復元された第１色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、
前記検出されたエッジを利用して、前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離する領域分離部と、
前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び第１色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素値を予測する相関予測部と、を備えることを特徴とする符号化装置。
【請求項２１】
前記相関予測部は、
前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックは、それぞれｎ（ｎは、整数）個の領域に分離され、前記復元された第１色成分画像の画素ブロックの第ｋ領域（ｋ＝１，２，...，ｎ）内の任意の画素値を
【数１６】
2009534876.tif 000044
前記
【数１７】
2009534876.tif 000045
に対応する第２色成分画像の画素ブロックの第ｋ領域の予測画素値を
【数１８】
2009534876.tif 000046
は、前記第１色成分画像の第ｋ領域と第２色成分画像の第ｋ領域との相関関係を表す所定の加重値、ｆは、所定のオフセット値とするとき、次の数式；
【数１９】
2009534876.tif 000047
を利用して前記
【数２０】
2009534876.tif 000048
を予測することを特徴とする請求項２０に記載の符号化装置。
【請求項２２】
前記ｅ及びｆは、
前記第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値であることを特徴とする請求項２１に記載の符号化装置。
【請求項２３】
前記ｅは１であり、前記ｆは、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復元された画素値と、前記色成分画像の画素ブロックの第ｋ領域に隣接した前記第１色成分画像の周辺画素ブロックの復元された画素値との差の平均であることを特徴とする請求項２１に記載の符号化装置。
【請求項２４】
前記ｅ及びｆは、
線形回帰モデルに基づいて決定されることを特徴とする請求項２２に記載の符号化装置。
【請求項２５】
画像の復号化方法において、
（ａ）少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信するステップと、
（ｂ）前記受信された画像のうち、第１色成分画像の所定サイズの画素ブロックを復号化するステップと、
（ｃ）以前に処理された前記第１色成分画像の復元された周辺画素ブロックの画素値、前記第２色成分画像の復元された周辺画素ブロックの画素値及び前記第１色成分画像の復元された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする復号化方法。
【請求項２６】
前記色成分は、
Ｒ色成分、Ｇ色成分及びＢ色成分であることを特徴とする請求項２５に記載の復号化方法。
【請求項２７】
前記（ｃ）ステップは、
（ｃ１）前記ビットストリームに備えられた前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値ａ及び所定のオフセット値ｂを抽出するステップと、
（ｃ２）前記第１色成分画像の復元された画素ブロックのサイズをｉ×ｊ（ｉ、ｊは、整数）、前記第１色成分画像の復元された画素ブロックの第ｉ行、第ｊ列に位置した第１色成分の画素値を
【数２１】
2009534876.tif 000049
前記
【数２２】
2009534876.tif 000050
に対応する第２色成分画像の予測画素ブロックの第ｉ行、第ｊ列に位置した予測画素値を
【数２３】
2009534876.tif 000051
とするとき、次の数式；
【数２４】
2009534876.tif 000052
を利用して予測された前記
【数２５】
2009534876.tif 000053
で構成された第２色成分画像の予測画素ブロックを生成するステップと、
（ｃ３）前記ビットストリームに備えられた前記第２色成分原画像の画素ブロックと、前記第２色成分画像の予測画素ブロックとの差である第２レジデューを復号化するステップと、
（ｃ４）前記復号化された第２レジデューと前記第２色成分画像の予測画素ブロックとを合算して、第２色成分画像の画素ブロックを復号化するステップと、をさらに含むことを特徴とする請求項２５に記載の復号化方法。
【請求項２８】
前記ａ及びｂは、
前記第１色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の周辺画素ブロックの復号化された画素値との間の差を最小にする値であることを特徴とする請求項２７に記載の復号化方法。
【請求項２９】
前記ａは１であり、前記ｂは、前記第２色成分の周辺画素ブロックの復号化された画素値と、前記第１色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項２７に記載の復号化方法。
【請求項３０】
前記ａ及びｂは、
線形回帰モデルに基づいて決定されることを特徴とする請求項２８に記載の復号化方法。
【請求項３１】
前記（ｃ）ステップは、
前記第１色成分画像の復号化された画素ブロックを利用して、前記第２色成分画像の画素ブロックの画素ブロックを復号化し、復号化された第２色成分画像の画素ブロックを利用して、前記第３色成分ブロック画像の画素ブロックを復号化することを特徴とする請求項２７に記載の復号化方法。
【請求項３２】
画像の復号化方法において、
（ａ）少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信するステップと、
（ｂ）前記画像のうち第１色成分画像の所定サイズの画素ブロックを復号化するステップと、
（ｃ）前記復号化された第１色成分画像の画素ブロック内に存在するエッジを検出するステップと、
（ｄ）前記検出されたエッジを利用して、前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離するステップと、
（ｅ）前記第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された画素ブロックの画素値及び前記第１色成分画像の復号化された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素ブロックの画素値を予測することによって、前記第２色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする復号化方法。
【請求項３３】
前記（ｅ）ステップは、
（ｅ１）前記ビットストリームに備えられた前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値ｅ及び所定のオフセット値ｆを抽出するステップと、
（ｅ２）前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックは、それぞれｎ（ｎは、整数）個の領域に分離され、前記復号化された第１色成分画像の画素ブロックの第ｋ領域（ｋ＝１，２，...，ｎ）内の任意の画素値を
【数２６】
2009534876.tif 000054
前記
【数２７】
2009534876.tif 000055
に対応する第２色成分画像の画素ブロックの第ｋ領域の画素の予測値を
【数２８】
2009534876.tif 000056
とするとき、次の数式；
【数２９】
2009534876.tif 000057
を利用して予測される前記
【数３０】
2009534876.tif 000058
で構成された第２色成分画像の予測画素ブロックを生成するステップと、
（ｅ３）前記ビットストリームに備えられた前記第２色成分原画像の画素ブロックと前記第２色成分画像の予測画素ブロックとの差である第２レジデューを復号化するステップと、
（ｅ４）前記復号化された第２レジデューと前記第２色成分画像の予測画素ブロックとを合算して、第２色成分画像の画素ブロックを復号化するステップと、をさらに含むことを特徴とする請求項３２に記載の復号化方法。
【請求項３４】
前記ｅ及びｆは、
前記第１色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復号された画素値との差を最小にする値であることを特徴とする請求項３３に記載の復号化方法。
【請求項３５】
前記ｅは１であり、前記ｆは、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復号化された画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第１色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項３３に記載の復号化方法。
【請求項３６】
画像復号化装置において、
少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第１色成分画像の所定サイズの画素ブロックを復号化する第１色成分復号化部と、
以前に処理された第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された画素ブロックの画素値及び前記第１色成分画像の復号化された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする復号化装置。
【請求項３７】
前記相関復号化部は、
前記第１色成分画像の復号化された画素ブロックのサイズをｉ×ｊ（ｉ、ｊは、整数）、前記第１色成分画像の復号化された画素ブロックの第ｉ行、第ｊ列に位置した第１色成分の画素値を
【数３１】
2009534876.tif 000059
前記
【数３２】
2009534876.tif 000060
に対応する第２色成分画像の予測画素ブロックの第ｉ行、第ｊ列に位置した予測画素値を
【数３３】
2009534876.tif 000061
とするとき、前記ビットストリームから抽出された前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値ａ及び所定のオフセット値ｂを利用して、次の数式；
【数３４】
2009534876.tif 000062
を通じて前記
【数３５】
2009534876.tif 000063
で構成された第２色成分画像の予測画素ブロックを生成することを特徴とする請求項３６に記載の復号化装置。
【請求項３８】
前記ａ及びｂは、
前記第１色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の周辺画素ブロックの復号化された画素値との間の差を最小にする値であることを特徴とする請求項３７に記載の復号化装置。
【請求項３９】
前記ａは１であり、前記ｂは、前記第２色成分の周辺画素ブロックの復号化された画素値と、前記第１色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項３７に記載の復号化装置。
【請求項４０】
前記ａ及びｂは、
線形回帰モデルに基づいて決定されることを特徴とする請求項３７に記載の復号化装置。
【請求項４１】
画像復号化装置において、
少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第１色成分画像の所定サイズの画素ブロックをイントラ予測して復号化された第１色成分画像の画素ブロックを出力する第１色成分復号化部と、
前記復号化された第１色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、
前記検出されたエッジを利用して、前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離する領域分離部と、
以前に処理された第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された画素ブロックの画素値及び前記第１色成分画像の復号化された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素ブロックの画素値を予測することによって、前記第２色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする復号化装置。
【請求項４２】
前記相関復号化部は、
前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックは、それぞれｎ（ｎは、整数）個の領域に分離され、前記復号化された第１色成分画像の画素ブロックの第ｋ領域（ｋ＝１，２，...，ｎ）内の任意の画素値を
【数３６】
2009534876.tif 000064
前記
【数３７】
2009534876.tif 000065
に対応する第２色成分画像の画素ブロックの第ｋ領域の画素の予測値を
【数３８】
2009534876.tif 000066
とするとき、前記ビットストリームに備えられた前記第１色成分画像と第２色成分画像との相関関係を表す所定の加重値ｅ及び所定のオフセット値ｆを利用して、次の数式；
【数３９】
2009534876.tif 000067
を通じて前記
【数４０】
2009534876.tif 000068
で構成された第２色成分画像の予測画素ブロックを生成することを特徴とする請求項４１に記載の復号化装置。
【請求項４３】
前記ｅ及びｆは、
前記第１色成分画像の周辺画素ブロックの復号化された画素値を利用して予測された前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの予測画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復号された画素値との差を最小にする値であることを特徴とする請求項４２に記載の復号化装置。
【請求項４４】
前記ｅは１であり、前記ｆは、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第２色成分画像の周辺画素ブロックの復号化された画素値と、前記第２色成分画像の画素ブロックの第ｋ領域に隣接した前記第１色成分画像の周辺画素ブロックの復号化された画素値との差の平均であることを特徴とする請求項４２に記載の復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の符号化及び復号化に係り、さらに詳細には、画像を構成する複数の色成分間の相関関係を利用して、何れか一つの色成分画像から他の色成分画像を予測することによって符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置に関する。
【背景技術】
【０００２】
一般的に、画像を取得するとき、最初画像は、ＲＧＢ（赤、緑、青）カラーフォーマット形態で取得される。ＲＧＢカラーフォーマット画像を符号化する時には、一般的に、ＹＵＶ（あるいはＹＣｂＣｒ）などのカラーフォーマットに変換する。このとき、Ｙは、白黒画像であって輝度成分を有し、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）は、色成分を有する。ＲＧＢ画像では、情報がＲ、Ｇ及びＢに均一に分布されているが、ＹＵＶ（あるいはＹＣｂＣｒ）画像では、情報がＹ成分に偏重し、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）には、情報の量が減少する。したがって、圧縮を行う場合、圧縮効率が高まるという長所がある。圧縮効率をさらに改善するために、一般的に、ＹＵＶ（あるいはＹＣｂＣｒ）画像の色度成分Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）を１／４サイズにサンプリングして構成したＹＵＶ（あるいはＹＣｂＣｒ）４：２：０画像を使用する。
【０００３】
しかし、ＹＵＶ（あるいはＹＣｂＣｒ）４：２：０画像で、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）を１／４サイズにサンプリングするのは、色相歪曲が発生して、高画質の応用には適していない。したがって、Ｕ（あるいはＣｂ）及びＶ（あるいはＣｒ）のサンプリング過程のないＹＵＶ（あるいはＹＣｂＣｒ）４：４：４画像を効果的に符号化する方法が必要である。最近には、ＲＧＢ画像をＹＵＶ（あるいはＹＣｂＣｒ）に変換する時に発生する色相歪曲を除去するために、ＲＧＢ４：４：４画像を直接符号化するレジデュアル色変換（Ｒｅｓｉｄｕａｌ
Ｃｏｌｏｒ Ｔｒａｎｓｆｏｒｍ：ＲＣＴ）という技術が提案された。
【０００４】
このように、ＹＵＶ（あるいはＹＣｂＣｒ）４：４：４及びＲＧＢ４：４：４画像のように、色成分間に同じ解像度を有する画像を直ぐ符号化する場合、従来の符号化方法を適用すれば、符号化効率が低下する。したがって、ＹＵＶ（あるいはＹＣｂＣｒ）４：４：４画像を符号化するか、またはＲＧＢ入力画像をＹＵＶ（あるいはＹＣｂＣｒ）に変換せずにそのままＲＧＢドメインで符号化するとき、画像の統計的特性に合わせて予測を行って、高画質を維持しつつも符号化効率を高める方案が必要である。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする技術的課題は、ＲＧＢカラーフォーマット入力画像を他のカラーフォーマットに変換せず、ＲＧＢの各色成分間の相関関係を考慮して、ＲＧＢのうち何れか一つの色成分から他の色成分の画像を予測することによって、符号化効率を向上させる画像の符号化方法及び装置、復号化方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
前記課題を解決するために、本発明の一実施形態による画像の符号化方法は、（ａ）入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行うステップと、（ｂ）前記予測符号化された第１色成分画像の画素ブロックを復元するステップと、（ｃ）前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び第１色成分画像の復元された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを予測するステップと、を含むことを特徴とする。
【０００７】
本発明の他の実施形態による画像の符号化方法は、（ａ）入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の画素ブロックに対する予測符号化を行うステップと、（ｂ）前記予測符号化された第１色成分画像の画素ブロックを復元するステップと、（ｃ）前記復元された第１色成分画像の所定サイズの画素ブロック内に存在するエッジを検出するステップと、（ｄ）前記検出されたエッジを利用して、前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離するステップと、（ｅ）前記第１色成分画像の復元された周辺画素ブロックの画素値、前記第２色成分画像の復元された周辺画素ブロックの画素値及び前記第１色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素値を予測するステップと、を含むことを特徴とする。
【０００８】
本発明の一実施形態による画像符号化装置は、入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、前記予測符号化された第１色成分画像の画素ブロックを復元する復元部と、前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び第１色成分画像の復元された画素ブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを予測する相関予測部と、を備えることを特徴とする。
【０００９】
本発明の他の実施形態による画像符号化装置は、入力画像に備えられた少なくとも２つの色成分の画像のうち、第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う予測符号化部と、前記予測符号化された第１色成分画像の画素ブロックを復元する復元部と、前記復元された第１色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、前記検出されたエッジを利用して、前記第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離する領域分離部と、前記第１色成分画像の復元された周辺画素ブロックの画素値、第２色成分画像の復元された周辺画素ブロックの画素値及び第１色成分画像の復元された画素ブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素値を予測する相関予測部と、を備えることを特徴とする。
【００１０】
本発明の一実施形態による画像の復号化方法は、（ａ）少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信するステップと、（ｂ）前記受信された画像のうち第１色成分画像の所定サイズの画素ブロックを復号化するステップと、（ｃ）以前に処理された第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された周辺画素ブロックの画素値及び前記第１色成分画像の復号化されたブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする。
【００１１】
本発明の他の実施形態による画像の復号化方法は、（ａ）少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信するステップと、（ｂ）前記画像のうち第１色成分画像の所定サイズの画素ブロックを復号化するステップと、（ｃ）前記復号化された第１色成分画像の画素ブロック内に存在するエッジを検出するステップと、（ｄ）前記検出されたエッジを利用して、前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離するステップと、（ｅ）前記第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された周辺画素ブロックの画素値及び前記第１色成分画像の復号化されたブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素ブロックの画素値を予測することによって、前記第２色成分画像の画素ブロックを復号化するステップと、を含むことを特徴とする。
【００１２】
本発明の一実施形態による画像復号化装置は、少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第１色成分画像の所定サイズの画素ブロックを復号化する第１色成分復号化部と、以前に処理された第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された周辺画素ブロックの画素値及び前記第１色成分画像の復号化されたブロックの画素値を利用して、対応する第２色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする。
【００１３】
本発明の他の実施形態による画像復号化装置は、少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信し、前記画像のうち第１色成分画像の所定サイズの画素ブロックをイントラ予測して復号化された第１色成分画像の画素ブロックを出力する第１色成分復号化部と、前記復号化された第１色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部と、前記検出されたエッジを利用して、前記復号化された第１色成分画像の画素ブロック及び対応する第２色成分画像の画素ブロックを分離する領域分離部と、以前に処理された第１色成分画像の復号化された周辺画素ブロックの画素値、第２色成分画像の復号化された周辺画素ブロックの画素値及び前記第１色成分画像の復号化されたブロックの画素値を利用して、前記分離された各領域別に対応する第２色成分画像の画素ブロックの画素値を予測することによって、前記第２色成分画像の画素ブロックを復号化する相関復号化部と、を備えることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、一つの画像を構成する複数の色成分画像間の相関関係を利用して予測符号化を行うことによって、画像の符号化効率を向上させうる。
【００１５】
また、本発明によれば、ＲＧＢ入力画像をＹＵＶドメインに変換せず、入力画像そのままＲＧＢドメインで符号化を行うことによって、ＲＧＢ入力画像を他のカラーフォーマットに変換する過程中に発生する色相の歪曲を防止して画像の品質を向上させうる。
【発明を実施するための最良の形態】
【００１６】
以下、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
【００１７】
図１Ａないし図１Ｃは、それぞれ一つのカラー画像を構成するＲ（赤）色成分画像、Ｇ（緑）色成分画像及びＢ（青）色成分画像の一例を示す図であり、図２Ａは、図１Ｂ及び図１ＣのＧ色成分画像とＢ色成分画像との相関関係を示すグラフであり、図２Ｂは、図１Ａ及び図１ＢのＲ色成分画像とＧ色成分画像との相関関係を示すグラフである。
【００１８】
一般的に、カラー画像を符号化する時にそれぞれの色成分画像別に予測符号化を行って、それぞれの色成分内で重複される情報を除去する。図１Ａないし図１Ｃを参照するに、一つのカラー画像を構成する同一位置のＲＧＢ色成分画像の画素値は、類似した画素値を有し、これは、図２Ａ及び図２Ｂに示された相関関係グラフを通じて再確認しうる。
【００１９】
したがって、本発明は、画像を構成する複数の色成分画像のうち選択された第１色成分画像は、Ｈ.２６４標準案のような一般的な予測符号化方式によって符号化した後、それぞれの色成分画像間の相関関係を考慮して、復元された第１色成分画像から他の残りの色成分画像を予測する符号化方法を提供する。一例として、画像がＲＧＢの三つの色成分を含んでいれば、本発明による画像符号化方法及び装置は、まずＧ色成分画像をイントラ予測またはインター予測を通じて予測符号化し、復元されたＧ色成分画像から対応するＲ色成分画像を予測した後、復元されたＧ色成分画像または復元されたＲ色成分画像を利用して残りのＢ色成分画像を予測する。前述した例で、色成分画像の符号化順序は、前記例に限定されず、いくらでも変更されうる。
【００２０】
図３は、本発明の望ましい一実施形態による画像符号化装置の構成を示すブロック図である。以下では、説明の便宜のために、Ｈ.２６４標準案による画像符号化装置を中心に説明するが、本発明による画像符号化装置は、レジデューコーディングを行う他の画像符号化装置にも適用可能である。図３を参照するに、画像符号化装置３００は、動き推定部３０２、動き補償部３０４、イントラ予測部３０６、減算部３０７、変換部３０８、量子化部３０９、再整列部３１０、エントロピーコーディング部３１１、逆量子化部３１２、逆変換部３１３、相関予測部３１４、加算部３１５、フィルタ３１６、フレームメモリ３１７及び制御部３１８を備える。
【００２１】
動き推定部３０２及び動き補償部３０４は、第１色成分画像の現在画素ブロックの予測値を以前または以後の参照ピクチャーで探索するインター予測を行い、イントラ予測部３０６は、第１色成分画像の現在画素ブロックの予測値を現在ピクチャーから予測するイントラ予測を行う。一例として、Ｈ.２６４標準案による１６×１６イントラ予測モードを示す図４及び４×４イントラ予測モードを示す図５を参照するに、イントラ予測部３０６は、入力されたＲ、Ｇ、Ｂ色成分画像のうち一つの第１色成分画像を選択し、選択された第１色成分画像を所定サイズの画素ブロックに分割する。そして、イントラ予測部３０６は、分割された第１色成分画像の画素ブロックに対して、そのサイズによって、イントラ１６×１６予測モード、イントラ４×４予測モード、イントラ８×８予測モード（イントラ４×４予測モードと類似している）でイントラ予測を行う。第１色成分画像の画素ブロックの予測画素ブロックの形成のためのインター予測及びイントラ予測方式は、前記の例に限定されず、変形された形態の他のインター予測及びイントラ予測方式が適用されうる。
【００２２】
減算部３０７は、入力された第１色成分原画像の該当画素ブロックからインター予測またはイントラ予測を通じて予測された予測画素ブロックを取り出して第１レジデューを生成する。生成された第１レジデューは、変換部３０８によって周波数領域に変換され、量子化部３０９で量子化される。量子化された第１レジデュー成分の変換係数は、再整列部３１０で再整列された後、エントロピーコーディング部３１４によって符号化されてビットストリーム状に出力される。
【００２３】
変換及び量子化された第１レジデューは、逆量子化部３１２と逆変換部３１３とを通じてさらに逆量子化及び逆変換される。加算部３１５は、逆量子化及び逆変換された第１レジデュー成分と第１色成分画像の予測画素ブロックとを合算して、第１色成分画像の画素ブロックを復元する。このように復元された第１色成分画像は、デブロッキングフィルタリングを行うフィルタ３１６を経た後、フレームメモリ３１７に保存され、次のピクチャーに対するインター予測に使われる。また、復元された第１色成分画像の画素ブロックは、次の画素ブロックのイントラ予測のためにイントラ予測部３０６に入力されて参照値として利用される。また、復元された第１色成分画像の画素ブロックは、第１色成分画像を除外した残りの色成分画像の画素ブロックの予測のために、相関予測部３１４に入力される。
【００２４】
相関予測部３１４は、カラー画像を構成する色成分画像の相関関係を利用して、復元された第１色成分画像の所定サイズの画素ブロックから対応する残りの色成分画像の画素ブロックを予測する。前述した図２Ａ及び図２Ｂを参照するに、カラー画像を構成する色成分画像の画素値は、相関関係を有する。相関予測部３１４は、このような第１色成分画像と残りの色成分画像との相関関係を所定の関数関係でモデリングすることによって予測子を生成し、生成された予測子を利用して第１色成分画像の所定サイズの画素ブロックの復元された画素値を媒介変数として同じ位置の他の色成分画像の画素値を予測する。特に、本発明による相関予測部３１４は、予測子の形成時に第１色成分画像の復元された周辺画素ブロックの画素値、残りの色成分画像の復元された周辺画素ブロックの画素値を利用する。前記モデリング過程で後述する。
【００２５】
一方、相関予測部３１４は、ＲＧＢカラー入力画像のように、３個以上の色成分を含んでいる入力画像を予測符号化するとき、残りの第２及び第３色成分画像の画素ブロックを何れも復元された第１色成分画像の画素ブロックを利用して予測するか、または第２色成分画像の画素ブロックは、復元された第１色成分画像の画素ブロックから予測し、第３色成分画像の画素ブロックは、復元された第２色成分画像の画素ブロックから予測しうる。すなわち、相関予測部３１４は、復元された第１色成分画像の画素ブロックから残りの色成分画像の画素ブロック全部を予測するか、または以前に第１色成分画像の画素ブロックから予測された他の色成分画像の復元された画素ブロックから残りの色成分画像の画素ブロックを予測しうる。
【００２６】
減算部３０７は、相関予測部３１４で予測された第２及び第３色成分原画像の画素ブロックから第２及び第３色成分原画像の画素ブロックを取り出して第２及び第３レジデューを生成する。第２及び第３レジデューは、前述した第１レジデューと同様に、変換、量子化及びエントロピー符号化過程を経て符号化されてビットストリーム状に出力される。
【００２７】
また、変換及び量子化された第２及び第３レジデューは、逆量子化部３１２と逆変換部３１３とを通じてさらに逆量子化及び逆変換され、加算部３１５は、逆量子化及び逆変換された第２及び第３レジデューのそれぞれは、相関予測部３１４で予測された第２及び第３色成分画像の該当画素ブロックと合算されて第２及び第３色成分画像の画素ブロックが復元される。このように復元された第２及び第３色成分画像は、デブロッキングフィルタリングを行うフィルタ３１６を経た後、フレームメモリ３１７に保存され、次のピクチャーに対するインター予測に使われる。前述したように、復元された第２色成分画像の画素ブロックから第３色成分画像の画素ブロックを予測する場合には、加算部３１５で復元された第２色成分画像の画素ブロックは、再び相関予測部３１４に入力される。
【００２８】
制御部３１８は、画像符号化装置３００の各構成要素を制御する一方、現在画素ブロックの予測モードを決定する。具体的に、制御部３１８は、インター予測された画像、イントラ予測された画像及び本発明によって色成分画像間の相関関係を利用して予測された画像のコストを計算し、予測された画像のうちから最も低いコストを有する予測モードを最終的な予測モードと決定する。制御部３１８は、本発明によって予測された画像のコストが所定の臨界値より高い場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて各色成分画像を符号化するように選択しうる。
【００２９】
また、制御部３１８は、図２Ａ及び図２Ｂに示したような各色成分画像間の相関関係を表す基準値を計算し、各色成分画像間の基準値が所定臨界値以下である場合には、本発明による予測符号化方法の代りに、従来の技術によるインター予測またはイントラ予測を通じて各色成分画像を符号化するように選択しうる。ここで、基準値としては、各色成分間の散布度を表す分散や標準偏差が利用される。
【００３０】
本発明による画像符号化方法によって符号化された画像のビットストリームのヘッダには、予測モード情報を挿入して、本発明によって色成分画像間の相関関係を考慮して復号化を行う。
【００３１】
図６は、本発明の望ましい一実施形態による画像符号化方法を示すフローチャートである。以下、図３及び図４を参照して、本発明による画像符号化装置の動作及び画像符号化方法について説明する。
【００３２】
ステップ４１０で、複数の色成分を有する入力画像のうち選択された第１色成分画像の所定サイズの画素ブロックに対する予測符号化を行う。前述したように、第１色成分画像の画素ブロックに対する予測符号化は、動き推定部３０２及び動き補償部３０４によるインター予測またはイントラ予測３０６によるイントラ予測を通じて行う。
【００３３】
図７Ａは、入力画像に備えられたＧ色成分画像の１６×１６画素ブロック７１０、図７Ｂは、入力画像に備えられたＢ色成分画像の１６×１６画素ブロック７２０、図７Ｃは、入力画像に備えられたＲ色成分画像の１６×１６画素ブロック７３０を示す図である。ここで、ｇｉ,ｊ、ｂｉ,ｊ、ｒｉ,ｊは、それぞれＧ、Ｂ、Ｒ色成分画像の１６×１６画素ブロックで第ｉ行及び第ｊ列に位置した画素値を表す。また、図７Ａないし図７Ｃのそれぞれでハッチングで表示された画素は、現在画素ブロック以前に処理された周辺画素ブロックの復元された画素ブロックを表す。
【００３４】
もし、Ｇ色成分画像、Ｂ色成分画像及びＲ色成分画像の順に符号化を行う場合、動き推定部３０２及び動き補償部３０４によるインター予測またはイントラ予測部３０６によるイントラ予測を通じてＧ色成分画像の１６×１６画素ブロックの予測画素ブロックが生成される。
【００３５】
減算部３０７は、Ｇ色成分原画像の１６×１６画素ブロックからＧ色成分画像の１６×１６予測画素ブロックとの差を計算して第１レジデューを生成し、生成された第１レジデューは、変換、量子化及びエントロピー符号化過程を経てビットストリーム状に出力される。
【００３６】
ステップ４２０で、第１レジデューに対する逆量子化及び逆変換過程を行い、Ｇ色成分画像の１６×１６予測画素ブロックと逆量子化及び逆変換された第１レジデューとを合算して、Ｇ色成分画像の１６×１６画素ブロックを復元する。
【００３７】
ステップ４３０で、相関予測部３１４は、Ｇ色成分画像の復元された周辺画素ブロックの画素値、残りの色成分画像の復元された周辺画素ブロックの画素値及びＧ色成分画像の復元された現在画素ブロックの画素値を利用して、対応する位置のＢ色成分画像の画素ブロックの画素値及びＲ色成分画像の画素ブロックの画素値を予測する。
【００３８】
復元されたＧ色成分画像の１６×１６画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【００３９】
【数４１】
2009534876.tif 000003
前記
【００４０】
【数４２】
2009534876.tif 000004
に対応するＢ色成分画像の画素ブロックの第ｉ行、第ｊ列に位置した画素の予測値を
【００４１】
【数４３】
2009534876.tif 000005
とするとき、Ｂ色成分画像の画素ブロックは、次の式（１）のように、Ｇ色成分画像の復元された周辺画素ブロックの画素値
【００４２】
【数４４】
2009534876.tif 000006
Ｂ色成分画像の復元された周辺画素ブロックの画素値
【００４３】
【数４５】
2009534876.tif 000007
及び復元されたＧ色成分画像の現在画素ブロックの画素値
【００４４】
【数４６】
2009534876.tif 000008
を利用して予測される。
【００４５】
【数４７】
2009534876.tif 000009
式（１）で、関数ｆは多様に定義される。一実施形態として、Ｇ色成分画像の復元された現在画素ブロックの画素値
【００４６】
【数４８】
2009534876.tif 000010
と、これに対応するＢ色成分画像の現在画素ブロックの予測値
【００４７】
【数４９】
2009534876.tif 000011
とを、次の式（２）のように、１次関数関係で定義しうる。
【００４８】
【数５０】
2009534876.tif 000012
式（２）で、ａは、Ｇ色成分画像とＢ色成分との相関関係を表す所定の加重値、ｂは、所定のオフセット値を表す。式（２）を通じて得られた予測画素値は、画像の各画素値を８ビットで表現する場合、０ないし２５５の定数値にクリッピングされる。
【００４９】
式（２）のａ及びｂの値は、画素の位置（ｉ,ｊ）によって変更されるが、本発明の実施形態では、所定のブロック内で定数値を有する場合を考慮する。一例として、前記ａ及びｂの値は、第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第２色成分画像の周辺画素ブロックの予測画素値と、第２色成分画像の周辺画素ブロックの復元された画素値との値を最小にする値に決定される。すなわち、第１色成分画像をＧ色成分画像とし、残りの色成分画像をＢ色成分画像とするとき、次の式（３）のように、Ｂ色成分画像の周辺画素ブロック内の復元された画素値
【００５０】
【数５１】
2009534876.tif 000013
と、前記式（２）を通じて予測された対応するＢ色成分画像の周辺画素ブロックの予測値
【００５１】
【数５２】
2009534876.tif 000014
との差の和が最小になる値に決定される。
【００５２】
【数５３】
2009534876.tif 000015
式（２）で、ａ及びｂを決定する他の方法としてａの値を１に決定し、ｂは、次の式（４）のように、Ｂ色成分画像の周辺画素ブロック内の復元された画素値と、Ｇ色成分画像の復元された周辺画素ブロックの画素値との差の平均に決定しうる。
【００５３】
【数５４】
2009534876.tif 000016
このように、式（２）の定数ａ及びｂの値が決定されれば、相関予測部３１４は、復元されたＧ色成分画像の画素ブロックの各画素値ｇ’ｉ,ｊを式（２）に代入して、対応するＢ色成分画像の画素ブロックの画素値を予測する。
【００５４】
また、他のａ及びｂの値の決定方法としては、統計分野で多く使用する線形回帰モデルに基づいた方法が利用される。
【００５５】
図８Ａは、本発明による画像符号化方法及び装置で８×８画素ブロックの処理順序を示す図であり、図８Ｂは、本発明による画像符号化方法及び装置で４×４画素ブロックの処理順序を示す図である。
【００５６】
図８Ａを参照するに、Ｂ色成分画像の画素ブロックを８×８モードで処理する場合、４個のＢ色成分画像の８×８画素ブロックは、左から右に、上方から下方への順に順次に予測される。Ｂ色成分画像の８×８画素ブロックの処理は、ブロックサイズが変わっただけであり、前述したＢ色成分画像の１６×１６画素ブロックの画素値を予測する過程と類似して、式（２）を通じてＢ色成分画像の８×８画素ブロック内の各画素値を予測しうる。８×８モードで処理するとき、式（２）のａ及びｂは、Ｂ色成分画像の復元された周辺画素ブロックの画素値と、対応するＢ色成分画像の周辺画素ブロックの予測値との差の和が最小化される値に決定されるか、またはａは１、ｂは、次の式（５）のように、Ｂ色成分画像の８×８周辺画素ブロック内の復元された画素値と、Ｇ色成分画像の８×８周辺画素ブロックの復元された画素値との差の平均に決定しうる。
【００５７】
【数５５】
2009534876.tif 000017
図８Ｂを参照するに、Ｂ色成分画像の画素ブロックを４×４モードで処理する場合、１６個のＢ色成分画像の４×４画素ブロックは、左から右、上方から下方への順に順次に予測される。Ｂ色成分画像の各４×４画素ブロックの画素値は、ブロックサイズが変わっただけであり、前述したＢ色成分画像の１６×１６画素ブロックまたは８×８画素ブロックの画素値を予測する過程と類似して、式（２）を通じて予測しうる。
【００５８】
式（２）のａ及びｂは、Ｂ色成分画像の４×４画素ブロック内の復元された画素値と、対応するＢ色成分画像の周辺画素ブロックの予測値との差の和が最小化される値に決定されるか、またはａは１に固定され、ｂは、次の式（６）のように、Ｂ色成分画像の４×４周辺画素ブロック内の復元された画素値と、復元されたＧ色成分画像の４×４周辺画素ブロックの画素値との差の平均に決定しうる。
【００５９】
【数５６】
2009534876.tif 000018
前述したように、相関予測は、各マクロブロック（１６×１６）ごとに１６×１６、８×８、４×４ブロック単位でなされる。適応的な一実施形態として、前記三つのブロックモードのうち適した一つのブロック単位で各マクロブロックの相関予測がなされる。
【００６０】
減算部３０７は、Ｂ色成分原画像の画素ブロックから、相関予測部３１４で復元されたＧ色成分画像の画素ブロックの画素値を利用して予測された予測画素ブロックとの差を計算して第２レジデューを生成し、生成された第２レジデューは、変換、量子化及びエントロピー符号化過程を経てビットストリーム状に出力される。
【００６１】
次いで、Ｒ色成分画像の画素ブロックの画素値は、前述したＢ色成分画像の画素ブロックの画素値と類似して、復元されたＧ色成分画像の画素ブロックの画素値を利用して予測される。
【００６２】
一方、相関予測部３１４は、Ｒ色成分画像の画素ブロックの画素値を予測するとき、復元されたＧ色成分画像の画素ブロックの代りに、以前に処理されたＢ色成分画像の画素ブロックの復元された画素値を利用して予測しうる。すなわち、Ｂ色成分原画像の画素ブロックからＢ色成分画像の予測画素ブロックとの差である第２レジデューを変換及び量子化した値をさらに逆変換及び逆量子化し、逆変換及び逆量子化された第２レジデューとＢ色成分画像の予測画素ブロックとを合算することによって、復元されたＢ色成分の画素ブロックをＲ色成分画像の画素ブロックの予測に利用しうる。
【００６３】
具体的に、復元されたＢ色成分画像の画素ブロックの第ｉ行、第ｊ列に位置した画素値を
【００６４】
【数５７】
2009534876.tif 000019
前記
【００６５】
【数５８】
2009534876.tif 000020
に対応するＲ色成分画像の画素ブロックの第ｉ行、第ｊ列に位置した画素の予測値を
【００６６】
【数５９】
2009534876.tif 000021
は、Ｂ色成分画像とＲ色成分との相関関係を表す所定の加重値、ｄは、所定のオフセット値とするとき、相関予測部３１４は、Ｂ色成分画像の画素値とＲ色成分画像との相関関係を、次の式（７）のように、１次関数としてモデリングし、Ｂ色成分画像の画素値に対応するＲ色成分画像の画素値を予測する。
【００６７】
【数６０】
2009534876.tif 000022
前述したように、式（７）を通じて得られた予測画素値は、画像の各画素値を８ビットで表現する場合、０ないし２５５の整数値にクリッピングされる。前記ｃ及びｄの値は、前述したａ及びｂの値の決定過程と類似して、Ｂ色成分画像の復元された周辺画素ブロックの画素値及びＲ色成分画像の復元された周辺画素ブロックの画素値を利用して決定される。
【００６８】
式（７）の定数ｃ及びｄの値が決定されれば、相関予測部３１４は、復元されたＢ色成分画像の画素ブロックの各画素値Ｂ’ｉ,ｊを式（６）に代入して、対応するＲ色成分画像の画素ブロックの画素値を予測する。
【００６９】
式（２）及び式（７）のａ及びｂ、ｃ及びｄの値は、生成されたビットストリームのヘッダに予測モード情報として挿入されて復号化器に伝送されることによって、復号化器で復号化を行えるようにすることが望ましい。しかし、復号器でも符号器と同じ方法で各色成分の復元された周辺画素を利用して、ａ及びｂ、ｃ及びｄの値を生成しうるため、ａ及びｂ、ｃ及びｄの値を別途にビットストリームに含めず、復号器に生成して使用することも可能である。
【００７０】
図９は、本発明の他の実施形態による画像符号化装置の構成を示すブロック図であり、図１０は、本発明の他の実施形態による画像符号化方法を示すフローチャートである。
【００７１】
本発明の他の実施形態による画像符号化装置９００は、前述した本発明の一実施形態による図３の画像符号化装置３００とその構成及び動作において類似しているが、復元された第１色成分画像でエッジを検出するエッジ検出部９０１及び領域分離部９０２をさらに備えている。以下では、前述した本発明の一実施形態による画像符号化装置と同じ構成要素についての具体的な説明は省略し、本発明の一実施形態による画像符号化装置と差がある部分を中心に、本発明の他の実施形態による画像符号化装置及び方法について説明する。
【００７２】
ステップ１０１０で、動き推定部９０３及び動き補償部９０４による動き予測補償またはイントラ予測部９０５によるイントラ予測を通じて、Ｇ色成分画像の画素ブロックに対する予測画素ブロックを生成する。Ｇ色成分画像の予測画素ブロックとＧ色成分原画像の原画像の画素ブロックとの差である第１レジデューは、変換、量子化及びエントロピー符号化過程を通じて符号化されてビットストリームに出力される。
【００７３】
ステップ１０２０で、変換及び量子化された第１レジデューに対して逆変換及び逆量子化過程を行って第１レジデューを復元した後、Ｇ色成分画像の予測画素ブロックと第１レジデューとを合算して、Ｇ色成分画像の画素ブロックを復元する。
【００７４】
ステップ１０３０で、エッジ検出部９０１は、復元された第１色成分画像の所定サイズの画素ブロック内に存在するエッジを検出する。画素ブロック内に存在するエッジを検出する理由は、画素ブロック内にエッジが存在する場合、エッジを中心に分けられた画素ブロック内の領域間でもカラー特性が変化するためである。したがって、本発明の他の実施形態による画像符号化方法及び装置は、画素ブロック内に存在するエッジを検出し、検出されたエッジを中心に画素ブロックを分離した後、分離された領域別に前述した本発明の一実施形態と類似して、復元された第１色成分画像の画素値から他の残りの色成分画像の画素値を予測する。
【００７５】
エッジ検出方法としては、ソベル演算子、キャニーエッジ検出アルゴリズムなどの多様なエッジ検出アルゴリズムが適用される。また、エッジ検出部９０１を備えず、イントラ予測部９０５で決定されたイントラ予測モードの方向をエッジ方向に判断することもある。
【００７６】
ステップ１０４０で、領域分離部９０２は、検出されたエッジを利用して、第１色成分画像の画素ブロック及び対応する残りの色成分画像の画素ブロックを分離する。
【００７７】
図１１Ａは、検出されたエッジを利用して、Ｇ色成分画像の画素ブロックを分離する一例を示す図であり、図１１Ｂは、検出されたエッジを利用して、Ｂ色成分画像の画素ブロックを分離する一例を示す図であり、図１１Ｃは、検出されたエッジを利用して、Ｒ色成分画像の画素ブロックを分離する一例を示す図である。図１１Ａないし図１１Ｃを参照するに、エッジ検出部９０１で復元されたＧ色成分画像の画素ブロック内に一つのエッジが存在すると判断されれば、領域分離部９０２は、Ｂ色成分画像の画素ブロック及びＲ色成分画像の画素ブロックにも同じエッジが存在すると判断し、検出されたエッジを利用して、各色成分の画素ブロックを２個の領域Ｉ,ＩＩに分離する。
【００７８】
ステップ１０５０で、相関予測部９１３は、復元されたＧ色成分画像の画素ブロックを利用して、分離された各領域別に対応する残りのＢ色成分画像及びＲ色成分画像の画素ブロックの画素値を予測する。すなわち、相関予測部９１３は、第１領域Ｉに存在する復元されたＧ色成分画像の画素値ｇ’ｉ,ｊを利用して、第１領域Ｉに対応するＢ色成分画像の画素ブロック内の画素値及びＲ色成分画像の画素ブロック内の画素値を予測する。同様に、相関予測部９１３は、第２領域ＩＩに存在する復元されたＧ色成分画像の画素値ｇ’ｉ,ｊを利用して、第２領域ＩＩに対応するＢ色成分画像の画素ブロック内の画素値及びＲ色成分画像の画素ブロック内の画素値を予測する。
【００７９】
具体的に、各色成分画像の画素ブロックがｎ個の領域に分離され、復元されたＧ色成分画像の画素ブロックの第ｋ領域（ｋ＝１，２，...，ｎ）内の任意の画素値を
【００８０】
【数６１】
2009534876.tif 000023
前記
【００８１】
【数６２】
2009534876.tif 000024
に対応するＢ色成分画像の画素ブロックの第ｋ領域の画素の予測値を
【００８２】
【数６３】
2009534876.tif 000025
は、前記Ｇ色成分画像の第ｋ領域とＢ色成分画像の第ｋ領域との相関関係を表す所定の加重値、ｆは、所定のオフセット値とすれば、前記Ｂ色成分画像の画素ブロックの画素値は、前述した式（２）と類似して、次の式（８）を通じて予測される。
【００８３】
【数６４】
2009534876.tif 000026
式（８）で、定数ｅ及びｆは、第１色成分画像の周辺画素ブロックの復元された画素値を利用して予測された第２色成分画像の画素ブロックの第ｋ領域に隣接した第２色成分画像の周辺画素ブロックの予測画素値と、第２色成分画像の画素ブロックの第ｋ領域に隣接した第２色成分画像の周辺画素ブロックの復元された画素値との差を最小にする値に決定される。
【００８４】
簡単な例として、ｅは１であり、ｆは、第２色成分画像の画素ブロックの第ｋ領域に隣接した第２色成分画像の周辺画素ブロックの復元された画素値と、第２色成分画像の画素ブロックの第ｋ領域に隣接した第１色成分画像の周辺画素ブロックの復元された画素値との差の平均を利用して決定される。図１１Ａ及び図１１Ｂを参照するに、第１色成分画像をＧ色成分画像、第２色成分画像をＢ色成分画像とするとき、第１領域Ｉに適用する式（９）のｆは、現在画素ブロックの第１領域Ｉに隣接したＧ色成分画像の周辺画素ブロックの画素１１１０の復元された画素値、及びこれに対応するＢ色成分画像の周辺画素ブロックの画素１１１２の復元された画素値を利用して、次の式（９）のように定義される。
【００８５】
【数６５】
2009534876.tif 000027
同様に、第２領域ＩＩに適用する式（８）のｆは、現在画素ブロックの第２領域ＩＩに隣接したＧ色成分画像の周辺画素ブロックの画素１１２０,１１３０の復元された画素値及びこれに対応するＢ色成分画像の周辺画素ブロックの画素１１２２,１１３２の復元された画素値を利用して、次の式（１０）のように定義される。
【００８６】
【数６６】
2009534876.tif 000028
前述した各領域別のＢ色成分画像の画素ブロックの画素値を各領域別に予測することと類似して、Ｒ色成分画像の画素ブロックの画素値を各領域別に予測しうる。
【００８７】
一方、Ｒ色成分画像の画素ブロックの画素値を予測するとき、復元されたＧ色成分画像の画素ブロックの画素値を利用する代わりに、前述した式（７）と類似して、同一領域内に存在する復元されたＢ色成分画像の画素ブロックの画素値を利用して、Ｒ色成分画像の画素ブロックの画素値を予測しうる。
【００８８】
図１２は、本発明の望ましい実施形態による画像復号化装置の構成を示す図である。図１２を参照するに、本発明による画像復号化装置１２００は、エントロピーデコーディング部１２１０、再整列部１２２０、逆量子化部１２３０、逆変換部１２４０、イントラ予測部１２５０、動き補償部１２６０、相関予測部１２７０及びフィルタ１２８０を備える。
【００８９】
前記エントロピーデコーディング部１２１０及び再整列部１２２０は、圧縮されたビットストリームを受信してエントロピー復号化を行って、量子化された係数を生成する。前記逆量子化部１２３０及び逆変換部１２４０は、量子化された係数に対する逆量子化及び逆変換を行って、各色成分画像のレジデュー情報、動きベクトル情報及び予測モード情報を抽出する。ここで、予測モード情報には、本発明によるイントラ予測方法によって符号化されたビットストリームであるか否かを表す所定のシンタックスが含まれる。また、本発明による画像符号化方法によって符号化されたビットストリームの場合、前記予測モード情報には、残りの色成分画像の画素ブロックの画素値の予測に利用される予測子情報、すなわち、前述した式（２）のａ及びｂ、式（７）のｃ及びｄ、式（８）のｅ及びｆ値情報が含まれる。
【００９０】
動き補償部１２６０は、現在画素ブロックがインター予測された画素ブロックである場合、動き補償及び予測を通じて予測ブロックを生成する。イントラ予測部１２５０は、現在画素ブロックがイントラ予測された画素ブロックである場合、イントラ予測を行って、予測画素ブロックを生成する。
【００９１】
加算部１２７５は、第１色成分画像の予測画素ブロックと逆変換部１２４０から出力される第１レジデューとを合算して、第１色成分画像の画素ブロックを復号化する。復号化された第１色成分画像の画素ブロックは、さらに相関予測部１２７０に入力される。相関予測部１２７０は、復号化された第１色成分画像の画素ブロックを利用して、対応する残りの色成分画像の画素ブロックを復号化する。
【００９２】
具体的に、前述した本発明による図３の相関予測部３１４と同様に、相関予測部１２７０は、復号化された第１色成分画像の画素ブロックの画素値を式（２）に代入して、第２または第３色成分画像の画素ブロックの画素値を予測しうる。もし、第３色成分画像が復元された第２色成分画像を利用して予測された場合には、前述した式（７）のように、復元された第２色成分画像の画素ブロックの画素値を利用して、第３色成分画像の画素ブロックの画素値を予測しうる。
【００９３】
相関予測部１２７０で予測された第２及び第３色成分画像の予測画素ブロックのそれぞれは、逆変換部１２４０から出力される第２レジデュー及び第３レジデュー成分と合算されることによって、第２及び第３色成分画像の画素ブロックが復号化される。
【００９４】
一方、前述した本発明の他の実施形態によって、画素ブロック内に存在するエッジを検出して、各領域別に符号化されたビットストリームを符号化する場合には、受信された複数の色成分の符号化された画像を備えるビットストリームで、第１色成分画像の画素ブロック内に存在するエッジを検出するエッジ検出部（図示せず）、及び検出されたエッジを利用して各色成分画像の画素ブロックを分離する領域分離部（図示せず）をさらに備えうる。この場合、図９の相関予測部９１３と同様に、相関予測部１２７０は、復号化されたＧ色成分画像の画素ブロックを利用して、分離された各領域別に対応する残りのＢ色成分画像及びＲ色成分画像の画素ブロックの画素値を予測する。また、前述したように、残りの色成分画像の画素値の予測に利用される予測子の定数値は、周辺画素ブロックの復元された画素値を利用して決定されるか、またはビットストリームに備えられた予測モード情報を利用して決定される。
【００９５】
図１３は、本発明の一実施形態による画像復号化方法を示すフローチャートである。図１３を参照するに、ステップ１３１０で、少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信する。
【００９６】
ステップ１３２０で、ビットストリームに備えられた複数の色成分の画像のうちから第１色成分画像の所定サイズの画素ブロックに対する予測画素ブロックを生成し、ステップ１３３０で、第１色成分画像の予測画素ブロックを第１レジデューと合算して、第１色成分画像の画素ブロックを復号化する。
【００９７】
ステップ１３４０で、復号化された第１色成分画像の画素ブロック、第１色成分画像の復号化された周辺画素ブロック及び現在復号化しようとする残りの色成分画像の復号化された周辺画素ブロックを利用して、残りの色成分画像の画素ブロックの画素値を予測することによって、残りの色成分画像の画素ブロックの予測画素ブロックを生成する。前述したように、残りの色成分画像の画素ブロックの予測に利用される式（２）または式（７）のような予測子を形成するために、ビットストリームに備えられた予測モード情報を利用するか、または第１色成分画像の復号化された周辺画素ブロック及び現在復号化しようとする残りの色成分画像の復号化された周辺画素ブロックを利用する。次いで、相関予測部１２７０は、復号化された第１色成分画像の画素ブロックの画素値を利用して、残りの第２及び第３色成分画像の画素ブロックの画素値を予測するか、または復号化された第２色成分画像を利用して、第３色成分画像の画素ブロックの画素値を予測する。
【００９８】
ステップ１３５０で、第２及び第３色成分画像の画素ブロックの予測画素ブロックそれぞれを、逆変換された第２レジデュー及び第３レジデュー成分と合算して、第２及び第３色成分画像の画素ブロックを復号化する。
【００９９】
図１４は、本発明の他の実施形態による画像復号化方法を示すフローチャートである。本発明の他の実施形態による画像復号化方法は、各色成分画像の画素ブロック内に存在するエッジを中心に各領域別に分離されて符号化された色成分画像の画素ブロックを復元することを除いては、前述した本発明の一実施形態による画像復号化方法と類似している。
【０１００】
図１４を参照するに、ステップ１４１０で、少なくとも２つの色成分の符号化された画像を備えるビットストリームを受信する。
【０１０１】
ステップ１４２０で、複数の色成分の画像のうちから第１色成分画像の所定サイズの画素ブロックを復号化する。
【０１０２】
ステップ１４３０で、復号化された第１色成分画像の画素ブロック内に存在するエッジを検出する。
【０１０３】
ステップ１４４０で、検出されたエッジを利用して、復号化された第１色成分画像の画素ブロック及び対応する残りの色成分画像の画素ブロックを分離する。
【０１０４】
ステップ１４５０で、復号化された第１色成分画像の画素ブロックを利用して、分離された各領域別に第２及び第３色成分画像の画素ブロックの画素値を予測する。
【０１０５】
各領域別に予測された第２及び第３色成分画像の画素値は、結合されて第２及び第３色成分画像の予測画素ブロックが形成され、第２及び第３色成分の予測画素ブロックは、逆変換された第２レジデュー及び第３レジデュー成分と合算されて、第２及び第３色成分画像の画素ブロックが復号化される。
【０１０６】
本発明はまた、コンピュータで読み取り可能な記録媒体にコンピュータ可読コードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取られるデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（リード  オンリ  メモリ）、ＲＡＭ（ランダム  アクセス  メモリ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置があり、また、キャリアウェーブ（例えば、インターネットを通じた伝送）状に具現されるものも含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータ可読コードが保存され、かつ実行される。
【０１０７】
以上、本発明についてその望ましい実施形態を中心に説明した。当業者は、本発明の本質的な特性から逸脱しない範囲で変形された形態で具現されるということが分かるであろう。したがって、開示された実施形態は、限定的な観点ではなく、説明的な観点で考慮されねばならない。本発明の範囲は、前述した説明ではなく、特許請求の範囲に現れており、それと同等な範囲内にある全ての差異点は、本発明に含まれていると解釈されねばならない。
【図面の簡単な説明】
【０１０８】
【図１Ａ】一つのカラー画像を構成するＲ色成分画像の一例を示す図である。
【図１Ｂ】一つのカラー画像を構成するＧ色成分画像の一例を示す図である。
【図１Ｃ】一つのカラー画像を構成するＢ色成分画像の一例を示す図である。
【図２Ａ】図１Ｂ及び図１ＣのＧ色成分画像とＢ色成分画像との相関関係を示すグラフである。
【図２Ｂ】図１Ａ及び図１ＢのＲ色成分画像とＧ色成分画像との相関関係を示すグラフである。
【図３】本発明の望ましい一実施形態による画像符号化装置の構成を示すブロック図である。
【図４】Ｈ.２６４標準案による１６×１６イントラ予測モードを示す図である。
【図５】Ｈ.２６４標準案による４×４イントラ予測モードを示す図である。
【図６】本発明の望ましい一実施形態による画像符号化方法を示すフローチャートである。
【図７Ａ】入力画像に備えられたＧ色成分画像の１６×１６画素ブロックを示す図である。
【図７Ｂ】入力画像に備えられたＢ色成分画像の１６×１６画素ブロックを示す図である。
【図７Ｃ】入力画像に備えられたＲ色成分画像の１６×１６画素ブロックを示す図である。
【図８Ａ】本発明による画像符号化方法及び装置で、８×８画素ブロックの処理順序を示す図である。
【図８Ｂ】本発明による画像符号化方法及び装置で、４×４画素ブロックの処理順序を示す図である。
【図９】本発明の他の実施形態による画像符号化装置の構成を示すブロック図である。
【図１０】本発明の他の実施形態による画像符号化方法を示すフローチャートである。
【図１１Ａ】図９の領域分離部で検出されたエッジを利用して、Ｇ色成分画像の画素ブロックを分離する一例を示す図である。
【図１１Ｂ】図９の領域分離部で検出されたエッジを利用して、Ｂ色成分画像の画素ブロックを分離する一例を示す図である。
【図１１Ｃ】図９の領域分離部で検出されたエッジを利用して、Ｒ色成分画像の画素ブロックを分離する一例を示す図である。
【図１２】本発明の望ましい実施形態による画像復号化装置の構成を示す図である。
【図１３】本発明の一実施形態による画像復号化方法を示すフローチャートである。
【図１４】本発明の他の実施形態による画像復号化方法を示すフローチャートである。
【図１Ａ】
2009534876.tif 000069
【図１Ｂ】
2009534876.tif 000070
【図１Ｃ】
2009534876.tif 000071
【図２Ａ】
2009534876.tif 000072
【図２Ｂ】
2009534876.tif 000073
【図３】
2009534876.tif 000074
【図４】
2009534876.tif 000075
【図５】
2009534876.tif 000076
【図６】
2009534876.tif 000077
【図７Ａ】
2009534876.tif 000078
【図７Ｂ】
2009534876.tif 000079
【図７Ｃ】
2009534876.tif 000080
【図８Ａ】
2009534876.tif 000081
【図８Ｂ】
2009534876.tif 000082
【図９】
2009534876.tif 000083
【図１０】
2009534876.tif 000084
【図１１Ａ】
2009534876.tif 000085
【図１１Ｂ】
2009534876.tif 000086
【図１１Ｃ】
2009534876.tif 000087
【図１２】
2009534876.tif 000088
【図１３】
2009534876.tif 000089
【図１４】
2009534876.tif 000090