(57)【要約】【課題】  映像成分のレジデューと映像成分間の相関性を利用して予測レジデューを符号化および復号化するのでデータ量を大きく減らすことができる映像符号化／復号化方法および装置を提供する。【解決手段】  元映像の各成分に対して、元映像と予測映像との差に該当するレジデューを求める段階と、元映像の所定成分に対するレジデューを符号化する段階と、所定成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、元映像のうち符号化されていない成分のレジデューと、復元されて所定値に変換されたレジデューとの差に該当する予測レジデューを符号化する段階と、を含む映像符号化方法およびその符号化された画像を復号化する方法。【選択図】  図１
2004343774.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つ以上の成分よりなる元映像を符号化する方法において、
前記元映像の各成分に対して、元映像と予測映像との差に該当するレジデューを求める段階と、
前記元映像の所定成分に対するレジデューを符号化する段階と、
前記所定成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていない成分のレジデューと前記復元されて所定値に変換されたレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項２】
前記レジデューの所定値への変換は、
前記元映像を構成する各成分の間の相関関係を利用してなされることを特徴とする請求項１に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項３】
前記元映像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちのいずれか一つであることを特徴とする請求項１に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項４】
カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、以前フレームと現在フレームの間の動きを推定した予測映像と元映像との差に該当する時間的レジデューを求める段階と、
前記Ｇ成分のレジデューを符号化する段階と、
前記Ｇ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＲ成分およびＢ成分のレジデューと前記所定値に変換されたＧ成分のレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項５】
前記動き推定は、
所定の大きさのブロック単位でなされることを特徴とする請求項４に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項６】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用してなされることを特徴とする請求項４に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項７】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることを特徴とする請求項４または５に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項８】
前記線形関数は、
以前フレームからブロック単位で動きを補償する時に使用したブロックの大きさ別に異なって定義して使用することを特徴とする請求項７に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項９】
カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、以前フレームと現在フレームの間に動きを推定した予測映像と元映像との差に該当する時間的レジデューを求める段階と、
前記Ｒ成分のレジデューを符号化する段階と、
前記Ｒ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＢ成分およびＧ成分のレジデューと前記所定の値に変換されたＲ成分のレジデューとの差に該当する予測レジデューを符号化する段階、とを含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１０】
カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、以前フレームと現在フレームの間に動きを推定した予測映像と元映像との差に該当する時間的レジデューを求める段階と、
前記Ｂ成分のレジデューを符号化する段階と、
前記Ｂ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＲ成分およびＧ成分のレジデューと前記所定の値に変換されたＲ成分のレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１１】
カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差に該当する空間的レジデューを求める段階と、
前記Ｇ成分のレジデューを符号化する段階と、
前記Ｇ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＲ成分およびＢ成分のレジデューと前記所定値に変換されたＧ成分のレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１２】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用してなされることを特徴とする請求項１１に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項１３】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることを特徴とする請求項１１に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項１４】
前記線形関数は、
Ｇ、ＲおよびＢの各成分のレジデューを求める時に使用した隣接画素の空間的予測方向別に異なって定義して使用することを特徴とする請求項１３に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項１５】
カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差に該当する空間的レジデューを求める段階と、
前記Ｒ成分のレジデューを符号化する段階と、
前記Ｒ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＧ成分およびＢ成分のレジデューと前記所定の値に変換されたＲ成分のレジデューとの差に該当する予測レジデューを符号化する段階、とを含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１６】
カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差に該当する空間的レジデューを求める段階と、
前記Ｂ成分のレジデューを符号化する段階と、
前記Ｂ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、
前記元映像のうちの符号化されていないＲ成分およびＧ成分のレジデューと前記所定の値に変換されたＢ成分のレジデューとの差に該当する予測レジデューを符号化する段階、とを含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１７】
Ｒ−Ｇ−Ｂカラー映像を符号化する方法において、
（１）フレーム間予測方式であれば、各カラー成分の以前フレームと現在フレームの間で所定大きさのブロック単位で動きを推定して予測映像を得て、元映像から前記予測映像を引いた時間的レジデューを求める段階と、
（２）フレーム内予測方式であれば、各カラー成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、元映像から前記予測映像を引いた空間的レジデューを求める段階と、
（３）Ｇ成分のレジデューを符号化し、前記符号化されたＧ成分のレジデュー映像を復元する段階と、
（４）前記（１）および／または（２）段階で生成されたＲ成分およびＢ成分のレジデューと、前記（３）段階で復元されたＧ成分のレジデューとを使用してＲ成分およびＢ成分に対する予測レジデューを得る段階と、
（５）前記（４）段階で求めたＲ成分およびＢ成分の予測レジデュー値を符号化し、前記符号化されたＲ成分およびＢ成分の予測レジデュー映像を復元する段階と、
（６）前記Ｇ成分の復元されたレジデュー映像と前記Ｒ成分およびＢ成分の復元された予測レジデュー映像からＧ成分、Ｒ成分およびＢ成分の復元されたレジデュー値を得て、これらの復元されたレジデュー値を前記予測映像値に加えてＧ成分、Ｒ成分およびＢ成分の復元された映像を得る段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化方法。
【請求項１８】
前記（３）段階は、
Ｇ成分のレジデューを圧縮するために、周波数空間変換、量子化および可変長符号化し、量子化された値は再び逆量子化および逆周波数変換してＧ成分の復元されたレジデュー映像を得る段階であり、
前記（５）段階は、
前記（４）段階で求めたＲ成分およびＢ成分の予測レジデュー値を周波数空間変換、量子化および可変長符号化し、量子化された値は再び逆量子化および逆周波数空間変換してＲ成分およびＢ成分の復元された予測レジデュー映像を得る段階であることを特徴とする請求項１７に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項１９】
前記（４）段階は、
前記Ｇ成分の復元されたレジデュー値に１を含む一定の大きさの値を乗算してその値を０を含むオフセットに加える線形関数により線形変換する段階と、
前記元映像のうち符号化されていないＲ成分およびＢ成分のレジデューと前記線形変換されたＧ成分のレジデューとの差に該当する予測レジデューを求める段階と、を含むことを特徴とする請求項１７に記載の映像のレジデュー予測を利用した映像符号化方法。
【請求項２０】
少なくとも２つ以上の成分よりなる元映像を符号化する装置において、
前記元映像の各成分に対して、元映像と予測映像との差を生成するレジデュー生成部と、
前記レジデュー生成部で生成された元映像の所定成分に対するレジデューおよび予測レジデュー生成部で生成された予測レジデューを符号化するレジデュー符号化部と、
前記所定成分の符号化されたレジデューを復元して前記復元されたレジデュー値を含む所定の値に変換するレジデュー変換部と、
前記元映像のうちの符号化されていない成分のレジデューと前記復元されて所定値に変換されたレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化装置。
【請求項２１】
Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、
以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定して該当ブロックを出力する動き予測映像生成部と、
カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、前記動き予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する時間的レジデューを生成するレジデュー生成部と、
前記レジデュー生成部のＧ成分のレジデューと予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮して符号化する圧縮符号化部と、
前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、
前記復元されたＧ成分のレジデューを前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して前記復元されたＧ成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、
前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューと前記レジデュー変換部で変換されたＧ成分のレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化装置。
【請求項２２】
Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、
現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して該当ブロックを出力する空間予測映像生成部と、
カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、前記空間予測映像生成部の映像と現在フレームの該当ブロックとの差に該当する空間的レジデューを生成するレジデュー生成部と、
前記レジデュー生成部で生成されたＧ成分のレジデューと予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮して符号化する圧縮符号化部と、
前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、
前記復元されたＧ成分のレジデューを前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して前記復元されたＧ成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、
前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューと前記レジデュー変換部で変換されたＧ成分のレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化装置。
【請求項２３】
Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、
以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定して該当ブロックを出力する動き予測映像生成部と、
現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して該当ブロックを出力する空間予測映像生成部と、
フレーム間予測方式であれば前記動き予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する時間的レジデューを生成し、フレーム内予測方式であれば前記空間予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する空間的レジデューを生成するレジデュー生成部と、
前記レジデュー生成部で生成されたＧ成分のレジデューと、予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューを圧縮して符号化する圧縮符号化部と、
前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、
前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、
前記レジデュー変換部で変換された値と前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューとの差を生成する予測レジデュー生成部と、
前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記線形変換部で変換された値を加えて復元されたＢ成分およびＲ成分のレジデューを生成するレジデュー補償部と、
前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューに、フレーム間予測モードであれば前記動き予測映像生成部で生成された予測映像を加え、フレーム内予測モードであれば前記空間予測映像生成部で生成された予測映像を加えて、元映像を生成する元映像生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像符号化装置。
【請求項２４】
前記動き予測映像生成部は、
以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定する動き推定部と、
前記動き推定部で生成された動きベクトルに該当するブロックを出力する動き予測部とよりなり、
前記空間予測映像生成部は、
現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定する空間推定部と、
前記空間推定部で推定された方向に該当するブロックを出力する空間予測部とよりなることを特徴とする請求項２３に記載の映像のレジデュー予測を利用した映像符号化装置。
【請求項２５】
前記圧縮符号化部は、
前記レジデュー生成部で生成されたＧ成分のレジデューと、予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューを圧縮する周波数空間変換部と、
前記周波数空間変換部で圧縮されたデータを量子化する量子化部と、
前記量子化されたデータを符号化する符号化部とよりなり、
前記逆圧縮復号化部は、
前記量子化されたデータを逆量子化する逆量子化部と、
前記逆量子化されたデータを逆周波数空間変換してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆周波数空間変換部と、よりなることを特徴とする請求項２３に記載の映像のレジデュー予測を利用した映像符号化装置。
【請求項２６】
符号化された少なくとも２つ以上の成分よりなる元映像を復号化する方法において、
前記元映像と予測映像との差をレジデューとし、符号化された所定成分のレジデューを復元した後、前記復元したレジデュー値を含む所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、
前記符号化された元映像の所定成分のレジデューを復号化する段階と、
前記復号化されたレジデューを所定の値に変換する段階と、
前記復号化されていない各成分の予測レジデューを復号化する段階と、
前記所定の値に変換された値に前記予測レジデューを加えて復号化されていない成分のレジデューを求める段階と、
前記各成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項２７】
前記復号化されたレジデューの所定値への変換は、
前記元映像を構成する各成分間の相関関係を利用してなされることを特徴とする請求項２６に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項２８】
前記元映像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちのいずれか一つであることを特徴とする請求項２６に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項２９】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ成分、Ｒ成分およびＢ成分のそれぞれに対して以前フレームと現在フレームの間で動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定のカラー成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記符号化されたＧ−Ｒ−Ｂ映像からＧ成分の時間的レジデューを復号化する段階と、
前記復号化されたＧ成分のレジデューを前記復号化されたＧ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＲ成分およびＢ成分の予測レジデューを復号化する段階と、
前記所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＢ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項３０】
前記動き推定は、
所定の大きさのブロック単位でなされることを特徴とする請求項２９に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３１】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用してなされることを特徴とする請求項２９に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３２】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることを特徴とする請求項２９または３０に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３３】
前記線形関数は、
以前フレームからブロック単位で動きを補償する時、使用したブロックの大きさ別に異なって定義して使用することを特徴とする請求項３２に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３４】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ−Ｒ−Ｂ成分のそれぞれに対して以前フレームと現在フレームの間に動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記符号化されたＧ−Ｒ−Ｂ映像からＲ成分の時間的レジデューを復号する段階と、
前記復号化されたＲ成分のレジデューを前記復号化されたＲ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＧ成分およびＢ成分の予測レジデューを復号化する段階と、
前記所定の値に変換された値に前記予測レジデューを加えてＧ成分およびＢ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項３５】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ−Ｒ−Ｂ成分のそれぞれに対して以前フレームと現在フレームの間に動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記符号化されたＧ−Ｒ−Ｂ映像からＢ成分の時間的レジデューを復号する段階と、
前記復号化されたＢ成分のレジデューを前記復号化されたＢ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＲ成分およびＧ成分の予測レジデューを復号化する段階と、
前記所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＧ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項３６】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ成分、Ｒ成分およびＢ成分のそれぞれに対して現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定カラー成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記Ｇ成分のレジデューを復号化する段階と、
前記復号化されたＧ成分のレジデューを前記復号化されたＧ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＲ成分およびＢ成分の予測レジデューを復号化する段階と、
前記Ｇ成分のレジデューの所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＢ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項３７】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して変換されることを特徴とする請求項３６に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３８】
前記Ｇ成分の復元されたレジデューの所定値への変換は、
前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換を特徴とする請求項３６に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項３９】
前記線形関数は、
Ｇ、ＲおよびＢの各成分のレジデューを求める時に使用した隣接画素の空間的予測方向別に異なって定義して使用することを特徴とする請求項３８に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項４０】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ−Ｒ−Ｂ成分のそれぞれに対して現在フレームの画素ブロックと空間的に隣接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記Ｒ成分のレジデューを復号化する段階と、
前記復号化されたＲ成分のレジデューを前記復号化されたＲ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＧ成分およびＢ成分の予測レジデューを復号化する段階と、
前記Ｒ成分のレジデューの所定の値に変換された値に前記予測レジデューを加えてＧ成分およびＢ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項４１】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、
前記Ｇ−Ｒ−Ｂ成分のそれぞれに対して現在フレームの画素ブロックと空間的に隣接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
前記Ｂ成分のレジデューを復号化する段階と、
前記復号化されたＢ成分のレジデューを前記復号化されたＢ成分のレジデュー値を含む所定の値に変換する段階と、
前記復号化されていないＲ成分およびＧ成分の予測レジデューを復号化する段階と、
前記Ｂ成分のレジデューの所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＧ成分のレジデューを求める段階と、
前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項４２】
Ｒ−Ｇ−Ｂカラー映像を復号化する方法において、
前記カラー映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、
（１）符号化された映像データからＧ成分のレジデュー映像を復元する段階と、
（２）符号化された映像データからＲ成分およびＢ成分の予測レジデュー映像を得て、前記（１）段階で得られた復元されたレジデュー値の線形変換された値に加えてＲ成分およびＢ成分の復元されたレジデュー映像を得る段階と、
（３）フレーム間予測方式であれば、前記（１）段階および（２）段階で復元されたＲ−Ｇ−Ｂ成分のレジデュー値に以前フレームの各カラー映像を時間的に動き補償して得られた予測映像を加えてＲ−Ｇ−Ｂ成分のカラー成分を復元する段階と、
（４）フレーム内予測方式であれば、前記（１）および（２）で復元されたＲ−Ｇ−Ｂ成分のレジデュー値に空間的に近接した画素から予測方向を推定して得た予測映像を加えてＲ−Ｇ−Ｂ成分のカラー映像を復元する段階と、
を含むことを特徴とする映像のレジデュー予測を利用した映像復号化方法。
【請求項４３】
前記（１）段階は、
符号化されたデータを、逆可変長復号化、逆量子化、逆周波数空間変換を通じてＧ成分の復元されたレジデュー映像を得る段階であり、
前記（２）段階は、逆可変長復号化、逆量子化、逆周波数空間変換を通じてＲ成分およびＢ成分の予測レジデュー映像を得て、前記（１）で得られた復元されたレジデュー値の線形変換値を加えてＲ成分およびＢ成分の復元されたレジデュー映像を得る段階であることを特徴とする請求項４２に記載の映像のレジデュー予測を利用した映像復号化方法。
【請求項４４】
符号化された少なくとも２つ以上の成分よりなる元映像を復号化する装置において、
前記元映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、
前記符号化された映像データを復号化し、前記映像の所定カラー成分が復元されたレジデュー映像および復元されていないレジデューに該当する成分が復元された予測レジデューを生成する逆圧縮復号化部と、
前記逆圧縮復号化部で復元された成分のレジデューを、前記復元された成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、
前記逆圧縮復号化部で生成された予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたレジデューを生成するレジデュー補償部と、
前記レジデュー補償部で生成されたレジデューおよび前記逆圧縮復号化部で生成された所定カラー成分のレジデューのそれぞれに予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化装置。
【請求項４５】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する装置において、
前記Ｇ−Ｒ−Ｂ成分それぞれに対して以前フレームと現在フレームの間で動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
時間的に動き補償した予測映像を生成する動き補償部と、
前記符号化された映像データを復号化してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆圧縮復号化部と、
前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、
前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢおよびＲ成分のレジデューを生成するレジデュー補償部と、
前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューとに前記動き補償部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化装置。
【請求項４６】
符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する装置において、
前記Ｇ−Ｒ−Ｂ成分それぞれに対して現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定カラー成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、
空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、
前記符号化された映像データを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、
前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、
前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢおよびＲ成分のレジデューを生成するレジデュー補償部と、
前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューとに前記空間予測部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化装置。
【請求項４７】
符号化された少なくとも２つ以上の成分よりなる元映像を復号化する装置において、
前記元映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、
時間的に動き補償した予測映像を生成する動き補償部と、
空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、
前記符号化された映像データを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、
前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、
前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢ成分およびＲ成分のレジデューを生成するレジデュー補償部と、
前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューに、フレーム間予測モードであれば前記動き補償部で生成された予測映像を加え、フレーム内予測モードであれば前記空間予測部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする映像のレジデュー予測を利用した映像復号化装置。
【請求項４８】
前記逆圧縮復号化部は、
前記符号化された映像データをエントロピー復号化するエントロピー復号化部と、
前記エントロピー復号化されたデータを逆量子化する逆量子化部と、
前記逆量子化されたデータを逆周波数空間変換してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆周波数空間変換部と、よりなることを特徴とする請求項４７に記載の映像のレジデュー予測を利用した映像復号化装置。
【請求項４９】
請求項１ないし請求項１９のいずれか１項に記載のレジデュー予測を利用した映像符号化方法、および／または請求項２６ないし請求項４３のいずれか１項に記載のレジデュー予測を利用した映像復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで再生可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化および復号化に関し、特に、映像のレジデュー（Ｒｅｓｉｄｕｅ）予測を利用した映像符号化／復号化方法および装置に関する。
【背景技術】
【０００２】
一般的に、ビデオ圧縮の場合、圧縮率を高くするために、機器から直ちに取得できるＲ−Ｇ−Ｂ形式の映像は、圧縮に適したＹ−Ｃｒ−Ｃｂ形式の映像に変換される。しかし、前記Ｒ−Ｇ−Ｂ形式の映像を前記Ｙ−Ｃｒ−Ｃｂ形式の映像に変換する時、根本的に映像の品質が落ちてしまう。そして、一般的に、Ｙ−Ｃｒ−Ｃｂ形式の映像を圧縮する時、圧縮効率のためにＣｒおよびＣｂ成分をその１／４倍ほどの大きさに縮小して符号化する。したがって、Ｙ−Ｃｒ−Ｃｂ映像を符号化した後は、元映像に近い高品質の映像復元が難しい。
【０００３】
また他の問題点としては、このようなＹ−Ｃｒ−Ｃｂへの変換損失を低減するために、Ｒ−Ｇ−Ｂの各カラー成分を既存のＹ−Ｃｒ−Ｃｂ符号化器で、それぞれ独立に符号化すれば、Ｒ−Ｇ−Ｂの各成分相互の間に残っている相関関係を利用できなくなって符号化効率が落ちる。このような方法の代表的なものが、国際標準化機構であるＩＳＯ／ＩＥＣＭＰＥＧおよびＩＴＵ−ＴＶＣＥＧのＪｏｉｎｔ Ｖｉｄｅｏ ＴｅａｍのＡＶＣ／Ｈ．２６４標準化技術である（非特許文献１参照）。
【非特許文献１】“Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ ＦＤＩＳ １４４９６−１０：Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ２９／ＷＧ１１，Ｎ５５５５，Ｍａｒｃｈ，２００３
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする技術的課題は、Ｒ−Ｇ−Ｂカラー成分を高画質で符号化するために、Ｙ−Ｃｒ−Ｃｂに変換せずにＲ−Ｇ−Ｂ成分を直接符号化するが、Ｒ−Ｇ−Ｂ間の重複する情報を効果的に除去して符号化できる、映像のレジデュー予測を利用した映像の符号化／復号化方法および装置を提供することである。
【課題を解決するための手段】
【０００５】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化方法は、少なくとも２つ以上の成分よりなる元映像を符号化する方法において、前記元映像の各成分に対して、元映像と予測映像との差に該当するレジデューを求める段階と、前記元映像の所定のカラー成分に対するレジデューを符号化する段階と、前記所定カラー成分の符号化されたレジデューを復元して前記復元したレジデュー値を含む所定の値に変換する段階と、前記元映像のうちの符号化されていない成分のレジデューと前記復元されて所定値に変換されたレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする。前記レジデューの所定値への変換は、前記元映像を構成する各成分の間の相関関係を利用してなされることが望ましい。前記元映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つである。
【０００６】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化方法は、カラー映像のＲ−Ｇ−Ｂ成分のそれぞれに対して、以前フレームと現在フレームの間の動きを推定した予測映像と元映像との差に該当する時間的レジデューを求める段階と、前記Ｇ成分のレジデューを符号化する段階と、前記Ｇ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、前記元映像のうちの符号化されていないＲ成分およびＢ成分のレジデューと前記所定値に変換されたＧ成分のレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする。前記動き推定は、所定の大きさのブロック単位でなされることが望ましい。前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用してなされることが望ましい。前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることが望ましい。前記線形関数は、以前フレームからブロック単位で動きを補償する時に使用したブロックの大きさ別に異なって定義して使用することを特徴とする。
【０００７】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化方法は、カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差に該当する空間的レジデューを求める段階と、前記Ｇ成分のレジデューを符号化する段階と、前記Ｇ成分の符号化されたレジデューを復元して前記復元した値を含む所定の値に変換する段階と、前記元映像のうちの符号化されていないＲ成分およびＢ成分のレジデューと前記所定値に変換されたＧ成分のレジデューとの差に該当する予測レジデューを符号化する段階と、を含むことを特徴とする。
【０００８】
前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることが望ましい。前記線形関数は、Ｇ、ＲおよびＢの各成分のレジデューを求める時に使用した隣接画素の空間的予測方向別に異なって定義して使用することを特徴とする。
【０００９】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化方法は、Ｒ−Ｇ−Ｂカラー映像を符号化する方法において、（１）フレーム間予測方式であれば、各カラー成分の以前フレームと現在フレームの間で所定大きさのブロック単位で動きを推定して予測映像を得て、元映像から前記予測映像を引いた時間的レジデューを求める段階と、（２）フレーム内予測方式であれば、各カラー成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して予測映像を得て、元映像から前記予測映像を引いた空間的レジデューを求める段階と、（３）Ｇ成分のレジデューを符号化し、前記符号化されたＧ成分のレジデュー映像を復元する段階と、（４）前記（１）および／または（２）段階で生成されたＲ成分およびＢ成分のレジデューと、前記（３）段階で復元されたＧ成分のレジデューとを使用してＲ成分およびＢ成分に対する予測レジデューを得る段階と、（５）前記（４）段階で求めたＲおよびＢ成分の予測レジデュー値を符号化し、前記符号化されたＲ成分およびＢ成分の予測レジデュー映像を復元する段階と、（６）前記Ｇの復元されたレジデュー映像と前記ＲおよびＢの復元された予測レジデュー映像とからＧ成分、Ｒ成分およびＢ成分の復元されたレジデュー値を得て、これらの復元されたレジデュー値を前記予測映像値に加えてＧ成分、Ｒ成分およびＢ成分の復元された映像を得る段階と、を含むことを特徴とする。
【００１０】
前記（３）段階は、Ｇ成分のレジデューを圧縮するために、周波数空間変換、量子化および可変長符号化し、量子化された値は再び逆量子化および逆周波数変換してＧ成分の復元されたレジデュー映像を得る段階であり、前記（５）段階は、前記（４）段階で求めたＲ成分およびＢ成分の予測レジデュー値を周波数空間変換、量子化および可変長符号化し、量子化された値は再び逆量子化および逆周波数空間変換してＲ成分およびＢ成分の復元された予測レジデュー映像を得る段階であることが望ましい。
【００１１】
前記（４）段階は、前記Ｇ成分の復元されたレジデュー値に１を含む一定の大きさの値を乗算して、その値を０を含むオフセットに加える線形関数により線形変換する段階と、前記元映像のうち符号化されていないＲ成分およびＢ成分のレジデューと前記線形変換されたＧ成分のレジデューとの差に該当する予測レジデューを求める段階と、を含むことが望ましい。
【００１２】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化装置は、少なくとも２つ以上の成分よりなる元映像を符号化する装置において、前記元映像の各カラー成分に対して、元映像と予測映像との差を生成するレジデュー生成部と、前記レジデュー生成部で生成された元映像の所定カラー成分に対するレジデューおよび予測レジデュー生成部で生成された予測レジデューを符号化するレジデュー符号化部と、前記所定成分の符号化されたレジデューを復元して前記復元されたレジデュー値を含む所定の値に変換するレジデュー変換部と、前記元映像のうちの符号化されていないカラー成分のレジデューと前記復元されて所定値に変換されたレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする。
【００１３】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化装置は、Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定して該当ブロックを出力する動き予測映像生成部と、カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、前記動き予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する時間的レジデューを生成するレジデュー生成部と、前記レジデュー生成部のＧ成分のレジデューと予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮して符号化する圧縮符号化部と、前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、前記復元されたＧ成分のレジデューを前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して前記復元されたＧ成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューと前記レジデュー変換部で変換されたＧ成分のレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする。
【００１４】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化装置は、Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して該当ブロックを出力する空間予測映像生成部と、カラー映像のＲ成分、Ｇ成分およびＢ成分のそれぞれに対して、前記空間予測映像生成部の映像と現在フレームの該当ブロックとの差に該当する空間的レジデューを生成するレジデュー生成部と、前記レジデュー生成部で生成されたＧ成分のレジデューと予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮して符号化する圧縮符号化部と、前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、前記復元されたＧ成分のレジデューを前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して前記復元されたＧ成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューと前記レジデュー変換部で変換されたＧ成分のレジデューとの差を生成する予測レジデュー生成部と、を含むことを特徴とする。
【００１５】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像符号化装置は、Ｒ−Ｇ−Ｂカラー映像を符号化する装置において、以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定して該当ブロックを出力する動き予測映像生成部と、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して該当ブロックを出力する空間予測映像生成部と、フレーム間予測方式であれば前記動き予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する時間的レジデューを生成し、フレーム内予測方式であれば前記空間予測映像生成部で生成された映像と現在フレームの該当ブロックとの差に該当する空間的レジデューを生成するレジデュー生成部と、前記レジデュー生成部で生成されたＧ成分のレジデューと、下記予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューを圧縮して符号化する圧縮符号化部と、前記圧縮符号化されたデータを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、前記レジデュー変換部で変換された値と前記レジデュー生成部で生成されたＲ成分およびＢ成分のレジデューとの差を生成する予測レジデュー生成部と、前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記線形変換部で変換された値を加えて復元されたＢおよびＲ成分のレジデューを生成するレジデュー補償部と、前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューに、フレーム間予測モードであれば前記動き予測映像生成部で生成された予測映像を加え、フレーム内予測モードであれば前記空間予測映像生成部で生成された予測映像を加えて、元映像を生成する元映像生成部と、を含むことを特徴とする。
【００１６】
前記動き予測映像生成部は、以前フレームと現在フレームの間で所定の大きさのブロック単位で動きを推定する動き推定部と、前記動き推定部で生成された動きベクトルに該当するブロックを出力する動き予測部とよりなり、前記空間予測映像生成部は、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定する空間推定部と、前記空間推定部で推定された方向に該当するブロックを出力する空間予測部とよりなることが望ましい。
【００１７】
前記圧縮符号化部は、前記レジデュー生成部で生成されたＧ成分のレジデューと、予測レジデュー生成部で生成されたＲ成分およびＢ成分の予測レジデューを圧縮する周波数空間変換部と、前記周波数空間変換部で圧縮されたデータを量子化する量子化部と、前記量子化されたデータを符号化する符号化部とよりなり、前記逆圧縮復号化部は、前記量子化されたデータを逆量子化する逆量子化部と、前記逆量子化されたデータを逆周波数空間変換してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆周波数空間変換部とよりなることが望ましい。
【００１８】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化方法は、符号化された少なくとも２つ以上の成分よりなる元映像を復号化する方法において、前記元映像と予測映像との差をレジデューとし、符号化された所定成分のレジデューを復元した後、前記復元したレジデュー値を含む所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、前記符号化された元映像の所定成分のレジデューを復号化する段階と、前記復号化されたレジデューを所定の値に変換する段階と、前記復号化されていない各成分の予測レジデューを復号化する段階と、前記所定の値に変換された値に前記予測レジデューを加えて復号化されていない成分のレジデューを求める段階と、前記各成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする。前記復号化されたレジデューの所定値への変換は、前記元映像を構成する各成分間の相関関係を利用してなされることが望ましい。前記元映像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の映像のうちいずれか一つであることを特徴とする。
【００１９】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化方法は、符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、前記Ｇ成分、Ｒ成分およびＢ成分のそれぞれに対して以前フレームと現在フレームの間で動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定のカラー成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、前記符号化されたＧ−Ｒ−Ｂ映像からＧ成分の時間的レジデューを復号化する段階と、前記復号化されたＧ成分のレジデューを前記復号化されたＧ成分のレジデュー値を含む所定の値に変換する段階と、前記復号化されていないＲ成分およびＢ成分の予測レジデューを復号化する段階と、前記所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＢ成分のレジデューを求める段階と、前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする。前記動きの推定は、所定の大きさのブロック単位でなされることを特徴とする。前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用してなされることが望ましい。前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることが望ましい。前記線形関数は、以前フレームからブロック単位で動きを補償する時、使用したブロックの大きさ別に異なって定義して使用することを特徴とする。
【００２０】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像映像復号化方法は、符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する方法において、前記Ｇ成分、Ｒ成分およびＢ成分のそれぞれに対して現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定カラー成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、前記Ｇ成分のレジデューを復号化する段階と、前記復号化されたＧ成分のレジデューを前記復号化されたＧ成分のレジデュー値を含む所定の値に変換する段階と、前記復号化されていないＲ成分およびＢ成分の予測レジデューを復号化する段階と、前記Ｇ成分レジデューの所定の値に変換された値に前記予測レジデューを加えてＲ成分およびＢ成分のレジデューを求める段階と、前記Ｇ成分、Ｒ成分およびＢ成分のレジデューに予測映像を加えて元映像を復元する段階と、を含むことを特徴とする。
【００２１】
前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分、Ｒ成分およびＢ成分の間の相関関係を利用して変換されることが望ましい。前記Ｇ成分の復元されたレジデューの所定値への変換は、前記Ｇ成分の復元されたレジデュー値に一定の大きさの値を乗算してその乗算値をオフセットに加える線形関数による線形変換であることが望ましい。前記線形関数は、Ｇ、ＲおよびＢの各成分のレジデューを求める時に使用した隣接画素の空間的予測方向別に異なって定義して使用することを特徴とする。
【００２２】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化方法は、Ｒ−Ｇ−Ｂカラー映像を復号化する方法において、前記カラー映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、（１）符号化された映像データからＧ成分のレジデュー映像を復元する段階と、（２）符号化された映像データからＲ成分およびＢ成分の予測レジデュー映像を得て、前記（１）段階で得られた復元されたレジデュー値の線形変換された値に加えてＲ成分およびＢ成分の復元されたレジデュー映像を得る段階と、（３）フレーム間予測方式であれば、前記（１）段階および（２）段階で復元されたＲ−Ｇ−Ｂ成分のレジデュー値に以前フレームの各カラー映像を時間的に動き補償して得られた予測映像を加えてＲ−Ｇ−Ｂ成分のカラー成分を復元する段階と、（４）フレーム内予測方式であれば、前記（１）および（２）で復元されたＲ−Ｇ−Ｂ成分のレジデュー値に空間的に近接した画素から予測方向を推定して得た予測映像を加えてＲ−Ｇ−Ｂ成分のカラー映像を復元する段階と、を含むことを特徴とする。前記（１）段階は、符号化されたデータを、逆可変長復号化、逆量子化、逆周波数空間変換を通じてＧ成分の復元されたレジデュー映像を得る段階であり、前記（２）段階は、逆可変長復号化、逆量子化、逆周波数空間変換を通じてＲ成分およびＢ成分の予測レジデュー映像を得て、前記（１）で得られた復元されたレジデュー値の線形変換値を加えてＲ成分およびＢ成分の復元されたレジデュー映像を得る段階であることが望ましい。
【００２３】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化装置は、符号化された少なくとも２つ以上の成分よりなる元映像を復号化する装置において、前記元映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、前記符号化された映像データを復号化し、前記映像の所定カラー成分が復元されたレジデュー映像および復元されていないレジデューに該当する成分が復元された予測レジデューを生成する逆圧縮復号化部と、前記逆圧縮復号化部で復元された成分のレジデューを、前記復元された成分のレジデュー値を含む所定の値に変換するレジデュー変換部と、前記逆圧縮復号化部で生成された予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたレジデューを生成するレジデュー補償部と、前記レジデュー補償部で生成されたレジデューおよび前記逆圧縮復号化部で生成された所定カラー成分のレジデューのそれぞれに予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする。
【００２４】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化装置は、符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する装置において、前記Ｇ−Ｒ−Ｂ成分それぞれに対して以前フレームと現在フレームの間で動きを推定した予測映像と元映像との差を時間的レジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、時間的に動き補償した予測映像を生成する動き補償部と、前記符号化された映像データを復号化してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆圧縮復号化部と、前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢおよびＲ成分のレジデューを生成するレジデュー補償部と、前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューとに前記動き補償部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする。
【００２５】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化装置は、符号化されたＧ−Ｒ−Ｂ成分の元映像を復号化する装置において、前記Ｇ−Ｒ−Ｂ成分それぞれに対して現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定した予測映像と元映像との差を空間的レジデューとし、符号化された所定カラー成分の前記空間的レジデューを復元した後、所定値に変換された値と前記変換されていない成分のレジデューとの差を予測レジデューとする時、空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、前記符号化された映像データを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢおよびＲ成分のレジデューを生成するレジデュー補償部と、前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューとに前記空間予測部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする。
【００２６】
前述した技術的課題を達成するための本発明による、映像のレジデュー予測を利用した映像復号化装置は、符号化された少なくとも２つ以上の成分よりなる元映像を復号化する装置において、前記元映像と予測映像との差をレジデューとし、符号化された所定カラー成分のレジデューを復元した後、所定値に変換した値と前記元映像の各成分のレジデューとの差を予測レジデューとする時、時間的に動き補償した予測映像を生成する動き補償部と、空間的に近接した画素から予測方向を推定して得た予測映像を生成する空間予測部と、前記符号化された映像データを復号化してＧ成分の復元されたレジデュー映像とＢ成分およびＲ成分の復元された予測レジデューとを生成する逆圧縮復号化部と、前記逆圧縮復号化部で復元されたＧ成分のレジデューを線形変換するレジデュー変換部と、前記逆圧縮復号化部で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部で変換された値を加えて復元されたＢ成分およびＲ成分のレジデューを生成するレジデュー補償部と、前記レジデュー補償部で生成されたＲ成分およびＢ成分のレジデューと前記逆圧縮復号化部で生成されたＧ成分のレジデューに、フレーム間予測モードであれば前記動き補償部で生成された予測映像を加え、フレーム内予測モードであれば前記空間予測部で生成された予測映像を加えて元映像を生成する元映像生成部と、を含むことを特徴とする。
【００２７】
前記逆圧縮復号化部は、前記符号化された映像データをエントロピー復号化するエントロピー復号化部と、前記エントロピー復号化されたデータを逆量子化する逆量子化部と、前記逆量子化されたデータを逆周波数空間変換してＧ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する逆周波数空間変換部と、よりなることが望ましい。
【００２８】
そして、本発明は、前記の符号化方法および／または復号化方法をコンピュータで実行させるためのプログラムを記録したコンピュータで再生可能な記録媒体を提供する。
【発明の効果】
【００２９】
本発明によれば、映像成分のレジデューと映像成分の間の相関性を利用して予測レジデューを符号化および復号化するのでデータ量を大きく減らすことができる。
【００３０】
また、ＲＧＢ領域で直接符号化するため、Ｙ−Ｃｒ−Ｃｂ領域への変換時に生じる映像品質の損失がないので高品質の映像情報を得ることができる。
【発明を実施するための最良の形態】
【００３１】
以下、添付された図面を参照して本発明を詳細に説明する。本発明によれば、映像機器から出力されるＲ−Ｇ−Ｂカラー映像を、従来のＹ−Ｃｒ−Ｃｂ映像へ変換しないで直接圧縮できる。Ｒ−Ｇ−Ｂの３成分のうちの一つは既存のＹ成分を符号化する方法によって符号化し、残りの２成分は、空間上隣接した画素や時間上隣接した画素で予測した後、発生したレジデュー映像をＹ成分を符号化する方式で符号化したカラー成分の復元レジデュー値から予測して符号化する。
【００３２】
図１は、本発明による映像のレジデュー予測を利用した映像符号化装置の一実施形態に関する構成を示すブロック図である。図１では、Ｇ、Ｒ、Ｂ成分よりなるカラー映像が符号化される。まず、用語のレジデューおよび予測レジデューについて説明する。レジデューとは、元映像と予測映像との差をいう。そして、予測レジデューとは、所定カラー成分の符号化されたレジデューを復元した後、所定値に変換した値と、前記元映像の各カラー成分のレジデューとの差をいう。
【００３３】
図１に示すとおり、前記本発明の一実施形態に係る符号化装置は、現在映像保存部Ｆn １００と、以前映像保存部
2004343774.tif 000003
１０５と、動き予測映像生成部１０と、空間予測映像生成部２０と、レジデュー生成部１３０と、圧縮符号化部３０と、逆圧縮復号化部４０と、レジデュー変換部１６５と、予測レジデュー生成部１３５と、レジデュー補償部１７０と、元映像生成部１７５と、ループフィルタ１８０と、復元映像保存部１８５とを備える。
【００３４】
前記現在映像保存部１００は、Ｇ、Ｂ、Ｒ成分のカラー映像を受け取って保存する。前記以前映像保存部１０５は、復号化されたＧ、Ｂ、Ｒ成分の以前カラー映像を保存する。
【００３５】
前記動き予測映像生成部１０は、動き推定部１１０と動き予測部１１５とを備え、以前フレームと現在フレームの間の動きをブロック単位で推定して該当ブロックを出力する。ブロックは、図４に示すように、基本的に横×縦（１６×１６）サイズのマクロブロックであり、動き予測映像生成部１０は、このマクロブロックを１６×１６、１６×８、８×１６、８×８等の多様なサイズに分け、各ブロックの動きベクトルを求めて時間上で映像値を予測する。特に、８×８サイズのブロックを再び８×８、８×４、４×８、４×４等のサイズに分けることによって、精密な動きが正確に感知可能になる。
【００３６】
前記動き推定部１１０は、以前フレームと現在フレームの間の動きをブロック単位で推定する。前記動き予測部１１５は、前記動き推定部で生成された動きベクトルに該当するブロックを出力する。
【００３７】
前記空間予測映像生成部２０は、空間推定部１２０と空間予測部１２５とを備え、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して該当ブロックを出力する。
【００３８】
前記空間推定部１２０は、現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定する。前記空間予測部１２５は、前記空間推定部１２０で推定された予測方向に該当するブロックを出力する。前記空間推定および空間予測は、図５に図示されており、これに関する詳細な説明は後述する。
【００３９】
前記レジデュー生成部１３０は、フレーム間予測方式においては、前記動き予測映像生成部１０から出力される映像と現在フレームの該当ブロックとの差に対応する時間的レジデューを生成し、フレーム内予測方式においては、前記空間予測映像生成部２０から出力される映像と現在フレームの該当ブロックとの差に対応する空間的レジデューを生成する。
【００４０】
圧縮符号化部３０は、周波数空間変換部１４０と、量子化部１４５と、エントロピー符号化部１５０とを備え、前記レジデュー生成部１３０で生成されたＧ成分のレジデューと、予測レジデュー生成部１３５で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮して符号化する。前記周波数空間変換部１４０は、前記レジデュー生成部１３０で生成されたＧ成分のレジデューと、予測レジデュー生成部１３５で生成されたＲ成分およびＢ成分の予測レジデューとを圧縮する。前記量子化部１４５は、前記周波数空間変換部１４０で圧縮されたデータを量子化する。前記エントロピー符号化部１５０は、前記量子化されたデータをエントロピー符号化する。
【００４１】
逆圧縮復号化部４０は、逆量子化部１５５と逆周波数空間変換部１６０とを備え、前記圧縮符号化されたデータを復号化して、Ｇ成分が復元されたレジデューと、Ｂ成分およびＲ成分が復元された予測レジデューとを生成する。前記逆量子化部１５５は、前記量子化されたデータを逆量子化する。前記逆周波数空間変換部１６０は、前記逆量子化されたデータを逆周波数空間変換して、Ｇ成分が復元されたレジデューと、Ｂ成分およびＲ成分が復元された予測レジデューとを生成する。
【００４２】
レジデュー変換部１６５は、前記逆圧縮復号化部４０によってＧ成分が復元されたレジデューを線形変換する。前記線形変換された値には、前記復元されたＧ成分のレジデュー値それ自体も含まれる。前記レジデュー変換部１６５は、元映像を構成する各成分（本実施形態ではＧ、Ｂ、Ｒ成分）の相関関係を利用して線形変換を行なう。具体的には、線形変換は、Ｇ成分が復元されたレジデュー値
2004343774.tif 000004
に一定の大きさの値ａおよびｃを乗算して、その乗算の結果の値をオフセットｂ，ｄに加えることによって行なわれる。前記ａ、ｂ、ｃおよびｄの値は、本実施形態では、後述する数式４ないし数式９により決定される。
【００４３】
予測レジデュー生成部１３５は、前記レジデュー変換部１６５で変換された値と、前記レジデュー生成部１３０で生成されたＢ成分およびＲ成分のレジデュー
2004343774.tif 000005
との差
2004343774.tif 000006
を生成する。
【００４４】
レジデュー補償部１７０は、前記逆圧縮復号化部４０で生成されたＢ成分およびＲ成分の予測レジデューに前記レジデュー変換部１６５で変換された値を加えて、復元されたＢ成分およびＲ成分のレジデューを生成する。
【００４５】
元映像生成部１７５は、前記レジデュー補償部１７０で生成されたＲ成分およびＢ成分のレジデューと、前記逆圧縮復号化部４０で生成されたＧ成分のレジデューに、フレーム間予測モードであれば、前記動き予測映像生成部１０で生成された予測映像を加え、フレーム内予測モードであれば、前記空間予測映像生成部２０で生成された予測映像を加えて、元映像を生成する。前記ループフィルタ１８０は、復元された映像のブロック効果を低減させる。
【００４６】
本発明による前記実施形態をより具体的に説明する。符号化装置のカラー入力映像Ｆnは、Ｒ−Ｇ−Ｂ映像である。前記映像は、符号化装置内でブロック単位で処理される。符号化装置は、符号化効率を高めるためにフレーム間予測方法とフレーム内予測方法とを使用して映像を予測する。前記フレーム間予測方法では、以前フレーム映像
2004343774.tif 000007
１０５から動きを推定して予測する動き推定部１１０および動き予測部１１５が使用される。前記フレーム内予測方法では、空間的に隣接しているブロックから映像を予測する空間推定部１２０および空間予測部１２５が使用される。
【００４７】
まず、入力映像と前記の方法で予測された映像との間のレジデュー値Ｒnをレジデュー生成部１３０によって得る。前記レジデュー値をＲ、ＧおよびＢの３成分に対してそれぞれ求める。それらの３成分の間の相関関係を利用するために、予測レジデュー生成部１３５およびレジデュー補償部１７０においては、レジデュー予測方法およびレジデュー補償方法が使用される。３成分のうちのＧ成分のレジデュー値
2004343774.tif 000008
は、周波数空間変換部１４０で離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：以下、ＤＣＴ）あるいは離散整数変換され、量子化部１４５で量子化されて、さらにエントロピー符号化部１５０でエントロピー符号化されて圧縮される。前記ＤＣＴはＩＳＯ／ＩＥＣのＭＰＥＧ−４ ｐａｒｔ２標準化技術を、離散整数変換はＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ−ＴＶＣＥＧのＪｏｉｎｔ Ｖｉｄｅｏ ＴｅａｍのＡＶＣ／Ｈ．２６４標準化技術に拠る。この圧縮された値は、空間的に近接したブロックあるいは時間的に後続の映像で予測に使用可能となるように、逆量子化部１５５で逆量子化され、逆周波数空間変換部１６０で逆離散コサイン変換（Ｉｎｖｅｒｓｅ ＤＣＴ：以下、ＩＤＣＴ）あるいは逆離散整数変換されて、Ｇ成分が復元されたレジデュー値
2004343774.tif 000009
が得られる。
【００４８】
残りの２成分ＲおよびＢのレジデュー値は、直ちに符号化せずに前記Ｇ成分が復元されたレジデュー値
2004343774.tif 000010
を使用して符号化される。より詳細には、予測レジデュー生成部１３５を通じて前記Ｂ成分の予測レジデューおよびＲ成分の予測レジデュー
2004343774.tif 000011
が生成される。前記予測レジデューは、前記レジデュー生成部１３０で生成されたＢ成分およびＲ成分のレジデュー
2004343774.tif 000012
から前記Ｇ成分の復元されたレジデュー値
2004343774.tif 000013
を線形変換して生成された値を引いて生成される。前記Ｇ成分の復元されたレジデュー値
2004343774.tif 000014
を線形変換して生成された値には、Ｇ成分の復元されたレジデュー値
2004343774.tif 000015
それ自体も含まれる。前記予測レジデューは、周波数空間変換部１４０でＤＣＴあるいは離散整数変換され、量子化部１４５で量子化され、さらにエントロピー符号化部１５０でエントロピー符号化を経て圧縮される。
【００４９】
次いで、前記Ｇ成分のレジデュー値と同様に予測に利用可能とするために、再び、その圧縮された値を逆量子化部１５５で逆量子化し、逆周波数空間変換部１６０でＩＤＣＴあるいは逆離散整数変換して、復元された予測レジデュー値
2004343774.tif 000016
を得る。そして、前記復元された予測レジデュー値
2004343774.tif 000017
に、レジデュー補償部１７０を通じて前記レジデュー変換部１６５で変換された値を加えて、Ｒ成分およびＢ成分が復元されたレジデュー値
2004343774.tif 000018
を得る。
【００５０】
復元された３つのカラー成分のレジデュー値
2004343774.tif 000019
を、元映像生成部１７５を通じて動き推定部１１０および動き予測部１１５あるいは空間推定部１２０および空間予測部１２５で使われたフレーム間予測あるいはフレーム内予測方式により予測されたブロック値に加え、ブロック効果を減らすループフィルタ１８０を経て、復号化器で復元される映像
2004343774.tif 000020
が得られる。前記映像
2004343774.tif 000021
は、復元映像保存部１８５に保存されて、動き推定部１１０、動き予測部１１５、空間推定部１２０および空間予測部１２５で以前フレーム映像として使われる。
【００５１】
図１において、参照番号５０を付した部分は、本発明において、Ｒ−Ｇ−Ｂ成分の符号化効率を高くするために利用される、カラー成分のレジデュー予測方法を使用する核心部分である。
【００５２】
前述した本発明によるカラー映像のレジデューを利用した映像符号化方法および符号化装置では、各成分は、Ｇ、Ｒ、Ｂの順序で入力され、最初にＧ成分のレジデューを求めた後、Ｂ成分およびＲ成分の予測レジデューを求めて符号化したが、これは、Ｇ成分が符号化する映像情報を最も多く持っている時に効果的である。したがって、本発明において、Ｒ成分が符号化する映像情報を最も多く持っている時、すなわち、Ｒ成分が主な成分である場合には、Ｒ成分に対してレジデューを求め、Ｇ成分およびＢ成分に対して前記Ｒ成分のレジデューを利用して予測レジデューを求めることができる。同様に、Ｂ成分が主な成分である場合には、本発明の技術的思想を同様に適用して、Ｂ成分に対してレジデューを求め、これを利用してＧ成分およびＲ成分に対して予測レジデューを求めることができる。
【００５３】
そして、前述した実施形態は、Ｇ、Ｒ、Ｂ成分よりなるカラー映像に対するものであるが、Ｙ、Ｃｒ、ＣｂまたはＸ、Ｙ、Ｚ形式の映像にも同様に適用できる。
【００５４】
図２は、本発明の一実施形態による映像のレジデュー予測を利用した映像復号化装置の構成を示すブロック図である。
【００５５】
前記復号化装置は、図１の符号化過程と反対の過程を経由して、圧縮されたビットストリームから映像を復元する。
図２の実施形態では、符号化されたＧ、Ｒ、Ｂ成分よりなるカラー映像が復号化される。前記復号化装置は、動き補償部２４０と、空間予測部２４５と、逆圧縮復号化部２８０と、レジデュー変換部２２５と、レジデュー補償部２３０と、元映像生成部２３５と、ループフィルタ２５５と、復元映像保存部２６０とを備える。
【００５６】
前記動き補償部２４０は、時間的に動き補償した予測映像を生成する。前記空間予測部２４５は、空間的に近接した画素から予測方向を推定して得られる予測映像を生成する。
【００５７】
逆圧縮復号化部２８０は、エントロピー復号化部２００と、逆量子化部２０５と、逆周波数空間変換部２１０とを含み、前記符号化された映像データを復号化して、Ｇ成分が復元されたレジデュー映像とＢ成分およびＲ成分が復元された予測レジデューとを生成する。前記エントロピー復号化部２００は、前記符号化された映像データをエントロピー復号化する。前記逆量子化部２０５は、前記エントロピー復号化されたデータを逆量子化する。前記逆周波数空間変換部２１０は、前記逆量子化されたデータを逆周波数空間変換して、Ｇ成分が復元されたレジデュー映像
2004343774.tif 000022
と、Ｂ成分およびＲ成分が復元された予測レジデュー
2004343774.tif 000023
とを生成する。
【００５８】
レジデュー変換部２２５は、前記逆圧縮復号化部２８０によってＧ成分が復元されたレジデューの線形変換を行なう。前記線形変換された値は、前記Ｇ成分が復元されたレジデュー値それ自体である場合もある。前記レジデュー変換部２２５は、元映像を構成する各成分（本実施形態ではＧ、Ｂ、Ｒの映像成分）の相関関係を利用して線形変換を行なう。このために、具体的には、Ｇ成分が復元されたレジデュー値
2004343774.tif 000024
に、一定の大きさの値ａ、ｃを乗算し、その乗算の結果、得られた値をオフセットｂ、ｄに加えることによって線形変換が行われる。前記ａ、ｂ、ｃおよびｄの値は、本実施形態では、後述する数式４ないし９により決定される。
【００５９】
レジデュー補償部２３０は、前記逆圧縮復号化部２８０で復元されたＢ成分およびＲ成分の予測レジデュー
2004343774.tif 000025
に前記レジデュー変換部２２５で変換された値を加えて、復元されたＢ成分およびＲ成分のレジデュー
2004343774.tif 000026
を生成する。
【００６０】
元映像生成部２３５は、前記レジデュー補償部２３０で復元されたＲ成分およびＢ成分のレジデュー
2004343774.tif 000027
と、前記逆圧縮復号化部２８０で生成されたＧ成分のレジデュー
2004343774.tif 000028
とに、フレーム間予測モードであれば前記動き補償部２４０で生成された予測映像を加え、フレーム内予測モードであれば前記空間予測部２４５で生成された予測映像を加えて、ブロック効果が存在する元映像を生成する。前記元映像は、ブロック効果を減らすループフィルタ２５５を経てブロック効果が減少した元映像
2004343774.tif 000029
になる。
【００６１】
復号化装置の動作について、さらに具体的に説明する。
圧縮されたデータは、エントロピー復号化部２００、逆量子化部２０５、逆周波数空間変換部２１０の順に経由して、先にＧ成分が復元されたレジデュー値
2004343774.tif 000030
を得る。フレーム間予測モードの場合には、以前映像
2004343774.tif 000031
を動き補償部２４０により予測した値に、そして、フレーム内予測モードの場合には、空間的に隣接したブロック値を空間予測部２４５により予測した値に、Ｇ成分のレジデュー値を加えてＧ成分が復元された値を得る。この値は、ブロック効果を減らすループフィルタ２５５を経てＧ成分が復元された映像
2004343774.tif 000032
になる。
【００６２】
Ｒ成分およびＢ成分を復元するために、ビットストリームがエントロピー復号化部２００を通じてエントロピー復号化され、逆量子化部２０５で逆量子化された後、逆周波数空間変換部２１０でＩＤＣＴあるいは逆離散整数変換されることによって、Ｂ成分およびＲ成分が復元された予測レジデュー
2004343774.tif 000033
を生成する。前記復元された予測レジデュー値
2004343774.tif 000034
に、レジデュー補償部２３０を通じて前記レジデュー変換部２２５で変換された値を加えて、Ｒ成分およびＢ成分が復元されたレジデュー値
2004343774.tif 000035
を得る。
【００６３】
復元されたＲ成分およびＢ成分のレジデュー値
2004343774.tif 000036
を、元映像生成部２３５を通じて動き補償部２４０および空間予測部２４５で使われたフレーム間予測あるいはフレーム内予測方式により予測されたブロック値に加え、かつブロック効果を減らすループフィルタ２５５を経て、Ｒ成分およびＢの復元映像
2004343774.tif 000037
が得られる。
【００６４】
前述した本発明によるカラー映像のレジデューを利用した映像復号化方法および復号化装置では、各成分はＧ、Ｒ、Ｂの順序で入力されて、最初にＧ成分のレジデューを復号化し、Ｂ成分およびＲ成分の予測レジデューを復号化した後、前記Ｇ成分のレジデューを利用してＲ成分およびＢ成分のレジデューを求めて元映像を復元する。しかし、この復号化方法は、Ｇ成分が映像情報を最も多く持っている時に効果的である。したがって、本発明は、Ｒ成分が符号化する映像情報を最も多く持っている時、すなわち、Ｒ成分が主な成分である場合にはＲ成分のレジデューを求め、Ｇ成分およびＢ成分に対して前記Ｒ成分のレジデューを利用して予測レジデューを求めることができる。同様に、本発明を適用して、Ｂ成分が主な成分である場合には、Ｂ成分のレジデューを求め、これを利用してＧ成分およびＲ成分の予測レジデューを求めることができる。
【００６５】
また、前述した実施形態は、Ｇ、Ｒ、Ｂ成分よりなるカラー映像に関するものであるが、Ｙ、Ｃｒ、ＣｂまたはＸ、Ｙ、Ｚ形式の映像にも同様に適用できる。
【００６６】
図３は、本発明の実施形態によるＲ−Ｇ−Ｂカラー映像のレジデュー予測方法を示すブロック図である。すなわち、図１の参照番号５０に該当するブロックおよび図２の参照番号２７０に該当するブロックの詳細な動作原理を示す。
【００６７】
まず、既存の符号化器と同様に、Ｇ成分３００から、空間的に隣接した映像あるいは時間的に隣接した映像３１０を利用して予測された値を引いて、Ｇ成分のレジデュー３１５を得る。このＧ成分のレジデュー値は、数式１で表わされる。
【数１】
2004343774.tif 000038
ここで、Ｇpは図３の参照番号３１０に該当する。このＧ成分のレジデュー値が、エントロピー符号化される。
【００６８】
このとき、Ｙ−Ｃｒ−Ｃｂ成分と違って、Ｇ成分、Ｒ成分およびＢ成分の間には依然として相関度が大きい。この成分間の類似性を利用するために、Ｒ成分およびＢ成分は、先のＧ成分と同様に時間予測３２５／空間予測３６０を行う。ここで求められたレジデュー値は、数式２および数式３で表わされる通りである。
【数２】
2004343774.tif 000039
【数３】
2004343774.tif 000040
【００６９】
ここで、ＲpおよびＢpは、空間的に隣接した映像あるいは時間的に隣接した映像値で予測したＲ成分およびＢ成分のレジデュー値３３０、３６５である。Ｇ成分のレジデューが復元された値３４５、３８０を線形変換した値３４０、３７５を利用してもう一度予測したレジデュー値３５０、３８５は、数式４および数式５によって得られる。
【数４】
2004343774.tif 000041
【数５】
2004343774.tif 000042
【００７０】
このレジデュー値３５０、３８５を利用すれば、ＲおよびＢ成分の時間／空間予測誤差に比べて、符号化するデータの量が減って符号化効率が改善される。これは、ΔＧ、ΔＲおよびΔＢの間の相関度が大きいため、ΔＧとΔＲの関係およびΔＧとΔＢの関係を線形の関数で表現することによってΔＲおよびΔＢをΔＧの関数に近似化できるからである。ここで、ａおよびｂは、Ｒ成分のレジデューをＧ成分のレジデューを利用して予測する時に、近似化した線形関数の傾斜度および偏差となり、ｃおよびｄは、Ｂ成分のレジデューをＧ成分のレジデューを利用して予測する時に近似化した線形関数の傾斜度および偏差となる。前記ａ、ｂ、ｃおよびｄは、それぞれ数式６ないし９で表すことができる。
【数６】
2004343774.tif 000043
【数７】
2004343774.tif 000044
【数８】
2004343774.tif 000045
【数９】
2004343774.tif 000046
【００７１】
ここで、ｃｏｖ（・）は共分散（ｃｏｖａｒｉａｎｃｅ）を表し、Ｅ（・）は値の平均、そしてσ2は分散を表す。そして、前記ａおよびｃは１になることもあり、ｂおよびｄは０になることもある。すなわち、この時、ΔＧの関数値ｆ（ΔＧ）は復元されたＧ成分のレジデュー値それ自体である。
【００７２】
図４は、図１に示す、映像の時間予測のための動き推定部１１０および動き予測部１１５と、図３に示す、時間予測３０５、３２５、３６０のための動きの基本単位として使用するマクロブロックの分割方法を示す図である。この方法はＩＳＯ／ＩＥＣ １４４９６−１０ ２００２およびＩＴＵ−ＴＲｅｃ Ｈ．２６４標準符号化方式に拠るものである。他の方法とは異なって、多様な大きさのブロック分割を許容している。基本的に横／縦１６×１６サイズのマクロブロックは、１６×１６、１６×８、８×１６、８×８等の多様なサイズに分けられ、それぞれのブロックの動きベクトルを求めて時間上で映像値が予測される。特に、８×８サイズのブロックは、さらに８×８、８×４、４×８、４×４サイズに分けることによって精密な動きも正確に感知可能になる。
【００７３】
図５Ａは、図１の空間予測のための空間推定部１２０および空間予測部１２５と、図３の空間予測３０５、３２５、３６０のための隣接画素の位置および予測する現在ブロックの画素の位置を示した図である。この方法は、ＩＳＯ／ＩＥＣ １４４９６−１０ ２００２およびＩＴＵ−Ｔ Ｒｅｃ Ｈ．２６４標準符号化方式で使用する方法と同様である。図５Ａでは、４×４サイズのブロックデータＰa、Ｐb、…、Ｐqを予測するために、以前に符号化されて復元された空間上の隣接したデータＰ0、Ｐ1、…、Ｐ12を利用する。図５Ｂは、空間上隣接した画素から投影して現在ブロックを予測するための０〜８の９つの予測方向を表す。例えば、０の方向の場合には、隣接した画素値Ｐ1、Ｐ2、Ｐ3、Ｐ4を垂直方向に投影して、Ｐa、Ｐe、Ｐi、ＰmはＰ1値、Ｐb、Ｐf、Ｐj、ＰnはＰ2値、Ｐc、Ｐg、Ｐk、ＰoはＰ3値、Ｐd、Ｐh、Ｐl、ＰqはＰ4値で予測する。他の方向の場合も同様に投影を通じて予測する。
【００７４】
図６は、Ｒ成分、Ｇ成分およびＢ成分の各映像（１２８０×７２０）と、その各映像から図１の動き推定部１１０および動き予測部１１５による時間予測によって得られたレジデュー映像とを示したものである。図６から分かるように、Ｒ成分、Ｇ成分およびＢ成分の映像の間では類似性が低いが、レジデュー映像の間では、大部分の領域でかなり高い類似性がある。図１の空間推定部１２０および空間予測部１２５による予測で生じるレジデュー値についても、Ｒ成分、Ｇ成分およびＢ成分の各レジデュー値の間にかなり高い類似性がある。
【００７５】
図７は、Ｒ−Ｇ−Ｂ映像の時間／空間予測によるレジデューの間の相関度を示す図である。図７Ａおよび図７Ｂは、図１の動き推定部１１０および動き予測部１１５による時間予測による各成分のレジデュー値の間の関係を示すグラフである。図７Ａは、Ｇ成分のレジデュー値を横軸とし、Ｒ成分のレジデュー値を縦軸として図示する。そして、図７Ｂは、Ｇ成分のレジデュー値を横軸とし、Ｂ成分のレジデュー値を縦軸として図示する。図７Ａおよび図７Ｂから分かるように、Ｒ成分およびＢ成分のレジデュー値はＧ成分のレジデュー値と高い相関度を有し、Ｇ成分のレジデュー値の線形予測によって予測可能である。図７Ｃおよび図７Ｄは、図１の空間推定部１２０および空間予測部１２５による空間予測による各成分のレジデュー値の間の関係を示すグラフである。図７Ｃおよび図７Ｄは、ＲおよびＢ成分に対して、図７Ａおよび図７Ｂと同様に、Ｇ成分のレジデュー値に対する相関度を示したものである。空間予測方式でも、ＲおよびＢ成分のレジデュー値はＧ成分のレジデュー値と高い相関度を有し、Ｇ成分のレジデュー値の線形予測によって予測可能であることが分かる。このようなＲ−Ｇ−Ｂ成分のレジデューの間の線形予測は、前記数式６ないし９のように表すことができる。
【００７６】
図８は、本発明によるカラー成分の時間上／空間予測によるＲＧＢカラー成分のレジデュー間予測による方式（「本発明」と表示）と、既存の方式（「従来の技術」と表示）とを比較した結果を示す図であり、高精細（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：ＨＤ）映像（１２８０×７２０，６０Ｈｚ）に関する結果を、４つのビット率におけるＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）で表示した。図８Ａは空間予測だけを使用したフレーム内予測モードだけを使用した結果を示し、図８Ｂは時間／空間予測をいずれも使用した結果を示す。図８から分かるように、同じビット率において３〜４ｄＢ以上の利得が発生することが分かる。
【００７７】
したがって、本発明で使用したカラー成分の時間／空間予測によるＲＧＢカラー成分のレジデュー間予測による方式をそうでない既存の方式と比較した時、同じビット率で３ｄＢ以上のＰＳＮＲ（Ｐｅａｋ Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ）利得が発生した。
【００７８】
一方、前述した実施形態ではフレーム間予測モードとフレーム内予測モードとが共に使われる場合を説明したが、状況によってはフレーム間予測モードまたはフレーム内予測モードのうちの一つだけが使われることもある。これに関する説明は、前述した本発明の実施形態に関する説明でフレーム間予測モードまたはフレーム内予測モード一つだけを考慮すれば同様に適用でき、これは当業者には明らかなものである。
【００７９】
また、本発明は、コンピュータで再生できる記録媒体にコンピュータが読取り可能なコードとして具現することができる。コンピュータが再生できる記録媒体は、コンピュータシステムによって読取り可能なデータを保存できるあらゆる記録装置を含む。コンピュータが再生できる記録媒体の例として、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがあり、またキャリアウェーブ（ｃａｒｒｉｅｒ ｗａｖｅ：例えば、フレーム間予測ネットを通じた転送）の形態で具現されるものも含む。また、コンピュータが再生できる記録媒体は、ネットワークに連結されたコンピュータシステムに分散された分散方式でコンピュータが読取り可能なコードが保存されて実行される。
【００８０】
以上、本発明の望ましい実施形態について図示および説明したが、本発明は、前述した特定の望ましい実施形態に限定されず、特許請求の範囲に記載する発明の要旨を離脱しない範囲内で当業者であれば多様な変形実施が可能である。
【産業上の利用可能性】
【００８１】
本発明は、高品質の映像を必要とするデジタル映画およびデジタルアーカイブなどに適用できる。
【図面の簡単な説明】
【００８２】
【図１】本発明による映像のレジデュー予測を利用した映像符号化装置の一実施形態に関する構成を示すブロック図である。
【図２】本発明による映像のレジデュー予測を利用した映像復号化装置の一実施形態に関する構成を示すブロック図である。
【図３】本発明の実施形態におけるＲ−Ｇ−Ｂカラー映像のレジデュー予測方法を示すブロック図である。
【図４】図１に示す映像の時間予測のための動き推定部および動き予測部と、図３に示す時間予測部のための動きの基本単位として使用するマクロブロックの分割方法とを示す図である。
【図５Ａ】図１に示す空間予測のための空間推定部および空間予測部と、図３に示す空間予測部のための隣接画素の位置と予測する現在ブロックの画素の位置とを示す図である。
【図５Ｂ】空間上隣接した画素から投影して現在ブロックを予測するための０〜８の９つの予測方向を示す図である。
【図６】Ｒ−Ｇ−Ｂ（１２８０×７２０）映像と、この映像から、図１の動き推定部および動き予測部によって得られる時間予測によるレジデュー映像とを示す図である。
【図７Ａ】Ｒ−Ｇ−Ｂ映像の時間／空間予測によるレジデューの間の相関度を示す図面である。
【図７Ｂ】Ｒ−Ｇ−Ｂ映像の時間／空間予測によるレジデューの間の相関度を示す図面である。
【図７Ｃ】Ｒ−Ｇ−Ｂ映像の時間／空間予測によるレジデューの間の相関度を示す図面である。
【図７Ｄ】Ｒ−Ｇ−Ｂ映像の時間／空間予測によるレジデューの間の相関度を示す図面である。
【図８Ａ】Ｒ−Ｇ−Ｂカラー映像のレジデュー予測による復号化結果を既存の方法と比較した結果を示す図である。
【図８Ｂ】Ｒ−Ｇ−Ｂカラー映像のレジデュー予測による復号化結果を既存の方法と比較した結果を示す図である。
【符号の説明】
【００８３】
１０      動き予測映像生成部
２０      空間予測映像生成部
３０      圧縮符号化部
４０      逆圧縮復号化部
５０      レジデュー予測方法を使用する核心部分
１００    現在映像保存部Ｆn
１０５    以前映像保存部Ｆ´n-1
１１０    動き推定部
１１５    動き予測部
１２０    空間推定部
１２５    空間予測部
１３０    レジデュー生成部
１３５    予測レジデュー生成部
１４０    周波数空間変換部
１４５    量子化部
１５０    エントロピー符号化部
１５５    逆量子化部
１６０    逆周波数空間変換部
１６５    レジデュー変換部
１７０    レジデュー補償部
１７５    元映像生成部
１８０    ループフィルタ
１８５    復元映像保存部Ｆ´n
【図１】
2004343774.tif 000047
【図２】
2004343774.tif 000048
【図３】
2004343774.tif 000049
【図４】
2004343774.tif 000050
【図５Ａ】
2004343774.tif 000051
【図５Ｂ】
2004343774.tif 000052
【図７Ａ】
2004343774.tif 000053
【図７Ｂ】
2004343774.tif 000054
【図７Ｃ】
2004343774.tif 000055
【図７Ｄ】
2004343774.tif 000056
【図８Ａ】
2004343774.tif 000057
【図８Ｂ】
2004343774.tif 000058
【図６】
2004343774.tif 000059