(57)【要約】【課題】  サンプリング過程で生じる情報の損失が減少し、色相変換を経ていない原画像をすぐに符号化する場合にも効果的にサンプリングできるとともに、色相のみだけではなくいかなる成分でも効果的なサンプリングが可能である剰余画像ダウン／アップサンプリング方法および該装置とそれを利用した画像符号化／復号化方法および装置を提供する。【解決手段】  少なくとも２種以上の画像成分からなる原画像において、各画像成分別に、原画像と予測画像との差に該当する剰余を生成する段階と、各画像成分別の剰余に対して所定の割合でダウンサンプリングする段階とを含むダウンサンプリング方法、または、原画像で剰余データのダウンサンプリングされているデータをアップサンプリングする段階と、アップサンプリングされている各成分別の剰余に前記予測画像を加えて原画像を復元する段階とを含むアップサンプリング方法。【選択図】  図９
2005198292.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、
（ｂ）前記各画像成分別の剰余に対して所定の割合でダウンサンプリングする段階とを含むことを特徴とする剰余画像ダウンサンプリング方法。
【請求項２】
前記（ａ）段階の剰余生成は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得る段階と、
前記原画像から前記予測画像を差し引いた剰余を求める段階とを備えることを特徴とする請求項１に記載の剰余画像ダウンサンプリング方法。
【請求項３】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちいずれか一つであることを特徴とする請求項１に記載の剰余画像ダウンサンプリング方法。
【請求項４】
前記（ａ）段階の前に、所定のカラー画像形式で表現された原画像を異なる形式のカラー画像で表現する色相変換を行う段階をさらに備え、
前記（ａ）段階は、
前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することを特徴とする請求項３に記載の剰余画像ダウンサンプリング方法。
【請求項５】
前記（ａ）段階で生成された剰余に対して前記画像成分の剰余相互間の関係性を利用して前記剰余を変換する段階をさらに備え、
前記（ｂ）段階は、
前記各変換された画像成分別の剰余に対して所定の割合でダウンサンプリングすることを特徴とする請求項１に記載の剰余画像ダウンサンプリング方法。
【請求項６】
少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する時空間予測部と、
前記時空間予測部で生成された各画像成分別の剰余に対して所定の割合でダウンサンプリングするダウンサンプリング部とを含むことを特徴とする剰余画像ダウンサンプリング装置。
【請求項７】
前記時空間予測部は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像と前記予測画像との差を求めて剰余を生成することを特徴とする請求項６に記載の剰余画像ダウンサンプリング装置。
【請求項８】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項７に記載の剰余画像ダウンサンプリング装置。
【請求項９】
所定のカラー画像形式で表現された原画像を他の形式のカラー画像表現に色相変換する色相変換部をさらに備え、
前記時空間予測部は、
前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することを特徴とする請求項７に記載の剰余画像ダウンサンプリング装置。
【請求項１０】
前記時空間予測部で生成された剰余に対し、前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する剰余変換部をさらに備え、
前記ダウンサンプリング部は、
前記変換された各画像成分別の剰余に対して所定の割合でダウンサンプリングすることを特徴とする請求項７に記載の剰余画像ダウンサンプリング装置。
【請求項１１】
（ａ）少なくとも２種以上の画像成分からなる原画像において、原画像と予測画像との差を剰余とするとき、前記剰余データのダウンサンプリングされたデータをアップサンプリングする段階と、
（ｂ）前記アップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する段階とを含むことを特徴とする剰余画像アップサンプリング方法。
【請求項１２】
前記アップサンプリングは、
画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素については、前記現在ブロックの画素値を利用して行うことを特徴とする請求項１１に記載の剰余画像アップサンプリング方法。
【請求項１３】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項１１に記載の剰余画像アップサンプリング方法。
【請求項１４】
前記予測画像は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることを特徴とする請求項１３に記載の剰余画像アップサンプリング方法。
【請求項１５】
前記（ａ）段階は、
前記アップサンプリングされたデータを剰余逆変換する段階をさらに備え、
前記（ｂ）段階は、
前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することを特徴とする請求項１１に記載の剰余画像アップサンプリング方法。
【請求項１６】
前記（ｂ）段階は、
前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、復元された画像を所定の他のカラー画像表現形式に逆変換する段階をさらに備えることを特徴とする請求項１１ないし請求項１５のいずれか１項に記載の剰余画像アップサンプリング方法。
【請求項１７】
少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、
前記アップサンプリング部でアップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする剰余画像アップサンプリング装置。
【請求項１８】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項１７に記載の剰余画像アップサンプリング装置。
【請求項１９】
前記時空間予測補償部は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、前記アップサンプリングされている各成分別の剰余に前記予測画像を加えて原画像を復元することを特徴とする請求項１８に記載の剰余画像アップサンプリング装置。
【請求項２０】
前記アップサンプリング部のアップサンプリングは、
画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることを特徴とする請求項１７に記載の剰余画像アップサンプリング装置。
【請求項２１】
前記アップサンプリング部は、
前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、
前記時空間予測補償部は、
前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することを特徴とする請求項１７に記載の剰余画像アップサンプリング装置。
【請求項２２】
前記時空間予測補償部は、
復元された画像を所定の他のカラー画像表現形式に逆変換する色相逆変換部をさらに備えることを特徴とする請求項１７、請求項１９および請求項２１のうちのいずれか１項に記載の剰余画像アップサンプリング装置。
【請求項２３】
（ａ）少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、
（ｂ）前記各画像成分別の剰余を所定の割合でダウンサンプリングする段階と、
（ｃ）前記ダウンサンプリングされたデータを符号化してビットストリームとして生成する段階とを含むことを特徴とする剰余サンプリングを利用した画像符号化方法。
【請求項２４】
前記（ａ）段階の剰余生成は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、原画像から前記予測画像を差し引いた空間的剰余を求める段階と、
前記原画像の各成分に対し、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像から前記予測画像を差し引いた時間的剰余を求める段階とを備えることを特徴とする請求項２３に記載の剰余サンプリングを利用した画像符号化方法。
【請求項２５】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項２３に記載の剰余サンプリングを利用した画像符号化方法。
【請求項２６】
前記（ａ）段階の前に、少なくとも２種以上の画像成分からなる原画像に対してカラー画像の表現形式を異にする色相変換を行う段階をさらに備え、
前記（ａ）段階は、
前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することを特徴とする請求項２５に記載の剰余サンプリングを利用した画像符号化方法。
【請求項２７】
前記（ａ）段階で生成された剰余に対して前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する段階をさらに備え、
前記（ｂ）段階は、
前記変換された各画像成分別の剰余に対して所定の割合でダウンサンプリングすることを特徴とする請求項２３に記載の剰余サンプリングを利用した画像符号化方法。
【請求項２８】
前記（ｃ）段階は、
前記ダウンサンプリングされたデータを変換および量子化する段階と、
前記量子化されたデータをエントロピ符号化してビットストリームとして生成する段階とを備えることを特徴とする請求項２３に記載の剰余サンプリングを利用した画像符号化方法。
【請求項２９】
前記予測画像の生成は、
前記変換および量子化によって生成された信号を逆量子化および逆変換する段階と、
前記逆変換されたデータをアップサンプリングする段階と、
前記アップサンプリングされたデータを予測補償し、復元された画像を生成する段階とを含むことを特徴とする請求項２８に記載の剰余サンプリングを利用した画像符号化方法。
【請求項３０】
（ａ）少なくとも２種以上の画像成分からなる原画像において、所定のサイズ単位で前記各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、
（ｂ）剰余サンプリングを行うか否かを表す所定の情報を利用し、前記生成された剰余に対するサンプリングを行うか否かを決定する段階と、
（ｃ）サンプリングを行うと決定された場合には、前記剰余画像を所定の割合でダウンサンプリングする段階と、
（ｄ）サンプリングが行われた場合には、前記ダウンサンプリングされたデータを、サンプリングが行われていない場合には、剰余データを符号化して、ビットストリームとして生成する段階とを含むことを特徴とする剰余サンプリングを利用した画像符号化方法。
【請求項３１】
剰余サンプリングを行うか否かを表す情報が画像データサイズ単位で選択的に設定されることを特徴とする請求項３０に記載の剰余サンプリングを利用した画像符号化方法。
【請求項３２】
剰余サンプリングを行うか否かを表す情報は、
符号化しようとする画像のシーケンス単位および前記シーケンス内のマクロブロック単位で設定されることを特徴とする請求項３０に記載の剰余サンプリングを利用した画像符号化方法。
【請求項３３】
少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する剰余生成部と、
前記各画像成分別の剰余を所定の割合でダウンサンプリングするダウンサンプリング部と、
前記ダウンサンプリングされたデータを符号化してビットストリームとして生成する符号化部とを含むことを特徴とする剰余サンプリングを利用した画像符号化装置。
【請求項３４】
前記剰余生成部は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、原画像から前記予測画像を差し引いた空間的剰余を求める空間的剰余生成部と、
前記原画像の各成分に対し、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像から前記予測画像を差し引いた時間的剰余を求める時間的剰余生成部とを備えることを特徴とする請求項３３に記載の剰余サンプリングを利用した画像符号化装置。
【請求項３５】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項３３に記載の剰余サンプリングを利用した画像符号化装置。
【請求項３６】
少なくとも２種以上の画像成分からなる原画像に対してカラー画像の表現形式を異にする色相変換を行う色相変換部をさらに備え、
前記剰余生成部は、
前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することを特徴とする請求項３５に記載の剰余サンプリングを利用した画像符号化装置。
【請求項３７】
前記剰余生成部で生成された剰余に対して前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する剰余変換部をさらに備え、
前記ダウンサンプリング部は、
前記各変換された画像成分別の剰余に対して所定の割合でダウンサンプリングすることを特徴とする請求項３３に記載の剰余サンプリングを利用した画像符号化装置。
【請求項３８】
前記符号化部は、
前記ダウンサンプリングされたデータを変換および量子化する変換／量子化部と、
前記量子化されたデータをエントロピ符号化してビットストリームとして生成するエントロピ符号化部とを備えることを特徴とする請求項３３に記載の剰余サンプリングを利用した画像符号化装置。
【請求項３９】
前記剰余生成部に入力される予測画像を生成する予測画像生成部をさらに備え、
前記予測画像生成部は、
前記変換および量子化を経て生成された信号を逆量子化および逆変換する逆量子化／逆変換部と、
前記逆変換されたデータをアップサンプリングするアップサンプリング部と、
前記アップサンプリングされたデータを予測補償し、復元された画像を生成する時空間予測補償部とを含むことを特徴とする請求項３８に記載の剰余サンプリングを利用した画像符号化装置。
【請求項４０】
少なくとも２種以上の画像成分からなる原画像において、所定のサイズ単位で前記各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する時空間予測部と、
所定の画像データサイズ単位によって選択的にサンプリングを行うか否かを決定するサンプリング決定部と、
前記生成された剰余に対し、前記サンプリング決定部でサンプリングを行うと決定されている場合には、前記剰余画像を所定の割合でダウンサンプリングするダウンサンプリング部と、
サンプリングが行われている場合には、前記ダウンサンプリングされたデータを、サンプリングが行われていない場合には、前記剰余データを符号化してビットストリームとして生成する符号化部とを含むことを特徴とする剰余サンプリングを利用した画像符号化装置。
【請求項４１】
（ａ）少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行って剰余データのダウンサンプリングされたデータを生成する段階と、
（ｂ）前記剰余データのダウンサンプリングされたデータをアップサンプリングする段階と、
（ｃ）前記アップサンプリングされた各成分別の剰余に、予測画像を加えて原画像を復元する段階とを含むことを特徴とする剰余サンプリングを利用した画像復号化方法。
【請求項４２】
前記（ａ）段階は、
少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームからエントロピ復号化する段階と、
前記エントロピ復号化されたデータを逆量子化および逆変換し、剰余データのダウンサンプリングされたデータを生成する段階とを備えることを特徴とする請求項４１に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４３】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項４１に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４４】
前記予測画像は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることを特徴とする請求項４１に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４５】
前記（ｂ）段階のアップサンプリングは、
画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることを特徴とする請求項４１に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４６】
前記（ｂ）段階は、
前記アップサンプリングされているデータを剰余逆変換する段階をさらに備え、
前記（ｃ）段階は、
前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することを特徴とする請求項４１に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４７】
前記（ｃ）段階は、
前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、前記原画像を所定の他のカラー画像表現形式に逆変換する段階をさらに備えることを特徴とする請求項４１ないし請求項４６のいずれか１項に記載の剰余サンプリングを利用した画像復号化方法。
【請求項４８】
（ａ）少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行うデータを復元する段階と、
（ｂ）前記復元されたデータがダウンサンプリングされているデータであるか否かを決定する段階と、
（ｃ）ダウンサンプリングされている剰余データであればアップサンプリングする段階と、
（ｄ）前記ダウンサンプリングされているデータか否かの決定の結果、ダウンサンプリングされたデータでなければ、前記復元されたデータに予測画像を加えて原画像を復元し、前記ダウンサンプリングされているデータか否かの決定の結果、ダウンサンプリングされたデータであれば前記アップサンプリングされた各成分別の剰余に予測画像を加えて原画像を復元する段階とを含むことを特徴とする剰余サンプリングを利用した画像復号化方法。
【請求項４９】
前記（ｄ）段階は、
ダウンサンプリングされていないデータであると解釈されれば、前記データ復元部で復元されたデータを剰余逆変換し、ダウンサンプリングされたデータであると解釈されれば、前記アップサンプリングされたデータを剰余逆変換する段階と、
前記剰余逆変換されたデータに予測画像を加えて原画像を復元する段階とを含むことを特徴とする請求項４８に記載の剰余サンプリングを利用した画像復号化方法。
【請求項５０】
少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行って剰余データのダウンサンプリングされたデータを生成するデータ復元部と、
前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、
前記アップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする剰余サンプリングを利用した画像復号化装置。
【請求項５１】
前記データ復元部は、
少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームからエントロピ復号化するエントロピ復号化部と、
前記エントロピ復号化されたデータを逆量子化および逆変換し、剰余データのダウンサンプリングされたデータを生成する逆量子化／逆変換部とを備えることを特徴とする請求項５０に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５２】
前記原画像は、
Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることを特徴とする請求項５０に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５３】
前記予測画像は、
前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることを特徴とする請求項５０に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５４】
前記アップサンプリング部のアップサンプリングは、
画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることを特徴とする請求項５０に記載の剰余画像アップサンプリング装置。
【請求項５５】
前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、
前記時空間予測補償部は、
前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することを特徴とする請求項５０に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５６】
前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、前記時空間予測補償部で復元された画像を所定の他のカラー画像表現形式に逆変換する色相逆変換部をさらに備えることを特徴とする請求項５０ないし請求項５５のいずれか１項に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５７】
少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行うデータ復元部と、
前記データ復元部で復元されたデータがダウンサンプリングされたデータであるか否かを解釈するサンプリング情報解釈部と、
前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、
前記サンプリング情報解釈部でダウンサンプリングされていないデータであると解釈された場合、前記データ復元部で復元されたデータに予測画像を加えて原画像を復元し、前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記アップサンプリングされた各成分別の剰余に予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする剰余サンプリングを利用した画像復号化装置。
【請求項５８】
前記サンプリング情報解釈部でダウンサンプリングされていないデータであると解釈された場合、前記データ復元部で復元されたデータを剰余逆変換し、前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、
前記時空間予測補償部は、前記剰余逆変換されたデータに予測画像を加えて原画像を復元することを特徴とする請求項５７に記載の剰余サンプリングを利用した画像復号化装置。
【請求項５９】
ＲＧＢカラー画像の各成分に対して視覚的な重要性を検査する段階と、
前記視覚的な重要性を基準に前記ＲＧＢカラー画像の各成分を所定の割合でダウンサンプリングする段階とを含むことを特徴とするＲＧＢカラー画像のダウンサンプリング方法。
【請求項６０】
前記ＲＧＢカラー画像の各成分に対するダウンサンプリング比率は、
４：２：２比率または２：２：１比率であることを特徴とする請求項５９に記載のＲＧＢカラー画像のダウンサンプリング方法。
【請求項６１】
ダウンサンプリングされたＲＧＢカラー画像をＲ，Ｇ，Ｂ成分にそれぞれ分ける段階と、
前記ダウンサンプリングされたＲＧＢカラー画像の各成分に対し、前記ダウンサンプリングに相応する割合でアップサンプリングする段階とを含むことを特徴とするＲＧＢカラー画像のアップサンプリング方法。
【請求項６２】
請求項１ないし請求項５、請求項１１ないし請求項１６、請求項２３ないし請求項３２、請求項４１ないし請求項４９、および請求項５９ないし請求項６１のうちいずれか１項に記載の発明をコンピュータで実行させるためのプログラムを記録したコンピュータで読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化／復号化に係り、特に、剰余（ｒｅｓｉｄｕｅ）ダウン／アップサンプリング方法および該装置とそれを利用した画像符号化／復号化方法および装置に関する。
【背景技術】
【０００２】
一般的に、画像を符号化する時には、カラー変換を行った後に符号化を行う。すなわち、カラー画像を符号化する時には、輝度成分と色相成分とを分けてから符号化を行う。この時、輝度成分には多くの情報が集中して、色相成分は比較的少ない情報量を有する。従って、圧縮効率を高めるために、色相成分のサンプルの数を減らして符号化を行う。この時、サンプリングフォーマットとして、４：２：２フォーマットと４：２：０フォーマットが一般的に使われる。すなわち、従来の符号化方法では、原画像を輝度成分と色相成分とに分けた後、前記色相成分をサンプリングし、次に符号化を行う。
【０００３】
例えば、ＲＧＢ画像を符号化するためには、まずＹＣｂＣｒ画像に変換して輝度成分と色相成分とに分離した後に符号化を行う。このようにすれば符号化効率が高まるが、その理由は、各色相成分間に多くの冗長性があって、変換を介して冗長性が除去されるためである。
【０００４】
一方、変換および復元過程で損失が発生して画像の画質が低下することがある。このように、変換された画像は、再び圧縮効率を高くするために色相サンプリング過程を経ることになる。このような過程を経る理由は、カラー変換を介して情報が輝度成分に集中して色相成分には情報の量が少なく、そして人の視覚が色相の変化にあまり敏感ではないために、色相の情報を減らしても視覚的によく感じ取れないためである。図１Ｂおよび図１Ｃは、一般的に使われるＹＣｂＣｒで、４：２：２フォーマットと４：２：０フォーマットの色相サンプリング方法を表すものである。図１Ａないし図１Ｃで、×は輝度成分Ｙを表し、○は色相成分ＣｂおよびＣｒを表す。ここで、○はＣｂおよびＣｒ成分が重なって表されている。すなわち、一つの表示Ｏは、Ｃｂ成分とＣｒ成分の１対に対応する。図１Ａは、サンプリング前の状態である４：４：４フォーマットを表す。そして、図１Ｂは、４：２：２フォーマットで色相成分が輝度成分に比べて半分に減ったことが分かる。この時、横方向に隣接した２つの色相サンプルが一つに合わさっていることが分かる。横方向に合わさる理由は、一般的に横方向に情報の冗長性が縦方向より強いためでもあり、インターレース走査方式のディスプレイ支援を容易にするためでもある。図１Ｃでは、横方向および縦方向に隣接した４個のサンプルを一つに合わせて色相成分が輝度成分の１／４に減っている。色相成分をサンプリングするためには、直近の隣接した画素だけを考慮することができるが、一般的には、周辺の画素の値を共に考慮してフィルタリングを行う。
【０００５】
一方、このように変換およびサンプリングされた画像を符号化する時には、時空間予測を介して各成分内部の冗長性を除去する過程が行われ、その結果として剰余画像が得られる。最近標準化が進められたＩＳＯ／ＩＥＣ ＭＰＥＧおよびＩＴＵ−Ｔ ＶＣＥＧのＪｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ（ＪＶＴ）のＨ．２６４／ＭＰＥＧ−４ ｐｔ．１０ ＡＶＣ標準化技術（非特許文献１参照）では、各種の方法で空間上および時間上の予測符号化を行って符号化効率を向上させている。
【０００６】
図２は、一般的な画像符号化過程をブロック図で示したものである。前述のように、原画像Ｉnの色相は、色相変換部２００で色相表現形式が変更されることによって色相変換され、色相ダウンサンプリング部２１０で色相ダウンサンプリングされた後に、時空間予測部２２０、変換／量子化部２３０、エントロピ符号化部２４０、逆量子化／逆変換部２５０、および時空間予測補償部２６０を介して符号化が行われる。
【０００７】
図３は、一般的な画像復号化過程をブロック図で示したものである。前述のように、復号化時にも、ビット列がエントロピ復号化部３００でエントロピ復号化され、逆量子化／逆変換部３１０を介して逆量子化および逆変換されて復号化が行われる。その後、復号化された画像Ｆ’ｎは、色相アップサンプリング部３３０および色相逆変換部３４０を介して色相アップサンプリングおよび色相逆変換されて復元された画像Ｉ’ｎが生成される。
【０００８】
このようなサンプリング過程で生じる問題点として、二つを挙げることができる。第一の問題点は、色相変換を行ったすぐ後にサンプリングを行うために、情報の損失が多く発生するということである。
【０００９】
そして、第二の問題点は、色相変換を行っていない場合には、サンプリングの効果が大きく減るということである。これは、色相変換をする前には、各成分別に情報が重複されているために、すぐにサンプリングを行う場合には、各成分でそれぞれ損失が発生し、そのために合計の損失が大きくなるためである。そこで、一般的に、すぐにサンプリングをせずに色相変換を経た後に、輝度成分はサンプリングせずに色相成分だけをサンプリングして使用してきた。
【非特許文献１】“Ｔｅｘｔ ｏｆ ＩＳＯ／ＩＥＣ ＦＤＩＳ １４４９６−１０：Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｃｏｄｉｎｇ ｏｆ ａｕｄｉｏ−ｖｉｓｕａｌ ｏｂｊｅｃｔｓ−Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”，ＩＳＯ／ＩＥＣ ＪＴＣ １／ＳＣ ２９／ＷＧ １１，Ｎ５５５５，Ｍａｒｃｈ，２００３
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする技術的課題は、予測符号化を介して生成された剰余画像をサンプリングする剰余画像ダウン／アップサンプリング装置および方法を提供することである。
【００１１】
本発明が解決しようとする他の技術的課題は、符号化中に予測符号化を介して生成された剰余画像をサンプリングする、剰余サンプリングを利用した画像符号化／復号化装置および方法を提供することである。
【００１２】
本発明が解決しようとするさらに他の技術的課題は、ＲＧＢカラー画像のダウン／アップサンプリング方法を提供することである。
【課題を解決するための手段】
【００１３】
前記技術的課題を解決するために、本発明による、剰余画像ダウンサンプリング方法は、（ａ）少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、（ｂ）前記各画像成分別の剰余に対して所定の割合でダウンサンプリングする段階とを含むことを特徴とする。
【００１４】
前記（ａ）段階の剰余生成は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得る段階と、前記原画像から前記予測画像を差し引いた剰余を求める段階とを備えることが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちいずれか一つであることが望ましい。
【００１５】
前記本発明による剰余画像ダウンサンプリング方法は、前記（ａ）段階の前に、少なくとも２種以上の画像成分からなる原画像に対して色相変換を行う段階をさらに備え、前記（ａ）段階は、前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することが望ましい。
【００１６】
前記剰余画像ダウンサンプリング方法は、前記（ａ）段階で生成された剰余に対して前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する段階をさらに備え、前記（ｂ）段階は前記各変換された画像成分別の剰余に対して所定の割合でダウンサンプリングすることが望ましい。
【００１７】
前記技術的課題を解決するための本発明による剰余画像ダウンサンプリング装置は、少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する時空間予測部と、前記時空間予測部で生成された各画像成分別の剰余に対して所定の割合でダウンサンプリングするダウンサンプリング部とを含むことを特徴とする。前記時空間予測部は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像と前記予測画像との差を求めて剰余を生成することが望ましい。
【００１８】
前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００１９】
前記本発明による剰余画像のダウンサンプリング装置は、所定のカラー画像形式で表現された原画像を他の形式のカラー画像表現に色相変換する色相変換部をさらに備え、前記時空間予測部は、前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することが望ましい。
【００２０】
前記剰余画像のダウンサンプリング装置は、前記時空間予測部で生成された剰余に対し、前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する剰余変換部をさらに備え、前記ダウンサンプリング部は、前記変換された各画像成分別の剰余に対して所定の割合でダウンサンプリングすることが望ましい。
【００２１】
前記技術的課題を解決するための本発明による剰余画像アップサンプリング方法は、（ａ）少なくとも２種以上の画像成分からなる原画像において、原画像と予測画像との差を剰余とするとき、前記剰余データのダウンサンプリングされたデータをアップサンプリングする段階と、（ｂ）前記アップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する段階とを含むことを特徴とする。
【００２２】
前記アップサンプリングは、画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素については、前記現在ブロックの画素値を利用して行うことが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００２３】
前記予測画像は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることが望ましい。
【００２４】
前記（ａ）段階は、前記アップサンプリングされたデータを剰余逆変換する段階をさらに備え、前記（ｂ）段階は、前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することが望ましい。
【００２５】
前記（ｂ）段階は、前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、復元された画像を所定の他のカラー画像表現形式に逆変換する段階をさらに備えることが望ましい。
【００２６】
前記技術的課題を解決するための本発明による剰余画像アップサンプリング装置は、少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、前記アップサンプリング部でアップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００２７】
前記時空間予測補償部は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、前記アップサンプリングされている各成分別の剰余に前記予測画像を加えて原画像を復元することが望ましい。
【００２８】
前記アップサンプリング部のアップサンプリングは、画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることが望ましい。
【００２９】
前記アップサンプリング部は、前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、このとき、前記時空間予測補償部は、前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することが望ましい。また、前記時空間予測補償部は、復元された画像を所定の他のカラー画像表現形式に逆変換する色相逆変換部をさらに備えることが望ましい。
【００３０】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像符号化方法は、（ａ）少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、（ｂ）前記各画像成分別の剰余を所定の割合でダウンサンプリングする段階と、（ｃ）前記ダウンサンプリングされたデータを符号化してビットストリームとして生成する段階とを含むことを特徴とする。
【００３１】
前記（ａ）段階の剰余生成は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、原画像から前記予測画像を差し引いた空間的剰余を求める段階と、前記原画像の各成分に対し、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像から前記予測画像を差し引いた時間的剰余を求める段階とを備えることが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００３２】
前記剰余サンプリングを利用した画像符号化方法は、前記（ａ）段階の前に、少なくとも２種以上の画像成分からなる原画像に対してカラー画像の表現形式を異にする色相変換を行う段階をさらに備え、このとき、前記（ａ）段階は、前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することが望ましい。
【００３３】
前記剰余サンプリングを利用した画像符号化方法は、前記（ａ）段階で生成された剰余に対し、前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する段階をさらに備え、前記（ｂ）段階は、前記変換された各画像成分別の剰余に対して所定の割合でダウンサンプリングすることが望ましい。
【００３４】
前記（ｃ）段階は、前記ダウンサンプリングされたデータを変換および量子化する段階と、前記量子化されたデータをエントロピ符号化してビットストリームとして生成する段階とを備えることが望ましい。
【００３５】
前記予測画像の生成は、前記変換および量子化によって生成された信号を逆量子化および逆変換する段階と、前記逆変換されたデータをアップサンプリングする段階と、前記アップサンプリングされたデータを予測補償し、復元された画像を生成する段階とを含むことが望ましい。
【００３６】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像符号化方法は、（ａ）少なくとも２種以上の画像成分からなる原画像において、所定のサイズ単位で前記各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する段階と、（ｂ）剰余サンプリングを行うか否かを表す所定の情報を利用し、前記生成された剰余に対するサンプリングを行うか否かを決定する段階と、（ｃ）サンプリングを行うと決定された場合には、前記剰余画像を所定の割合でダウンサンプリングする段階と、（ｄ）サンプリングが行われた場合には、前記ダウンサンプリングされたデータを、サンプリングが行われていない場合には、剰余データを符号化して、ビットストリームとして生成する段階とを含むことが望ましい。前記剰余サンプリングを利用した画像符号化方法は、剰余サンプリングを行うか否かを表す情報が画像データサイズ単位で選択的に設定されることが望ましい。
【００３７】
剰余サンプリングを行うか否かを表す情報は、符号化しようとする画像のシーケンス単位および前記シーケンス内のマクロブロック単位で設定されることが望ましい。
【００３８】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像符号化装置は、少なくとも２種以上の画像成分からなる原画像の各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する剰余生成部と、前記各画像成分別の剰余を所定の割合でダウンサンプリングするダウンサンプリング部と、前記ダウンサンプリングされたデータを符号化してビットストリームとして生成する符号化部とを含むことを特徴とする。
【００３９】
前記剰余生成部は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、原画像から前記予測画像を差し引いた空間的剰余を求める空間的剰余生成部と、前記原画像の各成分に対し、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得て、原画像から前記予測画像を差し引いた時間的剰余を求める時間的剰余生成部とを備えることが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００４０】
前記剰余サンプリングを利用した画像符号化装置は、少なくとも２種以上の画像成分からなる原画像に対してカラー画像の表現形式を異にする色相変換を行う色相変換部をさらに備え、前記剰余生成部は、前記色相変換された画像の各成分別に、前記色相変換された画像と予測画像との差に該当する剰余を生成することが望ましい。
【００４１】
前記剰余サンプリングを利用した画像符号化装置は、前記剰余生成部で生成された剰余に対し、前記画像成分の剰余相互間の関係性を利用し、前記剰余を変換する剰余変換部をさらに備え、前記ダウンサンプリング部は前記各変換された画像成分別の剰余に対して所定の割合でダウンサンプリングすることが望ましい。
【００４２】
前記符号化部は、前記ダウンサンプリングされたデータを変換および量子化する変換／量子化部と、前記量子化されたデータをエントロピ符号化してビットストリームとして生成するエントロピ符号化部とを備えることが望ましい。
【００４３】
前記剰余サンプリングを利用した画像符号化装置は、前記剰余生成部に入力される予測画像を生成する予測画像生成部をさらに備え、前記予測画像生成部は前記変換および量子化を経て生成された信号を逆量子化および逆変換する逆量子化／逆変換部と、前記逆変換されたデータをアップサンプリングするアップサンプリング部と、前記アップサンプリングされたデータを予測補償し、復元された画像を生成する時空間予測補償部とを含むことが望ましい。
【００４４】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像符号化装置は、少なくとも２種以上の画像成分からなる原画像において、所定のサイズ単位で前記各画像成分別に、前記原画像と予測画像との差に該当する剰余を生成する時空間予測部と、所定の画像データサイズ単位によって選択的にサンプリングを行うか否かを決定するサンプリング決定部と、前記生成された剰余に対し、前記サンプリング決定部でサンプリングを行うと決定されている場合には、前記剰余画像を所定の割合でダウンサンプリングするダウンサンプリング部と、サンプリングが行われている場合には、前記ダウンサンプリングされたデータを、サンプリングが行われていない場合には、前記剰余データを符号化してビットストリームとして生成する符号化部とを含むことを特徴とする。
【００４５】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像復号化方法は、（ａ）少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行って剰余データのダウンサンプリングされたデータを生成する段階と、（ｂ）前記剰余データのダウンサンプリングされたデータをアップサンプリングする段階と、（ｃ）前記アップサンプリングされた各成分別の剰余に、予測画像を加えて原画像を復元する段階とを含むことを特徴とする。
【００４６】
前記（ａ）段階は、少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームからエントロピ復号化する段階と、前記エントロピ復号化されたデータを逆量子化および逆変換し、剰余データのダウンサンプリングされたデータを生成する段階を備えることが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。
【００４７】
前記予測画像は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることが望ましい。
【００４８】
前記（ｂ）段階のアップサンプリングは、画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることが望ましい。前記（ｂ）段階は、前記アップサンプリングされているデータを剰余逆変換する段階をさらに備え、前記（ｃ）段階は、前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することが望ましい。
【００４９】
前記（ｃ）段階は、前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、前記原画像を所定の他のカラー画像表現形式に逆変換する段階をさらに備えることが望ましい。
【００５０】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像復号化方法は、（ａ）少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行うデータを復元する段階と、（ｂ）前記復元されたデータがダウンサンプリングされているデータであるか否かを決定する段階と、（ｃ）ダウンサンプリングされている剰余データであればアップサンプリングする段階と、（ｄ）前記ダウンサンプリングされているデータか否かの決定の結果、ダウンサンプリングされたデータでなければ、前記復元されたデータに予測画像を加えて原画像を復元し、前記ダウンサンプリングされているデータか否かの決定の結果、ダウンサンプリングされたデータであれば前記アップサンプリングされた各成分別の剰余に予測画像を加えて原画像を復元する段階とを含むことを特徴とする。前記（ｄ）段階は、ダウンサンプリングされていないデータであると解釈されれば、前記データ復元部で復元されたデータを剰余逆変換し、ダウンサンプリングされたデータであると解釈されれば、前記アップサンプリングされたデータを剰余逆変換する段階と、前記剰余逆変換されたデータに予測画像を加えて原画像を復元する段階とを含むことが望ましい。
【００５１】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像復号化装置は、少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行って剰余データのダウンサンプリングされたデータを生成するデータ復元部と、前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、前記アップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする。
【００５２】
前記データ復元部は、少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームからエントロピ復号化するエントロピ復号化部と、前記エントロピ復号化されたデータを逆量子化および逆変換し、剰余データのダウンサンプリングされたデータを生成する逆量子化／逆変換部とを備えることが望ましい。前記原画像は、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうちのいずれか一つであることが望ましい。前記予測画像は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックと空間的に近接した画素から予測方向を推定して得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して得ることが望ましい。
【００５３】
前記アップサンプリング部のアップサンプリングは、画像データの所定のサイズを有するブロック単位で行われ、現在ブロックの左側境界および上側境界に位置した画素は、前記現在ブロックの画素値を利用してアップサンプリングされることが望ましい。
【００５４】
前記剰余サンプリングを利用した画像復号化装置は、前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、前記時空間予測補償部は、前記剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元することが望ましい。
【００５５】
また、前記剰余サンプリングを利用した画像復号化装置は、前記原画像がダウンサンプリングされるときに所定のカラー画像表現形式に変換されたならば、前記時空間予測補償部で復元された画像を所定の他のカラー画像表現形式に逆変換する色相逆変換部をさらに備えることが望ましい。
【００５６】
前記他の技術的課題を解決するための本発明による剰余サンプリングを利用した画像復号化装置は、少なくとも２種以上の画像成分からなる原画像において、前記原画像と予測画像との差を剰余とするとき、ビットストリームから少なくともエントロピ復号化を行うデータ復元部と、前記データ復元部で復元されたデータがダウンサンプリングされたデータであるか否かを解釈するサンプリング情報解釈部と、前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記剰余データのダウンサンプリングされたデータをアップサンプリングするアップサンプリング部と、前記サンプリング情報解釈部でダウンサンプリングされていないデータであると解釈された場合、前記データ復元部で復元されたデータに予測画像を加えて原画像を復元し、前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記アップサンプリングされた各成分別の剰余に予測画像を加えて原画像を復元する時空間予測補償部とを含むことを特徴とする。
【００５７】
前記剰余サンプリングを利用した画像復号化装置は、前記サンプリング情報解釈部でダウンサンプリングされていないデータであると解釈された場合、前記データ復元部で復元されたデータを剰余逆変換し、前記サンプリング情報解釈部でダウンサンプリングされたデータであると解釈された場合、前記アップサンプリングされたデータを剰余逆変換する剰余逆変換部をさらに備え、前記時空間予測補償部は、前記剰余逆変換されたデータに予測画像を加えて原画像を復元することが望ましい。
【００５８】
前記さらに他の技術的課題を解決するための本発明によるＲＧＢカラー画像のダウンサンプリング法は、ＲＧＢカラー画像の各成分に対して視覚的な重要性を検査する段階と、前記視覚的な重要性を基準に前記ＲＧＢカラー画像の各成分を所定の割合でダウンサンプリングする段階とを含むことを特徴とする。前記ＲＧＢカラー画像の各成分に対するダウンサンプリング比率は、４：２：２比率または２：２：１比率であることが望ましい。
前記さらに他の技術的課題を解決するための本発明によるＲＧＢカラー画像のアップサンプリング方法は、ダウンサンプリングされたＲＧＢカラー画像をＲ，Ｇ，Ｂ成分にそれぞれ分ける段階と、前記ダウンサンプリングされたＲＧＢカラー画像の各成分に対し、前記ダウンサンプリングに相応する割合でアップサンプリングする段階とを含むことを特徴とする。
【００５９】
そして、本発明は、前記の剰余ダウン／アップサンプリング方法および該装置とそれを利用した画像符号化／復号化方法および装置に関する発明をコンピュータで実行させるためのプログラムを記録した、コンピュータで読取り可能な記録媒体を提供する。
【発明の効果】
【００６０】
本発明による剰余画像のダウン／アップサンプリング方法および該装置と、これを利用した画像符号化／復号化方法および装置とによれば、まず、時空間予測符号化を行って剰余画像を得て、この剰余画像でサンプリングを行うことにより、サンプリング過程で生じる情報の損失を減らすことができる。
【００６１】
そして、本発明によれば、時空間予測過程を介して得た剰余画像でサンプリングを行うため、色相変換を経ない原画像をすぐに符号化する場合にも、効果的にサンプリングを行うことができる。
【００６２】
また、色相のみだけではなく、いかなる成分でも効果的なサンプリングが可能である。
【発明を実施するための最良の形態】
【００６３】
以下、添付された図面を参照して、本発明によるＲＧＢ画像サンプリング方法と、剰余画像サンプリング方法および該装置と、これを利用した画像符号化／復号化方法および装置とについて詳細に説明する。
【００６４】
本発明の基本概念は次の通りである。時空間予測符号化を行えば、符号化しようとする画像のデータ量はかなり減る。従って、サンプリングによる情報の損失を減らすために、色相変換された画像を符号化する時にすぐにサンプリングせずに時空間予測符号化をまず行って剰余画像を得る。このようにして得られる剰余画像をサンプリングすれば、すぐにサンプリングする場合に比べて情報の損失をはるかに減らすことができる。
【００６５】
この場合、入力画像の色相変換された画像は、図１Ａのように色相成分がサンプリングされていない画像とすることも可能である。この時、従来の方法におけるように、色相成分だけをサンプリングすることもできるし、輝度成分と色相成分の両方をサンプリングすることもできる。従来の方法では、情報が輝度成分に集中しているために、輝度成分をサンプリングする場合には損失が多く発生する。そのため、一般的に輝度成分はサンプリングせずに色相成分だけサンプリングしていた。しかし、本発明による方法では、時空間予測符号化を介して輝度成分でも多くの情報が除去されるため、輝度成分をサンプリングする場合にも損失を減らすことができる。しかし、剰余画像においても、色相成分より輝度成分に情報が多く存在しているため、輝度成分と色相成分とのサンプリング比率を異なるものとすることもできる。
【００６６】
このように、本発明によれば、輝度および色相成分を効果的にサンプリングできるため、図１Ｂおよび図１Ｃのように、色相成分がすでにサンプリングされている画像にも適用できる。この場合には、色相成分がすでにサンプリングされているので、輝度成分の剰余のみサンプリングすることができるし、または色相成分をさらにサンプリングすることができるし、または輝度および色相成分の両方を共にサンプリングすることもできる。この時、各成分別にサンプリング比率を異なるものとすることによってサンプリング効率を高めることができる。
【００６７】
また、本発明では、色相変換されていない原画像をすぐに符号化する場合にも効果的にサンプリングを行うことができるようにするために、時空間予測過程を介して得られた剰余画像でサンプリングを行う。
【００６８】
この場合、原画像は、色相変換されていないので、各色相成分別に情報が重複している。この重複している情報を除去するために、剰余画像でサンプリングする前に、各成分間に変換符号化を行う剰余変換を行うことができる。
【００６９】
図４は、本発明による剰余画像のダウンサンプリング装置の構成についての一実施形態を示すブロック図である。本発明の一実施形態による剰余画像のダウンサンプリング装置は、色相変換部４００、時空間予測部４１０、剰余変換部４２０、ダウンサンプリング部４３０、アップサンプリング部４４０、剰余逆変換部４５０および時空間予測補償部４６０を含む。
【００７０】
前記色相変換部４００は、所定のカラー画像形式で表現された原画像を他のカラー画像形式で表現された画像に色相変換する。例えば、原画像がＲＧＢ画像である場合、前記ＲＧＢ画像をＹＣｂＣｒ画像に色相変換できる。また、本発明では、前記色相変換部４００を介して色相変換した後に剰余を生成することもでき、前記色相変換部４００を経ないで原画像から、直接、剰余を生成することもできる。前記剰余生成は、一定サイズ単位で処理される。
【００７１】
前記時空間予測部４１０は、色相変換を行わない場合には原画像に対し、または色相変換を経る場合には色相変換された画像に対し、各画像成分別に、前記色相変換された画像または原画像と、予測画像との差により求められる剰余画像を生成する。前記予測画像は、次の通りの方法によって得られる。前記原画像の各成分に対し、イントラ方式の場合は、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得ることによって、インター方式の場合は、各画像成分の以前フレームと現在フレームとの間で所定サイズのブロック単位で動きを推定することによって、予測画像を得る。
【００７２】
画像がＲＧＢ形式のカラー画像信号で表現される場合、前記剰余画像は、下記式１のように表すことができる。
式１：
【数１】
2005198292.tif 000003
ここで、前記Ｒ，ＧおよびＢは前記カラー画像の各成分別の画像を表し、前記Ｒp，ＧpおよびＢpは前記Ｒ，ＧおよびＢの予測画像を表す。前記予測画像は、各カラー成分内部の重複した情報を除去するために使われ、重複した情報が除去されて残った信号を剰余という。
【００７３】
前記剰余変換部４２０は、前記時空間予測部４１０により生成された剰余を所定の剰余変換式により剰余変換する。前記剰余変換部４２０は、必要によって省略可能である。すなわち、前記時空間予測部４１０により生成された剰余をすぐにダウンサンプリング部４３０によりダウンサンプリングできる。
【００７４】
前記剰余変換は、カラー画像の３成分をＸ1，Ｘ2，Ｘ3とし、ΔＸ1，ΔＸ2，ΔＸ3を前記３成分Ｘ1，Ｘ2，Ｘ3に対する剰余とするとき、下記式２のように前記３成分のうち２種成分の剰余値から残りの１成分の剰余値を差し引くことにより行うことができる。
式２：
【数２】
2005198292.tif 000004
ここで、Δ2Ｘ1，Δ2Ｘ2，Δ2Ｘ3は、剰余変換された信号である。
【００７５】
前記式２についての一例は次の通りである。カラー画像がＲＧＢ信号で表現される場合、△Ｇを予測子として使用し、△Ｒおよび△Ｂから△Ｇを差し引いて変換する方法を変換式で表せば下記式３の通りである。
式３：
【数３】
2005198292.tif 000005
ここで、Δ2Ｒ，Δ2ＧおよびΔ2Ｂは、剰余変換された信号である。
【００７６】
また、前記剰余変換式として下記式４を使用することもできる。
式４：
【数４】
2005198292.tif 000006
ここで、Δ2Ｘ1，Δ2Ｘ2，Δ2Ｘ3は、剰余変換された信号である。
【００７７】
前記式４は、各成分間の重複をさらに効率的に除去するために、各色相成分間の補正（ｃｏｒｒｅｌａｔｉｏｎ）を考慮して作成したカラー変換式を表わす。すなわち、式４についての一例は、下記式５のように表現されるＹＣｏＣｇ変換式である。
式５：
【数５】
2005198292.tif 000007
【００７８】
そして、下記式６は、前記式５のＹＣｏＣｇ変換式を剰余変換に適用した場合である。
式６：
【数６】
2005198292.tif 000008
ただし、ＹＣｏＣｇ変換式の場合、変換時にラウンドエラーが発生する。そのため、無損失で変換するためには、△Ｒ，△Ｇ，△Ｂのうち、ＣｏおよびＣｇに該当する成分にそれぞれ４を乗じて使用せねばならない。
【００７９】
また、前記剰余変換式としては、下記式７を使用することもできる。
式７：
【数７】
2005198292.tif 000009
【００８０】
前記式７は、ＹＣｏＣｇ−Ｒを一般化したものである。前記ＹＣｏＣｇ−Ｒは、ＹＣｏＣｇ変換をリフティング方法を使用して改善したものであり、下記式８のようである。
式８：
【数８】
2005198292.tif 000010
【００８１】
このような変換式も同様に剰余変換式に適用できる。この場合、変換時に、△Ｒ，△Ｇ，△Ｂのうち、ＣｏおよびＣｇに該当する成分にそれぞれ２が乗じることによってラウンドエラーなしに無損失変換が可能になる。
【００８２】
前記ダウンサンプリング部４３０は、剰余変換部４２０を備えたサンプリング装置ならば、前記剰余変換された信号をダウンサンプリングし、剰余変換部４２０のないサンプリング装置ならば、前記時空間予測部４１０で生成された剰余データをダウンサンプリングする。前記ダウンサンプリングを行う時、各成分別にサンプリング比率を変えてもよい。例えば、輝度成分と色相成分とから構成された画像の場合に、輝度成分は、サンプリングせずに色相成分だけサンプリングするか、または輝度成分のサンプリング比率より色相成分のサンプリング比率を高くできる。
【００８３】
一方、前記アップサンプリング部４４０、剰余逆変換部４５０および時空間予測補償部４６０は、予測画像を生成するために使われる。前記アップサンプリング部４４０は、前記ダウンサンプリング部４３０を介してダウンサンプリングされた信号をアップサンプリングし、前記剰余逆変換部４５０は、前記アップサンプリングされたデータを剰余逆変換する。前記時空間予測補償部４６０は、前記剰余逆変換されたデータを時空間予測補償して復元された画像Ｆ’nを生成する。前記剰余逆変換部４５０は、前記剰余変換部４２０を介して剰余変換されたデータについてだけ剰余逆変換する。
【００８４】
図５は、本発明による剰余画像のダウンサンプリング方法についての一実施形態を示すフローチャートである。図４および図５に基づいて、本発明による剰余画像のダウンサンプリング法および剰余画像ダウンサンプリング装置の動作を説明する。
【００８５】
まず、原画像が色相変換部４００に入力されると、他の形式のカラー画像に変換される（５００段階）。例えば、原画像がＲＧＢ信号からなるカラー画像である場合には、前記色相変換部４００を介してＹＣｂＣｒ形式の輝度信号と色相信号とに変換される。前記色相変換された信号は、時空間予測部４１０に入力されて、各画像成分別に前記色相変換された画像または原画像と、予測画像との差により求められる剰余画像が生成される（５２０段階）。本発明では、必要に応じて、前記色相変換部４００を介して色相変換した後に剰余を生成することも可能であり、また、前記色相変換部４００を経ないで、直接、原画像について剰余を生成することも可能である。また、前記予測画像は、ダウンサンプリングされた信号を、前記アップサンプリング部４４０、剰余逆変換部４５０および時空間予測補償部４６０の順で処理されて生成される。すなわち、前記ダウンサンプリングされた信号は、前記アップサンプリング部４４０によりアップサンプリングされ、前記剰余逆変換部４５０を介して剰余逆変換された後、前記時空間予測補償部４６０を介して時空間予測補償して復元された画像Ｆ’nを生成する。それにより、前記予測画像は、次の通りに得られる。前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得て、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間で所定サイズのブロック単位で動きを推定して予測画像を得る。
【００８６】
もちろん、前記剰余逆変換部４５０は、前記剰余変換部４２０を介して剰余変換されたデータについてだけ剰余逆変換を行う。
【００８７】
前記生成された剰余画像は、剰余変換部４２０に入力されて所定の剰余変換式により剰余変換される（５３０段階）。前記剰余変換に関する説明は、前記剰余変換部４２０についての説明と同様であるので、省略する。
【００８８】
前記剰余変換されたデータは、ダウンサンプリング部４１０に入力されてダウンサンプリングされる（５６０段階）。前記剰余変換部４２０は、必要によって省略可能なので、前記時空間予測部４１０により生成された剰余は、すぐにダウンサンプリング部４３０によりダウンサンプリングされることもある。
【００８９】
一方、図６は、本発明による剰余画像のアップサンプリング装置の構成についての一実施形態を示すブロック図である。このアップサンプリング装置は、アップサンプリング部６００、剰余逆変換部６２０、時空間予測補償部６４０および色相逆変換部６６０を含む。
【００９０】
前記アップサンプリング部６００は、ダウンサンプリングされた剰余データをアップサンプリングする。
【００９１】
前記剰余逆変換部６２０は、前記アップサンプリングされたデータを剰余逆変換する。前記剰余逆変換は、前記剰余変換に対する逆過程であり、前記剰余変換時に使用した剰余変換式の逆変換式を使用する。従って、剰余逆変換を行う時、変換式２を用いて剰余変換を行った場合の逆変換式は下記式９、変換式４を用いて剰余変換を行った場合の逆変換式は下記式１０、変換式数式７を用いて剰余変換を行った場合の逆変換式は下記式１１を使用して剰余逆変換する。
式９：
【数９】
2005198292.tif 000011
ここで、Δ2Ｘ1，Δ2Ｘ2，Δ2Ｘ3は剰余変換された信号である。
式１０：
【数１０】
2005198292.tif 000012
ここで、Δ2Ｘ1，Δ2Ｘ2，Δ2Ｘ3は剰余変換された信号である。
式１１：
【数１１】
2005198292.tif 000013
ここで、Δ2Ｘ1，Δ2Ｘ2，Δ2Ｘ3は剰余変換された信号である。
【００９２】
時空間予測補償部６４０は、前記剰余逆変換部６２０で剰余逆変換された各成分別の剰余に前記予測画像を加えて原画像を復元する。もし、ダウンサンプリングされたデータが剰余変換されていない場合には、前記アップサンプリングされたデータは、直接、時空間予測補償部６４０に入力され、各成分別の剰余に前記予測画像を加えて原画像を復元する。
【００９３】
前記原画像は、例えば、Ｒ−Ｇ−Ｂ形式、Ｙ−Ｃｂ−Ｃｒ形式、Ｘ−Ｙ−Ｚ形式の画像のうち、いずれか一つであってもよい。前記時空間予測補償部６４０をさらに詳しく説明すれば次の通りである。
【００９４】
前記時空間予測補償部６４０は、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得ることによって、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得ることによって、前記アップサンプリングされている各成分別の剰余に前記予測画像を加えて原画像を復元する。
【００９５】
また、前記色相逆変換部６６０は、アップサンプリングされたデータの原画像がカラー表現形式の異なる色相変換を経た場合、前記色相変換の逆変換を行って原画像を復元させる。例えば、原画像がＲＧＢ画像であって、ダウンサンプリング前にＹＣｂＣｒカラー表現形式に変換されている場合、前記色相逆変換部６６０は、ＹＣｂＣｒ表現形式からなるカラー画像をＲＧＢ表現形式のカラー画像に逆変換する。
【００９６】
図７は、本発明による剰余画像のアップサンプリング方法についての一実施形態を示すフローチャートである。図６および図７に基づいて、本発明による剰余画像のアップサンプリング方法およびその装置の動作を説明する。
【００９７】
まず、ダウンサンプリングされた画像データが前記アップサンプリング部６００に入力されると、アップサンプリングが行われる（７００段階）。前記アップサンプリングされたデータは、剰余逆変換部６２０により剰余逆変換される（７２０段階）。前記剰余逆変換は、前述の剰余逆変換部６２０での剰余逆変換と同一であるため、詳細な説明は省略する。
【００９８】
前記剰余逆変換されたデータは、時空間予測補償部６４０に入力されて、成分別の剰余に前記予測画像を加えて原画像が復元される（７４０段階）。これをさらに詳細に説明すれば、前記原画像の各成分に対し、イントラ方式の場合には、各画像成分の現在フレームの画素ブロックに空間的に近接した画素から予測方向を推定して予測画像を得ることによって、インター方式の場合には、各画像成分の以前フレームと現在フレームとの間に所定サイズのブロック単位で動きを推定して予測画像を得ることによって、前記アップサンプリングされた各成分別の剰余に前記予測画像を加えて原画像を復元する。
【００９９】
一方、前記アップサンプリング部６００に入力されるダウンサンプリングされた画像がダウンサンプリングされる前に剰余変換過程を経ていない場合には、前記剰余逆変換なしに、直接、時空間予測補償部６４０に入力され、成分別の剰余に前記予測画像を加えて原画像が復元される。また、前記アップサンプリング部６００に入力されるダウンサンプリングされた画像がダウンサンプリングされる前にカラー表現形式を異にする色相変換がなされている場合には、前記時空間予測補償部６４０で復元された画像は、色相逆変換部６６０に入力されて色相逆変換されて原画像が復元される（７６０段階）。
【０１００】
一方、図８は、本発明による剰余ダウンサンプリングを利用した画像符号化装置の一実施形態を示すブロック図である。前記剰余ダウンサンプリングを利用した画像符号化装置は、色相変換部８００、時空間予測部８１０、剰余変換部８２０、ダウンサンプリング部８３０、変換／量子化部８４０、エントロピ符号化部８５０、逆量子化／逆変換部８６０、アップサンプリング部８７０、剰余逆変換部８８０および時空間予測補償部８９０を含む。前記色相変換部８００、時空間予測部８１０、剰余変換部８２０、ダウンサンプリング部８３０、アップサンプリング部８７０、剰余逆変換部８８０および時空間予測補償部８９０は、前述の剰余画像のダウンサンプリング装置と同一なので説明を省略する。
【０１０１】
ただし、適応的（ａｄａｐｔｉｖｅ）にダウンサンプリングを行うために、サンプリング決定部８２５が付加されている。前記サンプリング決定部８２５は、所定の画像データのサイズ単位によって選択的にサンプリングを行うか否かを決定する。前記画像データサイズは、シーケンス、フレーム、マクロブロック、４×４ブロックなど、必要に応じて各種のサイズとすることができる。例えば、サンプリングを行うか否かを表す情報がシーケンスパラメータの一つ（ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇ）に設定され、前記シーケンス内でもマクロブロック単位でフラッグ（ｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇ）を利用して設定することができる。
【０１０２】
そして、前記ダウンサンプリング部８３０は、前記生成された剰余に対し、前記サンプリング決定部８２５でサンプリングを行うと決定されている場合には、前記剰余画像を所定の割合でダウンサンプリングする。そして、符号化部８０は、ダウンサンプリングが行われた場合には、前記ダウンサンプリングされたデータを、サンプリングが行われていない場合には、前記剰余データを符号化してビットストリームとして生成する。
【０１０３】
また、前記図４のアップサンプリング部４４０では、ダウンサンプリングされたデータをアップサンプリングしたが、前記図８のアップサンプリング部８７０は、逆量子化および逆変換されたデータに対してアップサンプリングを行う。そして、前記変換／量子化部８４０およびエントロピ符号化部８５０は、符号化部８０と称することもある。
【０１０４】
前記変換／量子化部８４０は、前記ダウンサンプリング部８３０でダウンサンプリングされたデータを所定サイズのブロック単位で変換（例えば、ＤＣＴ変換）および量子化して損失圧縮する。前記エントロピ符号化部８５０は、前記変換／量子化部８４０で変換および量子化されたデータをエントロピ符号化してビット列を生成する。前記逆量子化／逆変換部８６０は、前記変換および量子化されたデータを逆量子化および逆変換する。前記変換／量子化部８４０は、無損失符号化である場合には使われない。このような場合には、前記逆量子化／逆変換部８６０も必要がない。
【０１０５】
図９は、本発明による剰余ダウンサンプリングを利用した画像符号化方法の一実施形態を示すフローチャートである。図８および図９を参照して、本発明による剰余ダウンサンプリングを利用した画像符号化方法およびその装置の動作を説明する。
【０１０６】
まず、原画像を他の形式の画像に色相変換し（９００段階）、時空間予測符号化して剰余を生成し（９１０段階）、剰余を変換し（９２０段階）、前記剰余をダウンサンプリングし（９３０段階）、変換および量子化する過程（９４０段階）は、前述の剰余画像のダウンサンプリング法およびその装置の動作説明と同一なので説明を省略する。
【０１０７】
ただし、前記９２０段階で剰余変換された後には、適応的にサンプリングを行える。すなわち、剰余サンプリングを行うか否かを表す所定の情報を利用し、前記生成された剰余に対してダウンサンプリングを行うか否かを決定する（９２５段階）。例えば、ダウンサンプリングを行うか否かを表す情報をフラッグで表せば二種で表すことができる。シーケンスに対するサンプリングを行うか否かを表す情報をｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇとして表示し、前記シーケンスのフレームを構成するマクロブロックのサンプリングを行うか否かを表す情報をｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇとして表示できる。もし、前記ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが「０」ならば、前記ｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇは該当シーケンスで全て省略され、シーケンス内のあらゆるマクロブロックでサンプリングを行わない。もし、前記ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが「１」ならば、シーケンス内の各マクロブロックに対してサンプリングを行うか否かを表示するｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが存在する。前記ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが「１」と設定されており、あるマクロブロックで前記ｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが「１」と設定されていれば、該当マクロブロックでダウンサンプリングを行うと決定する。反対に、ｍｂ＿ｒｅｓｉｄｕｅ＿ｓａｍｐｌｉｎｇ＿ｆｌａｇが「０」と設定されていれば、該当マクロブロックでダウンサンプリングを行わないよう決定する。
【０１０８】
サンプリングを行うと決定されていれば、前記剰余画像を所定の割合でダウンサンプリングし（９３０段階）、サンプリングが行われた場合には、前記ダウンサンプリングされたデータを符号化して、サンプリングが行われていない場合には、剰余データを符号化して、ビットストリームとして生成する（９４０，９５０段階）。
【０１０９】
前記ダウンサンプリングされたデータは、変換／量子化部８４０に入力されて変換および量子化され（９４０段階）、エントロピ符号化部８５０に入力されてエントロピ符号化される（９５０段階）。
【０１１０】
一方、図１０は、本発明による剰余アップサンプリングを利用した画像復号化装置の一実施形態を示すブロック図である。前記剰余アップサンプリングを利用した画像復号化装置は、データ復元部１０、サンプリング情報解釈部１０１５、アップサンプリング部１０２０、剰余逆変換部１０３０、時空間予測補償部１０４０および色相逆変換部１０５０を含む。
【０１１１】
前記データ復元部１０は、ビットストリームから少なくともエントロピ復号化を行って復元されたデータを生成する。従って、前記データ復元部１０は、必要に応じて、エントロピ復号化部１０００および逆量子化／逆変換部１０１０を備える。
【０１１２】
前記エントロピ復号化部１０００は、ビットストリームのエントロピ復号化を行う。前記逆量子化／逆変換部１０１０は、前記エントロピ復号化されたデータを逆量子化および逆変換する。無損失符号化である場合には、前記逆量子化／逆変換部１０１０は必要ない。
【０１１３】
本発明による剰余アップサンプリングを利用した画像復号化装置は、前述の本発明による剰余画像アップサンプリング装置を利用する。従って、前記アップサンプリング部１０２０、剰余逆変換部１０３０、時空間予測補償部１０４０および色相逆変換部１０５０は、前述の剰余画像アップサンプリング装置の構成と同一なので、ここでは説明を省略する。
【０１１４】
ただし、画像データが符号化されるときに画像データサイズ単位で選択的にサンプリングを行った場合には、サンプリング情報解釈部１０１５が必要である。
【０１１５】
このとき、前記サンプリング情報解釈部１０１５は、前記データ復元部１０で復元されたデータがダウンサンプリングされたデータであるか否かを解釈する。
【０１１６】
前記サンプリング情報解釈部１０１５が復元されたデータをダウンサンプリングされたデータであると解釈した場合、前記アップサンプリング部１０２０は、前記剰余データのダウンサンプリングされたデータをアップサンプリングする。
【０１１７】
前記時空間予測補償部１０４０は、前記サンプリング情報解釈部１０１５が復元されたデータをダウンサンプリングされたデータではないと解釈した場合には、前記データ復元部１０で復元されたデータに予測画像を加えて原画像を復元し、前記サンプリング情報解釈部１０１５が復元されたデータをダウンサンプリングされたデータではあると解釈した場合には、前記アップサンプリングされた各成分別の剰余に、予測画像を加えて原画像を復元する。
【０１１８】
もし剰余逆変換が必要ならば、前記剰余逆変換部１０３０は、前記サンプリング情報解釈部１０１５が復元されたデータをダウンサンプリングされたデータではないと解釈した場合には、前記データ復元部１０で復元されたデータを剰余逆変換し、前記サンプリング情報解釈部１０１５が復元されたデータをダウンサンプリングされたデータではあると解釈した場合には、前記アップサンプリングされたデータを剰余逆変換する。
【０１１９】
そして、時空間予測補償部１０４０は、前記剰余逆変換されたデータに予測画像を加えて原画像を復元する。
【０１２０】
図１１は、本発明による剰余アップサンプリングを利用した画像復号化方法の一実施形態を示すフローチャートである。図１０および図１１を参照して、前記剰余アップサンプリングを利用した画像復号化方法およびその装置の動作を説明する。
【０１２１】
まず、画像データのビットストリームが前記エントロピ復号化部１０００に入力されるとエントロピ復号化が行われる（１１００段階）。前記ビットストリームが損失符号化されたデータである場合には、エントロピ復号化されたデータは、前記逆量子化／逆変換部１０１０に入力されて逆量子化および逆変換されてデータが復元される（１１１０段階）。もし前記ビットストリームが無損失符号化されたデータである場合には、復号化時に逆量子化および逆転換過程を行わない。
【０１２２】
図１１に示す１１２０段階ないし１１５０段階は、前述の剰余画像アップサンプリング方法と同一である。概略的に説明すれば、前記ダウンサンプリングされたデータに復元された画像データは、アップサンプリング部１０２０によりアップサンプリングされ（１１２０段階）、剰余逆変換部１０３０により剰余逆変換される（１１３０段階）。そして、時空間予測補償部１０４０により画像が復元され（１１４０段階）、色相逆変換部１０５０により色相逆変換される（１１５０段階）。
【０１２３】
ただし、画像データが符号化されるときに画像データのサイズ単位で選択的にサンプリングを行った場合には、サンプリング情報の解釈が必要である。
【０１２４】
このとき、前記サンプリング情報解釈部１０１５によって、前記データ復元部１０で復元されたデータがダウンサンプリングされたデータであるか否かが解釈される（１１１５段階）。
【０１２５】
前記サンプリング情報解釈部１０１５がダウンサンプリングされているデータであると解釈した場合には、前記剰余データのダウンサンプリングされたデータをアップサンプリングする（１１２０段階）。
【０１２６】
前記サンプリング情報解釈部１０１５がダウンサンプリングされたデータであると解釈した場合には、前記データ復元部１０で復元されたデータに予測画像を加えて原画像を復元し、前記サンプリング情報解釈部１０１５がダウンサンプリングされたデータでないと解釈した場合には、前記アップサンプリングされた各成分別の剰余に予測画像を加えて原画像を復元する（１１４０段階）。
【０１２７】
もし剰余逆変換が必要ならば、前記剰余逆変換部１０３０によって、前記サンプリング情報解釈部１０１５がダウンサンプリングされたデータでないと解釈した場合には、前記データ復元部１０で復元されたデータを剰余逆変換し、前記サンプリング情報解釈部１０１５がダウンサンプリングされたデータであると解釈した場合には、前記アップサンプリングされたデータを剰余逆変換する（１１３０段階）。
【０１２８】
そして、時空間予測補償部１０４０を介して前記剰余逆変換されたデータに予測画像を加えて原画像を復元する（１１５０段階）。
【０１２９】
図１２は、前述の本発明による剰余画像のサンプリング装置および該方法とこれを利用した画像符号化装置および方法であって、時空間予測部４１０，８１０により予測符号化を行うときに、インターモードの場合に時間上予測を一定サイズブロックに分割して予測することを図示したものである。
【０１３０】
図１２に示すように、現在符号化しようとするマクロブロックは、一定サイズのブロックに分割して予測が行われる。前記方法は、ＩＳＯ／ＩＥＣ １４４９６−１０およびＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準化技術で使用する方法である。この方法では、基本的に横／縦に１６画素サイズのマクロブロックを１６×１６、１６×８、８×１６、８×８の多様なサイズに分け、それぞれ動きベクトルを求めて時間軸上で画像値を予測する。特に、８×８サイズのブロックは、さらに８×８、８×４、４×８、４×４サイズで分けて精密な動きも正確に感知できるようにする。
【０１３１】
図１３は、イントラモードの場合に、予測符号化を行うときに空間上予測を行うための方法を図示したものである。図１３（ａ）は、現在ブロックの画素の位置と、予測に使用する隣接画素の位置とを表した図面である。前記方法は、ＩＳＯ／ＩＥＣ １４４９６−１０およびＩＴＵ−Ｔ Ｒｅｃ．Ｈ．２６４標準技術で使用する方法である。図１３（ａ）では、４×４サイズのブロックデータｐa，ｐb，．．．，ｐqを予測するために、以前に符号化されて復元された空間的に隣接したデータＰ0，Ｐ1，．．．，Ｐ12を利用する。図１３（ｂ）は、空間的に隣接した画素から投影して現在ブロックを予測するための０から８までの９種の予測方向を表す。例えば、０の方向の場合は、隣接した画素値Ｐ1，Ｐ2，Ｐ3およびＰ4を垂直方向に投影し、ｐa，ｐe，ｐiおよびｐmはＰ1値、ｐb，ｐf，ｐjおよびｐnはＰ2値、ｐc，ｐg，ｐkおよびｐoはＰ3値、ｐd，ｐh，ｐlおよびｐqはＰ4値と予測する。他の方向の場合も同様に投影を介して予測する。そして、２の方向の場合には、ＤＣ予測を行うが、この場合、周辺画素の平均値を使用して予測する。
【０１３２】
このような時空間予測方法は、既存の標準技術を一例にして説明したものであり、他の方法を使用することも可能である。
【０１３３】
一方、剰余画像を生成した後には剰余変換を行うことができる。前記変換を行う理由は、各成分間に存在する冗長性を除去するためである。特に、入力画像が色相変換を経ていない画像、例えば、ＲＧＢ画像である場合、このような画像を、直接、符号化すれば、各成分間に重複される情報があるために、符号化効率が低下する。従って、各成分間に重複される情報を除去するために剰余変換を行う。
【０１３４】
入力画像が色相変換された画像であるか、または剰余変換された画像である場合、剰余画像をサンプリングするときには、図１Ｂまたは図１Ｃに示すように、輝度成分と色相成分とを分離して色相成分だけを１／２または１／４の割合でサンプリングできる。このとき、サンプリングする方法としては、隣接した画素を使用して平均値を使用する方法があり、また、各種のフィルタリング方法を適用することもできる。
【０１３５】
入力画像が色相変換されていない場合、および剰余変換を経ていない場合にも、時空間予測を介して剰余画像を生成し、その剰余画像をサンプリングして符号化効率を高めることができる。このとき、各成分別に視覚的に重要な成分を考慮してサンプリング比率を異なるものとすることができる。
【０１３６】
特に、ＲＧＢカラー画像に対してダウンサンプリングを行うことができる。すなわち、ＲＧＢカラー画像の各成分に対して視覚的な重要性を検査し、前記視覚的重要性を基準にして、前記ＲＧＢカラー画像の各成分を異なる割合でダウンサンプリングできる。例えば、図１４（ａ）に示すように、ＲＧＢ画像において視覚的に影響を及ぼす順序がＧ，Ｒ，Ｂの順序である場合に、各成分の剰余からＧ成分の剰余サンプル４個当たりのＲ成分の剰余サンプル２個、Ｂ成分の剰余サンプル１個を使用してサンプリングを行うことができる。また、図１４（ｂ）に示すように、Ｇ成分およびＲ成分サンプル２個当たりのＢ成分サンプル１個を使用してサンプリングを行うことができる。
【０１３７】
また、前記ダウンサンプリングされたＲＧＢカラー画像に対してアップサンプリングすることも可能である。このために、まず、ダウンサンプリングされたＲＧＢカラー画像をＲ，Ｇ，Ｂ成分にそれぞれ分け、前記ダウンサンプリングされたＲＧＢカラー画像の各成分に対し、前記ダウンサンプリングに相応する割合でアップサンプリングする。
【０１３８】
一方、本発明による剰余画像のアップサンプリング方法および該装置とこれを利用した画像データ復号化方法および装置に使われるアップサンプリングについての一実施形態を説明すれば次の通りである。図１５は、現在ブロックを利用してアップサンプリングするアップサンプリング過程を説明するための図面である。
【０１３９】
画像データのアップサンプリングは、所定のサイズを有するブロック単位で行うことができる。図１５（ａ）に示すように、ダウンサンプリングされたデータは、図１５（ｂ）に示すように、二次線形（ｂｉ−ｌｉｎｅａｒ）補間を行ってアップサンプリングされる。しかし、前記二次線形補間は、現在ブロックの左側境界にある画素および上側境界にある画素については隣接ブロックの画素を利用しなければならない。しかし、図１５（ｃ）では、隣接ブロックの画素を利用せずに、現在ブロックの画素を利用して現在ブロックの左側境界にある画素および上側境界にある画素値を求める。例えば、現在ブロックの左側境界にある画素は、現在ブロックの左側境界画素の隣接した右側画素値を利用し、現在ブロックの上側境界にある画素は、現在ブロックの上側境界画素の隣接した下側画素値を利用して補間できる。
【０１４０】
本発明は、コンピュータで読取り可能な記録媒体にコンピュータ（情報処理機能を有する装置をいずれも含む）が読み取れるコードとして具現することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。コンピュータ読み取り可能な記録装置の例としては、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒｏｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ貯蔵装置などがある。
【０１４１】
以上、本発明について、図面に図示された実施形態を参考にして説明したが、これらの実施形態は例示的なものに過ぎず、本発明が属する技術分野の当業者ならば、これらの実施形態から多様な変形および均等な他の実施形態を想到することが可能であるという点が理解されるであろう。従って、本発明の真の技術的保護範囲は、特許請求範囲に示す技術的思想により決められるものである。
【産業上の利用可能性】
【０１４２】
本発明は、画像処理に利用され、特に、画像データ圧縮分野で有用である。
【図面の簡単な説明】
【０１４３】
【図１Ａ】４：４：４のサンプリングフォーマットである場合の色相サンプリング方法を図示した図面である。
【図１Ｂ】４：２：２のサンプリングフォーマットである場合の色相サンプリング方法を図示した図面である。
【図１Ｃ】４：２：０のサンプリングフォーマットである場合の色相サンプリング方法を図示した図面である。
【図２】従来の方法による符号化装置を表したブロック図である。
【図３】従来の方法による復号化装置を表したブロック図である。
【図４】本発明による剰余画像のダウンサンプリング装置の構成についての一実施形態を示すブロック図である。
【図５】本発明による剰余画像のダウンサンプリング方法についての一実施形態を示すフローチャートである。
【図６】本発明による剰余画像のアップサンプリング装置の構成についての一実施形態を示すブロック図である。
【図７】本発明による剰余画像のアップサンプリング方法についての一実施形態を示すフローチャートである。
【図８】本発明による剰余画像のダウンサンプリングを利用した画像符号化装置の一実施形態を示すブロック図である。
【図９】本発明による剰余画像のダウンサンプリングを利用した画像符号化方法の一実施形態を示すフローチャートである。
【図１０】本発明による剰余画像のアップサンプリングを利用した画像復号化装置の一実施形態をを示すブロック図である。
【図１１】本発明による剰余画像のアップサンプリングを利用した画像復号化方法の一実施形態を示すフローチャートである。
【図１２】時間上予測のためのマクロブロックの分割方法を示す図である。
【図１３】空間上予測のために、隣接画素の位置と、予測する現在ブロックの画素の位置および予測方向を表した図面である。
【図１４】色相サンプリング方法を示す図である。
【図１５】現在ブロックを利用してアップサンプリングするアップサンプリング過程を示す図である。
【符号の説明】
【０１４４】
４００      色相変換部
４１０      時空間予測部
４２０      剰余変換部
４３０      ダウンサンプリング部
４４０      アップサンプリング部
４５０      剰余逆変換部
４６０      時空間予測補償部
【図１Ａ】
2005198292.tif 000014
【図１Ｂ】
2005198292.tif 000015
【図１Ｃ】
2005198292.tif 000016
【図２】
2005198292.tif 000017
【図３】
2005198292.tif 000018
【図４】
2005198292.tif 000019
【図５】
2005198292.tif 000020
【図６】
2005198292.tif 000021
【図７】
2005198292.tif 000022
【図８】
2005198292.tif 000023
【図９】
2005198292.tif 000024
【図１０】
2005198292.tif 000025
【図１１】
2005198292.tif 000026
【図１２】
2005198292.tif 000027
【図１３】
2005198292.tif 000028
【図１４】
2005198292.tif 000029
【図１５】
2005198292.tif 000030