(57)【要約】ベイヤー配列画像を符号化する装置は、G1画素の値とG1画素の近傍の４つのG0画素の値とから、G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、G0画素の値とG0画素の近傍の４つのGH係数の値とからG0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、GH係数で構成される２次元信号を符号化するための第１の符号化手段と、GL係数で構成される２次元信号を符号化するための第２の符号化手段とを備える。
2012101708.tif 000002
【特許請求の範囲】
【請求項１】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
を備えることを特徴とする２次元信号符号化装置。
【請求項２】
前記２次元ハイパスフィルタ手段は、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
ことを特徴とする請求項１に記載の２次元信号符号化装置。
【請求項３】
前記２次元ハイパスフィルタ手段は、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
ことを特徴とする請求項１に記載の２次元信号符号化装置。
【請求項４】
前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素および前記B画素の値と、前記R画素および前記B画素に隣接する前記G0画素および前記G1画素の値の総和の1/4との間で、減算処理を行うことによって、前記R画素および前記B画素の空間座標における色差成分であるCrおよびCbを求める色差変換手段と、
前記色差成分で構成される２次元信号を符号化するための第３の符号化手段と
を更に備えることを特徴とする請求項１ないし３の何れかに記載の２次元信号符号化装置。
【請求項５】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
を備えることを特徴とする２次元信号復号装置。
【請求項６】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
前記GH係数で構成される２次元信号を符号化し、
前記GL係数で構成される２次元信号を符号化する
ことを特徴とする２次元信号符号化方法。
【請求項７】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を算出し、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を算出する
ことを特徴とする２次元信号復号方法。
【請求項８】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
して機能させるためのプログラム。
【請求項９】
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は２次元信号の符号化装置に関し、特に、ベイヤー配列画像の符号化装置に関する。
【背景技術】
【０００２】
単板の感光センサ（撮像素子）とカラーフィルタアレイとを利用して、カラー画像を撮像するデジタルスチルカメラやデジタルビデオカメラが広く普及している。カラーフィルタアレイとは、R,G,Bといった特定色のみを透過する微小なフィルタを周期的に配置したものである。カラーフィルタアレイに採用される代表的なフィルタ配置方法として、ベイヤー配列が知られている。【０００３】
ベイヤー配列では、２×２画素の論理的な画素ブロック（単にブロックと称す）ごとにR(赤),G(緑),B(青)の各色のフィルタがモザイク状に配置される。このうちGのフィルタは、２×２画素のブロックの対角に位置する２画素に配置される。すなわち、２×２画素ブロックの左上と右下の画素、または右上と左下の画素にGフィルタが配置され、残りの画素にRフィルタおよびBフィルタが配置される。この結果、２×２画素のブロックごとにR,G0,B,G1の信号値が得られることになる。このうちG0およびG1は、ブロック内で対角に位置する二つのG成分の信号である。【０００４】
一方、デジタルカメラによって撮像された画像信号は、現信号のままではデータ量が非常に大きいため、多くの場合、画像圧縮符号化処理によってデータ量の削減が図られる。【０００５】
ベイヤー配列画像の符号化方式の一例が特許文献２に示されている。特許文献２に記載の方式は、ベイヤー配列のR,B画素の値から、上下左右に隣接する4つのG画素の平均値Giを減じて、(R-Gi),Gi,(B-Gi)によるベイヤー配列を形成する。その後、(R-Gi),Gi,(B-Gi)ベイヤー画像を元に各空間座標に対して補間処理を行い、各空間座標におけるRGB画素値を算出する。そして、こうして求めたRGB画素値からYCbCrへ変換を行い、JPEG等の既存方式を用いて符号化する。【０００６】
ベイヤー配列画像の符号化方式の他の例が特許文献３、４、５に示されている。これらに記載の方式は、ベイヤー配列の画像信号に対して直接に色変換を行って、４コンポーネントの２次元信号を生成し、これら４コンポーネントの画像に対して独立に符号化を行う。すなわち、２×２画素のブロック内のR,G0,B,G1画素値間で色変換の演算を行い、変換された各成分を圧縮器へ入力する。ここで、特許文献３では、G0成分についてはそのまま符号化し、R,B,G1についてはG0との差分を符号化している。また、特許文献４では、R,G0,B,G1をY,Dg,Co,Cgに、特許文献５ではR,G0,B,G1をY,Cb,Cr,Cgにそれぞれ変換して符号化している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2001-285643号公報
【特許文献２】特開2008-311874号公報
【特許文献３】特開2005-286415号公報
【特許文献４】特開2006-121669号公報
【特許文献５】特許第4436733号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ベイヤー配列画像では、G成分が全成分の半分を占める。そのため、G成分を如何に効率的に符号化するかが重要になる。しかし、上述した特許文献２〜５に記載の各符号化方式ではいずれもG成分を効率的に符号化することは難しい。その理由は、何れの特許文献も周辺のG成分どうしの相関を活用してG成分の電力集中を行うという考えがないためである。【０００９】
本発明の目的は、上述したような課題、すなわちベイヤー配列画像中のG成分を効率的に符号化するのは困難である、という課題を解決する２次元信号符号化装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一形態にかかる２次元信号符号化装置は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が上記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の値と上記G1画素の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
上記G0画素の値と上記G0画素の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
上記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
上記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
を備える、といった構成を採る。【００１１】
また本発明の一形態にかかる２次元信号符号化方法は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の値と上記G1画素の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
上記G0画素の値と上記G0画素の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
上記GH係数で構成される２次元信号を符号化し、
上記GL係数で構成される２次元信号を符号化する
といった構成を採る。【００１２】
また本発明の一形態にかかる２次元信号復号装置は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
上記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
上記GL係数の値と上記GL係数の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応する上記G0画素の値を求める２次元逆ローパスフィルタ手段と、
上記GH係数の値と上記GH係数の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応する上記G1画素の値を求める２次元逆ハイパスフィルタ手段と
を備える、といった構成を採る。【００１３】
また本発明の一形態にかかる２次元信号復号方法は、
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
上記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、上記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
上記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
上記GL係数の値と上記GL係数の近傍の４つの上記GH係数の値とから、上記G0画素の空間座標に対応する上記G0画素の値を算出し、
上記GH係数の値と上記GH係数の近傍の４つの上記G0画素の値とから、上記G1画素の空間座標に対応する上記G1画素の値を算出する
といった構成を採る。
【発明の効果】
【００１４】
本発明は上述したような構成を有するため、ベイヤー配列画像中のG成分を効率的に符号化することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態による符号化装置の概略的構成を示すブロック図である。
【図２】本発明の第１実施形態による符号化装置の２次元リフティング手段の動作を模式的に示す図である。
【図３】本発明の第１実施形態による符号化装置の符号化制御を示すフローチャートである。
【図４】本発明の第２実施形態による復号装置の概略的構成を示すブロック図である。
【図５】本発明の第２実施形態による復号装置の２次元逆リフティング手段の動作を模式的に示す図である。
【図６】本発明の第２実施形態による復号装置の復号制御を示すフローチャートである。
【図７】本発明の第３実施形態による符号化装置の概略的構成を示すブロック図である。
【図８】本発明の第３実施形態による符号化装置のハイパス成分符号化手段の構成を示すブロック図である。
【図９】本発明の第３実施形態による符号化装置の色差変換手段および２次元リフティング手段の動作を模式的に示す図である。
【図１０】本発明の第３実施形態による符号化装置の符号化制御を示すフローチャートである。
【図１１】本発明の第３実施形態による符号化装置のハイパス成分符号化制御を示すフローチャートである。
【図１２】本発明の第４実施形態による復号装置の概略的構成を示すブロック図である。
【図１３】本発明の第４実施形態による復号装置のハイパス成分復号手段の構成を示すブロック図である。
【図１４】本発明の第４実施形態による復号装置の色差逆変換手段および２次元逆リフティング手段の動作を模式的に示す図である。
【図１５】本発明の第４実施形態による復号装置の復号制御を示すフローチャートである。
【図１６】本発明の第４実施形態による復号装置のハイパス成分復号制御を示すフローチャートである。
【発明を実施するための形態】
【００１６】
次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施の形態は、画像入力装置１１と、データ記憶装置１２と、プログラム制御により動作するデータ処理装置１３と、符号出力装置１４とから構成されている。
【００１７】
画像入力装置１１は、２次元信号としての画像を入力するための装置であり、例えばカメラや通信装置などで構成される。
【００１８】
データ記憶装置１２は、画像メモリ１２１と、２次元リフティング中間メモリ１２２、２次元リフティング結果メモリ１２３、ハイパス成分メモリ１２４、およびローパス成分メモリ１２５を含む。
【００１９】
画像メモリ１２１は、画像入力装置１１から入力された画像を記憶する。
【００２０】
２次元リフティング中間メモリ１２２は、画像メモリ１２１に記憶された入力画像に対して２次元ハイパスフィルタを施すことにより得られた係数を記憶する。
【００２１】
２次元リフティング結果メモリ１２３は、２次元リフティング中間メモリ１２２に記憶された係数に対して２次元ローパスフィルタを施すことにより得られた係数を記憶する。
【００２２】
ハイパス成分メモリ１２４は、２次元リフティング結果メモリ１２３のうち、ハイパス成分となるGH係数のみを抽出した結果が格納される中間メモリである。
【００２３】
ローパス成分メモリ１２５は、２次元リフティング結果メモリ１２３のうち、ローパス成分となるGL係数のみを抽出した結果が格納される中間メモリである。
【００２４】
データ処理装置１３は、２次元リフティング手段１３１と、ハイパス成分符号化手段１３２と、ローパス成分符号化手段１３３とを含む。また、２次元リフティング手段１３１は、２次元ハイパスフィルタ手段１３１１と、２次元ローパスフィルタ手段１３１２とを含む。
【００２５】
２次元リフティング手段１３１に含まれる２次元ハイパスフィルタ手段１３１１は、画像メモリ１２１に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ１２２に格納する。
【００２６】
ハイパスフィルタを適用するとは、各G1画素の値から近傍４画素のG0画素の総和の1/4を減ずる処理を行うことを意味する。
【００２７】
２次元リフティング手段１３１に含まれる２次元ローパスフィルタ手段１３１２は、２次元リフティング中間メモリ１２２に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ１２３に格納する。
【００２８】
ローパスフィルタを適用するとは、各G0画素の値に近傍４画素のGH係数の総和の1/8を加える処理を行うことを意味する。
【００２９】
ハイパス成分符号化手段１３２は、２次元リフティング結果メモリ１２３に格納されたハイパス係数GHを、ハイパス成分メモリ１２４を介して読み出して符号化し、符号出力装置１４へ出力する。
【００３０】
ローパス成分符号化手段１３３は、２次元リフティング結果メモリ１２３に格納されたローパス係数GLを、ローパス成分メモリ１２５を介して読み出して符号化し、符号出力装置１４へ出力する。
【００３１】
符号出力装置１４は、生成された符号を記憶する磁気ディスク装置などの記憶装置や、生成された符号を遠隔地に送信する通信装置などで構成される。
【００３２】
図２に、２次元リフティング手段１３１の動作の具体例を示す。
【００３３】
Z101は、画像メモリ１２１に蓄積された入力画像における、G0およびG1の画素の配置を示している。入力画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z101では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるG0およびG1画素をG0a,G1aのような形式で記している。
【００３４】
Z102は、２次元ハイパスフィルタ手段１３１１の動作の様子を示している。２次元ハイパスフィルタ手段１３１１は、G1a,G1b,G1c,G1dのそれぞれに対して、近傍のG0画素の総和の1/4を減ずる処理を行う。たとえば、G0a,G0b,G0c,G0dの総和の1/4を、G1bから減ずる処理を行う。また、G1a,G1c,G1dについても同様の処理を行う。なお、近傍のG0画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0画素値を代用してよい。たとえばG1aの場合、その右側にはG0aとG0cが存在するが、左側にはG0画素が存在しない。こうした場合は、左側にもG0aとG0cが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のG1a,G1b,G1c,G1dの画素値がGHa,GHb,GHc,GHdの各係数値に置き換わり、２次元リフティング中間メモリ１２２に格納される。Z103は、２次元ハイパスフィルタ適用後の２次元リフティング中間メモリ１２２の様子を示している。
【００３５】
Z104は、２次元ローパスフィルタ手段１３１２の動作の様子を示している。２次元ローパスフィルタ手段１３１２は、G0a,G0b,G0c,G0dのそれぞれに対して、近傍のGH係数の総和の1/8を加える処理を行う。たとえば、GHa,GHb,GHc,GHdの総和の1/8を、G0cに加える処理を行う。また、G0a,G0b,G0dについても同様の処理を行う。なお、近傍のGH係数が画像領域内に４つ存在しない場合には、画像領域内にある別のGH係数値を代用してよい。たとえばG0aの場合、その下側にはGHaとGHbが存在するが、上側にはGH係数が存在しない。こうした場合は、上側にもGHaとGHbが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のG0a,G0b,G0c,G0dの画素値がGLa,GLb,GLc,GLdの各係数値に置き換わり、２次元リフティング結果メモリ１２３に格納される。Z105は、２次元ローパスフィルタ適用後の２次元リフティング結果メモリ１２３の様子を示している。
【００３６】
次に、図３のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
【００３７】
画像入力装置１１から画像メモリ１２１に画像が入力されると、２次元ハイパスフィルタ手段１３１１は、画像メモリ１２１に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ１２２に格納する（Ｓ１０１）。
【００３８】
次に、２次元ローパスフィルタ手段１３１２は、２次元リフティング中間メモリ１２２に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ１２３に格納する（Ｓ１０２）。
【００３９】
次に、ハイパス成分符号化手段１３２は、２次元リフティング結果メモリ１２３に格納されたハイパス係数GHを読み出して符号化し、符号出力装置１４へ出力する（Ｓ１０３）。
【００４０】
最後に、ローパス成分符号化手段１３３は、２次元リフティング結果メモリ１２３に格納されたローパス係数GLを読み出して符号化し、符号出力装置１４へ出力する（Ｓ１０４）。
【００４１】
なお、上記説明では、画像メモリ１２１と２次元リフティング中間メモリ１２２と２次元リフティング結果メモリ１２３とは、別のメモリとして図示したが、同一のメモリ上で２次元リフティング演算処理を行ってもよい。
【００４２】
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
【００４３】
たとえば、各座標に対する２次元ローパスフィルタを行うために必要な係数値が、２次元ハイパスフィルタ手段１３１１によって得られ次第、２次元ローパスフィルタ手段１３１２が当該座標に対する処理を行うようにしてもよい。また、各座標のGH係数値が確定するごとにハイパス成分符号化手段１３２が当該座標に対する符号化処理を行うようにしてもよい。また、各座標のGL係数値が確定するごとにローパス成分符号化手段１３３が当該座標に対する符号化処理を行うようにしてもよい。
【００４４】
ハイパス成分符号化手段１３２およびローパス成分符号化手段１３３が用いる具体的な符号化方式は、JPEG2000などの従来の方式を用いて自由に符号化してよい。
【００４５】
なお、ローパス成分であるGLについては、離散ウェーブレット変換(DWT: Discrete Wavelet Transform）などの変換処理を加えて符号化すると効率よくデータ量を圧縮することができる。DWTを利用した代表的な画像符号化方式としてJPEG2000が挙げられる。DWTは入力信号を高周波帯域と低周波帯域とに分離する変換手法の一種である。DWTの演算は畳み込みとリフティングの２通りの手法で実現可能である。メモリ消費量、速度、可逆変換の容易性といった観点からリフティング演算を選択するのが望ましい。リフティング演算によるDWTの一例は、特許文献１に記載されている。
【００４６】
一方、ハイパス成分であるGHについてはそれ自体既に高周波が抽出された結果であるので、変換処理を加えずに符号化してもよい。たとえばJPEG2000においてウェーブレット分解数を0に設定してGHを符号化すると、効率よくデータ量を圧縮することができる。
【００４７】
また、符号化の際には、量子化処理を加えることで圧縮効率を更に向上させることも可能である。この場合、ハイパス成分であるGHについては、ローパス成分でるGLの最高周波数成分に対する量子化粒度と同じか、より粗い粒度で量子化を行うことが好ましい。
【００４８】
また本発明ではベイヤー配列におけるＧ以外の成分の符号化には触れていないが、これらについてもGL成分と同様、JPEG2000などの従来の方式を用いて自由に符号化してよい。
【００４９】
ハイパスフィルタやローパスフィルタでは1/4や1/8の演算を行うが、これは算術シフトなどで代用可能である。整数演算で構成することも可能であり、その場合、小数点以下の切上げや切捨て方式は自由に設計してよい。
【００５０】
また、上記説明では、ハイパスフィルタでは減算処理、ローパスフィルタでは加算処理を行うものとして説明したが、これを両者とも減算処理で構成することも可能である。この場合、ハイパスフィルタは、近傍４画素のG0画素の総和の1/4から、各G1画素の値を減ずる処理を行う。また、ローパスフィルタは、近傍４画素のGH係数の総和の1/8から、各G0画素の値を減ずる処理を行う。このように演算方式を変更した場合、元の演算方式に対してGH,GLの係数値の正負が逆転するが、同様の電力集中の効果が得られる。
【００５１】
本実施の形態の効果について説明する。
【００５２】
本実施の形態によれば、ベイヤー配列画像中のG成分を効率的に符号化することができる。
【００５３】
その理由は、周辺のG成分どうしの相関を活用してG成分の電力集中を行ってから符号化するためである。
【００５４】
また本実施の形態によれば、ベイヤー配列画像の符号化において、G成分の空間相関性を効率的かつ低負荷に除去可能な符号化方法および装置を提供することができる。
【００５５】
その理由は、隣接するG0画素とG1画素との間の簡易な演算のみで２次元のハイパスフィルタおよびローパスフィルタを実現することができ、GL成分への効率的な電力集中が得られるためである。
【００５６】
また、本実施の形態によれば、後段の２次元ローパスフィルタの各座標の演算に必要な係数値が得られ次第、２次元ローパスフィルタが動作を開始するような動作を容易に実現することができる。このため、入力画素を長期間メモリに保持することなく、スキャンライン方向の画素入力にしたがって符号化処理を進めることができる。なお、ベイヤー配列の画像に対して、対角方向に画素スキャンを行うと、G0とG1が画素スキャン方向およびその直交方向に並ぶため、こうして得られたG0およびG1で構成される２次元信号に対してJPEG2000などの符号化を適用すれば、G0とG1の相関性を利用して圧縮効率を向上させることができる。しかし、この方式（以下、対角スキャン方式と呼ぶ）では、メモリアクセス負荷が高くなるという問題がある。すなわち、一般に、画像信号のスキャン方向と一致しない方向でのリフティング演算はメモリアクセス負荷が高く、高速化が難しい。通常の水平および垂直方向のリフティングにおいても、垂直方向のリフティング処理は水平方向（スキャンライン方向）の処理に比べてメモリアクセスの局所性が低いため、高速処理は困難である。対角スキャン方式では、こうした負荷の大きいリフティング処理を２度行う必要がある。
【００５７】
[第２の実施形態]
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。本実施の形態は、本発明の第１実施形態の復号装置に相当する。
【００５８】
図４を参照すると、本発明の第２の実施の形態は、画像出力装置２１と、データ記憶装置２２と、プログラム制御により動作するデータ処理装置２３と、符号入力装置２４とから構成されている。
【００５９】
符号入力装置２４は、復号対象となる符号を入力する装置であり、例えば磁気ディスク装置や通信装置などで構成される。
【００６０】
データ記憶装置２２は、画像メモリ２２１と、２次元逆リフティング中間メモリ２２２と、成分復号結果メモリ２２３と、ハイパス成分メモリ２２４と、ローパス成分メモリ２２５とを含む。
【００６１】
ローパス成分メモリ２２５は、成分復号結果メモリ２２３に出力すべき係数値のうち、復号済のGL係数を保持する中間メモリである。
【００６２】
ハイパス成分メモリ２２４は、成分復号結果メモリ２２３に出力すべき係数値のうち、復号済のGH係数を保持する中間メモリである。
【００６３】
成分復号結果メモリ２２３は、復号されたハイパス成分GHおよびローパス成分GLの係数値を保持する。
【００６４】
２次元逆リフティング中間メモリ２２２は、成分復号結果メモリ２２３に記憶された復号画像に対して２次元逆ローパスフィルタを施すことにより得られた係数を保持する。
【００６５】
画像メモリ２２１は、画像出力装置２１に対して出力すべき画像を保持する。
【００６６】
画像出力装置２１は、例えばディスプレイ装置で構成され、画像メモリ２２１に記憶された画素データを読み出し、出力する。
【００６７】
データ処理装置２３は、２次元逆リフティング手段２３１と、ハイパス成分復号手段２３２と、ローパス成分復号手段２３３とを含む。また、２次元リフティング手段２３１は、２次元逆ハイパスフィルタ手段２３１１と、２次元逆ローパスフィルタ手段２３１２とを含む。
【００６８】
ローパス成分復号手段２３３は、符号入力装置２４から入力された符号を復号し、ローパス成分メモリ２２５を介して成分復号結果メモリ２２３に格納する。
【００６９】
ハイパス成分復号手段２３２は、符号入力装置２４から入力された符号を復号し、ハイパス成分メモリ２２４を介して成分復号結果メモリ２２３に格納する。
【００７０】
２次元逆リフティング手段２３１に含まれる２次元逆ローパスフィルタ手段２３１２は、成分復号結果メモリ２２３に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ２２２に格納する。
【００７１】
逆ローパスフィルタを適用するとは、各GL画素の値から近傍４画素のGH係数の総和の1/8を減ずる処理を行うことを意味する。
【００７２】
２次元逆リフティング手段２３１に含まれる２次元逆ハイパスフィルタ手段２３１１は、２次元逆リフティング中間メモリ２２２に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を画像メモリ２２１に格納する。
【００７３】
逆ハイパスフィルタを適用するとは、各GH係数の値に近傍４画素のG0画素の総和の1/4を加える処理を行うことを意味する。
【００７４】
図５に、２次元逆リフティング手段２３１の動作の具体例を示す。
【００７５】
Z205は、成分復号結果メモリ２２３に蓄積された復号画像における、GLおよびGH係数の配置を示している。復号画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z205では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるGLおよびGH係数をGLa,GHaのような形式で記している。
【００７６】
Z204は、２次元逆ローパスフィルタ手段２３１２の動作の様子を示している。２次元ローパスフィルタ手段２３１２は、GLa,GLb,GLc,GLdのそれぞれに対して、近傍のGH係数の総和の1/8を減ずる処理を行う。たとえば、GHa,GHb,GHc,GHdの総和の1/8を、GLcから減ずる処理を行う。また、G0a,G0b,G0dについても同様の処理を行う。なお、近傍のGH係数が画像領域内に４つ存在しない場合には、画像領域内にある別のGH係数値を代用してよい。たとえばGLaの場合、その下側にはGHaとGHbが存在するが、上側にはGH係数が存在しない。こうした場合は、上側にもGHaとGHbが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のGLa,GLb,GLc,GLdの係数値がG0a,G0b,G0c,G0dの各画素値に置き換わり、２次元逆リフティング中間メモリ２２２に格納される。Z203は、２次元逆ローパスフィルタ適用後の２次元逆リフティング中間メモリ２２２の様子を示している。
【００７７】
Z202は、２次元逆ハイパスフィルタ手段２３１１の動作の様子を示している。２次元ハイパスフィルタ手段２３１１は、GHa,GHb,GHc,GHdのそれぞれに対して、近傍のG0画素の総和の1/4を加える処理を行う。たとえば、G0a,G0b,G0c,G0dの総和の1/4を、GHbに加える処理を行う。また、G1a,G1c,G1dについても同様の処理を行う。なお、近傍のG0画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0画素値を代用してよい。たとえばGHaの場合、その右側にはG0aとG0cが存在するが、左側にはG0画素が存在しない。こうした場合は、左側にもG0aとG0cが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のGHa,GHb,GHc,GHdの係数値がG0a,G0b,G0c,G0dの各係数値に置き換わり、画像メモリ２２１に格納される。Z201は、２次元逆ハイパスフィルタ適用後の画像メモリ２２１の様子を示している。
【００７８】
次に、図６のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
【００７９】
まず、ローパス成分復号手段２３３は、符号入力装置から入力された符号からローパス係数GLを復号し、ローパス成分メモリ２２５を介して成分復号結果メモリ２２３に格納する（Ｓ２０１）。
【００８０】
次に、ハイパス成分復号手段２３２は、符号入力装置から入力された符号からハイパス係数GHを復号し、ハイパス成分メモリ２２４を介して成分復号結果メモリ２２３に格納する（Ｓ２０２）。
【００８１】
次に、２次元逆ローパスフィルタ手段２３１２は、成分復号結果メモリ２２３に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ２２２に格納する（Ｓ２０３）。
【００８２】
最後に、２次元逆ハイパスフィルタ手段２３１１は、２次元逆リフティング中間メモリ２２２に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を画像メモリ２２１に格納する（Ｓ２０４）。
【００８３】
なお、上記説明では、画像メモリ２２１と２次元逆リフティング中間メモリ２２２と成分復号結果メモリ２２３は別のメモリとして図示したが、同一のメモリ上で２次元逆リフティング演算処理を行ってもよい。
【００８４】
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
【００８５】
たとえば、各座標に対する２次元逆ハイパスフィルタを行うために必要な係数値が、２次元逆ローパスフィルタ２３１２によって得られ次第、２次元逆ハイパスフィルタ１３１１が当該座標に対する処理を行うようにしてもよい。また、各座標のG0およびG1画素値が確定するごとに画像を画像出力装置２１へ出力するようにしてもよい。
【００８６】
ハイパス成分復号手段２３２およびローパス成分復号手段２３３の具体的な符号化方式は、実施形態１と同様、従来方式を含めて自由に設計してよい。Ｇ以外の成分の符号化につても同様である。
【００８７】
逆ハイパスフィルタや逆ローパスフィルタでは1/4や1/8の演算を行うが、これは算術シフトなどで代用可能である。整数演算で構成することも可能であり、その場合、小数点以下の切上げや切捨て方式は、符号化の仕様と同じ方式を用いることで、可逆演算を実現することが可能である。
【００８８】
また、上記説明では、逆ハイパスフィルタでは加算処理、逆ローパスフィルタでは減算処理を行うものとして説明したが、これを両者とも減算処理で構成することも可能である。これは、符号化の仕様が、ハイパスフィルタ、ローパスフィルタとも減算処理である場合に用いることができる。この場合、逆ハイパスフィルタは、近傍４画素のG0画素の総和の1/4から、各G1画素の値を減ずる処理を行う。また、逆ローパスフィルタは、近傍４画素のGH係数の総和の1/8から、各G0画素の値を減ずる処理を行う。このように演算方式を変更した場合、符号化時の各フィルタと復号時の各フィルタとが同じ演算となるため、装置の回路設計を共有することができるという効果がある。
【００８９】
本実施の形態は、第１の実施の形態で符号化されたデータの復号装置に相当する。ベイヤー配列画像の符号化において、G成分の空間相関性を効率的かつ低負荷に除去可能な符号化方法および装置を提供することができる利点がある。
【００９０】
また、本実施の形態によれば、後段の２次元逆ハイパスフィルタの各座標の演算に必要な係数値が得られ次第、２次元逆ハイパスフィルタが動作を開始するような動作を容易に実現することができる。このため、復号係数を長期間メモリに保持することなく、スキャンライン方向の符号入力にしたがって復号処理を進めることができる。
【００９１】
[第３の実施形態]
図７を参照すると、本発明の第３の実施の形態は、画像入力装置３１と、データ記憶装置３２と、プログラム制御により動作するデータ処理装置３３と、符号出力装置３４とから構成されている。
【００９２】
画像入力装置３１および符号出力装置３４は、第１の実施の形態における図１の画像入力装置１１および符号出力装置１４と同じものである。
【００９３】
データ記憶装置３２は、画像メモリ３２１と、色差変換結果メモリ３２２と、２次元リフティング中間メモリ３２３と、２次元リフティング結果メモリ３２４と、ハイパス成分メモリ３２５と、ローパス成分メモリ３２６と、色差成分メモリ３２７とを含む。
【００９４】
画像メモリ３２１、２次元リフティング中間メモリ３２３、２次元リフティング結果メモリ３２４、ハイパス成分メモリ３２５、およびローパス成分メモリ３２６は、第１の実施の形態における図１の画像メモリ１２１、２次元リフティング中間メモリ１２２、２次元リフティング結果メモリ１２３、ハイパス成分メモリ１２４、およびローパス成分メモリ１２５と同じものである。
【００９５】
色差変換結果メモリ３２２は、画像メモリ３２１に記憶された入力画像に対して色差変換を施すことにより得られた色差変換画像を記憶する。
【００９６】
色差成分メモリ３２７は、２次元リフティング結果メモリ３２４のうち、色差成分となるCb,Cr成分のみを抽出した結果が格納される中間メモリである。
【００９７】
データ処理装置３３は、色差変換手段３３１と、２次元リフティング手段３３２と、ハイパス成分符号化手段３３３と、色差・ローパス成分符号化手段３３４とを含む。また、２次元リフティング手段３３２は、２次元ハイパスフィルタ手段３３２１と、２次元ローパスフィルタ手段３３２２とを含む。
【００９８】
２次元リフティング手段３３２、２次元ハイパスフィルタ手段３３２１、および２次元ローパスフィルタ手段３３２２は、第１の実施の形態における図１の２次元リフティング手段１３１、２次元ハイパスフィルタ手段１３１１、および２次元ローパスフィルタ手段１３１２と同じものである。
【００９９】
色差変換手段３３１は、画像メモリ３２１に記憶された入力画像に対して色差変換を施し、得られた色差変換画像を色差変換結果メモリ３２２に格納する。
【０１００】
色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納されたローパス係数GL、および、色差成分Cb,Crを、ローパス成分メモリ３２６および色差成分メモリ３２７を介して読み出して符号化し、符号出力装置３４へ出力する。
【０１０１】
ハイパス成分符号化手段３３３の構成を図８に示す。
【０１０２】
図８を参照すると、ハイパス成分符号化手段３３３は、近傍係数参照手段３３３１と、符号化パラメータ算出手段３３３２と、係数量子化手段３３３３と、係数符号化手段３３３４とを含む。
【０１０３】
近傍係数参照手段３３３１は、ハイパス成分メモリ３２５から、近傍の符号化済みのハイパス係数を読み出す。具体的には、GH係数のみで構成されるハイパス成分メモリ３２５から、符号化対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。また、読み出した係数a,b,c,dに対しては、量子化および逆量子化処理を施し、復号時に得られる係数値と同じ値を再現する。
【０１０４】
量子化・逆量子化演算には、一般的なデッドゾーン付きのミッドトレッド量子化を用いるものとする。
【０１０５】
符号化パラメータ算出手段３３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
【０１０６】
係数量子化手段３３３３は、符号化対象のGH係数(x)をハイパス成分メモリ３２５から読み出して量子化する。
【０１０７】
係数符号化手段３３３４は、量子化された係数の絶対値を、パラメータkによりGolomb-Rice符号化する。また、絶対値が非ゼロの場合には、Golomb-Rice符号化後に、係数値の正負の情報を１ビットで出力する。
【０１０８】
図９に、色差変換手段３３１および２次元リフティング手段３３２の動作の具体例を示す。
【０１０９】
Z301は、画像メモリ３２１に蓄積された入力画像における、G0およびG1,R,Bの画素の配置を示している。入力画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z301では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるG0およびG1、R,B画素をG0a,G1a,Ra,Rbのような形式で記している。
【０１１０】
Z302およびZ303は、色差変換手段３３１の動作の様子を示している。色差変換手段３３１は、G以外の色成分であるBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdのそれぞれに対して、近傍のG0およびG1画素の総和の1/4を減ずる処理を行う。たとえば、G0a,G1a,G1b,G0cの総和の1/4を、Baから減ずる処理を行う。また、Bb,Bc,Bd,Ra,Rb,Rc,Rdについても同様の処理を行う。なお、近傍のG0,G1画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0,G1画素値を代用してよい。たとえばRaの場合、その右と下にはG0aとG1aが存在するが、左および上にはG0,G1画素が存在しない。こうした場合は、左および上にもG0aとG1aが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdの画素値がCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdの各色差値に置き換わり、色差変換結果メモリ３２２に格納される。Z304は、色差変換適用後の色差変換結果メモリ３２２の様子を示している。
【０１１１】
Z304からZ308は、２次元リフティング手段３３２の動作の様子を示している。Z304のG0およびG1画素に対して、図２のZ101からZ105と同様の処理が行われる。Z308は、２次元リフティング適用後の２次元リフティング結果メモリ３２４の様子を示している。
【０１１２】
次に、図10のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
【０１１３】
画像入力装置３１から画像メモリ３２１に画像が入力されると、色差変換手段３３１は、画像メモリ３２１に記憶された入力画像に対して色差変換を施し、得られた色差変換画像を色差変換結果メモリ３２２に格納する（Ｓ３０１）。
【０１１４】
次に、２次元ハイパスフィルタ手段３３２１は、色差変換結果メモリ３２２に蓄積された入力画像から画素値G0およびG1を読み出し、ハイパスフィルタを適用して得られた係数値GHおよび画素値G0を２次元リフティング中間メモリ３２３に格納する（Ｓ３０２）。
【０１１５】
次に、２次元ローパスフィルタ手段３３２２は、２次元リフティング中間メモリ３２３に格納された係数値GHおよび画素値G0を読み出し、ローパスフィルタを適用して得られた係数値GLおよびGHを２次元リフティング結果メモリ３２４に格納する（Ｓ３０３）。
【０１１６】
次に、色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納された色成分値Cb、Crを読み出し、Cb,Crそれぞれの２次元信号に対して符号化を行い、符号出力装置３４へ出力する（Ｓ３０４）。
【０１１７】
次に、ハイパス成分符号化手段３３３は、２次元リフティング結果メモリ３２４に格納されたハイパス係数GHを読み出して符号化し、符号出力装置３４へ出力する（Ｓ３０５）。
【０１１８】
最後に、色差・ローパス成分符号化手段３３４は、２次元リフティング結果メモリ３２４に格納されたローパス係数GL、色成分値Cb、Crを読み出して符号化し、符号出力装置３４へ出力する（Ｓ３０６）。
【０１１９】
次に、図11のフローチャートを参照して、本実施の形態のハイパス成分符号化手段３３３の動作について詳細に説明する。
【０１２０】
まず、ハイパス成分符号化手段３３３は、ハイパス係数の符号化座標を原点（０，０）に初期化する（Ｓ３１１）。
【０１２１】
次に、ハイパス成分符号化手段３３３は、現在の符号化座標におけるハイパス係数を、ハイパス成分メモリ３２５から読み出す（Ｓ３１２）。
【０１２２】
次に、近傍係数参照手段３３３１は、ハイパス成分メモリ３２５から、近傍の符号化済みのハイパス係数を読み出す（Ｓ３１３）。具体的には、GH係数のみで構成されるハイパス成分メモリ３２５から、符号化対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。また、読み出した係数a,b,c,dに対しては、量子化および逆量子化処理を施し、復号時に得られる係数値と同じ値を再現する。
【０１２３】
次に、符号化パラメータ算出手段３３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する（Ｓ３１４）。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
【０１２４】
次に、係数量子化手段３３３３は、符号化対象のGH係数を量子化する（Ｓ３１５）。
【０１２５】
次に、係数符号化手段３３３４は、量子化された係数の絶対値を、パラメータkによりGolomb-Rice符号化する（Ｓ３１６）。また、絶対値が非ゼロの場合には、Golomb-Rice符号化後に、係数値の正負の情報を１ビットで出力する。
【０１２６】
次に、ハイパス成分符号化手段３３３は、全ハイパス係数の符号化が完了したかどうかを判定し（Ｓ３１７）、完了していない場合は、符号化座標を変更して（Ｓ３１８）、ステップＳ３１２に戻る。全ハイパス係数の符号化が完了した場合は処理を終了する。
【０１２７】
なお、上記説明では、色差の演算を近傍のG成分４画素の平均値とR,B値との差分演算としたが、センサの特性によって、G成分４画素の平均値に対して一定値を乗じた値とR,B値との差分としてもよい。
【０１２８】
また、上記説明では、色差成分とローパス成分とを同じ符号化器によって符号化するものとしたが、色差成分とローパス成分の符号化器でそれぞれ別の符号化方式を用いるようにしてもよい。
【０１２９】
また、上記説明では、全処理を直列に結合して動作させているが、並行して処理させてもよい。
【０１３０】
たとえば、各座標に対する色差変換を行うために必要な画素値が画像メモリ３２１に入力され次第、色差変換手段３３１が当該座標に対する処理を行うようにしてもよい。
【０１３１】
また、色差成分とGH,GL成分の符号化の順序は自由に設定してよい。たとえば、符号化装置におけるバッファ容量を低減するためには、符号化過程で算出される順序、すなわち、色差,GH,GLの順序で符号化を行うと効果的である。一方、復号装置のバッファ容量低減を優先するには、復号過程での演算順序、すなわち、GL,GH,色差の順序で符号化しておいた方がよい。
【０１３２】
なお、可変長符号化としてGolomb-Rice符号ではなく静的ハフマン符号などで代用することももちろん可能である。この場合、近傍係数参照手段３３３１は、近傍係数の絶対値の総和に対して量子化を行うことによって符号化パラメータkを求め、また、係数符号化手段３３３４は、符号化パラメータkの値に応じて複数種類のハフマン符号テーブルを切り替えながら係数の符号化を行うようにすればよい。
【０１３３】
また、上記説明ではハイパス係数の圧縮率向上のため量子化を常に行うようにしているが、量子化・逆量子化を行わない構成とすることにより、可逆の圧縮伸張も可能である。
【０１３４】
本実施の形態によれば、第１の実施の形態と同様の効果が得られると共に、以下のような効果が得られる。
【０１３５】
本実施の形態によれば、G以外の色成分に対して色差変換を行うことによって、色成分に含まれる電力を低減し、圧縮効率を向上させることができる。
【０１３６】
色差成分の符号化は、各色差成分で構成される各２次元信号に対してそれぞれ行われる。具体的には、Cbのグレースケール画像、および、Crのグレースケール画像に対してそれぞれ符号化が行われる。このため、中間的にRGB画像が生成されることがなく、メモリ効率を高く保つことができる。
【０１３７】
また、２次元リフティングに用いるメモリ上で色変換処理も同時に行うことができるため、メモリ効率を高く保つことができる。
【０１３８】
また、本実施の形態では、ハイパス成分の符号化を、GH係数が生成されるごとにスキャンライン順に行うことができるため、JPEG2000などの方式よりも符号化に要するバッファメモリを小さく保つことができる。
【０１３９】
また、ハイパス成分の符号化に、0付近ほど短い符号長を持つGolomb-Rice符号を用いることで、0付近の値の頻発するハイパス成分を効率よく符号化することができる。またこの際、近傍の符号化済の係数から符号化パラメータを高精度に予測することによって、更に効率のよい圧縮が可能となる。
【０１４０】
[第４の実施形態]
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。本実施の形態は、本発明の第３実施形態の復号装置に相当する。
【０１４１】
図12を参照すると、本発明の第４の実施の形態は、画像出力装置４１と、データ記憶装置４２と、プログラム制御により動作するデータ処理装置４３と、符号入力装置４４とから構成されている。
【０１４２】
符号入力装置４４および画像出力装置４１は、第２の実施の形態における図４の符号入力装置２４および符号出力装置２１と同じものである。
【０１４３】
データ記憶装置４２は、画像メモリ４２１と、２次元逆リフティング結果メモリ４２２と、２次元逆リフティング中間メモリ４２３と、成分復号結果メモリ４２４と、ハイパス成分メモリ４２５と、ローパス成分メモリ４２６と、色差成分メモリ４２７とを含む。
【０１４４】
画像メモリ４２１、２次元逆リフティング結果メモリ４２２、２次元逆リフティング中間メモリ４２３、ハイパス成分メモリ４２５、およびローパス成分メモリ４２６は、第２の実施の形態における図４の画像メモリ２２１、２次元逆リフティング結果メモリ２２２、２次元リフティング中間メモリ２２２、ハイパス成分メモリ２２４、およびローパス成分メモリ２２５と同じものである。
【０１４５】
成分復号結果メモリ４２４は、復号されたハイパス成分GHおよびローパス成分GLの係数値、色差成分Cb,Crを保持する。
【０１４６】
色差成分メモリ２２５は、成分復号結果メモリ４２４に出力すべき係数値のうち、復号済のCb,Cr成分を保持する中間メモリである。
【０１４７】
データ処理装置４３は、色差逆変換手段４３１と、２次元逆リフティング手段４３２と、ハイパス成分復号手段４３３と、色差・ローパス成分復号手段４３４とを含む。また、２次元リフティング手段４３２は、２次元逆ハイパスフィルタ手段４３２１と、２次元逆ローパスフィルタ手段４３２２とを含む。
【０１４８】
２次元逆リフティング手段４３２、２次元逆ハイパスフィルタ手段４３２１、および２次元逆ローパスフィルタ手段４３２２は、第２の実施の形態における図４の２次元逆リフティング手段２３１、２次元逆ハイパスフィルタ手段２３１１、および２次元逆ローパスフィルタ手段２３１２と同じものである。
【０１４９】
色差・ローパス成分復号手段４３４は、符号入力装置４４から入力された符号からローパス係数GLと色差成分Cb,Crを復元し、それぞれローパス成分メモリ４２６と色差成分メモリ４２７を介して成分復号結果メモリ４２４に格納する。
【０１５０】
ハイパス成分復号手段４３３は、符号入力装置４４から入力された符号を復号し、ハイパス成分メモリ４２５を介して成分復号結果メモリ４２４に格納する。
【０１５１】
色差逆変換手段４３１は、２次元逆リフティング結果メモリ４２２に記憶された画像に対して色差逆変換を施し、得られた画像を画像メモリ４２１に格納する。
【０１５２】
ハイパス成分復号手段４３３の構成を図13に示す。
【０１５３】
図13を参照すると、ハイパス成分符号化手段４３３は、近傍係数参照手段４３３１と、符号化パラメータ算出手段４３３２と、係数復号手段４３３３と、係数逆量子化手段４３３４とを含む。
【０１５４】
近傍係数参照手段４３３１は、ハイパス成分メモリ４２５から、近傍の復号済みのハイパス係数を読み出す。具体的には、GH係数のみで構成されるハイパス成分メモリ４２５から、復号対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。
【０１５５】
符号化パラメータ算出手段は４３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
【０１５６】
係数復号手段４３３３は、量子化済み係数の絶対値を、パラメータkによりGolomb-Rice復号する。また、絶対値が非ゼロの場合には、Golomb-Rice復号後に、係数値の正負の情報を１ビット読み出す。
【０１５７】
係数逆量子化手段４３３４は、復号された係数値を逆量子化し、ハイパス成分メモリ４２５に出力する。
【０１５８】
図14に、色差逆変換手段４３１および２次元逆リフティング手段４３２の動作の具体例を示す。
Z408は、成分復号結果メモリ４２４に蓄積された復号画像における、GLおよびGH係数、Cb,Cr画素の配置を示している。復号画像は４×４画素であり、カラーフィルタアレイは２×２画素のブロック単位で構成されているため、画像は４つのブロックから成る。Z405では、４つのブロックをa,b,c,dとし、たとえばブロックaにおけるGLおよびGH係数、Cb,Cr画素をGLa,GHa,Cba,Craのような形式で記している。
【０１５９】
Z408からZ404は、２次元逆リフティング手段４３２の動作の様子を示している。Z408のGLおよびGH係数に対して、図５のZ205からZ201と同様の処理が行われる。Z404は、２次元逆リフティング適用後の２次元逆リフティング結果メモリ４２２の様子を示している。
【０１６０】
Z402およびZ403は、色差逆変換手段４３１の動作の様子を示している。色差逆変換手段４３１は、G以外の色成分であるCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdのそれぞれに対して、近傍のG0およびG1画素の総和の1/4を加える処理を行う。たとえば、G0a,G1a,G1b,G0cの総和の1/4を、Cbaに加える処理を行う。また、Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdについても同様の処理を行う。なお、近傍のG0,G1画素が画像領域内に４つ存在しない場合には、画像領域内にある別のG0,G1画素値を代用してよい。たとえばCraの場合、その右と下にはG0aとG1aが存在するが、左および上にはG0,G1画素が存在しない。こうした場合は、左および上にもG0aとG1aが存在するものと仮定して処理を行えばよい。処理の結果、入力画像のCba,Cbb,Cbc,Cbd,Cra,Crb,Crc,Crdの色差値がBa,Bb,Bc,Bd,Ra,Rb,Rc,Rdの各画素値に置き換わり、画像メモリ４２１に格納される。Z401は、色差逆変換適用後の画像メモリ４０１の様子を示している。
【０１６１】
次に、図15のフローチャートを参照して、本実施の形態の全体の動作について詳細に説明する。
【０１６２】
まず、色差・ローパス成分復号手段４３４は、符号入力装置から入力された符号からローパス係数GLを復号し、ローパス成分メモリ４２６を介して成分復号結果メモリ４２４に格納する（Ｓ４０１）。
【０１６３】
次に、ハイパス成分復号手段４３３は、符号入力装置から入力された符号からハイパス係数GHを復号し、ハイパス成分メモリ４２５を介して成分復号結果メモリ４２４に格納する（Ｓ４０２）。
【０１６４】
次に、色差・ローパス成分復号手段４３４は、符号入力装置から入力された符号から色差成分Cb,Crを復号し、色差成分メモリ４２７を介して成分復号結果メモリ４２４に格納する（Ｓ４０３）。
【０１６５】
次に、２次元逆ローパスフィルタ手段４３２２は、成分復号結果メモリ４２４に格納された係数値GHおよびGLを読み出し、逆ローパスフィルタを適用して得られた画素値G0および係数値GHを２次元リフティング中間メモリ４２３に格納する（Ｓ４０４）。
【０１６６】
次に、２次元逆ハイパスフィルタ手段４３２１は、２次元逆リフティング中間メモリ４２３に蓄積された係数値GHおよび画素値G0を読み出し、逆ハイパスフィルタを適用して得られた画素値G0およびG1を２次元逆リフティング結果メモリ４２２に格納する（Ｓ４０５）。
【０１６７】
最後に、色差逆変換手段４３１は、２次元逆リフティング結果メモリ４２２に記憶された画像に対して色差逆変換を施し、得られた画像を画像メモリ４２１に格納する（Ｓ４０６）。
【０１６８】
次に、図16のフローチャートを参照して、本実施の形態のハイパス成分復号手段４３３の動作について詳細に説明する。
【０１６９】
まず、ハイパス成分復号手段４３３は、ハイパス係数の復号座標を原点（０，０）に初期化する（Ｓ４１１）。
【０１７０】
次に、近傍係数参照手段４３３１は、ハイパス成分メモリ４２５から、近傍の復号済みのハイパス係数を読み出す（Ｓ４１２）。具体的には、GH係数のみで構成されるハイパス成分メモリ４２５から、復号対象のGH係数(x)に対して、左(a)、上(b)、左上(c)、右上(d)の空間座標に位置するGH係数を読み出す。
【０１７１】
次に、符号化パラメータ算出手段４３３２は、係数a,b,c,dの絶対値の総和を求め、更に総和値を量子化することによって符号化パラメータを算出する（Ｓ４１３）。総和値の量子化処理においては、まず、係数値に対する量子化粒度と同じ粒度で総和値を量子化する。次に、量子化された総和値を３ビット算術右シフトし、シフトされた値の２進表現での有効桁数を符号化パラメータkとする。
【０１７２】
次に、係数復号手段４３３３は、量子化済み係数の絶対値を、パラメータkによりGolomb-Rice復号する（Ｓ４１４）。また、絶対値が非ゼロの場合には、Golomb-Rice復号後に、係数値の正負の情報を１ビット読み出す。
【０１７３】
次に、係数逆量子化手段４３３４は、復号された係数値を逆量子化し（Ｓ４１５）、ハイパス成分メモリ４２５に出力する（Ｓ４１６）。
【０１７４】
次に、ハイパス成分復号手段４３３は、全ハイパス係数の復号が完了したかどうかを判定し（Ｓ４１７）、完了していない場合は、復号座標を変更して（Ｓ４１８）、ステップＳ４１２に戻る。全ハイパス係数の復号が完了した場合は処理を終了する。
【０１７５】
本実施の形態は、第３の実施の形態で符号化されたデータの復号装置に相当する。ベイヤー配列画像の符号化において、G以外の色成分に対して色差変換を行うことによって、色成分に含まれる電力を低減し、圧縮効率を向上させることができる利点がある。
【０１７６】
以上、本発明の実施の形態について説明したが、本発明は以上の実施の形態にのみ限定されず、その他各種の付加変更が可能である。R,G,B以外の補色系のカラーフィルタに対して本発明を適用することも可能である。また、より一般化すれば、２×２画素単位でカラーフィルタアレイが構成され、かつ、同種の色成分が対角２箇所に配置された画像に対して適用することも可能である。また、本発明は、その有する機能をハードウェア的に実現することは勿論、コンピュータとプログラムとで実現することができる。プログラムは、磁気ディスクや半導体メモリや光ディスクや光磁気ディスク等のコンピュータ可読記録媒体に記録されて提供され、コンピュータの立ち上げ時などにコンピュータに読み取られ、そのコンピュータの動作を制御することにより、そのコンピュータを前述した各実施の形態における各手段として機能させる。
【０１７７】
なお、本発明は、日本国にて２０１１年１月２８日に特許出願された特願２０１１−１６２３１の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【産業上の利用可能性】
【０１７８】
本発明は、デジタルカメラによって撮像された画像信号などの符号化および復号に利用することができる。【０１７９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
を備えることを特徴とする２次元信号符号化装置。
（付記２）
前記２次元ハイパスフィルタ手段は、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
ことを特徴とする付記１に記載の２次元信号符号化装置。
（付記３）
前記２次元ハイパスフィルタ手段は、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
前記２次元ローパスフィルタ手段は、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
ことを特徴とする付記１に記載の２次元信号符号化装置。
（付記４）
前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素および前記B画素の値と、前記R画素および前記B画素に隣接する前記G0画素および前記G1画素の値の総和の1/4との間で、減算処理を行うことによって、前記R画素および前記B画素の空間座標における色差成分であるCrおよびCbを求める色差変換手段と、
前記色差成分で構成される２次元信号を符号化するための第３の符号化手段と
を更に備えることを特徴とする付記１ないし３の何れかに記載の２次元信号符号化装置。
（付記５）
前記第１の符号化手段は、ウェーブレット分解数が0に設定されたJPEG2000準拠の符号化を行う
ことを特徴とする付記１ないし４の何れかに記載の２次元信号符号化装置。
（付記６）
前記第１の符号化手段は、
前記画像のスキャンライン順に符号化対象の前記GH係数の値を抽出する符号化対象係数抽出手段と、
前記符号化対象の前記GH係数の近傍から、符号化済の前記GH係数を参照する近傍係数参照手段と、
前記符号化済の前記GH係数の絶対値の総和によって符号化パラメータを設定する符号化パラメータ算出手段と、
前記符号化パラメータ算出手段によって設定された符号化パラメータによって前記GH係数の可変長符号化を行う係数符号化手段と
を備えることを特徴とする付記１ないし４の何れかに記載の２次元信号符号化装置。
（付記７）
前記第１の符号化手段は、
符号化対象の前記GH係数を量子化する係数量子化手段を備え、
前記近傍係数参照手段は、参照された近傍係数の値として、量子化および逆量子化処理を行った結果の値を用い、
前記符号化パラメータ算出手段は、近傍係数の絶対値の総和に対して量子化処理を行い、量子化処理後の値に基づいて符号化パラメータを設定する
ことを特徴とする付記６に記載の２次元信号符号化装置。
（付記８）
前記係数符号化手段は、Golomb-Rice符号化を行う
ことを特徴とする付記６または７に記載の２次元信号符号化装置。
（付記９）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する装置において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
を備えることを特徴とする２次元信号復号装置。
（付記１０）
前記２次元逆ローパスフィルタ手段は、前記GL係数の値から、前記GL係数の近傍の４つの前記GH係数の値の総和の1/8を減ずる処理を行い、
前記２次元逆ハイパスフィルタ手段は、前記GH係数の値に対して、前記GH係数の近傍の４つの前記G0画素の値の総和の1/4を加える処理を行う
ことを特徴とする付記９に記載の２次元信号復号装置。
（付記１１）
前記２次元逆ローパスフィルタ手段は、前記GL画素の近傍の４つの前記GH係数の値の総和の1/8から、前記GL画素の値を減ずる処理を行い、
前記２次元逆ハイパスフィルタ手段は、前記GH画素の近傍の４つの前記G0画素の値の総和の1/4から、前記GH画素の値を減ずる処理を行う
ことを特徴とする付記９に記載の２次元信号復号装置。
（付記１２）
前記G0画素および前記G1画素以外の色成分の画素をR画素およびB画素とするとき、前記R画素に対応する色差成分であるCrで構成された２次元信号と、前記B画素に対応する色差成分であるCbで構成された２次元信号とを復号する第３の復号手段と、
各空間座標の前記Crまたは前記Cbの値と、前記Crまたは前記Cbに隣接する前記G0の画素および前記G1の画素の値とから、前記空間座標における前記R画素および前記B画素の値を求める色差逆変換手段と
を更に備えることを特徴とする付記９ないし１１の何れかに記載の２次元信号復号装置。
（付記１３）
前記第１の復号手段は、ウェーブレット分解数が0に設定されたJPEG2000準拠の復号を行う
ことを特徴とする付記９ないし１２の何れかに記載の２次元信号復号装置。
（付記１４）
前記第１の復号手段は、
前記画像のスキャンライン順に復号対象の前記GH係数を選択する復号対象係数選択手段と、
前記復号対象の前記GH係数の近傍から、復号済の前記GH係数を参照する近傍係数参照手段と、
前記復号済の前記GH係数の絶対値の総和によって符号化パラメータを設定する符号化パラメータ算出手段と、
前記符号化パラメータ算出手段によって設定された符号化パラメータによって前記GH係数の可変長符号の復号を行う係数復号手段と
を備えることを特徴とする付記９ないし１２の何れかに記載の２次元信号復号装置。
（付記１５）
前記第１の復号手段は、
復号対象の前記GH係数を逆量子化する係数逆量子化手段を備え、
前記符号化パラメータ算出手段は、近傍係数の絶対値の総和に対して量子化処理を行い、量子化処理後の値に基づいて符号化パラメータを設定する
ことを特徴とする付記１４に記載の２次元信号復号装置。
（付記１６）
前記係数復号手段は、Golomb-Rice符号の復号を行う
ことを特徴とする付記１４または１５に記載の２次元信号復号装置。
（付記１７）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を算出し、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を算出し、
前記GH係数で構成される２次元信号を符号化し、
前記GL係数で構成される２次元信号を符号化する
ことを特徴とする２次元信号符号化方法。
（付記１８）
前記GH係数の算出では、前記G1画素の値から、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4を減ずる処理を行い、
前記GL係数の算出では、前記G0画素の値に対して、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8を加える処理を行う
ことを特徴とする付記１７に記載の２次元信号符号化方法。
（付記１９）
前記GH係数の算出では、前記G1画素の近傍の４つの前記G0画素の値の総和の1/4から、前記G1画素の値を減ずる処理を行い、
前記GL係数の算出では、前記G0画素の近傍の４つの前記GH係数の値の総和の1/8から、前記G0画素の値を減ずる処理を行う
ことを特徴とする付記１７記載の２次元信号符号化方法。
（付記２０）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号する方法において、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号し、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号し、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を算出し、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を算出する
ことを特徴とする２次元信号復号方法。
（付記２１）
前記G0画素の値の算出では、前記GL係数の値から、前記GL係数の近傍の４つの前記GH係数の値の総和の1/8を減ずる処理を行い、
前記G1画素の値の算出では、前記GH係数の値に対して、前記GH係数の近傍の４つの前記G0画素の値の総和の1/4を加える処理を行う
ことを特徴とする付記２０に記載の２次元信号復号方法。
（付記２２）
前記G0画素の値の算出では、前記GL画素の近傍の４つの前記GH係数の値の総和の1/8から、前記GL画素の値を減ずる処理を行い、
前記G1画素の値の算出では、前記GH画素の近傍の４つの前記G0画素の値の総和の1/4から、前記GH画素の値を減ずる処理を行う
ことを特徴とする付記２０に記載の２次元信号復号方法。
（付記２３）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像を符号化するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の値と前記G1画素の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応するハイパス成分であるGH係数を求める２次元ハイパスフィルタ手段と、
前記G0画素の値と前記G0画素の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応するローパス成分であるGL係数を求める２次元ローパスフィルタ手段と、
前記GH係数で構成される２次元信号を符号化するための第１の符号化手段と、
前記GL係数で構成される２次元信号を符号化するための第２の符号化手段と
して機能させるためのプログラム。
（付記２４）
２×２画素のブロック単位でカラーフィルタアレイが構成され、かつ、同種の色成分の画素が前記ブロックの対角２箇所に配置された撮像素子から出力されるベイヤー配列の画像の符号を復号するコンピュータを、
前記対角２箇所に配置された同種の色成分の画素をG0画素およびG1画素とするとき、前記G1画素の空間座標に対応する高周波成分であるGH係数を復号する第１の復号手段と、
前記G0画素の空間座標に対応する低周波成分であるGL係数を復号する第２の復号手段と、
前記GL係数の値と前記GL係数の近傍の４つの前記GH係数の値とから、前記G0画素の空間座標に対応する前記G0画素の値を求める２次元逆ローパスフィルタ手段と、
前記GH係数の値と前記GH係数の近傍の４つの前記G0画素の値とから、前記G1画素の空間座標に対応する前記G1画素の値を求める２次元逆ハイパスフィルタ手段と
して機能させるためのプログラム。
【符号の説明】
【０１８０】
１１…画像入力装置
１２…データ記憶装置
１３…データ処理装置
１２１…画像メモリ
１２２…２次元リフティング中間メモリ
１２３…２次元リフティング結果メモリ
１２４…ハイパス成分メモリ
１２５…ローパス成分メモリ
１３１…２次元リフティング手段
１３２…ハイパス成分符号化手段
１３３…ローパス成分符号化手段
１３１１…２次元ハイパスフィルタ手段
１３１２…２次元ローパスフィルタ手段
１４…符号化装置
【図１】
2012101708.tif 000003
【図２】
2012101708.tif 000004
【図３】
2012101708.tif 000005
【図４】
2012101708.tif 000006
【図５】
2012101708.tif 000007
【図６】
2012101708.tif 000008
【図７】
2012101708.tif 000009
【図８】
2012101708.tif 000010
【図９】
2012101708.tif 000011
【図１０】
2012101708.tif 000012
【図１１】
2012101708.tif 000013
【図１２】
2012101708.tif 000014
【図１３】
2012101708.tif 000015
【図１４】
2012101708.tif 000016
【図１５】
2012101708.tif 000017
【図１６】
2012101708.tif 000018
【国際調査報告】
2012101708.tif 000019
2012101708.tif 000020
2012101708.tif 000021
2012101708.tif 000022