(57)【特許請求の範囲】
【請求項１】
画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、
この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、
この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、
自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する画像信号推定手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、
この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、
この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、
上記領域抽出手段から得られた局所領域に関して微分情報を構造情報として算出する構造情報抽出手段と、
自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する第１の画像信号推定手段と、
第１の画像信号推定手段と異なる方法で、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する第２の画像信号推定手段と、
上記構造情報抽出手段により算出された構造情報に基づいて、上記第１の画像信号推定手段と第２の画像信号推定手段のいずれかの結果を、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号の推定結果として用いるかを選択する選択手段と、
を具備することを特徴とする画像処理装置。
【請求項３】
画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、
この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、
この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、
上記領域抽出手段により抽出された画像信号から、所定の二種類の色種類の画像信号間の色間相互相関関数を算出する色相関情報算出手段と、
自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数および色相関情報算出手段により算出された色間相互相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する画像信号推定手段と、
を具備することを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に関し、特に、局所領域に関して算出された空間的相関情報に基づいて画像信号を推定する画像処理装置に関する。
【０００２】
【従来の技術】
近年、従来から用いられている銀塩フィルムに代わり、ＣＣＤなどの固体撮像素子を用いた撮像システムが急速に普及しつつある。このような撮像システムでは、カラー画像情報を３色の色情報もしくは輝度、色差情報として保存する。例えば、デジタルカメラなどの撮像系では、一般に３色に対応して分光感度の異なる３種類のフィルタをＣＣＤの前面に配置することにより、それぞれの色信号情報を取得することを原理としており、色信号情報を取得するためには１画素につき３種類のセンサが必要となる。
【０００３】
このように、撮像システムを実現する場合、被写体からの入射光を分割するための光学系と、分光感度の異なる３種類のフィルタを配置した３枚のＣＣＤとからなる３板式の撮像装置が用いられているが、３枚のＣＣＤと分割光学系とを用いることにより高価な装置となってしまう。
【０００４】
そこで、１枚のＣＣＤの各画素に各色フィルタを適当に配置し、各画素で異なる色情報を有する画像情報を取得する単板式のデジタルカメラが安価な装置として普及している。この場合、空間的補間処理などの後処理により各画素で３色の色情報を有する画像情報を推定している。
【０００５】
単板式の撮像装置における色情報補間の最も基本的な方法としては、補間画素近傍の画素情報からの線形補間が用いられるが、この補間処理は画像情報が補間に用いる画素間で緩やかに変化している場合を仮定した処理であるため、画像のエッジ部などの高空間周波数成分を多く含む領域では、偽色を発する結果となる。このような不具合を改善する画像情報の推定方法がいくつか提案されている。
【０００６】
第１は、画像のエッジや特定の画像構造を認識して画像構造に応じて適応的に処理方法を変えることで、一般に推定誤差の大きくなる構造にも対応するものである。例えば特開平６−３０３６１７号公報では、推定画素近傍の輝度変化に応じて３種類の補間方法を切り替えて用いている。また、特開昭６１−５０１４２３号公報では、予め用意したパターンと推定画素近傍画像とのマッチングにより補間方法を切り替えるようにしている。
【０００７】
また、３色の色情報間の相関を利用する推定方法も提案されている。例えば特開平５−５６４４６号公報では、各色について低空間周波数成分間で高い相関があると見なして、取得色情報×（低空間周波数成分の推定色／低空間周波数成分の推定画素における取得色情報）から推定色情報を求めている。また、特開平４−５０２０９６号公報では、高空間周波数でサンプリングされた第一の色情報の変化に応じて、推定画素近傍からの線形補間により推定を行なっている。
【０００８】
【発明が解決しようとする課題】
上記した従来の技術はいずれも、画像構造に依存した適応的推定方法として、推定すべき画像信号の局所領域に関する空間的相関情報を用いた推定方法は提案していない。
【０００９】
したがって、本発明の画像処理装置は、推定すべき画像信号の局所領域に関する空間的相関情報を用いて画像構造に依存した適応的推定を行なうことにより、任意の構造の画像に対して最適な推定を行なうことができる画像処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する画像信号推定手段と、を具備する。
【００１１】
また、第２の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、上記領域抽出手段から得られた局所領域に関して微分情報を構造情報として算出する構造情報抽出手段と、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する第１の画像信号推定手段と、第１の画像信号推定手段と異なる方法で、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する第２の画像信号推定手段と、上記構造情報抽出手段により算出された構造情報に基づいて、上記第１の画像信号推定手段と第２の画像信号推定手段のいずれかの結果を、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号の推定結果として用いるかを選択する選択手段と、を具備する。
【００１２】
また、第３の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定する推定位置決定手段と、この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を抽出する領域抽出手段と、この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を算出する空間的相関情報算出手段と、上記領域抽出手段により抽出された画像信号から、所定の二種類の色種類の画像信号間の色間相互相関関数を算出する色相関情報算出手段と、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数および色相関情報算出手段により算出された色間相互相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を推定する画像信号推定手段と、を具備する。
【００１３】
すなわち、第１の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、推定位置決定手段によって所定の色種類の画像信号が得られていない位置を推定すべき画像信号の位置として決定し、この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を、領域抽出手段によって抽出する。この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を、空間的相関情報算出手段で算出し、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を画像信号推定手段によって推定する。
【００１４】
また、第２の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を、推定位置決定手段により、推定すべき画像信号の位置として決定する。この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を領域抽出手段により抽出し、この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を空間的相関情報算出手段により算出する。上記領域抽出手段から得られた局所領域に関して微分情報を構造情報として構造情報抽出手段により算出し、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を第１の画像信号推定手段によって推定する。この第１の画像信号推定手段と異なる方法で、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を第２の画像信号推定手段により推定し、上記構造情報抽出手段により算出された構造情報に基づいて、上記第１の画像信号推定手段と第２の画像信号推定手段のいずれかの結果を、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号の推定結果として用いるかを選択手段により選択する。
【００１５】
また、第３の発明に係る画像処理装置は、画像信号を生成する撮像装置の色フィルタ配置情報に基づき、所定の色種類の画像信号が得られていない位置を、推定すべき画像信号の位置として推定位置決定手段により決定し、この推定位置決定手段により決定された上記画像信号の位置を包含する所定サイズの局所領域の画像信号を領域抽出手段により抽出する。この領域抽出手段により抽出された画像信号から、所定の色種類の画像信号に関する自己相関関数を空間的相関情報算出手段により算出する。上記領域抽出手段により抽出された画像信号から、所定の二種類の色種類の画像信号間の色間相互相関関数を色相関情報算出手段によって算出し、自己回帰モデルに基づき、上記空間的相関情報算出手段により算出された自己相関関数および色相関情報算出手段により算出された色間相互相関関数を用いて、上記推定位置決定手段から得られた上記推定すべき画像信号の位置における上記所定の色種類の画像信号を画像信号推定手段により推定する。
【００１６】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を詳細に説明する。図１は本発明の第１実施形態が適用される画像処理システムを示す図であり、単板式デジタルカメラ４と、画像処理装置１９とからなる。単板式デジタルカメラ４は、レンズ１と、単板式のＣＣＤ３と、このＣＣＤ３に対してモザイク状に配置された分光感度の異なる３種類（Ｒ，Ｇ，Ｂ）の色フィルタ２と、Ａ／Ｄ変換装置５と、画像メモリ７と、ＲＯＭ６とから構成されている。ここで、各Ｒ，Ｇ，Ｂの色フィルタ２は、図２に模式的に示すように、２×２画素の矩形領域にＲ，Ｂフィルタが各１画素づつ、Ｇフィルタが２画素含まれる単位構造が周期的に繰り返されて配置された構造を有する。
【００１７】
また、画像処理装置１９は、撮像装置情報記憶装置９と、画像情報記憶装置１０と、推定位置決定装置１１と、領域抽出装置１２と、相関範囲記憶装置１３と、空間的相関情報算出装置１４と、推定係数算出装置１５と、推定係数範囲記憶装置１６と、画像信号推定装置１７と、補正画像記憶装置１８とを具備する。
【００１８】
上記した構成において、被写体を単板式デジタルカメラ４により撮像して得られた画像情報は、ＣＣＤ３から出力された後、Ａ／Ｄ変換装置５によりデジタル画像情報に変換されて画像メモリ７に記憶される。画像メモリ７に記憶された画像情報は画像信号８として画像処理装置１９内の画像情報記憶装置１０に伝送されて記憶される。ここで、画像メモリ７に記憶された画像情報は、各画素が図２のフィルタ配置に対応した色情報のみを有する画像情報として画像情報記憶装置１０に記憶される。
【００１９】
このとき、単板式デジタルカメラ４内部のＲＯＭ６に記憶されている色フィルタ２の配置に関する情報も画像処理装置１９内の撮像装置情報記憶装置９に伝送されて記憶される。
【００２０】
画像処理装置１９は、単板式デジタルカメラ４により撮像された各画素Ｒ，Ｇ，Ｂに関する色フィルタ２のうちいずれかのフィルタに対応する色情報のみを有する画像情報を画像内の情報及び撮像装置に関する情報のみから推定することにより、全画素についてのＲ，Ｇ，Ｂの色情報を有する画像情報に補正する。色情報の推定は、Ｇ，Ｂ，Ｒの色順に、画像情報記憶装置１０に記憶されている画像情報について順次行われる。
【００２１】
すなわち、推定位置決定装置１１は、ＲＯＭ６から読み出されて撮像装置情報記憶装置９に記憶された画像の推定色情報に対応する推定画素の位置を求める。推定位置は推定色情報の欠落した画素の位置を撮像装置情報記憶装置９に記憶されているフィルタ配置に関する情報より求める。例えば、推定色情報をＧとすると推定位置はＲもしくはＢの色フィルタが配置された画素の位置となる。各推定色情報について画像内で求められた推定位置は全て推定位置決定装置１１内部に記憶される。領域抽出装置１２は後述する自己相関関数を計算する領域を求めて後述する領域抽出記憶装置に領域抽出画像として記憶する。
【００２２】
領域抽出装置１２による領域抽出は以下のように行われる。すなわち、図３において、領域抽出演算装置２５は、推定位置決定装置１１により定められた推定画素の位置情報２４と、相関範囲記憶装置１３に予め記憶された相関範囲形状情報２３とに基づいて、画像情報記憶装置１０内に記憶された画像情報２０から所定の領域抽出画像を抽出して領域抽出記憶装置２６に記憶する。
【００２３】
このときの領域抽出画像は推定位置を中心とする画像情報記憶装置１０内に記憶された画像情報の相関範囲形状に対応する画像情報となる。また、画像情報記憶装置１０内に記憶された画像情報の領域抽出画像内で推定色情報を持たない画素については、領域を抽出する前に予め推定色情報を持つ近傍領域の画素情報を用いて簡易的な線形補間等の補間処理により推定色情報を求め、領域抽出画像内で全ての画素が推定色情報を持つ画像とする。すなわち図３において、画像情報記憶装置１０に記憶された画像情報２０のうち、Ｇ成分が欠落している部分の画素をＧの色情報を有する近傍画素からの補間画素（Ｇ* ）２２で補間して得られる補間画像２１において、推定画素位置の座標を（ｉ，ｊ）、相関範囲形状を３×３の矩形領域とすると、領域抽出画像は図３に示す領域の画像として領域抽出記憶装置２６に記憶される。
【００２４】
図１に示す空間的相関情報算出装置１４は、領域抽出装置１２により得られた領域抽出画像の自己相関関数を算出して、予め記憶された関数形に最小自乗近似して出力する。すなわち、図４において、自己相関関数演算装置２８において領域抽出装置１２により得られた領域抽出画像の自己相関関数が算出されて最小自乗係数演算装置２７に入力される。また、関数形記憶装置２７には次式で表わされる指数関数等の統計的な画像の自己相関関数を近似可能な関数形が記憶されている。
【００２５】
【数１】
0003899144.tif 000002
【００２６】
ここで、ｉ，ｊは画像の空間座標値、α，βは定数である。最小自乗係数演算装置２７は自己相関関数演算装置２８により算出された自己相関関数と、関数形記憶装置２７に記憶されている関数との自乗誤差が最小となるように（１）式における係数α，βを定める。相関値演算装置３０は最小自乗係数演算装置２７により算出した係数α，βを用いた（１）式から、相関関数の値を求め、順次出力する。
【００２７】
図１における推定係数算出装置１５は、空間的相関情報算出装置１４により算出された相関係数の値を用いて自己回帰モデルに基づく画像情報推定式（２）の係数Ｃijを算出する。この自己回帰モデルは、推定画像情報が近傍画像情報の線形和で表わされるとしたモデルであり、空間座標（ｍ，ｎ）における正しい画像情報ｆ（ｍ，ｎ）の推定値ｇ（ｍ，ｎ）は、
【００２８】
【数２】
0003899144.tif 000003
と表わされる。ここでＤはｇ（ｍ，ｎ）を推定するために用いる画像情報ｆ（ｍ，ｎ）の空間座標の範囲（近傍領域）、ｃijは推定画像情報の空間座標から相対的に座標値がｍｎ方向にそれぞれｉ，ｊに位置する画像情報ｆ（ｍ−ｉ，ｎ−ｊ）の推定係数を示す。このとき、推定値ｇ（ｍ，ｎ）と正しい画像ｆ（ｍ，ｎ）との自乗誤差Ｅrrは、
【００２９】
【数３】
0003899144.tif 000004
と表わされる。ここで、Ａは領域抽出画像の範囲に対応する。自乗誤差Ｅrrを最小にする推定係数ｃijはＥrrをｃijで偏微分することにより近似的に、
【００３０】
【数４】
0003899144.tif 000005
【００３１】
ここで、Ｒ（ｉ−ｐ，ｊ−ｐ）、Ｒ（ｐ，ｑ）は空間的相関情報算出装置１４により算出される既知の値であるから、式（４）は、推定係数ｃijを未知数とする連立方程式となる。推定係数算出装置１５は、推定係数範囲記憶装置１６に記憶された近傍領域Ｄの情報を用いて（４）式の関係から推定係数ｃijを算出する。
【００３２】
図１における画像信号推定装置１７は、推定係数算出装置１５により算出された推定係数ｃijを用いて式（２）で表わされる自己回帰モデルの画像情報ｆ（ｍ，ｎ）の推定値ｇ（ｍ，ｎ）を算出する。
【００３３】
図１における補正画像記憶装置１８は、画像信号推定装置１７により順次算出された推定色情報の各推定位置の推定画像情報を順次記憶する。
そして、領域抽出装置１２による領域抽出画像の決定から推定画像情報の補正画像記憶装置１８への記憶までの処理をＧ，Ｂ，Ｒの色情報について全推定位置で行い、全ての画素をＲＧＢ色情報を有する画像情報として補正画像記憶装置１８に記憶する。なお、上記した第１実施形態の構成は、各種変形、変更が可能である。例えばデジタルカメラのフィルタはストライプ状に配置してもよく、また、原色系の分光特性を有するもの以外にＣＭＹの補色系のものを用いてもよい。さらに、ＲＧＢのようにフィルタの種類が３枚ではなく任意の枚数のフィルタからなるものについても適用可能である。
【００３４】
図５は本発明の第２実施形態が適用される画像処理システムの構成を示す図である。図５において、領域抽出装置１２により第１実施形態と同様の方法で抽出された領域抽出画像は領域抽出装置１２内の領域抽出記憶装置２６から図５における構造情報抽出装置３１に読み込まれる。構造情報抽出装置３１は、領域抽出画像のエッジ強度Ｉを算出する。エッジ強度Ｉは領域抽出画像を３×３画素の矩形画像とすると、次式で定義される。
【００３５】
【数５】
0003899144.tif 000006
【００３６】
ここで、ａ〜ｉは図６に示す領域抽出画像の画素位置における画素値を表わし、Ｘ，Ｙはそれぞれｘ方向，ｙ方向の微分値に相当する。エッジ強度Ｉは用いる画像の濃度レンジに応じて０〜１に正規化される。任意の形状の領域抽出画像についても適当にエッジ強度Ｉを再定義することにより、エッジ強度Ｉの算出が可能である。
【００３７】
図５に示す空間的相関情報算出装置１４は図７に示すような構成を有する。第１実施形態と同様に、最小自乗係数演算装置２９により相関関数の関数形の係数α，βを算出する。最小自乗係数補正装置３２はこの係数α，βを、構造情報抽出装置３１により算出された抽出領域のエッジ強度Ｉと、補正係数記憶装置３３に予め記憶された補正係数Ｐ，Ｑとを用いて次式によりα′，β′に補正する。
【００３８】
α′＝α（ＰＩ＋１）
β′＝β（ＱＩ＋１）                                （７）
（７）式の補正によりα，βは、エッジ部ではＩ＝１となり、それぞれＰ，Ｑ％増加される。補正された係数α′，β′を用いて相関値演算装置３０により相関値が計算される。以下第１実施形態と同様の処理により推定画像情報が求められ、補正画像記憶装置１８に記憶される。
【００３９】
なお、上記した第２実施形態の構成は、各種変形、変更が可能である。例えばＸ，Ｙの値を用いてエッジ強度のみならずエッジの方向をも算出し、相関関数の補正を行うことも可能である。また、エッジの強度、向きなどに応じて相関関数の算出方法を選択することも可能である。
【００４０】
図８は本発明の第３実施形態が適用される画像処理システムの構成を示す図である。図８において、構造情報抽出装置３１は上記した第２実施形態と同様の方法により領域抽出装置１２により抽出された領域抽出画像のエッジ強度Ｉを算出する。推定方法切り替え装置３３は、構造情報算出装置３１により算出されたエッジ強度Ｉの値から推定位置における画像情報の推定方法を選択する。すなわち、
Ｉ＞Ｔ
の場合は推定方法として第一の推定方法を選択する。また、
Ｉ≦Ｔ
の場合は第二の推定方法を選択する。Ｔは実験的に予め定めた定数である。
【００４１】
第一の推定方法は上記した第１実施形態と同様の自己回帰モデルに基づき、領域抽出画像の自己相関関数情報を用いて画像情報を推定する方法である。また、第二の推定方法は簡易線形補間装置３５により、予め定められた補間位置近傍の画素情報の線形和として補間位置の画素情報を推定するものである。
推定位置の推定画素情報ｇ（ｍ，ｎ）は、推定位置を中心とする３×３の領域内の画像情報ｆ（ｍ，ｎ）の平均値として次式で算出される。
【００４２】
【数６】
0003899144.tif 000007
【００４３】
ここで、Ｅは（ｍ，ｎ）を中心とする（ｍ，ｎ）以外の３×３の矩形領域を表わす。簡易線形補間装置３５で（８）式により算出された推定画像情報は、補正画像記憶装置１８に記憶される。
【００４４】
なお、上記した第３実施形態の構成は、各種の変形、変更が可能である。例えば、第二の画像信号の推定方法は、線形補間に基づく方法に限らず目的に応じて任意の方法を用いることができる。また、切り替え可能な推定方法の数は２つに限らず複数の推定方法を用意することで複数の切り替え方法が選択可能となる。また、切り替え方法は、構造解析によるものに限らず、処理装置にマニュアルで設定することも可能である。
【００４５】
図９は本発明の第４実施形態が適用される画像処理システムの構成を示す図である。図９において、上記した第１実施形態と同様の方法により領域抽出装置１２により抽出された領域抽出画像は構造情報抽出装置３１により解析される。
【００４６】
図１０は構造情報抽出装置３１の構成を示す図である。図１０において、パターン記憶装置３８には領域抽出画像と同サイズのパターン画像が予め数十種類記憶されている。パターンマッチング演算装置３９はこのパターン画像を用いて、領域抽出装置１２内の領域抽出記憶装置２６からの領域抽出画像とのパターンマッチングを行う。そして、パターンマッチング演算装置３９において算出された相関領域画像とパターン画像との類似度を類似度評価演算装置４０にて評価値として算出する。
【００４７】
図９におけるメモリカード３６には、パターン画像の種類に対応して、推定係数がテーブルデータとして与えられている。メモリカード３６に記憶されている推定係数は、予め構造情報抽出装置３１に記憶されているパターン画像について上記した第１実施形態と同様の処理により計算された自己相関関数から算出された値である。
【００４８】
推定係数選択装置３７は構造情報抽出装置３１により解析された領域抽出画像と類似する数種類のパターン画像に対応する推定係数をメモリカード３６内のテーブルデータより読み出し、読み出した推定係数を類似度評価演算装置４０により算出された評価値を用いて算出する。画像信号推定装置１７は推定係数選択装置３７により算出された推定係数を用いて上記した第１実施形態と同様の方法により推定画像情報を求め、補正画像記憶装置１８に記憶する。
【００４９】
なお、上記した第４実施形態の構成は、各種変形、変更が可能である。例えば、メモリカード３６内のテーブルデータは、領域抽出画像のパターンに対応した推定係数を与えるのではなく、相関関数の関数形のパラメータに対応した推定係数を与えるものとすることも可能である。また、メモリカード３６は、被撮影画像の種類に応じて入れ替え可能か、もしくは複数の異なるテーブルデータを保存しておき被撮影画像の種類に応じて選択可能とする。
【００５０】
以下に本発明の第５実施形態を説明する。上記した第１実施形態における推定位置決定装置１１は、第５実施形態では、一画素のみではなく５×５の矩形の推定領域を定めるものとする。推定領域の決定は、推定領域内に含まれる画素が重複しないようにＲＧＢ各色の情報について画像内全体について行われる。
【００５１】
領域抽出装置１２は、推定領域を中心とする１０×１０の矩形領域を画像情報から領域抽出画像として抽出する。空間的相関情報算出装置１４及び推定係数算出装置１５は第１実施形態と同様の処理を行い、画像信号推定装置１７は内部の制御装置により推定領域内の推定色情報の欠落した画素についてのみ、推定係数算出装置１５により算出された推定係数を用いて画像情報を推定し、補正画像記憶装置１８に記憶する。
【００５２】
なお、上記した第５実施形態は、各種変形、変更が可能である。例えば、推定領域は予め定めた領域ではなく、第２実施形態と同様の構造情報抽出装置３１により推定係数が一定とみなせる領域を推定して推定領域とすることも可能である。この場合、領域抽出装置１２により抽出された領域抽出画像を構造情報抽出装置３１により解析し、推定位置決定装置１１により推定領域を定める。それ以降の処理は上記した第５実施形態と同様である。
【００５３】
図１１は本発明の第６実施形態が適用される画像処理システムの構成を示す図である。図１１において、構造情報抽出装置３１は上記した第１実施形態と同様の方法により領域抽出装置１２によって抽出された領域抽出画像の微分画像を作成する。相関領域抽出装置４１は自己相関関数の値が一定とみなせる領域を推定し、新たに相関領域画像として抽出する。領域抽出装置１２において抽出される領域抽出画像は、予め定めた矩形領域画像とする。相関領域抽出装置４１は、領域抽出装置１２により抽出された領域抽出画像の微分画像を作成し、微分画像濃度の分布の類似性から自己相関関数が一定とみなせる領域を推定する。推定された位置の集合を包含するような矩形領域を新たに相関領域画像とする。以降は上記した第１実施形態と同様の方法により相関領域画像を用いて画像情報を推定し、補正画像記憶装置１８に記憶する。
【００５４】
なお、上記した第６実施形態の構成は、各種変形、変更が可能である。例えば、相関領域画像の作成方法は微分画像に基づく方法に限られず、実際に抽出領域画像の相関関数を計算し、その類似性から相関領域を定めることも可能である。
【００５５】
図１２は本発明の第７実施形態が適用される画像処理システムの構成を示す図である。図１２において、推定位置選択装置１００は、上記した第１実施形態と同様の方法により推定位置決定装置１１により定められた推定位置のうち、画像を予め定めた矩形領域に分割した推定領域の中心点に最も近い位置のみを選択する。推定位置選択装置１００により選択された選択推定位置における自己相関関数の関数形の係数を空間的相関情報算出装置１４により算出する。以上の処理を画像全体について行い、全ての選択推定位置における相関関数の関数形の係数を求め、相関係数記憶装置４２に記憶する。
【００５６】
空間的相関情報補間装置４３は、記憶された選択推定位置における相関関数の関数形の係数を用いて、全ての位置における相関関数の関数形の係数を補間演算により推定する。補間演算は推定位置を囲む３つの選択位置における相関係数を用いることを基本として補間演算を行なう。相関関数の関数形の係数を求めた各推定位置について上記した第１実施形態と同様の方法により画像情報を推定し、補正画像記憶装置１８に記憶する。
【００５７】
なお、上記した第７実施形態の構成は、各種変形、変更が可能である。例えば、推定位置選択装置１００は、予め定めた矩形領域より選択推定位置を選択するのではなく、上記した第２実施形態と同様の構造情報抽出装置３１により解析した画像から相関関数が一定とみなせる領域を推定して定めることも可能である。また、選択推定位置における相関関数の関数形の係数から他の位置の相関関数の関数形の係数を補間するのではなく、選択推定位置における推定係数から他の位置の推定係数を補間することも可能である。
【００５８】
図１３は本発明の第８実施形態が適用される画像処理システムの構成を示す図である。図１３において、本発明の画像処理装置６５は、図２に示すような配置のＲ，Ｇ，Ｂの色フィルタを有する単板式デジタルカメラ４４で撮像された画像情報と、コンピュータ４５内部に記憶された単板式デジタルカメラ４４のフィルタ配置情報より輝度信号を生成する。
【００５９】
単板式デジタルカメラ４４により撮像された画像情報ｇ（ｍ，ｎ）は、カラー画像入力端子４６を経由し、画像処理装置６５内の画像メモリ４７に伝送、記憶される。また、画像情報ｇ（ｍ，ｎ）が画像メモリ４７へ記憶されるのと同時に、コンピュータ４５に予め記憶された単板式デジタルカメラ４４のフィルタ配置情報が、色成分マスクＨc （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）に関する情報としてマスク情報入力端子５４を経由して色成分マスクバッファ５５に伝送、記憶される。
【００６０】
色成分マスクバッファ５５はＲ成分マスクバッファ５５ａ、Ｇ成分マスクバッファ５５ｂ、Ｂ成分マスクバッファ５５ｃから構成されており、それぞれ対応する色成分のマスク情報が記憶される。色成分マスクＨc （ｍ，ｎ）は、単板式デジタルカメラ４４の画素位置（ｍ，ｎ）の色フィルタがマスクの色成分ｃの場合は１、その他の色成分の場合は０の値を持つ。
【００６１】
図１４に図２のフィルタ配置に対応する色成分マスクＨr （ｍ，ｎ）、Ｈg （ｍ，ｎ）の例を示す。またマスク情報の伝送と同時に予めコンピュータ４５内に記憶されている輝度信号演算係数βc （ｃ＝ｒ，ｇ，ｂ）がマスク情報入力端子５４を経由して画像処理装置６５内の輝度ウエイトバッファ５６に伝送、記憶される。輝度Ｙ（ｍ，ｎ）は、輝度信号演算係数βc と、各画素においてＲ，Ｇ，Ｂ全色情報を有する画像情報ｆc （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）とを用いて、
【００６２】
【数７】
0003899144.tif 000008
と表わされるものとなる。
【００６３】
ブロックＩ／Ｏ部４８は、色成分マスクバッファ５５への情報伝送が完了した後、色成分マスクバッファ５５の情報を用いた制御装置５２の制御により部分ブロック画像ｇc （ｍ，ｎ）（ｃ＝ｒ，ｇ，ｂ）を画像メモリ４７内の画像情報ｇ（ｍｎ）からブロックバッファ４９へ書き込む。ブロックバッファ４９はＲ成分ブロックバッファ４９ａ、Ｇ成分ブロックバッファ４９ｂ、Ｂ成分ブロックバッファ４９ｃから成り、各色成分ブロックバッファには、各色成分ブロックバッファの色成分に対応する色情報を有する画素以外のｇ（ｍ，ｎ）を０とした色成分ブロック画像ｇc （ｍ，ｎ）が記憶される。画像メモリ内の画像情報ｇ（ｍ，ｎ）は色成分マスクＨc （ｍ，ｎ）及び色成分画像ｆc （ｍ，ｎ）を用いて、
【００６４】
【数８】
0003899144.tif 000009
と表わされる。
【００６５】
以上の処理により、単板式デジタルカメラ４４及びコンピュータ４５から画像処理装置６５への情報伝送が完了し、以下、制御装置５２による制御のもとで輝度信号推定処理が各画素ごとに順次行われる。輝度信号Ｙ（ｍ，ｎ）は、ＡＲモデルを拡張した次式により推定される。
【００６６】
【数９】
0003899144.tif 000010
【００６７】
ここではＤはＹ（ｍ，ｎ）を推定するために用いる画像メモリ内の画像情報ｇ（ｍ，ｎ）の空間座標の範囲（近傍領域）、ｃijは推定画像情報の空間座標から相対的に座標値がｍ，ｎ方向にそれぞれｉ，ｊに位置する画像情報ｇ（ｍ−ｉ，ｎ−ｊ）の推定係数を示す。このとき、（１１）式による推定値と正しい輝度成分Ｙ（ｍ，ｎ）との所定の領域Ａにおける自乗誤差Ｅrrは、
【００６８】
【数１０】
0003899144.tif 000011
を得る。
【００６９】
（１４）式より、近似的にｃklを求め、（１１）式より、輝度信号Ｙ（ｍ，ｎ）を推定する。
まず、制御装置５２は輝度推定の推定画素の位置を定める。
【００７０】
【数１１】
0003899144.tif 000012
を計算し、記憶する。例えば、単板式デジタルカメラ４４のＲ成分マスクＨr （ｍ，ｎ）とＧ成分マスクＨg （ｍ，ｎ）が図１４に示すような５×５画素の矩形領域の場合、ＲＧ色間相互相関Ｒh rg（ｉ，ｊ）は図１５のようになり、
Ｓpqは、
Ｓpq＝｛（−２，−１，４），（−２，１，４），（−１，−２，４），
（−１，０，６），（−１，２，４），（０，−１，６），（０，１，６），（１，−２，４），（１，０，６），（１，２，４），（２，−１，４），（２，１，４）｝となる。また、マスク相関計算装置５７は、各色成分マスクＨc （ｍ，ｎ）の値が１である数、すなわち対応する色フィルタを有する画素数αc を記憶する。例えば図１４に示したＲ成分マスクＨr （ｍ，ｎ）とＧ成分マスクＨg （ｍ，ｎ）の場合、αr は９、αg は１２となる。
【００７１】
色間相関計算装置５０は部分色間相関計算部５１、相関値補間部５３、相関関数パラメータ記憶部５２から構成されている。
部分色間相関計算部５１は各色成分ブロックバッファ４９ａ，４９ｂ，４９ｃから制御装置５２の制御により各色成分の所定領域Ａの部分画像を読み込み、Ｒ，Ｇ，Ｂの重複しない組み合わせ
【００７２】
【数１２】
0003899144.tif 000013
に対して、次式で定義される部分画像間の相互相関Ｒpq′（ｉ，ｊ）
を計算する。
【００７３】
【数１３】
0003899144.tif 000014
【００７４】
ここで、ｇp （ｍ，ｎ）、ｇq （ｍ−ｉ，ｎ−ｊ）は色フィルタの対応していない画素における情報の欠落があるため、一般には次式で定義される相関値Ｒpq（ｉ，ｊ）、
【００７５】
【数１４】
0003899144.tif 000015
とは一致しない。ただし、ｆp （ｍ，ｎ）、ｆq （ｍ−ｉ，ｎ−ｊ）は、それぞれ全画素において色情報ｐ，ｑを有する画像情報を表わす。そこで、部分色間相関計算部５１は、マスク相関計算装置５７で計算された集合Ｓpqを用いることによりＲpq′（ｉ，ｊ）を補正し、Ｒpq（ｉ，ｊ）の推定値を算出する。集合Ｓpqに含まれる点の座標（ｉ，ｊ）はＲh pq（ｉ，ｊ）がゼロとならない座標値であるから、（１７）式の右辺には０にならない項ｇp （ｍ′，ｎ′）ｇq （ｍ′−ｉ，ｎ′−ｊ）が存在し、その値は正しい相関値を与える（１８）式における項の値ｆp （ｍ′，ｎ′）ｆq （ｍ′−ｉ，ｎ′−ｊ）と一致する。ただし、そのような項はブロックの全画素数に対し、集合Ｓpqの（ｉ，ｊ）に対応する項に限られる。
【００７６】
例えば図１５に示した例の場合、（１７）式の２５個の項に対して正しい値が得られる項は最大６項であり、その他の項は０となる。そこで（１７）式で得られる値Ｒpq′（ｉ，ｊ）と、正しい相関値Ｒpq（ｉ，ｊ）との比が近似的に全領域において１の値をもつマスク間の相関値Ｒ0 h pq（ｉ，ｊ）とマスク相関値Ｒh pq（ｉ，ｊ）との比になると仮定し、Ｒpq（ｉ，ｊ）の推定値Ｒ″pq（ｉ，ｊ）を次式より求める。
Ｒ″pq(i,j) ＝Ｒ′pq(i,j) Ｒ0 h pq(i,j) ／Ｒh pq(i,j)       （19）
また、画像メモリ４７内の画像情報ｇ（ｍ，ｎ）を用いて、
【００７７】
【数１５】
0003899144.tif 000016
を計算して内部に記憶する。
【００７８】
相関値補間部５３は部分色間相関計算部５１において計算、補正された相関関数Ｒ″pq（ｉ，ｊ）の補間を行い、近似相関関数として出力する。Ｒ″pq（ｉ，ｊ）は、画素情報の欠落した画像間の自己相関であるため、図１６に示すように離散的位置にのみデータを有する。相関値補間部５３は、相関関数パラメータ記憶部５２に記憶されている近似関数形、及びそのパラメータを用いて相関関数Ｒ″pq（ｉ，ｊ）を既知の関数形に最小自乗近似する。近似されたＲ″pq（ｉ，ｊ）は相関値補間部５３内部に記憶される。
【００７９】
補正係数算出装置６４は相関値加算部５８、相関値バッファ５９、及び補正係数計算部６０から成る。
相関値加算部５８はマスク相関計算装置５７により算出されたαc 、輝度ウエイトバッファ５６から得られた輝度信号演算係数βc 、及び相関値補間部５３より得られた近似されたＲ″pq（ｉ，ｊ）を用いて次式を計算、記憶する。
【００８０】
【数１６】
0003899144.tif 000017
【００８１】
相関値バッファ５９は、部分色間相関計算部５１において算出された（２０）式、及び相関値加算部５８において算出された（２１）式の値を記憶する。
補正係数計算部６０は、相関値バッファ５９に記憶された（２０）式、（２１）式の値を用いて、（１４）式を満たすｃklを算出し、記憶する。ここで、（１４）式の左辺において次式の近似、
【００８２】
【数１７】
0003899144.tif 000018
を用いた。
【００８３】
輝度成分復元装置６１は画像メモリ４７に記憶された画像情報ｆ（ｍ，ｎ）と補正係数計算部６０に記憶された補正係数ｃklを用いて、（１１）式から推定画素の輝度成分Ｙ（ｍ，ｎ）を算出し、出力画像メモリ６２に記憶する。
【００８４】
全ての画素について以上の処理が行われる。補正された画像は輝度画像出力端子６３を経由して外部への読み出しが可能となる。
なお、上記した実施形態は各種の変形、変更が可能である。例えば、推定画素は一画素ごとに行うとしたが、近似精度がよいと判断された場合はブロック全画素の輝度成分を求めることも可能である。また、個々の色間の相関を計算する方法としては様々な相関推定手法が利用可能であり、先見的情報を利用することも可能である。また、ここでは輝度信号の推定を行ったが特に輝度に限らず色信号の線形和で計算される任意の画像情報が復元可能である。また、この例では単板モザイク色フィルタＣＣＤにより撮像された画像の補正を取り上げたが、
【００８５】
【数１８】
0003899144.tif 000019
とすることで、例えば色収差を含んだ画像の補正などにも適用できる。また、色間の相互相関は、観測画像から得られる情報を基に適当な関数形を当てはめるなどして求めてもよい。また、対象の統計的性質があらかじめ判っている場合はそのような情報を利用することも有効である。
【００８６】
なお、上記した具体的実施形態には以下の構成を有する発明が含まれており、各発明に対応する実施形態と効果は次の通りである。
（１）  画像信号を生成する撮像装置に関する情報に基づき、推定すべき画像信号の位置を決定する推定位置決定手段と、
この推定位置決定手段から得られた上記画像信号の位置を包含する所定サイズの局所領域を抽出する領域抽出手段と、
この領域抽出手段から得られた局所領域に関する空間的相関情報を算出する空間的相関情報算出手段と、
この空間的相関情報算出手段によって算出された空間的相関情報に基づき、上記推定位置決定手段から得られた上記画像信号の位置に対応する画像信号を推定する画像信号推定手段と、
を具備することを特徴とする画像処理装置。
（２）  上記推定位置決定手段は、上記撮像装置の色フィルタの配置情報に基づき推定すべき画像信号の位置を決定することを特徴とする構成（１）に記載の画像処理装置。
（３）  上記領域抽出手段は、ｎ，ｍを２以上の整数とするｎ×ｍ画素のブロック領域を抽出することを特徴とする構成（１）または（２）に記載の画像処理装置。
（４）  上記空間的相関情報算出手段は、上記局所領域の自己相関関数に基づき上記空間的相関情報を算出することを特徴とする構成（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）  上記空間的相関情報算出手段は、上記局所領域の自己相関関数を指数関数で近似することに基づき上記空間的相関情報を算出することを特徴とする構成（１）〜（４）のいずれか１つに記載の画像処理装置。
（６）  上記画像信号推定手段は、上記空間的相関情報算出手段から算出された空間的相関情報に基づき、上記領域抽出手段から得られた局所領域に関する推定係数を算出する推定係数算出手段を具備し、この推定係数算出手段は、自己回帰モデルに基づき上記局所領域の推定係数を算出することを特徴とする構成（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）  上記領域抽出手段から得られた局所領域に関する構造情報を抽出する構造情報抽出手段と、
この構造情報抽出手段で抽出された構造情報に基づき、上記空間的相関情報算出手段による空間的相関情報算出の方法を変更する変更手段と、
をさらに具備することを特徴とする構成（１）に記載の画像処理装置。
（８）  上記構造情報抽出手段は、明度情報に基づき上記構造情報を抽出することを特徴とする構成（７）に記載の画像処理装置。
（９）  上記構造情報抽出手段は、微分処理、パターンマッチに基づき上記構造情報を抽出することを特徴とする構成（７）に記載の画像処理装置。
（１０）  画像信号を生成する撮像装置に関する情報に基づき、推定すべき画像信号の位置を決定する推定位置決定手段と、
この推定位置決定手段から得られた位置を包含する所定サイズの局所領域を抽出する領域抽出手段と、
この領域抽出手段から得られた局所領域に関する構造情報を抽出する構造情報抽出手段と、
上記領域抽出手段から得られた局所領域に関する空間的相関情報から推定係数を算出し、上記推定位置決定手段から得られた上記画像信号の位置に対応する画像信号を推定する第一画像信号推定手段と、
上記領域抽出手段から得られた局所領域において、上記推定位置決定手段から得られた上記画像信号の位置に対応する他の画像信号又はその位置の周囲に位置する画像信号を用いて、上記画像信号の位置に対応する画像信号を推定する第二画像信号推定手段と、
上記構造情報抽出手段で抽出された上記構造情報に基づき、上記第一画像信号推定手段と上記第二画像信号推定手段を切り換える切換手段と、
を具備することを特徴とする画像処理装置。
（１１）  上記第二画像信号推定手段は、上記領域抽出手段から得られた局所領域において、上記推定位置決定手段から得られた上記画像信号の位置の周囲の位置の画像信号からの線形補間、２次、高次関数による補間によって推定を行なうことを特徴とする構成（１０）に記載の画像処理装置。
（１２）  上記第二画像信号推定手段は、上記領域抽出手段から得られた局所領域において、上記推定位置決定手段から得られた上記画像信号の位置に対応する他の画像信号との相関により、上記画像信号を推定することを特徴とする構成（１０）に記載の画像処理装置。
（１３）  画像信号を生成する撮像装置に関する情報に基づき、推定すべき画像信号の位置を決定する推定位置決定手段と、
この推定位置決定手段から得られた前記画像信号の位置を包含する所定サイズの局所領域を抽出する領域抽出手段と、
この領域抽出手段から得られた上記局所領域に関する構造情報を抽出する構造情報抽出手段と、
複数の所定の構造情報に対応する推定係数が保存された推定係数保存手段と、
上記構造情報抽出手段から抽出された上記構造情報に基づき、上記推定係数保存手段から推定係数を選択する推定係数選択手段と、
を具備することを特徴とする画像処理装置。
（１４）  上記推定係数保存手段は、磁気ディスク、メモリカードなどの交換可能な記録媒体からなることを特徴とする構成（１３）に記載の画像処理装置。
（１５）  上記空間的相関情報算出手段から算出された上記空間的相関情報を上記推定位置決定手段から得られた複数の位置で共有して使用させる制御手段をさらに有することを特徴とする構成（１）〜（６）のいずれか１つに記載の画像処理装置。
（１６）  上記領域抽出手段から得られた上記局所領域に関する構造情報を抽出する構造情報抽出手段と、
この構造情報抽出手段で抽出された構造情報に基づき、上記領域抽出手段から得られた局所領域から新たな局所領域を抽出する第二領域抽出手段と、
をさらに具備することを特徴とする構成（１）〜（６）のいずれか１つに記載の画像処理装置。
（１７）  上記第二領域抽出手段は、自己相関関数が近似的に一定とみなせる領域を抽出することを特徴とする構成（１６）に記載の画像処理装置。
（１８）  画像信号を生成する撮像装置に関する情報に基づき、推定すべき画像信号の位置を決定する推定位置決定手段と、
この推定位置決定手段から得られた複数の前記画像信号の位置を所定間隔以上で疎に再抽出する推定位置再抽出手段と、
この推定位置再抽出手段から得られた前記画像信号の位置を包含する所定サイズの局所領域を抽出する領域抽出手段と、
この領域抽出手段から得られた上記局所領域に関し、上記推定位置再抽出手段で再抽出された前記画像信号の位置に対応する上記局所領域の空間的相関情報を算出する空間的相関情報算出手段と、
この空間的相関情報算出手段から算出された上記空間的相関情報に基づき、上記推定位置決定手段から得られた全ての前記画像信号の位置に関する空間的相関情報を補間する空間的相関情報補間手段と、
この空間的相関情報補間手段によって補間された空間的相関情報に基づき、上記推定位置決定手段から得られた前記画像信号の位置に対応する画像信号を推定する画像信号推定手段と、
を具備することを特徴とする画像処理装置。
（１９）  複数の色信号からなる画像信号を生成する撮像装置に関する情報に基づき、推定すべき画像信号の位置を決定する推定位置決定手段と、
この推定位置決定手段から得られた上記画像信号の位置を包含する所定サイズの局所領域を複数の色信号を含む画像信号から抽出する領域抽出手段と、
この領域抽出手段から得られた局所領域に関する空間的相関情報を算出する空間的相関情報算出手段と、
上記領域抽出手段から得られた局所領域に関する色相関情報を算出する色相関情報算出手段と、
上記空間的相関情報算出手段によって算出された空間的相関情報と上記色相関情報算出手段から算出された色相関情報に基づき、上記推定位置決定手段から得られた上記画像信号の位置に対応する画像信号を推定する画像信号推定手段と、
を具備することを特徴とする画像処理装置。
（２０）  上記色相関情報算出手段は、上記所定サイズの局所領域に関する複数の色信号の空間的相関に対する先見的な情報を保持する先見的色相関情報保持手段を有することを特徴とする構成（１９）に記載の画像処理装置。
（２１）  上記色相関情報算出手段は、上記所定サイズの局所領域に関する複数の色信号の空間的相関情報をパラメータ表記された所定の関数に近似する関数近似手段を有することを特徴とする構成（１９）に記載の画像処理装置。
（２２）  上記領域抽出手段は、ｎ，ｍを２以上の整数とするｎ×ｍのブロック領域を抽出することを特徴とする構成（１９）に記載の画像処理装置。
（構成（１）〜（６）に対応する発明の実施の形態）
これらの発明は上記した第１実施形態に対応する。すなわち、構成中の撮像装置は図１の単板式デジタルカメラ４に、推定位置決定手段は図１の推定位置決定装置１１に、領域抽出手段は図１の領域抽出装置１２に、空間的相関情報算出手段は図１の空間的相関情報算出装置１４に、推定係数算出手段は図１の推定係数算出装置１５に、画像信号推定手段は図１の画像信号推定装置１７に対応する。また、撮像装置の色フィルタの配置情報は撮像装置情報記憶装置９に記憶された図２のＣＣＤ上の色フィルタ配置情報に対応し、ｎ×ｍ画素のブロック領域は３×３のブロック領域に対応する。
【００８７】
図１において、単板式デジタルカメラ４で撮像され、内部の画像メモリ７に記憶された画像情報は画像処理装置１９内の画像情報記憶装置１０に伝送、記憶される。これと同時に単板式デジタルカメラ４内部のＲＯＭ６に記憶されている単板式デジタルカメラ４のＣＣＤ３上に配置された色フィルタ２の配置情報が、撮像装置情報記憶装置９に伝送、記憶される。撮像装置情報記憶装置９に記憶されたフィルタ配置情報から、推定位置決定装置１１により推定すべき色情報に対応する画像情報記憶装置１０内の画像情報の全画素位置を算出、記憶する。記憶された一画素の位置について、領域抽出装置１２により相関範囲記憶装置１３に記憶された領域に応じて、画像情報記憶装置１０から領域抽出画像を抽出する。空間的相関情報算出装置１４は領域抽出画像に関する相関情報を算出し、推定係数算出装置１５は相関情報を用いて、モデルに基づく画像信号を推定する推定式の推定係数を算出する。画像信号推定装置１７は推定係数を用いて画像信号の推定値を算出し、補正画像記憶装置１８に記憶する。以上の処置を推定位置決定装置１１内部に記憶された全ての推定位置について行うことにより、全画像内で各画素がＲＧＢ色情報を有する画像として補正画像記憶装置１８に記憶される。
（構成（１）〜（６）の効果）
推定すべき画像信号の局所領域に関する空間的相関情報を用いて画像構造に依存した適応的推定を行なうようにしたので、任意の構造の画像に対して最適な推定を行なうことができる。例えば、推定位置近傍の領域抽出画像の自己相関情報を用いて、自己回帰モデルによる画像情報推定を行うことにより、推定の誤差が最少になるような推定係数を自動的に算出することができ、これによって、任意の画像構造に依存した画像処理を行なうことができる。
（構成（７）〜（９）に対応する発明の実施の形態）
この発明には上記した第２実施形態が対応する。構成中の構造情報抽出手段は図５の構造情報抽出装置３１に、変更手段は空間的相関情報算出装置１４内の最小自乗係数補正装置３２（図７）にそれぞれ対応する。この発明では、構造情報抽出装置３１の解析により得られた推定位置近傍の画像構造に応じて、空間的相関情報算出装置１４により算出された相関係数を補正することにより、より正確な空間的相関情報を算出する。構造情報抽出装置３１は、領域抽出装置１２により抽出された領域抽出画像のエッジ強度を解析する。空間的相関情報算出装置１４内の最小自乗係数補正装置３２は、領域抽出画像のエッジ強度に従い最小自乗係数演算装置２９（図７）により算出された相関係数を補正する。補正はエッジ強度が大きいほど係数を大きくする。以下、第１の実施形態と同様の処理により画像情報を推定、記憶する。
（構成（７）〜（９）の効果）
空間的相関情報算出装置１４により算出された相関関数の形状は、領域抽出画像の補間処理や、関数形の近似のため必ずしも正確に求めることができない。そこで、特に推定の難しいエッジ領域において相関関数の形状を、経験的に良好な結果が得られるように補正することで、より精度の高い推定ができる。
（構成（１０）〜（１２）に対応する発明の実施の形態）
この発明には上記した第３実施形態が対応する。構成中の第一画像信号推定手段は上記した自己回帰モデルに基づき領域抽出画像の自己相関関数情報を用いて画像情報を推定する手段に、第二画像信号推定手段は上記した簡易線形補間装置３５により予め定められた補間位置近傍の画素情報の線形和として補間位置の画素情報を推定する手段に、切換手段は上記した図８の推定方法切り替え装置３３にそれぞれ対応する。
【００８８】
この発明では、構造情報抽出装置３１の解析により得られた推定位置近傍の画像構造に応じて、平坦領域での簡易線形補間とエッジ領域での自己回帰モデルに基づく方法とを使いわける。構造情報抽出装置３１は領域抽出装置１２により抽出された領域抽出画像の構造を解析し、推定方法切り替え装置３３において推定方法を選択するために用いるパラメータを算出する。推定方法切り替え装置３３は、構造情報解析の結果から領域抽出画像のエッジ強度が所定の値よりも大きい場合に第一の画像信号推定手段、小さい場合に第二の画像信号推定手段を用いて画像信号を推定する。
（構成（１０）〜（１２）の効果）
領域抽出画像の構造に応じて画像信号推定方法を切り替えることにより、推定精度を維持しながら計算量の少ない画像信号推定を行なうことができる。例えば推定が容易な画像構造が平坦な領域では、計算量の多い自己回帰モデルに基づく推定方法を用いるのではなく、計算量の比較的少ない簡易線形補間装置３５による推定を行なう。また、構造情報解析装置３１により得られた情報を第一の画像信号推定方法の処理補正に組み込むか、もしくは第二の画像信号推定方法として用いることで、より高精度な推定が可能となる。
（構成（１３）、（１４）に対応する発明の実施の形態）
この発明には上記した第４実施形態が対応する。構成中の推定係数保存手段は図９のメモリカード３６に、推定係数選択手段は推定係数選択装置３７にそれぞれ対応する。この発明では、上記した第１実施形態において計算量の多い推定係数の演算を予め複数の所定のパターンについて求めておき、推定位置近傍の画像構造と推定係数のテーブルを作成、記憶しておく。画像情報の推定の際にこのテーブル情報を利用することで演算を高速化させる。図９の構造情報抽出装置３１は、領域抽出画像とパターン記憶装置３８内に記憶された所定のパターン画像とのパターンマッチング演算を行ない、類似度を評価する。そして、類似度の高いパターンに対応する推定係数をメモリカード３６に記憶されているテーブルデータより求め、類似度の評価値に基づく適当な重みづけにより推定係数を算出する。求めた推定係数を用いて画像信号推定装置１７により画像信号を推定し、補正画像記憶装置１８に記憶する。
（構成（１３）、（１４）の効果）
複数の所定の構造情報に対応する推定係数を保存しておくことで、領域抽出画像からの推定係数を算出するための演算を行なうことなく推定係数を求めることができる。このように計算量の多い演算部分を予め所定の画像についてのみ演算してテーブルデータとして保存しておくことで、実際の処理の際にはテーブルデータを用いて計算量を削減することができる。
（構成（１５）〜（１７）に対応する発明の実施の形態）
この発明には、上記した第６実施形態が対応する。構成中の第二領域抽出手段は図１１の相関領域抽出装置４１に対応する。この発明では、ＡＲモデルがよく成り立つ推定位置近傍の領域を推定して相関領域を定めることで、効率的に高精度な画像情報の推定を行う。図１１の構造情報抽出装置３１は領域抽出画像の微分画像を作成し、相関領域抽出装置４１により微分値がほぼ一定の領域を相関値も一定の領域と推定して相関領域とする。相関領域の自己相関関数を空間的相関情報算出装置１４により求め、以下、上記した第１実施形態と同様の処理により画像信号の推定記憶を行なう。
（構成（１５）〜（１７）の効果）
相関領域抽出装置４１により、相関が一定とみなせる領域で推定係数を算出することにより、より精度の高い推定を行なうことができる。また、計算量の多い推定係数算出の演算過程において適切な相関領域を設定することで計算量の削減が可能となる。
（構成（１８）に対応する発明の実施の形態）
この発明には、上記した第７実施形態が対応する。構成中の推定位置再抽出手段は推定位置選択装置１００に、空間的相関情報補間手段は空間的相関情報補間装置４３にそれぞれ対応する。
【００８９】
この発明では、上記した第１実施形態のように一画素ごとに推定位置の相関係数を実際に相関をとることにより求めるのではなく、適当なサンプル位置についてのみ相関計算から相関係数を求め、サンプル位置間における相関係数はサンプル位置における相関係数からの補間演算により求める。これは、相関関数の形状は大部分空間的に連続的に変化しているという推定に基づく。補間によって相関係数を求めることにより、計算量を削減できる。推定位置選択装置１００は、予め定められた画像情報の複数の所定の位置のうち最も近くに位置する推定位置を選択し、選択位置として保存する。領域抽出手段は全ての選択位置について空間的相関情報算出装置１４により相関関数の関数形の係数を算出し、相関係数記憶装置４２に記憶する。空間的相関情報補間装置４３は、相関係数記憶装置４２に記憶された推定位置における相関関数の関数形の係数から画像内全ての推定位置における相関関数の関数形の係数を補間により求める。以下第１の実施形態と同様の処理により画像信号を求め、補正画像記憶装置１８に記憶する。
（構成（１８）の効果）
推定すべき画像信号の複数の位置を所定間隔以上で疎に再抽出し、この再抽出された位置のみに対応する局所領域の空間的相関情報を算出し、全ての位置に関する空間的相関情報を補間している。すなわち、相関関数の関数形の係数を推定位置選択装置１００により選択された選択位置についてのみ求め、他の推定位置における相関関数の関数形の係数を選択位置における相関関数の関数形の係数からの補間演算により求めることにより、計算量を削減することができる。
（構成（１９）〜（２２）に対応する発明の実施の形態）
この発明には、上記した第８実施形態が対応する。構成中の補正位置決定手段は図１３の制御装置５２に、領域抽出手段は図１３の制御装置５２と部分色間相関計算部５１に、色相関情報算出手段は図１３の色間相関計算装置５０にそれぞれ対応する。補正係数算出手段は図１３の補正係数算出装置６４に対応する。画像信号補正手段は図１３の輝度成分復元装置６１に対応する。先見的色相関情報保持手段は図１３の相関関数パラメータ記憶部５２に対応する。
【００９０】
この発明では、第１実施形態と同様に、ＡＲモデルにより推定位置における輝度信号を周囲の画像情報の線形和として推定する。ただし、輝度信号はＲ，Ｇ，Ｂ信号値の既知の線形和として表わされるものとする。輝度信号を推定するための推定係数は、ＲＧＢ各色の自己相関情報のみならず色間の相互相関情報が必要となるが、ここでは近似的に求めた色間相互相関を用いる。
【００９１】
図１３において、図２に示すようなフィルタを有する単板式デジタルカメラ４４により撮像された画像情報はカラー画像入力端子４６を通して画像処理装置６５内の画像メモリ４７に伝送、記憶される。また、コンピュータ４５内に予め記憶された単板式デジタルカメラ４４のフィルタ配置に関する情報及び輝度信号をＲ，Ｇ，Ｂ色信号の線形和で表わすための輝度信号演算係数をそれぞれ色成分マスクバッファ５５及び輝度ウエイトバッファ５６に伝送、記憶する。図１３の制御装置５２は色成分マスクバッファ５５内に記憶されたフィルタ配置情報を用いてブロックＩ／Ｏ部４８を制御して画像メモリ４７に記憶された画像情報から部分ブロック画像をブロックバッファ４９に記録する。
【００９２】
以上で、単板式デジタルカメラ４４及びコンピュータ４５からの情報伝送、記憶が完了し、以下一画素ごとに輝度信号が推定され、出力画像メモリ６２に記憶される。色間相関計算装置５０は、画像メモリ４７内の画像情報、ブロックバッファ４９内に記憶されたブロック画像、マスク相関計算装置５７で計算されたフィルタ配置の相関情報を用いて、輝度信号推定係数を算出するために必要となる色間相互相関を算出する。補正係数算出装置６４は、色間相関計算装置５０において得られた色間相互相関、輝度ウエイトバッファ５６に記憶された輝度信号推定係数、マスク相関計算装置５７により得られたフィルタ配置の相関情報を用いて補正係数を算出する。輝度成分復元装置６１は補正係数算出装置６４により算出された補正係数を用いて輝度信号を算出し、出力画像メモリ６２に記憶する。全ての画素について輝度信号の推定から出力画像メモリ６２への記憶を行い、処理を完了する。出力画像メモリ６２に記憶された輝度信号画像は、制御装置５２の制御のもとで、輝度画像出力端子６３を通して外部の表示装置、出力装置等に伝送される。
（構成（１９）〜（２２）の効果）
複数の色信号からなる画像信号に対し、各色信号間の空間的相関を利用することで近傍の全ての画素から画像情報を推定することが可能となり、各色信号を独立に回復する場合に比較して高い精度で画像情報の推定ができる。
【００９３】
特定の対象を被写体とする場合には、各色信号間の空間的相関に関する先見的な知識を予め求めておき有効に生かすことができる。先見的情報は画像信号の種類に応じて切り替えて用いることで、より高精度な推定が可能となる。
【００９４】
所定領域内の色信号から得られる部分的、あるいは近似的な各色信号間の相互相関の精度は領域により異なる。そこで、画像情報から推定された相互相関に色間の相互相関の一般的関数形や画像の種類に応じて求めた色間の相互相関の関数形を当てはめることで、画像情報の推定精度の局所的な低下を抑制することができる。また、相互相関の推定精度が低いと思われる位置において相互相関を周囲の相互相関から補間により求めたり、あるいは相互相関が特定の性質をもつように規制することによって推定を高精度化することも可能である。
【００９５】
【発明の効果】
本発明によれば、推定すべき画像信号の局所領域に関する空間的相関情報を用いて画像構造に依存した適応的推定を行なうようにしたので、任意の構造の画像に対して最適な推定を行なうことができるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態が適用される画像処理システムの構成を示す図である。
【図２】ＣＣＤ上の色フィルタの配置を示す図である。
【図３】図１に示す領域抽出装置の構成を示す図である。
【図４】図１に示す空間的相関情報算出装置の構成を示す図である。
【図５】本発明の第２実施形態が適用される画像処理システムの構成を示す図である。
【図６】エッジ検出のための領域抽出画像を示す図である。
【図７】図５に示す空間的相関情報算出装置の構成を示す図である。
【図８】本発明の第３実施形態が適用される画像処理システムの構成を示す図である。
【図９】本発明の第４実施形態が適用される画像処理システムの構成を示す図である。
【図１０】図９に示す構造情報抽出装置の構成を示す図である。
【図１１】本発明の第６実施形態が適用される画像処理システムの構成を示す図である。
【図１２】本発明の第７実施形態が適用される画像処理システムの構成を示す図である。
【図１３】本発明の第８実施形態が適用される画像処理システムの構成を示す図である。
【図１４】色成分マスクの一例を示す図である。
【図１５】赤、緑成分マスクの相互相関について説明するための図である。
【図１６】相互相関関数のデータ分布を示す図である。
【符号の説明】
１…レンズ、２…色フィルタ、３…ＣＣＤ、４…単板式デジタルカメラ、５…Ａ／Ｄ変換装置、６…ＲＯＭ、７…画像メモリ、８…画像信号、９…撮像装置情報記憶装置、１０…画像情報記憶装置、１１…推定位置決定装置、１２…領域抽出装置、１３…相関範囲記憶装置、１４…空間的相関情報算出装置、１５…推定係数算出装置、１６…推定係数範囲記憶装置、１７…画像信号推定装置、１８…補正画像記憶装置。
【図１】
0003899144.tif 000020
【図２】
0003899144.tif 000021
【図３】
0003899144.tif 000022
【図４】
0003899144.tif 000023
【図５】
0003899144.tif 000024
【図６】
0003899144.tif 000025
【図７】
0003899144.tif 000026
【図８】
0003899144.tif 000027
【図９】
0003899144.tif 000028
【図１０】
0003899144.tif 000029
【図１１】
0003899144.tif 000030
【図１２】
0003899144.tif 000031
【図１３】
0003899144.tif 000032
【図１４】
0003899144.tif 000033
【図１５】
0003899144.tif 000034
【図１６】
0003899144.tif 000035