(57)【特許請求の範囲】
【請求項１】
画素の位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理する画像処理装置において、
前記情報が欠落する画像信号から、指定された画素を包含する所定サイズの近傍画像を抽出する近傍画像抽出手段と、
この近傍画像抽出手段によって抽出された近傍画像と同一サイズの複数の幾何学的パターンに基づくテンプレート群を保持するテンプレート保持手段と、
前記近傍画像抽出手段によって抽出された近傍画像に含まれる複数の分光特性の情報と、上記テンプレート保持手段によって保持された複数のテンプレート群との間でマッチングを行なって近傍画像に最も類似する最適テンプレートを選択し、この最適テンプレートに基づき近傍画像を近似する近傍近似画像を生成する近傍近似画像生成手段と、
この近傍近似画像生成手段によって生成された近傍近似画像に基づき、前記指定された画素における欠落する情報を復元する復元手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記復元手段は、指定された画素を包含する複数の前記近傍画像から得られる複数の前記近傍近似画像の、前記少なくとも１つ以上の分光特性に関する情報を重みつき平均することで復元処理を行なうことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記テンプレート保持手段は、複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群とを有し、
前記近傍近似画像生成手段は、前記第２のテンプレート群から前記近傍画像に類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群に基づき帯域制限前の近傍近似画像を生成することを特徴とする請求項１または２記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各画素位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理する画像処理装置に関する。
【０００２】
【従来の技術】
電子撮像系を用いた電子スチルカメラなどの撮像装置において、色フィルタをモザイク状に受光面に配した撮像素子を用いる単板式や、一枚はＧ（緑）フィルタのみ、もう一枚はＲ（赤）とＢ（青）のモザイクフィルタを配した２枚のＣＣＤで撮像を行う二板式の撮像系は、分光系と三枚の撮像素子を用いる三板方式の撮像系と比較して安価に構成できるという利点をもつ。ただし、これらの方式では画像の各画素位置において色情報が少なくとも一つ以上欠落するため、画像処理装置において、ある画素の欠落している色情報を他の画素の欠落していない色情報を用いて推定する補間処理が必要となる。
【０００３】
しかし、単板方式や二板方式においては色フィルタ配置に特有のモアレが発生し、またこのモアレの生じ方は色フィルタごとに異なる。このため、単純な線形補間処理ではエッジ部の凹凸、角度変化、色付きなどのアーティファクトが生じる。従来、これらのアーティファクトを軽減するために様々な補間手法が提案されてきたが、なかでも効果のある補間手法として、
１．エッジ部の凹凸アーティファクトを軽減するために、局所的な画像の幾何学的構造を推定し、その構造に応じた補間を行う方法と、
２．エッジ部の色付きを軽減するために、簡単な補間法で広帯域の輝度信号を生成できる色フィルタ配置を持った撮像素子を用い、色信号は輝度信号と同様に変化するものと仮定して色信号の補間を行う方法と、
の二つが上げられる。
【０００４】
以下に、１については特開昭６１−５０１４２３号公報、２については特開平４−５０２０９６号公報に開示された手法を例に取りそれぞれの手法を説明する。
【０００５】
特開昭６１−５０１４２３号公報は、Ｒ、Ｇ、Ｂ色フィルタ配列の撮像素子において、輝度成分に対応するＧ信号の補間法を開示している。この方法では、Ｇ信号が欠落している画素の３×３近傍において、その近傍があらかじめ用意した縁、筋、隅の幾何学的特徴のうち、どれに最もよく当てはまるかを判定し、この判定結果に基づいてそれぞれの幾何学的特徴に特化した補間方法を選択している。
【０００６】
また、特開平４−５０２０９６号公報は、輝度成分が高サンプリング密度で、他の色成分が相対的に低サンプリング密度で得られている画像信号において、低サンプリング密度の色成分に対する補間法を開示している。この方法では、低サンプリング密度の色成分は高サンプリング密度の輝度成分を用いて算出される。このため、低サンプリング密度の信号Ｓ２のサンプリング位置には必ず高サンプリング密度の信号Ｓ１の標本値が存在すると仮定する。そして、信号Ｓ２のサンプリング位置における信号Ｓ１の標本値の差を所定の閾値と比較し、閾値を下回る場合は信号Ｓ２の標本値のみを用いた単純な線形補間を行う。
【０００７】
閾値を上回る場合は信号Ｓ２のサンプリング位置間にエッジがあると判断し、信号Ｓ１と信号Ｓ２がＳ２＝ａＳ１＋ｂなる線形な関係にあると仮定して係数ａ及びｂを信号Ｓ２のサンプリング位置におけるＳ１とＳ２の値から求める。
【０００８】
【発明が解決しようとする課題】
上記した従来技術ではいずれも、相対的に高サンプリング密度で与えられる輝度成分においても欠落する情報が存在するので、三板方式で得られる輝度成分と比較して劣化した情報しか得られない。また、この輝度成分に基づき算出される他の色成分も、三板方式で得られる色成分に比較して劣化した情報しか得られない。
【０００９】
また、上記した従来技術はいずれも任意の色フィルタ配置の入力画像を処理する方法に関しては記載していない。輝度成分の補間においては、あらかじめ用意された幾何学的特徴とこれに対応する補間方法を用意する必要があり、色フィルタ配置が変わると設計を変更する必要がある。
【００１０】
また、上記した従来技術はいずれも、ノイズの影響による誤動作に対応する方法に関しては記載していない。輝度成分および他の色成分を処理する場合、一回の処理で補間を行うため、パルス性のノイズの影響を受けやすい。特に輝度成分の処理においては３×３の局所領域で幾何学的特徴を分類するため、ノイズによる誤分類が発生しやすい。
【００１１】
また、上記した従来技術はいずれも、撮像装置の光学系により帯域制限される情報の回復に関しては記載していない。すなわち、輝度成分および他の色の色成分は帯域制限された範囲内で処理されており、この帯域制限によって失われた情報を回復することができない。
【００１２】
本発明は上記した各課題に着目してなされたものであり、その第１の目的とするところは、三板方式に近似する高精細な画像を得ることができ、かつ、任意の色フィルタ配置の入力画像を処理することができる画像処理装置を提供することにある。
【００１３】
また、本発明の第２の目的は、第１の目的に加えて、画像信号のノイズによる劣化を低減できる画像処理装置を提供することにある。
【００１４】
また、本発明の第３の目的は、第１または第２の目的に加えて、帯域制限によって失われた情報を回復することができる画像処理装置を提供することにある。
【００１５】
【課題を解決するための手段】
上記の第１の目的を達成するために、第１の発明は、画素の位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理する画像処理装置において、前記情報が欠落する画像信号から、指定された画素を包含する所定サイズの近傍画像を抽出する近傍画像抽出手段と、この近傍画像抽出手段によって抽出された近傍画像と同一サイズの複数の幾何学的パターンに基づくテンプレート群を保持するテンプレート保持手段と、前記近傍画像抽出手段によって抽出された近傍画像に含まれる複数の分光特性の情報と、上記テンプレート保持手段によって保持された複数のテンプレート群との間でマッチングを行なって近傍画像に最も類似する最適テンプレートを選択し、この最適テンプレートに基づき近傍画像を近似する近傍近似画像を生成する近傍近似画像生成手段と、この近傍近似画像生成手段によって生成された近傍近似画像に基づき、前記指定された画素における欠落する情報を復元する復元手段とを具備する。
【００１６】
また、第２の発明は、第１の発明において、前記復元手段は、指定された画素を包含する複数の前記近傍画像から得られる複数の前記近傍近似画像の、前記少なくとも１つ以上の分光特性に関する情報を重みつき平均することで復元処理を行なう。
【００１７】
また、第３の発明は、第１または第２の発明において、前記テンプレート保持手段は、複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群とを有し、前記近傍近似画像生成手段は、前記第２のテンプレート群から前記近傍画像に類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群に基づき帯域制限前の近傍近似画像を生成する。
【００１８】
すなわち、第１の発明は、画素の位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理するにあたって、まず、前記情報が欠落する画像信号から指定された画素を包含する所定サイズの近傍画像を抽出する。そして、抽出された近傍画像と同一サイズの複数の幾何学的パターンに基づくテンプレート群をテンプレート保持手段に保持しておく。次に、前記抽出された近傍画像に含まれる複数の分光特性の情報と、上記テンプレート保持手段によって保持された複数のテンプレート群との間でマッチングを行なって近傍画像に最も類似する最適テンプレートを選択し、この最適テンプレートに基づき近傍画像を近似する近傍近似画像を生成する。そして、生成された近傍近似画像に基づき、前記指定された画素における欠落する情報を復元するようにする。
【００１９】
また、第２の発明は、第１の発明において、復元処理を行なう場合は、指定された画素を包含する複数の前記近傍画像から得られる複数の前記近傍近似画像の、前記少なくとも１つ以上の分光特性に関する情報を重みつき平均するようにする。
【００２０】
また、第３の発明は、第１または第２の発明において、近傍近似画像を生成する場合は、複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群とを用意し、前記第２のテンプレート群から前記近傍画像に類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群に基づき帯域制限前の近傍近似画像を生成するようにする。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。まず、本発明の第１実施形態を説明する。
【００２２】
図１は本実施形態が適用される画像処理システムの構成を示す図であり、図２は図１の最小自乗近似部１１２の構成及びその周辺回路を示す図であり、図３は色成分マスクに関する説明図である。
【００２３】
本実施形態の画像処理システムは図１に示すように、電子カメラ１００とこの電子カメラ１００に接続された画像処理装置１０１とから構成される。電子カメラ１００は光学系としてのレンズ１０２、及び光学的に帯域制限を行うための水晶フィルタ１０３、撮像素子としての単板ＲＧＢランダム配列ＣＣＤ１０４を具備し、単板ＲＧＢランダム配列ＣＣＤ１０４の出力はＡ／Ｄ変換部１０５を経て画像バッファ１０７に接続されている。電子カメラ１００にはさらに単板ＲＧＢランダム配列ＣＣＤ１０４のＲＧＢフィルタ配列を記憶したフィルタ配置情報保持ＲＯＭ１０６が設けられている。
【００２４】
画像処理装置１０１は上記した画像バッファ１０７の出力に接続された入力画像バッファ１０８と、近傍読み出し部１０９と、劣化前テンプレート保持ＲＯＭ１１１ａ及び劣化後テンプレート保持ＲＯＭ１１１ｂを具備するテンプレート保持ＲＯＭ１１１と、最小自乗近似部１１２と、帯域・色情報復元部１１４と、三板画像加算部１１５と、出力画像バッファ１１６とを具備している。
【００２５】
図２は最小自乗近似部１１２の構成とその周辺回路を示す図である。図２に示すように、最小自乗近似部１１２は色成分マスク生成部１１２ａと、最小自乗係数算出部１１２ｂと、近似誤差累積部１１２ｃと、近似係数保持バッファ１１２ｄと、テンプレート決定部１１２ｅとを具備する。最小自乗近似部１１２はさらに近傍読み出し部１０９に接続された近傍画像入力端子１１２ｒと、フィルタ配置情報保持ＲＯＭ１０６に接続されたフィルタ情報入力端子１１２ｐと、劣化後テンプレート保持ＲＯＭ１１１ｂに接続されたテンプレート入力端子１１２ｑと、帯域・色情報復元部１１４に接続された近似パラメータ出力端子１１２ｓとを有する。
【００２６】
図１に示すように、電子カメラ１００は２本の線で画像処理装置１０１に接続されているが、このうち画像バッファ１０７の出力は入力画像バッファ１０８、近傍読み出し部１０９を経て最小自乗近似部１１２に接続されている。
【００２７】
一方、フィルタ配置情報保持ＲＯＭ１０６は図２に示すようにフィルタ情報入力端子１１２ｐ経由で最小自乗近似部１１２内の色成分マスク生成部１１２ａに接続されている。最小自乗係数算出部１１２ｂはこの色成分マスク生成部１１２ａのほかに、近傍画像入力端子１１２ｒを介して近傍読み出し部１０９、及びテンプレート入力端子１１２ｑを介して劣化後テンプレート保持ＲＯＭ１１１ｂからの入力を受けるべく接続され、保持している情報を近似係数保持バッファ１１２ｄ及び近似誤差累積部１１２ｃに出力すべく接続されている。
【００２８】
近似係数保持バッファ１１２ｄ及び近似誤差累積部１１２ｃはともにテンプレート決定部１１２ｅに接続され、テンプレート決定部１１２ｅは決定した内容を近似パラメータ出力端子１１２ｓを通じて帯域・色情報復元部１１４に出力すべく接続されている。
【００２９】
図１に示すように帯域・色情報復元部１１４は最小自乗近似部１１２のほかに劣化前テンプレート保持ＲＯＭ１１１ａからの入力を受けるべく接続され、復元結果を三板画像加算部１１５経由で出力画像バッファ１１６に出力すべく接続されている。劣化前テンプレート保持ＲＯＭ１１１ａと劣化後テンプレート保持ＲＯＭ１１１ｂはともにテンプレート保持ＲＯＭ１１１の一部である。
【００３０】
テンプレート保持ＲＯＭ１１１の劣化前テンプレート保持ＲＯＭ１１１ａには、所定のＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化後テンプレート保持ＲＯＭ１１１ｂには劣化前テンプレート保持ＲＯＭ１１１ａの各テンプレートが電子カメラ１００の光学系による帯域制限を受けた画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【００３１】
出力画像バッファ１１６は、入力画像の各画素における色の欠落と帯域劣化が補正された３色カラー画像を保持するが、この画像処理装置１０１では各画素につき処理中に複数の補正値が計算される。それらを補正値の信頼性に基づいて重みづけ計算するために、出力画像バッファ１１６にはさらに各画素位置における画素値の信頼性を表す信頼値が保持されている。
【００３２】
以下に上記した構成を有する画像処理システムの作用を説明する。
【００３３】
まず電子カメラ１００を用いて被写体が撮像され、レンズ１０２、水晶フィルタ１０３を通じて帯域制限を受けた光学像が単板ＲＧＢランダム配列ＣＣＤ１０４上に形成される。単板ＲＧＢランダム配列２次元ＣＣＤ１０４の出力はＡ／Ｄ変換部１０５を経て画像バッファ１０７にそのまま転送され、ＣＣＤ上での各画素位置につき単板ＲＧＢランダム配列ＣＣＤ１０４における色フィルタ配置により定まる一つの色成分しか持たない画像が保存される。
【００３４】
撮像が終了すると、画像バッファ１０７内の画像は入力画像バッファ１０８に転送される。同時に、電子カメラ１００の撮像素子の色フィルタ配置を保持するフィルタ配置情報保持ＲＯＭ１０６からも色フィルタ配置情報が色成分マスク生成部１１２ａに転送される。さらに、出力画像バッファ１１６のカラー画像の画素値、及び信頼値はすべて０に初期化される。
【００３５】
次に、近傍読み出し部１０９によりＣＣＤ上での各画素位置（ｘ，ｙ）を中心とする所定の矩形領域（例えば５×５画素）に対応する画像信号が入力画像バッファ１０８内より近傍画像ｈ(p,q) として読み出され、最小自乗近似部１１２の最小自乗係数算出部１１２ｂに転送される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【００３６】
近傍読み出し部１０９から最小自乗係数算出部１１２ｂに近傍画像が転送されると、色成分マスク生成部１１２ａは当該近傍画像の各色成分について、当該色成分の存在する画素位置で１、その他の位置で０をとるマスクmask(p,q,c) （ｃ＝０，１，２）を計算する。図３は近傍画像におけるある特定の色フィルタ配置に対応する色成分マスクを例示したものである。
【００３７】
一方、最小自乗係数算出部１１２ｂは、劣化後テンプレート保持ＲＯＭ１１１ｂのテンプレートΦｉ(p,q) （ｉ＝０，１，２，〜，Ｎ−１）からテンプレートΦ0(p,q)を読み出し、転送された近傍画像ｈから色成分マスクにより生成された各色成分ｃ（ｃ＝０，１，２）との近似誤差ｅ０（１）、ｅ０（２）、ｅ０（３）を各々最小化する近似係数α０（ｃ），β０（ｃ）を、近似誤差を表す一般式
e(c)  ＝  ‖mask(p,q,c) ・( α(c) Φi(p,q)＋β(c) −h(p,q)‖
を用いて、各色成分毎に計算する。最小自乗係数算出部１１２ｂは、計算された近似係数α０（ｃ）、β０（ｃ）を近傍画像ｈと共に近似係数保持バッファ１１２ｄに送り、最小化された近似誤差ｅ０（１）、ｅ０（２）、ｅ０（３）とそれに対応するテンプレートのインデックスｉ＝０を近似誤差累積部１１２ｃに送る。
【００３８】
近似誤差累積部１１２ｃは、転送された近似誤差ｅ０（１）、ｅ０（２）、ｅ０（３）から累積加算誤差ｅ０＝ｅ０（１）＋ｅ０（２）＋ｅ０（３）を計算し、テンプレート決定部１１２ｅに転送する。
【００３９】
テンプレート決定部１１２ｅは、累積加算誤差ｅを最小とするテンプレートを決定するもので、各テンプレートに対応して得られる累積加算誤差ｅの値を比較して、その最小値を取るテンプレートを選択する。テンプレート決定部１１２ｅには、テンプレートのインデックスと、そのテンプレートに対応する累積加算誤差ｅ、更に、このテンプレートに対応する近似係数α（ｃ）、β（ｃ）を記憶する記憶部が設けられている。そこで、テンプレートΦ0(p,q)のインデックスｉ＝０と、そのテンプレートに対応する累積加算誤差ｅ０とがテンプレート決定部１１２ｅに転送されると、これらを記憶部に保持する。また、このとき、近似係数保持バッファ１１２ｄから近似係数α０（ｃ）、β０（ｃ）が転送され、この記憶部に保持される。
【００４０】
次に、最小自乗係数算出部１１２ｂが２番目のテンプレートΦ1(p,q)を読み出し、上記のステップを繰り返すことにより、テンプレートΦ1(p,q)のインデックスｉ＝１と、このテンプレートに対応する累積加算誤差ｅ１が求められる。テンプレート決定部１１２ｅは、累積加算誤差ｅ０と累積加算誤差ｅ１とを比較し、誤差が小さい方の値を対応するインデックスと共に記憶部に残す。また、近似係数についても、小さい累積加算誤差を発生するテンプレートの近似係数が記憶部に保持される。以降は、３番目のテンプレートΦ2(p,q)、４番目のテンプレートΦ3(p,q)、…と順番に読み出しては、累積加算誤差ｅ２、ｅ３…を求め、逐次記憶部に記憶された累積加算誤差の値と比較しては、より小さい方を記憶部にインデックス及び近似係数と共に残していくことにより、最終的に累積加算誤差を最小とするテンプレートを決定する。
【００４１】
最小自乗係数算出部１１２ｂで全てのテンプレートが処理された後、テンプレート決定部１１２ｅは誤差の最小値 min＿e を与えたインデックス min＿i と近似係数 min＿α(c) 、 min＿β(c) 、および誤差の最小値 min＿e に反比例する近似評価値Ａを帯域・色情報復元部１１４に転送する。ここで、例えば近似評価値ＡはＡ＝１／（１＋ min＿e ）により計算する。
【００４２】
帯域・色情報復元部１１４は、転送されたインデックス min＿i に対応する劣化前のテンプレートΨ min＿i(p,q)を劣化前テンプレート保持ＲＯＭ１１１ａから読み出し、転送された係数 min＿α(c) 、min ＿β(c) を用いて式
ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β(c) （ｃ＝0,1,2 ）
を計算することにより、近傍画像ｈ(p,q) の色成分の欠落を補正した近傍補正近似画像ｆ(p,q,c) を得る。劣化前のテンプレートを用いていることにより、ｆ(p,q,c) においてはさらに電子カメラ１００の光学系による帯域の劣化も補正されている。帯域・色情報復元部１１４は、算出したｆ(p,q,c) を近似評価値Ａとともに三板画像加算部１１５に転送する。
【００４３】
処理の途中では、出力画像バッファ１１６の各画素位置にはこれまでの処理で得られた複数の補正画素値の平均値と信頼値が保持されるようになっている。三板画像加算部１１５は、出力画像バッファ１１６から当該近傍画像に対する領域の各画素の補正画素値と信頼値をそれぞれ変数Ｓｆ(p,q,c) およびＱ(p,q) に読み出す。そして、これらと帯域・色情報復元部１１４から転送された近傍補正近似画像ｆ(p,q,c) 及び近似評価値Ａから、新たな補正画素値Ｓｆnew (p,q,c) および信頼値Ｑnew (p,q) を式
0003806477.tif 000002
により計算し、Ｓｆnew (p,q,c) 及びＱnew (p,q) を出力画像バッファ１１６の当該近傍画像に対応する領域に書き込む。
【００４４】
全ての画素位置に関してこれらの処理が終了すると、入力画像バッファ１０８の画像の各画素について、当該画素を含むすべての近傍画像に対して近傍補正近似画像が計算される。その結果、各画素に関して複数の補正画素値が得られるが、これらの補正画素値は三板画像加算部１１５における処理により重み付き平均されて出力画像バッファ１１６に蓄積される。これによって最終的に色成分の欠落と電子カメラ１００の光学系による劣化とが補正された３色カラー画像が得られる。
【００４５】
なお、この実施形態の各構成要素は種々の変形、変更が可能である。例えば、単板ＲＧＢランダム配列ＣＣＤ１０４は種々の色フィルタ配置のＣＣＤ、あるいは一枚はＧ、もう一枚はＲとＢといった二板構成のＣＣＤでもよい。
【００４６】
また、種々の光学系をもった電子カメラに対応させるために次のような構成も可能である。電子カメラ１００の側ではフィルタ配置情報保持ＲＯＭ１０６が色フィルタ配置情報以外に、レンズ１０２、水晶フィルタ１０３等の光学系の帯域制限情報をも保持するようにし、画像処理装置１０１の側では、劣化前テンプレート保持ＲＯＭ１１１ａ内の各劣化前テンプレートに対し、種々の光学系の帯域制限による劣化を想定した複数の劣化後テンプレートを用意する。そして、最小自乗近似部１１２ではフィルタ配置情報保持ＲＯＭ１０６の光学系情報に基づいて劣化後テンプレートを一つ選択するようにする。
【００４７】
同様に、カメラの利用者により設定された被写体に関する情報を画像処理装置１０１に転送し、最小自乗近似部１１２がそれに応じてテンプレートのセットを選択するような構成にすることも可能である。三板画像加算部１１５も、各画素について得られた複数の近似値を蓄積しておき、それらの値から多数決などで近似値を決定する等の変更が可能である。
【００４８】
また、電子カメラ１００に水晶フィルタ１０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ１１１が劣化前テンプレート保持ＲＯＭ１１１ａのみからなり、最小自乗近似部１１２が劣化前テンプレート保持ＲＯＭ１１１ａに接続される構成にする。この場合、各部分の作用は、最小自乗近似部１１２がテンプレートとしてΦｉのかわりにΨｉを用いる点を除いて同一である。その結果、帯域・色情報復元部１１４では色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像が得られ、出力画像バッファ１１６には入力画像バッファ１０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【００４９】
以下に本発明の第２実施形態を説明する。図４は本発明の第２実施形態が適用される画像処理システムの構成を示す図であり、図５は図４における最小自乗近似部１１２の処理の流れを表すフローチャートである。
【００５０】
図４において、本画像処理システムは電子カメラ２００と、この電子カメラ２００に接続された画像処理装置２０１とから構成される。電子カメラ２００は、第１実施形態と同様、光学系としてレンズ２０２及び帯域制限を行うための水晶フィルタ２０３、撮像素子としての単板ベイヤー配列ＣＣＤ２０４を具備し、単板ベイヤー配列ＣＣＤ２０４の出力はＡ／Ｄ変換部２０５を経て画像バッファ２０７に接続されている。電子カメラ２００内の単板ベイヤー配列ＣＣＤ２０４の色フィルタ配列に関する情報は、後述するようにベイヤー配列の規則性を利用して画像処理装置２０１内で計算により求められる。
【００５１】
画像処理装置２０１は、入力画像バッファ２０８と、近傍読み出し部２０９と、平坦度評価部２１０と、劣化前テンプレート保持ＲＯＭ２１１ａ及び劣化後テンプレート保持ＲＯＭ２１１ｂを具備するテンプレート保持ＲＯＭ２１１と、最小自乗近似部２１２と、色情報復元部２１３と、帯域・色情報復元部２１４と、補間係数計算部２１５と、線形演算部２１６と、出力画像バッファ２１７とを具備する。
【００５２】
電子カメラ２００内の画像バッファ２０７の出力は、画像処理装置２０１内の入力画像バッファ２０８、近傍読み出し部２０９を経て平坦度評価部２１０に接続されている。
【００５３】
最小自乗近似部２１２は、平坦度評価部２１０およびテンプレート保持ＲＯＭ２１１内の劣化後テンプレート保持ＲＯＭ２１１ｂの出力を受けるべく接続され、かつ処理結果を色情報復元部２１３及び帯域・色情報復元部２１４に出力すべく接続されている。帯域・色情報復元部２１４はこの最小自乗近似部２１２のほかに、テンプレート保持ＲＯＭ２１１内の劣化前テンプレート保持ＲＯＭ２１１ａの出力を受けるべく接続されている。色情報復元部２１３は最小自乗近似部２１２のほかに、テンプレート保持ＲＯＭ２１１内の劣化後テンプレート保持ＲＯＭ２１１ｂの出力を受けるべく接続されている。
【００５４】
テンプレート保持ＲＯＭ２１１の劣化前テンプレート保持ＲＯＭ２１１ａには、第１実施形態と同様に、Ｎ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化後テンプレート保持ＲＯＭ２１１ｂには劣化前テンプレート保持ＲＯＭ２１１ａの各テンプレートが電子カメラ２００の光学系による帯域制限を受けた画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【００５５】
色情報復元部２１３及び帯域・色情報復元部２１４は共に補間係数計算部２１５に接続されている。線形演算部２１６は補間係数計算部２１５及び平坦度評価部２１０の出力を受けるべく接続され、かつ復元結果を出力画像バッファ２１７に出力すべく接続されている。
【００５６】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【００５７】
第２実施形態においても第１実施形態と同様に電子カメラ２００で撮像が行われ、光学系で帯域劣化を受け、かつ各画素位置につき一つの色成分しか持たない画像が画像バッファ２０７に保持される。撮像が終了すると、画像バッファ２０７内の画像は入力画像バッファ２０８に転送される。第１実施形態と異なり、電子カメラ２００内の撮像素子の色フィルタ配列は、電子カメラ２００から画像処理装置２０１に転送される代わりにベイヤー配列の規則性を利用して後ほど画像処理装置２０１内で計算される。
【００５８】
次に、入力画像バッファ２０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【００５９】
近傍読み出し部２０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近傍画像ｈ(p,q) として読み出される。
【００６０】
以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【００６１】
読み出された近傍画像は、平坦度評価部２１０に送られる。平坦度評価部２１０では、各色成分ごとに画素値が存在する位置に対する画素値の分散を計算し、全ての色成分に対する分散の和が所定の閾値以上であれば、最小自乗近似部２１２に近傍画像を転送する。また、平坦度評価部２１０は、この評価とは無関係に近傍画像を線形演算部２１６に転送する。
【００６２】
最小自乗係数算出部２１２は、近傍画像が転送されると図５に示すフローに従って処理を行い、第１実施形態と同様に、近傍画像を最もよく近似する劣化後テンプレートのインデックス min＿i と近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）を算出する。
【００６３】
図５に示すフローチャートの各ステップ（Ｓ）は以下のような処理を行なう。
【００６４】
Ｓ１：当該近傍画像の中心画素の座標（ｘ，ｙ）を得、この値とベイヤー配列の規則性に基づいて、近傍画像内の位置（ｐ，ｑ）に対し色成分ｃの色フィルタが存在すれば１、存在しなければ０をとる色成分マスクを表す配列変数mask(p,q,c) を計算する。図５中、関数rem(a,b)はａをｂで割った余りを返し、関数abs(a)はａの絶対値を与える。また、変数Ｎをテンプレートの総数に、変数 min＿i とｃ＝０，１，２に対する配列変数 min＿α(c) 、min ＿β(c) の値を０に初期化する。配列変数ｈ(p,q) は近傍画像の画素値で初期化される。テンプレート要素のインデックスを表す変数ｉは０に初期化される。テンプレートの最小当てはめ誤差を表す変数 min＿e は画像処理装置２０１で扱うことのできる最大の数に初期化される。
【００６５】
Ｓ２：ｉ番目のテンプレートΦｉ(p,q) を劣化後テンプレート保持ＲＯＭ２１１ｂから読み出し、配列変数Φ(p,q) に代入する。色を表す変数ｃと誤差を表す変数ｅを０に初期化する。
【００６６】
Ｓ３：変数ｈ(p,q) 、Φ(p,q) 、mask(p,q,c) から定義される、色変数ｃ、実数α，βの関数である誤差関数err(c,α, β）を最小化するα，βを求める。誤差関数err(c,α, β）は、色成分ｃの存在する位置において、テンプレート画像Φをゲインαとバイアスβにより加工した画像αΦ＋βと近傍画像の誤差の尺度であり、図中において記号
【数１】
0003806477.tif 000003
【００６７】
は近傍画像内におけるａ(p,q) の自乗和を表す。誤差関数err(c,α, β）を最小化するα，βを求めることは、近傍画像の各色成分を最もよく近似するようにテンプレートΦのゲインαとバイアスβを調整することに等しい。最小化された誤差関数の値は変数ｅに足し込まれ、求められたゲインαとバイアスβは配列変数の色ｃに対応する要素α(c) 、β(c) に代入される。その後、色を表す変数ｃはインクリメントされる。
【００６８】
Ｓ４：すべての色成分ＲＧＢに対する処理Ｓ３が終了したかどうかを色を表すｃが２、つまりＢを越えたかどうかで判断し、越えた場合はＳ５、越えない場合は引き続きＳ３に分岐する。
【００６９】
Ｓ５：Ｓ５に到達した時点で、変数ｅはｉ番目の劣化テンプレート要素を近傍画像に当てはめた場合の誤差を表している。変数 min＿e は、ｉ未満のすべての劣化テンプレート要素に関する当てはめ誤差の最小値を表している。ｅが min＿e より小さい場合は、Ｓ６に分岐して当てはめ誤差最小のテンプレートに関する情報を更新する。大きい場合はＳ７に分岐する。
【００７０】
Ｓ６： min＿e をｅに、 min＿i をｉに、ｃ＝０，１，２に関して min＿α(c) 、 min＿β(c) をα(c) 、β(c) に更新する。
【００７１】
Ｓ７：インデックスｉをインクリメントする。
【００７２】
Ｓ８：インデックスｉがＮに一致しなければＳ２に、一致すればＳ９に分岐する。
【００７３】
最小自乗近似部２１２の出力 min＿i 、min ＿α(c) 、 min＿β(c) は色情報復元部２１３及び帯域・色情報復元部２１４に転送される。色情報復元部２１３では劣化後テンプレート保持ＲＯＭ２１１ｂから、帯域・色情報復元部２１４では劣化前テンプレート保持ＲＯＭ２１１ａからそれぞれインデックス min＿i に対応するテンプレートΦ min＿i(p,q)、Ψ min＿i(p,q)を読み出し、近似係数 min＿α(c) 、min ＿β(c) を用いて式
ｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β(c) 、
ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) （ｃ＝0,1,2)
を計算し、近傍画像ｈ(p,q) に対して色成分の欠落と帯域の劣化を補正した近傍補正近似画像ｆ(p,q,c) 、および色成分の欠落のみを補正した近傍補正近似画像ｇ(p,q,c) を得る。そして、これらを補間係数計算部２１５に転送する。
【００７４】
補間係数計算部２１５では、ｆ(p,q,c) 及びｇ(p,q,c) から、当該近傍画像内の画素値を用いて劣化前のカラー画素値を推定するのに適した情報を補間係数の形で算出する。そのために、近傍補正近似画像ｇ(p,q,c) を当該近傍における電子カメラ２００の色フィルタ配置に応じてサンプリングした入力画像バッファ２０８内の画像同様の単板状態の画像ｇ′(p,q) とｆ(p,q,c) の関係を調べ、ｇ′からｆを線形演算で回復するのに必要な係数を計算する。ここでは、補間係数計算部２１５は例として以下の原理に従って係数を計算する。
【００７５】
まずｆの色ｃの各画素を自己回帰モデルの考えに基づいて３色画像ｇの各画素の線形和として
【数２】
0003806477.tif 000004
【００７６】
と近似することを考える。自己回帰モデルとは、ある画素の画素値が、その画素の周囲の画素値の重み付き線形和とノイズ項との和で示されるモデルのことである。ここではノイズ項は無視している。この式で整数変数組（ｕ，ｖ）は変数組（ｐ，ｑ）のとりうる範囲より狭い範囲Ｄを動く。
【００７７】
Ｈ(u,v) は、近傍内の位置（ｕ，ｖ）における色フィルタの種類をＲ＝０，Ｇ＝１，Ｂ＝２と表す整数値である。この式は各位置（ｐ，ｑ）のまわりで、位置（０，０）（中心画素）の回りにおけるものと同じ配置の色フィルタを通じてサンプリングされたｇの画素値を使って位置（ｐ，ｑ）におけるｆの値を推定することを表している。
【００７８】
この式による近似の自乗誤差を最小にするためにｗc uvの満たすべき式は、（ｕ，ｖ）の動く範囲Ｄと同じ範囲を動く整数変数組（ｋ，ｌ）に対し
【数３】
0003806477.tif 000005
【００７９】
となる。この式において、左辺及び右辺第２項は空間的相関情報を表している。右辺及び左辺におけるｗc uv以外の量はすべてｆとｇから計算でき、式全体は行列演算により解くことができる。近傍の中心においては、（ｐ，ｑ）＝（０，０）であり、ｇ′(u,v) ＝ｇ（u ，v ，Ｈ(u,v))となるので、係数ｗc uvを用いて近傍画像の劣化前の中心画素のＲＧＢ値を近傍画素内の画素値だけから求めることができる。
【００８０】
この原理に基づいて、補間係数計算部２１５では、ｆ(p,q,c) 及びｇ(p,q,c) から、すべての色ｃ＝０，１，２について（２）式に従って補間係数ｗc uvを計算し、線形演算部２１６に転送する。
【００８１】
線形演算部２１６は、平坦度評価部２１０から最小自乗近似部２１２に画像転送が行われず、従って補間係数計算部２１５からの係数の転送も行われない場合には、図５のフローのＳ１において変数mask(p,q,c) を計算した方法と同様の方法で平坦度評価部２１０からあらかじめ転送されていた近傍画像の各色成分に対応する位置を求め、それらの位置における平均値を近傍画像の中心画素における当該色成分の推定値とし、出力画像バッファ２１６の対応する画素位置に書き込む。
【００８２】
一方、補間係数計算部２１５からの係数の転送が行われた場合には、転送された係数によって近傍画像内の画素を重みつき加算し、出力画像バッファ２１７の対応する画素位置に書き込む。
【００８３】
これらの処理が入力画像バッファ２０８内の画像のすべての画素位置につき終了すると、すべての画素位置について、その近傍の幾何学的特徴に応じて当該画素における色成分の欠落と帯域劣化を最適に補正する補間係数により線形補間が行われたことになり、出力画像バッファ２１７には電子カメラ２００の光学系による帯域劣化および色成分の欠落が補正された３色カラー画像が得られる。
【００８４】
この構成においても第１実施形態と同様に種々の変形が可能である。撮像素子は単板ベイヤー配列ＣＣＤ２０４に限らないことはいうまでもない。補間係数計算部２１５の計算方式にも種々のものがありうる。例えば色情報復元部２１３から得られた画像と帯域・色情報復元部２１４から得られた画像に対する各画像値の比や近傍画像全体での画素値の自乗和の比を補間係数として用いる簡便なものでもよい。
【００８５】
又、第２実施形態でも第１実施形態と同様に各画素位置を包含する複数の近傍に対する補正画像が得られる。これを有効に活用するために、帯域・色情報復元部２１４及び色情報復元部２１３の作用を以下のように変更することもできる。
【００８６】
帯域・色情報復元部２１４及び色情報復元部２１３はそれぞれ内部に近傍画像と同サイズ（例えば５×５画素）の画像バッファを保持し、これらのバッファでは入力画像バッファ２０８に電子カメラ２００から画像が転送された時点で全画素値が０に初期化される。入力画像バッファ２０８中の画像の画素位置（ｘ，ｙ）に対する処理の最中には、帯域・色情報復元部２１４内の画像バッファには、その直前の画素位置、例えば（ｘ−１，ｙ）に対する処理において帯域・色情報復元部２１４から補間係数計算部２１５に出力された画像ｆ＿prev(p,q,c) が保持されている。
【００８７】
画素位置（ｘ，ｙ）に対する処理において最小自乗近似部２１２から min＿i 、 min＿α(c) 、min ＿β(c) が転送されると、帯域・色情報復元部２１４は内部の画像バッファからｆ＿prev(p,q,c) を読み出し、また劣化前テンプレート保持ＲＯＭ２１１ａからインデックス min＿i に対応するテンプレートΨ min＿i(p,q)を読み出して、近似係数 min＿α(c) 、min ＿β(c) を用いて式
0003806477.tif 000006
によって近傍画像に対して色成分の欠落と帯域の劣化を補正した３色画像ｆ(p,q,c) を得、補間係数計算部２１５に出力する。同時に、ｆ(p,q,c) をｆ＿prev(p,q,c) として内部バッファに保持する。
【００８８】
同様に、入力画像バッファ２０８中の画像の画素位置（ｘ，ｙ）に対する処理の最中には、色情報復元部２１３内の画像バッファには、その直前の画素位置（ｘ−１，ｙ）に対する処理において色情報復元部２１４から補間係数計算部２１５に出力された画像ｇ＿prev(p,q,c) が保持されている。画素位置（ｘ，ｙ）に対する処理において最小自乗近似部２１２から min＿i 、min ＿α(c) 、min ＿β(c) が転送されると、色情報復元部２１４は内部の画像バッファからｇ＿prev(p,q,c) を読み出し、また劣化前テンプレート保持ＲＯＭ２１１ａからインデックス
min＿i に対応するテンプレートΦ min＿i(p,q)を読み出して、近似係数 min＿α(c) 、 min＿β(c) を用いて式
0003806477.tif 000007
によって近傍画像に対して色成分の欠落を補正した３色画像ｇ(p,q,c) を得、補間係数計算部２１５に出力する。同時に、ｇ(p,q,c) をｇ＿prev(p,q,c) として内部バッファに保持する。
【００８９】
この作用により、帯域・色情報復元部２１４及び色情報復元部２１３においては各回の処理結果を前回の処理結果を用いて生成するため処理結果の信頼性が高まり、補間の精度が向上する。
【００９０】
この実施形態では、電子カメラ２００に水晶フィルタ２０３がなく帯域制限がなされていない場合にも容易に対応できる。この場合はテンプレート保持ＲＯＭ２１１が劣化前テンプレート保持ＲＯＭ２１１ａのみからなるので、最小自乗近似部２１２は劣化前テンプレート保持ＲＯＭ２１１ａの出力を受けて、処理結果を帯域・色情報復元部２１４のみに出力するようにする。同時に、色情報復元部２１３を取り除いて補間係数算出部２１５は帯域・色情報復元部２１４のみから信号を受信する構成にする。この場合、各部分の作用は、最小自乗近似部２１２ではテンプレートとしてΦｉのかわりにΨｉを用いる点を除いて同一である。帯域・色情報復元部２１４の動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) が得られる。
【００９１】
補間係数算出部２１５では、ｇ(p,q,c) をｆ(p,q,c) と同一の画像とし、計算を進める。その結果、補間係数算出部２１５では単板状態の近傍画像ｈ(p,q) の中心画素ｈ(0,0) の欠落色成分を補正するのに適切な補間係数が得られ、その係数を用いて線形演算部２１６が補間を行うため、出力画像バッファ２１７には入力画像バッファ２０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【００９２】
この変形例において、さらに帯域・色情報復元部２１４に前述の各画素位置を包含する複数の近傍に対する補正画像を有効活用する変形例と同一の変形を行えば、帯域制限がなされていない場合にも帯域・色情報復元部２１４において各回の処理結果を前回の処理結果を活用して生成することにより補間の精度を向上することができる。
【００９３】
以下に本発明の第３実施形態を説明する。図６は本発明の第３実施形態が適用される画像処理システムの構成を示す図である。電子カメラ３００は、第２実施形態と同一の構成である。電子カメラ３００内の単板ベイヤー配列ＣＣＤ３０４の色フィルタ配列に関する情報は、第２実施形態と同様に、ベイヤー配列の規則性を利用して画像処理装置３０１内で計算により求められる。
【００９４】
画像処理装置３０１は、入力画像バッファ３０８と、近傍読み出し部３０９と、テンプレート選択部３１０と、劣化前テンプレート保持ＲＯＭ３１１ａ及び劣化後テンプレート保持ＲＯＭ３１１ｂを具備するテンプレート保持ＲＯＭ３１１と、最小自乗近似部３１２と、劣化後テンプレート加工部３１３と、帯域・色情報復元部３１４と、三板画像加算部３１５ａと、単板画像加算部３１５ｂと、単板画像バッファ３１６と、出力画像バッファ３１７と、差分計算部３１８と、差分画像バッファ３１９と、規則性評価部３２０とを具備する。
【００９５】
電子カメラ３００内の画像バッファ３０７の出力は第２実施形態と同様に、画像処理装置３０１内の入力画像バッファ３０８に接続されるが、入力画像バッファ３０８は近傍読み出し部３０９に加えて差分計算部３１８にも接続される。
【００９６】
近傍読み出し部３０９は入力画像バッファ３０８のほかに、差分画像バッファ３１９の出力を受けるべく接続され、かつ読み出した情報を規則性評価部３２０に出力すべく接続されている。規則性評価部３２０はテンプレート選択部３１０及び最小自乗近似部３１２に接続されている。テンプレート選択部３１０は規則性評価部３２０のほかに、テンプレート保持ＲＯＭ３１１内の劣化後テンプレート保持ＲＯＭ３１１ｂ及び劣化前テンプレート保持ＲＯＭ３１１ａの出力を受けるべく接続され、かつ選択結果を最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に出力すべく接続されている。
【００９７】
テンプレート保持ＲＯＭ３１１には、上記した第１、第２実施形態と同様に、劣化前テンプレート保持ＲＯＭ３１１ａにＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、劣化後テンプレート保持ＲＯＭ３１１ｂには、劣化前テンプレート保持ＲＯＭ３１１ａの各テンプレートが電子カメラ３００の光学系による帯域劣化を受けたテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【００９８】
第１、第２実施形態と異なる点は、各テンプレート要素の持つ幾何学的特徴がその構造的な複雑さによって分類され、個々の要素を読み出すのに単一の整数値ｉではなく二つの数の組（ｓ，ｉ）を必要とする点である。ｓは構造の複雑さを表し、個々のテンプレートを平均値に対する大小で２値化した場合の連結成分の数である。例えば、一つのエッジパターンしか含まないテンプレートに対してはｓ＝２であり、一つの線分パターンしか含まないテンプレートではｓ＝３となる。また、ｉは同じ複雑度ｓを持つテンプレートのクラスの個々の要素にアクセスするのに用いられる。
【００９９】
最小自乗近似部３１２の内部構成及び作用は第２実施形態におけるものと同一である。最小自乗近似部３１２は処理結果を帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に出力すべく接続されている。
【０１００】
帯域・色情報復元部３１４は、最小自乗近似部３１２およびテンプレート選択部３１０の出力を受けるべく接続され、かつ復元結果を三板画像加算部３１５ａを経て出力画像バッファ３１７に出力すべく接続されている。
【０１０１】
劣化後テンプレート加工部３１３は、最小自乗近似部３１２およびテンプレート選択部３１０の出力を受けるべく接続され、かつ処理結果を単板画像加算部３１５ｂを経て単板画像バッファ３１６に出力すべく接続されている。単板画像バッファ３１６は差分計算部３１８に記憶している情報を出力すべく接続され、差分計算部３１８は差分画像バッファ３１９に処理結果を出力すべく接続されている。
【０１０２】
単板画像バッファ３１６および出力画像バッファ３１７は、入力画像バッファ３０８内の画像と同じ大きさの三色画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられている。
【０１０３】
第１実施形態と同様に、それぞれのバッファの各画素位置で複数の画素値が計算されるため、ここでは三板画像加算部３１５ａ及び単板画像加算部３１５ｂでそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１０４】
以下に、上記した構成を有する画像処理システムの作用を説明する。第３実施形態においても、第１、第２実施形態と同様に、電子カメラ３００で撮像が行われ、光学系で帯域劣化を受け各画素位置につき一つの色成分しか持たない画像が画像バッファ３０７に保持される。撮像が終了すると、画像バッファ３０７内の画像は入力画像バッファ３０８に転送され、出力画像バッファ３１７および単板画像バッファ３１６のカラー画像の画素値、及びカウンタはすべて０に初期化される。
【０１０５】
次に、類似の処理を複数回繰り返して補正を行う。１回目の処理は入力画像バッファ３０８内の画像に対して行われる。この処理の結果、入力画像は複雑度の低いテンプレートを用いて近似され、同時に色成分の欠落と帯域劣化が補正された画像が出力画像バッファ３１７に生成される。同じく、複雑度の低いテンプレートを用いて近似された入力画像の色成分の欠落を補正し、ついでベイヤー配列でサンプリングした画像が単板画像バッファ３１６に生成される。
【０１０６】
単板画像バッファ３１６内の画像は入力画像を複雑度の低いテンプレートで近似したものなので入力画像の大まかな幾何学的特徴しか反映しておらず、近似誤差が生じる。この誤差が差分画像バッファ３１９に誤差画像として保持される。
【０１０７】
二回目以降は、差分画像バッファ３１９内の誤差画像に対して処理が行われる。誤差画像はそれまでの繰り返しに比してより複雑度の高いテンプレートを用いて近似、劣化補正され、処理結果が出力画像バッファ３１７に加算される。差分画像には、それまで（一回目を含む）の段階的な近似をすべて加算した近似画像と入力画像の誤差画像が出力され、再びこの誤差画像に対する処理が行われる。以下にこの処理の詳細を説明する。
【０１０８】
まず、１回目は、入力画像バッファ３０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【０１０９】
近傍読み出し部３０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば５×５画素）が近傍画像h(p,q)  として読み出される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１１０】
読み出された近傍画像は規則性評価部３２０に送られる。この一回目の処理では、近傍画像はなにも処理を受けずに最小自乗近似部３１２に転送される。同時にテンプレート選択部３１０に対してはテンプレート保持ＲＯＭ３１１に保持されたテンプレートのとりうる複雑度のうち最も近い値が出力される。
【０１１１】
テンプレート選択部３１０は、規則性評価部３２０から出力される値を複雑度をあらわす内部変数ｓにセットし、内部変数テンプレート保持ＲＯＭ３１１と他の構成要素の仲立ちを行う。テンプレート選択部３１０に接続している構成要素からｉ番目のテンプレートの読み出し要求がある場合には、テンプレート選択部３１０は内部変数ｓを用いて読み出し信号（ｓ，ｉ）を生成し、要求が最小自乗近似部３１２及び劣化後テンプレート加工部３１３からの場合は劣化後テンプレート保持ＲＯＭ３１１ｂに、また帯域・色情報復元部３１４からの場合には劣化前テンプレート保持ＲＯＭ３１１ａにアクセスする。
【０１１２】
最小自乗近似部３１２は、近傍画像ｈ(p,q) が転送されると図５に示すフローに従って処理を行い、第１、第２実施形態と同様に、近傍画像を最もよく近似する劣化後テンプレートのインデックス min＿i と近似係数 min＿α(c) 、min ＿β(c) とを算出し、劣化後テンプレート加工部３１３及び帯域・色情報復元部３１４に転送する。
【０１１３】
帯域・色情報復元部３１４における処理は、テンプレート保持ＲＯＭ３１１へのアクセスがテンプレート選択部３１０を経て行われること以外は第２実施形態と同一である。帯域・色情報復元部３１４は近傍補正近似画像ｆ(p,q,c) を三板画像加算部３１５ａに転送する。
【０１１４】
劣化後テンプレート加工部３１３は、まず第２実施形態中の色情報復元部２１３と同様に、近傍画像ｈ(p,q) に対して色成分の欠落のみを補正した３色画像ｇ(p,q,c) を計算する。次に、最終的にｇ(p,q,c) を当該近傍における電子カメラ３００の色フィルタ配置に応じてサンプリングした画像ｇ′(p,q) を生成し、単板画像加算部３１５ｂにそれぞれ転送する。
【０１１５】
処理の途中では、出力画像バッファ３１７および単板画像バッファ３１６において、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数がカウンタに保持されるようになっている。この個数は当該画素位置にこれまでに書き込みが行われた回数に等しい。
【０１１６】
三板画像加算部３１５ａでは、画像出力バッファ３１７の当該近傍画像に対応する領域から平均近似画素値Ｓｆ(p,q,c) およびカウンタＺｆ(p,q) が読み出され、新しい平均近似画素値Ｓｆnew (p,q,c) が、計算式、
0003806477.tif 000008
によって、また新しいカウンタＺｆnew (p,q) の値が式
Ｚｆnew (p,q) ＝Ｚｆ(p,q) ＋１
によって計算され、Ｓｆnew (p,q,c) およびＺｆnew (p,q) が出力画像バッファ３１７の当該近傍画像に対応する領域に書き戻される。
【０１１７】
一方、単板画像加算部３１５ｂでは、単板画像バッファ３１６から当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) が読み出され、新しい平均近似画素値Ｓｇ′new (p,q) が、計算式、
0003806477.tif 000009
によって、また新しいカウンタＺｇ′new (p,q) の値が
Ｚｇ′new (p,q) ＝Ｚｇ′(p,q) ＋１
によって計算され、Ｓｇ′new (p,q) およびＺｇ′new (p,q) が単板画像バッファ３１６の当該近傍画像に対応する領域に書き戻される。
【０１１８】
入力画像バッファ３０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ３１６には、入力画像バッファ３０８内の画像を単純なテンプレートで近似し、帯域劣化補正はせずに色成分の欠落のみの補正を行い、得られた画像をさらに単板ベイヤー配列ＣＣＤ３０４の色フィルタ配置でサンプリングした単板状態の画像が得られる。同じく出力画像バッファ３１７には単純なテンプレートで近似され、欠落色復元と帯域劣化の両方の補正を受けたカラー画像が得られる。
【０１１９】
一回目の処理では、最後に差分計算部３１８が単板画像バッファ３１６と入力画像バッファ３０８の差分をとり、近似誤差を表す差分画像を差分画像バッファ３１９に生成する。
【０１２０】
二回目以降の処理では、近傍読み出し部３０９が以降の入力を差分画像バッファ３０９に切り替え、差分画像に対しこれまでの処理が繰り返される。この繰り返しで、一回目と動作が異なるのは規則性評価部３２０だけである。
【０１２１】
規則性評価部３２０では、転送された近似画像に対してまず分散の大きさを計算し、所定の閾値以下であれば近似誤差は十分小さいとして最小自乗近似部３１２への近似画像の転送を行わない。所定の閾値以上の場合は、最大値を１、最小値を０に正規化した近傍画像にラプラシアンフィルタがかけられ、得られた画像内で自乗和が算出される。自乗和が所定の閾値より大きな場合は近傍画像はノイズであるとして同じく転送を行わない。
【０１２２】
その他の場合は近傍画像の複雑度ｓを計算し、テンプレート選択部３１０に複雑度ｓを転送し、最小自乗近似部３１２に近傍画像を転送する。差分画像のすべての画素位置で近傍画像が最小自乗近似部３１２に転送されなかった場合に差分画像に対する繰り返し処理は終了する。
【０１２３】
この間、以前の近似で捕捉できなかった微細構造が差分画像に計算され、差分画像がその微細構造に対応した複雑度をもつテンプレートによる近似で劣化補正され、結果が出力画像バッファ３１７に蓄積される。その結果、出力画像バッファ３１７には電子カメラ３００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０１２４】
第３実施形態においても構成要素は種々の変更が考えられる。例えば、複雑度ｓの定義はここで上げたもの以外に微分画像の強度などいろいろな候補があげられる。規則性評価部３２０のノイズ判定基準も種々のものが考えられる。また、各回の処理は独立しているので、繰り返し回数に応じて近傍読み出し部３０９から読み出す近傍画像のサイズを小さくすることも可能である。これにより、複雑度の高いテンプレートの種類を減らすことができる。
【０１２５】
処理を高速化するために、複数段階の処理を一段階ですませることも可能である。この場合、三板画像加算部３１５ａ、単板画像加算部３１５ｂ、単板画像バッファ３１６及び差分画像バッファ３１９は不要となり、出力画像バッファ３１７においてカウンタを保持する必要もなくなる。帯域・色情報復元部３１４は復元結果を出力画像バッファ３１７に直接出力し、劣化後テンプレート加工部３１３は差分計算部３１８に、また差分計算部３１８は規則性評価部３２０に処理結果を直接出力する。また、作用も以下のように変更される。
【０１２６】
入力画像バッファ３０８内の画像の各画素位置（ｘ，ｙ）につき、近傍読み出し部３０９により近傍画像ｈ(p,q) が読み出され、規則性評価部３２０に送られる。規則性評価部３２０はテンプレート保持ＲＯＭ３１１に保持されたテンプレートのとりうる複雑度のうち最も低い値をテンプレート選択部３１０に出力し、近傍画像ｈ(p,q) を最小自乗近似部３１２に転送する。
【０１２７】
最小自乗近似部３１２は、テンプレート選択部３１０により選択された劣化後テンプレートのうち、近傍画像ｈ(p,q) を最もよく近似するもののインデックスと近似係数とを算出し、劣化後テンプレート加工部３１３及び帯域・色情報復元部３１４に転送する。
【０１２８】
帯域・色情報復元部３１４では、近傍画像に対して色成分の欠落と帯域の劣化を補正した近傍補正近似画像ｆ(p,q,c) を得、その中心画素の値ｆ(0,0,c) を出力画像バッファ３１７の対応する画素位置に足し込む。
【０１２９】
一方、劣化後テンプレート加工部３１３は、近傍画像ｈ(p,q) に対して色成分の欠落のみを補正した３色画像ｇ(p,q,c) を計算し、さらにｇ(p,q,c) を当該近傍画像における電子カメラ３００の色フィルタ配置に応じてサンプリングして画像ｇ′(p,q) を得る。ｇ′(p,q) は差分計算部３１８に転送され、近傍画像ｈ(p,q) との差分が近傍差分画像として計算されて規則性評価部３２０に転送される。
【０１３０】
規則性評価部３２０は、この実施形態の２回目の処理における処理と同様に転送された近傍差分画像の複雑度を調べ、近傍差分画像がノイズとみなされない場合には算出された複雑度をテンプレート選択部３１０に転送し、近傍差分画像を再び最小自乗近似部３１２に転送する。
【０１３１】
これにより、各画素位置の近傍画像に対して劣化後テンプレートが複雑度の低い順に当てはめられ、当てはめ結果により近傍画像の中心画素値の色成分の欠落および帯域の劣化が補正されて出力画像バッファ３１７に出力される。
【０１３２】
また、電子カメラ３００に水晶フィルタ３０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ３１１が劣化前テンプレート保持ＲＯＭ３１１ａのみからなり、テンプレート選択部３１０が劣化前テンプレート保持ＲＯＭ３１１ａと規則性評価部３２０のみから入力を受けるように構成を変更する。この場合、各部分の作用で従来と異なる点は、テンプレート選択部３１０がどの構成要素からのテンプレートの読み出し要求に対しても劣化前テンプレート保持ＲＯＭ３１１ａにアクセスすること、最小自乗近似部２１２はテンプレートとしてΦｉのかわりにΨｉを用いること、及び帯域・色情報復元部３１４は動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) を出力することのみである。その結果、二回目以降の繰り返し処理が進むにつれ、入力画像のより複雑度の高い幾何学的特徴まで反映し、色成分の欠落が補正された画像が保持されるようになり、最終的に入力画像バッファ３０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【０１３３】
以下に、本発明の第４実施形態を説明する。図７は本発明の第４実施形態が適用される画像処理システムの構成を示す図であり、図８は図７に示す最小自乗近似部４１２の構成及びその周辺回路を示す図である。
【０１３４】
図７において電子カメラ４００は、図４における単板ベイヤー配列ＣＣＤが単板ＲＧＢランダム配列ＣＣＤ４０４に置き換わっている点を除いて第２実施形態と同一の構成である。電子カメラ４００内の単板ＲＧＢランダム配列ＣＣＤ４０４の色フィルタ配列に関する情報は、図８に示すようにあらかじめ画像処理装置４０１内の色成分マスク生成部４１２ａに保持されている。
【０１３５】
画像処理装置４０１は、入力画像バッファ４０８と、近傍読み出し部４０９と、劣化前テンプレート保持ＲＯＭ４１１ａ及び劣化後テンプレート保持ＲＯＭ４１１ｂとを具備するテンプレート保持ＲＯＭ４１１と、最小自乗近似部４１２と、帯域・色情報復元部４１４と、画像加算部４１５と、三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂを具備する近似画像バッファ４１７と、残差演算部４１８と、規則性判定部４１９と、残差加算部４２０と、出力画像バッファ４２１とを具備する。
【０１３６】
最小自乗近似部４１２は図８に示すように、色成分マスク生成部４１２ａと、最小自乗係数算出部４１２ｂと、近似誤差累積部４１２ｃと、近似係数保持バッファ４１２ｄと、テンプレート決定部４１２ｅとを具備する。上記最小自乗近似部４１２はさらに、近傍読み出し部４０９に接続された近傍画像入力端子４１２ｒと、劣化後テンプレート保持ＲＯＭ４１１ｂに接続されたテンプレート入力端子４１２ｐと、帯域・色情報復元部４１４に接続された近似パラメータ出力端子４１２ｓと、画像加算部４１５に接続された近傍近似画像出力端子４１２ｔとを有する。
【０１３７】
図７において電子カメラ４００内の画像バッファ４０７は画像処理装置４０１内の入力画像バッファ４０８に接続されている。入力画像バッファ４０８は近傍読み出し部４０９及び残差演算部４１８に接続されている。近傍読み出し部４０９は図８に示す近傍画像入力端子４１２ｒを経て最小自乗近似部４１２内の最小自乗係数算出部４１２ｂに接続されている。
【０１３８】
図８において、最小自乗係数算出部４１２ｂは近傍読み出し部４０９のほかに、色成分マスク生成部４１２ａと、テンプレート入力端子４１２ｐ経由で劣化後テンプレート保持ＲＯＭ４１１ｂとに接続され、処理結果を近似係数保持バッファ４１２ｄおよび近似誤差累積部４１２ｃに出力すべく接続されている。
【０１３９】
テンプレート決定部４１２ｅは近似誤差累積部４１２ｃ、近似係数保持バッファ４１２ｄおよび色成分マスク生成部４１２ａの出力を受けるべく接続され、かつ決定した内容を近傍補正近似画像出力端子４１２ｔを経て画像加算部４１５に、近似パラメータ出力端子４１２ｓを経て帯域・色情報復元部４１４に出力すべく接続されている。
【０１４０】
テンプレート保持ＲＯＭ４１１は、第２実施形態と同様に、劣化前テンプレート保持ＲＯＭ４１１ａと劣化後テンプレート保持ＲＯＭ４１１ｂとからなる。劣化前テンプレート保持ＲＯＭ４１１ａには、所定のＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像であるテンプレートΨｉ（ｉ＝０〜Ｎ−１）が保持され、帯域・色情報復元部４１４に接続されている。劣化後テンプレート保持ＲＯＭ４１１ｂには、劣化前テンプレート保持ＲＯＭ４１１ａの各テンプレートが電子カメラ４００の光学系による帯域劣化を受けた画像であるテンプレートΦｉ（ｉ＝０〜Ｎ−１）が保持されている。
【０１４１】
図７に示すように、帯域・色情報復元部４１４は最小自乗近似部４１２及び劣化前テンプレート保持ＲＯＭ４１１ａの出力を受けるべく接続され、かつ復元結果を画像加算部４１５に出力すべく接続されている。画像加算部４１５は帯域・色情報復元部４１４及び最小自乗近似部４１２からの出力を独立に処理すべく接続され、それぞれの処理結果を近似画像バッファ４１７内の三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂに出力する。
【０１４２】
三板画像バッファ４１７ａおよび単板画像バッファ４１７ｂは、入力画像バッファ４０８内の画像と同じ画素数の画像を保持するほか、各画素に付きカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられている。第１実施形態と同様に、それぞれのバッファの各画素位置で複数の画素値が計算されるため、ここでは画像加算部４１５でそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１４３】
単板画像バッファ４１７ｂは記憶している内容を残差演算部４１８及び規則性判定部４１９を経て残差加算部４２０に出力すべく接続されている。一方、三板画像バッファ４１７ａは記憶した内容を残差加算部４２０に直接出力すべく接続されている。残差加算部４２０は処理結果を出力画像バッファ４２１に出力すべく接続されている。
【０１４４】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【０１４５】
電子カメラ４００により撮像された被写体像は、第１〜第３実施形態と同様に、レンズ４０２、水晶フィルタ４０３により帯域制限を受け、劣化した光学像として単板ＲＧＢランダム配列ＣＣＤ４０４上に形成される。単板ＲＧＢランダム配列ＣＣＤ４０４は各画素につき劣化画像のＲＧＢのいずれか一つの色情報を取得し、得られた画像をＡ／Ｄ変換部４０５を経てデジタル画像信号として画像バッファ４０７に転送する。撮像が終了すると、画像バッファ４０７内の画像情報は画像処理装置４０１内の入力画像バッファ４０８に転送され、さらに三板画像バッファ４１７ａ及び単板画像バッファ４１７ｂの画素値及びカウンタはすべて０に初期化される
その後、画像処理装置４０１では入力画像バッファ４０８内の画像情報の各画素位置（ｘ，ｙ）ごとに以下の処理が行われる。
【０１４６】
近傍読み出し部４０９により処理画素位置を中心とする所定の矩形領域（例えば５×５画素）が近傍画像 h(p,q) として読み込まれ、最小自乗近似部４１２内の最小自乗係数算出部４１２ｂに転送される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く。また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１４７】
最小自乗係数算出部４１２ｂは、劣化後テンプレート保持ＲＯＭ４１１ｂに予め記憶されているテンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出し、転送された近傍画像h(p,q)  の各色成分ｃ（ｃ＝０，１，２）について、順に近似誤差
【数４】
0003806477.tif 000010
【０１４８】
を最小化する近似係数α(c) 、β(c) を計算する。
【０１４９】
ここで、mask(p,q,c) は、単板ＲＧＢランダム配列ＣＣＤ４０４上で、当該近傍画像内の座標(p,q) に対応する位置に色成分ｃに対応する色フィルタが存在すれば１、しなければ０をとるマスクであり、色成分マスク生成部４１２ａにより算出される。図３は近傍画像における特定の色フィルタ配置に対応する色成分マスクを例示したものである。
【０１５０】
近似誤差ｅ(c) は近似誤差累積部４１２ｃに出力され、近似誤差累積部４１２ｃでは近似誤差ｅ(c) を全色成分について累積加算し、累積近似誤差ｅとしてテンプレート決定部４１２ｅに転送する。また、近似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保持バッファ４１２ｄに順に出力され、そこに保持される。
【０１５１】
テンプレート決定部４１２ｅには、それ以前のテンプレートΦｉ′(p,q)(ｉ′＜ｉ）に対する累積近似誤差の最小値 min＿e と最小値を与えたテンプレートのインデックス min＿i が保持されている。テンプレート決定部４１２ｅは、近似誤差累積部４１２ｃから転送された誤差ｅを、内部に保持する誤差の最小値 min＿e と比較し、新たな誤差がより小さければ min＿e をｅに、また min＿i をｉに更新する。
【０１５２】
テンプレート決定部４１２ｅはまた誤差の最小値を与えるテンプレートに関する近似係数もこれらを min＿α(c) および min＿β(c) （ｃ＝０，１，２）として保持しており、 min＿e の更新と同時にこれらの値も近似係数保持バッファ４１２ｄから読み込まれた近似係数α(c) 、β(c) にそれぞれ更新される。
【０１５３】
全ての劣化後テンプレートΦｉが処理された後、テンプレート決定部４１２ｅに保持された近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）とインデックスmin ＿i が帯域・色情報復元部４１４に出力される。同時に、テンプレート決定部４１２ｅはまず式ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) によって当該近傍画像ｈ(p,q) の色成分の欠落を補正した画像ｇ(p,q,c) を計算する。
【０１５４】
次に色成分マスク生成部４１２ａにより算出されたmask(p,q,c) を用いてカラー画像ｇ(p,q,c) を当該近傍画像における電子カメラ４００の色フィルタ配置に応じてサンプリングし、単板状態の画像ｇ′(p,q) を得て、画像加算部４１５に転送する。
【０１５５】
帯域・色情報復元部４１４は、転送されたインデックス min＿i に対応する劣化前テンプレートΨ min＿i を劣化前テンプレート保持ＲＯＭ４１１ａから読み出し、転送された近似係数 min＿α(c) 、min ＿β(c) （ｃ＝０，１，２）を用いて、近傍画像ｈ(p,q) の色成分の欠落を補正し、さらに帯域の劣化も補正した近傍補正近似画像ｆ(p,q,c) をｆ(p,q,c) ＝ min＿α(c) Ψ min＿i(p,q)＋ min＿β(c) （ｃ＝０，１，２）により計算し、画像加算部４１５に転送する。
【０１５６】
処理の途中では、三板画像バッファ４１７ａおよび単板画像バッファ４１７ｂにおいて、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数がカウンタに保持されるようになっている。これは、当該画素位置にこれまでに書き込みが行われた回数に等しい。
【０１５７】
画像加算部４１５では、帯域・色情報復元部４１４からｆ(p,q,c) が転送されると、三板画像バッファ４１７ａから当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｆ(p,q,c) 及びカウンタＺｆ(p,q) を読み出し、新しい平均近似画素値Ｓｆnew (p,q,c) を、計算式
0003806477.tif 000011
によって、また新しいカウンタＺｆnew (p,q) の値を式
Ｚｆnew (p,q) ＝Ｚf(p,q)＋１
によって計算し、Ｓｆnew (p,q,c) およびＺｆnew (p,q) を三板画像バッファ４１７ａの当該近傍画像に対する領域に書き戻す。
【０１５８】
一方、画像加算部４１５にテンプレート決定部４１２ｅからｇ′(p,q) が転送されると、画像加算部４１５は単板画像バッファ４１７ｂから当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) を読み出し、新しい平均近似画素値Ｓｇ′new (p,q) を、計算式
0003806477.tif 000012
によって、新しいカウンタＺｇ′new (p,q) の値を
Ｚｇ′new (p,q) ＝Ｚg(p,q)＋１
によって計算し、Ｓｇ′new (p,q) およびＺｇ′new (p,q) を単板画像バッファ４１７ｂの当該近傍画像に対応する領域に書き戻す。
【０１５９】
入力画像バッファ４０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ４１７ｂには、入力画像バッファ４０８内の画像をテンプレートで近似し、色成分の欠落を補正した後に再び単板ＲＧＢランダム配列ＣＣＤ４０４の色フィルタ配置でサンプリングした単板状態の近似画像が得られる。同じく三板画像バッファ４１７ａにはテンプレートで近似され、色成分欠落と帯域劣化の補正を受けたカラー画像が得られる。
【０１６０】
さらに、近似画像バッファ４１７内の画像に対して以下の処理が行われる。
【０１６１】
残差演算部４１８は、入力画像バッファ４０８内の画像の各画素位置（ｘ，ｙ）につき、その画素位置を中心とする所定の大きさの近傍画像ｈ(p,q) を読み出す。同時に、単板画像バッファ４１７ｂから当該近傍画像の領域に対応する画像を読み出し、ｈ(p,q) との差を計算し、残差画像ｄ(p,q) として規則性判定部４１９に出力する。
【０１６２】
規則性判定部４１９は、入力した残差画像ｄ(p,q) が規則的構造を有する画像であるか否かを第３実施形態と同様の判定基準で評価する。まずｄ(p,q) を最大値１、最小値０に正規化し、ラプラシアンフィルタをかける。その結果を画像全体で自乗和し、所定の閾値と比較する。閾値を下回る場合は規則的構造を有すると判定し、残差画像の中心画素の値ｄ(0,0) を残差加算部４２０へ出力する。閾値を上回る場合はなにも転送しない。
【０１６３】
残差加算部４２０は、三板画像バッファ４１７ａから入力画像バッファ４０８内の位置（ｘ，ｙ）に対応する位置の画素値Ｓｆ(0,0,c) （ｃ＝０，１，２）を読み出す。規則性判定部４１９から値ｄ(0,0) が転送されてきた場合には、ｄ(0,0) から３色分の画素値ｄ′(0,0,c) を生成し、Ｓｆ(0,0,c) と各色ｃ＝０，１２ごとに加算する。ここで、入力画像バッファ４０８内の位置（ｘ，ｙ）に対応する単板ＲＧＢランダム配列ＣＣＤ４０４上の位置に存在する色フィルタの色をｃ′とすると、ｄ′(0,0,c) はｄ(0,0) から以下の式で計算される。
【０１６４】
ｄ′(0,0,c) ＝ｄ(0,0)   （ｃ＝ｃ′の時）
【数５】
0003806477.tif 000013
【０１６５】
すべての位置（ｘ，ｙ）についてこの処理が終了すると、各画素位置でその近傍の幾何学的特徴にテンプレート保持ＲＯＭ４１１内のテンプレートが対応できる範囲で色成分の欠落と帯域劣化が補正され、さらに対応できない微細構造が輝度成分に反映されることにより、出力画像バッファ４２１に電子カメラ４００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０１６６】
電子カメラ４００に水晶フィルタ４０３がなく帯域制限がなれていない場合には、テンプレート保持ＲＯＭ４１１が劣化前テンプレート保持ＲＯＭ４１１ａのみからなり、最小自乗近似部４１２内の最小自乗係数算出部４１２ｂが劣化前テンプレート保持ＲＯＭ４１１ａから入力を受けるように構成を変更する。この場合、各部分の作用で特徴となるのは、最小自乗近似部４１２でテンプレートとしてΦｉのかわりにΨｉを用いる点と、帯域・色情報復元部４１４の動作は同じだが、結果として色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像ｆ(p,q,c) が得られる点のみである。その結果、入力画像バッファ４０８内の画像の色成分の欠落のみが補正された３色カラー画像が出力画像バッファ４２１に得られる。
【０１６７】
処理を高速化するために、近似画像バッファ４１７を設けない構成も可能である。この場合、最小自乗近似部４１２は残差演算部４１８に直接出力し、帯域・色情報復元部４１４は残差加算部４２０に直接出力するため、画像加算部４１５も不要となる。作用としては、入力画像バッファ４０８の各画素位置（ｘ，ｙ）につき、残差演算部４１８が最小自乗近似部４１２から転送された単板状態の画像ｇ′(p,q) と画素位置（ｘ，ｙ）を中心とする近傍画像ｈ(p,q) の差分を計算して規則性判定部４１９に転送することと、帯域・色情報復元部４１４が算出したｆ(p,q,c) の中心画素値ｆ(0,0,c) のみを残差加算部４２０に転送すること、および残差加算部４２０ではＳｆ(0,0,c) の代わりに帯域・色情報復元部４１４から転送されたｆ(0,0,c) を用いてｄ′(0,0,c) を計算すること、の三点のみが上記した第４実施形態と異なる点である。これにより、補正の精度は落ちるが記憶容量が少なく、より高速な処理が可能になる。
【０１６８】
以下に、本発明の第５実施形態を説明する。図９は本発明の第５実施形態が適用される画像処理システムの構成を示す図であり、電子カメラ５００と画像処理装置５０１とからなる。
【０１６９】
本実施形態の電子カメラ５００では帯域制限のために設けられていた水晶フィルタ２０３が設けられていない点を除けば第２実施形態における電子カメラ２００と同一の構成である。電子カメラ５００内の画像バッファ５０７の出力は、第３実施形態と同様に画像処理装置５０１内の入力画像バッファ５０８に接続され、入力画像バッファ５０８は近傍読み出し部５０９及び差分計算部５１８に接続されている。
【０１７０】
画像処理装置５０１は、入力画像バッファ５０８と、近傍読み出し部５０９と、テンプレート選択部５１０と、テンプレート保持ＲＯＭ５１１と、最小自乗近似部５１２と、単板画像生成部５１３と、色情報復元部５１４と、三板画像加算部５１５ａと、単板画像加算部５１５ｂと、単板画像バッファ５１６と、出力画像バッファ５１７と、差分計算部５１８と、差分画像バッファ５１９と、規則性評価部５２０と、テンプレート生成部５２１とを具備する。
【０１７１】
図９において、近傍読み出し部５０９は入力画像バッファ５０８および差分画像バッファ５１９の出力を受けるべく接続され、かつ読み出した情報を規則性評価部５２０に出力すべく接続されている。規則性評価部５２０はテンプレート生成部５２１、三板画像加算部５１５ａおよび最小自乗近似部５１２に接続されている。最小自乗近似部５１２は第２実施形態における構成と同一の構成であり、テンプレート選択部５１０と規則性評価部５２０の出力を受けるべく接続され、かつ処理結果を単板画像生成部５１３及び色情報復元部５１４に出力すべく接続されている。テンプレート選択部５１０はテンプレート保持ＲＯＭ５１１及びテンプレート生成部５２１の出力を受けるべく接続され、かつ選択結果を単板画像生成部５１３及び色情報復元部５１４に出力すべく接続されている。
【０１７２】
入力画像に水晶フィルタによる帯域劣化がないのでテンプレート保持ＲＯＭ５１１にはこれまでの実施形態と異なり帯域制限の劣化前と劣化後のテンプレートを保持しない。そのかわり、所定のＮ種の幾何学的特徴をもつ所定サイズのグレースケール画像がテンプレートΦｉ（ｉ＝０〜Ｎ−１）として保持される。ここで、レンズ５０２による帯域劣化は通常、少ないとして無視している。
【０１７３】
色情報復元部５１４は三板画像加算部５１５ａを経て出力画像バッファ５１７に接続されている。単板画像生成部５１３は単板画像加算部５１５ｂを経て単板画像バッファ５１６に接続されている。単板画像バッファ５１６は差分計算部５１８に記憶内容を出力すべく接続され、差分計算部５１８は差分画像バッファ５１９に処理結果を出力すべく接続されている。
【０１７４】
単板画像バッファ５１６および出力画像バッファ５１７は、入力画像バッファ５０８内の画像と同じ画素数の画像を保持するが、その他に各画素につきカウンタを保持する。このカウンタは、それぞれのバッファの各画素位置に書き込みが行われた回数を保持するために設けられてる。第３実施形態と同様にそれぞれのバッファの各画素位置で複数の画素値が計算されるため、最終的にそれらを平均化する処理を行っている。この処理に書き込み回数が必要になる。
【０１７５】
以下に、上記した構成を有する画像処理システムの作用を説明する。
【０１７６】
電子カメラ５００で撮像が行われ、レンズ５０２による帯域劣化しか含まず、各画素位置につき一つの色成分しか持たない画像がこれまでの実施形態と同様に画像バッファ５０７に保持される。撮像が終了すると、画像バッファ５０７内の画像は入力画像バッファ５０８に転送され、出力画像バッファ５１７および単板画像バッファ５１６のカラー画像の画素値、及びカウンタはすべて０に初期化される。次に、２段階で補正処理が行われる。１回目の処理では、入力画像バッファ５０８内の画像の各画素位置（ｘ，ｙ）につき、以下の処理が行われる。
【０１７７】
近傍読み出し部５０９により当該画素位置（ｘ，ｙ）の所定の矩形領域（例えば７×７画素）が近傍画像ｈ(p,q) として読み出される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像内の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが７×７であれば［−３，−２，−１，０，１，２，３］×［−３，−２，−１，０，１，２，３］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０１７８】
読み出された近傍画像は規則性評価部５２０に送られるが、そこではなにも処理を受けずに最小自乗近似部５１２に転送される。テンプレート生成部５２１には１回目の処理ではなにも転送しない。
【０１７９】
テンプレート生成部５２１は、近傍画像が転送されてくるとその画像をグレースケール画像とみなしてエッジを保ったまま平滑化し、新たなテンプレートを作成しテンプレート選択部５１０に転送する機能を持つが、１回目の処理にはなにもしない。
【０１８０】
テンプレート選択部５１０では、接続している他の構成要素からｉ番目のテンプレートの読み出し要求があった場合には、テンプレート生成部５２１からテンプレートが転送されてきている場合はそのテンプレートを返し、なにも転送されていない場合はテンプレート保持ＲＯＭ５１１からｉ番目のテンプレートΦｉを読み出す機能を持つ。１回目の処理では、テンプレート生成部５２１からなにも転送されないのでテンプレート保持ＲＯＭ５１１にアクセスすることになる。
【０１８１】
最小自乗計数算出部５１２は、近傍画像が転送されると図５に示されたフローに従って処理を行い、これまでの実施形態と同様に近傍画像を最もよく近似するテンプレートのインデックス min＿i と近似係数 min＿α(c) 、 min＿β(c) とを算出し、単板画像生成部５１３と色情報復元部５１４に転送する。
【０１８２】
色情報復元部５１４では、画素ごとの色成分の欠落を修復するために、式
ｇ(p,q,c) ＝ min＿α(c) Φ min＿i(p,q)＋ min＿β(c) （ｃ＝0,1,2)
に従って、近傍画像ｈ(p,q) の色成分の欠落を近似的に埋めた３色画像ｇ(p,q,c) を生成し、三板画像加算部５１５ａに転送する。
【０１８３】
単板画像生成部５１３では、色情報復元部５１４と同様に近傍画像ｈ(p,q) の色成分の欠落を近似的に埋めた３色画像ｇ(p,q,c) を計算するが、さらにｇ(p,q,c) を当該近傍画像における電子カメラ５００の色フィルタ配置に応じてサンプリングした画像ｇ′(p,q) を生成する。そして、ｇ′(p,q) を単板画像加算部５１５ｂに転送する。
【０１８４】
処理の途中では、出力画像バッファ５１７および単板画像バッファ５１６において、それぞれ各画素位置につき複数の近似画素値が得られるが、両バッファではそれらの平均近似画素値が保持され、またこれまでに得られた近似画素値の個数（＝書き込み回数）がカウンタに保持されるようになっている。
【０１８５】
三板画像加算部５１５ａでは、画像出力バッファ５１７から当該近傍画像に対応する領域内の各画素の平均近似画素値Ｓｇ(p,q,c) 及びカウンタＺｇ(p,q) が読み出され、転送されたｇ(p,q,c) を用いて新しい平均近似画素値Ｓｇnew (p,q,c) が計算式
0003806477.tif 000014
によって計算され、また新しいカウンタＺｇnew (p,q) の値が式
Ｚｇnew (p,q) ＝Ｚｇ(p,q) ＋１
によって計算され、Ｓｇnew (p,q,c) およびＺｇnew (p,q) が画像出力バッファ５１７の当該近傍画像に対応する領域に書き戻される。
【０１８６】
一方、単板画像加算部５１５ｂでは、三板画像加算部５１５ａと同様に単板画像バッファ５１６の当該近傍画像に対応する領域から平均近似画素値Ｓｇ′(p,q) 及びカウンタＺｇ′(p,q) が読み出され、転送されたｇ′(p,q) を用いて新しい平均近似画素値Ｓｇ′new (p,q) が計算式
0003806477.tif 000015
によって計算され、また新しいカウンタＺｇ′new (p,q) の値が
Ｚｇ′new (p,q) ＝Ｚｇ′(p,q) ＋１
によって計算され、Ｓｇ′new (p,q) およびＺｇ′new (p,q) が単板画像バッファ５１６の当該近傍画像に対応する領域に書き戻される。
【０１８７】
入力画像バッファ５０８内の画像の各画素位置につき、以上の処理が終了すると、単板画像バッファ５１６には、入力画像バッファ内５０８の画像をテンプレート保持ＲＯＭ５１１内のテンプレートで近似し、色成分の欠落を補正した後、さらに単板ベイヤー配列ＣＣＤ５０４の色フィルタ配置でサンプリングした状態の画像が得られる。同じく出力画像バッファ５１７にはテンプレート保持ＲＯＭ５１１内のテンプレートで近似され、色成分の欠落が補正されたカラー画像が得られる。１回目の処理の最後に、差分計算部５１８は単板画像バッファ５１６と入力画像バッファ５０８の差分をとり、近似誤差を表す差分画像を差分画像バッファ５１９に出力する。
【０１８８】
２回目の処理では、入力画像バッファ５０８の各画素位置（ｘ，ｙ）につき、以下の処理を行う。
【０１８９】
近傍読み出し部５０９により当該画素位置（ｘ，ｙ）を中心とする一回目と同じサイズの矩形領域が再び近傍画像ｈ(p,q) として読み出される。同時に、差分画像バッファ５１９の近傍画像に対応する領域が差分近傍画像ｄ(p,q) として読み出される。二つの画像は規則性評価部５２０に転送される。
【０１９０】
規則性評価部５２０では、１回目の処理と異なり差分近傍画像ｄ(p,q) の規則性を調べる。評価の基準には、画像を最大値１、最小値０に正規化した画像にラプラシアンフィルタをかけ、その結果について画像全体に対する自乗和をとった値をノイズ尺度として利用する。ｄ(p,q) に対するノイズ尺度Ｌ１を求め、さらにホワイトノイズからなる画像に対してどの程度規則的かを判断するために、各画素値が最大値１、最小値０、平均値０．５の白色雑音を生じる乱数により生成されたｄ(p,q) と同一サイズの画像に対してあらかじめ計算したノイズ尺度Ｌ０を用いて、相対ノイズ尺度Ｌを式Ｌ＝（１−Ｌ１／Ｌ０）により算出する。
【０１９１】
相対ノイズ尺度Ｌは、０〜１の範囲でｄ(p,q) の規則性を表す。Ｌが所定の閾値以下であれば、ｄ(p,q) はノイズであるとしてなにもしない。所定の閾値以上であれば、ｄ(p,q) をテンプレート生成部５２１に転送し、ｈ(p,q) を最小自乗近似部５１２に転送し、また、相対ノイズ尺度Ｌを三板画像加算部５１５ａに転送する。
【０１９２】
テンプレート生成部５２１は、１回目の処理とは異なり、転送されたｄ(p,q) をグレースケール画像とみなしてエッジを保ったまま平滑化し、新たなテンプレートΦ′(p,q) を作成しテンプレート選択部５１０に転送する。
【０１９３】
テンプレート選択部５１０では、転送されたテンプレートΦ′(p,q) を新たなテンプレート集合に設定し、以後他の構成要素からテンプレートの読み出し要求があった場合、Φ′(p,q) を返す。
【０１９４】
最小自乗係数算出部５１２は、近傍画像ｈ(p,q) が転送されると１回目と同様の処理を行い、近傍画像ｈ(p,q) を最もよく近似するテンプレートのインデックス min＿i と近似係数 min＿α(c) 、 min＿β(c) とを算出し、色情報復元部５１４のみに転送する。ただし、最小自乗係数算出部５１２が読み出すテンプレートはテンプレート選択部５１０によってΦ′(p,q) の一つに限られているので、 min＿α(c) 、 min＿β(c) は、テンプレートΦ′(p,q) で近傍画像ｈ(p,q) を近似する場合の最適な近似係数を意味する。
【０１９５】
色情報復元部５１４における処理は、１回目の処理と異なり、近傍画像ｈ(p,q) の中心画素ｈ(0,0) における欠落色成分の回復のみを行う。具体的には、式
ｇ(0,0,c) ＝ min＿α(c) Φ′(p,q) ＋ min＿β(c) （ｃ＝0,1,2)
に従って、ｈ(0,0) に対応する色成分の回復された画素値ｇ(0,0,c) （ｃ＝０，１，２）を生成し、三板画像加算部５１５ａに転送する。
【０１９６】
出力画像バッファ５１７の近傍画像ｈ(p,q) に対応する領域内の各画素では、１回目の処理でテンプレート保持ＲＯＭ５１１内のテンプレートにより近似されて求められた３色の画素値Ｓｇ(p,q,c) （ｃ＝０，１，２）が保持されている。三板画像加算部５１５ａでは、画像出力バッファ５１７の近傍画像ｈ(p,q) の中心画素の位置に対応する位置の画素値Ｓｇ(0,0,c) （ｃ＝０，１，２）を読み出し、規則性評価部５２０から転送されてきた相対ノイズ尺度Ｌを用いて、以前の近似結果Ｓｇ(0,0,c) と二回目の近似結果ｇ(0,0,c) の重み付き和をとる。式
Ｓｇnew (0,0,c) ＝(1−Ｌ）・Ｓｇ(0,0,c) ＋Ｌ・ｇ(0,0,c) （ｃ＝0,1,2)
により当該画素位置の新しい値Ｓｇnew (0,0,c) （ｃ＝０，１，２）を計算し、画像出力バッファ５１７に書き戻す。入力画像バッファの各画素位置につき、２回目の処理が終了すると、出力画像バッファ５１７には色成分の欠落が回復された３色カラー画像が得られる。
【０１９７】
以下に本発明の第６実施形態を説明する。図１０〜１２は第６実施形態を説明するための図であり、図１０は本実施形態が適用される画像処理システムの構成を示す図であり、図１１は図１０中合成最小自乗近似部６１２の詳細図であり、図１２は図１０中合成最小自乗近似部６１２の作用の説明図である。
【０１９８】
図１０において、本実施形態の画像処理システムは電子カメラ６００と画像処理装置６０１とからなり、電子カメラ６００は、第４実施形態における電子カメラ４００と同一の構成である。電子カメラ６００内の画像バッファ６０７は画像処理装置６０１内の入力画像バッファ６０８に接続されている。電子カメラ６００内の単板ＲＧＢランダム配列フィルタＣＣＤ６０４の色フィルタ配置に関する情報は第４実施形態と同様にあらかじめ画像処理装置６０１内の色成分マスク生成部６１２ａに保持されている。
【０１９９】
画像処理装置６０１は、入力画像バッファ６０８と、近傍読み出し部６０９と、劣化前テンプレート保持ＲＯＭ６１１ａ及び劣化後テンプレート保持ＲＯＭ６１１ｂを具備するテンプレート保持ＲＯＭ６１１と、合成最小自乗近似部６１２と、帯域・色情報復元部６１４と、三板画像加算部６１５と、出力画像バッファ６１６とを具備する。
【０２００】
また、図１０に示す合成最小自乗近似部６１２は、図１１に示すように、色成分マスク生成部６１２ａと、最小自乗係数算出部６１２ｂと、近似誤差累積部６１２ｃと、近似係数保持バッファ６１２ｄと、テンプレート決定部６１２ｅと、近傍画像バッファ６１２ｆと、テンプレート累積部６１２ｇと、テンプレート合成部６１２ｈと、最小自乗係数算出部６１２ｉと、近似誤差累積部６１２ｊと、近似係数保持バッファ６１２ｋとを具備する。この合成最小自乗近似部６１２はさらに近傍画像入力端子６１２ｒと、テンプレート入力端子６１２ｐと、近似パラメータ出力端子６１２ｓとを有している。
【０２０１】
入力画像バッファ６０８は近傍読み出し部６０９に接続され、近傍読み出し部６０９は近傍画像入力端子６１２ｒを経て合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆに接続されている。合成最小自乗近似部６１２は、テンプレート入力端子６１２ｐを介して劣化後テンプレート保持ＲＯＭ６１１ｂに接続されるとともに、近似パラメータ出力端子６１２ｓを介して帯域・色情報復元部６１４に接続されている。
【０２０２】
テンプレート保持ＲＯＭ６１１の構成と、テンプレート保持ＲＯＭ６１１、帯域・色情報復元部６１４、三板画像加算部６１５および出力画像バッファ６１６間の接続関係は、第１実施形態と同一である。
【０２０３】
本実施形態では、第１実施形態と同様に、処理中に各画素につき複数の補正値が計算されるため、それらを各補正値の信頼性に基づいて重みつき平均する。そのため、出力画像バッファ６１６は、各画素位置において画像データ以外に重みつき平均の計算に必要な信頼値を保持する。
【０２０４】
合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆは近傍画像入力端子６１２ｒを介して近傍読み出し部６０９の出力を受けるべく接続され、かつ記憶している情報を最小自乗係数算出部６１２ｂ及び６１２ｉに出力すべく接続されている。最小自乗係数算出部６１２ｂは近傍画像バッファ６１２ｆのほかに、色成分マスク生成部６１２ａ及びテンプレート入力端子６１２ｐ経由で劣化後テンプレート保持ＲＯＭ６１１ｂの出力を受けるべく接続され、かつ処理結果を近似係数保持バッファ６１２ｄ及び近似誤差累積部６１２ｃに出力すべく接続されている。
【０２０５】
テンプレート累積部６１２ｇは近似係数保持バッファ６１２ｄ及び近似誤差累積部６１２ｃの出力を受けるべく接続され、かつ累積結果をテンプレート合成部６１２ｈに出力すべく接続されている。テンプレート合成部６１２ｈは合成結果を最小自乗係数算出部６１２ｉおよびテンプレート決定部６１２ｅに出力すべく接続されている。
【０２０６】
最小自乗係数算出部６１２ｉはテンプレート合成部６１２ｈのほかに、色成分マスク生成部６１２ａ及び近傍画像バッファ６１２ｆの出力を受けるべく接続され、かつ処理結果を近似係数保持バッファ６１２ｋ及び近似誤差累積部６１２ｊに出力すべく接続されている。近似係数保持バッファ６１２ｋ及び近似誤差累積部６１２ｊは共にテンプレート決定部６１２ｅに接続され、テンプレート決定部６１２ｅは近似パラメータ出力端子６１２ｓを経て帯域・色情報復元部６１４に接続されている。
【０２０７】
以下に上記した構成の画像処理システムの作用を説明する。
【０２０８】
電子カメラ６００により撮像された被写体像は、これまでの第１乃至第４実施形態と同様に、レンズ６０２、水晶フィルタ６０３により帯域制限を受け、劣化した光学像として単板ＲＧＢランダム配列ＣＣＤ６０４上に形成される。単板ＲＧＢランダム配列ＣＣＤ６０４は各画素につき劣化画像のＲＧＢのいずれか一つの色情報を取得し、得られた画像をＡ／Ｄ変換部６０５を経てデジタル画像信号として画像バッファ６０７に転送する。撮像が終了すると、画像バッファ６０７内の画像情報は画像処理装置６０１内の入力画像バッファ６０８に転送され、さらに出力画像バッファ６１６の画素値及び信頼値はすべて０に初期化される。
【０２０９】
その後、入力画像バッファ６０８内の画像情報の各画素位置（ｘ，ｙ）ごとに以下の処理が行われる。
【０２１０】
近傍読み出し部６０９により処理画素位置（ｘ，ｙ）を中心とする所定の矩形領域（例えば５×５画素）が近傍画像ｈ(p,q) として読み出され、合成最小自乗近似部６１２に転送される。以下の説明において、変数の組（ｐ，ｑ）は、この近傍画像の中心画素（ｘ，ｙ）に対する相対座標であり、例えば近傍の大きさが５×５であれば［−２，−１，０，１，２］×［−２，−１，０，１，２］の範囲を動く、また、場合によって色Ｒ，Ｇ，Ｂをそれぞれ整数値ｃ＝０，１，２に対応させて説明する。
【０２１１】
近傍読み出し部６０９で読みだされた近傍画像ｈ(p,q) は、合成最小自乗近似部６１２内の近傍画像バッファ６１２ｆに転送される。近傍画像バッファ６１２ｆにｈ(p,q) が転送されると、その一方で単板ＲＧＢランダム配列ＣＣＤ６０４上で、当該近傍画像内の座標(p,q) に対応する位置に色成分ｃに対応する色フィルタが存在すれば１、存在しなければ０をとる変数mask(p,q,c) が色成分マスク生成部６１２ａにより算出され、その内部に保持される。図３は近傍画像におけるある特定の色フィルタ配置に対応する色成分マスクを例示したものである。
【０２１２】
最小自乗係数算出部６１２ｂは、劣化後テンプレート保持ＲＯＭ６１１ｂに予め記憶されているテンプレートΦｉ(p,q) （ｉ＝０〜Ｎ−１）を順に読み出し、近傍画像バッファ６１２ｆより転送された近傍画像ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）について、変数mask(p,q,c) を用いて、順に近似誤差
【数６】
0003806477.tif 000016
【０２１３】
を最小化する近似係数α(c) 、β(c) を計算する。
【０２１４】
近似誤差ｅ(c) は近似誤差累積部６１２ｃに出力され、近似誤差累積部６１２ｃでは近似誤差ｅ(c) を全色成分について累積加算し、累積近似誤差ｅとしてテンプレート累積部６１２ｇに転送する。また、近似係数α(c) 、β(c) （ｃ＝０，１，２）は近似係数保持バッファ６１２ｄに順に出力され、そこに保持される。テンプレート累積部６１２ｇには、Ｎ行のテーブルＴが保持される。
【０２１５】
図１２は合成最小自乗近似部の作用を説明するための図であり、（ａ）は任意の近傍画像を示し、（ｂ）は０からＮ−１までのＮ個のテンプレートを示し、（ｃ）はテーブルＴであり、（ｄ）はソート後のテーブルＴであり、（ｅ）は集合Ｖであり、（ｆ）は変数Ｕであり、（ｇ）は合成テンプレートである。
【０２１６】
図１２（ｃ）に示すようにテーブルＴには、それまでの各テンプレートΦｉ′(p,q)(ｉ′＜ｉ）のインデックスｉ′、Φｉ′(p,q) に対応する累積近似誤差、および近似係数が（ｉ′＋１）番目の行に登録されている。図１２（ｃ）では図１２（ａ）に示す近傍画像ｈ(p,q) を図１２（ｂ）のテンプレートΦｉ(p,q) で近似した場合が例示してある。
【０２１７】
テンプレート累積部６１２ｇは、近似誤差累積部６１２ｃから累積近似誤差ｅが転送されると、近似係数保持バッファ６１２ｄに保持された近似係数α(c) 、β(c) （ｃ＝０，１，２）を読み出し、ｉ，ｅとともにテーブルＴの（ｉ＋１）番目の行に書き込む。
【０２１８】
最小自乗係数算出部６１２ｂがすべてのΦｉ（ｉ＝０〜Ｎ−１）について処理を終えると、テンプレート合成部６１２ｈはテンプレート累積部６１２ｇに保持されたテーブルＴを用いて以下の手順で新たにテンプレート集合を構成する。
【０２１９】
まず、Ｎ個の内部変数mark(i) （ｉ＝０〜Ｎ−１）とカウンタ total＿markをすべて０に初期化する。次に、テーブルＴの行を図１２（ｄ）に示すように累積近似誤差の小さな順に並べ替え、最も累積近似誤差の小さな行に対応するテンプレートインデックスをｋ′とする。図１２（ｄ）においては、ｋ′は３となっている。同時に、ｋ′に対応する近似係数をαｍ(c) 、βｍ(c) （ｃ＝０，１，２）とする。さらに、mark(k′) を１、total ＿markを１に設定する。
【０２２０】
以後、並べ替えた行の順番に各行を読みこみ、累積近似誤差が所定の閾値より小さい場合には、その行の近似係数値を変数α(c) 、β(c) に読み出してそれぞれαｍ(c) 、βｍ(c) との差の絶対値ｅα，ｅβをとる。αｍ(c) とα(c) が同符号かつｅαおよびｅβが所定の閾値より小さな場合についてのみ、その行のテンプレートインデックスｋを用いてmark(k) を１に設定し、 total＿markを１増やす。 total＿markが所定の上限値Ｍ′に達するか、全ての行に対しこの処理が完了すれば繰り返しは終了する。
【０２２１】
この処理が終了すると、図１２（ｅ）に示すようにmark(k) が１となっているテンプレートインデックスｋの集合Ｖが構成されたことになる。整数集合Ｖの各要素は、最も累積近似誤差が小さかったテンプレートｋ′と近似誤差の生じ方が似ておりかつ近似誤差が十分小さいテンプレートのインデックスである。
【０２２２】
続いて、Ｖから要素数が所定の個数の部分集合をすべて作り、図１２（ｆ）に示すように各部分集合を値とする変数Ｕ(j) （ｊ＝０〜Ｍ−１）に登録する。図１２（ｆ）においては各部分集合の要素数は２である。ここで、Ｍは条件を満たす部分集合の総数である。さらに、変数Ｕ(j) に対して合成テンプレートΦ′ｊ(p,q) を以下の式に従って構成する。
【０２２３】
【数７】
0003806477.tif 000017
【０２２４】
この式において、ｋは整数集合Ｕ(j) に含まれるすべての整数値を取る。関数ｍａｘはすべてのｋに関する引数の最大値を計算する。正実数λ(j,k) と正実数μ(j,k) はλ(j,k) Φｋ(p,q) ＋μ(j,k) を最大値１、最小値０に正規化するための正規化変数である。
【０２２５】
図１２（ｇ）に合成テンプレートΦ′ｊ(p,q) を例示している。変数
【数８】
0003806477.tif 000018
【０２２６】
はΦ′ｊ(p,q) とともにテンプレート合成部６１２ｈに保持される。ここで、ｊ＝０〜Ｍ−１である。
【０２２７】
テンプレート合成部６１２ｈの処理が完了すると、最小自乗係数算出部６１２ｉはテンプレート合成部６１２ｈから順にテンプレートΦ′ｊ(p,q) （ｊ＝０〜Ｍ−１）を読み出し、最小自乗係数算出部６１２ｂと同様に近傍画像バッファ６１２ｆから転送された近傍画像ｈ(p,q) の各色成分ｃ（ｃ＝０，１，２）について、順に近似誤差
【数９】
0003806477.tif 000019
【０２２８】
を最小化する近似係数α′(c) 、β′(c) を計算し、近似誤差累積部６１２ｊに近似誤差ｅ′（ｃ）を出力する。近似誤差累積部６１２ｊでは近似誤差ｅ′(c) を全色成分について累積加算し、累積近似誤差ｅ′＝ｅ′(0) ＋ｅ′(1) ＋ｅ′(2) をテンプレート決定部６１２ｅに転送する。近似係数α′(c) 、β′(c) （ｃ＝０，１，２）は近似係数保持バッファ６１２ｋに順に出力され、保持される。
【０２２９】
テンプレート決定部６１２ｅには、それ以前のテンプレートΦ′j ′(p,q) （ｊ′＜ｊ）に対する誤差の最小値 min＿e ′と最小値を与えたインデックス min＿j が保持されている。テンプレート決定部６１２ｅは、近似誤差累積部６１２ｄから転送された誤差ｅ′を内部に保持する誤差の最小値 min＿e ′と比較し、新たな誤差がより小さければ min＿e ′をｅ′に、 min＿j をｊに更新する。
【０２３０】
また、テンプレート決定部６１２ｅは誤差の最小値を与えるテンプレートに関する近似係数をもこれらを min＿α′(c) および min＿β′(c) （ｃ＝０，１，２）として保持しており、 min＿e ′の更新と同時にこれらの値も近似係数保持バッファ６１２ｋから読み込まれた近似係数α′(c) 、β′(c) にそれぞれ更新される。
【０２３１】
最小自乗係数算出部６１２ｉで全てのテンプレートΦ′ｊ(p,q) が処理された後、テンプレート決定部６１２ｅは誤差の最小値 min＿e ′を与えたインデックス min＿j を用いてテンプレート合成部６１２ｈの内部変数
【数１０】
0003806477.tif 000020
【０２３２】
同時に、近似誤差誤差の最小値 min＿e ′に反比例する近似評価値Ａ′をＡ′＝１／（１＋ min＿e ′）により計算する。そして、
【数１１】
0003806477.tif 000021
【０２３３】
およびＡ′を帯域・色情報復元部６１４に転送する。
【０２３４】
帯域・色情報復元部６１４は、転送された整数の集合Ｕ(min＿j)に含まれるすべての整数ｋに対し、対応する劣化前のテンプレートΨｋ(p,q) を劣化前テンプレート保持ＲＯＭ６１１ａから読み出し、転送された係数
【数１２】
0003806477.tif 000022
【０２３５】
を用いて以下の式から近傍画像の劣化前の画像を近似する近傍補正近似画像ｆ(p,q,c) を得る。
【０２３６】
【数１３】
0003806477.tif 000023
【０２３７】
そして、ｆ(p,q,c) を近似評価値Ａ′とともに三板画像加算部６１５に転送する。
【０２３８】
処理の途中では、出力画像バッファ６１６の各画素位置にこれまでの処理で得られた複数の補正画素値の平均値と信頼値が保持されるようになっている。三板画像加算部６１５は、出力画像バッファ６１６から当該近傍画像に対応する領域の補正画素値の平均値Ｓｆ(p,q,c) と信頼値Ｑ(p,q,c) を読み出し、これらと帯域・色情報復元部６１４から転送された近傍補正近似画像ｆ(p,q,c) 及び近似評価値Ａ′から、新たな補正画素値の平均値Ｓｆnew (p,q,c) および信頼値Ｑnew (p,q) を式
0003806477.tif 000024
により計算し、Ｓｆnew (p,q,c) 及びＱnew (p,q) を出力画像バッファ６１６の当該近傍画像に対応する領域に書き込む。
【０２３９】
全ての画素位置に関してこれらの処理が終了すると、入力画像バッファ６０８の画像の各画素について、当該画素を含むすべての近傍画像に対する近傍補正近似画像が計算され、その結果得られる各画素に関する複数の補正画素値が三板画像加算部６１５における処理により重み付き平均されて出力画像バッファ６１６に蓄積されるため、最終的に電子カメラ６００の光学系による劣化と色の欠落が補正された３色カラー画像が得られる。
【０２４０】
補正の精度は低いが、メモリ容量を削減し、処理を高速化しない場合には、画像加算部６１５を削除し、出力画像バッファ６１６内に信頼値を保持しない構成が考えられる。この場合、帯域・色情報復元部６１４は直接出力画像バッファ６１６に出力する。作用としては、帯域・色情報復元部６１４において、帯域・色情報を補正したｆ(p,q,c) のうち、中心画素の補正値ｆ(0,0,c) （ｃ＝０，１，２）のみを出力画像バッファ６１６に出力するように変更する。
【０２４１】
また、電子カメラ６００に水晶フィルタ６０３がなく帯域制限がなされていない場合には、テンプレート保持ＲＯＭ６１１が劣化前テンプレート保持ＲＯＭ６１１ａのみからなり、合成最小自乗近似部６１２が劣化前テンプレート保持ＲＯＭ６１１ａに接続される構成にする。
【０２４２】
この場合、各部分の作用は、合成最小自乗近似部６１２内部では、テンプレートとしてΦｉのかわりにΨｉが用いられる点を除いて同一である。その結果、帯域・色情報復元部６１４では色成分の欠落は補正されるが帯域の劣化についてはなにもされない近傍補正近似画像が得られ、出力画像バッファ６１６には入力画像バッファ６０８内の画像の色成分の欠落が補正された３色カラー画像が得られる。
【０２４３】
この変形例において、さらに前述の処理を高速化する変形例と同一の変形を施せば同じく処理の高速化が達せられることは容易に推察されるであろう。
【０２４４】
なお、上記した具体的実施形態には、以下の構成を有する発明が含まれている。
【０２４５】
（１）  画素の位置に応じて少なくとも１つ以上の分光特性に関する情報が欠落する画像信号から元の画像信号を回復処理する画像処理装置において、
前記情報が欠落する画像信号から、指定された画素を包含する所定サイズの近傍画像を抽出する近傍画像抽出手段と、
この近傍画像抽出手段によって抽出された近傍画像と同一サイズの複数の幾何学的パターンに基づくテンプレート群を保持するテンプレート保持手段と、
前記近傍画像抽出手段によって抽出された近傍画像に含まれる複数の分光特性の情報と、上記テンプレート保持手段によって保持された複数のテンプレート群との間でマッチングを行なって近傍画像に最も類似する最適テンプレートを選択し、この最適テンプレートに基づき近傍画像を近似する近傍近似画像を生成する近傍近似画像生成手段と、
この近傍近似画像生成手段によって生成された近傍近似画像に基づき、前記指定された画素における欠落する情報を復元する復元手段と、
を具備することを特徴とする画像処理装置。
【０２４６】
（２）  前記復元手段は、指定された画素を包含する複数の前記近傍画像から得られる複数の前記近傍近似画像の、前記少なくとも１つ以上の分光特性に関する情報を重みつき平均することで復元処理を行なうことを特徴とする構成（１）に記載の画像処理装置。
【０２４７】
（３）  前記テンプレート保持手段は、複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群とを有し、
前記近傍近似画像生成手段は、前記第２のテンプレート群から前記近傍画像に類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群に基づき帯域制限前の近傍近似画像を生成することを特徴とする構成（１）または（２）に記載の画像処理装置。
【０２４８】
（４）  前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、この構造成分のコントラスト情報を用いて前記近傍近似画像の輝度成分を変調することで前記指定された画素における欠落する情報を復元することを特徴とする構成（２）または（３）記載の画像処理装置。
【０２４９】
（５）  前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分に基づき第３のテンプレート群を生成し、この第３のテンプレート群により前記近傍画像を近似する近傍再近似画像を生成し、
前記復元手段は、前記近傍近似画像および前記近傍再近似画像に基づき前記指定された画素における欠落する情報を復元することを特徴とする構成（２）に記載の画像処理装置。
【０２５０】
（６）  前記テンプレート保持手段に保持された前記テンプレート群は異なる解像度ごとに分類されており、
前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分と、前記テンプレート群における前記構造成分の解像度に対応したテンプレート群との間でマッチングを行って最適テンプレートを選択し、この最適テンプレートから前記差分情報を近似する差分近傍近似画像を生成し、
前記復元手段は、前記差分近傍近似画像と前記近傍近似画像に基づき前記指定された画素における欠落する情報を復元し、前記差分近傍近似画像と前記構造成分との差分情報から新たな構造成分を抽出し、この構造成分が所定の閾値以下になるまで復元処理を反復することを特徴とする構成（２）に記載の画像処理装置。
【０２５１】
（７）  前記テンプレート保持手段に保持された前記第２のテンプレート群は異なる解像度ごとに分類されており、
前記復元手段は、前記近傍画像と前記近傍近似画像との差分情報を算出し、この差分情報から所定の評価関数に基づき構造成分のみを抽出し、
前記近傍近似画像生成手段は、前記構造成分と、前記第２のテンプレート群における前記構造成分の解像度に対応したテンプレート群との間でマッチングを行って最適テンプレートを選択し、この最適テンプレートから前記差分情報を近似する差分近傍近似画像を生成し、
前記復元手段は、前記差分近傍近似画像と前記近傍近似画像に基づき前記指定された画素における欠落する情報を復元し、前記差分近傍近似画像と前記構造成分との差分情報から新たな構造成分を抽出し、この構造成分が所定の閾値以下になるまで復元処理を反復することを特徴とする構成（３）に記載の画像処理装置。
【０２５２】
（８）  前記復元手段は、前記近傍近似画像から空間的相関情報を算出し、この空間的相関情報に基づき前記指定された画素に対する自己回帰モデルを適用して前記指定された画素における欠落する情報を復元することを特徴とする構成（１）、（２）、（３）のいずれか１つに記載の画像処理装置。
【０２５３】
（９）  前記近傍近似画像生成手段は、前記近傍画像と前記複数のテンプレート群との間でマッチングを行い、マッチング誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成することを特徴とする構成（１）または（２）に記載の画像処理装置。
【０２５４】
（１０）  前記近傍近似画像生成手段は、前記近傍画像と前記第２のテンプレート群との間でマッチングを行い、マッチング誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成することを特徴とする構成（３）に記載の画像処理装置。
【０２５５】
（１１）  前記近傍近似画像生成手段は、前記テンプレート保持手段に保持された前記テンプレート群を定数αで乗算し、定数βを加算して変形させることで前記近傍画像に最も類似する最適テンプレートを選択することを特徴とする構成（１）、（２）、（４）〜（６）、（８）、（９）に記載の画像処理装置。
【０２５６】
（１２）  前記近傍近似画像生成手段は、前記テンプレート保持手段に保持された前記第２のテンプレート群を定数αで乗算し、定数βを加算して変形させることで前記近傍画像に最も類似する最適テンプレートを選択することを特徴とする構成（３）、（７）、（１０）に記載の画像処理装置。
【０２５７】
構成（１）〜（１２）と上記した各実施形態との対応関係は以下の通りである。
【０２５８】
Ａ．構成（１）には少なくとも第１〜第６実施形態が対応し、
第１実施形態では、近傍画像抽出手段は入力画像バッファ１０８及び近傍読み出し部１０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ１１１に対応する。近傍近似画像生成手段は最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。復元手段は三板画像加算部１１５および出力画像バッファ１１６に対応する。
【０２５９】
第２実施形態では、近傍画像抽出手段は入力画像バッファ２０８及び近傍読み出し部２０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ２１１に対応する。近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２６０】
第３実施形態では、近傍画像抽出手段は入力画像バッファ３０８及び近傍読み出し部３０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２６１】
第４実施形態では、近傍画像抽出手段は入力画像バッファ４０８及び近傍読み出し部４０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ４１１に対応する。近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２６２】
第５実施形態では、近傍画像抽出手段は入力画像バッファ５０８及び近傍読み出し部５０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ５１１に対応する。近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び及び出力画像バッファ５１７に対応する。
【０２６３】
第６実施形態では、近傍画像抽出手段は入力画像バッファ６０８及び近傍読み出し部６０９に対応する。テンプレート保持手段はテンプレート保持ＲＯＭ６１１に対応する。近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。復元手段は三板画像加算部６１５及び出力画像バッファ６１６に対応する。
【０２６４】
単板状態の画像の各近傍に対し、近傍近似画像生成手段が複数の分光成分全てを考慮して最も良く近似するテンプレートを一つ決定し、そのテンプレートに基づいた補間を復元手段が行うため、輝度成分、色成分を区別して扱う場合と比較してモアレに影響されることがなく、近傍に含まれる微細な幾何学的特徴を検出することができる。
【０２６５】
これによって、以下に述べる発明が解決しようとする課題のＰ１が解決される。また、特定の色成分を高サンプリング密度で得ておく必要もないため、Ｐ２も解決される。
【０２６６】
Ｂ．構成（２）には少なくとも第１〜第６実施形態が対応し、
第１実施形態では、復元手段は三板画像加算部１１５および出力画像バッファ１１６に対応する。
【０２６７】
第２実施形態では、復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２６８】
第３実施形態では、復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２６９】
第４実施形態では、復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２７０】
第５実施形態では、復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び出力画像バッファ５１７に対応する。
【０２７１】
第６実施形態では、復元手段は三板画像加算部６１５及び出力画像バッファ６１６に対応する。
【０２７２】
入力画像の各画素について、近傍近似画像生成手段によりその画素を包含する複数の近傍の各々に対する近傍近似画像が生成され、復元手段がそれら複数の近傍近似画像における当該画素の近似値を重みつき平均して当該画素の最終的な近似値を計算する結果、各近傍における近似の誤りが補正される。
【０２７３】
これによって、以下に述べる発明が解決しようとする課題のＰ３が解決される。
【０２７４】
Ｃ．構成（３）には少なくとも第１、第２、第３、第４、第６実施形態が対応し、
第１実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ１１１に対応する。近傍近似画像生成手段は、最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。
【０２７５】
第２実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ２１１に対応する。近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。
【０２７６】
第３実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。
【０２７７】
第４実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ４１１に対応する。近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。
【０２７８】
第６実施形態では、テンプレート保持手段はテンプレート保持ＲＯＭ６１１に対応する。近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０２７９】
テンプレート保持手段が複数の幾何学的パターンに基づく第１のテンプレート群と、この第１のテンプレート群を撮像装置の光学系の帯域制限特性に応じて劣化させた第２のテンプレート群を持ち、入力画像の各画素の近傍に対して近傍近似画像生成手段が第２のテンプレート群から最も類似する最適テンプレートを選択し、これに対応する前記第１のテンプレート群のテンプレートに基づき帯域制限前の近傍近似画像を生成する結果、光学系の帯域劣化が補正された画像が得られる。
【０２８０】
これによって、以下に述べる発明が解決しようとする課題のＰ５が解決される。
【０２８１】
Ｄ．構成（４）には少なくとも第４実施形態が対応する。
【０２８２】
復元手段は画像加算部４１５、三板画像バッファ４１７ａ、単板画像バッファ４１７ｂ、残差演算部４１８、規則性判定部４１９、残差加算部４２０及び出力画像バッファ４２１に対応する。
【０２８３】
入力画像の各画素の近傍に対して近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍とその近傍近似画像との差分情報を算出し、この差分情報から構造成分のみを抽出し、構造成分のコントラスト情報を用いて近傍近似画像の輝度成分を変調することで、近傍がテンプレートにより完全に近似できない場合でも近似誤差のうち規則的構造を持つ成分は出力画像の輝度成分に反映される。
【０２８４】
これによって、以下に述べる発明が解決しようとする課題のＰ７が解決される。
【０２８５】
Ｅ．構成（５）には少なくとも第５実施形態が対応する。
【０２８６】
近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。復元手段は三板画像加算部５１５ａ、単板画像加算部５１５ｂ、単板画像バッファ５１６、差分計算部５１８、差分画像バッファ５１９、規則性評価部５２０及び出力画像バッファ５１７に対応する。
【０２８７】
入力画像の各画素の近傍に対し、まず近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍と近傍近似画像との誤差である差分画像を算出し、近傍近似画像生成手段が差分画像から所定の評価関数に基づき構造成分を算出して第３のテンプレート群を生成する。次に、近傍近似画像生成手段が近傍を第３のテンプレート群によって再び近似し、近傍再近似画像を生成する。最後に、復元手段が近傍近似画像と近傍再近似画像に基づいて補正を行う。その結果、近傍がテンプレート保持手段のテンプレートにより近似できない規則的構造を含んでいる場合でも、その構造を近似誤差を表わす差分画像から抽出して再近似を行う。
【０２８８】
これによって、以下に述べる発明が解決しようとする課題のＰ７が解決される。
【０２８９】
Ｆ．構成（６）、（７）には少なくとも第３実施形態が対応する。
【０２９０】
テンプレート保持手段はテンプレート保持ＲＯＭ３１１に対応する。近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。復元手段は三板画像加算部３１５ａ、出力画像バッファ３１７、単板画像加算部３１５ｂ、単板画像バッファ３１６、差分計算部３１８、差分画像バッファ３１９及び規則性評価部３２０に対応する。
【０２９１】
テンプレート保持手段が異なる解像度ごとに分類されたテンプレート群を有し、入力画像の各画素の近傍に対し、近傍近似画像生成手段が解像度の低いテンプレートから解像度の高いテンプレートへとテンプレートの解像度を上げながら近似誤差を減少させていくため、複雑な構造のテンプレートを用意することなく高速に近似処理が行える。
【０２９２】
これによって、以下に述べる発明が解決しようとする課題のＰ４が解決される。
【０２９３】
Ｇ．構成（８）には少なくとも第２実施形態が対応する。
【０２９４】
復元手段は補間係数計算部２１５、線形演算部２１６及び出力画像バッファ２１７に対応する。
【０２９５】
入力画像の各画素の近傍に対し、近傍近似画像生成手段が近傍近似画像を生成し、復元手段が近傍近似画像から空間的相関情報を算出し、この空間的相関情報に基づき当該画素に対する自己回帰モデルを適用して欠落する情報を復元することにより、近傍近似画像生成手段により選択されたテンプレートの如何にかかわらず共通の手順で補間処理が行われる。
【０２９６】
これによって、以下に述べる発明が解決しようとする課題のＰ６が解決される。
【０２９７】
Ｈ．構成（９）、（１０）には少なくとも第６実施形態が対応する。
【０２９８】
近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０２９９】
入力画像の各画素の近傍に対し、近傍近似画像生成手段が近似誤差の少ない複数のテンプレートを合成して単一の最適テンプレートを生成する。
【０３００】
これによって、以下に述べる発明が解決しようとする課題のＰ８が解決される。
【０３０１】
Ｉ．構成（１１）、（１２）には少なくとも第１〜第６実施形態が対応する。
【０３０２】
第１実施形態では、近傍近似画像生成手段は最小自乗近似部１１２及び帯域・色情報復元部１１４に対応する。
【０３０３】
第２実施形態では、近傍近似画像生成手段は最小自乗近似部２１２、帯域・色情報復元部２１４及び色情報復元部２１３に対応する。
【０３０４】
第３実施形態では、近傍近似画像生成手段はテンプレート選択部３１０、最小自乗近似部３１２、帯域・色情報復元部３１４及び劣化後テンプレート加工部３１３に対応する。
【０３０５】
第４実施形態では、近傍近似画像生成手段は最小自乗近似部４１２及び帯域・色情報復元部４１４に対応する。
【０３０６】
第５実施形態では、近傍近似画像生成手段はテンプレート選択部５１０、テンプレート生成部５２１、最小自乗近似部５１２、色情報復元部５１４及び単板画像生成部５１３に対応する。
【０３０７】
第６実施形態では、近傍近似画像生成手段は合成最小自乗近似部６１２及び帯域・色情報復元部６１４に対応する。
【０３０８】
入力画像の各画素の近傍に対し、近傍近似画像生成手段において、まず近傍の各色成分ごとにテンプレートに定数αを乗算し、定数βを加算した変形テンプレートにより当該色成分を近似するための最適な係数α，βを求める。次に、各色成分ごとに最適な近似を与える係数α，βを用いた場合の変形テンプレートによる近似誤差を単色近似誤差として計算し、全ての色成分の単色近似誤差に基づいてテンプレートによる近傍の近似度を評価することにより、一つのテンプレートで複数の色成分の近似を行うことができる。
【０３０９】
これによって、以下に述べる発明が解決しようとする課題のＰ１、Ｐ２が解決される。
【０３１０】
上記した構成（１）〜（１２）によって解決される発明が解決しようとする課題は以下の通りである。
【０３１１】
Ｐ１
従来技術では相対的に高サンプリング密度で与えられる輝度成分においても欠落する情報が存在し、三板方式で得られる輝度成分と比較して劣化した情報しか得られない。また、この輝度成分に基づき算出される他の色成分も、三板方式で得られる色成分に比較して劣化した情報しか得られない。
【０３１２】
Ｐ２
従来技術では任意の色フィルタ配置の入力画像を処理する方法に関しては記載していない。輝度成分の補間においては、あらかじめ用意された幾何学的特徴とこれに対応する補間方法を用意する必要があり、色フィルタ配置が変わると設計を変更する必要がある。
【０３１３】
Ｐ３
従来技術ではノイズの影響による誤動作に対応する方法に関しては記載していない。輝度成分および他の色成分を処理する場合、一回の処理で補間を行うため、パルス性のノイズの影響を受けやすい。特に輝度成分の処理においては３×３の局所領域で幾何学的特徴を分類するため、ノイズによる誤分類が発生しやすい。
【０３１４】
Ｐ４
従来技術ではノイズの影響を軽減するために幾何学的特徴を判定する領域のサイズを大きくした場合に高速な処理で判定を行なうことができない。
【０３１５】
Ｐ５
従来技術では撮像装置の光学系により帯域制限される情報の回復に関しては記載されていない。輝度成分および他の色の色成分は帯域制限された範囲内で処理されており、帯域の回復は扱うことはできない。
【０３１６】
Ｐ６
従来技術では複数の補間方法を幾何学的特徴に応じて用意しており、単一の方法に関しては記載されていない。輝度成分を幾何学的特徴に基づき補間する際には、幾何学的特徴の数だけ補間方法を用意しなければならない。高精度な処理のためには、幾何学的特徴の数を増やす必要があるが、これに応じて補間方法を考えねばならず、処理が煩雑になる。
【０３１７】
Ｐ７
従来技術ではあらかじめ用意された幾何学的特徴とこれに対応する補間方法に当てはまらない場合に対する対策に関しては記載されていない。輝度成分を幾何学的特徴に応じて分類する際には、強制的にどれかの幾何学的特徴に分類するため、当てはまらない領域に関しては誤差が発生して高精度な処理を行なうことができない。
【０３１８】
Ｐ８
従来技術ではあらかじめ用意された幾何学的特徴とこれに対応する補間方法に当てはまらない場合には高精度な処理を行なうことができない。
【０３１９】
【発明の効果】
請求項１に記載の発明によれば、従来に比べて高精細な画像を得ることができ、かつ、任意の色フィルタ配置の入力画像を処理することができるようになる。
【０３２０】
また、請求項２に記載の発明によれば、請求項１に記載の発明の効果に加えて、画像信号のノイズによる劣化を低減できるようになる。
【０３２１】
また、請求項３に記載の発明によれば、請求項１または請求項２に記載の発明の効果に加えて、帯域制限によって失われた情報を回復することができるようになる。
【図面の簡単な説明】
【図１】本発明の第１実施形態が適用される画像処理システムの構成を示す図である。
【図２】図１に示す最小自乗近似部の構成とその周辺回路を示す図である。
【図３】色成分マスク生成部により生成されるマスクの説明図である。
【図４】本発明の第２実施形態が適用される画像処理システムの構成を示す図である。
【図５】図４における最小自乗近似部１１２の処理の流れを表すフローチャートである。
【図６】本発明の第３実施形態が適用される画像処理システムの構成を示す図である。
【図７】本発明の第４実施形態が適用される画像処理システムの構成を示す図である。
【図８】図７に示す最小自乗近似部の構成とその周辺回路を示す図である。
【図９】本発明の第５実施形態が適用される画像処理システムの構成を示す図である。
【図１０】本発明の第６実施形態が適用される画像処理システムの構成を示す図である。
【図１１】図１０に示す合成最小自乗近似部の構成とその周辺回路を示す図である。
【図１２】合成最小自乗近似部の作用を説明するための図である。
【符号の説明】
１００…電子カメラ、１０１…画像処理装置、１０２…レンズ、１０３…水晶フィルタ、１０４…単板ＲＧＢランダム配列ＣＣＤ、１０５…Ａ／Ｄ変換部、１０６…フィルタ配置情報保持ＲＯＭ、１０７…画像バッファ、１０８…入力画像バッファ、１０９…近傍読み出し部、１１１…テンプレート保持ＲＯＭ、１１２…最小自乗近似部、１１４…帯域・色情報復元部、１１５…三板画像加算部、１１６…出力画像バッファ。
【図１】
0003806477.tif 000025
【図２】
0003806477.tif 000026
【図３】
0003806477.tif 000027
【図４】
0003806477.tif 000028
【図５】
0003806477.tif 000029
【図６】
0003806477.tif 000030
【図７】
0003806477.tif 000031
【図８】
0003806477.tif 000032
【図９】
0003806477.tif 000033
【図１０】
0003806477.tif 000034
【図１１】
0003806477.tif 000035
【図１２】
0003806477.tif 000036