(57)【要約】【課題】  モザイク画像の補間をより精度よく行うようにする。【解決手段】  テクスチャ強度算出処理部３３４は、補間値ＧＡ，ＥＡを用いて、Ｒ画素位置のテクスチャ強度ＴHとテクスチャ強度ＴVを算出する。Ｇ補間処理部３３３−１は、横近傍の補間値ＧＡと信号Ｒを用いて補間値ＧＦを算出し、Ｅ補間処理部３３３−２は、縦近傍の補間値ＥＡと信号Ｒを用いて補間値ＥＦを算出する。Ｇ補間処理部３３３−１は、補間値ＧＡ，ＥＡ，ＥＦを用いて補間値ＧＵを、Ｅ補間処理部３３３−２は、補間値ＧＡ，ＥＡ，ＧＦを用いて補間値ＥＵを算出する。Ｇ＋Ｅ生成処理部３３５は、補間値ＧＵ，ＥＦを合成して（Ｇ＋Ｅ）Vを算出し、Ｇ＋Ｅ生成処理部３３６は、補間値ＧＦ，ＥＵを合成して（Ｇ＋Ｅ）Hを算出する。合成処理部３３７は、（Ｇ＋Ｅ）H、（Ｇ＋Ｅ）Vとテクスチャ強度ＴH、ＴVを用いて、信号Ｇ＋Ｅを決定する。本発明は、デジタルカメラに適用できる。【選択図】図６
2005160044.tif 000002
【特許請求の範囲】
【請求項１】
第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置において、
前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出手段と、
前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出するとともに、前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第１の推定値算出手段と、
前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第２の推定値算出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記変化強度算出手段は、
前記注目画素における前記第１の色成分および前記第２の色成分の第１の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
前記注目画素の縦方向に位置する画素における前記第１の色成分および前記第２の色成分の第２の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
前記注目画素の横方向に位置する画素における前記第１の色成分および前記第２の色成分の第３の補間値を、前記注目画素の近傍の画素の画素値に基づいて補間し、
前記第１の補間値と、前記第２の補間値との差分の組により縦勾配評価値を算出し、
前記第１の補間値と、前記第３の補間値との差分の組により横勾配評価値を算出し、
前記縦勾配評価値および前記横勾配評価値に基づいて、前記変化強度を決定し、
前記注目画素および前記注目画素の近傍における変化強度の偏差を算出し、前記偏差に基づいて、前記注目画素の前記変化強度を補正する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の推定値算出手段は、
前記注目画素の近傍の画素の前記第２の色成分および前記第１の推定値に基づいて、前記注目画素における前記第３の色成分の第４の推定値を算出する第３の推定値算出手段と、
前記注目画素の近傍の画素の前記第１の色成分および前記第２の推定値に基づいて、前記注目画素における前記第３の色成分の第５の推定値を算出する第４の推定値算出手段と、
前記第４の推定値、前記第５の推定値、前記注目画素における前記縦方向の変化強度、および前記注目画素における前記横方向の変化強度に基づいて、前記第３の推定値を算出する第５の推定値算出手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の色成分および前記第２の色成分は、互いに相関の高い分光感度を有する
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置の画像処理方法において、
前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、
前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出する第１の推定値算出ステップと、
前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第２の推定値算出ステップと、
前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第３の推定値算出ステップと
を含むことを特徴とする画像処理方法。
【請求項６】
第１の色成分が水平および垂直に１ラインおきに配置されるとともに、第２の色成分が水平および垂直に１ラインおきに配置され、かつ、前記第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成するプログラムであって、
前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、
前記注目画素と、前記注目画素の縦方向の近傍の画素に基づいて、前記第１の色成分の前記注目画素における第１の推定値を算出する第１の推定値算出ステップと、
前記注目画素と前記注目画素の横方向の近傍の画素に基づいて、前記第２の色成分の前記注目画素における第２の推定値を算出する第２の推定値算出ステップと、
前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値を算出する第３の推定値算出ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、モザイク画像の補間をより精度よく行うことができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
単板式の固定撮像素子を用いた撮影装置で撮影した場合、単一の分光感度しか得られない。そのため、一般的には、多数の画素に対してそれぞれ異なる色フィルタを貼り、それらを特定のパターンで配置してカラー撮影を行う方法が利用されている。この方法で撮像された画像は、画素毎に１つの色しか得ることができないため、色に関してモザイク状になった画像が生成される。そこで、周囲の画素から得られる色情報を利用して補間を行うことにより、全画素で全ての色（例えばRGB）が揃った画像を生成することができる。
【０００３】
一般的に、フィルタの配列には、図１に示されるようなベイヤー（Bayer）配列が用いられる。ベイヤー配列は、緑色（Ｇ）の光のみを透過するＧのフィルタが２個、赤（Ｒ）の光のみを透過するＲのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｇのフィルタは、市松状に配置され、ＲおよびＢのフィルタの倍の密度で存在する。そのため、情報量が多く、輝度に強い相関を持つＧについて全画素に色を揃え、それを参照情報として画素補間処理を行うことにより、他の色の情報を各画素において揃える方法がよく用いられる。
【０００４】
例えば特許文献１には、局所領域における色の比率がほぼ一定であるという仮定の元、全画素にあらかじめＧを揃え、近傍画素におけるＲとＧの比率の平均、およびＢとＧの比率の平均を注目画素位置のＧに乗算し、不明な色成分の推定を行う画素補間方法が提案されている。このようなＧを参照情報とした画素補間方法では、Ｇを全画素揃える際の補間精度によって最終結果が大きく左右されるという課題があった。
【０００５】
そこで、特許文献２では、Ｇのグラディエント値に基づいて、補間に用いる近傍Ｇの画素を切り換えることで、補間精度を上げるといった工夫が行われている。また、特許文献３では、補間に用いる近傍Ｇの画素を切り換えるだけでなく、補間画素位置の水平、垂直の相関値を求め、水平方向の相関が強い場合に適した処理と、垂直方向の相関が強い場合に適した処理によって得られた２つの補間値を相関値によって混合する方法が提案されている。
【０００６】
上述した様々な方法では、Ｇが市松状に配置され、他の色に比べてサンプリング周波数が高いというベイヤー配列の特徴が前提となっているが、単板式の固体撮像素子のフィルタは３色に限定されるものではなく、４色用いられる場合もある。いわゆる補色系のフィルタ配列以外でも、例えば、特許文献４には、色再現性の向上を狙って、RGBの３色にさらにもう１つの色（例えば、Ｙ）を加えることで、４色の配列でフィルタを構成することが提案されている。また、例えば、ベイヤー配列においても、Ｇに隣接するＲ，Ｂの配置の違いや、特許文献５および特許文献６で言及されている、製造過程におけるフィルタの位置ずれ等を原因とした分光特性の違い、また、特許文献７で言及されている、偶数ライン、奇数ラインで別の信号出力経路を持つ固体撮像素子に発生するライン間でのゲインの誤差等により、２×２のフィルタ配列内の２つのＧが必ずしも同一の特性とは限らなくなり、事実上、４色の配列となっている場合がある。
【特許文献１】米国特許、Cok,David R.，USP  4,642,678
【特許文献２】米国特許、Hibbard,Robert H.，USP  5,382,976
【特許文献３】特許番号２９３１５２０号
【特許文献４】特開２００２−２７１８０４号公報
【特許文献５】特開平７−１３５３０２号公報
【特許文献６】特開平８−１９１１４１号公報
【特許文献７】特開平４−１５４２８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このような４色のフィルタ配列から得られた信号に対して、ベイヤー配列でＧの市松配置を利用した全画素にＧを補間する方法は適用できず、当然ながら、Ｇが全色揃っていることを前提とした色補間方法をそのまま利用することはできないという課題があった。
【０００８】
また、ＧもしくはＧに代替される信号を何らかの方法で市松に揃えたとしても、特許文献３に提案されているような、注目画素位置で計算された水平、垂直方向の相関値をそのまま補間に使用する方法では、限界解像度付近でノイズ等の影響により相関判別を間違うようになると、２つの補間値が不規則に混合されることになり、非常に目立つアーチファクトが発生するという課題があった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、４色のフィルタ配列においても、Ｇに代替される輝度信号を全画素に精度よく補間可能な処理を提供するとともに、その信号を元にした色成分の補間処理ができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出手段と、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出するとともに、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第１の推定値算出手段と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第２の推定値算出手段とを備えることを特徴とする。
【００１１】
変化強度算出手段は、注目画素における第１の色成分および第２の色成分の第１の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の縦方向に位置する画素における第１の色成分および第２の色成分の第２の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の横方向に位置する画素における第１の色成分および第２の色成分の第３の補間値を、注目画素の近傍の画素の画素値に基づいて補間し、第１の補間値と、第２の補間値との差分の組により縦勾配評価値を算出し、第１の補間値と、第３の補間値との差分の組により横勾配評価値を算出し、縦勾配評価値および横勾配評価値に基づいて、変化強度を決定し、注目画素および注目画素の近傍における変化強度の偏差を算出し、偏差に基づいて、注目画素の変化強度を補正するようにすることができる。
【００１２】
第２の推定値算出手段は、注目画素の近傍の画素の第２の色成分および第１の推定値に基づいて、注目画素における第３の色成分の第４の推定値を算出する第３の推定値算出手段と、注目画素の近傍の画素の第１の色成分および第２の推定値に基づいて、注目画素における第３の色成分の第５の推定値を算出する第４の推定値算出手段と、第４の推定値、第５の推定値、注目画素における縦方向の変化強度、および注目画素における横方向の変化強度に基づいて、第３の推定値を算出する第５の推定値算出手段とを含むようにすることができる。
【００１３】
第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。
【００１４】
本発明の画像処理方法は、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出する第１の推定値算出ステップと、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第２の推定値算出ステップと、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第３の推定値算出ステップとを含むことを特徴とする。
【００１５】
本発明のプログラムは、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度を算出する変化強度算出ステップと、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値を算出する第１の推定値算出ステップと、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値を算出する第２の推定値算出ステップと、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値を算出する第３の推定値算出ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００１６】
本発明によれば、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度および横方向の変化強度が算出され、注目画素と、注目画素の縦方向の近傍の画素に基づいて、第１の色成分の注目画素における第１の推定値が算出されるとともに、注目画素と注目画素の横方向の近傍の画素に基づいて、第２の色成分の注目画素における第２の推定値が算出され、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分の注目画素における第３の推定値が算出される。
【発明の効果】
【００１７】
本発明によれば、モザイク画像の補間をより精度よく行うことができる。特に、この発明によれば、方向検出に誤りが生じやすい限界解像度付近であっても、安定した補間結果を得ることができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１９】
更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００２０】
本発明によれば画像処理装置が提供される。この画像処理装置（例えば、図２のデジタルカメラ２０１）は、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置され、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）であって、前記モザイク画像の注目画素、並びに前記注目画素の縦方向および横方向の近傍の画素に基づいて、前記注目画素における縦方向の変化強度（例えば、テクスチャ強度ＴV）および横方向の変化強度（例えば、テクスチャ強度ＴH）を算出する変化強度算出手段（例えば、図６のテクスチャ強度算出処理部３３４）と、前記注目画素（例えば、Ｒ）と、前記注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、前記第１の色成分（例えば、Ｇ）の前記注目画素における第１の推定値（例えば、ＧＦ）を算出するとともに、前記注目画素（例えば、Ｒ）と前記注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、前記第２の色成分（例えば、Ｅ）の前記注目画素における第２の推定値（例えば、ＥＦ）を算出する第１の推定値算出手段（例えば、図６のＧ補間処理部３３２−１、またはＥ補間処理部３３２−２）と、前記縦方向の変化強度、前記横方向の変化強度、前記第１の推定値、および前記第２の推定値に基づいて、前記第１の色成分と前記第２の色成分からなる第３の色成分の前記注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第２の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３５、Ｇ＋Ｅ生成処理部３３６、および合成処理部３３７）とを含む。
【００２１】
変化強度算出手段は、注目画素における第１の色成分および第２の色成分の第１の補間値（例えば、ＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’）（但し、（ｊ’,ｋ’）は処理画素位置））を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の縦方向に位置する画素における第１の色成分および第２の色成分の第２の補間値（例えば、ＧＡ（ｊ’,ｋ’−１）およびＧＡ（ｊ’,ｋ’＋１）、並びにＥＡ（ｊ’,ｋ’−１）およびＥＡ（ｊ’,ｋ’＋１））を、注目画素の近傍の画素の画素値に基づいて補間し、注目画素の横方向に位置する画素における第１の色成分および第２の色成分の第３の補間値（例えば、ＧＡ（ｊ’−１,ｋ’）およびＧＡ（ｊ’＋１,ｋ’）、並びにＥＡ（ｊ’−１,ｋ’）およびＥＡ（ｊ’＋１,ｋ’））を、注目画素の近傍の画素の画素値に基づいて補間し、第１の補間値（例えば、注目画素位置（ｊ’，ｋ’）のＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’））と、第２の補間値（例えば、ＧＡ（ｊ’,ｋ’−１）およびＧＡ（ｊ’,ｋ’＋１）、並びにＥＡ（ｊ’,ｋ’−１）およびＥＡ（ｊ’,ｋ’＋１））との差分の組により縦勾配評価値（例えば、ｄＶ）を算出し（例えば、図１３のステップＳ２０３）、第１の補間値（例えば、ＧＡ（ｊ’,ｋ’）およびＥＡ（ｊ’,ｋ’））と、第３の補間値（例えば、ＧＡ（ｊ’−１,ｋ’）およびＧＡ（ｊ’＋１,ｋ’）、並びにＥＡ（ｊ’−１,ｋ’）およびＥＡ（ｊ’＋１,ｋ’））との差分の組により横勾配評価値（例えば、ｄＨ）を算出し（例えば、図１３のステップＳ２０３）、縦勾配評価値および横勾配評価値に基づいて、変化強度を決定し（例えば、図１３のステップＳ２１１）、注目画素および注目画素の近傍における変化強度の偏差を算出し、偏差に基づいて、注目画素の変化強度を補正する（例えば、図１２のステップＳ１５４）ことができる。
【００２２】
第２の推定値算出手段は、注目画素の近傍の画素の第２の色成分（例えば、Ｅ）および第１の推定値（例えばＧＦ）に基づいて、注目画素における第３の色成分（例えば、Ｇ＋Ｅ）の第４の推定値（例えば（Ｇ＋Ｅ）H）を算出する第３の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３６）と、注目画素の近傍の画素の第１の色成分（例えばＧ）および第２の推定値（例えばＥＦ）に基づいて、注目画素における第３の色成分の第５の推定値（例えば（Ｇ＋Ｅ）V）を算出する第４の推定値算出手段（例えば、図６のＧ＋Ｅ生成処理部３３５）と、第４の推定値、第５の推定値、注目画素における縦方向の変化強度、および注目画素における横方向の変化強度に基づいて、第３の推定値（例えば、（Ｇ＋Ｅ））を算出する第５の推定値算出手段（例えば、図６の合成処理部３３７）とを備えるようにすることができる。
【００２３】
第１の色成分および第２の色成分は、互いに相関の高い分光感度を有するようにすることができる。
【００２４】
本発明によれば、画像処理方法が提供される。この画像処理方法は、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置されるとともに、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）の画像処理方法であって、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度（例えば、テクスチャ強度ＴV）および横方向の変化強度（例えば、テクスチャ強度ＴH）を算出する変化強度算出ステップ（例えば、図９のステップＳ５３）と、注目画素（例えば、Ｒ）と、注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、第１の色成分（例えば、Ｇ）の注目画素における第１の推定値（例えば、ＧＦ）を算出する第１の推定値算出ステップ（例えば、図９のステップＳ５４）と、注目画素（例えば、Ｒ）と注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、第２の色成分（例えば、Ｅ）の注目画素における第２の推定値（例えば、ＥＦ）を算出する第２の推定値算出ステップ（例えば、図９のステップＳ５５）と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）の注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第３の推定値算出ステップ（例えば、図９のステップＳ５８乃至ステップＳ６０）とを含む。
【００２５】
本発明によれば、プログラムが提供される。このプログラムは、第１の色成分（例えば、Ｇ）が水平および垂直に１ラインおきに配置されるとともに、第２の色成分（例えば、Ｅ）が水平および垂直に１ラインおきに配置され、かつ、第１の色成分とは異なる水平および垂直ラインに配置されたカラーフィルタを用いた単板式カラー撮像素子により撮像されたモザイク画像に基づいて、各画素が複数の色成分を有するカラー画像を生成する画像処理装置（例えば、図２のデジタルカメラ２０１）の画像処理方法であって、モザイク画像の注目画素、並びに注目画素の縦方向および横方向の近傍の画素に基づいて、注目画素における縦方向の変化強度（例えば、テクスチャ強度ＴV）および横方向の変化強度（例えば、テクスチャ強度ＴH）を算出する変化強度算出ステップ（例えば、図９のステップＳ５３）と、注目画素（例えば、Ｒ）と、注目画素の縦方向の近傍の画素（例えば、Ｒの縦近傍の画素Ｇ）に基づいて、第１の色成分（例えば、Ｇ）の注目画素における第１の推定値（例えば、ＧＦ）を算出する第１の推定値算出ステップ（例えば、図９のステップＳ５４）と、注目画素（例えば、Ｒ）と注目画素の横方向の近傍の画素（例えば、Ｒの横近傍の画素Ｅ）に基づいて、第２の色成分（例えば、Ｅ）の注目画素における第２の推定値（例えば、ＥＦ）を算出する第２の推定値算出ステップ（例えば、図９のステップＳ５５）と、縦方向の変化強度、横方向の変化強度、第１の推定値、および第２の推定値に基づいて、第１の色成分と第２の色成分からなる第３の色成分（例えば、Ｇ＋Ｅ）の注目画素における第３の推定値（例えば、Ｇ＋Ｅ）を算出する第３の推定値算出ステップ（例えば、図９のステップＳ５８乃至ステップＳ６０）とをコンピュータに実行させる。
【００２６】
以下、図を参照して、本発明の実施の形態について説明する。
【００２７】
図２は、本発明を適用したデジタルカメラ２０１の構成を示すブロック図である。
【００２８】
図２に示すように、デジタルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ/Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ（Central Processing Unit）２２３、および、操作入力部２２４から構成される。
【００２９】
ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
【００３０】
ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭ（Random Access Memory）を持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。
【００３１】
Ｄ/Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。
【００３２】
コーデック処理部２２１は、例えば、MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などの、デジタルビデオデータの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルカメラ２０１に対して着脱可能なようになされていても良い。
【００３３】
ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。
【００３４】
レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。
【００３５】
タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。
【００３６】
ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。
【００３７】
Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。
【００３８】
また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。
【００３９】
ところで、図２のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。本発明においては、ＲＧＢ（Red,Green,Blue：赤、緑、青）の３色に、Ｇに分光特性が近い４色目となる色（以下、Ｅ（Emerald）と称する）を加えた４色を用いた配列のオンチップカラーフィルタを用いる。この４色のモザイク配列の例を、図３に示す。なお、本明細書中では、Ｇに近い分光特性の４色目となる色をＥとしたが、この色はEmeraldに限定されず、Ｇに近い分光特性であれば何色でもよい。
【００４０】
図３に示されるように４色配列は、赤（Ｒ）の光のみを透過するＲのフィルタが１個、緑色（Ｇ）の光のみを透過するＧのフィルタが１個、青（Ｂ）の光のみを透過するＢのフィルタが１個、エメラルド（Ｅ）の光のみを透過するＥのフィルタが１個の、合計４個を最小単位として構成されている。すなわち、Ｒ，Ｇ，Ｂ，Ｅの各フィルタは、同じ密度で存在する。
【００４１】
このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに図３に示されるような４色のモザイクが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。具体的には、ＤＳＰブロック２１６の信号処理用プロセッサは、まず、Ｇ，Ｅを合成した新たな色（以下、Ｇ＋Ｅと称する）を全画素に生成し、３色のベイヤー配列においてＧを全画素揃えることを前提とした補間方法を、４色のモザイク配列においても同様に適用できるようにする。
【００４２】
図４は、図２のＤＳＰブロック２１６の更に詳細な構成を示すブロック図である。
【００４３】
ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、および、ＹＣ変換部２５４で構成される。
【００４４】
Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ，Ｇ，ＢまたはＥのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した４色のモザイク配列）の周期的なパターンの強度信号により構成されている。
【００４５】
ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。
【００４６】
デモザイク処理部２５３は、色分布形状を統計的に算出することにより、ガンマ補正がなされたモザイク画像の各画素位置にR,G,B,Eの４色の強度を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、R,G,B,Eの４つの色に対応する４つの画像信号となる。ＹＣ変換部２５４はR,G,B,Eの４チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（ＹＣｂＣｒ画像信号）を生成し、出力する。
【００４７】
ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。
【００４８】
例えば、入力される画像が高コントラストな輪郭領域である場合、その色分布は、非常に明るい強度域と非常に暗い強度域に渡ってしまう。物理的に、物体反射光は、物体表面のばらつきに照明からの入射光強度が乗じられたものになることから、カメラへの入射光強度に比例する線形な画素強度空間においては、明るい強度域にある物体色の分布はスパースに（まばらに）広がり、暗い画素強度域にある物体色の分布はあまり広がらずにコンパクトに縮まる傾向にある。
【００４９】
デモザイク処理部２５３においては、色分布形状を統計的に算出することにより、デモザイク処理を実行する。しかしながら、高コントラストな輪郭領域では、明るい領域での画素強度のちらばりと暗い領域での画素強度のちらばりが大きく異なり、統計的な線形回帰が適用しにくくなる。したがって、入力されたデータに対して、デモザイク処理部２５３におけるデモザイク処理に先立って、ガンマ補正のような非線形の画素強度変換を施して、暗い画素強度域を持ち上げて（明るい画素強度領域に近づけて）、画素強度の分散をある程度抑制するようにすることにより、デモザイク処理部２５３において実行される線形回帰処理の信頼性を向上させることができる。
【００５０】
このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、略べき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。
【００５１】
図５は、全画素位置でＲＧＢＥの４色が存在するように、各画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図４のデモザイク処理部２５３の更に詳細な構成を示すブロック図である。
【００５２】
デモザイク処理部２５３には、局所領域抽出部２８１、Ｇ＋Ｅ算出処理部２８２、および画素値補間部２８３が設けられている。局所領域抽出部２８１は、ガンマ補正されたモザイク画像から、注目画素位置周囲の決まった大きさの局所領域の画素を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした７×７画素の矩形領域とする。Ｇ＋Ｅ算出処理部２８２は、局所領域内に存在する画素を用いて、注目画素位置におけるＧ＋Ｅを算出する。画素値補間部２８３は、Ｇ＋Ｅを用いて、全画素にＲＧＢＥの４色を補間する。
【００５３】
図６は、図５のＧ＋Ｅ算出処理部２８２の詳細な構成例を示すブロック図である。Ｇ＋Ｅ算出処理部２８２は、Ｇ補間処理部３３１−１、Ｅ補間処理部３３１−２、Ｇ補間処理部３３２−１、Ｅ補間処理部３３２−２、Ｇ補間処理部３３３−１、Ｅ補間処理部３３３−２、テクスチャ強度算出処理部３３４、Ｇ＋Ｅ生成処理部３３５、Ｇ＋Ｅ生成処理部３３６、および合成処理部３３７で構成される。本構成は、モザイク上のＲ，Ｇ，Ｅの信号を用いて、Ｒ画素上にＧ＋Ｅを生成するものである。ここでは色成分の推定に回帰推定を用いる。
【００５４】
Ｇ補間処理部３３１−１は、注目Ｒ画素の近傍画素位置全てにＧの簡易的な補間値ＧＡを算出し、同様にＥ補間処理部３３１−２は、Ｅの補間値ＥＡを算出する。テクスチャ強度算出処理部３３４は、Ｇ補間処理部３３１−１とＥ補間処理部３３１−２により得られた補間値ＧＡ，ＥＡを用いて、Ｒ画素位置の横方向のテクスチャ強度ＴH（変化強度）と縦方向のテクスチャ強度ＴV（変化強度）を算出する。Ｇ補間処理部３３２−１は、横近傍の補間値ＧＡと信号Ｒを用いて、Ｇの２つ目の補間値ＧＦを算出し、Ｅ補間処理部３３２−２は、縦近傍の補間値ＥＡと信号Ｒを用いて、Ｅの２つ目の補間値ＥＦを算出する。またＧ補間処理部３３３−１は、補間値ＧＡ，ＥＡ，ＥＦを用いてＧの３つ目の補間値ＧＵを、Ｅ補間処理部３３３−２は、補間値ＧＡ，ＥＡ，ＧＦを用いてＥの３つ目の補間値ＥＵを、Ｒ画素位置に算出する。
【００５５】
Ｇ＋Ｅ生成処理部３３５は、補間値ＧＵ，ＥＦを合成して（Ｇ＋Ｅ）Vを算出するとともに、Ｇ＋Ｅ生成処理部３３６は、補間値ＧＦ，ＥＵを合成して（Ｇ＋Ｅ）Hを算出する。合成処理部３３７は、２つのＧ＋Ｅの値、すなわち（Ｇ＋Ｅ）V、（Ｇ＋Ｅ）Hとテクスチャ強度ＴH、ＴVを用いて、Ｒ画素位置での信号Ｇ＋Ｅを決定する。
【００５６】
以上の説明では、モザイク上のＲ，Ｇ，Ｅの信号を用いて、Ｒ画素上にＧ＋Ｅを生成する場合について説明したが、Ｂ画素上にＧ＋Ｅを生成する過程については、以上の説明においてＲをＢに、ＧをＥに、ＥをＧに読み替えることで得られる。また、Ｇ，Ｅ画素上にＧ＋Ｅを生成する方法については、あらかじめＧ，Ｅいずれかの画素値が分かっている状態であり、簡易な補間方法によっても十分な精度が得られるため、ここでは説明を省略する。
【００５７】
次に、図７のフローチャートを参照して、図４のDSPブロック２１６の処理について説明する。
【００５８】
ステップＳ１において、画像用ＲＡＭ２４１は、CCDイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図３を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。
【００５９】
ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。
【００６０】
ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるようにガンマ補正を行う。
【００６１】
ステップＳ４において、デモザイク処理部２５３により、図８を用いて後述するデモザイク処理が実行される。
【００６２】
YC変換部２５４は、ステップＳ５において、デモザイク処理部２５３からの出力であるＲ，Ｇ，Ｂ，Ｅの４チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限をおこなうことで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ６において、生成したＹ画像およびＣ画像を出力し、処理が終了される。
【００６３】
このような処理により、DSPブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、CPU２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。
【００６４】
次に、図８のフローチャートを参照して、図７のステップＳ４において実行されるデモザイク処理について説明する。
【００６５】
局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（以下に続く処理に必要とされる画素領域を含む十分な数）の画素を、局所領域として抽出し、Ｇ＋Ｅ算出処理部２８２および画素値補間部２８３に供給する。
【００６６】
ステップＳ２３において、Ｇ＋Ｅ算出処理部２８２は、図９のフローチャートを用いて後述する、Ｇ＋Ｅ算出処理を実行し、算出したＧ＋Ｅを画素値補間部２８３に供給する。
【００６７】
ステップＳ２４において、画素値補間部２８３は、Ｇ＋Ｅを用いて、各色の画素値を補間する。
【００６８】
ステップＳ２５において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２５において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２５において、全ての画素において処理が終了したと判断された場合、処理は図７のステップＳ５に進む。
【００６９】
換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２４の処理が終了された場合、処理が終了される。
【００７０】
次に、図９のフローチャートを参照して、図８のステップＳ２３において実行されるＧ＋Ｅ算出処理について説明する。この処理は、図６のＧ＋Ｅ算出処理部２８２により実行される処理である。
【００７１】
ステップＳ５１において、Ｇ補間処理部３３１−１は、第１のＧ補間処理を実行する。この詳細は、図１０および図１１を参照して後述する。
【００７２】
ステップＳ５２において、Ｅ補間処理部３３１−２は、第１のＥ補間処理を実行する。この詳細は、図１０および図１１を参照して後述する。
【００７３】
ステップＳ５３において、テクスチャ強度算出処理部３３４は、補正テクスチャ強度算出処理を実行する。この詳細は、図１２を参照して後述する。
【００７４】
ステップＳ５４において、Ｇ補間処理部３３２−１は、第２のＧ補間処理を実行する。この詳細は、図２０を参照して後述する。
【００７５】
ステップＳ５５において、Ｅ補間処理部３３２−２は、第２のＥ補間処理を実行する。この詳細は、図２０を参照して後述する。
【００７６】
ステップＳ５６において、Ｇ補間処理部３３３−１は、第３のＧ補間処理を実行する。この詳細は、図３１を参照して後述する。
【００７７】
ステップＳ５７において、Ｅ補間処理部３３３−２は、第３のＥ補間処理を実行する。この詳細は、図３１を参照して後述する。
【００７８】
ステップＳ５８において、Ｇ＋Ｅ生成処理部３３５は、第１のＧ＋Ｅ生成処理を実行する。この詳細は、図３４を参照して後述する。
【００７９】
ステップＳ５９において、Ｇ＋Ｅ生成処理部３３６は、第２のＧ＋Ｅ生成処理を実行する。この詳細は、図３５を参照して後述する。
【００８０】
ステップＳ６０において、合成処理部３３７は、合成処理を実行する。この詳細は、図３６を参照して後述する。
【００８１】
図９の処理により、モザイク状のＲ，Ｇ，Ｅの信号に基づいて、Ｒ画素上にＧ＋Ｅが生成される。
【００８２】
次に、図１０および図１１のフローチャートを参照して、図９のステップＳ５１またはステップＳ５２において実行される第１の補間処理（第１のＧ補間処理および第１のＥ補間処理）を説明する。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図１０および図１１においてＸと記述されている部分については、適宜Ｇ，Ｅに読み替えられる。具体的には、図１０および図１１の処理がステップＳ５１に対応する処理の場合、Ｇ補間処理部３３１−１が実行する処理であり、ステップＳ５２に対応する処理の場合、Ｅ補間処理部３３１−２が実行する処理である。
【００８３】
ステップＳ１０１において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、局所領域のうち、処理を実行する画素位置を示す第１のレジスタの値ｊを初期化してｊ＝−ｎ＋１とし、ステップＳ１０２において、局所領域のうち、処理を実行する画素位置を示す第２のレジスタの値ｋを初期化してｋ＝−ｎ＋１とする。ここでは、画素（０，０）を中心とする（２ｎ−１）×（２ｎ−１）の画素群に対して処理が行われる。なお、ｎは、正の整数であり、（ｊ，ｋ）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。なお、ｎの値は、処理に必要な任意の定数と考えることができる。したがって、本実施形態を実装する際には、このようなレジスタ値の細かい設定を省略することも可能である。特に、ｎが十分大きな値であるとすれば、実質的に同一の結果を得ることができるものと考えられる。このことは、後述するｎ’、ｎ’’、およびｎ’’’についても同様である。
【００８４】
ステップＳ１０３において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）がＸであるか否かを判定する。ここでＸは、Ｇ補間処理部３３１−１がこの処理を実行している場合にはＧとされ、Ｅ補間処理部３３１−２がこの処理を実行している場合にはＥとされる（以下同様）。上述した図３に示される４色のフィルタ配列が公知であることから、この処理では、画素位置を用いて色を判定することができる。
【００８５】
ステップＳ１０３において画素（ｊ，ｋ）の色がＸであると判定された場合、ステップＳ１０４において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ，ｋ）の色Ｘとする。すなわち、処理画素位置の色がＸであると判定された場合には、補間をする必要がないのでそのままの信号が用いられる。
【００８６】
ステップＳ１０３において、画素（ｊ，ｋ）がＸでないと判定された場合、ステップＳ１０５において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ−１，ｋ）の色がＸであるか否かを判定する。
【００８７】
ステップＳ１０５において画素（ｊ−１，ｋ）の色がＸであると判定された場合、ステップＳ１０６において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ−１，ｋ）の色Ｘと（ｊ＋１，ｋ）の色Ｘの平均値とする。すなわち、横に隣接する画素の色がＸであると判定された場合、左右から補間が行われる。
【００８８】
ステップＳ１０５において画素（ｊ−１，ｋ）の色がＸでないと判定された場合、ステップＳ１０７においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ−１）の色がＸであるか否かを判定し、画素（ｊ，ｋ−１）の色がＸであると判定された場合、ステップＳ１０８において画素（ｊ，ｋ）の補間値ＸＡを画素（ｊ，ｋ−１）の色と画素（ｊ,ｋ＋１）の色の平均とする。すなわち、縦に隣接する画素がＸであると判定された場合、上下補間が行われる。
【００８９】
ステップＳ１０７において画素（ｊ，ｋ−１）の色がＸでないと判定された場合、ステップＳ１０９において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、画素（ｊ，ｋ）の補間値ＸＡを、画素（ｊ−１，ｋ−１）の色、画素（ｊ＋１，ｋ−１）の色、画素（ｊ−１，ｋ＋１）の色、画素（ｊ＋１，ｋ＋１）の色の平均とする。すなわち、画素（ｊ，ｋ）、画素（ｊ−１，ｋ）および画素（ｊ，ｋ−１）がＸでないと判定された場合、左上、右上、左下、右下から補間が行われる。
【００９０】
ステップＳ１０４、ステップＳ１０６、ステップＳ１０８、またはステップＳ１０９の処理の後、ステップＳ１１０において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、第２のレジスタの値ｋを参照し、ｋ＝ｎ−１であるか否かを判定する。ステップＳ１１０においてｋ＝ｎ−１でないと判定された場合、ステップＳ１１１において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、第２のレジスタの値ｋをｋ＝ｋ＋１に更新して、処理はステップＳ１０３に戻り、それ以降の処理が繰り返される。
【００９１】
ステップＳ１１０においてｋ＝ｎ−１であると判定された場合、ステップＳ１１２において、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、処理を実行する画素位置を示す第１のレジスタの値ｊを参照し、ｊ＝ｎ−１であるか否かを判定する。ステップＳ１１２においてｊ＝ｎ−１ではないと判定された場合、ステップＳ１１３においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、第１のレジスタの値ｊをｊ＝ｊ＋１に更新して、処理はステップＳ１０２に戻り、それ以降の処理が繰り返される。
【００９２】
ステップＳ１１２においてｊ＝ｎ−１であると判定された場合、ステップＳ１１４においてＧ補間処理部３３１−１またはＥ補間処理部３３１−２は、（２ｎ−１）×（２ｎ−１）画素のＸの補間値ＸＡの組を出力し、処理は図９のステップＳ５２またはステップＳ５３に進む。
【００９３】
図１０および図１１の処理をまとめると、Ｇ補間処理部３３１−１またはＥ補間処理部３３１−２は、処理画素位置またはその近傍画素位置の色を判定し、それぞれ場合分けを行って線形補間によりＸの補間値ＸＡを算出している。すなわち、図１０および図１１の処理により、Ｘ（ＧまたはＥ）の補間値ＸＡを算出することができる。換言すると、図１０および図１１の処理によりＧの補間値ＧＡおよびＥの補間値ＥＡが算出される。
【００９４】
次に、図１２のフローチャートを参照して、図９のステップＳ５３において実行される補正テクスチャ強度算出処理を説明する。なお、この処理は図６のテクスチャ強度算出処理部３３４により実行される処理である。
【００９５】
ステップＳ１５１においてテクスチャ強度算出処理部３３４は、テクスチャ強度ＴH，ＴV算出処理を実行する。この処理の詳細は、図１３を参照して後述する。
【００９６】
ステップＳ１５２においてテクスチャ強度算出処理部３３４は、重み付き平均値ＭTH算出処理を実行する。この処理の詳細は、図１４を参照して後述する。
【００９７】
ステップＳ１５３においてテクスチャ強度算出処理部３３４は、重み付き平均偏差ＳTH算出処理を実行する。この処理の詳細は、図１６を参照して後述する。
【００９８】
ステップＳ１５４においてテクスチャ強度算出処理部３３４は、テクスチャ強度ＴH，ＴV補正処理を実行する。この処理の詳細は、図１７を参照して後述する。その後、処理は図９のステップＳ５４に進む。
【００９９】
図１２の処理により、補正されたテクスチャ強度ＴH，ＴVが算出される。
【０１００】
次に、図１３のフローチャートを参照して、図１２のステップＳ１５１において実行されるテクスチャ強度ＴH，ＴV算出処理の詳細を説明する。なおこの処理は、注目画素位置およびその上下左右の計５箇所のＧＡ，ＥＡを用いてテクスチャ強度ＴH，ＴVを算出する処理である。なお、ｎ’は、正の整数である。
【０１０１】
ステップＳ２０１において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ２０２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。なお、（ｊ’，ｋ’）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。
【０１０２】
ステップＳ２０３において、テクスチャ強度算出処理部３３４は、式（１）を用いて横勾配評価値ｄＨを算出するとともに、式（２）を用いて縦勾配評価値ｄＶを算出する。すなわち、テクスチャ強度算出処理部３３４は、各画素位置でＧＡ＋ＥＡを計算し、注目画素位置とその左右の間で減算を行って得られた横方向のグラディエント値の絶対値の和を横勾配評価値ｄＨとして算出するとともに、注目画素位置とその上下の間で減算を行って得られた縦方向のグラディエント値の絶対値の和を縦勾配評価値ｄＶとして算出する。
【０１０３】
ｄＨ＝｜ＧＡ（ｊ'−１，ｋ'）＋ＥＡ（ｊ'−１，ｋ'）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜＋｜ＧＡ（ｊ'＋１，ｋ'）＋ＥＡ（ｊ'＋１，ｋ'）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜    ・・・（１）
ｄＶ＝｜ＧＡ（ｊ'，ｋ'−１）＋ＥＡ（ｊ'，ｋ'−１）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜＋｜ＧＡ（ｊ'，ｋ'＋１）＋ＥＡ（ｊ'，ｋ'＋１）−（ＧＡ（ｊ'，ｋ'）＋ＥＡ（ｊ'，ｋ'））｜    ・・・（２）
【０１０４】
ステップＳ２０４においてテクスチャ強度算出処理部３３４は、横勾配評価値ｄＨ＞縦勾配評価値ｄＶであるか否かを判定し、ｄＨ＞ｄＶであると判定された場合、ステップＳ２０５においてテクスチャ強度算出処理部３３４は、画素（ｊ’，ｋ’）のテクスチャ強度ＴHを０とし、画素（ｊ’，ｋ’）のテクスチャ強度ＴVを１とする。
【０１０５】
ステップＳ２０４においてｄＨ＞ｄＶでないと判定された場合、ステップＳ２０６においてテクスチャ強度算出処理部３３４は、画素（ｊ’，ｋ’）のテクスチャ強度ＴHを１とし、画素（ｊ’，ｋ’）のテクスチャ強度ＴVを０とする。
【０１０６】
ステップＳ２０５またはステップＳ２０６の処理の後、処理はステップＳ２０７に進み、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ２０７においてｋ’＝ｎ’でないと判定された場合、ステップＳ２０８において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ２０３に戻り、それ以降の処理が繰り返される。
【０１０７】
ステップＳ２０７において、ｋ’＝ｎ’であると判定された場合、ステップＳ２０９において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ２０９においてｊ’＝ｎ’ではないと判定された場合、ステップＳ２１０においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ２０２に戻り、それ以降の処理が繰り返される。
【０１０８】
ステップＳ２０９において、ｊ’＝ｎ’であると判定された場合、ステップＳ２１１においてテクスチャ強度算出処理部３３４は、（２ｎ’＋１）×（２ｎ’＋１）画素のテクスチャ強度ＴH，ＴVの組を出力し、処理は図１２のステップＳ１５２に進む。
【０１０９】
図１３の処理により、処理画素位置およびその上下左右の計５箇所のＧＡ，ＥＡを用いてテクスチャ強度が算出される。
【０１１０】
次に、図１４のフローチャートを参照して、図１２のステップＳ１５２において実行される重み付き平均値ＭTH算出処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。
【０１１１】
ステップＳ２５１において、テクスチャ強度算出処理部３３４は、重み付き平均値ＭTHを０に初期化する。
【０１１２】
ステップＳ２５２において、テクスチャ強度算出処理部３３４は、テクスチャ強度ＴHを取得する。このテクスチャ強度ＴHは、上述した図１３の処理により算出された値である。
【０１１３】
ステップＳ２５３において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ２５４において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。
【０１１４】
ステップＳ２５５において、テクスチャ強度算出処理部３３４は、ＭTH＝ＭTH＋（重み係数ｗｉが施された画素（ｊ'，ｋ'）のテクスチャ強度ＴH）とする。すなわち、ＭTHに重み付けが施された画素（ｊ'，ｋ'）のテクスチャ強度ＴHを加算したものが新たなＭTHとされる。
【０１１５】
この重み係数ｗｉは、ｉ番目のデータの位置から注目画素への距離などを指標として予め設定されている値である。例えば、７×７の局所領域に対しては図１５に示されるように設定することができる。図中四角形は局所領域の画素位置を示し、四角形中の数字が該当する位置のデータの重み係数を示す。これらの重み係数は、図１５に示されるものに限定されないことはいうまでもないが、図１５に示されるように、注目画素に近い程重み係数が大きくなるようにした方が好適である。
【０１１６】
ステップＳ２５６において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ２５６において、ｋ’＝ｎ’でないと判定された場合、ステップＳ２５７において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ２５５に戻り、それ以降の処理が繰り返される。
【０１１７】
ステップＳ２５６において、ｋ’＝ｎ’であると判定された場合、ステップＳ２５８において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ２５８においてｊ’＝ｎ’ではないと判定された場合、ステップＳ２５９においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ２５４に戻り、それ以降の処理が繰り返される。
【０１１８】
ステップＳ２５８において、ｊ’＝ｎ’であると判定された場合、ステップＳ２６０において、テクスチャ強度算出処理部３３４は、ＭTH＝ＭTH／Ｗとする。このＷは、重み係数ｗｉの総和Ｗとされる。
【０１１９】
ステップＳ２６１においてテクスチャ強度算出処理部３３４は、テクスチャ強度ＴHの重み付き平均値ＭTHを出力し、処理は図１２のステップＳ１５３に進む。
【０１２０】
図１４の処理により、テクスチャ強度ＴHの重み付き平均値ＭTHが算出される。
【０１２１】
次に、図１６のフローチャートを参照して、図１２のステップＳ１５３において実行される重み付き平均偏差ＳTH算出処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。
【０１２２】
ステップＳ３０１において、テクスチャ強度算出処理部３３４は、重み付き平均偏差ＳTHを０に初期化する。
【０１２３】
ステップＳ３０２において、テクスチャ強度算出処理部３３４は、テクスチャ強度ＴHを取得する。このテクスチャ強度ＴHは、上述した図１３の処理により算出された値である。
【０１２４】
ステップＳ３０３において、テクスチャ強度算出処理部３３４は、重み付き平均値ＭTHを取得する。この重み付き平均値ＭTHは、上述した図１４の処理により算出された値である。
【０１２５】
ステップＳ３０４において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ３０５において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。
【０１２６】
ステップＳ３０６において、テクスチャ強度算出処理部３３４は、ＳTH＝ＳTH＋重み係数ｗｉが施された｜（画素（ｊ'，ｋ'）のテクスチャ強度ＴH）−（ＭTH）｜とする。すなわち、画素（ｊ’，ｋ’）のテクスチャ強度ＴHから重み付き平均ＭTHを減算した値の絶対値を取って重み付けした値に、ＳTHを加算したものが新たなＳTHとされる。このテクスチャ強度ＴHは、上述した図１３の処理で算出されたものである。この重み係数ｗｉは、上述した図１４における重み係数ｗｉと同様である。
【０１２７】
ステップＳ３０７において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’を参照し、ｋ’＝ｎ’であるか否かを判定する。ステップＳ３０７において、ｋ’＝ｎ’でないと判定された場合、ステップＳ３０８において、テクスチャ強度算出処理部３３４は、第２のレジスタの値ｋ’をｋ’＝ｋ’＋１に更新して、処理はステップＳ３０６に戻り、それ以降の処理が繰り返される。
【０１２８】
ステップＳ３０７において、ｋ’＝ｎ’であると判定された場合、ステップＳ３０９において、テクスチャ強度算出処理部３３４は、処理を実行する画素位置を示す第１のレジスタの値ｊ’を参照し、ｊ’＝ｎ’であるか否かを判定する。ステップＳ３０９においてｊ’＝ｎ’ではないと判定された場合、ステップＳ３１０においてテクスチャ強度算出処理部３３４は、第１のレジスタの値ｊ’をｊ’＝ｊ’＋１に更新して、処理はステップＳ３０５に戻り、それ以降の処理が繰り返される。
【０１２９】
ステップＳ３０９において、ｊ’＝ｎ’であると判定された場合、ステップＳ３１１において、テクスチャ強度算出処理部３３４は、ＳTH＝ＳTH／Ｗとする。このＷは、上述した図１４の処理と同様に、重み係数ｗｉの総和Ｗとされる。
【０１３０】
ステップＳ３１２においてテクスチャ強度算出処理部３３４は、重み付き平均偏差ＳTHを出力し、処理は図１２のステップＳ１５４に進む。
【０１３１】
図１６の処理により、テクスチャ強度ＴHの重み付き平均偏差ＳTHが算出される。
【０１３２】
次に、図１７のフローチャートを参照して、図１２のステップＳ１５４において実行されるテクスチャ強度ＴH，ＴV補正処理の詳細を説明する。なお、この処理は、図６のテクスチャ強度算出処理部３３４により実行される処理である。
【０１３３】
ステップＳ３５１において、テクスチャ強度算出処理部３３４は、重み付き平均偏差ＳTHを取得する。この重み付き平均偏差ＳTHは上述した図１６の処理で算出されたものである。
【０１３４】
ステップＳ３５２において、テクスチャ強度算出処理部３３４は、ＲをＳTH×（第１の定数）として算出する。この第１の定数は、例えば、経験的にまたは実験的に定められる所定の値である。
【０１３５】
ステップＳ３５３において、テクスチャ強度算出処理部３３４は、Ｒ＞１であるか否かを判定し、Ｒ＞１であると判定された場合、ステップＳ３５４においてＲ＝１と設定する。
【０１３６】
ステップＳ３５３においてＲ＞１でない、すなわちＲ≦１であると判定された場合、ステップＳ３５４の処理はスキップされる。
【０１３７】
ステップＳ３５３においてＲ＞１でないと判定された場合、またはステップＳ３５４の処理の後、ステップＳ３５５において、テクスチャ強度算出処理部３３４は、ＴH＝ＴH×（１−Ｒ）＋Ｒ／２とし、ＴV＝ＴV×（１−Ｒ）＋Ｒ／２とする。すなわち、テクスチャ強度ＴH，ＴVが補正される。その後、図１２のステップＳ１５４の処理が終了され、処理は図９のステップＳ５４に進む。
【０１３８】
図１７の処理により、重み付き平均偏差ＳTHに基づいて、テクスチャ強度ＴH，ＴVの値が補正される。
【０１３９】
次に、図９のステップＳ５４およびステップＳ５５において実行される第２のＧ補間処理および第２のＥ補間処理について説明する。図６のＧ補間処理部３３２−１とＥ補間処理部３３２−２の違いは、処理に用いる近傍画素の違いであり、重み付けによって、縦方向および横方向のうち、どちらの近傍画素を用いるのかを切り換えることができる。例えば、図１８の重みを用いれば、縦方向のサンプルを用いることになり、図１９の重みを用いれば、横方向のサンプルを用いることになる。本実施の形態では、Ｇ補間処理部３３２−１に横方向のサンプルを用い、Ｅ補間処理部３３２−２に縦方向のサンプルを用いる。注意すべき点はテクスチャの方向が縦方向であるからといって、必ずしも推定に縦近傍画素が用いられるとは限らないという点である。例えば、本実施の形態で用いている局所領域の色分布に対して線形回帰を適用し、不明な色成分の推定を行う手法では、回帰直線の算出に適した色分布を得るためには、テクスチャ方向に対して垂直な方向の近傍画素を用いた方が良い推定結果を得られる場合がある。どのような推定方法を用いるにしても、推定に用いる近傍画素の違いによって、横方向のテクスチャに対して信頼度の高い推定値と、縦方向のテクスチャに対して信頼度の高い推定値の２つの推定値が得られればよい。以下において、Ｘ，ｄｉｒと記述されている部分については、Ｇ補間処理部３３２−１の処理ではＧとＨに読み替え、Ｅ補間処理部３３２−２の処理ではＥとＶに適宜読み替える。方向を表すために付けられたＨ,Ｖは補間処理に用いられる近傍画素の方向を表す。
【０１４０】
図２０は、図９のステップＳ５４またはステップＳ５５において実行される第２の補間処理（第２のＧ補間処理または第２のＥ補間処理）を説明するフローチャートである。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図２０においてＸ，ｄｉｒと記述されている部分については、適宜、ＧおよびＨ、並びにＥおよびＶに読み替えられる。具体的には、図２０の処理がステップＳ５４の処理に対応する処理の場合、Ｇ補間処理部３３２−１が実行する処理であるので、Ｘ，ｄｉｒは、Ｇ，Ｈに読み替えられ、図２０の処理がステップＳ５５の処理に対応する処理の場合、Ｅ補間処理部３３２−２が実行する処理であるので、Ｘ，ｄｉｒは、Ｅ，Ｖに読み替えられる。
【０１４１】
ステップＳ４０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き平均値ＭRdir算出処理を実行する。この処理の詳細は、図２１を参照して後述する。
【０１４２】
ステップＳ４０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＸＡの重み付き平均値ＭXAdir算出処理を実行する。この処理の詳細は、図２１を参照して後述する。
【０１４３】
ステップＳ４０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き分散近似値ＶＡRRdir算出処理を実行する。この処理の詳細は、図２２を参照して後述する。
【０１４４】
ステップＳ４０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒ，ＸＡの重み付き共分散近似値ＶＡRXAdir算出処理を実行する。この処理の詳細は、図２３を参照して後述する。
【０１４５】
ステップＳ４０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線の傾きＫdir算出処理を実行する。この処理の詳細は、図２９を参照して後述する。
【０１４６】
ステップＳ４０６においてＧ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線によるＸの推定値ＸＦ算出処理を実行する。この処理の詳細は、図３０を参照して後述する。ステップＳ４０６の処理の後、処理は、図９のステップＳ５６に進む。
【０１４７】
次に、図２１のフローチャートを参照して、図２０のステップＳ４０１、またはステップＳ４０２において実行されるＲの重み付き平均値ＭRdir算出処理、またはＸＡの重み付き平均値ＭXAdir算出処理の詳細を説明する。なお、ＲおよびＸＡのいずれに対しても同様の処理が実行されるので、図２１においてＹと記述されている部分については、適宜Ｒ，ＸＡに読み替えられる。具体的には、図２１の処理が図９のステップＳ５４に対応する処理の場合、Ｇ補間処理部３３２−１が実行する処理であり、図２１の処理が図９のステップＳ５５に対応する処理の場合、Ｅ補間処理部３３２−２が実行する処理となる。なお、ｎ’’は、正の偶数である。なお、（ｊ’’，ｋ’’）は局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。
【０１４８】
ステップＳ４５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均値ＭYdirを０に初期化する。
【０１４９】
ステップＳ４５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化してｊ’’＝−ｎ’’とし、ステップＳ４５３において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化してｋ’’＝−ｎ’’とする。
【０１５０】
ステップＳ４５４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＭYdir＝ＭYdir＋（重み係数ｗｉdirが施された画素（ｊ'’，ｋ'’）のＹ）とする。すなわち、ＭYdirに重み付けが施された画素（ｊ’’，ｋ’’）のＹを加算したものが新たなＭYdirとされる。
【０１５１】
ステップＳ４５５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判定する。ステップＳ４５５において、ｋ’’＝ｎ’’でないと判定された場合、ステップＳ４５６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’をｋ’’＝ｋ’’＋２に更新して、処理はステップＳ４５４に戻り、それ以降の処理が繰り返される。
【０１５２】
ステップＳ４５５において、ｋ’’＝ｎ’’であると判定された場合、ステップＳ４５７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判定する。ステップＳ４５７においてｊ’’＝ｎ’’ではないと判定された場合、ステップＳ４５８においてＧ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’をｊ’’＝ｊ’’＋２に更新して、処理はステップＳ４５３に戻り、それ以降の処理が繰り返される。
【０１５３】
ステップＳ４５７において、ｊ’’＝ｎ’’であると判定された場合、ステップＳ４５９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＭYdir＝ＭYdir／Ｗdirとする。このＷdirは重み係数ｗｉdirの総和Ｗdirとされる。
【０１５４】
ステップＳ４６０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均値ＭYdirを出力し、処理は図２０のステップＳ４０２またはステップＳ４０３に進む。
【０１５５】
図２１の処理により、注目画素近傍のＲ，ＸＡの重み付き平均値が算出される。
【０１５６】
次に、図２２のフローチャートを参照して、図２０のステップＳ４０３において実行されるＲの重み付き分散近似値ＶＡRRdir算出処理の詳細を説明する。なお、この処理は、図６のＧ補間処理部３３２−１またはＥ補間処理部３３２−２により実行される処理である。
【０１５７】
ステップＳ５０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き分散近似値ＶＡRRdirを０に初期化する。
【０１５８】
ステップＳ５０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均ＭRdirを取得する。この重み付き平均ＭRdirは、上述した図２１の処理（図２０のステップＳ４０１の処理）により算出された値である。
【０１５９】
ステップＳ５０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化してｊ’’＝−ｎ’’とし、ステップＳ５０４において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化してｋ’’＝−ｎ’’とする。
【０１６０】
ステップＳ５０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡRRdir＝ＶＡRRdir＋重み係数ｗｉdirが施された｜（画素（ｊ'’，ｋ'’）のＲ）−（ＭRdir）｜とする。すなわち、画素（ｊ’’，ｋ’’）のＲからＲの重み付き平均値ＭRdirを減算した値の絶対値を取って重み付けした値に、ＶＡRRdirを加算したものが新たなＶＡRRdirとされる。
【０１６１】
ステップＳ５０６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判定する。ステップＳ５０６において、ｋ’’＝ｎ’’でないと判定された場合、ステップＳ５０７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’をｋ’’＝ｋ’’＋２に更新して、処理はステップＳ５０５に戻り、それ以降の処理が繰り返される。
【０１６２】
ステップＳ５０６において、ｋ’’＝ｎ’’であると判定された場合、ステップＳ５０８において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判定する。ステップＳ５０８においてｊ’’＝ｎ’’ではないと判定された場合、ステップＳ５０９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’をｊ’’＝ｊ’’＋２に更新して、処理はステップＳ５０４に戻り、それ以降の処理が繰り返される。
【０１６３】
ステップＳ５０８において、ｊ’’＝ｎ’’であると判定された場合、ステップＳ５１０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡRRdir＝ＶＡRRdir／Ｗdirとする。このＷdirは、重み係数ｗｉdirの総和Ｗdirとされる。
【０１６４】
ステップＳ５１１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｒの重み付き分散近似値ＶＡRRdirを出力し、処理は図２０のステップＳ４０４に進む。
【０１６５】
図２２の処理により、Ｒの重み付き分散近似値ＶＡRRdirが算出される。
【０１６６】
次に、図２３のフローチャートを参照して、図２０のステップＳ４０４において実行される、Ｒ，ＸＡの重み付き共分散近似計算処理について説明する。
【０１６７】
ステップＳ５２１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、出力される値であるＲ，ＸＡの重み付き共分散値ＶＡXAdirを０に初期化する。
【０１６８】
ステップＳ５２２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均ＭRdirおよび重み付き平均ＭXAdirを取得する。重み付き平均ＭRdirは、図２０のステップＳ４０１の処理（図２１の処理）で算出された値であり、重み付き平均ＭXAdirは、図２０のステップＳ４０２の処理（図２１の処理）で算出された値である。
【０１６９】
ステップＳ５２３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を初期化して、ｊ’’＝−ｎ’’とする
【０１７０】
ステップＳ５２４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を初期化して、ｋ’’＝−ｎ’’とする
【０１７１】
ステップＳ５２５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、図２７を用いて後述する積算処理を実行する。
【０１７２】
ステップＳ５２６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第２のレジスタの値ｋ’’を参照し、ｋ’’＝ｎ’’であるか否かを判断する。
【０１７３】
ステップＳ５２６において、ｋ’’＝ｎ’’ではないと判断された場合、ステップＳ５２７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第２のレジスタの値ｋ’’を、ｋ’’＝ｋ’’＋２に更新して、処理は、ステップＳ５２５に戻り、それ以降の処理が繰り返される。
【０１７４】
ステップＳ５２６において、ｋ’’＝ｎ’’であると判断された場合、ステップＳ５２８において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’を参照し、ｊ’’＝ｎ’’であるか否かを判断する。
【０１７５】
ステップＳ５２８において、ｊ’’＝ｎ’’ではないと判断された場合、ステップＳ５２９において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、第１のレジスタの値ｊ’’を、ｊ’’＝ｊ’’＋２に更新して、処理は、ステップＳ５２４に戻り、それ以降の処理が繰り返される。
【０１７６】
ステップＳ５２８において、ｊ’’＝ｎ’’であると判断された場合、ステップＳ５３０において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡRXAdir＝ＶＡRXAdir／Ｗdirとし、これをＲ，ＸＡの重み付き共分散近似値ＶＡRRdirとして出力して、処理は図２０のステップＳ４０５に進む。
【０１７７】
従来の方法により回帰直線の傾きを算出する場合、以下の式（３）に示されるような演算を行う必要がある。
【０１７８】
【数１】
2005160044.tif 000003
【０１７９】
しかしながら、式（３）を用いて演算を実行した場合、乗算の回数がデータの個数Ｎに比例して増大する点が問題となる。そこで、この乗算を簡単な演算で近似することを考える。簡単のためデータＸｉおよびデータＹｉが、区間[０，１]に正規化されているとすると、０≦Ｍｘ，Ｍｙ≦１が成立するとともに、−１＜Ｘｉ−Ｍｘ，Ｙｉ−Ｍｙ＜１が成立する。そこで、−１＜ｐ，ｑ＜１となる２変数ｐ＝Ｘｉ−Ｍｘおよびｑ＝Ｙｉ−Ｍｙの乗算ｐｑを考えると、ｐｑは、図２４に示される値域をとる。このｐ、ｑの符号と絶対値に基づいて、近似した値を得る方法として、条件演算、絶対値演算、および、加減算のみの演算で実現可能な近似方法の一例を説明する。
【０１８０】
すなわち、
｜ｐ｜≧｜ｑ｜かつｐ≧０のとき、ｐｑをｑで近似し、
｜ｐ｜≧｜ｑ｜かつｐ＜０のとき、ｐｑを−ｑで近似し、
｜ｐ｜＜｜ｑ｜かつｑ≧０のとき、ｐｑをｐで近似し、
｜ｐ｜＜｜ｑ｜かつｑ＜０のとき、ｐｑを−ｐで近似する
ことにより、演算を簡略化することができる。
【０１８１】
また、この近似方法においては、ｐ＝ｑの場合、ｐの２乗（またはｑの２乗）は、ｐ（またはｑ）の絶対値に近似される。
【０１８２】
この近似方法を用いて近似されたｐｑを図２５に示し、近似演算による２乗誤差を図２６に示す。図２４を用いて説明したｐｑの値のとりうる範囲と、図２５に示される近似方法を用いて近似されたｐｑの値のとりうる範囲は、大きな違いがないことが分かる。図２６に示される近似演算による２乗誤差からも、違いがわずかなものであることが分かる。
【０１８３】
次に、図２７のフローチャートを参照して、図２３のステップＳ５２５において実行される積算処理について説明する。積算処理は、色成分の値が［０，１］に正規化されているものとして、上述した積の近似方法を用いて、近似された共分散値が算出される場合に実行される処理である。
【０１８４】
ステップＳ５５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、｛Ｒ（ｊ’’，ｋ’’）−ＭRdir｝をｐとする。
【０１８５】
ステップＳ５５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、｛ＸＡ（ｊ’’，ｋ’’）−ＭXAdir｝をｑとする。
【０１８６】
ステップＳ５５３において、図２８を参照して後述する積算近似処理が実行される。
【０１８７】
ステップＳ５５４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡXAdir＝ＶＡXAdir＋重み係数ｗｉdirが施された（ｐｑの近似値）とし、処理は、図２３のステップＳ５２６に進む。
【０１８８】
次に、図２８のフローチャートを参照して、図２７のステップ５５３において実行される積算近似処理について説明する。
【０１８９】
ステップＳ６０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、図２７のステップＳ５５１およびステップＳ５５２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。
【０１９０】
ステップＳ６０１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ６０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐ≧０であるか否かを判断する。
【０１９１】
ステップＳ６０２において、ｐ≧０ではないと判断された場合、ステップＳ６０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を−ｑとし、処理は、図２７のステップＳ５５４に進む。
【０１９２】
ステップＳ６０２において、ｐ≧０であると判断された場合、ステップＳ６０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を＋ｑとし、処理は図２７のステップＳ５５４に進む。
【０１９３】
ステップＳ６０１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ６０５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｑ≧０であるか否かを判断する。
【０１９４】
ステップＳ６０５において、ｑ≧０であると判断された場合、ステップＳ６０６において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を＋ｐとし、処理は、図２７のステップＳ５５４に進む。
【０１９５】
ステップＳ６０５において、ｑ≧０ではないと判断された場合、ステップＳ６０７において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ｐｑの近似値を−ｐとし、処理は、図２７のステップＳ５５４に進む。
【０１９６】
次に、図２９のフローチャートを参照して、図２０のステップＳ４０５において実行される回帰直線の傾きＫdir算出処理の詳細を説明する。なお、この処理は、図６のＧ補間処理部３３２−１またはＥ補間処理部３３２−２により実行される処理である。
【０１９７】
ステップＳ６５１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き分散近似値ＶＡRRdirを取得する。この値は、上述した図２０のステップＳ４０３（図２２）の処理で算出されたものである。
【０１９８】
ステップＳ６５２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き共分散近似値ＶＡRXAdirを取得する。この値は上述した図２０のステップＳ４０４（図２３）の処理で算出されたものである。
【０１９９】
ステップＳ６５３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、ＶＡRRdir＜（第２の定数）であるか否かを判定し、ＶＡRRdir＜（第２の定数）であると判定された場合、ステップＳ６５４においてＶＡRRdir＝（第２の定数）と設定する。なお、第２の定数は、例えば、経験的にまたは実験的に定められる所定の値である。
【０２００】
ステップＳ６５３において、ＶＡRRdir＜（第２の定数）でない、すなわちＶＡRRdir≧（第２の定数）であると判定された場合、ステップＳ６５４の処理はスキップされる。
【０２０１】
ステップＳ６５３においてＶＡRRdir＜（第２の定数）でないと判定された場合、またはステップＳ６５４の処理の後、ステップＳ６５５において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、Ｋdir＝ＶＡRXAdir／ＶＡRRdirとする。その後処理は、図２０のステップＳ４０６に進む。
【０２０２】
図２９の処理により、回帰直線の傾きＫdirが算出される。
【０２０３】
次に、図３０のフローチャートを参照して、図２０のステップＳ４０６において実行される回帰直線によるＸの推定値ＸＦ算出処理を説明する。
【０２０４】
ステップＳ７０１において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均ＭRdirを取得する。この値は、上述した図２０のステップＳ４０１で算出されたものである。
【０２０５】
ステップＳ７０２において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、重み付き平均ＭXAdirを取得する。この値は、上述した図２０のステップＳ４０２で算出されたものである。
【０２０６】
ステップＳ７０３において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、回帰直線の傾きＫdirを取得する。この値は、上述した図２０のステップＳ４０５で算出されたものである。
【０２０７】
ステップＳ７０４において、Ｇ補間処理部３３２−１またはＥ補間処理部３３２−２は、注目画素Ｘの推定値ＸＦ＝｛Ｋdir（注目画素のＲ−重み付き平均ＭRdir）＋重み付き平均ＭXAdir｝とする。すなわち、回帰直線の傾きＫdirに注目画素のＲから重み付き平均ＭRdirが減算された値が乗算され、その値に重み付き平均ＭXAdirが加算された値が注目画素Ｘの推定値ＸＦとされる。その後、図２０の処理は終了され、処理は、図９のステップＳ５６に進む。
【０２０８】
図３０の処理により、Ｇ補間処理部３３２−１は注目画素Ｇの推定値ＧＦを算出し、Ｅ補間処理部３３２−２は注目画素Ｅの推定値ＥＦを算出する。
【０２０９】
次に、図３１を参照して、図９のステップＳ５６またはステップＳ５７において実行される第３の補間処理（第３のＧ補間処理または第３のＥ補間処理）を説明する。なお、ＧおよびＥのいずれに対しても同様の処理が実行されるので、図３１においてＸと記述されている部分については、適宜、Ｇ，Ｅに読み替えられる。具体的には、図３１の処理が図９ステップＳ５６の処理に対応する処理の場合、Ｇ補間処理部３３３−１が実行する処理であるので、Ｘは、Ｇに読み替えられ、図３１の処理が図９のステップＳ５７の処理に対応する処理の場合、Ｅ補間処理部３３３−２が実行する処理であるので、Ｘは、Ｅに読み替えられる。また、ここでは、ＸがＧの場合にはＹをＥとし、ＸがＥの場合にはＹをＧとする。
【０２１０】
ステップＳ７５１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素のＹＦを取得する。具体的には、ＸがＧの場合にはＹがＥであり、ＸがＥの場合にはＹがＧであるので、Ｇ補間処理部３３３−１は、ＥＦを取得し、Ｅ補間処理部３３３−２は、ＧＦを取得する。すなわち、Ｇ補間処理部３３３−１は、図３０の処理でＥ補間処理部３３２−２により算出された推定値ＸＦ（ＥＦ）を取得し、Ｅ補間処理部３３３−２は、図３０の処理でＧ補間処理部３３２−１により算出された推定値ＸＦ（ＧＦ）を取得する。
【０２１１】
ステップＳ７５２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均ＭXA算出処理を実行する。この処理の詳細は、図３２を参照して後述する。
【０２１２】
ステップＳ７５３において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均ＭYA算出処理を実行する。この処理の詳細は、図３２を参照して後述する。
【０２１３】
ステップＳ７５４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｘの補間値ＸＵ算出処理を実行する。この処理の詳細は、図３３を参照して後述する。ステップＳ７５４の処理の後、図３１の処理は終了され、処理は、図９のステップＳ５８に進む。
【０２１４】
次に、図３２のフローチャートを参照して、図３１のステップＳ７５２における重み付き平均ＭXA算出処理について説明する。なお、ｎ’’’は、正の整数である。また、（ｊ’’’，ｋ’’’）は、局所領域における中心（注目画素位置）を（０，０）とした場合の、処理を実行する画素位置を示す。
【０２１５】
ステップＳ８０１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均値ＭXAを０に初期化する。
【０２１６】
ステップＳ８０２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を初期化してｊ’’’＝−ｎ’’’とし、ステップＳ８０３において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’’’を初期化してｋ’’’＝−ｎ’’’とする。
【０２１７】
ステップＳ８０４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、ＭXA＝ＭXA＋（重み係数ｗ’ｉが施された画素（ｊ''’，ｋ'''）の補間値ＸＡ）とする。すなわち、ＭXAに重み係数ｗ’ｉが施された画素（ｊ'''，ｋ'''）の補間値ＸＡを加算したものが新たなＭXAとされる。
【０２１８】
ステップＳ８０５において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、第２のレジスタの値ｋ’’’を参照し、ｋ’’’＝ｎ’’’であるか否かを判定する。ステップＳ８０５において、ｋ’’’＝ｎ’’’でないと判定された場合、ステップＳ８０６において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、第２のレジスタの値ｋ’’’をｋ’’’＝ｋ’’’＋１に更新して、処理はステップＳ８０４に戻り、それ以降の処理が繰り返される。
【０２１９】
ステップＳ８０５において、ｋ’’’＝ｎ’’’であると判定された場合、ステップＳ８０７において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、処理を実行する画素位置を示す第１のレジスタの値ｊ’’’を参照し、ｊ’’’＝ｎ’’’であるか否かを判定する。ステップＳ８０７においてｊ’’’＝ｎ’’’ではないと判定された場合、ステップＳ８０８においてＧ補間処理部３３３−１またはＥ補間処理部３３３−２は、第１のレジスタの値ｊ’’’をｊ’’＝ｊ’’’＋１に更新して、処理はステップＳ８０３に戻り、それ以降の処理が繰り返される。
【０２２０】
ステップＳ８０７において、ｊ’’’＝ｎ’’’であると判定された場合、ステップＳ８０９において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、ＭXA＝ＭXA／Ｗ’とする。このＷ’は重み係数ｗ'ｉの総和Ｗ’とされる。
【０２２１】
ステップＳ８１０において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均値ＭXAを出力し、処理は図３１のステップＳ７５３に進む。
【０２２２】
図３２の処理により、ＸＡの重み付き平均値ＭXAが算出される。
【０２２３】
なお、図３２の処理では、重み付き平均ＭXAについてしか記載されていないが、上述したように、この処理をＧ補間処理部３３３−１が実行する場合、ＸはＧに読み替えられ、ＹがＥに読み替えられ、この処理をＥ補間処理部３３３−２が実行する場合、ＸはＥに読み替えられ、ＹがＧに読み替えられる。すなわち、Ｇ補間処理部３３３−１およびＥ補間処理部３３３−２によって、Ｇ，Ｅについて図３２の処理が実行されることにより、ＭXAおよびＭYAが算出される。図３２において、重み付き平均ＭXAおよび重み付き平均ＭYAが算出された場合、処理は図３１のステップＳ７５４に進む。
【０２２４】
次に、図３３のフローチャートを参照して、図３１のステップＳ７５４において実行されるＸの補間値ＸＵ算出処理について説明する。ここでは、ＸがＧの場合はＹをＥに、ＸがＥの場合はＹをＧに適宜読み替えられる。
【０２２５】
ステップＳ８５１において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素の補間値ＹＦを取得する。この値は、上述した図３１のステップＳ７５１の処理で取得されたものと同じものである。
【０２２６】
ステップＳ８５２において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均ＭXAを取得する。この値は、上述した図３１のステップＳ７５２（図３２）の処理で算出されたものである。
【０２２７】
ステップＳ８５３において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、重み付き平均ＭYAを取得する。この値は、上述した図３１のステップＳ７５３（図３２）の処理で算出されたものである。
【０２２８】
ステップＳ８５４において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、ＭYA＜（第３の定数）であるか否かを判定し、ＭYA＜（第３の定数）であると判定された場合、ステップＳ８５５においてＭ’YA＝（第３の定数）と設定する。なお、第３の定数は、例えば、経験的にまたは実験的に定められる所定の値である。
【０２２９】
ステップＳ８５４において、ＭYA＜（第３の定数）ではない、すなわちＭYA≧（第３の定数）であると判定された場合、ステップＳ８５６においてＧ補間処理部３３３−１またはＥ補間処理部３３３−２は、Ｍ’YA＝ＭYAと設定する。
【０２３０】
ステップＳ８５５の処理の後、またはステップＳ８５６の処理の後、ステップＳ８５７において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素位置のＸの補間値ＸＵ＝（ＭXA／Ｍ’YA）（注目画素位置のＹＦ−ＭYA）＋ＭXAとする。これにより、Ｘの補間値ＸＵが算出される。
【０２３１】
ステップＳ８５８において、Ｇ補間処理部３３３−１またはＥ補間処理部３３３−２は、注目画素位置のＸの補間値ＸＵを出力し、その後図３３の処理は終了され、処理は図９のステップＳ５８に進む。
【０２３２】
次に、図３４のフローチャートを参照して、図９のステップＳ５８において実行される第１のＧ＋Ｅ生成処理について説明する。なおこの処理は、図６のＧ＋Ｅ生成処理部３３５により実行される処理である。
【０２３３】
ステップＳ９０１において、Ｇ＋Ｅ生成処理部３３５は、第３の補間処理により算出された注目画素位置のＧの補間値ＧＵを取得する。具体的には、図９のステップＳ５６の処理で、Ｇ補間処理部３３３−１により算出されたＧの補間値ＧＵ（図３３の補間値ＸＵに対応する値）が取得される。
【０２３４】
ステップＳ９０２において、Ｇ＋Ｅ生成処理部３３５は、第２の補間処理により算出された注目画素位置のＥの補間値ＥＦを取得する。具体的には、図９のステップＳ５５の処理で、Ｅ補間処理部３３２−２により算出されたＥの補間値ＥＦ（図３０の補間値ＸＦに対応する値）が取得される。
【０２３５】
ステップＳ９０３において、Ｇ＋Ｅ生成処理部３３５は、注目画素位置の（Ｇ＋Ｅ）V＝（注目画素位置のＧＵ＋注目画素位置のＥＦ）／２とする。すなわち、注目画素位置のＧＵと注目画素位置のＥＦの平均値が注目画素位置の（Ｇ＋Ｅ）Vとされる。
【０２３６】
ステップＳ９０４において、Ｇ＋Ｅ生成処理部３３５は、注目画素位置の（Ｇ＋Ｅ）Vを出力し、処理は図９のステップＳ５９に進む。
【０２３７】
次に、図３５のフローチャートを参照して、図９のステップＳ５９において実行される第２のＧ＋Ｅ生成処理について説明する。なおこの処理は、図６のＧ＋Ｅ生成処理部３３６により実行される処理である。
【０２３８】
ステップＳ９５１において、Ｇ＋Ｅ生成処理部３３６は、第２の補間処理により算出された注目画素位置のＧの補間値ＧＦを取得する。具体的には、図９のステップＳ５４の処理で、Ｇ補間処理部３３２−１により算出されたＧの補間値ＧＦ（図３０の補間値ＸＦに対応する値）が取得される。
【０２３９】
ステップＳ９５２において、Ｇ＋Ｅ生成処理部３３６は、第３の補間処理により算出された注目画素位置のＥの補間値ＥＵを取得する。具体的には、図９のステップＳ５７の処理で、Ｅ補間処理部３３３−２により算出されたＥの補間値ＥＵ（図３３の補間値ＸＵに対応する値）が取得される。
【０２４０】
ステップＳ９５３において、Ｇ＋Ｅ生成処理部３３６は、注目画素位置の（Ｇ＋Ｅ）H＝（注目画素位置のＧＦ＋注目画素位置のＥＵ）／２とする。すなわち、注目画素位置のＧＦと注目画素位置のＥＵの平均値が注目画素位置の（Ｇ＋Ｅ）Hとされる。
【０２４１】
ステップＳ９５４において、Ｇ＋Ｅ生成処理部３３６は、注目画素位置の（Ｇ＋Ｅ）Hを出力し、処理は図９のステップＳ６０に進む。
【０２４２】
次に、図３６のフローチャートを参照して、図９のステップＳ６０において実行される合成処理について説明する。なお、この処理は、図６の合成処理部３３７により実行される処理である。
【０２４３】
ステップＳ１００１において、合成処理部３３７は、第１のＧ＋Ｅ生成処理により算出された注目画素位置の（Ｇ＋Ｅ）Vを取得する。具体的には、図９のステップＳ５８（図３４）の処理で、Ｇ＋Ｅ生成処理部３３５により算出された（Ｇ＋Ｅ）Vが取得される。
【０２４４】
ステップＳ１００２において、合成処理部３３７は、第２のＧ＋Ｅ生成処理により算出された注目画素位置の（Ｇ＋Ｅ）Hを取得する。具体的には、図９のステップＳ５９（図３５）の処理で、Ｇ＋Ｅ生成処理部３３６により算出された（Ｇ＋Ｅ）Hが取得される。
【０２４５】
ステップＳ１００３において、合成処理部３３７は、補正テクスチャ強度算出処理により算出された、補正されたテクスチャ強度ＴH，ＴVを取得する。具体的には、図９のステップＳ５３（図１２）の処理で、テクスチャ強度算出処理部３３４により算出された補正されたテクスチャ強度ＴH，ＴVが取得される。
【０２４６】
ステップＳ１００４において、本実施の形態で用いた線形回帰による色の補間では、縦方向のサンプルを用いて作られた（Ｇ＋Ｅ）Vは横方向のテクスチャに信頼性が高く、横方向のサンプルを用いて作られた（Ｇ＋Ｅ）Hは縦方向のテクスチャに信頼性が高いので、合成処理部３３７は、注目画素位置の（Ｇ＋Ｅ）＝（注目画素位置の（Ｇ＋Ｅ）V×ＴH＋注目画素位置の（Ｇ＋Ｅ）H×ＴV）とする。
【０２４７】
ステップＳ１００５において、合成処理部３３７は、注目画素位置の（Ｇ＋Ｅ）を出力し、図９の処理は終了され、処理は、図８のステップＳ２４に進む。
【０２４８】
なお、以上の例では、テクスチャ強度ＴH，ＴVの算出をＧ補間処理部３３１−１（第１のＧ補間処理）およびＥ補間処理部３３１−２（第１のＥ補間処理）により補間されたＧＡおよびＥＡを用いて行ったが、簡易的に原信号であるモザイク画像から直接行うこともできる。図３７は、図１３に代えてテクスチャ強度ＴH，ＴVをモザイク画像から直接算出する処理を説明するフローチャートである。図３７の例において、Ｍと記述されている部分は、モザイク画像信号を表す。
【０２４９】
ステップＳ１０５１において、テクスチャ強度算出処理部３３４は、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｊ’を初期化してｊ’＝−ｎ’とし、ステップＳ１０５２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｋ’を初期化してｋ’＝−ｎ’とする。
【０２５０】
ステップＳ１０５３において、テクスチャ強度算出処理部３３４は、式（４）を用いて横勾配評価値ｄＨを算出するとともに、式（５）を用いて縦勾配評価値ｄＶを算出する。
【０２５１】
ｄＨ＝｛（｜Ｍ（ｊ'−２，ｋ'）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'＋２，ｋ'）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'−１，ｋ'）−Ｍ（ｊ'＋１，ｋ'）｜｝／２
・・・（４）
ｄＶ＝｛（｜Ｍ（ｊ'，ｋ'−２）−Ｍ（ｊ'，ｋ'）｜＋｜Ｍ（ｊ'，ｋ'＋２）−Ｍ（ｊ'，ｋ'）｜）／２＋｜Ｍ（ｊ'，ｋ'−１）−Ｍ（ｊ'，ｋ'＋１）｜｝／２
・・・（５）
【０２５２】
ステップＳ１０５４乃至ステップＳ１０６１の処理は、上述した図１３のステップＳ２０４乃至ステップＳ２１１の処理と同様であるので、その説明は省略する。
【０２５３】
図３７の処理により、簡単にテクスチャ強度ＴH，ＴVを算出することができる。図３７の処理で得られたテクスチャ強度ＴH，ＴVは、注目画素の色がＲであるかＢであるかによって、フィルタ配列の違いによる影響を受けるものの、図１３の処理で得られるテクスチャ強度ＴH，ＴVに近い結果が得られるので、この処理を適用するようにしてもよい。
【０２５４】
以上の処理をまとめると、以下の通りとなる。
【０２５５】
テクスチャ強度は、注目画素位置におけるグラディエント値より算出された、テクスチャの方向性を表す値（変化強度）である。色成分の推定精度は、推定に用いる近傍画素の選択に大きく左右される。そこで、縦方向の近傍画素を用いた推定と横方向の近傍画素を用いた推定を行い、それぞれの推定結果をテクスチャ強度に基づいてブレンドすることで適切な推定を行うようにする。
【０２５６】
テクスチャ強度の算出には２段階の処理が行われる。最初に、注目画素位置の縦方向、横方向のグラディエント値に基づいて、縦勾配評価値と横勾配評価値を算出し、テクスチャの変化が大きい方向を判定する。ここではテクスチャの変化が大きい方向のテクスチャ強度を０、小さい方向のテクスチャ強度を１とする。ここで、縦方向のテクスチャ強度をＴV、横方向のテクスチャ強度をＴHとする。次に、１度求めたテクスチャ強度を近傍画素位置で得られたテクスチャ強度の状態も考慮に入れて補正を行う。テクスチャ方向が横であれば、局所領域全ての画素ＴH＝１，ＴV＝０となり、テクスチャ方向が縦になるに連れてＴH＝０，ＴV＝１となる画素が増えていく。すなわち、テクスチャ方向が縦または横である時に判定のばらつきが最小であり、４５度付近でもっともばらつきが多くなると考えられる。この性質を用いて注目画素位置におけるテクスチャ強度を補正すると、あらゆる角度のテクスチャに対応できると同時に、限界解像度付近のテクスチャの方向が判定できなくなる領域における、判定結果のばらつきに起因する不自然なブレンドを防ぐことができる。補正方法の例を以下に示す。局所領域のＴH，ＴVを用いて横方向のテクスチャ強度の平均偏差ＳTHと縦方向のテクスチャ強度の平均偏差ＳTVを算出し、式（６）乃至式（８）に示される補正式によりテクスチャ強度が補正される。
【０２５７】
Ｒ＝ＳTH×（第１の定数）    ・・・（６）
Ｔ’H（ｘ，ｙ）=ＴH（ｘ，ｙ）×（１−Ｒ）＋Ｒ／２    ・・・（７）
Ｔ’V（ｘ，ｙ）=ＴV（ｘ，ｙ）×（１−Ｒ）＋Ｒ／２    ・・・（８）
【０２５８】
また、（Ｇ＋Ｅ）Hおよび（Ｇ＋Ｅ）Vのブレンド結果（Ｇ＋Ｅ）は、補正されたテクスチャ強度Ｔ’H，Ｔ’Vに基づいて、式（９）により算出される。
【０２５９】
（Ｇ＋Ｅ）＝（Ｇ＋Ｅ）V×Ｔ’H＋（Ｇ＋Ｅ）H×Ｔ’V    ・・・（９）
【０２６０】
ここで、Ｒが１より大きくなる場合には、１にクリップされる。式（６）乃至式（９）により、判定結果のばらつきが小さい場合Ｒは０に近づき、ＴH，ＴVがそのまま出力される。また、判定結果のばらつきが大きい場合Ｒは大きくなり、Ｔ’H＝０．５，Ｔ’V＝０．５に近づくことになる。また、式（６）乃至式（９）によれば、Ｔ’H，Ｔ’Vの和が必ず１になると同時に、第１の定数によりＴ’H，Ｔ’Vの値の挙動をコントロールすることができる。
【０２６１】
回帰推定の場合、なるべく（Ｇ＋Ｅ）H，（Ｇ＋Ｅ）Vをブレンドしない方が良いＭＴＦ（Modulation Transfer function）を得ることができるため、限界解像度付近でのアーチファクトが除去される程度に第１の定数を小さく設定することで、高いＭＴＦ性能を引き出すことができる。ここでは、注目画素位置を含む局所領域におけるテクスチャ強度のばらつきを評価するために平均偏差を用いているが、標準偏差等、他の統計量を用いても構わない。また、式（６）におけるＲの算出をＳTHだけでなくＳTVも用いた以下の式（１０）としてもよい。
【０２６２】
Ｒ＝（ＳTH＋ＳTV）×（第２の定数）    ・・・（１０）
【０２６３】
本発明では、ベイヤー配列（図１）におけるＧに代わる輝度成分として（Ｇ＋Ｅ）という新たな色成分を生成する。Ｇ＋Ｅは同一画素上のＧとＥを加算平均することにより得られる。Ｇ＋Ｅは、少なくとも半分はＧ成分からできているため、Ｇと相関が高いことが期待できる上、さらにＧ，Ｅが互いに相関の高い分光感度を持っているならば、Ｇ＋ＥをＧの代わりに用いて画像処理を行っても相応の結果を期待できる。つまり、Ｇ，Ｅがそれぞれベイヤー配列におけるＧに近い分光特性を持つ場合、Ｇ＋Ｅと同様に輝度を代表する色成分として用いることができ、本発明において輝度を全画素に揃える処理は、注目画素位置において横方向のテクスチャに対して信頼性の高い推定値（Ｇ＋Ｅ）Vと、縦方向のテクスチャに対して信頼性の高い推定値（Ｇ＋Ｅ）Hの２つのＧ＋Ｅの値を算出し、テクスチャ強度に基づいてブレンドして、テクスチャ方向に適応したＧ＋Ｅを全画素に揃える処理であるといえる。
【０２６４】
注目画素位置の色がＧ，Ｅのいずれかである場合、例えば、Ｅが存在する画素位置においてはＧを、Ｇが存在する画素位置においてはＥを補間して（Ｇ＋Ｅ）を生成する。この補間に用いられる近傍画素を縦近傍にするか横近傍にするかによって、得られたＧ＋Ｅのテクスチャ方向に対する信頼性を切り換えることができる。注目画素位置の色がＥでもＧでもないＲまたはＧである場合は、Ｅ，Ｇ双方とも補間された結果を用いなければならないので、この画素位置におけるＧ＋Ｅを精度良く補間するには工夫が必要である。
【０２６５】
本発明では、注目画素位置の色がＲまたはＢの場合には、ＥとＧの補間に、ＲまたはＢに含まれる高周波成分を利用することを提案する。つまり、従来の補間方法において色のＤＣ成分に輝度の高周波成分を加えていたのと同様に、注目画素位置にあるＲまたはＢの高周波成分に近傍画素から得られたＥまたはＧのＤＣ成分を加えてＥまたはＧの補間を行う。この際、補間に用いる近傍画素を切り替え、縦近傍の画素を補間に用いたＥの補間値ＥＦと、横近傍の画素を補間に用いたＧの補間値ＧＦを算出する。さらにＥＦの高周波成分と近傍画素から得られるＧのＤＣ成分を用いて、注目画素位置のＧを補間し、ＥＦと加算平均して（Ｇ＋Ｅ）Vを得る。同じく、ＧＦの高周波成分と近傍画素から得られるＥのＤＣ成分を用いて、注目画素位置のＥを補間し、ＧＦと加算平均して（Ｇ＋Ｅ）Hを得る。
【０２６６】
なお、以上の例では、４色のフィルタ配列について述べてきたが、図３８に示されるように、４色のフィルタ配列にさらに２色（この追加される２色を、以下、Ｏ，Ｓと記述する）追加した場合においても、上述した方法と同様の方法を用いることにより、Ｇ＋Ｅを生成することができる。単に、配列に依存する近傍画素の選び方のみ、すなわち、図２１乃至図２３、図２７および図２８のループの条件を変更するだけでよい。人間の視覚が色成分に対して輝度に対するほど敏感でないことを考慮すると、輝度に強い相関を持つＧ＋Ｅ信号さえ高いサンプリング周波数を保持していれば、他の色成分個々のサンプル数が減ることは、それほど問題にならない。それゆえＧが水平及び垂直に１ラインおきに配置、Ｅが水平及び垂直に１ラインおきでＥとは異なるラインに配置されるという配置が守られていれば、同様にして、さらに多くの色を用いた配列を用いることができる。
【０２６７】
なお、図１４のステップＳ２６０、図１６のステップＳ３１１、図２１のステップＳ４５９、図２２のステップＳ５１０、図２３のステップＳ５３０、および図３２のステップＳ８０９において、重み係数（例えば、ｗ）の総和（例えば、Ｗ）で、所定の値が除算されているが、重み係数ｗを中心位置からの距離に応じて変化させ、その総和を２の累乗となるように定めることにより、重み係数ｗの総和Ｗで、所定の値を除算する処理（画素数を用いた除算）に代わって、シフト演算を用いるようにしてもよい。これにより、除算を簡略化することが可能となる。
【０２６８】
なお、本発明は、デジタルカメラを初めとする、固体撮像素子および固体撮像素子を利用した撮像装置（例えば、デジタルスチルカメラ）に適用することができる。具体的には、１つの固体撮像素子によってカラー画像を得る方式（単板カラー方式）の撮像装置に本発明を適用することによって、不明な色成分を推定することができる。
【０２６９】
以上により、４色配列を持つ単板カラー撮像素子によって撮像された色のモザイク画像より、テクスチャ方向を表す値としてテクスチャ強度を算出することができる。また、縦方向の近傍画素を用いて推定した推定値と、横方向の近傍画素を用いて推定した推定値とをテクスチャ強度に基づいてブレンドし、精度良く不明な色成分を推定することができる。
【０２７０】
これにより、方向検出に誤りが生じやすい限界解像度付近であっても、テクスチャ強度に適切な補正処理が加えられているため、安定した補間結果を得ることができる。
【０２７１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０２７２】
この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デモザイク処理部２５３、または、Ｇ＋Ｅ算出処理部２８２は、図３９に示されるようなパーソナルコンピュータ５０１により構成することが可能となる。
【０２７３】
図３９において、ＣＰＵ（Central Processing Unit）５１１は、ＲＯＭ（Read Only Memory）５１２に記憶されているプログラム、または記憶部５１８からＲＡＭ（Random Access Memory）５１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ５１３にはまた、ＣＰＵ５１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２７４】
ＣＰＵ５１１、ＲＯＭ５１２、およびＲＡＭ５１３は、バス５１４を介して相互に接続されている。このバス５１４にはまた、入出力インタフェース５１５も接続されている。
【０２７５】
入出力インタフェース５１５には、キーボード、マウスなどよりなる入力部５１６、ディスプレイやスピーカなどよりなる出力部５１７、ハードディスクなどより構成される記憶部５１８、モデム、ターミナルアダプタなどより構成される通信部５１９が接続されている。通信部５１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２７６】
入出力インタフェース５１５にはまた、必要に応じてドライブ５２０が接続され、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、もしくは、半導体メモリ５３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５１８にインストールされる。
【０２７７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３またはＧ＋Ｅ算出処理部２８２）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２７８】
この記録媒体は、図３９に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク５３１（フロッピディスクを含む）、光ディスク５３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク５３３（ＭＯ（Magnet Optical Disk）を含む）、もしくは半導体メモリ５３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ５１２や、記憶部５１８に含まれるハードディスクなどで構成される。
【０２７９】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２８０】
【図１】ベイヤー配列について説明するための図である。
【図２】本発明を適用したデジタルカメラの構成を示すブロック図である。
【図３】ＣＣＤイメージセンサのオンチップカラーフィルタの４色のモザイク配列の例について説明するための図である。
【図４】図２のＤＳＰブロックの構成を示すブロック図である。
【図５】図４のデモザイク処理部の構成を示すブロック図である。
【図６】図５のＧ＋Ｅ算出処理部の構成を示すブロック図である。
【図７】図４のＤＳＰブロックが実行する画像処理について説明するためのフローチャートである。
【図８】デモザイク処理について説明するためのフローチャートである。
【図９】Ｇ＋Ｅ算出処理について説明するためのフローチャートである。
【図１０】第１の補間処理について説明するためのフローチャートである。
【図１１】第１の補間処理について説明するためのフローチャートである。
【図１２】補正テクスチャ強度算出処理について説明するためのフローチャートである。
【図１３】テクスチャ強度ＴH，ＴV算出処理１について説明するためのフローチャートである。
【図１４】重み付き平均値ＭTH算出処理について説明するためのフローチャートである。
【図１５】重み付け係数の例について説明するための図である。
【図１６】重み付き平均偏差ＳTH算出処理について説明するためのフローチャートである。
【図１７】テクスチャ強度ＴH，ＴV補正処理について説明するためのフローチャートである。
【図１８】縦方向のサンプルを用いる場合の重み付けについて説明するための図である。
【図１９】横方向のサンプルを用いる場合の重み付けについて説明するための図である。
【図２０】第２の補間処理について説明するためのフローチャートである。
【図２１】重み付き平均値ＭYdirについて説明するためのフローチャートである。
【図２２】Ｒの重み付き分散近似値ＶＡRRdir算出処理について説明するためのフローチャートである。
【図２３】Ｒ，ＸＡの重み付き共分散近似計算処理について説明するためのフローチャートである。
【図２４】ｐとｑの積がとりうる領域について説明するための図である。
【図２５】積算近似処理を実行した場合にｐｑの近似値がとりうる領域について説明するための図である。
【図２６】積算近似処理を実行した場合のｐｑの近似値の２乗誤差について説明するための図である。
【図２７】積算処理について説明するためのフローチャートである。
【図２８】積算近似処理について説明するためのフローチャートである。
【図２９】回帰直線の傾きＫdir算出処理について説明するためのフローチャートである。
【図３０】回帰直線によるＸの推定値ＸＦ算出処理について説明するためのフローチャートである。
【図３１】第３の補間処理について説明するためのフローチャートである。
【図３２】重み付き平均値ＭXA算出処理について説明するためのフローチャートである。
【図３３】Ｘの補間値ＸＵ算出処理について説明するためのフローチャートである。
【図３４】第１のＧ＋Ｅ生成処理について説明するためのフローチャートである。
【図３５】第２のＧ＋Ｅ生成処理について説明するためのフローチャートである。
【図３６】合成処理について説明するためのフローチャートである。。
【図３７】テクスチャ強度ＴH，ＴV算出処理２について説明するためのフローチャートである。
【図３８】４色のフィルタ配列にさらに２色追加した場合について説明するための図である。
【図３９】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２８１】
２０１  デジタルカメラ，  ２１６  ＤＳＰブロック，  ２５１  ホワイトバランス調整部，  ２５３  デモザイク処理部，  ３３１−１  Ｇ補間処理部，  ３３１−２  Ｅ補間処理部，  ３３２−１  Ｇ補間処理部，  ３３２−２  Ｅ補間処理部，  ３３３−１  Ｇ補間処理部，  ３３３−２  Ｅ補間処理部，  ３３４  テクスチャ強度算出処理部，  ３３５，３３６  Ｇ＋Ｅ生成処理部，  ３３７  合成処理部
【図１】
2005160044.tif 000004
【図２】
2005160044.tif 000005
【図３】
2005160044.tif 000006
【図４】
2005160044.tif 000007
【図５】
2005160044.tif 000008
【図６】
2005160044.tif 000009
【図７】
2005160044.tif 000010
【図８】
2005160044.tif 000011
【図９】
2005160044.tif 000012
【図１０】
2005160044.tif 000013
【図１１】
2005160044.tif 000014
【図１２】
2005160044.tif 000015
【図１３】
2005160044.tif 000016
【図１４】
2005160044.tif 000017
【図１５】
2005160044.tif 000018
【図１６】
2005160044.tif 000019
【図１７】
2005160044.tif 000020
【図１８】
2005160044.tif 000021
【図１９】
2005160044.tif 000022
【図２０】
2005160044.tif 000023
【図２１】
2005160044.tif 000024
【図２２】
2005160044.tif 000025
【図２３】
2005160044.tif 000026
【図２４】
2005160044.tif 000027
【図２５】
2005160044.tif 000028
【図２６】
2005160044.tif 000029
【図２７】
2005160044.tif 000030
【図２８】
2005160044.tif 000031
【図２９】
2005160044.tif 000032
【図３０】
2005160044.tif 000033
【図３１】
2005160044.tif 000034
【図３２】
2005160044.tif 000035
【図３３】
2005160044.tif 000036
【図３４】
2005160044.tif 000037
【図３５】
2005160044.tif 000038
【図３６】
2005160044.tif 000039
【図３７】
2005160044.tif 000040
【図３８】
2005160044.tif 000041
【図３９】
2005160044.tif 000042