(57)【要約】【課題】  ５以上のカラーバンドの画素から成る撮像センサを持つ撮像装置に対して最適な倍率色収差補正を行うための技術を提供すること。【解決手段】  第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色を撮像するために設けられた固体撮像素子を固体撮像素子ｎとした場合に、固体撮像素子１乃至固体撮像素子ｎがベイヤ配置に従って２次元的に配置されている撮像センサ、が搭載された撮像装置である。固体撮像素子１〜ｎのうちより高密度に配置されている固体撮像素子が固体撮像素子ｍ（１≦ｍ≦Ｎ）である場合、固体撮像素子ｍ以外の固体撮像素子に対応する画素の第ｍの色の画素値を、この画素の周辺画素の画素値から求める。そして、カラー画像を構成する各画素についてこの計算を行うことで、各画素の第ｍの色の画素値を確定させる。【選択図】図１
2012034005.tif 000002
【特許請求の範囲】
【請求項１】
第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色を撮像するために設けられた固体撮像素子を固体撮像素子ｎとした場合に、固体撮像素子１乃至固体撮像素子ｎがベイヤ配置に従って２次元的に配置されている撮像センサ、が搭載された撮像装置であって、
固体撮像素子１乃至固体撮像素子ｎのうちより高密度に前記撮像センサ上に配置されている固体撮像素子が固体撮像素子ｍ（１≦ｍ≦Ｎ）である場合、前記撮像センサから出力される画像信号に基づくカラー画像において、前記固体撮像素子ｍ以外の固体撮像素子に対応する画素の第ｍの色の画素値を、該画素の周辺画素の画素値から求める計算手段と、
前記カラー画像を構成する各画素について前記計算手段による処理を行うことで、該各画素の前記第ｍの色の画素値を確定させる処理手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記固体撮像素子ｍに対応する画素を高解像度画素とし、前記固体撮像素子ｍ以外の固体撮像素子に対応する画素を低解像度画素とした場合に、
前記計算手段は、
前記低解像度画素に対して斜めに隣接している４つの画素が前記高解像度画素である場合には、前記低解像度画素の第ｍの色の画素値を、前記低解像度画素の画素値に対して該４つの画素の画素値の平均値を乗じた結果を該高解像度画素とピーク波長が隣り合う低解像度画素の画素値の平均値で除することで求めることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記計算手段は、
前記低解像度画素に対して斜めに隣接している４つの画素が前記高解像度画素ではない場合には、前記カラー画像に対して水平方向に前記低解像度画素と隣接する２つの高解像度画素のそれぞれの画素値の差分を水平差分、前記カラー画像に対して垂直方向に前記低解像度画素と隣接する２つの高解像度画素のそれぞれの画素値の差分を垂直差分、として求め、
前記水平差分＜前記垂直差分である場合には、前記カラー画像に対して水平方向に前記低解像度画素と隣接する２つの高解像度画素のそれぞれの画素値の平均値を、前記低解像度画素の第ｍの色の画素値として求め、
前記水平差分≧前記垂直差分である場合には、前記カラー画像に対して垂直方向に前記低解像度画素と隣接する２つの高解像度画素のそれぞれの画素値の平均値を、前記低解像度画素の第ｍの色の画素値として求める
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記固体撮像素子ｍ以外の固体撮像素子ｐ（ｍ≠ｐ）に対応する画素を低解像度画素とした場合に、
更に、
前記処理手段により、前記カラー画像を構成する各画素の前記第ｍの色の画素値が確定した該カラー画像に対して倍率色収差補正を行うことで補正済みカラー画像を生成した後、前記低解像度画素のうち前記補正済みカラー画像ないの着目画素位置における画素を着目画素とした場合に、該着目画素を囲むそれぞれの低解像度画素について、第ｍの色の画素値と第ｐの色の画素値との差分を求め、求めた差分の平均値を、前記着目画素の第ｍの色の画素値に加えることで、前記着目画素の第ｐの色の画素値を確定させる手段
を備えることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色を撮像するために設けられた固体撮像素子を固体撮像素子ｎとした場合に、固体撮像素子１乃至固体撮像素子ｎがベイヤ配置に従って２次元的に配置されている撮像センサ、が搭載された撮像装置の制御方法であって、
固体撮像素子１乃至固体撮像素子ｎのうちより高密度に前記撮像センサ上に配置されている固体撮像素子が固体撮像素子ｍ（１≦ｍ≦Ｎ）である場合、前記撮像センサから出力される画像信号に基づくカラー画像において、前記固体撮像素子ｍ以外の固体撮像素子に対応する画素の第ｍの色の画素値を、該画素の周辺画素の画素値から求める計算工程と、
前記カラー画像を構成する各画素について前記計算工程による処理を行うことで、該各画素の前記第ｍの色の画素値を確定させる処理工程と
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影レンズの倍率色収差による画質劣化を改善する為の技術に関するものである。
【背景技術】
【０００２】
通常のデジタルカメラは、ＲＧＢの３つのカラーバンドの画素をベイヤ配置した撮像センサを持つ。この種の撮像装置において、倍率色収差による画質劣化の補正を、Ｇバンド画像に対するＲバンド画像及びＢバンド画像の相対的な画素位置の補正によって行う技術が用いられている（特許文献１、特許文献２）。これは、倍率色収差が、撮影光の波長によって撮像面上の横倍率が変動する収差であることに基づいており、その補正が、３つのカラーバンド画像それぞれの撮影倍率を幾何学的に補正して一致させるという原理によるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2004-357289号公報
【特許文献２】特開2006-020275号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のＲＧＢの３つのカラーバンドの画素（Ｒ画素、Ｂ画素、Ｇ画素）をベイヤ配置した撮像センサを持つ撮像装置では、Ｒ画素、Ｇ画素、Ｂ画素の個数比は１：２：１で、それらの解像度は異なる。このデモザイクを行う場合、Ｇ画素の補間はＧ画素の画素値のみの平均化で可能であるが、Ｒ画素、Ｂ画素の補間は、Ｇ画素の画素値との相関を用いて行われることになる。その相関関係は位置的相関を含むので、倍率色収差補正を行うための幾何学的補正は、画素補間前に行う必要があり、その実施後に画素補間を行うことになる。
【０００５】
一方、５以上のカラーバンドの画素を配列させた撮像センサを持つ撮像装置では、バンド数の増加により、幾何学的補正を全カラーバンド間でおこなうと、その計算負荷が増加する。たとえば６バンド系では３バンド系の２．５倍となる。
【０００６】
また、カラーバンド数の増加に伴い、各カラーバンドの画素の配置密度はＲＧＢ系に対して低下する。さらに、カラーバンド数が５以上の場合、それぞれのカラーバンドの画素の個数比はかならずしも等比ではないため、個数比の小さいカラーバンドの画素の密度はさらに低下する。このとき、画素密度の低いカラーバンドの解像度は比例的低下するため、このカラーバンドは実質的に解像度情報を持たないことになる。このような条件下では、このカラーバンドと他のカラーバンド（画素密度の低いカラーバンドよりも高解像度のカラーバンド）との間の撮影倍率の違いを幾何学的補正することは意味を持たない。つまり、計算負荷の増大は無用の処理によって占められる場合が生じる。
【０００７】
本発明は以上の問題に鑑みてなされたものであり、５以上のカラーバンドの画素から成る撮像センサを持つ撮像装置に対して最適な倍率色収差補正を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の撮像装置は以下の構成を備える。即ち、第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色を撮像するために設けられた固体撮像素子を固体撮像素子ｎとした場合に、固体撮像素子１乃至固体撮像素子ｎがベイヤ配置に従って２次元的に配置されている撮像センサ、が搭載された撮像装置であって、固体撮像素子１乃至固体撮像素子ｎのうちより高密度に前記撮像センサ上に配置されている固体撮像素子が固体撮像素子ｍ（１≦ｍ≦Ｎ）である場合、前記撮像センサから出力される画像信号に基づくカラー画像において、前記固体撮像素子ｍ以外の固体撮像素子に対応する画素の第ｍの色の画素値を、該画素の周辺画素の画素値から求める計算手段と、前記カラー画像を構成する各画素について前記計算手段による処理を行うことで、該各画素の前記第ｍの色の画素値を確定させる処理手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の構成によれば、５以上のカラーバンドの画素から成る撮像センサを持つ撮像装置に対して最適な倍率色収差補正を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の機能構成例を示すブロック図。
【図２】カラーフィルタ１０５が有する分光透過率を示す図。
【図３】撮像センサ１０６上の固体撮像素子（画素）の配置を示す図。
【図４】デモザイキング部１１０の構成例を示すブロック図。
【図５】デモザイキング部１１０が行う処理のフローチャート。
【図６】ステップＳ４０１における処理のフローチャート。
【図７】画素群を示す図。
【図８】画素群を示す図。
【図９】ステップＳ４０２における処理のフローチャート。
【図１０】ステップＳ４０３における処理のフローチャート。
【図１１】赤の画素値が決まっている画素と決まっていない画素とを示す図。
【図１２】カラーフィルタ１０５が有する分光透過率を示す図。
【図１３】撮像センサ１０６上の固体撮像素子（画素）の配置を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１２】
［第１の実施形態］
先ず、本実施形態に係る撮像装置において、図１のブロック図を用いて説明する。なお、図１には、以下の説明で使用する機能部の構成例を示したのみであって、撮像装置の全ての構成を示したわけではない。
【００１３】
また、図１に示した各部は何れもハードウェアで構成しても良いが、デモザイキング部１１０や再現処理部１０９など、一部の構成をソフトウェアで実現しても良い。この場合、このソフトウェアは、制御回路１１１等の制御部により実行され、対応する機能が実現される。
【００１４】
被写体１９０等、外界からの光束は、撮像部１０１を介してセンサ部１０２に入光する。撮像部１０１は、絞り・フォーカス機能を有する撮像レンズから構成されている。センサ部１０２に入光した光束は、光学ローパスフィルタ１０３でローパスフィルタ加工がなされ、ｉＲ（赤外光）カットフィルタ１０４において赤外光をカットする加工が為された後、カラーフィルタ１０５に入光することになる。
【００１５】
カラーフィルタ１０５は周知の通り、画素毎（撮像センサ１０６が有する固体撮像素子毎）に異なる分光透過率特性を有するものである。カラーフィルタ１０５が有する分光透過率について、図２を用いて説明する。カラーフィルタ１０５が有する分光透過率は、ピーク波長の短い順に２０１（ブルー、Ｂ）、２０２（ダークグリーン、ＤＧ）、２０３（グリーン、Ｇ）、２０４（ライトグリーン、ＬＧ）、２０５（オレンジ、Ｏ）、２０６（レッド、Ｒ）である。即ち、このカラーフィルタ１０５のカラーバンド数は６となる。
【００１６】
撮像センサ１０６は、ＣＭＯＳ、ＣＣＤなどの固体撮像素子群から成るもので、この撮像センサ１０６には、カラーフィルタ１０５を透過した光が入光する。それぞれの固体撮像素子は、自身が受けた光の光量に応じた電荷量の信号（画素信号）を生成して出力する。このとき、各固体撮像素子における分光感度特性は、ｉＲカットフィルタ１０４、カラーフィルタ１０５の分光透過率、固体撮像素子の分光感度特性、の総合により決定される。
【００１７】
Ａ／Ｄ変換部１０７は、それぞれの固体撮像素子から出力された画素信号、即ち、撮像センサ１０６から出力された画像信号に対してＡ／Ｄ変換を行うことで、アナログ信号としての画像信号をディジタル信号としての画像信号に変換する。この変換により得られるディジタル信号としての画像信号は、モザイク状のカラー画像となっている。
【００１８】
Ａ／Ｄ変換部１０７によりディジタル信号として変換されたモザイク状のカラー画像は、データとして記憶部１０８に格納される。記憶部１０８にはこのほかにも、以下の処理で既知の情報として登場するものも格納されている。例えば、デモザイキング部１１０がレンズの倍率色収差補正を行うために必要なデータが記憶部１０８に格納されている。
【００１９】
デモザイキング部１１０は、記憶部１０８に格納されているモザイク状のカラー画像を読み出し、読み出したカラー画像に対して、後述するデモザイキング処理を行い、デモザイク済みの画像を生成する。そしてデモザイキング部１１０は、このデモザイク済みの画像のデータを記憶部１０８に格納する。
【００２０】
再現処理部１０９は、記憶部１０８に格納されているデモザイク済みの画像のデータを読み出し、読み出したデモザイク済み画像のデータに対して、分光画像再現、エッジ強調、ノイズ低減処理等の画像処理を行い、再現画像データを生成する。
【００２１】
制御回路１１１は、上記の各部の動作制御を行うと共に、上記で示していないその他の各部の動作制御も行う。もちろん、制御回路１１１を複数個設け、撮像装置の動作制御を、それぞれの制御回路１１１で分けて行うようにしても良い。
【００２２】
ここで、カラーフィルタ１０５が配されている撮像センサ１０６上の固体撮像素子（画素）の配置について、図３を用いて説明する。周知の通り、カラーフィルタ１０５とは、撮像センサ１０６上の各画素に対して特定の色の光を透過させる為のものである。然るに、図３において、例えば「ＤＧ」が付されている箇所には、ＤＧ（ダークグリーン）の色の光を受光するための固体撮像素子が配されていることになる。以下では、ＤＲの色の光を受光するための固体撮像素子を「固体撮像素子ＤＲ」と呼称する場合がある。以上のことは、ＬＧ、Ｇ、Ｂ、Ｏ、Ｒ、についても同様である。
【００２３】
図３に示す如く、撮像センサ１０６上における、固体撮像素子Ｂ、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、固体撮像素子Ｏ、固体撮像素子Ｒ、の個数比は、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ：Ｒ＝１：２：１：１：２：１となっている。この個数比からも分かるように、固体撮像素子ＤＧ、固体撮像素子Ｏ、はその他の固体撮像素子よりも個数が多いことから、より高密度に配されていることになる。以下では、固体撮像素子ＤＧや固体撮像素子Ｏにより撮像された画素を高解像度画素（高解像度カラーフィルタ）と呼称し、固体撮像素子ＤＧ、固体撮像素子Ｏ以外の固体撮像素子により撮像された画素を低解像度画素（低解像度カラーフィルタ）と呼称する。
【００２４】
ここで、それぞれの固体撮像素子の配置規則についてであるが、固体撮像素子ＤＧ及び固体撮像素子Ｏは、撮像センサ１０６上にベイヤ配置（一つ置き）で配置される。また、固体撮像素子ＤＧ及び固体撮像素子Ｏに対して、分光透過率のピーク波長が隣り合う色の光を受光する固体撮像素子がさらにベイヤ配置になるように配置される。本実施形態に係る撮像装置には、このような構成を有する撮像センサ１０６が搭載されている。
【００２５】
なお、撮像センサ１０６が、次に述べるような撮像センサであれば、以下に説明するフローチャートに従った処理を同様に適用することができる。即ち、第ｎ（１≦ｎ≦Ｎ；Ｎ≧５）の色を撮像する為に設けられた固体撮像素子を固体撮像素子ｎとした場合に、固体撮像素子１乃至固体撮像素子ｎがベイヤ配置に従って２次元的に並んでいる撮像センサであれば良い。これについては第２の実施形態でも説明する。
【００２６】
次に、デモザイキング部１１０の構成例について、図４のブロック図を用いて説明する。デモザイキング部１１０を構成する高解像度カラーフィルタ画像デモザイク部１１２、倍率色収差補正部１１３、低解像度カラーフィルタ画像デモザイク部１１４、のそれぞれの動作については、図５のフローチャートを用いて説明する。もちろん、図５のフローチャートに従った処理を行う時点で、記憶部１０８には、撮像センサ１０６により撮像されたモザイク状のカラー画像が格納されている。
【００２７】
先ず、ステップＳ４０１において高解像度カラーフィルタ画像デモザイク部１１２は、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジの画素値を求める。ステップＳ４０１における処理の詳細については、図６のフローチャートを用いて後述する。
【００２８】
次に、ステップＳ４０２では、倍率色収差補正部１１３は、ダークグリーン及びオレンジについての画素値が確定している画素から成る画像（高解像度カラーフィルタ画像）における各画素の幾何学的補正により倍率色収差補正を行う。ステップＳ４０２における処理の詳細については、図９のフローチャートを用いて後述する。
【００２９】
次に、ステップＳ４０３では、低解像度カラーフィルタ画像デモザイク部１１４は、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジ以外の色の画素値を求める。ステップＳ４０３における処理の詳細については、図１０のフローチャートを用いて後述する。
【００３０】
＜ステップＳ４０１における処理の詳細について＞
ステップＳ４０１における処理について、同処理の詳細を示す図６のフローチャートを用いて説明する。なお、ステップＳ５０１〜Ｓ５０５における処理の説明では、図７に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。
【００３１】
また、ステップＳ５０１〜Ｓ５０５の説明では、図７に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（ＬＧ３３が記されている箇所）を注目画素とし、注目画素について、オレンジの画素値Ｏ３３を求める処理について説明する。なお、ＬＧ３３はこの注目画素のライトグリーンの画素値である。
【００３２】
ステップＳ５０１では、注目画素と斜め方向に隣接する画素が高解像度画素であるか否かを判断する。この判断の結果、高解像度画素である場合には処理はステップＳ５０２に進み、高解像度画素ではない場合には処理はステップＳ５０５に進む。図７の場合には、注目画素と斜め方向に隣接するそれぞれの画素に対しては既に画素値Ｏ２２、Ｏ２４、Ｏ４２、Ｏ４４が確定しているので、注目画素と斜め方向に隣接するそれぞれの画素は高解像度画素である。
【００３３】
ステップＳ５０２では、この斜め方向に隣接する４つの高解像度画素の画素値の平均Ｏ３３ｌｐｆを、以下の式を計算することで求める。
【００３４】
Ｏ３３ｌｐｆ＝｜Ｏ２２＋Ｏ２４＋Ｏ４２＋Ｏ４４｜／４
ステップＳ５０３では、注目画素を中心にして、高解像度画素と隣接し且つ高解像度画素とピーク波長の隣り合う低解像度画素の画素値の平均値ＬＧ３３ｌｐｆを、以下の式を計算することで求める。
【００３５】
ＬＧ３３ｌｐｆ＝（４＊ＬＧ３３＋ＬＧ１１＋ＬＧ１５＋ＬＧ５１＋ＬＧ５５）／６
即ち、低解像度画素に対して斜めに隣接している４つの画素が高解像度画素である場合には、低解像度画素の画素値に対して４つの画素の画素値の平均値を乗じた結果を高解像度画素とピーク波長が隣り合う低解像度画素の画素値の平均値で除することで求める。ステップＳ５０４では、以下の式を計算することで、Ｏ３３を求める。
【００３６】
Ｏ３３＝Ｏ３３ｌｐｆ／ＬＧ３３ｌｐｆ＊ＬＧ３３
なお、本実施形態では、局所領域において、ピーク波長の隣り合う画素値の平均値の比は等しいと仮定する。
【００３７】
ステップＳ５０５では、全ての画素について上記の処理を行ったか否かを判断する。図７の場合は、図７に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には処理はステップＳ５０６に進み、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ５０１に戻り、未処理画素について上記の処理を行う。
【００３８】
ステップＳ５０６〜Ｓ５０９における処理の説明では、図８に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。
【００３９】
また、ステップＳ５０６〜Ｓ５０９の説明では、図８に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（×３３が記されている箇所）を注目画素とし、注目画素について、オレンジの画素値Ｏ３３を求める処理について説明する。図８において「×」を記している箇所は、まだオレンジの画素値を算出していない画素を示している。一方、「○」を記している箇所は、オレンジの画素値が確定している画素を示している。然るに以下では、ステップＳ５０５までの処理を行った結果、未だオレンジの画素値が確定していない注目画素について、オレンジの画素値Ｏ３３を確定させるための処理について説明する。
【００４０】
ステップＳ５０６では、注目画素のオレンジの画素値が確定しているか否かを判断する。この判断の結果、確定している場合には、処理はステップＳ５０９に進み、確定していない場合には、処理はステップＳ５０７に進む。
【００４１】
ステップＳ５０７では、図７に示した画像において水平方向に注目画素と隣接する２つの画素のそれぞれの画素値の差分ＨＤｉｆｆ３３、垂直方向に注目画素と隣接する２つの画素のそれぞれの画素値の差分ＶＤｉｆｆ３３を、以下の式を計算することで求める。
【００４２】
ＨＤｉｆｆ３３＝｜Ｏ３２−Ｏ３４｜
ＶＤｉｆｆ３３＝｜Ｏ２３−Ｏ４３｜
ＨＤｉｆｆ３３は、注目画素を挟んで水平方向への画素値の変化（水平差分）を示しており、ＶＤｉｆｆ３３は、注目画素を挟んで垂直方向への画素値の変化（垂直差分）を示している。然るに、注目画素を挟んで水平方向への画素値の変化、注目画素を挟んで垂直方向への画素値の変化、を定量的に示す情報であれば、如何なる情報を用いても良いし、如何なる方法でこの情報を取得（計算）しても良い。
【００４３】
ステップＳ５０８では、ＨＤｉｆｆ３３とＶＤｉｆｆ３３との大小比較を行う。この大小比較の結果、ＨＤｉｆｆ３３＜ＶＤｉｆｆ３３の場合には、水平方向の方が垂直方向に比べて変化が緩やかと推定できる為、以下の式を計算することで、注目画素のオレンジの画素値Ｏ３３を求める。
【００４４】
Ｏ３３＝（Ｏ３２＋Ｏ３４）／２
一方、この大小比較の結果、ＨＤｉｆｆ３３≧ＶＤｉｆｆ３３の場合には、垂直方向の方が水平方向に比べて変化が緩やかと推定できる為、以下の式を計算することで、注目画素のオレンジの画素値Ｏ３３を求める。
【００４５】
Ｏ３３＝（Ｏ２３＋Ｏ４３）／２
なお、他の注目画素（図８では他のＸで示す画素）の場合はそれを囲む４つのオレンジの画素値を用いて同様に画素値を算出する。
【００４６】
ステップＳ５０９では、全ての画素について上記の処理を行ったか否かを判断する。図８の場合は、図８に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には図６のフローチャートの処理は終了し、ステップＳ４０２に進む。一方、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ５０６に戻り、未処理画素について上記の処理を行う。
【００４７】
なお、図６のフローチャートの処理によれば、全ての画素についてオレンジの画素値を求めることができる。然るに、上記の説明において「オレンジの画素値」を「ダークグリーンの画素値」と読み替えれば、全ての画素についてダークグリーンの画素値を求めることができる。このようにして、ステップＳ４０１では、カラー画像を構成する各画素位置について、ダークグリーン及びオレンジの画素値を求める。
【００４８】
ここで、上記のように固体撮像素子１乃至固体撮像素子ｎを定義した場合に、固体撮像素子１乃至固体撮像素子ｎのうちより高密度に撮像センサ上に配置されている固体撮像素子が固体撮像素子ｍ（１≦ｍ≦Ｎ）であるとする。この場合、上記で述べたステップＳ４０１の処理は、次のような処理の一例でしかない。即ち、撮像センサから出力される画像信号に基づくカラー画像において、固体撮像素子ｍ以外の固体撮像素子に対応する画素Ｐの第ｍの色の画素値を、画素Ｐの周辺画素の画素値から求める処理である。
【００４９】
＜ステップＳ４０２における処理の詳細について＞
ステップＳ４０２における処理について、同処理の詳細を示す図９のフローチャートを用いて説明する。先ずステップＳ６０１では、記憶部１０８から「撮影レンズ（撮像部１０１内）の倍率色収差情報」を読み出す。
【００５０】
補正に必要なデータの形式としては種々のものが適用可能であるが、典型的には撮影横倍率情報である。具体的には、基準とする第２バンド（ＤＧ）の分光透過率ピーク波長の撮影横倍率に対する第５バンド（Ｏ）の分光透過率ピーク波長の分光透過率の比である。この比は、第５バンドから成る画像の撮影倍率を画像の拡大もしくは縮小により第２バンドから成る画像の撮影倍率に一致させるファクターを与える。このファクターに従って第２バンド画像を拡大もしくは縮小することにより、倍率色収差によって発生した両者の撮影倍率の違いによって生じる画質劣化が補正される。
【００５１】
ステップＳ６０２では、ステップＳ６０１で読み出した倍率色収差情報に従い、第５バンド（Ｏ）から成る画像の変倍処理を行う。変倍方法そのものはバイリニア、バイキュービックなどの一般的手法をとることができる。
【００５２】
以上のステップＳ６０１，Ｓ６０２の処理により、倍率色収差補正を行ったカラー画像を生成することができるので、倍率色収差補正部１１３は、この生成した倍率色収差補正済みカラー画像を、記憶部１０８に格納する。
【００５３】
＜ステップＳ４０３における処理の詳細について＞
ステップＳ４０３における処理について、同処理の詳細を示す図１０のフローチャートを用いて説明する。以下の説明では、図７に示す如く、撮像センサ１０６上のある領域内の画素群における処理について説明するが、同様のことは、撮像センサ１０６上の全ての画素について同様である。また、以下の説明では、図７に示す画素群において左上隅から右に３画素、下に３画素の位置にある画素（ＬＧ３３が記されている箇所）を注目画素とし、注目画素について、赤の画素値Ｒ３３を求める処理について説明する。
【００５４】
図７に示した画素群において、赤の画素値が求まっている箇所と、求まっていない箇所とが、図１１に示されている。図１１において「×」を記している箇所は、まだ赤の画素値を算出していない画素を示している。図１１からも分かるとおり、注目画素については赤の画素値は未だ確定していない。
【００５５】
ステップＳ８０１では、注目画素について赤の画素値が確定しているか否かを判断する。この判断の結果、確定している場合には処理はステップＳ８０６に進み、確定していない場合には処理はステップＳ８０２に進む。
【００５６】
ステップＳ８０２では、注目画素を囲む、赤の画素値が確定している画素を検索する。図１１の場合、Ｒ１３、Ｒ３１、Ｒ３５、Ｒ５３が記されているそれぞれの箇所における画素が検索されることになる。
【００５７】
ステップＳ８０３では、これら検索した画素の赤の画素値から、ピーク波長の隣り合う高解像度画素の画素値を減じることで、差分画素値を算出する。図７の場合、本ステップでは以下の式に従った計算を行うことになる。
【００５８】
Ｄ１３＝Ｒ１３−Ｏ１３
Ｄ３１＝Ｒ３１−Ｏ３１
Ｄ３５＝Ｒ３５−Ｏ３５
Ｄ５３＝Ｒ５３−Ｏ５３
Ｄ１３、Ｄ３１、Ｄ３５、Ｄ５３のそれぞれが差分画素値である。次にステップＳ８０４では、ステップＳ８０３で算出した差分画素値を用いて、一般的な補間方法であるバイリニア補間などに従って、注目画素の差分画素値Ｄ３３を算出する。次に、ステップＳ８０５では、以下の式を計算することでＲ３３を求める。
【００５９】
Ｒ３３＝Ｄ３３＋Ｏ３３
このような計算方法を用いれば、Ｘ２２、Ｘ２３、Ｘ２４、Ｘ３２、Ｘ３３、Ｘ３４、Ｘ４２、Ｘ４３、Ｘ４４の９カ所における画素の赤の画素値は求めることができる。それ以外の画素は注目画素を囲む低解像度画素として異なる４画素を選択することで同様に画素値を算出できる。
【００６０】
ステップＳ８０６では、全ての画素について上記の処理を行ったか否かを判断する。図７の場合は、図７に示した全ての画素について以上の処理を行ったか否かを判断する。この判断の結果、全ての画素について上記の処理を行った場合には図１０及び図４のフローチャートの処理は終了する。一方、未だ上記の処理を行っていない画素（未処理画素）が残っている場合には処理はステップＳ８０１に戻り、未処理画素について上記の処理を行う。
【００６１】
なお、図１０のフローチャートの処理によれば、全ての画素について赤の画素値を求めることができる。然るに、上記の説明において「赤の画素値」を「青（Ｂ）の画素値」と読み替えれば、全ての画素について青の画素値を求めることができる。これは、「緑（Ｇ）の画素値」や「ライトグリーン（ＬＧ）の画素値」と読み替えても同じことである。このようにして、ステップＳ４０３では、倍率色収差補正済みのカラー画像を構成する各画素位置について、赤、青、緑、ライトグリーンの画素値を求める。
【００６２】
ここで、上記のように固体撮像素子１乃至固体撮像素子ｎを定義し、且つ上記のように固体撮像素子ｍ（１≦ｍ≦Ｎ）を定義した場合に、上記で述べたステップＳ４０３の処理は、次のような処理の一例でしかない。ここで、固体撮像素子ｍ以外の固体撮像素子ｐ（ｍ≠ｐ）に対応する画素を低解像度画素とし、低解像度画素のうち補正済みカラー画像ないの着目画素位置における画素を着目画素としたとする。
【００６３】
先ず、カラー画像を構成する各画素の第ｍの色の画素値が確定したカラー画像に対して倍率色収差補正を行うことで補正済みカラー画像を生成した後に以下の処理を行う。即ち、着目画素を囲むそれぞれの低解像度画素について、第ｍの色の画素値と第ｐの色の画素値との差分を求め、求めた差分の平均値を、着目画素の第ｍの色の画素値に加えることで、着目画素の第ｐの色の画素値を確定させる。
【００６４】
［第２の実施形態］
第１の実施形態では、カラーフィルタ１０５のカラーバンド数＝６であったが、本実施形態では、カラーフィルタ１０５のカラーバンド数＝５とする。本実施形態に係るカラーフィルタ１０５が有する分光透過率について、図１２を用いて説明する。カラーフィルタ１０５が有する分光透過率は、ピーク波長の短い順に１００１（ブルー、Ｂ）、１００２（ダークグリーン、ＤＧ）、１００３（グリーン、Ｇ）、１００４（ライトグリーン、ＬＧ）、１００５（オレンジ、Ｏ）である。
【００６５】
この場合、図１３に示す如く撮像センサ１０６上における、固体撮像素子Ｂ、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、固体撮像素子Ｏ、の個数比は、Ｂ：ＤＧ：Ｇ：ＬＧ：Ｏ＝１：２：２：２：１となっている。この個数比からも分かるように、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧ、はその他の固体撮像素子よりも個数が多いことから、より高密度に配されていることになる。然るに、固体撮像素子ＤＧ、固体撮像素子Ｇ、固体撮像素子ＬＧにより撮像された画素が高解像度画素、固体撮像素子Ｂや固体撮像素子Ｏにより撮像された画素が低解像度画素となる。
【００６６】
それぞれの固体撮像素子の配置規則については第１の実施形態と同様である。即ち、カラーバンド数が５以上であれば、図４のフローチャートに従った処理を適用することができる。
【００６７】
［第３の実施形態］
第１，２の実施形態で説明した各処理は何れも、撮像装置内で行われることを前提としていた。しかし、係る処理は、ＰＣ（パーソナルコンピュータ）内で行うようにしても良い。この場合、上記の各フローチャートに従って説明した各処理をこのＰＣに実行させるためのコンピュータプログラムを、このＰＣのメモリにインストールしておく必要がある。そしてこのＰＣのＣＰＵが、このコンピュータプログラムをこのメモリから読み出して実行することで、このＰＣは、上記の各フローチャートに従って説明した各処理を実行することができる。もちろん、記憶部１０８に格納されているものとして説明した情報も、このＰＣに記憶させておく必要がある。
【００６８】
このような実施形態によれば、１つのモザイク状のカラー画像に対して、たとえば倍率色収差処理の有無など異なる処理を選択的に適用して最適な処理を実施することが可能となる。
【００６９】
［第４の実施形態］
第１，２の実施形態で説明したカラーフィルタ１０５は、分光透過率ピークが波長方向に異なっていた。しかし、カラーフィルタ１０５は分光透過率が等しいか近いピーク波長で透過率方向に異なっていてもよい。すなわち、等しいか近い分光透過率ピーク波長をもち、感度の異なるバンドの構成も可能である。
【００７０】
本実施形態によれば、たとえば感度の異なる２種類のＲＧＢのバンドセットを持つことができる。それら各セットから得られる画像を合成することにより通常の撮像センサで不可能被写体輝度域を記録するHDR(High Dynamic Range)画像取得が可能となる。その際、感度の異なるＲＧＢのバンドセット間の倍率色収差補正が可能である。
【００７１】
［第５の実施形態］
上記の実施形態で説明したデモザイキングアルゴリズムを用いずに、高解像度画素から成る画像のデモザイクを平均化することでデモザイク処理を行うことも可能であり、デモザイキングアルゴリズムは１つの方法に限定するものではない。
【００７２】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012034005.tif 000003
【図２】
2012034005.tif 000004
【図３】
2012034005.tif 000005
【図４】
2012034005.tif 000006
【図５】
2012034005.tif 000007
【図６】
2012034005.tif 000008
【図７】
2012034005.tif 000009
【図８】
2012034005.tif 000010
【図９】
2012034005.tif 000011
【図１０】
2012034005.tif 000012
【図１１】
2012034005.tif 000013
【図１２】
2012034005.tif 000014
【図１３】
2012034005.tif 000015