(57)【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子と、被写体から取り込まれた光を前記撮像素子へ入射させる撮像レンズと、を備える複数のサブカメラモジュールと、
前記サブカメラモジュール及び前記被写体の間の被写体距離を推定する被写体距離推定手段と、
前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、
前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記被写体像の解像度復元処理を実施する解像度復元手段と、を有し、
前記複数のサブカメラモジュールのうちの少なくとも二つは、ベストフォーカスとなるときの被写体距離を互いに異ならせた前記撮像レンズを備え、
前記被写体距離推定手段は、前記被写体距離を互いに異ならせた前記撮像レンズを備える前記サブカメラモジュールにより得られた前記被写体像のいずれかを選択することにより、前記サブカメラモジュール及び前記被写体の間の前記被写体距離を推定することを特徴とするカメラモジュール。
【請求項２】
前記複数のサブカメラモジュールは、前記被写体像の各色成分を分担して撮像し、
前記複数のサブカメラモジュールのうち前記被写体像の同色成分を撮像する少なくとも二つが、前記ベストフォーカスとなるときの前記被写体距離を互いに異ならせた前記撮像レンズを備えることを特徴とする請求項１に記載のカメラモジュール。
【請求項３】
前記同色成分は、緑色成分であることを特徴とする請求項２に記載のカメラモジュール。
【請求項４】
複数のサブカメラモジュールで撮像された被写体像の解像度復元処理を実施する解像度復元手段と、
前記サブカメラモジュール及び被写体の間の被写体距離を推定する被写体距離推定手段と、
前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、を有し、
前記解像度復元手段は、前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記解像度復元処理を実施し、
前記複数のサブカメラモジュールは、ベストフォーカスとなるときの被写体距離を互いに異ならせた少なくとも二つのサブカメラモジュールを含み、
前記被写体距離推定手段は、前記少なくとも二つのサブカメラモジュールにより得られた前記被写体像のいずれかを選択することにより、前記サブカメラモジュール及び前記被写体の間の前記被写体距離を推定することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラモジュール及び画像処理装置に関する。
【背景技術】
【０００２】
従来、近接距離から無限遠までの広い範囲における撮影には、例えば、オートフォーカス（ＡＦ）機能を有するレンズモジュールが使用されている。ＡＦ機能の採用には、レンズ枚数及び部品点数の増加や、それに伴うコストの増加が課題となる。特に、デジタルカメラ等に用いられるカメラモジュールは、薄型化や小型化の要請により、レンズと撮像素子との間の距離（焦点距離）をできるだけ短縮させる傾向にある（カメラモジュールに関しては、例えば、特許文献１参照）。
【０００３】
また、近年、固定焦点のレンズと信号処理とを組み合わせて、十分な被写界深度を確保するためのＥＤｏＦ（Ｅｘｔｅｎｄｅｄ  Ｄｅｐｔｈ  ｏｆ  Ｆｉｅｌｄ）と呼ばれる技術が発展してきている。ＡＦ用レンズは、フォーカス位置での解像度が確保可能であれば良いのに対して、ＥＤｏＦ用固定焦点レンズの場合は、被写界深度を確保する分、解像度が不十分になる点が課題となる。例えば、被写界深度と変調伝達関数（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ；ＭＴＦ）との関係をグラフで表した場合に、ＡＦ用レンズでは狭いレンジ幅のグラフとなるのに対して、ＥＤｏＦ用固定焦点レンズの場合は、広いレンジ幅のグラフを示すこととなる。ＥＤｏＦ用固定焦点レンズのこのようなレンズ特性に対しては、解像度の不足を信号処理によって補うこととなるため、その過程でＳ／Ｎ（信号対ノイズ比）が悪化する傾向にある。また、被写体深度を補うにも限界があることから、一般に、無限遠での解像度を重視してレンズ設計がなされることとなる。このため、近接距離における十分な解像度を得ることが困難となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１１５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影とを可能とするカメラモジュール及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、被写体像を撮像する撮像素子と、被写体から取り込まれた光を前記撮像素子へ入射させる撮像レンズと、を備える複数のサブカメラモジュールを有し、前記複数のサブカメラモジュールのうちの少なくとも二つは、ベストフォーカスとなるときの、前記サブカメラモジュール及び前記被写体の間の被写体距離を互いに異ならせた前記撮像レンズを備えることを特徴とするカメラモジュールが提供される。
【０００７】
また、本願発明の一態様によれば、複数のサブカメラモジュールで撮像された被写体像の解像度復元処理を実施する解像度復元手段と、前記サブカメラモジュール及び被写体の間の被写体距離を推定する被写体距離推定手段と、前記被写体距離推定手段において推定された前記被写体距離に基づいてデコンボリューションマトリックスを選択するマトリックス選択手段と、を有し、前記解像度復元手段は、前記マトリックス選択手段で選択された前記デコンボリューションマトリックスに基づいて、前記サブカメラモジュールにより得られた画像データごとに前記解像度復元処理を実施することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００８】
本発明によれば、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影が可能となるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】実施の形態に係るカメラモジュールの斜視概略図。
【図２】イメージセンサ部の上面模式図。
【図３】各色用サブカメラモジュールの撮像レンズに備わるＭＴＦ特性の例を表したグラフ。
【図４】カメラモジュールでの撮像により得られた信号の処理のための画像処理装置の構成を示すブロック図。
【図５】ブロックマッチング手段による被写体像同士の位置合わせについて説明する図。
【図６】ＦＦＴ手段、被写体距離推定手段、マトリックス選択手段及び解像度復元手段における処理の手順を説明するフローチャート。
【図７】実施の形態の変形例に係る画像処理装置の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、本発明の実施の形態に係るカメラモジュール及び画像処理装置を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。
【００１１】
（実施の形態）
図１は、本発明の実施の形態に係るカメラモジュール１０の斜視概略図である。カメラモジュール１０は、イメージセンサ部１１及びレンズレット１２を備える。イメージセンサ部１１は、被写体像を撮像する四つの撮像素子１３を備える。レンズレット１２は、撮像素子１３に対応するように平面上に配置された四つの撮像レンズ１４を備える。
【００１２】
カメラモジュール１０は、撮像素子１３と撮像レンズ１４とを備える四つの独立したサブカメラモジュールから構成されている。各サブカメラモジュールは、被写体像の各色成分を分担して撮像する。撮像レンズ１４は、被写体から取り込まれた光を撮像素子１３へ入射させる。撮像素子１３は、撮像レンズ１４により取り込まれた光を信号電荷に変換する。
【００１３】
図２は、イメージセンサ部１１の上面模式図である。四つの撮像素子１３（１３Ｇ１、１３Ｒ、１３Ｂ、１３Ｇ２）は、縦横２×２のマトリックス状に配置されている。赤色（Ｒ）光用の撮像素子１３Ｒ、青色（Ｂ）光用の撮像素子１３Ｂ、緑色（Ｇ）光用の二つの撮像素子１３Ｇ１、１３Ｇ２は、ベイヤー配列と同様に、Ｇ光用の二つの撮像素子１３Ｇ１、１３Ｇ２が斜向かいとなるように配置されている。
【００１４】
Ｒ光用の撮像素子１３Ｒを備えるＲ用サブカメラモジュールは、被写体像のＲ成分を撮像する。Ｂ光用の撮像素子１３Ｂを備えるＢ用サブカメラモジュールは、被写体像のＢ成分を撮像する。Ｇ光用の撮像素子１３Ｇ１を備えるＧ１用サブカメラモジュールと、Ｇ光用の撮像素子１３Ｇ２を備えるＧ２用サブカメラモジュールとは、被写体像の同色成分であるＧ成分を撮像する。なお、同色成分とは、波長領域が同一である色光である場合に限られず、波長領域が互いに近似し略同じ色光と認められる場合も含むものとする。
【００１５】
カメラモジュール１０は、レンズレット１２を備える構成を採用することにより、撮像レンズ１４の焦点距離を短縮させる。これにより、撮像素子１３及び撮像レンズ１４の間の距離を短縮させることが可能となる。カメラモジュール１０は、同一の色成分に対する画素をサブカメラモジュールに持たせることにより、隣接する画素間における、異なる色成分に対する信号同士の干渉を回避できる。これにより、混色を減少させ、感度を大幅に向上させることが可能となる。また、各サブカメラモジュールの撮像レンズ１４は、それぞれの色成分に対してレンズ設計を最適化できるため、軸上色収差を大幅に軽減させることが可能となる。カメラモジュール１０は、感度を向上させた分、Ｆ値を大きくすることが可能となるため、撮像素子内に各色用画素をベイヤー配列させる場合と同等のノイズレベルを保ったまま、被写界深度を大きく広げることが可能となる。
【００１６】
ここで、四つのサブカメラモジュールのうち、Ｇ１用サブカメラモジュールを基準サブカメラモジュールとする。図２に示す平面のうち、基準サブカメラモジュールのＧ光用撮像素子１３Ｇ１とＲ用サブカメラモジュールのＲ光用撮像素子１３Ｒとを並列させた方向をＸ方向とし、基準サブカメラモジュールのＧ光用撮像素子１３Ｇ１とＢ用サブカメラモジュールのＢ光用撮像素子１３Ｂとを並列させた方向をＹ方向とする。Ｘ方向及びＹ方向は、互いに垂直である。
【００１７】
図２に示す破線の交点は、仮に、各色成分の被写体像の結像位置が一致するものとした場合における、各撮像素子１３Ｇ１、１３Ｒ、１３Ｂ、１３Ｇ２の中心位置を表す。Ｇ１用サブカメラモジュールによる被写体像の結像位置が基準であるとすると、Ｒ用サブカメラモジュールは、基準に対してＸ方向へ半画素分、被写体像の結像位置がシフトするように配置されている。Ｂ用サブカメラモジュールは、基準に対してＹ方向へ半画素分、被写体像の結像位置がシフトするように配置されている。Ｇ２用サブカメラモジュールは、基準に対してＸ方向及びＹ方向へそれぞれ半画素分、被写体像の結像位置がシフトするように配置されている。Ｇ用サブカメラモジュールのうちの一つを基準サブカメラモジュールとし、視感度が高いＧ成分の被写体像を基準とすることで、後述する画像処理における精度差が軽減される。
【００１８】
図３は、各色用サブカメラモジュールの撮像レンズ１４に備わるＭＴＦ特性の例を表したグラフである。図示するグラフは、Ｇ１成分、Ｒ成分、Ｇ２成分、Ｂ成分について、１／２Ｎｙｑｕｉｓｔでの被写体距離とＭＴＦとの関係を表したものである。グラフの縦軸はＭＴＦ、横軸は被写体距離とする。ＭＴＦは、空間周波数の増加に対する正弦波物体の像の変調を示す関数である。
【００１９】
Ｇ１用、Ｒ用、Ｂ用の各サブカメラモジュールに設けられた撮像レンズ１４は、いずれも、無限遠でベストフォーカスとなるように設計されている。これに対して、Ｇ２用サブカメラモジュールに設けられた撮像レンズ１４は、例えば３０ｃｍ程度の近接距離でベストフォーカスとなるように設計されている。このように、四つのサブカメラモジュールのうち被写体像の緑色成分を撮像するＧ１用サブカメラモジュールとＧ２用サブカメラモジュールとは、ベストフォーカスとなるときの被写体距離を互いに異ならせた撮像レンズ１４を備える。
【００２０】
図４は、カメラモジュール１０での撮像により得られた信号の処理のための画像処理装置の構成を示すブロック図である。画像処理装置は、前段のイメージセンサ部１１と後段のプロセッサ２０とに大別される。イメージセンサ部１１は、シェーディング補正手段１５、ディストーション補正手段１６、マトリックス選択手段１７及び解像度復元手段１８を備える。シェーディング補正手段１５、ディストーション補正手段１６、マトリックス選択手段１７及び解像度復元手段１８は、四つのサブカメラモジュールにより得られたＧ１、Ｇ２、Ｒ、ＢのＲＡＷ画像ごとに信号処理を実施する。
【００２１】
シェーディング補正手段１５は、撮像レンズ１４に起因して生じる輝度ムラ、特に、被写体像の中央部と周辺部との光量差を補正する（シェーディング補正）。ディストーション補正手段１６は、撮像レンズ１４に起因する位置ずれによる被写体像の歪み（ディストーション）を補正する。
【００２２】
プロセッサ２０は、高速フーリエ変換（Ｆａｓｔ  Ｆｏｕｒｉｅｒ  Ｔｒａｎｓｆｏｒｍ；ＦＦＴ）手段２１、被写体距離推定手段２２、ブロックマッチング手段２３及びデモザイキング手段２４を備える。ＦＦＴ手段２１は、Ｇ１、Ｇ２のＲＡＷ画像を取り込み、ＦＦＴによる実空間から周波数空間への変換を実行する。被写体距離推定手段２２は、カメラモジュール１０及び被写体の間の被写体距離を推定する。
【００２３】
イメージセンサ部１１のマトリックス選択手段１７は、被写体距離推定手段２２において推定された被写体距離に基づいて、Ｒ、Ｇ、Ｂ各色に対して最適な解像度復元用マトリックスを選択する。本実施の形態において、解像度復元用マトリックスは、画像復元アルゴリズムと同等の効果が得られるようなデコンボリューションマトリックスとする。マトリックス選択手段１７は、予め用意された例えば二つの解像度復元用マトリックスから、最適な解像度復元用マトリックスを選択する。なお、マトリックス選択手段１７は、最適な解像度復元用マトリックスを少なくとも二以上の解像度復元用マトリックスから選択するものであれば良い。
【００２４】
解像度復元手段１８は、マトリックス選択手段１７で選択された解像度復元用マトリックスに基づいて、解像度復元処理を実施する。解像度復元処理は、四つのサブカメラモジュールにより得られたＧ１、Ｇ２、Ｒ、Ｂの画像データごとに実施される。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。
【００２５】
プロセッサ２０のブロックマッチング手段２３は、シェーディング補正手段１５、ディストーション補正手段１６、マトリックス選択手段１７及び解像度復元手段１８による処理を経たＧ１、Ｇ２、Ｒ、Ｂの各画像データに対して、ブロックマッチング（パターンマッチング）処理を実施する。ブロックマッチング手段２３は、各サブカメラモジュールで得られた被写体像同士について、ブロックマッチング処理による位置合わせをする。
【００２６】
図５は、ブロックマッチング手段２３による被写体像同士の位置合わせについて説明する図である。ここで、図示する正方形はいずれも画素を表すものとする。Ｒ画素、Ｂ画素、Ｇ２画素については、被写体像の結像位置が一致する場合を破線で表し、Ｇ１画素に対して半画素分シフトさせた状態を実線で表している。Ｒ画素は、Ｇ１画素に対して図中横方向へ半ピクセル分シフトさせる。Ｂ画素は、Ｇ１画素に対して図中縦方向へ半ピクセル分シフトさせる。Ｇ２画素は、Ｇ１画素に対して横方向及び縦方向へそれぞれ半ピクセル分シフトさせる。ブロックマッチング手段２３は、Ｇ１画素の位置を基に、Ｒ画素、Ｂ画素及びＧ２画素が所定方向へ半ピクセル分シフトするように、サブピクセル単位での位置合わせをする。
【００２７】
図４に戻って、デモザイキング手段２４は、ブロックマッチング処理により得られた画像に対してデモザイキング処理を実施することにより、カラー画像を合成する。デモザイキング手段２４は、ブロックマッチング処理により得られた画像をベイヤー配列によるものと見立てた画素補間処理を施すことで、不足色成分の信号値を生成する。本実施の形態では、サブカメラモジュールにより撮像された被写体像をシフトさせてカラー画像を合成することにより、所定の総画素数とする。画像処理装置は、このようにして合成されたカラー画像を出力する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加や、処理の順序の変更などを適宜しても良い。
【００２８】
画像処理装置は、サブカメラモジュールの配置によって被写体像をシフトさせる場合に限られない。例えば、サブピクセル単位でマッピングした後、バイリニア或いはバイキュービック等の補間方法を適用して、ベイヤー配列を生成しても良い。かかる手法は、被写体像のシフト量を物理的にコントロールすることが困難である場合、例えば、撮像素子の取り付け誤差やカメラモジュール１の製造ばらつき等の影響が大きいような場合に有用であって、撮像素子を微細化させる場合に適している。本実施の形態のカメラモジュール１０は従来のものに比較して高感度にできることから、サブピクセル単位の精度を得られない場合であっても、例えば、アップサンプリングによって所定の総画素数を得ることとしても良い。
【００２９】
図６は、ＦＦＴ手段２１、被写体距離推定手段２２、マトリックス選択手段１７及び解像度復元手段１８における処理の手順を説明するフローチャートである。ＦＦＴ手段２１は、ステップＳ１においてＧ１、Ｇ２のＲＡＷ画像を取り込むと、ステップＳ２において、ＦＦＴによる実空間から周波数空間への変換を実行する。
【００３０】
ステップＳ３において、被写体距離推定手段２２は、被写体距離を推定する。被写体距離推定手段２２は、Ｇ１及びＧ２について数値化された空間周波数特性を比較し、高域成分を多く含むものを、輪郭を持つ正しい被写体像として選択する。被写体距離推定手段２２は、高域成分を多く含むものとしてＧ１を選択した場合、被写体距離が無限遠であると推定する。また、被写体距離推定手段２２は、高域成分を多く含むものとしてＧ２を選択した場合、被写体距離が近接距離であると推定する。
【００３１】
被写体距離推定手段２２において、被写体距離が近接距離と推定された場合（ステップＳ４、Ｙｅｓ）、マトリックス選択手段１７は、無限遠でベストフォーカスとなるように撮像レンズ１４が設計されているＲ、Ｇ１、Ｂの各画像データに対して、近接距離での解像度復元を実施するための解像度復元用マトリックスｍｍａｃｒｏ（Ｒ）ｍｍａｃｒｏ（Ｇ１）ｍｍａｃｒｏ（Ｂ）を選択する。
【００３２】
一方、被写体距離推定手段２２において、被写体距離が無限遠と推定された場合（ステップＳ４、Ｎｏ）、マトリックス選択手段１７は、近接距離でベストフォーカスとなるように撮像レンズ１４が設計されているＧ２の画像データに対して、無限遠での解像度復元を実施するための解像度復元用マトリックスｍｉｎｆ（Ｇ２）を選択する。
【００３３】
解像度復元手段１８は、ステップＳ５或いはステップＳ６で選択された解像度復元用マトリックスに基づいて、解像度復元処理を実施する。解像度復元用マトリックスとしてｍｍａｃｒｏ（Ｒ）ｍｍａｃｒｏ（Ｇ１）ｍｍａｃｒｏ（Ｂ）が選択された場合、解像度復元手段１８は、Ｒ、Ｇ１、Ｂの各画像データについて、近接距離を照準とする解像度復元処理を実施し、ステップＳ８において出力する。解像度復元手段１８は、Ｇ２の画像データについては処理を行わず、ステップＳ８においてそのまま出力することとしても良い。
【００３４】
解像度復元マトリックスとしてｍｉｎｆ（Ｇ２）が選択された場合、解像度復元手段１８は、Ｇ２の画像データについて、無限遠を照準とする解像度復元処理を実施し、ステップＳ８において出力する。解像度復元手段１８は、Ｒ、Ｇ１、Ｂの各画像データについては処理を行わず、ステップＳ８においてそのまま出力することとしても良い。
【００３５】
本実施の形態に係るカメラモジュール１０は、ベストフォーカスを異ならせた撮像レンズ１４を設け、推定された被写体距離に応じて選択された解像度復元用マトリックスによる解像度復元処理を実施することで、被写界深度を確保するとともに、被写体距離に応じた十分な解像度を得ることが可能となる。また、固定焦点の撮像レンズ１４を用いることで、カメラモジュール１０の薄型化及び小型化も可能となる。これにより、カメラモジュールの薄型化及び小型化と、十分な被写界深度での高感度な撮影とが可能となる。
【００３６】
なお、被写体距離推定手段２２は、被写体距離が近接距離及び無限遠のいずれであるかを推定するものに限られない。被写体距離推定手段２２は、被写体距離が少なくとも二つの焦点距離範囲のいずれであるかを推定するものであれば良く、三つ以上の焦点距離範囲のいずれであるかを推定するものであっても良い。例えば、被写体距離が近接距離である場合と無限遠である場合との二つの焦点距離範囲に加えて、１ｍから３ｍの焦点距離範囲である場合を別に推定可能としても良い。マトリックス選択手段１７は、推定される被写体距離の焦点距離範囲に応じて解像度復元用マトリックスを三以上用意することとし、その中から最適な解像度復元用マトリックスを選択することとしても良い。
【００３７】
レンズレット１２は、複数の撮像レンズ１４のうち少なくとも二つが、ベストフォーカスとなるときの被写体距離を互いに異ならせるものであれば良く、ベストフォーカスとなるときの被写体距離を互いに異ならせた撮像レンズ１４を三つ以上としても良い。ベストフォーカスとする被写体距離は、撮影用途や、被写体距離ごとの撮影頻度の高さなどに応じて、任意に選択しても良い。例えば、近接距離におけるベストフォーカス位置は、無限遠での解像度が極端に低下しない範囲で設定されることが望ましい。これにより、十分な被写界深度を確保できる。
【００３８】
カメラモジュール１０は、Ｒ用及びＢ用のサブカメラモジュール一つずつと、Ｇ用のサブカメラモジュールとにより構成されるものに限られない。カメラモジュール１０を構成するサブカメラモジュールは複数であれば良く、四つ以外としても良い。また、ベストフォーカスとなる撮像レンズ１４の被写体距離を互いに異ならせるのはＧ用のサブカメラモジュール同士である場合に限られず、いずれの色光用のサブカメラモジュール同士であっても良い。同色成分を撮像する複数のサブカメラモジュール同士は、被写体距離を互いに異ならせることで、被写体距離の推測に利用可能である。
【００３９】
図７は、本実施の形態の変形例に係る画像処理装置の構成を示すブロック図である。イメージセンサ部１１は、シェーディング補正手段１５、ディストーション補正手段１６、マトリックス選択手段１７及び解像度復元手段１８に加えて設けられたパラメータ記憶手段１９を備える。パラメータ記憶手段１９は、イメージセンサ部１１での処理に必要なパラメータが書き込まれ、これを保持する。イメージセンサ部１１は、カメラモジュール１０の個体情報をパラメータとして、パラメータ記憶手段１９に保持する。なお、個体情報とは、例えば、レンズ等の部品の製造誤差や、部品同士の組立誤差等、製品ごとの個体差に関する情報とする。
【００４０】
シェーディング補正手段１５は、パラメータ記憶手段１９に保持されたパラメータを参照して、被写体像をシェーディング補正する。ディストーション補正手段１６は、パラメータ記憶手段１９に保持されたパラメータを参照して、被写体像のディストーションを補正する。これにより、カメラモジュール１０の個体差に応じた画像処理が可能となる。
【００４１】
画像処理装置は、シェーディング処理から解像度復元処理までをイメージセンサ部１１内で実施する構成に限られない。画像処理装置は、シェーディング処理から解像度復元処理までの一部或いは全てを、プロセッサ２０内で実施することとしても良い。また、画像処理装置は、ＦＦＴ、被写体距離推定、ブロックマッチング処理及びデモザイキング処理をプロセッサ２０内で実施する構成に限られない。画像処理装置は、イメージセンサ部１１の回路規模や消費電力が許容可能であれば、ＦＦＴ、被写体距離推定、ブロックマッチング処理及びデモザイキング処理の一部或いは全てを、イメージセンサ部１１内で実施することとしても良い。
【符号の説明】
【００４２】
１０  カメラモジュール、１３Ｒ  Ｒ光用撮像素子、１３Ｇ１、１３Ｇ２  Ｇ光用撮像素子、１３Ｂ  Ｂ光用撮像素子、１７  マトリックス選択手段、１８  解像度復元手段、２２  被写体距離推定手段、２３  ブロックマッチング手段、２４  デモザイキング手段。
【図１】
0005404376.tif 000002
【図２】
0005404376.tif 000003
【図３】
0005404376.tif 000004
【図４】
0005404376.tif 000005
【図５】
0005404376.tif 000006
【図６】
0005404376.tif 000007
【図７】
0005404376.tif 000008