(57)【要約】【課題】カメラモジュールの薄型化及び小型化と、高感度での撮影とを実現可能とするための画像処理装置を提供すること。【解決手段】撮像素子と撮像レンズとを備えるカメラモジュールと、シェーディング補正手段１５と、ディストーション補正手段１６と、レンズ特性推測手段１７と、解像度復元手段１８と、ブロックマッチング手段２１と、デモザイキング手段２２と、を有し、カメラモジュールは、撮像素子及び撮像レンズを備える複数のサブカメラモジュールにより構成され、シェーディング補正手段１５、ディストーション補正手段１６、レンズ特性推測手段１７及び解像度復元手段１８は、サブカメラモジュールにより得られた画像データごとに信号処理を実行する。【選択図】図３
2011044801.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、前記撮像素子へ入射させる光を取り込む撮像レンズとを備え、被写体像を撮像するカメラモジュールと、
前記被写体像をシェーディング補正するシェーディング補正手段と、
前記被写体像のディストーションを補正するディストーション補正手段と、
前記撮像レンズに備わるレンズ特性を推測するレンズ特性推測手段と、
推測された前記レンズ特性を基にして前記被写体像の解像度復元処理を実施する解像度復元手段と、
前記被写体像の位置合わせのためのブロックマッチング処理を実施するブロックマッチング手段と、
前記ブロックマッチング処理により得られた画像のデモザイキング処理によりカラー画像を合成するデモザイキング手段と、を有し、
前記カメラモジュールは、前記撮像素子及び前記撮像レンズを備える複数のサブカメラモジュールにより構成され、
前記シェーディング補正手段、前記ディストーション補正手段、前記レンズ特性推測手段及び前記解像度復元手段は、前記サブカメラモジュールにより得られた画像データごとに信号処理を実行することを特徴とする画像処理装置。
【請求項２】
前記複数のサブカメラモジュールのうちの一つを基準サブカメラモジュールとして、
前記基準サブカメラモジュール以外のサブカメラモジュールによる前記被写体像の結像位置が、前記基準サブカメラモジュールによる前記被写体像の結像位置に対してシフトするように、前記複数のサブカメラモジュールが配置されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数のサブカメラモジュールのうちの一つを基準サブカメラモジュールとして、
前記解像度復元手段は、前記基準サブカメラモジュール以外のサブカメラモジュールにより撮像された前記被写体像を、前記基準サブカメラモジュールにより撮像された前記被写体像に対してシフトさせるための位置情報が加えられた前記レンズ特性を基にして前記解像度復元処理を実施することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記複数のサブカメラモジュールのうち中心に位置する一つを基準サブカメラモジュールとして、
前記基準サブカメラモジュール以外のサブカメラモジュールについて、前記基準サブカメラモジュールにより撮像された前記被写体像に対して視差が補正された画像を基にして信号値をサンプリングするサンプリング手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記基準サブカメラモジュールは、前記被写体像の緑色成分を撮像する緑色用サブカメラモジュールであることを特徴とする請求項２から４のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
デジタルカメラ等に用いられるカメラモジュールは、薄型化や小型化の要請により、レンズと撮像素子との間の距離（焦点距離）をできるだけ短縮させる傾向にある（カメラモジュールに関しては、例えば、特許文献１参照）。従来、レンズと撮像素子との間の距離を短縮させるために、画素の微細化が進められている。また、レンズを広角化させることや高屈折率材料を用いることなどにより、レンズの焦点距離の短縮化がなされている。しかし、画素が微細となるほど、一画素当たりの受光量の減少による感度不足や飽和電子数の減少によりＳＮ比が悪化することが課題となる。また、レンズの材料選択や設計による焦点距離の短縮にも限界がある点も問題となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１１５２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、カメラモジュールの薄型化及び小型化と、高感度での撮影とを実現可能とするための画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本願発明の一態様によれば、撮像素子と、前記撮像素子へ入射させる光を取り込む撮像レンズとを備え、被写体像を撮像するカメラモジュールと、前記被写体像をシェーディング補正するシェーディング補正手段と、前記被写体像のディストーションを補正するディストーション補正手段と、前記撮像レンズに備わるレンズ特性を推測するレンズ特性推測手段と、推測された前記レンズ特性を基にして前記被写体像の解像度復元処理を実施する解像度復元手段と、前記被写体像の位置合わせのためのブロックマッチング処理を実施するブロックマッチング手段と、前記ブロックマッチング処理により得られた画像のデモザイキング処理によりカラー画像を合成するデモザイキング手段と、を有し、前記カメラモジュールは、前記撮像素子及び前記撮像レンズを備える複数のサブカメラモジュールにより構成され、前記シェーディング補正手段、前記ディストーション補正手段、前記レンズ特性推測手段及び前記解像度復元手段は、前記サブカメラモジュールにより得られた画像データごとに信号処理を実行することを特徴とする画像処理装置が提供される。
【発明の効果】
【０００６】
本発明によれば、カメラモジュールの薄型化及び小型化と、高感度での撮影とを実現できるという効果を奏する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態に係る画像処理装置のうちのカメラモジュールの斜視概略図。
【図２】イメージセンサ部の上面模式図。
【図３】画像処理装置のうち信号処理のための構成を示すブロック図。
【図４】ブロックマッチング手段による被写体像同士の位置合わせについて説明する図。
【図５】変形例に係る画像処理装置のうち信号処理のための構成を示すブロック図。
【図６】第２の実施の形態に係る画像処理装置のうちのカメラモジュールの斜視概略図。
【図７】イメージセンサ部の上面模式図。
【図８】画像処理装置のうち信号処理のための構成を示すブロック図。
【図９】被写体像の視差について説明する図。
【図１０】変形例に係る画像処理装置のうち信号処理のための構成を示すブロック図。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、本発明の実施の形態に係る画像処理装置を詳細に説明する。
【０００９】
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る画像処理装置のうちのカメラモジュール１０の斜視概略図である。カメラモジュール１０は、被写体像を撮像するためのイメージセンサ部１１及びレンズレット１２を備える。イメージセンサ部１１は、四つの撮像素子１３を備える。レンズレット１２は、撮像素子１３に対応するように平面上に配置された四つの撮像レンズ１４を備える。
【００１０】
カメラモジュール１０は、撮像素子１３と撮像レンズ１４とを備える四つの独立したサブカメラモジュールから構成されている。撮像レンズ１４は、被写体からの光を取り込み、撮像素子１３へ入射させる。撮像素子１３は、撮像レンズ１４により取り込まれた光を信号電荷に変換する。
【００１１】
図２は、イメージセンサ部１１の上面模式図である。四つの撮像素子１３（１３Ｇｒ、１３Ｒ、１３Ｂ、１３Ｇｂ）は、縦横２×２のマトリクス状に配置されている。赤色（Ｒ）光用の撮像素子１３Ｒ、青色（Ｂ）光用の撮像素子１３Ｂ、緑色（Ｇ）光用の二つの撮像素子１３Ｇｒ、１３Ｇｂは、ベイヤー配列と同様に、Ｇ光用の二つの撮像素子１３Ｇｒ、１３Ｇｂが斜向かいとなるように配置されている。Ｒ光用の撮像素子１３Ｒを備えるＲ用サブカメラモジュールは、被写体像のＲ成分を撮像する。Ｂ光用の撮像素子１３Ｂを備えるＢ用サブカメラモジュールは、被写体像のＢ成分を撮像する。Ｇ光用の撮像素子１３Ｇｒを備えるＧｒ用サブカメラモジュールと、Ｇ光用の撮像素子１３Ｇｂを備えるＧｂ用サブカメラモジュールとは、被写体像のＧ成分を撮像する。
【００１２】
カメラモジュール１０は、レンズレット１２を備える構成を採用することにより、撮像レンズ１４の焦点距離を短縮させる。これにより、撮像素子１３及び撮像レンズ１４の間の距離を短縮させることが可能となる。カメラモジュール１０は、同一の色成分に対する画素をサブカメラモジュールに持たせることにより、隣接する画素間における、異なる色成分に対する信号同士の干渉を回避できる。これにより、混色を減少させ、感度を大幅に向上させることが可能となる。また、各サブカメラモジュールの撮像レンズ１４は、それぞれの色成分に対してレンズ設計を最適化できるため、軸上色収差を大幅に軽減させることが可能となる。
【００１３】
ここで、四つのサブカメラモジュールのうち、Ｇｒ用サブカメラモジュールを基準サブカメラモジュールとする。図２に示す平面のうち、基準サブカメラモジュールのＧ光用撮像素子１３ＧｒとＲ用サブカメラモジュールのＲ光用撮像素子１３Ｒとを並列させた方向をＸ方向とし、基準サブカメラモジュールのＧ光用撮像素子１３ＧｒとＢ用サブカメラモジュールのＢ光用撮像素子１３Ｂとを並列させた方向をＹ方向とする。Ｘ方向及びＹ方向は、互いに垂直である。
【００１４】
図示する破線の交点は、仮に、各色成分の被写体像の結像位置が一致するものとした場合における、各撮像素子１３Ｇｒ、１３Ｒ、１３Ｂ、１３Ｇｂの中心位置を表す。Ｇｒ用サブカメラモジュールによる被写体像の結像位置が基準であるとすると、Ｒ用サブカメラモジュールは、基準に対してＸ方向へ半画素分、被写体像の結像位置がシフトするように配置されている。Ｂ用サブカメラモジュールは、基準に対してＹ方向へ半画素分、被写体像の結像位置がシフトするように配置されている。Ｇｂ用サブカメラモジュールは、基準に対してＸ方向及びＹ方向へそれぞれ半画素分、被写体像の結像位置がシフトするように配置されている。Ｇ用サブカメラモジュールを基準サブカメラモジュールとし、視感度が高いＧ成分の被写体像を基準とすることで、後述する画像処理における精度差が軽減される。
【００１５】
図３は、画像処理装置のうち信号処理のための構成を示すブロック図である。信号処理のための構成は、前段のイメージセンサ部１１と後段のプロセッサ２０とに大別される。イメージセンサ部１１は、シェーディング補正手段１５、ディストーション補正手段１６、レンズ特性推測手段１７、及び解像度復元手段１８を備える。シェーディング補正手段１５、ディストーション補正手段１６、レンズ特性推測手段１７、及び解像度復元手段１８は、四つのサブカメラモジュールにより得られたＧｒ、Ｒ、Ｂ、ＧｂのＲＡＷ画像ごとに信号処理を実行する。
【００１６】
シェーディング補正手段１５は、撮像レンズ１４に起因して生じる輝度ムラ、特に、被写体像の中央部と周辺部との光量差を補正する（シェーディング補正）。ディストーション補正手段１６は、撮像レンズ１４に起因する位置ずれによる被写体像の歪み（ディストーション）を補正する。レンズ特性推測手段１７は、輪郭の色滲みの原因となる倍率色収差やぼけ量等、撮像レンズ１４に備わるレンズ特性を推測する。レンズ特性としては、例えば、光学伝達係数であるＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を用いる。レンズ特性推測手段１７は、例えば、最小二乗法によりＰＳＦを推測する。
【００１７】
解像度復元手段１８は、レンズ特性推測手段１７にて推測されたレンズ特性を基にして解像度復元処理を実施する。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。
【００１８】
プロセッサ２０は、ブロックマッチング手段２１及びデモザイキング手段２２を備える。ブロックマッチング手段２１は、シェーディング補正手段１５、ディストーション補正手段１６、レンズ特性推測手段１７及び解像度復元手段１８による処理を経たＧｒ、Ｒ、Ｂ、Ｇｂの各ＲＡＷ画像に対して、ブロックマッチング（パターンマッチング）処理を実施する。ブロックマッチング手段２１は、ブロックマッチング処理により、各サブカメラモジュールで得られた被写体像同士の位置合わせをする。
【００１９】
図４は、ブロックマッチング手段２１による被写体像同士の位置合わせについて説明する図である。ここで、図示する正方形はいずれも画素を表すものとする。Ｒ画素、Ｂ画素、Ｇｂ画素については、被写体像の結像位置が一致する場合を破線で表し、Ｇｒ画素に対して半画素分シフトさせた状態を実線で表している。Ｒ画素は、Ｇｒ画素に対して図中横方向へ半ピクセル分シフトさせる。Ｂ画素は、Ｇｒ画素に対して図中縦方向へ半ピクセル分シフトさせる。Ｇｂ画素は、Ｇｒ画素に対して横方向及び縦方向へそれぞれ半ピクセル分シフトさせる。ブロックマッチング手段２１は、Ｇｒ画素の位置を基に、Ｒ画素、Ｂ画素及びＧｂ画素が所定方向へ半ピクセル分シフトするように、サブピクセル単位での位置合わせをする。
【００２０】
図３に戻って、デモザイキング手段２２は、ブロックマッチング処理により得られた画像のデモザイキング処理によりカラー画像を合成する。デモザイキング手段２２は、ブロックマッチング処理により得られた画像をベイヤー配列によるものと見立てた画素補間処理を施すことで、不足色成分の信号値を生成する。本実施の形態では、サブカメラモジュールにより撮像された被写体像をシフトさせてカラー画像を合成することにより、所定の総画素数とする。画像処理装置は、このようにして合成されたカラー画像を出力する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加や、処理の順序の変更などを適宜しても良い。
【００２１】
本実施の形態に係る画像処理装置は、混色を減少させるとともにサブカメラモジュールにより得られたＲＡＷ画像ごとに信号処理を実行することにより、高感度による撮影が可能となる。以上により、カメラモジュール１０の薄型化及び小型化と、高感度での撮影とを実現できるという効果を奏する。また、画像処理装置は、イメージセンサ部１１でＲＡＷ画像処理、プロセッサ２０でＲＧＢ同時化（デモザイキング）処理をそれぞれ実行する構成とすることで、従来の画像処理装置に使用されるプロセッサによる処理の大半を流用でき、システムの変更を少なくできる利点がある。プロセッサ２０は、例えばブロックマッチング処理以外の処理について、従来のシステムを流用することとしても良い。
【００２２】
カメラモジュール１０は、目的や用途に応じて、Ｇｒ用、Ｇｂ用の各サブカメラモジュールに代えて、例えば、Ｇ光用の低感度画素及び高感度画素、ＲＧＢ以外の補色カラーフィルタを備える画素、ホワイト・グレーフィルタを備える画素等を備えるサブカメラモジュールを設けても良い。
【００２３】
画像処理装置は、サブカメラモジュールの配置によって被写体像をシフトさせる場合に限られない。例えば、レンズ特性推測手段１７で推測されたレンズ特性に、被写体像のシフトに関する位置情報を加えることにより、被写体像をシフトさせることとしても良い。レンズ特性には、基準サブカメラモジュール以外のサブカメラモジュールにより撮像された被写体像を、基準サブカメラモジュールにより撮像された被写体像に対してシフトさせるための位置情報が加えられる。解像度復元手段１８は、かかる位置情報が加えられたレンズ特性を基にして解像度を復元する。このようにして、画像処理装置は、信号処理によって被写体像をシフトさせる。かかる手法は、例えば、撮像素子の取り付け誤差や製造のばらつき等の影響が大きいために、被写体像のシフト量を物理的にコントロールすることが困難である場合に有用であって、撮像素子を微細化させる場合に適している。
【００２４】
また、画像処理装置は、被写体像をサブピクセル単位でシフトさせることで所定の総画素数を得るものに限られず、例えば、デモザイキング手段２２でのアップサンプリングによって所定の総画素数を得ることとしても良い。アップサンプリングは、ブロックマッチング手段２１においてサブピクセル単位での位置合わせが困難である場合に有用であって、この場合も高い感度を得ることができる。
【００２５】
図５は、本実施の形態の変形例に係る画像処理装置のうち信号処理のための構成を示すブロック図である。本変形例では、シェーディング補正からデモザイキング処理までの信号処理をプロセッサ２０により実行する。プロセッサ２０は、シェーディング補正手段１５、ディストーション補正手段１６、レンズ特性推測手段１７、解像度復元手段１８、ブロックマッチング手段２１、及びデモザイキング手段２２を備える。イメージセンサ部１１は、パラメータ記憶手段２３を備える。パラメータ記憶手段２３は、プロセッサ２０での処理に必要なパラメータが書き込まれ、これを保持する。このように、イメージセンサ部１１は、カメラモジュール１０の個体情報をパラメータとして保持する。なお、個体情報とは、例えば、レンズ等の部品の製造誤差や、部品同士の組立誤差等、製品ごとの個体差に関する情報とする。
【００２６】
シェーディング補正手段１５は、パラメータ記憶手段２３に保持されたパラメータを参照して、被写体像をシェーディング補正する。ディストーション補正手段１６は、パラメータ記憶手段２３に保持されたパラメータを参照して、被写体像のディストーションを補正する。レンズ特性推測手段１７は、パラメータ記憶手段２３に保持されたパラメータを参照して、各サブカメラモジュールの撮像レンズ１４に備わるレンズ特性を推測する。
【００２７】
本変形例の場合も、カメラモジュール１０の薄型化及び小型化と、高感度での撮影とが実現可能となる。また、一般に、プロセッサ２０はイメージセンサ部１１に比較して回路規模の制約が少ないことから、プロセッサ２０にてＲＡＷ画像処理及びＲＧＢ同時化（デモザイキング）処理を実行する構成とすることで、複雑かつ高度な信号処理によって高品質な画像を得ることも可能となる。さらに、本変形例の場合、イメージセンサ部１１の回路規模を削減できるという利点もある。
【００２８】
画像処理装置は、シェーディング補正からデモザイキング処理までの信号処理をイメージセンサ部１１により実行することとしても良い。イメージセンサ部１１においてＲＡＷ画像処理及びＲＧＢ同時化（デモザイキング）処理を実行する構成とすることで、簡易な回路構成により、信号処理の高速化が可能となる。
【００２９】
（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る画像処理装置のうちのカメラモジュール３０の斜視概略図である。本実施の形態において、カメラモジュール３０は、撮像素子３３と撮像レンズ３４とを備える九つの独立したサブカメラモジュールから構成されている。イメージセンサ部３１は、九つの撮像素子３３を備える。レンズレット３２は、撮像素子３３に対応するように平面上に配置された九つの撮像レンズ３４を備える。
【００３０】
図７は、イメージセンサ部３１の上面模式図である。九つの撮像素子３３は、縦横３×３のマトリクス状に配置されている。このうち二つの撮像素子３３がＲ光用（Ｒ０１、Ｒ１２）、二つの撮像素子３３がＢ光用（Ｂ１０、Ｂ２１）、五つの撮像素子３３がＧ光用（Ｇ００、Ｇ０２、Ｇ１１、Ｇ２０、Ｇ２２）とされている。Ｇ光用の五つの撮像素子３３は、そのうちの一つ（Ｇ１１）がマトリクスの中心に配置され、その周囲の斜向かいに四つ（Ｇ００、Ｇ０２、Ｇ２０、Ｇ２２）が配置されている。Ｒ光用の撮像素子３３（Ｒ０１、Ｒ１２）、Ｂ光用の撮像素子３３（Ｂ１０、Ｂ２１）は、Ｇ光用の撮像素子３３と縦横に隣接するように配置されている。
【００３１】
本実施の形態も、第１の実施の形態と同様に、撮像素子３３及び撮像レンズ３４の間の距離の短縮、混色の減少による感度の向上、軸上色収差の軽減が可能である。ここで、九つのサブカメラモジュールのうち中心に配置されるＧ用サブカメラモジュール（Ｇ１１）を基本サブカメラモジュールとする。Ｇ用サブカメラモジュールを基準サブカメラモジュールとし、視感度が高いＧ成分の被写体像を基準とすることで、後述する画像処理の精度差を軽減できる。
【００３２】
図８は、画像処理装置のうち信号処理のための構成を示すブロック図である。信号処理のための構成は、前段のイメージセンサ部３１と後段のプロセッサ４０とに大別される。イメージセンサ部３１は、シェーディング補正手段３５、ディストーション補正手段３６、レンズ特性推測手段３７、及び解像度復元手段３８を備える。イメージセンサ部３１は、シェーディング補正手段３５、ディストーション補正手段３６、レンズ特性推測手段３７、及び解像度復元手段３８は、九つのサブカメラモジュール（Ｇ００、Ｒ０１、Ｇ０２、Ｂ１０、Ｇ１１、Ｒ１２、Ｇ２０、Ｂ２１、Ｇ２２）により得られたＲＡＷ画像ごとに信号処理を実行する。
【００３３】
シェーディング補正手段３５は、撮像レンズ３４に起因して生じる輝度ムラ、特に、被写体像の中央部と周辺部との光量差を補正する（シェーディング補正）。ディストーション補正手段３６は、撮像レンズ３４に起因する位置ずれによる被写体像の歪み（ディストーション）を補正する。レンズ特性推測手段３７は、輪郭の色滲みの原因となる倍率色収差やぼけ量等、撮像レンズ３４に備わるレンズ特性を推測する。レンズ特性としては、例えば、光学伝達係数であるＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）を用いる。レンズ特性推測手段３７は、例えば、最小二乗法によりＰＳＦを推測する。
【００３４】
解像度復元手段３８は、レンズ特性推測手段３７にて推測されたレンズ特性を基にして解像度復元処理を実施する。解像度復元の効果は、復元に用いるアルゴリズムに依存することとなる。解像度復元処理は、元の被写体像に近い画像を復元するために、例えば、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法を用いる。
【００３５】
プロセッサ４０は、ブロックマッチング手段４１、重み付け処理手段４２、サンプリング手段４３、及びデモザイキング手段４４を備える。ブロックマッチング手段４１は、シェーディング補正手段３５、ディストーション補正手段３６、レンズ特性推測手段３７及び解像度復元手段３８による処理を経た各ＲＡＷ画像に対して、ブロックマッチング（パターンマッチング）処理を実施する。ブロックマッチング手段４１は、ブロックマッチング処理により、各サブカメラモジュールで得られた被写体像同士の位置合わせをする。重み付け処理手段４２は、各サブカメラモジュールで得られた被写体像における視差量を求め、重み付け処理を実施することにより視差を補正する。
【００３６】
図９は、被写体像の視差について説明する図である。（ａ）は、被写体Ｐ１が無限遠にある場合を表している。この場合、各サブカメラモジュールで得られる被写体像に視差は生じない。（ｂ）は、被写体Ｐ２が至近距離にある場合を表している。視差は、至近距離において結像位置が異なる現象である。視差が生じている場合に、視差を考慮せずにカラー画像を合成すると、像がぼけて著しく画質が損なわれることとなる。九つのサブカメラモジュールのうち基本サブカメラモジュールの周囲にある八つのサブカメラモジュールで得られる被写体像は、視差の影響を受けることとなる。
【００３７】
これに対して、九つのサブカメラモジュールのうち中心に位置する基本サブカメラモジュールの場合、（ｃ）に示すように、被写体Ｐ１が無限遠にある場合、被写体Ｐ２が至近距離にある場合のいずれも、被写体像に視差を生じない。重み付け処理手段４２は、視差の影響を受けない基準サブカメラモジュールによる被写体像と、それ以外のサブカメラモジュールによる被写体像との差分情報を基にして、視差量を求める。差分情報としては、例えば輝度差やエッジ情報を適用する。重み付け処理手段４２では、サブピクセル単位で画像を生成する。なお、重み付け処理手段４２による処理に代えて、アフィン変換などマトリクスを使った座標変換により視差量（移動量）を低減しても良い。本実施の形態では九つのサブカメラモジュールを用いているが、四つのサブカメラモジュールを用いた場合、Ｇ光用の撮像素子を基準として視差量を求めることが望ましい。
【００３８】
図８に戻って、サンプリング手段４３は、視差の補正がなされた画像を基にして信号値をサンプリングし、所定の総画素数を得る。サンプリング手段４３では、重み付け処理手段４２にてサブピクセル単位で生成された画像を基に、ピクセル単位で信号値を得るようなサンプリングを実施する。サンプリングの手法としては、例えば、バイリニア、バイキュービック等の補間方式を適用する。デモザイキング手段４４は、サンプリング手段４３でのサンプリングにより得られた画像のデモザイキング処理によりカラー画像を合成する。画像処理装置は、このようにして合成されたカラー画像を出力する。なお、本実施の形態で説明する処理の手順は一例であって、他の処理の追加や、処理の順序の変更などを適宜しても良い。
【００３９】
本実施の形態においても、カメラモジュール３０の薄型化及び小型化と、高感度での撮影とを実現することが可能となる。また、画像処理装置は、イメージセンサ部３１でＲＡＷ画像処理、プロセッサ４０でＲＧＢ同時化（デモザイキング）処理をそれぞれ実行する構成とすることで、従来の画像処理装置に使用されるプロセッサによる処理の大半を流用でき、システムの変更を少なくできる利点がある。プロセッサ４０は、例えばブロックマッチング処理以外の処理について、従来のシステムを流用することとしても良い。
【００４０】
サブカメラモジュールの配置は、図７に示す場合に限られない。例えば、Ｒ用サブカメラモジュール及びＢ用サブカメラモジュールの配置は、適宜変更しても良い。また、基準サブカメラモジュールとしては、Ｇ用サブカメラモジュールに代えて、ＲＧＢの画素をベイヤー配列させたサブカメラモジュールを用いても良い。この場合、ＲＧＢの画素をベイヤー配列させたサブカメラモジュールは焦点距離が長くなることから、他のサブカメラモジュールと焦点距離を同等にするために、撮像レンズ３４として広角レンズを使用することが望ましい。さらに、カメラモジュール３０は、目的や用途に応じて、例えば、低感度画素及び高感度画素、ＲＧＢ以外の補色カラーフィルタを備える画素、ホワイト・グレーフィルタを備える画素等を備えるサブカメラモジュールを設けても良い。
【００４１】
画像処理装置は、重み付け処理手段４２におけるサブピクセル単位での画像生成を経て所定の総画素数とする場合に限られない。画像処理装置は、サブピクセル単位の精度を得られない場合であっても、例えば、デモザイキング手段４４でのアップサンプリングによって所定の総画素数を得ることとしても良い。この場合も高い感度を得ることができる。
【００４２】
図１０は、本実施の形態の変形例に係る画像処理装置のうち信号処理のための構成を示すブロック図である。本変形例は、シェーディング補正からデモザイキング処理までの信号処理をプロセッサ４０により実行する。プロセッサ４０は、シェーディング補正手段３５、ディストーション補正手段３６、レンズ特性推測手段３７、解像度復元手段３８、ブロックマッチング手段４１、重み付け処理手段４２、サンプリング手段４３、及びデモザイキング手段４４を備える。イメージセンサ部３１は、パラメータ記憶手段４５を備える。パラメータ記憶手段４５は、プロセッサ４０での処理に必要なパラメータが書き込まれ、これを保持する。このように、イメージセンサ部３１は、カメラモジュール３０の個体情報をパラメータとして保持する。
【００４３】
シェーディング補正手段３５は、パラメータ記憶手段４５に保持されたパラメータを参照して、被写体像をシェーディング補正する。ディストーション補正手段３６は、パラメータ記憶手段４５に保持されたパラメータを参照して、被写体像のディストーションを補正する。レンズ特性推測手段３７は、パラメータ記憶手段４５に保持されたパラメータを参照して、各サブカメラモジュールの撮像レンズ３４に備わるレンズ特性を推測する。
【００４４】
本変形例の場合も、カメラモジュール３０の薄型化及び小型化と、高感度での撮影とが実現可能となる。また、一般に、プロセッサ４０はイメージセンサ部３１に比較して回路規模の制約が少ないことから、プロセッサ４０にてＲＡＷ画像処理及びＲＧＢ同時化（デモザイキング）処理を実行する構成とすることで、複雑かつ高度な信号処理によって高品質な画像を得ることも可能となる。さらに、本変形例の場合、イメージセンサ部３１の回路規模を削減できるという利点もある。
【００４５】
画像処理装置は、シェーディング補正からデモザイキング処理までの信号処理をイメージセンサ部３１により実行することとしても良い。イメージセンサ部３１においてＲＡＷ画像処理及びＲＧＢ同時化（デモザイキング）処理を実行する構成とすることで、簡易な回路構成により、信号処理の高速化が可能となる。
【符号の説明】
【００４６】
１０、３０  カメラモジュール、１３、３３  撮像素子、１４、３４  撮像レンズ、１５、３５  シェーディング補正手段、１６、３６  ディストーション補正手段、１７、３７  レンズ特性推測手段、１８、３８  解像度復元手段、２１、４１  ブロックマッチング手段、２２、４４  デモザイキング手段、４３  サンプリング手段。
【図１】
2011044801.tif 000003
【図２】
2011044801.tif 000004
【図３】
2011044801.tif 000005
【図４】
2011044801.tif 000006
【図５】
2011044801.tif 000007
【図６】
2011044801.tif 000008
【図７】
2011044801.tif 000009
【図８】
2011044801.tif 000010
【図９】
2011044801.tif 000011
【図１０】
2011044801.tif 000012