(57)【特許請求の範囲】
【請求項１】
被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、
前記撮像レンズにより結像される実像を、前記撮像素子の撮像面に結像させる位置に配置されたマイクロレンズアレイと、を備え、
該マイクロレンズアレイが、焦点距離が等しく、かつ、有効径が異なる２種以上のマイクロレンズをアレイ状に配列して構成されており、
該マイクロレンズがそれぞれ、前記撮像素子の複数の画素に像を結像させる撮像装置。
【請求項２】
前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように２種類の前記マイクロレンズを配列してなる請求項１に記載の撮像装置。
【請求項３】
前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる２方向から挟むように２種類の前記マイクロレンズを配列してなる請求項２に記載の撮像装置。
【請求項４】
各前記マイクロレンズに、該マイクロレンズの有効径を決定する絞りが設けられている請求項１から請求項３のいずれかに記載の撮像装置。
【請求項５】
いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備える請求項１から請求項４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
従来、距離計測を行う撮像装置が知られている（例えば、特許文献１参照。）。
この撮像装置は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影する撮像素子との間の、撮像レンズによって形成される実像と撮像素子との間に配される位置に配置されたマイクロレンズアレイを備えている。
【０００３】
撮像レンズにより集光された光は、実像を結んだ後にマイクロレンズアレイを構成する各マイクロレンズによってそれぞれ撮像素子の撮像面の異なる位置に結像される。これにより、マイクロレンズ毎に視差画像が得られる。そして、得られた視差画像に対してステレオマッチングを行うことにより被写体までの距離が計測される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４７５２０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、距離の分解能はマイクロレンズの直径に比例する一方、距離の測定可能範囲はマイクロレンズアレイの直径に反比例する。このため、特許文献１の撮像装置では、空間的な解像度を維持した場合には、距離の分解能向上と距離の測定範囲拡大とがマイクロレンズの直径に関してトレードオフの関係となり、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができないという不都合がある。
【０００６】
本発明は上述した事情に鑑みてなされたものであって、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮影して画像信号を検出する撮像素子と、前記撮像レンズにより結像される実像を、前記撮像素子の撮像面に結像させる位置に配置されたマイクロレンズアレイと、を備え、該マイクロレンズアレイが、焦点距離が等しく、かつ、有効径が異なる２種以上のマイクロレンズをアレイ状に配列して構成されており、該マイクロレンズがそれぞれ、前記撮像素子の複数の画素に像を結像させる撮像装置を提供する。
【０００８】
本態様に係る撮像装置によれば、撮像レンズにより集光された被写体からの光は、撮像レンズの焦点面において実像を結像した後、焦点面に対して光軸方向に間隔をあけて配置されたマイクロレンズアレイに入射され、マイクロレンズアレイを構成している各マイクロレンズによって個別に撮像素子の撮像面に結像される。これにより、撮像素子には、マイクロレンズ毎に被写体の複数の像が取得される。取得された複数の像は、視差を有しているため、ステレオマッチング等によって、被写体までの距離を算出することが可能となる。
【０００９】
この場合において、本態様に係る撮像装置によれば、マイクロレンズアレイが、有効径の異なる複数種のマイクロレンズを配列することにより構成されているので、有効径の大きなマイクロレンズによって、分解能が高いが範囲の狭い距離情報の取得が可能となり、有効径の小さなマイクロレンズによって、分解能は低いが範囲の広い距離情報の取得が可能となる。その結果、両方の距離情報を有する画像を取得することができ、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができる。
また、撮像素子により検出された同一種類の複数の前記マイクロレンズにそれぞれ割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行って、前記マイクロレンズの種類別に複数種類の距離情報を算出する種類別距離情報算出部と、該種類別距離情報算出部により算出された一の種類の距離情報を用いて、他の種類の距離情報を補間する補間部とを備えることで、異なる有効径を有する複数種のマイクロレンズを介して撮像素子により検出された複数種の画像信号を用いて、距離情報算出部により複数種の距離情報が算出され、これにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。特に、撮像素子により画像信号が検出されると、種類別距離情報算出部が、同一種類の複数のマイクロレンズに割り当てられた複数の画素からの画像信号を用いてステレオマッチングを行うことにより、マイクロレンズの種類別に複数種類の距離情報を算出する。そして、補間部が、位置の種類の距離情報を用いて、他の種類の距離情報を補間することにより、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。
【００１０】
上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、精度よく補間することができる。
【００１１】
例えば、一方の種類のマイクロレンズの有効径が他方の種類のマイクロレンズの有効径より小さい場合、一方の種類のマイクロレンズを介して得られる距離情報の分解能は他方の種類のマイクロレンズを介して得られる距離情報の分解能より低い。しかし、両側を挟む他方の種類のマイクロレンズによって得られる分解能の高い距離情報によって補間することにより、分解能の高い距離情報を得ることができる。
【００１２】
逆に、一方の種類のマイクロレンズの有効径が他方の種類のマイクロレンズの有効径より大きい場合、一方の種類のマイクロレンズを介して得られる距離情報の範囲は他方の種類のマイクロレンズを介して得られる距離情報の範囲より狭い。しかし、両側を挟む他方の種類のマイクロレンズによって得られる広い範囲の距離情報によって補間することにより、一方の種類のマイクロレンズを介しては取得できなかった範囲外の距離情報を得ることができる。
【００１３】
また、上記態様においては、前記マイクロレンズアレイが、一方の種類の前記マイクロレンズを他方の種類の前記マイクロレンズで異なる２方向から挟むように２種類の前記マイクロレンズを配列してなっていてもよい。
このようにすることで、一方の種類のマイクロレンズの位置における距離情報を、それを挟む他方の種類のマイクロレンズの位置における距離情報によって、さらに精度よく補間することができる。
【００１４】
また、上記態様においては、各前記マイクロレンズに、該マイクロレンズの有効径を決定する絞りが設けられていてもよい。
このようにすることで、マイクロレンズ自体の大きさではなく、絞りの開度によって有効径を決定することができる。
【００１５】
また、本発明の参考例としての発明は、上記態様において、前記補間部が、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を用いて、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された距離情報を補間してもよい。
【００１６】
このようにすることで、有効径の大きい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された分解能の高い距離情報により、有効径の小さい方のマイクロレンズに割り当てられた画素からの画像信号を用いて算出された分解能の低い距離情報が補間され、全体として精度の高い画像信号を得ることができる。
【００１７】
また、上記態様においては、いずれかの前記マイクロレンズを通過した光が、隣接する前記マイクロレンズに対応する画素に入射しないように遮蔽する遮光部材を備えていてもよい。
このようにすることで、隣接するマイクロレンズを通過した光が遮光部材によって遮蔽され、撮像素子上において混じり合うクロストークの発生を未然に防止することができる。
【発明の効果】
【００１８】
本発明によれば、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る撮像装置を示す全体構成図である。
【図２】図１の撮像装置に備えられたマイクロレンズアレイの一例を示す正面図である。
【図３】図１の撮像装置に備えられた距離情報算出部を示すブロック図である。
【図４】図２のマイクロレンズアレイの作用を説明する正面図である。
【図５】図２のマイクロレンズアレイの作用を説明する側面図である。
【図６】図１の距離情報算出部に備えられた補間部の処理を説明する図である。
【図７】図２のマイクロレンズアレイの他の配列例を説明する正面図である。
【図８】図２のマイクロレンズアレイの他の配列例を説明する正面図である。
【図９】図２のマイクロレンズアレイの他の配列例を説明する正面図である。
【図１０】図２のマイクロレンズアレイの他の形態を説明する正面図である。
【図１１】図２のマイクロレンズアレイの他の形態を説明する正面図である。
【図１２】図５の変形例を示す側面図である。
【発明を実施するための形態】
【００２０】
本発明の一実施形態に係る撮像装置１について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体Ａを撮影する撮像部２と、該撮像部２により取得された画像信号を処理する画像処理部３と、撮像部２を制御する撮像制御部４と、画像処理部３および撮像制御部４を制御する制御部５と、該制御部５に対して外部信号を入力するＩ／Ｆ部６とを備えている。
【００２１】
撮像部２は、被写体Ａ側から順に、被写体Ａに対向して配置される撮像レンズ７と、該撮像レンズ７を通過した光の光束径を決定する開口絞り８と、撮像レンズ７の後側焦点位置に形成される実像Ｂに対して光軸方向に被写体Ａから遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイ９と、該マイクロレンズアレイ９に対してさらに光軸方向に間隔をあけて配置され、マイクロレンズアレイ９を通過した光を撮影する撮像素子１０とを備えている。
【００２２】
撮像レンズ７にはＡＦモータ１１が接続されている。撮像レンズ７は、撮像制御部４からの指令信号に応じてＡＦモータ１１が駆動させられることにより、光軸方向に移動させられて、被写体Ａに前側焦点を一致させるようになっている。なお、図１中、撮像レンズ７は単一のレンズとして表示しているが、実際には、光軸方向に配列された複数のレンズからなり、少なくとも１つのレンズがＡＦモータ１１によって光軸方向に移動させられるようになっている。
【００２３】
開口絞り８には開度調節モータ１２が接続されている。開口絞り８は、撮像制御部４からの指令信号に応じて開度調節モータ１２が駆動させられることにより、開度が調節されて、入射光量が調節されるようになっている。
【００２４】
マイクロレンズアレイ９は、図２に示されるように、異なる直径を有する２種類のマイクロレンズ９ａ，９ｂを直径方向に交互に配列することにより構成されている。これらの２種のマイクロレンズ９ａ，９ｂは、焦点距離が同一で有効径が相違している。このように配列することで、大きい方のマイクロレンズ９ａは、小さい方のマイクロレンズ９ｂによって四方を取り囲まれ、同時に、小さい方のマイクロレンズ９ｂも大きい方のマイクロレンズ９ａによって四方を取り囲まれる関係になっている。
【００２５】
その結果、一方の種類のマイクロレンズ９ａ（９ｂ）は、他方の種類のマイクロレンズ９ｂ（９ａ）によって上下左右の２方向から挟まれている。
撮像素子１０は、例えば、ＲＧＢ原色系の単板ＣＣＤである。
【００２６】
画像処理部３は、図１に示されるように、撮像素子１０により検出された画像信号をディジタル信号に変換するＡ／Ｄ変換器１３と、ディジタル信号に変換された画像信号を一時的に格納するバッファ１４と、バッファ１４に格納された単板状態の画像信号を処理して三板状態の画像信号を生成する信号処理部１５と、信号処理部１５により生成された画像信号を用いて、撮像レンズ７から被写体Ａまでの距離情報を算出する距離情報算出部１６とを備えている。
【００２７】
信号処理部１５は、制御部５からの指令信号に基づいてバッファ１４上の単板状態の画像信号を読み込み、公知のデモザイキング処理やホワイトバランス処理を行った後の各画素の画像信号から３板状態の画像信号を生成するようになっている。
【００２８】
距離情報算出部１６は、図３に示されるように、信号処理部１５で生成された画像信号を一時的に格納するバッファ１７と、該バッファ１７に格納された画像信号に基づいてマッチング処理を行うマッチング部１８と、該マッチング部により求められた座標値を用いて、撮像レンズ７から被写体Ａまでの距離をマイクロレンズ９ａ，９ｂ毎に算出する距離算出部１９と、距離算出部１９により算出された距離を格納するバッファ２０と、該バッファ２０に格納された距離を用いて補間処理を行う補間部２１とを備えている。
【００２９】
マッチング部１８は、バッファ１７に格納された画像信号を用いて公知のステレオマッチング処理を行い、視差を伴う複数の画像において対応する座標値を算出するようになっている。
具体的には、図４に示される例では、直径が大きい方のマイクロレンズ９ａの１つであるマイクロレンズＡ２に対応する撮像素子１０の画素領域で撮影された画像と、直径が大きい方の他のマイクロレンズ９ａであるマイクロレンズＡ３に対応する撮像素子１０の画素領域で撮影された画像とを用いてステレオマッチング処理を行い、例えば、２つの画素領域間で対応する画素のｘ方向の座標値を求める。
【００３０】
図４において、マイクロレンズＡ２，Ａ３に対応する画素領域におけるステレオマッチング処理の基線長はΦＡ＋ΦＢである。ここで、ΦＡは大きい方のマイクロレンズ９ａの有効径、ΦＢは小さい方のマイクロレンズ９ｂの有効径である。
距離算出部１９は、マイクロレンズアレイ９と実像Ｂとの距離ｚ、および撮像レンズ７の結像倍率Ｍを用いて、撮像レンズ７と被写体Ａとの距離Ｚを、下式（１）により求めるようになっている。
【００３１】
Ｚ＝ｚ／Ｍ＝ｆ・（ΦＡ＋ΦＢ）／（ｘ３−ｘ２）      ・・・（１）
ここで、ｆはマイクロレンズ９ａ，９ｂの焦点距離、ｘ２，ｘ３は２つの画素領域間で対応する画素のｘ方向の座標値である。
【００３２】
また、距離算出部１９は、小さい方のマイクロレンズ９ｂであるマイクロレンズＢ２，Ｂ３についても同様にステレオマッチング処理を行い、撮像レンズ７と被写体Ａとの距離Ｚを算出するようになっている。
【００３３】
ここで、距離の分解能Δｚおよび距離の測定範囲ΔＲについて、図５を参照して説明する。
図５においてはマイクロレンズ９ａ，９ｂの結像倍率がｄ／４ｄ＝１／４である。小さい方のマイクロレンズ９ｂの直径をΦ、大きい方のマイクロレンズ９ａの直径を２Φとすると、領域Ｒ１における基線長は６Φ、領域Ｒ２，Ｒ３における基線長は３Φである。
領域Ｒ１，Ｒ２，Ｒ３の各々における距離の分解能ΔｚＲ１，ΔｚＲ２，ΔｚＲ３は下式（２）により算出される。
【００３４】
ΔｚＲ１＝εμ・Ｚ／６Φ
ΔｚＲ２＝ΔｚＲ３＝εμ・Ｚ／３Φ      ・・・（２）
ここで、εμは、ステレオマッチング処理における対応点の誤差を示す。
【００３５】
上記式（２）から、領域Ｒ１における距離の分解能ΔｚＲ１と、領域Ｒ２，Ｒ３における距離の分解能ΔｚＲ２，ΔｚＲ３の比は、１：２になっていることがわかる。
また、図５に示されるように、領域Ｒ１，Ｒ３は直径２Φのマイクロレンズ９ａが視差画像を形成し、領域Ｒ２は直径Φのマイクロレンズ９ｂが視差画像を形成している。このため、距離の測定範囲ΔＲＲ１，ΔＲＲ２，ΔＲＲ３は、下式（３）の通りとなる。
式（３）から領域Ｒ２における距離の測定範囲ΔＲＲ２が最も長いことがわかる。
【００３６】
ΔＲＲ１＝ΔＲＲ３＝（Ｚ２・δ・Ｆ・Ｓ）／（ｆ２・２Φ＋Ｚ・δ・Ｆ・Ｓ）
＋（Ｚ２・δ・Ｆ・Ｓ）／（ｆ２・２Φ−Ｚ・δ・Ｆ・Ｓ）
ΔＲＲ２＝（Ｚ２・δ・Ｆ・Ｓ）／（ｆ２・Φ＋Ｚ・δ・Ｆ・Ｓ）
＋（Ｚ２・δ・Ｆ・Ｓ）／（ｆ２・Φ−Ｚ・δ・Ｆ・Ｓ）      ・・・（３）
【００３７】
補間部２１は、図６に示される距離の分解能ΔＺの性能が高い領域Ｒ１ｎ（ｎ＝１，２，…，Ｃ）の距離情報ＺＲ１ｎを用いて、間に挟まれる領域Ｒ３ｎ（ｎ＝１，２，…，Ｂ）の距離情報ＺＲ３ｎを下式（４）に示されるように補間するようになっている。式（４）は、例えば、距離情報ＺＲ３４を補間する場合を示している。
【００３８】
ＺＲ３４＝（ＺＲ１２＋ＺＲ１４＋ＺＲ１５＋ＺＲ１８）／４      ・・・（４）
【００３９】
ここで、ＺＲ３４，ＺＲ１２，ＺＲ１４，ＺＲ１５，ＺＲ１８は領域Ｒ３４，Ｒ１２，Ｒ１４，Ｒ１５，Ｒ１８の距離情報である。
式（４）では、領域Ｒ３４の距離情報ＺＲ３４を補間する場合について説明したが、補間部２１は、他の領域Ｒ３ｎについても同様な処理を行い、距離情報ＺＲ３ｎを補間するようになっている。
【００４０】
また、補間部２１は、距離の測定範囲ΔＲの広い領域Ｒ２ｎ（ｎ＝１，２，…，Ｃ）の距離情報ＺＲ２ｎを用いて、間に挟まれる領域Ｒ１ｎ，Ｒ３ｎ（ｎ＝１，２，…，）の距離情報ＺＲ３ｎを下式（５）に示されるように補間するようになっている。式（５）は、例えば、距離情報ＺＲ１５，ＺＲ３４を補間する場合を示している。
【００４１】
ＺＲ１５＝ＺＲ２５
ＺＲ３４＝（ＺＲ２２＋ＺＲ２４＋ＺＲ２５＋ＺＲ２８）／４      ・・・（５）
ここで、ＺＲ１５，ＺＲ２５，ＺＲ２２，ＺＲ２４，ＺＲ２５，ＺＲ２８は領域Ｒ１５，Ｒ２５，Ｒ２２，Ｒ２４，Ｒ２５，Ｒ２８の距離情報である。
式（５）では、領域Ｒ１５，Ｒ３４の距離情報ＺＲ１５，ＺＲ３４を補間する場合について説明したが、補間部２１は、他の領域Ｒ１ｎ，Ｒ３ｎについても同様な処理を行い、距離情報ＺＲ１ｎ，ＺＲ３ｎを補間するようになっている。
【００４２】
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて、被写体Ａと撮像レンズ７との間の距離Ｚを計測するには、Ｉ／Ｆ部６を介してＩＳＯ感度、露出などの撮影条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮影モードに入る。被写体Ａからの光は撮像レンズ７を介して撮像部２内に入り、実像Ｂを結像した後にマイクロレンズアレイ９によって集光され撮像素子１０により撮影される。撮像素子１０により取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換された後、バッファ１４に転送され格納される。
【００４３】
バッファ１４内に格納された画像信号は撮像制御部４に送られる。撮像制御部４は、送られてきた画像信号中の輝度レベルを用いて開口絞り８の開度調節モータ１２を制御し、撮像素子１０における電子シャッタ速度を制御する。また、撮像制御部４は、撮像レンズ７のＡＦモータ１１を制御して、画像信号から所定領域におけるコントラスト値を算出し，該コントラスト値が最大になるように撮像レンズ７を所定の焦点距離に設定する。
【００４４】
この状態で、シャッタボタンを全押しすることにより、本撮影が行われる。本撮影は、撮像制御部４において求められた焦点距離および露光条件に基づいて行われ、取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換され、バッファ１４に転送されて格納される。その後、バッファ１４内の画像信号は信号処理部１５に転送される。
【００４５】
信号処理部１５においては、バッファ１４内から転送されてきた単板状態の画像信号に対し、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素ＲＧＢの三板状態の画像信号が生成される。生成された画像信号は距離情報算出部１６に転送される。
【００４６】
距離情報算出部１６においては、信号処理部１５から送られてきた画像信号がバッファ１７内に格納される。そして、バッファ１７内に格納された画像信号に対して、マッチング部１８において、被写体Ａに対する公知のステレオマッチング処理が行われ、複数の視差画像に対する対応する座標値が算出される。このとき、同種のマイクロレンズ９ａ，９ｂを介して、各マイクロレンズ９ａ，９ｂに対応する撮像素子１０の画素領域において撮影された画像信号どうしのステレオマッチング処理により、対応する座標値が算出される。
【００４７】
距離算出部１９は、マッチング部１８において取得された座標値を用いて撮像レンズ７から被写体Ａまでの距離を算出する。
同種のマイクロレンズ９ａ，９ｂに対応する画素領域についてそれぞれ算出された距離情報Ｚは、バッファ２０に転送され、その後、補間部２１に転送されて、補間される。
【００４８】
すなわち、本実施形態に係る撮像装置１によれば、異なる有効径を有する２種類のマイクロレンズ９ａ，９ｂを交互に配列してなるマイクロレンズアレイ９を用いているので、大きなマイクロレンズ９ａを介して撮像素子１０により取得された画像信号からは、分解能の高い距離計測を行うことができ、小さなマイクロレンズを介して撮像素子により取得された画像信号からは、広い範囲にわたる距離計測を行うことができる。その結果、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立し得る画像信号を取得することができるという利点がある。
【００４９】
また、本実施形態に係る撮像装置１によれば、取得された画像信号から距離算出部１９によりマイクロレンズ９ａ，９ｂの種類別に距離が算出され、補間部２１において、各種類別の距離の性能を補い合うように補間処理が行われるので、空間的な解像度を維持した場合に、広い測定範囲にわたる距離計測および分解能の高い距離計測を両立することができる。
【００５０】
また、本実施形態に係る撮像装置１によれば、２種類のマイクロレンズ９ａ，９ｂが、お互いに上下左右の２方向から挟むように交互に配置されているので、間に挟まれたマイクロレンズ９ａ，９ｂに対応して取得された画像信号に基づく距離情報を、４つのマイクロレンズ９ａ，９ｂ取得された画像信号に基づく距離情報によって、より精度よく補間することができるという利点がある。
【００５１】
なお、本実施形態においては、マイクロレンズアレイ９、直径の異なる２種類のマイクロレンズ９ａ，９ｂ構成されていることとしたが、これに代えて、３種類以上のマイクロレンズを配列して構成することにしてもよい。
また、マイクロレンズ９ａ，９ｂ異ならせるために、直径の異なる２種類のマイクロレンズ９ａ，９ｂをアレイ状に配列することとしたが、これに代えて、各マイクロレンズ９ａ，９ｂに該マイクロレンズの有効径を決定する絞りを設け、該絞りの開度を異ならせることにより、各マイクロレンズ９ａ，９ｂの有効径を異ならせることにしてもよい。
【００５２】
また、本実施形態においては、マイクロレンズアレイ９として、千鳥状に配置した一種類のマイクロレンズ９ａの隙間を埋めるように他の種類のマイクロレンズ９ｂを千鳥状に配置したが、これに代えて、図７〜図９に示されるように、他の配列を採用してもよい。図２と図９はマイクロレンズ９ａ，９ｂの撮像素子１０に対する配列方向を異ならせたものである。
【００５３】
また、円形のマイクロレンズ９ａ，９ｂを配列することによりマイクロレンズアレイ９を構成したが、これに代えて、図１０に示されるような矩形のマイクロレンズ、あるいは、図１１に示されるような８角形と４角形のマイクロレンズを配列することにしてもよい。
【００５４】
また、撮像レンズ７のＦ値によっては、撮像素子１０上でクロストークが発生しないように、図１２に示すように、マイクロレンズアレイ９と撮像素子１０との間の空間を区画する遮光部材２２を配置することにしてもよい。このようにすることで、隣接するマイクロレンズ９ａ，９ｂを通過した光が各マイクロレンズ９ａ，９ｂに対応する撮像素子１０の画素領域に入射することを防止してクロストークの発生を抑制することができる。遮光部材２２は、マイクロレンズ９ａ，９ｂや撮像素子１０に直接貼り付けることにしてもよい。
【００５５】
また、本実施形態においては、撮像素子１０としてＣＣＤを例示したが、これに代えて、ＣＭＯＳイメージセンサを採用してもよい。
また、信号処理部１５において、公知のデモザイキング処理およびホワイトバランス処理が行われた各画素ＲＧＢの三板状態の画像信号を生成することにしたが、これに代えて、さらに、式（６）を用いてＹＣｂＣｒ信号に変換してもよい。
【００５６】
【数１】
0006028082.tif 000002
【００５７】
また、本実施形態においては、一方の種類のマイクロレンズ９ａに対応して取得された距離情報を、その４方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間することとしたが、これに代えて、２方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間してもよいし、８方に配置された他方の種類のマイクロレンズ９ｂに対応して取得された距離情報により補間してもよい。
【符号の説明】
【００５８】
Ａ  被写体
１  撮像装置
７  撮像レンズ
９  マイクロレンズアレイ
９ａ，９ｂ  マイクロレンズ
１０  撮像素子
１６  距離情報算出部
１９  距離算出部（種類別距離情報算出部）
２１  補間部
２２  遮光部材
【図１】
0006028082.tif 000003
【図２】
0006028082.tif 000004
【図３】
0006028082.tif 000005
【図４】
0006028082.tif 000006
【図５】
0006028082.tif 000007
【図６】
0006028082.tif 000008
【図７】
0006028082.tif 000009
【図８】
0006028082.tif 000010
【図９】
0006028082.tif 000011
【図１０】
0006028082.tif 000012
【図１１】
0006028082.tif 000013
【図１２】
0006028082.tif 000014