(57)【要約】【課題】より広い距離の範囲にわたって高精細な再構成画像を得ること。【解決手段】撮像装置１は、撮像素子４１と、被写体からの光を撮像素子４１の方向に集光するメインレンズ２１と、撮像素子４１とメインレンズ２１との間に配置され、メインレンズ２１を透過した光を撮像素子４１に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイ３１と、を備える。マイクロレンズアレイ３１は、焦点距離の異なる複数種類のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃから構成され、複数種類のうちの少なくとも１種類のマイクロレンズ３１Ａは、他の種類のマイクロレンズ３１Ｂ及び３１Ｃとは異なる分布形態を有する。【選択図】図２
2013198016.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
被写体からの光を前記撮像素子の方向に集光するメインレンズと、
前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、
前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、
前記複数種類のうちの少なくとも１種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする、
撮像装置。
【請求項２】
前記マイクロレンズアレイにおいて、前記複数種類のマイクロレンズが不均等に配置されることを特徴とする、
請求項１に記載の撮像装置。
【請求項３】
前記メインレンズを備えるメインレンズユニットと、
前記マイクロレンズアレイを備えるマイクロレンズアレイユニットと、
前記撮像素子を備える撮像ユニットと、
が分離可能に構成されていることを特徴とする、
請求項１又は２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ  ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置であるプレノプティックカメラが提案されている（例えば、特許文献１参照）。
【０００３】
このプレノプティックカメラは、従来の撮像レンズであるメインレンズと撮像素子との間に、複数の極小レンズ（以下、「マイクロレンズ」と呼ぶ）を格子状に配置することで構成されたマイクロレンズアレイが配置されている。
【０００４】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素に集光する。プレノプティックカメラは、個々のマイクロレンズによって撮像素子内の個々の画素に集光された像（以下、「サブイメージ」と呼ぶ）を合成することにより、撮像画像（以下、「ライトフィールド画像」と呼ぶ）を生成する。
【０００５】
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。すなわち、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報の他に、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００６】
プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。すなわち、プレノプティックカメラは、所定距離で焦点をあわせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【０００７】
具体的には、プレノプティックカメラは、任意の距離にある面の１点を注目点に設定し、当該注目点からの光がメインレンズ及びマイクロレンズアレイを介して撮像素子内の何れの画素に分配されるのかを算出する。
ここで、例えば、撮像素子の各画素が、ライトフィールド画像を構成する各画素に対応しているとすると、プレノプティックカメラは、ライトフィールド画像を構成する各画素のうち、当該注目点からの光が分配される１以上の画素の画素値の加算平均を算出する。この算出された値が、再構成画像における、注目点に対応する画素の画素値となる。このようにして、再構成画像の注目点に対応する画素が再構成される。
プレノプティックカメラは、任意の距離にある面の各点に対応する各画素（再構成画像を構成する各画素）のそれぞれを注目点に順次設定し、上述の一連の処理を繰り返すことで、再構成画像のデータ（再構成画像の各画素の画素値の集合体）を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特表２００９−５３２９９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、従来のプレノプティックカメラでは、図１６に示すように、１種類のマイクロレンズでマイクロレンズアレイを構成しており、この１種類のマイクロレンズによって全焦点範囲に対応することとしている。このため、被写体との距離及びマイクロレンズの焦点距離の値によっては、このマイクロレンズのボケ（マイクロレンズブラー）が大きくなってしまい、撮像されたライトフィールド画像から高精細な再構成画像を生成する際の妨げとなる。
【００１０】
また、プレノプティックカメラのユーザには、主に遠景を撮る傾向の強いユーザや、画角中央に人や動植物等を据えて風景を撮る傾向の強いユーザや、近景を撮る傾向の強いユーザ等、様々な個性を有するユーザが存在する。しかしながら、従来のプレノプティックカメラは、１種類のマイクロレンズでマイクロレンズアレイを構成していることから、上記の傾向が強い場合に、マイクロレンズブラーが大きくなってしまい、高精細な再構成画像を得ることができない可能性がある。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、より広い距離の範囲にわたって高精細な再構成画像を得ることを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、本発明の一態様の撮像装置は、撮像素子と、被写体からの光を前記撮像素子の方向に集光するメインレンズと、前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、前記複数種類のうちの少なくとも１種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係る撮像装置の構成を示す図である。
【図２】上記撮像装置を構成するマイクロレンズアレイの構成を示す図である。
【図３】上記撮像装置を構成するマイクロレンズアレイユニットを光軸方向から視認した場合の図である。
【図４】上記撮像装置における光学系の構成を示す模式図である。
【図５】上記撮像装置におけるマイクロレンズアレイを用いた場合のサブイメージの例を示す図である。
【図６】上記撮像装置における制御ブロック図（その１）である。
【図７】上記撮像装置において、注目点からの光が撮像素子内の画素に分配される様子を説明する図である。
【図８】上記撮像装置において発生するマイクロレンズブラーのサイズの算出を説明するための図である。
【図９】上記撮像装置におけるメインレンズの主平面の調整前後の状態を示す図である。
【図１０】上記撮像装置におけるメインレンズの絞り機構を調整した場合にマイクロレンズによって撮像素子に結像されるサブイメージを示す図である。
【図１１】上記撮像装置におけるメインレンズの最適Ｆ値の算出を説明するための図である。
【図１２】上記撮像装置における制御ブロック図（その２）である。
【図１３】上記撮像装置におけるマイクロレンズアレイの位置を調整することによってブラーサイズ及びサブイメージサイズを調整した例を示す図である。
【図１４】上記撮像装置におけるキャリブレーションを説明する図である。
【図１５】上記撮像装置における再構成処理の流れを示すフローチャートである。
【図１６】従来のプレノプティックカメラを構成する撮像部における光学系の構成例を示す模式図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、図面を用いて説明する。
【００１６】
図１は、本実施形態に係る撮像装置の構成を示す図である。
図１（ａ）は、撮像装置を構成する撮像ユニットに、各レンズユニットが装着されていない状態を示す図である。図１（ｂ）は、撮像装置を構成する撮像ユニットに、各レンズユニットが装着されている状態を示す図である。
図１に示されるように、撮像装置１は、メインレンズユニット２と、マイクロレンズアレイユニット３と、撮像ユニット４と、から構成される。
【００１７】
メインレンズユニット２は、メインレンズ２１と、メインレンズ２１に入射する光の量を制御する絞り機構（図示省略）とを含む光学系を内部に備えている。メインレンズ２１は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、後述の撮像素子４１の受光面に被写体像を結像させるためのレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。メインレンズユニット２は、マイクロレンズアレイユニット３及び撮像ユニット４の双方に装着可能なマウント構造を有している。
【００１８】
マイクロレンズアレイユニット３は、撮像ユニット４が装着される側の端部にマイクロレンズアレイ３１を備えている。図２は、マイクロレンズアレイ３１の構成を示す図である。具体的には、図２（ａ）は、マイクロレンズアレイ３１の正面図であり、図２（ｂ）は、マイクロレンズアレイ３１の断面図である。図２（ａ）に示されているように、マイクロレンズアレイ３１は、複数種類のマイクロレンズ３１Ａ、３１Ｂ、３１Ｃから構成されている。これら複数種類のマイクロレンズ３１Ａ、３１Ｂ、３１Ｃは、それぞれ焦点距離が異なっており、メインレンズ２１を透過した光を後述の撮像素子４１に結像させる。
【００１９】
図２（ａ）に示されるように、これら複数種類のマイクロレンズ３１Ａ、３１Ｂ、３１Ｃは、種類ごとに設置個数が異なっている。図２（ａ）では、マイクロレンズ３１Ａと、マイクロレンズ３１Ｂと、マイクロレンズ３１Ｃと、の比率が２：１：１で配置されている。すなわち、マイクロレンズアレイ３１は、マイクロレンズ３１Ａとマイクロレンズ３１Ｂとが交互に配置された行と、マイクロレンズ３１Ｃとマイクロレンズ３１Ａとが交互に配置された行とが、列方向に繰り返し配置されたマトリクス構造を有している。なお、これらの行において、マイクロレンズ３１Ａは列方向に隣接しない配置（即ち千鳥状）に配置されている。
【００２０】
なお、本実施形態では、複数種類のマイクロレンズ３１Ａ、３１Ｂ、３１Ｃは、均等に配置されているものとしたが、これに限らない。例えば、複数種類のマイクロレンズについて、マイクロレンズアレイ３１の各領域において、不均等に配置されるようにしてもよい。すなわち、複数種類のマイクロレンズについて、マイクロレンズアレイ３１の中心部と、周縁部とで、異なる分布で配置するようにしてもよい。この場合、例えば、マイクロレンズアレイ３１の中心付近に対して、近距離に対応したマイクロレンズを多く配置し、周縁部に対して、遠距離に対応したマイクロレンズを多く配置する例が挙げられる。
【００２１】
また、図２（ａ）、（ｂ）に示されるように、マイクロレンズアレイ３１には、マイクロレンズが一様に分布するように配置されている。ここで、隣り合うマイクロレンズにおける、それぞれのマイクロレンズの中心位置間の距離をマイクロレンズピッチＬμＬｐという。
【００２２】
図１に戻り、マイクロレンズアレイユニット３では、マイクロレンズ外部距離ＬμＬｏと、マイクロレンズ内部距離ＬμＬｉとが定義されている。マイクロレンズ外部距離ＬμＬｏは、図１（ｂ）に示すように、撮像ユニット４に、メインレンズユニット２及びマイクロレンズアレイユニット３を装着した場合に、露出する部分の光軸方向の距離である。マイクロレンズ内部距離ＬμＬｉは、図１（ｂ）に示すように撮像ユニット４に、メインレンズユニット２及びマイクロレンズアレイユニット３を装着した場合に、マイクロレンズアレイユニット３が撮像ユニット４に嵌合された部分の光軸方向の距離である。
【００２３】
図３は、マイクロレンズアレイユニット３を光軸方向から視認した場合の図である。具体的には、図３（ａ）は、図１におけるＡ面においてマイクロレンズアレイユニット３をメインレンズユニット２側から視認した場合の図であり、図３（ｂ）は、図１におけるＢ面においてマイクロレンズアレイユニット３を撮像ユニット４側から視認した場合の図である。
【００２４】
図３（ａ）、（ｂ）に示されるように、マイクロレンズアレイユニット３には、レンズ鏡筒３２の下部に電気接点３３が設けられている。この電気接点３３は、撮像ユニット４にメインレンズユニット２及びマイクロレンズアレイユニット３が装着された場合に、メインレンズユニット２に設けられた電気接点（図示省略）及び撮像ユニット４に設けられた電気接点（図示省略）に接続可能である。これにより、メインレンズユニット２と、マイクロレンズアレイユニット３と、撮像ユニット４とが電気的に接続される。
【００２５】
図１に戻り、撮像ユニット４は、メインレンズユニット２又はマイクロレンズアレイユニット３が装着される開口部（マウント）に対向する筐体内の底部中央に、撮像素子４１を備える。撮像素子４１は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、メインレンズ２１又は各マイクロレンズから被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥ（図示省略）に順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、後述の撮像制御部に出力信号として出力される。
なお、撮像ユニット４において、マイクロレンズアレイユニット３との接続面と、撮像素子４１の表面との距離をフランジバックＬＦＢという。
【００２６】
続いて、撮像ユニット４に対して、メインレンズユニット２及びマイクロレンズアレイユニット３を装着させた場合と、メインレンズユニット２を直接装着させた場合との違いについて説明する。
【００２７】
図４は、撮像装置１における光学系の構成を示す模式図である。具体的には、図４（ａ）は、撮像ユニット４にメインレンズユニット２のみを装着した場合における光学系の構成を示す模式図である。図４（ｂ）は、撮像ユニット４にメインレンズユニット２及びマイクロレンズアレイユニット３を装着した場合における光学系の構成を示す模式図である。
【００２８】
図４（ａ）、（ｂ）に示されるように、メインレンズ２１は、被写体から照射され、メインレンズユニット２のレンズ鏡筒に入射した光を集光し、撮像素子４１方向に結像させる。メインレンズユニット２のみ撮像ユニット４に装着した場合、メインレンズ２１によって集光された光は、図４（ａ）に示すように、撮像素子４１の表面に１つのイメージを結像する。
【００２９】
他方、メインレンズユニット２及びマイクロレンズアレイユニット３を撮像ユニット４に装着した場合、メインレンズ２１によって集光された光は、図４（ｂ）に示すように、マイクロレンズアレイ３１の前方で合焦し、その後、マイクロレンズアレイ３１に入射する。マイクロレンズアレイ３１を構成する複数のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃは、それぞれ入射した光を集光し、撮像素子４１の上にサブイメージを結像させる。これにより、撮像素子４１では、これらの複数のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃによって結像されたサブイメージの集合体であるライトフィールド画像が生成される。後述の撮像制御部４６は、このライトフィールド画像を用いて、再構成画像を生成する。
【００３０】
ここで、マイクロレンズアレイ３１を構成する複数のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃは、それぞれ焦点距離が異なっている。このため、ある種類のマイクロレンズによって集光された光が、撮像素子４１の表面で結像する場合、他の種類のマイクロレンズにおいて集光された光が、撮像素子４１の面の前方又は後方で合焦する。このため、他の種類のマイクロレンズによって撮像素子４１に結像されるサブイメージでは、ボケ（マイクロレンズブラー）が発生する。
【００３１】
図５は、マイクロレンズアレイ３１を用いた場合のサブイメージの例を示す図である。図５には、メインレンズ２１に近い順に、透明な平面板Ｐ１、Ｐ２及びＰ３が配置されている場合のサブイメージＩ１、Ｉ２、Ｉ３及びＩ４が示されている。
ここで、平面板Ｐ１、Ｐ２及びＰ３には、それぞれ、同じ色（例えば、黒色）で、文字「Ａ」、「Ｂ」及び「Ｃ」が表示されているものとする。
【００３２】
サブイメージＩ１及びＩ３は、マイクロレンズ３１Ａによって結像されたイメージである。マイクロレンズ３１Ａは、マイクロレンズ３１Ｂに比べて焦点距離が長いため、ここでは、メインレンズ２１から最も距離が遠い平面板Ｐ３に表示されている文字「Ｃ」にピントが合う。この結果として、サブイメージＩ１及びＩ３では、文字「Ｃ」が他の文字に比べて鮮明に表示される。
【００３３】
サブイメージＩ２及びＩ４は、マイクロレンズ３１Ｂによって結像されたイメージである。マイクロレンズ３１Ｂは、マイクロレンズ３１Ａに比べて焦点距離が短いため、ここでは、メインレンズ２１から最も距離が近い平面板Ｐ１に表示されている文字「Ａ」にピントが合う。この結果として、サブイメージＩ２及びＩ４では、文字「Ａ」が他の文字に比べて鮮明に表示される。
【００３４】
また、サブイメージＩ１〜Ｉ４では、それぞれの文字が異なる位置に表示されている。これは、各マイクロレンズが、異なる位置に配置され、対象物（ここでは、文字「Ａ」、「Ｂ」、「Ｃ」）との視差が生じるためである。
【００３５】
続いて、撮像装置１における制御について説明する。図６は、撮像装置１における制御ブロック図である。なお、図６では、図１〜図３において説明した各構成要素について図示及び説明を省略する。
【００３６】
メインレンズユニット２と、マイクロレンズアレイユニット３と、撮像ユニット４とは入出力インターフェース１０によって接続されている。入出力インターフェース１０は、上述した電気接点３３等によって構成されており、メインレンズユニット２、マイクロレンズアレイユニット３及び撮像ユニット４間での通信を可能にする。
【００３７】
メインレンズユニット２は、レンズ記憶部２５と、レンズ制御部２６と、駆動部２７とを備える。
レンズ記憶部２５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）や、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等によって構成され、メインレンズユニット２を制御するための各種プログラムやデータ等を記憶する。レンズ記憶部２５には、メインレンズ２１の焦点距離が予め記憶されている。
【００３８】
レンズ制御部２６は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等により構成されており、レンズ記憶部２５に記憶されているプログラム、及び撮像ユニット４から受信した各種命令に従って各種の処理を実行する。具体的には、レンズ制御部２６は、入出力インターフェース１０を介して、撮像ユニット４から制御信号を受信したことに応じて、レンズ記憶部２５に記憶されているメインレンズ２１の焦点距離を撮像ユニット４に送信する。また、レンズ制御部２６は、撮像ユニット４から、メインレンズ２１の位置を調整するための信号を受信したことに応じて、駆動部２７を制御してメインレンズ２１の位置を調整する。
【００３９】
駆動部２７は、メインレンズ２１の焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路や絞り機構から構成されており、レンズ制御部２６の制御に応じて、メインレンズ２１の位置の調整や、絞り機構の調整を行う。
【００４０】
マイクロレンズアレイユニット３は、アレイ記憶部３５と、アレイ制御部３６とを備える。
アレイ記憶部３５は、ＲＯＭや、ＲＡＭ等によって構成され、マイクロレンズアレイ３１や、各マイクロレンズに係るデータ等を記憶する。アレイ記憶部３５には、マイクロレンズ外部距離ＬμＬｏと、マイクロレンズ内部距離ＬμＬｉと、種類毎のマイクロレンズの焦点距離と、マイクロレンズピッチＬμＬｐと、が予め記憶されている。
【００４１】
アレイ制御部３６は、ＣＰＵ等により構成されており、撮像ユニット４から受信した各種命令に従って、アレイ記憶部３５に記憶されている各種データを撮像ユニット４に送信する。具体的には、アレイ制御部３６は、入出力インターフェース１０を介して、撮像ユニット４から制御信号を受信したことに応じて、アレイ記憶部３５に記憶されているマイクロレンズ外部距離ＬμＬｏと、マイクロレンズ内部距離ＬμＬｉと、種類毎のマイクロレンズの焦点距離と、マイクロレンズピッチＬμＬｐと、を撮像ユニット４に送信する。
【００４２】
撮像ユニット４は、操作部４４と、撮像記憶部４５と、撮像制御部４６と、表示部４７とを備える。
操作部４４は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
撮像記憶部４５は、ＲＯＭや、ＲＡＭ等によって構成され、撮像ユニット４を制御するための各種プログラムやデータ等を記憶する。撮像記憶部４５には、フランジバックＬＦＢが予め記憶されている。また、撮像記憶部４５は、撮像装置１によって撮像されたライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
【００４３】
表示部４７は、モニタ等により構成され、各種画像を出力する。
撮像制御部４６は、ＣＰＵ等により構成されており、撮像装置１全体を制御する。撮像制御部４６は、マイクロレンズアレイ３１を装着した場合に撮像されるライトフィールド画像から、再構成画像のデータを生成する。以下、撮像制御部４６による再構成画像のデータを生成する処理を、再構成処理と呼ぶ。
具体的には、撮像制御部４６は、操作部４４において、メインレンズ２１と再構成対象の面（以下、再構成面と呼ぶ。）との距離を指定する操作を受け付けたことに応じて、当該再構成面の１つの画素を注目点に設定する。そして、撮像制御部４６は、当該注目点からの光がメインレンズ２１及びマイクロレンズアレイ３１を介して撮像素子４１内の何れの画素に分配されるのかを算出する。
【００４４】
図７は、注目点からの光が撮像素子４１内の画素に分配される様子を説明する図である。
図７では、レンズの中心位置から光軸方向に延びた直線Ｌと、再構成面Ｓｒとが交差する点を中心位置とし、この中心位置から距離ｘだけ上方に離れた位置にある点を注目点Ｐとする。ここでは、注目点Ｐからマイクロレンズ３１Ａを構成する一のマイクロレンズ３１Ａｓに入射した光が撮像素子４１内の画素に分配される様子について説明する。
【００４５】
図７における各距離を以下のように定義する。
ａ１：メインレンズ２１と再構成面Ｓｒとの距離
ｂ１：メインレンズ結像距離（メインレンズ２１と、メインレンズ２１の結像面Ｓｉとの距離）
ｃ１：メインレンズ２１と、マイクロレンズアレイ３１との距離
ａ２：メインレンズ２１の結像面Ｓｉと、マイクロレンズアレイ３１との距離
ｃ２：マイクロレンズアレイ３１と、撮像素子４１との距離
ｄ：直線Ｌからマイクロレンズ３１Ａｓの中心位置との距離
ｘ’：メインレンズ２１の焦点と、直線Ｌとの距離
ｘ’’：撮像素子４１上において分配された光が到達する位置と、直線Ｌとの距離
なお、メインレンズ２１の焦点距離をＬＭＬ−ｆとする。また、図７において下線を引いた要素である距離ｘ、ａ１、ｃ１、ｃ２、ｄは、予め定められている。なお、上記した各距離は、最短距離を示すものとする。
【００４６】
この場合、予め定められていない距離であるｂ１、ａ２、ｘ’、及びｘ’’は、レンズの公式を用いて、以下の（１）〜（４）式で示される。
ｂ１＝（ａ１−ＬＭＬ−ｆ）／（ａ１×ＬＭＬ−ｆ）・・・（１）
ａ２＝ｃ１−ｂ１・・・（２）
ｘ’＝ｘ×ｂ１／ａ１・・・（３）
ｘ’’＝（ｄ−ｘ’）×ｃ２／ａ２＋ｄ・・・（４）
【００４７】
上記（４）式により、注目点Ｐからマイクロレンズ３１Ａｓに入射した光は、撮像素子４１内の距離ｘ’’に対応する画素に分配される。
【００４８】
そして、撮像制御部４６は、注目点Ｐに対して、各マイクロレンズによって分配される画素の位置を算出し、これらの位置の画素値の加算平均を算出することにより、注目点Ｐの画素値を決定する。
そして、撮像制御部４６は、再構成画像の各画素を注目点に設定して、上記の演算を実行することにより、再構成画像のデータを生成する。
【００４９】
また、撮像制御部４６は、メインレンズユニット２及びマイクロレンズアレイユニット３を撮像ユニット４に装着した後、メインレンズ２１の主平面の位置を調整しながら、最短撮影距離から無限遠の被写体距離にわたって、各マイクロレンズのマイクロレンズブラーのサイズを計算し、これらのマイクロレンズブラーのサイズの平均が最も小さくなるメインレンズ２１の主平面の位置（以下、当該位置を最適位置ともいう。）を計算する。
【００５０】
なお、撮像制御部４６は、ユーザが指定した任意の被写体距離範囲にわたって、メインレンズ２１の最適位置を計算するようにしてもよい。以下に、マイクロレンズブラーのサイズ（以下、ブラーサイズともいう。）を算出する処理について詳細に説明する。
【００５１】
図８は、マイクロレンズブラーのサイズの算出を説明するための図である。
図８では、マイクロレンズブラーのサイズを算出するにあたり、光学系における各距離を以下のように定義する。なお、図８では、マイクロレンズアレイ３１を構成する各々のマイクロレンズのうち、特定のマイクロレンズ３１ｓに着目し、このマイクロレンズ３１ｓに対応するマイクロレンズブラーのサイズを算出するものとする。
【００５２】
ＬＭＬ−ｆ：メインレンズ焦点距離
ＬＭＬ−Ｏ：メインレンズ被写体距離（メインレンズ２１と被写体との距離）
ＬＭＬ−ｉ：メインレンズ結像距離
ＬＭＬ−μＬ：メインレンズ２１とマイクロレンズ３１ｓとの距離
ＬＡ：メインレンズ２１の焦点位置とマイクロレンズ３１ｓとの距離
ＬμＬ−ｆ：マイクロレンズ焦点距離
ＬμＬ−ｉ：マイクロレンズ結像距離（マイクロレンズ３１ｓと、マイクロレンズ３１ｓの焦点との距離）
ＬμＬ−ＩＳ：マイクロレンズ３１ｓと、撮像素子４１との距離
ＬＢ：マイクロレンズ３１ｓの焦点と撮像素子４１との距離
ＬμＬ−Ｂ：マイクロレンズ３１ｓのブラーサイズ
ＬμＬ−ｒ：マイクロレンズ３１ｓの有効径
【００５３】
ここで、ＬＭＬ−ｆと、ＬμＬ−ｆと、ＬμＬ−ｒとは、予め定められている。また、撮像制御部４６は、撮像ユニット４にマイクロレンズアレイユニット３を装着した時点で、マイクロレンズ３１ｓと撮像素子４１との距離ＬμＬ−ＩＳを、フランジバックＬＦＢと、マイクロレンズ内部距離ＬμＬｉとを用いて、（５）式に従って算出し、算出された値を撮像記憶部４５に記憶させる。
ＬμＬ−ＩＳ＝ＬＦＢ−ＬμＬｉ・・・（５）
【００５４】
そして、撮像制御部４６は、撮像時において、ＬＭＬ−Ｏと、ＬＭＬ−μＬとの距離を変更しながら、マイクロレンズ３１ｓのブラーサイズＬμＬ−Ｂを算出する。
すなわち、撮像制御部４６は、メインレンズ結像距離ＬＭＬ−ｉを、ＬＭＬ−Ｏと、ＬＭＬ−ｆとを用いて、以下の式（６）で算出する。
ＬＭＬ−ｉ＝（ＬＭＬ−Ｏ−ＬＭＬ−ｆ）／（ＬＭＬ−Ｏ×ＬＭＬ−ｆ）・・・（６）
【００５５】
続いて、撮像制御部４６は、メインレンズ２１の焦点位置とマイクロレンズ３１ｓとの距離ＬＡを、ＬＭＬ−ｉと、ＬＭＬ−μＬとを用いて、以下の式（７）で算出する。
ＬＡ＝ＬＭＬ−μＬ−ＬＭＬ−ｉ・・・（７）
【００５６】
続いて、撮像制御部４６は、マイクロレンズ結像距離ＬμＬ−ｉを、ＬμＬ−ｆと、（７）式で求めたＬＡとを用いて、以下の式（８）で算出する。
ＬμＬ−ｉ＝（ＬＡ−ＬμＬ−ｆ）／ＬＡ×ＬμＬ−ｆ・・・（８）
【００５７】
続いて、撮像制御部４６は、マイクロレンズ３１ｓの焦点と撮像素子４１との距離ＬＢを、（５）式に従って算出されたＬμＬ−ＩＳと、（８）式に従って算出されたＬμＬ−ｉとを用いて、以下の（９）式で算出する。
ＬＢ＝ＬμＬ−ＩＳ−ＬμＬ−ｉ・・・（９）
【００５８】
続いて、撮像制御部４６は、マイクロレンズ３１ｓのブラーサイズを、予め定められているＬμＬ−ｒと、（８）式に従って算出されたＬμＬ−ｉと、（９）式に従って算出されたＬＢと、を用いて、以下の（１０）式で算出する。
ＬμＬ−Ｂ＝ＬμＬ−ｒ×（ＬＢ／ＬμＬ−ｉ）・・・（１０）
【００５９】
撮像制御部４６は、上述の演算にしたがって、各ＬＭＬ−Ｏにおける全てのマイクロレンズのブラーサイズＬμＬ−Ｂを集計し、加算平均を算出する。そして、ブラーサイズの平均値が最も小さい場合のＬＭＬ−Ｏを特定し、特定されたＬＭＬ−Ｏの位置にメインレンズ２１を調整する。そして、撮像制御部４６は、メインレンズ２１のフォーカス面が無限遠の時のメインレンズ２１の主平面の位置から、計算された最適位置までの距離（メインレンズ調整距離）を、マイクロレンズアレイユニット３を識別するための識別情報と関連付けて撮像記憶部４５に記憶させる。このようにすることで、撮像ユニット４からマイクロレンズアレイユニット３が外されて、その後、再び装着された場合であっても、撮像記憶部４５に記憶されたメインレンズ調整距離に基づいて、メインレンズ２１の位置を調整することができる。
【００６０】
図９は、メインレンズ２１の主平面の調整前後の状態を示す図である。具体的には、図９（ａ）は、撮像装置１のメインレンズ２１の主平面を調整する前の状態を示す図であり、図９（ｂ）は、撮像装置１のメインレンズ２１の主平面を所定距離ＬＭＬ−ａｌ調整した後の状態を示す図である。なお、図９において、点線は、無限遠からの光線を示し、破線は、最短撮影距離からの光線を示している。ここでは、マイクロレンズ３１ｓのマイクロレンズブラーに着目して説明を行う。
【００６１】
図９（ａ）と図９（ｂ）のそれぞれには、マイクロレンズ３１ｓと撮像素子４１との拡大図が示されている。これらの拡大図に示されるように、調整後のブラーサイズは、調整前のブラーサイズに比べて小さくなっていることが確認できる。この調整を行うことにより、例えば、最短撮影距離から無限遠の被写体距離に渡って、良好に再構成を行うことが可能となる。
【００６２】
また、撮像制御部４６は、レンズ記憶部２５に記憶されているメインレンズ２１の焦点距離ＬＭＬ−ｆと、アレイ記憶部３５に記憶されているマイクロレンズ外部距離ＬμＬｏ、マイクロレンズ内部距離ＬμＬｉ、各マイクロレンズの焦点距離ＬμＬ−ｆ及びマイクロレンズピッチＬμＬｐと、撮像記憶部４５に記憶されているフランジバックＬＦＢと、に基づいて、メインレンズ２１の最適Ｆ値（ＭＬＦ値）を計算し、メインレンズ２１の絞り機構を調整することでメインレンズ２１のＦ値を最適Ｆ値に変更する。ここで、最適Ｆ値とは個々のマイクロレンズによって撮像素子４１に結像されるサブイメージが互いに接する大きさになる場合のＦ値をいう。
【００６３】
図１０は、メインレンズ２１の絞り機構を調整した場合にマイクロレンズによって撮像素子４１に結像されるサブイメージを示す図である。図１０（ａ）に示されるように、メインレンズ２１の絞り機構により絞りＳを開いた場合、すなわち、Ｆ値を小さくした場合、撮像素子４１に結像されるサブイメージＩＳＵＢは、それぞれ重なってしまう。また、図１０（ｃ）に示されるように、メインレンズ２１の絞り機構により絞りＳを絞った場合、すなわち、Ｆ値を大きくした場合、撮像素子４１に結像されるサブイメージＩＳＵＢは、それぞれ重ならないものの、サブイメージＩＳＵＢの面積が小さくなる。これに対して、図１０（ｂ）に示されるように、メインレンズ２１の絞り機構により絞りＳを最適に絞った場合、すなわち、Ｆ値が最適Ｆ値である場合には、撮像素子４１に結像されるサブイメージＩＳＵＢが互いに接する大きさになる。
【００６４】
以下に、最適Ｆ値を算出する処理について詳細に説明する。
図１１は、最適Ｆ値の算出を説明するための図である。
なお、図１１では、各要素と、マイクロレンズアレイ３１との距離は、上述した各要素とマイクロレンズ３１ｓとの距離と同義のものとして説明を進める。
【００６５】
まず、撮像制御部４６は、マイクロレンズアレイ３１と撮像素子４１との距離ＬμＬ−ＩＳを、フランジバックＬＦＢと、マイクロレンズ内部距離ＬμＬｉとを用いて、（１１）式に従って算出する。この値は、（５）式の算出において撮像記憶部４５に記憶された値を用いてもよい。
ＬμＬ−ＩＳ＝ＬＦＢ−ＬμＬｉ・・・（１１）
【００６６】
続いて、撮像制御部４６は、メインレンズ２１とマイクロレンズアレイ３１との距離ＬＭＬ−μＬを、ＬＭＬ−ｆと、ＬＭＬ−ａｌと、ＬμＬｏと、（１１）式で算出されたＬμＬ−ＩＳとを用いて、以下の式（１２）で算出する。
ＬＭＬ−μＬ＝ＬＭＬ−ｆ＋ＬＭＬ−ａｌ＋ＬμＬｏ−ＬμＬ−ＩＳ・・・（１２）
【００６７】
なお、メインレンズ２１とマウント間の距離ＬＭＬ−ｍを、メインレンズユニット２のパラメータとしてレンズ記憶部２５に記憶させておき、撮像制御部４６が、ＬＭＬ−ｍを用いてメインレンズ２１と、マイクロレンズアレイ３１との距離ＬＭＬ−μＬを以下の（１２）’式で算出するようにしてもよい。
ＬＭＬ−μＬ＝ＬＭＬ−ｍ＋ＬμＬｏ＋ＬμＬｉ・・・（１２）’
【００６８】
続いて、撮像制御部４６は、メインレンズ２１の有効径ＬＭＬ−ｒを、マイクロレンズピッチＬμＬｐと、（１１）式で算出されたＬμＬ−ＩＳと、（１２）式で算出されたＬＭＬ−μＬと、を用いて、以下の式（１３）で算出する。
ＬＭＬ−ｒ＝ＬμＬｐ×ＬＭＬ−μＬ／ＬμＬ−ＩＳ・・・（１３）
【００６９】
続いて、撮像制御部４６は、メインレンズ２１の最適Ｆ値ＦＭＬを、ＬＭＬ−ｆと、（１３）式で算出されたＬＭＬ−ｒとを用いて、以下の式（１４）で算出する。
ＦＭＬ＝ＬＭＬ−ｆ／ＬＭＬ−ｒ・・・（１４）
【００７０】
続いて、撮像制御部４６は、（１４）式で算出された最適Ｆ値を、入出力インターフェース１０を介してレンズ制御部２６に送信する。レンズ制御部２６は、受信した最適Ｆ値に基づいて、駆動部２７に、絞り機構を駆動させる。
【００７１】
以上のように、メインレンズ２１の主平面及びＦ値を調整することによって、ブラーサイズ及びサブイメージサイズを調整する例について説明したが、撮像装置１は、他の方法によってブラーサイズ及びサブイメージサイズを調整するようにしてもよい。
【００７２】
例えば、図１２に示すように、マイクロレンズアレイユニット３に、マイクロレンズアレイ３１を前後にスライドさせるための駆動部３７を設けて、撮像制御部４６が、入出力インターフェース１０及びアレイ制御部３６を介して駆動部３７に制御信号を送信することで、マイクロレンズアレイ３１をスライドさせて、ブラーサイズ及びサブイメージサイズを調整するようにしてもよい。
【００７３】
図１３は、マイクロレンズアレイ３１の位置を調整することによってブラーサイズ及びサブイメージサイズを調整した例を示す図である。すなわち、図１３（ａ）は、マイクロレンズアレイ３１の位置を調整する前の状態を示す図であり、図１３（ｂ）は、マイクロレンズアレイ３１の位置を調整した後の状態を示す図である。この例では、マイクロレンズアレイ３１の位置を、調整前の状態から、撮像素子４１の方向に移動させる調整を行うことによって、マイクロレンズアレイ３１の各マイクロレンズによって集光された光が、撮像素子４１の表面において結像していることを確認することができる。
【００７４】
また、撮像制御部４６は、キャリブレーションユニット５が、メインレンズユニット２に装着された場合に、キャリブレーションを行う。
図１４は、撮像装置１におけるキャリブレーションを説明する図である。
【００７５】
図１４に示されるキャリブレーションユニット５は、特定長の筒状の部材であり、先端に、キャリブレーション用の画像シート５１とバックライト（図示せず）が設けられている。この画像シート５１の中心部には、点が表示されている。このキャリブレーションユニット５がメインレンズユニット２の先端に装着された状態において、撮像制御部４６は、画像シート５１のライトフィールド画像と、計算上の画像とを比較し、そのズレ量を計測し、キャリブレーションを行う。
【００７６】
すなわち、撮像制御部４６は、画像シート５１の点の位置に点があるものと仮定して、計算を行い、ライトフィールド画像を生成する。続いて、撮像制御部４６は、実際のライトフィールド画像を構成する各サブイメージと、計算により生成されたライトフィールド画像を構成する各サブイメージとについて、点のズレ量Δを計測する。続いて、撮像制御部４６は、計測されたズレ量Δから、メインレンズ２１の主平面位置の誤差を計算し、その誤差の補正値を撮像ユニット４の撮像記憶部４５に記憶させる。撮像制御部４６は、このキャリブレーションの行われたメインレンズ２１を使用して撮影されたライトフィールド画像について再構成をする場合、撮像記憶部４５に記憶された補正値に基づいて補正を行う。
【００７７】
例えば、上記（５）式から、（１５）式に従って算出されたメインレンズ２１とマイクロレンズアレイ３１との距離等には、計算誤差や、使用するメインレンズ２１特有の光学式が用いられている可能性がある。このため、計算上のメインレンズ２１の主平面の位置と、実際のメインレンズ２１の主平面の位置に誤差が生じる可能性がある。これに対して、撮像装置１は、撮像制御部４６によりキャリブレーションを行うことによって、ライトフィールド画像に補正を行うことで、ライトフィールド画像をより高精細にすることができる。
【００７８】
続いて、撮像制御部４６による再構成処理の流れについて説明する。図１５は、再構成処理の流れを示すフローチャートである。
【００７９】
ステップＳ１１において、撮像制御部４６は、ライトフィールド画像のデータを取得する。
ステップＳ１２において、撮像制御部４６は、操作部４４により、メインレンズ２１と再構成面との距離を指定する操作を受け付けたことに応じて、メインレンズ２１から指定された距離前方の位置にある面を再構成面として設定する。
【００８０】
ステップＳ１３において、撮像制御部４６は、再構成面を構成する一の画素を、注目点Ｐに設定する。なお、撮像制御部４６は、再構成面を構成する一の画素を、注目点Ｐに設定する場合、未だ注目点Ｐに設定されていない画素を注目点Ｐに設定するものとする。
【００８１】
ステップＳ１４において、撮像制御部４６は、一のマイクロレンズから光が分配される撮像素子４１上の画素の位置を算出する。すなわち、撮像制御部４６は、マイクロレンズアレイ３１を構成するマイクロレンズから一のマイクロレンズを選択し、ステップＳ１３において設定された注目点Ｐから選択されたマイクロレンズに入射した光が、撮像素子４１に分配される位置を算出する。そして、撮像制御部４６は、算出された位置に存在する画素を、分配される画素として決定する。なお、撮像制御部４６は、一のマイクロレンズを選択する場合、未だ選択されていないマイクロレンズを選択するものとする。
【００８２】
ステップＳ１５において、撮像制御部４６は、分配される画素を全て特定したか否か、すなわち、全てのマイクロレンズについて、分配される画素の位置を算出する処理が行われたか否かを判定する。撮像制御部４６は、この判定がＹＥＳの場合、ステップＳ１６に処理を移し、この判定がＮＯの場合、ステップＳ１４に処理を移す。
【００８３】
ステップＳ１６において、撮像制御部４６は、注目点Ｐからの光が分配される画素の画素値について、加算平均を算出する。
【００８４】
ステップＳ１７において、撮像制御部４６は、再構成面を構成する画素の全てが注目点に設定されたか否かを判定する。撮像制御部４６は、この判定がＹＥＳの場合、ステップＳ１８に処理を移し、この判定がＮＯの場合、ステップＳ１３に処理を移す。
ステップＳ１８において、撮像制御部４６は、再構成画像を表示出力する。
【００８５】
以上、本実施形態の撮像装置１の構成及び処理について説明した。
本実施形態においては、撮像装置１は、撮像素子４１と、被写体からの光を撮像素子４１の方向に集光するメインレンズ２１と、撮像素子４１とメインレンズ２１との間に配置され、メインレンズ２１を透過した光を撮像素子４１に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイ３１と、を備え、マイクロレンズアレイ３１は、焦点距離の異なる複数種類のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃから構成され、複数種類のうちの少なくとも１種類のマイクロレンズ３１Ａは、他の種類のマイクロレンズ３１Ｂ及び３１Ｃとは異なる分布形態を有する。
【００８６】
したがって、撮像装置１では、複数種類のマイクロレンズにより、近距離から遠距離まで、マイクロレンズブラーを抑制し、より広い距離の範囲にわたって高精細な再構成画像を得ることができる。
【００８７】
また、本実施形態においては、マイクロレンズアレイ３１において、複数種類のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃが不均等に配置される。このようにすることで、例えば、マイクロレンズアレイ３１の中心に、近距離に対応したマイクロレンズを多く配置し、周縁部に、遠距離に対応したマイクロレンズを多く配置することで、中央部の被写体を際立たせるように撮影することができる。
【００８８】
また、本実施形態においては、撮像装置１は、メインレンズ２１を備えるメインレンズユニット２と、マイクロレンズアレイ３１を備えるマイクロレンズアレイユニット３と、撮像素子４１を備える撮像ユニット４と、が分離可能に構成されている。
【００８９】
このように、撮像装置１を構成する部品のそれぞれをユニット化し、互いに分離可能にすることで、よりユーザの目的に即したライトフィールドカメラを提供することができる。すなわち、マイクロレンズアレイユニット３を分離可能にすることで、ユーザは、当該ユーザが意図した画像の解像度や奥行きの分解能に合わせて、マイクロレンズの焦点距離やレンズピッチを選択することができる。また、撮像装置１のユーザは、個々のマイクロレンズごとに通過させる光量を変えたマイクロレンズアレイユニット３を選択することで、ハイダイナミックレンジ（ＨＤＲ）画像を容易に撮影することができる。
【００９０】
このように、撮像装置１を構成する部品のそれぞれをユニット化することで、メインレンズユニット２をライトフィールドカメラ専用のものとせず、従来から一眼レフカメラ等で使用されているレンズユニットを使用可能とすることで、ユーザは撮像装置１を導入しやすくなる。さらに、撮像ユニット４を撮像装置１と従来のカメラとの併用とすることで、ユーザは撮像装置１をより導入しやすくなる。
【００９１】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【００９２】
例えば、上述の実施形態では、３種類のマイクロレンズ３１Ａ、３１Ｂ及び３１Ｃによりマイクロレンズアレイ３１を構成することとしたが、特にこれに限定されない。例えば、マイクロレンズアレイ３１を構成するマイクロレンズの種類を２種類又は４種類以上とするようにしてもよい。
【００９３】
例えば、上述の実施形態では、再構成画像のデータを生成する際に用いられるライトフィールド画像のデータは、撮像装置１自身により撮像されたものが採用されたが、特にこれに限定されない。
すなわち、撮像装置１は、別の撮像装置又は従来の別のプレノプティックカメラにより撮像されたライトフィールド画像のデータを用いて、再構成画像のデータを生成するようにしてもよい。
換言すると、本発明は、撮像機能を有する撮像装置１のみならず、撮像機能を有しなくとも、一般的な画像処理機能を有する電子機器一般に適用することができる。例えば、本発明は、パーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。
【００９４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６及び図１２の構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６及び図１２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００９５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００９６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図６及び図１２の撮像装置に設けられるリムーバブルメディア（図示せず）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。このリムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図６及び図１２の撮像記憶部４５に含まれるハードディスク等で構成される。
【００９７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９８】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００９９】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像素子と、
被写体からの光を前記撮像素子の方向に集光するメインレンズと、
前記撮像素子と前記メインレンズとの間に配置され、前記メインレンズを透過した光を前記撮像素子に結像させる、複数のマイクロレンズから構成されるマイクロレンズアレイと、を備え、
前記マイクロレンズアレイは、焦点距離の異なる複数種類のマイクロレンズから構成され、
前記複数種類のうちの少なくとも１種類の前記マイクロレンズは、他の種類の前記マイクロレンズとは異なる分布形態を有することを特徴とする、
撮像装置。
［付記２］
前記マイクロレンズアレイにおいて、前記複数種類のマイクロレンズが不均等に配置されることを特徴とする、
付記１に記載の撮像装置。
［付記３］
前記メインレンズを備えるメインレンズユニットと、
前記マイクロレンズアレイを備えるマイクロレンズアレイユニットと、
前記撮像素子を備える撮像ユニットと、
が分離可能に構成されていることを特徴とする、
付記１又は２に記載の撮像装置。
【符号の説明】
【０１００】
１・・・撮像装置、２・・・メインレンズユニット、３・・・マイクロレンズアレイユニット、４・・・撮像ユニット、５・・・キャリブレーションユニット、１０・・・入出力インターフェース、２１・・・メインレンズ、２５・・・レンズ記憶部、２６・・・レンズ制御部、２７・・・駆動部、３１・・・マイクロレンズアレイ、３１Ａ，３１Ｂ，３１Ｃ・・・マイクロレンズ、３２・・・レンズ鏡筒、３３・・・電気接点、３５・・・アレイ記憶部、３６・・・アレイ制御部、４１・・・撮像素子、４４・・・操作部、４５・・・撮像記憶部、４６・・・撮像制御部、４７・・・表示部
【図１】
2013198016.tif 000003
【図２】
2013198016.tif 000004
【図３】
2013198016.tif 000005
【図４】
2013198016.tif 000006
【図５】
2013198016.tif 000007
【図６】
2013198016.tif 000008
【図７】
2013198016.tif 000009
【図８】
2013198016.tif 000010
【図９】
2013198016.tif 000011
【図１０】
2013198016.tif 000012
【図１１】
2013198016.tif 000013
【図１２】
2013198016.tif 000014
【図１３】
2013198016.tif 000015
【図１４】
2013198016.tif 000016
【図１５】
2013198016.tif 000017
【図１６】
2013198016.tif 000018