(57)【要約】      （修正有）【課題】マイクロレンズの中心座標をより高精度に検出可能とする。【解決手段】固体撮像素子用のマイクロレンズアレイ１２は、撮像マイクロレンズ領域１３０に設けられ、２次元像を結像する複数のマイクロレンズ１２０と、状態検出部１２１とを備える。状態検出部１２１は、撮像マイクロレンズ１２０領域の外周部に設けられる。状態検出部１２１は、複数のマイクロレンズ１２０による像が結像する結像面においてマイクロレンズ１２０が結像する像よりも小さい径の像を生成する。【選択図】図１２
2015084089.tif 000002
【特許請求の範囲】
【請求項１】
撮像マイクロレンズ領域に設けられ、２次元像を結像する複数のマイクロレンズと、
前記撮像マイクロレンズ領域の外周部に設けられ、前記マイクロレンズの結像面において該マイクロレンズが結像する像よりも小さい径の像を生成する状態検出部と
を備える固体撮像素子用のマイクロレンズアレイ。
【請求項２】
前記状態検出部は、マイクロレンズを含んで構成される
ことを特徴とする請求項１に記載の固体撮像素子用のマイクロレンズアレイ。
【請求項３】
前記状態検出部は、レンチキュラーレンズを含んで構成される
ことを特徴とする請求項１または請求項２に記載の固体撮像素子用のマイクロレンズアレイ。
【請求項４】
前記状態検出部は、アパーチャを含んで構成される
ことを特徴とする請求項１乃至請求項３の何れか１項に記載の固体撮像素子用のマイクロレンズアレイ。
【請求項５】
請求項１乃至請求項４の何れか１項に記載の固体撮像素子用のマイクロレンズアレイと、
前記固体撮像素子用のマイクロレンズアレイからの光を受光し、受光された光を画素毎に電気信号に変換して出力する撮像素子と
を有する
ことを特徴とする固体撮像素子。
【請求項６】
前記撮像素子は、
前記固体撮像素子用のマイクロレンズアレイのうち前記状態検出部からの光が受光される領域の画素にはカラーフィルタを設けない
ことを特徴とする請求項５に記載の固体撮像素子。
【請求項７】
請求項５または請求項６に記載の固体撮像素子と、
前記状態検出部からの光を用いて前記複数のマイクロレンズそれぞれの中心座標を補正するための補正係数を算出する補正部と
を有する
ことを特徴とする撮像装置。
【請求項８】
前記補正部は、
前記撮像素子の出力に基づき、前記撮像マイクロレンズ領域に対する光軸の中心位置と、前記状態検出部からの光が前記撮像素子に受光される受光位置とを取得し、取得した前記中心位置と前記受光位置と、理想モデルにおける前記中心位置と前記受光位置との差分に基づき、前記撮像素子上での前記複数のマイクロレンズそれぞれの位置情報を補正する
ことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記補正部は、
さらに、前記撮像素子の、前記撮像マイクロレンズ領域からの光を受光した出力に基づき像高依存性の補正係数を求め、前記差分と前記補正係数とに基づき、前記撮像素子上での前記複数のマイクロレンズそれぞれの位置情報を補正する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
請求項５または請求項６に記載の固体撮像素子と、
被写体からの光を前記固体撮像素子に導くメインレンズと
を有し、
前記固体撮像素子用のマイクロレンズアレイは、前記メインレンズと前記撮像素子との間に設けられる
ことを特徴とするレンズユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットに関する。
【背景技術】
【０００２】
撮像光学系の構造として、マイクロレンズアレイを画素上方に配置し、各マイクロレンズ下部には複数の画素を配置し、メインレンズの像をさらにマイクロレンズアレイを用いて画素上に結像する構造が提案されている。この構造により、画素ブロック単位で視差を有する画像群を取得することが可能であり、この視差により、被写体の距離推定や距離情報を元にしたリフォーカス処理等が可能となる。この、メインレンズの像をさらにマイクロレンズアレイを用いて結像する光学構成を、リフォーカス光学系と呼ぶ。
【０００３】
リフォーカス光学系を用いた構成によれば、各マイクロレンズの画像は、隣接する画像に同一の被写体が位置をずらされて撮像された画像となる。そのため、各マクロとレンズの画像をずらして重ね合わせることで、画像内に指定した任意の距離に焦点を合わせたリフォーカス画像を再構成することができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】T.  Georgiev  and  A.  Lumsdaine,  COMPUTER  GRAPHICS  forum,  Volume  29  (2010),  number  6  pp.  1955-1968,  "Reducing  Plenoptic  Camera  Artifacts"
【発明の概要】
【発明が解決しようとする課題】
【０００５】
リフォーカス光学系においては、画像処理において各マイクロレンズの画像をずらして重ね合わせることから、マイクロレンズの中心座標の精度が重要である。中心座標の誤差が大きい場合、再構成画像における解像度や距離精度の劣化などが生じる原因となる。
【０００６】
本発明が解決しようとする課題は、マイクロレンズの中心座標をより高精度に検出可能な固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットを提供することにある。
【課題を解決するための手段】
【０００７】
実施形態の固体撮像素子用のマイクロレンズアレイは、撮像マイクロレンズ領域に設けられ、２次元像を結像する複数のマイクロレンズと、状態検出部とを備える。状態検出部は、撮像マイクロレンズ領域の外周部に設けられ、マイクロレンズの結像面においてマイクロレンズが結像する像よりも小さい径の像を生成する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１の実施形態に適用可能な撮像装置の一例の構成を示すブロック図である。
【図２】図２は、第１の実施形態に適用可能な光学系の一例の構成を示す図である。
【図３】図３は、第１の実施形態に係るＲＡＷ画像の例を模式的に示す図である。
【図４】図４は、第１の実施形態に適用可能な光学系の別の例の構成を示す図である。
【図５】図５は、第１の実施形態に係るリフォーカス処理を説明するための図である。
【図６】図６は、第１の実施形態に係る、マイクロレンズ像の画質の劣化を説明するための図である。
【図７】図７は、第１の実施形態に係る、マイクロレンズ像の画質の劣化を説明するための図である。
【図８】図８は、第１の実施形態に係る、各マイクロレンズ像の中心座標について説明するための図である。
【図９】図９は、第１の実施形態に係る、マイクロレンズアレイの傾きについて説明するための図である。
【図１０】図１０は、第１の実施形態に係る、マイクロレンズアレイの傾きが無い場合の中心座標の例を示す図である。
【図１１】図１１は、第１の実施形態に係る、マイクロレンズアレイに傾きがある場合の中心座標の例を示す図である。
【図１２】図１２は、第１の実施形態に係る、状態検出部が設けられたマイクロレンズアレイの一例の構成を示す図である。
【図１３】図１３は、第１の実施形態に係る、状態検出用マイクロレンズをマイクロレンズと同じ面に設けた場合の例を示す図である。
【図１４】図１４は、第１の実施形態に係る、状態検出用マイクロレンズをマイクロレンズと異なる面に設けた場合の例を示す図である。
【図１５】図１５は、第１の実施形態に係る状態検出用マイクロレンズを設けたマイクロレンズアレイによって撮像素子で得られる像の例を示す図である。
【図１６】図１６は、第１の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。
【図１７】図１７は、第１の実施形態に係る、各マイクロレンズ像の輝度値カーブの頂点の輝度値を抽出することを説明するための図である。
【図１８】図１８は、第１の実施形態に係る、理想モデルにおけるマイクロレンズ像の結像位置の例を示す図である。
【図１９】図１９は、第１の実施形態に係る、マイクロレンズアレイが傾いている場合のマイクロレンズ像の結像位置の例を示す図である。
【図２０】図２０は、第１の実施形態に係る、マイクロレンズアレイの傾き成分を取り除いた状態を説明するための図である。
【図２１】図２１は、第１の実施形態の第１の変形例に係る撮像素子の受光面の例を示す図である。
【図２２】図２２は、第１の実施形態の第２の変形例によるマイクロレンズアレイの一例の構成を示す図である。
【図２３】図２３は、第１の実施形態の第３の変形例によるマイクロレンズアレイの一例の構成を示す図である。
【図２４】図２４は、第２の実施形態に係る、マイクロレンズアレイ基盤における光の屈折による作用を説明するための図である。
【図２５】図２５は、第２の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、実施形態に係る固体撮像素子用のマイクロレンズアレイ、固体撮像素子、撮像装置およびレンズユニットについて説明する。図１は、第１の実施形態に適用可能な撮像装置の一例の構成を示す。図１において、撮像装置１は、レンズユニットとしてのカメラモジュール１０と、ＩＳＰ(Image  Signal  Processor)とを有する。
【００１０】
カメラモジュール１０は、メインレンズ１１を含む結像光学系と、マイクロレンズアレイ１２および撮像素子１３を含む固体撮像素子と、撮像部１４と、信号処理部１５とを有する。結像光学系は、１以上のレンズを含み、被写体からの光をマイクロレンズアレイ１２および撮像素子１３に導く。結像光学系に含まれるレンズが複数存在する場合は、それぞれのレンズを合成した仮想レンズをメインレンズ１１と考える。すなわち、２枚以上のレンズが存在する光学系の場合、光学系全体の焦点距離は、全てのレンズの光の屈折を反映した値となる。この値を合成焦点距離と呼ぶ。例えばレンズが２枚であり、それぞれのレンズの焦点距離がｆ1、ｆ2で表され間隔ｄの距離で配置されている場合、合成焦点距離ｆは、１／ｆ＝(１／ｆ1)＋(１／ｆ2)−(ｄ／(ｆ1×ｆ2))と表すことができる。このように、複数のレンズで構成された光学系は１つの仮想レンズで置き換えることができる。従って、以降の説明では、結像光学系に含まれるレンズが１つの場合は、当該レンズがメインレンズ１１となり、結像光学系に含まれるレンズが２つ以上の場合は、上述のように求めた仮想レンズがメインレンズ１１となる。
【００１１】
撮像素子１３は、例えばＣＣＤ(Charge  Coupled  Device)やＣＭＯＳ(Complementary  Metal  Oxide  Semiconductor)イメージャを用い、それぞれ受光した光を光電変換により電気信号に変換して出力する複数の画素からなる画素アレイを含む。
【００１２】
マイクロレンズアレイ１２は、所定の規則で配列された複数のマイクロレンズ１２０、１２０、…を含む。この、マイクロレンズアレイ１２に含まれる複数のマイクロレンズ１２０、１２０、…による領域を、撮像マイクロレンズ領域と呼ぶ。マイクロレンズアレイ１２は、メインレンズ１１によって結像面に結像する光線群を、各マイクロレンズ１２０、１２０、…に対応する撮像素子１３上の複数の画素を含む画素ブロックに対して縮小最結像させる。
【００１３】
また、詳細は後述するが、第１の実施形態では、マイクロレンズアレイ１２は、複数のマイクロレンズ１２０、１２０、…によるマイクロレンズ領域の外周部に、マイクロレンズアレイ１２の状態を検出するための状態検出部が設けられる。第１の実施形態では、この状態検出部により取得された情報に基づき、各マイクロレンズ１２０、１２０、…からの光により撮像素子１３で撮像された各マイクロレンズ像の中心座標の補正を行う。
【００１４】
なお、カメラモジュール１０は、例えばメインレンズ１１を含む撮像光学系と、その他の部分とを分離して構成し、メインレンズ１１を交換可能とすることができる。これに限らず、カメラモジュール１０は、メインレンズ１１を含む撮像光学系とマイクロレンズアレイ１２とを１の筐体に収めたユニットとして構成することも可能である。この場合には、撮像光学系とマイクロレンズアレイ１２とを含むユニットが交換可能とされる。
【００１５】
撮像部１４は、撮像素子１３の各画素を駆動するための駆動回路を含む。駆動回路は、例えば駆動する画素を垂直方向に、水平ライン（行）単位で順次選択する垂直選択回路と、列単位で順次選択する水平選択回路と、これら垂直選択回路および水平選択回路を各種パルスにて駆動するタイミングジェネレータとを含む。撮像部１４は、垂直選択回路および水平選択回路で選択された画素から、受光した光を光電変換した電荷を読み出し、読み出した電荷を電気信号に変換して出力する。
【００１６】
信号処理部１５は、撮像部１４から出力されたアナログ信号による電気信号に対してゲイン調整処理、ノイズ除去処理および増幅処理などを施す。また、信号処理部１５は、Ａ／Ｄ変換回路を有し、これら各処理を施された信号をディジタル信号に変換し、ＲＡＷ画像の画像信号として出力する。
【００１７】
ＩＳＰ２０は、カメラモジュールＩ／Ｆ２１と、メモリ２２と、画像処理部２３と、出力Ｉ／Ｆ２４と、補正処理部２５と、ＲＯＭ(Read  Only  Memory)２６とを有する。カメラモジュールＩ／Ｆ２１は、カメラモジュール１０に対する信号のインターフェイスである。カメラモジュール１０の信号処理部１５から出力されたＲＡＷ画像の画像信号（以下、ＲＡＷ画像と呼ぶ）は、カメラモジュールＩ／Ｆ２１を介して、例えばフレームメモリであるメモリ２２に格納される。
【００１８】
画像処理部２３は、メモリ２２に格納されたＲＡＷ画像のうち、マイクロレンズアレイ１２の撮像マイクロレンズ領域に含まれる各マイクロレンズからの光に基づくＲＡＷ画像に基づき、後述するようにして、各マイクロレンズに対応する領域の画像を拡大し、位置をずらして重ね合わせるリフォーカス処理を行うことにより、再構成したリフォーカス画像を得る。このリフォーカス画像は、出力Ｉ／Ｆ２４から出力され、図示されない表示デバイスに表示したり、外部の記憶媒体に記憶したりする。
【００１９】
なお、メモリ２２に格納されたＲＡＷ画像を外部の記憶媒体に記憶させることもできる。この場合には、外部の記憶媒体から読み出したＲＡＷ画像を、例えばカメラモジュールＩ／Ｆ２１を介してメモリ２２に格納し、画像処理部２３でリフォーカス処理を行うことで、所望のタイミングでリフォーカス画像を得ることができる。
【００２０】
補正処理部２５は、メモリ２２に格納されたＲＡＷ画像に基づき、マイクロレンズアレイ１２における各マイクロレンズ１２０、１２０、…による各マイクロレンズ像の中心位置を補正するための補正係数を算出する。例えば、補正処理部２５は、当該ＲＡＷ画像に含まれる、マイクロレンズアレイ１２の状態検出部からの光による画像に基づき、この補正係数を算出する。補正処理部２５は、マイクロレンズアレイ１２の撮像マイクロレンズ領域に含まれる各マイクロレンズからの光に基づくＲＡＷ画像をさらに用いて、この補正係数を算出してもよい。
【００２１】
補正処理部２５は、算出した補正係数を用いて各マイクロレンズ１２０、１２０、…による像の中心位置の座標を補正し、補正された中心位置座標群をＲＯＭ２６に格納する。画像処理部２３は、上述したリフォーカス処理を、このＲＯＭ２６に格納される、補正された中心位置座標群を用いて実行する。
【００２２】
（第１の実施形態に適用可能な光学系）
次に、第１の実施形態に適用可能な光学系について説明する。ここで、光学系は、メインレンズ１１、マイクロレンズアレイ１２および撮像素子１３を含む。図２は、第１の実施形態に適用可能な光学系の一例の構成を示す。図２において、距離Ａは、メインレンズ１１と被写体との間の距離、距離Ｂは、メインレンズ１１による結像距離をそれぞれ示す。また、距離Ｃは、メインレンズ１１の結像面とマイクロレンズアレイ１２の各マイクロレンズ１２０との間の最短距離、距離Ｄは、マイクロレンズアレイ１２と撮像素子１３との間の距離をそれぞれ示す。メインレンズ１１は、焦点距離ｆを有し、各マイクロレンズ１２０、１２０、…は、焦点距離ｇを有する。以下、説明のため、光軸に対して被写体側を前方、撮像素子１３側を後方と定義する。
【００２３】
光学系内において、マイクロレンズアレイ１２は、メインレンズ１１からの光線を各マイクロレンズ１２０、１２０、…により各視点の像として撮像素子１３上に結像させる。
【００２４】
図３は、第１の実施形態に係る、メインレンズ１１による結像面を撮像素子１３の後方側に位置させた場合の、撮像素子１３の出力に基づくＲＡＷ画像の例を模式的に示す。マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…により撮像素子１３の受光面に結像されたマイクロレンズ像３０、３０、…がマイクロレンズの配列に対応して配置された画像３００が、ＲＡＷ画像として信号処理部１５から出力される。図３によれば、同一の被写体（例えば数字の「３」）が、各マイクロレンズ１２０、１２０、…の配列に応じて、各マイクロレンズ像３０において所定量ずつずれて撮像されていることが分かる。
【００２５】
ここで、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…は、撮像素子１３上に重なり無く結像されることが望ましい。また、図３では、マイクロレンズアレイ１２において各マイクロレンズ１２０、１２０、…が六方格子点上に配置されているが、各マイクロレンズ１２０、１２０、…の配列は、この例に限定されず、他の配列でもよい。例えば、各マイクロレンズ１２０、１２０、…は、正方格子上に配置されていてもよい。
【００２６】
なお、図２の例では、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されている。これはこの例に限定されず、例えば図４に例示されるように、マイクロレンズアレイ１２がメインレンズ１１の結像面より前方に設置されていてもよい。以下では、光学系は、図２に示す、マイクロレンズアレイ１２がメインレンズ１１の結像面より後方に設置されているものとする。
【００２７】
次に、リフォーカス画像作成の原理について、上述した図２を参照しながら説明する。図２において、距離Ｂ＋距離Ｃを距離Ｅとする。距離Ｅは、メインレンズ１１の位置が固定であれば、定数となる。ここでは、距離Ｅおよび距離Ｄがそれぞれ定数であるものとして説明する。
【００２８】
メインレンズ１１において、被写体までの距離Ａと、被写体からの光が結像する距離Ｂと、焦点距離ｆとの間には、レンズの公式に従い式（１）に示す関係が成り立つ。同様に、マイクロレンズアレイ１２の各マイクロレンズ１２０、１２０、…についても、レンズの公式に従い式（２）に示す関係が成り立つ。
【数１】
2015084089.tif 000003
【数２】
2015084089.tif 000004
【００２９】
メインレンズ１１と被写体との間の距離Ａが変化した場合、式（１）のレンズの公式における距離Ｂの値が変化する。光学系の位置関係から、上述したように距離Ｂ＋距離Ｃ＝距離Ｅであり、距離Ｅが固定であるため、距離Ｂの変化に伴い距離Ｃの値も変化する。各マイクロレンズ１２０、１２０、…について、上述の式（２）のレンズの公式を用いると、距離Ｃの変化に伴って、さらに距離Ｄの値も変化することが分かる。
【００３０】
この結果、各マイクロレンズ１２０、１２０、…を通って結像する像は、メインレンズ１１の仮想イメージである結像面を倍率Ｎ（Ｎ＝Ｄ／Ｃ）に縮小した画像が得られる。この倍率Ｎは、次式（３）のように表すことができる。
【数３】
2015084089.tif 000005
【００３１】
式（３）により、各マイクロレンズ１２０、１２０、…による撮像素子１３上の像の縮小率は、メインレンズ１１から被写体までの距離Ａに依存することが分かる。したがって、元の２次元画像を再構成するためには、図５（ａ）に示される、例えば各マイクロレンズ１２０、１２０、…による、それぞれ中心座標が座標３１1、３１2および３１3であるマイクロレンズ像３０1、３０2および３０3を、図５（ｂ）に示すようにそれぞれ倍率１／Ｎで拡大して拡大マイクロレンズ像３０1’、３０2’および３０3’を作成する。そして、各拡大マイクロレンズ像３０1’、３０2’および３０3’の重ね合わせ合成を行うことで、距離Ａにピントが合った再構成画像を得ることができる。
【００３２】
重ね合わせ時には、距離Ａ以外の部分については各拡大マイクロレンズ像３０1’、３０2’および３０3’がずれながら重なることになり、ぼけの様な効果を得ることができる。このように撮影したマイクロレンズ像から任意の位置にピントを合わせる処理をリフォーカス処理と呼ぶ。
【００３３】
図５に例示するように、マイクロレンズアレイ１２からの画像を撮像して得られたＲＡＷ画像をリフォーカス処理により再構成して２次元画像を得る過程では、例えば各マイクロレンズ像３０1、３０2および３０3を、それぞれの中心座標３１1、３１2および３１3を基準に拡大する。そのため、例えば各中心座標３１1、３１2および３１3の精度が重要となる。
【００３４】
各マイクロレンズ像３０の中心座標を検出する方法としては、撮像素子１３で撮像したＲＡＷ画像からマイクロレンズ像３０を画像マッチングなどで抽出し、抽出された各マイクロレンズ像３０について、中心座標を求める方法がある。この画像マッチングを用いる方法では、マイクロレンズ像３０の画質により、検出される中心座標に誤差が生じてしまう可能性がある。例えば、図６に例示されるように、マイクロレンズ１２０上にキズや汚れ、塵などの異常部分４０が存在する場合、そのマイクロレンズ１２０によるマイクロレンズ像３０が不鮮明になったり、変形してしまったりする。この場合は、そのマイクロレンズ１２０のマイクロレンズ像３０による画像マッチングが難しくなり、結果として得られる中心座標の検出誤差が大きくなる。
【００３５】
さらに、マイクロレンズアレイ１２において、メインレンズ１１の光軸から離れた、像高の高い領域においては、ケラレなどの影響により、図７に例示されるように、各マイクロレンズ像３０、３０、…自体が変形してしまう可能性がある。そのため、ケラレにより変形したマイクロレンズ像３０”の中心座標の検出位置と、設計上のマイクロレンズ１２０の中心位置とがずれてしまい、検出誤差が大きくなってしまうおそれがある。また、像高の高い領域では、像高の低い領域に対して、マイクロレンズアレイ１２０に対するメインレンズ１１からの光の入射角がより大きくなり、マイクロレンズアレイ１２０の基盤が持つ屈折率の影響を受け易くなる。
【００３６】
これらの、マイクロレンズ像３０の中心座標の誤差の増大要因を回避するため、第１の実施形態においては、マイクロレンズアレイ１２の外周部に、マイクロレンズアレイ１２の状態を検出する状態検出部を設ける。そして、この状態検出部を用いて取得できる情報に基づき、各マイクロレンズ像３０、３０、…の中心座標を生成する。
【００３７】
図８を用いて、各マイクロレンズ像３０、３０、…の中心座標について説明する。マイクロレンズアレイ１２において、各マイクロレンズ１２０、１２０、…が六方格子の格子点に配置されているものとする。この場合、各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…の配列は、例えばマイクロレンズアレイ１２の中心のマイクロレンズ像３０0を基準として、六方格子点に周期的に各マイクロレンズ像３０、３０、…を配置したものとなる。
【００３８】
各マイクロレンズ像３０の配列に関するパラメータは、基準となるマイクロレンズ像３０0の中心座標と、互いに隣接するマイクロレンズ像３０の中心座標間の距離Ｌと、初期配列角θとを少なくとも含む。初期配列角θは、各マイクロレンズ１２０が六方格子の格子点に配置される場合、例えばあるマイクロレンズ像３０を含む互いに隣接する３のマイクロレンズ像３０において、当該あるマイクロレンズ像３０の中心座標（例えば点Ｐ）から、他の２のマイクロレンズ像３０の中心座標（例えば点Ｑおよび点Ｒ）を見込む角∠ＱＰＲである。
【００３９】
後述するマイクロレンズアレイ１２が構成されるマイクロレンズアレイ基盤の屈折率や、マイクロレンズアレイ１２の撮像素子１３の受光面に対する傾きなどを考慮しない、理想的な状態による理想モデルを考える。この場合、マイクロレンズアレイ１２上の各マイクロレンズ像３０、３０、…の中心座標は、上述の各パラメータ（基準となるマイクロレンズ像３０0の中心座標、距離Ｌおよび初期配列角θ）により計算できる。
【００４０】
ここで、マイクロレンズアレイ１２は、製造時の誤差などにより、撮像素子１３の受光面に対して傾いている場合がある。このような場合、ＲＡＷ画像上の各マイクロレンズ像３０、３０、…の各中心座標を精度良く求めるためには、理想モデルに基づき求めた各マイクロレンズ像３０、３０、…の中心座標に対し、このマイクロレンズアレイ１２の傾きに対応した補正を行うことが必要となる。
【００４１】
図９を用いて、マイクロレンズアレイ１２の傾きについて説明する。図９に示されるような、ｘｙｚ軸で表現される３次元空間において、ｘｙ平面が撮像素子１３の受光面に対応するものとする。この場合、マイクロレンズアレイ１２の傾きは、ｘｙ平面上の回転を示す角度φと、ｚ軸方向の回転を示す角度ψとを用いて記述できる。
【００４２】
図１０は、マイクロレンズアレイ１２に傾きが無い（φ＝０°，ψ＝０°）場合の、メインレンズ１１の光軸に対する各マイクロレンズ像３０、３０、…の中心座標の例を示す。また、図１１は、マイクロレンズアレイ１２にｚ軸方向に傾きがある場合の、メインレンズ１１の光軸に対する各マイクロレンズ像３０、３０、…の中心座標の例を示す。なお、図１０および図１１において、マイクロレンズアレイ１２の基盤による屈折は無視している。また、以下では、マイクロレンズアレイ１２は、対角線が交わる点を中心座標として、基準となるマイクロレンズ１２０が配置されるものとする。
【００４３】
また、図１０（ｂ）および図１１は、上述した図２に対応する図１０（ａ）の部分１００を拡大して示す。図１０（ｂ）および図１１において、メインレンズ１１の光軸がマイクロレンズアレイ１２の中央のマイクロレンズ１２０ｃを通って撮像素子１３の受光面に到達するものとする。
【００４４】
図１０（ｂ）において、マイクロレンズ１２０ｃの座標を座標ｃ(０，０)とする。また、マイクロレンズ１２０ｃに対して図１０（ｂ）上で３つ右のマイクロレンズ１２０ｂ1の中心座標を座標ｂ1(Ｌx，０)とし、３つ左のマイクロレンズ１２０ａ1の中心座標を座標ａ1(−Ｌx，０)とする。なお、値Ｌxは、上述のマイクロレンズ間距離Ｌの整数倍の値である。図１０（ｂ）の例では、値Ｌx＝３×Ｌとなる。
【００４５】
節点(０，Ｃ)は、被写体までの距離が距離Ａである場合の、メインレンズ１１の結像点であり、メインレンズ１１を通った光束が集まる節点である。節点(０，Ｃ)から見た座標ａ1(−Ｌx，０)および座標ｂ1(Ｌx，０)の光軸に対する角度が、それぞれ角度αおよびβとする。マイクロレンズアレイ１２に傾きが無いこの例では、角度α＝角度βとなる。
【００４６】
この場合において、マイクロレンズ１２０ａ1による撮像素子１３上でのマイクロレンズ像３０の中心座標は、座標ａ2(−(Ｃ＋Ｄ)Ｌx／Ｃ，−Ｄ)であり、マイクロレンズ１２０ｂ1による撮像素子１３上でのマイクロレンズ像３０の中心座標は、座標ｂ2((Ｃ＋Ｄ)Ｌx／Ｃ，−Ｄ)である。したがって、光軸から各マイクロレンズ１２０ａ1および１２０ｂ1までの距離ｐおよびｑが等しく、また、各マイクロレンズ１２０による各マイクロレンズ像３０間の距離ｒも、互いに等しい。
【００４７】
一方、図１１に例示されるように、マイクロレンズアレイ１２が角度ψだけ傾いている場合には、光軸から各マイクロレンズ１２０ａ1および１２０ｂ1までの距離ｐおよびｑは、ｑ＞ｐとなり等距離ではなくなる。したがって、各マイクロレンズ１２０による撮像素子１３上での各マイクロレンズ像３０間の距離ｒは、光軸の左右で異なったものとなる。
【００４８】
このときの、傾いてない場合のマイクロレンズアレイ１２の平面上に投影した、各マイクロレンズ１２０ａ1および１２０ｂ1の座標は、それぞれ座標ａ1(−Ｌxcosψ，−Ｌxsinψ)および座標ｂ1(Ｌxcosψ，Ｌxsinψ)となる。また、各マイクロレンズ１２０ａ1および１２０ｂ1によるマイクロレンズ像３０の中心座標は、それぞれ座標ａ2((−Ｌxcosψ×(Ｃ＋Ｄ)／(Ｃ＋Ｌxsinψ)，−Ｄ)および座標ｂ2((Ｌxcosψ×(Ｃ＋Ｄ)／(Ｃ−Ｌxsinψ)，−Ｄ)となる。
【００４９】
なお、ここでは、図２の光学系を例にとって説明したが、図４の光学系の場合は、節点の代わりにメインレンズ像側の主点を用いて同様の計算を行う。
【００５０】
これまで述べてきた様に、各マイクロレンズ１２０、１２０、…による撮像素子１３上での各マイクロレンズ像３０、３０、…の中心座標を生成するためには、基準となるマイクロレンズ像３０0の座標や、マイクロレンズアレイ１２の傾きなど様々なパラメータを、精度良く求める必要がある。リフォーカス処理で用いるマイクロレンズ像３０、３０、…では、図６および図７を用いて説明したように、像歪みなどの影響により、画像マッチングなどにおいて検出誤差が生じる可能性がある。そのため、第１の実施形態では、マイクロレンズアレイ１２上に、マイクロレンズアレイ１２の状態（３次元位置と傾き）を検出可能な状態検出部を設ける。
【００５１】
図１２は、第１の実施形態による、状態検出部が設けられたマイクロレンズアレイ１２の一例の構成を示す。図１２において、マイクロレンズアレイ１２の中心から所定範囲までの領域に、マイクロレンズ１２０、１２０、…が設けられる。このマイクロレンズ１２０、１２０、…が設けられる領域を、撮像マイクロレンズ領域１３０と呼ぶ。
【００５２】
また、第１の実施形態では、マイクロレンズアレイ１２において、撮像マイクロレンズ領域１３０の外周部に、マイクロレンズアレイ１２の状態を検出する状態検出用の領域を設ける。第１の実施形態では、この状態検出用の領域に対して、状態検出用マイクロレンズ１２１、１２１、…を設ける。なお、状態検出マイクロレンズ用１２１、１２１、…は、撮像マイクロレンズ領域１３０の外側であって、且つ、メインレンズ１１からの光が各状態検出マイクロレンズ用１２１、１２１、…を通って撮像素子１３に受光される位置に設けられる。
【００５３】
マイクロレンズアレイ１２の外周部の領域は、メインレンズ１１の光軸から遠く、像高が高い領域である。すなわち、第１の実施形態では、この像高が高く、メインレンズ１１のシェーディングにより画質が悪化してしまう領域を、マイクロレンズアレイ１２の状態検出用の領域として用いる。
【００５４】
このように、第１の実施形態によれば、像高の高い領域を状態検出用の領域として使用し、メインレンズ１１の光軸により近く、像高の低い領域を、リフォーカス処理による画像再構成用のマイクロレンズ像３０、３０、…を取得する構成としている。そのため、各マイクロレンズ像３０、３０、…の中心座標を補正する補正係数を求めるためのパラメータを、再構成画像への影響を抑えて高精度に検出可能である。
【００５５】
なお、状態検出用マイクロレンズ１２１、１２１、…は、像高が高い領域に設けられるため撮像素子１３上での像が歪んでしまう。そのため、状態検出用マイクロレンズ１２１、１２１、…は、撮像素子１３上で点像に結像するようにレンズを形成すると、好ましい。
【００５６】
なお、状態検出用マイクロレンズ１２１、１２１、…は、図１３に示されるように、マイクロレンズアレイ１２において撮像用の各マイクロレンズ１２０、１２０、…と同じ側の面に設けることができる。これに限らず、図１４に例示されるように、状態検出用マイクロレンズ１２１、１２１、…を、マイクロレンズアレイ１２において撮像用の各マイクロレンズ１２０、１２０、…と反対側の面に設けてもよい。
【００５７】
図１５は、第１の実施形態に係る状態検出用マイクロレンズ１２１、１２１、…を設けたマイクロレンズアレイ１２によって撮像素子１３で得られる像の例を示す。図１５に例示されるように、撮像素子１３の出力により、撮像用のマイクロレンズ像３０、３０、…の外周部に、点像の状態検出用マイクロレンズ像３２、３２、…が並ぶＲＡＷ画像３２０が得られる。
【００５８】
（マイクロレンズ像の中心座標群の生成処理）
次に、第１の実施形態に係る、マイクロレンズ像３０、３０、…の中心座標群の生成処理の例について説明する。図１６は、この第１の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。図１６のフローチャートにおける各処理は、ＩＳＰ２０内の補正処理部２５にて実行される。また、図１６のフローチャートによる処理の開始に先立って、マイクロレンズアレイ１２からの光が撮像素子１３に受光されて得られたＲＡＷ画像がカメラモジュール１０から出力されてＩＳＰ２０に供給され、メモリ２２に格納されるものとする。
【００５９】
ステップＳ１００で、補正処理部２５は、輝度値フィッティングによりメインレンズ１１の光軸中心の、ＲＡＷ画像３２０上での座標(Ｘmx，Ｙmx)を決定する。より具体的には、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０の各画素の輝度値から、各マイクロレンズ像３０、３０、…の輝度値カーブの頂点の輝度値を抽出する。そして、図１７に例示されるように、各マイクロレンズ像３０、３０、…における当該頂点の各輝度値３３０に対して多項式曲面を用いてフィッティング処理を行いて輝度値がピークとなる座標を計算する。この計算された座標が、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)となる。なお、座標は、例えばＲＡＷ画像３２０上の画素位置を示す値を用いることができる。
【００６０】
なお、多項式曲面によるフィッティング処理は、例えば次式（４）を用いて実行することができる。フィッティング処理に用いる数式は、式（４）に限られず、例えばフィッティング処理を行う対象のＲＡＷ画像３２０の状態に応じて適宜、選択することができる。
【数４】
2015084089.tif 000006
【００６１】
次に、ステップＳ１０１で、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０から、状態検出領域に含まれる状態検出用マイクロレンズ像３２、３２、…を検出し、各状態検出用マイクロレンズ像３２、３２、…の位置（座標）を求める。補正処理部２５は、ＲＡＷ画像３２０に対して画像マッチング処理や特徴点抽出処理などを施すことで、状態検出用マイクロレンズ像３２、３２、…を検出することができる。
【００６２】
次のステップＳ１０２で、補正処理部２５は、以下に説明するようにして、各状態検出用マイクロレンズ像３２、３２、…の位置から、各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψを求める。
【００６３】
ステップＳ１０１で抽出された状態検出用マイクロレンズ像３２、３２、…の位置は、マイクロレンズアレイ１２の状態に関する値をパラメータとして含む。このパラメータは、例えば、マイクロレンズアレイ１２の中心位置の座標(Ｘc，Ｙc)とメインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)との差分を含む。また、このパラメータは、メインレンズ１１の光束の節点とマイクロレンズアレイ１２の表面との間の距離Ａ’を含む。さらに、このパラメータは、マイクロレンズアレイ１２の基盤の厚みｄと、マイクロレンズアレイ１２の裏面から撮像素子１３の受光面までの距離Ｄとを含む。さらにまた、マイクロレンズアレイ１２に傾きが存在する場合、パラメータは、上述した角度ψおよびφを含む。
【００６４】
補正処理部２５は、マイクロレンズアレイ１２の傾きが無く（ψ＝０°、φ＝０°）、マイクロレンズアレイ１２の中心座標と、メインレンズ１１の光軸中心とが撮像素子１３の中央と一致する、理想モデルを想定する。そして、補正処理部２５は、ＲＡＷ画像３２０上の実際の各状態検出用マイクロレンズ像３２、３２、…、および、撮像マイクロレンズ領域１３０内の各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…の座標の、この理想モデルに対する差分に基づき、最急降下法などの方法により、上述した、マイクロレンズアレイ１２の状態に関する各パラメータを求める。
【００６５】
図１８は、理想モデルにおけるマイクロレンズ像３０の結像位置ｘi’の例を示す。図１８に例示される理想モデルは、光学系の例として、マイクロレンズアレイ１２が撮像素子１３の受光面に対して平行であり（ψ＝０°）、マイクロレンズアレイ１２の基盤の屈折を無視できるモデルである。なお、理想モデルにおいては、マイクロレンズアレイ１２の基盤中心の座標(ｘc，ｙc)がメインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)と一致している。
【００６６】
図１８より、メインレンズ１１の光軸中心から距離ｘiの位置に存在するマイクロレンズ１２０（または状態検出用マイクロレンズ１２１）による像は、撮像素子１３上で、次式（５）で示される、距離ｘi’の位置に結像する。式（５）で明らかなように、マイクロレンズ１２０、１２０、…が基盤上に等間隔で並んでいる場合に、これらマイクロレンズ１２０、１２０、…により撮像素子１３上に結像されるマイクロレンズ像３０、３０、…も、等間隔で並ぶことになる。
【数５】
2015084089.tif 000007
【００６７】
図１９は、マイクロレンズアレイ１２が撮像素子１３の受光面に対して角度ψで傾いている場合のマイクロレンズ像３０の結像位置ｘi”の例を示す。図１９により、マイクロレンズアレイ１２が傾いている場合、メインレンズ１１の光軸中心から距離ｘiの位置に存在するマイクロレンズ１２０（または状態検出用マイクロレンズ１２１）による像は、撮像素子１３上で、次式（６）で示される、距離ｘi”の位置に結像する。式（６）から分かるように、マイクロレンズアレイ１２が傾いている場合は、マイクロレンズ１２０、１２０、…が等間隔で並んでいる状態であっても、撮像素子１３上のマイクロレンズ像３０、３０、…は、等間隔に並ばない。
【数６】
2015084089.tif 000008
【００６８】
実際の光学系を模擬できるモデルとして、マイクロレンズアレイ１２の全マイクロレンズ（マイクロレンズ１２０、１２０、…、および、状態検出用マイクロレンズ１２１、１２１、…）の結像位置が（６）で表わされるものとする。最急降下法の評価関数を、次式（７）で表す。式（７）において、変数Ｘiは、撮像素子１３の出力に基づくＲＡＷ画像３２０から検出された状態検出用マイクロレンズ像３２、３２、…の結像位置である。また、変数ＮMLは、マイクロレンズアレイ１２に設けられた状態検出用マイクロレンズ１２１の数を表す。
【数７】
2015084089.tif 000009
【００６９】
式（７）において、値Ｔが最小となる各パラメータＡ’、ｄ、Ｄ、ψを最急降下法により求めることで、実際の光学系に近似された各パラメータＡ’、ｄ、Ｄ、ψを得ることができる。この式（７）により得られた各パラメータＡ’、ｄ、Ｄ、ψを用いて、各マイクロレンズ像３０、３０、…の中心座標を生成するために必要な、マイクロレンズ間距離Ｌ’と、初期配列角θ’とを決定することができる。
【００７０】
式（７）により得られた各パラメータＡ’、ｄ、Ｄ、ψのうち、マイクロレンズアレイ１２の傾き成分である角度ψ＝０°として各結像位置を再計算する。すなわち、式（７）で得られた各パラメータＡ’、ｄ、Ｄを式（５）に適用して、各結像位置ｘiを再計算することになる。この再計算により、図２０に例示されるように、マイクロレンズアレイ１２の傾き成分を取り除いた状態の、各状態検出用マイクロレンズ像３２’、３２’、…の結像位置が得られる。
【００７１】
例えば、マイクロレンズアレイ１２の設計時に、各状態検出用マイクロレンズ１２１間の距離を、マイクロレンズ１２０間の距離Ｌと同一または整数倍としておく。これにより、再計算して得られた各状態検出用マイクロレンズ像３２’間の距離から、各マイクロレンズ１２０、１２０、…により実際に撮像素子１３に結像する各マイクロレンズ１２０による像の間の距離Ｌ’をより容易に求めることができる。例えば、距離Ｌ’は、上述した距離ｘi’と距離ｘi”との比を補正係数として用い、この補正係数と元の距離Ｌとに基づき求めることができる。距離Ｌ’は、距離ｘi’と距離ｘi”との差分と、距離Ｌとを用いて求めることも可能である。
【００７２】
また例えば、マイクロレンズ１２０の初期配列角θを、状態検出用マイクロレンズ１２１の対角方向を基準とした値として設計時などに予め決めておく。これにより、再計算で得られた各状態検出用マイクロレンズ像３２’の対角ペアの結像位置を補正係数として用いて、実際に撮像素子１３に結像する各マイクロレンズ像の初期配列角θ’をより容易に求めることができる。
【００７３】
次に、撮像素子１３の受光面に平行な面における回転角となる角度φを考慮した、各マイクロレンズ１２０、１２０、…による実際の撮像素子１３上でのマイクロレンズ像３０、３０、…の座標(Ｘn，Ｙn)について説明する。理想モデルに対する回転軸のズレを、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)とする。上述したマイクロレンズアレイ１２の傾き成分を取り除いた状態において、座標(Ｘn，Ｙn)は、例えば次式（８）で表すことができる。
(Ｘn，Ｙn)＝(Ｘmx＋Ｘncosφ，Ｙmx＋Ｙnsinφ)    …（８）
【００７４】
この式（８）に基づき、各状態検出用マイクロレンズ像３２’、３２’、…の位置を用いて、例えは上述の式（７）と同様の手法により補正係数を求め、この補正係数に基づき角度φを求めることができる。
【００７５】
説明は、図１６のフローチャートに戻り、ステップＳ１０３で、補正処理部２５は、上述のように求められた各パラメータに従い、実際の撮像素子１３の撮像により得られたＲＡＷ画像３２０における、各マイクロレンズ像３０、３０、…の中心座標群を生成する。より具体的には、補正処理部２５は、パラメータＡ’、ｄ、Ｄ、ψから求めた距離Ｌ’および初期配列角θ’と、メインレンズ１１の光軸中心の座標(Ｘmx，Ｙmx)と、回転角φとを用いて、各マイクロレンズ像３０、３０、…の中心座標群を生成する。
【００７６】
補正処理部２５は、生成した中心座標群を、ＲＯＭ２６に格納する。画像処理部２３は、メモリ２２から読み出したＲＡＷ画像３２０に対してリフォーカス処理を行う際に、各マイクロレンズ像３０、３０、…のＲＡＷ画像３２０に対して、ＲＯＭ２６に格納される中心座標群を適用する。これにより、画像処理部２３は、マイクロレンズアレイ１２の傾きなどに対応した、より高精度に生成された各マイクロレンズ像３０、３０、…の中心座標を、リフォーカス処理に用いることができる。
【００７７】
なお、上述した図１６のフローチャートによる第１の実施形態に係る中心座標群生成処理は、例えば、撮像装置１の工場出荷時などにおいて、撮像装置１の調整処理の一環として実行することが考えられる。これに限らず、例えば撮像装置１３において、カメラモジュール１０など、マイクロレンズアレイ１２と撮像素子１３とを含むユニットが交換可能とされている場合、当該ユニットを交換した直後などに中心座標群生成処理を実行することが考えられる。この場合、中心座標群生成処理は、ユーザの撮像装置１に対する所定の操作に応じて実行されてもよいし、撮像装置１がユニットの装着を検知して自動的に実行してもよい。
【００７８】
（第１の実施形態の第１の変形例）
次に、第１の実施形態の第１の変形例について説明する。撮像素子１３の受光面は、一般的には、被写体からの光をＲ（赤色）、Ｇ（緑色）およびＢ（青色）の３原色に分離するため、ＲＧＢ各色によるカラーフィルタが画素毎に設けられている。本第１の変形例では、撮像素子１３において状態検出用マイクロレンズ１２１、１２１、…からの光を受光する領域を、白色を検知する領域として構成する。
【００７９】
図２１は、本第１の変形例に係る撮像素子１３の受光面と、受光面上の各マイクロレンズ像３０，３０、…および状態検出用マイクロレンズ像３２、３２、…の例を示す。なお、この例では、各マイクロレンズ像３０および各状態検出用マイクロレンズ像３２を生成するために、図１２を用いて説明したマイクロレンズアレイ１２を用いている。
【００８０】
図２１において、状態検出用マイクロレンズ像３２、３２、…の受光位置と、当該受光位置を含む所定範囲が、白色を検知する白色検知領域１２３として構成されている。白色検知領域１２３は、例えば、撮像素子１３の白色検知領域１２３に対応する画素にカラーフィルタを設けないことで構成することができる。
【００８１】
撮像素子１３の状態検出用マイクロレンズ像３２、３２、…の受光位置を白色検知領域１３１とすることで、より低光量の環境においても高精度な中心座標群の生成が可能となる。
【００８２】
（第１の実施形態の第２の変形例）
次に、第１の実施形態の第２の変形例について説明する。上述の第１の実施形態では、マイクロレンズアレイ１２の状態検出用に、マイクロレンズアレイ１２に対して状態検出用マイクロレンズ１２１、１２１、…を設けたが、これはこの例に限定されない。すなわち、撮像素子１３においてマイクロレンズ像３０、３０、…が形成される領域の外周部に所定の像を形成可能であれば、マイクロレンズアレイ１２における撮像マイクロレンズ領域１３０の外周部の構成は、他の構成であってもよい。
【００８３】
図２２は、本第２の変形例によるマイクロレンズアレイ１２’の一例の構成を示す。図２２に例示されるように、本第２の変形例では、撮像マイクロレンズ領域１３０の外周部に対し、状態検出用マイクロレンズ１２１、１２１、…の代わりに、アパーチャ１２２、１２２、…を設ける。アパーチャ１２２は、アパーチャ１２２を通過した光が撮像素子１３に形成する像の径が、マイクロレンズ１２０の径よりも小さくなるように構成する。また、アパーチャ１２２、１２２、…が設けられる領域は、蒸着や鍍金、塗布などの手法を用いて遮光した遮光領域１３２とする。
【００８４】
このように、撮像マイクロレンズ領域１３０の外周部に、内径が適切に設計されたアパーチャ１２２、１２２、…を設けることで、撮像素子１３におけるマイクロレンズ像３０、３０、…の形成領域の外周部に、状態検出用マイクロレンズ像３２、３２、…に対応する所定の像を形成できる。補正処理部２５は、アパーチャ１２２、１２２、…により形成された像に基づき、上述した図１６のフローチャートによる処理を実行する。
【００８５】
マイクロレンズアレイ１２の状態検出用にアパーチャ１２２、１２２、…を用いることで、状態検出用マイクロレンズ１２１、１２１、…を設けた場合に比べてマイクロレンズアレイ１２のコストを低減することが可能である。
【００８６】
（第１の実施形態の第３の変形例）
次に、第１の実施形態の第３の変形例について説明する。図２３は、本第３の変形例によるマイクロレンズアレイ１２”の一例の構成を示す。図２３に例示されるように、本第３の変形例では、状態検出用マイクロレンズ１２１、１２１、…の一部を直線状のレンチキュラーレンズ１２３に置き換えて、マイクロレンズアレイ１２”を構成する。図２３の例では、レンチキュラーレンズ１２４は、撮像マイクロレンズ領域１３０の長辺側の外周に平行に設けられている。また、レンチキュラーレンズ１２４は、短辺方向の幅をマイクロレンズ１２０の径よりも狭く構成する。
【００８７】
図２３の構成によれば、レンチキュラーレンズ１２４は、撮像素子１３上に、理想的なモデルにおいては直線状に結像する。補正処理部２５は、この理想モデルにおけるレンチキュラーレンズ１２４の像と、実際に撮像素子１３上に結像されるレンチキュラーレンズ１２４による像との差分に基づき、中心座標群を求めるための補正係数を決定する。
【００８８】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、上述の第１の実施形態による構成に対して、マイクロレンズアレイ１２の基盤における光の屈折を考慮した例である。すなわち、各マイクロレンズ１２０、１２０、…を通過する主光線は、マイクロレンズアレイ１２が構成されるマイクロレンズアレイ基盤の屈折率により屈折される。そのため、各マイクロレンズ像３０、３０、…は、メインレンズ１１の光軸からの距離に応じて等間隔からずれていくことになる。したがって、実際には、各マイクロレンズ像３０、３０、…の中心座標は、上述した各パラメータにより計算される各座標に対して、メインレンズ１１の光軸からの距離に依存した多項式などにより求めた補正係数により補正して求める。
【００８９】
なお、第２の実施形態では、上述の第１の実施形態において図１を用いて説明した撮像装置１の構成をそのまま適用できるため、ここでの詳細な説明は省略する。
【００９０】
図２４を用いて、マイクロレンズアレイ１２の基盤における光の屈折による作用について、より具体的に説明する。マイクロレンズアレイ１２の基盤の屈折率ｎを無視した場合において、メインレンズ１１による節点ｚ0からの光が、各マイクロレンズ１２０0、１２０1、１２０2および１２０3を通って撮像素子１３上の位置ｘ0、ｘ1、ｘ2およびｘ3にそれぞれ照射されるものとする。
【００９１】
実際には、マイクロレンズアレイ１２の基盤は所定の屈折率ｎを持つため、マイクロレンズアレイ１２に入射角が０°を超えて照射された光は、マイクロレンズアレイ１２内で屈折率ｎに従い進行方向が変化する。すなわち、各マイクロレンズ１２０0、１２０1、１２０2および１２０3のうち、入射角が略０°となるマイクロレンズ１２０0を除く、各マイクロレンズ１２０1、１２０2および１２０3から出射される光は、それぞれ光路５０1、５０2および５０3として例示されるように、屈折率ｎを無視した場合の光路よりも内側（メインレンズ１１の光軸側）に光路が変更される。
【００９２】
したがって、各マイクロレンズ１２０1、１２０2および１２０3から出射される光は、屈折率ｎを無視した場合の各光の照射位置ｘ1、ｘ2およびｘ3に対して、それぞれ差分Δｘ1、Δｘ2およびΔｘ3だけ、位置ｘ0側にずれて、撮像素子１３に照射される。これら、差分Δｘ1、Δｘ2およびΔｘ3は、入射角０°を原点とする、撮像素子１３における位置ｘに関する多項式（例えば３次式）で表すことができる。この位置ｘに関する多項式が、像高依存性に対する補正係数となる。以下、この位置ｘに関する多項式を、関数ｆ(ｘ)と表す。
【００９３】
図２５は、この第２の実施形態に係るマイクロレンズ像の中心画像群の生成処理の例を示すフローチャートである。図２５のフローチャートによる各処理は、図１６を用いて説明した処理と同様に、ＩＳＰ２０内の補正処理部２５にて実行される。また、図２５のフローチャートによる処理の開始に先立って、マイクロレンズアレイ１２からの光が撮像素子１３に受光されて得られたＲＡＷ画像３２０がカメラモジュール１０から出力されてＩＳＰ２０に供給され、メモリ２２に格納されるものとする。
【００９４】
図２５のフローチャートにおいて、ステップＳ２００〜ステップＳ２０２は、上述した図１６のフローチャートのステップＳ１００〜ステップＳ１０２と同様である。すなわち、ステップＳ２００で、補正処理部２５は、輝度値フィッティングによりメインレンズ１１の光軸中心の、ＲＡＷ画像３２０上での座標(Ｘmx，Ｙmx)を決定する。次のステップＳ２０１で、補正処理部２５は、メモリ２２に格納されたＲＡＷ画像３２０から状態検出用マイクロレンズ像１２１、１２１、…を検出し、各状態検出用マイクロレンズ像１２１、１２１、…の位置（座標）を求める。そして、ステップＳ２０２で、補正処理部２５は、上述したようにして、式（５）〜式（８）に基づき、各状態検出用マイクロレンズ像１２１、１２１、…の位置から、各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψを求める。そして、図１６のステップＳ１０３の処理に従い、各マイクロレンズ像３０、３０、…の中心座標群を生成する。
【００９５】
次に、補正処理部２５は、ステップＳ２０３で、像高依存性に対する補正係数を決定する。すなわち、ステップＳ２０３では、補正処理部２５は、マイクロレンズアレイ１２の基盤の既知の屈折率ｎを考慮した場合の、基盤の各位置における補正係数を求める。
【００９６】
より具体的には、補正処理部２５は、像高の比較的低い領域、例えば、撮像マイクロレンズ領域１３０内において、中心から所定範囲内の各マイクロレンズ１２０、１２０、…による各マイクロレンズ像３０、３０、…における中心座標の撮像素子１３上での位置を、ＲＡＷ画像３２０から取得する。このように、像高の比較的低い領域のマイクロレンズ像３０は、像高の高い領域のマイクロレンズ像と比較して、像の歪みが小さいことが期待できる。そのため、マイクロレンズ像３０が状態検出用マイクロレンズ像３２のように点像ではなくても、高い精度で中心座標を得ることができると考えられる。
【００９７】
補正処理部２５は、ステップＳ２０２までで生成された各パラメータＬ’、θ’、Ａ’、ｄ、Ｄ、φおよびψに従い生成された各マイクロレンズ像３０、３０、…の中心座標群と、ＲＡＷ画像３２０から取得した中心座標群との差分に基づき、像高依存性に対する補正係数である関数ｆ(ｘ)を求める。
【００９８】
次のステップＳ２０４で、補正処理部２５は、ステップＳ２０３で求めた補正係数を用いて、ステップＳ２０２で生成された中央座標群に含まれる各マイクロレンズ像３０、３０、…の各中心座標を補正する。
【００９９】
補正処理部２５は、補正した中心座標群を、ＲＯＭ２６に格納する。画像処理部２３は、マイクロレンズアレイ１２の傾きなどに対応し、且つ、像高依存性による影響が抑制された各マイクロレンズ像３０、３０、…の中心座標を用いて、より高精度なリフォーカス処理を実行することができる。
【０１００】
（第３の実施形態）
上述では、補正処理部２５が撮像装置１に内蔵されるように説明したが、これはこの例に限定されない。本第３の実施形態は、補正処理部２５を撮像装置１に対する外部装置として構成した例である。この場合、補正処理部２５は、専用のハードウェアによって構成してもよいし、コンピュータなどの汎用の情報処理装置上で動作する中心座標群生成プログラムとして構成することもできる。
【０１０１】
補正処理部２５を中心座標群生成プログラムとして構成する場合、当該プログラムは、ＣＤ(Compact  Disk)やＤＶＤ(Digital  Versatile  Disk)といった記録媒体に記録した状態で提供してもよいし、インターネットなどのネットワークを介して提供してもよい。中心座標群生成プログラムは、情報処理装置に供給されると、当該情報処理装置が有するハードディスクドライブや不揮発性メモリといったストレージ装置に所定の手順で格納され、情報処理装置にインストールされる。中心座標群生成プログラムは、実行時には、当該情報処理装置が有するＣＰＵ(Central  Processing  Unit)によりストレージ装置から読み出され、ＲＡＭ(Random  Access  Memory)などによる主記憶装置上に展開され、ＣＰＵにより実行される。
【０１０２】
撮像装置１は、状態検出用マイクロレンズ像３２を含むＲＡＷ画像３２０をメモリ２２から読み出し、当該ＲＡＷ画像３２０を、着脱可能な不揮発性メモリや図示されないデータＩ／Ｆを介して、中心座標群生成プログラムが搭載される情報処理装置に渡す。情報処理装置において、中心座標群生成プログラムが実行され、渡されたＲＡＷ画像３２０に基づき図１６または図２５のフローチャートによる中心座標群生成処理が実行され、中心座標群が生成される。生成された中心座標群は、着脱可能な不揮発性メモリやデータＩ／Ｆを介して撮像装置１に渡され、ＲＯＭ２６に格納される。
【０１０３】
このように、補正処理部２５を撮像装置１の外部の装置上に構成することで、撮像装置１の構成が簡略化でき、例えば撮像装置１自体のコストを低減させることができる。
【０１０４】
（第３の実施形態の変形例）
次に、第３の実施形態の変形例について説明する。本変形例では、補正処理部２５を、インターネットなどのネットワーク上に接続されるサーバ装置上に構成する。この場合、撮像装置１がインターネットに接続可能に構成してもよいし、撮像装置１で撮像されて得られたＲＡＷ画像３２０をインターネットに接続可能に構成された情報処理装置に転送するようにしてもよい。
【０１０５】
サーバ装置は、撮像装置１や情報処理装置から送信されたＲＡＷ画像３２０をネットワークを介して受信し、受信したＲＡＷ画像３２０に基づき図１６または図２５のフローチャートによる中心座標群生成処理を実行する。サーバ装置は、中心座標群生成処理により生成された中心画像群をネットワークを介して撮像装置１や情報処理装置に転送する。
【０１０６】
このように、補正処理部２５をインターネットなどネットワークに接続されるサーバ装置上に構成することで、撮像装置１の構成が簡略化でき、例えば撮像装置１自体のコストを低減させることができる。さらに、コンピュータなどの情報処理装置に対して中心座標群生成プログラムをインストールする手間も省かれる。
【０１０７】
なお、本発明は上述した各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１０８】
１  撮像装置
１０  カメラモジュール
１１  メインレンズ
１２，１２’，１２”  マイクロレンズアレイ
１３  撮像素子
２０  ＩＳＰ
２１  カメラモジュールＩ／Ｆ
２２  メモリ
２３  画像処理部
２５  補正処理部
２６  ＲＯＭ
３０，３０”，３０0，３０1，３０2，３０3，  マイクロレンズ像
３２  状態検出用マイクロレンズ像
１２０，１２０ａ1，１２０ｂ1，１２０ｃ  マイクロレンズ
１２１  状態検出用マイクロレンズ
１２２  アパーチャ
１２３  レンチキュラーレンズ
３００  画像
３２０  ＲＡＷ画像
【図１】
2015084089.tif 000010
【図２】
2015084089.tif 000011
【図４】
2015084089.tif 000012
【図５】
2015084089.tif 000013
【図６】
2015084089.tif 000014
【図７】
2015084089.tif 000015
【図８】
2015084089.tif 000016
【図９】
2015084089.tif 000017
【図１０】
2015084089.tif 000018
【図１１】
2015084089.tif 000019
【図１２】
2015084089.tif 000020
【図１３】
2015084089.tif 000021
【図１４】
2015084089.tif 000022
【図１５】
2015084089.tif 000023
【図１６】
2015084089.tif 000024
【図１８】
2015084089.tif 000025
【図１９】
2015084089.tif 000026
【図２０】
2015084089.tif 000027
【図２１】
2015084089.tif 000028
【図２２】
2015084089.tif 000029
【図２３】
2015084089.tif 000030
【図２４】
2015084089.tif 000031
【図２５】
2015084089.tif 000032
【図３】
2015084089.tif 000033
【図１７】
2015084089.tif 000034