(57)【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子上の画素へ入射する光束を撮影レンズの特定の瞳領域に制限する瞳分割手段と、
前記撮像素子から得られた電気信号に対して、所定の像面の画像信号が得られるように前記撮像素子上の各画素を前記所定の像面に応じて組み合わせを異ならせて加算し、前記所定の像面の画像信号を生成する像生成手段と、
前記像生成手段において加算を行う画素に対応する瞳領域を制御する像加算制御手段と、
前記像生成手段から得られた画像信号のコントラストを計算するコントラスト評価手段と、
前記所定の像面を変化させたときの前記コントラスト評価手段の出力からピント評価値を得るピント評価手段と、を備え、
前記像加算制御手段は、少なくとも前記撮影レンズの光軸中心に最も近い瞳領域を含んだ瞳領域に対応する画素を加算することを特徴とする撮像装置。
【請求項２】
前記像加算制御手段による瞳領域の指示する範囲を変更しながら前記ピント評価手段により複数回のピント評価を行ってピント合わせを行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記像加算制御手段が最後のピント評価において、すべての瞳領域を指示することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記像加算制御手段が最後のピント評価において、記録画像生成と同じ瞳領域を指示することを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮像素子と、前記撮像素子上の画素へ入射する光束を撮影レンズの特定の瞳領域に制限する瞳分割手段と、を有する撮像装置の制御方法であって、
前記撮像素子から得られた電気信号に対して、所定の像面の画像信号が得られるように前記撮像素子上の各画素を前記所定の像面に応じて組み合わせを異ならせて加算し、前記所定の像面の画像信号を生成する像生成ステップと、
前記像生成ステップにおいて加算を行う画素に対応する瞳領域を制御する像加算制御ステップと、
前記像生成ステップで得られた画像信号のコントラストを計算するコントラスト評価ステップと、
前記所定の像面を変化させたときの前記コントラスト評価ステップの出力からピント評価値を得るピント評価ステップと、を備え、
前記像加算制御ステップでは、少なくとも前記撮影レンズの光軸中心に最も近い瞳領域を含んだ瞳領域に対応する画素を加算することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置における、オートフォーカス（以下ＡＦ）技術に関するものである。
【背景技術】
【０００２】
従来、ピント調整のためのオートフォーカス装置として、デジタル一眼レフカメラはいわゆる位相差ＡＦを、コンパクトカメラはコントラストＡＦを備えた装置が多い。これらのＡＦの特徴として位相差ＡＦは高速なピント調整が可能であり、コントラストＡＦは厳密なピント合わせが可能という点があげられる。
【０００３】
例えば、特許文献１ではコントラスト評価を行うための像取得の際に同時に絞りを動作させる方法が開示されている。特許文献２では、異なる瞳領域を通過した光束を個別に受光可能な撮像装置であって、撮像後にピント調整を行った画像を生成する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２７９８３８号公報
【特許文献２】特開２００７−４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、ピント合わせの速度とピント精度の両立が難しい場合がある。すなわち特許文献１では、コントラスト評価を行うために多数の像を取得する必要があるので、ピント合わせの速度が遅くなってしまう場合がある。特許文献２では、後ほどピント位置を変化させた像を得ることができるが、いわゆるピント合わせのための信号の活用方法に関しては十分に述べられていない。
【０００６】
本発明は上述した課題に鑑みてなされたものであり、その目的は、高速かつピント精度の高いＡＦを行うことを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係わる撮像装置は、撮像素子と、前記撮像素子上の画素へ入射する光束を撮影レンズの特定の瞳領域に制限する瞳分割手段と、前記撮像素子から得られた電気信号に対して、所定の像面の画像信号が得られるように前記撮像素子上の各画素を前記所定の像面に応じて組み合わせを異ならせて加算し、前記所定の像面の画像信号を生成する像生成手段と、前記像生成手段において加算を行う画素に対応する瞳領域を制御する像加算制御手段と、前記像生成手段から得られた画像信号のコントラストを計算するコントラスト評価手段と、前記所定の像面を変化させたときの前記コントラスト評価手段の出力からピント評価値を得るピント評価手段と、を備え、前記像加算制御手段は、少なくとも前記撮影レンズの光軸中心に最も近い瞳領域を含んだ瞳領域に対応する画素を加算することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高速かつピント精度の高いＡＦを行うことを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図。
【図２】本発明の一実施形態における撮影光学系の要部を説明する図。
【図３】一実施形態のピント評価値を得るための動作を示すフローチャート。
【図４】一実施形態のピント評価値を得るための動作を示すフローチャート。
【図５】コントラストＡＦの動作を説明する模式図。
【図６】像の再構成動作を示す模式図。
【図７】本発明に適用可能な光学系の他の例を示す模式図。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１１】
図１は、本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１およびレンズ（撮影レンズ）２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ８、表示部９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。
【００１２】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６は結像された光学像を所定の電気信号に変換する。撮影素子６の表面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下、ＭＬＡ）を形成している。ＭＬＡは本実施形態において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮影素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像される。
【００１３】
画像処理部７は、内部にＡ／Ｄ変換器、補間演算回路、ホワイトバランス回路、ガンマ補正回路等を有しており、記録用の画像を生成することができる。また、本実施形態の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。ただし、本実施形態では、これらの要素はカメラシステム制御回路５内に配置する場合を想定して説明する。
【００１４】
メモリ８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ８は、記憶部へ出力を行うとともに、表示部９に出力する像を生成、保存する。また、メモリ８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００１５】
カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。外部操作に応答して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出回路１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００１６】
次に、制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を適切に制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを適切に制御する。
【００１７】
図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態では、いわゆる光線空間情報等といわれる、光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。
【００１８】
図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。
【００１９】
図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮影装置の横からと、正面からＭＬＡを見た状態を示しており、撮影装置正面から見るとＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。
【００２０】
図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示している。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。
【００２１】
図２（ｃ）は撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１、２２、２３、２４、２５は撮像素子６の画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。
【００２２】
図２（ｃ）の画素２１、２２、２３、２４、２５は図２（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。
【００２３】
本実施形態で示した撮影光学系を利用して、撮像素子６の信号からピント評価値（合焦評価値）を得る処理について図３〜図６を用いて説明する。
【００２４】
図３及び図４は本実施形態のピント評価値を得るための動作を示すフローチャートである。図３（ａ）はピント評価値を得る全体の動作を、図３（ｂ）は像シフト手段の動作を、図４（ａ）は像生成手段の動作を、図４（ｂ）はコントラスト評価手段の動作をそれぞれ示している。
【００２５】
図３（ａ）から各ステップ順に説明する。ステップＳ１はピント評価値取得動作の開始を示している。例えば、図１にあった操作検出部１０が撮影者からの特定の動作を検出した時（例えばレリーズボタンの押下）などが該当する。
【００２６】
ステップＳ２は撮像素子６を適当な時間露光して、読み出す（Ａ／Ｄ変換する）ことによりデータを取得することに対応する。この時の露光時間と露光量から撮影において適当な露出量を計算することもできる。ただし本実施形態の要部ではないので説明は割愛する。
【００２７】
ステップＳ３からステップＳ１１はループを形成している。ステップＳ３ではコントラストを用いたピント評価を複数回に分けて行うループを形成している。すなわち最初は粗く、その後精密にピント調整（ピント合わせ）を行う。粗くピント調整を行う動作を粗調、精密にピント調整を行う動作を微調と呼ぶことにする。
【００２８】
ステップＳ４では、現在の調整に合わせて加算すべき瞳位置を決定する。粗調においては、次のステップＳ５以下で評価位置を粗くしながら評価を行う。このため、ローカルミニマムに陥ることを避けるために、ピント位置に対するコントラスト評価が緩慢になるように（＝物理的には被写界深度が深い像を得ることと対応する）、加算すべき瞳位置を決定する。一例としては、加算する領域を少なくかつ隣接するように設定すれば良い。例えば図２（ｃ）において、領域３３と領域３２のみを加算すれば良い。さらに一般的にするためには、粗調に対応する瞳位置の加算数を２より大きく、瞳の分割数より小さくすればよい。
【００２９】
一方で、微調時にはローカルミニマムに陥る可能性は低いので、ピント精度を向上させるためにピント位置に対するコントラスト評価が急峻になるように（＝物理的には被写界深度が浅い像を得ることと対応する）、加算すべき瞳位置を決定する。一例としては、加算する領域を多く設定すれば良い。例えば図２（ｃ）において、領域３１から領域３５のすべてを加算すれば良い。このように設定することでピント精度を向上させることが可能となる。
【００３０】
別の方法としては、ピントへの感度を向上させるために、射出瞳の中心を含まないように設定しても良い（＝いわゆる輪体瞳となる）。図２（ｃ）において、領域３１と領域３５を加算すれば良い。このように設定することでピント精度を向上させることが可能となる。
【００３１】
さらに別の方法としては、記録時のコントラストが最適となるように、記録（＝現像）画像のＦナンバーと一致するように加算すべき瞳位置を決定する。例えば図２（ｃ）において、やや絞った像を現像する場合においては領域３２から領域３４を加算すれば良い。このように設定することで収差の影響を排除して（収差がある場合には通過する瞳位置によって最良となるピント位置が変化する）ピント精度を向上させることが可能となる。
【００３２】
さらにステップＳ３からステップＳ１１のループで粗密スキャンを行うことで高速化が可能となる。前述した様にローカルミニマムを避けるために粗調においてはピント位置に対するコントラスト評価が緩慢になるように加算すべき瞳位置の調整を行う。このような操作を行わずに大域的な最適解を得ようとすると非常に多くのサンプリング点が必要となる。すなわちピントへの感度が高い評価値を用いて、非常に細かいピッチで多くの点でピント評価値を得る必要がある。一方で、粗密スキャンという方法をとると、粗調時には粗く大まかなピークを探索して、微調時には粗調で求めたピーク近傍で細かくサンプリングを行う。この動作を行うことで、より少ないサンプリング点で大域的な最適解に到達することが出来る。このように、一般的なブロックマッチングなどでは良く知られているように、コントラストによるピント評価においても粗密スキャンを行うことで高速化を図ることが出来る。
【００３３】
以上説明した様にステップＳ４は加算すべき瞳を制御しており、本実施形態における像加算制御手段として動作する。
【００３４】
ステップＳ５からステップＳ９はループを形成しており、評価位置（図６を用いて後述する画像の再構成位置に対応）を予め与えられた初期値から適当なステップずらしながら予め与えられた終了値まで計算を行う。前述の初期値は粗調／微調で異なるように設定することができ、ステップＳ５では粗調時は粗く広く設定がなされ、微調時は細かく狭く設定がなされる。
【００３５】
ステップＳ６では像シフト手段を動作させて結果を得る。像シフト手段の動作の詳細は図３（ｂ）を用いて後述する。ステップＳ７では像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図４（ａ）を用いて後述する。
【００３６】
ステップＳ８ではコントラスト評価手段を動作させて結果を得る。コントラスト評価手段の動作の詳細は図４（ｂ）を用いて後述する。
【００３７】
ステップＳ１０ではステップＳ８で得られた最後の結果（ステップＳ８はステップＳ５からステップＳ９のループ内なのでピント位置を変化させながら複数の評価値が得られる）を基に、ピント位置を決定する。すなわちコントラストが最も高くなる位置を決定し、ピント最良の位置とする。粗調では大まかなピント位置を決定して、次のループのＳ５で設定する初期値、終了値等を設定する。微調ではここで得られた結果が最終画像のピント位置となる。
【００３８】
ステップＳ１２で一連の動作を終了する。結果として、撮像素子６の読み出しはステップＳ２で１回行われるのみで、コントラスト評価値を含むピント評価値を得ることが可能である。
【００３９】
図３（ｂ）を用いて像シフト手段（像シフト処理）の動作の詳細を説明する。ステップＳ２１は像シフト手段の動作開始を示している。
【００４０】
ステップＳ２２からステップＳ２６はループを形成している。ステップＳ２２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置に応じた計算がなされる。図６を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【００４１】
ステップＳ２３ではステップＳ２４からのデータをもとに、評価位置に対応する各瞳領域での像シフト量を計算する。ステップＳ２４では、メモリ８に記憶されている各画素とＭＬＡとの対応関係、すなわち各画素がどの瞳領域の光線を受光しているかが分かる情報を読み出す。
【００４２】
ステップＳ２５ではステップＳ２３の情報をもとに同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。実際の動作としては、メモリ８に記憶されている撮像素子６からの出力データから像生成手段（像生成処理）により像生成のために加算対象の画素を選択する際に、選択するアドレスをシフトさせる。あるいはメモリ８上で評価位置に対応する並びに画素を並び替える。同じ入射角の光線を得ている画素は例えば図２の２５ａと２５ｂが該当する。このような画素がＭＬＡを構成するマイクロレンズの数だけ存在している。像シフト処理は、後に図６を用いて図解する。
【００４３】
ステップＳ２７において、呼び出し元のステップＳ６に戻る。
【００４４】
図４（ａ）を用いて像生成手段の動作の詳細を説明する。ステップＳ３１は像生成手段の動作開始を示している。
【００４５】
ステップＳ３２では、ステップＳ３５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数量分あれば良く、データの階調は元のデータの階調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ2２５）あればデータの桁あふれを考慮する必要が無い。
【００４６】
ステップＳ３３からステップＳ３７はループを形成している。ステップＳ３３ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図４に示した例では、元の撮像素子の画素数÷２５（瞳分割数）がマイクロレンズの数となる。
【００４７】
ステップＳ３４からステップＳ３７はループを形成している。ステップＳ３４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束が存在する。
【００４８】
ステップＳ３５では加算を行う領域か否かの判断がなされる。図３（ａ）で説明した様にステップＳ４の像加算制御手段によって、加算すべき瞳が指示されている。加算すべき瞳に該当するときはステップＳ３６に進み加算される。その他の場合はステップＳ３７に進む。シフト量が画素の整数倍でない場合は、加算ステップＳ３６において、適切に内分されながら加算される。重なっている面積に応じて適切に加算すればよい。像生成手段は、後に図６を用いて図解する。
【００４９】
ステップＳ３９において、呼び出し元のステップＳ７に戻る。
【００５０】
図４（ｂ）を用いてコントラスト評価手段の動作の詳細を説明する。ステップＳ４１はコントラスト評価手段の動作開始を示している。
【００５１】
ステップＳ４２では、コントラスト評価を行う評価点の数と、評価枠の大きさを設定する。評価点数は多くなると画面全体を覆うことが可能となるが評価に時間がかかるという問題がある。ユーザーの設定などにより適切に設定する。一方評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであってもピントを合わせることが可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。これらの問題を解決できるように評価枠の大きさを適切に設定する。
【００５２】
ステップＳ４３では適切なフィルタリングを行う。適切なフィルタリングとしては、粗調時にはより低周波に着目したフィルタリングを行い、微調時には粗調時に比べて高周波に着目したフィルタリングを行うとよい。そのようにすることでローカルミニマムを避けつつピント精度を向上することが可能となる。
【００５３】
ステップＳ４４からステップＳ５２はループを形成している。ステップＳ４４では、ステップＳ４２で決定された評価数に対応した評価値を得るように繰り返し演算を行う。
【００５４】
ステップＳ４５からステップＳ４７はループを形成している。ステップＳ４５では、ステップＳ４２で決定された評価枠の大きさに応じた画素数の範囲で一次コントラスト演算を行う。一次コントラスト演算はステップＳ４６にあるようにΣ｜Ｓi −Ｓi-1｜で計算すればよい。ここで、Ｓiはｉ番目の像生成手段から出力された輝度を示している。このようにすることで隣接画素間の輝度差を積分することができる。ただしこのステップの説明においては、説明を明瞭にするために画像が１次元的に配置されているような式を示した。２次元の画像においては、縦横両方向の輝度差を積分しても良いし、片方の輝度のみ積分しても良い。
【００５５】
ステップＳ４８からステップＳ５０はループを形成している。ステップＳ４９では、ステップＳ４２で決定された評価枠の大きさに応じた画素数の範囲で二次コントラスト演算を行う。二次コントラスト演算はステップＳ４９にあるようにΣ（Ｓi−Ｓi-1）2で計算すればよい。このステップの説明においても、説明を明瞭にするために画像が１次元的に配置されているような式を示した。
【００５６】
図５にピント位置を変更した時のＳiの変化を模式的に示した。図５は、横軸が各像面において生成された画像の画素（すなわち像生成処理によって加算後の画素）をある一方向（縦、横、斜めなどいずれでもよい）に並べたものであり、縦軸が各画素の輝度値である。図５においては真ん中の図が最も良いピント状態にあり、上の図および下の図はピントがぼけていることを示している。また図５中に図示したようにピント位置を変化させると、輝度の変化値が大きくなる個所（＝コントラストが高い個所、図５では真ん中の図）が現れその前後ではコントラストが低くなる。ただし、コントラストが小さくなった場合でも隣接画素の輝度差の積分（＝一次コントラスト）はあまり大きく変化しない。図５ではＳi-3からＳi+3の一次コントラストはほぼＳi-3とＳi+3の差になりピント位置に対して大きくは変化しない。一方で二次コントラストはピント位置に応じて大きく変化する。
【００５７】
そこでステップＳ５１では、二次コントラストを一次コントラストの二乗で割ることでコントラスト評価値とした。このようにすることで輝度に対して正規化されるとともに、ピント位置に応じた被写体のコントラスト評価値を得ることができる。
【００５８】
本実施形態では上記のような方法でコントラスト評価値を得たが、ピント変動にともなうコントラスト評価値で有れば他の計算方法も活用できる。例えば異なる通過帯域を持つ帯域通過フィルタを用意しておき、その出力の比を用いる方法などが考えられる。
【００５９】
ステップＳ５３において、呼び出し元のステップＳ８に戻る。
【００６０】
次に図６を用いて像シフトおよび像生成を模式的に示し、像の再構成によるコントラスト計算の有用性について述べる。図６は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図６（ｂ）は実際に撮像素子６が存在して画像を取得した面を、図６（ａ）は図６（ｂ）よりも物体側の再構成面（再構成面１とする）を、図６（ｃ）は図６（ｂ）よりも物体側から遠い側の再構成面（再構成面２とする）をそれぞれ示している。
【００６１】
図６（ｂ）において、Ｘ1,i、Ｘ2,i、Ｘ3,i、Ｘ4,i、Ｘ5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。また、図６においても説明を明瞭にするためにデータを１次元的な広がりしかもたないものとして記述している。物理的な位置との関係においては、Ｘ1,iは図２（ｃ）の２１領域から得られるデータを、Ｘ2,iは図２（ｃ）の２２領域から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。
【００６２】
取得面での画像を生成するためには、図６（ｂ）にあるように、マイクロレンズＸiに入射したデータを加算すればよい。具体的には、Ｓi＝Ｘ1,i＋Ｘ2,i＋Ｘ3,i＋Ｘ4,i＋Ｘ5,iでＸiに入射した光の角度方向の積分値を得ることができる。これにより通常のカメラと同様の像が生成される。
【００６３】
粗調時には加算する瞳を制限すれば良い。図６は中央寄りの３つの領域に限定した例を示した。具体的には、Ｓi＝Ｘ2,i＋Ｘ3,i＋Ｘ4,iでXiに入射した光束とする。このようにすることで、物理的に絞り径を小さくしたのと同様に被写界深度の深い像を得ることが出来る。微調時はすべてを加算する方法（Ｓi＝Ｘ1,i＋Ｘ2,i＋Ｘ3,i＋Ｘ4,i＋Ｘ5,i）、輪体瞳とする方法（Ｓi＝Ｘ1,i＋Ｘ5,i）、記録と同じ領域とする方法等が考えられる。図６は微調時にすべてを加算する例を示した。
【００６４】
次に再構成面１での像の生成方法を考える。図２で説明したように、本実施形態の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはＸ1,iのように瞳領域の添え字が１のものは図６右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズＸiに入射した光束は、取得面においては、Ｘi-2からＸi+2に分散して入射していることになる。より具体的には、Ｘ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散している。Ｘiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与えることができる。その後図６（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、Ｓi＝Ｘ1,i-2＋Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1＋Ｘ5,i+2で再構成面１において、Ｘiに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られた。
【００６５】
粗調時には図６（ｂ）と同様に加算する瞳を制限すれば良い。具体的には、Ｓi＝Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1で再構成面１においてＸiに入射した光束とする。微調時はすべてを加算する方法（Ｓi＝Ｘ1,i-2＋Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1＋Ｘ5,i+2）、中心を除外した輪体瞳とする方法（Ｓi＝Ｘ1,i-2＋Ｘ5,i+2）、記録（記録画像生成時）と同じ領域とする方法等が考えられる。
【００６６】
ここで、再構成面１において、Ｘiに輝点があったとすると、取得面においてはＸ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びＸiに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。
【００６７】
また、図６（ｃ）から分かるように、再構成面２においても再構成面１と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。
【００６８】
以上のように、取得面にしても、再構成面１、２にしても、所定の像面の画像信号を得るためには、撮像素子上の各画素を所定の像面に応じて組み合わせを異ならせて加算し、画像信号を生成すればよい。
【００６９】
図７を用いて、本実施形態に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示した図である。図７（ａ）は図２で説明した光学系と対応しており、撮影光学系３の結像面近傍にＭＬＡ２０を配置した例である。図７（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図７（ｃ）は撮影光学系３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。
【００７０】
図７において、６は撮像素子を、２０はＭＬＡを、３１から３５は図２で用いた瞳領域を、５１は物体平面を、５１ａ，５１ｂは物体上の適当な点を、５２は撮影光学系の瞳平面を、６１、６２、７１，７２，７３，８１，８２，８３，８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図７（ｂ）および図７（ｃ）に示した６ａは仮想的な撮像素子を、２０ａは仮想的なＭＬＡを示している。これらは、図７（ａ）との対応関係を明確にするために参考に示した。また、物体上の点５１ａから出て瞳平面上の領域３１および３３を通過する光束を実線で、物体上の点５１ｂから出て瞳平面上の領域３１および３３を通過する光束を破線で図示した。
【００７１】
図７（ａ）の例では、図２でも説明したように、撮影光学系３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とＭＬＡ２０が共役の関係にある。このため物体上の点５１ａから出た光束はマイクロレンズ６１に、５１ｂを出た光束はマイクロレンズ６２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。
【００７２】
図７（ｂ）の例では、マイクロレンズ２０で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７１に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７２に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７２に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００７３】
図７（ｃ）の例では、マイクロレンズ２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８２に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８１に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図７（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおせば、図７（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００７４】
図７ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適切なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００７５】
以上に説明したように、本実施形態によると、撮像素子において異なる瞳領域を通過した光束の情報をもとに、位相差ＡＦとコントラストＡＦを同時に実現することで高速かつピント精度の高いＡＦを行うことを可能にした撮像装置を提供することが出来る。
【００７６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
0005968081.tif 000002
【図２】
0005968081.tif 000003
【図３】
0005968081.tif 000004
【図４】
0005968081.tif 000005
【図５】
0005968081.tif 000006
【図６】
0005968081.tif 000007
【図７】
0005968081.tif 000008