(57)【要約】【課題】高速なＡＦを行うことを可能にした撮像装置を提供する。【解決手段】撮影光学系を介して入射される被写体の光学像を光電変換して電気信号を出力する撮像素子と、撮像素子上の各画素に入射する被写体の光学像の光束を撮影光学系の特定の瞳領域からの光束のみに制限する瞳分割部と、瞳分割部により制限された特定の瞳領域のみを通過した光束により得られる電気信号に基づいて、焦点位置の演算範囲を設定する測距枠決定部と、測距枠決定部が設定する演算範囲において特定の瞳領域とは異なる複数の瞳領域を通過した光束により得られる電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト部と、像シフト部によりシフトされた電気信号を加算して像を生成する像生成部と、像生成部で得られた像の焦点評価を行う焦点評価部とを備える。【選択図】  図３
2014149460.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系を介して入射される被写体の光学像を光電変換して電気信号を出力する撮像素子と、
前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影光学系の特定の瞳領域からの光束のみに制限する瞳分割手段と、
前記瞳分割手段により制限された特定の瞳領域のみを通過した光束により得られる前記電気信号に基づいて、焦点位置の演算範囲を設定する測距枠決定手段と、
前記測距枠決定手段が設定する前記演算範囲において前記特定の瞳領域とは異なる複数の瞳領域を通過した光束により得られる前記電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段と、
前記像シフト手段によりシフトされた前記電気信号を加算して像を生成する像生成手段と、
前記像生成手段で得られた像の焦点評価を行う焦点評価手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記測距枠決定手段は、前記特定の瞳領域を前記撮影光学系の瞳領域の中央部に設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記測距枠決定手段は、複数の前記特定の瞳領域の重みづけ加算された重心が前記撮影光学系の瞳領域の中心またはその近傍となるように前記特定の瞳領域を選択することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記測距枠決定手段は、前記演算範囲の信号が所定の値より小さい場合は、選択する瞳領域を広くすることを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮影光学系を介して入射される被写体の光学像を光電変換して電気信号を出力する撮像素子を備える撮像装置を制御する方法であって、
前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影光学系の特定の瞳領域からの光束のみに制限する瞳分割工程と、
前記瞳分割工程により制限された特定の瞳領域のみを通過した光束により得られる前記電気信号に基づいて、焦点位置の演算範囲を設定する測距枠決定工程と、
前記測距枠決定工程において設定された前記演算範囲において前記特定の瞳領域とは異なる複数の瞳領域を通過した光束により得られる前記電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト工程と、
前記像シフト工程によりシフトされた前記電気信号を加算して像を生成する像生成工程と、
前記像生成工程で得られた像の焦点評価を行う焦点評価工程と、
を備えることを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置におけるオートフォーカス技術に関するものである。
【背景技術】
【０００２】
従来より、デジタルカメラ等においてはピント調整のためのオートフォーカス装置を搭載しているが、デジタル一眼レフカメラではいわゆる位相差ＡＦ（オートフォーカス）を、デジタルコンパクトカメラではコントラストＡＦを用いることが一般的である。これらのＡＦの特徴として、コントラストＡＦは厳密なピント合わせが可能であるが、像の取得の際にレンズ駆動を必要とするため、ＡＦ処理が位相差ＡＦに比べて遅いという欠点があった。
【０００３】
ところで、近年は「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた撮像装置（Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａ）が提案されている。この撮像装置では、従来の撮影光学系に加えてマイクロレンズアレイを有することで、撮像素子から得られるデータが、受光面における光の強度分布に加えて光線の角度情報をも含む。この情報を基に任意の視点や方向の画像を再構成できるようになっている。
【０００４】
これらのＡＦ技術の中で、顔検出を行ってから測距枠を決定することで、高速にユーザーの望む画像を取得できる技術が提案されている。例えば、特許文献１では、異なる瞳領域を通過した光束を個別に受光可能な撮像素子において、像の再構成を生成する際にＡＦ測距枠を複数設けてそれぞれの枠内の評価値を得る。これにより、複数の被写体に対してピントの合った画像を連続的に出力することができる。特許文献２では、同様に異なる瞳領域を通過した光束を個別に受光可能な撮像素子において、ユーザーがＡＦ測距枠の設定を行ってから像の再構成によるピント検出をすることができる方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５８６１０号公報
【特許文献２】特開２０１１−１１３１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、ピント合わせの速度が遅くなる場合がある。すなわち特許文献１では、複数のＡＦ測距枠を設定することで所望の被写体にピント合わせをすることが出来るが、多数の像を再構成により取得する必要があるので計算負荷が大きく、ピント合わせの速度が遅くなってしまう場合がある。特許文献２では、ユーザーがあらかじめＡＦ測距枠を設定するのでリアルタイムのＡＦが出来ず、ピント調節に時間がかかる場合がある。
【０００７】
本発明は上述した課題に鑑みてなされたものであり、その目的は、高速なＡＦを行うことを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
本発明に係わる撮像装置は、撮影光学系を介して入射される被写体の光学像を光電変換して電気信号を出力する撮像素子と、前記撮像素子上の各画素に入射する前記被写体の光学像の光束を前記撮影光学系の特定の瞳領域からの光束のみに制限する瞳分割手段と、前記瞳分割手段により制限された特定の瞳領域のみを通過した光束により得られる前記電気信号に基づいて、焦点位置の演算範囲を設定する測距枠決定手段と、前記測距枠決定手段が設定する前記演算範囲において前記特定の瞳領域とは異なる複数の瞳領域を通過した光束により得られる前記電気信号に対して通過した瞳領域ごとに異なるシフトを与える像シフト手段と、前記像シフト手段によりシフトされた前記電気信号を加算して像を生成する像生成手段と、前記像生成手段で得られた像の焦点評価を行う焦点評価手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、高速なＡＦを行うことを可能にした撮像装置を提供することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図。
【図２】本発明の一実施形態における撮像装置の光学系の模式図。
【図３】一実施形態の撮像装置の動作を示すフローチャート。
【図４】瞳選択方法を示す模式図。
【図５】シフト量と瞳選択位置の関係を示した模式図。
【図６】瞳選択位置と測距枠の位置関係を示した模式図。
【図７】測距枠の設定を示す模式図。
【図８】本発明に適用可能な光学系の模式図。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。
【００１２】
図１において、カメラ１およびレンズ２は、撮像光学系、画像処理系、記録再生系、制御系を有する。撮像光学系は、撮影レンズ３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ部８、表示部９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。
【００１３】
撮像系は、物体からの光を、撮影レンズ３を介して撮像素子６の撮像面に結像させる光学処理系である。撮像素子６は、撮像光学系により結像された光学像を電気信号に変換する。撮影素子６の表面にはマイクロレンズが格子状に配置されており、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは本実施形態において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図３を用いて後述する。後述するように、撮影素子６からピント評価量／適当な露光量が得られるので、この信号に基づいて撮影レンズ３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像される。
【００１４】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本実施形態の要部である、像シフト部、像生成部、コントラスト評価部、相関計算部等を含めることもできる。なお、本実施形態ではこれらの要素はカメラシステム制御回路５内に配置される場合を想定して記載する。
【００１５】
メモリ部８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ部８は、記録部へ出力を行うとともに、表示部９に出力する像を生成し、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００１６】
カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。また、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出部１０が検出した信号を受けて、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらに表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００１７】
制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを制御する。
【００１８】
図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態では、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影レンズ３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。
【００１９】
図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。
【００２０】
図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影レンズ３の結像面近傍になるように配置されている。図２（ａ）は撮像装置の横からと、正面からＭＬＡを見た状態を示しており、撮像装置正面から見るとＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。なお、実際の大きさについては図２（ｂ）を用いて説明する。
【００２１】
図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡ２０を構成する各マイクロレンズは円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。このとき、画像として出力する際には５×５の画素を加算して（角度情報を積分した形で）出力時の一画素を形成する。この時の画素を本実施形態中では出力一画素と呼ぶ。
【００２２】
図２（ｃ）は撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１、２２、２３、２４、２５は撮像素子６の画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影レンズ３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。また、図２（ｃ）においては説明を分かりやすくするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。
【００２３】
図２（ｃ）の画素２１、２２、２３、２４、２５は図２（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影レンズ３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影レンズ３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。
【００２４】
本実施形態に示した撮影光学系を利用して、撮像素子６の信号からピント評価値（焦点評価値）を得る処理について図３を用いて説明する。
【００２５】
図３は、本実施形態の撮像装置においてピント評価値を得るためのフローチャートである。図３（ａ）はピント評価値を得る全体の動作を、図３（ｂ）は測距枠決定部の動作を、図３（ｃ）は像シフト部の動作を、図３（ｄ）は像生成部の動作を、図３（ｅ）はピント評価部の動作を、図３（ｆ）は顔検出部の動作をそれぞれ示している。
【００２６】
図３（ａ）から各ステップ順に説明する。ステップＳ１はピント評価値取得動作の開始を示している。例えば、図１の操作検出部１０が撮影者からの特定の動作を検出した時（例えばレリーズボタンの押下）などが該当する。
【００２７】
ステップＳ２は撮像素子６を所定の時間露光して読み出す（Ａ／Ｄ変換する）ことにより画像データを取得することに対応する。この時の露光時間と露光量から撮影において適切な露出量を計算することもできる。ただし本実施形態の要部ではないので説明は省略する。
【００２８】
ステップＳ３では、測距枠決定部を動作させて結果を得る。測距枠決定部の動作の詳細は図３（ｂ）を用いて後述する。
【００２９】
ステップＳ４からステップＳ７はループを形成している。ステップＳ４ではＡＦ動作を行う上で必要な再構成位置での再構成像を複数回取得するためのループを形成している。この時、粗スキャンの後に密スキャン動作をすることで像の再構成の演算量を最小限にすることができ、より高速なＡＦを行うことができる。本実施形態では粗くピント調整を行って大まかなピント位置を検出する動作を粗スキャン、粗スキャンで検出したピント位置付近で精密にピント検出を行う動作を密スキャンと呼ぶことにする。また、再構成像の計算をステップＳ３で定められた測距枠内（演算範囲内）でのみ行うことで、演算負荷を最小限にすることが出来る。
【００３０】
ステップＳ５では像シフト部を動作させて結果を得る。像シフト部の動作の詳細は図３（ｃ）を用いて後述する。ステップＳ６では像生成部を動作させて結果を得る。像生成部の動作の詳細は図３（ｅ）を用いて後述する。ステップＳ７で一連の動作を終了する。
【００３１】
ステップＳ８ではステップＳ４からステップＳ７で得られた再構成画像を基にピント評価部を動作させて結果を得る。ここでのピント評価はコントラストＡＦ方式を用いても良いし、位相差ＡＦ方式を用いても良い。ピント評価部の動作の詳細は図３（ｅ）を用いて後述する。
【００３２】
ステップＳ９で一連のピント評価の動作を終了する。結果として、撮像素子６の読み出しはステップＳ２で１回行われるのみで、ピント評価値を得ることが可能である。
【００３３】
次に図３（ｂ）を用いて測距枠決定部の動作の詳細を説明する。ステップＳ１１は測距枠決定部の動作開始を示している。測距枠とは、一般的に画面中央部や主要被写体を含むように構成されるＡＦを行うエリアを差す。例えば図７中に四角で示したように構成される。本実施形態では、この測距枠設定をＬｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａに適した形で最小限の演算量で行い、測距枠内のみで再構成画像の生成を行いながらピント検出を行うことで高速なＡＦを実現する。
【００３４】
ステップＳ１２では選択する瞳位置の設定を行う。瞳位置の設定方法に関して図４を用いて説明する。図４はマイクロレンズ２０と撮像素子６を図２中の＋Ｚ方向から見た時の瞳位置の選択方法を示した模式図である。図４（ａ）は瞳を５×５＝２５分割した時の瞳選択方法の模式図、図４（ｂ−１）から図４（ｄ）は瞳を４×４＝１６分割した時の瞳選択方法の模式図である。
【００３５】
瞳位置設定では、画角内から主要被写体の抽出を行うのでパンフォーカスに近い画像を生成することが望ましい。つまり、図４（ａ）のような分割がなされている場合、各マイクロレンズ下で任意の一画素を選択して出力一画素の構成を行う。一画素の選択の際は、周辺部の一画素（例えば、（１，１）座標）を選択すると、全画素加算の際の再構成画像の瞳中心位置とズレが生じるので図４（ａ）のように瞳の中心位置である（３，３）座標の一画素を選択すると良い。
【００３６】
ここで瞳位置の中心とは光軸と瞳平面が交差する位置を指す。また前述の中心位置とは、瞳位置の中心を含むような瞳領域のことを指している。マイクロレンズ下が偶数分割になっており中心位置に対応する領域が無い場合には、図４（ｂ−１）、（ｂ−２）のように中心位置に近い一画素を選択すると良い。また、図４（ｃ）のように中心付近の二画素を選択して、０．５×（３，３）＋０．５×（２，２）などとして重みづけすることで重心位置が中心またはその近傍になるようにしても良い。ここで近傍というのは、後程行うＡＦ動作（図３（ａ）のステップＳ４からステップＳ７に対応）において、測距枠の大きさに対して像シフト部でのシフト量が支配的ではない範囲を指す。
【００３７】
図５を用いて瞳の中心近傍の選択方法の一例を説明する。瞳分割数をｎ（図５中では４分割）、ＦナンバーをＦ、最も瞳中心近傍（図５中では瞳領域３）を通った光線と光軸のなす角をφ、最も瞳周辺領域（図５中では瞳領域４）を通った光線と光軸のなす角をθ、撮像面とリフォーカス面までの距離をｙＦδ（δ：許容錯乱円の大きさ）、その時に設定された測距枠の大きさをＦＲとする。すると、θ、φの大きさは、
ｔａｎφ＝１／２ｎＦ，ｔａｎθ＝（ｎ−１）／２ｎＦ
と表すことができる。但し、ｎが奇数の場合にはφ＝０となる。この時、リフォーカス面でのセンサシフト量Ｘｃ、Ｘｎは、
Ｘｃ＝ｙδ／２ｎ，Ｘｎ＝（ｎ−１）×ｙδ／２ｎ
と表すことができる。上式の通り、瞳周辺領域の受光画素は瞳中心近傍の受光画素よりも（ｎ−１）倍シフト量が大きくなる。この時、シフト量が測距枠の大きさＦＲの１０％以下の移動に抑えられる程度の範囲を近傍と呼ぶと、
Ｘｃ≦０．１ＦＲ
を満たす瞳領域を近傍とすれば良い。
【００３８】
さらに、被写体の輝度が足りない場合には図４（ｄ）のように（２，２）＋（２，３）＋（３，２）＋（３，３）などとして複数画素加算を行うことで出力一画素を形成しても良い。
【００３９】
瞳の中心位置やその近傍または出力一画素中の重心が瞳中心となるように画素を選択することで、測距枠決定部での検出にボケがあった場合にも、その後の像の再構成において像の移動（シフト）を防ぐことができる。つまり、測距枠として設定した範囲から主被写体が外れてしまうことを防止することが可能となる。図６のような画像がステップＳ２で得られていた場合、瞳中心の（３，３）と瞳端位置（５，１）を選択した場合の測距枠の設定位置を図６に示した。合焦位置付近では通過瞳領域による測距枠の設定範囲にズレが生じないが、被写体のボケが大きくなるにしたがって実際の被写体位置と測距枠の位置ズレが大きくなる。このようにピントのボケによって測距枠が被写体から外れてしまうことを防ぐために、選択する瞳重心を中央部に設定する必要がある。
【００４０】
ステップＳ１３では、ステップＳ１２で設定された瞳位置での画素情報をマイクロレンズごとに足し合わせることで出力一画素を構成し、パンフォーカス画像を生成する。ステップＳ１４では測距枠設定が「顔優先」であるか否かを判断する。顔優先でなければステップＳ１７に進み、顔優先であればステップＳ１５に進む。
【００４１】
ステップＳ１５ではステップＳ１３で得られた画像データから被写体の一例として人の顔（顔領域）があるか否かを検知する顔検出処理を行う。顔検出処理の動作の詳細は図３（ｆ）を用いて後述する。
【００４２】
ステップＳ１６では、ステップＳ１５で得られた被写体の顔情報から、主被写体の一例として主顔領域を選択する。顔が一つもなければ測距枠＝中央とし、顔が一つの場合には唯一検出された顔を主顔として主顔が検出されたエリアを測距枠として設定する。顔の検出が複数の場合には、位置が画面中央に近いほど、サイズが大きいほど主顔としての優先度を高くするなどとして主顔検知を行い図７（ａ）のように測距枠を設定する。本実施形態では、位置や大きさで主顔検知を行う方法を述べたが、信頼度など他の情報を考慮して主顔を検知しても良い。
【００４３】
ステップＳ１７ではステップＳ１５で主要被写体が無いと判断されたので図７（ｂ）のように測距枠を中央エリアに設定する。ステップＳ１８で全てのＡＦ測距枠の設定を終了する。ステップＳ１９で呼び出し元のステップＳ３へ戻る。
【００４４】
なお、本実施形態においては顔優先でかつ存在しない場合は中央部に測距枠を設定する場合について説明したが、その他の顔検出を伴う測距枠設定方法も適用可能である。本実施形態の要部はよりパンフォーカスに近い像から顔検出を行う処理にあるためである。
【００４５】
次に図３（ｆ）を用いて顔検出の動作の詳細を説明する。ステップＳ１１１は顔検出の動作開始を示している。
【００４６】
ステップＳ１１２ではステップＳ１３で得られた画像データに水平バンドパスフィルタを作用させる。ステップＳ１１３ではステップＳ１１２で処理された画像データに垂直方向バンドパスフィルタを作用させる。ステップＳ１１２、Ｓ１１３の動作により画像データからエッジ成分が抽出される。
【００４７】
ステップＳ１１４では、ステップＳ１１３で得られたエッジ成分に対してパターンマッチングを行い、顔の特徴（目、鼻、口等）を抽出する。
【００４８】
ステップＳ１１５では、ステップＳ１１４で抽出された目の候補群の中から、あらかじめ設定された条件（例えば２つの目の距離や傾き等）を満たす一対の候補を、目と判断する目検出処理を行う。そして、目を形成しない候補を取り除いて目の候補群を絞り込む。
【００４９】
ステップＳ１１６では、ステップＳ１１５で絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口等）を対応付け、また予め設定した非開条件フィルタを通すことで、顔を検出する。
【００５０】
ステップＳ１１７では、ステップＳ１１６で検出した顔領域について、被写体情報の一例としての顔情報（顔の位置座標、サイズ、検出個数、信頼性係数等）を算出し、処理を終了する。ステップＳ１１８で一連の顔検出の動作を終了し、呼び出し元のステップＳ１５に戻る。
【００５１】
なお、ここでは画像データの特徴量を抽出して顔情報を得る方法を例に挙げたが、画像データから顔検出をすることが出来る方法であれば置き換え可能である。
【００５２】
次に図３（ｃ）を用いて像シフト部の動作の詳細を説明する。
【００５３】
ステップＳ２１は像シフト部の動作開始を示している。ステップＳ２２からステップＳ２７はループを形成している。ステップＳ２２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置に応じた計算がなされる。図８を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを適切に反映させるためのループである。
【００５４】
ステップＳ２３ではステップＳ２４からのデータをもとに、評価位置に対応する各瞳領域での像シフト量を計算する。ステップＳ２４とステップＳ２５には、各画素とＭＬＡとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
【００５５】
ステップＳ２６ではステップＳ２３の情報をもとに同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。同じ入射角の光線を得ている画素は例えば図２の２５ａと２５ｂが該当する。このような画素がＭＬＡを構成するマイクロレンズの数だけ存在している。
【００５６】
ステップＳ２７で一連の動作を終了する。ステップＳ２８において、呼び出し元のステップＳ６に戻る。
【００５７】
次に図３（ｄ）を用いて像生成部の動作の詳細を説明する。ステップＳ３１は像生成部の動作開始を示している。
【００５８】
ステップＳ３２では、ステップＳ３５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数分あれば良く、データの階調は元のデータの階調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ2２５）あればデータの桁あふれを考慮する必要が無い。
【００５９】
ステップＳ３３からステップＳ３７はループを形成している。ステップＳ３３ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図２に示した例では、元の撮像素子の画素数÷２５（瞳分割数）がマイクロレンズの数となる。
【００６０】
ステップＳ３４からステップＳ３７はループを形成している。ステップＳ３４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束が存在する。
【００６１】
ステップＳ３５では加算を行う領域か否かの判断がなされる。図３（ｃ）で説明した様にステップＳ５の像シフト部の処理によって、加算すべき瞳が指示されている。加算すべき瞳に該当するときはステップＳ３６に進み加算される。その他の場合はステップＳ３７に進む。シフト量が画素の整数倍でない場合は、加算ステップＳ３６において、内分されながら加算される。具体的には、重なっている面積に応じて加算すればよい。ステップＳ３９において、呼び出し元のステップＳ６に戻る。
【００６２】
図３（ｅ）を用いてピント評価部の動作の詳細を説明する。ステップＳ４１はピント評価部の動作開始を示している。
【００６３】
ステップＳ４２からステップＳ４４はループを形成している。ステップＳ４２ではステップＳ４で得られた再構成画像の枚数分ループ計算が実行される。ステップＳ４３ではピントを評価する評価値を計算する。この時のピント評価方法としては物体のコントラスト（明暗差）を評価する方法であっても良いし、異なる瞳を通過した２像の一致度でピントを検出する方法でも良い。ピント変動に伴う評価値であれば他の計算方法も活用することができる。ステップＳ４４で各再構成画像のピント評価値を得る一連の動作を終了する。
【００６４】
ステップＳ４５で合焦位置の検出を行う。この時、コントラストを評価していれば、最大値をとるレンズ位置を検出すれば良いし、２像の一致度を評価していれば完全に一致したレンズ位置を合焦位置とすれば良い。ステップＳ４６で一連の動作を終了し、呼び出し元のステップＳ８に戻る。
【００６５】
図８を用いて本実施形態に適用可能な別の光学系の例について説明する。図８は物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示した図である。図８（ａ）は図２で説明した光学系と対応しており、撮影レンズ３の結像面近傍にＭＬＡ２０を配置した例である。図８（ｂ）は撮影レンズ３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図８（ｃ）は撮影レンズ３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。
【００６６】
図８において、６は撮像素子を、２０はＭＬＡを、３１から３５は図２で用いた瞳領域を、５１は物体平面を、５１ａ，５１ｂは物体上の点を、５２は撮影光学系の瞳平面を示している。また、６１，６２，７１，７２，７３，８１，８２，８３，８４はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図８（ｂ）および（ｃ）に示した６ａは仮想的な撮像素子を、２０ａは仮想的なＭＬＡを示している。これらは、図８（ａ）との対応関係を明確にするために参考に示した。また、物体上の点５１ａから出て瞳平面上の領域３１および３３を通過する光束を実線で、物体上の点５１ｂから出て瞳平面上の領域３１および３３を通過する光束を破線で図示した。
【００６７】
図８（ａ）の例では、図２でも説明したように、撮影レンズ３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とＭＬＡ２０が共役の関係にある。このため物体上の点５１ａから出た光束はマイクロレンズ６１に、５１ｂを出た光束はマイクロレンズ６２に到達し、領域３１から３５それぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。
【００６８】
図８（ｂ）の例では、マイクロレンズ２０で撮影レンズ３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７１に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７２に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ７２に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００６９】
図８（ｃ）の例では、マイクロレンズ２０で撮影レンズ３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面５１と撮像素子６は共役の関係にある。物体上の点５１ａから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８２に到達し、物体上の点５１ａから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８１に到達する。物体上の点５１ｂから出て瞳平面上の領域３１を通過した光束はマイクロレンズ８４に到達し、物体上の点５１ｂから出て瞳平面上の領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図８（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。
【００７０】
図８ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、所定のパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。
【００７１】
以上説明したように、本実施形態では、撮像素子において異なる瞳領域を通過した光束の情報をもとに、パンフォーカス画像から測距枠を設定し、その枠内のみの再構成画像を生成してピント評価を行う。これにより、高速にＡＦを行うことを可能にした撮像装置を提供することが出来る。
【００７２】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【図１】
2014149460.tif 000003
【図２】
2014149460.tif 000004
【図３】
2014149460.tif 000005
【図５】
2014149460.tif 000006
【図８】
2014149460.tif 000007
【図４】
2014149460.tif 000008
【図６】
2014149460.tif 000009
【図７】
2014149460.tif 000010