(57)【要約】【課題】オートフォーカス動作を高速にかつ良好な精度で行う。【解決手段】まず、焦点範囲において閾値よりも大きい第１の間隔をあけて第１の焦点距離を順次決定する。そして第１の焦点距離の各々について、対応する位置にフォーカスレンズを駆動させて撮像された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。さらに撮像装置は、この合焦評価の結果に基づき１つの画像信号を選択する。次に、焦点範囲において、閾値よりも小さい第２の間隔をあけて第２の焦点距離を順次決定する。そして第２の焦点距離の各々について、選択した１つの画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。【選択図】図５
2014029429.tif 000002
【特許請求の範囲】
【請求項１】
フォーカスレンズを含む撮像光学系と、
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置であって、
前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、
前記第１の評価手段による合焦評価の結果に基づき、１つの画像信号を選択する選択手段と、
前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記選択手段により選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有する
ことを特徴とする撮像装置。
【請求項２】
前記第１の評価手段による合焦評価の結果に基づき、前記被写体に合焦する焦点距離を推定する推定手段をさらに有し、
前記選択手段は、前記推定手段により推定された前記被写体に合焦する焦点距離に対応する位置に最も近い位置に前記フォーカスレンズがある際に出力された画像信号を選択する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の評価手段による合焦評価の結果に基づき、前記被写体に合焦する焦点距離を推定する推定手段をさらに有し、
前記選択手段は、前記推定手段により推定された前記被写体に合焦する焦点距離に対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号を選択する
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
フォーカスレンズを含む撮像光学系と、
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置であって、
前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、前記撮像手段により出力された１つの画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、
前記第１の評価手段による合焦評価の結果に基づき、前記被写体に合焦する焦点距離に対応する位置を推定する推定手段と、
前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記推定手段により推定された焦点距離に対応する位置に前記フォーカスレンズを駆動させて前記撮像手段により出力された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有する
ことを特徴とする撮像装置。
【請求項５】
前記推定手段は、前記第１の焦点距離の各々について得られた合焦評価の結果の焦点距離に応じた挙動から、前記被写体に合焦する焦点距離に対応する位置を推定することを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
フォーカスレンズを含む撮像光学系と、
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置の制御方法であって、
前記撮像装置の第１の評価手段が、前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、対応する位置に前記フォーカスレンズを駆動させ、前記撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価工程と、
前記撮像装置の選択手段が、前記第１の評価工程における合焦評価の結果に基づき、１つの画像信号を選択する選択工程と、
前記撮像装置の第２の評価手段が、前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記選択工程において選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項７】
フォーカスレンズを含む撮像光学系と、
被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した前記撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、
焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、
前記撮像手段により出力された画像信号から、前記被写体のうち、前記決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、前記再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで前記再構成画像を生成する生成手段と、を有する撮像装置の制御方法であって、
前記撮像装置の第１の評価手段が、前記焦点範囲において閾値よりも大きい第１の間隔をあけて前記決定手段により順次決定された第１の焦点距離の各々について、前記撮像手段により出力された１つの画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価工程と、
前記撮像装置の推定手段が、前記第１の評価工程における合焦評価の結果に基づき、前記被写体に合焦する焦点距離に対応する位置を推定する推定工程と、
前記撮像装置の第２の評価手段が、前記焦点範囲において、前記閾値よりも小さい第２の間隔をあけて前記決定手段により順次決定された第２の焦点距離の各々について、前記推定工程において推定された焦点距離に対応する位置に前記フォーカスレンズを駆動させて前記撮像手段により出力された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータに、請求項６または７に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、制御方法、及びプログラムに関し、特に撮影後に任意の焦点距離に合焦した画像を生成する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、撮影対象である被写体に応じた焦点調整を行なって撮影が行われる。近年の一般的な撮像装置は、このような焦点調整を自動で行う、所謂オートフォーカス（ＡＦ）機能を有する。ＡＦに用いられる焦点検出方式には、例えば位相差検出方式とコントラスト検出方式とがあり、前者は主にデジタル一眼レフカメラ、後者は主にコンパクトデジタルカメラに用いられている。
【０００３】
コントラスト検出方式は、得られる撮像信号の信号強度等により合焦状態を検出するため、異なる光軸について得られた画像間の像のずれを検出する位相差検出方式に比べ、合焦する焦点距離（合焦位置）を厳密に検出することができる。一方で、コントラスト検出方式を用いた合焦位置の検出では、焦点距離を異ならせながら撮像した複数の画像について合焦評価を行う必要がある。このため、コントラスト検出方式を用いた合焦位置の検出には複数の画像についての評価時間及びフォーカスレンズの駆動時間が必要であり、位相差検出方式に比べて検出に時間を要する。
【０００４】
これに対し特許文献１には、フォーカスレンズを離散的に駆動しながら合焦評価を行って合焦位置の当たりをつけ、当たりをつけた範囲で細かくフォーカスレンズを駆動しながら合焦評価を行い、合焦位置の検出を高速化する撮像装置が開示されている。
【０００５】
一方、近年では撮影後に任意の焦点距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を並べ替えて瞳分割数分の画素値を加算することで、任意の焦点距離に合焦した画像の各画素は生成される。
【０００６】
特許文献２には、撮影後に任意の焦点距離に合焦した画像を生成可能な撮像装置において、１回の撮像で得られた出力信号から複数の焦点距離に合焦した焦点検出用の画像を生成することで、撮影対象の被写体に合焦する焦点距離を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−０６６４９４号公報
【特許文献２】特開２００９−２５８６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述の特許文献に開示された方法を用いたとしても、高速に、かつ良好な精度で合焦位置の検出を行えないことがあった。
【０００９】
特許文献１のように、フォーカスレンズの駆動を２段階の刻み幅で行う方法では、フォーカスレンズの駆動方向と合焦位置との関係によっては、図８のようにフォーカスレンズの駆動が長時間になり、合焦位置の検出に時間を要する可能性があった。
【００１０】
また特許文献２ような撮像装置における合焦位置を検出する方法は、焦点距離に応じて１回の撮像で得られた出力信号の画素の並べ替えを行い、並べ替え後の出力信号から焦点検出用の画像を生成する。このとき１回の撮像で得られた出力信号を用いて任意の焦点距離に合焦する焦点検出用の画像を生成するため、実際にその焦点距離にフォーカスレンズを駆動して撮影して得られた画像を用いる場合と合焦評価の評価値が異なり得られる合焦位置の精度が低かった。
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、オートフォーカス動作を高速にかつ良好な精度で行う撮像装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
前述の目的を達成するために、本発明の撮像装置は、以下の構成を備える。
フォーカスレンズを含む撮像光学系と、被写体を撮像し、得られた画像信号を出力する撮像手段であって、該画像信号の画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する撮像手段と、焦点範囲のうち、合焦評価を行う焦点距離を決定する決定手段と、撮像手段により出力された画像信号から、被写体のうち、決定手段により決定された焦点距離の被写体に合焦する再構成画像を生成する生成手段であって、再構成画像の各画素に対応する該画像信号の画素の画素値を合算することで再構成画像を生成する生成手段と、を有する撮像装置であって、焦点範囲において閾値よりも大きい第１の間隔をあけて決定手段により順次決定された第１の焦点距離の各々について、対応する位置にフォーカスレンズを駆動させ、撮像手段により出力された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第１の評価手段と、第１の評価手段による合焦評価の結果に基づき、１つの画像信号を選択する選択手段と、焦点範囲において、閾値よりも小さい第２の間隔をあけて決定手段により順次決定された第２の焦点距離の各々について、選択手段により選択された画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う第２の評価手段と、を有することを特徴とする。
【発明の効果】
【００１３】
このような構成により本発明によれば、オートフォーカス動作を高速にかつ良好な精度で行うことが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るカメラシステムの機能構成を示したブロック図
【図２】本発明の実施形態に係るマイクロレンズアレイ１０８と撮像素子との対応関係を説明するための図
【図３】本発明の実施形態に係るデジタルカメラ１００で実行される、ＡＦ処理を例示したフローチャート
【図４】本発明の実施形態に係る再構成画像の生成方法を説明するための図
【図５】本発明の実施形態に係る第１段階及び第２段階の探索動作を説明するための図
【図６】本発明の実施形態に係るデジタルカメラ１００で実行される各種処理を例示したフローチャート
【図７】本発明の実施形態を適用可能な光学系の構成例を示した図
【図８】レンズ駆動を伴う、従来のコントラスト検出型のＡＦ検出動作を説明するための図
【発明を実施するための形態】
【００１５】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後に任意の焦点距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の焦点距離に合焦した画像を生成して焦点検出動作を行うことが可能な任意の機器に適用可能である。
【００１６】
また、本明細書において、以下の用語を定義して説明する。
【００１７】
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
【００１８】
・「再構成画像」
ＬＦデータから生成される、任意の焦点距離に合焦した画像。具体的には生成する焦点距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。ＬＦデータの撮影時の合焦面、即ち撮像素子上（撮像面）の画素配置が図４のようである場合、再構成画像を生成する再構成面が決定されると、該再構成面における各画素は、撮像面における各画素に入射する光束の入射方向を考慮して決定される。具体的には、再構成面における画素配置は再構成面に撮像素子が存在した場合に入射する光束を入射方向に基づいて決定し、該画素配置において１つのマイクロレンズに対応する画素の画素値を足し合わせることで、再構成画像の１画素を生成することができる。
【００１９】
《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。
【００２０】
〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、ＲＯＭに格納されている後述のオートフォーカス（ＡＦ）処理の動作プログラムを読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した合焦位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。
【００２１】
撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子の露光及び読み出しを行い、得られたＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。
【００２２】
また本実施形態のデジタルカメラ１００では、撮像素子１０９１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には４×４＝１６個の画素が対応付けられており、撮像光学系２０２の瞳分割数は１６となる。
【００２３】
図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向４つの画素２１乃至２４がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における瞳領域３１乃至３４と共役関係になるように設計される。図２（ｃ）の例では、画素２１は瞳領域３１、画素２２は瞳領域３２、画素２３は瞳領域３３、そして画素２４は瞳領域３４に共役関係にある。
【００２４】
画像処理部１０３は、撮像部１０２から出力されたＬＦデータの画像信号に対して、所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、補間演算処理等を行い、記録用の画像（ＬＦデータ）を生成する。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、予め定められた符号化方式に応じて、画像、動画、音声等のデータの圧縮処理を実行する。各種画像処理は、専用回路等により実現されてよい。
【００２５】
メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。
【００２６】
表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。
【００２７】
操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。
【００２８】
〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より合焦位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。
【００２９】
撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。
【００３０】
《ＡＦ処理》
このような構成をもつ本実施形態のデジタルカメラ１００の、被写体に合焦する合焦位置を探索して被写体に合焦するＡＦ処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本ＡＦ処理は、例えばデジタルカメラ１００が撮影モードで起動中にレリーズボタンの半押し操作がなされたことを、カメラ制御部１０１が操作検出部１０６からの制御信号により検出された際に開始されるものとして説明する。
【００３１】
Ｓ３０１で、カメラ制御部１０１は、第１段階の合焦位置の探索動作について、合焦評価の評価対象である対象焦点距離を決定する。
【００３２】
本実施形態ではカメラ制御部１０１は、以下の２段階の探索動作を行って被写体に合焦する合焦位置を探索する。
【００３３】
・第１段階の探索動作
対象焦点距離に対応する位置にフォーカスレンズを駆動して得られたＬＦデータから、該対象焦点距離の被写体に合焦する再構成画像（図４の撮像面の画素配置で生成される再構成画像）を生成して合焦評価を行う。対象焦点距離の決定間隔は、例えば図５（ａ）に示されるように、焦点範囲に対して離散的に決定される。即ち、第１段階の探索動作は、対象焦点距離を設定する間隔を粗くして行う粗調探索であり、離散的なコントラスト評価値の分布の挙動から、合焦位置を模索する。本実施形態では第１段階の探索動作における対象焦点距離の決定間隔は、例えば１０〜２５ＦΔ（Ｆ：Ｆナンバー、Δ：２０μｍ程度）であるものとする。
【００３４】
・第２段階の探索動作
フォーカスレンズは駆動せず、対象焦点距離に対応する再構成面について再構成画像を生成して合焦評価を行う。第２段階の探索動作における対象焦点距離の決定間隔は、第１段階の探索動作に比べて細かい微調探索である。本実施形態では第２段階の探索動作における対象焦点距離の決定間隔は、粗調動作時よりも小さい１〜５ＦΔであるものとする。なお、本発明の実施はこれに限られるものではなく、第２段階の探索動作における対象焦点距離の決定間隔は、第１段階の探索動作に比べて小さければよい。また第１段階及び第２段階の探索動作における決定間隔は固定間隔である必要はなく、例えば第１段階では所定の閾値より大きい間隔、また第２段階では該閾値より小さい間隔で決定されればよい。
【００３５】
Ｓ３０２で、カメラ制御部１０１は、Ｓ３０１において決定した対象焦点距離に対応する位置にフォーカスレンズを駆動させる。具体的にはカメラ制御部１０１は、電気接点１０７を介してレンズ制御部２０１に対象焦点距離の情報を伝送する制御信号を伝送する。そしてレンズ制御部２０１は、対象焦点距離の情報に基づいてフォーカスレンズの駆動位置を決定し、レンズ駆動部２０３にフォーカスレンズを駆動させる。
【００３６】
Ｓ３０３で、カメラ制御部１０１は、撮像部１０２に被写体を撮像させ、対象焦点距離に係るＬＦデータを取得する。具体的にはカメラ制御部１０１は、所定の露出設定で撮像部１０２が出力したＬＦデータに係るアナログ画像信号に対して、画像処理部１０３にＡ／Ｄ変換処理を適用させ、ＬＦデータを取得する。
【００３７】
Ｓ３０４で、カメラ制御部１０１は、再構成画像生成処理を実行し、Ｓ３０３において取得したＬＦデータから、対象焦点距離に対応する撮像面についての再構成画像を画像処理部１０３に生成させる。なお、本ステップで生成される再構成画像は、対象焦点距離が撮像面に対応しているため、撮像素子から出力されたＬＦデータの画素配置を変更することなく再構成画像を生成することができる。
【００３８】
〈再構成画像生成処理〉
ここで、本実施形態の再構成画像生成処理について、図６（ａ）のフローチャートを用いて詳細を説明する。
【００３９】
Ｓ６０１で、画像処理部１０３は、生成する再構成画像の各画素の画素値を格納する領域をメモリ１０４に確保し、該領域のデータを初期化（０で埋める）する。このとき、データ領域の容量はマイクロレンズアレイ１０８を構成するマイクロレンズの数に対応した容量であればよい。なお、再構成画像の各画素の画素値のデータ諧調は、ＬＦデータにおける各画素のデータ諧調と瞳分割数の積を格納できるだあることが好ましい。例えばＬＦデータの１画素のデータが８ｂｉｔで、射出瞳が１６分割されている場合、１２ｂｉｔ（＝８ｂｉｔ＋ｌｏｇ２１６）あればデータの桁あふれを考慮する必要がなくなる。
【００４０】
そして画像処理部１０３は、Ｓ６０２乃至Ｓ６０６のループ処理を、マイクロレンズアレイ１０８を構成するマイクロレンズの数と同じ回数実行することで、合焦評価に用いる再構成画像を生成する。なお、マイクロレンズアレイ１０８のマイクロレンズには例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応するマイクロレンズが、処理対象となる。
【００４１】
Ｓ６０２で、画像処理部１０３は、Ｓ６０２乃至Ｓ６０６のループ処理の実行回数が、マイクロレンズの数と同じ回数実行されたか否かを判断する。画像処理部１０３は、マイクロレンズの数と同じ回数実行されていない場合は処理をＳ６０３に移し、実行されている場合は本再構成画像生成処理を完了する。なお、マイクロレンズの数は、予めＲＯＭに格納される情報であってもよいし、撮像素子１０９の画素数を瞳分割数で割ることで取得してもよい。
【００４２】
また画像処理部１０３は、Ｓ６０３乃至Ｓ６０５のループ処理を撮像光学系２０２の射出瞳の瞳分割数と同じ回数実行することで、１つのマイクロレンズに対応付けられた位置に存在するＬＦデータの画素について画素値を合算する。なお、１つのマイクロレンズアレイに対応付けられた位置に存在するＬＦデータの画素については、例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応する整理番号を有するＬＦデータの画素が、処理対象となる。
【００４３】
Ｓ６０３で、画像処理部１０３は、Ｓ６０３乃至Ｓ６０５のループ処理の実行回数が、瞳分割数と同じ回数実行されたか否かを判断する。実行されていない場合は処理をＳ６０４に移し、実行されている場合はループ処理を抜け、処理をＳ６０２に戻す。
【００４４】
Ｓ６０４で、画像処理部１０３は、処理対象のＬＦデータの画素の画素値を、対応する再構成画像の画素についてのメモリ１０４の格納領域の値に加算する。また、例えば設定された対象焦点距離により、ＬＦデータの画素位置のシフト量が整数値ではない場合は、本ステップにおいて複数の画素値が内分されて、対応する再構成画像の画素についての格納領域の値に加算すればよい。
【００４５】
このように本再構成画像生成処理を実行することにより、画像処理部１０３は対象焦点距離に対応した再構成画像を生成することができる。カメラ制御部１０１は、再構成画像生成処理が完了した後、ＡＦ処理をＳ３０５に移す。
【００４６】
Ｓ３０５で、カメラ制御部１０１は、生成した再構成画像の合焦度合いを示すコントラスト評価値を取得するコントラスト評価処理を画像処理部１０３に実行させる（第１の評価）。
【００４７】
〈コントラスト評価処理〉
ここで、本実施形態のコントラスト評価処理について、図６（ｂ）のフローチャートを用いて詳細を説明する。
【００４８】
Ｓ６１１で、画像処理部１０３は、コントラスト評価を行う評価点の数及び評価枠の大きさを設定する。なお、評価点数や評価枠の大きさは、例えばユーザにより予め設定されていればよい。評価点数が多くなると、より再構成画像の広範囲を評価対象としてカバーすることが可能になるが、コントラスト評価に要する時間は長くなる。また評価枠の大きさが大きくなると、局所的にはパターンを有していないテクスチャであってもコントラスト評価を行うことが可能になるが、距離の異なる被写体の像を同時に評価する所謂遠近競合の発生確立が増加する。本実施形態では、このような問題を考慮した評価点数や評価枠の大きさが設定されているものとする。
【００４９】
Ｓ６１２で、画像処理部１０３は、再構成画像の画素値についてフィルタ処理を適用する。該フィルタ処理では、粗調探索時にはより低周波成分に着目したフィルタリングを行い、微調探索時には粗調探索時に比べて高周波に着目したフィルタリングを行うとよい。このようにすることで、ローカルミニマムを避けつつ、最終的にコントラスト評価値から判断される被写体に合焦する焦点距離の合焦精度を向上することができる。
【００５０】
画像処理部１０３は、Ｓ６１３乃至Ｓ６１６のループ処理を、評価点数分実行することで、評価点数分の評価枠の各々についてコントラスト評価値を得ることができる。なお、本ループ処理では画像処理部１０３は、評価を行う評価枠を、予め設定された評価順に従って選択して以下の演算を行う。
【００５１】
Ｓ６１３で、画像処理部１０３は、Ｓ６１３乃至Ｓ６１６のループ処理の実行回数が、評価点数に達したか否かを判断する。画像処理部１０３は、ループ処理の実行回数が評価点数に達したと判断した場合は処理をＳ６１７に移し、達していないと判断した場合は処理をＳ６１４に移す。
【００５２】
Ｓ６１４で、画像処理部１０３は、評価枠内の再構成画像の全ての水平ラインについて、画素値の最大値をピークホールドする。
【００５３】
Ｓ６１５で、画像処理部１０３は、全ての水平ラインについてピークホールドした最大値を合算することで、コントラスト評価値を算出する。
【００５４】
Ｓ６１７で、画像処理部１０３は、各評価枠について算出したコントラスト評価値をカメラ制御部１０１に出力して、本コントラスト評価処理を完了する。
【００５５】
本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値値の合計値をコントラスト評価値として出力するものとして説明するが、対象焦点距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。
【００５６】
このようにして合焦評価を行う再構成画像についてのコントラスト評価値を画像処理部１０３に出力させた後、カメラ制御部１０１は該評価値を対象焦点距離の情報に関連付けてＲＡＭに蓄積し、ＡＦ処理をＳ３０６に移す。
【００５７】
Ｓ３０６で、カメラ制御部１０１は、第１段階の探索動作が完了したか否かを判断する。具体的にはカメラ制御部１０１は、対象焦点距離の決定間隔で焦点範囲の全体についてフォーカスレンズを離散的に駆動し、各対象焦点距離について合焦評価を行ったか否かを判断する。カメラ制御部１０１は、第１段階の探索動作が完了したと判断した場合は処理をＳ３０７に移す。またカメラ制御部１０１は、第１段階の探索動作が完了していないと判断した場合は処理をＳ３０１に戻し、第１段階の探索動作に係る新たな対象焦点距離を決定させる。なお、本実施形態では第１段階の探索動作を行う探索範囲を焦点範囲の全体としたが、例えば設定されている撮影モード等、好適な合焦位置が特定の範囲に限定されている場合等は、第１段階の探索範囲が焦点範囲の全体である必要はない。
【００５８】
Ｓ３０７で、カメラ制御部１０１は、撮影範囲の被写体に合焦する合焦位置を推定する合焦位置推定処理を実行する。
【００５９】
〈合焦位置推定処理〉
ここで、本実施形態の合焦位置推定処理について、図６（ｃ）のフローチャートを用いて詳細を説明する。
【００６０】
Ｓ６２１で、カメラ制御部１０１は、第１段階の探索動作で設定した対象焦点距離のそれぞれについて得られたコントラスト評価値の情報を参照し、評価値の大きさが上位３位までの焦点距離を特定する。例えばコントラスト評価値の挙動が図５（ａ）のような挙動になった場合、カメラ制御部１０１は上位３位までの評価値ＥＶＭａｘ、ＥＶＭａｘ２、ＥＶＭａｘ３と、そのときの焦点距離の情報を特定する。
【００６１】
Ｓ６２２で、カメラ制御部１０１は、図５（ｂ）に示されるようなＥＶＭａｘの点とＥＶＭａｘ３の点とを通る直線Ｌ１の式を取得する。
【００６２】
Ｓ６２３で、カメラ制御部１０１は、図５（ｂ）に示されるようなＥＶＭａｘ２を通り、直線Ｌ１と正負が反対の傾きを有する直線Ｌ２の式を取得する。
【００６３】
Ｓ６２４で、カメラ制御部１０１は、直線Ｌ１と直線Ｌ２の式から、その交点の焦点距離を推定合焦位置として取得する。なお、焦点距離に対するコントラスト評価値の分布に応じた合焦位置の推定については、本ステップの方式に限られるものではない。例えば、取得した４点の焦点距離におけるコントラスト評価値をもとに二次関数近似を行い、そのピーク位置を推定合焦位置としてもよい。
【００６４】
このように合焦位置推定処理の実行により推定合焦位置が得られた後、カメラ制御部１０１はＡＦ処理をＳ３０８に移す。
【００６５】
Ｓ３０８で、カメラ制御部１０１は、第１段階の探索動作で得られたＬＦデータのうち、第２段階の探索動作に用いるＬＦデータを特定する。即ち、カメラ制御部１０１は、フォーカスレンズを駆動せずに、対象焦点距離に対応した再構成画像を生成する際に用いるＬＦデータをいずれの焦点距離で得られたＬＦデータにするかを判断する。
【００６６】
上述したように、ＬＦデータを撮影した際の焦点距離とは異なる対象焦点距離について生成された再構成画像のコントラスト評価値は、フォーカスレンズが対象焦点距離にある場合に得られたＬＦデータから撮像面について生成された再構成画像と異なりうる。即ち、フォーカスレンズを駆動せずに生成された再構成画像についてのコントラスト評価は、駆動した場合に得られる評価に比べて精度が悪化する可能性がある。これは、ＬＦデータを撮影した際の焦点距離と、再構成画像に対応する対象焦点距離との差が大きくなるほど顕著に現れうる。
【００６７】
このため本実施形態では、第２段階の探索動作におけるコントラスト評価値の精度劣化を低減するために、カメラ制御部１０１は推定合焦位置に最も近い焦点距離で得られたＬＦデータ（第２段階用ＬＦデータ）を、第２段階の探索動作に用いる。例えば図５（ｂ）のように推定合焦位置が得られた場合、本実施形態によれば第２段階用ＬＦデータとして撮像面でのコントラスト評価値がＥＶＭａｘを示したＬＦデータが用いられる。しかしながら、本発明の実施はこれに限らず、推定合焦位置と対応する位置にフォーカスレンズを駆動させ、撮影により得られたＬＦデータを第２段階用ＬＦデータとして用いてもよい。このようにすることで、第２段階の探索動作におけるコントラスト評価値の精度劣化をより低減することができる。
【００６８】
Ｓ３０９で、カメラ制御部１０１は、第２段階の合焦位置の探索動作について、合焦評価の評価対象である対象焦点距離を決定する。本ステップで決定される対象焦点距離は、推定合焦位置付近を集中的に探索するように、例えば推定合焦位置を中心として定められた所定の範囲（第２段階の探索範囲）内で順次決定されればよい。なお、対象焦点距離は、推定合焦位置を開始位置として、コントラスト評価値の挙動を確認しながら、焦点距離をマクロ側あるいは望遠側に順次決定されてもよい。また対象焦点距離は、第２段階の探索動作に用いるＬＦデータと対応する焦点距離から、推定合焦位置の方向に順次決定されてもよいことは容易に理解されよう。
【００６９】
Ｓ３１０で、カメラ制御部１０１は、再構成画像生成処理を実行し、第２段階用ＬＦデータから、対象焦点距離に対応する再構成面についての再構成画像を画像処理部１０３に生成させる。
【００７０】
Ｓ３１１で、カメラ制御部１０１は、コントラスト評価処理を画像処理部１０３に実行させ、再構成画像についてのコントラスト評価値を取得する（第２の評価）。カメラ制御部１０１は該評価値を対象焦点距離の情報に関連付けてＲＡＭに蓄積する。
【００７１】
Ｓ３１２で、カメラ制御部１０１は、第２段階の探索範囲の全てについて再構成画像の合焦評価が完了したか否かを判断する。カメラ制御部１０１は、第２段階の探索範囲の全てについて合焦評価が完了したと判断した場合は処理を処理をＳ３１３に移し、完了していないと判断した場合は処理をＳ３０９に戻す。
【００７２】
Ｓ３１３で、カメラ制御部１０１は、第２段階の探索範囲について得られた各コントラスト評価値から、被写体に合焦する合焦位置を決定する。合焦位置の決定方法は、例えば図５（ｃ）に示されるような５点の評価値について合焦位置推定処理と同様に直線Ｌ１’及び直線Ｌ２’を決定し、直線Ｌ１’と直線Ｌ２’の式から、その交点の焦点距離を合焦位置として決定する。
【００７３】
Ｓ３１４で、カメラ制御部１０１は、Ｓ３１３において特定した合焦位置の情報を電気接点１０７を介してレンズ制御部２０１に伝送し、フォーカスレンズを対応する位置に駆動させ、処理を完了する。
【００７４】
このように第１段階及び第２段階の探索動作を行うことで、レンズ駆動に要する時間を短縮し、好適なコントラスト評価値に基づいた、被写体についての合焦位置を決定することができる。
【００７５】
次に図７を用いて本実施形態に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光束が撮像素子１０９上に結像する状態を模式的に示した図である。図７（ａ）は図２で説明した光学系と対応しており、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置した例である。図７（ｂ）は撮像光学系２０２の結像面よりも物体寄りにマイクロレンズアレイ１０８を配置した例である。図７（ｃ）は撮像光学系２０２の結像面よりも物体から遠い側にマイクロレンズアレイ１０８を配置した例である。
【００７６】
図７において、図２と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ，５１ｂは物体平面上の任意の点である。５２は撮像光学系２０２の瞳平面を、６１，６２，７１，７２，７３，８１，８２，８３，８４はマイクロレンズアレイ１０８上の特定のマイクロレンズをそれぞれ示している。
【００７７】
また、図７（ｂ）および（ｃ）においては、図７（ａ）との対応関係を明確にするために、仮想的な撮像素子１０９ａ及び仮想的なマイクロレンズアレイ１０８ａを示した。また、物体平面上の点５１ａから瞳平面５２の瞳領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の瞳領域３１および３３を通過する光束を破線で図示した。
【００７８】
図７（ａ）の例では、図３でも説明したように、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置することで、撮像素子１０９と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０８が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、瞳領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。
【００７９】
図７（ｂ）の例では、マイクロレンズアレイ１０８によって撮像光学系２０２からの光束を結像させ、その結像面に撮像素子１０９を設けている。このように配置することで、物体平面５１と撮像素子１０９とは共役の関係になる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の瞳領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する瞳領域に応じて撮像素子１０９の撮像面における異なる位置に結像する。これらを、仮想的な撮像素子１０９ａの撮像面における位置に並べなおせば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
【００８０】
図７（ｃ）の例では、マイクロレンズアレイ１０８で撮像光学系２０２からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子１０９の撮像面を配置する。このように配置することで、物体平面５１と撮像素子１０９は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。
【００８１】
図７（ｂ）の場合と同様に、撮像素子１０９で得られた画素の信号を、仮想的な撮像素子１０９ａの撮像面における位置に並び替えれば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
【００８２】
なお、図７ではマイクロレンズアレイ１０８（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をマイクロレンズアレイ１０８の代わりに用いる構成であってもよい。
【００８３】
以上説明したように、本実施形態の撮像装置は、オートフォーカス動作を高速にかつ良好な精度で行うことができる。具体的には撮像装置は、まず、焦点範囲において閾値よりも大きい第１の間隔をあけて第１の焦点距離を順次決定する。そして第１の焦点距離の各々について、対応する位置にフォーカスレンズを駆動させて撮像された画像信号から生成された、該第１の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。さらに撮像装置は、この合焦評価の結果に基づき１つの画像信号を選択する。次に、焦点範囲において、閾値よりも小さい第２の間隔をあけて第２の焦点距離を順次決定する。そして第２の焦点距離の各々について、選択した１つの画像信号から生成された、該第２の焦点距離の被写体に合焦する再構成画像の合焦評価を行う。
【００８４】
[変形例]
上述した実施形態では、第１段階の探索動作において実際にフォーカスレンズを駆動しながらの撮像により得られたＬＦデータから再構成画像を生成して推定合焦位置を推定する方法について説明したが、本発明の実施はこれに限られるものではない。第１段階の探索動作は推定合焦位置を推定して第２段階用のＬＦデータを特定できれば、第２段階の探索動作における再構成画像の合焦評価を好適な精度で実行することができる。即ち、本発明において第１段階の探索動作で用いる再構成画像の再現度が低いことによる合焦位置の精度低下は問題とはなり難い。
【００８５】
つまり本発明は、第１段階の探索動作について第２段階と同様にフォーカスレンズを駆動させず、１つのＬＦデータから粗調探索として決定された対象焦点距離について生成された再構成画像を生成し、合焦評価を行ってもよい。そして、その評価の結果得られた推定合焦位置に対応した位置に改めてフォーカスレンズを駆動して撮像を行い、第２段階用ＬＦデータを取得する構成であってもよい。このようにすることで、第１段階の探索動作におけるフォーカスレンズの駆動動作に要する時間を短縮し、さらに推定合焦位置について得られたＬＦデータを用いて第２段階の探索動作を行うことができる。つまり、本変形例により、良好な精度のオートフォーカス動作をより高速に実現することができる。
【００８６】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014029429.tif 000003
【図２】
2014029429.tif 000004
【図３】
2014029429.tif 000005
【図４】
2014029429.tif 000006
【図５】
2014029429.tif 000007
【図６】
2014029429.tif 000008
【図７】
2014029429.tif 000009
【図８】
2014029429.tif 000010