(57)【特許請求の範囲】
【請求項１】
撮像手段によって被写体を撮像し得られる画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、
前記画像信号から生成される再構成画像の焦点面を決定する決定手段と、
前記決定手段により決定された焦点面における光束の位置関係に応じて前記画像信号を合成することにより、前記画像信号から生成可能な再構成画像の上限画素数よりも少ない画素数を有する、該焦点面の第１の再構成画像を生成する生成手段と、
前記生成手段により生成された前記第１の再構成画像について合焦評価を行う評価手段と、を有し、
前記生成手段は、前記第１の再構成画像の各画素の生成において、前記画像信号から生成可能な上限画素数を有する前記決定された焦点面の第２の再構成画像のうちの、該生成する画素に対応する複数の画素のそれぞれにつき、該画素に対応する前記画像信号を構成する画素の一部を合成に用いることを特徴とする焦点検出装置。
【請求項２】
焦点面は、合焦する被写体距離を基準に定まるものであり、
前記決定手段は、前記評価手段による評価結果に応じて、合焦評価が行われた焦点面の被写体距離と次に合焦評価が行われる焦点面の被写体距離との間隔を変更することを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記生成手段は、前記決定手段により焦点面の決定に用いられた被写体距離の間隔が広いほど、前記第１の再構成画像の生成に用いる前記画像信号を構成する画素の数を少なくすることを特徴とする請求項２に記載の焦点検出装置。
【請求項４】
前記画像信号を構成する画素は、複数色のカラーフィルタのいずれかに対応する色信号であり、
前記生成手段は、前記第１の再構成画像の各画素の生成において、前記複数色のカラーフィルタのそれぞれに対応する前記画像信号を構成する画素を少なくとも１つずつ合成に用いることを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
【請求項５】
前記生成手段は、前記第１の再構成画像の各画素の生成において、該生成する画素に対応する前記第２の再構成画像の複数の画素のうちの少なくとも２つの画素について、各々異なる瞳領域を通過した光束に対応する、前記画像信号を構成する画素を合成に用いることを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
【請求項６】
前記生成手段は、前記第１の再構成画像の１つの画素について瞳分割数の前記画像信号を構成する画素を合成に用いることを特徴とする請求項１乃至５のいずれか１項に記載の焦点検出装置。
【請求項７】
撮像手段と、
請求項１乃至６のいずれか１項に記載の焦点検出装置と、
前記焦点検出装置の合焦評価に基づいて焦点調節を行う焦点調節手段と、を有することを特徴とする撮像装置。
【請求項８】
撮像手段によって被写体を撮像し得られた画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得工程と、
前記画像信号から生成される再構成画像の焦点面を決定する決定工程と、
前記決定工程において決定された焦点面における光束の位置関係に応じて前記画像信号を合成することにより、前記画像信号から生成可能な再構成画像の上限画素数よりも少ない画素数を有する、該焦点面の第１の再構成画像を生成する生成工程と、
前記生成工程において生成された前記第１の再構成画像について合焦評価を行う評価工程と、を有し、
前記生成工程において、前記第１の再構成画像の各画素の生成において、前記画像信号から生成可能な上限画素数を有する前記決定された焦点面の第２の再構成画像のうちの、該生成する画素に対応する複数の画素のそれぞれにつき、該画素に対応する前記画像信号を構成する画素の一部が合成に用いられることを特徴とする焦点検出装置の制御方法。
【請求項９】
コンピュータを、請求項１乃至６のいずれか１項に記載の焦点検出装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体に関し、特に撮影後に任意の被写体距離に合焦した画像を生成する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、撮影対象である被写体に応じて、焦点調整を行なって撮影が行われる。近年の一般的な撮像装置は、このような焦点調整を自動で行う、所謂オートフォーカス（ＡＦ）機能を有する。ＡＦに用いられる焦点検出方式には、例えば位相差検出方式とコントラスト検出方式とがあり、前者は主にデジタル一眼レフカメラ、後者は主にコンパクトデジタルカメラに用いられている。
【０００３】
コントラスト検出方式は、得られる撮像信号の信号強度等により合焦状態を検出するため、異なる光軸について得られた画像間の像のずれを検出する位相差検出方式に比べ、合焦する焦点位置を厳密に検出することができる。一方で、コントラスト検出方式を用いた合焦位置の検出では、焦点位置を異ならせながら撮像した複数の画像について合焦評価を行う必要がある。このため、コントラスト検出方式を用いた合焦位置の検出には複数の画像についての評価時間及びフォーカスレンズの駆動時間が必要であり、位相差検出方式に比べて検出に時間を要する。
【０００４】
これに対し特許文献１には、コントラスト検出方式を用いた合焦位置の検出において、撮像した画像信号について読み出す画素数を低減して得られた画像信号を合焦評価に用いることで、合焦評価処理に要する時間を低減する撮像装置が開示されている。
【０００５】
一方、近年では撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置がある。このような撮像装置では、撮像素子内の複数の光電変換素子に対してマイクロレンズが割り当てられ、１つのマイクロレンズに対応付けられた光電変換素子の各々に対して、撮影光学系の異なる瞳領域を通過した光束が結像される。該撮像装置により得られた撮像素子の各画素の出力信号を並べ替えて瞳分割数分の画素値を加算することで、任意の被写体距離に合焦した画像の各画素は生成される。
【０００６】
特許文献２には、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置において、１回の撮像で得られた出力信号から複数の被写体距離に合焦した焦点検出用の画像を生成することで、撮影対象の被写体に合焦する焦点位置を検出する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１９９４７７号公報
【特許文献２】特開２００９−２５８６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献２のような撮像装置における合焦位置を検出する方法は、被写体距離に応じて１回の撮像で得られた出力信号の画素の並べ替えを行い、並べ替え後の出力信号から焦点検出用の画像を生成する。このため、１つの被写体距離に合焦する焦点検出用の画像の生成には、画素の生成や該画像についての合焦評価に時間を要するため、コントラスト検出方式を用いた合焦位置の検出に要する時間の短縮は十分ではなかった。
【０００９】
これに対し、特許文献１のように撮像素子から読み出す画素を間引きして合焦評価を行うことで、１つの焦点検出用の画像の生成及び合焦評価に要する時間を低減することが考えられる。しかしながら、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置について、焦点検出用に好適な間引き画像を生成する方法は、これまで提案されていなかった。
【００１０】
本発明は、上述の問題点に鑑みてなされたものであり、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化する焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述の目的を達成するために、本発明の焦点検出装置は、以下の構成を備える。
撮像手段によって被写体を撮像し得られた画像信号であって、画素の各々が、通過した撮像光学系の瞳領域及び入射方向の組み合わせが異なる光束に対応する画像信号を取得する取得手段と、画像信号から生成される再構成画像の焦点面を決定する決定手段と、決定手段により決定された焦点面における光束の位置関係に応じて画像信号を合成することにより、画像信号から生成可能な再構成画像の上限画素数よりも少ない画素数を有する、該焦点面の第１の再構成画像を生成する生成手段と、生成手段により生成された第１の再構成画像について合焦評価を行う評価手段と、を有し、生成手段は、第１の再構成画像の各画素の生成において、画像信号から生成可能な上限画素数を有する決定された焦点面の第２の再構成画像のうちの、該生成する画素に対応する複数の画素のそれぞれにつき、該画素に対応する画像信号を構成する画素の一部を合成に用いることを特徴とする。
【発明の効果】
【００１２】
このような構成により本発明によれば、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係るカメラシステムの機能構成を示したブロック図
【図２】本発明の実施形態に係るマイクロレンズアレイ１０８と撮像素子との対応関係を説明するための図
【図３】本発明の実施形態に係るデジタルカメラ１００で実行される、ＡＦ処理を例示したフローチャート
【図４】本発明の実施形態に係るデジタルカメラ１００で実行される各種処理を例示したフローチャート
【図５】本発明の実施形態に係る再構成画像の生成方法を説明するための図
【図６】本発明の実施形態に係る間引き再構成画像の生成方法を説明するための図
【図７】本発明の実施形態を適用可能な光学系の構成例を示した図
【図８】レンズ駆動を伴う、従来のコントラスト検出型のＡＦ検出動作を説明するための図
【発明を実施するための形態】
【００１４】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、撮像装置の一例としての、撮影後に任意の被写体距離に合焦した画像を生成可能なカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、任意の被写体距離に合焦した画像を生成して焦点検出動作を行うことが可能な任意の機器に適用可能である。
【００１５】
また、本明細書において、以下の用語を定義して説明する。
・「ライトフィールド（ＬＦ：Light Field）データ」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力される画像信号。画像信号の画素の各々は、通過した撮像光学系２０２の瞳領域及び入射方向の組み合わせが異なる光束に対応した信号強度を示している。ＬＦデータは、光線空間情報とも呼ばれる。
・「再構成画像」
ＬＦデータから生成される、任意の被写体距離に合焦した画像。具体的には生成する被写体距離に対応する焦点面（再構成面）での画素配置に従ってＬＦデータの画素を並び替え、再構成画像の１画素に対応する画素の画素値を合算することで該画素の画素値を得る。通常画素値を合算する画素数は、瞳分割数になる。
【００１６】
《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。
【００１７】
〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、ＲＯＭに格納されている後述のオートフォーカス（ＡＦ）処理の動作プログラムを読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した焦点位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。
【００１８】
撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子の露光及び読み出しを行い、得られたＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。
【００１９】
また本実施形態のデジタルカメラ１００では、撮像素子１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には４×４＝１６個の画素が対応付けられており、撮像光学系２０２の瞳分割数は１６となる。
【００２０】
図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向４つの画素２１乃至２４がマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における瞳領域３１乃至３４と共役関係になるように設計される。図２（ｃ）の例では、画素２１は瞳領域３１、画素２２は瞳領域３２、画素２３は瞳領域３３、そして画素２４は瞳領域３４に共役関係にある。
【００２１】
画像処理部１０３は、撮像部１０２から出力されたＬＦデータの画像信号に対して、所定の画像処理を実行する。具体的には画像処理部１０３は、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理、補間演算処理等を行い、記録用の画像（ＬＦデータ）を生成する。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、予め定められた符号化方式に応じて、画像、動画、音声等のデータの圧縮処理を実行する。各種画像処理は、専用回路等により実現されてよい。
【００２２】
メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。
【００２３】
表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。
【００２４】
操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。
【００２５】
〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より焦点位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。
【００２６】
撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。
【００２７】
《ＡＦ処理》
このような構成をもつ本実施形態のデジタルカメラ１００のＡＦ処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、カメラ制御部１０１が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行することにより実現することができる。なお、本ＡＦ処理は、例えばデジタルカメラ１００が撮影モードで起動中にレリーズボタンの半押し操作がなされたことを、カメラ制御部１０１が操作検出部１０６からの制御信号により検出された際に開始されるものとして説明する。
【００２８】
Ｓ３０１で、カメラ制御部１０１は、撮像部１０２に被写体を撮像させ、ＬＦデータを取得する。具体的にはカメラ制御部１０１は、所定の露出設定で撮像部１０２が出力したＬＦデータに係るアナログ画像信号に対して、画像処理部１０３にＡ／Ｄ変換処理を適用させ、ＬＦデータを取得する。
【００２９】
Ｓ３０２で、カメラ制御部１０１は、合焦評価の評価対象である被写体距離を決定する評価距離決定処理を実行する。即ち、カメラ制御部１０１は、合焦評価のために生成する再構成画像（生成再構成画像）について、該生成再構成画像内で合焦する被写体の被写体距離を決定する。
【００３０】
〈評価距離決定処理〉
ここで、本実施形態の評価距離決定処理について、図４（ａ）のフローチャートを用いて詳細を説明する。
【００３１】
Ｓ４０１で、カメラ制御部１０１は、合焦評価に係る最初の被写体距離決定であるか否かを判断する。即ち、カメラ制御部１０１は、ＡＦ処理が実行された際に最初に合焦評価を行う被写体距離を決定するために本評価距離決定処理を実行したか否かを判断する。つまり、カメラ制御部１０１は、取得したＬＦデータについて合焦評価を行う初めて再構成画像の生成を行うか否かを判断する。カメラ制御部１０１は、合焦評価にかかる最初の被写体距離決定であると判断した場合は処理をＳ４０２に移し、２回目以降であると判断した場合は処理をＳ４０５に移す。
【００３２】
Ｓ４０２で、カメラ制御部１０１は、前回の撮影時に設定された被写体距離の情報が取得可能か否かを判断する。前回の撮影時に設定された被写体距離の情報は、例えばメモリ１０４内に記憶されているＬＦデータから取得されてもよいし、ＲＡＭ内に格納されていてもよい。なお、前回の撮影時に設定された被写体距離の情報は、前回のＡＦ処理の実行により決定された被写体に合焦する被写体距離であってもよい。カメラ制御部１０１は、前回の撮影時に設定された被写体距離の情報が取得可能であると判断した場合は処理をＳ４０３に移し、取得できないと判断した場合は処理をＳ４０４に移す。
【００３３】
Ｓ４０３で、カメラ制御部１０１は、前回の撮影時に設定された被写体距離に基づき、予め決められたルールに従って評価対象の被写体距離（初期値）を設定して本評価距離決定処理を完了する。
【００３４】
Ｓ４０４で、カメラ制御部１０１は、評価対象の被写体距離を撮像面の被写体距離、即ちＡＦ処理のＳ３０１で取得したＬＦデータを前回の撮影時の被写体距離（初期値）に設定して本評価距離決定処理を完了する。
【００３５】
Ｓ４０１において合焦評価に係る２回目以降の被写体距離決定であると判断した場合、カメラ制御部１０１はＳ４０５で、現在の焦点探索が、評価対象の被写体距離を変更する間隔を粗くして行う粗調探索であるか、細かくして行う微調探索であるかを判断する。本実施形態ではカメラ制御部１０１は被写体距離について、まず粗調探索で大まかなコントラスト値の変化挙動を探索し、その結果を受けて適切な合焦位置が存在すると思われる被写体距離の範囲に対して微調探索を行うことでＡＦ処理に要する処理時間を短縮する。これは、図８に示されるようなレンズ駆動を行なって被写体に合焦する焦点位置を検出する方法と同様であり、本実施形態のカメラシステムではこれをレンズ駆動なしに実現する。カメラ制御部１０１は、現在の焦点探索が粗調探索であると判断した場合は処理をＳ４０６に移し、微調探索であると判断した場合は処理をＳ４０７に移す。
【００３６】
Ｓ４０６で、カメラ制御部１０１は、現在設定されている評価対象の被写体距離に対して、探索方向に応じて粗調探索用の被写体距離の設定間隔の値を加算あるいは減算して、得られた被写体距離を評価対象の被写体距離に設定して本評価距離決定処理を完了する。なお、粗調探索用の被写体距離の設定間隔は、例えば１０〜２５ＦΔ（Ｆ：Ｆナンバー、Δ：２０μｍ）程度が好ましい。
【００３７】
Ｓ４０７で、カメラ制御部１０１は、現在設定されている評価対象の被写体距離に対して、探索方向に応じて微調探索用の被写体距離の設定間隔の値を加算あるいは減算して、得られた被写体距離を評価対象の被写体距離に設定して本評価距離決定処理を完了する。なお、微調探索用の被写体距離の設定間隔は、例えば１〜５ＦΔ程度が好ましい。
【００３８】
なお、本実施形態では粗調探索であるか微調探索であるかの判断は、例えばＲＡＭ上に現在の探索方法の情報が格納されており、カメラ制御部１０１が該情報を参照することで行うものとして説明するが、これに限られない。例えばＡＦ処理の開始時には被写体距離の設定間隔の値として粗調探索用の値が初期値で設定され、カメラ制御部１０１が微調探索に移行してもよいことを判断した場合に、該値を予め定められた微調探索用の値に変更するものであってもよい。この場合、カメラ制御部１０１は現在の焦点探索が粗調探索であるか微調探索であるかを、被写体距離の設定間隔の値が閾値以上であるか否かにより判断すればよい。
【００３９】
このようにして合焦評価の評価対象である被写体距離を決定した後、カメラ制御部１０１はＡＦ処理をＳ３０３に移す。
【００４０】
Ｓ３０３で、カメラ制御部１０１は、合焦評価を行う再構成画像の生成に用いるＬＦデータの画素を決定する画素選択処理を実行する。即ち、本ステップにおいてカメラ制御部１０１は、合焦評価を行う再構成画像の生成において使用しない画素、つまり間引く画素を決定し、それ以外の画素を再構成画像の生成に用いる画素として決定する。
【００４１】
〈画素選択処理〉
ここで、本実施形態の画素選択処理について、図４（ｂ）のフローチャートを用いて詳細を説明する。
【００４２】
Ｓ４１１で、カメラ制御部１０１は、合焦評価を行う被写体距離に対応する再構成面におけるＬＦデータの画素配置の情報を取得する。
【００４３】
例えば図５（ａ）に示されるように、マイクロレンズアレイ１０８の１つのマイクロレンズに対して、射出瞳の１乃至４の領域を通過した光束が撮像素子１０９の対応する光電変換素子に結像される場合を考える。なお、本実施形態では再構成画像から現像処理を行なってカラー画像を生成するため、マイクロレンズアレイ１０８のマイクロレンズには複数のカラーフィルタのいずれかが特定の配列に従って適用される。図５（ａ）の例では、マイクロレンズアレイ１０８のうち、１つの水平ライン上に配置されたＲあるいはＧのカラーフィルタが適用されたマイクロレンズと、撮像素子１０９の画素との関係が示されている。図では、ハッチングされた画素がＲに対応する色信号、ハッチングのない画素がＧに対応する色信号に対応している。
【００４４】
図５（ｂ）に示されるように、例えば撮像面５０１に対応する被写体距離について再構成画像が生成される場合、該再構成画像の各画素は１つのマイクロレンズを通過する光束の総和に対応する。即ち、撮像光学系２０２の射出瞳の各瞳領域（図の例では瞳領域１乃至４）を通過して１つマイクロレンズに至る光束が、該マイクロレンズに対応する画素を形成することになる。このため、撮像面５０１に対応する被写体距離の再構成画像の各画素は、各マイクロレンズに対応付けられた画素の画素値を合算することで得られる。
【００４５】
これに対し、例えば撮像面５０１よりも長い被写体距離に相当する再構成面５０２について考える。図５（ｂ）において撮像面５０１と再構成面５０２とを結ぶ線分で示されるように、再構成面５０２に撮像素子１０９があった場合の各画素に結像される光束は、入射方向に応じて撮像面で得られたＬＦデータの画素配置を変更することにより再現することができる。つまり、再構成面５０２について生成する再構成画像の各画素については、変更後の画素配置において、撮像面における再構成画像の各画素と同様の位置に存在する画素について各瞳領域を通過した光束の画素値を合算することで画素値が得られる。
【００４６】
本ステップではカメラ制御部１０１は、このように被写体距離に応じて変更される、再構成画像の生成に係るＬＦデータの画素配置の情報を取得する。
【００４７】
Ｓ４１２で、カメラ制御部１０１は、現在の焦点探索が粗調探索であるか微調探索であるかを判断する。カメラ制御部１０１は、現在の焦点探索が粗調探索であると判断した場合は処理をＳ４１３に移し、微調探索であると判断した場合は処理をＳ４１４に移す。
【００４８】
Ｓ４１３で、カメラ制御部１０１は、粗調探索における、合焦評価を行う再構成画像の生成に用いるＬＦデータの画素を決定する。本実施形態では粗調探索に要する処理時間を低減するために、粗調探索時の合焦評価を行う再構成画像について、微調探索時の再構成画像よりも少ない画素数（第１の画素数）の再構成画像を用いる。このため本ステップにおいてカメラ制御部１０１は、再構成画像の生成において使用するＬＦデータの画素を間引く処理を行う。
【００４９】
例えば図６（ａ）に示されるように、撮像面６０１のＬＦデータの画素配置について離散的な間引きを行なった場合を考える。図では、マイクロレンズアレイ１０８のマイクロレンズに対して、Ｒ及びＧの２種類のカラーフィルタが適用されており、間引き率１／ｎが１／２である例を示している。なお、図では、間引かれた画素は対応する瞳領域の数字が反転表示された黒塗りの画素である。
【００５０】
図５（ｂ）で示したような間引かれていない状態（ｎ＝１）では、撮像面４０１における再構成画像は、隣接するＲ及びＧのカラーフィルタが適用された１組のマイクロレンズについて現像後の１画素が生成される。即ち、図５（ｂ）の例では瞳分割数Ｎが４であり、カラーフィルタ数ｓが２であるから、
Ｎ×ｓ×ｎ＝４×２×１＝８
となり、ＬＦデータの８画素が、再構成画像の現像処理により得られる現像画像の１画素に対応する。つまり、Ｒのカラーフィルタが適用されたマイクロレンズに対応付けられた画素１乃至４の累計画素値を有する画素と、Ｇのカラーフィルタが適用されたマイクロレンズに対応付けられた画素１乃至４の累計画素値を有する画素により、現像画像の１画素が生成される。
【００５１】
これに対し、図６（ａ）のように間引きが行われる場合、再構成画像の現像処理により得られる現像画像の１画素は、間引く画素も含めて
Ｎ×ｓ×ｎ＝４×２×２＝１６
となり、図６（ａ）において枠で示したＬＦデータの１６画素が生成の対象となる。即ち、ＬＦデータから生成可能な再構成画像の画素のうちの４画素（現像画像における２画素）が、生成する間引いた再構成画像の２画素（現像画像における１画素）の生成に参照される。つまり、図示されるような１次元のＬＦデータから１／２の間引きを行なって得られる再構成画像（間引き再構成画像）の画素数は、間引きを行わずに得られる再構成画像の画素数、即ち上限画素数に対して１／２になる。
【００５２】
なお、図６（ａ）は１次元の画素配列について間引きを行う例について説明しているため、間引き率と間引き再構成画像の画素数／上限画素数とは同一になっている。しかしながら、２次元配置されたＬＦデータの水平方向及び垂直方向の各々について間引きを行う場合は、水平方向間引き率×垂直方向間引き率が間引き再構成画像の画素数／上限画素数となることは容易に理解されよう。
【００５３】
ところで、ＬＦデータを使用し、任意の被写体距離に合焦する再構成画像を生成する場合、撮像部１０２から出力された状態のＬＦデータを単純に間引く方法では、次のような問題が生じる。
【００５４】
撮像部１０２から出力された状態のＬＦデータ、即ち撮像面６０１におけるＬＦデータの画素配列に対して間引き率１／２の離散的な間引きを行ない、再構成面６０２における間引き再構成画像を生成する場合を考える。このとき、再構成面６０２における画素配列において、間引き画素の分布は偏ることになる。このような場合、再構成面６０２について生成される間引き再構成画像の１画素には、間引き画素に対応する入射方向の光束が考慮されないことになるため、例えば該間引き画素の領域に結像される細線等が間引き再構成画像に反映されないことになる。即ち、例えば主被写体が細線を有している場合であっても、間引き再構成画像では該細線のコントラストを考慮できないため、検出された被写体距離が主被写体について厳密に合焦する被写体距離とはならない可能性がある。
【００５５】
このため本実施形態のデジタルカメラ１００では、ＬＦデータの特性を利用し、図６（ｂ）のように再構成面６０２におけるＬＦデータの画素配置について離散的な間引き画素を決定するとともに、再構成画像の生成に使用する画素を決定する。このようにすることで、従来のように間引き画素が固定的なパターンで決定されることで反映されない領域の光学像についても、画素数の少ない合焦評価用の再構成画像で考慮することができる。
【００５６】
また、上述のような合焦評価用の再構成画像の画素数を低減することで細線が反映されなくなる状況は、間引き画素の選択方法によっても生じうる。再構成画像を生成する再構成面において、間引き画素を例えば瞳領域２及び３に対応する画素と決めている場合等も、特定の方向の光束が再構成画像に反映されないことになる。このため、本実施形態のデジタルカメラ１００では、次のようなルールで再構成画像の生成に用いるＬＦデータの画素を決定する。
１．間引き再構成画像の１画素の生成に参照される、ＬＦデータから生成可能な上限画素数を有する再構成画像の複数の画素のそれぞれについて、各画素に対応するＬＦデータの画素を少なくとも１つ選択（再構成面において離散的にし、被写体像の周波数情報をより多く反映するため）
２．間引き再構成画像の１画素の生成に参照される、上限画素数を有する再構成画像の複数の画素のうち、少なくとも２つの画素間で異なる瞳領域を通過した光束に対応するＬＦデータの画素を含むように選択
【００５７】
このようにすることで、上述の間引き再構成画像に細線が考慮されない状況を回避することができる。なお、本実施形態のようにカラーフィルタがマイクロレンズに適用される場合は、次のようなルールを用いてもよい。
３．間引き再構成画像の１画素の生成に参照される、上限画素数を有する再構成画像の複数の画素のうち、少なくとも異なるカラーフィルタに対応する画素で、異なる瞳領域を通過した光束に対応するＬＦデータの画素を含むように選択
【００５８】
なお、再構成画像の生成に用いるＬＦデータの画素は、このようなルールに従って、粗調探索時と微調探索時のそれぞれについて、再構成面ごとにテーブルデータとしてＲＯＭに格納されていればよい。即ち、カメラ制御部１０１は、ＲＯＭに格納された該テーブルを参照することで、合焦評価を行う再構成画像の生成に用いるＬＦデータの画素を決定する。
【００５９】
Ｓ４１４で、カメラ制御部１０１は、微調探索における、合焦評価を行う再構成画像の生成に用いるＬＦデータの画素を決定する。本実施形態のデジタルカメラ１００では、微調探索時にはＬＦデータの画素の間引きを行わず、上限画素数を有する再構成画像を、合焦評価用の再構成画像として用いるものとする。なお、本実施形態では微調探索時に上限画素数を有する再構成画像を合焦評価に用いるものとして説明するが、微調探索時に生成する再構成画像の画素数は、粗調探索時の画素数よりも多く、かつ上限画素数以下の画素数（第２の画素数）であればよい。即ち、粗調探索時に比べ、より細部の情報を参照して合焦評価が行える画素数を有する画像であればよい。
【００６０】
このようにして、予め定められたルールに従って再構成画像の生成に用いるＬＦデータの画素を選択した後、カメラ制御部１０１はＡＦ処理をＳ３０４に移す。
【００６１】
Ｓ３０４で、カメラ制御部１０１は、合焦評価を行う被写体距離に対応する再構成面におけるＬＦデータの画素配置の情報を画像処理部１０３に伝送し、該情報に従ってＬＦデータの画素を再構成画像の生成用の画素配置にシフトさせる。
【００６２】
Ｓ３０５で、カメラ制御部１０１は、画像処理部１０３に再構成画像を生成させる再構成画像生成処理を実行する。
【００６３】
〈再構成画像生成処理〉
ここで、本実施形態の再構成画像生成処理について、図４（ｃ）のフローチャートを用いて詳細を説明する。
【００６４】
Ｓ４２１で、画像処理部１０３は、生成する再構成画像の各画素の画素値を格納する領域をメモリ１０４に確保し、該領域のデータを初期化（０で埋める）する。このとき、データ領域の容量はマイクロレンズアレイ１０８を構成するマイクロレンズの数に対応した容量であればよい。なお、再構成画像の各画素の画素値のデータ諧調は、ＬＦデータにおける各画素のデータ諧調と瞳分割数の積を格納できるだあることが好ましい。例えばＬＦデータの１画素のデータが８ｂｉｔで、射出瞳が１６分割されている場合、１２ｂｉｔ（＝８ｂｉｔ＋ｌｏｇ２１６）あればデータの桁あふれを考慮する必要がなくなる。
【００６５】
そして画像処理部１０３は、Ｓ４２２乃至Ｓ４２７のループ処理を、マイクロレンズアレイ１０８を構成するマイクロレンズの数と同じ回数実行することで、合焦評価に用いる再構成画像を生成する。なお、マイクロレンズアレイ１０８のマイクロレンズには例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応するマイクロレンズが、処理対象となる。
【００６６】
Ｓ４２２で、画像処理部１０３は、Ｓ４２２乃至Ｓ４２７のループ処理の実行回数が、マイクロレンズの数と同じ回数実行されたか否かを判断する。画像処理部１０３は、マイクロレンズの数と同じ回数実行されていない場合は処理をＳ４２３に移し、実行されている場合は本再構成画像生成処理を完了する。なお、マイクロレンズの数は、予めＲＯＭに格納される情報であってもよいし、撮像素子１０９の画素数を瞳分割数で割ることで取得してもよい。
【００６７】
また画像処理部１０３は、Ｓ４２３乃至Ｓ４２６のループ処理を撮像光学系２０２の射出瞳の瞳分割数と同じ回数実行することで、１つのマイクロレンズに対応付けられた位置に存在するＬＦデータの画素について画素値を合算する。なお、１つのマイクロレンズアレイに対応付けられた位置に存在するＬＦデータの画素については、例えば左上から始まる水平走査順に整理番号が割り当てられており、ループ処理の実行回数に対応する整理番号を有するＬＦデータの画素が、処理対象となる。
【００６８】
Ｓ４２３で、画像処理部１０３は、Ｓ４２３乃至Ｓ４２６のループ処理の実行回数が、瞳分割数と同じ回数実行されたか否かを判断する。実行されていない場合は処理をＳ４２４に移し、実行されている場合はループ処理を抜け、処理をＳ４２２に戻す。
【００６９】
Ｓ４２４で、画像処理部１０３は、処理対象のＬＦデータの画素が間引き画素であるか否かを判断する。具体的には画像処理部１０３は、カメラ制御部１０１より画素選択処理の結果として得られた再構成画像の生成に用いる画素の情報を受信し、該情報に従って処理対象の画素が間引き画素であるか否かを判断する。画像処理部１０３は、処理対象の画素が間引き画素であると判断した場合は処理をループ端Ｓ４２６に移し、再構成画像の生成に使用する画素であると判断した場合は処理をＳ４２５に移す。
【００７０】
Ｓ４２５で、画像処理部１０３は、処理対象のＬＦデータの画素の画素値を、対応する再構成画像の画素についてのメモリ１０４の格納領域の値に加算する。なお、対応する再構成画像の画素は、間引きを行う場合は図６を用いて説明したような間引き再構成画像の各画素の生成に用いられるＬＦデータの画素は全て同じ領域の値に加算されるものとする。このとき、異なるカラーフィルタに対応するＬＦデータの画素は、異なる領域に格納されることは言うまでもない。また、例えば設定された被写体距離により、ＬＦデータの画素位置のシフト量が整数値ではない場合は、本ステップにおいて複数の画素値が内分されて、対応する再構成画像の画素についての格納領域の値に加算すればよい。
【００７１】
このように本再構成画像生成処理を実行することにより、画像処理部１０３は再構成面に対応した、合焦評価を行う再構成画像を生成することができる。カメラ制御部１０１は、再構成画像生成処理が完了した後、ＡＦ処理をＳ３０６に移す。
【００７２】
Ｓ３０６で、カメラ制御部１０１は、Ｓ３０５において生成した再構成画像の合焦度合い示すコントラスト評価値を取得するコントラスト評価処理を画像処理部１０３に実行させる。
【００７３】
〈コントラスト評価処理〉
ここで、本実施形態のコントラスト評価処理について、図４（ｄ）のフローチャートを用いて詳細を説明する。
【００７４】
Ｓ４３１で、画像処理部１０３は、コントラスト評価を行う評価点の数及び評価枠の大きさを設定する。なお、評価点数や評価枠の大きさは、例えばユーザにより予め設定されていればよい。評価点数が多くなると、より再構成画像の広範囲を評価対象としてカバーすることが可能になるが、コントラスト評価に要する時間は長くなる。また評価枠の大きさが大きくなると、局所的にはパターンを有していないテクスチャであってもコントラスト評価を行うことが可能になるが、距離の異なる被写体の像を同時に評価する所謂遠近競合の発生確立が増加する。本実施形態では、このような問題を考慮した評価点数や評価枠の大きさが設定されているものとする。
【００７５】
Ｓ４３２で、画像処理部１０３は、再構成画像の画素値についてフィルタ処理を適用する。該フィルタ処理では、粗調探索時にはより低周波成分に着目したフィルタリングを行い、微調探索時には粗調探索時に比べて高周波に着目したフィルタリングを行うとよい。このようにすることで、ローカルミニマムを避けつつ、最終的にコントラスト評価値から判断される被写体に合焦する被写体距離の合焦精度を向上することができる。
【００７６】
画像処理部１０３は、Ｓ４３３乃至４３６のループ処理を、評価点数分実行することで、評価点数文の評価枠の各々についてコントラスト評価値を得ることができる。なお、本ループ処理では画像処理部１０３は、評価を行う評価枠を、予め設定された評価順に従って選択して以下の演算を行う。
【００７７】
Ｓ４３３で、画像処理部１０３は、Ｓ４３３乃至Ｓ４３６のループ処理の実行回数が、評価点数に達したか否かを判断する。画像処理部１０３は、ループ処理の実行回数が評価点数に達したと判断した場合は処理をＳ４３７に移し、達していないと判断した場合は処理をＳ４３４に移す。
【００７８】
Ｓ４３４で、画像処理部１０３は、評価枠内の再構成画像の全ての水平ラインについて、画素値の最大値をピークホールドする。
【００７９】
Ｓ４３５で、画像処理部１０３は、全ての水平ラインについてピークホールドした最大値を合算することで、コントラスト評価値を算出する。
【００８０】
Ｓ４３７で、画像処理部１０３は、各評価枠について算出したコントラスト評価値をカメラ制御部１０１に出力して、本コントラスト評価処理を完了する。
【００８１】
本実施形態では、このように評価枠内の全ての水平ラインについての最大画素値の合計値をコントラスト評価値として出力するものとして説明するが、被写体距離の変動に伴うコントラスト評価値の算出については他の計算方法を用いてもよい。例えば、隣接画素出力差の二乗和である二次コントラスト評価値を、隣接画素出力差の絶対和である一次コントラストの二乗で除すことで得られる、輝度値を無次元化した評価値を用いる方法が使用可能である。
【００８２】
このようにして合焦評価を行う再構成画像についてのコントラスト評価値を受信した後、カメラ制御部１０１は該評価値をＳ３０２において決定した被写体距離の情報に関連付けてＲＡＭに蓄積し、ＡＦ処理をＳ３０７に移す。
【００８３】
Ｓ３０７で、カメラ制御部１０１は、ＲＡＭに蓄積された各被写体距離についてのコントラスト評価値の変動に基づいて、被写体に合焦する最良の被写体距離を検出したか否かを判断する。具体的にはカメラ制御部１０１は、粗調探索及び微調探索の結果、コントラスト評価値が最も高くなる被写体距離のピーク値が得られたか否かを判断する。カメラ制御部１０１は、被写体に合焦する最良の被写体距離を検出したと判断した場合は処理をＳ３０９に移し、検出していないと判断した場合は処理をＳ３０８に移す。
【００８４】
Ｓ３０８で、カメラ制御部１０１は、ＲＡＭに蓄積された各被写体距離についてのコントラスト評価値の変動（評価結果）に基づいて、粗調探索から微調探索に移行するか否か、及び探索方向をいずれにするか、の少なくともいずれかを決定し、処理をＳ３０２に戻す。即ち、本ステップにおいてカメラ制御部１０１は、次に合焦評価する被写体距離の決定に必要な情報を更新する。
【００８５】
Ｓ３０９で、カメラ制御部１０１は、Ｓ３０７において検出を判断した被写体距離の情報を電気接点１０７を介してレンズ２００のレンズ制御部２０１に送信し、該被写体距離にフォーカスレンズを駆動させる。レンズ制御部２０１は、受信した被写体距離の情報をレンズ駆動部２０３に伝送し、フォーカスレンズを被写体距離に対応する位置に駆動させる。
【００８６】
このようにすることで、１回の撮像により得られたＬＦデータから、レンズ駆動を行わずに被写体に合焦する被写体距離を検出することができる。また、粗調探索時及び微調探索時に、合焦評価に係る再構成画像の画素数を適切に低減することで、再構成画像の生成やコントラスト評価に要する時間を短縮することができる。
【００８７】
なお、本実施形態では合焦評価を行う再構成画像の各画素の画素値について、瞳分割数分のＬＦデータの画素の画素値を合算するものとして説明したが、本発明の実施はこれに限られるものではない。例えば再構成画像の各画素の画素値は、瞳分割数以上の所定数であってもよく、この場合、合算した画素値を瞳分割数分の画素値と同レベルの値になるように、加算した画素数に応じて調整を行なってもよい。
【００８８】
次に図７を用いて本実施形態に適用可能な別の光学系の例について説明する。図７は物体（被写体）からの光束が撮像素子１０９上に結像する状態を模式的に示した図である。図７（ａ）は図２で説明した光学系と対応しており、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置した例である。図７（ｂ）は撮像光学系２０２の結像面よりも物体寄りにマイクロレンズアレイ１０８を配置した例である。図７（ｃ）は撮像光学系２０２の結像面よりも物体から遠い側にマイクロレンズアレイ１０８を配置した例である。
【００８９】
図７において、図３と共通する構成については同じ参照数字を付し、重複する説明を省略する。５１は物体平面であり、５１ａ，５１ｂは物体平面上の任意の点である。５２は撮像光学系２０２の瞳平面を、６１，６２，７１，７２，７３，８１，８２，８３，８４はマイクロレンズアレイ１０８上の特定のマイクロレンズをそれぞれ示している。
【００９０】
また、図７（ｂ）および（ｃ）においては、図７（ａ）との対応関係を明確にするために、仮想的な撮像素子１０９ａ及び仮想的なマイクロレンズアレイ１０８ａを示した。また、物体平面上の点５１ａから瞳平面５２の瞳領域３１および３３を通過する光束を実線で、物体平面上の点５１ｂから瞳平面５２の瞳領域３１および３３を通過する光束を破線で図示した。
【００９１】
図７（ａ）の例では、図３でも説明したように、撮像光学系２０２の結像面近傍にマイクロレンズアレイ１０８を配置することで、撮像素子１０９と撮影光学系の瞳平面５２が共役の関係にある。さらに、物体平面５１とマイクロレンズアレイ１０８が共役の関係にある。このため物体平面５１上の点５１ａからの光束はマイクロレンズ６１に、点５１ｂからの光束はマイクロレンズ６２に到達し、瞳領域３１から３５それぞれを通過した光束はマイクロレンズに対応するように設けられた画素に到達する。
【００９２】
図７（ｂ）の例では、マイクロレンズアレイ１０８によって撮像光学系２０２からの光束を結像させ、その結像面に撮像素子１０９を設けている。このように配置することで、物体平面５１と撮像素子１０９とは共役の関係になる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７１に到達し、点５１ａから瞳平面上の瞳領域３３を通過した光束はマイクロレンズ７２に到達する。また、物体平面５１上の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ７２に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ７３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。このように、物体平面からの光束は、その出射位置と、通過する瞳領域に応じて撮像素子１０９の撮像面における異なる位置に結像する。これらを、仮想的な撮像素子１０９ａの撮像面における位置に並べなおせば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
【００９３】
図７（ｃ）の例では、マイクロレンズアレイ１０８で撮像光学系２０２からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼ぶ）、その再結像面に撮像素子１０９の撮像面を配置する。このように配置することで、物体平面５１と撮像素子１０９は共役の関係となる。物体平面５１上の点５１ａから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８２に到達し、点５１ａから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８１に到達する。また、物体平面５１の点５１ｂから瞳平面５２の瞳領域３１を通過した光束はマイクロレンズ８４に到達し、点５１ｂから瞳平面５２の瞳領域３３を通過した光束はマイクロレンズ８３に到達する。各マイクロレンズを通過した光束は、マイクロレンズに対応するように設けられた画素に到達する。
【００９４】
図７（ｂ）の場合と同様に、撮像素子１０９で得られた画素の信号を、仮想的な撮像素子１０９ａの撮像面における位置に並び替えれば、図７（ａ）の撮像面で得られる情報と同様の情報を得ることができる。即ち、通過した瞳領域（入射角度）と撮像素子１０９上の位置の情報を得ることができる。
【００９５】
なお、図７ではマイクロレンズアレイ１０８（位相変調素子）を用いて瞳分割を行い、光束の位置情報と角度情報を取得する構成例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の構成も利用可能である。例えば、基本パターンの繰り返しから構成されるパターンマスク（ゲイン変調素子）をマイクロレンズアレイ１０８の代わりに用いる構成であってもよい。
【００９６】
以上説明したように、本実施形態の撮像装置は、撮影後に任意の被写体距離に合焦した画像を生成可能な撮像装置における、オートフォーカス動作を高速化することができる。具体的には撮像装置は、合焦評価用の生成再構成画像の画素数を設定し、該画素数と画像信号の画素から生成可能な再構成画像の上限画素数とから生成再構成画像の各画素の生成に用いる生成可能な再構成画像の画素を決定する。そして、生成再構成画像の各画素について、生成に用いる生成可能な再構成画像の画素に対応する画像信号の画素のうち、所定数の画素を、生成再構成画像の生成に用いる画素として選択する。このとき撮像装置は、設定された生成再構成画像の画素数が上限画素数よりも少ない場合は、生成に用いる生成可能な再構成画像の画素のそれぞれについて少なくとも１つの対応する画像信号の画素を選択する。
【００９７】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0006046922.tif 000002
【図２】
0006046922.tif 000003
【図３】
0006046922.tif 000004
【図４】
0006046922.tif 000005
【図５】
0006046922.tif 000006
【図６】
0006046922.tif 000007
【図７】
0006046922.tif 000008
【図８】
0006046922.tif 000009