(57)【要約】【課題】焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにする。【解決手段】被写体像を光電変換する撮像部と、撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により撮影光学系のピント位置を検出する焦点検出部と、撮影光学系のピント位置を所定量ずつずらしながら、撮影光学系の複数のピント位置のそれぞれについて、撮像部によりライトフィールドデータを取得するように撮像部を制御する撮像制御部と、焦点検出部による位相差の検出方向とライトフィールドデータにおける視差の方向とに応じて、撮像部により撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成部とを備える。【選択図】  図１６
2017192028.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を光電変換する撮像手段と、
撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出手段と、
前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御手段と、
前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記生成手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合に、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記生成手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合には、前記撮影光学系の複数のピント位置の間隔を、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応しない場合よりも広くすることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記撮像制御手段は、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応する場合に、前記ライトフィールドデータを取得する回数を、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向が対応しない場合よりも少くすることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像手段は、前記焦点検出手段を兼ねることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記撮像手段によりライトフィールドデータとして取得された画像と、前記生成手段により生成されたリフォーカス画像とを表示する表示手段をさらに備えることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記表示手段に表示された複数の表示画像から、ユーザがピントが合っていると判断した画像を選択するための選択手段をさらに備えることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記選択手段により選択された画像のピント位置に基づいて、前記撮像装置のピント位置を補正する補正手段をさらに備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記補正手段による補正値を記憶する記憶手段をさらに備えることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する画素が２次元状に配置された撮像素子を有することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
被写体像を光電変換する撮像手段を有する撮像装置を制御する方法であって、
撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出工程と、
前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御工程と、
前記焦点検出工程における位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１２】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１３】
請求項１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における焦点検出の誤差を補正する技術に関するものである。
【背景技術】
【０００２】
被写体に自動的に焦点を合わせる自動焦点調節装置を有する撮像装置においては、自動焦点調節装置が算出したデフォーカス量に誤差がある場合に、その誤差をキャリブレーション装置によって補正する機能が知られている。
【０００３】
特許文献１には、自動焦点調節装置の補正値を取得するモードとして、キャリブレーションモードを備える撮像装置が開示されている。複数の異なるフォーカスレンズ位置で画像とデフォーカス量を取得し、ユーザーが、取得された画像からジャストピントの画像を選択する。そして、選択された画像と同時に取得したデフォーカス量を補正値として記憶する。
【０００４】
一方、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献２には、１つのマイクロレンズに対して複数に分割された光電変換部が配置されている２次元撮像素子を備えた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域からの光を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれで受光した被写体光を光電変換して生成された画像信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。
【０００５】
特許文献３には、フォーカスレンズを動かしながらブラケット撮影を行うことで、複数の視差画像を生成できる範囲を拡大する撮像装置が提案されている。撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇｈｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１には、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１０９６２１号公報
【特許文献２】米国特許第４４１０８０４号公報
【特許文献３】特開２０１０−１９７５５１号公報
【非特許文献】
【０００７】
【非特許文献１】Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１に開示された従来技術では、ユーザーがピントの変化を確認できる複数枚の画像を撮影するために、レンズを動かしながら撮影する動作を繰り返し行う必要があり、撮影に時間がかかってしまう。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにすることである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、被写体像を光電変換する撮像手段と、撮影光学系の異なる瞳領域を通過した光により形成される一対の像信号を用いて位相差検出方式により前記撮影光学系のピント位置を検出する焦点検出手段と、前記撮影光学系のピント位置を所定量ずつずらしながら、前記撮影光学系の複数のピント位置のそれぞれについて、前記撮像手段によりライトフィールドデータを取得するように前記撮像手段を制御する撮像制御手段と、前記焦点検出手段による位相差の検出方向と前記ライトフィールドデータにおける視差の方向とに応じて、前記撮像手段により前記撮影光学系の複数のピント位置について取得されたライトフィールドデータを用いて、前記撮影光学系の複数のピント位置の間のピント位置に対応するリフォーカス画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、焦点検出のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係わる撮像装置の概略構成図。
【図２】エリアセンサの焦点検出領域のレイアウト概略図。
【図３】撮像素子の画素配置を示す図。
【図４】撮像素子の画素の概略平面図と概略断面図。
【図５】撮像素子の画素と瞳分割の概略説明図。
【図６】撮像素子と瞳分割の概略説明図。
【図７】デフォーカス量と像ずれ量の関係を示す図。
【図８】リフォーカス処理の概略説明図。
【図９】リフォーカス可能範囲の概略説明図。
【図１０】ＡＦマイクロアジャストメントの設定画面の概略図。
【図１１】一実施形態におけるＣＡＬモードのメインのフローチャート。
【図１２】一実施形態におけるＣＡＬモードの補正値を表示する画面の概略図。
【図１３】一実施形態における位相差ＡＦのフローチャート。
【図１４】一実施形態におけるフォーカスブラケット撮影のフローチャート。
【図１５】一実施形態におけるフォーカスブラケット撮影に関するパラメータの概略図。
【図１６】一実施形態における画像選択動作のフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。
【００１４】
［全体構成］
図１は、本発明の撮像装置の一実施形態であるデジタル一眼レフカメラのシステム構成を示す図である。図１において、カメラシステム１００は、カメラ２と、カメラ２に対して着脱可能な交換レンズ１とを備えて構成される。このカメラシステム１００は、位相差検出方式によるＡＦ（オートフォーカス）処理を行う機能と、撮影後に撮像画像の合焦位置を変更したリフォーカス画像を生成する機能と、位相差ＡＦの補正を行うフォーカスキャリブレーション機能とを有する。
【００１５】
交換レンズ１内には撮影光学系１０が収容されている。撮影光学系１０は、複数のレンズユニットや絞りにより構成される。また、複数のレンズユニットのうちフォーカスレンズユニット（以下、単にフォーカスレンズという）１０ａを光軸に沿う方向に移動させることで、ピント合わせを行うことができる。
【００１６】
レンズ駆動部１１は、ズームレンズやフォーカスレンズ１０ａを移動させるアクチュエータ、及びそのアクチュエータの駆動回路、アクチュエータの駆動力を各レンズに伝達する伝達機構を含む。レンズ状態検出部１２は、ズームレンズやフォーカスレンズ１０ａの位置、すなわちズーム位置およびフォーカス位置を検出する。
【００１７】
レンズ制御部１３は、ＣＰＵ等により構成され、後述するカメラ制御部４０からの指令に応じて交換レンズ１の動作を制御する。レンズ制御部１３は、電気接点１５のうちの通信端子を介してカメラ制御部４０と通信可能に接続される。また、交換レンズ１には、電気接点１５のうちの電源端子を通じて、カメラ２から電力が供給される。レンズ記憶部１４は、ＲＯＭ等により構成され、レンズ制御部１３での制御に用いられるデータ、交換レンズ１の識別情報、撮影光学系１０の光学情報等の各種情報が記憶されている。
【００１８】
カメラ２において、ハーフミラーで構成された主ミラー２０は、ユーザーが光学ファインダを通して被写体を観察する光学ファインダ観察時には、図示のように撮影光路内のダウン位置に配置されて撮影光学系１０からの光をピント板３０に向けて反射する。また、主ミラー２０は、背面モニタ４３にライブビュー画像を表示するライブビュー観察時や記録用画像（静止画および動画）を生成する撮影時には、撮影光路から退避するアップ位置に回動する。これにより、撮影光学系１０からの光は、シャッタ２３および撮像素子２４に向かう。
【００１９】
サブミラー２１は、主ミラー２０とともに回動し、ダウン位置に配置された主ミラー２０を透過した光をＡＦ（オートフォーカス）センサユニット２２に導く。また、主ミラー２０がアップ位置に回動すると、サブミラー２１も撮影光路から退避する。
【００２０】
ＡＦセンサユニット２２は、被写体から撮影光学系１０を通り、さらにサブミラー２１で反射して入射した光を用いて、カメラ２の撮影範囲内に設けられた複数の焦点検出領域において位相差検出方式による撮影光学系１０の焦点状態の検出（焦点検出）を行う。ＡＦセンサユニット２２は、各焦点検出領域からの光から一対の像（被写体像）を形成する２次結像レンズと、その一対の被写体像を光電変換する一対の受光素子列が配置されたエリアセンサ（ＣＣＤ又はＣＭＯＳセンサ）とを有する。エリアセンサの一対の受光素子列は、一対の被写体像の輝度分布に応じた光電変換信号である一対の像信号をカメラ制御部４０に出力する。エリアセンサ上には、複数の焦点検出領域に対応した複数対の受光素子列が２次元配置されている。
【００２１】
カメラ制御部４０は、一対の像信号の位相差を算出し、その位相差から撮影光学系１０の焦点状態（デフォーカス量）を算出する。さらに、カメラ制御部４０は、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置である合焦位置を算出する。このような焦点検出方法を用いて自動で焦点調節することを位相差ＡＦ（オートフォーカス）と呼ぶ。
【００２２】
そして、カメラ制御部４０は、位相差検出方式により算出した合焦位置にフォーカスレンズ１０ａを移動させるようレンズ制御部１３にフォーカス指令を送信する。レンズ制御部１３は、受信したフォーカス指令に応じて、レンズ駆動部１１を介してフォーカスレンズ１０ａを合焦位置に移動させる。これにより、撮影光学系１０の合焦状態が得られる。
【００２３】
このようにして、位相差検出方式による焦点状態の検出と、その焦点状態に基づく合焦位置の算出と、その合焦位置へのフォーカスレンズ１０ａの移動とを含む位相差ＡＦが行われる。カメラ制御部４０は、フォーカス制御装置として機能する。
【００２４】
さらに、カメラ制御部４０は、信頼度判定手段として、ＡＦセンサユニット２２からの一対の像信号に関する情報を用いて、位相差ＡＦの対象となっている被写体に対する位相差ＡＦの信頼度（像信号の信頼度）を算出し、被写体に対する信頼性が高いか低いかを判定する。本実施形態における被写体に対する位相差ＡＦの信頼度とは、基本的には、被写体からの光を受光するＡＦセンサユニット２２において一対の像信号を用いて得られるデフォーカス量（焦点状態）の信頼度である。ただし、位相差合焦位置はデフォーカス量から算出されるので、結果的に、位相差合焦位置の信頼度ということもできる。以下の説明において、被写体に対する位相差ＡＦの信頼度を、単に信頼度とも呼ぶ。
【００２５】
信頼度には、例えば特開２００７−５２０７２号公報において開示されているＳレベル（ＳＥＬＥＣＴ ＬＥＶＥＬ）値ＳＬを用いる。Ｓレベル値ＳＬは、一対の像信号に関する情報として、その一対の像信号の一致度Ｕ、エッジの数（相関変化量ΔＶ）、シャープネスＳＨおよび明暗比ＰＢＤとをパラメータとする値であり、以下の式のように表される。信頼性が高くなるほど、Ｓレベル値ＳＬは値が小さくなる。
【００２６】
Ｓ_Level＝Ｕ／（ΔＶ×ＳＨ×ＰＢＤ）
なお、一対の像信号に関する情報とは、必ずしも一対の像信号の双方に関する情報でなくてもよく、いずれか一方の像信号に関する情報であってもよい。また、一致度Ｕ、相関変化量ΔＶ、シャープネスＳＨおよび明暗比ＰＢＤについては、一対の像信号から得られる情報と言い換えてもよい。また、一対の像信号から得られる情報はこれに限定されず、例として、電荷蓄積時間Ｔなども該当する。
【００２７】
なお、ＡＦセンサユニット２２のエリアセンサは、受光素子が２次元配置されているため、撮影範囲内のうち同じ視野領域（例えば、中央領域）について、被写体の水平方向と垂直方向の両方の輝度分布を検出して焦点検出を行うことが可能となる。これについては、後に詳しく説明する。
【００２８】
シャッタ２３は、光学ファインダ観察時には閉じ、ライブビュー観察時および動画撮影時には開放されて撮影光学系１０により形成された被写体像の撮像素子２４による光電変換（ライブビュー画像および撮影動画の生成）を可能とする。さらに、静止画撮影時には、設定されたシャッタ秒時で開閉し、撮像素子２４の露光を制御する。
【００２９】
撮像素子２４は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサとその周辺回路により構成され、撮影光学系１０により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子２４には、撮像用画素と焦点検出用画素を兼用した瞳分割機能を有する複数の画素が配置されている。これについては、後に詳しく説明する。
【００３０】
ピント板３０は、撮像素子２４と等価な位置である撮影光学系１０の１次結像面に配置されている。光学ファインダ観察時には、ピント板３０上に、被写体像（ファインダー像）が形成される。ペンタプリズム３１は、ピント板３０上に形成された被写体像を正立正像に変換する。接眼レンズ３２は、正立正像をユーザーに観察させる。ピント板３０、ペンタプリズム３１および接眼レンズ３２により光学ファインダが構成される。
【００３１】
ＡＥセンサ３３は、ピント板３０からの光を、ペンタプリズム３１を介して受光し、ピント板３０上に形成された被写体像の輝度を測定する。ＡＥセンサ３３は、複数のフォトダイオードを有し、カメラ２による撮影範囲を分割するように設定された複数の測光領域のそれぞれで輝度を測定することができる。また、被写体像の輝度測定の他に、被写体像の形や色などを測定して被写体の状態を判定する被写体検知機能も備える。
【００３２】
カメラ制御部４０は、ＭＰＵ等を含むマイクロコンピュータにより構成され、カメラ２と交換レンズ１を有するカメラシステム１００全体の動作を制御する。カメラ制御部４０は、前述したようにフォーカス制御手段として機能するとともに、後述するＡＦキャリブレーション手段（本実施形態ではＡＦマイクロアジャストメント機能という）としても機能する。また、撮像動作を制御する撮像制御手段、信頼度判定手段、およびフォーカスブラケット撮影を行う際の撮影回数をカウントするためのカウンターとしても機能する。
【００３３】
デジタル信号処理部４１は、撮像素子２４からのアナログ撮像信号をデジタル撮像信号に変換し、さらにそのデジタル撮像信号に対して各種処理を行って画像信号（画像データ）を生成する。撮像素子２４およびデジタル信号処理部４１により撮像系が構成される。
【００３４】
デジタル信号処理部４１は、撮像素子２４に配置されている瞳分割用の複数の画素を用いて、位相差検出方式による焦点状態の検出を行う。さらに、デジタル信号処理部４１が、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置を算出することを、第２の焦点検出（以下、撮像面位相差ＡＦ（オートフォーカス））という。
【００３５】
デジタル信号処理部４１は、撮影後に撮影画像の合焦位置を変更するリフォーカス画像生成部４４を備える。リフォーカス画像生成の際に行われるリフォーカス処理については、後に詳しく説明する。カメラ記憶部４２は、カメラ制御部４０やデジタル信号処理部４１の動作で用いられる各種データを記憶している。また、カメラ記憶部４２は、生成された記録用画像を保存する。背面モニタ４３は、液晶パネル等の表示素子により構成され、ライブビュー画像、記録用画像および各種情報を表示する。
【００３６】
［焦点検出領域のレイアウト］
図２は、本実施形態のＡＦセンサユニット２２におけるエリアセンサの焦点検出領域のレイアウト概略図である。
【００３７】
図２（ａ）は、撮影範囲内での焦点検出領域のレイアウトを示している。５０はカメラによる撮影範囲を示している。５１は、撮影範囲５０内における、後述の焦点検出領域が配置されている範囲（以下、焦点検出範囲）である。図２（ｂ）は、焦点検出範囲５１を拡大して示している。焦点検出範囲５１内には、ライン状の焦点検出領域（以下、焦点検出ラインという）が２１ライン存在する。焦点検出範囲５１の中央領域には、縦方向（焦点検出方向）に長い焦点検出ライン（以下、縦目という）がＬ１，Ｌ２の２ライン配置され、横方向（焦点検出方向）に長い焦点検出ライン（以下、横目という）がＬ３，Ｌ４の２ライン配置されている。
【００３８】
縦目は、相関方向が縦方向（撮像素子２４の短辺方向）であり、縦方向の輝度分布から撮影光学系１０の焦点状態を検出する。一方、横目は、相関方向が横方向（撮像素子２４の長辺方向）であり、横方向の輝度分布から撮影光学系１０の焦点状態を検出する。
【００３９】
縦方向に２ライン並んだ焦点検出ラインＬ１，Ｌ２は、縦方向に微小量だけずれて配置されている。このずれ量は、相関方向に並ぶ画素のピッチの半分である。画素ピッチの半分量だけずれて配置された焦点検出ラインＬ１，Ｌ２から得られる２つの焦点検出結果の両方を加味して検出結果を算出することにより、焦点検出のばらつきを軽減する。横方向に２ライン並んだ焦点検出ラインＬ３，Ｌ４についても、焦点検出ラインＬ１，Ｌ２と同様に画素ピッチの半分量だけずれて配置することにより、焦点検出のばらつきを軽減する。
【００４０】
焦点検出範囲５１の中央領域には、基線長が長い、Ｆ２．８の光束を用いて焦点検出を行う焦点検出ラインＬ１９を横方向に１ライン備えている。焦点検出ラインＬ１９は、焦点検出ラインＬ３やＬ４に比べて基線長が長いため、ＡＦセンサユニット２２に備えられるエリアセンサの受光面上での像の移動量が大きい。このため、焦点検出ラインＬ３，Ｌ４よりも高精度な焦点検出を実現することができる。
【００４１】
ただし、焦点検出ラインＬ１９は、Ｆ２．８の光束を用いているため、開放Ｆ値がＦ２．８以下の明るい交換レンズが装着されたときのみ有効となる。また、像の移動量が大きいため、焦点検出ラインＬ３，Ｌ４に比べて、大きいデフォーカスを検出する能力は劣る。上述のようにＦ２．８用の焦点検出ライン（以下、Ｆ２．８目という）Ｌ１９を備えることにより、高い検出精度が要求される開放Ｆ値がＦ２．８以下の明るい交換レンズが装着されたときに、それに応じた高精度の検出を実現することができる。
【００４２】
ＡＦセンサユニット２２では、焦点検出範囲５１の中央領域においては、焦点検出ラインを縦横クロス状に配置することで、縦横両方向の輝度分布を検出することができる。縦横両方向の輝度分布を得ることで、縦方向及び横方向のうち輝度分布があまりない方向で無理に焦点検出を行う必要がなくなるため、検出ばらつきを軽減することができる。これにより、焦点検出可能な被写体の種類を広げると共に、検出精度の向上を実現することができる。このように、焦点検出範囲５１の中央領域では、縦目（Ｌ１，Ｌ２）と、横目（Ｌ３，Ｌ４）と、Ｆ２．８目（Ｌ１９）による３つの焦点検出結果を得ることができる。
【００４３】
次に、焦点検出範囲５１の上下方向に配置された焦点検出ラインについて説明する。焦点検出範囲５１の上部には、横目Ｌ５，Ｌ１１が配置されており、焦点検出範囲５１の上部に位置する被写体像の横方向の輝度分布から撮影光学系１０の焦点状態を検出する。また、焦点検出範囲５１の下部には、横目Ｌ６，Ｌ１２が配置されており、焦点検出範囲５１の下部に位置する被写体像の横方向の輝度分布から撮影光学系１０の焦点状態を検出する。また、焦点検出ラインＬ５の同じ位置にＦ２．８用の横目Ｌ２０が、横目Ｌ６と同じ位置にＦ２．８の横目Ｌ２１がそれぞれ配置されている。これにより、高い検出精度が要求される開放Ｆ値がＦ２．８以下の明るい交換レンズが装着されたときに、高精度の焦点検出を実現することができる。
【００４４】
焦点検出ラインＬ３，Ｌ４，Ｌ５，Ｌ６，Ｌ１１，Ｌ１２の左端に接するように焦点検出ラインＬ７，Ｌ９が、焦点検出ラインＬ３，Ｌ４，Ｌ５，Ｌ６，Ｌ１１，Ｌ１２の右端に接するように焦点検出ラインＬ８，Ｌ１０がそれぞれ縦方向に並んで配置されている。焦点検出ラインＬ７，Ｌ９，Ｌ８，Ｌ１０は縦目であり、縦方向の輝度分布から撮影光学系１０の焦点状態を検出する。
【００４５】
焦点検出ラインＬ７，Ｌ９の左側には焦点検出ラインＬ１３，Ｌ１５が、焦点検出ラインＬ８，１０の外側には焦点検出ラインＬ１４，１６が縦方向に並んで配置されている。焦点検出ラインＬ１３，Ｌ１４，Ｌ１５，Ｌ１６も縦目であり、縦方向の輝度分布から撮影光学系１０の焦点状態を検出する。
【００４６】
横方向の一番外側には焦点検出ラインＬ１７，Ｌ１８が配置されている。焦点検出ラインＬ１７，Ｌ１８は縦方向の中央が光軸上にあり、焦点検出範囲５１の横方向の両端に位置する被写体像の縦方向の輝度分布から撮影光学系１０の焦点状態を検出する。
【００４７】
［撮像素子］
図３は、撮像素子２４の画素の２次元状の配列を示した概略図である。図３に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１光電変換部２０１と第２光電変換部２０２により構成されており、焦点検出用画素としても機能する。なお、焦点検出用画素として機能する場合、図３に示した各画素に２列×１行で光電変換部が配置された構成は、横方向の輝度分布（例えば縦線）から焦点状態を検出することができる横眼の配置となる。一方、各画素に１列×２行で光電変換部を配置すれば、縦方向の輝度分布（例えば横線）から焦点状態を検出することができる縦目の配置となる。さらに、各画素に２列×２行で４つの光電変換部を配置すると、横方向及び縦方向の両方の輝度分布から焦点状態を検出することも可能となる。
【００４８】
図３に示した４列×４行の画素（８列×４行の光電変換部）を撮像面上に多数配置し、画像信号及び焦点検出信号の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、光電変換部の列方向周期ＰＡＦが２μｍ、光電変換部の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万個である撮像素子を用いるものとして説明する。
【００４９】
図３に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図４（ａ）に示し、図４（ａ）のａ−ａ断面を−ｙ側から見た断面図を図４（ｂ）に示す。
【００５０】
図４に示すように、画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部２０１，２０２が配置される。光電変換部２０１，２０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部２０１，２０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、各画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。
【００５１】
図４に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部２０１，２０２で受光される。光電変換部２０１，２０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部２０１，２０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、フローティングディフュージョン部（ＦＤ）に転送され、電圧信号に変換される。
【００５２】
図５は、図４に示した画素構造と瞳分割との対応関係を示した概略説明図である。図４（ａ）に示した画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮影光学系１０の射出瞳面を図５に示す。図５では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図４に対して反転させている。
【００５３】
図５において、第１光電変換部２０１に対応する第１瞳部分領域５０１は、重心が−ｘ方向に偏心している第１光電変換部２０１の受光面と、マイクロレンズによって、概ね共役関係になっており、第１光電変換部２０１で受光可能な瞳領域を表している。第１光電変換部２０１に対応する第１瞳部分領域５０１は、瞳面上で重心が＋Ｘ方向に偏心している。本実施形態の撮像素子２４は、この構成により、光の強度とともに光の入射方向の情報を取得可能であり、いわゆるライトフィールドデータを取得可能である。
【００５４】
図５において、第２光電変換部２０２に対応する第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２光電変換部２０２の受光面と、マイクロレンズによって、概ね共役関係になっており、第２光電変換部２０２で受光可能な瞳領域を表している。第２光電変換部２０２に対応する第２瞳部分領域５０２は、瞳面上で重心が−Ｘ方向に偏心している。また、図５において、瞳領域５００は、第１光電変換部２０１と第２光電変換部２０２を全て合わせた場合の画素２００Ｇ全体で受光可能な瞳領域である。
【００５５】
図６は、撮像素子と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、２×１分割された第１光電変換部２０１と第２光電変換部２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。
【００５６】
本実施形態の撮像素子は、撮影光学系１０の第１瞳部分領域５０１を通過する光束を受光する第１光電変換部２０１と、第１瞳部分領域と異なる撮影光学系１０の第２瞳部分領域５０２を通過する光束を受光する第２光電変換部２０２とを有する画素が複数配列されている。第１光電変換部２０１と第２光電変換部２０２を合わせた１つの画素は、撮影光学系１０の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する撮像用画素として機能する。必要に応じて、撮像用画素と、第１光電変換部および第２光電変換部とを別々の画素構成とし、撮像用画素配列の一部に、第１光電変換部に対応する第１焦点検出用画素と、第２光電変換部に対応する第２焦点検出用画素を部分的に配置する構成としても良い。
【００５７】
本実施形態では、撮像素子の各画素の第１光電変換部２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２光電変換部２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第１光電変換部２０１の信号と第２光電変換部２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（画像信号）を生成する。
【００５８】
［デフォーカス量と像ずれ量の関係］
以下、撮像素子２４により取得される第１焦点検出信号及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の関係について説明する。図７は、第１及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の概略関係を示す図である。撮像面８００に撮像素子２４が配置され、図５、図６と同様に、撮影光学系１０の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。
【００５９】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）で表わす。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態はｄ＝０である。図７では、被写体８０１が合焦状態（ｄ＝０）で、被写体８０２が前ピン状態（ｄ＜０）である例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００６０】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光された後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１光電変換部２０１（第２光電変換部２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた画像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００６１】
したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。なお、第２の焦点検出（撮像面位相差ＡＦ）においては、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換して焦点検出を行う。
【００６２】
［リフォーカス処理］
次に、上述した撮像素子２４から得られたライトフィールド（ＬＦ）データを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。
【００６３】
図８は、本実施形態の撮像素子により取得された第１焦点検出信号と第２焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理の概略説明図である。図８の撮像面８００は、図６、図７に示した撮像面８００に対応している。図８では、ｉを整数として、撮像面８００に配置された撮像素子の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉで模式的に表している。第１焦点検出信号Ａｉは、図６の瞳部分領域５０１に対応して、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２焦点検出信号Ｂｉは、図６の瞳部分領域５０２に対応して、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００６４】
第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトさせることに対応する。また、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトさせることに対応する。したがって、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成することができる。
【００６５】
本実施形態では、リフォーカス画像生成部４４により、第１焦点検出信号と第２焦点検出信号に、第２フィルター処理と第２シフト処理を行い、加算してシフト加算信号を生成する。そして、生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成する。なお、本実施形態の撮像素子２４の撮像画素の配列の場合には、撮像画素がｘ方向に２分割、ｙ方向に１分割されているため、シフト加算信号を生成する方向がｘ方向（水平方向、横方向）に限定される。
【００６６】
［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス画像生成部４４によって仮想結像面でのリフォーカス画像を生成できる範囲は限定される。図９は、本実施形態におけるリフォーカス可能範囲の概略説明図である。
【００６７】
許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨ・Ｆと暗くなる。第１焦点検出信号（第２焦点検出信号）毎の実効的な被写界深度は±ＮＨ・ＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。実効的な被写界深度±ＮＨ・Ｆδの範囲内では、第１焦点検出信号（第２焦点検出信号）毎に合焦した被写体像が取得されている。よって、図８に示した主光線角度θａ（θｂ）に沿って第１焦点検出信号（第２焦点検出信号）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。撮影後に合焦位置を再調整（リフォーカス）できるデフォーカス量ｄは限定されており、リフォーカス可能なデフォーカス量ｄの範囲は、概ね、式（１）の範囲である。
【００６８】
｜ｄ｜≦ＮＨ・Ｆδ      …（１）
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、画素加算処理後の第１焦点検出信号（第２焦点検出信号）の周期ΔＸＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸＡＦ）の逆数を許容錯乱円δ＝２ΔＸＡＦとしても用いても良い。シフト加算信号（リフォーカス信号）を用いて仮想結像面でのリフォーカス画像を生成する際に、許容錯乱円δを満たすリフォーカス画像を生成できる範囲は、概ね、式（１）の範囲に限定される。
【００６９】
［ＡＦ（オートフォーカス）マイクロアジャストメント機能］
図１０はＡＦマイクロアジャストメントの設定画面を示す図である。本実施形態における撮像装置はＡＦマイクロアジャストメント機能を有している。ＡＦマイクロアジャストメント機能とは、ユーザーが撮影した画像に基づいて、ＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれ量とその方向を判断して、ユーザー自ら補正値を設定するシステムである。この補正値は、実際の撮影時（記録用画像の撮影時）に行われる位相差ＡＦの補正に用いられる。図１０に示すように、本実施形態における撮像装置のＡＦマイクロアジャストメントは、補正間隔をＰとすると、±２０Ｐの範囲内でＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれを補正できる。図１０中の０はカメラ２が工場出荷時に設定された基準位置である。
【００７０】
次に、本実施形態におけるカメラ２のＡＦ（オートフォーカス）キャリブレーション（以下、ＣＡＬ）モードについて説明する。図１１は、本実施形態におけるＣＡＬモードの動作を示すフローチャートである。
【００７１】
ユーザーによってＣＡＬモードが選択されると、ステップＳ１００へ進む。ステップＳ１００では、カメラ制御部４０は、不図示のレリーズスイッチの半押し操作により第１スイッチ（ＳＷ１）がＯＮになったか否かを判定する。ＯＮになっていない場合は待機状態になり、ＯＮになった場合はステップＳ２００へ進む。
【００７２】
ステップＳ２００では、ＡＦセンサユニット２２による位相差ＡＦが行われる。詳細は後述する。ステップＳ２００の位相差ＡＦが完了すると、ステップＳ３００へ進む。ステップＳ３００では、被写体情報評価値の算出を行う。被写体情報の中には、ＡＦ信頼性評価値などが含まれる。ＡＦ信頼性評価値は、ＡＦセンサユニット２２内に配置されたエリアセンサで受光した信号に基づいて算出される。たとえば、前述したＳレベル値ＳＬなどである。
【００７３】
ＡＦセンサユニット２２は被写体が暗いときや、コントラストが低い場合などに、焦点検出精度が低下することがある。焦点検出精度が低下するような被写体の場合には被写体情報評価値であるＡＦ信頼性評価値は低い値となるように算出される。また、被写体情報評価値はＡＦ信頼性評価値に限定されず、被写体の空間周波数情報や、被写体のエッジ情報（隣接画素値の差分の積分値など）の大小に応じて算出しても構わない。また、被写体情報評価値を算出するための被写体情報の検出は、ＡＦセンサユニット２２内に備えられたエリアセンサに限定されるものではなく、光学ファインダに配置されるＡＥセンサ３３における被写体検知機能による検出でもよい。また、撮像素子２４による検出であっても構わない。被写体情報評価値の算出が完了すると、ステップＳ４００へ進む。
【００７４】
ステップＳ４００では、ステップＳ３００で算出された被写体情報評価値をもとにＣＡＬが可能かどうか判定される。例えば、被写体情報評価値であるＡＦ信頼性評価値が高い場合、つまり、ＣＡＬが可能と判定されれば、ステップＳ７００へ進み、ＡＦ信頼性評価値が低い場合、つまり、ＣＡＬが不可能と判定されれば、ステップＳ５００へ進む。なお、ＡＦ信頼性評価値は複数の観点で算出され、複数の値が存在する。前述のように、被写体の輝度や、被写体のコントラストなど複数の観点がある。この場合には、すべてのＡＦ信頼性評価値が所定の条件を満足するかどうかで判定してもよいし、定められたある観点での値に基づいて判定しても構わない。ステップＳ５００では、背面モニタ４３を用いて、焦点検出対象被写体はＣＡＬに不適切であることをユーザーに通知する。通知が完了すると、ステップＳ６００へ進む。
【００７５】
ステップＳ６００では、ユーザーがＣＡＬを終了するか否かを決定する。背面モニタ４３上には再度ＣＡＬを行うか否かの判断をユーザーに決定させるための表示を行い、ユーザーは不図示の操作ボタンを操作して再度ＣＡＬを行うか否かを決定する。再度ＣＡＬを行うと決定されれば、ステップＳ１００へと戻り、ＣＡＬを終了すると決定されれば、ＣＡＬモードは終了する。
【００７６】
ステップＳ７００では、フォーカスレンズ１０ａを所定量ずつ移動させてピントをずらしながら複数枚の画像を撮影するフォーカスブラケット撮影が行われる。詳細は後述する。フォーカスブラケット撮影が完了すると、ステップＳ８００へ進む。ステップＳ８００では、上記の複数枚の画像の中からユーザーによりピントが最も合っていると思われる画像の選択が行われる。詳細は後述する。
【００７７】
ステップＳ９００では補正値の格納が行われる。ユーザーが選択した画像に関連付けられたデフォーカス量あるいはレンズ位置に対応した算出デフォーカス量に基づいて補正値が決定される。決定された補正値はカメラ記憶部４２に記憶される。また、格納された補正値がユーザーに通知される。
【００７８】
図１２は背面モニタ４３が格納された補正値を表示する画面を示した図である。図１２中、白抜きの三角表示はこれまでの補正値を示しており、黒塗りの三角表示は今回のキャリブレーション動作で格納される新補正値を示している。図１２に示した表示を行うことにより、ユーザーはどのような補正値が格納されたかを確認することができる。補正値の格納が完了すると、ＣＡＬモードを終了する。
【００７９】
図１３は、本実施形態におけるＣＡＬモードのサブフローである位相差ＡＦフローを示す図である。
【００８０】
ステップＳ２０１では、ＡＦラインフラグのリセットが行われる。ＡＦラインフラグは、ＡＦセンサユニット２２内に配置された焦点検出ライン（Ｌ１〜Ｌ２１）の、縦目と横目についてのフラグである。縦目に対するフラグはＡＦＶであり、横目に対するフラグはＡＦＨである。
【００８１】
ステップＳ２０２では、カメラ制御部４０は、撮影範囲内に設けられた２１個の焦点検出ラインの中から、ユーザーの選択操作又は所定のアルゴリズムに従って１つの焦点検出ラインを指定する。
【００８２】
ステップＳ２０３では、カメラ制御部４０は、ステップＳ２０２で指定された焦点検出ラインが焦点検出範囲の中央領域に含まれる焦点検出ラインＬ１〜Ｌ４およびＬ１９であるか否かを判定する。指定された焦点検出ラインが中央領域の焦点検出ラインでなければステップＳ２０４に進み、中央領域の焦点検出ラインであればステップＳ２０６に進む。
【００８３】
ステップＳ２０４では、カメラ制御部４０は、指定された焦点検出ラインに対応するＡＦセンサユニット２２のエリアセンサ上の一対の受光素子列から一対の像信号を取り込む。そして、その一対の像信号の位相差を算出し、さらにその位相差からデフォーカス量を算出する。また、指定された焦点検出ラインを特定焦点検出ラインとして決定する。そして、ステップＳ２０５に進む。
【００８４】
ステップＳ２０５では、カメラ制御部４０は、ステップＳ２０４で取り込んだ各焦点検出ラインに対応する一対の像信号から、それらの一致度Ｕ、相関変化量ΔＶ、シャープネスＳＨおよび明暗比ＰＢＤを算出する。さらにこれら４つのパラメータの値を用いて、前述したＳレベル値ＳＬを算出する。ＳレベルＳＬの算出が完了したら、ステップＳ２０９へ進む。
【００８５】
ステップＳ２０６では、カメラ制御部４０は、焦点検出範囲の中央領域に含まれる各焦点検出ラインに対応するエリアセンサ上の一対の受光素子列から一対の像信号を取り込む。そして、その一対の像信号の位相差を算出し、さらにその位相差からデフォーカス量を算出する。そして、ステップＳ２０７に進む。
【００８６】
ステップＳ２０７では、カメラ制御部４０は、ステップＳ２０５と同様に、ステップＳ２０６で取り込んだ各焦点検出ラインに対応する一対の像信号から、Ｓレベル値ＳＬを算出する。ＳレベルＳＬの算出が完了したら、ステップＳ２０８へ進む。
【００８７】
ステップＳ２０８では、カメラ制御部４０は、撮影範囲の中央領域に含まれる各焦点検出ラインのＳレベル値ＳＬのうち最も小さい値に対応する焦点検出ライン（つまり、信頼性の高い焦点検出ライン）を、特定焦点検出ラインとして決定する。そして、ステップＳ２０９に進む。
【００８８】
ステップＳ２０９では、Ｓ２０８、Ｓ２０４によって決定された特定焦点検出ラインが、横目であるか否かを判定する。横目である場合はステップＳ２１０へ進み、横目でない場合（縦目である場合）はステップＳ２１１へ進む。なお、本実施形態ではＡＦセンサユニット２２の焦点検出ラインのレイアウトが縦目と横目のみの構成となっているため、ここではＡＦラインフラグは縦目と横目の２種類としている。焦点検出ラインのレイアウトはこれに限定されず、焦点検出ラインのレイアウトに合わせて、特定焦点検出ラインの選択条件、ＡＦラインフラグの数や種類を変更することも考えられる。
【００８９】
ステップＳ２１０では、横目のＡＦラインフラグＡＦＨを１に設定する。設定が完了したら、ステップＳ２１２へ進む。ステップＳ２１１では、縦目のＡＦラインフラグＡＦＶを１に設定する。設定が完了したら、ステップＳ２１２へ進む。
【００９０】
ステップＳ２１２では、カメラ制御部４０は、特定焦点検出ラインでのデフォーカス量から合焦状態を得るために必要なフォーカスレンズ１０ａの移動量（移動方向を含む）を算出する。具体的には、フォーカスレンズ１０ａを移動させるレンズ駆動部１１のアクチュエータの駆動パルス数を算出する。フォーカスレンズ１０ａの移動量を算出することは、位相差検出方式による合焦位置を算出することに相当する。なお、現時点でＡＦマイクロアジャストメント機能によって補正量が指定されている場合は、ステップＳ２１２で算出したフォーカスレンズ１０ａの移動量にＡＦマイクロアジャストメント機能により指定された補正値を加算（又は減算）し、移動量を補正する。補正値が作成されていない場合は、補正値が０になるので、フォーカスレンズ１０ａの移動量（位相差合焦位置）の補正は行われない。
【００９１】
ステップＳ２１３では、カメラ制御部４０は、補正された移動量だけフォーカスレンズ１０ａが移動されるようにレンズ制御部１３にフォーカス指令を送信する。これにより、レンズ制御部１３は、レンズ駆動部１１を通じてフォーカスレンズ１０ａを補正された位相差合焦位置に移動させる。ステップＳ２１２において補正前の移動量だけ（つまりは補正前の位相差合焦位置に）フォーカスレンズ１０ａを移動させてもよい。そして、ステップＳ２１３において、ＡＦマイクロアジャストメント機能で指定された補正量に相当する移動量だけフォーカスレンズ１０ａを再度移動させ、結果的にフォーカスレンズ１０ａを補正後の位相差合焦位置に移動させるようにしてもよい。以上、位相差ＡＦ動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ３００へ戻る。
【００９２】
図１４は、本実施形態におけるＣＡＬモードのサブフローであるフォーカスブラケット撮影フローを示す図である。
【００９３】
ステップＳ７０１では、ＡＦラインフラグＡＦＨが１であるか否かを判定する。ＡＦラインフラグＡＦＨが１である場合（つまり、特定焦点検出ラインが横目である場合）は、ステップＳ７０４へ進む。ＡＦラインフラグＡＦＨが０である場合（つまり、特定焦点検出ラインが縦目である場合）は、ステップＳ７０２へ進む。
【００９４】
ステップＳ７０２およびステップＳ７０３では、ＡＦＨが０である場合（つまり、特定焦点検出ラインが縦目である場合）のレンズ駆動量ｗとフォーカスブラケット撮影の撮影枚数ｍを決定する。
【００９５】
図１５はフォーカスブラケット撮影に関するレンズ駆動量ｗと、撮影枚数ｍの関係を示す図である。図１５（ａ）は、ＡＦＨが０である場合の図である。図１５（ａ）において、レンズ位置＝０の位置は、図１１のフローチャートにおけるステップＳ２００の位相差ＡＦによってフォーカスレンズ１０ａが駆動された後に停止した位置（ピント位置）であり、図１４のサブフローのフォーカスレンズ１０ａの開始位置である。フォーカスレンズ１０ａはカメラ制御部４０に備えられたカウンターのカウント値に応じた位置に駆動される。レンズ駆動量ｗは、前述したＡＦマイクロアジャストメントの補正間隔Ｐに係数ｋ（係数ｋはｋ≧２の整数値）を掛けた量（ｋ・Ｐ）である。この場合、レンズ駆動量ｗの計算には、縦目選択時の係数ｋの値であるＶｋが代入され、ｗ＝Ｖｋ・Ｐとなる。本実施形態では、係数Ｖｋ＝２とするため、レンズ駆動量ｗ＝Ｖｋ・Ｐ＝２Ｐとなる。レンズ駆動量ｗを決定したら、ステップＳ７０３へ進む。
【００９６】
ステップＳ７０３では、フォーカスブラケット撮影の撮影枚数ｍを決定する。撮影枚数ｍはＡＦラインフラグＡＦＨが０の場合には、縦目選択時の撮影枚数Ｖｍが代入される。本実施形態では、撮影枚数ｍ＝Ｖｍ＝９とする。撮影枚数ｍを決定したら、ステップＳ７０６へ進む。
【００９７】
ステップＳ７０４およびステップＳ７０５では、ＡＦＨが１である場合（つまり、特定焦点検出ラインが横目である場合）のレンズ駆動量ｗとフォーカスブラケット撮影の撮影枚数ｍを決定する。
【００９８】
ステップＳ７０４では、レンズ駆動量ｗを決定する。図１５（ｂ）は、ＡＦＨが１である場合の、フォーカスブラケット撮影に関するレンズ駆動量ｗと、撮影枚数ｍの関係を示す図である。レンズ駆動量ｗは前述したステップＳ７０２と同様、補正間隔Ｐに係数ｋを掛けた量（ｋ・Ｐ）である。この場合、レンズ駆動量ｗには、横目選択時の係数ｋの値である係数Ｈｋが代入され、ｗ＝Ｈｋ・Ｐとなる。本実施形態では、横目選択時のレンズ駆動量ｗ＝６Ｐとする。
【００９９】
本実施形態では、リフォーカス画像生成時のシフト加算が水平方向であるため、ＡＦＨが１の場合、後述する図１６の画像選択のフローチャートにおいて、リフォーカス画像が生成可能である。つまり、フォーカスブラケット撮影で得られた撮影画像（図１５（ｂ）のＢ０）から、前述したリフォーカス可能範囲でリフォーカス画像（図１５（ｂ）のＢ０ａ，Ｂ０ｂ）を生成できる。言い換えれば、フォーカスブラケット撮影で実際に撮影された画像の前後の画像を、画像処理によって生成することができる。本実施形態では、±（ｍ−１）／２ｗに相当するデフォーカス量でリフォーカス処理を施し、リフォーカス画像を生成する。そのため、図１５（ｂ）に示すように、撮影画像Ｂ０から、＋（ｍ−１）／２ｗに相当するデフォーカス量で無限遠側へリフォーカス処理を施したリフォーカス画像Ｂ０ａ（図１５（ａ）の撮影画像Ａ０に相当）を生成することができる。同様に、至近側へリフォーカス処理を施したリフォーカス画像Ｂ０ｂ（図１５（ａ）の撮影画像Ａ２に相当）を生成することも可能である。すなわち、１枚の撮影画像（Ｂ０）から２枚の画像（Ｂ０ａ，Ｂ０ｂ）を生成することができるため、横目選択時の係数Ｈｋ（＝６）は、縦目選択時の係数Ｖｋ（＝２）の３倍とすることが可能となる。よって、横目選択時の係数Ｈｋ＝６とし、レンズ駆動量ｗ＝Ｈｋ・Ｐ＝６Ｐとする。つまり、縦目選択時のレンズ駆動量ｗ＝Ｖｋ・Ｐ（＝２Ｐ）と横目選択時のレンズ駆動量ｗ＝Ｈｋ・Ｐ（＝６Ｐ）の関係は、Ｈｋ・Ｐ＞Ｖｋ・Ｐであり、縦目選択時に比べてレンズ駆動量ｗを大きく設定することができる。レンズ駆動量ｗを決定したら、ステップＳ７０５へ進む。
【０１００】
ステップＳ７０５では、フォーカスブラケット撮影の撮影枚数ｍを決定する。撮影枚数ｍはＡＦラインフラグＡＦＨが１の場合には、横目選択時の撮影枚数Ｈｍが代入される。本実施形態では、撮影枚数ｍ＝Ｈｍ＝３とする。ステップＳ７０４と同様、±（ｍ−１）／２ｗに相当するデフォーカス量でリフォーカス処理を施し、リフォーカス画像を生成できる。すなわち、１枚の撮影画像（Ｂ０）から２枚の画像（Ｂ０ａ，Ｂ０ｂ）を生成することができるため、横目選択時の撮影枚数Ｈｍは、縦目選択時の撮影枚数Ｖｍ（＝９）の３分の１の撮影枚数でよい。つまり、縦目選択時の撮影枚数Ｖｍ（＝９）と横目選択時の撮影枚数Ｈｍ（＝３）の関係は、Ｖｍ＞Ｈｍであり、縦目選択時に比べて撮影枚数ｍを少なく設定することができる。撮影枚数ｍを決定したら、ステップＳ７０６へ進む。
【０１０１】
なお、本実施形態では撮影枚数ｍはカメラによって設定されているが、ユーザーが任意に設定するようにしても構わない。ユーザーのレベルに応じて変更可能にすることでユーザーに適したシステムとすることができる。また、本実施形態では撮影枚数ｍとレンズ駆動量ｗを変数としたが、いずれか及びその両方がカメラ２あるいは交換レンズ１の固有値であっても構わない。
【０１０２】
ステップＳ７０６では、カメラ制御部４０は、カウンターのリセット（カウント値ｎ＝０にする）を行う。カウンターリセットが完了すると、ステップＳ７０７へ進む。ステップＳ７０７では、ＡＦセンサユニット２２からＡＦ情報を検出する。その際、図１３の位相差ＡＦのサブフローチャートにおけるステップＳ２０４およびステップＳ２０８によって決定された特定焦点検出ラインを使用する。ＡＦ情報は、焦点状態（デフォーカス量）や、その他一対の像信号に関する情報などである。ＡＦ情報の検出が完了すると、ステップＳ７０８へ進む。
【０１０３】
ステップＳ７０８では、ミラーアップ動作が行われる。主ミラー２０およびサブミラー２１がアップ位置に退避すると、ステップＳ７０９へ進む。ステップＳ７０９では、フォーカスレンズ１０ａが駆動される。図１５に示すようにカウント値ｎ＝０の時、フォーカスレンズ１０ａは−（ｍ−１）／２ｗの位置に移動する。カウント値ｎ≧１の時、フォーカスレンズ１０ａは停止している位置から＋ｗ分無限遠側に移動する。フォーカスレンズ１０ａの駆動が完了すると、ステップＳ７１０へ進む。
【０１０４】
ステップＳ７１０では、静止画撮影が行われる。撮影された画像は、ステップＳ７０７で取得したＡＦ情報やレンズ位置に関連付けられてカメラ記憶部４２に記憶される。撮影画像の記録が完了すると、ステップＳ７１１へと進む。ステップＳ７１１では、ミラーダウン動作が行われる。主ミラー２０およびサブミラー２１がダウン位置に移動する。ミラーダウン動作が完了すると、ステップＳ７１２へ進む。
【０１０５】
ステップＳ７１２では、カメラ制御部４０に備えられたカウンターのカウント値を１つカウントアップ（ｎ＝ｎ＋１）する。カウントアップが完了すると、ステップＳ７１３へと進む。ステップＳ７１３では、カメラ制御部４０に備えられたカウンターのカウント値が撮影枚数ｍに達したかどうか（ｎ＝ｍ−１）が判定される。撮影枚数ｍに達していなければステップＳ７０３へと戻り、撮影枚数ｍに達していれば、フォーカスブラケット撮影の動作フローは完了する。以上、フォーカスブラケット撮影動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ８００へ戻る。
【０１０６】
図１６は、本実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。
【０１０７】
ステップＳ８０１では、横目のＡＦラインフラグＡＦＨが１であるか否かを判定する。横目のＡＦラインフラグＡＦＨが１である場合（つまり、特定焦点検出ラインに横目を使用し、ＣＡＬにおけるＡＦ情報検出を行う焦点検出ラインが横目である場合）は、ステップＳ８０２へ進む。横目のＡＦラインフラグＡＦＨが０である場合（つまり、特定焦点検出ラインに縦目を使用し、ＣＡＬにおけるＡＦ情報検出を行う焦点検出ラインが縦目である場合）は、ステップＳ８０３へ進む。
【０１０８】
ステップＳ８０２では、リフォーカス画像生成部４４によって、水平方向へシフト加算させたリフォーカス画像の生成を行う。本実施形態では、撮像素子２４の光電変換部がｘ方向に２分割、ｙ方向に１分割に形成されているため、リフォーカス画像生成時のシフト加算は、ｘ方向（水平方向、横方向）に限定される。そのため、ｘ方向（水平方向、横方向）の輝度分布から焦点状態を検出する横目を選択した場合（つまり、横目のＡＦラインフラグＡＦＨが１である場合）にのみ、リフォーカス画像の生成を許可するようなフローとなっている。リフォーカス画像の生成が完了したら、ステップＳ８０３へ進む。
【０１０９】
ステップＳ８０３では、背面モニタ４３によってユーザーへ画像（表示画像）を提示する。このとき、ステップＳ８０２においてリフォーカス画像を生成した場合には、フォーカスブラケットにより実際に撮影された画像とあわせて、リフォーカス画像も提示する。表示される画像の枚数は１枚ずつでもよいし、複数枚並べて表示しても構わない。画像の提示が完了したら、ステップＳ８０４へ進む。
【０１１０】
ステップＳ８０４では、ユーザーが画像を決定したか否かが判定される。ユーザーは、提示された画像の中から最も合焦状態にある画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップＳ８０５へ進む。
【０１１１】
ステップＳ８０５では、ステップＳ８０４で選択された画像に基づいて、補正値の算出を行う。各画像には、図１４のフォーカスブラケット撮影フローにおけるステップＳ７０７で取得したＡＦ情報あるいはレンズ位置に対応したデフォーカス量が算出され、補正値用の情報として関連付けられている。ユーザーが選択した画像に関連付けられたＡＦ補正値用の情報を用いて補正値を算出し、補正値が決定される。なお、ステップＳ８０４で選択された画像がリフォーカス画像である場合には、リフォーカス画像の元となる画像のデフォーカス量と選択されたリフォーカス画像のデフォーカス量の差分を算出し、リフォーカス画像の元となる画像に関連付けられたデフォーカス量に加算あるいは減算した値を補正値用の情報として関連付ける。その補正値用の情報を用いて補正値を算出することで補正値を決定する。また、選択されたリフォーカス画像の前後の撮影画像から、デフォーカス量を補間して算出した値を補正値用の情報として関連付け、そこから補正値を決定してもよい。以上、画像選択動作が完了したら、図１１のＣＡＬモードのメインフローのステップＳ９００へ戻る。
【０１１２】
なお、ステップＳ８０２においては、本実施形態では、撮像素子２４の光電変換部がｘ方向に２分割、ｙ方向に１分割に形成されている例で説明したが、本発明はこれに限定されるものではない。たとえば、撮像素子の光電変換部がｘ方向に１分割、ｙ方向に２分割に形成されている場合においては、リフォーカス画像生成時のシフト加算は、ｙ方向（垂直方向、縦方向）に限定される。その場合、ＣＡＬモードにおける画像選択時には、ｙ方向（垂直方向、縦方向）の輝度分布から焦点状態を検出する縦目を選択した場合にのみ、リフォーカス画像の生成を許可することになる。
【０１１３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１４】
例えば、上記の実施形態では、焦点検出専用に設けられたＡＦセンサユニット２２を用いて焦点検出を行ったが、図３に示したように１つの単位画素に複数の光電変換素子を有する撮像素子を用いて焦点検出を行ってもよい。
【０１１５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１６】
１０：撮影光学系、１０ａ：フォーカスレンズ、２２：ＡＦセンサユニット、２４：撮像素子、４１：デジタル信号処理部、４４：リフォーカス画像生成部
【図１】
2017192028.tif 000003
【図２】
2017192028.tif 000004
【図３】
2017192028.tif 000005
【図４】
2017192028.tif 000006
【図５】
2017192028.tif 000007
【図６】
2017192028.tif 000008
【図７】
2017192028.tif 000009
【図８】
2017192028.tif 000010
【図９】
2017192028.tif 000011
【図１０】
2017192028.tif 000012
【図１１】
2017192028.tif 000013
【図１２】
2017192028.tif 000014
【図１３】
2017192028.tif 000015
【図１４】
2017192028.tif 000016
【図１５】
2017192028.tif 000017
【図１６】
2017192028.tif 000018