(57)【要約】【課題】焦点調節のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにするとともに、ユーザーがピントの変化を容易に判断できるようにする。【解決手段】ライトフィールドデータを取得可能な撮像部と、撮像部により取得されたライトフィールドデータを用いて、リフォーカス画像を生成する生成部と、表示部への画像の表示を制御する表示制御部と、リフォーカス画像における被写体のエッジ部を検出する検出部とを備え、リフォーカス画像を含む複数の画像の中からいずれかを選択させる所定のモードにおいて、表示制御部は、リフォーカス画像を表示する際に、検出部により検出されたエッジ部を強調表示するように表示部を制御する。【選択図】  図１７
2017175223.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドデータを取得可能な撮像手段と、
前記撮像手段により取得されたライトフィールドデータを用いて、リフォーカス画像を生成する生成手段と、
表示部への画像の表示を制御する表示制御手段と、
前記リフォーカス画像における被写体のエッジ部を検出する検出手段と、を備え、
前記リフォーカス画像を含む複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示制御手段は、前記リフォーカス画像を表示する際に、前記検出手段により検出されたエッジ部を強調表示するように前記表示部を制御することを特徴とする撮像装置。
【請求項２】
前記検出手段により検出されたエッジ部に、前記複数の表示画像間においてピントの変化があるか否かを判定する判定手段をさらに備え、前記表示制御手段は、前記判定手段によりピントの変化があると判定されたエッジ部を強調表示することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記表示制御手段は、前記判定手段によりピントの変化があると判定されたエッジ部を枠で囲むことにより、該エッジ部を強調表示することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記表示制御手段は、前記判定手段によりピントの変化があると判定されたエッジ部を拡大表示することにより、該エッジ部を強調表示することを特徴とする請求項２に記載の撮像装置。
【請求項５】
ユーザが、前記判定手段によりピントの変化があると判定されたエッジ部を拡大させるための指示を入力するための指示手段をさらに備えることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記表示制御手段は、前記判定手段によりピントの変化がないと判定されたエッジ部をマスク表示することを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記判定手段は、前記ライトフィールドデータの視差の方向と、被写体のエッジ部の傾きとに基づいて、該エッジ部にピントの変化があるか否かを判定することを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記複数の表示画像から、ユーザがピントが合っていると判断した画像を選択するための選択手段をさらに備えることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記選択手段により選択された画像のピント位置に基づいて、前記撮像装置のピント位置を補正する補正手段をさらに備えることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記補正手段による補正値を記憶する記憶手段をさらに備えることを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記表示部に表示する複数の表示画像のそれぞれについて、前記撮像手段により取得された実撮影画像か、前記生成手段により生成されたリフォーカス画像かを判定する画像判定手段をさらに備え、前記表示制御手段は、前記画像判定手段の判定に応じて、実撮影画像かリフォーカス画像かを判別できるように表示することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記表示制御手段は、前記表示画像が前記画像判定手段により実撮影画像と判定された場合に、前記表示画像が実撮影画像である旨を表示することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記表示制御手段は、前記表示画像が前記画像判定手段によりリフォーカス画像と判定された場合に、前記表示画像がリフォーカス画像である旨を表示することを特徴とする請求項１１または１２に記載の撮像装置。
【請求項１４】
前記表示制御手段は、前記画像判定手段により実撮影画像と判定された画像のみを表示する第１の再生モードと、前記画像判定手段により実撮影画像と判定された画像およびリフォーカス画像と判定された画像の両方を表示する第２の再生モードとを有することを特徴とする請求項１１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記表示画像を、前記第１の再生モードで再生させるか、前記第２のモードで再生させるかをユーザが指定する指定手段をさらに備えることを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記撮像手段は、１つのマイクロレンズに対して複数の光電変換部を有する画素が２次元状に配置された撮像素子を有することを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
ライトフィールドデータを取得可能な撮像手段を備える撮像装置を制御する方法であって、
前記撮像手段により取得されたライトフィールドデータを用いて、リフォーカス画像を生成する生成工程と、
表示部への画像の表示を制御する表示制御工程と、
前記リフォーカス画像における被写体のエッジ部を検出する検出工程と、を有し、
前記リフォーカス画像を含む複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示制御工程では、前記リフォーカス画像を表示する際に、前記検出工程において検出されたエッジ部を強調表示するように前記表示部を制御することを特徴とする撮像装置の制御方法。
【請求項１８】
請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１９】
請求項１７に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における焦点調節の誤差を補正する技術に関するものである。
【背景技術】
【０００２】
被写体に自動的に焦点を合わせる自動焦点調節装置を有する撮像装置においては、自動焦点調節装置が算出したデフォーカス量に誤差がある場合に、その誤差をキャリブレーション装置によって補正する機能が知られている。
【０００３】
特許文献１には、自動焦点調節装置の補正値を取得するモードとして、キャリブレーションモードを備える撮像装置が開示されている。複数の異なるフォーカスレンズ位置で画像とデフォーカス量を取得し、ユーザーが、取得された画像からジャストピントの画像を選択する。そして、選択された画像と同時に取得したデフォーカス量を補正値として記憶する。
【０００４】
一方、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献２には、１つのマイクロレンズに対して複数に分割された光電変換部が配置されている２次元撮像素子を備えた撮像装置が開示されている。分割された光電変換部は、１つのマイクロレンズを介して撮影レンズの射出瞳の異なる瞳部分領域からの光を受光するように構成され、瞳分割を行っている。これらの分割された光電変換部それぞれで受光した被写体光を光電変換して生成された画像信号から、分割された瞳部分領域に応じた複数の視差画像を生成することができる。
【０００５】
特許文献３には、フォーカスレンズを動かしながらブラケット撮影を行うことで、複数の視差画像を生成できる範囲を拡大する撮像装置が提案されている。撮影された複数の視差画像は、光強度の空間分布および角度分布情報であるＬｉｇＨｔ Ｆｉｅｌｄ（ＬＦ）データと等価である。非特許文献１には、取得されたＬＦデータを用いて撮像面とは異なる仮想結像面における画像を合成することで、撮影後に撮像画像の合焦位置を変更するリフォーカス技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−１０９６２１号公報
【特許文献２】米国特許第４４１０８０４号公報
【特許文献３】特開２０１０−１９７５５１号公報
【非特許文献】
【０００７】
【非特許文献１】Ｓｔａｎｆｏｒｄ ＴｅｃＨ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２，１（２００５）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の特許文献１に開示された従来技術では、ユーザーがピントの変化を確認できる複数枚の画像を撮影するために、レンズを動かしながら撮影する動作を繰り返し行う必要があり、撮影に時間がかかってしまう。また、この動作により撮影された複数枚の画像から、ユーザーがピントの合った画像を選択できるようにするための具体的な表示方法については開示されていない。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、焦点調節のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるようにするとともに、ユーザーがピントの変化を容易に判断できるようにすることである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、ライトフィールドデータを取得可能な撮像手段と、前記撮像手段により取得されたライトフィールドデータを用いて、リフォーカス画像を生成する生成手段と、表示部への画像の表示を制御する表示制御手段と、前記リフォーカス画像における被写体のエッジ部を検出する検出手段と、を備え、前記リフォーカス画像を含む複数の画像の中からいずれかを選択させる所定のモードにおいて、前記表示制御手段は、前記リフォーカス画像を表示する際に、前記検出手段により検出されたエッジ部を強調表示するように前記表示部を制御することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、焦点調節のキャリブレーションを行う場合に、ピントの異なる複数枚の画像を容易に取得できるとともに、ユーザーがピントの変化を容易に判断することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係わる撮像装置の概略構成図。
【図２】撮像素子の画素配置を示す図。
【図３】撮像素子の画素の概略平面図と概略断面図。
【図４】撮像素子の画素と瞳分割の概略説明図。
【図５】撮像素子と瞳分割の概略説明図。
【図６】デフォーカス量と像ずれ量の関係を示す図。
【図７】リフォーカス処理の概略説明図。
【図８】リフォーカス可能範囲の概略説明図。
【図９】ＡＦマイクロアジャストメントの設定画面の概略図。
【図１０】第１の実施形態におけるＣＡＬモードのメインのフローチャート。
【図１１】第１の実施形態におけるＣＡＬモードの補正値を表示する画面の概略図。
【図１２】第１の実施形態における位相差ＡＦのフローチャート。
【図１３】第１の実施形態におけるフォーカスブラケット撮影のフローチャート。
【図１４】第１の実施形態におけるフォーカスブラケット撮影に関するパラメータの概略図。
【図１５】第１の実施形態における画像選択動作のフローチャート。
【図１６】第１の実施形態における画像選択動作の説明図。
【図１７】第１の実施形態におけるリフォーカス画像のエッジ部の処理に関するフローチャート。
【図１８】第１の実施形態におけるリフォーカス画像のエッジ部の処理の他の方法に関するフローチャート。
【図１９】第１の実施形態におけるリフォーカス画像の表示の説明図。
【図２０】第１の実施形態における斜めエッジを有する被写体の説明図。
【図２１】本発明の第２の実施形態に係わる撮像装置の概略構成図。
【図２２】第２の実施形態における画像選択動作のフローチャート。
【図２３】第２の実施形態におけるリフォーカス画像の表示の説明図。
【図２４】第２の実施形態におけるリフォーカス画像の表示の説明図。
【図２５】第３の実施形態におけるＣＡＬモードの画像選択の説明図。
【図２６】第３の実施形態における画像選択動作のフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１４】
（第１の実施形態）
［全体構成］
図１は、本発明の撮像装置の第１の実施形態であるデジタル一眼レフカメラのシステム構成を示す図である。図１において、カメラシステム１００は、カメラ２と、カメラ２に対して着脱可能な交換レンズ１とを備えて構成される。このカメラシステム１００は、位相差検出方式によるＡＦ（オートフォーカス）処理を行う機能と、撮影後に撮像画像の合焦位置を変更したリフォーカス画像を生成する機能と、位相差ＡＦの補正を行うフォーカスキャリブレーション機能とを有する。
【００１５】
交換レンズ１内には撮影光学系１０が収容されている。撮影光学系１０は、複数のレンズユニットや絞りにより構成される。また、複数のレンズユニットのうちフォーカスレンズユニット（以下、単にフォーカスレンズという）１０ａを光軸に沿う方向に移動させることで、ピント合わせを行うことができる。
【００１６】
レンズ駆動部１１は、ズームレンズやフォーカスレンズ１０ａを移動させるアクチュエータ、及びそのアクチュエータの駆動回路、アクチュエータの駆動力を各レンズに伝達する伝達機構を含む。レンズ状態検出部１２は、ズームレンズやフォーカスレンズ１０ａの位置、すなわちズーム位置およびフォーカス位置を検出する。
【００１７】
レンズ制御部１３は、ＣＰＵ等により構成され、後述するカメラ制御部４０からの指令に応じて交換レンズ１の動作を制御する。レンズ制御部１３は、電気接点１５のうちの通信端子を介してカメラ制御部４０と通信可能に接続される。また、交換レンズ１には、電気接点１５のうちの電源端子を通じて、カメラ２から電力が供給される。レンズ記憶部１４は、ＲＯＭ等により構成され、レンズ制御部１３での制御に用いられるデータ、交換レンズ１の識別情報、撮影光学系１０の光学情報等の各種情報が記憶されている。
【００１８】
カメラ２において、ハーフミラーで構成された主ミラー２０は、ユーザーが光学ファインダを通して被写体を観察する光学ファインダ観察時には、図示のように撮影光路内のダウン位置に配置されて撮影光学系１０からの光をピント板３０に向けて反射する。また、主ミラー２０は、背面モニタ４３にライブビュー画像を表示するライブビュー観察時や記録用画像（静止画および動画）を生成する撮影時には、撮影光路から退避するアップ位置に回動する。これにより、撮影光学系１０からの光は、シャッタ２３および撮像素子２４に向かう。
【００１９】
サブミラー２１は、主ミラー２０とともに回動し、ダウン位置に配置された主ミラー２０を透過した光をＡＦ（オートフォーカス）センサユニット２２に導く。また、主ミラー２０がアップ位置に回動すると、サブミラー２１も撮影光路から退避する。
【００２０】
ＡＦセンサユニット２２は、被写体から撮影光学系１０を通り、さらにサブミラー２１で反射して入射した光を用いて、カメラ２の撮影範囲内に設けられた複数の焦点検出領域において位相差検出方式による撮影光学系１０の焦点状態の検出（焦点検出）を行う。ＡＦセンサユニット２２は、各焦点検出領域からの光から一対の像（被写体像）を形成する２次結像レンズと、その一対の被写体像を光電変換する一対の受光素子列が配置されたエリアセンサ（ＣＣＤ又はＣＭＯＳ）とを有する。エリアセンサの一対の受光素子列は、一対の被写体像の輝度分布に応じた光電変換信号である一対の像信号をカメラ制御部４０に出力する。エリアセンサ上には、複数の焦点検出領域に対応した複数対の受光素子列が２次元配置されている。
【００２１】
カメラ制御部４０は、一対の像信号の位相差を算出し、その位相差から撮影光学系１０の焦点状態（デフォーカス量）を算出する。さらに、カメラ制御部４０は、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置である合焦位置を算出する。このような焦点検出方法のことを、第１の焦点検出（以下、単に位相差ＡＦ（オートフォーカス））と呼ぶ。
【００２２】
そして、カメラ制御部４０は、位相差ＡＦにより算出した合焦位置にフォーカスレンズ１０ａを移動させるようレンズ制御部１３にフォーカス指令を送信する。レンズ制御部１３は、受信したフォーカス指令に応じて、レンズ駆動部１１を介してフォーカスレンズ１０ａを合焦位置に移動させる。これにより、撮影光学系１０の合焦状態が得られる。
【００２３】
このようにして、位相差検出方式による焦点状態の検出と、その焦点状態に基づく合焦位置の算出と、その合焦位置へのフォーカスレンズ１０ａの移動とを含む位相差ＡＦが行われる。カメラ制御部４０は、フォーカス制御装置として機能する。
【００２４】
シャッタ２３は、光学ファインダ観察時には閉じ、ライブビュー観察時および動画撮影時には開放されて撮影光学系１０により形成された被写体像の撮像素子２４による光電変換（ライブビュー画像および撮影動画の生成）を可能とする。さらに、静止画撮影時には、設定されたシャッタ秒時で開閉し、撮像素子２４の露光を制御する。
【００２５】
撮像素子２４は、ＣＭＯＳイメージセンサ又はＣＣＤイメージセンサとその周辺回路により構成され、撮影光学系１０により形成された被写体像を光電変換してアナログ撮像信号を出力する。撮像素子２４には、撮像用画素と焦点検出用画素を兼用した瞳分割機能を有する複数の素が配置されている。これについては、後に詳しく説明する。
【００２６】
ピント板３０は、撮像素子２４と等価な位置である撮影光学系１０の１次結像面に配置されている。光学ファインダ観察時には、ピント板３０上に、被写体像（ファインダー像）が形成される。ペンタプリズム３１は、ピント板３０上に形成された被写体像を正立正像に変換する。接眼レンズ３２は、正立正像をユーザーに観察させる。ピント板３０、ペンタプリズム３１および接眼レンズ３２により光学ファインダが構成される。
【００２７】
ＡＥセンサ３３は、ピント板３０からの光を、ペンタプリズム３１を介して受光し、ピント板３０上に形成された被写体像の輝度を測定する。ＡＥセンサ３３は、複数のフォトダイオードを有し、カメラ２による撮影範囲を分割するように設定された複数の測光領域のそれぞれで輝度を測定することができる。また、被写体像の輝度測定の他に、被写体像の形や色などを測定して被写体の状態を判定する被写体検知機能も備える。
【００２８】
カメラ制御部４０は、ＭＰＵ等を含むマイクロコンピュータにより構成され、カメラ２と交換レンズ１を有するカメラシステム１００全体の動作を制御する。カメラ制御部４０は、前述したようにフォーカス制御手段として機能するとともに、後述するＡＦキャリブレーション手段（本実施形態ではＡＦマイクロアジャストメント機能という）としても機能する。また、撮像動作を制御する撮像制御手段、信頼度判定手段、およびフォーカスブラケット撮影を行う際の撮影回数をカウントするためのカウンターとしても機能する。
【００２９】
デジタル信号処理部４１は、撮像素子２４からのアナログ撮像信号をデジタル撮像信号に変換し、さらにそのデジタル撮像信号に対して各種処理を行って画像信号（画像データ）を生成する。撮像素子２４およびデジタル信号処理部４１により撮像系が構成される。
【００３０】
デジタル信号処理部４１は、撮像素子２４に配置されている瞳分割用の複数の画素を用いて、位相差検出方式による焦点状態の検出を行う。さらに、デジタル信号処理部４１が、検出した撮影光学系１０の焦点状態に基づいて、撮影光学系１０を合焦させるためにフォーカスレンズ１０ａを移動させるべき位置を算出することを、第２の焦点検出（以下、撮像面位相差ＡＦ（オートフォーカス））という。
【００３１】
デジタル信号処理部４１は、撮影後に撮影画像の合焦位置を変更するリフォーカス画像生成部４４を備える。リフォーカス画像生成の際に行われるリフォーカス処理については、後に詳しく説明する。カメラ記憶部４２は、カメラ制御部４０やデジタル信号処理部４１の動作で用いられる各種データを記憶している。また、カメラ記憶部４２は、生成された記録用画像を保存する。
【００３２】
表示制御部４５は、デジタル信号処理部４１で生成された画像を背面モニタ４３に表示させるとともに、表示させる画像に画像処理を施したり、メニュー表示の切り替えを行ったりして、各種表示の制御をカメラ制御部４０を介して行う。背面モニタ４３は、液晶パネル等の表示素子により構成され、ライブビュー画像、記録用画像および各種情報を表示する。
【００３３】
［撮像素子］
図２は、撮像素子２４の画素の２次元状の配列を示した概略図である。図２に示した２列×２行の画素群２００は、Ｒ（赤）の分光感度を有する画素２００Ｒが左上に、Ｇ（緑）の分光感度を有する画素２００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素２００Ｂが右下に配置されている。さらに、各画素は２列×１行に配列された第１光電変換部２０１と第２光電変換部２０２により構成されており、焦点検出用画素としても機能する。
【００３４】
図２に示した４列×４行の画素（８列×４行の光電変換部）を撮像面上に多数配置し、画像信号及び焦点検出信号の取得を可能としている。本実施形態では、画素の周期Ｐが４μｍ、画素数Ｎが横５５７５列×縦３７２５行＝約２０７５万画素、光電変換部の列方向周期ＰＡＦが２μｍ、光電変換部の数ＮＡＦが横１１１５０列×縦３７２５行＝約４１５０万個である撮像素子を用いるものとして説明する。
【００３５】
図２に示した撮像素子の１つの画素２００Ｇを、撮像素子の受光面側（＋ｚ側）から見た平面図を図３（ａ）に示し、図３（ａ）のａ−ａ断面を−ｙ側から見た断面図を図３（ｂ）に示す。
【００３６】
図３に示すように、画素２００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ３０５が形成され、ｘ方向にＮＨ分割（２分割）、ｙ方向にＮＶ分割（１分割）された光電変換部２０１，２０２が配置される。光電変換部２０１，２０２は、ｐ型層とｎ型層の間にイントリンシック層を挟んだｐｉｎ構造フォトダイオードとしても良いし、必要に応じて、イントリンシック層を省略し、ｐｎ接合フォトダイオードとしても良い。各画素には、マイクロレンズ３０５と、光電変換部２０１，２０２との間に、カラーフィルタ３０６が形成される。また、必要に応じて、各画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略しても良い。
【００３７】
図３に示した画素２００Ｇに入射した光は、マイクロレンズ３０５により集光され、カラーフィルタ３０６で分光された後、光電変換部２０１，２０２で受光される。光電変換部２０１，２０２では、受光量に応じて電子とホールが対生成し、空乏層で分離された後、負電荷の電子はｎ型層（不図示）に蓄積され、一方、ホールは定電圧源（不図示）に接続されたｐ型層を通じて撮像素子外部へ排出される。光電変換部２０１，２０２のｎ型層（不図示）に蓄積された電子は、転送ゲートを介して、フローティングディフュージョン部（ＦＤ）に転送され、電圧信号に変換される。
【００３８】
図４は、図３に示した画素構造と瞳分割との対応関係を示した概略説明図である。図３（ａ）に示した画素構造のａ−ａ断面を＋ｙ側から見た断面図と撮影光学系１０の射出瞳面を図４に示す。図４では、射出瞳面の座標軸と対応を取るために、断面図のｘ軸とｙ軸を図３に対して反転させている。
【００３９】
図４において、第１光電変換部２０１に対応する第１瞳部分領域５０１は、重心が−ｘ方向に偏心している第１光電変換部２０１の受光面と、マイクロレンズによって、概ね共役関係になっており、第１光電変換部２０１で受光可能な瞳領域を表している。第１光電変換部２０１に対応する第１瞳部分領域５０１は、瞳面上で重心が＋Ｘ方向に偏心している。本実施形態の撮像素子２４は、この構成により、光の強度とともに光の入射方向の情報を取得可能であり、いわゆるライトフィールドデータを取得可能である。
【００４０】
図４において、第２光電変換部２０２に対応する第２瞳部分領域５０２は、重心が＋ｘ方向に偏心している第２光電変換部２０２の受光面と、マイクロレンズによって、概ね共役関係になっており、第２光電変換部２０２で受光可能な瞳領域を表している。第２光電変換部２０２に対応する第２瞳部分領域５０２は、瞳面上で重心が−Ｘ方向に偏心している。また、図４において、瞳領域５００は、第１光電変換部２０１と第２光電変換部２０２を全て合わせた場合の画素２００Ｇ全体で受光可能な瞳領域である。
【００４１】
図５は、撮像素子と瞳分割との対応関係を示した概略図である。第１瞳部分領域５０１と第２瞳部分領域５０２の異なる瞳部分領域を通過した光束は、撮像素子の各画素にそれぞれ異なる角度で入射し、２×１分割された第１光電変換部２０１と第２光電変換部２０２で受光される。本実施形態は、瞳領域が水平方向に２つに瞳分割されている例である。必要に応じて、垂直方向に瞳分割を行っても良い。
【００４２】
本実施形態の撮像素子は、撮影光学系１０の第１瞳部分領域５０１を通過する光束を受光する第１光電変換部２０１と、第１瞳部分領域と異なる撮影光学系１０の第２瞳部分領域５０２を通過する光束を受光する第２光電変換部２０２とを有する画素が複数配列されている。第１光電変換部２０１と第２光電変換部２０２を合わせた１つの画素は、撮影光学系１０の第１瞳部分領域５０１と第２瞳部分領域５０２を合わせた瞳領域を通過する光束を受光する撮像用画素として機能する。必要に応じて、撮像用画素と、第１光電変換部および第２光電変換部とを別々の画素構成とし、撮像用画素配列の一部に、第１光電変換部に対応する第１焦点検出用画素と、第２光電変換部に対応する第２焦点検出用画素を部分的に配置する構成としても良い。
【００４３】
本実施形態では、撮像素子の各画素の第１光電変換部２０１の受光信号を集めて第１焦点検出信号を生成し、各画素の第２光電変換部２０２の受光信号を集めて第２焦点検出信号を生成して焦点検出を行う。また、撮像素子の画素毎に、第１光電変換部２０１の信号と第２光電変換部２０２の信号を加算することで、有効画素数Ｎの解像度の撮像信号（画像信号）を生成する。
【００４４】
［デフォーカス量と像ずれ量の関係］
以下、撮像素子２４により取得される第１焦点検出信号及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の関係について説明する。図６は、第１及び第２焦点検出信号に基づく像ずれ量と、デフォーカス量の概略関係を示す図である。撮像面８００に撮像素子２４が配置され、図４、図５と同様に、撮影光学系１０の射出瞳が、第１瞳部分領域５０１と第２瞳部分領域５０２に２分割される。
【００４５】
デフォーカス量ｄは、被写体の結像位置から撮像面８００までの距離を大きさ｜ｄ｜とし、被写体の結像位置が撮像面８００より被写体側にある前ピン状態を負符号（ｄ＜０）、被写体の結像位置が撮像面８００より被写体の反対側にある後ピン状態を正符号（ｄ＞０）で表わす。被写体の結像位置が撮像面８００（合焦位置）にある合焦状態はｄ＝０である。図６では、被写体８０１が合焦状態（ｄ＝０）で、被写体８０２が前ピン状態（ｄ＜０）である例を示している。前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）とする。
【００４６】
前ピン状態（ｄ＜０）では、被写体８０２からの光束のうち、第１瞳部分領域５０１（第２瞳部分領域５０２）を通過した光束は、一度、集光された後、光束の重心位置Ｇ１（Ｇ２）を中心として幅Γ１（Γ２）に広がり、撮像面８００でボケた像となる。ボケた像は、撮像素子に配列された各画素を構成する第１光電変換部２０１（第２光電変換部２０２）により受光され、第１焦点検出信号（第２焦点検出信号）が生成される。よって、第１焦点検出信号（第２焦点検出信号）は、撮像面８００上の重心位置Ｇ１（Ｇ２）に、被写体８０２が幅Γ１（Γ２）にボケた画像として記録される。被写体像のボケ幅Γ１（Γ２）は、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。同様に、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１−Ｇ２）の大きさ｜ｐ｜も、デフォーカス量ｄの大きさ｜ｄ｜が増加するのに伴い、概ね、比例して増加していく。後ピン状態（ｄ＞０）でも、第１焦点検出信号と第２焦点検出信号間の被写体像の像ずれ方向が前ピン状態と反対となるが、同様である。
【００４７】
したがって、本実施形態では、第１焦点検出信号と第２焦点検出信号、もしくは、第１焦点検出信号と第２焦点検出信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する。なお、第２の焦点検出（撮像面位相差ＡＦ）においては、第１焦点検出信号と第２焦点検出信号を相対的にシフトさせて信号の一致度を表す相関量（第１評価値）を計算し、相関（信号の一致度）が良くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第１焦点検出信号と第２焦点検出信号間の像ずれ量の大きさが増加する関係性から、像ずれ量をデフォーカス量に変換して焦点検出を行う。
【００４８】
［リフォーカス処理］
次に、上述した撮像素子２４から得られたライトフィールド（ＬＦ）データを用いたリフォーカス処理と、その場合のリフォーカス可能範囲について説明する。
【００４９】
図７は、本実施形態の撮像素子により取得された第１焦点検出信号と第２焦点検出信号による１次元方向（列方向、水平方向）のリフォーカス処理の概略説明図である。図７の撮像面８００は、図５、図６に示した撮像面８００に対応している。図７では、ｉを整数として、撮像面８００に配置された撮像素子の列方向ｉ番目の画素の第１焦点検出信号をＡｉ、第２焦点検出信号をＢｉで模式的に表している。第１焦点検出信号Ａｉは、図５の瞳部分領域５０１に対応して、主光線角度θａでｉ番目の画素に入射した光束の受光信号である。第２焦点検出信号Ｂｉは、図５の瞳部分領域５０２に対応して、主光線角度θｂでｉ番目の画素に入射した光束の受光信号である。
【００５０】
第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉは、光強度分布情報だけでなく、入射角度情報も有している。よって、第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させ、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させ、加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。第１焦点検出信号Ａｉを角度θａに沿って仮想結像面８１０まで平行移動させることは、列方向に＋０．５画素シフトさせることに対応する。また、第２焦点検出信号Ｂｉを角度θｂに沿って仮想結像面８１０まで平行移動させることは、列方向に−０．５画素シフトさせることに対応する。したがって、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを相対的に＋１画素シフトさせ、ＡｉとＢｉ＋１を対応させて加算することで、仮想結像面８１０でのリフォーカス信号を生成できる。同様に、第１焦点検出信号Ａｉと第２焦点検出信号Ｂｉを整数シフトさせて加算することで、整数シフト量に応じた各仮想結像面でのシフト加算信号（リフォーカス信号）を生成できる。生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成することができる。
【００５１】
本実施形態では、リフォーカス画像生成部４４により、第１焦点検出信号と第２焦点検出信号に、第２フィルター処理と第２シフト処理を行い、加算してシフト加算信号を生成する。そして、生成されたシフト加算信号（リフォーカス信号）を用いて画像を生成することにより、仮想結像面でのリフォーカス画像を生成する。なお、本実施形態の撮像素子２４の撮像画素の配列の場合には、撮像画素がｘ方向に２分割、ｙ方向に１分割されているため、シフト加算信号を生成する方向がｘ方向（水平方向、横方向）に限定される。
【００５２】
［リフォーカス可能範囲］
一方、リフォーカス可能範囲には限界があるため、リフォーカス画像生成部４４によって仮想結像面でのリフォーカス画像を生成できる範囲は限定される。図８は、本実施形態におけるリフォーカス可能範囲の概略説明図である。
【００５３】
許容錯乱円をδとし、結像光学系の絞り値をＦとすると、絞り値Ｆでの被写界深度は±Ｆδである。これに対して、ＮＨ×ＮＶ（２×１）分割されて狭くなった瞳部分領域５０１（５０２）の水平方向の実効絞り値Ｆ０１（Ｆ０２）は、Ｆ０１＝ＮＨ・Ｆと暗くなる。第１焦点検出信号（第２焦点検出信号）毎の実効的な被写界深度は±ＮＨ・ＦδとＮＨ倍深くなり、合焦範囲がＮＨ倍に広がる。実効的な被写界深度±ＮＨ・Ｆδの範囲内では、第１焦点検出信号（第２焦点検出信号）毎に合焦した被写体像が取得されている。よって、図７に示した主光線角度θａ（θｂ）に沿って第１焦点検出信号（第２焦点検出信号）を平行移動するリフォーカス処理により、撮影後に、合焦位置を再調整（リフォーカス）することができる。撮影後に合焦位置を再調整（リフォーカス）できるデフォーカス量ｄは限定されており、リフォーカス可能なデフォーカス量ｄの範囲は、概ね、式（１）の範囲である。
【００５４】
｜ｄ｜≦ＮＨ・Ｆδ      …（１）
許容錯乱円δは、δ＝２ΔＸ（画素周期ΔＸのナイキスト周波数１／（２ΔＸ）の逆数）などで規定される。必要に応じて、画素加算処理後の第１焦点検出信号（第２焦点検出信号）の周期ΔＸＡＦ（＝６ΔＸ：６画素加算の場合）のナイキスト周波数１／（２ΔＸＡＦ）の逆数を許容錯乱円δ＝２ΔＸＡＦとしても用いても良い。シフト加算信号（リフォーカス信号）を用いて仮想結像面でのリフォーカス画像を生成する際に、許容錯乱円δを満たすリフォーカス画像を生成できる範囲は、概ね、式（１）の範囲に限定される。
【００５５】
［ＡＦ（オートフォーカス）マイクロアジャストメント機能］
図９はＡＦマイクロアジャストメントの設定画面を示す図である。本実施形態における撮像装置はＡＦマイクロアジャストメント機能を有している。ＡＦマイクロアジャストメント機能とは、ユーザーが撮影した画像に基づいて、ＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれ量とその方向を判断して、ユーザー自ら補正値を設定するシステムである。この補正値は、実際の撮影時（記録用画像の撮影時）に行われる位相差ＡＦの補正に用いられる。図９に示すように、本実施形態における撮像装置のＡＦマイクロアジャストメントは、補正間隔をＰとすると、±２０Ｐの範囲内でＡＦセンサユニット２２が検出する合焦位置と実際の合焦位置のずれを補正できる。図９中の０はカメラ２が工場出荷時に設定された基準位置である。
【００５６】
次に、本実施形態におけるカメラ２のＡＦ（オートフォーカス）キャリブレーション（以下、ＣＡＬ）モードについて説明する。図１０は、本実施形態におけるＣＡＬモードの動作を示すフローチャートである。
【００５７】
ユーザーによってＣＡＬモードが選択されると、ステップＳ１００へ進む。ステップＳ１００では、カメラ制御部４０は、不図示のレリーズスイッチの半押し操作により第１スイッチ（ＳＷ１）がＯＮになったか否かを判定する。ＯＮになっていない場合は待機状態になり、ＯＮになった場合はステップＳ２００へ進む。
【００５８】
ステップＳ２００では、ＡＦセンサユニット２２による位相差ＡＦが行われる。詳細は後述する。ステップＳ２００の位相差ＡＦが完了すると、ステップＳ３００へ進む。ステップＳ３００では、被写体情報評価値の算出を行う。ＡＦセンサユニット２２は被写体が暗いときや、コントラストが低い場合などに、焦点検出精度が低下することがある。焦点検出精度が低下するような被写体の場合には被写体情報評価値であるＡＦ信頼性評価値は低い値となるように算出される。また、被写体情報評価値はＡＦ信頼性評価値に限定されず、被写体の空間周波数情報や、被写体のエッジ情報（隣接画素値の差分の積分値など）の大小に応じて算出しても構わない。また、被写体情報評価値を算出するための被写体情報の検出は、ＡＦセンサユニット２２内に備えられたエリアセンサに限定されるものではなく、光学ファインダに配置されるＡＥセンサ３３による被写体検知機能による検出でもよい。また、撮像素子２４による検出であっても構わない。被写体情報評価値の算出が完了すると、ステップＳ４００へ進む。
【００５９】
ステップＳ４００では、ステップＳ３００で算出された被写体情報評価値をもとにＣＡＬが可能かどうか判定される。例えば、被写体情報評価値であるＡＦ信頼性評価値が高い場合、つまり、ＣＡＬが可能と判定されれば、ステップＳ７００へ進み、ＡＦ信頼性評価値が低い場合、つまり、ＣＡＬが不可能と判定されれば、ステップＳ５００へ進む。なお、ＡＦ信頼性評価値は複数の観点で算出され、複数の値が存在する。前述のように、被写体の輝度や、被写体のコントラストなど複数の観点がある。この場合には、すべてのＡＦ信頼性評価値が所定の条件を満足するかどうかで判定してもよいし、定められたある観点での値に基づいて判定しても構わない。ステップＳ５００では、背面モニタ４３を用いて、焦点検出対象被写体はＣＡＬに不適切であることをユーザーに通知する。通知が完了すると、ステップＳ６００へ進む。
【００６０】
ステップＳ６００では、ユーザーがＣＡＬを終了するか否かを決定する。背面モニタ４３上には再度ＣＡＬを行うか否かの判断をユーザーに決定させるための表示を行い、ユーザーは不図示の操作ボタンを操作して再度ＣＡＬを行うか否かを決定する。再度ＣＡＬを行うと決定されれば、ステップＳ１００へと戻り、ＣＡＬを終了すると決定されれば、ＣＡＬモードは終了する。
【００６１】
ステップＳ７００では、フォーカスレンズ１０ａを所定量ずつ移動させてピントをずらしながら複数枚の画像を撮影するフォーカスブラケット撮影が行われる。詳細は後述する。フォーカスブラケット撮影が完了すると、ステップＳ８００へ進む。ステップＳ８００では、上記の複数枚の画像の中からユーザーによりピントが最も合っていると思われる画像の選択が行われる。詳細は後述する。
【００６２】
ステップＳ９００では補正値の格納が行われる。ユーザーが選択した画像に関連付けられたデフォーカス量あるいはレンズ位置に対応した算出デフォーカス量に基づいて補正値が決定される。決定された補正値はカメラ記憶部４２に記憶される。また、格納された補正値がユーザーに通知される。
【００６３】
図１１は背面モニタ４３が格納された補正値を表示する画面を示した図である。図１１中、白抜きの三角表示はこれまでの補正値を示しており、黒塗りの三角表示は今回のキャリブレーション動作で格納される新補正値を示している。図１１に示した表示を行うことにより、ユーザーはどのような補正値が格納されたかを確認することができる。補正値の格納が完了すると、ＣＡＬモードを終了する。
【００６４】
図１２は、本実施形態におけるＣＡＬモードのサブフローである位相差ＡＦフローを示す図である。
【００６５】
ステップＳ２０１では、カメラ制御部４０は、特定の焦点検出ラインでのデフォーカス量から合焦状態を得るために必要なフォーカスレンズ１０ａの移動量（移動方向を含む）を算出する。具体的には、フォーカスレンズ１０ａを移動させるレンズ駆動部１１のアクチュエータの駆動パルス数を算出する。フォーカスレンズ１０ａの移動量を算出することは、合焦位置を算出することに相当する。なお、現時点でＡＦマイクロアジャストメント機能によって補正量が指定されている場合は、ステップＳ２０１において算出したフォーカスレンズ１０ａの移動量にＡＦマイクロアジャストメント機能により指定された補正値を加算（又は減算）し、フォーカスレンズ１０ａの移動量を補正する。補正値が作成されていない場合は、補正値が０になるので、フォーカスレンズ１０ａの移動量（合焦位置）の補正は行われない。
【００６６】
ステップＳ２０２では、カメラ制御部４０は、補正された移動量だけフォーカスレンズ１０ａが移動されるようにレンズ制御部１３にフォーカス指令を送信する。これにより、レンズ制御部１３は、レンズ駆動部１１を通じてフォーカスレンズ１０ａを補正された合焦位置に移動させる。なお、ステップＳ２０１において、補正前の移動量だけ（つまりは補正前の合焦位置に）フォーカスレンズ１０ａを移動させてもよい。そして、ステップＳ２０２において、ＡＦマイクロアジャストメント機能に指定された補正量に相当する移動量だけフォーカスレンズ１０ａを再度移動させ、結果的にフォーカスレンズ１０ａを補正後の合焦位置に移動させるようにしてもよい。
【００６７】
なお、ここではＡＦセンサユニット２２を用いた位相差ＡＦによりフォーカスレンズ１０ａを移動させているが、その他のオートフォーカス手段（たとえば、撮像面位相差ＡＦ）によるものでもよい。以上、位相差ＡＦ動作が終了したら、図１０のＣＡＬモードのメインフローのステップＳ３００へ戻る。
【００６８】
図１３は、本実施形態におけるＣＡＬモードのサブフローであるフォーカスブラケット撮影フローを示す図である。
【００６９】
ステップＳ７０１では、フォーカスレンズ１０ａの駆動量Ｗを決定する。図１４はフォーカスブラケット撮影におけるフォーカスレンズ１０ａの駆動量Ｗおよびｗと、撮影枚数Ｍおよびｍの関係を示している。図１４（ａ）は、従来技術によるフォーカスブラケット撮影におけるレンズ駆動量ｗと、撮影枚数ｍの関係を示す図であり、リフォーカス画像を用いずにフォーカスブラケット撮影を行う場合を示している。図１４（ｂ）は、リフォーカス画像を用いたフォーカスブラケット撮影を行う場合のレンズ駆動量Ｗと、撮影枚数Ｍの関係を示す図である。
【００７０】
図１４（ａ）および図１４（ｂ）において、レンズ位置＝０の位置は、図１０のフロー中のステップＳ２００の位相差ＡＦによってフォーカスレンズ１０ａが駆動された後に停止した位置であり、図１３のサブフローのフォーカスレンズ１０ａの開始位置である。レンズ駆動量Ｗおよびｗは、前述したＡＦマイクロアジャストメントの補正間隔Ｐに係数ｋ（係数ｋはｋ≧２の整数値）を掛けた量（ｋＰ）である。図１４（ｂ）において、フォーカスブラケット撮影で得られた撮影画像Ｂ０から、前述したリフォーカス可能範囲でリフォーカス画像Ｂ０ａ，Ｂ０ｂを生成し、フォーカスブラケット撮影で実際に撮影された画像の前後の画像を、画像処理によって生成する。そのため、レンズ駆動量Ｗを広く設定することができる。本実施形態では、±ｗに相当するデフォーカス量でリフォーカス処理を行い、リフォーカス画像を生成できる。図１４（ｂ）に示すように、撮影画像Ｂ０から、−ｗに相当するデフォーカス量で無限遠側へリフォーカス処理を行ったリフォーカス画像Ｂ０ａ（図１４（ａ）の撮影画像Ａ０のレンズ位置に相当）を生成することができる。同様に、＋ｗに相当するデフォーカス量で至近側へリフォーカス処理を行ったリフォーカス画像Ｂ０ｂ（図１４（ａ）の撮影画像Ａ２のレンズ位置に相当）を生成することも可能である。本実施形態では、１枚の撮影画像Ｂ０から２枚の画像Ｂ０ａ，Ｂ０ｂをリフォーカス処理により生成することができる。そのため、リフォーカス画像を用いたフォーカスブラケット撮影では、リフォーカス画像を用いない場合に比べて３倍の駆動量でレンズ駆動が可能である。つまり、Ｗ＝３×ｗという関係になる。レンズ駆動量Ｗが決定したら、ステップＳ７０２へ進む。
【００７１】
ステップＳ７０２では、フォーカスブラケット撮影の撮影枚数Ｍを決定する。ステップＳ７０１でレンズ駆動量Ｗを広く設定することができるため、同様の理由で、リフォーカス画像を用いないブラケット撮影時より撮影枚数Ｍを少なく設定することができる。本実施形態では、ステップＳ７０１で説明したように、±ｗに相当するデフォーカス量でリフォーカス処理を行い、リフォーカス画像を生成する。そのため、１枚の撮影画像Ｂ０から２枚のリフォーカス画像Ｂ０ａ，Ｂ０ｂを生成することができ、リフォーカス画像を用いないフォーカスブラケット撮影時の３分の１の撮影枚数でよい。つまり、Ｍ＝（１／３）×ｍという関係になる。なお、本実施形態では、撮影枚数Ｍはカメラによって設定されているが、ユーザーが任意に行うようにしても構わない。ユーザーのレベルに応じて可変にすることで、ユーザーに適したシステムとすることができる。また、本実施形態では撮影枚数Ｍとレンズ駆動量Ｗを変数としたが、いずれか又はその両方がカメラ２や交換レンズ１の固有値であっても構わない。撮影枚数Ｍが決定したら、ステップＳ７０３へ進む。
【００７２】
ステップＳ７０３では、カメラ制御部４０は、カウンターのリセット（カウント値ｎ＝０にする）を行う。カウンターのリセットが完了すると、ステップＳ７０４へ進む。ステップＳ７０４では、ＡＦセンサユニット２２からＡＦ情報を取得する。ここでのＡＦ情報とは、現在のレンズ位置で取得されたデフォーカス量などの補正値算出に使用する情報である。ＡＦ情報の取得が完了すると、ステップＳ７０５へ進む。
【００７３】
ステップＳ７０５では、ミラーアップ動作が行われる。主ミラー２０およびサブミラー２１がアップ位置に退避すると、ステップＳ７０６へ進む。ステップＳ７０６では、フォーカスレンズ１０ａが駆動される。図１４（ｂ）に示すようにカウント値ｎ＝０の時、フォーカスレンズ１０ａは−（Ｍ−（１+２ｎ））×Ｗ／２の位置に移動する。カウント値ｎ≧１の時、フォーカスレンズ１０ａは停止している位置から＋Ｗの幅（図１４（ａ）の３×ｗの幅に相当）で無限遠側に移動する。フォーカスレンズ１０ａの駆動が完了すると、ステップＳ７０７へ進む。
【００７４】
ステップＳ７０７では、静止画撮影が行われる。撮影された画像は、ステップＳ７０４で取得したＡＦ情報やレンズ位置に関連付けられてカメラ記憶部４２に記憶される。撮影画像の記録が完了すると、ステップＳ７０８へ進む。ステップＳ７０８では、ミラーダウン動作が行われる。主ミラー２０およびサブミラー２１がダウン位置に移動する。ミラーダウン動作が完了すると、ステップＳ７０９へ進む。
【００７５】
ステップＳ７０９では、カメラ制御部４０に備えられたカウンターのカウント値を１つカウントアップ（ｎ＝ｎ＋１）する。カウントアップが完了すると、ステップＳ７１０へ進む。ステップＳ７１０では、カメラ制御部４０に備えられたカウンターのカウント値が撮影枚数Ｍに達したかどうか（ｎ＝Ｍ−１）が判定される。撮影枚数Ｍに達していなければステップＳ７０４へと戻り、撮影枚数Ｍに達していれば、フォーカスブラケット撮影を終了する。以上、フォーカスブラケット撮影動作が完了したら、図１０のＣＡＬモードのメインフローのステップＳ８００へ戻る。
【００７６】
図１５は、本実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。ステップＳ８０１では、リフォーカス画像生成部４４によって、水平方向へシフト加算させたリフォーカス画像の生成を行う。本実施形態では、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向に分割されていないため、リフォーカス画像生成時のシフト加算は、ｘ方向（水平方向、横方向）に限定されている。リフォーカス画像の生成が完了したら、ステップＳ８０２へ進む。
【００７７】
ステップＳ８０２では、背面モニタ４３によってユーザーへ画像を提示する。このとき、フォーカスブラケットで実際に撮影された画像と、ステップＳ８０１で生成されたリフォーカス画像を併せて提示する。表示される画像の枚数は１枚ずつでもよいし、複数枚並べて表示しても構わない。以下、ステップＳ８０２において背面モニタ４３に画像を表示する例について説明する。
【００７８】
[表示形態１]
図１６（ａ）は、図１５のステップＳ８０２において、背面モニタ４３によってユーザーへ画像を提示する一例を示す図である。ここでは、背面モニタ４３上に画像００１から画像００９まで９枚の表示画像を表示しており、画像００２、画像００５及び画像００８がフォーカスブラケット撮影で実際に撮影した画像である。それぞれのフォーカスブラケット画像の前後の画像が、フォーカスブラケット画像から整数画素分シフトさせて、画像処理によって生成したリフォーカス画像である。本例では、それぞれのフォーカスブラケット画像から±１画素分シフトしたリフォーカス画像を生成しているが、前述のように、リフォーカス可能な範囲まで多数枚リフォーカス画像を生成しても構わない。フォーカスブラケット画像とリフォーカス画像をユーザーが区別できるよう、画像に識別用のマークを表示している。矢印１０１は前ピン方向へ画像処理したことを表し、矢印１０２は後ピン方向に画像処理したことを表している。本実施形態では前述のように、シフト加算信号を生成する方向がｘ方向（水平方向、横方向）に限定されるため、リフォーカス画像でのピントの変化は、縦方向のエッジのみ影響を受けることになる。
【００７９】
図１６（ｂ）は、図１６（ａ）のフォーカスブラケット画像００５の中央部枠１０３内を拡大した図である。図１６（ｃ）は図１６（ａ）の画像００４の中央部枠１０４内を拡大した図である。画像００４はフォーカスブラケット画像００５をリフォーカス処理したもので、画像００５と比較して、横線のピントは変わらないが、縦線のピントはシャープになっている。フォーカスブラケット画像００５はリフォーカス処理した画像００４と比較して、縦線のピントが甘いことが分かる。
【００８０】
ユーザーは、最もピントがシャープであるリフォーカス画像００４を選択することになる。また、表示された９枚の画像の中にピントの合った画像が無い場合は、ユーザーは不図示の画像送りボタンを操作して、上記の９枚の画像と同時に生成された、別のブラケット画像及びリフォーカス画像からピントの合った写真を選択する。
【００８１】
[表示形態２]
図１７及び図１８は、リフォーカス画像のエッジのピント変化量を、複数の視差画像の方向と、エッジの傾き量とにより検出し、その検出結果によって、ピント変化の大きい部分あるいはピント変化の小さい部分を抽出して、その部分に対して画像処理を行う動作を説明するためのフローチャートである。図１９はリフォーカス画像に画像処理を施した画像の表示例を示す図である。
【００８２】
図１７のステップＳ８００１では、ステップＳ８０１において生成されたリフォーカス画像に対して、画像のエッジ部を検出し、そのエッジ部のピント変化量が元画像であるフォーカスブラケット画像に対して（表示画像間で）、所定値以上変化しているかを判断する。
【００８３】
ステップＳ８００１において、エッジ部のピント変化量が所定値以上である場合は、ステップ８００２においてリフォーカス画像のピント変化の大きいエッジ部に対して、強調処理（強調表示）を行う（図１９（ａ）の１０６）。そして、ステップＳ８０２において、背面モニタ４３にリフォーカス画像を表示する。
【００８４】
ステップＳ８００１においてエッジ部のピント変化量が所定値未満の場合は、エッジ部に対する画像処理は行わず、そのままリフォーカス画像を背面モニタ４３に表示する。またステップＳ８００１においてエッジ部のピント変化量が所定値以上である場合は、そのエッジ部を含むエリアを枠で囲む処理（図１９（ｂ）の１０８）を行ってもよい。
【００８５】
図１８のステップＳ８００３では、ステップＳ８０１において生成されたリフォーカス画像に対して、画像のエッジ部を検出し、そのエッジ部のピント変化量が元画像であるフォーカスブラケット画像に対して、所定値以下しか変化していないかを判断する。
【００８６】
ステップＳ８００３においてエッジ部のピント変化量が所定値以下の場合は、ステップＳ８００４においてリフォーカス画像のピント変化の小さいエッジ部に対して、マスク処理（マスク表示）を行う（図１９（ｂ）の１０７）。マスク処理を施したリフォーカス画像をステップＳ８０２において背面モニタ４３に表示する。ステップＳ８００３においてエッジ部のピント変化量が所定値より大きい場合は、エッジ部に対する画像処理は行わず、そのままリフォーカス画像を背面モニタ４３に表示する。なお、図１７と図１８で説明した所定値については、同じ値でもよいし、異なった値に設定してもよい。
【００８７】
図１９（ａ）は１枚のリフォーカス画像を表示した例を示しており、被写体１０５はアルファベットのＦ字状の形状である。既に説明したように本実施形態でのリフォーカス画像のピントの変化は、縦方向のエッジ部のみが影響を受ける。そのため、縦方向のエッジ部を画像の明るさや色の変化から、公知のエッジ検出方法によりデジタル信号処理部４１で検出し、ピント変化の影響を受ける部分がユーザーに分かるように、縦方向のエッジ部を破線１０６で囲んで表示する。
【００８８】
図１９（ｂ）も１枚のリフォーカス画像を表示した例を示しており、ピントの変化を受けない横方向のエッジを検出して、横方向のエッジ上にグレーアウト表示１０７を行い、ユーザーに縦方向のエッジのみ注目できるようにしている。図１９（ｂ）ではさらに、ピントの変化が顕著な部分、すなわち縦方向のエッジ部が多い部分を抽出し、そのエリアをトリミングして拡大表示するトリミング枠１０８を表示する。ユーザーは不図示の画像拡大ボタンを押すことにより拡大指示を入力でき、トリミング枠１０８内の画像を拡大表示して見ることができる。
【００８９】
本実施形態で生成されるリフォーカス画像は、前述のように、シフト加算信号を生成する方向がｘ方向（水平方向、横方向）に限定されている。従って横方向のエッジ部はピント変化の影響を受けないため、ＣＡＬモードでリフォーカス画像を生成してＡＦの補正を行う場合は、基本的に縦方向のエッジ部を含む被写体を撮影することが望ましい。なお、リフォーカス画像では、横方向のエッジ部はピントの変化の影響を受けないが、斜め方向のエッジ部は、縦方向のエッジ部ほどではないにしても、その角度によってはピント変化の影響を受ける。そのため、縦方向のエッジ部を含まない画像では、斜め方向のエッジ部があれば、ピント変化を確認することが可能である。
【００９０】
図２０は、被写体１０９が斜め方向のエッジ部しか持たない場合の例を示した図である。図２０（ｂ）がフォーカスブラケット画像、図２０（ａ）が図２０（ｂ）のフォーカスブラケット画像からマイナス１画素シフトした場合のリフォーカス画像である。また、図２０（ｃ）は、図２０（ｂ）のフォーカスブラケット画像からプラス１画素シフトした場合のリフォーカス画像である。この場合、図２０（ｂ）の被写体１０９のピントが、図２０（ａ）の被写体１０９’や図２０（ｃ）の被写体１０９”よりもピントが合っているため、ユーザーは図２０（ｂ）のフォーカスブラケット画像を選択することになる。
【００９１】
図２０の被写体１０９はＸ字状の形態で、どのエッジ部も略４５度の角度でピント変化の影響が等しく出る。しかし、縦線に近い角度の斜めエッジと、横線に近い角度の斜めエッジが混在する場合は、縦線に近い角度の斜めエッジの方が、ピント変化の影響をより強く受ける。そのため、図１９のように、横線に近い角度の斜めエッジをグレーアウト表示にしたり、縦線に近い角度の斜めエッジを注目点として破線などで囲って表示したりしてもよい。以上のような画像の表示を行うことで、ブラケット画像とリフォーカス画像を並べて同時にピントの確認ができるため、より正確で早い画像の選択が可能となる。
【００９２】
再び、図１５の説明に戻り、ステップＳ８０２で上記のような画像の提示が完了したら、ステップＳ８０３へ進む。ステップＳ８０３では、ユーザーが画像を決定したか否かが判定される。ユーザーは、上記の例のようにピント変化を確認しやすいように提示された画像の中から最も合焦状態にある画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップＳ８０４へ進む。
【００９３】
ステップＳ８０４では、ステップＳ８０３で選択された画像に基づいて、補正値の算出を行う。各画像には、図１３のステップＳ７０４で取得したＡＦ情報あるいはレンズ位置に対応したデフォーカス量が、補正値用の情報として関連付けて保存されている。ユーザーが選択した画像に関連付けられたＡＦ補正用の情報を用いて補正値を算出し、補正値が決定される。なお、ステップＳ８０３で選択された画像がリフォーカス画像である場合には、リフォーカス画像の元となる画像のデフォーカス量とリフォーカス画像のデフォーカス量の差分を算出する。そして、リフォーカス画像の元となる撮影画像に関連付けられたデフォーカス量に加算あるいは減算した値を補正用の情報として関連付ける。その補正用の情報を用いて補正値を算出することで補正値を決定する。また、選択されたリフォーカス画像の前後の撮影画像から、デフォーカス量を補間して算出した値を補正用の情報として関連付け、そこから補正値を決定してもよい。以上、画像選択動作が完了したら、図１０のＣＡＬモードのメインフローのステップＳ９００へ戻る。
【００９４】
なお、ステップＳ８０１については、本実施形態では、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向に分割されていない例で説明したが、本発明はこれに限定されるものではない。たとえば、撮像素子の各画素がｘ方向に分割されておらず、ｙ方向に２分割に構成されていてもよい。その場合は、リフォーカス画像生成時のシフト加算は、ｙ方向（垂直方向、縦方向）に限定される。
【００９５】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。図２１は、本発明の第２の実施形態の撮像装置の構成を示す図である。本実施形態の撮像装置の構成は、図１に示した第１の実施形態の撮像装置の構成と共通部分が多いため、同一の構成については図１と同じ参照番号を付して説明を省略する。この第２の実施形態の撮像装置が第１の実施形態の撮像装置と異なる点は、デジタル信号処理部４１の中に画像判別部４７と画像判別表示部４８を有する点である。
【００９６】
画像判別部４７は、図１６に示したような、ユーザーにピントが合った画像を選択させるために提示する複数枚の画像のそれぞれが、実撮影画像かあるいはリフォーカス画像かを判別する。画像判別表示部４８は、背面モニタ４３に画像表示を行う際に、画像判別部４７の判別結果に基づいて、画像上に実撮影画像の場合は、例えば『実写』、リフォーカス画像の場合は、例えば『ＲＦ』といった文字表示を付加する。これにより、ユーザーは、画像再生時に実撮影画像なのかリフォーカス画像なのかを容易に認識することが出来る。
【００９７】
次に、このように構成される第２の実施形態の撮像装置の動作について説明する。第２の実施形態の撮像装置におけるＣＡＬモード（キャリブレーションモード）の全体動作は、図１０に示した第１の実施形態の動作と同様であるが、図１０におけるステップＳ８００の画像選択動作が異なる。図２２は、本実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。
【００９８】
ステップＳ１８０１では、リフォーカス画像生成部４４によって、水平方向へシフト加算させたリフォーカス画像の生成を行う。本実施形態では、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向に分割されていないため、リフォーカス画像生成時のシフト加算は、ｘ方向（水平方向、横方向）に限定される。リフォーカス画像の生成が終了したら、ステップＳ１８０２へ進む。
【００９９】
ステップＳ１８０２では、画像判別部４７により、フォーカスブラケット撮影で得られた実撮影画像とリフォーカス画像生成部４４で生成されたリフォーカス画像を判別する画像判定が行われる。ステップＳ１８０３では、背面モニタ４３によってユーザーへ画像を表示する。このとき、実撮影画像か、あるいはリフォーカス画像かの判別表示が画面上に同時に表示される。
【０１００】
以下、ステップＳ１８０３において背面モニタ４３に画像を表示する例について説明する。図２３は、図２２のステップＳ１８０３において、背面モニタ４３によってユーザーへ画像を提示する例を示す図である。ここでは、背面モニタ４３上に１画面につき１画像を表示する場合の例を示している。図２３（ａ）は、実写撮影された画像を表示した状態を示し、画像上に実写撮影された画像を示す『実写』という文字５０が挿入されている。また、図２３（ｂ）は、リフォーカス画像を表示した状態を示し、画像上にリフォーカス撮影された画像を示す『ＲＦ』という文字５１が挿入されている。
【０１０１】
図２３（ｃ）は実写撮影された画像を『●』印５２で示したものである。形状の他に点滅、色等を変えることで更にユーザーに分かりやすく表示してもよい。図２３（ｄ）は『●』印５２などを表示しない画像で、表示が無い時はリフォーカス画像を示す。ここでは、背面モニタ４３上に１画面につき１画像を表示する例について説明したが、１画面につき２画像や１画面につき４画像などの複数画像表示の場合においても、同一の効果を得ることが出来る。
【０１０２】
図２４に詳細を示す。図２４（ａ）は背面モニタ４３に１画面につき２画像を表示する場合を示した図である。左側の画像が実写撮影した画像で『実写』という文字５０が挿入されている。右側の画像はリフォーカス画像で『ＲＦ』という文字５１が挿入されている。図２４（ｂ）は、背面モニタ４３に１画面につき４画像を表示する場合を示した図である。左上の画像が実写撮影した画像で『実写』という文字５０が挿入されている。左側下、ならびに右側上下２画像の計３画像はリフォーカス画像を示す『ＲＦ』という文字５１が挿入されている。本実施形態では、文字を挿入して識別を行ったが、形状や点滅、色等を変えることで更にユーザーに分かりやすく表示してもよい。画像の提示が完了したら、ステップＳ１８０４へ進む。
【０１０３】
ステップＳ１８０４では、ユーザーが画像を決定したか否かが判定される。ユーザーは、提示された画像の中から最も合焦状態にある画像を選択し、決定する。それまでは待機状態となる。ユーザーが画像を決定したら、ステップＳ１８０５へ進む。ステップＳ１８０５では、ステップＳ１８０４で選択された画像に基づいて、補正値の算出を行う。このステップＳ１８０４の処理は、第１の実施形態における図１５のステップＳ８０４の処理と同じである。以上、画像選択動作が完了したら、図１０のＣＡＬモードのメインフローのステップＳ９００へ戻る。
【０１０４】
なお、ステップＳ１８０１については、本実施形態では、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向に分割されていない例で説明したが、本発明はこれに限定されるものではない。たとえば、撮像素子の各画素がｘ方向に分割されておらず、ｙ方向に２分割に構成されていてもよい。その場合は、リフォーカス画像生成時のシフト加算は、ｙ方向（垂直方向、縦方向）に限定される。
【０１０５】
（第３の実施形態）
以下、本発明の第３の実施形態について説明する。本実施形態の撮像装置の構成は、図１に示した第１の実施形態の撮像装置の構成と同じであるため、同一の構成については図１と同じ参照番号を付して説明を省略する。
【０１０６】
まず、この第３の実施形態におけるフォーカスブラケット撮影の方法について説明する。図２５は、第３の実施形態におけるフォーカスブラケット撮影の概念図である。ユーザーがブラケット撮影を選択すると、既に図１３で説明した動作により、ブラケット撮影が実行される。本実施形態では、図２５に示すように、合計で５枚のブラケティング撮影を行っている。そして、リフォーカス画像生成部４４により、１枚の画像を撮影するごとに撮影画像の前ピン、後ピン方向へピント位置がシフトしたリフォーカス画像が１枚ずつ作成される。そのため、撮影画像とリフォーカス画像を合わせると１５枚の画像を得ることができ、撮影画像の１／３の間隔でブラケット画像が作成される。作成された画像は、撮像装置のカメラ記憶部４２に記録される。
【０１０７】
次に、このように構成される第３の実施形態の撮像装置の動作について説明する。第３の実施形態の撮像装置におけるＣＡＬモード（キャリブレーションモード）の全体動作は、図１０に示した第１の実施形態の動作と同様であるが、図１０におけるステップＳ８００の画像選択動作が異なる。図２６は、本実施形態におけるＣＡＬモードのサブフローである画像選択フローを示す図である。
【０１０８】
ステップＳ２８０１では、リフォーカス画像生成部４４によって、水平方向にシフト加算させたリフォーカス画像の生成を行う。本実施形態においては、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向には分割されていないため、リフォーカス画像生成時のシフト加算は、ｘ方向(水平方向・横方向)に限定される。リフォーカス画像の生成が完了したらステップＳ２８０２に進む。
【０１０９】
ステップＳ２８０２で、ブラケティング画像の選択を開始する。ステップＳ２８０２で１枚目の画像を再生するとき、表示されるのは撮影した撮影画像である。ユーザーはステップＳ２８０３で、ピントが合焦位置近傍にあるか否かを判断する。画像のピントが合焦近傍になければ、ステップＳ２８０４でモード１（再生モード）の画像のコマ送りを行う。このモード１では、カメラは実撮影画像のみの再生を行うため、ピント送り量はブラケット幅の３倍となり、非合焦画像をスムーズに駒送りすることが可能である。ステップＳ２８０３で画像のピントが合焦位置近傍にあると判断した場合は、ステップＳ２８０５でモード２による画像のコマ送りを行う。このモード２では、カメラは実撮影画像のみならず、リフォーカス画像も同時に再生する。このため、ピント送り量はブラケット幅と同じでステップＳ２８０４で表示した間隔の３倍細かくなり、ステップＳ２８０６では、合焦位置付近の画像で詳細なピントチェックを行うことが可能である。ステップＳ２８０７で合焦画像をユーザーが決定すると、ステップＳ２８０８において補正値が算出される。このステップＳ２８０８の処理は、第１の実施形態における図１５のステップＳ８０４の処理と同じである。以上、画像選択動作が完了したら、図１０のＣＡＬモードのメインフローのステップＳ９００へ戻る。
【０１１０】
次に、図２６のステップＳ２８０６、Ｓ２８０７における合焦画像を決定する方法について説明する。ここでは、図２６のフローチャートのステップＳ２８０２以降に表示される画像の例として、第１の実施形態において既に説明した図１６を用いて説明する。
【０１１１】
図１６において表示している画像００１から００９のうち、撮影画像は００２、００５、００８であり、それ以外はリフォーカス画像である。撮影画像の左側にあるリフォーカス画像００１、００４、００７は、撮影画像を前ピン方向に動かした画像であり、右側の画像００３、００６、００９は撮影画像を後ピン方向に動かした画像である。なお、本実施形態ではシフト加算信号を生成する方向がｘ方向に限定されているため、リフォーカス画像でピントが変化するのは縦方向のエッジ部だけである。
【０１１２】
ステップＳ２８０４において、モード１で撮影画像だけをコマ送りする場合、表示されるのは画像００２、００５、００８の３枚である。モード１のコマ送り動作で上記３枚を比較すると、画像００５が最もコントラストが高く、合焦近傍にいる。そのためステップＳ２８０５では、画像００５を起点として、モード２でコマ送りを行う。モード２では、画像００１〜画像００９の全ての画像が表示される。図１６（ｂ）は図１６（ａ）の画像００５の中央部を拡大表示した図である。図１６（ｃ）は図１６（ａ）の画像００４の中央部を拡大表示した図である。画像１０４と画像１０５を比較すると、画像００５の縦線は画像００４の縦線よりコントラストが高くなっていることが分かる。そのため、ユーザーは合焦画像として画像００４を選択することになる。なお、モード１とモード２のコマ送りにはそれぞれ別の操作装置を用意してもよい。操作装置を分けることで、モード１とモード２をスムーズに切り替えることが可能となる。
【０１１３】
なお、ステップＳ２８０１については、本実施形態では、撮像素子２４の各画素がｘ方向に２分割され、ｙ方向に分割されていない例で説明したが、本発明はこれに限定されるものではない。たとえば、撮像素子の各画素がｘ方向に分割されておらず、ｙ方向に２分割に構成されていてもよい。その場合は、リフォーカス画像生成時のシフト加算は、ｙ方向（垂直方向、縦方向）に限定される。
【０１１４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１６】
１０：撮像光学系、１０ａ：フォーカスレンズ、２２：ＡＦセンサユニット、２４：撮像素子、４１：デジタル信号処理部、４４：リフォーカス画像生成部、４５：表示制御部
【図１】
2017175223.tif 000003
【図２】
2017175223.tif 000004
【図３】
2017175223.tif 000005
【図４】
2017175223.tif 000006
【図５】
2017175223.tif 000007
【図６】
2017175223.tif 000008
【図７】
2017175223.tif 000009
【図８】
2017175223.tif 000010
【図９】
2017175223.tif 000011
【図１０】
2017175223.tif 000012
【図１１】
2017175223.tif 000013
【図１２】
2017175223.tif 000014
【図１３】
2017175223.tif 000015
【図１４】
2017175223.tif 000016
【図１５】
2017175223.tif 000017
【図１６】
2017175223.tif 000018
【図１７】
2017175223.tif 000019
【図１８】
2017175223.tif 000020
【図１９】
2017175223.tif 000021
【図２０】
2017175223.tif 000022
【図２１】
2017175223.tif 000023
【図２２】
2017175223.tif 000024
【図２３】
2017175223.tif 000025
【図２４】
2017175223.tif 000026
【図２５】
2017175223.tif 000027
【図２６】
2017175223.tif 000028