(57)【要約】【課題】  表示された撮影画像の鑑賞環境等に応じた焦点調節を行うこと。【解決手段】  撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて、合焦位置を検出する焦点検出手段と、前記撮影光学系の収差情報を取得する第１の取得手段と、前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第２の取得手段と、前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第３の取得手段と、前記収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算手段と、前記補正値により、前記合焦位置を補正する補正手段と、を有し、第２の取得手段は、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得する。【選択図】  図６
2018004691.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて、合焦位置を検出する焦点検出手段と、
前記撮影光学系の収差情報を取得する第１の取得手段と、
前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第２の取得手段と、
前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第３の取得手段と、
前記収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算手段と、
前記補正値により、前記合焦位置を補正する補正手段と、を有し、
前記第２の取得手段は、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得することを特徴とする焦点検出装置。
【請求項２】
前記第２の重みづけ情報は、前記撮影条件に基づいて決定されることを特徴とする請求項１に記載の焦点検出装置。
【請求項３】
前記撮影条件は画像処理方法を含むことを特徴とする請求項１または２に記載の焦点検出装置。
【請求項４】
前記鑑賞条件は、前記画像を表示する表示部のサイズ、前記表示部の解像度、前記表示部の表示率、前記表示部と鑑賞者との距離、前記鑑賞者が入力した値の少なくともいずれかを含むことを特徴とする請求項１乃至３のいずれか１項に記載の焦点検出装置。
【請求項５】
撮影光学系を介して入射した光を光電変換して画像信号を出力する撮像素子と、
請求項１乃至４のいずれか１項に記載の焦点検出装置と
を有することを特徴とする撮像装置。
【請求項６】
フォーカスレンズを有するレンズユニットを含む撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて検出された、フォーカスレンズの合焦位置を入力する入力手段と、
前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第１の取得手段と、
前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第２の取得手段と、
前記撮影光学系の収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算手段と、
前記補正値により、前記合焦位置を補正する補正手段と、
前記補正された合焦位置に基づいて、前記フォーカスレンズを駆動する駆動手段と、を有し、
前記第１の取得手段は、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得することを特徴とするレンズユニット。
【請求項７】
前記第２の重みづけ情報は、前記撮影条件に基づいて決定されることを特徴とする請求項６に記載のレンズユニット。
【請求項８】
前記撮影条件は画像処理方法を含むことを特徴とする請求項６または７に記載のレンズユニット。
【請求項９】
前記鑑賞条件は、前記画像を表示する表示部のサイズ、前記表示部の解像度、前記表示部の表示率、前記表示部と鑑賞者との距離、前記鑑賞者が入力した値の少なくともいずれかを含むことを特徴とする請求項６乃至８のいずれか１項に記載のレンズユニット。
【請求項１０】
焦点検出手段が、撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて、合焦位置を検出する焦点検出工程と、
第１の取得手段が、前記撮影光学系の収差情報を取得する第１の取得工程と、
第２の取得手段が、前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第２の取得工程と、
第３の取得手段が、前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第３の取得工程と、
演算手段が、前記収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算工程と、
補正手段が、前記補正値により、前記合焦位置を補正する補正工程と、を有し、
前記第２の取得工程では、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得することを特徴とする焦点検出方法。
【請求項１１】
入力手段が、フォーカスレンズを有するレンズユニットを含む撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて検出された、フォーカスレンズの合焦位置を入力する入力工程と、
第１の取得手段が、前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第１の取得工程と、
第２の取得手段が、前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第２の取得工程と、
演算手段が、前記撮影光学系の収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算工程と、
補正手段が、前記補正値により、前記合焦位置を補正する補正工程と、を有し
前記第１の取得工程では、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得することを特徴とする焦点検出方法。
【請求項１２】
前記第２の重みづけ情報は、前記撮影条件に基づいて決定されることを特徴とする請求項１０または１１に記載の焦点検出方法。
【請求項１３】
前記撮影条件は画像処理方法を含むことを特徴とする請求項１０乃至１２に記載の焦点検出方法。
【請求項１４】
前記鑑賞条件は、前記画像を表示する表示部のサイズ、前記表示部の解像度、前記表示部の表示率、前記表示部と鑑賞者との距離、前記鑑賞者が入力した値の少なくともいずれかを含むことを特徴とする請求項１０乃至１３のいずれか１項に記載の焦点検出方法。
【請求項１５】
コンピュータに、請求項１０乃至１４のいずれか１項に記載の焦点検出方法の各工程を実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点検出装置および方法、撮像装置、及びレンズユニットに関し、特に、撮影光学系を介して入射する光を光電変換して得られた信号に基づいて焦点検出を行う焦点検出装置および方法、撮像装置、およびレンズユニットに関する。
【背景技術】
【０００２】
従来より、撮像装置の自動焦点検出（ＡＦ）の一般的な方式として、コントラストＡＦ方式と位相差ＡＦ方式とが知られている。コントラストＡＦ方式も位相差ＡＦ方式もビデオカメラやデジタルスチルカメラで多く用いられるＡＦ方式であり、撮像素子が焦点検出用センサとして用いられるものが存在する。
【０００３】
これらのＡＦ方式は、光学像を利用して焦点検出を行うため、撮影画像とＡＦ時に使用する画像の解像度の差と、光学像を結像する光学系の収差により、焦点検出結果に誤差が生じる場合がある。また、撮影画像の鑑賞環境によって、ユーザーの注視周波数が変化することで、同様に、光学系の収差により、焦点検出結果に誤差が生じる場合がある。この焦点検出誤差は、本来、撮影された画像として最も良好にピントが合っている（合焦）であると観察者が感じられる焦点状態と、焦点検出結果が示す焦点状態の差である。このような焦点検出誤差は、上述の焦点調節方法によらず、コントラストＡＦ方式や位相差ＡＦ方式に用いられる焦点調節用信号の評価周波数帯域によって発生する。
【０００４】
そこで、誤差を低減するための方法が提案されている。特許文献１には、撮影用途（例えば、撮影解像度、圧縮率、動画記録又は静止画記録、ＨＤ／ＳＤの記録モード等の条件設定）によって、ＡＦ方式を切り替える方法が開示されている。特許文献１では、例えば、撮影解像度の高い静止画記録の場合には、一般的に高精度な焦点検出が可能であるコントラストＡＦを選択し、撮影解像度の低い動画記録の場合には、位相差ＡＦを選択する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１２１５０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、撮影解像度によってＡＦ方式を変更する点には触れられているが、撮影解像度によって焦点検出位置が変化することには触れられていない。また、撮影画像の鑑賞環境によって、焦点位置が変化することについても触れられていない。このように、特許文献１に記載された構成では、焦点検出誤差の補正を十分に行えないといった問題がある。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、表示された撮影画像の鑑賞環境等に応じた焦点調節を行うことを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の焦点検出装置は、撮影光学系を介して入射した光を撮像素子により光電変換して得られた画像信号を用いて、合焦位置を検出する焦点検出手段と、前記撮影光学系の収差情報を取得する第１の取得手段と、前記画像信号に基づく画像を表示部に表示して鑑賞する際の、前記撮影光学系の収差の状態に対応する第１の重みづけ情報を取得する第２の取得手段と、前記合焦位置を検出する際の、前記撮影光学系の収差の状態に対応する第２の重みづけ情報を取得する第３の取得手段と、前記収差情報と、前記第１の重みづけ情報と、前記第２の重みづけ情報とから、前記合焦位置を補正するための補正値を求める演算手段と、前記補正値により、前記合焦位置を補正する補正手段と、を有し、第２の取得手段は、前記画像信号の撮影条件と前記画像の鑑賞条件とに基づいて、前記第１の重みづけ情報を取得する。
【発明の効果】
【０００９】
本発明によれば、表示された撮影画像の鑑賞環境等に応じた焦点調節を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態におけるデジタルカメラの概略構成を示すブロック図。
【図２】実施形態における撮像素子の構成例を示す図。
【図３】実施形態における光電変換領域と射出瞳との関係を示す図。
【図４】図２のＴＶＡＦ焦点検出部１３０の構成を示すブロック図。
【図５】実施形態における焦点検出領域の例を示す図。
【図６】実施形態におけるＡＦ動作を示すフローチャート。
【図７】実施形態における収差情報の例を示す図。
【図８】実施形態における重み付け係数を示す図。
【図９】実施形態における撮影条件による各種空間周波数特性を示す図。
【図１０】実施形態における加算処理の説明図。
【図１１】実施形態における鑑賞環境と表示画像に関する説明図。
【図１２】実施形態における鑑賞条件による各種空間周波数特性を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明はレンズ交換できないタイプのデジタルカメラや、ビデオカメラに対しても適用可能である。また、カメラを備えた任意の電子機器、例えば携帯電話機、パーソナルコンピュータ（ラップトップ、タブレット、デスクトップ型など）、ゲーム機などで実施することもできる。
【００１２】
＜第１の実施形態＞
（撮像装置の構成の説明−レンズユニット）
図１は、実施形態に係る撮像装置の一例としてデジタルカメラの機能構成例を示すブロック図である。上述したように、本実施形態のデジタルカメラはレンズ交換式一眼レフカメラであり、レンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。
【００１３】
レンズユニット１００は、光学系（第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」という）１０４）及び、駆動／制御系を有する。このようにレンズユニット１００は、フォーカスレンズ１０４を含み、被写体の光学像を形成する撮影レンズである。
【００１４】
第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り兼用シャッタ１０２及び第２レンズ群１０３は一体で光軸方向ＯＡに移動可能であり、第１レンズ群１０１と連動して移動することによりズーム機能を実現する。また、フォーカスレンズ１０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節を行う。
【００１５】
駆動／制御系は、ズームアクチュエータ１１１、絞りシャッタアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ（マイクロプロセッサ）１１７、レンズメモリ１１８を有する。
【００１６】
ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動して、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに駆動することで、レンズユニット１００の光学系の画角を制御する。絞りシャッタ駆動回路１１５は、絞りシャッタアクチュエータ１１２を用いて絞り兼用シャッタ１０２を駆動し、絞り兼用シャッタ１０２の開口径や開閉動作を制御する。フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４を光軸方向ＯＡに駆動し、レンズユニット１００の光学系の合焦距離を変化させる。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。
【００１７】
レンズＭＰＵ（マイクロプロセッサ）１１７は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えば、レンズＭＰＵ１１７はフォーカスレンズ１０４の光軸上の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞りシャッタ駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８は自動焦点検出に必要な光学情報が予め記憶されている。カメラＭＰＵ１２５は例えば内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。
【００１８】
（撮像装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ（ＬＰＦ）１２１および撮像素子１２２）と、駆動／制御系とを有する。レンズユニット１００の第１レンズ群１０１、絞り兼用シャッタ１０２、第２レンズ群１０３、フォーカスレンズ１０４と、カメラ本体１２０の光学ＬＰＦ１２１は撮影光学系を構成する。
【００１９】
光学ＬＰＦ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ，ｍは２以上の整数）が配置される。本実施形態の撮像素子１２２は、図２を参照して後述するような構成の光電変換素子を有する画素を含み、撮影光学系を介して入射した光を光電変換して、画像信号を出力する。画像処理回路１２４は、撮像素子１２２が出力する画像信号から、位相差ＡＦ用のデータと、表示、記録、およびコントラストＡＦ（ＴＶＡＦ）用の画像データを生成する。
【００２０】
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を有する。
【００２１】
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５及び画像処理回路１２４に送信する。画像処理回路１２４は、撮像素子１２２から出力された画像データに対し、例えばγ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。また、画像処理回路１２４は位相差ＡＦ用の信号も生成する。
【００２２】
カメラＭＰＵ（マイクロプロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行う。そして、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ焦点検出部１３０を制御する。また、カメラＭＰＵ１２５はマウントＭの信号線を介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータを通信する。カメラＭＰＵ１２５はレンズＭＰＵ１１７に対し、レンズ位置の取得要求や、所定の駆動量での絞り兼用シャッタ１０２、フォーカスレンズ１０４、ズームの駆動要求や、レンズユニット１００に固有の光学情報の取得要求などを要求する。なお、カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２５ａ、変数を記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２５ｃが内蔵されている。
【００２３】
表示器１２６はＬＣＤ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）などから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１２８は、フラッシュメモリなどの着脱可能なメモリで、撮影済み画像を記録する。
【００２４】
撮像面位相差焦点検出部１２９は、画像処理回路１２４により得られる焦点検出用データを用いて位相差検出方式の焦点検出処理（撮像面位相差ＡＦ）を行う。より具体的には、画像処理回路１２４が、撮影光学系の一対の瞳領域を通過する光束で形成される一対の像データを焦点検出用データとして生成し、撮像面位相差焦点検出部１２９はこの一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の撮像面位相差焦点検出部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づく位相差ＡＦ（撮像面位相差ＡＦ）を行う。撮像面位相差焦点検出部１２９の動作については後で詳細に説明する。
【００２５】
ＴＶＡＦ焦点検出部１３０は、画像処理回路１２４が生成するＴＶＡＦ用評価値（画像データのコントラスト情報）に基づいてコントラスト方式の焦点検出処理（ＴＶＡＦ）を行う。コントラスト方式の焦点検出処理では、フォーカスレンズ１０４を移動しながら複数のフォーカスレンズ位置で焦点評価値を算出し、焦点評価値がピークとなるフォーカスレンズ位置を合焦位置として検出する。
【００２６】
このように、本実施形態のデジタルカメラは撮像面位相差ＡＦとＴＶＡＦの両方を実行可能であり、状況に応じて選択的に使用したり、組み合わせて使用したりすることができる。
【００２７】
（焦点検出動作の説明：位相差ＡＦ）
以下、撮像面位相差焦点検出部１２９およびＴＶＡＦ焦点検出部１３０の動作についてさらに説明する。最初に、撮像面位相差焦点検出部１２９の動作について説明する。
【００２８】
図２（ａ）は本実施形態における撮像素子１２２の画素配列を模式的に示した図で、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、レンズユニット１００側から観察した状態を示している。撮像素子１２２にはベイヤー配列のカラーフィルタが設けられ、奇数行の画素２１１には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタが交互に、偶数行の画素２１１には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタが交互に配置されている。画素２１１において、円２１１ｉはオンチップマイクロレンズを表し、オンチップマイクロレンズの内側に配置された複数の矩形２１１ａ，２１１ｂはそれぞれ光電変換部である。
【００２９】
本実施形態の撮像素子１２２は、すべての画素の光電変換部がＸ方向に２分割され、個々の光電変換部の光電変換信号と、光電変換信号の和が独立して読み出し可能である。また、光電変換信号の和から一方の光電変換部の光電変換信号を減じることで、他方の光電変換部の光電変換信号に相当する信号を得ることができる。個々の光電変換部における光電変換信号は位相差ＡＦ用のデータとして用いたり、３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ）画像を構成する視差画像の生成に用いたりすることもできる。また、光電変換信号の和は、通常の撮影画像データとして用いることができる。
【００３０】
ここで、位相差ＡＦを行う場合の画素信号について説明する。後述するように、本実施形態においては、図２（ａ）のマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ，２１１ｂで撮影光学系の射出光束を瞳分割する。そして、同一画素行に配置された所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力をつなぎ合わせて編成したものをＡＦ用Ａ像、光電変換部２１１ｂの出力をつなぎ合わせて編成したものをＡＦ用Ｂ像とする。光電変換部２１１ａ、２１１ｂの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の出力を加算して算出した疑似的な輝度（Ｙ）信号を用いる。但し、赤、青、緑の色ごとに、ＡＦ用Ａ像、Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量（デフォーカス量）を検出することができる。本実施形態では、一方の光電変換部の出力と全光電変換部の出力の和を撮像素子１２２から読み出すものとする。例えば光電変換部２１１ａの出力と、光電変換部２１１ａ，２１１ｂの出力の和とが読み出される場合、光電変換部２１１ｂの出力は和から光電変換部２１１ａの出力を減じることで取得する。これにより、ＡＦ用Ａ像とＢ像の両方を得ることができ、位相差ＡＦが実現できる。このような撮像素子は、特開２００４−１３４８６７号公報などに開示されるように公知であるため、これ以上の詳細に関する説明は省略する。
【００３１】
図２（ｂ）は本実施形態の撮像素子１２２の読み出し回路の構成例を示した図である。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部はこれらの走査ラインを介して信号が外部に読み出される。
【００３２】
なお、本実施形態の撮像素子は上述の画素内の読み出し方法に加え、以下の２種類の読み出しモードを有する。第１の読み出しモードは全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。
【００３３】
第２の読み出しモードは間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行うためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はＸ方向及びＹ方向ともに所定比率で間引いた画素のみ読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行いＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。位相差ＡＦおよびコントラストＡＦも、通常、第２の読み出しモードで読み出された信号に基づいて行われる。
【００３４】
図３は、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロすなわち像面中央近辺に配置された撮像素子の光電変換部の共役関係を説明する図である。撮像素子内の光電変換部と撮影光学系の射出瞳面は、オンチップマイクロレンズによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の虹彩絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図３（ａ）では、レンズユニット１００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズの形状や、像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。
【００３５】
図３（ａ）において、１０１は第１レンズ群、１０１ｂは第１レンズ群を保持する鏡筒部材、１０４はフォーカスレンズ、１０４ｂはフォーカスレンズ１０４を保持する鏡筒部材である。１０２は絞り兼用シャッタで、１０２ａは絞り開放時の開口径を規定する開口板、１０２ｂは絞り込み時の開口径を調節するための絞り羽根である。なお、撮影光学系を通過する光束の制限部材として作用する１０１ｂ、１０２ａ、１０２ｂ、及び１０４ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り兼用シャッタ１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。
【００３６】
画素２１１は像面中央近傍に配置されており、本実施形態では、中央画素と呼ぶ。中央画素２１１は、最下層より、光電変換部２１１ａ，２１１ｂ、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材で構成される。そして２つの光電変換部はオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部の表面に投影される。
【００３７】
図３（ｂ）は、撮影光学系の射出瞳面上における、光電変換部の投影像を示したもので、光電変換部２１１ａ及び２１１ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、撮像素子１２２は、２つの光電変換部２１１ａと２１１ｂのいずれか一方の出力と、両方の和の出力を得ることができる画素を有している。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものであるので、図３（ｂ）でのＴＬと投影像ＥＥＰ１ａ、ＥＰ１ｂが重複している面積に相当する光束に対応する値が出力される。
【００３８】
図３（ａ）で、撮影光学系を通過する光束の最外部をＬで示すと、光束Ｌは、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系でケラレがほぼ発生していない。図３（ｂ）では、図３（ａ）の光束Ｌを、ＴＬで示している。ＴＬで示す円の内部に、光電変換部の投影像ＥＰ１ａ、ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束Ｌは、絞りの開口板１０２ａでのみ制限されているため、ＴＬは、１０２ａと言い換えることができる。この際、像面中央では各投影像ＥＰ１ａないしＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部２１１ａ及び２１１ｂが受光する光量は等しい。
【００３９】
位相差ＡＦを行う場合、カメラＭＰＵ１２５は撮像素子１２２から上述した２種類の出力を読み出すように撮像素子駆動回路１２３を制御する。そして、カメラＭＰＵ１２５は画像処理回路１２４に対して焦点検出領域の情報を与え、焦点検出領域内に含まれる画素の出力から、ＡＦ用Ａ像およびＢ像のデータを生成して撮像面位相差焦点検出部１２９に供給するよう命令する。画像処理回路１２４はこの命令に従ってＡＦ用Ａ像およびＢ像のデータを生成して撮像面位相差焦点検出部１２９に出力する。画像処理回路１２４はまた、ＴＶＡＦ焦点検出部１３０に対してＲＡＷ画像データを供給する。
【００４０】
以上説明した様に、撮像素子１２２は位相差ＡＦおよびコントラストＡＦの両方について、焦点検出装置の一部を構成している。
【００４１】
なお、ここでは一例として水平方向に射出瞳を２分割する構成を説明したが、撮像素子１２２の一部の画素については垂直方向に射出瞳を２分割する構成としてもよい。また、水平および垂直の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した位相差ＡＦが可能となる。
【００４２】
（焦点検出動作の説明：コントラストＡＦ）
次に、図４を用いて、コントラストＡＦ（ＴＶＡＦ）について説明する。コントラストＡＦは、カメラＭＰＵ１２５とＴＶＡＦ焦点検出部１３０が連携してフォーカスレンズの駆動と評価値の算出を繰り返し行うことで実現される。
【００４３】
画像処理回路１２４からＲＡＷ画像データがＴＶＡＦ焦点検出部１３０に入力されると、ＡＦ評価用信号処理回路４０１で、ベイヤー配列信号からの緑（Ｇ）信号の抽出と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。本実施形態では、ＴＶＡＦを緑（Ｇ）信号で行う場合を説明するが、赤（Ｒ）、青（Ｂ）、緑（Ｇ）の全ての信号を用いてもよい。また、ＲＧＢ全色用いて輝度（Ｙ）信号を生成してもよい。ＡＦ評価用信号処理回路４０１で生成される出力信号は、用いられた信号の種類によらず、以後の説明では、輝度信号Ｙと呼ぶ。
【００４４】
なお、カメラＭＰＵ１２５から、領域設定回路４１３に焦点検出領域が設定されているものとする。領域設定回路４１３は、設定された領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４０９、垂直積分回路４０６、４１０、垂直ピーク検出回路４０５、４０７、４１１の各回路に入力される。また、各焦点評価値が焦点検出領域内の輝度信号Ｙで生成されるように、輝度信号Ｙが各回路に入力するタイミングが制御される。なお、領域設定回路４１３には、焦点検出領域に合わせて複数の領域が設定可能である。
【００４５】
Ｙピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙはラインピーク検出回路４０２へ入力され、領域設定回路４１３に設定された焦点検出領域内で水平ラインごとのＹラインピーク値が求められる。ラインピーク検出回路４０２の出力は垂直ピーク検出回路４０５において焦点検出領域内で垂直方向にピークホールドされ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効な指標である。
【００４６】
Ｙ積分評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、水平積分回路４０３へ入力され、焦点検出領域内で水平ラインごとにＹの積分値が求められる。更に、水平積分回路４０３の出力は垂直積分回路４０６において焦点検出領域内で垂直方向に積分されて、Ｙ積分評価値が生成される。Ｙ積分評価値は、焦点検出領域内全体の明るさを判断する指標として用いることができる。
【００４７】
Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２に入力され、焦点検出領域内で水平ラインごとのＹラインピーク値が求められる。また、ガンマ補正された輝度信号Ｙは、ライン最小値検出回路４０４に入力され、焦点検出領域内で水平ラインごとにＹの最小値が検出される。検出された水平ラインごとのＹのラインピーク値及び最小値は減算器に入力され、（ラインピーク値−最小値）が垂直ピーク検出回路４０７に入力される。垂直ピーク検出回路４０７は焦点検出領域内で垂直方向にピークホールドを行い、Ｍａｘ−Ｍｉｎ評価値を生成する。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効な指標である。
【００４８】
領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号はラインピーク検出回路４０９へ入力され、焦点検出領域内で水平ラインごとのラインピーク値が求められる。ラインピーク値は、垂直ピーク検出回路４１１によって焦点検出領域内でピークホールドされ、領域ピーク評価値が生成される。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。
【００４９】
全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、焦点検出領域内で水平ラインごとのラインピーク値を求める。次に、ラインピーク値を垂直積分回路４１０に入力し、焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、主要なＡＦ評価値である。従って、本実施形態では単に焦点評価値と記載した場合は全ライン積分評価値を意味する。
【００５０】
カメラＭＰＵ１２５のＡＦ制御部１５１は上述したそれぞれの焦点評価値を取得し、レンズＭＰＵ１１７を通じてフォーカスレンズ１０４を光軸方向に沿って所定方向に所定量移動させる。そして、新たに得られた画像データに基づいて上述した各種の評価値を算出し、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。そして、現在のフォーカスレンズ位置と全ライン積分評価値が最大値となるフォーカスレンズ位置を、焦点ずれ量（デフォーカス量）として検出する。
【００５１】
本実施形態では、各種のＡＦ用評価値を水平ライン方向および垂直ライン方向で算出する。これにより、水平、垂直の直交する２方向の被写体のコントラスト情報に対して焦点検出を行うことができる。
【００５２】
（焦点検出領域の説明）
図５は、撮影範囲内における焦点検出領域の例を示す図である。上述の通り、位相差ＡＦおよびコントラストＡＦのいずれも、焦点検出領域に含まれる画素から得られた信号に基づいて行われる。図５において、点線で示す長方形は撮像素子１２２の撮像範囲内の焦点検出領域２１９を示す。図５中の例では、ａｆＨ（横）×ａｆＶ（縦）［ｐｉｘ］の画素を含む。図５では、顔検出を行って焦点検出領域を設定した例を示したが、主被写体２２０を含むように焦点検出領域を設定しても良いし、ユーザーが事前に設定した焦点検出領域でも構わない。なお、図５は焦点検出領域の設定例であり、数、位置および大きさは図示したものに限定されない。
【００５３】
（焦点検出処理の流れの説明）
次に、図６を参照して、本実施形態のデジタルカメラにおける自動焦点検出（ＡＦ）動作について説明する。以下のＡＦ処理動作は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンド等を送信することによってレンズユニット１００の駆動や制御を行う場合、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。
【００５４】
図６（ａ）は、本実施形態におけるＡＦ処理の流れを示すフローチャートである。まず、Ｓ１においてカメラＭＰＵ１２５は焦点検出領域を設定する。ここで設定される焦点検出領域２１９は、図５のように、主被写体２２０によって決められるものでも良いし、予め設定された焦点検出領域でも良い。ここでは、焦点検出領域に対して、焦点検出領域２１９を代表する座標（ｘ１、ｙ１）を設定する。この時の代表座標（ｘ１、ｙ１）は例えば、焦点検出領域２１９に対する重心位置であっても良い。
【００５５】
Ｓ２では、焦点ずれ量（デフォーカス量）の検出を行う。本実施形態でカメラＭＰＵ１２５は、Ｓ１で設定された焦点検出領域において、位相差ＡＦもしくはコントラストＡＦを適用してデフォーカス量ＤＥＦを求める。
【００５６】
Ｓ３で、カメラＭＰＵ１２５は、ベストピント（ＢＰ）補正値の算出に必要なパラメータ（算出条件）を取得する。ＢＰ補正値は、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域の位置座標（ｘ１、ｙ１）など、撮影光学系の変化や焦点検出光学系の変化に伴い変化する。そのため、カメラＭＰＵ１２５は、例えばフォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、および、焦点検出領域の位置座標（ｘ１、ｙ１）などの情報を取得する。
【００５７】
次に、Ｓ４では、収差情報を取得する。ここでの収差情報は、光学系の収差状態を表す情報であり、例えば、被写体の色、方向、空間周波数ごとの撮影光学系の結像位置に関する情報である。
【００５８】
まず、図７（ａ）及び図７（ｂ）を用いてレンズメモリ１１８に格納されている空間周波数ごとの収差情報の例について説明する。図７（ａ）は、撮影光学系のデフォーカスＭＴＦを示すグラフである。横軸は、フォーカスレンズ１０４の位置を示しており、縦軸はＭＴＦの強度を示している。図７（ａ）に描かれている４種の曲線は、空間周波数ごとのＭＴＦ曲線で、空間周波数Ｆ１（ｌｐ／ｍｍ）のＭＴＦ曲線がＭＴＦ１に対応し、同様に、空間周波数Ｆ２，Ｆ３，Ｆ４（ｌｐ／ｍｍ）がそれぞれＭＴＦ２，ＭＴＦ３，ＭＴＦ４に対応する。Ｆ１，Ｆ２，Ｆ３，Ｆ４の順に、空間周波数が高くなっている。また、ＬＰ４、ＬＰ５、ＬＰ５、ＬＰ６は、それぞれ、デフォーカスＭＴＦ１，ＭＴＦ２，ＭＴＦ３，ＭＴＦ４の曲線の極大値に対応するフォーカスレンズ１０４の位置を示している。
【００５９】
図７（ｂ）は、図７（ａ）に示したデフォーカスＭＴＦの極大値を示すフォーカスレンズ１０４の位置を、上述した色（Ｒ、Ｇ、Ｂ）と方向（水平、垂直）との６通りの組み合わせの各々について示している。例えば、図７（ｂ）において、曲線ＭＴＦ＿Ｐ＿ＲＨは、赤（Ｒ）、水平方向（Ｈ）のデフォーカスＭＴＦの各空間周波数における極大値を示すフォーカスレンズ１０４の位置情報を表している。同様に、赤（Ｒ）以外の色（Ｇ、Ｂ）及び垂直方向（Ｖ）についても表している。この図７（ｂ）に示す曲線は、例えば、赤（Ｒ）、水平方向（Ｈ）の組み合わせの場合、空間周波数ｆと撮像素子１２２上の焦点検出領域の位置座標（ｘ，ｙ）を変数とした以下の式（１）で表現される。なお、式（１）においてｒｈ（ｎ）（ｎ＝０〜８）は係数であり、本実施形態における収差情報である。
【００６０】
ＭＴＦ＿Ｐ＿ＲＨ（ｆ，ｘ，ｙ）＝
（ｒｈ（０）×ｘ＋ｒｈ（１）×ｙ＋ｒｈ（２））×ｆ2
＋（ｒｈ（３）×ｘ＋ｒｈ（４）×ｙ＋ｒｈ（５））×ｆ
＋（ｒｈ（６）×ｘ＋ｒｈ（７）×ｙ＋ｒｈ（８））      …（１）
【００６１】
なお、他の色及び方向の組み合わせについても、係数を変更することで、式（１）と同様の式で表される。また、本実施形態において、ｒｈ（ｎ）（ｎ＝０〜８）は、レンズユニット１００のレンズメモリ１１８に予め記憶され、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に要求してｒｈ（ｎ）（ｎ＝０〜８）を取得するものとする。しかしながら、ｒｈ（ｎ）（ｎ＝０〜８）はカメラＲＡＭ１２５ｂの不揮発性領域に記憶されていてもよい。
【００６２】
また、赤と垂直（ＭＴＦ＿Ｐ＿ＲＶ）、緑と水平（ＭＴＦ＿Ｐ＿ＧＨ）、緑と垂直（ＭＴＦ＿Ｐ＿ＧＶ）、青と水平（ＭＴＦ＿Ｐ＿ＢＨ）、青と垂直（ＭＴＦ＿Ｐ＿ＢＶ）の各組み合わせにおける係数（ｒｖ，ｇｈ，ｇｖ，ｂｈ，ｂｖ）も、同様に記憶並びに取得できる。このように収差情報を関数化し、各項の係数を収差情報として記憶することで、レンズメモリ１１８やカメラＲＡＭ１２５ｂのデータ量を削減しつつ、撮影光学系の変化や焦点検出光学系の変化に対応した収差情報の記憶が可能になる。
【００６３】
次に、Ｓ５では、撮像素子１２２から得られる信号のうち、撮影条件によるＡＦ、撮像の重みづけ設定を行う。撮影条件とは、ユーザーが撮影画像を撮影する際の条件であり、例として、撮影画像の解像度、被写体、撮影光学系、画像処理の周波数特性などによるものである。詳細な動作は図６（ｂ）を用いて後述するが、Ｓ５における動作の出力として、図７（ｄ）のような焦点検出、撮影画像に関する第１、第２の重み付け情報の設定が行われる。ここでのＡＦ、撮像の重みづけは、焦点状態を評価するコントラストの方向（水平、垂直）と色（Ｒ、Ｇ、Ｂ）、空間周波数の各組み合わせに対する、重み付けの大きさを示す情報である。
【００６４】
次に、Ｓ６では、撮像素子１２２から得られる信号のうち、鑑賞条件によるパラメータの重みづけ計算を行う。鑑賞条件とは、ユーザーが撮影画像を鑑賞する際の条件であり、例として、撮影画像をモニタで見る際のモニタサイズ、モニタ解像度、モニタ表示率、鑑賞距離（ユーザーとモニタの距離）などによるものである。詳細な動作は図６（ｃ）を用いて後述するが、図８（ｂ）に示す撮影画像の周波数設定Ｋ＿ＩＭＧ＿ｆｑ１〜Ｋ＿ＩＭＧ＿ｆｑ４の重みづけ係数をＳ６で更新する。Ｓ６までで計算された、撮影画像を鑑賞する際の撮影光学系の収差状態に対応する重みづけ係数（Ｋ＿ＩＭＧ＿Ｈ，Ｋ＿ＩＭＧ＿Ｖ、Ｋ＿ＩＭＧ＿Ｒ，Ｋ＿ＩＭＧ＿Ｇ、Ｋ＿ＩＭＧ＿Ｂ、Ｋ＿ＩＭＧ＿ｆｑ１〜Ｋ＿ＩＭＧ＿ｆｑ４）は、第１の重みづけ情報を形成する。また、焦点検出を行う際の撮影光学系の収差状態に対応する重みづけ係数（Ｋ＿ＡＦ＿Ｈ，Ｋ＿ＡＦ＿Ｖ、Ｋ＿ＡＦ＿Ｒ，Ｋ＿ＡＦ＿Ｇ、Ｋ＿ＡＦ＿Ｂ、Ｋ＿ＡＦ＿ｆｑ１〜Ｋ＿ＡＦ＿ｆｑ４）は第２の重みづけ情報を形成する。
【００６５】
次に、Ｓ７で、カメラＭＰＵ１２５は、Ｓ６までで設定された重みづけの係数と、Ｓ４で取得された収差情報から、ＢＰ補正値を算出する。
【００６６】
具体的な動作を以下で説明する。まず、赤（Ｒ）、水平方向（Ｈ）の組み合わせについては、式（１）のｘ，ｙにＳ３で取得した焦点検出領域の位置情報（ｘ、ｙ）を代入する。この計算により式（１）は、以下の式（２）のような形式で表される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ）＝Ａｒｈ×ｆ2＋Ｂｒｈ×ｆ＋Ｃｒｈ      …（２）
【００６７】
カメラＭＰＵ１２５は、他の色、方向に関する収差情報ＭＴＦ＿Ｐ＿ＲＶ（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ（ｆ）についても同様に計算する。
【００６８】
図７（ｂ）は、Ｓ１で焦点検出領域の位置情報を代入した後の収差情報の例を示し、横軸は空間周波数を、縦軸はデフォーカスＭＴＦの極大値を示すフォーカスレンズ１０４の位置（ピーク位置）である。図示の通り、色収差が大きい場合には、色ごとの曲線が乖離し、縦横差が大きい場合には、図中の水平方向と垂直方向の曲線が乖離する。このように、本実施形態では、色（Ｒ、Ｇ、Ｂ）と評価方向（ＨとＶ）との組み合わせごとに、空間周波数に対応したデフォーカスＭＴＦ情報を有する。
【００６９】
次に、カメラＭＰＵ１２５は、Ｓ６までで計算される焦点検出、撮影画像に関する方向、色、周波数の重みづけ係数（図８（ａ））で、収差情報を重み付けする。これにより、収差情報が、焦点検出、撮影画像で評価する色、方向に関して重み付けされ、撮影画像を鑑賞する際の収差状態と焦点検出を行う際の収差状態を得ることができる。具体的には、カメラＭＰＵ１２５は、焦点検出用の空間周波数特性ＭＴＦ＿Ｐ＿ＡＦ（ｆ）と撮影画像用の空間周波数特性ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を、式（３）および式（４）を用いて算出する。
ＭＴＦ＿Ｐ＿ＡＦ（ｆ）＝
Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ（ｆ）
＋Ｋ＿ＡＦ＿Ｒ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ（ｆ）
＋Ｋ＿ＡＦ＿Ｇ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ（ｆ）
＋Ｋ＿ＡＦ＿Ｂ×Ｋ＿ＡＦ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ（ｆ）      …（３）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）＝
Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＲＨ（ｆ）
＋Ｋ＿ＩＭＧ＿Ｒ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＲＶ（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＧＨ（ｆ）
＋Ｋ＿ＩＭＧ＿Ｇ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＧＶ（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｈ×ＭＴＦ＿Ｐ＿ＢＨ（ｆ）
＋Ｋ＿ＩＭＧ＿Ｂ×Ｋ＿ＩＭＧ＿Ｖ×ＭＴＦ＿Ｐ＿ＢＶ（ｆ）    …（４）
【００７０】
図７（ｃ）に、離散的な空間周波数Ｆ１からＦ４について、式（３）に代入して得られるデフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ位置（ピーク位置）ＬＰ４＿ＡＦ、ＬＰ５＿ＡＦ、ＬＰ６＿ＡＦ、ＬＰ７＿ＡＦを示す。また、離散的な空間周波数Ｆ１からＦ４について、式（４）に代入して得られるデフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ位置（ピーク位置）ＬＰ４＿Ｉｍｇ、ＬＰ５＿Ｉｍｇ、ＬＰ６＿Ｉｍｇ、ＬＰ７＿Ｉｍｇも示す。
【００７１】
次に、カメラＭＰＵ１２５は、撮影画像の合焦位置（Ｐ＿ｉｍｇ）とＡＦによって検出される合焦位置（Ｐ＿ＡＦ）を、以下の式（５）および（６）に従って算出する。算出には、上記式（３）及び（４）によって得られたデフォーカスＭＴＦ情報ＭＴＦ＿Ｐ（ｎ）と、Ｓ６で得た評価帯域Ｋ＿ＩＭＧ＿ｆｑ，Ｋ＿ＡＦ＿ｆｑを用いる。
Ｐ＿ｉｍｇ＝ＭＴＦ＿Ｐ＿ＩＭＧ（１）×Ｋ＿ＩＭＧ＿ｆｑ（１）
＋ＭＴＦ＿Ｐ＿ＩＭＧ（２）×Ｋ＿ＩＭＧ＿ｆｑ（２）
＋ＭＴＦ＿Ｐ＿ＩＭＧ（３）×Ｋ＿ＩＭＧ＿ｆｑ（３）
＋ＭＴＦ＿Ｐ＿ＩＭＧ（４）×Ｋ＿ＩＭＧ＿ｆｑ（４）      …（５）
Ｐ＿ＡＦ＝ＭＴＦ＿Ｐ＿ＡＦ（１）×Ｋ＿ＡＦ＿ＦＱ（１）
＋ＭＴＦ＿Ｐ＿ＡＦ（２）×Ｋ＿ＡＦ＿ＦＱ（２）
＋ＭＴＦ＿Ｐ＿ＡＦ（３）×Ｋ＿ＡＦ＿ＦＱ（３）
＋ＭＴＦ＿Ｐ＿ＡＦ（４）×Ｋ＿ＡＦ＿ＦＱ（４）      …（６）
【００７２】
つまり、カメラＭＰＵ１２５は、図７（ｃ）で示した空間周波数ごとのデフォーカスＭＴＦの極大値情報Ｋ＿Ｐ＿ＩＭＧ（ｎ），Ｋ＿Ｐ＿ＡＦ（ｎ）を、撮影画像やＡＦの評価帯域Ｋ＿ＩＭＧ＿ｆｑ，Ｋ＿ＡＦ＿ｆｑで重みづけ加算する。これにより、撮影画像の合焦位置（Ｐ＿ｉｍｇ）とＡＦが検出する合焦位置（Ｐ＿ＡＦ）を算出する。
【００７３】
次にカメラＭＰＵ１２５は、ＢＰ補正値（ＢＰ）を、以下の式（７）により算出する。
ＢＰ＝Ｐ＿ＡＦ−Ｐ＿ｉｍｇ      …（７）
【００７４】
次に、Ｓ８では、Ｓ２で得られたデフォーカス量ＤＥＦと、Ｓ７で得られたＢＰ補正値ＢＰとを用いて、式（８）によりフォーカスレンズ駆動量Ｍを求める。
Ｍ＝ＤＥＦ＋ＢＰ      …（８）
【００７５】
カメラＭＰＵ１２５は、フォーカスレンズ駆動量Ｍの分、光軸方向にフォーカスレンズを駆動させることで、ユーザーの意図にあった焦点画像を得る。
【００７６】
次に、図６（ｂ）のフローチャートを参照しながら、撮影条件によるＡＦ、撮影画像の重みづけ係数値の計算方法について、図９を用いて詳細に説明する。図９は、いずれも空間周波数毎の強度を示しており、横軸に空間周波数、縦軸に強度を示している。
【００７７】
Ｓ１１では、まず、撮影画像の色、方向による焦点検出（ＡＦ）用の重みづけ係数を設定する。ここでは、図８（ａ）に示すように、焦点検出（ＡＦ）時の色の重みづけ係数Ｋ＿ＡＦ＿Ｒ，Ｋ＿ＡＦ＿Ｇ，Ｋ＿ＡＦ＿Ｂ、撮影画像の色の重みづけ係数Ｋ＿ＩＭＧ＿Ｒ，Ｋ＿ＩＭＧ＿Ｇ，Ｋ＿ＩＭＧ＿Ｂを設定する。更に、焦点検出（ＡＦ）時の方向の重みづけ係数Ｋ＿ＡＦ＿Ｈ，Ｋ＿ＡＦ＿Ｖ、撮影画像の方向の重みづけ係数Ｋ＿ＩＭＧ＿Ｈ，Ｋ＿ＩＭＧ＿Ｖの係数値を設定する。以下、代表的な設定方法について説明する。例えば、方向の重みづけ係数Ｋ＿ＡＦ＿Ｈ、Ｋ＿ＡＦ＿Ｖ、Ｋ＿ＩＭＧ＿Ｈ、Ｋ＿ＩＭＧ＿Ｖに関しては、焦点検出方向が図２に示すような瞳分割形状で水平Ｈ方向のみの場合、
Ｋ＿ＡＦ＿Ｈ＝１
Ｋ＿ＡＦ＿Ｖ＝０
Ｋ＿ＩＭＧ＿Ｈ＝１
Ｋ＿ＩＭＧ＿Ｖ＝１
と設定すると良い。これは、焦点検出によるピント位置は水平方向Ｈによる収差に寄与するところが大きく、撮影画像のピント位置は水平方向Ｈと垂直方向Ｖを１：１で平均した収差状態の撮影画像でピント位置を判断することが一般的であるためである。
【００７８】
次に、色の重みづけ係数Ｋ＿ＡＦ＿Ｒ、Ｋ＿ＡＦ＿Ｇ、Ｋ＿ＡＦ＿Ｂ、Ｋ＿ＩＭＧ＿Ｒ、Ｋ＿ＩＭＧ＿Ｇ、Ｋ＿ＩＭＧ＿Ｂに関しては、例えば、焦点検出用の画素がベイヤー配列中のＧのみの場合、
Ｋ＿ＡＦ＿Ｒ＝０
Ｋ＿ＡＦ＿Ｇ＝１
Ｋ＿ＡＦ＿Ｂ＝０
Ｋ＿ＩＭＧ＿Ｒ＝０．３
Ｋ＿ＩＭＧ＿Ｇ＝０．５
Ｋ＿ＩＭＧ＿Ｂ＝０．２
と設定しても良い。これは焦点検出時には、Ｇの色収差の影響のみピント位置に影響を与え、撮影画像は所望のホワイトバランス係数によって与えられた重みづけの各色の色収差による影響でピント位置が変動することに因る。代表的な設定方法について説明したが、方向、色に関しても、被写体の色や方向を検出して更新しても構わないし、ユーザーが任意に設定可能なもので合っても良い。また、色の分割数（Ｒ，Ｇ，Ｂ）を３、方向の分割数（Ｈ，Ｖ）を２としたが、より多くの分割数を設けても良い。分割数が多ければ多いほど、前述したＢＰ補正値の算出時の重みづけ計算が複雑化し、カメラＭＰＵの処理負荷は増えるが、より高精度なＢＰ補正値の算出が可能になる。
【００７９】
Ｓ１２以降の処理は空間周波数に関する重みづけ係数Ｋ＿ＡＦ＿ｆｑ１〜Ｋ＿ＡＦ＿ｆｑ４、Ｋ＿ＩＭＧ＿ｆｑ１〜Ｋ＿ＩＭＧ＿ｆｑ４についての算出方法である。
【００８０】
まず、Ｓ１２において、撮影画像の記録解像度周波数特性を取得する。ここでは、撮影画像のナイキスト周波数を取得する。ナイキスト周波数を超えた撮影画像成分は写真に記録することができない。例えば、上述の通り、本実施形態の撮像素子１２２は２種類の読み出しモードを有する。第１の読み出しモード、すなわち全画素読み出しモードでは、信号生成時に空間周波数特性が変わる事はないため、図９におけるナイキスト周波数はＮｑである。例えば、画素ピッチ４μｍの画素ピッチに対応するナイキスト周波数Ｎｑは、
１／（０．００４×２）＝１２５［ｌｐ／ｍｍ］
である。
【００８１】
一方で、第２の読み出しモード、すなわち間引き読み出しモードの際には、信号生成時に空間周波数特性が変わる。例えば、第２の読み出しモードでＸ方向に１／３間引き処理が行われる場合を想定すると、第２の読み出しモードでの撮影画像は４μｍ×３＝１２μｍの画素ピッチとなる。それに伴い、第２の読み出しモードでのナイキスト周波数Ｎｑは、
１／（０．０１２×２）＝４２［ｌｐ／ｍｍ］
となり、解像できる撮影画像の周波数成分が低くなる。Ｓ１２では、このように撮影画像として残る周波数限界［ｌｐ／ｍｍ］を撮影画像の画素ピッチから計算しておく。また、ナイキスト周波数を超えた周波数成分は、エイリアシング（偽解像）となる。撮影画像、ＡＦ用画像として、記録、解像できない周波数成分は、正しく鑑賞したり、焦点検出したりすることができないため、撮影画像のナイキスト周波数を基準に、Ｓ１３以降の空間周波数情報の取得を行い、ＡＦ、撮像の周波数重み付けを計算する。下記の説明では、ＡＦ、撮像用の画像が同値のナイキスト周波数を持つ場合について説明する。しかしながら、撮像ＡＦ用の画像が第１の読み出しモード、ＡＦ用の画像が第２の読み出しモードで設定される場合など、ＡＦ、撮像で異なる画素ピッチである場合には、異なるナイキスト周波数を持つとして計算を行う。
【００８２】
次に、Ｓ１３では、被写体の空間周波数特性（Ｉ）を取得する。図９（ａ）は、被写体の空間周波数特性（Ｉ）の一例を示している。横軸上のｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４は、図８（ｂ）で設定されている空間周波数であり、Ｎｑは、撮像素子１２２の画素ピッチにより決まるナイキスト周波数を示す。空間周波数ｆｑ４は、ｆｑ１に比べ、ナイキスト周波数に近いので、高周波である。
【００８３】
空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４、Ｎｑについては、以後説明する図９（ｂ）から図９（ｆ）にも同様に示している。本実施形態では、被写体の空間周波数特性（Ｉ）は、焦点検出を行う被写体に応じて、用いる被写体の空間周波数特性を変更する。例えば、Ｓ１で設定された焦点検出領域において、撮影した画像信号に高速フーリエ変換（ＦＦＴ）処理などの処理を行うことにより、図９（ａ）に示すような被写体の空間周波数情報を得ることができる。このような処理により、演算処理内容が増えるが、焦点検出を行う被写体に応じた補正値を算出できるため、高精度な焦点調節を行うことができる。また、より簡易的に、被写体のコントラスト情報の大小によって、予め記憶された数種の空間周波数特性を使い分けてもよい。なお、図９（ａ）では、被写体の空間周波数特性（Ｉ）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＩ（ｎ）（１≦ｎ≦４）と表す。
【００８４】
次に、Ｓ１４では、撮影光学系の周波数特性の取得を行う。図９（ｂ）は、撮影光学系の空間周波数特性（Ｏ）の一例を示している。この光学情報は、レンズＭＰＵ１１７を通じて得てもよいし、カメラ内のＲＡＭ１２５ｂに記憶しておいてもよい。その際に記憶する情報は、デフォーカス状態毎の空間周波数特性でもよいし、合焦時の空間周波数特性のみでもよい。空間周波数ＢＰ補正値は、合焦近傍で算出するため、合焦時の空間周波数特性を用いれば、高精度に補正を行うことができる。但し、演算負荷は増えるものの、デフォーカス状態毎の空間周波数特性を用いると、より高精度に焦点調節を行うことができる。なお、図９（ｂ）では、撮影光学系の空間周波数特性（Ｏ）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＯ（ｎ）（１≦ｎ≦４）と表す。
【００８５】
次に、Ｓ１５では、カメラ本体１２０の光学ＬＰＦ１２１の周波数特性の取得を行う。図９（ｃ）は、光学ＬＰＦ１２１の空間周波数特性（Ｌ）の一例を示している。この情報は、カメラ内のＲＡＭ１２５ｂに記憶されている。なお、図９（ｃ）では、光学ＬＰＦ１２１の空間周波数特性（Ｌ）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＬ（ｎ）（１≦ｎ≦４）と表す。
【００８６】
ここでは、Ｓ１３からＳ１５において、被写体、撮影光学系、光学ＬＰ（光学ＬＰ：光学ローパス）の周波数特性をそれぞれ別々に取得している。そして、後述するＳ１８において、各周波数ｆｑ（ｎ）において掛け算を行うことで、特定の被写体を撮影光学系で撮影した時の空間周波数特性を取得する方法を示している。しかしながら、方法はこれに限らず、実際にカメラ本体１２０にレンズユニット１００を装着して被写体を撮影して得られた撮像信号をフーリエ変換することで、Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）の信号を得ることができる。このような方法で、撮影を行う度にＩ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）の値を更新しても良い。
【００８７】
次に、Ｓ１６では、画像処理周波数特性の取得を行う。ここでは、撮影画像に施されるローパス（ＬＰ）処理や圧縮処理等による画像処理方法によって変更される周波数特性を計算する。
【００８８】
図９（ｄ）は、信号生成による空間周波数特性（Ｍ１，Ｍ２，Ｍ３）の一例を示している。Ｍ１は、撮影画像にＬＰ処理や圧縮処理が全く施されなかった場合の周波数特性である。この場合、空間周波数特性が変わることは無いので、各周波数に対する係数は常に１を設定する。一方で、画像に施される処理として、エイリアシングの防止やＳ／Ｎの改善を図るため、信号の加算を行うことが考えられる。この場合、加算によるローパス効果が発生する。
【００８９】
一例として、図１０（ａ）を図９（ｄ）のＭ１に対応する撮影画像、図１０（ｂ）をＭ２に対応する撮影画像とする。ここで、図１０（ｃ）に示すように、ＬＰ処理や圧縮処理が施されたＭ２に対応する撮影画像の１画素を、１＋２＋３、４＋５＋６、・・・のように、Ｍ１に対応する信号を加算したものとする。また、上述のような単純な加算処理だけでなく、画像圧縮時には、より高い周波数を残すような圧縮処理を行う場合もある。例えば、撮像素子駆動回路１２３内での加算処理は上述のような処理を行う場合でも、画像処理回路１２４内ではより高精細な撮影画像を残すため、高い周波数を残した画像圧縮を行う場合もある。この場合でも、画像処理のＬＰ効果に合わせた周波数特性Ｍを設定すれば良い。例えば、画像処理回路１２４のＬＰ効果をＭ３とし、撮像素子駆動回路１２３での加算効果をＭ２とすると、撮影画像がどちらの回路を通って現在の記録解像度になったかによって、選択する画像処理周波数特性をＭ２かＭ３に切り替えれば良い。
【００９０】
このように、Ｓ１６では、Ｓ１５における撮影画像の画素数、画素ピッチが同じ（ナイキスト周波数が同じ）であっても、画像処理方法によって、撮影画像に残る周波数帯域が異なる場合があるので、その重みづけを与える。なお、図９（ｄ）では、信号生成による空間周波数特性（Ｍ１，Ｍ２，Ｍ３）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＭ１（ｎ）、Ｍ２（ｎ）、Ｍ３（ｎ）（１≦ｎ≦４）と表す。
【００９１】
次に、Ｓ１７では、ＡＦデジタル処理の周波数特性と撮影画像を鑑賞する際の代表的な空間周波数特性を取得する。焦点検出は、デジタルフィルタをかけて行うのが一般的である。
【００９２】
図９（ｅ）は、撮影画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性（Ｄ１）とＡＦ評価信号の処理時に用いるデジタルフィルタの空間周波数特性（Ｄ２）を示している。撮影画像を鑑賞する際の空間周波数毎の感度は、画像を鑑賞する表示部であるモニタサイズやモニタ解像度、モニタ表示率、鑑賞距離などにより影響を受ける。鑑賞条件による変化量の算出方法は、図６（ｃ）を用いて後述する。ここでは、例えば、代表的な値として、モニタサイズ＝Ａ３、モニタ解像度＝１９２０×１０８０、モニタ表示率１００％、鑑賞距離＝５００ｍｍなどの条件下での鑑賞時の空間周波数毎の感度を設定し、記憶している。なお、図９（ｅ）では、信号生成による空間周波数特性（Ｄ１、Ｄ２）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＤ１（ｎ）、Ｄ２（ｎ）（１≦ｎ≦４）と表す。
【００９３】
次に、Ｓ１８では、Ｓ１７までで得られた空間周波数の特性値から、焦点検出用と撮影画像用の空間周波数重み付け係数をそれぞれ算出する。以下の式（９）及び式（１０）で、撮影画像の重み付け係数Ｋ＿ＩＭＧ＿ｆｑ´及びＡＦの重み付け係数Ｋ＿ＡＦ＿ｆｑの算出を行う。
Ｋ＿ＩＭＧ＿ｆｑ´（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ１（ｎ）×Ｄ１（ｎ）
（１≦ｎ≦４）      …（９）
Ｋ＿ＡＦ＿ｆｑ（ｎ）＝Ｉ（ｎ）×Ｏ（ｎ）×Ｌ（ｎ）×Ｍ２（ｎ）×Ｄ２（ｎ）
（１≦ｎ≦４）      …（１０）
【００９４】
図９（ｆ）に、撮影画像の重み付け係数Ｋ＿ＩＭＧ＿ｆｑ´とＡＦの重み付け係数Ｋ＿ＡＦ＿ｆｑを示す。式（９）及び式（１０）のような計算を行うことにより、撮影画像の合焦状態を決定する因子に対して、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果が有する誤差が、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。また、検出された被写体ごとに図９（ａ）の空間周波数特性（Ｉ）を更新することで、被写体の空間周波数特性に対応した重み付け係数Ｋ＿ＩＭＧ＿ｆｑとＫ＿ＡＦ＿ｆｑ´を得ることができる。
【００９５】
また、前述したように、Ｓ１６で行われる画像処理の空間周波数特性がＭ２から、Ｍ３となる場合には、式（１０）におけるＭ２（ｎ）をＭ３（ｎ）に置き換えて重み付け係数を算出すれば良い。
【００９６】
また、全ての計算を焦点検出動作内で行う必要はないため、例えば、撮影光学系と被写体の空間周波数特性のみは予め計算し、カメラ内に記憶しておくことにより、データの記憶容量の低減や演算量の低減をはかってもよい。
【００９７】
図９では、４つの空間周波数（ｆｑ１〜ｆｑ４）を用いて説明したが、データを有する空間周波数の数が多いほど、撮影画像やＡＦの評価帯域の空間周波数特性を分解能良く再現することができ、精度のよい補正値の算出を行うことができる。逆に、重みづけを行う空間周波数を少なくすることにより、演算量の低減を行うことができる。また、撮影画像の評価帯域とＡＦ評価帯域の空間周波数特性を代表する空間周波数を各々１つずつ持ち、演算を行ってもよい。
【００９８】
次に、図６（ｃ）のフローチャートを参照しながら、撮影条件による撮影画像の空間周波数重みづけ値の計算方法について、図１１、図１２を用いて詳細に説明する。
【００９９】
前述したように、図６（ｂ）では、表示部の特定鑑賞条件（例として、モニタサイズ＝Ａ３、モニタ解像度＝１９２０×１０８０、モニタ表示率１００％、鑑賞距離＝５００ｍｍ）下での撮像の空間周波数重み付けを算出したものであった。図６（ｃ）では、ユーザーの鑑賞条件（モニタサイズ、モニタ解像度、モニタ表示率、鑑賞距離など）によって変化する着目周波数を変更可能にする。鑑賞条件（モニタサイズ、モニタ解像度、モニタ表示率、鑑賞距離など）に関連するパラメータは、鑑賞者が入力、選択可能なものであっても良いし、後述する方法で検出を行っても良い。
【０１００】
前提として、デジタルカメラでの撮影画像が図１１（ａ）にあるように、５×５［ｐｉｘ］で形成されていたとする。このときの図６（ｂ）で示した特定の鑑賞条件での画像イメージを図１１（ｂ）に示す。図１１（ｂ）はデジタルカメラでの撮影画像をモニタ表示する際の一例を示しており、ここでの表示部のモニタサイズ：Ｚ１、モニタ解像度：Ｒ１、表示率：Ｂ１、鑑賞距離：Ｅ１での例を示している。表示部のモニタサイズとは、モニタ表示部のサイズ（Ｍ＿Ｈ［ｍｍ］×Ｍ＿Ｖ［ｍｍ］）を示す。現在では、モニタサイズは、１７インチのものから４Ｋ対応による大画面のものまで様々なサイズがあるが、ここでは表示部のサイズに変更が生じた際のユーザーの鑑賞周波数変化に対応する。
【０１０１】
次に、表示部のモニタ解像度とは、モニタ上の総画素数（Ｐ＿Ｈ［ｐｉｘ］×Ｐ＿Ｖ［ｐｉｘ］）を示す。同一のモニタサイズで比較する場合、画素数が多いほど高精細な表示が可能となる。上述のモニタサイズＭ＿Ｈ［ｍｍ］×Ｍ＿Ｖ［ｍｍ］と、モニタの１画素の大きさＭＰ［ｍｍ］が既知であれば、
Ｐ＿Ｈ［ｐｉｘ］＝  Ｍ＿Ｈ［ｍｍ］／  ＭＰ［ｍｍ］
Ｐ＿Ｖ［ｐｉｘ］＝  Ｍ＿Ｖ［ｍｍ］／  ＭＰ［ｍｍ］
と求めることもできる。
【０１０２】
次に、表示部のモニタ表示率とは、モニタ上の拡大表示率のことであり、一般的に、表示率＝１００％と指定した場合には、図１１（ａ）上に示す記録画素の１［ｐｉｘ］×１［ｐｉｘ］の情報＝モニタ上の１［ｐｉｘ］×１［ｐｉｘ］の情報として表示する。表示率＝２００％の場合には、記録画素の１［ｐｉｘ］×１［ｐｉｘ］の情報＝モニタ上の２［ｐｉｘ］×２［ｐｉｘ］の情報として表示する。
【０１０３】
次に、鑑賞距離とは、図１１（ｃ）に示すように、例えば、ユーザーとモニタとのＺ軸方向の距離である。ユーザーの視点位置から出る点線はユーザーの画角であり、角度θで表される。
【０１０４】
Ｓ２１では、まず、鑑賞情報１として、表示部のモニタサイズの情報取得を行う。図１１（ｄ）は、モニタサイズＺ＝Ｚ２となり、サイズが小さくなった場合の例を図示している。なお、このとき、その他の鑑賞条件（被写体、モニタ解像度、モニタ表示率、鑑賞距離）は変更がないものとして説明する。
【０１０５】
この場合、モニタ解像度：Ｒ１（総画素数）が同じで、モニタサイズが小さくなっているため、モニタの１画素の大きさＭＰ［ｍｍ］は、図１１（ｂ）に示す場合に比べて小さくなる（ＭＰｃ［ｍｍ］）。さらに、モニタ表示率も同じであるので、相対的に、図１１（ｂ）に比べて、モニタ上に表示される被写体の大きさは小さくなる。つまり、モニタが小さくなると、同じ距離でモニタを観察しているユーザーにとっては、被写体の中の高周波な成分は見えにくくなる。具体的な例を述べると、図１１（ｄ）で顔が映し出されている場合、睫などの高周波な成分よりも輪郭などの低域な部分でユーザーはピントを評価する。この重み付け情報を表した例が図１２（ａ）のＧ１である。図９と同様に、ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４は、図８（ｂ）で設定されている空間周波数であり、Ｎｑは、撮像素子１２２の画素ピッチにより決まるナイキスト周波数を示す。
【０１０６】
図１２（ａ）の二点差線は、モニタサイズ：Ｚ１のときの空間周波数の重み付け特性例を表している。それに対し、現在のモニタサイズはＺ２であるので、モニタの大きさは、Ｚ２／Ｚ１である。このとき、鑑賞時の空間周波数の重み付けは、モニタの大きさに比例するモニタの画素ピッチＭＰ、ＭＰｃを利用し、一例として、鑑賞周波数をＭＰｃ／ＭＰ低域に重みを強くしたＧ１のように表現する。なお、図１２（ａ）では、鑑賞条件１（モニタサイズ）の空間周波数特性（Ｇ１）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＧ１（ｎ）（１≦ｎ≦４）と表す。
【０１０７】
次に、Ｓ２２では、鑑賞情報２として、モニタ解像度の情報取得を行う。図１１（ｅ）にモニタ解像度Ｒ＝Ｒ２となり、解像度が低くなった場合の例を図示している。なお、このとき、その他の鑑賞条件（被写体、モニタサイズ、モニタ表示率、鑑賞距離）は変更がないものとして説明する。
【０１０８】
この場合、モニタサイズ：Ｚ１が同じで、モニタ解像度が低くなっているため、モニタの１画素の大きさＭＰ［ｍｍ］は、図１１（ｂ）に示す場合に比べて大きくなる（ＭＰｄ［ｍｍ］）。さらに、モニタ表示率も同じであるので、相対的に、図１１（ｂ）に比べて、モニタ上に表示される被写体の大きさは大きくなる。つまり、被写体が大きくなると、同じ距離でモニタを観察しているユーザーにとっては、被写体の中の高周波な成分が見えやすくなる。具体的な例を述べると、図１１（ｅ）で顔が映し出されている場合、睫などの高周波な成分でユーザーはピント評価を行う。この重み付け情報を表した例が図１２（ｂ）のＧ２である。図９と同様に、ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４は、図８（ｂ）で設定されている空間周波数であり、Ｎｑは、撮像素子の画素ピッチにより決まるナイキスト周波数を示す。
【０１０９】
図１２（ｂ）の二点差線は、モニタ解像度：Ｒ１のときの空間周波数の重み付け特性例を表している。それに対し、現在のモニタ解像度はＲ２であるので、モニタの解像度比は、Ｒ２／Ｒ１である。このとき、鑑賞時の空間周波数の重み付けは、モニタの解像度に比例するモニタの画素ピッチＭＰ、ＭＰｄを利用し、一例として、鑑賞周波数をＭＰｄ／ＭＰ高周波側に重みを強くしたＧ２のように表現する。なお、図１２（ｂ）では、鑑賞条件２（モニタ解像度）の空間周波数特性（Ｇ２）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＧ２（ｎ）（１≦ｎ≦４）と表す。
【０１１０】
次に、Ｓ２３では、鑑賞情報３として、モニタ表示率の情報取得を行う。図１１（ｆ）にモニタ表示率Ｂ＝Ｂ２となり、表示率が高くなった場合の例を図示している。なお、このとき、その他の鑑賞条件（被写体、モニタサイズ、モニタ解像度、鑑賞距離）は変更がないものとして説明する。
【０１１１】
この場合、モニタサイズ、モニタ解像度が同じであるため、モニタの１画素の大きさＭＰ［ｍｍ］は図１１（ｂ）と同じである。しかし、モニタ表示率が異なるので、相対的に、図１１（ｂ）に比べて、モニタ上に表示される被写体の大きさは大きくなる。つまり、表示率が大きくなると、同じ距離でモニタを観察しているユーザーにとっては、被写体の中の高周波な成分が見えやすくなる。具体的な例を述べると、図１１（ｆ）中で顔が映し出されている場合、睫などの高周波な成分でユーザーはピント評価を行う。この重み付け情報を表した例が図１２（ｃ）のＧ３である。図９と同様に、ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４は、図８（ｂ）で設定されている空間周波数であり、Ｎｑは、撮像素子の画素ピッチにより決まるナイキスト周波数を示す。
【０１１２】
図１２（ｃ）の二点差線は、モニタ表示率：Ｂ１のときの空間周波数の重み付け特性例を表している。それに対し、現在のモニタ表示率はＢ２であるので、モニタの表示率比は、Ｂ２／Ｂ１である。このとき、鑑賞時の空間周波数の重み付けは、一例として、鑑賞周波数をＢ２／Ｂ１高周波側に重みを強くしたＧ３のように表現する。なお、図１２（ｃ）では、鑑賞条件３（モニタ表示率）の空間周波数特性（Ｇ３）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＧ３（ｎ）（１≦ｎ≦４）と表す。
【０１１３】
また、モニタの表示率は、注視される被写体の大きさから決定しても良い。今、図１１（ａ）のように取得された被写体はａｆＨ［ｐｉｘ］×ａｆＶ［ｐｉｘ］で構成されているとする。この画像をモニタ上のＯＵＴ＿Ｈ［ｐｉｘ］，ＯＵＴ＿Ｖ［ｐｉｘ］で表示することを考える。Ｓ２３におけるユーザーの入力が表示画素数ＯＵＴ＿Ｈ［ｐｉｘ］，ＯＵＴ＿Ｖ［ｐｉｘ］であった場合、例えば、表示率Ｂ２は
Ｂ２＝（ＯＵＴ＿Ｈ［ｐｉｘ］×ＯＵＴ＿Ｖ［ｐｉｘ］）
／（ａｆＨ［ｐｉｘ］×ａｆＶ［ｐｉｘ］）
として計算可能である。また、入力が表示画素数ＯＵＴ＿Ｈ［ｐｉｘ］，ＯＵＴ＿Ｖ［ｐｉｘ］でなく、大きさＯＵＴｍ＿Ｈ［ｍｍ］，ＯＵＴｍ＿Ｖ［ｍｍ］の場合には、
【０１１４】
Ｂ２＝
（ＯＵＴｍ＿Ｈ［ｍｍ］／ＭＰ［ｍｍ］×ＯＵＴｍ＿Ｖ［ｍｍ］／ＭＰ［ｍｍ］）
／（ａｆＨ［ｐｉｘ］×ａｆＶ［ｐｉｘ］）
として、モニタ上１ｐｉｘの大きさＭＰ［ｍｍ］を使って換算を行えばよいし、ユーザーがモニタ上で表示エリアを指定するようにしても良い。
【０１１５】
次に、Ｓ２４では、鑑賞情報４として、鑑賞距離の情報取得を行う。図１１（ｇ）に鑑賞距離Ｅ＝Ｅ２となり、鑑賞距離が近くなった場合の例を図示している。なお、このとき、その他の鑑賞条件（被写体、モニタサイズ、モニタ解像度、モニタ表示率）は変更がないものとして説明する。
【０１１６】
この場合、モニタサイズ、モニタ解像度が同じであるため、モニタの１画素の大きさＭＰ［ｍｍ］は図１１（ｂ）と同じである。また、モニタ表示率も同じであるので、モニタ上に表示される被写体の大きさも同じである。しかし、ユーザーの観察距離が近くなるとモニタ上の注視領域が狭くなる。図１１（ｈ）は、観察距離Ｅ２でのユーザーとモニタとのＺ軸方向の距離を示した図である。画角θが同じであるとき、ユーザーは点線の範囲内しか視認できないので、図１１（ｇ）上のモニタでは、点線内のエリアに注視して表示画像の確認を行うことになる。つまり、距離が近くなると、同じモニタを観察しているユーザーにとっては、被写体の中の高周波な成分が見えやすくなる。具体的な例を述べると、図１１（ｇ）中で顔が映し出されている場合、睫などの高周波な成分でユーザーはピント評価を行う。この重み付け情報を表した例が図１２（ｄ）のＧ４である。図９と同様に、ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４は、図８（ｂ）で設定されている空間周波数であり、Ｎｑは、撮像素子の画素ピッチにより決まるナイキスト周波数を示す。
【０１１７】
図１２（ｄ）の二点差線は、鑑賞距離：Ｅ１のときの空間周波数の重み付け特性例を表している。それに対し、現在の鑑賞距離はＥ２であるので、注視エリアの大きさに対する鑑賞距離比は、Ｅ２ｔａｎθ／Ｅ１ｔａｎθ＝Ｅ２／Ｅ１である。ここではモニタ画面縦方向の比に関して述べたが、横方向に関しても同様である。このとき、鑑賞時の空間周波数の重み付けは、一例として、鑑賞周波数をＥ２／Ｅ１高周波側に重みを強くしたＧ４のように表現する。なお、図１２（ｄ）では、鑑賞条件４（鑑賞距離）の空間周波数特性（Ｇ４）は、曲線で描かれているが、離散的に空間周波数ｆｑ１、ｆｑ２、ｆｑ３、ｆｑ４に対応した値を有し、それをＧ４（ｎ）（１≦ｎ≦４）と表す。
【０１１８】
最後に、Ｓ２５では、Ｓ２４までで得られた空間周波数の特性値から、撮像の空間周波数重み付け係数を算出する。以下の式（１３）で、撮影画像の評価帯域Ｋ＿ＩＭＧ＿ｆｑの算出を行う。
Ｋ＿ＩＭＧ＿ｆｑ（ｎ）＝
Ｋ＿ＩＭＧ＿ｆｑ´（ｎ）×Ｇ１（ｎ）×Ｇ２（ｎ）×Ｇ３（ｎ）×Ｇ４（ｎ）
（１≦ｎ≦４）      …（１３）
【０１１９】
図１２（ｅ）に、式（１３）で算出されたモニタサイズ：Ｚ２、モニタ解像度：Ｒ２、表示率：Ｂ２、鑑賞距離：Ｅ２での撮影画像の評価帯域Ｋ＿ＩＭＧ＿ｆｑの一例を示す。このような計算を行うことにより、鑑賞条件に因る撮影画像の合焦状態を決定する因子に対して、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。
【０１２０】
なお、図１２では、説明を簡易にするため、４つ空間周波数（ｆｑ１〜ｆｑ４）を用いて説明したが、データを有する空間周波数の数は、多いほど、撮影画像の空間周波数特性を分解能良く再現することができ、精度のよいＢＰ補正値の算出を行うことができる。一方で、重みづけを行う空間周波数を少なくすることにより、演算量の低減を行うことができる。撮影画像の評価帯域を代表する空間周波数を各々１つずつ持ち、演算を行ってもよい。
【０１２１】
上述の説明では、鑑賞条件によって補正値を変更することを可能としたため、よりユーザーの意図にあった焦点検出の補正が可能である。例えば、４Ｋモニタ等の高精細な表示が可能な環境かつ大画面表示の際には、より高周波な被写体にピント調整を行う必要がある。これに対し、本実施形態では環境による因子を入力可能であるので、鑑賞条件に因る撮影画像の合焦状態を決定する因子に対して、空間周波数毎に、どの程度の影響度合いを有するかを定量化することができる。
【０１２２】
また、上述の説明では、表示部を液晶モニターで鑑賞するものとして説明としたが、表示部はこれに限らない。例えば、カメラ内のライブビュー表示でも良いし、投影型のモニタでも良い。
【０１２３】
また、上述の説明では、主に補正値の計算をカメラＭＰＵ１２５で行ったが、本発明はこれに限るものではない。例えば、レンズＭＰＵ１１７で補正値の計算を行ってもよい。その場合には、カメラＭＰＵ１２５から、レンズＭＰＵ１１７に対して、図８を用いて説明した各種情報を送信し、レンズＭＰＵ１１７内で、デフォーカスＭＴＦ情報などを用いて補正値の算出を行ってもよい。そして、その場合には、図６（ａ）のＳ８で、カメラＭＰＵ１２５から送信された合焦位置に対して、レンズＭＰＵ１１７が補正を施して、レンズ駆動を行えばよい。
【０１２４】
本実施形態では、焦点検出に用いる信号の特性（縦横、色、空間周波数帯域）に着目して、ＡＦ用のＢＰ補正値を算出している。そのため、ＡＦの方式、鑑賞条件によらず、同様の方法で、ＢＰ補正値の算出を行うことができる。ＡＦ方式、鑑賞条件毎に、補正方法、補正に用いるデータを有する必要がないため、データの記憶容量、および、演算負荷を低減することができる。
【０１２５】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【０１２６】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２７】
１００：レンズユニット、１０４：フォーカスレンズ、１１３：フォーカスアクチュエータ、１１６：フォーカス駆動回路、１１７：レンズＭＰＵ、１１８：レンズメモリ、１２０：カメラ本体、１２２：撮像素子、１２３：撮像素子駆動回路、１２４：画像処理回路、１２５：カメラＭＰＵ、１２９：撮像面位相差検出部、１３０：ＴＶＡＦ焦点検出部
【図１】
2018004691.tif 000003
【図２】
2018004691.tif 000004
【図３】
2018004691.tif 000005
【図４】
2018004691.tif 000006
【図５】
2018004691.tif 000007
【図６】
2018004691.tif 000008
【図７】
2018004691.tif 000009
【図８】
2018004691.tif 000010
【図９】
2018004691.tif 000011
【図１０】
2018004691.tif 000012
【図１１】
2018004691.tif 000013
【図１２】
2018004691.tif 000014