(57)【要約】【課題】表示画像の品位の低下を抑制しつつＡＦ動作の高速化を実現することが可能な制御装置を提供する。【解決手段】制御装置は、第１の周波数成分を含む第１の画像、および、第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する画像生成手段（１５ａ）と、第１の画像から第１の評価値を生成し、第２の画像から第２の評価値を生成する評価値生成手段（１４）と、第１の評価値から第２の評価値への評価値の変化量を算出する変化量算出手段（１５ｂ）と、変化量に基づいて画像の合焦度合いを判定する判定手段（１５ｃ）とを有する。【選択図】図５
2019015818.tif 000002
【特許請求の範囲】
【請求項１】
第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する画像生成手段と、
前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成する評価値生成手段と、
前記第１の評価値から前記第２の評価値への評価値の変化量を算出する変化量算出手段と、
前記変化量に基づいて画像の合焦度合いを判定する判定手段と、を有することを特徴とする制御装置。
【請求項２】
前記算出手段は、第１のタイミングで前記変化量として算出された第１の変化量と、第２のタイミングで前記変化量として算出された第２の変化量との差分を求め、
前記判定手段は、前記第１の変化量と前記第２の変化量との前記差分に基づいて、前記合焦度合いを判定することを特徴とする請求項１に記載の制御装置。
【請求項３】
前記第１のタイミングは合焦時であり、前記第２のタイミングは合焦維持判定時であることを特徴とする請求項２に記載の制御装置。
【請求項４】
前記判定手段は、
前記第１の変化量と前記第２の変化量との前記差分が第１の量である場合、前記合焦度合いが低いと判定し、
前記第１の変化量と前記第２の変化量との前記差分が前記第１の量よりも小さい第２の量である場合、前記合焦度合いが高いと判定することを特徴とする請求項２または３に記載の制御装置。
【請求項５】
前記判定手段は、
前記第１の変化量と前記第２の変化量との前記差分が所定量よりも小さい場合、合焦状態が維持されていると判定し、
前記第１の変化量と前記第２の変化量との前記差分が前記所定量よりも大きい場合、前記合焦状態が維持されていないと判定することを特徴とする請求項２または３に記載の制御装置。
【請求項６】
前記判定手段は、撮影時の被写界深度に応じて、前記合焦状態が維持されていと判定する前記所定量を変更することを特徴とする請求項５に記載の制御装置。
【請求項７】
前記判定手段は、
前記被写界深度が第１の被写界深度である場合、前記所定量を第１の所定量に設定し、
前記被写界深度が前記第１の被写界深度よりも深い第２の被写界深度である場合、前記所定量を前記第１の所定量よりも大きい第２の所定量に設定することを特徴とする請求項６に記載の制御装置。
【請求項８】
前記画像生成手段は、
焦点調整のために合焦状態の異なる複数の画像を生成し、
前記判定手段により判定された前記合焦度合いに応じて、前記複数の画像の数を変更することを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
【請求項９】
前記画像生成手段は、
前記合焦度合いが第１の値である場合、前記焦点調整のために取得する前記画像の数を第１の数に設定し、
前記合焦度合いが前記第１の値よりも高い第２の値である場合、前記焦点調整のために取得する前記画像の数を、前記第１の数よりも少ない第２の数に設定することを特徴とする請求項８に記載の制御装置。
【請求項１０】
前記変化量算出手段は、前記変化量として、前記第１の評価値および前記第２の評価値のそれぞれの変化率の和を算出し、
前記判定手段は、前記変化率の和に基づいて前記合焦度合いを判定することを特徴とする請求項１乃至９のいずれか１項に記載の制御装置。
【請求項１１】
前記変化率は、前記第１の評価値と前記第２の評価値との差を、前記第１の評価値と前記第２の評価値との和で除算した値であることを特徴とする請求項１０に記載の制御装置。
【請求項１２】
前記画像生成手段は、特定の周波数帯域の信号を抽出するフィルタを用いて第２の画像を生成することを特徴とする請求項１乃至１１のいずれか１項に記載の制御装置。
【請求項１３】
撮像光学系を介して形成された光学像を光電変換する撮像素子と、
前記撮像素子から出力された画像データに基づいて、第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する画像生成手段と、
前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成する評価値生成手段と、
前記第１の評価値から前記第２の評価値への評価値の変化量を算出する変化量算出手段と、
前記変化量に基づいて画像の合焦度合いを判定する判定手段と、を有することを特徴とする撮像装置。
【請求項１４】
第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成するステップと、
前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成するステップと、
前記第１の評価値から前記第２の評価値への評価値の変化量を算出するステップと、
前記変化量に基づいて画像の合焦度合いを判定するステップと、を有することを特徴とする制御方法。
【請求項１５】
第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成するステップと、
前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成するステップと、
前記第１の評価値から前記第２の評価値への評価値の変化量を算出するステップと、
前記変化量に基づいて画像の合焦度合いを判定するステップと、をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動焦点調整を行うことが可能な撮像装置に関する。
【背景技術】
【０００２】
従来の自動焦点調整動作（ＡＦ動作）において、合焦後に焦点調整を行うために用いられる評価値が変化した場合の焦点調整動作の再起動の判定やその焦点調整動作に関する文献には以下の記載がある。
【０００３】
特許文献１には、コントラスト法により合焦動作を行うカメラにおいて、再起動時の焦点評価値とほぼ等しい焦点評価値に対応するレンズ位置と最大の焦点評価値に対応するレンズ位置との間の距離を再起動時の撮影レンズの移動量に設定することが開示されている。このような構成により、合焦に要する時間を短縮することができ、素早い合焦が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１０７３２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されたカメラは、合焦探索制御を行った後に焦点調整に用いた評価値が変化した場合、範囲を限定して合焦探索制御を再び行う。すなわち、特許文献１に開示されたカメラは、合焦位置に到達した後にその状態が維持されているか否かを判定しない。このため、特許文献１に開示されたカメラでは、合焦状態が維持されていても合焦探索制御を行うため、撮影動作への移行の遅延や表示画像の品位の低下が生じることがある。
【０００６】
そこで本発明は、表示画像の品位の低下を抑制しつつＡＦ動作の高速化を実現することが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面としての制御装置は、第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する画像生成手段と、前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成する評価値生成手段と、前記第１の評価値から前記第２の評価値への評価値の変化量を算出する変化量算出手段と、前記変化量に基づいて画像の合焦度合いを判定する判定手段とを有する。
【０００８】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記制御装置とを有する。
【０００９】
本発明の他の側面としての制御方法は、第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成するステップと、前記第１の画像から第１の評価値を生成し、前記第２の画像から第２の評価値を生成するステップと、前記第１の評価値から前記第２の評価値への評価値の変化量を算出するステップと、前記変化量に基づいて画像の合焦度合いを判定するステップと、を有する。
【００１０】
本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。
【００１１】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１２】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１３】
本発明によれば、表示画像の品位の低下を抑制しつつＡＦ動作の高速化を実現することが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】各実施例における撮像装置のブロック図である。
【図２】実施例１における撮像装置の動作を示すフローチャートである。
【図３】実施例１におけるボケ量判定の動作を示すフローチャートである。
【図４】実施例１におけるスキャンＡＦ動作の説明図である。
【図５】実施例１における合焦維持判定の動作を示すフローチャートである。
【図６】実施例２における撮像素子の構成図である。
【図７】実施例２における撮像装置の動作を示すフローチャートである。
【図８】実施例２における合焦維持判定の動作を示すフローチャートである。
【図９】実施例２における撮像面位相差ＡＦの動作を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。
【実施例１】
【００１６】
まず、図１を参照して、本発明の実施例１における撮像装置について説明する。図１は、撮像装置１のブロック図である。撮像装置１において、２はズームレンズ群、３はフォーカスレンズ群である。４は、ズームレンズ群２およびフォーカスレンズ群３などを含む撮像光学系を透過する光束の量を制御する光量調節手段（露出手段）としての絞りである。３１は、ズームレンズ群２、フォーカスレンズ群３、および、絞り４などを備えたレンズ鏡筒である。レンズ鏡筒３１（撮像光学系）は、撮像装置本体に対して一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置は、撮像装置本体と、撮像装置本体に着脱可能なレンズ鏡筒（撮像光学系）とを備えて構成されてもよい。
【００１７】
５は、ＣＭＯＳセンサまたはＣＣＤセンサなどを含み、撮像光学系を介して形成された被写体像（光学像）を光電変換して電気信号（画像データ）を出力する撮像センサ（固体撮像素子）である。６は、撮像センサ５によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する撮像回路である。７は、撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換回路である。８は、Ａ／Ｄ変換回路７の出力を受けて画像信号を一時的に記憶するバッファメモリなどのメモリ（ＶＲＡＭ）である。
【００１８】
９は、ＶＲＡＭ８に記憶された画像信号を読み出してアナログ信号に変換するとともに、再生出力に適する形態の画像信号に変換するＤ／Ａ変換回路である。１０は、Ｄ／Ａ変換回路９から出力された画像信号を表示する液晶表示装置などの画像表示装置（ＬＣＤ）である。１２は、画像データを記憶する記憶用メモリ（半導体メモリ）である。１１は、圧縮回路および伸長回路を含む圧縮／伸長回路である。圧縮／伸長回路１１は、ＶＲＡＭ８に一時記憶された画像信号を読み出して記憶用メモリ１２に対する記憶に適した形態にするために画像データの圧縮処理や符号化処理を行う。また圧縮／伸長回路１１は、記憶用メモリ１２に記憶された画像データを再生表示などに適した形態とするための復号化処理や伸長処理を行う。
【００１９】
１３は、Ａ／Ｄ変換回路７からの出力を受けて自動露出（ＡＥ）処理のために評価値の算出を行うＡＥ処理回路である。１４は、Ａ／Ｄ変換回路７からの出力を受けてＡＦ評価値を生成する自動焦点調節（ＡＦ）処理のために評価値の算出を行うスキャンＡＦ処理回路（評価値生成手段）である。１５は、撮像装置１の制御を行う演算用のメモリを内蔵したＣＰＵ（制御装置）である。
【００２０】
ＣＰＵ１５は、画像生成手段１５ａ、変化量算出手段１５ｂ、および、判定手段１５ｃを有する。画像生成手段１５ａは、第１の周波数成分を含む第１の画像、および、前記第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する。画像生成手段１５ａは、特定の周波数帯域の信号を抽出するフィルタを用いて第１の画像および第２の画像を生成する。そしてスキャンＡＦ処理回路１４（評価値生成手段）は、第１の画像から第１の評価値を生成し、第２の画像から第２の評価値を生成する。変化量算出手段１５ｂは、第１の評価値から第２の評価値への評価値の変化量を算出する。判定手段１５ｃは、変化量に基づいて画像の合焦度合いを判定する。本実施例において、ＣＰＵ１５およびスキャンＡＦ処理回路１４により制御装置が構成される。
【００２１】
１６は、所定のタイミング信号を発生するタイミングジェネレータ（ＴＧ）である。１７は、撮像センサ５を駆動するドライバ（駆動部）である。２１は、絞り４を駆動する絞り駆動モータである。１８は、絞り駆動モータ２１を駆動制御する第一モータ駆動回路である。２２は、フォーカスレンズ群３を駆動するフォーカス駆動モータである。１９は、フォーカス駆動モータ２２を駆動制御する第二モータ駆動回路である。２３は、ズームスレンズ群２を駆動するズーム駆動モータである。２０は、ズーム駆動モータ２３を駆動制御する第三モータ駆動回路である。
【００２２】
２４は、各種のスイッチ群からなる操作スイッチ（操作ＳＷ）である。２５は、各種制御などを行うプログラムや各種動作を行わせるために使用するデータなどを予め記憶した、電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭである。２６は電池である。２８は、ストロボ発光部である。２７は、ストロボ発光部２８の閃光発光を制御するスイッチング回路である。２９は、警告表示などを行う表示素子（ＬＥＤ）である。
【００２３】
３０は、位相差ＡＦ処理回路である。３３はＡＦ補助光部であり、ＡＦ評価値を取得する際に被写体の全部または一部を照明する照明手段（ＬＥＤなどの光源）を備えて構成される。３２は、ＡＦ補助光部３３を駆動するためのＡＦ補助光部駆動回路である。３５は、手振れなどを検出する振れ検出センサである。３４は、振れ検出センサ３５の信号を処理する振れ検出回路である。３６は、Ａ／Ｄ変換回路７からの出力を受けて画面上での顔位置や顔の大きさなどを検出する顔検出回路である。３７は、取得時刻の異なる複数の画像信号から画像信号上での被写体の動き量を求める動きベクトル検出回路である。
【００２４】
なお、画像データなどの記憶媒体である記憶用メモリ１２として、フラッシュメモリなどの固定型の半導体メモリや、カード形状やスティック形状の撮像装置１に対して着脱可能なフラッシュメモリなどの半導体メモリが適用可能である。それ以外にも、記憶用メモリ１２として、ハードディスクやフロッピィーディスクなどの磁気記憶媒体など、様々な形態のメモリが適用可能である。
【００２５】
操作スイッチ２４は、撮像装置１を起動させ電源供給を行うための主電源スイッチや撮影動作（記憶動作）を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ、撮像光学系のズームレンズ群２を移動させズームを行わせるズームスイッチなどを含む。レリーズスイッチは、撮影動作に先立ち行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第一ストローク（ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第ニストローク（ＳＷ２）との二段スイッチにより構成される。
【００２６】
続いて、このように構成された撮像装置１の動作について説明する。まず、撮像装置１のレンズ鏡筒３１を通過した被写体光束は、絞り４によってその光量が調整された後、撮像センサ５の受光面に結像される。この被写体像は、撮像センサ５による光電変換処理により電気的な信号に変換され撮像回路６に出力される。撮像回路６は、入力信号に対して各種の信号処理を施し、所定の画像信号を生成する。この画像信号は、Ａ／Ｄ変換回路７に出力されてデジタル信号（画像データ）に変換された後、ＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データは、Ｄ／Ａ変換回路９へ出力されてアナログ信号に変換され、表示するのに適した形態の画像信号に変換された後、画像としてＬＣＤ１０に表示される。ＶＲＡＭ８に格納された画像データは、圧縮／伸長回路１１にも出力される。圧縮／伸長回路１１における圧縮回路は、画像データに対して圧縮処理を行って記憶に適した形態の画像データに変換し、変換後の画像データを記憶用メモリ１２に記憶させる。
【００２７】
操作スイッチ２４のうち再生スイッチ（不図示）が操作されオン状態になると、再生動作が開始される。このとき、記憶用メモリ１２に圧縮された形で記憶された画像データは、圧縮／伸長回路１１に出力され、伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ８に出力され一時的に記憶される。更に、この画像データは、Ｄ／Ａ変換回路９へ出力されてアナログ信号に変換され、表示に適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。
【００２８】
一方、Ａ／Ｄ変換回路７によりデジタル化された画像データは、前述のＶＲＡＭ８とは別に、ＡＥ処理回路１３、スキャンＡＦ処理回路１４、顔検出回路３６、および、動きベクトル検出回路３７に対しても出力される。ＡＥ処理回路１３は、入力されたデジタル画像信号を受けて、一画面分の画像データの輝度値に対して累積加算などの演算処理を行う。これにより、被写体の明るさに応じたＡＥ評価値が算出される。このＡＥ評価値は、ＣＰＵ１５に出力される。
【００２９】
スキャンＡＦ処理回路１４は、入力されたデジタル画像信号を受けて、画像データの所定の周波数成分をバンドパスフィルタ（ＢＰＦ）を介して抽出し、更に累積加算などの演算処理を行い、所定帯域の成分量などに対応するＡＦ評価値信号を算出する。具体的には、ＡＦ領域として指定された画面の一部領域に相当する画像データの所定の周波数成分を複数（例えば４つ）のバンドパスフィルタ（ＢＰＦ）、すなわち周波数特性の異なる複数のフィルタを介して抽出し、累積加算などの演算処理を行う。これにより、所定帯域の成分量などに対応するＡＦ評価値信号（焦点状態を評価するための周波数帯域の異なる複数の評価値）が算出される。
【００３０】
またスキャンＡＦ処理回路１４は、複数のＡＦ評価値信号の比を算出し、複数のＡＦ評価値比信号（比信号）を生成する。例えば４つのバンドパスフィルタを介して４つのＡＦ評価値信号が算出される場合について説明する。すなわち、最も低域の周波数特性を有するバンドパスフィルタを介して算出された第１のＡＦ評価値信号で、他の３つのバンドパスフィルタを介して算出された３つのＡＦ評価値信号（第２のＡＦ評価値信号、第３のＡＦ評価値信号、第４のＡＦ評価値信号）を割る。これにより、３つのＡＦ評価値比信号（第２のＡＦ評価値信号／第１のＡＦ評価値信号、第３のＡＦ評価値信号／第１のＡＦ評価値信号、第４のＡＦ評価値信号／第１のＡＦ評価値信号）が生成される。
【００３１】
ＡＦ評価値及びＡＦ評価値比信号（評価値の比）を算出する領域は、中央部分または画面上の任意の部分の一箇所である場合や、中央部分または画面上の任意の部分とそれに隣接する複数箇所である場合、離散的に分布する複数箇所である場合などである。
【００３２】
また、バンドパスフィルタ（ＢＰＦ）を介さずに得た信号の最大値と最小値との差分値で、バンドパスフィルタを介して算出された４つのＡＦ評価値信号を割ってもよい。すなわち、４つのＡＦ評価値比信号（第１のＡＦ評価値信号／最大値と最小値との差分値、第２のＡＦ評価値信号／最大値と最小値との差分値、第３のＡＦ評価値信号／最大値と最小値との差分値）を生成することも可能である。このようにスキャンＡＦ処理回路１４は、ＡＦ処理を行う過程において、撮像センサ５によって生成された画像信号から所定の周波数成分を検出する所定周波数成分検出手段、および、検出された所定周波数成分の比を取る比信号算出手段の役割を担っている。なお本実施例において、４つのバンドパスフィルタを介して４つのＡＦ評価値信号が算出している場合について説明しているが、これに限定されるものではない。本実施例は、少なくとも２つのＡＦ評価値比信号が算出される場合にも適用可能である。つまり、３種類以上のバンドパスフィルタを介して、ＡＦ評価値信号を３つ以上算出すればよい。
【００３３】
顔検出回路３６は、入力されたデジタル画像信号を受けて、目や眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。また顔検出回路３６は、顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。
【００３４】
動きベクトル検出回路３７は、動きベクトルを算出する領域の過去の画像信号が記録されている場合、その画像信号と今回取得された画像信号との相関演算を行い、動きベクトルを求めるとともに、過去の画像信号を今回取得された画像信号に置換する。なお過去の画像信号が記録されていない場合、動きベクトル検出回路３７は、今回取得された画像信号を所定の領域に記録する。
【００３５】
ＴＧ１６は、所定のタイミング信号をＣＰＵ１５、撮像回路６、および、撮像センサドライバ１７へ出力する。ＣＰＵ１５は、このタイミング信号に同期させて各種の制御を行う。撮像回路６は、ＴＧ１６からのタイミング信号を受け、このタイミング信号に同期させて色信号の分離等の各種画像処理を行う。撮像センサドライバ１７は、ＴＧ１６のタイミング信号を受け、このタイミング信号に同期して撮像センサ５を駆動する。
【００３６】
ＣＰＵ１５は、第一モータ駆動回路１８、第二モータ駆動回路１９、および、第三モータ駆動回路２０を制御する。これによりＣＰＵ１５は、絞り駆動モータ２１、フォーカス駆動モータ２２、および、ズーム駆動モータ２３を介して、絞り４、フォーカスレンズ群３、および、ズームスレンズ群２をそれぞれ駆動制御する。すなわちＣＰＵ１５は、ＡＥ処理回路１３にて算出されたＡＥ評価値などに基づいて、第一モータ駆動回路１８を制御して絞り駆動モータ２１を駆動し、絞り４の絞り量を適正になるように調整するＡＥ制御を行う。またＣＰＵ１５は、スキャンＡＦ処理回路１４にて算出されるＡＦ評価値信号またはＡＦ評価値比信号に基づいて、第二モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３を合焦位置に移動させるＡＦ制御を行う。操作スイッチ２４のうち不図示のズームスイッチが操作された場合、これを受けてＣＰＵ１５は、第三モータ駆動回路２０を制御してズーム駆動モータ２３を駆動制御することによりズームレンズ群２を移動させ、撮像光学系の変倍動作（ズーム動作）を行う。
【００３７】
次に、図２を参照して、撮像装置１の撮影動作について説明する。図２は、撮像装置１の撮影動作を示すフローチャートである。図２の各ステップは、ＣＰＵ１５の指令に基づいて、撮像装置１の各部により実行される。
【００３８】
本実施例において、フォーカスレンズ群３を所定位置に駆動しながらＡＦ評価値を取得する動作をスキャン、ＡＦ評価値を取得するフォーカスレンズ群３の位置の間隔をスキャン間隔、ＡＦ評価値を取得する数をスキャンポイント数という。また本実施例において、ＡＦ評価値を取得する範囲をスキャン範囲、合焦位置を検出するための画像信号を取得する領域をＡＦ枠（ＡＦ領域）という。なおスキャン範囲は、スキャン間隔と（スキャンポイント数−１）との積により決定される。撮像装置１の主電源スイッチがオン状態であり、かつ撮像装置１の動作モードが撮影（録画）モードである場合、撮影処理シーケンスが実行され、撮像センサ５などに電源を供給することにより撮像（撮影動作）が可能となる。
【００３９】
まずステップＳ２０１において、ＣＰＵ１５は、レンズ鏡筒３１を通過して撮像センサ５上に結像した像をＬＣＤ１０に画像として表示する。すなわち撮像センサ５上に結像した被写体像は、撮像センサ５の光電変換処理により電気信号に変換された後、撮像回路６に出力される。撮像回路６は、入力信号に対して各種の信号処理を施し、所定の画像信号を生成する。所定の画像信号は、Ａ／Ｄ変換回路７に出力されデジタル信号（画像データ）に変換されてＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データは、Ｄ／Ａ変換回路９へ出力されてアナログ信号に変換され、表示に適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。
【００４０】
続いてステップＳ２０２において、ＣＰＵ１５は、レリーズスイッチの状態を確認（ＳＷ１がオン状態か否かを判定）する。撮影者によりレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第一ストローク）がオン状態になったことをＣＰＵ１５が確認すると、ステップＳ２０３に進み、初期化処理を行った後、ＡＥ処理回路１３の出力を用いて通常のＡＥ処理を実行する。
【００４１】
続いてステップＳ２０４においてスキャンＡＦ処理を行う。まず、スキャンＡＦ処理回路１４を用いて、取得画像にバンドパスフィルタを用いて解像度を意図的に低下させた（ぼかした）画像を作成する。そして元の画像と解像度を低下させた画像とに基づいて、周波数成分が互いに異なる複数のＡＦ評価値（ＡＦ評価値信号）を求める。またＣＰＵ１５（判定手段１５ｃ）は、複数のＡＦ評価値信号に基づいてボケ量を判定する。次いでスキャンＡＦ処理回路１４は、設定されたＡＦ枠、ボケ量の判定結果に基づいて設定されるスキャン範囲において、ＡＦ枠から取得した画像信号に基づいて複数のＡＦ評価値と複数のＡＦ評価値の比とを求める。そしてＣＰＵ１５は、その結果に基づいて合焦位置を検出する。ＣＰＵ１５が合焦位置にフォーカスレンズ群３を停止させると、スキャンＡＦ処理回路１４は、その位置において複数のＡＦ評価値とＡＦ評価値の比とを求め、ＣＰＵ１５の所定の記録領域に記録する。なお、ステップＳ２０４の処理の詳細については後述する。
【００４２】
ステップＳ２０４にて合焦位置が得られると、ステップＳ２０５に進み、ＣＰＵ１５はＡＦ表示（ＡＦＯＫ表示）を行う。具体的には、ＣＰＵ１５は、表示素子２９を点灯することなどによりＡＦＯＦ表示を行うと同時に、ＬＣＤ１０上に緑の枠を表示するなどの処理を行う。またステップＳ２０４にて合焦位置が得られない場合、ステップＳ２０５に進み、ＡＦＮＧ表示を行う。具体的には、ＣＰＵ１５は、表示素子２９を点滅表示することなどによりＡＦＮＧ表示を行うと同時に、ＬＣＤ１０上に黄色の枠を表示するなどの処理を行う。
なお、ステップＳ２０４のスキャンＡＦ処理にて非合焦の場合であってＳＷ１のオン状態が続いている場合、ステップＳ２０６へ進む。一方、非合焦の場合であってＳＷ１がオフされた場合、ステップＳ２０１へ戻り、ＳＷ１がオンされたことを契機に再度ＡＦを行う。
【００４３】
ステップＳ２０６において、ＣＰＵ１５は、合焦状態が維持されているか否かを判定する。そしてステップＳ２０７において、被写体の距離方向への移動がなくかつフォーカスレンズ群３の意図しない移動等がなく、合焦状態が維持されている場合、ステップＳ２０８へ進み、ＳＷ２がオンになるのを待つ。一方、被写体の距離方向への移動等により合焦状態が維持されていない場合、その程度に応じて、ステップＳ２０１（再度ＡＦ）またはステップＳ２１０（微調整）へ進む。
【００４４】
ステップＳ２０８において、ＣＰＵ１５は、レリーズスイッチの状態を確認（ＳＷ２がオン状態か否かを判定）する。ＳＷ２（レリーズスイッチの第ニストローク）がオン状態になったことをＣＰＵ１５が確認すると、ステップＳ２０９に進み、ＣＰＵ１５は露光処理を実行する。
【００４５】
ステップＳ２１０において、スキャンＡＦ処理回路１４は、現在のフォーカスレンズ群３の近傍（例えば近傍の５つのスキャンポイント）で通常のスキャンと同じスキャン間隔でスキャンを行い、ＡＦ評価値を取得する（ピント微調整スキャン）。そしてステップＳ２１１において、ＣＰＵ１５は、ステップＳ２１０にてスキャンＡＦ評価値のピークを検出したか否かを判定する。ピークが検出された場合、ＣＰＵ１５はピークに対応する位置にフォーカスレンズ群３を移動し、ステップＳ２０７へ戻る。一方、ピークを検出することができない場合、ステップＳ２０１へ戻り、ＣＰＵ１５は、ＳＷ１がオンされたことを契機に再度ＡＦを行う。
【００４６】
次に、図２のステップＳ２０６にて行われるボケ量判定（合焦維持判定）に関して説明する。まず、ＡＦ枠の設定方法について説明する。撮影者の指示がある場合はそれに従う。例えば、ＡＦ枠の大きさは画面の水平１８％×垂直１８％の大きさと水平１０％×垂直１０％を選択可能とし、その位置はＡＦ枠の端部が画面からはみ出さない範囲で設定可能とする。
【００４７】
ＡＦ枠を自動で撮像装置１が設定する場合、主被写体が人物であれば顔検出回路３６の出力を用いてＡＦ枠の設定を行う。ＣＰＵ１５は、顔検出回路３６から検出された顔の大きさ（例えば、水平垂直方向の画素数）と位置（例えば、中心座標）を受け取りその領域を含む様にＡＦ枠を設定する。一方、主被写体が人物以外の場合（顔検出回路で顔が検出されなかった場合）、ＣＰＵ１５は、画像の色情報や輝度情報から特徴点を抽出して主被写体を検出し、その情報を用いてＡＦ枠の設定を行う。ＣＰＵ１５は、色情報や輝度情報から色が同一と見なせる領域と輝度が同一と見なせる領域を抽出した場合、両者の重なる領域を検出し被写体領域候補する。その中で大きさが一定以上でかつ中心からの乖離が一定以下のものを主被写体とする。被写体が複数存在する場合、大きさが最大の被写体を選択する。上記の処理において顔も主被写体も検出されない場合、中央の一箇所の所定の大きさ（例えば、画面の水平１８％×垂直１８％）のＡＦ枠を設定する。
【００４８】
次に、図３を参照して、ボケ量判定に関して説明する。図３は、ボケ量判定の動作を示すフローチャートである。図３の各ステップは、ＣＰＵ１５またはスキャンＡＦ処理回路１４により実行される。
【００４９】
まずステップＳ３０１において、ＣＰＵ１５（スキャンＡＦ処理回路１４）は、画像を取得し、ＡＦ評価値を求める。ＣＰＵ１５は、スキャンＡＦ処理回路１４を制御して、入力されたＡＦ枠内のデジタル画像信号を受けて、複数（例えば４つ）の異なる周波数特性のバンドパスフィルタ（ＢＰＦ）を介して、複数のＡＦ評価値信号ＴｅｓＢｅｆ［ｎ］を算出する。そして算出された評価値ＴｅｓＢｅｆ［ｎ］を所定の領域に記録する。
【００５０】
続いてステップＳ３０２において、ＣＰＵ１５は、画像の解像度を低下させるぼかし処理を行う。すなわち、入力されたＡＦ枠内のデジタル画像信号をスキャンＡＦ処理回路１４に入力し、スキャンＡＦ処理回路１４内の低周波帯域の周波数を抽出するバンドパスフィルタ（ＢＰＦ）を介することで、入力されたデジタル画像信号の解像度を低下させる。続いてステップＳ３０３において、ＣＰＵ１５は、ステップＳ３０１と同様にしてぼかし処理を行った画像から複数のＡＦ評価値信号ＴｅｓＡｆｔ［ｎ］を算出し、所定の領域に記録する。続いてステップＳ３０４において、ＣＰＵ１５は、ぼかし処理前後の評価値の変化量に基づいてボケ量判定指数を算出し、ボケ量（合焦度合い）を判定する。
【００５１】
まずＣＰＵ１５は、複数のＡＦ評価値それぞれの変化率を求める。ぼかし処理前後でそれぞれ４つのＡＦ評価値、ＴｅｓＢｅｆ［０］、ＴｅｓＢｅｆ［１］、ＴｅｓＢｅｆ［２］、ＴｅｓＢｅｆ［３］、ＴｅｓＡｆｔ［０］、ＴｅｓＡｆｔ［１］、ＴｅｓＡｆｔ［２］、ＴｅｓＡｆｔ［３］が求まっている場合を考える。このとき、それぞれのＢＰＦにおけるＡＦ評価値の変化率ＴｅｓＶａｒｉ［０］、ＴｅｓＶａｒｉ［１］、ＴｅｓＶａｒｉ［２］、ＴｅｓＶａｒｉ［３］を、以下のように求める。
【００５２】
ＴｅｓＶａｒｉ［０］＝（ＴｅｓＡｆｔ［０］−ＴｅｓＢｅｆ［０］）／（ＴｅｓＡｆｔ［０］＋ＴｅｓＢｅｆ［０］）
ＴｅｓＶａｒｉ［１］＝（ＴｅｓＡｆｔ［１］−ＴｅｓＢｅｆ［１］）／（ＴｅｓＡｆｔ［１］＋ＴｅｓＢｅｆ［１］）
ＴｅｓＶａｒｉ［２］＝（ＴｅｓＡｆｔ［２］−ＴｅｓＢｅｆ［２］）／（ＴｅｓＡｆｔ［２］＋ＴｅｓＢｅｆ［２］）
ＴｅｓＶａｒｉ［３］＝（ＴｅｓＡｆｔ［３］−ＴｅｓＢｅｆ［３］）／（ＴｅｓＡｆｔ［３］＋ＴｅｓＢｅｆ［３］）
そしてＣＰＵ１５は、変化率の絶対値の和（Σａｂｓ（ＴｅｓＶａｒｉ［ｉ］））を取り、それをほけ量判定指数とする。
【００５３】
続いてステップＳ３０５において、ＣＰＵ１５は、ぼけ量判定指数を評価する。ぼけ量判定指数が第１所定値以上（例えば０．１７以上）である場合、ボケ量は無い（合焦している）と判定し、ステップＳ３０６へ進む。一方、ぼけ量判定指数が第１所定値と第２所定値との間の所定範囲内（例えば０．１１以上０．１７未満）である場合、ボケ量は小さいと判定し、ステップＳ３０７へ進む。また、ぼけ量判定指数が第２所定値未満（例えば０．１１未満）である場合、ボケ量は大きいと判定し、ステップＳ３０８へ進む。
【００５４】
ステップＳ３０６、Ｓ３０７、Ｓ３０８において、ＣＰＵ１５は、判定されたボケ量に基づいて、ステップＳ２０４で行われるスキャンＡＦ処理のスキャン範囲を設定する。ステップＳ３０６ではボケ量は無いと判定されているため、ステップＳ２０４にて行われるスキャンＡＦ処理は合焦を確認する程度で良い。このため、スキャン範囲を極狭い範囲に設定する。現在のフォーカスレンズ群３の位置を中心にその近傍をスキャンするようにする。例えば、近傍の５ポイント、スキャン間隔は通常のスキャン間隔の半分の２．５深度相当間隔とする。ステップＳＳ３０７ではボケ量は小さいと判定されているため、ステップＳ２０４にて行われるスキャンＡＦ処理でのスキャン範囲は、ボケ量の程度に応じて設定される。
【００５５】
本実施例では、ほけ量判定指数が所定範囲の上限（ぼけ量がほぼ無いと見なせる）場合、現在のフォーカスレンズ群３の位置を中心とした狭い範囲をスキャン範囲とする。一方、ほけ量判定指数が所定範囲の下限（ぼけ量がある程度大きいと見なせる）場合に、現在のフォーカスレンズ群３の位置を中心とした広い範囲をスキャン範囲とする。実際には、指数の値が上限の場合のスキャンポイント数をＭｉｎＰ、指数の値が下限の場合のスキャンポイント数をＭａｘＰとして、以下の式で求めた値を切り上げてスキャンポイント数を求める。
【００５６】
ＭａｘＰ−（ＭａｘＰ−ＭｉｎＰ）・（指標の値―下限値）／（上限値−下限値）
スキャン範囲は、スキャン間隔と（スキャンポイント数−１）の積で求められる。なお、スキャン間隔は従来と同じ間隔とする。例えば、ＭａｘＰは１５ポイント、ＭｉｎＰは５ポイント、上限値は０．１７、下限値は０．１１程度の値、スキャン間隔は５深度相当の間隔とすれば良い。このようにした求めたスキャン範囲の半分を現在のフォーカスレンズ群３に位置から無限遠側と至近側にずらした位置がスキャン範囲の両端となる。スキャン間隔は、通常のスキャン間隔と同じ（例えば５深度相当間隔）とする。スキャン範囲の端がフォーカスレンズ群３の無限遠相当位置に余裕代を加えた位置、至近端相当位置に余裕代を加えた位置を超える場合、それぞれの余裕代を加えた位置をスキャン範囲の端位置とする。
【００５７】
ステップＳ３０８では、ボケ量判定を行いない場合と同じ範囲をスキャン範囲とする。例えば、フォーカスレンズ群３の無限遠相当位置に余裕代を加えた位置からスキャンを開始し、ＡＦ評価値の極大値を検出するか、至近端相当位置に余裕代を加えた位置に到達するまでスキャンを行うようにする。
【００５８】
次に、図４を参照して、ステップＳ２０４にて行われる合焦位置を検出するためのスキャンＡＦ処理を説明する。図４は、スキャンＡＦ動作の説明図である。前述のように、ステップＳ２０４のボケ量判定の結果から設定されるスキャン範囲において、以下の処理が行われる。
【００５９】
ＣＰＵ１５は、スキャン間隔に応じてスキャン速度を変更する。またＣＰＵ１５は、センサの読み出し時間内に次のスキャンポイントにフォーカスレンズ群３が移動するように制御する。センサの読み出しレートが１００ｆｐｓである場合、１０ｍｓｅｃ後に次のスキャンポイントにフォーカスレンズ群３が到達する速度で駆動する。よって、スキャン範囲が狭くなりそれに応じてスキャン間隔が狭くなった場合、スキャン速度が遅くなる。その結果、スキャンＡＦ前にフォーカスレンズ群３の位置が、合焦位置に近く場合はスキャン間隔が狭くスキャン速度も遅くなるため、ＬＣＤ１０の表示画像の変化も小さくなり、表示品位が向上する。
【００６０】
スキャンＡＦ処理回路１４は、入力されたＡＦ枠内のデジタル画像信号を受けて、複数（例えば４つ）の異なる周波数特性のバンドパスフィルタ（ＢＰＦ）を介して、複数のＡＦ評価値信号を算出する。このうち最も高域の特性を持つバンドパスフィルタ（ＢＰＦ）を介して算出させた第１のＡＦ評価値信号は、図４中の破線（ＴＥＳ３）で示されるグラフとなる。図４の横軸はフォーカスレンズ群３の位置であり、左側が遠方の被写体、右側が近側の被写体に合焦するフォーカスレンズ群３の位置を表す。スキャンＡＦにおいては、フォーカスレンズ群３を、ステップＳ２０４のボケ量判定の結果から設定される図４中の位置Ａから位置Ｂに向けて駆動し、デジタル画像信号を取得しＡＦ評価値信号を算出する。その値は合焦位置で最大となるため、図４中の位置Ｃを合焦位置とすると、図４に示されるような結果が得られる。位置Ａ、Ｂは、ステップＳ２０４のボケ量判定の結果に基づいて設定される。
【００６１】
スキャンＡＦの高速化のために全てのフォーカスレンズ群３の停止位置については行わず、所定のスキャン間隔（例えば５深度相当の間隔）毎に出力を取得する。この場合、図４中の３点ａ１、ａ２、ａ３においてＡＦ評価値信号を取得することがありうる。このような場合、取得されたＡＦ評価値信号が最大値となった点とその前後の点のから合焦位置Ｃ（ＡＦ評価値信号が最大となる位置）を計算にて求める。
【００６２】
フォーカスレンズ群３の位置Ｘ１のときにＡＦ評価値が最大値Ｙ１（図４中のａ２）を示し、その前後の位置Ｘ２、Ｘ３のときにＡＦ評価値がＹ２、Ｙ３（図４中のａ１、ａ３）を示すとする。このとき、合焦位置Ｃのフォーカスレンズ群３の位置Ｘ０は、以下の式（１）のように求められる。
【００６３】
【数１】
2019015818.tif 000003
【００６４】
但し、式（１）において、Ｙ１＞Ｙ３、Ｙ１≧Ｙ２である。
【００６５】
従来はこのようにして合焦位置を求めていた。しかし、合焦位置をフォーカスレンズ群３が通り過ぎた後に求めるため、ＬＣＤ１０に表示される画像が一旦ボケるなどの表示品位における弊害や、フォーカスレンズ群３を合焦位置へ戻すための時間が必要になるなどの問題があった。
【００６６】
そこで本実施例では、更に複数のＡＦ評価値信号の比を取り複数のＡＦ評価値比信号を生成し、その比信号を用いて合焦位置を求めることで問題を解決している。例えば、４つのバンドパスフィルタを介して４つのＡＦ評価値信号が算出している場合を説明する。この場合、最も低域の周波数特性を持つバンドパスフィルタを介して算出された第１のＡＦ評価値信号ＴＥＳ０で、他の３つのバンドパスフィルタを介して算出された３つのＡＦ評価値信号（第２〜第４のＡＦ評価値信号ＴＥＳ１、ＴＥＳ２、ＴＥＳ３）を割る。これにより、３つのＡＦ評価値比信号（第１のＡＦ評価値比信号ＴＥＳ１／ＴＥＳ０、第２のＡＦ評価値比信号ＴＥＳ２／ＴＥＳ０、第３のＡＦ評価値比信号ＴＥＳ３／ＴＥＳ０が生成される。
【００６７】
この特性は、図４に示されるように、合焦位置から所定位置離れた位置で極小となる。この比信号の極小となる位置は、比をとるそれぞれの信号を出力するバンドパスフィルタの周波数特性によって定まる。分母となるバンドパスフィルタの周波数特性が高い程比信号が極小となる位置は合焦位置に近くなる。従って比信号が極小となる位置を求め、その位置にバンドパスフィルタの周波数特性から決まる所定値を加えることで合焦位置を求めることができる。図４では、ＴＥＳ０、ＴＥＳ１、ＴＥＳ２、ＴＥＳ３の順に周波数特性が高域の特性となるように設定されている。このため、ＴＥＳ１／ＴＥＳ０、ＴＥＳ２／ＴＥＳ０、ＴＥＳ３／ＴＥＳ０の順に合焦位置に近い位置にそれぞれのピーク位置が検出される。
【００６８】
但し、このように合焦位置から全てのバンドパスフィルタの周波数特性にマッチした周波数が被写体に含まれていることが前提である。特定の周波数しか存在しない場合や特定の周波数のみコントラストが強い場合などは、特定周波数以外の周波数特性を持つバンドパスフィルタの出力を用いた比信号は、極小位置を正確に検出できない。また、コントラストの強い周波数成分の影響を受け、その周波数特性のバンドパスフィルタで検出されるべき位置と異なる位置が極小位置となることがある。そのため、設定した周波数特性通りの順序でピーク位置を検出できない場合もある。
【００６９】
そこで本実施例では、異なる周波数特性を持つ複数の信号（第２のＡＦ評価値〜第４のＡＦ評価値など）を、他の全ての信号より低域の周波数特性を持つ信号（第１のＡＦ評価値）で除算した複数の比信号を算出する。そして、複数の比信号の極小位置と比信号を算出する際の信号の周波数特性に基づいて、複数の合焦位置を求める。また、複数の比信号の信頼性をその比信号の検出された最大値から算出し、複数の比信号から求められた複数の合焦位置のうち、比信号の信頼性の高いもののみを用いて合焦位置を算出する。更に、比信号がピークを迎えたことを検出するまでに得られた最も高域の周波数特性を持つ信号ＴＥＳ３のピーク位置の信頼性が高いと判断される場合、このピーク位置も用いて合焦位置を算出する。
【００７０】
例えば、図４において、ＴＥＳ３の信頼性が高くＴＥＳ３とＦＥＳの比信号を用いて合焦位置を求める場合を考える。この場合、比信号（ＴＥＳ３／ＴＥＳ０）の検出された値が極小となるα２点とその両隣の点α１、α３のフォーカスレンズ群３の位置とＡＦ評価値の比信号の値から、以下の式（２）を用いて極小位置を求める。フォーカスレンズ群３の位置Ｘ１のときにＡＦ評価値が極小値Ｙ１（図４中のα２）となり、その前後の位置Ｘ２、Ｘ３で取得したＡＦ評価値Ｙ２、Ｙ３（図４中のα１、α３）を示すとする。このとき、合焦位置Ｃのフォーカスレンズ群３の位置Ｘ０は、以下の式（２）のように求められる。
【００７１】
【数２】
2019015818.tif 000004
【００７２】
但し、式（２）において、Ｙ１＜Ｙ３、Ｙ１≦Ｙ２である。
【００７３】
このように、比信号の極小位置や最も高域の周波数特性を持つ信号（第１のＡＦ評価値）のピーク位置を求める。そして、比信号の周波数特性から定まる所定値と比信号の極小位置から求まる合焦位置、および、最も高域の周波数特性を持つ信号（第４のＡＦ評価値）から合焦位置Ｃを求め、その位置へフォーカスレンズ群３を駆動する。両者の位置は理論的には一致するが、実際にはそれぞれの算出の過程において誤差を含むため一致しないことが多い。そこで両者の平均値を求め、その位置を合焦位置Ｃとする。そして、ＣＰＵ１５が合焦位置においてフォーカスレンズ群３を停止させると、スキャンＡＦ処理回路１４は、その位置において複数のＡＦ評価値とＡＦ評価値の比を求め、ＣＰＵ１５の所定の記録領域に記録する。
【００７４】
次に、図４を参照して、信頼性判定方法について説明する。ＡＦ評価信号の比信号は特殊な場合を除けば、横軸に距離、縦軸にＡＦ評価値の比をとると、その形は極小位置付近では図４に示されるような谷状になる。そこでＡＦ評価値の比がピーク付近で谷状になっているか否かを比信号の最大値と最小値の差、一定値以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判断することによりその信頼性を判断している。但し、演算の対象とする範囲は極小位置付近の５〜９点程度の範囲とし、信頼性を判定するためのしきい値は、比信号用のものを用意し、その値も設定したバンドパスフィルタの周波数特性毎に異ならせている。
【００７５】
図４に示されるように、極小位置（点α２）から傾斜していると認められるスキャンポイントを、隣接するＡＦ評価値の比の値の差を調べることにより行われる。このチェックは点α２から開始し、無限遠側の隣接点（α１）との差を調べ、点α２の方が小さければ傾斜していると判定する。次いで、点α２と比較した点α１とその隣接点のＡＦ評価値の比の差を調べ、点α１の値が小さくかつその差が所定値以上であれば、傾斜していると判定する。このチェックを範囲内において隣接する点の値の大小関係が逆転するか、差が所定値より小さくなるまで続ける。同様にして至近側を調べる。
【００７６】
そして傾斜していると認められる点までの幅を山の幅Ｌ、点α２と傾斜していると認められる無限遠側の点の値の差と、至近側の点の値の差の和を求め、それを山の勾配ＳＬとしている。最大値と最小値は範囲内のＡＦ評価値の比信号全体の最大値と最小値である。この様にして求めたＡＦ評価値の比の信頼性を判定するための諸数値をそれぞれのしきい値と比較し、全ての条件を満たしたならばＡＦ評価値の信頼性があると判定する。この信頼性の判定を、極小位置が検出された全てのＡＦ評価値の比信号に対して行う。
【００７７】
ＡＦ評価値（ＴＥＳ３等）の信頼性は、ＡＦ評価値の形状が山状か否かで判定している。ＡＦ評価信号は遠近競合の特殊な場合を除けば、横軸に距離、縦軸にＡＦ評価値をとるとその形は山状になる。そこでＡＦ評価信号が山状になっているか否かをＡＦ評価信号の最大値と最小値の差、一定値以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判断することによりＡＦ評価信号の信頼性を判断している。なお、この具体的な方法は、特許第４２３５４２２号や特許第４１８５７４１号に記載されている。
【００７８】
次に、図５を参照して、図２のステップＳ２０６にて行われる合焦維持判定に関して説明する。図５のステップＳ５０１〜Ｓ５０３では、図２のステップＳ２０４のボケ量判定（図３のステップＳ３０１〜Ｓ３０３）と同一の動作を行う。ＣＰＵ１５（スキャンＡＦ処理回路１４）は、ぼかし処理前の複数のＡＦ評価値信号ＴｅｓＢｅｆ［ｎ］、ぼかし処理後の複数のＡＦ評価値信号ＴｅｓＡｆｔ［ｎ］を算出し、所定の領域に記録する。
【００７９】
続いてステップＳ５０４において、ＣＰＵ１５は、ぼかし処理前後の評価値を比較して、評価値の変化量に基づいて変化量指数Ｓｇ＿ＴｅｓＶａｒｉＰｉを算出して記録する。図３のステップＳ３０４と同様に、複数のＡＦ評価値それぞれの変化率ＴｅｓＶａｒｉ［１］、ＴｅｓＶａｒｉ［２］、ＴｅｓＶａｒｉ［３］、ＴｅｓＶａｒｉ［４］は以下のように求められる。
【００８０】
ＴｅｓＶａｒｉ［１］＝（ＴｅｓＡｆｔ［１］−ＴｅｓＢｅｆ［１］）／（ＴｅｓＡｆｔ［１］＋ＴｅｓＢｅｆ［１］）
ＴｅｓＶａｒｉ［２］＝（ＴｅｓＡｆｔ［２］−ＴｅｓＢｅｆ［２］）／（ＴｅｓＡｆｔ［２］＋ＴｅｓＢｅｆ［２］）
ＴｅｓＶａｒｉ［３］＝（ＴｅｓＡｆｔ［３］−ＴｅｓＢｅｆ［３］）／（ＴｅｓＡｆｔ［３］＋ＴｅｓＢｅｆ［３］）
ＴｅｓＶａｒｉ［４］＝（ＴｅｓＡｆｔ［４］−ＴｅｓＢｅｆ［４］）／（ＴｅｓＡｆｔ［４］＋ＴｅｓＢｅｆ［４］）
ここで、ＴｅｓＢｅｆ［１］、ＴｅｓＢｅｆ［２］、ＴｅｓＢｅｆ［３］、ＴｅｓＢｅｆ［４］、ＴｅｓＡｆｔ［１］、ＴｅｓＡｆｔ［２］、ＴｅｓＡｆｔ［３］、ＴｅｓＡｆｔ［４］は、ぼかし処理前後でのＡＦ評価値である。そしてＣＰＵ１５は、変化率の絶対値の和（Σａｂｓ（ＴｅｓＶａｒｉ［ｉ］  ））を取りそれを変化量指数Ｓｇ＿ＴｅｓＶａｒｉＰｉとし、所定の領域に記録する。
【００８１】
続いてステップＳ５０５において、ＣＰＵ１５は、合焦位置に停止したフォーカスレンズ群３を再度駆動するか否かを判定する再起動判定を行う。再起動判定は、スキャンＡＦ処理回路１４で算出されるＡＦ評価値に加えて、振れ検出回路３４やＡＥ処理回路１３の出力を用いて行われる。ＣＰＵ１５は、合焦してこの処理を開始したときに、その時点でのＡＦ評価値、振れ検出回路３４の出力、ＡＥ処理回路１３の出力を所定の領域に記録しておき、再起動判定に新たに値を取得し記録された値と比較する。その結果、いずれかの値に所定値以上の変動があった場合、ＣＰＵ１５はフォーカスレンズ群３を再度駆動すると判定し、ステップＳ５０６へ進む。一方、全ての値の変動が所定値未満の場合、ＣＰＵ１５は再度駆動しないと判定し、ステップＳ５１２へ進む。なお非合焦の場合、ＣＰＵ１５は再起動しないと判定する。これにより、非合焦の状態でＳＷ２がオンされた場合、フォーカスレンズ群３は固定したままステップＳ２０９へ進む。
【００８２】
ステップＳ５０６〜Ｓ５０９において、ＣＰＵ１５は、ステップＳ５０１〜Ｓ５０４と同様に、ぼかし処理前後でのＡＦ評価値の変化量指数を求める。まずステップＳ５０６において、ＣＰＵ１５は、ＡＦ枠内の画像取得を行い、周波数特性の異なる複数のＡＦ評価値信号ＴｅｓＢｅｆ［ｎ］を算出し、所定の領域に記録する。続いてステップＳ５０７において、ＣＰＵ１５は、スキャンＡＦ処理回路１４内の低周波帯域の周波数を抽出するバンドパスフィルタ（ＢＰＦ）を介することで画像の解像度を低下させるぼかし処理を行う。続いてステップＳ５０８において、ＣＰＵ１５は、ステップＳ５０６と同様に、ぼかし処理を行った画像から周波数特性の異なる複数のＡＦ評価値信号ＴｅｓＡｆｔ［ｎ］を算出し、所定の領域に記録する。
【００８３】
続いてステップＳ５０９において、ＣＰＵ１５は、ぼかし処理前後の評価値の変化量に基づいて、変化量指数Ｓｇ＿ＴｅｓＶａｒｉＮｗを算出する。変化量指数は、ステップＳ５０４と同じ計算式で求められ、
複数のＡＦ評価値それぞれの変化率ＴｅｓＶａｒｉ［１］、ＴｅｓＶａｒｉ［２］、ＴｅｓＶａｒｉ［３］、ＴｅｓＶａｒｉ［４］の絶対値の和（Σａｂｓ（ＴｅｓＶａｒｉ［ｉ］））である。
【００８４】
続いてステップＳ５１０において、ＣＰＵ１５は、ステップＳ５０９にて算出された評価値変化量指数Ｓｇ＿ＴｅｓＶａｒｉＮｗと、所定の領域に記録されているステップＳ５０４にて算出された合焦時の評価値変化量指数Ｓｇ＿ＴｅｓＶａｒｉＰｉと比較する。これによりＣＰＵ１５は、合焦状態が維持されているか否かを判定する。ステップＳ５１１にて両者の値が略等しいと見なせる場合、ステップＳ５１２へ進む。ステップＳ５１２において、ＣＰＵ１５は、フォーカスレンズ群３はその位置で固定のままにするように設定して、本処理を終了する。
【００８５】
一方、両者の値が大きく異なる場合（変化が大きい場合）、ステップＳ５１３へ進む。ステップＳ５１３において、ＣＰＵ１５は、ＳＷ１に応答して再度ステップＳ２０４におけるスキャンＡＦ処理を実行するように設定をして、本処理を終了する。
【００８６】
両者の値が異なる場合（変化が小さい場合）、ステップＳ５１４へ進む。ステップＳ５１４において、ＣＰＵ１５は、ピント微調整スキャンをするように設定をして、本処理を終了する。
【００８７】
二つの評価値変化量指数Ｓｇ＿ＴｅｓＶａｒｉＮｗとＳｇ＿ＴｅｓＶａｒｉＰｉから、以下の式（３）のようにＤｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉを算出する。
【００８８】
Ｄｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉ＝２・ａｂｓ（Ｓｇ＿ＴｅｓＶａｒｉＰｉ−Ｓｇ＿ＴｅｓＶａｒｉＮｗ）／（Ｓｇ＿ＴｅｓＶａｒｉＰｉ＋Ｓｇ＿ＴｅｓＶａｒｉＮｗ）  …  （３）
上記の判定は、式（３）で表されるＤｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉと評価値変化量指数の合焦時からの変化を示す係数とを求め、その値を所定の閾値と比較することにより行われる。例えば、
両者の値が略等しいと見なせる閾値Ｔｈｒ１を用いて、Ｄｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉ＜Ｔｈｒ１を満たす場合、両者の値が略等しいと見なされる。両者の値が大きく異なるとみなされる閾値Ｔｈｒ２を用いて、Ｄｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉ＞Ｔｈｒ２を満たす場合、両者の値が大きく異なると見なされる。そして、Ｔｈｒ１≦Ｄｅｆ＿Ｓｇ＿ＴｅｓＶａｒｉ≦Ｔｈｒ２を満たす場合、両者の値が異なるとみなす。例えば、これらの閾値はＴｈｒ１＝０．０５、Ｔｈｒ２＝０．１５程度の値とすれば良い。またこれらの閾値は、動画記録中とそれ以外で異なる値に設定することも可能である。動画記録中は誤判定でフォーカスレンズ群３が駆動された場合、記録された動画を鑑賞する際に不快感を与える頻度が高く、また記録される動画は滑らかにフォーカスの状態が変化する方が好ましいことが多い。このため、動画記録中はそれ以外の場合に比べて、閾値Ｔｈｒ１の値を大きくしてフォーカスレンズ群３を固定しておく頻度が高くなるようにしておく。
【００８９】
なお、ステップＳ５０１〜Ｓ５０４の処理は、合焦時のみに実行するようにしても良い。なお、煩雑さを避けるため図示していないが、ＳＷ１がオフになった場合にステップＳ２０１へ戻り、レリーズや撮影前準備のやり直し等、撮影者の意図を反映させることができる。
【００９０】
本実施例においては、撮像センサ５から得た第１の画像をスキャンＡＦ処理回路１４内の低周波帯域の周波数を抽出するバンドパスフィルタ（ＢＰＦ）を介することで、第１の画像よりも低周波な第２の画像を生成している。ただし本実施例は、これに限定されるものではなく、撮像センサ５から第１の画像と低周波な第２の画像を取得する等、それ以外の方法で低周波な第２の画像を取得しても良い。例えば、撮像センサ５内の画素加算機能を用いて、第１の画像と、それより加算画素数の多い固体撮像素子の駆動モードで第１の画像よりも低周波な第２の画像を取得して、第１の評価値および第２の評価値を求めるようにする。
【００９１】
このように本実施例において、制御装置は、画像生成手段１５ａ、評価値生成手段（スキャンＡＦ処理回路１４）、変化量算出手段１５ｂ、および、判定手段１５ｃを有する。画像生成手段１５ａは、第１の周波数成分を含む第１の画像、および、第１の周波数成分よりも低い第２の周波数成分を含む第２の画像を生成する。評価値生成手段（スキャンＡＦ処理回路１４）は、第１の画像から第１の評価値を生成し、第２の画像から第２の評価値を生成する。変化量算出手段１５ｂは、第１の評価値および第２の評価値のそれぞれの変化量（変化を示す指数）を算出する。判定手段１５ｃは、変化量に基づいて画像の合焦度合い（合焦状態が維持されているか否かなどの焦点状態）を判定（推定）する。
【００９２】
好ましくは、変化量算出手段１５ｂは、第１のタイミングで算出された第１の変化量（Ｓｇ＿ＴｅｓＶａｒｉＰｉ）と、第２のタイミングで算出された第２の変化量（Ｓｇ＿ＴｅｓＶａｒｉＮｗ）との差分を求める。そして判定手段１５ｃは、第１の変化量と第２の変化量との差分に基づいて、合焦度合いを判定する。より好ましくは、第１のタイミングは合焦時であり、第２のタイミングは合焦維持判定時である。また好ましくは、判定手段１５ｃは、第１の変化量と第２の変化量との差分が第１の量（閾値Ｔｈｒ１よりも大きい量）である場合、合焦度合いが低いと判定する。一方、判定手段１５ｃは、第１の変化量と第２の変化量との差分が第１の量よりも小さい第２の量（閾値Ｔｈｒ１よりも小さい量）である場合、合焦度合いが高いと判定する。また好ましくは、判定手段１５ｃは、第１の変化量と第２の変化量との差分が所定量（閾値Ｔｈｒ１）よりも小さい場合（第１の変化量と第２の変化量とが略等しい場合）、合焦状態が維持されていると判定する。一方、判定手段１５ｃは、第１の変化量と第２の変化量との差分が所定量よりも大きい場合、合焦状態が維持されていないと判定する。より好ましくは、判定手段１５ｃは、撮影時の被写界深度に応じて、合焦状態が維持されていると判定する所定量（判定閾値：閾値Ｔｈｒ１）を変更する。より好ましくは、判定手段１５ｃは、被写界深度が第１の被写界深度である場合、前記所定量を第１の所定量に設定する。また判定手段１５ｃは、被写界深度が第１の被写界深度よりも深い第２の被写界深度である場合、所定量を第１の所定量よりも大きい第２の所定量に設定する。
【００９３】
好ましくは、画像生成手段１５ａは、焦点調整のために合焦状態の異なる複数の画像を生成し、判定手段１５ｃにより判定された合焦度合いに応じて、複数の画像の数を変更する。より好ましくは、画像生成手段１５ａは、合焦度合いが第１の値である場合、焦点調整のために取得する画像の数を第１の数に設定する。一方、画像生成手段１５ａは、合焦度合いが第１の値よりも高い第２の値である場合、焦点調整のために取得する画像の数を、第１の数よりも少ない第２の数に設定する。
【００９４】
好ましくは、変化量算出手段１５ｂは、変化量として、第１の評価値および第２の評価値のそれぞれの変化率の和（Σａｂｓ（ＴｅｓＶａｒｉ［ｉ］））を算出する。そして判定手段１５ｃは、変化率の和に基づいて合焦度合いを判定する。より好ましくは、変化率は、第１の評価値と第２の評価値との差を、第１の評価値と第２の評価値との和で除算した値（ＴｅｓＶａｒｉ［ｉ］）である。
【００９５】
これにより、フォーカスレンズを動かさずに得た画像から合焦が維持されているか判定しその結果に応じてＡＦ制御することで、表示画像の品位の向上とＡＦ動作の高速化の両立を実現することができる。また評価値変化量指数は、処理前後の画像から求めたＡＦ評価値の差分を和で割っているため、コントラスト、被写体の明るさやそれを判定するＡＥ処理回路１３の検出誤差等の影響を受けにくい。
【実施例２】
【００９６】
次に、本発明の実施例２について説明する。本実施例は、撮像センサ５が撮像面位相差ＡＦ機能を有し、合焦動作をこの機能単独、またはこの機能を併用して行っている点で、実施例１と異なる。
【００９７】
まず、図６を参照して、本発明の撮像センサ５の構成について説明する。図６は撮像センサ５の構成図であり、図６（ａ）は画素の断面図、図６（ｂ）は画素の平面図をそれぞれ示している。二次元的に配置される画素には、通常の撮像用画素と位相差ＡＦ用の画素としての機能を持たせるために、図６に示されるような構造をしている。一つのマイクロレンズに対して長方形の二つのフォトダイオードが配置されている。一方のフォトダイオードは基準画素用画素、他方のフォトダイオードは参照画素用画素である。
【００９８】
位相差ＡＦを行うための画素行（位相差ＡＦ用画素行）は間欠的に配置されており、この行のみ基準画像用画素の信号を独立で読み出すことが可能である。その他の画素行に関しては、一対のフォトダイオードの出力を加算して読み出す。また、画素から読み出された信号を増幅することができる。実際には、先頭の行から行ごとに読み出しを開始し、位相差ＡＦを行うための行においては、一対のフォトダイオードの出力を加算した信号と基準画像用画素の信号が読み出され、その他の行においては一対のフォトダイオードの出力を加算した信号が読み出される。位相差演算を行う際には、加算した信号と基準画像用画素の信号からその差分をとることで、参照画像用画素の信号を生成する。この処理は、位相差ＡＦ処理回路３０で行われる。加算した信号は、記憶用メモリへの記録や、画像表示装置への表示に用いられる。
【００９９】
次に、図７を参照して、撮像装置１の撮影動作について説明する。図７は、撮像装置１の撮影動作を示すフローチャートである。図７の各ステップは、ＣＰＵ１５の指令に基づいて、撮像装置１の各部により実行される。図７のステップＳ７０１〜Ｓ７０３、Ｓ７０９〜Ｓ７１５は、図２のステップＳ２０１〜Ｓ２０３、Ｓ２０５、Ｓ２０８、Ｓ２０６、Ｓ２０７、Ｓ２１０、Ｓ２１１、Ｓ２０９とそれぞれ同様である。
【０１００】
まず、ステップＳ７０１〜Ｓ７０３において実施例１と同じ処理を行った後、ステップＳ７０４において、ＣＰＵ１５はＡＦ枠を設定する。具体的な方法は実施例１と同じであり、撮影者の指示、顔検出回路３６の出力、ＣＰＵ１５で行う画像の色情報や輝度情報から特徴点を抽出して行う主被写体を検出の結果を用いてＡＦ枠を設定する。続いてステップＳ７０５において、ＣＰＵ１５は、撮像面位相ＡＦが可能か否かを判定する。撮像面位相差ＡＦが可能である場合、ステップＳ７０６へ進む。一方、撮像面位相差ＡＦが不可能である場合、ステップＳ７０８へ進む。この判定は、撮像面位相差ＡＦ実行時の絞り値および間欠的に配置され位相差ＡＦを行うための画素行とＡＦ枠との関係に基づいて行われる。
【０１０１】
撮像面位相差ＡＦ実行時の絞り値（Ｆ値）が所定絞り（例えばＦ１１）より絞っている場合、ＣＰＵ１５は撮像面位相差ＡＦが不可能であると判定する。絞り値が所定絞りより開いている場合、ＡＦ枠内に含まれている位相差ＡＦを行うための画素行数、位相差ＡＦを行う信号のコントラスト値（位相差ＡＦを行う際の信号の最大値と最小値の差）、増幅度を考慮して判定を行う。
【０１０２】
位相差ＡＦ処理の信頼度Ｒｅｌは、以下の式で求めることができる。
【０１０３】
Ｒｅｌ＝Ｌｏｇ２（√（ＡＦ枠内の行数））＋Ｌｏｇ２（コントラスト値）＋Ｌｏｇ２（１／増幅度）
この値が所定値以上あれば、ＣＰＵ１５は撮像面位相差ＡＦが可能であると判定する。なお、Ｌｏｇ２は底を２とする対数である。例えば、ＡＦ枠内の行数が４行以上、ＰＢ値が１．２以上、増幅度が８倍以下の条件で可能と判定される場合、所定値は―１．７４となる。
【０１０４】
撮像面位相ＡＦが可能である場合、ステップＳ７０６において、ＣＰＵ１５は位相差ＡＦ処理回路３０を用いて撮像面位相ＡＦ処理を行う。この処理に関しては後述する。撮像面位相ＡＦ処理の結果、合焦可能と判定された場合、ステップＳ７０９へ進む。一方、合焦可能と判定されない場合、ステップＳ７０８へ進む。ステップＳ７０８において、ＣＰＵ１５はスキャンＡＦ処理回路１４を用いてスキャンＡＦ処理を行う。スキャンＡＦ処理は、ＡＦ枠としてステップＳ７０４にて設定された情報を用いることを除いて、実施例１と同じ処理を行うため、その説明は割愛する。
【０１０５】
ステップＳ７０９にて実施例１と同じＡＦＯＫまたはＡＦＮＧの表示処理を行った後、ステップＳ７１０へ進む。ステップＳ７１０において、ＣＰＵ１５は、ＳＷ２（レリーズスイッチの第ニストローク）の確認を行う。ＳＷ２がオンである場合、ステップＳ７１５へ進み、実際の露光処理を実行する。一方、ＳＷ２がオンになっていない場合、ステップＳ７１１において、ＣＰＵ１５は合焦状態が維持されているかを判定する。その結果に従って、ＣＰＵ１５は、実施例１と同様にレンズ固定、ピント微調整、再ＡＦのいずれかの処理を行う。
【０１０６】
次に、図８を参照して、図７のステップＳ７１１にて行われる合焦維持判定に関して説明する。なお、図５を参照して説明した実施例１と同様の部分に関する説明は省略する。
【０１０７】
ステップＳ８０１〜Ｓ８０５は、図５のステップＳ５０１〜Ｓ５０５と同様である。続いてステップＳ８０６において、ＣＰＵ１５は、ステップＳ７０７の撮像面位相差ＡＦで最終的に合焦状態を得たか否かを判定する。撮像面位相差ＡＦで最終的に合焦状態を得た場合、ステップＳ８０７へ進む。一方、撮像面位相差ＡＦで最終的に合焦状態を得ていない、すなわちステップＳ７０８のスキャンＡＦ処理で最終的に合焦状態を得た場合、ステップＳ８１０へ進む。
【０１０８】
ステップＳ８０７において、ＣＰＵ１５は撮像面位相差ＡＦが可能か否かを判定する。撮像面位相差ＡＦが可能である場合、ステップＳ８０８へ進む。一方、撮像面位相差ＡＦが不可能である場合、ステップＳ８１０へ進む。この判定は、ステップＳ７０５と同様の処理であり、撮像面位相差ＡＦ実行時の絞り値および間欠的に配置され位相差ＡＦを行うための画素行とＡＦ枠との関係に基づいて行われる。
【０１０９】
ステップＳ８０８において、ＣＰＵ１５は、ステップＳ７０６と同様に撮像面位相ＡＦ処理を行い、デフォーカス量を算出する。この処理に関しては後述する。ステップＳ８０９において、検出されたデフォーカス量が小さく合焦と見なせる場合、ステップＳ８１６へ進む。ステップＳ８１６において、ＣＰＵ１５は、合焦状態が維持されていると判定する。一方、合焦と見なせない場合、ステップＳ８１０へ進む。
【０１１０】
ステップＳ８１０〜Ｓ８１８は、図５のステップＳ５０６〜Ｓ５１４とそれぞれ同様である。すなわちＣＰＵ１５は、画像の解像度を低下させるぼかし処理前後で複数のＡＦ評価値信号から評価値の変化量指数を算出し、変化量指数を比較することで合焦状態が維持されているか否かを判定する。そしてその判定結果に基づいて、ＣＰＵ１５は、フォーカスレンズ群３をその位置で固定、または、再度ステップＳ２０４におけるスキャンＡＦ処理を実行する、または、ピント微調整スキャンをするように設定してもよい。
【０１１１】
ここで、図９を参照して、ステップＳ７０６で行われる撮像面位相ＡＦ処理について説明する。まずステップＳ９０１において、ＣＰＵ１５は、Ａ／Ｄ変換回路７より出力される位相差ＡＦ用の画像信号を位相差ＡＦ処理回路３０の所定の記録領域に記録する。続いてステップＳ９０２において、ＣＰＵ１５は、基準画像と参照画像が加算されて出力された信号と基準画像信号の差分を取り参照画像信号を作成する。そして位相差ＡＦ用の画素の並び替えを行い、基準画像と参照画像とを生成する。
【０１１２】
本実施例の撮像センサ５には、一つのマイクロレンズに対して長方形の二つのフォトダイオードが配置されており、一方のフォトダイオードが基準画素用、他方が参照画素用となっている。よって、読み出し順序は「基準画素＋参照画素」→「基準画素」→「基準画素＋参照画素」→「基準画素」→・・・・・・・→「基準画素＋参照画素」→「基準画素」となっており、位相差ＡＦ処理回路３０の所定の記録領域に記録されている。そこで、基準画像を構成する画素のみを抽出し、抽出した順序に並べて基準画像信号とし、位相差ＡＦ処理回路３０の所定の記録領域に記録する。また基準画像と参照画像とが加算されたデータと基準画素のデータとを抽出してその差分を求め、求めた順序に並べ参照画像信号とし、位相差ＡＦ処理回路３０の所定の記録領域に記録する。
【０１１３】
続いてステップＳ９０３において、ＣＰＵ１５は、記録された像を修正する。本実施例では、撮像面に位相差ＡＦを行う画素を配置している。このため、二次結像光学系で再結像させる場合のように像高による光束の違いで生じる像の歪みを修正するフィールドレンズや、位相差ＡＦ用センサへ入射する光束の瞳位置を制限する絞り、不要光束を遮断するマスクを結像面とセンサとの間に配置できない。その結果、位相差ＡＦ用の信号は画素ごとにシェーディング・オフセットが異なるため、その補正が必要となる。このシェーディングは光軸中心からの画素の位置（像高）、撮影レンズの射出瞳位置、および、絞りに応じて異なる。このため、それぞれの要因に対応する像修正量を用いて、各要因に応じて位相差ＡＦ用の画素ごとに像を修正する。
【０１１４】
また、オフセットは位相差ＡＦ用画像の増幅率等によって異なる。このため、それぞれの要因に対応する像修正量を用いて、各要因に応じて位相差ＡＦ用の画素ごと像を修正する。像修正方法の詳細は、例えば特開２０１２−２５２２８０で公知であるため、その説明は省略する。
【０１１５】
続いてステップＳ９０４において、ＣＰＵ１５は、相関演算を行う際の初期値を設定する。初期値を設定された位相差ＡＦ処理回路３０は、ステップＳ９０５において、以下の式（４）に従って相関演算を行い、基準画像ａｉと参照画像ｂｉの相関値を求める。
【０１１６】
Ｕｋ＝Σｍａｘ（ａｊ＋１，ｂｊ＋ｋ）−Σｍａｘ（ａｊ，ｂｊ＋ｋ＋１）  …    （４）
式（４）において、ｍａｘ（ａ，ｂ）はａ，ｂのうち大きい方をとるという意味である、ｋは相関演算を行う像ずらし量、ｊは相関演算を行う画素数であり、ステップＳ９０４で初期化されている。
【０１１７】
続いてステップＳ９０６において、ＣＰＵ１５は、基準画像と参照画像の相関値を位相差ＡＦ処理回路３０から取得し記録する。そして既に一時記録されている相関値がある場合、その相関値と符号が等しいか否かを判定する。一時記録された相関値がない場合、取得した相関値を一時記録する。
【０１１８】
その結果、ステップＳ９０７にて符号が反転した場合または取得された相関量が零であり、かつ位相差ＡＦ処理に使用した信号の信頼性があると判定された場合、ステップＳ９０８へ進む。この信頼性の判定には、ＰＢ値（信号の最大値と最小値の比）や基準画像と参照画像の類似性などが用いられる。
【０１１９】
ＰＢ値は、位相差ＡＦに使用する基準画像と参照画像の像修正前の信号、像修正後の信号、相関演算を行う際にローパスフィルタ処理を行う場合には像修正とローパス処理をともに行った後の信号の６つの信号から求めた比の平均値、または比の最小値を用いる。また、基準画像と参照画像の類似性は、相関値が最小になったずらし量Ｋにおける基準画像と参照画像の差分を以下の式（５）で求め、類似性の評価値とする。
【０１２０】
類似性の評価値＝Σａｂｓ（ａｊ−ｂｊ＋ｋ）  …  （５）
そしてＣＰＵ１５は、ＰＢ値が所定値以上、類似性の評価値が所定値以下の場合に信頼性があると判定する。類似性の評価値は、上記の式（５）以外の式を用いても、両画像の類似性を評価するものであれば構わない。例えば、相関値が最小になったずらし量Ｋにおける両画像の重なり部分の基準画像または参照画像に対する比率を類似性の評価値としても良い。
【０１２１】
ステップＳ９０８において、ＣＰＵ１５は、相関量が零になる像ずらし量を演算する。相関値の演算は１画素ずつずらして行われているため、位相差ＡＦ処理回路３０において演算された相関量が零になることは稀である。そこで、符号が異なる二つの相関量と、その相関量を与えるずらし量とに基づいて、相関量が零となる像ずらす量を求める。式（４）で相関量を計算した結果、Ｋ＝ｌとＫ＝ｌ＋１の間で相関量Ｕｋの符号が反転したとすると、直線補間により相関量が零となる像ずらす量δは、以下の式（６）のように求められる。
【０１２２】
δ＝ｌ＋｜Ｕｌ｜／［｜Ｕｌ｜＋ＣＵｌ＋１｜］  …  （６）
式（６）において、｜ｚ｜はｚの絶対値を意味する。
【０１２３】
続いてステップＳ９０９において、ＣＰＵ１５は、以下の式（７）を用いて、像ずれ量δに基づいてプレディクション量Ｐを求める。
【０１２４】
Ｐ＝δ―Δ  …  （７）
式（７）において、Δは合焦時の像ずれ量である。
【０１２５】
そして、レンズ鏡筒３１の特性に応じて決定される基線長を用いることにより、以下の式(８)で表されるように、プレディクション量Ｐを用いてデフォーカス量ｄ（フォーカスレンズ群の移動量と方向）を算出する。
【０１２６】
ｄ＝Ｋ・Ｐ  …  （８）
式（８）において、Ｋはプレディクション量をデフォーカス量に変換する係数である。この値は、レンズ鏡筒３１の焦点距離、絞り４の値（絞り値）、および、像高等に依存する値である。このため、ＥＥＰＲＯＭ２５内にこれらをパラメータとするテーブルを用意しておき、そのテーブルを参照して値を求める。
【０１２７】
ステップＳ９０７にて符号が反転していない場合等は、ステップＳ９１１へ進む。ステップＳ９０７において、ＣＰＵ１５は、相関値を求める演算の終端の値にずらし量がなったか（像ずらし位置が終端か）否かを判定する。像ずらし位置が終端でない場合、ステップＳ９１３へ進む。ステップＳ９１３において、ＣＰＵ１５は、取得した相関値を一時記録されていた相関値と差し替え、その後、像ずらし量ｋをｋ＋１に更新する。一方、像ずらし位置が終端である場合、ステップＳ９１１へ進む。ステップＳ９１１において、ＣＰＵ１５は位相差ＡＦがＮＧと判定し、本処理を終了する。
【０１２８】
本実施例においては、撮像センサ５の撮像面位相差ＡＦ画素が間欠的に配置されている場合、その機能を併用することで、より正確に合焦状態が維持されているかを判定することができる。また、一つのマイクロレンズに対して長方形の二つのフォトダイオードが配置された撮像センサを例に説明したが、位相差ＡＦが可能な他の構造の撮像素子へも適用可能である。例えば、マイクロレンズの近傍に遮光幕を設けて射出瞳の一部の光束のみ光電変換部に入射する構造の撮像素子へも適用可能である。なお、各実施例ではコンパクトタイプのデジタルカメラを例に説明したが、各実施例はデジタルビデオカメラやデジタル一眼レフのライブビュー時のＡＦにも適用可能である。
【０１２９】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３０】
各実施例によれば、周波数特性の異なる画像のＡＦ評価値の違いから合焦度合いを求めることにより、フォーカスレンズを移動せずに得られた画像に基づいて合焦が維持されているかを判定し、その判定結果に応じてＡＦ制御を行う。このため各実施例によれば、表示画像の品位の低下を抑制しつつＡＦ動作の高速化を実現することが可能な制御装置、撮像装置、制御方法、プログラム、および、記憶媒体を提供することができる。
【０１３１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３２】
１４    スキャンＡＦ処理回路（評価値生成手段）
１５ａ  画像生成手段
１５ｂ  変化量算出手段
１５ｃ  判定手段
【図１】
2019015818.tif 000005
【図２】
2019015818.tif 000006
【図３】
2019015818.tif 000007
【図４】
2019015818.tif 000008
【図５】
2019015818.tif 000009
【図６】
2019015818.tif 000010
【図７】
2019015818.tif 000011
【図８】
2019015818.tif 000012
【図９】
2019015818.tif 000013