(57)【要約】【課題】合焦状態が維持されているか否かの判定を簡易に行うことを可能にすること。【解決手段】設定されたＡＦ枠において合焦時に、異なる周波数特性を持つ複数のフィルターから出力された信号を他の全ての信号より低域の周波数特性を持つフィルターから出力された信号で除算した複数の比信号を記録し、所定時間経過後複数の比信号を再び求め、複数の比信号と比較し、その変化を観察することで合焦状態が維持されているかを判定する。【選択図】図４
2020046595.tif 000002
【特許請求の範囲】
【請求項１】
合焦位置を算出するための周波数特性の異なる複数の評価値信号を生成する評価値生成手段と、
前記評価値信号の信頼性を判定する評価値信号信頼性判定手段と、
前記評価値信号を生成するための画像信号を取得する領域を設定する領域設定手段と、
周波数特性の異なる前記評価値信号の比により複数の評価値比信号を生成する評価値比信号生成手段と、
前記評価値比信号の信頼性を判定する評価値比信号信頼性判定手段と、
複数の合焦時の前記評価値信号または前記評価値比信号を記録する記録手段と、
評価値生成手段、前記評価値信号信頼性判定手段、前記評価値比信号生成手段、前記評価値比信号信頼性判定手段の出力と、合焦時に記録された複数の前記評価値信号または前記評価値比信号を比較することにより合焦状態が維持されているか否かの判定をする合焦状態維持判定手段とを有することを特徴とする自動焦点調整装置。
【請求項２】
合焦時から一定時間経過後に、撮影者の手振れを検出する振れ検出手段を更に有し、
前記合焦状態維持判定手段は、前記振れ検出手段の出力から撮影者の手振れ量が低減した際に、合焦状態が維持されているかの判定を行うことを特徴とする請求項１に記載の自動焦点調整装置。
【請求項３】
手振れによる評価値信号の低減量を予測し、その量より評価値信号の低減が大きい場合は合焦状態が維持されているかの判定を行わず、合焦位置を再度探索することを特徴とする請求項１又は２に記載の自動焦点調整装置。
【請求項４】
評価値比信号は、周波数特性の最も低いフィルターを通過した信号から生成した評価値信号または、全体域を通過させるフィルターを通過した信号の最大値と最小値の差分を分母として比を求めることを特徴とする請求項１乃至３のいずれか１項に記載の自動焦点調整装置。
【請求項５】
合焦時に記録された評価値比信号と判定時の評価値比信号の比を複数求め、その平均値を合焦状態が維持されているかの判定するための判定指数とすることを特徴とする請求項４に記載の自動焦点調整装置。
【請求項６】
合焦時に記録された評価値比信号と判定時の評価値比信号の比を複数求め、その中で最も変化率の大きいものを合焦状態が維持されているかの判定するための判定指数とすることを特徴とする請求項４に記載の自動焦点調整装置。
【請求項７】
前記評価値信号の変化率が、他の周波数特性のフィルターを通過した信号から求めた前記評価値信号の変化率と大きく異なるものの評価値比信号は、合焦状態が維持されているかの判定に用いないことを特徴とする請求項４に記載の自動焦点調整装置。
【請求項８】
前記合焦状態維持判定手段は、合焦状態が維持されているかの判定するための判定指数が所定範囲内の場合に合焦状態が維持されていると判定し、前記所定範囲を、評価値信号を生成するための画像信号のコントラスト、手振れ量、評価値信号を生成するための画像信号の増幅度のいずれかに応じて変更することを特徴とする請求項１に記載の自動焦点調整装置。
【請求項９】
前記領域設定手段は、評価値信号を生成するための画像信号を取得する領域を、顔検出手段の出力または画像の色情報や輝度情報から特徴点を抽出手段の出力から設定し、更にその周辺に複数個の領域を設定することを特徴とする請求項１に記載の自動焦点調整装置。
【請求項１０】
撮影光学系により形成される被写体像の焦点を調整する焦点調節手段の制御位置を光学特性によって補正した場合に、
前記合焦状態維持判定手段は、比較的を通過した信号から生成した評価値信号と、比較的周波数特性の高いフィルターを通過した信号から生成した評価値信号の、合焦時からの増加量を比較し、比較的周波数特性の高いフィルターを通過した信号から生成した評価値信号の増加量が大きい場合、合焦状態が維持されていないと判定することを特徴とする請求項１に記載の自動焦点調整装置。
【請求項１１】
合焦位置を算出するための周波数特性の異なる複数の評価値信号を生成する評価値生成工程と、
前記評価値信号の信頼性を判定する評価値信号信頼性判定工程と、
前記評価値信号を生成するための画像信号を取得する領域を設定する領域設定工程と、
周波数特性の異なる前記評価値信号の比により複数の評価値比信号を生成する評価値比信号生成工程と、
前記評価値比信号の信頼性を判定する評価値比信号信頼性判定工程と、
複数の合焦時の前記評価値信号または前記評価値比信号を記録する記録工程と、
評価値生成工程、前記評価値信号信頼性判定工程、前記評価値比信号生成工程、前記評価値比信号信頼性判定工程の出力と、合焦時に記録された複数の前記評価値信号または前記評価値比信号を比較することにより合焦状態が維持されているか否かの判定をする合焦状態維持判定工程とを有することを特徴とする自動焦点調整装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動焦点調整装置、詳しくは撮像光学系により結像される被写体像を光電変換する撮像素子により取得される画像信号を使用して、焦点調整を行う自動焦点調整装置に関する。
【背景技術】
【０００２】
従来の自動焦点調整動作（ＡＦ）において、合焦後にその状態が維持されているか否かを判定する技術や、異なる周波数特性を持つフィルターからの出力の比信号を用いることに関する文献には以下の記載がある。
【０００３】
特許文献１においては、フォーカス評価値信号に基づいてフォーカスレンズの合焦位置を探索するようにフォーカスレンズの駆動を制御する合焦探索制御を行う制御手段は、合焦探索制御を行った後に、第２の検出手段からの検出信号に基づいて合焦状態からのシフト状態を表すシフト情報を求め、いずれかに基づいて合焦探索制御の再実行に関わる処理を行う。
【０００４】
特許文献２においては、第１のカットオフ周波数に応じた第１のコントラスト信号と、第１のカットオフ周波数よりも高い第２のカットオフ周波数に応じた第２のコントラスト信号を生成し、第１のコントラスト信号の値を第２のコントラスト信号の値で除算したときの商を求め、その値が合焦位置から所定量だけ前後した位置でピークを迎えるように第１及び第２のカットオフ周波数をそれぞれ設定し、ピークを迎えたタイミングでフォーカスレンズの停止制御を開始することで、合焦位置又は合焦位置近傍にフォーカスレンズを停止するようにしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−８４４２４号公報
【特許文献２】特許第４８８５１５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述特許文献１においては、合焦探索制御を行った後に、合焦状態からのシフト状態を表すシフト情報を求めるために第２の検出手段からの検出信号を用いるため、検出手段を設けるためのコストとスペースが必要となる。
【０００７】
また上述特許文献２においては、第１のコントラスト信号の値を第２のコントラスト信号の値で除算したときの商をフォーカスレンズ駆動中に停止制御にしか用いていないため、合焦位置に到達した後にその状態が維持されているか否かを判定することができない。
【０００８】
そこで、本発明の目的は、合焦状態が維持されているか否かの判定が容易にできる自動焦点調整装置を提供することである。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る自動焦点調整装置は、
設定されたＡＦ枠において合焦時に、異なる周波数特性を持つ複数のフィルターから出力された信号を他の全ての信号より低域の周波数特性を持つフィルターから出力された信号で除算した複数の比信号を記録し、所定時間経過後複数の比信号を再び求め、複数の比信号と比較し、その変化を観察することで合焦状態が維持されているかを判定することを特徴とする。
【発明の効果】
【００１０】
本発明においては、合焦状態が維持されているか否かの判定が容易にできる自動焦点調整装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１〜３のブロック図
【図２】実施例１・２の動作手順の説明図
【図３】実施例１〜３のスキャンＡＦ動作の説明図
【図４】実施例１・２の合焦状態維持判定の動作手順の説明図
【図５】実施例１・２の合焦状態維持判定時のＡＦ枠設定の説明図
【図６】実施例２の動作説明図
【図７】実施例３の撮像素子の構成の説明図
【図８】実施例３の動作手順の説明図
【図９】実施例３の合焦状態維持判定の動作手順の説明図
【図１０】実施例３の撮像面位相差ＡＦの動作手順の説明図
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００１３】
図１に本実施例の実施例のブロック図を示す。１は撮像装置、２はズームレンズ群、３はフォーカスレンズ群、４はズームレンズ群２フォーカスレンズ群３等からなる撮影光学系を透過する光束の量を制御する光量調節手段であり露出手段である絞り、３１はズームレンズ群２フォーカスレンズ群３絞り４等からなる撮影レンズ鏡筒、５は撮影光学系を透過した被写体像が結像し、これを光電変換するＣＭＯＳ等の固体撮像素子（以下撮像センサー）、６はこの撮像センサー５によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する撮像回路、７はこの撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変化するＡ／Ｄ変換回路、８はこのＡ／Ｄ変換回路７の出力を受けてこの画像信号を一時的に記憶するバッファメモリ等のメモリ（ＶＲＡＭ）、９はこのＶＲＡＭ８に記憶された画像信号を読み出してこれをアナログ信号に変換するとともに再生出力に適する形態の画像信号に変換するＤ／Ａ変換回路である。
【００１４】
１０はこの画像信号を表示する液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）、１２は半導体メモリ等からなる画像データを記憶する記憶用メモリ、１１はＶＲＡＭ８に一時記憶された画像信号を読み出して記憶用メモリ１２に対する記憶に適した形態にするために画像データの圧縮処理や符号化処理を施す圧縮回路及び記憶用メモリ１２に記憶された画像データを再生表示等をするのに最適な形態とするための復号化処理や伸長処理等を施す伸長回路とからなる圧縮伸長回路、１３はＡ／Ｄ変換回路７からの出力を受けて自動露出（ＡＥ）処理を行うＡＥ処理回路、１４はＡ／Ｄ変換回路７からの出力を受けてＡＦ評価値を生成する自動焦点調節（ＡＦ）処理を行うスキャンＡＦ処理回路、１５は撮像装置の制御を行う演算用のメモリを内蔵したＣＰＵ、１６は所定のタイミング信号を発生するタイミングジェネレータ（以下ＴＧ）である。
【００１５】
１７は撮像センサードライバー、２１は絞り４を駆動する絞り駆動モータ、１８は絞り駆動モータ２１を駆動制御する第一モータ駆動回路、２２はフォーカスレンズ群３を駆動するフォーカス駆動モータ、１９はフォーカス駆動モータ２２を駆動制御する第ニモーター駆動回路、２３はズームスレンズ群２を駆動するズーム駆動モータ、２０はズーム駆動モータ２３を駆動制御する第三モータ駆動回路、２４は各種のスイッチ群からなる操作スイッチ、２５は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭ、２６は電池、２８はストロボ発光部、２７はストロボ発光部２８の閃光発光を制御するスイッチング回路である。
【００１６】
２９は警告表示などを行うＬＥＤなどの表示素子、３０は位相差ＡＦ処理回路、３３はＡＦ評価値を取得する際に被写体の全部又は一部を照明する照明手段であるＬＥＤなどの光源で構成されるＡＦ補助光、３２はＡＦ補助光３３を駆動するためのＡＦ補助光駆動回路、３５は手振れなどを検出する振れ検出センサー、３４は振れ検出センサー３５の信号を処理する振れ検出回路、３６はＡ／Ｄ変換回路７からの出力を受けて画面上での顔位置や顔の大きさなどを検出する顔検出回路、３７は取得時刻の異なる複数の画像信号から画像信号上での被写体の動き量を求める動きベクトル検出回路である。
【００１７】
なお、画像データ等の記憶媒体である記憶用メモリは、フラッシュメモリ等の固定型の半導体メモリや、カード形状やスティック形状からなり装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリの他、ハードディスクやフロッピィ−ディスク等の磁気記憶媒体等、様々な形態のものが適用される。
【００１８】
また、操作スイッチ２４としては、本撮像装置１を起動させ電源供給を行うための主電源スイッチや撮影動作（記憶動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ、撮影光学系のズームレンズ群２を移動させズームを行わせるズームスイッチ等がある。
【００１９】
そしてレリーズスイッチは撮影動作に先立ち行われるＡＥ処理、ＡＦ処理を開始させる指示信号を発生する第一ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第ニストローク（以下ＳＷ２）との二段スイッチにより構成される。
【００２０】
このように構成された本実施例における動作を以下に説明する。
【００２１】
まず、撮像装置１の撮影レンズ鏡筒３１を透過した被写体光束は絞り部４によってその光量が調整された後、撮像センサー５の受光面に結像される。この被写体像は、撮像センサー５による光電変換処理により電気的な信号に変換され撮像回路６に出力される。撮像回路６では、入力した信号に対して各種の信号処理が施され、所定の画像信号が生成される。この画像信号はＡ／Ｄ変換回路７に出力されデジタル信号（画像データ）に変換された後、ＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データはＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤに画像として表示される。一方ＶＲＡＭ８に格納された画像データは圧縮伸長回路１１にも出力される。この圧縮伸長回路１１における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１２に記憶される。
【００２２】
また、例えば操作スイッチ２４のうち不図示の再生スイッチが操作されオン状態になると、再生動作が開始される。すると記憶用メモリ１２に圧縮された形で記憶された画像データは圧縮伸長回路１１に出力され、伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ８に出力され一時的に記憶される。更に、この画像データはＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。
【００２３】
他方、Ａ／Ｄ変換回路７によってデジタル化された画像データは、上述のＶＲＡＭ８とは別にＡＥ処理回路１３、スキャンＡＦ処理回路１４、顔検出回路３６及び動きベクトル検出回路３７に対しても出力される。まずＡＥ処理回路１３においては、入力されたデジタル画像信号を受けて、一画面分の画像データの輝度値に対して累積加算等の演算処理が行われる。これにより、被写体の明るさに応じたＡＥ評価値が算出される。このＡＥ評価値はＣＰＵ１５に出力される。
【００２４】
またスキャンＡＦ処理回路１４においては、入力されたデジタル画像信号を受けて、画像データの高周波成分がハイパスフィルター（ＨＰＦ）等を介して抽出され、更に累積加算等の演算処理を行い、高域側の輪郭成分量等に対応するＡＦ評価値信号が算出される。
【００２５】
具体的にはスキャンＡＦ処理はＡＦ領域として指定された画面の一部分の領域に相当する画像データの高周波成分を複数（例えば４つ）のハイパスフィルター（ＨＰＦ）等を介して抽出し、更に累積加算等の演算処理を行う。これにより、高域側の輪郭の成分量等に対応するＡＦ評価値信号が算出される。
【００２６】
更に複数のＡＦ評価値信号の比を取り複数のＡＦ評価値比信号を生成する。例えば４つのハイパスフィルター等を介して４つのＡＦ評価値信号が算出している場合は、最も低域の周波数特性を持つハイパスフィルター等を介して算出された第一のＡＦ評価値信号で、他の３つのハイパスフィルター等を介して算出された３つのＡＦ評価値信号（第二のＡＦ評価値信号、第三のＡＦ評価値信号、第四のＡＦ評価値信号）を割り３つのＡＦ評価値比信号（第二のＡＦ評価値信号÷第一のＡＦ評価値信号、第三のＡＦ評価値信号÷第一のＡＦ評価値信号、第四のＡＦ評価値信号÷第一のＡＦ評価値信号）を生成する。
【００２７】
このＡＦ領域は中央部分あるいは画面上の任意の部分の一箇所である場合や、中央部分あるいは画面上の任意の部分とそれに隣接する複数箇所である場合、離散的に分布する複数箇所である場合などがある。
【００２８】
またハイパスフィルター（ＨＰＦ）を介さずに得た信号の最大値と最小値の差分値で、ハイパスフィルター等を介して算出された４つのＡＦ評価値信号を割り４つのＡＦ評価値比信号（第一のＡＦ評価値信号÷最大値と最小値の差分値、第二のＡＦ評価値信号÷最大値と最小値の差分値、第三のＡＦ評価値信号÷最大値と最小値の差分値）を生成することも可能である。
【００２９】
このようにスキャンＡＦ処理回路１４は、ＡＦ処理を行う過程において、撮像センサー５によって生成された画像信号から所定の高周波成分を検出する高周波成分検出手段及び、検出された高周波成分の比を取る比信号算出手段の役割を担っている。
【００３０】
顔検出回路３６においては、入力されたデジタル画像信号を受けて、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。
【００３１】
動きベクトル検出回路３７においては、動きベクトルを算出する領域の過去の画像信号が記録されていれば、その画像信号と今回取得された画像信号の相関演算を行い、動きベクトルを求めとともに、今回取得された画像信号を過去の画像信号を置換する。過去の画像信号が記録されていない場合は、今回取得された画像信号を所定の領域に記録する。
【００３２】
一方、ＴＧ１６からは所定のタイミング信号がＣＰＵ１５、撮像回路６、撮像センサードライバー１７へ出力されており、ＣＰＵ１５はこのタイミング信号に同期させて各種の制御を行う。また撮像回路６は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらに撮像センサードライバー１７は、ＴＧ１６のタイミング信号を受けこれに同期して撮像センサー５を駆動する。
【００３３】
またＣＰＵ１５は、第一モータ駆動回路１８、第ニモータ駆動回路１９、第三モータ駆動回路２０をそれぞれ制御することにより、絞り駆動モータ２１、フォーカス駆動モータ２２、ズーム駆動モータ２３を介して、絞り４、フォーカスレンズ群３、ズームスレンズ群２を駆動制御する。すなわちＣＰＵ１５はＡＥ処理回路１３において算出されたＡＥ評価値等に基づき第一モータ駆動回路１８を制御して絞り駆動モータ２１を駆動し、絞り４の絞り量を適正になるように調整するＡＥ制御を行う。またＣＰＵ１５はスキャンＡＦ処理回路１４において算出されるＡＦ評価値信号もしくはＡＦ評価値比信号に基づき第ニモータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動し、フォーカスレンズ群３を合焦位置に移動させるＡＦ制御を行う。また操作スイッチ２４のうち不図示のズームスイッチが操作された場合は、これを受けてＣＰＵ１５は、第三モータ駆動回路２０を制御してズームモータ２３を駆動制御することによりズームレンズ群２を移動させ、撮影光学系の変倍動作（ズーム動作）を行う。
【００３４】
次に本撮像装置の実際の撮影動作を図２に示すフローチャートを用いて説明する。なお本実施例の説明においては、フォーカスレンズ群３を所定位置に駆動しながらＡＦ評価値を取得する動作をスキャン、ＡＦ評価値を取得するフォーカスレンズの位置の間隔をスキャン間隔、ＡＦ評価値を取得する位置をスキャンポイント、その数をスキャンポイント数、ＡＦ評価値を取得する範囲をスキャン範囲、合焦位置を検出するための画像信号を取得する領域をＡＦ枠と言うものとする。なおスキャン範囲はスキャン間隔と（スキャンポイント数−１）の積で決まる。
【００３５】
本撮像装置１の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影（録画）モードにあるときは、撮影処理シーケンスが実行され、撮像センサー５等に電源を供給する等し撮像を可能にする。
【００３６】
まずステップＳ２０１においてＣＰＵ１５は、撮影レンズ鏡筒３１を透過し撮像センサー５上に結像した像をＬＣＤに画像として表示する。すなわち撮像センサー５上に結像した被写体像は、撮像センサー５による光電変換処理され電気的な信号に変換された後、撮像回路６に出力される。そこで入力した信号に対して各種の信号処理が施され、所定の画像信号が生成された後、Ａ／Ｄ変換回路７に出力されデジタル信号（画像データ）に変換されＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データはＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤに画像として表示される。
【００３７】
次いでステップＳ２０２において、レリーズスイッチの状態を確認する。撮影者によってレリーズスイッチが操作され、ＳＷ１（レリーズスイッチの第一ストローク）がオン状態になったことをＣＰＵ１５が確認すると、次のステップＳ２０３に進み、通常のＡＥ処理が実行される。続いてステップＳ２０４において、ＡＦ枠の設定を行った後にそのＡＦ枠から取得した画像信号から複数のＡＦ評価値とＡＦ評価値の比を求め、その結果から合焦位置を検出するためのスキャンＡＦ処理を行う。合焦位置へフォーカスレンズ群３を停止させたなら、その位置において複数のＡＦ評価値とＡＦ評価値の比を求め、ＣＰＵ１５の所定の記録領域に記録する。なおこの処理の内容については後述する。
【００３８】
ステップＳ２０４で合焦位置が得られたならば、ステップＳ２０５においてＡＦＯＫ表示を行う。これは表示素子２９を点灯することなどにより行うと同時にＬＣＤ上に緑の枠を表示するなどの処理を行う。
【００３９】
またステップＳ２０４において、合焦位置が得られない場合には、ステップＳ２０５に進みＡＦＮＧ表示を行う。これは表示素子２９を点滅表示することなどにより行うと同時にＬＣＤ上に黄色の枠を表示するなどの処理を行う。
【００４０】
その後ステップＳ２０６において合焦状態が維持されているか判定を行う。
【００４１】
被写体の距離方向への移動なくかつフォーカスレンズの意図しない移動等が無く合焦状態が維持されている場合は、ステップＳ２０７からステップＳ２０８へ進む。
【００４２】
被写体の距離方向への移動等によって合焦状態が維持されていない場合は、その程度に応じて再度ＡＦ（ステップＳ２０７→Ｓ２０１）または微調整（ステップＳ２０７→Ｓ２１０・Ｓ２１１）を行う。
【００４３】
またステップＳ２０４のスキャンＡＦ処理において非合焦の場合は、ＳＷ１のオン状態が続いていればステップＳ２０８へ、ＳＷ１がオフされてならばステップＳ２０１へ進みＳＷ１がオンされたことを契機に再度ＡＦを行う。
【００４４】
なおステップＳ２０６の処理の内容については後述する。
【００４５】
スッテプＳ２１０にて行われるピント微調整スキャンは、現在のフォーカスレンズ群３の近傍（例えば近傍の５スキャンポイント）でスキャンを行いＡＦ評価値を取得し、ピークが検出されれば、そのピークにフォーカスレンズ群３を移動した後、ステップＳ２０６へ進む。
【００４６】
ピークが検出できない場合はステップＳ２０１へ進み、ＳＷ１がオンされたことを契機に再度ＡＦを行う。
【００４７】
ＣＰＵ１５はステップＳ０９において、ＳＷ２（レリーズスイッチの第ニストローク）の確認を行い、ＳＷ２がオンになっていたならば、ステップＳ２１０に進み、実際の露光処理を実行する。
【００４８】
ここで、ステップＳ２０４で合焦位置を検出するためのスキャンＡＦ処理を説明する。
【００４９】
まずＡＦ枠の設定方法について説明する。
【００５０】
撮影者の指示がある場合はそれに従う。例えば、ＡＦ枠の大きさは画面の水平１８％×垂直１８％の大きさと水平１０％×垂直１０％を選択可能とし、その位置はＡＦ枠の端部が画面からはみ出さない範囲で設定可能とする。
【００５１】
自動でカメラが設定する場合は、主被写体が人物であれば顔検出回路３６の出力を用いてＡＦ枠の設定を行う。ＣＰＵ１５は顔検出回路３６から検出された顔の大きさ（例えば、水平垂直方向の画素数）と位置（例えば、中心座標）を受け取りその領域を含む様にＡＦ枠を設定する。
【００５２】
主被写体が人物以外の場合（顔検出回路で顔が検出されなかった場合）は、ＣＰＵ１５で画像の色情報や輝度情報から特徴点を抽出することで主被写体を検出し、その情報を用いてＡＦ枠の設定を行う。ＣＰＵ１５は色情報や輝度情報から色が同一と見なせる領域と輝度が同一と見なせる領域を抽出したならば、両者の重なる領域を検出し被写体領域候補する。その中で大きさが一定以上でかつ中心からの乖離が一定以下のものを主被写体とする。複数存在する場合は大きさが最大のものを選択する。
【００５３】
上記の処理において顔も主被写体も検出されない場合は、中央の一箇所の所定の大きさ（例えば、画面の水平１８％×垂直１８％）のＡＦ枠を設定する。
【００５４】
次いでスキャンＡＦ動作について図３を用いて説明する。
【００５５】
スキャンＡＦ処理回路１４においては、入力されたＡＦ枠内のデジタル画像信号を受けて、複数（例えば４つ）の異なる周波数特性のハイパスフィルター（ＨＰＦ）等を介して、複数のＡＦ評価値信号が算出される。
【００５６】
このうち最も高域の特性を持つハイパスフィルター（ＨＰＦ）等を介して算出させた第一のＡＦ評価値信号は図３のＴＥＳで示すグラフとなる（図に破線●マークで表示）。グラフの横軸はフォーカスレンズ群３の位置であり、左側が遠方の被写体、右側が近側の被写体に合焦するフォーカスレンズ群３の位置を表す。
【００５７】
スキャンＡＦにおいてはフォーカスレンズ群３を図のＡの位置からＢに向けて駆動し、デジタル画像信号を取得しＡＦ評価値信号を算出する。その値は合焦位置で最大となるので図のＣの位置を合焦位置とすると図のようになる。
【００５８】
スキャンＡＦの高速化のために全てのフォーカスレンズ群３の停止位置については行わず、所定のスキャン間隔毎に出力を取得する。この場合、図３に示すａ１、ａ２、ａ３点においてＡＦ評価値信号を取得することがありうる。このような場合は取得されたＡＦ評価値信号が最大値となった点とその前後の点のから合焦位置Ｃ（ＡＦ評価値信号が最大となる位置）を計算にて求めている。
【００５９】
今フォーカスレンズ群３の位置がＸ１の時にＡＦ評価値が最大になりその値がＹ１であり（図３ａ２）、その前後の位置Ｘ２、Ｘ３で取得したＡＦ評価値がＹ２、Ｙ３の時（図３ａ１、ａ３）、合焦位置Ｃのフォーカスレンズ群３の位置Ｘ０は
【００６０】
【数１】
2020046595.tif 000003
【００６１】
と求められる。但しＹ１＞Ｙ３、Ｙ１≧Ｙ２である。
【００６２】
従来はこのようにして合焦位置を求めていたが、合焦位置をフォーカスレンズ群３が通り過ぎた後に求めるため、ＬＣＤ１０に表示される画像が一旦ボケるなどの表示品位における弊害や、フォーカスレンズ群３を合焦位置へ戻すための時間が必要になるなどの問題があった。
【００６３】
そこで本実施例においては、更に複数のＡＦ評価値信号の比を取り複数のＡＦ評価値比信号を生成し、その比信号を用いて合焦位置を求めることで問題を解決している。例えば４つのハイパスフィルター等を介して４つのＡＦ評価値信号が算出している場合は、最も低域の周波数特性を持つハイパスフィルター等を介して算出された第一のＡＦ評価値信号ＦＥＳで、他の３つのハイパスフィルター等を介して算出された３つのＡＦ評価値信号（第二のＡＦ評価値信号ＴＥＳ１、第三のＡＦ評価値信号ＴＥＳ２、第四のＡＦ評価値信号ＴＥＳ３）を割り３つのＡＦ評価値比信号（第一のＡＦ評価値比信号ＴＥＳ１÷ＦＥＳ：図３中実線×マークで表示、第二のＡＦ評価値比信号ＴＥＳ２÷ＦＥＳ：図３中実線△マークで表示、第三のＡＦ評価値比信号ＴＥＳ３÷ＦＥＳ：図３中実線■マークで表示）を生成する。
【００６４】
この特性は図３に示すように、合焦位置から所定位置離れた位置で極小となる。この比信号の極小となる位置は、比をとるそれぞれの信号を出力するハイパスフィルターの周波数特性によって定まる。周波数特性が高い程比信号が極小となる位置は合焦位置に近くなる。図ではＦＥＳ→ＴＥＳ１→ＴＥＳ２→ＴＥＳ３の順に周波数特性が高域の特性となるように設定しているので、ＴＥＳ１÷ＦＥＳ、ＴＥＳ÷ＦＥＳ２、ＦＥＳ３÷ＴＥＳの順に合焦位置に近い位置にそれぞれのピーク位置が検出される。
【００６５】
但し、このように合焦位置から全てのハイパスフィルターの周波数特性にマッチした周波数が被写体に含まれていることが前提であり、特定の周波数しか存在しない場合や特定の周波数のみコントラストが強い場合などは、特定周波数以外の周波数特性を持つハイパスフィルターの出力を用いた比信号は、極小位置を正確に検出できないことや、コントラストの強い周波数成分の影響を受けその周波数特性のハイパスフィルターで検出されるべき位置と異なる位置が極小位置となることがある。そのため設定した周波数特性通りの順序でピーク位置を検出できない場合もある。
【００６６】
そこで本実施例では、異なる周波数特性を持つ複数の信号（第二のＡＦ評価値〜第四のＡＦ評価値など）を、他の全ての信号より低域の周波数特性を持つ信号（第一のＡＦ評価値）で除算した複数の比信号算出し、複数の比信号の極小位置と比信号を算出する際の信号の周波数特性から、複数の合焦位置を求める。
【００６７】
そして複数の比信号の信頼性をその比信号の検出された最大値から算出し、複数の比信号から求められた複数の合焦位置のうち、比信号の信頼性の高いもののみを用いて合焦位置を算出している。
更に、比信号がピークを迎えたことを検出するまでに得られた最も高域の周波数特性を持つ信号ＴＥＳ３のピーク位置の信頼性が高いと判断される場合は、このピーク位置も用いて合焦位置を算出している。
【００６８】
例えば図３で、ＴＥＳ３の信頼性が高くＴＥＳ３とＦＥＳの比信号を用いて合焦位置を求める場合は、比信号（ＴＥＳ３÷ＦＥＳ）の検出された値が極小となるα２点とその両隣の点α１・α３のフォーカスレンズ群３の位置とＡＦ評価値の比信号の値から次式を用いて極小位置を求める。
【００６９】
フォーカスレンズ群３の位置がＸ１の時にＡＦ評価値の比信号の値が極小になりその値がＹ１であり（図３α２）、その前後の位置Ｘ２、Ｘ３で取得したＡＦ評価値の比信号の値がＹ２、Ｙ３の時（図３α１、α）、合焦位置Ｃのフォーカスレンズ群３の位置Ｘ０は
【００７０】
【数２】
2020046595.tif 000004
【００７１】
と求められる。但しＹ１＜Ｙ３、Ｙ１≦Ｙ２である。
【００７２】
このようの比信号のピーク位置や最も高域の周波数特性を持つ信号（第一のＡＦ評価値）のピーク位置が求められたなら、用いた比信号の周波数特性から定まる所定値と比信号のピーク位置から求まる合焦位置、及び最も高域の周波数特性を持つ信号（第四のＡＦ評価値）から合焦位置Ｃを求め、その位置へフォーカスレンズ群３を駆動する。
【００７３】
そして合焦位置へフォーカスレンズ群３を停止させたなら、その位置において複数のＡＦ評価値とＡＦ評価値の比を求め、ＣＰＵ１５の所定の記録領域に記録する。
【００７４】
信頼性判定方法について図３を用いてその概略を説明する。
【００７５】
ＡＦ評価信号の比信号は特殊な場合を除けば、横軸に距離、縦軸にＡＦ評価値の比をとるとその形は極小位置付近では図３に示すような谷状になる。そこでＡＦ評価値の比がピーク付近で谷状になっているか否かを比信号の最大値と最小値の差、一定値以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判断することによりその信頼性を判断している。
【００７６】
但し演算の対象とする範囲は極小位置付近の５〜９点程度の範囲とし、信頼性を判定するためのしきい値は、比信号用のものを用意し、その値も設定したハイパスフィルターの周波数特性毎に異ならせている。
【００７７】
図３に示すように、極小位置（α２点）から傾斜していると認められるスキャンポイントを、隣接するＡＦ評価値の比の値の差を調べることにより行われる。このチェックはα２点から開始し、無限遠側の隣接点（α１）との差を調べ、α２点の方が小さければ傾斜していると判断する。次いでα２点と比較した点（α１）とその隣接点のＡＦ評価値の比の差を調べ、α１点の値が小さくかつその差が所定値以上であれば、傾斜していると判断する。このチェックを範囲内において隣接する点の値の大小関係が逆転するか、差が所定値より小さくなるまで続ける。同様にして至近側を調べる。
【００７８】
そして傾斜していると認められる点までの幅を山の幅Ｌ、α２点と傾斜していると認められる無限遠側の点の値の差と、至近側の点の値の差の和を求め、それを山の勾配ＳＬとしている。
【００７９】
最大値と最小値は範囲内のＡＦ評価値の比信号全体の最大値と最小値である。
【００８０】
この様にして求めたＡＦ評価値の比の信頼性を判定するための諸数値をそれぞれのしきい値と比較し、全ての条件を満たしたならばＡＦ評価値の信頼性があると判定する。
【００８１】
この信頼性の判定を、極小位置が検出された全てのＡＦ評価値の比信号に対して行う。
【００８２】
ＡＦ評価値（ＴＥＳ３等）の信頼性は、ＡＦ評価値の形状が山状か否かで判定している。
【００８３】
ＡＦ評価信号は遠近競合の特殊な場合を除けば、横軸に距離、縦軸にＡＦ評価値をとるとその形は山状になる。そこでＡＦ評価信号が山状になっているか否かをＡＦ評価信号の最大値と最小値の差、一定値以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から判断することによりＡＦ評価信号の信頼性を判断している。
【００８４】
なお詳細は特許文献特登録０４２３５４２２や特登録０４１８５７４１に具体的な方法が記載されている。
【００８５】
ここでスッテプＳ２０６にて行われる合焦維持判定に関して説明する。
【００８６】
ますステップＳ４０１において、ステップＳ２０４で行われたスキャンＡＦ処理の結果、合焦したか否かを判定する。
【００８７】
合焦していたならばステップＳ４０２へ、合焦していないならステップＳ４３１へ進む。
【００８８】
ステップＳ４０２ではスキャンＡＦ処理の終了から所定時間が経過したかを調べる。所定時間経過していない場合は、ステップＳ４１２へ進み、合焦状態が維持されているとしてこの処理を終了する。
【００８９】
スキャンＡＦ終了からの経過時間が短い場合は、移動被写体であったとしてもその移動量は少なく被写界深度内の移動と考えられ、かつ直後に撮影者によるレリーズ動作（ＳＷ２オンを契機にする露光動作）が行われる可能性が高いため、タイムラグを優先してこのような処理を行う。また経過時間が短い場合はフレミングやエイミングを停止することもないため、エイミングを中断しカメラの設定を変更すること等でカメラが大きく動かすことはない。よってカメラが大きく動くことによるフォーカスレンズ群３の位置変化も生じないと言える。
【００９０】
よってこの所定時間は一般的な撮影における移動被写体が被写界深度内に収まると予想される時間やフレミングやエイミングを継続する時間を参考にして定められる。
【００９１】
所定時間が経過した場合はステップＳ４０３へ進み、合焦維持判定を行うためのＡＦ評価値を取得するＡＦ枠の設定を行う。
【００９２】
ＣＰＵ１５は、主被写体が人物であれば顔検出回路３６・振れ検出回路３４の出力を用いて、次のＡＦ評価値を取得するタイミングで主被写体が画面上のどの位置に存在するかを予測し、その位置にＡＦ枠を設定する。
【００９３】
ステップＳ２０４スキャンＡＦ処理の際の使用したＡＦ枠に対して、時間がある程度経過しているため被写体が移動している可能性がある。そこで再度ＣＰＵ１５は顔検出回路３６から検出された顔の位置を受け取り、大きさはスキャンＡＦ処理時と同じにしてその領域を含む様にＡＦ枠を設定する。
【００９４】
顔の大きさも変化している可能性があるが、ＡＦ枠の大きさを変えるとスキャンＡＦ処理回路１４の特性上、演算されるＡＦ評価値が変化してしまうので、あえてＡＦ枠の大きさは変えない。
【００９５】
また、顔検出時と実際に合焦維持判定のためにＡＦ評価値を取得する時点では、手振れで画面上の被写体の位置がずれる可能性がある。そこで振れ検出回路３６の出力を用いてＡＦ評価値を取得する時点での被写体の位置を予測し、その位置へＡＦ枠を配置する。
【００９６】
この予測は撮像センサー５の読み出しタイミングを基にして手振れによるずれる被写体の位置を二次関数で近似するなどして行えばよい。顔検出のための撮像センサー読み出し時をｔ０としたとき、そのひとつ前の二つ前の撮像センサー読み出しタイミングをｔ−１・ｔ−２とし、ｔ０・ｔ−１・ｔ−２における手振れによりずれた位置をＰｓ（ｔ０）・Ｐｓ（ｔ−１）・Ｐｓ（ｔ−２）を取得し、その値から二次関数（ｙ＝ａｘ＾２＋ｂＸ＋ｃ）の各係数を求めた後、ＡＦ評価値を取得する撮像センサー読み出しタイミングにおける手振れによりずれた位置を二次関数の式より求めれば良い。
【００９７】
しかしながら顔検出・振れ検出には検出誤差があり、また上記の位置計算でも誤差が生じる。そのため本来の被写体位置とずれた位置にＡＦ枠を設定してしまう可能性がある。
【００９８】
そこでこれら誤差を考慮して上記で設定したＡＦ枠（以下基準枠と称す）の周囲に複数の枠を設定する。
【００９９】
顔検出の誤差量は、顔検出での顔の位置の移動量が大きい程、また手振れ量が大きい程誤差は大きくなると推測される。これは顔の移動や手振れによって顔検出を行う際の画像にぶれが生じるためである。手振れ量に関しては、専用の振れ検出センサーを使用しているので、手振れ量のよって誤差は変わらない。振れ検出センサー３５の元々持つ検出誤差や振れ検出回路３４での処理で生じる誤差は外気温度などに影響されるので、その量を推定する。
【０１００】
推定される顔検出誤差Ｅｒｒｆ・手振れ検出誤差Ｅｆｆｓは変換係数を掛けることで画素単位に変換する。
【０１０１】
水平方向顔検出誤差ＥｒｒｆＨ＝ｐｍｆ・水平方向手振れ量・水平方向顔の移動量
垂直方向顔検出誤差ＥｒｒｆＶ＝ｐｍｆ・垂直方向手振れ量・垂直方向顔の移動量
水平方向手振れ検出誤差ＥｒｒｓＨ＝ｐｍｓ・ａｂｓ（外気温度―基準温度）
垂直方向手振れ検出誤差ＥｒｒｓＶ＝ｐｍｓ・ａｂｓ（外気温度―基準温度）
但し基準温度は２５℃、（外気温度―基準温度）が所定値（例えば、２０℃）以下の場合はＥｆｆｓＨ＝０・ＥｒｒｓＶ＝０とし、所定の範囲（例えばー１０℃〜６０℃）外ではその両端の温度で固定する。
【０１０２】
そして、「水平方向顔検出誤差Ｅｒｒｆ＋水平方向手振れ検出誤差Ｅｒｒｓ＜所定画素１」の場合は水平方向にＡＦ枠は１つ、「水平方向顔検出誤差Ｅｒｒｆ＋水平方向手振れ検出誤差Ｅｒｒｓ≧所定画素１」の場合は水平方向にＡＦ枠を３つ設定するようにする。所定画素１は例えば２〜３画素程度とすれば良い。
【０１０３】
例えば図５のように設定する。
【０１０４】
９つＡＦ枠を設定する場合の中央の基準枠に対するずらし量Ｗｉｄｔｈ１・Ｈｉｇｈｔ１は、
Ｗｉｄｔｈ１＝√（水平方向顔検出誤差Ｅｒｒｆ＾２＋水平方向手振れ検出誤差Ｅｒｒｓ＾２）
Ｈｉｇｈｔ１＝√（垂直方向顔検出誤差Ｅｒｒｆ＾２＋垂直方向手振れ検出誤差Ｅｒｒｓ＾２）
と計算すれば良い。
【０１０５】
ＡＦ枠数及びずらす位置はあくまで例である。被写体の移動方向に応じて左右または上下でずらし量を異ならせても良いし、推測される誤差量が更に大きい場合は、より多くのＡＦ枠を設定するようにしても良い。
【０１０６】
ＣＰＵ１５は、主被写体が人物以外であれば、振れ検出回路３４・動きベクトル検出回路３７の出力を用いて、次のＡＦ評価値を取得するタイミングで主被写体が画面上のどの位置に存在するかを予測し、その位置にＡＦ枠を設定する。
【０１０７】
ステップＳ２０４で画像の色情報や輝度情報から特徴点を抽出することで検出された主被写体を基にＡＦ枠が設定されている。このＡＦ枠内の被写体に関して動きベクトル回路３６を用いて、画面内での動き量を求める。この情報を使用して被写体が移動したと推測される位置へ大きさはスキャンＡＦ処理時と同じにしてその領域を含む様にＡＦ枠を設定する。
【０１０８】
また主被写体が人物の時と同様に、振れ検出回路３６の出力を用いてＡＦ評価値を取得する時点での被写体の位置を予測し、その位置へＡＦ枠を配置する。
【０１０９】
そして主被写体が人物の時と同様に、振れ検出・動きベクトル検出の検出誤差を考慮して上記で設定したＡＦ枠（以下基準枠と称す）の周囲に複数の枠を設定する。
【０１１０】
動きベクトル検出の誤差量は、検出を行う際の画像にぶれが生じるため被写体の移動量が大きい程、また手振れ量が大きい程誤差は大きくなると推測される。振れ検出センサー３５の検出誤差は被写体が人物の場合と同じである。
【０１１１】
よって同様にして検出誤差を求め、中央の基準枠に対するずらし量Ｗｉｄｔｈ１・Ｈｉｇｈｔ１を計算する。
【０１１２】
ステップＳ２０４のスキャンＡＦ処理において顔も主被写体も検出されない場合は、振れ検出回路３４・動きベクトル検出回路３７の出力を用いて、次のＡＦ評価値を取得するタイミングで主被写体が画面上のどの位置に存在するかを予測し、その位置にＡＦ枠を設定する。
【０１１３】
具体的な方法は、被写体が人物以外の場合と同様である。違いはスキャンＡＦ処理２０４で設定された中央の一箇所の所定の大きさのＡＦ枠内の被写体に関して動きベクトル回路３６を用いて、画面内での動き量を求める点である。
【０１１４】
撮影者の指示に従いＡＦ枠を設定されている場合はＡＦ枠は撮影者が設定した位置から変更せず、複数枠の設定も行わない。
【０１１５】
次いでステップＳ４０４において、検出された手振れ量が小さい（所定値以下）か否かを判定し、所定値以下ならステップＳ４０５へ、超えていればステップＳ４２１へ進む。
【０１１６】
ステップＳ４０５では、スッテプＳ４０３で設定された全ＡＦ枠について、その画像信号を用いて４つのハイパスフィルター等を介して４つのＡＦ評価値信号を取得する。
【０１１７】
そしてステップＳ４０６において、全ての取得されたＡＦ評価値と合焦時に記録したＡＦ評価値を比較し、全ての差分が略等しいと見なせるＡＦ枠が複数個のＡＦ枠のうち一つでも存在する場合（ＡＦ枠が一つの場合はそのＡＦ枠で取得したＡＦ評価値の差分が全ての差分が略等しいと見なせる場合）は、ステップＳ４１２へ進み、合焦状態は維持されていると判定する。
【０１１８】
全ての差分が略等しいと見なせるＡＦ枠が存在しない場合は、ステップＳ４０７へ進み、比信号を算出する。
【０１１９】
ステップＳ４０７では、全てのＡＦ枠において最も低域の周波数特性を持つハイパスフィルター等を介して算出された第一のＡＦ評価値信号ＦＥＳで、他の３つのハイパスフィルター等を介して算出された３つのＡＦ評価値信号（第二のＡＦ評価値信号ＴＥＳ１、第三のＡＦ評価値信号ＴＥＳ２、第四のＡＦ評価値信号ＴＥＳ３）を割り３つのＡＦ評価値比信号（第一のＡＦ評価値比信号ＴＥＳ１÷ＦＥＳ、第二のＡＦ評価値比信号ＴＥＳ２÷ＦＥＳ、第三のＡＦ評価値比信号ＴＥＳ３÷ＦＥＳ）を生成する。
【０１２０】
但し、極端にＡＦ評価値が変化したものは比信号を求めることはしない。
【０１２１】
これはＡＦ評価値信号生成するハイパスフィルター等で通過する帯域の周波数帯だけ出現または消失が、被写体の絵柄の変化により発生したと予測されるためである。この場合は合焦時と比べて、ＡＦ評価値が大きく変化しているので、この評価値を判定に用いると誤判定の懸念がある。
【０１２２】
もし第四のＡＦ評価値信号ＴＥＳ３が、第二のＡＦ評価値信号ＴＥＳ１、第三のＡＦ評価値信号ＴＥＳ２に比べてその変化量が大きい場合は、第四のＡＦ評価値信号ＴＥＳ３を用いないようにする。例えば、第二のＡＦ評価値信号ＴＥＳ１、第三のＡＦ評価値信号ＴＥＳ２が合焦時の値に比べてΔ１（％）Δ２（％）値が変化した時、第四のＡＦ評価値信号ＴＥＳ３が合焦時の値に比べてΔ３（％）値が変化した場合、
Δ３＞α１・（Δ１＋Δ２）÷２
であれば、変化量が大きい、第四のＡＦ評価値信号ＴＥＳ３を用いないようにする。
【０１２３】
但しΔ１＝（判定時のＴＥＳ１―合焦時のＴＥＳ１）÷合焦時のＴＥＳ１×１００
Δ２＝（判定時のＴＥＳ２―合焦時のＴＥＳ２）÷合焦時のＴＥＳ２×１００
Δ３＝（判定時のＴＥＳ３―合焦時のＴＥＳ３）÷合焦時のＴＥＳ３×１００
α１は定数で、１．５〜２程度の値
である。
【０１２４】
誤判定の懸念のあるＡＦ評価値信号を除いて比信号を生成したならば、ステップＳ４０８において、判定に用いるＡＦ評価値の変化率指標を求める。もしステップＳ４０３において複数個のＡＦ枠を設定している場合は、各ＡＦ枠ごとに変化率指標を求める。
【０１２５】
合焦時のＡＦ評価値比信号を、ｒＴＥＳ１＿ｔ０（合焦時の第一のＡＦ評価値比信号ＴＥＳ１÷ＦＥＳ）、ｒＴＥＳ２＿ｔ０（合焦時の第二のＡＦ評価値比信号ＴＥＳ２÷ＦＥＳ）、ｒＴＥＳ３＿ｔ０合焦時の第三のＡＦ評価値比信号ＴＥＳ３÷ＦＥＳ）、そして判定時のＡＦ評価値比信号を、ｒＴＥＳ１＿ｔ１（判定時の第一のＡＦ評価値比信号ＴＥＳ１÷ＦＥＳ）、ｒＴＥＳ２＿ｔ１（判定時の第二のＡＦ評価値比信号ＴＥＳ２÷ＦＥＳ）、ｒＴＥＳ３＿ｔ１（判定時の第三のＡＦ評価値比信号ＴＥＳ３÷ＦＥＳ）
としたとき、変化率指標ＶａＩは
ＶａＩ＝Ａｖｅｒａｇｅ（ｒＴＥＳ１＿ｔ１÷ｒＴＥＳ１＿ｔ０，
ｒＴＥＳ２＿ｔ１÷ｒＴＥＳ２＿ｔ０、
ｒＴＥＳ３＿ｔ１÷ｒＴＥＳ３＿ｔ０）
但し、Ａｖｅｒａｇｅ（）は全要素の平均値を求める関数である。また上述のように極端にＡＦ評価値が変化したＡＦ評価値比信号は用いない。
【０１２６】
この指標は、
ＶａＩ＝Ｍｉｎ（ｒＴＥＳ１＿ｔ１÷ｒＴＥＳ１＿ｔ０，
ｒＴＥＳ２＿ｔ１÷ｒＴＥＳ２＿ｔ０、
ｒＴＥＳ３＿ｔ１÷ｒＴＥＳ３＿ｔ０）
と求めても良い。但し、Ｍｉｎ（）は全要素の最小値を求める関数である。これにより最もＡＦ評価値比信号の値が減少した周波数帯域のものが選択される。
【０１２７】
次いでステップＳ４０９では、複数のＡＦ枠を設定した場合はＡＦ枠ごとに求めた変化率指標ＶａＩのち最も変化が小さいものを選択、設定したＡＦ枠がひとつの場合はそのＡＦ枠で求めた変化率指標ＶａＩを選択する。
【０１２８】
そして選択された変化率が極小（例えばの変化率指標９７％以上）場合はステップＳ４１０からＳ４１１へ進み合焦状態が維持されていると判定する。
【０１２９】
変化率が、小（例えばの変化率指標９０％以上）場合はステップＳ４１０からＳ４１２進みピントの微調整が必要と判定する。
【０１３０】
大の場合は（例えば変化率指標９０％未満）場合はステップＳ４１０からＳ４１３へ進み再ＡＦが必要と判断する。
【０１３１】
また、これらに判定に用いる閾値は、ＡＦ評価値を求めるための画像信号のコントラスト、手振れ量などによって変えることも可能である。画像信号のコントラストが低ければ、手振れ量が大きければ、ＡＦ評価値を求めるための画像信号の増幅度が大きければ、ＡＦ評価値の信頼性は低くなるので、誤判定の可能性が高くなる。よって画像信号のコントラスト・手振れ量・画像信号の増幅度から判定の信頼性を評価し、その評価にもとづき信頼性が低くなるに従い合焦状態が維持されていると判定しづらくなるように閾値を設定する。
【０１３２】
一方ステップＳ４０４からステップＳ４２１へ進んだ場合は、Ｓ４２１においてまず基準枠内の画像信号を用いて４つのハイパスフィルター等を介して４つのＡＦ評価値信号を取得する。
【０１３３】
そしてＳ４２２において、検出された手振れ量のよってＡＦ評価値信号の合焦時から低下量を推測する。
【０１３４】
手振れ量によって各周波数特性を持つハイパスフィルター等を介して算出されたＡＦ評価値がどの程度低下するのかを演算しておき、その低下量を係数化した後テーブルを作成して、製造時に所定の領域に記録しておく。そして検出された手振れ量を基に低下量を表す係数をテーブルから読み出し、合焦時ＡＦ評価値信号にその係数を掛けることで、各周波数帯域ごとのＡＦ評価値の低下量を推測する。
【０１３５】
そして、推測値から求めた低下したＡＦ評価値の推測値とステップＳ４２１で取得したＡＦ評価値の差分が全ての周波数帯域で小さければ（例えば±１０％未満）、手振れによってＡＦ評価値は変化しているがピントの状態は変化していない可能性が高いので、ステップＳ４０４へ戻る。
【０１３６】
いずれかの周波数帯域で差分が大きければ（例えば±１０％以上）、ステップＳ４２４へ進み、手振れ低減待ち時間を経過したかを調べる。
【０１３７】
この低減待ち時間は手振れ周期の四分の一程度（例えば２５０ｍｓ）に設定すれば良い。
【０１３８】
もし経過していなければステップＳ４０４へ戻る。これはこの待ち時間に手振れが低減する可能性があり、この場合合焦状態維持の判定が正確に出来る可能性があるからである。
【０１３９】
逆に経過していれば、ステップＳ４１４へ進み再ＡＦが必要と判断する。
【０１４０】
またステップＳ４０１からステップＳ４３１へ進んだ場合は、Ｓ４３１においてＳＷ１がオンになっているかを確認し、オンになっていたならばステップＳ４３２でフォーカスレンズ群３を固定する指示をした後この処理を終了する。ＳＷ１がオフならばステップＳ４３３へ進み再ＡＦが必要と判断する。
【０１４１】
なお図が煩雑になるので図示しなかったが、ＳＷ１がオフになったらＳ２０１へ戻り、またＳＷ２がオンされた場合はフォーカスレンズ群３は固定したままステップＳ２０９へ進むようししており、レリーズや撮影前準備のやり直し等撮影者の意図を反映できるようになっている。
【０１４２】
本実施例においては、設定されたＡＦ枠において合焦時に、異なる周波数特性を持つ複数のフィルターから出力された信号を他の全ての信号より低域の周波数特性を持つフィルターから出力された信号で除算した複数の比信号を記録し、所定時間経過後複数の比信号を再び求め、複数の比信号と比較し、その変化を観察することで、別個の合焦状態を検出する手段を設けることなく被写体の照明状態などが変化しても合焦状態が維持されているかを判定することができる。
【実施例２】
【０１４３】
本発明の実施例２の実施例１に対する違いは、ＡＦ評価値のピークとなるフォーカスレンズ群３の位置と、撮影画像の解像度が最も高くなる位置が異なる場合にフォーカスレンズ群３の制御位置を補正している場合の判定方法を加えた点である。
【０１４４】
本実施例の処理も図２の動作点手順で行われ、図４ステップＳ４０８の変化率指標を求める際に、制御位置を補正がされたか否かを判定し、補正された場合にはそれに対応した処理を行うようにしている。
【０１４５】
まず、制御位置の補正に説明する。図６（Ａ）に示すように、ＡＦ評価値のピーク位置と撮影画像の解像度が最も高くなる位置が異なることがある。これは撮影レンズ鏡筒３１の光学特性の影響で被写体の空間周波数により結像するフォーカスレンズ群３の位置が異なるためである。低照度下で処理系の増幅度を上げた場合スキャンＡＦ処理回路に入力する信号のＳＮ比が低下する。この場合高周波帯域のハイパスフィルター等を介して算出されたＡＦ評価値信号は信頼性が低くなってしまう場合がある。このような場合は複数の比信号が求められず、低周波帯域のハイパスフィルター等を介して算出されたＡＦ評価値信号のみを用いて合焦位置を探索することになる。この場合ＡＦ評価値のピーク位置と撮影画像の解像度が最も高くなる位置が異なるので、その差分をあらかじめ求めておき、合焦位置へフォーカスレンズ群３を制御する際にその位置を補正している。
【０１４６】
そのため、ＡＦ評価値がピーク位置ではない位置にフォーカスレンズ群３は停止している。よってピントがずれた場合、ＡＦ評価値が減少する場合と増加する場合がある。対象となる全てのＡＦ評価値が減少した場合は、実施例１と同じ扱いが出来るが、増加した場合は、輝度変化などによる入力信号の増加によりものか、ピントがずれて生じたのか判別する必要がある。
【０１４７】
そこで高域のＡＦ評価値と他の全ての信号より低域のＡＦ評価値の変化量から判断するようにしている。この処理は、図４スッテプＳ４０７の比信号計算処理に先立って行われる。
【０１４８】
図６（Ｂ）に示すように入力信号の増加によりＡＦ評価値が変化する場合は、低域のＡＦ評価値の増加量が高域のＡＦ評価値の増加量より多くなる。
【０１４９】
図６（Ａ）に示すようにピントがＡＦ評価値が増加する位置の方向へずれた場合は、低域のＡＦ評価値の増加量が高域のＡＦ評価値の増加量より少なくなる。
【０１５０】
よって、低域のＡＦ評価値の増加量≧が高域のＡＦ評価値の増加量ならば、入力信号の増加等によるＡＦ評価値が変化と判断して、図４スッテプＳ４０７へ進み、以降は実施例１と同じ処理を行う。
【０１５１】
逆に、低域のＡＦ評価値の増加量＜が高域のＡＦ評価値の増加量ならば、ピントがずれたと判断して、図４スッテプＳ４１２へ進みピントの微調整が必要と判定する。
【０１５２】
なお図６（Ａ）（Ｂ）は、図が煩雑になるため二つの周波数帯のＡＦ評価値信号のみ示し、また厳密には異なる周波数帯のハイパスフィルター等を介して算出されたＡＦ評価値信号のピーク位置は異なるが、説明のためピークを同じ位置にしてある。
【０１５３】
本実施例においては、撮影画像の解像度が最も高くなるようにフォーカスレンズ群３の制御位置を補正している場合に、ＡＦ評価値の増加がピントずれによるものかを判断する処理を追加することで、制御位置を補正している場合のおいても、別個の合焦状態を検出する手段を設けることなく被写体の照明状態などが変化しても合焦状態が維持されているかを判定することができる。
【実施例３】
【０１５４】
本発明の実施例３の実施例１に対する違いは、撮像センサー５に撮像面位相差ＡＦ機能があり、合焦維持判定にもこの機能を併用している点である。
【０１５５】
実施例３における図１のセンサー５に含まれる撮像画素の構成を図７に示す。二次元的に配置される画素には、通常の撮像用画素と位相差ＡＦ用の画素としての機能を持たせるために、図７に示すような構造をしている。ひとつのマイクロレンズに対して長方形の二つのフォトダイオードが配置されていて、一方のフォトダイオードが基準画素用、他方が参照画素用となっている。
【０１５６】
位相差ＡＦを行うための画素行は間欠的に配置されており、この行のみ基準画像用画素の信号を独立で読み出すことが可能である。その他の画素行はこの一対のフォトダイオードの出力を加算して読み出す。また画素から読みだされた信号を増幅することができる。
【０１５７】
実際には先頭の行から行ごとに読み出しを開始し、位相差ＡＦを行うための行においては、一対のフォトダイオードの出力を加算した信号と基準画像用画素の信号が読み出され、その他の行においては一対のフォトダイオードの出力を加算した信号が読み出される。
【０１５８】
位相差演算を行う際には加算した信号と基準画像用画素の信号からその差分をとることで参照画像用画素の信号を生成する。この処理も位相差ＡＦ処理回路３０で行われる。そしてこの加算した信号が記憶用メモリへの記録や、画像表示装置への表示に用いられる。
【０１５９】
図８を用いて動作手順を説明する。実施例１と異なるのはステップＳ８０１〜Ｓ８０５の処理及びＳ２０６の合焦判定の処理内容である。まずステップＳ８０１においてＡＦ枠の設定を行う。具体的な方法は実施例１と同じで、撮影者の指示、顔検出回路３６の出力、ＣＰＵ１５で行う画像の色情報や輝度情報から特徴点を抽出して行う主被写体を検出の結果を用いてＡＦ枠を設定する。
【０１６０】
そしてステップＳ８０２において、撮像面位相ＡＦが可能か否かを調べ、可能ならばステップＳ８０３へ、不可能ならばステップＳ８０５へ進む。
【０１６１】
この判定は、撮像面位相差ＡＦ実行時の絞り値及び間欠的に配置され位相差ＡＦを行うための画素行とＡＦ枠の関係から行う。
【０１６２】
撮像面位相差ＡＦ実行時の絞り値が所定絞り（例えばＦ１１）より絞っている場合は、不可能と判定する。所定絞りより開いている場合は、ＡＦ枠内に含まれている位相差ＡＦを行うための画素行数、位相差ＡＦを行う信号のコントラスト値（位相差ＡＦを行う際の信号の最大値と最小値の差）・増幅度を考慮して判断する。
【０１６３】
位相差ＡＦ処理の信頼度Ｒｅｌは
Ｒｅｌ＝Ｌｏｇ２（√（ＡＦ枠内の行数））＋Ｌｏｇ２（コントラスト値）＋Ｌｏｇ２（１／増幅度）
で求めることができる。この値が所定値以上ならば撮像面位相差ＡＦ可能と判定する。但しＬｏｇ２は底を２とする対数である。
【０１６４】
例えば、ＡＦ枠内の行数が４行以上、ＰＢ値が１．２以上、増幅度が８倍以下の場合に可能と判断できるなら、所定値は―１．７４となる。撮像面位相ＡＦが可能ならばステップＳ８０３で撮像面位相ＡＦ処理を行う。この処理に関しては後述する。
【０１６５】
撮像面位相ＡＦ処理の結果、合焦可能と判断されたならステップＳ８０４からステップＳ２０５へ進み、合焦可能と判断されない場合がスッテプＳ８０５へ進みスキャンＡＦ処理を行う。このスキャンＡＦ処理はＡＦ枠としてステップＳ８０１で設定されたものを用いる他は実施例１と同じ処理を行うので説明は割愛する。
【０１６６】
スッテプＳ２０５で実施例１と同じＡＦＯＫまたはＡＦＮＧの表示処理を行った後、スッテプＳ２０６へ進み合焦維持判定を行う。その後はスッテプＳ２０６での合焦維持判定に従い、実施例１と同じくレンズ固定・ピント微調整・再ＡＦのいずれかの処理を行う。
【０１６７】
ここでスッテプＳ２０６の動作手順の実施例１と異なる部分を図９を用いて説明する。実施例１と同じ処理を行いスッテプＳ９０１に到達したならば、撮像面位相差ＡＦ処理を行いデフォーカス量を算出する。
【０１６８】
その結果、検出されたデフォーカス量が小さく合焦と見なせるならば、ステップＳ９０２からＳ４１１へ進み合焦状態が維持されていると判定する。合焦と見なせない場合は、手振れ量が小さくなるまたは手振れ低減待ち時間経過を待ち、再び撮像面位相差ＡＦ処理を行いデフォーカス量を算出する。その結果、検出されたデフォーカス量が小さく合焦と見なせるならば、ステップＳ９０４からＳ４１１へ進み合焦状態が維持されていると判定する。デフォーカス量が大きい場合はステップＳ９０４からステップＳ４０５へ進み、ＡＦ評価値を用いた合焦維持判定を行う。この処理はスッテプＳ９０５の比信号生成を除き、実施例１と同じであるので、ここではスッテプＳ９０５の処理のみを説明する。ステップＳ９０５では、全てのＡＦ枠においてＡＦ枠内のコントラストを表す評価値ＭＭＳを求める。
【０１６９】
この評価値は、ＡＦ枠内の各行ごとにハイパスフィルター等を介する前の信号の最大値と最小値の差分を求め、その各行ごとの値を行方向に全て加算した値である。この評価値で、４つのハイパスフィルター等を介して算出された４つのＡＦ評価値信号（第一のＡＦ評価値ＦＥＳ、第二のＡＦ評価値信号ＴＥＳ１、第三のＡＦ評価値信号ＴＥＳ２、第四のＡＦ評価値信号ＴＥＳ３）を割り４つのＡＦ評価値比信号（第一のＡＦ評価値比信号ＦＥＳ÷ＭＭＳ、第二のＡＦ評価値比信号ＴＥＳ１÷ＭＭＳ、第三のＡＦ評価値比信号ＴＥＳ２÷ＭＭＳ、第四のＡＦ評価値比信号ＴＥＳ３÷ＭＭＳ）を生成する。
【０１７０】
但し、極端にＡＦ評価値が変化したものは比信号を求めることはしない。これは、被写体の絵柄の変化により発生したと予測される特定の周波数帯の成分の出現または消失で生じるＡＦ評価値による誤判定を回避するためである。他のＡＦ評価値の合焦時からの変化の平均値に比べて、例えば１．５倍以上の変化があるＡＦ評価値は用いないようにしている。以降の処理は実施例１と同じである。
【０１７１】
ここでステップＳ８０２で行われる撮像面位相ＡＦ処理に関して、図１０を用いて説明する。まずステップＳ１００１において、Ａ／Ｄ変換回路７より出力される位相差ＡＦ用の画像信号を位相差ＡＦ処理回路３０の所定の記録領域に記録する。
【０１７２】
その後、ステップＳ１００２において、基準画像と参照画像が加算されて出力された信号と基準画像信号の差分を取り参照画像信号を作成する。そして位相差ＡＦ用の画素の並び替えを行い、基準画像と参照画像を生成する。
【０１７３】
本実施例のセンサーではひとつのマイクロレンズに対して長方形の二つのフォトダイオードが配置されていて、一方のフォトダイオードが基準画素用、他方が参照画素用となっている。よって読み出し順序は「基準画素＋参照画素」→「基準画素」→「基準画素＋参照画素」→「基準画素」→・・・・・・・→「基準画素＋参照画素」→「基準画素」となっており位相差ＡＦ処理回路３０の所定の記録領域に記録されている。
【０１７４】
そこで基準画像を構成する画素だけを抽出して、抽出した順序に並べ基準画像信号とし、位相差ＡＦ処理回路３０の所定の記録領域に記録する。また基準画像と参照画像が加算されたデータと基準画素のデータを抽出してその差分を求め、求めた順序に並べ参照画像信号とし、位相差ＡＦ処理回路３０の所定の記録領域に記録する。
【０１７５】
次いでステップＳ１００３において、記録された像の修正を行う。撮像面に位相差ＡＦを行う画素を配置しているため、二次結像光学系で再結像させる場合のように像高による光束の違いにより生じる像の歪みを修正するフィールドレンズや、位相差ＡＦ用センサーへ入射する光束の瞳位置を制限するための絞り、不要な光束を遮断するためのマスクを結像面とセンサーの間に配置できないため、位相差ＡＦ用の信号は画素毎にシェーディング・オフセットが異なるので、その補正が必要である。
【０１７６】
このシェーディングは光軸中心からの画素の位置（像高）・撮影レンズの射出瞳位置・絞りによって異なるため、それぞれの要因に関して像修正量を持ち要因に応じて、位相差ＡＦ用の画素毎に画素像修正を行っていく。
【０１７７】
またオフセットは位相差ＡＦ用画像の増幅率等によって異なるため、それぞれの要因に関して像修正量を持ち要因に応じて、位相差ＡＦ用の画素毎に画素像修正を行っていく。像修正方法の詳細に関しては特開２０１２−２５２２８０等で公知なので、説明は割愛する。
【０１７８】
その後ステップＳ１００４において相関演算を行う際の初期値を設定する。初期値を設定された位相差ＡＦ処理回路３０はステップＳ１００５において、式（１）に従い相関演算を行い基準画像ａｉと参照画像ｂｉの相関値を求める。
【０１７９】
【数３】
2020046595.tif 000005
【０１８０】
ここで、ｍａｘ（ａ，ｂ）はａ，ｂのうち大きい方をとるという意味である。
【０１８１】
またｋは相関演算を行う像ずらし量、ｊは相関演算を行う画素数であり、ステップＳ１００４で初期化されている。そして、ステップＳ１００６において、ＣＰＵ１５は基準画像と参照画像の相関値を位相差ＡＦ処理回路３０から取得し記録する。そして既に一時記録されている相関値があれば、その相関値と符号が等しいか調べる。
【０１８２】
一時記録された相関値がない場合は取得した相関値を一時記録する。その結果符号が反転した場合また取得された相関量が零であり、かつ位相差ＡＦ処理に使用した信号の信頼性があると判断された場合は、ステップＳ１００７からステップＳ１００８へ進む。この信頼性の判定にはＰＢ値（信号の最大値と最小値の比）や基準画像と参照画像の類似性などを用いる。
【０１８３】
ＰＢ値は位相差ＡＦに使用する基準画像と参照画像の像修正前の信号、像修正後の信号、相関演算を行う際にローパスフィルター処理を行うのであれば像修正とローパス処理をともに行った後の信号の６つの信号から求めた比の平均値、もしくは比の最小値を用いる。
【０１８４】
また基準画像と参照画像の類似性は、相関値が最小になったずらし量Ｋにおける基準画像と参照画像の差分を（式２）で求め、類似性の評価値とする。
【０１８５】
類似性の評価値＝Σａｂｓ（ａｊ−ｂｊ＋ｋ）      （式２）
そして、ＰＢ値が所定値以上、類似性の評価値が所定値以下の場合に信頼性があると判定する。類似性の評価値は（式２）以外のものであっても両画像の類似性を評価するものであれば構わない。例えば相関値が最小になったずらし量Ｋにおける両画像の重なり部分の基準画像もしくは参照画像に対する比率を類似性の評価値としても良い。
【０１８６】
ステップＳ１００８では、相関量が零になる像ずらし量を演算する。相関値の演算は１画素づつずらして行われているため、位相差ＡＦ処理回路３０において演算された相関量が零になることは稀である。そこで符号が異なるふたつの相関量と、その相関量を与えるずらし量から、相関量が零となる像ずらす量を求める。
【０１８７】
式（１）で相関量を計算した結果、Ｋ＝ｌとＫ＝ｌ＋１の間で相関量Ｕｋの符号が反転したとすると、直線補間により相関量が零となる像ずらす量δは
δ＝ｌ＋｜Ｕｌ｜÷［｜Ｕｌ｜＋ＣＵｌ＋１｜］
となる。但し、｜ｚ｜はｚの絶対値を意味する。（ｌはＳｍａｌｌ  Ｌである。）
次いでステップＳ１００９において、プレディクション量Ｐを像ずれ量δから、
Ｐ＝δ―Δ
と求める。但しΔは合焦時の像ずれ量である。
【０１８８】
そして、焦点距離鏡筒３１の特性から決まる基線長を用いることで、プレディクション量Ｐからデフォーカス量ｄ（フォーカスレンズ群の移動量と方向）を
ｄ＝Ｋ・Ｐ
と求める。
【０１８９】
但しＫはプレディクション量をデフォーカス量に変換する係数である。この値は撮影レンズ鏡筒３１の焦点距離・絞り４の値・像高等に依存する値なので、ＥＥＰＲＯＭ２５内にこれらをパラメータとするテーブルを用意しておき、そのテーブルを参照して値を求めている。
【０１９０】
ステップＳ１００７で符号が反転していない場合等は、ステップＳ１００７からステップＳ１０１１へ進み、相関値を求める演算の終端の値にずらし量がなったか否かを調べる。終端の値になっていなければ、ステップＳ１０２０へ進み、取得した相関値を一時記録されていた相関値と差し替え、その後ずらし量ｋをｋ←ｋ＋１と更新する。終端の値になっていたならばステップＳ１０１２へ、進み位相差ＡＦがＮＧと判定し処理を終了する。
【０１９１】
本実施例においては、撮像センサー５撮像面位相差ＡＦ画素が間欠的に配置されている場合に、その機能を併用することで、より正確に被写体の照明状態などが変化しても合焦状態が維持されているかを判定することができる。
【０１９２】
実施例１〜実施例３ではコンパクトタイプのデジタルカメラを例に説明したが、本発明は、デジタルビデオカメラやデジタル一眼レフのライブビュー時のＡＦにも適用可能である。
【符号の説明】
【０１９３】
１  撮像装置、２  ズームレンズ群、３  フォーカスレンズ群、４  絞り、
３１  撮影レンズ鏡筒、５  固体撮像素子（撮像センサー）、６  撮像回路、
７  Ａ／Ｄ変換回路、
８  画像信号を一時的に記憶するバッファメモリ等のメモリ（ＶＲＡＭ）、
９  Ｄ／Ａ変換回路
【図１】
2020046595.tif 000006
【図２】
2020046595.tif 000007
【図３】
2020046595.tif 000008
【図４】
2020046595.tif 000009
【図５】
2020046595.tif 000010
【図６】
2020046595.tif 000011
【図７】
2020046595.tif 000012
【図８】
2020046595.tif 000013
【図９】
2020046595.tif 000014
【図１０】
2020046595.tif 000015