(57)【要約】【課題】  表示及び記録用の画像の画質の維持と、合焦動作の性能の向上の両立をはかること。【解決手段】  複数の異なる領域ごとに、互いに異なる電荷蓄積時間及び読み出し間隔で制御することが可能な撮像素子（５）と、ＡＥ処理回路（１３）と、複数の異なる領域のうち、ＡＥ処理回路による測光の結果に基づく電荷蓄積時間で制御された第１の領域から読み出された第１の画像信号と、第１の領域よりも短い電荷蓄積時間及び読み出し間隔で制御された第２の領域から読み出された第２の画像信号のいずれかを選択する入力選択回路（３７）と、入力選択回路により選択された画像信号のコントラストに基づいて、合焦度を検出するＡＦ処理回路（１４）と、ＡＦ処理回路により検出された合焦度に基づいて、フォーカスレンズを制御する焦点調節手段とを有し、第１の画像信号を、表示手段への表示及び記憶媒体への記憶に用いる。【選択図】  図１
2015079157.tif 000002
【特許請求の範囲】
【請求項１】
複数の異なる領域ごとに、互いに異なる電荷蓄積時間及び読み出し間隔で制御することが可能な撮像素子と、
測光手段と、
前記複数の異なる領域のうち、前記測光手段による測光の結果に基づく電荷蓄積時間で制御された第１の領域から読み出された第１の画像信号と、前記第１の領域よりも短い電荷蓄積時間及び読み出し間隔で制御された第２の領域から読み出された第２の画像信号のいずれかを選択する選択手段と、
前記選択手段により選択された画像信号のコントラストに基づいて、合焦度を検出する検出手段と、
前記検出手段により検出された合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節手段とを有し、
前記第１の画像信号を、表示手段への表示及び記憶媒体への記憶に用いることを特徴とする撮像装置。
【請求項２】
前記選択手段は、前記測光の結果、被写体が予め決められた第１の閾値よりも暗い場合、前記第１の画像信号を選択し、前記被写体が前記第１の閾値よりも暗くない場合、前記第２の画像信号を選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記選択手段は、前記測光の結果、被写体が予め決められた第１の閾値よりも暗い場合、前記第１の画像信号を選択し、前記被写体が前記第１の閾値よりも暗くない場合、前記合焦度が予め決められた第２の閾値より高ければ前記第１の画像信号を選択し、前記第２の閾値以下であれば、第２の画像信号を選択することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記検出手段により検出を行う際に、前記フォーカスレンズの駆動範囲を取得する手段を更に有し、
前記駆動範囲が広い程、前記第２の閾値をより大きくすることを特徴とする請求項３に記載の撮像装置。
【請求項５】
フォーカスレンズの駆動範囲を切り替える手段を更に有することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記撮像素子に被写体からの光を結像するための撮像光学系の焦点距離を変更する手段を更に有し、
前記焦点距離が長い程、前記第２の閾値をより大きくすることを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
被写体を検出する被写体検出手段を更に有し、
合焦させる領域として、前記被写体検出手段により検出された被写体の領域が設定された場合に、予め決められた領域が設定された場合よりも、前記第２の閾値を大きくすることを特徴とする請求項３乃至６のいずれか１項に記載の撮像装置。
【請求項８】
合焦させる領域を指定する指定手段を更に有し、
前記指定手段により前記合焦させる領域が指定された場合に、予め決められた領域が設定された場合よりも、前記第２の閾値を大きくすることを特徴とする請求項３乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の領域は、前記第２の領域よりも大きいことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
複数の異なる領域ごとに、互いに異なる電荷蓄積時間及び読み出し間隔で制御することが可能な撮像素子を有する撮像装置の制御方法であって、
測光手段が、測光を行う測光工程と、
読み出し手段が、前記複数の異なる領域のうち、前記測光手段による測光の結果に基づく電荷蓄積時間で第１の領域を制御して第１の画像信号を読み出し、前記第１の領域よりも短い電荷蓄積時間及び読み出し間隔で第２の領域を制御して第２の画像信号を読み出す読み出し工程と、
選択手段が、前記第１の画像信号と前記第２の画像信号のいずれかを選択する選択工程と、
検出手段が、前記選択工程で選択された画像信号のコントラストに基づいて、合焦度を検出する検出工程と、
焦点調節手段が、前記検出工程で検出した合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節工程とを有し、
前記第１の画像信号を、表示手段への表示及び記憶媒体への記憶に用いるように制御することを特徴とする撮像装置の制御方法。
【請求項１１】
コンピュータに、請求項１０に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関し、更に詳しくは、撮像素子から得られる画像信号に基づいて焦点調整を行う撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
従来、多くのデジタルカメラはＬＣＤなどの表示部を備え、表示部に表示された被写体を視認しながら撮影することが一般的であり、静止画撮影の撮影準備、及び動画の撮影において利用されている。さらに、表示中にも継続的に合焦動作を実施するデジタルカメラが開発されており、合焦動作中であっても表示部に被写体の画像を違和感なく表示させる必要がある。特にコンパクトデジタルカメラではコントラスト検出方式の焦点調整方式が用いられる場合が多いが、次のような課題がある。
【０００３】
すなわち、コントラスト検出方式では、光学系内のフォーカスレンズを光軸方向に移動させながら、撮像素子より得られた画像のコントラストが極大となるフォーカスレンズの位置を合焦位置とする。合焦位置は、撮像素子より得られた画像の高周波成分をフレームごとに抽出して算出されたＡＦ評価値が作り出す形状から評価するのが一般的であるが、同じ画像は、液晶表示部に表示される画像データや動画を記録する際の画像データとしても利用される。そのため、上記のような液晶表示部による被写体表示や動画の記録動作を実施しながら合焦動作を行う場合は、表示・動画記録と合焦動作の両方を考慮した画像データを生成しなければならなかった。そのため、表示・動画記録の要件により解像度が高い画像データを生成しようとした場合、フレームレートが遅くなり、ピントが外れている期間を極力短くなるように制御する合焦動作においては不利な場合があった。
【０００４】
上記課題を解決するために、特許文献１に次のようなデジタルカメラが開示されている。すなわち、被写体の画像信号を間引き処理可能な撮像素子と読み出しフレームと間引き率を制御する間引き制御部を備え、合焦動作期間では通常動作期間よりも高い読み出しフレームレートで画像データを読み出すように制御する。更に、合焦動作期間と合焦動作期間の直前のフレームにおいては、通常動作期間よりも大きい間引き率で撮像素子より画像データを読み出すように制御する。これにより通常動作期間の表示画質を維持しながらも合焦動作期間では合焦動作に適したフレームレートで動作させ、両者の切り替わりが滑らかになるような工夫がなされている。
【０００５】
また、特許文献２には、次のようなデジタルカメラが開示されている。すなわち、被写体からの光の光路を２つに分離させる光路分離手段と、分離されたそれぞれの被写体からの光を画像データに変換する２つの撮像素子を備え、一方を表示画像の生成、他方を合焦動作に役割を分けて用いる。これにより通常動作期間と合焦動作期間の表示画質を維持したまま、合焦動作を実施することを可能にする工夫がなされている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４５５８８３０号明細書
【特許文献２】特許第４７９７５２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術によれば、通常動作期間の間引き率と合焦動作期間の間引き率が異なるため、液晶表示部に表示する画像の画質が合焦動作期間において低下することは避けられない。同様にこの技術を動画の記録に用いた場合も、記録される画像に対して通常動作期間と合焦動作期間による画質の差が残るという課題がある。
【０００８】
一方、特許文献２に記載された技術によれば、通常動作期間における被写体の表示と合焦動作期間における合焦動作がそれぞれ最適な形で実現される。しかしながら、光路分岐のための光学要素や２つの撮像素子、及びそれぞれの撮像素子を稼働させるための駆動部などを備える必要があり、低コスト、小型化が求められるコンパクトデジタルカメラにおいては搭載が困難であるという課題がある。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、表示及び記録用の画像の画質の維持と、合焦動作の性能の向上との両立をはかることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、複数の異なる領域ごとに、互いに異なる電荷蓄積時間及び読み出し間隔で制御することが可能な撮像素子と、測光手段と、前記複数の異なる領域のうち、前記測光手段による測光の結果に基づく電荷蓄積時間で制御された第１の領域から読み出された第１の画像信号と、前記第１の領域よりも短い電荷蓄積時間及び読み出し間隔で制御された第２の領域から読み出された第２の画像信号のいずれかを選択する選択手段と、前記選択手段により選択された画像信号のコントラストに基づいて、合焦度を検出する検出手段と、前記検出手段により検出された合焦度に基づいて、前記撮像素子に被写体からの光を結像するための撮像光学系に含まれるフォーカスレンズを制御する焦点調節手段とを有し、前記第１の画像信号を、表示手段への表示及び記憶媒体への記憶に用いる。
【発明の効果】
【００１１】
本発明によれば、表示及び記録用の画像の画質の維持と、合焦動作の性能の向上の両立をはかることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態にかかる撮像装置の構成を示すブロック図。
【図２】実施形態に係る撮像装置に含まれる画素の構成を示す図。
【図３】画像を取得する際に垂直走査回路から出力される信号を示したタイミングチャート。
【図４】電荷蓄積時間と画像の読み出しタイミングを示す図。
【図５】実施形態におけるＡＦ動作の全体の流れを示すフローチャート。
【図６】実施形態における微小駆動動作の流れを示すフローチャート。
【図７】実施形態における山登り駆動動作の流れを示すフローチャート。
【図８】実施形態におけるＡＦ評価値監視処理の流れを示すフローチャート。
【図９】実施形態におけるＡＦ評価値と合焦度との関係を示した説明図。
【図１０】実施形態における表示・記録用画像とＡＦ動作用の画像を取得する際に垂直走査回路から出力される信号を示したタイミングチャート。
【図１１】実施形態における山登り駆動用の入力選択処理の流れを示すフローチャート。
【図１２】第１及び第２の実施形態における微小駆動用入力選択処理の流れを示すフローチャート。
【図１３】第１の実施形態におけるＡＦ評価値の変化と、表示・記録向け画像データ及びＡＦ処理回路への入力画像データの関係を示した図。
【図１４】第２の実施形態における測距範囲および合焦度と、ＡＦ処理回路への入力画像データとの関係を説明する図。
【図１５】第２の実施形態における焦点距離および合焦度と、ＡＦ処理回路への入力画像データとの関係を説明する図。
【図１６】第２の実施形態における被写体および合焦度と、ＡＦ処理回路への入力画像データとの関係を説明する図。
【図１７】第３の実施形態におけるＧｙｒｏ出力と、表示・記録向け画像データとＡＦ処理回路への入力画像データとの関係を説明する図。
【図１８】第３の実施形態における検出された顔情報の変化量と、表示・記録向け画像データとＡＦ処理回路への入力画像データとの関係を説明する図。
【図１９】第３の実施形態における微小駆動用入力選択処理の流れを示すフローチャート。
【図２０】第３の実施形態の変形例における検出された顔情報の変化量に応じた表示・記録向け画像データとＡＦ処理回路への入力画像データとの関係を説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１４】
＜第１の実施形態＞
●装置構成及び基本動作
図１は、本発明の第１の実施形態における、例えばデジタルスチルカメラやデジタルビデオカメラ等の撮像装置１の構成を示すブロック図である。図１において、撮影レンズ鏡筒３１は、ズームレンズ群２、フォーカスレンズ群３、更に、ズームレンズ群２及びフォーカスレンズ群３等の撮像光学系を透過した光束の量を制御するである絞り４等からなる。撮像光学系を透過し、絞り４によって光量調節された被写体像光は、撮像素子５の受光面に結像され、撮像素子５はこの結像した被写体像光を光電変換して電気的な画像信号を出力する。
【００１５】
撮像回路６は撮像素子５から出力された画像信号を受けて各種の画像処理を施すことにより所定のフォーマットの画像信号を生成し、Ａ／Ｄ変換回路７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号（画像データ）に変換する。Ａ／Ｄ変換回路７から出力された画像データは、バッファメモリ等のメモリ（ＶＲＡＭ）８に一時的に記憶される。Ｄ／Ａ変換回路９はＶＲＡＭ８に記憶された画像データを読み出してアナログ画像信号に変換すると共に、表示に適する形態の画像信号に変換し、液晶表示装置（ＬＣＤ）等の画像表示装置（以下、「ＬＣＤ」と呼ぶ。）１０はこのアナログ画像信号を表示する。なお、撮像素子５により周期的に得られた画像を上記手順を経て順次表示することにより、電子ビューファインダ（ＥＶＦ）として用いることができる。
【００１６】
圧縮伸長回路１１は圧縮回路と伸長回路とからなり、圧縮回路は、ＶＲＡＭ８に一時記憶された画像データを読み出し、記憶用メモリ１２への記憶に適した形態に変換するために圧縮処理や符号化処理等を施す。また、伸長回路は、記憶用メモリ１２に記憶された画像データを、再生表示等をする為に適した形態に変換するための復号化処理や伸長処理等を施す。記憶用メモリ１２は半導体メモリ等からなり、画像データを記憶する。記憶用メモリ１２としては、フラッシュメモリ等の半導体メモリや、カード形状やスティック形状をし、撮像装置１に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリが用いられる。他にも、ハードディスクやフロッピー（登録商標）ディスク等の磁気記憶媒体等、様々な形態のものが適用される。
【００１７】
例えば、後述する操作スイッチ２４のうち、不図示のモード切替スイッチが操作されて撮影モードになり、更にレリーズスイッチが操作されて露光記録動作が指示されると、以下の処理が行われる。まず、上述したようにしてＶＲＡＭ８に一時記憶された画像データは圧縮伸長回路１１の圧縮回路により圧縮及び符号化された後、記憶用メモリ１２に記憶される。また、再生モードになると再生動作が開始され、以下の処理が行われる。まず、記憶用メモリ１２に圧縮された形で記憶された画像データは圧縮伸長回路１１の伸長回路において復号化処理や伸長処理等が施された後、ＶＲＡＭ８に一時的に記憶される。ＶＲＡＭ８に一時的に記憶された画像データはＤ／Ａ変換回路９を介して上述した処理により表示に適したフォーマットのアナログ信号に変換され、ＬＣＤ１０に画像として再生表示される。
【００１８】
ＣＰＵ１５は演算用のメモリを内蔵し、撮像装置１全体の制御を行う。ＡＥ処理回路１３は、Ａ／Ｄ変換回路７から出力される画像データに基づいて自動露出（ＡＥ）処理を行う。より具体的には、ＡＥ処理回路１３（測光手段）は、Ａ／Ｄ変換回路７によってデジタル化された一画面分の画像データの輝度値に対して累積加算等の演算処理を行って、被写体の明るさに応じたＡＥ評価値を算出する。このＡＥ評価値はＣＰＵ１５に出力される。
【００１９】
ＡＦ処理回路１４は、Ａ／Ｄ変換回路７から出力される画像データに基づいて自動焦点調節（ＡＦ）処理を行う。より具体的には、まず、Ａ／Ｄ変換回路７によってデジタル化された一画面分の画像データの内、ＡＦ領域として指定された画面の一部分の領域に相当する画像データの高周波成分をバンドパスフィルタ（ＢＰＦ）等を介して抽出する。更に、抽出した高周波成分に対して累積加算等の演算処理を行い、高域側の輪郭成分量等に対応するＡＦ評価値信号を算出する。
【００２０】
本実施形態ではバンドパスフィルタ（ＢＰＦ）等を介して画像信号の特定の周波数成分を抽出する際、異なる複数の周波数成分を抽出可能となるようにバンドパスフィルタを構成し、抽出できるものとする。その際、画像信号から抽出する周波数成分は、周波数の高い信号成分と、低い信号成分とし、合焦点の特定など精度を要する場合は周波数の高い信号成分より算出したＡＦ評価値信号を用いるものとする。また、本実施形態では特定の位置における合焦度合いを判断すべく、先に述べたバンドパスフィルタの出力より合焦度を算出する。本実施形態における合焦度とは、周波数の高い信号成分を低い信号成分で除算し正規化した信号とし、図９（ｂ）に示すようにその値は合焦近傍では１（図９（ｂ）ではＭａｘ）に近づき、外れるほど値が低下する傾向を持った信号となる。本実施形態ではＡＦ評価値に対応する位置での簡易的な合焦度合いを示す指標として利用する。また、ＡＦ領域は中央部分あるいは画面上の任意の部分の一箇所である場合や、中央部分あるいは画面上の任意の部分とそれに隣接する複数箇所である場合、離散的に分布する複数箇所である場合などがある。
【００２１】
また、顔検出回路３６においては、Ａ／Ｄ変換回路７から出力される画像データ画像データを受けて、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。
【００２２】
タイミングジェネレータ（ＴＧ）１６は所定のタイミング信号を発生する。センサードライバーは１７はＴＧ１６からのタイミング信号に基づいて、撮像素子５を駆動する。ＴＧ１６は、所定のタイミング信号をＣＰＵ１５、撮像回路６、センサードライバー１７へ出力し、ＣＰＵ１５はこのタイミング信号に同期させて各種の制御を行う。また撮像回路６は、ＴＧ１６からのタイミング信号を受け、これに同期させて色信号の分離等の各種画像処理を行う。さらにセンサードライバー１７は、ＴＧ１６のタイミング信号を受け、これに同期して撮像素子５を駆動する。
【００２３】
第１モータ駆動回路１８は、ＣＰＵ１５の制御に基づいて絞り駆動モータ２１を駆動することで絞り４を駆動する。第２モータ駆動回路１９は、ＣＰＵ１５の制御に基づいてフォーカス駆動モータ２２を駆動することでフォーカスレンズ群３を駆動する。また、第３モータ駆動回路２０は、ＣＰＵ１５の制御に基づいてズーム駆動モータ２３を駆動することでズームレンズ群２を駆動する。
【００２４】
ＣＰＵ１５は、第１モータ駆動回路１８、第２モータ駆動回路１９、第３モータ駆動回路２０をそれぞれ制御する。これにより、絞り駆動モータ２１、フォーカス駆動モータ２２、ズーム駆動モータ２３を介して、絞り４、フォーカスレンズ群３、ズームレンズ群２をそれぞれ駆動制御する。ＣＰＵ１５はＡＥ処理回路１３において算出されたＡＥ評価値等に基づき適正な露光量になる電荷蓄積時間及び絞り値を求め、第１モータ駆動回路１８を制御して絞り駆動モータ２１を駆動し、絞り４の絞り量が適正になるように調整するＡＥ制御を行う。
【００２５】
またＣＰＵ１５はＡＦ処理回路１４において算出されるＡＦ評価値に基づき第２モータ駆動回路１９を制御してフォーカス駆動モータ２２を駆動する。これにより、フォーカスレンズ群３を合焦位置に移動させるＡＦ制御を行う。また操作スイッチ２４のうち不図示のズームスイッチが操作された場合、ＣＰＵ１５は、第３モータ駆動回路２０を制御してズーム駆動モータ２３を駆動制御することによりズームレンズ群２を移動させ、撮像光学系の変倍動作（ズーム動作）を行う。
【００２６】
操作スイッチ２４は各種のスイッチ群からなり、例えば、以下のものがある。まず、撮像装置１を起動させて電源供給を行うための主電源スイッチや撮影動作（記憶動作）等を開始させるレリーズスイッチ、再生動作を開始させる再生スイッチ、ズーム倍率の変更、すなわち、ズームレンズ群２の移動を指示するズームスイッチ等である。他に、光学式ファインダー（ＯＶＦ）電子ビューファインダー（ＥＶＦ）切り替えスイッチ等がある。本実施の形態では、レリーズスイッチは、第１ストローク（以下、「ＳＷ１」と呼ぶ。）と、第２ストローク（以下、「ＳＷ２」と呼ぶ。）との二段スイッチにより構成される。ＳＷ１がオンになると撮像動作に先立ってＡＥ処理及びＡＦ処理を開始させる指示信号を発生する。また、ＳＷ２がオンになると画像を撮影して記録する露光記録動作を開始させる指示信号を発生する。
【００２７】
ＥＥＰＲＯＭ２５は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリである。２６は電池、２８はフラッシュ発光部、２７はフラッシュ発光部２８の閃光発光を制御するスイッチング回路、２９は警告表示などを行うＬＥＤなどの表示素子、３０は音声によるガイダンスや警告などを行うためのスピーカーである。
【００２８】
ＡＦ補助光発光部３３はＡＦ評価値を取得する際に被写体の全部または一部を照明するＬＥＤなどの光源で構成され、ＡＦ補助光駆動回路３２はＡＦ補助光発光部３３を駆動する。
【００２９】
振れ検出センサー３５は手振れなどを検出し、振れ検出回路３４は振れ検出センサー３５の信号を処理する。顔検出回路３６（被写体検出手段）はＡ／Ｄ変換回路７からの出力を受けて画面上での顔位置や顔の大きさなどを検出する。顔検出回路３６においては、Ａ／Ｄ変換回路７から出力される画像データから、目、眉などの顔を特徴付ける部分を画像上で探索し、人物の顔の画像上での位置を求める。更に顔の大きさや傾きなどを、顔を特徴付ける部分の間隔などの位置関係から求める。
【００３０】
入力選択回路３７はＡＦ処理回路１４に対してＡ／Ｄ変換回路７を通してデジタル化された画像データが複数存在する場合に、どちらの画像データをＡＦ処理回路に入力するかを選択する。
【００３１】
次に図１の撮像素子５に含まれる画素の構成について、図２を参照して説明する。なお、図２では垂直方向に並べられた４画素を表しているが、実際には、撮像素子５は２次元に配列された非常に多数の画素を含む。
【００３２】
２０１はレンズ鏡筒３１からの光を受光する画素であり、表面に入射した光を光電変換して電気信号として出力する。画素２０１は、フォトダイオード２０２、転送トランジスタ２０３、増幅アンプ２０４、リセット用トランジスタ２０５を含む。転送トランジスタ２０３及びリセット用トランジスタ２０５は、垂直走査回路２０６からの信号によって動作する。垂直走査回路２０６にはシフトレジスタや、転送トランジスタ２０３等の各画素を駆動させるための駆動信号を生成する信号生成回路等が含まれる。そして、生成した駆動信号（TX1〜4、RS1〜4等）により、転送トランジスタ２０３及びリセット用トランジスタ２０５を制御することによって、フォトダイオード２０２の電荷をリセットしたり、読み出したりして電荷蓄積時間を制御することができる。
【００３３】
また、２０９は水平走査回路であり、シフトレジスタ、列アンプ回路２１０、信号出力選択スイッチ２１１及び外部への出力回路（不図示）等が含まれる。列アンプ回路２１０の設定を、センサードライバー１７からの信号によって変化させることによって、画素から読み出された信号を増幅することができる。
【００３４】
次に、表示及び記録用の画像データを取得する際に、図２に示す構成の画素を有する撮像素子５の一般的な制御について、図３及び図４を参照して説明する。図３は画像を取得する際の垂直走査回路２０６から生成される信号を示したタイミングチャートである。ＴＧ１６及びセンサードライバー１７が生成する垂直同期信号によって、露光及び信号読み出しが行われる。
【００３５】
各行のTX信号（TX1〜4）及びRS信号（RS1〜4）が共に立ち上がることによって、各画素のフォトダイオード２０２の電荷がリセットされ、TX信号及びRS信号が共に立ち下がった時から電荷蓄積が開始される。この動作は、ＴＧ１６によって設定された条件で、所定の順番で順次行われる。その後、所定の電荷蓄積時間の経過後に、TX信号が再度立ち上がり、フォトダイオード２０２の電荷を増幅アンプ２０４のゲートに読み出す。そして、増幅アンプ２０４からの信号から画像信号を生成し、水平走査回路２０９を通して出力される。この動作も、ＴＧ１６によって設定された条件で行われる。
【００３６】
本実施形態において、撮像装置１に搭載されている撮像素子５はＣＭＯＳ型の撮像素子である。そのため、垂直走査回路２０６のシフトレジスタの設定によって、どの行の転送トランジスタ２０３をどのような順序で駆動させるかを選択することができ、更に、同一行を繰り返し選択して信号を読み出すこともできる。また、水平走査回路２０９のシフトレジスタの設定によって、どの列の選択スイッチ２１１を動作させるかによって、同一行の信号において、どの列の信号から出力するかを選択することができる。これによって、画面内のどの画素からどのような順番で読みだすかを指定することができる。
【００３７】
図４は、電荷蓄積時間と、蓄積された電荷が画像として読み出されるタイミングを示す。ＴＧ１６及びセンサードライバー１７が生成する垂直同期信号によって、露光及び信号読み出しが行われる。
【００３８】
●撮影動作全体
次に、本第１の実施形態におけるＡＦ動作の全体の流れについて、図５のフローチャートを用いて説明する。第１の実施形態中でのＡＦ動作は動画記録中および待機中や静止画撮影待機中に継続して実施されるものとする。また、撮像装置１の主電源スイッチがオン状態であり、かつ撮像装置の動作モードが撮影（録画）モードにあるときは、撮影処理が実行され、撮像素子５等に電源を供給し撮像を可能にする。その際、ＣＰＵ１５は、レンズ鏡筒３１を通過し、撮像素子５上に結像した像をＬＣＤ１０に画像として表示する。すなわち撮像素子５上に結像した被写体像は、撮像素子５により光電変換処理され電気的な信号に変換された後、撮像回路６に出力される。そこで入力した信号に対して各種の信号処理が施され、所定の画像信号が生成された後、Ａ／Ｄ変換回路７に出力されデジタル信号（画像データ）に変換されＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データはＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。
【００３９】
なお、本第１の実施形態におけるフローチャートに示される処理はコンピュータプログラム（ソフトウェア）としてＥＥＰＲＯＭ２５に保持される。そして、操作ＳＷ２４の電源スイッチが操作されることで電源が投入され撮像装置１が起動した後に、主にＣＰＵ１５により実行されるものとする。
【００４０】
また、以降の説明においては、フォーカスレンズ群３を駆動しながらＡＦ評価値を取得する動作をスキャン、ＡＦ評価値を取得するフォーカスレンズ群３の位置をスキャン位置、スキャン位置の間隔をスキャン間隔と呼ぶ。また、ＡＦ評価値を取得する範囲（すなわち、フォーカスレンズ群３を駆動する範囲）をスキャン範囲と呼ぶものとする。
【００４１】
まず、Ｓ５００において微小駆動動作に先立ち、内部で使用するパラメータを初期化する。具体的には直近のＡＦ評価値を比較するための領域や方向を特定するためのカウンタ等である。
【００４２】
次にＳ５０１にて微小駆動用の入力選択処理を実施する。ここでは、主にＡＦ処理回路１４に対して入力する画像データを入力選択回路３７を用いて設定し、本実施形態ではＬＣＤ１０への表示もしくは動画記録用の画像データと、ＡＦ用に特化した画像データの２つの入力のいずれかが選択される。なお、Ｓ５０１における処理の詳細は後述する。
【００４３】
Ｓ５０２ではＳ５０１にて入力の切り替えが発生したか否かを判断し、切り替えが発生した場合にはＳ５０３にてＳ５００と同様に微小駆動用パラメータの初期化を行い、Ｓ５０４に進む。一方でＳ５０２にて入力切り替えが発生していない場合にはＳ５０４に進む。
【００４４】
Ｓ５０４では、微小駆動動作を行い合焦・非合焦もしくはどちらの方向に合焦点があるかを判別する。微小駆動ではフォーカスレンズ群３を至近方向もしくは無限遠方向に微小量（ＬＣＤ１０や記録された動画像上でピントの変化が確認できない程度の量）駆動する。そして、その結果として得られるＡＦ評価値から合焦・非合焦及び合焦させるためにフォーカスレンズ群３の駆動すべき方向などを検出する動作である。なお、動作の詳細は後述する。
【００４５】
Ｓ５０４における微小駆動動作の結果、合焦と判別された場合は、Ｓ５０５からＳ５１２へ進んで合焦時の処理を行い、Ｓ５０４で合焦と判別されなかった場合はＳ５０５からＳ５０６へ進む。Ｓ５０６においては、山登り駆動動作へ遷移させるか否かを判断する。具体的にはＳ５０４で合焦方向の判別ができているか、もしくは非合焦で合焦点の存在する方向も特定できていない場合が該当し、その場合には、Ｓ５０７へ進んで山登り駆動の処理に移っていく。一方でＳ５０４で上記いずれにも該当しない場合はＳ５０１へ戻り微小駆動動作を継続する。
【００４６】
Ｓ５０７では山登り駆動に先立ち、内部で使用するパラメータを初期化する。具体的には直近のＡＦ評価値を比較するための領域やフォーカスレンズ群３の可動範囲端への到達回数を数えるためのカウンタなどである。その後、Ｓ５０８では山登り駆動用の入力選択処理を実施する。詳細は後述するが、Ｓ５０１と同じようにＡＦ処理回路１４に対して入力する画像データを入力選択回路３７を用いて設定する。
【００４７】
Ｓ５０９では、ＡＦ評価値が大きくなる方向へ高速でレンズを山登り駆動する。本実施形態における山登り駆動では、山登り駆動中の合焦度合いに応じて、スキャン間隔を変えながら合焦位置を探す。合焦度合いが低い場合は、例えば５深度の比較的粗いスキャン間隔でスキャンを行い、合焦度合いが高くなるに従いスキャン間隔を細かくし、合焦位置近傍では例えば２〜４深度の比較的細かいスキャン間隔でスキャンを行う。なお、Ｓ５０９における処理については、詳細に後述する。
【００４８】
Ｓ５１０ではＳ５０９の結果として非合焦となり、ＡＦ評価値監視処理への遷移が条件が成立した場合にはＳ５１２に進み、そうでない場合にはＳ５１１に進む。Ｓ５１１では、Ｓ５０９にて微小駆動動作への遷移条件が成立した場合にはＳ５０１に進み、そうでない場合にはＳ５０９に戻り、山登り駆動を継続する。
【００４９】
一方、Ｓ５１２ではＡＦ評価値の変化を監視する際の基準となるＡＦ評価値を保持する。Ｓ５１３では、最新の各種ＡＦ評価値とＳ５１２で記憶したＡＦ評価値とを比較するＡＦ評価値監視処理を実施する。その結果としてＳ５１４にてＳ５１３の結果が微小駆動動作への遷移、すなわち何らかのＡＦ評価値の変化を検出し、ピント合わせを再開させると判断された場合にはＳ５００へ進む。一方で、所定量のＡＦ評価値の変化がない場合にはＳ５１４からＳ５１３に戻り、ＡＦ評価値監視処理にてＡＦ評価値の変化を周期的に監視する。以上が、図５に示すＡＦ動作の全体の流れとなる。
【００５０】
●微小駆動動作
次に図５のＳ５０４で行われる微小駆動動作について、図６のフローチャートを用いて説明する。微小駆動動作とは、断続的に細かくフォーカスレンズ群３を移動させ、得られたＡＦ評価値の変化より、合焦位置の方向および合焦位置を特定する焦点調整方法である。
【００５１】
まずＳ６００において、ＣＰＵ１５は、ＡＦ処理回路１４からＡＦ評価値を取得する。同様にＳ６０１では合焦度を取得する。次にＳ６０２では微小駆動の移動量（スキャン間隔）を決定する。本実施形態では合焦位置に近づくほど小さく、外れるほど大きくフォーカスレンズ群３を移動させることで微小駆動動作において安定したピント追従を実現する。そのため、Ｓ６０１にて取得した合焦度に応じてフォーカスレンズ群３の移動量を決定するものとする。例えば、図９（ｂ）のように合焦度の閾値をα＞β＞γの関係で設定した場合に対応する移動量は次のような関係となる。
現在の合焦度がαより大きい        ：  移動量＝Ｓｔｅｐ１
現在の合焦度がβより大きくα以下  ：  移動量＝Ｓｔｅｐ２
現在の合焦度がγより大きくβ以下  ：  移動量＝Ｓｔｅｐ３
現在の合焦度がγ以下              ：  移動量＝Ｓｔｅｐ４
（Ｓｔｅｐ１  ＜  Ｓｔｅｐ２  ＜  Ｓｔｅｐ３  ＜  Ｓｔｅｐ４）
【００５２】
また、フォーカスレンズ群３を移動させる際のフォーカス駆動モータ２２の速度に関しては、動画記録時は記録される動画の音声に影響を与えない速度とする。また、静止画のライブ表示時であればフォーカス駆動モータ２２が許容する最高速度以下で、駆動音、振動等を考慮した速度を設定するものとする。
【００５３】
次にＳ６０３にて現在のＡＦ評価値が直前のＡＦ評価値＋変化閾値Ａよりも大きいか否かを判断する。ここで変化閾値ＡとはＡＦ評価値が明確に上昇したと判断するための閾値であり、実際のＡＦ評価値の増加量に加えノイズ成分によるばらつきを考慮して設定する。Ｓ６０３にて条件が成立し、ＡＦ評価値の上昇傾向を検出した場合には、Ｓ６０４に進み方向特定カウンタを増加する。この方向特定カウンタとは合焦位置の方向を特定する際に使用し、その値が大きくなるほど合焦位置に向け安定してＡＦ評価値が上昇していることを示している。次にＳ６０５にてＳ６０２で決定した移動量分だけ現在の位置からフォーカスレンズ群３を移動させる。その際、移動方向は直前の方向と同一である。
【００５４】
一方で、Ｓ６０３にてＡＦ評価値が条件を満たさない場合は、Ｓ６０６に進む。Ｓ６０６では現在のＡＦ評価値が直前のＡＦ評価値−変化閾値Ａよりも大きいか否かを判断する。これはＳ６０３とは反対にＡＦ評価値の減少傾向を検出する。条件を満たす場合にはＳ６０８に進み、方向特定カウンタをクリアする。そしてＳ６０９にて直前の方向とは逆方向に向かってＳ６０２で決定した移動量分だけ現在のスキャン位置からフォーカスレンズ群３を移動させる。
【００５５】
Ｓ６０６にて条件を満たさない場合はＳ６０７に進み、直前の方向と同一方向に向かってＳ６０２で決定した移動量分だけ現在のスキャン位置からフォーカスレンズを移動させる。この場合、明示的なＡＦ評価値の増減が検出できないため、方向特定カウンタの操作は行わない。
【００５６】
次に、Ｓ６１０にて所定回数同一エリア内で往復したかを判断する。例えば図９（ａ）の領域Ａのように合焦位置の近傍まで収束してきた場合、微小駆動動作で合焦位置を通り過ぎるとＡＦ評価値が減少し、次の制御タイミングで反転することになる。このような動作を継続することで最終的に合焦位置をまたいで往復動作することになる。そして所定回数同一エリア内で往復していればＳ６１６に進み「合焦」と判断する。この判断がなされた場合、次の状態をＡＦ評価値監視処理に設定する。
【００５７】
一方で、条件を満たさないと判断された場合はＳ６１１に進み、方向特定カウンタが所定値以上かを判断する。所定値以上の場合はＳ６１５に進み「方向特定」と判断する。この判断がなされた場合、次の状態を山登り駆動に設定する。
【００５８】
一方で、条件を満たさないと判断された場合はＳ６１２に進み、一連の微小駆動動作の処理が所定回数実施されたか、またＳ６０１で取得した合焦度が所定の閾値に対して低いか否かを判断する。例えば図９（ａ）の領域ＣのようにＡＦ評価値の変化が乏しい状況で、所定回数以内に合焦位置やその方向が特定できない場合が考えられる。これはスキャン範囲が広く合焦位置に対して現在位置が離れすぎているために探しきれないか、スキャン範囲外に実際の合焦位置が存在する場合が考えられる。これは微小駆動動作を継続しても合焦位置とその方向を探し出すことが困難であるため、その場合はＳ６１４に進み「非合焦」と判断する。この判断がなされた場合、次の状態を山登り駆動に設定する。
【００５９】
一方で、条件を満たさないと判断された場合はＳ６１３に進み、微小駆動動作の継続を判断する。この判断がなされた場合、次の状態は変更せず微小駆動動作を継続して実施する。Ｓ６１０からＳ６１６までの処理では、周期的に得られるＡＦ評価値の変化を検出し、それに基づいて微小駆動動作における判定結果を出力する。以上の処理を終えると、図５の処理に戻る。
【００６０】
●山登り駆動
次に図５のＳ５０９で行われる山登り駆動処理について、図７のフローチャートを用いて説明する。山登り駆動動作とは、連続的にフォーカスレンズ群３を移動させ、得られた複数のＡＦ評価値の変化より、合焦位置を特定する焦点調整方法である。
【００６１】
まずＳ７００において、ＡＦ評価値と対応したフォーカスレンズ位置を取得する。次にＳ７０１にて合焦度を取得する。Ｓ７０２では山登り駆動におけるフォーカスレンズ群３の移動速度を決定する。本実施形態では合焦位置に近づくほど遅く、外れるほど速くフォーカスレンズ群３を移動させることで、山登り駆動において安定したピント追従を実現する。そのため、Ｓ７０１にて取得した合焦度に応じてフォーカスレンズ群３の移動速度を決定するものとする。例えば、図９（ｂ）のように合焦度の閾値をα＞β＞γの関係で設定した場合に、ＡＦ処理回路１４よりＡＦ評価値が生成される周期に応じたフォーカスレンズ群３の移動量は次のような関係となる。
現在の合焦度がαより大きい        ：  移動量＝Ｓｔｅｐ５
現在の合焦度がβより大きくα以下  ：  移動量＝Ｓｔｅｐ６
現在の合焦度がγより大きくβ以下  ：  移動量＝Ｓｔｅｐ７
現在の合焦度がγ以下              ：  移動量＝Ｓｔｅｐ８
（Ｓｔｅｐ５  ＜  Ｓｔｅｐ６  ＜  Ｓｔｅｐ７  ＜  Ｓｔｅｐ８）
【００６２】
なおＡＦ処理回路１４よりＡＦ評価値が生成される周期は、ＡＦ処理回路１４へ入力される画像データの入力周期（＝画像データの生成周期）によって変化する。これは図５のＳ５０８の入力選択処理によって決定されるため、上記の移動量と画像データの入力周期より１周期あたりの移動速度を算出し設定する。
【００６３】
次にＳ７０３にてフォーカスレンズ群３が停止中であるか否かを判断する。フォーカスレンズ群３が停止中であるのは、微小駆動動作から山登り駆動動作に遷移した直後もしくは山登り駆動中にフォーカスレンズ群３がスキャン範囲の端に到達した場合のいずれかである。そこでＳ７０５では現在のレンズ位置が端であるか否かを判断する。Ｓ７０５で端と判断された場合にはＳ７０７に進み、進行方向を端とは反対方向に設定してフォーカスレンズ群３の移動を開始する。
【００６４】
一方で、Ｓ７０５にて条件を満たさない場合にはＳ７０６に進む。Ｓ７０６の条件に該当するのは微小駆動動作から山登り駆動動作に遷移した直後の場合であり、微小駆動動作における進行方向を引き継いでフォーカスレンズ群３の移動を開始する。
【００６５】
次にＳ７０８にて所定回数だけ端に到達したかを判断する。少なくともスキャン範囲の両方の端に到達し合焦位置が特定できない場合、スキャン範囲全域が図９（ａ）の領域ＣのようにＡＦ評価値の変化が乏しい状況が考えられ、合焦位置はフォーカスレンズ群３のサーチ範囲外に存在することが考えられる。そのような条件で山登り駆動を継続した場合、大きなピント変動が繰り返されるため、この状態を回避すべくＳ７０８の条件を満たす場合はＳ７０９に進みフォーカスレンズ群３を停止させる。そしてＳ７１０にて山登り駆動における判定結果を「非合焦」とし、次に遷移する状態をＡＦ評価値監視処理に設定する。
【００６６】
Ｓ７０８の条件を満たさない場合にはＳ７１１に進む。Ｓ７１１では現在のＡＦ評価値と直前のＡＦ評価値を比較し、現在の値が直前の値よりも大きいか否かを判断する。現在の値が直前の値よりも大きい場合はＳ７１２に進み、山登り駆動として判定結果を「継続」とし、山登り駆動の処理を引き続き実行する。つまり、図９（ａ）の領域Ｂにて実際の合焦位置の方向に正しく山登り駆動を実施している場合など、ＡＦ評価値の増加傾向が検出できる場合にはその方向に向けて山登り駆動が実施されることになる。
【００６７】
Ｓ７１１にて条件が成立しない場合には、Ｓ７１３に進む。Ｓ７１３ではＡＦ評価値がピークを越えて減少したか否かを判断する。具体的には図９（ａ）の領域Ｂから領域Ａに向けて山登り駆動を実施する場合などが該当し、この場合はＳ７１４に進み、フォーカスレンズ群３を停止させる。その後、Ｓ７１５にて山登り駆動の判定結果を「合焦」とし、次に遷移する状態を微小駆動動作に設定する。そしてＳ７１６にてフォーカスレンズ群３をＡＦ評価値のピークの位置に移動させる。
【００６８】
Ｓ７１３にて条件が成立しない場合にはＳ７１７に進む。具体的には図９（ａ）の領域Ｂにて合焦位置とは反対方向に山登り駆動が実施された場合が該当し、Ｓ７１７ではフォーカスレンズ群３の移動方向を反転し移動させる。そしてＳ７１８にて山登り駆動の判定結果を「継続」とし、山登り駆動の処理を引き続き実行する。Ｓ７０８からＳ７１８までの処理は、周期的に得られるＡＦ評価値の変化を検出し、それに基づいて山登り駆動における判定結果を出力する。以上の処理を終えると、図５の処理に戻る。
【００６９】
●ＡＦ評価値監視処理
次に図５のＳ５１３で行われるＡＦ評価値監視処理について、図８のフローチャートを用いて説明する。ＡＦ評価値監視処理とは、予め記憶されたＡＦ評価値に対して現在のＡＦ評価値が変動したか否かを検出するための処理である。
【００７０】
まずＳ８００において、ＡＦ評価値を取得する。次にＳ８０１では図５のＳ５１２で記憶したＡＦ評価値と最新のＡＦ評価値とを比較し、ＡＦ評価値の変動が予め決められた閾値Thdiffより大きいかを判定する。ＡＦ評価値が閾値Thdiffより大きく変動していればＳ８０２へ進み、次に遷移すべき状態を微小駆動動作に設定する。一方、Ｓ８０１にてＡＦ評価値の変動が閾値Thdiff以下であればＳ８０３に進み、ＡＦ評価値監視処理を継続するため次に遷移すべき状態をＡＦ評価値監視処理に設定する。このように図５のＳ５０８からＳ５１０における一連の処理の流れが示す通り、ＡＦ評価値の変動が小さく安定している場合にはＡＦ評価値監視処理が周期的に継続して実施されることになる。以上の処理を終えると、図５の処理に戻る。
【００７１】
●入力選択処理
次に図５のＳ５０１、Ｓ５０８で行われる入力選択処理について説明する。本実施形態においては、ＬＣＤ１０に表示する場合や、動画像として記録媒体に記録する場合に使用する画像データと、応答性を重視したＡＦ動作時に適した画像データを、撮像素子５より異なる露光条件で露光し、異なる読み出しレート（読み出し間隔）で得られるようにする。以下、前者を画像データＡ、後者を画像データＢと呼ぶ。本実施形態では表示・記録のための画像データＡとＡＦ動作に適した画像データＢでは垂直方向のライン数を異なるように設定し、その大小関係を「画像データＡ＞画像データＢ」となるように設定する。この理由として、ＡＦ評価値がＡＦ処理回路１４によりＡＦ領域として指定された画面の一部分の領域に相当する画像データの高周波成分をバンドパスフィルタで抽出し累積加算したものであるからである。また、画像データＡ、Ｂでライン数の差が生じる垂直方向にバンドパスフィルタによるフィルタ処理が可能で、その出力をＡＦ評価値信号に反映することが可能な構成であれば、ライン数の多い画像データＡの方が画像データＢよりも合焦精度の面で有利になる。すなわち、以下に示すような特徴の差を生み出すためである。
垂直ライン数の大小    ：  画像データＡ  ＞  画像データＢ
Ｓ／Ｎ面の優位性      ：  画像データＡ  ＞  画像データＢ
精度面の優位性        ：  画像データＡ  ＞  画像データＢ
読み出しレートの速さ  ：  画像データＡ  ＜  画像データＢ
最長露光期間          ：  画像データＡ  ＞  画像データＢ
【００７２】
本実施形態では表示・記録のための画像データＡとＡＦ動作に適した画像データＢを生成すべく、それぞれの露出条件を撮像素子５の各行に対して２：１行周期で設定し、リセット・出力転送のタイミングを異ならせる。本実施形態では、表示・記録のための画像データＡの露光時間は、３０分の１秒を長秒時側、撮像素子５の性能等で決まる最小露光時間を短秒時側の限度とする。そして、絞り、列アンプ回路２１０の値を調整して、ＡＦ動作と並行して実施されるＡＥ処理の結果を参照し、露光量が適正となるようにして決める。一方でＡＦ動作に適した画像データＢの露光時間は、６０分の１秒を長秒時側、撮像素子５の性能等で決まる最小露光時間を短秒時側の限度とする。そして、絞り、列アンプ回路２１０の値を調整して、ＡＦ動作と並行して実施されるＡＥ処理の結果を参照し、露光量が適正となるようにして決める。そのため、ＡＦ動作用の画像データＢの露光時間が表示・記録のための画像データＡの露光時間より短くなり、それに伴い画像データＢの読み出しレートが画像データＡの読み出しレートの２倍速くなる。
【００７３】
露光条件（露光時間）が決まったならば、TX信号（TX1〜4）及びRS信号（RS1〜4）を図１０のように制御する。図１０は表示・記録のための画像データＡ、ＡＦ動作に適した画像データＢを得るために垂直走査回路２０６から生成される信号を示したタイミングチャートである。まず、TX信号及びRS信号が共に立ち上がることによって、各画素のフォトダイオード２０２の電荷がリセットされ、TX信号及びRS信号が共に立ち下がった時から電荷蓄積が開始される。この動作はＴＧ１６によって設定された条件で、所定の順番で順次行われる。その後、表示・記録用の行において、所定の露光時間の経過後に、TX1信号、TX2信号、TX4信号が順次立ち上がり、フォトダイオード２０２の電荷を増幅アンプ２０４に読み出し、水平走査回路２０９を通して出力し、画像データＡを取得する。一方でＡＦ動作用の行において、所定の露光時間の経過後に、TX3信号が立ち上がり、フォトダイオード２０２の電荷を増幅アンプ２０４に読み出し、水平走査回路２０９を通して出力し、ＡＦ動作用の画像データＢを取得する。その後、再度RS3信号が立ち上がり、ＡＦ動作信号用の行をリセットする。ＡＦ動作用信号を取得するため、この動作を繰り返す。
【００７４】
このように表示・記録用の行とＡＦ動作用の行が制御されることで、表示・記録のための画像データＡとＡＦ動作に適した画像データＢがそれぞれ生成される。
【００７５】
本発明においては、画像データＡと画像データＢはそれぞれの処理で利用される。例えば、画像データＡはＶＲＡＭ８に一時的に格納される。ＶＲＡＭ８に格納された画像データＡはＤ／Ａ変換回路９へ出力されアナログ信号に変換され表示するのに適した形態の画像信号に変換された後、ＬＣＤ１０に画像として表示される。一方ＶＲＡＭ８に格納された画像データＡは圧縮伸長回路１１にも出力される。この圧縮伸長回路１１における圧縮回路によって圧縮処理が行われた後、記憶に適した形態の画像データに変換され、記憶用メモリ１２に記憶される。一方で、ＡＦ動作においては先に示した各画像データの特徴の違いを考慮し、表示・記録のための画像データＡとＡＦ動作に適した画像データＢの２つの画像データをＡＦ処理回路１４への入力として、入力選択回路３７を制御することで切り換えて使用する。
【００７６】
したがって、一定の解像度が要求される表示・記録用の画像データについてはＡＦの動作によらず使用される画像データは画像データＡで変化しないが、ＡＦ動作で使用される画像データについてはＡＦ動作に適したものが適時選択され使用されることになる。以降では具体的にＡＦ動作におけるＡＦ処理回路１４への入力選択の詳細について説明する。
【００７７】
１．山登り駆動用入力選択処理
まず、図５のＳ５０８で行われる山登り駆動用入力選択処理の詳細について、図１１のフローチャートを用いて説明する。最初にＳ１１００において、入力選択回路３７によりＡＦ処理回路１４に設定されている現在の入力画像データ（画像データＡもしくは画像データＢ）の設定を記憶する。次にＳ１１０１にて現在の露出条件を取得する。
【００７８】
Ｓ１１０２ではＳ１１０１で取得した露出条件よりＡＦ処理回路１４への入力画像データの切り替え条件が成立したか否かを判断する。ここでは、ＡＥ処理回路１３により得られたＡＥ評価値に基づいて、被写体の明るさが一定の明るさ（第１の閾値）より明るい場合はＳ１１０３にてＡＦ処理回路１４への入力を画像データＢに設定する。なお、設定の反映は後述するＳ１１０８で行う。先に示したように画像データＢは画像データＡに比べて読み出しレートが速く、より短い期間に多くのＡＦ評価値を取得する場合には有利である。本実施形態では画像データＢで適正露出が維持できている場合にはこの条件が成立するものとし、このような場合、合焦点方向へ高速に移動することを目的とした山登り駆動ではＡＦ動作に応答性を優先した入力を選択するように制御される。
【００７９】
一方で、被写体の明るさが一定の明るさ（第１の閾値）よりも暗い場合にはＳ１１０４にてＡＦ処理回路１４への入力を画像データＡに設定する。なお、設定の反映は後述するＳ１１０８で行う。これは先に示したように画像データＡは画像データＢに比べて垂直方向のライン数が多く、高周波成分をバンドパスフィルタで抽出し累積加算することでＡＦ評価値を算出することからＳ／Ｎ面では有利である。さらに最長露光時間も画像データＢと比較して長いため露出制御の面からも有利である。画像データＢで適正露出が維持できないシーンでは、画像データＢをＡＦ処理回路１４の入力とした場合は合焦点近傍であってもコントラスト差が生じにくく、合焦点を特定できない可能性がある。このような状況を回避すべく、ＡＦ処理回路１４への入力として画像データＡを選択することで応答性よりも合焦点方向への安定した移動を重視した入力が選択されるように制御される。
【００８０】
次にＳ１１０５では、先のＳ１１０２からＳ１１０４までの処理にて設定されたＡＦ処理回路１４への入力画像データと、Ｓ１１００で記憶した直前の入力画像データとを比較し、変更があったか否かを判断する。ここで、変更がない場合はそのまま処理を終了する。一方で、変更があった場合にはＳ１１０６にてＡＦ処理回路１４を停止させる。Ｓ１１０７では変更後の入力画像データに合わせてＡＦ評価値を生成するためのＡＦ領域を再設定する。次にＳ１１０８にてＳ１１０３およびＳ１１０４で設定された画像データがＡＦ処理回路１４へ供給されるように入力選択回路３７を制御する。
【００８１】
Ｓ１１０９では垂直同期信号が立下るのを待ち、垂直同期信号が立下るとＳ１１１０にてＡＦ処理回路１４の処理を開始する。これは画像データＡと画像データＢではデータの生成周期が異なるためである。画像データＡからＢ、もしくは画像データＢからＡのように異なる画像データに入力を切り替える場合には、必ず垂直同期信号を基準として画像データＡ及び画像データＢに共通した一貫性の保てるタイミングでＡＦ処理回路１４の動作を開始させる。このようにすることで、切り替わり時の整合性を保つようにする。以上の処理を終えると、図５の処理に戻る。
【００８２】
２．微小駆動用入力選択処理
次に、図５のＳ５０１で行われる微小駆動用入力選択処理の詳細について、図１２のフローチャートを用いて説明する。最初にＳ１２００において、入力選択回路３７によりＡＦ処理回路１４に設定されている現在の入力画像データ（画像データＡもしくは画像データＢ）の設定を記憶する。次にＳ１２０１にて現在の露出条件を取得する。
【００８３】
Ｓ１２０２では第１の入力切り替え条件として、Ｓ１２０１で取得した露出条件よりＡＦ処理回路１４への入力画像データの切り替え条件が成立したか否かを判断する。Ｓ１２０２の入力切り替え条件は、図１１のＳ１１０２の条件と同じであるため説明は省略する。Ｓ１２０２において条件が成立する場合には図１１のＳ１１０４と同様に入力を画像データＡに設定する。一方で、Ｓ１２０２において条件が成立しない場合にはＳ１２０３に進み、ＡＦ処理回路１４よりその時点での合焦度を取得する。
【００８４】
次にＳ１２０５にて第２の入力切り替え条件が成立したかを判断する。ここで第２の入力切り替え条件とはＳ１２０３で取得した合焦度に応じた切り替えである。まず、合焦度が図９（ｂ）の合焦度α以下（第２の閾値以下）の場合、すなわち現在のフォーカスレンズ位置が図９（ａ）の領域Ｂ、Ｃの場合にはＳ１２０６にて入力を画像データＢに設定する。これは合焦点から外れている可能性が高く、速やかに合焦点近傍に追従させる必要があるため、より応答性を重視した画像データＢを選択する。
【００８５】
一方でＳ１２０５にて合焦度が図９（ｂ）の合焦度α（第２の閾値）より大きい場合、すなわち現在のフォーカスレンズ位置が図９（ａ）の領域Ａにある場合にはＳ１２０７にて入力を画像データＡに設定する。これはすでに合焦点近傍にフォーカスレンズの位置が収束しているため、図９（ａ）の領域Ａではより正確な合焦点に収束させるべく、応答性よりもＳ／Ｎ、精度面から有利な画像データＡを選択する。
【００８６】
次にＳ１２０８では、先のＳ１２０２からＳ１２０７までの処理にて選択されたＡＦ処理回路１４への入力画像データと、Ｓ１２００で記憶した直前の入力画像データとを比較し、変更があったか否かを判断する。ここで、変更がない場合はそのまま処理を終了する。一方で、変更があった場合にはＳ１２０９にてＡＦ処理回路１４を停止させる。Ｓ１２１０では変更後の入力画像データに合わせてＡＦ評価値を生成するためのＡＦ領域を再設定する。次にＳ１２１１にてＳ１２０４、Ｓ１２０６、Ｓ１２０７で設定された画像データがＡＦ処理回路１４へ供給されるように入力選択回路３７を制御する。
【００８７】
Ｓ１２１２では垂直同期信号が立下るのを待ち、垂直同期信号が立下るとＳ１２１３にてＡＦ処理回路１４の処理を開始する。このように制御する理由は、Ｓ１１０９、Ｓ１１１０で説明したものと同じである。以上の処理を終えると、図５の処理に戻る。
【００８８】
以上説明したように、本第１の実施形態におけるＡＦ動作では合焦度や露出条件によりＡＦ動作で使用される画像データ、すなわち、ＡＦ処理回路１４への入力画像データを切り替える。これにより、合焦点への応答性と精度の両立を図るとともに、ＬＣＤ１０に表示する画像や動画として記録するための画像データに関しては影響を与えることがない。そのため、本第１の実施形態を適用することにより、図１３（ａ）に示すように、通常照度シーンにおいては、大ボケから小ボケの領域においては合焦点へ素早く追従すべく、応答性を優先した画像データＢがＡＦ処理回路１４の入力として使用される。一方で合焦近傍においては合焦精度を優先してＳ／Ｎ、精度面からf有利な画像データＡがＡＦ処理回路１４の入力として使用される。さらに、表示・記録向けには一貫して画像データＡが用いることが可能となる。
【００８９】
また、図１３（ｂ）に示すように低照度シーンにおいては、応答性を優先したＡＦ動作に適した画像データＢでは露光時間が十分に確保できず被写体のコントラスト差がとりづらい状況となることがある。そのような状況を想定し、低照度シーンでは合焦度によらずＡＦ動作、および表示・記録向けにＳ／Ｎの面から有利な画像データＡが優先的に使用される。
【００９０】
上記の通り、一定の視認性確保のため所定の解像度が要求される表示用の画像データや動画像の記録フォーマットによって規定された記録解像度が要求される記録用の画像データと、ＡＦ動作において使用される画像データを独立して生成することができる。更に、ＡＦ動作においては合焦点への応答性や合焦精度の確保などを実現するべく、ピントの状態やＡＦ動作を実施するシーンに応じて先に述べた複数の画像データを使い分けることが可能になる。また、表示・記録用の画像に対してはＡＦ動作で使用される画像データの切り換え等の影響が及ばないため、表示・記録画像の品質を維持することが可能となる。
【００９１】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。入力選択処理に関して、上述した第１の実施形態では露出条件と合焦度からＡＦ動作で使用する画像データを決定する例を示したが、入力画像データの選択条件はこれらに限ったものではない。第２の実施形態では、入力選択処理における他の選択条件の例を示す。なお、撮像装置１の構成、及び、微小駆動動作用入力選択処理を除く処理は第１の実施形態と同様であるため説明は省略する。第２の実施形態では微小駆動用入力選択処理に他の選択条件を組み込んだ例を示す。
【００９２】
１．被写体距離を考慮した入力選択処理
図１２のＳ１２０３からＳ１２０７にて実施している合焦度による入力選択の条件に関して被写体距離を考慮して拡張する例について説明する。具体的には図１４に示すようにＡＦ動作の測距対象の距離の範囲（以下、「測距範囲」と呼ぶ。）を切り替えることが可能な構成において、その測距範囲の設定を加味した形でＡＦ処理回路１４への入力画像データの選択条件を切り替える。
【００９３】
第２の実施形態では、以下の３つの設定が可能な場合を想定している。より遠い被写体に対して効率良くＡＦ動作させるための遠景設定、より近い被写体に対して効率良くＡＦ動作させるためのマクロ設定、多くのシーンで常用するであろう被写体に対して効率良くＡＦ動作させるための通常設定の３つの設定である。図１４（ｂ）は３つの測距範囲と、フォーカスレンズ群３のスキャン範囲との関係を示している。スキャン範囲の広さは、
マクロ  ＞  通常  ＞  遠景
となるように設定されるものとし、この関係を前提としてＡＦ処理回路１４への入力画像の選択条件がどのように変化するかを示したのが図１４（ａ）である。
【００９４】
図１４（ａ）は、合焦度と測距範囲との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度と測距範囲の２つの要素から入力画像データを決定する。スキャン範囲が広いマクロ設定ほど応答性を重視した画像データＢの使用頻度が高まるように合焦度の閾値を設定する。一方で、スキャン範囲が狭い遠景設定では応答性よりも合焦精度を重視し、画像データＡの使用頻度が高まるように合焦度の閾値を設定する。またマクロ、遠景設定の中間に位置する通常設定では、両者の中間的な合焦度の閾値を設定する。このように、スキャン範囲が広い程、画像データＢが選択される合焦度の閾値を大きくする。
【００９５】
そして、図１２のＳ１２０５の第２の切り替え条件として、以下の３つのいずれかに該当するかどうかを判断する。Ｓ１２０３で取得した合焦度がαより大きく且つ測距範囲がマクロであること、または、合焦度がβより大きく且つ測距範囲が通常であること、または、合焦度がγより大きく且つ測距範囲が遠景であることである。第２の切り替え条件を満たす場合には画像データＡを設定し、満たさない場合には画像データＢを設定する。
【００９６】
このように測距範囲と合焦度の組み合わせでＡＦ処理回路１４への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度を確保することに加えて、より効率良くＡＦ動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。
【００９７】
また、第２の実施形態では測距範囲の設定の切り替わりに着目したが、予めスキャン範囲そのものが特定可能な構成であれば、測距範囲設定ではなくスキャン範囲の広さを入力する画像データの切り替え条件として利用することも考えられる。
【００９８】
２．焦点距離を考慮した入力選択処理
次に、図１２のＳ１２０３からＳ１２０７にて実施している合焦度による入力選択の条件に関して焦点距離を考慮して拡張する例を示す。具体的には図１５に示すようにＡＦ動作の焦点距離が変更可能な構成において、その焦点距離の違いに起因して生じるフォーカスレンズ群３のスキャン範囲を加味した形でＡＦ処理回路１４への入力画像データの選択条件を切り替える。
【００９９】
第２の実施形態では、ズームレンズ群２を望遠側のＴｅｌｅ、中間のＭｉｄｌｅ、広角側のＷｉｄｅの３つの焦点距離で停止可能な場合の例を示す。それぞれのズームレンズ群２の停止位置とフォーカスレンズ群３のスキャン範囲の関係を示したものが図１５（ｂ）である。ズームレンズ群２が望遠側、中間、広角側にある場合のフォーカスレンズ群３のスキャン範囲をそれぞれ可動域Ｔ、可動域Ｍ、可動域Ｗとすると、
可動域Ｔ  ＞  可動域Ｍ  ＞  可動域Ｗ
となるように設定されるものとし、この関係を前提としてＡＦ処理回路１４への入力画像の選択条件がどのように変化するかを示したのが図１５（ａ）である。
【０１００】
図１５（ａ）は、合焦度と焦点距離との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度と焦点距離の２つの要素から入力画像データを決定する。スキャン範囲が広い望遠側のＴｅｌｅほど応答性を重視した画像データＢの使用頻度が高まるように合焦度の閾値を設定する。一方で、フォーカスレンズ群３の駆動範囲が狭い広角側のＷｉｄｅでは応答性よりも合焦精度を重視し、画像データＡの使用頻度が高まるように合焦度の閾値を設定する。またＴｅｌｅ、Ｗｉｄｅの中間に位置するＭｉｄｌｅでは、両者の中間的な合焦度の閾値を設定する。このように、スキャン範囲が広い程、画像データＢが選択される合焦度の閾値を大きくする。
【０１０１】
そして、図１２のＳ１２０５の第２の切り替え条件として、以下の３つのいずれかに該当するかどうかを判断する。Ｓ１２０３で取得した合焦度がαより大きく且つ焦点距離がＴｅｌｅであること、または、合焦度がβより大きく且つ焦点距離がＭｉｄｌｅであること、または、合焦度がγより大きく且つ焦点距離がＷｉｄｅであることである。第２の切り替え条件を満たす場合には画像データＡを設定し、満たさない場合には画像データＢを設定する。
【０１０２】
このように焦点距離と合焦度の組み合わせでＡＦ処理回路１４への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度の確保することに加えて、より効率良くＡＦ動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。
【０１０３】
３．被写体を考慮した入力選択処理
次に、図１２のＳ１２０３からＳ１２０７にて実施している合焦度による入力選択の条件に関して被写体を考慮して拡張する例を示す。具体的には図１６に示すように被写体の違いをＡＦ動作に反映すべく、ＡＦ領域の設定に応じてＡＦ処理回路１４への入力画像データの選択条件を切り替える。
【０１０４】
第２の実施形態では、画面中央に既定サイズのデフォルトのＡＦ領域を設定する場合、顔検出回路３６により検出された顔の領域にＡＦ領域を設定する場合、タッチパネルや操作部材に対する操作により画面内の任意の位置にＡＦ領域を設定する場合の例を示す。図１６（ｂ）は、デフォルトのＡＦ領域、顔のＡＦ領域、ユーザー選択によるＡＦ領域の設定例をそれぞれ示している。
【０１０５】
図１６（ａ）は、合焦度と設定されたＡＦ領域との組み合わせに基づいて選択される入力画像データを示す表であり、合焦度とＡＦ領域の２つの要素から入力画像データを決定する。まず、画面中央のデフォルトのＡＦ領域が設定され、且つ、合焦度がβ以下の場合にはＡＦ処理回路１４への入力画像データとして画像データＢを選択し、βより大きい場合には画像データＡを選択する。一方で、検出された顔にＡＦ領域を設定する場合には合焦度がα以下の場合にはＡＦ処理回路１４への入力画像データとして画像データＢを選択し、αより大きい場合には画像データＡを選択する。なお、ユーザー選択によるＡＦ領域を設定する場合も、本実施形態においては顔にＡＦ領域を設定する場合と同様の基準とする。
【０１０６】
即ち、図１２のＳ１２０５の第２の切り替え条件として、以下の２つのいずれかに該当するかどうかを判断する。Ｓ１２０３で取得した合焦度がαより大きく且つ設定されたＡＦ領域がデフォルトのＡＦ領域であること、または、合焦度がβより大きく且つ設定されたＡＦ領域が顔のＡＦ領域またはユーザー選択によるＡＦ領域であることである。第２の切り替え条件を満たす場合には画像データＡを設定し、満たさない場合には画像データＢを設定する。
【０１０７】
このように、何らかの検出手段により優先順位の高い被写体に対してＡＦ領域が設定される場合や、ユーザー選択など撮影者の明確な意思表示がなされた場合などはでフォルトの選択条件に対してより応答性を重視した設定となるように閾値を設定する。
【０１０８】
このようにＡＦ領域と合焦度の組み合わせでＡＦ処理回路１４への入力画像データの選択を行うことにより、表示・記録画像の品位を維持し、合焦点への応答性や合焦精度の確保することに加えて、より効率良くＡＦ動作を実施することができる。これにより、合焦近傍に収束している頻度を向上させることが可能となる。
【０１０９】
上記の通り第２の実施形態によれば、第１の実施形態と同様の効果に加え、画像データを選択する際の条件を、カメラの状態や設定に応じて細分化することで、より効率的にＡＦ動作を実施することが可能となる。
【０１１０】
＜第３の実施形態＞
上記第１及び第２の実施形態では、主に撮像装置１もしくは被写体の動きが安定したシーンにおいて表示・記録を両立させる例を示してきた。しかしながら、静止画や動画を撮影する場合は必ずしも安定したシーンばかりではない。たとえば、動く被写体を適切な画角となるように撮影者が被写体を追いかけて撮影する場合や、撮像装置１は安定した状態であって被写体が動いている場合などがあり得る。そのような場合、変化し続ける被写体に応じて、応答性良くＡＦ動作が実施されることが望ましい。
【０１１１】
そこで、上記のような撮像装置１もしくは被写体の状態が安定しない場合に本発明を適用することで、表示・記録の品位を維持しながらＡＦ動作をそのシーンに合わせてより効率的に動作させることが可能である。以降では本発明を適用した場合の例を示す。なお、第３の実施形態は、撮像装置１の構成、及び、入力選択処理を除く処理は第１の実施形態と同様であるため説明は省略する。
【０１１２】
１．撮像装置の安定状態に応じた入力選択処理
撮像装置１の安定状態を判断する手段として、図１の振れ検出センサー３５及び振れ検出回路３４を利用することができる。振れ検出回路３４からはＰｉｔｃｈ方向、Ｙａｗ方向の角速度情報（以下、「ジャイロ情報」と呼ぶ。）が取得可能で、これらの情報をもとに撮像装置１がおかれている状況を判断することが可能である。
【０１１３】
図１７は、表示・記録用の画像データ、及び、ＡＦ処理回路への入力画像データとジャイロ情報の関係を示している。例えばジャイロ情報のうち、Ｙａｗ方向の各速度情報の絶対値を算出すると、安定時とＹａｗ方向へのパンニング時では図１７の上図に示すような変化が生じる。図中の閾値Ｇのように変化を検出するための閾値を設定し、ジャイロ情報が閾値より大きければ不安定と判断し、閾値以下であれば安定と判断する。Ｐｉｔｃｈ方向も同様である。また、Ｐｉｔｃｈ、Ｙａｗなどの方向によらず全ての各速度情報を加算し、絶対値を算出することで安定／不安定の２つの状態を判別する方法も考えられる。このようにジャイロ情報を利用し、カメラが安定した時には第１及び第２の実施形態で示した入力選択処理を実施する一方で、カメラが不安定な時には応答性を重視し、ＡＦ動作に適した画像データＢを用いることが可能となる。
【０１１４】
図１９は、第３の実施形態における微小駆動用入力選択処理を示すフローチャートである。なお、図１２における処理と同様の処理には同じ参照番号を付し、適宜説明を省略する。
【０１１５】
Ｓ１２０２において、Ｓ１２０１で取得した露出条件よりＡＦ処理回路１４への入力画像データの第１の入力切り替え条件が成立したか否かを判断する。ここでは、ＡＥ処理回路１３により得られたＡＥ評価値に基づいて、被写体の明るさが一定の明るさより暗いかどうかを判断する。第１の入力切り替え条件が成立しない場合にはＳ１９０１に進む。
【０１１６】
Ｓ１９０１ではシーン判定情報の算出を行う。ここでは先に述べたジャイロ情報による安定／不安定の判定が該当する。Ｓ１９０２ではＳ１９０１の結果をもとに、第３の入力切り替え条件が成立したか否かを判断する。Ｓ１９０２にて不安定な状態であると判断された場合にはＳ１９０３に進み、入力選択回路３７を制御し、ＡＦ処理回路１４への入力をＡＦ動作の応答性を重視した画像データＢに設定する。一方で、Ｓ１９０２でシーンが安定していると判断される場合にはＳ１２０３に進む。このように、シーンが安定していると判定された場合には、第１または第２の実施形態で説明した処理を行う。
【０１１７】
このように、露出条件、合焦度、そしてカメラの安定状態判定の結果に応じてＡＦ動作に適した画像データを適時選択することが可能となる。一方で、表示・記録の画像データに関してはＡＦ動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。
【０１１８】
２．被写体の安定状態に応じた入力選択処理
被写体の安定状態を判断する手段として、図１の顔検出回路３６を利用することができる。顔検出回路３６からは画面上の顔の位置や大きさなどの顔検出情報が取得可能であり、これらの情報をもとに被写体、特に顔の変化状況を判断することが可能である。
【０１１９】
図１８は表示・記録用の画像データ、及び、ＡＦ処理回路への入力画像データと検出された顔の変化状況の関係を示している。図１８（ａ）は（１）から（３）の順で被写体である顔の変化を示している。具体的には、（１）では顔の検出されている位置、サイズともに変化していない場合を示している。（２）では顔がカメラに近づくことにより位置、サイズともに変化している場合を示している。（３）では画面上から顔がいなくなった場合を示している。
【０１２０】
図１８（ｂ）では検出した顔の変化量と表示・記録用の画像データ、ＡＦ処理回路への入力画像データの関係を示している。顔の変化量の算出は、たとえば、所定フレーム間で検出された顔の位置とサイズの差分を算出し、それをもとに算出する方法が考えられる。図中の閾値Ｆのように変化を検出するための閾値を設定することで、被写体が安定している状況と変化している状況を判断することが可能である。なお、変化量の算出は検出された顔のサイズ、位置のみでも良いし、両方を加味したものでもよい。また、顔検出の結果は被写体がカメラの方向を常に向いている場合は安定して検出されが、横を向いたりや後ろを振り返ったりした場合は検出されなくなる可能性がある。従って、検出、非検出の頻度をもとに被写体の安定状態、変化状態を判別する構成としてもよい。
【０１２１】
このように顔検出情報を利用し、被写体が安定している場合には上述した第１及び第２の実施形態で示した入力選択処理を実施する一方で、被写体が変化している場合には応答性を重視し、ＡＦ動作に適した画像データＢを用いることが可能となる。
【０１２２】
被写体の安定状態に応じた入力選択処理においても、上述した図１９で示したフローチャートの処理手順が適用可能で、Ｓ１９０１における第３の入力切り替え条件として、上記に示した顔検出結果を用いることで実現可能である。このように、露出条件、合焦度、そして被写体の安定状態判定の結果に応じてＡＦ動作に適した画像データを適時選択することが可能となる。
【０１２３】
一方で、表示・記録の画像データに関してはＡＦ動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。
【０１２４】
＜変形例＞
本変形例では、変化に応じた画像データＢのフレームレートを変更する例について説明する。
【０１２５】
第３の実施形態では、ジャイロ情報及び顔検出情報を用いて変化量を算出し、カメラ、及び被写体の安定、不安定を判断する例を説明した。安定／不安定の判断は閾値Ｇ、Ｆのように所定の閾値を設定して２つの状態を判別したが、本発明はこの方法に限定されるものではない。図２０（ａ）（ｂ）（ｃ）に示すように変化量のレベルに応じてＡＦ処理回路１４への入力画像データをさらに切り替える方法も考えられる。具体的には、応答性を重視した画像データＢに関して、第１の実施形態では６０分の１秒を長秒時側の限度としたが、これをさらに短くした画像データＣ、画像データＤを用意し、ＡＦ処理回路１４への入力として設定するような構成とすることが可能である。この場合、画像データＢ、画像データＣ、画像データＤの順でフレームレートが速くなり、ＡＦ動作時の応答性が向上する。
【０１２６】
たとえば、図２０（ａ）に示すように変化量が閾値Ｆ１からＦ２までの間で推移する場合は、画像データＢがＡＦ処理回路１４の入力画像データとして選択される。図２０（ｂ）は、図２０（ａ）よりも変化が大きい場合の例を示している。この場合、変化量は閾値Ｆ１からＦ２の間及びＦ２からＦ３の間で推移する場合がある。この場合、閾値Ｆ１からＦ２の間で推移する場合は画像データＢ、閾値Ｆ２からＦ３の間で推移する場合は画像データＣがＡＦ処理回路１４の入力画像データとして選択される。図２０（ｃ）は、図２０（ｂ）よりもさらに変化が大きい場合の例を示している。図２０（ｂ）の場合に加え、さらに閾値Ｆ３以上の場合は画像データＣがＡＦ処理回路１４の入力画像データとして選択される。
【０１２７】
つまり、変化量に対して状態を特定するための閾値を細分化し、その変化量に応じてＡＦ動作で使用する画像データを適時選択することにより、効率よくＡＦ動作を実行することが可能となる。すなわち、変化の大きい状態ほどフレームレートの速い画像データを選択することで応答性を向上させることが可能となる。
【０１２８】
このように、露出条件、合焦度、そして被写体の安定状態判定の結果および安定状態の度合いに応じたフレームレートの制御を行うことでＡＦ動作に適した画像データを適時選択することが可能となる。一方で、表示・記録の画像データに関してはＡＦ動作で用いる画像データとは独立して設定可能であるため、表示・記録のための画像の品位を低下させることがない。
【０１２９】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１３０】
例えば、上述した各実施形態では単一のＡＦ処理回路１４に対して入力選択回路３７を制御し、画像データＡ、Ｂを排他的に使用する例を示してきたが、本発明はこれに限定されるものではない。別の実現形態として、例えばＡＦ処理回路１４を画像データＡ、Ｂそれぞれに対して用意し、入力選択回路３７で入力を切り替える代わりに、両方の画像データに対するＡＦ評価値を生成し、ＣＰＵ１５にて合焦点特定の演算時に両者を使い分ける構成でもよい。その場合、例えば、第１の実施形態で示した低照度時のように明示的に片側の出力のみしか使用しないことが分かっている場合は、使用しない方のＡＦ処理回路に対する電源供給を停止することも可能で、電力消費の低減を図ることが可能である。また、同時に複数の出力が得られることから、例えば合焦近傍にて両方の出力が使用可能な条件である場合は画像データＡ、Ｂ両方の出力の変化を合焦点の検出に用いる等の方法も考えられる。このように上述の実施形態の一部を適宜組み合わせてもよい。
【０１３１】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015079157.tif 000003
【図２】
2015079157.tif 000004
【図３】
2015079157.tif 000005
【図４】
2015079157.tif 000006
【図５】
2015079157.tif 000007
【図６】
2015079157.tif 000008
【図７】
2015079157.tif 000009
【図８】
2015079157.tif 000010
【図９】
2015079157.tif 000011
【図１０】
2015079157.tif 000012
【図１１】
2015079157.tif 000013
【図１２】
2015079157.tif 000014
【図１３】
2015079157.tif 000015
【図１４】
2015079157.tif 000016
【図１５】
2015079157.tif 000017
【図１６】
2015079157.tif 000018
【図１７】
2015079157.tif 000019
【図１８】
2015079157.tif 000020
【図１９】
2015079157.tif 000021
【図２０】
2015079157.tif 000022