(57)【要約】      （修正有）【課題】フレームレートによらず、画面内の被写体の位置を高精度に検出可能な撮像装置を提供する。【解決手段】撮像素子から出力された画像信号に基づいて被写体の位置情報を取得する位置情報取得部と、撮像時刻の異なる複数の画像信号を用いて被写体の相対移動量の情報を取得する移動量取得部と、位置情報と相対移動量の情報の少なくとも一方を用いて焦点検出領域を設定する領域設定部と、撮像素子の信号出力を行う時間間隔を、第１の時間間隔と、第１の時間間隔より短い第２の時間間隔とに切り替える切り替え部と、被写体像の焦点状態を調節する焦点調節部とを備え、領域設定部は、撮像素子が第１の時間間隔で信号を出力している際には、少なくとも位置情報を用いて焦点検出領域を設定し、撮像素子が第２の時間間隔で信号出力を行っており、かつ、焦点調節を行っている際には、相対移動量の情報のみを用いて焦点検出領域を設定する。【選択図】図３
2015152830.tif 000002
【特許請求の範囲】
【請求項１】
焦点調節用のフォーカスレンズを有する撮影光学系により結像された被写体像を撮像し画像信号を出力する撮像素子と、
前記画像信号に基づいて被写体の位置情報を取得する位置情報取得手段と、
撮像時刻の異なる複数の前記画像信号を用いて被写体の相対移動量の情報を取得する移動量取得手段と、
前記位置情報と前記相対移動量の情報の少なくとも一方を用いて焦点検出領域を設定する領域設定手段と、
前記撮像素子の信号出力を行う時間間隔を、第１の時間間隔と、該第１の時間間隔より短い第２の時間間隔とに切り替える切り替え手段と、
前記フォーカスレンズを移動させて前記被写体像の焦点状態を調節する焦点調節手段と、を備え、
前記領域設定手段は、前記撮像素子が前記第１の時間間隔で信号出力を行っている際には、少なくとも前記位置情報を用いて前記焦点検出領域を設定し、前記撮像素子が前記第２の時間間隔で信号出力を行っており、かつ、焦点調節を行っている際には、前記相対移動量の情報のみを用いて前記焦点検出領域を設定することを特徴とする撮像装置。
【請求項２】
前記位置情報取得手段が取得する前記位置情報は、前記画像信号における所定のパターンとの一致度の高い位置に関する情報であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記移動量取得手段が取得する前記相対移動量の情報は、撮像時刻の異なる前記画像信号の前記撮像素子の同一領域から得られる出力信号の波形のずれ量に関する情報であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記位置情報を取得する前記撮像素子上の領域である第１の領域は、前記相対移動量の情報を取得する前記撮像素子上の領域である第２の領域よりも広く、前記第２の領域は、前記焦点検出領域よりも広いことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
時間的に連続した複数の前記相対移動量の情報を累積し累積移動量を算出する累積手段をさらに備え、前記累積移動量に基づき、前記第１の領域を変更することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記累積移動量は、前記被写体の位置情報を用いて前記焦点検出領域の設定を行うごとにリセットされることを特徴とする請求項５に記載の撮像装置。
【請求項７】
時間的に連続した複数の前記相対移動量の情報を累積し累積移動量を算出する累積手段をさらに備え、前記位置情報取得手段により第１の時刻に取得した第１の位置情報と、前記第１の時刻と該第１の時刻より後の第２の時刻までの間に算出された前記累積移動量とを用いて得られた被写体位置情報と、前記位置情報取得手段により前記第２の時刻に取得した第２の位置情報との差が所定の値より大きい場合は、前記焦点調節手段は、再度の焦点調節を行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記焦点検出領域の位置を撮影者に報知する表示手段をさらに備え、前記撮像素子が前記第２の時間間隔で信号出力を行っている際には、前記表示手段に、予め得られた前記被写体の位置情報に基づき、前記焦点検出領域の位置を表示することを特徴とする請求項１に記載の撮像装置。
【請求項９】
前記焦点検出領域の位置を撮影者に報知する表示手段をさらに備え、前記撮像素子が前記第２の時間間隔で信号出力を行っている際には、前記表示手段に、予め得られた前記被写体の位置情報と前記相対移動量とに基づいた、前記焦点検出領域の位置を表示することを特徴とする請求項１に記載の撮像装置。 
【請求項１０】
焦点調節用のフォーカスレンズを有する撮影光学系により結像された被写体像を撮像し画像信号を出力する撮像素子を備える撮像装置を制御する方法であって、
前記画像信号に基づいて被写体の位置情報を取得する位置情報取得工程と、
撮像時刻の異なる複数の前記画像信号を用いて被写体の相対移動量の情報を取得する移動量取得工程と、
前記位置情報と前記相対移動量の情報の少なくとも一方を用いて焦点検出領域を設定する領域設定工程と、
前記撮像素子の信号出力を行う時間間隔を、第１の時間間隔と、該第１の時間間隔より短い第２の時間間隔とに切り替える切り替え工程と、
前記フォーカスレンズを移動させて前記被写体像の焦点状態を調節する焦点調節工程と、を備え、
前記領域設定工程では、前記撮像素子が前記第１の時間間隔で信号出力を行っている際には、少なくとも前記位置情報を用いて前記焦点検出領域を設定し、前記撮像素子が前記第２の時間間隔で信号出力を行っており、かつ、焦点調節を行っている際には、前記相対移動量の情報のみを用いて前記焦点検出領域を設定することを特徴とする撮像装置の制御方法。
【請求項１１】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子により取得される画像信号を使用して焦点検出を行う場合の焦点検出枠を設定する技術に関するものである。
【背景技術】
【０００２】
デジタルカメラやビデオカメラにおいては、ＣＣＤやＣＭＯＳセンサ等の撮像素子からの出力信号を利用し、被写体のコントラスト評価値に応じた信号を検出して合焦させるコントラスト検出式のオートフォーカス（以下、ＡＦ）方法が一般的である。この方法では、フォーカスレンズを所定の移動範囲にわたって光軸方向に移動させながら被写体のコントラスト評価値を順次検出（ＡＦスキャン動作）し、コントラスト評価値が最大となるフォーカスレンズ位置を合焦位置として検出する。
【０００３】
また、撮像素子からの出力信号を利用して、撮影範囲内に含まれる人物の顔を検出する顔検出処理を実行し、検出された顔を焦点検出領域としてピントが合うように合焦制御を行う撮像装置が知られている。このような撮像装置によれば、撮影時の被写体の移動や撮影者の手振れなどの影響を低減しながら、合焦制御を行うことができる。
【０００４】
特許文献１には、顔検出処理とパターンマッチング処理を組み合わせて、焦点検出領域を被写体の移動に追尾させる方法が開示されている。これにより、より精度よく焦点検出領域の設定を行うことができる。特許文献１に開示されているように、被写体の検出精度は、顔検出処理などの被写体の絶対位置を検出する方法やパターンマッチング処理などの被写体の相対移動量を検出する方法により向上させることができる。一方、時々刻々と変化する被写体の状況に対して被写体の検出精度を向上させるためには、検出の時間間隔を短くし、単位時間あたりに数多くの被写体検出を行うことも有効である。
【０００５】
特許文献２には、コントラスト検出方式の撮像面を用いた焦点検出方式で、焦点検出中は、光電変換部の出力波形を得る頻度を上げる、すなわち、より高速なフレームレートに変更することが開示されている。特許文献２に開示されているように、高速なフレームレートで焦点検出を行うだけでなく、被写体検出も行えば、より高精度に検出を行うことができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−９６９６４号公報
【特許文献２】特開２０１３−２５１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記の特許文献１に開示されている被写体位置の検出方法を、上記の特許文献２に開示されている焦点検出前後でフレームレートを変更する方法に適用する場合には、以下のような課題があった。
【０００８】
特許文献１に開示されている顔検出処理などの被写体の絶対位置を検出する方法は、演算処理内容が多く、処理に時間がかかるため、高速なフレームレートに合わせた被写体位置の検出結果を更新することが困難である。
【０００９】
一方、パターンマッチング処理などの被写体の相対移動量を検出する方法は、移動量を検出する演算範囲を狭めることにより、演算処理負荷を低減することができる。しかしながら、時系列に並んだ２つの信号から相対的な移動量を検出するため、２つの信号の時間間隔が長い場合には、被写体の絵柄の変化が起こる確率が上がり、パターン（被写体の絵柄）の検出（マッチング）精度が落ちてしまう。また、２つの信号の時間間隔が長い場合には、移動量を検出する演算範囲を広げる必要も発生し、演算処理負荷が増大する。これらの理由により、特許文献２に開示されているような焦点検出処理前でフレームレートが低速である場合には、被写体検出精度が低下してしまう。
【００１０】
上述のように、被写体検出の方法には、検出結果の更新間隔に関連した特徴があるが、特許文献１では、フレームレートの変更に伴う最適な被写体検出の方法については、開示されていない。
【００１１】
本発明は上述した課題に鑑みてなされたものであり、その目的は、フレームレートによらず、画面内の被写体の位置検出を高精度に行うことを可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明に係わる撮像装置は、焦点調節用のフォーカスレンズを有する撮影光学系により結像された被写体像を撮像し画像信号を出力する撮像素子と、前記画像信号に基づいて被写体の位置情報を取得する位置情報取得手段と、撮像時刻の異なる複数の前記画像信号を用いて被写体の相対移動量の情報を取得する移動量取得手段と、前記位置情報と前記相対移動量の情報の少なくとも一方を用いて焦点検出領域を設定する領域設定手段と、前記撮像素子の信号出力を行う時間間隔を、第１の時間間隔と、該第１の時間間隔より短い第２の時間間隔とに切り替える切り替え手段と、前記フォーカスレンズを移動させて前記被写体像の焦点状態を調節する焦点調節手段と、を備え、前記領域設定手段は、前記撮像素子が前記第１の時間間隔で信号出力を行っている際には、少なくとも前記位置情報を用いて前記焦点検出領域を設定し、前記撮像素子が前記第２の時間間隔で信号出力を行っており、かつ、焦点調節を行っている際には、前記相対移動量の情報のみを用いて前記焦点検出領域を設定することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、フレームレートによらず、画面内の被写体の位置検出を高精度に行うことを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態における撮像装置の構成を示すブロック図。
【図２】図１におけるスキャンＡＦ処理回路の構成を示すブロック図。
【図３】第１の実施形態におけるＡＦ動作手順を示すフローチャート。
【図４】第１の実施形態における焦点検出エリア（ＡＦ評価範囲）を示す図。
【図５】第１の実施形態における焦点検出領域設定の動作を示すフローチャート。
【図６】第１の実施形態における相対移動量の取得と焦点検出領域の設定の動作を示すフローチャート。
【図７】第１の実施形態におけるラインピーク評価値の例を示す図。
【図８】第１の実施形態における被写体の位置情報の取得と相対移動量の取得のタイミングの一例を示す図。
【図９】第１の実施形態の変形例における被写体の位置情報の取得と相対移動量の取得のタイミングの一例を示す図。
【図１０】第２の実施形態におけるＡＦ動作手順を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１６】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる焦点調節装置を有する撮像装置の概略構成例を示すブロック図である。撮像装置は、例えば、デジタルスチルカメラやデジタルビデオカメラを含むが、これに限るものではない。例えば、入射する光学像をエリアセンサなどの２次元配列された撮像素子を用いて光電変換により電気的な画像として取得するものであれば、本発明を適用することが可能である。
【００１７】
図１において、１は撮像装置である。２はズームレンズ群、３は焦点調節用のフォーカスレンズ群であり、撮影光学系を構成している。４は撮影光学系を通過した光束の量を制御する光量調節手段であり露出手段である絞りである。３１はズームレンズ群２、フォーカスレンズ群３、絞り４、等を収めたレンズ鏡筒である。
【００１８】
５は撮影光学系を通過した被写体像が結像し、これを光電変換するＣＣＤ等の撮像素子である。被写体像の焦点状態を調節する焦点調節手段を有する撮影光学系５により結像された被写体像を光電変換する撮像素子は、ＣＭＯＳセンサでも良い。６は撮像素子５によって光電変換された電気信号を受けて各種の画像処理を施すことにより所定の画像信号を生成する撮像回路を示している。７は撮像回路６により生成されたアナログ画像信号をデジタル画像信号に変化するＡ／Ｄ変換回路である。
【００１９】
８はＡ／Ｄ変換回路７から出力されるデジタル画像信号を一時的に記憶するバッファメモリ等のメモリ（ＶＲＡＭ）である。９はＶＲＡＭ８に記憶された画像信号を読み出してこれをアナログ信号に変換するとともに再生出力に適する形態の画像信号に変換するＤ／Ａ変換回路である。
【００２０】
１０は画像信号を表示する液晶表示装置（ＬＣＤ）等の画像表示装置（以下ＬＣＤ）である。１２は半導体メモリ等からなる画像データを記憶する記憶用メモリである。１１はＶＲＡＭ８に一時記憶された画像信号を読み出して記憶用メモリ１２に対する記憶に適した形態にするために画像データの圧縮処理や符号化処理を施す圧縮回路と復号化処理や伸長処理等を施す伸長回路とからなる圧縮伸長回路である。圧縮伸長回路１１は、記憶用メモリ１２に記憶された画像データを再生表示等をするのに最適な形態とする。
【００２１】
また、１３はＡ／Ｄ変換回路７からの出力を受けて自動露出（ＡＥ）処理を行うＡＥ処理回路である。１４はＡ／Ｄ変換回路７からの出力を受けてオートフォーカス（ＡＦ）処理を行うスキャンＡＦ処理回路である。スキャンＡＦ処理回路１４は、焦点検出領域に対応する撮像素子の撮像エリアから出力された画像信号から特定周波数成分を抽出して焦点評価値を算出する焦点評価値演算処理部としての機能がある。本実施形態においては、焦点検出領域とＡＦ評価範囲は、同義で用いられる。また、スキャンＡＦ処理回路１４は、合焦位置計算に用いる各種評価値を算出する。これらの評価値については、詳細は後述する。１５は撮像装置の制御を行う演算用のメモリを内蔵したＣＰＵである。１６は所定のタイミング信号を発生するタイミングジェネレータ（以下ＴＧ）である。ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される各種評価値を用いて、合焦位置の演算を行う。
【００２２】
１７は撮像素子ドライバである。２１は絞り４を駆動する絞り駆動モータである。１８は絞り駆動モータ２１を駆動制御する第１モータ駆動回路である。２２はフォーカスレンズ群３を駆動するフォーカス駆動モータである。フォーカスレンズ群３とフォーカス駆動モータ２２は、焦点調節手段に相当する。１９はフォーカス駆動モータ２２を駆動制御する第２モータ駆動回路である。２３はズームレンズ群２を駆動するズーム駆動モータである。２０はズーム駆動モータ２３を駆動制御する第３モータ駆動回路である。ＣＰＵ１５は、スキャンＡＦ処理回路１４で算出される焦点評価値を用いて、第２モータ駆動回路１９を通じて、フォーカス駆動モータ２２を制御する。
【００２３】
更に、２４は各種のスイッチ群からなる操作スイッチである。２５は各種制御等を行うプログラムや各種動作を行わせるために使用するデータ等が予め記憶されている電気的に書き換え可能な読み出し専用メモリであるＥＥＰＲＯＭである。２６は電池、２８はストロボ発光部、２７はストロボ発光部２８の閃光発光を制御するスイッチング回路、２９はＡＦ動作のＯＫ・ＮＧを表示するためのＬＥＤなどの表示素子である。
【００２４】
なお、画像データ等の記憶媒体である記憶用メモリは、フラッシュメモリ等の固定型の半導体メモリで、カード形状やスティック形状から成る。また、装置に対して着脱自在に形成されるカード型フラッシュメモリ等の半導体メモリの他、ハードディスクやフレキシブルディスク等の磁気記憶媒体等、様々な形態のものが適用される。
【００２５】
また、操作スイッチ２４としては、主電源スイッチ、レリーズスイッチ、再生スイッチ、ズームスイッチ、焦点評価値信号のモニターへの表示をＯＮ／ＯＦＦするためのスイッチ等を含む。主電源スイッチは、撮像装置１を起動させ、電源供給を行うためのものである。
【００２６】
また、レリーズスイッチは、撮影動作（記憶動作）等を開始させる。再生スイッチは、再生動作を開始させる。ズームスイッチは、撮影光学系のズームレンズ群２を移動させズームを行わせる。そして、レリーズスイッチは撮影動作に先立って行われるＡＥ処理、ＡＦ動作を開始させる指示信号を発生する第１ストローク（以下ＳＷ１）と実際の露光動作を開始させる指示信号を発生する第２ストローク（以下ＳＷ２）との二段スイッチにより構成される。
【００２７】
３０は撮像回路６及びＡ／Ｄ変換回路７で処理された画像信号を用いて被写界中から顔検出を行い、検出した一つ又は複数の顔情報（位置・大きさ・信頼度・顔の向き・顔の検出数）をＣＰＵ１５に送る被写体検出回路である。被写体検出回路３０は、位置情報取得手段である。なお、顔の検出方法は、本実施形態の主眼点ではないため詳細な説明は省略する。
【００２８】
次に、図２は図１におけるスキャンＡＦ処理回路１４の内部構成を示すブロック図である。図２を参照して、図１のＣＰＵ１５及びスキャンＡＦ処理回路１４を用いて算出される各種ＡＦ用評価値について説明する。
【００２９】
Ａ／Ｄ変換回路７で変換されたデジタル信号が、スキャンＡＦ回路１４に入力されると、ＡＦ評価用信号処理回路４０１で、輝度信号Ｙへの変換と、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。
【００３０】
Ｙピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路４０２へ入力される。この回路によって、領域設定回路４１３によって設定されたＡＦ評価範囲内で水平ライン毎のＹラインピーク値が求められる。更に、ラインピーク検出回路４０２の出力は垂直ピーク検出回路４０５に入力される。この回路によって、領域設定回路４１３によって設定されたＡＦ評価範囲内で垂直方向にピークホールドが行われ、Ｙピーク評価値が生成される。Ｙピーク評価値は、高輝度被写体や低照度被写体の判定に有効である。
【００３１】
Ｙ積分評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、水平ライン毎の積分値を検出するための水平積分回路４０３へ入力される。この回路によって、領域設定回路４１３によって設定されたＡＦ評価範囲内で水平ライン毎のＹの積分値が求められる。更に、水平積分回路４０３の出力は垂直積分回路４０６に入力される。この回路によって、領域設定回路４１３によって設定されたＡＦ評価範囲内で垂直方向に積分が行われ、Ｙ積分評価値が生成される。Ｙ積分評価値は、ＡＦ評価範囲内全体の明るさを判断することができる。
【００３２】
Ｍａｘ−Ｍｉｎ評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ラインピーク検出回路４０２に入力され、ＡＦ評価範囲内で水平ライン毎のＹラインピーク値が求められる。また、ガンマ補正された輝度信号Ｙは、ライン最小値検出回路４０４に入力される。この回路によって、輝度信号ＹのＡＦ評価範囲内で水平ライン毎のＹの最小値が検出される。検出された水平ライン毎のＹのラインピーク値及び最小値は減算器に入力され、（ラインピーク値−最小値）を計算した上で垂直ピーク検出回路４０７に入力される。この回路によって、ＡＦ評価範囲内で垂直方向にピークホールドが行われ、Ｍａｘ−Ｍｉｎ評価値が生成される。Ｍａｘ−Ｍｉｎ評価値は、低コントラスト・高コントラストの判定に有効である。
【００３３】
領域ピーク評価値の算出方法について説明する。ガンマ補正された輝度信号Ｙは、ＢＰＦ４０８に通すことによって特定の周波数成分が抽出され焦点信号が生成される。この焦点信号は、水平ライン毎のラインピーク値を検出するためのピークホールド手段であるラインピーク検出回路４０９へ入力される。ラインピーク検出回路４０９は、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。求めたラインピーク値は、垂直ピーク検出回路４１１によってＡＦ評価範囲内でピークホールドされ、領域ピーク評価値が生成される。領域ピーク評価値は、ＡＦ評価範囲内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための再起動判定に有効である。
【００３４】
全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、ＡＦ評価範囲内で水平ライン毎のラインピーク値を求める。次に、ラインピーク値を垂直積分回路４１０に入力し、ＡＦ評価範囲内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、合焦位置の検出を行うためのＡＦのメインの評価値として有効である。本実施形態では、デフォーカス状態に応じて評価値が変化し、焦点調節に用いる全ライン積分評価値を焦点評価値と称する。
【００３５】
ラインピーク評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路４０９は、ＡＦ評価範囲内で水平ライン毎のラインピーク値（単位評価値）を求める。次に、ラインピーク値を保持し、ＡＦ評価範囲内で垂直方向に全水平走査ライン数について記憶し、ラインピーク評価値（単位評価値群）を生成する。ラインピーク評価値は、ＡＦ評価範囲内の行毎の特定の周波数成分の情報のピーク値の分布状態を示しており、本実施形態では、被写体位置の垂直方向の変化を検出するために用いられる。
【００３６】
被写体の位置情報の変化を検出するために、Ｙ積分評価値の算出過程で計算される行毎のＹの積分値を用いて、被写体位置の垂直方向の変化を検出することも考えられる。但し、行毎のＹの積分値は、積分値であるがゆえに、被写体情報にローパスがかかり、精度の良い検出を行えない場合がある。
【００３７】
また、各行のＹのピーク信号を用いて被写体位置情報を検出することも考えられる。但し、Ｙのピーク信号は、飽和した際や垂直方向の輝度のピークの変化が乏しい場合には、被写体位置情報の検出精度が悪化してしまう。
【００３８】
本実施形態では、ラインピーク評価値として各行の特定の周波数成分の情報のピーク値を用いるため、各行の被写体の特徴量を精度よく検出することができる。また、輝度信号が飽和した際でも、輝度変化のある輪郭から情報を取得するため、被写体情報を得ることができる。また、垂直方向の輝度のピークの変化が乏しい場合にも、輝度変化のある輪郭形状が変化していれば、被写体情報を得ることができる。
【００３９】
本実施形態では、ラインピーク評価値として各行の特定の周波数成分の情報のピーク値を用いたが、各行の特定の周波数成分の情報の積算値を用いてもよい。被写体の水平方向の移動に対して変動する懸念があるが、よりＳ／Ｎ比の大きい情報を取得することができる。
【００４０】
本実施形態では、水平方向にＡＦ評価を行う際に、ラインピーク評価値に基づき、被写体の垂直方向の位置の変化を検出し、焦点検出領域の更新を行う。焦点検出領域の更新は、言い換えると、上述の全ライン積分評価値の算出の際にラインピーク値を積分する範囲の更新に等しい。
【００４１】
一方で、ラインピーク評価値の所定の領域を積分したものが、全ライン積分評価値となり、その焦点評価値は、合焦位置の検出に用いられる。そのため、ラインピーク評価値により被写体の移動量を検出することは、焦点評価値という情報を構成する特徴量を直接的に使用していることになり、被写体移動量検出や合焦位置検出の精度向上につながる。また、焦点評価値を算出する過程で得られるラインピーク値を用いてラインピーク評価値を構成しているため、演算量を大きく増やすことなく、被写体の移動量の検出を行うことができる。
【００４２】
領域設定回路４１３は、ＣＰＵ１５により設定された画面内の所定の位置にある信号を選択するためのＡＦ評価範囲用のゲート信号を生成する。ゲート信号は、ラインピーク検出回路４０２、水平積分回路４０３、ライン最小値検出回路４０４、ラインピーク検出回路４０９、垂直積分回路４０６，４１０、垂直ピーク検出回路４０５，４０７，４１１の各回路に入力される。そして、各焦点評価値がＡＦ評価範囲内の輝度信号Ｙで生成されるように、輝度信号Ｙが各回路に入力されるタイミングが制御される。また、領域設定回路４１３は、ＡＦ評価範囲や後述する移動量情報取得領域などに合わせて、複数の領域の設定が可能である。
【００４３】
ＡＦ制御部１５１は、各焦点評価値を取り込み、第２モータ駆動回路１９を通じてフォーカスレンズ駆動モータ２２を制御し、フォーカスレンズ群３を光軸方向に移動させてＡＦ制御を行う。なお、本実施形態では、各種のＡＦ用評価値を水平ライン方向に算出する構成としたが、水平方向、垂直方向のいずれか、もしくは両方の方向で算出すればよい。
【００４４】
次に、図３は本実施形態におけるＡＦ動作のフローチャートであり、図４は本実施形態における焦点検出領域を示す図である。図３、図４を参照しながら、本実施形態の撮像装置における被写体検出を用いる焦点調節処理（ＡＦ動作）について説明する。
【００４５】
ステップＳ１では、被写体検出回路３０から得られる人物の顔などの被写体情報（位置、大きさ、被写体の検出数）に基づき主被写体判定を行い、焦点検出領域を設定する。焦点検出領域の設定は、スキャンＡＦ回路１４内の領域設定部４１３が行い、領域設定部４１３は、焦点検出領域設定手段である。
【００４６】
ここで、図４を参照しながら本実施形態における焦点検出領域の設定方法の特徴について説明する。図４（ａ）に示すように、被写体検出回路３０により検出した画面内における被写体の検出領域の内部に焦点検出領域を設定する。図４（ａ）の撮影画面５００は、撮像素子５と対応し、スキャンＡＦ処理回路１４は、図中Ｘ方向をＡＦ評価方向として、コントラスト情報を焦点評価値として算出する。
【００４７】
撮影画面５００内の人物３００に対して、被写体の位置情報を取得する領域を位置情報取得領域３０１（第１の領域）として設定する。図４では、位置情報取得領域３０１は、撮影画面５００よりも小さい場合を示しているが、撮影画面５００と等しくてもよい。図４では、事前に被写体の存在する位置について情報を有する場合に、その情報を参照して設定した領域の例を示している。
【００４８】
また、同様に、被写体の所定時間内の相対移動量情報を取得する領域である移動量情報取得領域３０２（第２の領域）を設定する。位置情報取得領域３０１が移動量情報取得領域３０２を含むように設定する。被写体検出領域３０４は、位置情報取得領域３０１で検出された被写体の位置、大きさ、傾きなどを表す領域である。
【００４９】
そして、被写体検出領域３０４の内側に焦点検出領域３０３を設定する。これは、被写体の輪郭部が焦点検出領域３０３の内部に存在すると、背景の絵柄の影響を受けるためである。ただし、被写体の大きさが小さい場合などは、被写体検出領域３０４と焦点検出領域３０３を同じ大きさにしたり、より大きくしたりしてもよい。各々の領域で得られる情報の使用方法の詳細については、後述する。
【００５０】
本実施形態では、後述するが、移動量情報取得領域３０２で得られたラインピーク評価値を用いて、被写体の移動量の検出を行う。この際に検出される移動量の移動方向は垂直方向である。この移動量を用いて焦点検出領域３０３の設定を行うため、焦点検出領域に対して水平方向に余計な情報を得ることが無いように、移動量情報取得領域３０２を設定する必要がある。本実施形態では、図４（ａ）に示すように、移動量情報取得領域３０２は、焦点検出領域３０３とＸ方向が概ね等しい領域となるように設定している。ただし、被写体が水平方向に移動することも考えられるため、焦点検出領域３０３に対する移動量情報取得領域３０２のＸ方向の大きさは、適宜変更してもよい。被写体の移動が大きいことが検出されている場合などには、Ｘ方向により大きめに移動量情報取得領域３０２を設定すればよい。
【００５１】
図４（ｂ）は、図中Ｙ方向をＡＦ評価方向とした場合の移動量情報取得領域３０２を示している。上述した理由から、焦点検出領域３０３とＹ方向が概ね等しい領域となるように設定している。このように、ＡＦ評価方向に合わせて、移動量情報取得領域３０２を変更して設定してもよい。被写体移動量の検出方法の詳細は後述する。
【００５２】
ステップＳ１の手順については、図５を用いて後述する。ステップＳ２では、ステップＳ１で設定した被写体検出領域３０４を、撮影者に報知するためＬＣＤ１０で表示する。表示する領域の大きさは、撮影者の視認しやすさなどを考慮して、適宜、適切な大きさ、形状、配色にして表示を行う。
【００５３】
ステップＳ３で、撮影準備開始を示すスイッチであるＳＷ１のオン／オフを検出する。ステップＳ３で、ＳＷ１のオンが検出されない場合は、ステップＳ１に戻り、焦点検出領域３０３の設定を随時行う。
【００５４】
ステップＳ３で、ＳＷ１のオンが検出されると、ステップＳ４に進み、フレームレート切替処理を行う。焦点調節の制御を高速に行うため、ステップＳ３以前に行っていた第１の時間間隔よりも短い第２の時間間隔で焦点検出データを取得できるよう撮像素子の駆動を切り替える。これに応じてＬＣＤ１０に表示しているライブビュー表示も第２の時間間隔で得た画像データを用いて行う。ライブビュー表示の更新間隔は、第２の時間間隔で行ってもよいし、画像データを間引いたり加算したりして第１の時間間隔のまま行ってもよい。
【００５５】
次に、ステップＳ５で、所定の方向に所定の速度で、フォーカスレンズ群３の駆動を開始し、ＡＦスキャン（焦点検出動作）を行う。ＡＦスキャンでは、フォーカスレンズ群３をスキャン開始位置からスキャン終了位置まで所定量ずつ移動させながら、各フォーカスレンズ位置における各種評価値をＣＰＵ１５へ記憶していく。スキャン終了位置は、フォーカスレンズ群３の駆動可能範囲の端に設定すればよい。また、以前の焦点調節結果から現在のフォーカスレンズ群３の位置近傍で焦点調節可能と判断される場合には、現在の位置から所定量駆動した位置に設定すればよい。また、フォーカスレンズ群３の駆動は、各種評価値を取得中、駆動を継続してもよいし、停止させてもよい。
【００５６】
次に、ステップＳ６で撮像素子５から出力された信号を用いて、被写体の相対移動量取得と焦点検出領域の設定を行う。本実施形態では、ＳＷ１オン以前に被写体の位置情報を用いて焦点検出領域を設定した後、取得時刻（撮像時刻）の異なる撮像素子からの信号出力を用いて被写体の相対移動量を検出し、焦点検出領域の更新を行う。顔検出や２次元のパターンマッチングなどの一致度を用いた被写体の位置情報の取得は、演算量が大きく、演算に時間がかかる。一方で、焦点調節の高速化のため、フレームレートを高速に切り替えると、短い時間間隔（第２の時間間隔）で各種ＡＦ用評価値の演算は行われる。その際、各種ＡＦ用評価値の演算対象となる焦点検出領域の更新がされず、過去の被写体位置情報による焦点検出領域で焦点検出を行うと、被写体位置の変化や撮影者の手振れなどの影響により、焦点検出精度が悪化する。本実施形態では、フレームレートを高速に切り替えた後も、焦点検出領域を適切に設定するために、被写体の相対移動量の算出を行い、その情報を用いて、焦点検出領域の更新を行う。そのため、ＡＦスキャン動作中の被写体の動きや撮影者の手振れなどの影響を低減し、高精度な焦点検出を行うことができる。ステップＳ６で行う処理の詳細は、後述する。
【００５７】
次に、ステップＳ７で、上述の各種ＡＦ用評価値を算出し、ステップＳ８に進む。ステップＳ８では、焦点評価値が以前取得した値に対して、所定量以上減少したか否かを判定する。所定量以上減少していない場合は、焦点評価値のピーク（極大値）を検出できていないとして、ステップＳ１４に進む。ステップＳ１４では、スキャン終了位置であるか否かを判定する。事前に設定されたスキャン終了位置に到達していない場合は、ＡＦスキャンを継続するため、ステップＳ５に戻る。一方で、スキャン終了位置に到達した場合には、ステップＳ１５に進み、焦点検出不可能と判断し、予め定められた位置へフォーカスレンズ群３を移動する。予め定められた位置は、被写体の存在確率が高い位置や人物の顔の大きさから想定される被写体距離を用いて設定されればよい。次に、ステップＳ１６では、ＬＣＤ１０の画像表示部に、非合焦枠を表示してステップＳ１３に進む。ここで、非合焦枠とは非合焦時に画像領域内で被写体の存在する領域または所定の領域に表示する枠であり、非合焦であるという状態が判別しやすいように合焦枠とは異なる色の枠（例えば黄色など）を設定する。
【００５８】
ステップＳ８で、焦点評価値が以前取得した値に対して、所定量以上減少している場合には、焦点評価値のピークを検出したとして、ステップＳ９に進む。ステップＳ９では、フォーカスレンズ群３の位置と焦点評価値の関係から、補間計算などを行い焦点評価値が極大値をとるフォーカスレンズ群３の位置を算出する。更に、極大値近傍の焦点評価値の変化曲線の信頼性を評価する。この信頼性評価は、求められた焦点評価値が、被写体の光学像が撮像素子上に結像したために極大値をとったのか、その他の外乱により極大値をとったのかを判定するために行う。
【００５９】
合焦判定の詳細な方法としては、例えば、特開２０１０−０７８８１０号公報の図１０から図１３で説明されているような方法を用いればよい。つまり、合焦状態を示す焦点評価値が山状になっているか否かを、焦点評価値の最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配から判断する。これにより、合焦判定を行うことができる。
【００６０】
次に、ステップＳ１０で、検出した焦点評価値の極大値は、信頼性の高い合焦位置であるか否かを判定する。焦点評価値の信頼性が低い場合には、ステップＳ１４に戻り焦点調節を継続する。一方で、焦点評価値の信頼性が高く合焦位置として適切であると判定された場合には、ステップＳ１１に進み、算出された合焦位置にフォーカスレンズ群３を駆動する。次に、ステップＳ１２に進み、ＬＣＤ１０の画像表示部に、合焦枠を表示する。ここで、合焦枠とは画像領域内でどこの領域が合焦しているかを示すための枠である。例えば、顔が合焦している場合は顔の領域に枠を表示する。また、合焦しているという状態が判別しやすいように枠に合焦を示す色（例えば緑色など）をつけて表示する。
【００６１】
合焦表示を終えるとステップＳ１３に進み、フレームレートを第２の時間間隔から第１の時間間隔に変更する。この処理の目的は、合焦後まで、更新間隔の短い第２の時間間隔で撮像素子の駆動を行うと電力消費が大きいためである。フレームレートの切替を終えるとＡＦ動作を終了する。
【００６２】
図３のステップＳ２で行う焦点検出領域の表示は、事前に取得された被写体の位置情報に基づき表示し、ＡＦスキャン中には更新しない例を上述した。これは、焦点調節時間が十分に短い場合には、焦点検出領域の表示位置の更新を行わなくても、撮影者に対して違和感がないためである。ただし、被写体の移動速度が大きい場合には、上述の通り、ＡＦスキャン中に被写体の相対移動量情報に基づき焦点検出領域は移動する。その際、焦点検出領域の表示も更新してもよい。このように構成することにより、処理内容は増えるが、常に被写体の移動に追従した焦点検出領域の表示を行うことができる。
【００６３】
次に、図５を参照しながら図３のステップＳ１における焦点検出領域設定のサブルーチンについて説明する。ここでは、図４で示した状況に対して、各種の検出領域を設定する。
【００６４】
まず、ステップＳ１０１で、被写体検出回路３０を用いて被写体の位置などの情報を取得するための領域である位置情報取得領域３０１の設定を行う。ここでは、事前の被写体位置情報が無い場合には、撮影範囲５００を位置情報取得領域３０１として設定する。事前に被写体位置情報を有しており、被写体の変化が少ないと判断される状況では、事前の被写体位置情報に鑑みて、位置情報取得領域３０１を設定する。事前の被写体位置情報として、後述する相対移動量の情報を累積した情報を用いてもよい。本実施形態では、ＡＦ中は相対移動量により焦点検出領域を設定するが、相対移動量を検出する度に累積した累積相対移動量を算出し、累積相対移動量を用いて、次回の位置情報取得領域を設定してもよい。位置情報と累積相対移動量の両方を用いる場合には、位置情報を取得する度に、累積相対移動量はリセットする。
【００６５】
次に、ステップＳ１０２では被写体検出回路３０から、検出した被写体情報（検出数、位置、大きさ、傾き）を取得し、ステップＳ１０３へ進む。ステップＳ１０３では、顔の数をカウントする変数ｉを０に初期化し、ステップＳ１０４へ進む。
【００６６】
ステップＳ１０４では、検出された被写体検出領域３０４に対する焦点検出領域３０３の大きさを算出する。一般に、人の顔においては、毛髪、眉毛、目など黒色部や、鼻や口などの開口による印影部のコントラストが高く、焦点評価値は大きくなる。そのため、焦点検出領域に、こういった高コントラスト部を含むように設定することが望ましい。
【００６７】
また、顔部と背景のコントラストが高い場合にも、顔輪郭部の焦点評価値は大きくなる。しかしながら、顔の輪郭を焦点検出領域が含む場合には、背景の影響による遠近競合が発生する場合がある。このような顔とその周囲の背景を含む焦点検出領域における遠近競合としては、遠方の背景の絵柄にピントが合ってしまう場合や、顔の輪郭部である耳付近にピントが合い撮影者が意図する人物の目周辺にピントが合わない場合などが考えられる。
【００６８】
そのため、焦点検出領域として顔の輪郭を含まないような領域を設定することで、ＡＦスキャン中に顔が動いた場合にも顔の輪郭が焦点評価値に与える影響を低減することができる。但し、顔の大きさが所定の大きさより小さい場合には、その限りではない。顔が小さい場合には、撮影距離が比較的遠いことが想定され、被写界深度が深くなることが考えられる。また、焦点検出領域内の情報量のＳ／Ｎの悪化も懸念される。これらの状況に鑑みて、適宜、顔の輪郭も含むように焦点検出領域を設定すればよい。
【００６９】
顔の位置、大きさ、傾きの情報に基づいて、ｉ番目の顔の内部に焦点検出領域を設定し、ステップＳ１０５へ進む。ステップＳ１０５では、ｉをインクリメントしてステップＳ１０６へ進む。ステップＳ１０６では、ｉが顔の検出数に等しいかどうかを調べ、等しくない場合はステップＳ１０４へ戻り、等しい場合はステップＳ１０７に進む。
【００７０】
ステップＳ１０７では、顔検出領域の位置および大きさから、撮影者が主被写体として意図している顔を推定し、検出された顔の優先度の設定を行う。ここで、画像領域内でもっとも中央付近にありかつ顔サイズが所定以上の顔を主顔とし、それ以外の検出した顔を副顔とする。つまり、検出した複数の顔の中から主被写体として選んだ顔が主顔である。主顔の焦点検出領域は合焦位置決定のために使用する。副顔の焦点検出領域は合焦位置決定のためには使用しないが、合焦表示時に副顔の主領域のピーク位置と合焦位置が所定範囲内であるかを調べ、副顔のピーク位置と合焦位置が所定範囲内である場合は画像領域内の副顔の領域にも合焦枠を表示する。また、副顔は、主顔がＡＦスキャン後の合焦判定で、合焦不能と判定された場合に、合焦位置決定のために用いる。そのため、副顔についても、画像領域内の中央からの距離と顔サイズから、優先度を決定しておく。
【００７１】
ステップＳ１０８では、移動量情報取得領域３０２の設定を行う。移動量情報取得領域３０２は、主顔の焦点検出領域を包含するように設定される。移動量情報取得領域３０２は、ＡＦスキャン中の被写体の移動量を検出する範囲である。そのため、被写体光学像の撮像素子上での移動状況（速度、加速度）やＡＦスキャン中のフレームレートに応じて、ＡＦスキャン中に被写体（主顔）が領域外に出ることのないように設定するのが好ましい。被写体光学像の撮像素子上での移動状況は、被写体移動や撮影者の手振れによる情報を用いて推定してもよい。ステップＳ１０８を終えると、焦点検出領域設定のサブルーチンを終了する。
【００７２】
次に、図６のフローチャートを参照しながら、図１のステップＳ６における相対移動量の取得と焦点検出領域の設定のサブルーチンについて説明する。ここでは、ステップＳ１で設定された移動量情報取得領域を用いて、ＡＦスキャン中の被写体の相対移動量を検出し、検出された移動量に基づいて焦点検出領域の更新を行う。
【００７３】
ステップＳ６０１では、撮像素子５から出力された信号を用いて、移動量情報取得領域におけるラインピーク評価値を算出し記憶する。次に、ステップＳ６０２で、以前のラインピーク評価値を含む複数のラインピーク評価値を記憶しているかどうかを判定する。記憶していない場合には、本サブルーチンを終了する。
【００７４】
ステップＳ６０２で以前の撮像素子５からの出力信号を含む複数フレームのラインピーク評価値を記憶している場合には、ステップＳ６０３で相対移動量の取得を行う。相対移動量は、相関演算手段としてのＣＰＵ１５により、時間的に連続する２つのラインピーク評価値の像ずれ量を算出することにより求める。ｎ枚目のフレームの信号から得られたラインピーク評価値をＡ(ｋ)（第１の単位評価値群）、ｎ＋１枚目のフレームの信号から得られたラインピーク評価値をＢ（ｋ）（第２の単位評価値群）とする。ｋは、移動量情報取得領域３０２内における垂直方向の行番号を示しており、ｋ行目のラインピーク値をＡ（ｋ）、Ｂ（ｋ）と表している。図７に、ラインピーク評価値Ａ（ｋ）、Ｂ（ｋ）の例を示す。
【００７５】
像ずれ量を算出するに当たり２つの信号（Ａ（ｋ）、Ｂ（ｋ））をシフトさせながら相関量ＣＯＲを下記の式により算出する。
【００７６】
【数１】
2015152830.tif 000003
【００７７】
…（１）
式（１）で、シフト量をｓ１、シフト量ｓ１のシフト範囲をΓ１としている。シフト量ｓ１のシフト処理により、ｋ番目の第１信号Ａ（ｋ）とｋ−ｓ１番目の第２信号Ｂ（ｋ−ｓ１）を対応させ減算し、シフト減算信号を生成する。生成されたシフト減算信号の絶対値を計算し、移動量情報取得領域３０２に対応する範囲Ｗ内で番号ｋの和を取り、相関量ＣＯＲ（ｓ１）を算出する。
【００７８】
更に、相関量から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出して図７の波形にも示したような像ずれ量ｄ１を得る。ここで算出された像ずれ量ｄ１は、垂直方向の被写体の相対移動量と対応する。
【００７９】
同様に、垂直方向にもＡＦ用評価値を算出できる構成の場合には、水平方向の相対移動量ｄ２を算出する。
【００８０】
上述の例では、輝度信号Ｙから計算されたラインピーク評価値を用いたが、ベイヤー配列の撮像素子信号であるＲＧＢ（赤、緑、青）を用いてラインピーク評価値を算出してもよい。この場合、ＲＧの行とＧＢの行が存在するため、ラインピーク評価値は、偶数行と奇数行で、区別して算出する。これにより、上述の処理と同様にして像ずれ量の取得を行うことができる。
【００８１】
次に、ステップＳ６０４にて、信頼性判定手段としてのＣＰＵ１５は、像ずれ量の算出に用いた１対のラインピーク評価値Ａ（ｋ）、Ｂ（ｋ）の信頼性を算出する。信頼性の算出方法としては、位相差検出式焦点検出で用いられている方法を用いればよい。例えば、特開２００７−５２０７２号公報に開示されているＳレベルを用いて判定すればよい。Ｓレベルの値の大きさによって、算出された像ずれ量の信頼性を測ることができる。本実施形態では、フォーカスレンズ群３を移動しながら得られた撮像素子５の出力信号を用いて像ずれ量を算出する。そのため、デフォーカス状態の異なる１対のラインピーク評価値を用いて相対移動量を算出する。大きくデフォーカスした状態で得られた１対のラインピーク評価値から信頼性の高い像ずれ量を算出することは困難であるため、Ｓレベルなどを用いて信頼性判定を行う。
【００８２】
次に、ステップＳ６０５で、得られた相対移動量（像ずれ量）の信頼性が有るか否かを判定する。信頼性が無い場合には、本サブルーチンを終了する。信頼性が有る場合には、ステップＳ６０６に進み、焦点検出領域３０３の更新を行う。ここで行う焦点検出領域の更新は、焦点検出領域内の水平方向の焦点評価値（全ライン積分評価値）を算出する際に行う垂直方向のラインピーク値の積分範囲とラインピーク値を算出する水平方向の範囲を決めるものである。
【００８３】
図７では、ラインピーク評価値Ａ（ｋ）、Ｂ（ｋ）が取得される移動量情報取得領域、更新前の焦点検出領域、更新後の焦点検出領域も合わせて示している。移動量情報取得領域内において、更新前の焦点検出領域３０３で算出される焦点評価値がａ行目からｂ行目の積分値であった場合、更新後の焦点検出領域３０３は、ａ＋ｄ１行目からｂ＋ｄ１行目とする。更新後には、ａ＋ｄ１行目からｂ＋ｄ１行目の範囲でラインピーク値の積分を行うことにより焦点評価値を算出する。
【００８４】
また、水平方向の相対移動量ｄ２が算出されている場合には、焦点検出領域３０３の水平方向の範囲を更新する。更新前の焦点検出領域３０３がｃ列目からｄ列目であった場合、更新後の焦点検出領域３０３はｃ＋ｄ２列目からｄ＋ｄ２列目の範囲でラインピーク値を積分し焦点評価値を算出する。
【００８５】
次に、ステップＳ６０７に進むと、移動量情報取得領域３０２の更新を行う。これは、移動量情報取得領域内の特徴的な情報が領域外に移動することを防ぐために行う。垂直、水平方向の相対移動量ｄ１、ｄ２を用いて次に撮像素子５から得られる信号から各種ＡＦ用評価値を算出する際に用いる。
【００８６】
ステップＳ６０７で行う移動量情報取得領域の更新は、検出された移動量の大小により省略してもよい。すなわち、所定値より小さい値が移動量として検出された場合には、移動量情報取得領域の更新は行わない。
【００８７】
また、移動量情報取得領域の更新は、垂直、水平方向の相対移動量ｄ１、ｄ２の累積値を用いて行ってもよい。累積相対移動量（累積移動量）を用いる場合には、上述の焦点検出領域を設定する際に用いる相対移動量ｄ１、ｄ２に対して、より分解能の高い情報を有していることが望ましい。例えば、像ずれ量ｄ１が、３．２画素であると得られた場合、焦点検出領域は像ずれ量ｄ１を四捨五入し、ｄ１＝３であるとしてよい。一方、累積相対移動量を算出する際には、四捨五入により発生する誤差も累積してしまうため、像ずれ量ｄ１＝３．２画素を用いて累積相対移動量を算出する方が、より精度良い値を算出することができる。
ステップＳ６０７を終えると、相対移動量の取得と焦点検出領域の設定のサブルーチンを終了し、ステップＳ７に進む。
【００８８】
本実施形態では、焦点検出方法として、コントラスト検出式の焦点検出方法を用いたが、焦点検出方法はこれに限らない。例えば、撮像素子上に焦点検出用画素を配した位相差検出式の焦点検出方法を用いてもよい。例えば、特開２０１２−６３３９６号公報に開示されているような技術を用いてもよい。その場合には、図３のステップＳ７で、位相差検出によりデフォーカス量に対応する像ずれ量を取得し、ステップＳ１０に進めばよい。
【００８９】
次に、図８を用いて、図３で説明したＡＦ動作を行う場合の被写体の位置情報の取得と相対移動量の取得のタイミングの一例について説明する。図８で横軸は時間を示しており、Ｆ１からＦ１６は撮像素子５の出力信号の取得時刻を示している。Ｆ１からＦ４までは、第１の時間間隔で焦点検出データを取得している。Ｆ４でＡＦ動作が開始されると、より間隔の短い第２の時間間隔に変更され焦点検出データを取得する。また、Ｆ１４でＡＦ動作を終えると再び、第１の時間間隔に変更している様子を示している。
【００９０】
本実施形態では、第１の時間間隔の間は、位置情報の取得を行う。位置情報は、事前に設定された位置情報取得領域３０１の情報を用いて取得する。位置情報の取得方法としては、公知の顔検出や色情報などを用いた動きベクトルの算出、パターンマッチングなどが用いられる。ここでの特徴は、位置情報の取得は検出される情報量が、位置、大きさ、傾き、個人認証などと多いが、検出に必要な演算が多く時間が必要な点である。そのため、図８では、第１の時間間隔の２回に１回、位置情報の更新が行われている。
【００９１】
一方、第２の時間間隔で焦点検出データを取得する場合には、相対移動量の取得を、毎フレーム行う。相対移動量の取得の特徴は、位置情報取得領域３０１に対して狭い領域を移動量情報取得領域３０２とし、演算内容を簡略化することにより、より高速な情報算出を行うことができる点である。
【００９２】
本実施形態では、ＡＦ動作開始後、複数のフレームが取得されると、相対移動量は算出される（Ｆ５以降）。これにより、Ｆ３とＦ４の間で得られた位置情報を初期値とした相対移動量による焦点検出領域３０３の更新を行う。時系列に複数のデータを取得して、焦点検出を行う場合には、得られた時系列のデータが被写体の同一領域から得られた信号であることが望ましい。これは、コントラスト検出式の焦点検出の場合には、ピーク位置の検出の精度に係わり、位相差検出式の焦点検出の場合には、被写体移動の予測処理の精度に係わる。本実施形態では、焦点検出中に、フレームレートを高速に切り替えることにより焦点調節を高速に行うと共に、焦点検出領域を高速に被写体の移動に追従させることができる。これにより、高精度な焦点検出を行うことができる。
【００９３】
ＡＦ動作を終えると、Ｆ１４以降は、焦点検出データの取得間隔が、第１の時間間隔に変更され、再び、位置情報の取得を行う。
【００９４】
以上の実施形態では、被写体の相対移動量の検出を、ラインピーク評価値の経時変化（像ずれ量）を用いて行ったが、検出方法はこれに限らない。例えば、輝度信号Ｙのラインピーク値を用いてもよい。また、代表的な行や列として、例えば、焦点検出領域内の中心の行や列を選択し、その行や列の輝度信号を用いて像ずれ量を算出してもよい。ただし、ラインピーク評価値を用いて相対移動量の検出を行う利点については上述した通りである。
【００９５】
被写体の相対移動量の検出は、検出の方向によって使い分けてもよい。例えば、水平方向にのみＡＦ評価を行う際は、水平方向の焦点評価値の算出過程で算出されるラインピーク評価値を用いて、被写体の垂直方向の相対移動量を算出し、被写体の水平方向の相対移動量は、輝度信号を用いて行ってもよい。これにより、演算負荷を低減したまま、水平、垂直方向の被写体の相対移動量を検出することができる。
【００９６】
また、撮像素子に、焦点検出用画素を配し、位相差検出式の焦点検出を行うことが可能な場合には、本実施形態の相対移動量は、焦点検出用画素の出力信号を用いて行ってもよい。その場合、撮影光学系の射出瞳上の異なる領域を通過した光束を受光する焦点検出用画素対の内、一方の焦点検出用画素を用いて、ラインピーク評価値や輝度信号を算出し相対移動量の算出を行えばよい。
【００９７】
本実施形態では、図３のステップＳ６で相対移動量の取得を、撮像素子で信号を取得する度に行うように構成したが、相対移動量の取得を省いてもよい。例えば、事前に得られた焦点評価値が小さい等、デフォーカス量が大きいことが想定される場合には、ラインピーク評価値の算出や相対移動量の算出を省略しても、焦点検出精度に影響を与えない。これにより、焦点調節中の演算負荷を低減することができる。
【００９８】
以上説明したように、本実施形態によれば、焦点検出前後の被写体情報の取得方法を変更することにより、フレームレートによらず、画面内の被写体の位置検出を高精度に行うことを可能にする。これにより、焦点検出方法によらず、焦点検出精度を高めることができる。
【００９９】
次に、図８では、図３のＡＦ動作を実現する例を示したが、変形例として図９を説明する。図９は図８と同様に、図３で説明したＡＦ動作を行う場合の被写体の位置情報の取得と相対移動量の取得のタイミングの一例である。図８で横軸は時間を示しており、Ｆ１からＦ１６は撮像素子５の出力信号の取得時刻を示している。Ｆ１からＦ４までは、第１の時間間隔で焦点検出データを取得している。Ｆ４でＡＦ動作が開始されると、より間隔の短い第２の時間間隔に変更され焦点検出データを取得する。また、Ｆ１４でＡＦ動作を終えると再び、第１の時間間隔に変更している様子を示している。
【０１００】
図８との違いは、第１の時間間隔で焦点検出データを取得している間にも相対移動量を取得している点である。位置情報の取得は上述の通り、時間がかかるため、第１の時間間隔の２回に１回、位置情報の更新が行われている。一方相対移動量は、より高速に情報を取得することができるため、図９の例では、位置情報の取得中も相対移動量を取得し、被写体の位置情報を補間して、より高精度な検出を可能にする。これにより、第１の時間間隔の間も相対移動量を取得するため、演算量は増えるが、ＡＦ開始のタイミングが、例えばＦ２とＦ３の間のように、位置情報取得のタイミングと離れている場合でも、相対移動量により高精度な被写体位置情報を得ることができる。
【０１０１】
（第２の実施形態）
以下、図１０を参照して、本発明の第２の実施形態について説明する。第１の実施形態との主な違いは、相対移動量を算出する度に、累積値として累積相対移動量も算出し、累積相対移動量の大小を判定する点である。累積相対移動量が大きい場合には、被写体の位置情報を誤検出している場合や、相対移動量の算出精度が悪い場合が考えられるため、再度焦点調節を行う。これにより、相対移動量により焦点検出領域を更新する際に、焦点検出精度の悪化が懸念される場合の焦点検出を回避することができ、最終的に得られる焦点検出精度を向上することができる。
【０１０２】
なお、第１の実施形態における焦点調節装置を有する撮像装置のブロック図（図１）、各種ＡＦ用評価値の説明図（図２）、焦点検出領域の設定の説明図（図４）、ＡＦ動作におけるサブルーチン（図５、図６）、対のラインピーク評価値の例を示す図（図７）に関しては、第２の実施形態においても同様の構成であり、同様の動作を行うため、説明は省略する。
【０１０３】
第２の実施形態で行う処理内容が、第１の実施形態とは異なる点、すなわち図３のＡＦ動作のフローチャートと異なる点について、図１０を用いて説明する。図１０において、図３と同様の処理を行う箇所については、同じステップ番号を付しており、説明は省略する。
【０１０４】
図１０のステップＳ２１では、ステップＳ６で算出された相対移動量を累積する。次に、ステップＳ２２で、累積相対移動量が所定値より大きいか否かを判定する。所定値以下の場合には、ステップＳ７に進む。
【０１０５】
累積相対移動量が所定値より大きい場合には、ステップＳ２３に進み、再度焦点調節をやり直すため、ＡＦ開始位置へフォーカスレンズ群３を駆動する。例えば、ＡＦ開始位置として、無限距離の被写体に焦点が合う状態となるようフォーカスレンズ群３を移動する。
【０１０６】
次に、ステップＳ２４では、焦点検出領域３０３の設定を再度行う。ここで行う処理は、ステップＳ１で行う処理と同様である。その後、ステップＳ２５で累積相対移動量のリセットを行い、ステップＳ５に進む。これにより、累積相対移動量が大きい場合には、焦点検出領域の設定を再度、位置情報の取得からやり直した上で行うことができる。これは、相対移動量の算出は、算出の度に検出誤差を含んでいるため、その誤差の積み重ねにより、撮影者が焦点調節を行いたい被写体とは異なる領域の焦点検出を行ってしまう可能性が有るために行う処理である。また、別の目的として、被写体の移動量が大きく、焦点評価値を算出するために主要な特徴量を含む領域が、移動量情報取得領域３０２や焦点検出領域３０３から外れてしまうことを防ぐために行う処理である。
【０１０７】
以上の理由から、再度焦点調節を行うため、累積相対移動量の大きさだけではなく、相対移動量の計算回数の大小や相対移動量算出時の信頼性判定により、再度焦点調節を行うか否かを判定してもよい。
【０１０８】
累積相対移動量は、第１の実施形態に記載した通り、上述の焦点検出領域を設定する際に用いる相対移動量ｄ１、ｄ２に対して、より分解能の高い情報を有していることが望ましい。
【０１０９】
以上のような処理をすることにより、相対移動量の算出時の誤差や被写体の移動に影響されず、高精度な焦点調節を行うことができる。
【０１１０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１１１】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015152830.tif 000004
【図２】
2015152830.tif 000005
【図３】
2015152830.tif 000006
【図４】
2015152830.tif 000007
【図５】
2015152830.tif 000008
【図６】
2015152830.tif 000009
【図７】
2015152830.tif 000010
【図８】
2015152830.tif 000011
【図９】
2015152830.tif 000012
【図１０】
2015152830.tif 000013