(57)【要約】【課題】適切にフォーカス制御を行う。【解決手段】撮像装置は、制御部を具備する。制御部は、第１モードと第２モードとの何れかを所定条件に基づいて設定する制御を行う。ここで、第１モードは、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。また、第２モードは、フォーカスレンズが異なる位置となった状態で撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。【選択図】図２
2013130761.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１モードと、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置。
【請求項２】
前記制御部は、前記フォーカスレンズの位置と前記マッチング処理結果の履歴とに基づいて、前記第１モードおよび前記第２モード間の切替の要否を判断する請求項１記載の撮像装置。
【請求項３】
前記制御部は、前記第１モードが設定されている場合において、前記フォーカスレンズの位置が収束し、かつ、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２モードを設定する制御を行う請求項１記載の撮像装置。
【請求項４】
前記制御部は、前記第２モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１モードを設定する制御を行う請求項１記載の撮像装置。
【請求項５】
前記制御部は、前記第２モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、前記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１モードを設定する制御を行う請求項１記載の撮像装置。
【請求項６】
前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する
請求項２記載の撮像装置。
【請求項７】
前記制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する請求項２記載の撮像装置。
【請求項８】
前記制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する請求項２記載の撮像装置。
【請求項９】
前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う
請求項１記載の撮像装置。
【請求項１０】
前記制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う請求項１記載の撮像装置。
【請求項１１】
前記制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う請求項１記載の撮像装置。
【請求項１２】
第１モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１処理手順と、
第２モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２処理手順と、
所定条件に基づいて、前記第１モードと前記第２モードとの何れかを設定する制御を行う制御手順と
を具備する撮像装置の制御方法。
【請求項１３】
第１モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１処理手順と、
第２モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２処理手順と、
所定条件に基づいて、前記第１モードと前記第２モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置に関する。詳しくは、フォーカス制御を行う撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、風景や人物等の被写体を撮像して画像（画像データ）を生成し、生成された画像を画像コンテンツとして記録するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が広く普及している。また、ユーザ操作による撮像動作の失敗を防止するため、フォーカス制御を自動で行う撮像装置が多数提案されている。
【０００３】
例えば、画像データのコントラストの高低を利用してフォーカス制御を行う撮像装置が提案されている。また、例えば、異なる焦点距離で撮像された２つの画像を用いて、フォーカスレンズを移動させる位置を推定する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１２８６２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、画像データを用いてフォーカス制御を行うことができるため、フォーカス制御を行うための追加デバイスを撮像装置に設ける必要がない。
【０００６】
しかしながら、被写体や撮影状況によっては、合焦位置とは異なる位置にフォーカスレンズを移動させたり、合焦位置にフォーカスレンズを移動させる時間が長くなったりすることがある。そこで、被写体や撮影状況に応じて、適切にフォーカス制御を行うことが重要である。
【０００７】
本技術はこのような状況に鑑みて生み出されたものであり、適切にフォーカス制御を行うことを目的とする。
【課題を解決するための手段】
【０００８】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１モードと、上記フォーカスレンズが異なる位置となった状態で上記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて上記フォーカスレンズを移動させてオートフォーカス処理を行う第２モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置およびその制御方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第１モードと第２モードとの何れかを所定条件に基づいて設定するという作用をもたらす。
【０００９】
また、この第１の側面において、上記制御部は、上記フォーカスレンズの位置と上記マッチング処理結果の履歴とに基づいて、上記第１モードおよび上記第２モード間の切替の要否を判断するようにしてもよい。これにより、フォーカスレンズの位置とマッチング処理結果の履歴とに基づいて、第１モードおよび第２モード間の切替の要否を判断するという作用をもたらす。
【００１０】
また、この第１の側面において、上記制御部は、上記第１モードが設定されている場合において、上記フォーカスレンズの位置が収束し、かつ、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを上記所定条件とし、上記所定条件を満たす場合には、上記第２モードを設定する制御を行うようにしてもよい。これにより、第１モードの設定時において、フォーカスレンズの位置が収束し、かつ、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きい場合には、第２モードを設定するという作用をもたらす。
【００１１】
また、この第１の側面において、上記制御部は、上記第２モードが設定されている場合において、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１モードを設定する制御を行うようにしてもよい。これにより、第２モードの設定時において、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さい場合には、第１モードを設定するという作用をもたらす。
【００１２】
また、この第１の側面において、上記制御部は、上記第２モードが設定されている場合において、上記フォーカスレンズの位置と上記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、上記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを上記所定条件とし、上記所定条件を満たす場合には、上記第１モードを設定する制御を行うようにしてもよい。これにより、第２モードの設定時において、フォーカスレンズの位置とマッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、その推定された合焦位置の履歴の重み分散が閾値を基準として小さい場合には、第１モードを設定するという作用をもたらす。
【００１３】
また、この第１の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
【００１４】
また、この第１の側面において、上記制御部は、上記第１画像における輝度検波値と、上記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、第１画像における輝度検波値と、第２画像における輝度検波値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
【００１５】
また、この第１の側面において、上記制御部は、上記第１画像の生成時における絞り値と、上記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における上記マッチング処理結果を上記履歴として用いずに上記切替の要否を判断するようにしてもよい。これにより、第１画像の生成時における絞り値と、第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合におけるマッチング処理結果を、履歴として用いずに、切替の要否を判断するという作用をもたらす。
【００１６】
また、この第１の側面において、上記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、上記制御部は、上記検出された姿勢の変化が閾値を基準として大きい場合には、上記第１モードを設定する制御を行うようにしてもよい。これにより、検出された姿勢の変化が閾値を基準として大きい場合には、第１モードを設定するという作用をもたらす。
【００１７】
また、この第１の側面において、上記制御部は、上記第１画像における輝度検波値と、上記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、上記第１モードを設定する制御を行うようにしてもよい。これにより、第１画像における輝度検波値と、第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、第１モードを設定するという作用をもたらす。
【００１８】
また、この第１の側面において、上記制御部は、上記第１画像の生成時における絞り値と、上記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、上記第１モードを設定する制御を行うようにしてもよい。これにより、第１画像の生成時における絞り値と、第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、第１モードを設定するという作用をもたらす。
【発明の効果】
【００１９】
本技術によれば、適切にフォーカス制御を行うことができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００２０】
【図１】本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【図３】本技術の第１の実施の形態におけるコントラストＡＦ処理部２７０がコントラストＡＦ処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。
【図４】本技術の第１の実施の形態における２画像マッチングＡＦ処理部２８０による２画像マッチング処理の一例を模式的に示す図である。
【図５】本技術の第１の実施の形態におけるフォーカスレンズの合焦位置からの距離と、２画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。
【図６】本技術の第１の実施の形態における制御部２６０によるＡＦモード切替処理の流れの一例を模式的に示す図である。
【図７】本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【図８】本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【図９】本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【図１０】本技術の第１の実施の形態における撮像装置１００によるＡＦ処理の処理手順の一例を示すフローチャートである。
【図１１】本技術の第１の実施の形態における撮像装置１００による２画像マッチング処理の処理手順のうちの判定処理手順を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（フォーカス制御：コントラストＡＦモードおよび２画像マッチングＡＦモードを所定条件に基づいて切り替える例）
【００２２】
＜１．第１の実施の形態＞
［撮像装置の内部構成例］
図１は、本技術の第１の実施の形態における撮像装置１００の内部構成例を示すブロック図である。
【００２３】
撮像装置１００は、撮像レンズ１０１と、撮像素子１０２と、アナログ信号処理部１０３と、Ａ／Ｄ（Analog/Digital）変換部１０４と、デジタル信号処理部１０５とを備える。また、撮像装置１００は、液晶パネル１０６と、ビューファインダ１０７と、記録デバイス１０８と、被写体検出部１０９と、ジャイロセンサ１１０と、制御部１２０とを備える。また、撮像装置１００は、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）１３１を備える。また、撮像装置１００は、ＲＯＭ（Read Only Memory）１３２と、ＲＡＭ（Random Access Memory）１３３とを備える。また、撮像装置１００は、操作部１４０と、ＴＧ（Timing Generator）１５１と、モータドライバ１５２と、フォーカスレンズ駆動モータ１５３と、ズームレンズ駆動モータ１５４とを備える。また、撮像装置１００は、例えば、ＡＦ（Auto Focus）処理を行うことが可能なデジタルスチルカメラやデジタルビデオカメラ（例えば、カメラ一体型レコーダ）により実現される。
【００２４】
撮像レンズ１０１は、被写体からの光を集光してその集光された光を撮像素子１０２に供給するレンズであり、ズームレンズ、フォーカスレンズ、アイリス、ＮＤ（Neutral Density）機構、シフト防振式手ブレ補正レンズ等から構成されている。ズームレンズは、焦点距離を連続的に変更するためのレンズである。また、フォーカスレンズは、被写体にフォーカス（焦点）を合わせるためのレンズである。また、アイリスは、絞りの径を変化させるためのものである。また、ＮＤ機構は、ＮＤフィルタを挿入するための機構である。また、シフト防振式手ブレ補正レンズは、撮像動作時におけるユーザの手の振動を補正するためのレンズである。また、フォーカスレンズは、フォーカスレンズ駆動モータ１５３により駆動され、被写体に対して前後に移動する。これにより、フォーカス機能が実現される。また、ズームレンズは、ズームレンズ駆動モータ１５４により駆動され、被写体に対して前後に移動する。これにより、ズーム機能が実現される。
【００２５】
撮像素子１０２は、撮像レンズ１０１を介して入射される被写体からの光を受光して電気的信号（画像信号）に変換させる光電変換素子であり、この変換により生成された画像信号（アナログ信号）をアナログ信号処理部１０３に供給する。すなわち、撮像レンズ１０１を介して入射された被写体の光学像が撮像素子１０２の撮像面に結像され、この状態で撮像素子１０２が撮像動作を行うことにより、画像信号（アナログ信号）が生成される。また、撮像素子１０２は、ＴＧ１５１により駆動される。なお、撮像素子１０２として、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いることができる。
【００２６】
アナログ信号処理部１０３は、制御部１２０の制御に基づいて、撮像素子１０２から供給された画像信号（アナログ信号）についてノイズ除去等のアナログ処理を施すものである。そして、アナログ信号処理部１０３は、そのアナログ処理が施された画像信号（アナログ信号）をＡ／Ｄ変換部１０４に供給する。
【００２７】
Ａ／Ｄ変換部１０４は、制御部１２０の制御に基づいて、アナログ信号処理部１０３から供給された画像信号（アナログ信号）をデジタル信号に変換するものであり、このＡ／Ｄ変換された画像信号（デジタル信号）をデジタル信号処理部１０５に供給する。
【００２８】
デジタル信号処理部１０５は、制御部１２０の制御に基づいて、Ａ／Ｄ変換部１０４から供給された画像信号（デジタル信号）についてガンマ補正等のデジタル処理を行うものであり、デジタル処理が施された画像信号（デジタル信号）を各部に供給する。例えば、デジタル信号処理部１０５は、デジタル処理が施された画像信号（デジタル信号）を液晶パネル１０６およびビューファインダ１０７に供給して表示させる。また、デジタル信号処理部１０５は、デジタル処理が施された画像信号（デジタル信号）について圧縮処理を施し、この圧縮処理が施された画像データ（圧縮画像データ）を記録デバイス１０８に供給して記録させる。
【００２９】
液晶パネル１０６は、デジタル信号処理部１０５から供給された画像信号（画像データ）に基づいて各画像を表示する表示パネルである。液晶パネル１０６は、例えば、デジタル信号処理部１０５から供給された画像信号（画像データ）をスルー画像として表示する。また、例えば、液晶パネル１０６は、記録デバイス１０８に記録されている画像データを一覧画像として表示する。液晶パネル１０６として、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）パネル等の表示パネルを用いることができる。
【００３０】
ビューファインダ１０７は、デジタル信号処理部１０５から供給された画像信号（画像データ）に基づいて各画像を表示する電子ビューファインダ（ＥＶＦ（Electronic View Finder）である。
【００３１】
記録デバイス１０８は、デジタル信号処理部１０５から供給された画像信号（画像データ）を記録する記録デバイスである。また、記録デバイス１０８は、記録されている画像データをデジタル信号処理部１０５に供給する。なお、記録デバイス１０８は、撮像装置１００に内蔵するようにしてもよく、撮像装置１００から着脱可能とするようにしてもよい。また、記録デバイス１０８として、フラッシュメモリやＤＶテープを用いることができる。
【００３２】
被写体検出部１０９は、制御部１２０の制御に基づいて、デジタル信号処理部１０５から供給された画像信号（画像データ）の解析を行い、その画像に含まれる被写体を検出するものであり、この検出結果（検出情報）を制御部１２０に出力する。例えば、被写体検出部１０９は、デジタル信号処理部１０５から供給された画像信号（画像データ）に対応する画像に含まれる人物の顔を検出し、この検出された顔に関する顔情報を制御部１２０に出力する。顔検出方法として、例えば、顔の輝度分布情報が記録されているテンプレートと実画像とのマッチングによる顔検出方法（例えば、特開２００４−１３３６３７参照。）、画像データに含まれる肌色の部分や人間の顔の特徴量等に基づいた顔検出方法等を用いることができる。また、顔検出情報には、検出された顔の画像上における位置およびサイズが含まれる。また、被写体検出部１０９は、デジタル信号処理部１０５から供給された画像信号（画像データ）についてＡＦを追従する被写体を認識する機能を備える。
【００３３】
ジャイロセンサ１１０は、撮像装置１００の角速度を検出するものであり、検出された角速度を制御部１２０に出力する。ジャイロセンサ１１０による撮像装置１００の角速度の検出により、撮像装置１００の姿勢の変化が検出される。なお、ジャイロセンサ以外の他のセンサ（例えば、加速度センサ）を用いて、撮像装置１００の加速度、動き、傾き等を検出し、この検出結果に基づいて、撮像装置１００の姿勢およびその変化を検出するようにしてもよい
【００３４】
制御部１２０は、ＣＰＵ（Central Processing Unit）を備え、ＲＯＭ１３２に格納されているプログラムに基づいて、撮像装置１００が実行する各種処理の制御を実行する。例えば、制御部１２０は、被写体にフォーカスを合わせるＡＦ機能、明るさの調節を行うＡＥ（Auto Exposure）機能、ホワイトバランスを行うＷＢ（White Balance）機能等の各機能を実現するための各処理を行う。また、制御部１２０は、ＡＦ、マニュアル操作、ズーム操作に応じたフォーカスの追従等によるフォーカスレンズに関する制御情報や、ズーム操作によるズームレンズに関する制御情報等をモータドライバ１５２に出力する。
【００３５】
ＥＥＰＲＯＭ１３１は、撮像装置１００が電源オフの間もデータを保持することが可能な不揮発性メモリであり、画像データ、各種補助情報、各種設定情報が格納される。
【００３６】
ＲＯＭ１３２は、制御部１２０が使用するプログラムや演算パラメータ等を格納するメモリである。
【００３７】
ＲＡＭ１３３は、制御部１２０が使用するプログラムやその実行時において適宜変化するパラメータ等を格納する作業用のメモリである。
【００３８】
操作部１４０は、ＲＥＣボタン（録画ボタン）、ズーム操作、タッチパネル操作等のユーザからの操作入力を受け付けるものであり、受け付けられた操作入力の内容を制御部１２０に供給する。
【００３９】
ＴＧ１５１は、制御部１２０の制御に基づいて、撮像素子１０２を駆動させるための駆動制御信号を生成し、撮像素子１０２を駆動させるものである。
【００４０】
モータドライバ１５２は、制御部１２０の制御に基づいて、フォーカスレンズ駆動モータ１５３およびズームレンズ駆動モータ１５４を駆動させて各レンズ（フォーカスレンズ、ズームレンズ等）を駆動させるものである。すなわち、モータドライバ１５２は、制御部１２０から出力された制御信号（各モータを動かすための制御情報）を電圧に変換し、この変換された各電圧をフォーカスレンズ駆動モータ１５３、ズームレンズ駆動モータ１５４に出力する。そして、モータドライバ１５２は、各モータを駆動させて各レンズを駆動させる。
【００４１】
フォーカスレンズ駆動モータ１５３は、モータドライバ１５２から出力された電圧に基づいて、フォーカスレンズを移動させるモータである。また、ズームレンズ駆動モータ１５４は、モータドライバ１５２から出力された電圧に基づいて、ズームレンズを移動させるモータである。
【００４２】
［撮像装置の機能構成例］
図２は、本技術の第１の実施の形態における撮像装置１００の機能構成例を示すブロック図である。
【００４３】
撮像装置１００は、姿勢検出部２１０と、撮像部２２０と、画像処理部２３０と、記録制御部２４０と、コンテンツ記憶部２４１と、表示制御部２５０と、表示部２５１とを備える。また、撮像装置１００は、制御部２６０と、履歴情報保持部２６１と、コントラストＡＦ処理部２７０と、２画像マッチングＡＦ処理部２８０と、操作受付部２９０とを備える。
【００４４】
姿勢検出部２１０は、撮像装置１００の姿勢の変化（角速度）を検出するものであり、検出された姿勢の変化（角速度）に関する情報（姿勢情報）を制御部２６０に出力する。なお、姿勢検出部２１０は、図１に示すジャイロセンサ１１０に対応する。
【００４５】
撮像部２２０は、画像データ（画像信号）を生成するものであり、生成された画像データを画像処理部２３０、コントラストＡＦ処理部２７０および２画像マッチングＡＦ処理部２８０に出力する。また、撮像部２２０は、コントラストＡＦ処理部２７０または２画像マッチングＡＦ処理部２８０の制御に基づいて、フォーカスレンズを移動させてＡＦ機能を実現する。なお、撮像部２２０は、例えば、図１に示す撮像レンズ１０１、撮像素子１０２、フォーカスレンズ駆動モータ１５３およびズームレンズ駆動モータ１５４に対応する。
【００４６】
画像処理部２３０は、制御部２６０の指示に基づいて、撮像部２２０から出力された画像データについて各種画像処理を施すものであり、各種画像処理が施された画像データを記録制御部２４０、表示制御部２５０および制御部２６０に出力する。なお、画像処理部２３０は、例えば、図１に示すアナログ信号処理部１０３、Ａ／Ｄ変換部１０４およびデジタル信号処理部１０５に対応する。
【００４７】
記録制御部２４０は、制御部２６０の指示に基づいて、コンテンツ記憶部２４１に対する記録制御を行うものである。例えば、記録制御部２４０は、画像処理部２３０から出力された画像データを画像コンテンツ（静止画ファイルまたは動画ファイル）としてコンテンツ記憶部２４１に記録させる。なお、記録制御部２４０は、例えば、図１に示すデジタル信号処理部１０５および制御部２６０に対応する。
【００４８】
コンテンツ記憶部２４１は、記録制御部２４０の制御に基づいて、各種情報（画像コンテンツ等）を記憶する記録媒体である。なお、コンテンツ記憶部２４１は、例えば、図１に示す記録デバイス１０８に対応する。
【００４９】
表示制御部２５０は、制御部２６０の指示に基づいて、画像処理部２３０から出力された画像を表示部２５１に表示させるものである。なお、表示制御部２５０は、例えば、図１に示すデジタル信号処理部１０５および制御部１２０に対応する。
【００５０】
表示部２５１は、表示制御部２５０の制御に基づいて各画像を表示する表示パネルである。なお、表示部２５１は、例えば、図１に示す液晶パネル１０６、ビューファインダ１０７に対応する。
【００５１】
制御部２６０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置１００における各部を制御するものである。例えば、制御部２６０は、コントラストＡＦモード（第１モード）および２画像マッチングＡＦモード（第２モード）の何れかを、所定条件に基づいて設定する制御を行う。ここで、コントラストＡＦモードは、コントラストＡＦ処理部２７０が、撮像部２２０により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うモードである。また、２画像マッチングＡＦモードは、２画像マッチングＡＦ処理部２８０が、第１画像および第２画像に関するマッチング処理結果に基づいて、フォーカスレンズを移動させてオートフォーカス処理を行うモードである。この第１画像および第２画像は、フォーカスレンズが異なる位置となった状態で撮像部２２０により生成された２つの画像である。なお、これらのモードの設定制御については、図６乃至図９等を参照して詳細に説明する。なお、制御部２６０は、例えば、図１に示す制御部１２０に対応する。
【００５２】
履歴情報保持部２６１は、２画像マッチングＡＦ処理部２８０によるマッチング処理結果の履歴を順次保持する保持部である。なお、履歴情報保持部２６１は、例えば、図１に示すＲＡＭ１３３に対応する。
【００５３】
コントラストＡＦ処理部２７０は、コントラストＡＦモードが設定されている場合において、撮像部２２０により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行うものである。なお、コントラストＡＦ処理については、図３を参照して詳細に説明する。また、コントラストＡＦ処理部２７０は、例えば、図１に示す制御部１２０、モータドライバ１５２に対応する。
【００５４】
２画像マッチングＡＦ処理部２８０は、フォーカスレンズが異なる位置となった状態で撮像部２２０により生成された第１画像および第２画像に関するマッチング処理結果に基づいて、フォーカスレンズを移動させてオートフォーカス処理を行うものである。なお、２画像マッチングＡＦ処理については、図４、図５を参照して詳細に説明する。また、２画像マッチングＡＦ処理部２８０は、例えば、図１に示す制御部１２０、モータドライバ１５２に対応する。
【００５５】
操作受付部２９０は、ユーザにより行われた操作を受け付ける操作受付部であり、受け付けられた操作内容に応じた制御信号（操作信号）を制御部２６０に出力する。なお、操作受付部２９０は、例えば、図１に示す操作部１４０に対応する。
【００５６】
［コントラストＡＦと被写体との関係例］
図３は、本技術の第１の実施の形態におけるコントラストＡＦ処理部２７０がコントラストＡＦ処理を行う際におけるコントラストの評価値と撮像された画像との関係例を示す図である。図３では、高輝度の点光源が被写体に含まれる場合における関係例を示す。高輝度の点光源が含まれる被写体は、例えば、暗い空間上に強い１点の光が存在するようなシーンに対応する被写体である。
【００５７】
図３（ａ）には、フォーカスレンズの位置と、コントラストの評価値（ＡＦ評価値）との関係を示す。また、図３（ｂ）には、フォーカスレンズの位置と、撮像された画像（高輝度の点光源を含む画像）との関係を示す。
【００５８】
ここで、コントラストＡＦ処理について説明する。現在、動画の撮像動作中において、自動的に主要被写体にフォーカスを合わせ続ける機能（ＡＦ機能）を備える撮像装置（例えば、デジタルビデオカメラ（例えば、カメラ一体型レコーダ））が広く普及している。このＡＦ機能として、例えば、コントラスト測定に基づくフォーカス制御を行うコントラストＡＦ機能が存在する。このコントラストＡＦ機能では、レンズを介して取得された撮像データのコントラストの高低を判断してフォーカスレンズの位置を決定する。
【００５９】
すなわち、コントラストＡＦ機能では、撮像装置１００において取得される画像のコントラストの大小情報を用いてフォーカス制御を行う。例えば、撮像画像の特定領域をフォーカス制御用の信号取得領域（空間周波数抽出エリア）として設定する。この特定領域は、測距枠（検波枠）とも称される。この特定領域のコントラストが高くなるに応じてフォーカスが合っていると判定され、コントラストが低くなるに応じてフォーカスがずれていると判定される。そこで、コントラストＡＦ機能では、コントラストを最も高くする位置にフォーカスレンズを駆動させて調整する。
【００６０】
具体的には、特定領域の高周波成分を抽出し、この抽出された高周波成分の積分データを生成し、この生成された高周波成分積分データに基づいてコントラストの高低を判定する。
【００６１】
すなわち、フォーカスレンズを複数の位置に移動させながら複数の画像を取得し、各画像の輝度信号についてフィルタ処理（例えば、ハイパスフィルタ）を施すことにより、各画像のコントラスト強度を示すＡＦ評価値を得る。
【００６２】
ここで、フォーカスレンズが存在する位置においてフォーカスが合った被写体が存在する場合には、フォーカスレンズの位置に対するＡＦ評価値は曲線を描く。この曲線のピーク位置（すなわち、画像のコントラスト値が最大となる位置）が合焦位置となる。
【００６３】
このように、コントラストＡＦでは、撮像素子（イメージャ）に結像された画像の情報のみに基づいて合焦動作を行うことができるため、撮像光学系の他に測距光学系を撮像装置に備える必要がない。このため、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に広く普及している。
【００６４】
しかしながら、コントラストＡＦは、被写体がある一定条件を満たす場合には、正しく合焦することができないことがある。被写体がある一定条件を満たす場合は、例えば、図３（ａ）に示すように、高輝度の点光源が被写体に含まれる場合等である。
【００６５】
上述したように、コントラストＡＦでは、フォーカスレンズが合焦位置に近づくのに応じてコントラストの評価値が高くなり、フォーカスレンズが合焦位置から離れるのに応じて低くなる。しかしながら、図３（ａ）に示すように、高輝度の点光源が被写体に含まれる場合には、そのような関係が成立しないことがある。例えば、図３（ｂ）に示すように、高輝度の点光源３１１乃至３１４は、フォーカスレンズが合焦位置（矢印３０１、３２１）から離れるのに応じてエッジを保った状態で面積が大きくなることがある。このため、例えば、図３（ｂ）に示すように、フォーカスレンズの合焦位置（矢印３２１）とは全く異なる位置（矢印３２２）が、曲線３００のピーク位置となり、合焦位置であると判定されることがある。
【００６６】
また、コントラストＡＦ以外のＡＦ機能として、２画像マッチング処理によるＡＦ機能が存在する（例えば、特開２０１１−１２８６２３号参照。）。この２画像マッチング処理によるＡＦ機能については、図４、図５を参照して詳細に説明する。
【００６７】
［２画像マッチング処理例］
図４は、本技術の第１の実施の形態における２画像マッチングＡＦ処理部２８０による２画像マッチング処理の一例を模式的に示す図である。なお、図４に示す横軸は、フォーカスレンズの位置を示す軸とする。
【００６８】
２画像マッチング処理は、フォーカスレンズの位置をずらして生成された２つの画像を適合させることにより合焦位置を推定する処理である（例えば、特開２０１１−１２８６２３号参照。）。また、２画像マッチングＡＦ処理は、２画像マッチング処理により推定された合焦位置に基づいてフォーカスレンズを移動させるＡＦ処理である（例えば、特開２０１１−１２８６２３号参照。）。
【００６９】
図４では、撮像部２２０により生成された画像３３１、３３２を、その生成時におけるフォーカスレンズの位置に配置して示す。また、画像３３１は、フォーカスレンズの位置Ａで生成され、画像３３２は、フォーカスレンズの位置Ｂで生成されているものとする。なお、画像３３１は、画像３３２よりも鮮明であるものとする。
【００７０】
２画像マッチング処理では、異なる２つのフォーカスレンズの位置において生成された２つの画像３３１、３３２を用いて合焦位置（矢印３３５）までの距離（矢印３３６）を推定する。また、この演算を複数回数行うことにより精度を向上させることができる。
【００７１】
ここで、画像３３１および３３２に関するボケの変化は、次の式１で与えられる画像変換関数Ｐによってモデル化することができる。なお、式１では、画像３３１をｆＡで示し、画像３３２をｆＢで示す。
ｆＡ＊Ｐ＝ｆＢ    …  式１
【００７２】
ここで、＊は、２次元畳み込みを表す。また、画像変換関数Ｐは、次の式２に示すように、ボケカーネルＫによる一連の畳み込みを用いることによって近似することができる。
Ｐ＝Ｋ＊Ｋ＊Ｋ＊…＊Ｋ    …  式２
【００７３】
なお、ボケカーネルＫとしては、例えば、次の行列を用いることができる。
【数１】
2013130761.tif 000003
【００７４】
ここで、画像３３１および３３２のボケの差の量は、式２における畳み込み数によって測定することができる。すなわち、画像３３１および３３２が一致するまでの畳み込み数によって測定することができる。なお、この測定の演算結果例については、図５に示す。なお、実際に測定する場合には、２つの画像のボケの差は、反復処理を利用して得ることが好ましい。
【００７５】
［適合曲線例］
図５は、本技術の第１の実施の形態におけるフォーカスレンズの合焦位置からの距離と、２画像マッチング処理の演算結果との相関を示す適合曲線を示す図である。図５に示す横軸は、フォーカスレンズの位置を示し、縦軸は、反復数（式２における畳み込み数）を示す。
【００７６】
ここで、図５に示す縦軸の反復数（式２における畳み込み数）は、フォーカスレンズの合焦位置までの距離に対応する値となる。具体的には、図５に示す縦軸の反復数が「０」の場合には、フォーカスレンズの位置が合焦位置となっていることを意味する。例えば、図５において、横軸「４」付近が縦軸の反復数が「０」となる位置である。また、反復数が「０」から離れるのに応じて、フォーカスレンズの位置が合焦位置から離れることを意味する。この場合に、反復数の正負の値は、フォーカスレンズの移動方向を意味する。
【００７７】
ここで、２画像マッチング処理に用いる画像について説明する。２画像マッチング処理を行う場合には、例えば、動画のＡＦ中に撮像画像における中央領域（一定の割合）を切り出して演算に用いることができる。ただし、撮像画像における中央領域ではなく、撮像装置１００の利用者により指定された指定領域（撮像画像における領域（例えば、矩形領域））を切り出して演算に用いるようにしてもよい。この場合には、利用者が特にフォーカスを合わせたい被写体にフォーカスを合わせることができる。しかしながら、撮像画像における外周部では、レンズの収差と呼ばれる現象により合焦位置推定精度が悪化するおそれがある。このため、コントラストＡＦモードおよび２画像マッチングＡＦモードの切換え判定精度が悪化したり、２画像マッチングＡＦモードでのＡＦ所要時間が延びたりするおそれがある。このため、撮像画像における中央寄りの領域を指定領域として指定することが好ましい。
【００７８】
また、２画像マッチングＡＦ処理では、フォーカスレンズの位置が異なる２つの画像が演算に必要となるため、出力の得られる時間間隔がコントラストＡＦ処理よりも広くなる。このため、合焦位置の近傍での位置推定の精度が、コントラストＡＦ処理よりも低下するおそれがある。
【００７９】
また、２画像マッチングＡＦ処理では、２つの画像を取得するために一定の時間差が必要となる。このため、ユーザが撮像装置１００を動かしている状況（例えば、パンニングやチルティングをしている状況）や、被写体が移動や変形している状況等では、合焦位置の推定精度が低下するおそれがある。
【００８０】
また、２画像マッチングＡＦ処理では、２つの画像のフォーカスレンズの位置の差を利用するため、撮像部２２０（撮像レンズ１０１）の絞り開口部の大きさが自動露出調整機能等により変化している状況においても、合焦位置の推定精度が低下するおそれがある。
【００８１】
このため、これらのような状況で２画像マッチング処理の推定合焦位置に基づくＡＦ処理（２画像マッチングＡＦ処理）を行うと、誤った位置にフォーカスレンズを動かしてしまうおそれもある。
【００８２】
そこで、本技術の第１の実施の形態では、それらの状況であっても、適切にフォーカス制御を行う例を示す。
【００８３】
［ＡＦモードの切替例］
図６は、本技術の第１の実施の形態における制御部２６０によるＡＦモード切替処理の流れの一例を模式的に示す図である。
【００８４】
図６（ａ）には、コントラストＡＦモードの設定時におけるＡＦモード切替処理の流れの一例を示す。
【００８５】
図６（ａ）に示すように、コントラストＡＦモードが設定されている場合には、制御部２６０は、フォーカスレンズが何れかの位置に収束しているか否かを判断する（３５１）。ここで、フォーカスレンズが何れかの位置に収束している場合は、例えば、合焦位置の付近をフォーカスレンズが往復しているような場合である。例えば、フォーカスレンズの位置に対するＡＦ評価値が描く曲線が山型となっている場合を想定する。この場合において、フォーカスレンズが何れかの位置に収束している場合は、その山の頂上の付近をフォーカスレンズが往復しているような場合である。
【００８６】
このように、フォーカスレンズが何れかの位置に収束した場合にのみ、それ以降の処理（第１条件を満たすか否かの判断）を行う。例えば、コントラストＡＦ処理は、２画像マッチングＡＦ処理と比較して、一定時間内に得られる出力の頻度が多く、被写体の動きに強いという長所がある。これらの長所を活かして、コントラストＡＦ処理で合焦位置を誤った場合にのみ、２画像マッチングＡＦモードに切換えることができる。ただし、撮像対象となっている被写体が、コントラストＡＦ処理の苦手な被写体である場合には、フォーカスレンズが何れかの位置に収束するまでの間、フォーカスレンズが誤った方向に進み続けてしまうおそれがある。
【００８７】
そこで、コントラストＡＦモードが設定されている場合には、無条件に一定時間毎に（または、不定期に）それ以降の処理（第１条件を満たすか否かの判断）を行うようにしてもよい。すなわち、コントラストＡＦモードが設定されている場合には、定期的または不定期に、２画像マッチング処理による処理結果（指標値）を参照するようにしてもよい。この場合には、コントラストＡＦ処理の苦手な被写体の場合でも、フォーカスレンズが誤った方向に進み続けることを防止することができる。また、フォーカスレンズが合焦位置から比較的離れているような場合でも、２画像マッチングＡＦモードに即座に切換えられる。
【００８８】
また、フォーカスレンズが何れかの位置に収束している場合には（３５１）、制御部２６０は、履歴情報保持部２６１に保持されている履歴情報（２画像マッチング処理による合焦位置推定指標値のうちの１つ以上の履歴）を参照する。そして、制御部２６０は、第１条件を満たすか否かを判断する（３５２）。この第１条件は、２画像マッチング処理の処理結果の履歴に基づいて求められた推定合焦位置と、現在のフォーカスレンズの位置との差分が閾値以上であるという条件である。この履歴に基づいて求められた推定合焦位置は、例えば、履歴情報保持部２６１に保持されている推定合焦位置の加算平均である。
【００８９】
第１条件を満たしている場合には（３５２）、制御部２６０は、コントラストＡＦの合焦位置が誤っていると判断し、２画像マッチングＡＦモードに切換える（３５３）。例えば、図３（ａ）に示すように、フォーカスレンズの位置が合焦位置から離れていくような場合が想定される。
【００９０】
また、第１条件を満たしていない場合には（３５２）、制御部２６０は、コントラストＡＦの合焦位置が誤っていると判断することができないため、ＡＦモードを変更しない（３５４）。
【００９１】
また、フォーカスレンズが何れの位置にも収束していない場合にも（３５１）、制御部２６０は、設定されているＡＦモードを変更しない（３５４）。
【００９２】
なお、第１条件として、他の条件を用いるようにしてもよい。例えば、重み付け平均手法により算出される推定合焦位置と、現在のフォーカスレンズの位置との差が閾値以上であるという条件を用いることができる。そして、この条件を満たしていない場合には、ＡＦモードを変更せず、この条件を満たしている場合には、２画像マッチングＡＦモードに切換える。なお、重み付け平均手法により算出される推定合焦位置については、以下の式４に示す。
【００９３】
また、履歴に含まれる各推定合焦位置と、現在のフォーカスレンズの位置とをそれぞれ比較し、閾値を上回っている個数が一定以上であるという条件を用いることができる。そして、この条件を満たしていない場合には、ＡＦモードを変更せず、この条件を満たしている場合には、２画像マッチングＡＦモードに切換える。
【００９４】
図６（ｂ）には、２画像マッチングＡＦモードの設定時におけるＡＦモード切替処理の流れを示す。
【００９５】
図６（ｂ）に示すように、２画像マッチングＡＦモードが設定されている場合には、制御部２６０は、第２条件を満たすか否かを判断する（３６１）。ここで、第２条件は、１つ以上の履歴を統合して算出された推定合焦位置と、現在のフォーカスレンズの位置との差分が閾値以下、かつ、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件である。
【００９６】
ここで、１つ以上の履歴を統合して算出される推定合焦位置（重み付け平均手法により算出される推定合焦位置）は、次の式３により算出される。また、推定合焦位置の履歴の重み付き分散（重み付き平均の分散）は、次の式４により算出される。
【数２】
2013130761.tif 000004
【００９７】
ここで、Ｎ個のバイアスなしの２画像マッチング処理の処理結果ｄ１、…、ｄＮは、ｄｉ〜Ｎ（μ，σｉ２）で取得したものである。なお、Ｎは、２画像マッチング処理に用いられる一対の画像（２つの画像）の数を表す。また、μは、実際の合焦位置までの距離である。また、μの「最尤推定量（ＭＬＥ）」は、重み付き平均により与えられる。また、σｉ２は、分散である。
【００９８】
そして、第２条件を満たしている場合には（３６１）、制御部２６０は、コントラストＡＦモードに切換える（３６２）。すなわち、フォーカスレンズを合焦位置に合わせる細かい精度は、コントラストＡＦモードの方が優れているため、フォーカスレンズが合焦位置の近傍まで近づいた後には、コントラストＡＦモードを設定する。これにより、フォーカス制御を精度よく行うことができる。
【００９９】
ここで、第２条件のうち、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件を付加することにより、現在のフォーカスレンズが合焦位置の近傍に存在することを、さらに精度よく判断することができる。ただし、第２条件のうち、推定合焦位置の履歴の重み付き分散が閾値以下になるという条件を省略するようにしてもよい。
【０１００】
このように、制御部２６０は、フォーカスレンズの位置と、マッチング処理結果の履歴とに基づいて、コントラストＡＦモード（第１モード）および２画像マッチングＡＦモード（第２モード）間の切替の要否を判断する。
【０１０１】
具体的には、制御部２６０は、コントラストＡＦモードの設定時において、フォーカスレンズの位置が収束し、かつ、第１条件を満たす場合には、２画像マッチングＡＦモードを設定する制御を行う。なお、上述したように、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを第１条件とすることができる。
【０１０２】
また、制御部２６０は、２画像マッチングＡＦモードの設定時において、第２条件を満たす場合には、コントラストＡＦモードを設定する制御を行う。なお、上述したように、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、その推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを第２条件とすることができる。
【０１０３】
また、制御部２６０は、２画像マッチングＡＦモードの設定時において、フォーカスレンズの位置と、マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さい場合に、コントラストＡＦモードを設定するようにしてもよい。
【０１０４】
［角速度を用いた２画像マッチング処理の要否判定例］
図７は、本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【０１０５】
図７には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図７に示す横軸は、時間軸を示す。また、図７には、画像１乃至１２と、各処理（４０１乃至４０６、４１１乃至４１３等）との関係を矢印で結んで示す。
【０１０６】
ここで、動画の撮像動作時においては、ユーザによりパンニング操作やチルティング操作が行われることがある。しかしながら、２画像マッチング処理では、パンニング操作やチルティング操作等により撮像装置１００が動いているような場合（すなわち、２つの画像で光軸方向が異なる場合）には、誤った合焦位置推定結果を出力することが多い。
【０１０７】
そこで、２画像マッチング処理に用いる２つの画像の取得時に、姿勢検出部２１０（ジャイロセンサ１１０）は、姿勢の変化（角速度）を検出する（４０１乃至４０６）。続いて、制御部２６０は、姿勢検出部２１０（ジャイロセンサ１１０）により検出された姿勢の変化（角速度）が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１１、４２１、４３１）。
【０１０８】
そして、２画像マッチングＡＦ処理部２８０は、姿勢の変化（角速度）が閾値未満である場合には、比較対象となった角速度の取得時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、制御部２６０は、２画像マッチングＡＦ処理部２８０による２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２６１に保持させる（４１３、４２３、４３３）。
【０１０９】
一方、２画像マッチングＡＦ処理部２８０は、姿勢の変化（角速度）が閾値以上である場合には、比較対象となった角速度の取得時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、制御部２６０は、姿勢の変化（角速度）が閾値（例えば、０）を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、ＡＦモードの切替の要否を判断する。
【０１１０】
ここで、姿勢の変化（角速度）に関する閾値は、画角が広くなるのに応じて高くなるように設定することが望ましい。ただし、閾値を設定する場合には、他の状況（例えば、手振れ補正の状況）等も考慮することが望ましい。
【０１１１】
また、制御部２６０は、姿勢の変化（角速度）が閾値を基準として大きいことを条件に、コントラストＡＦモード（第１モード）を設定するようにしてもよい。
【０１１２】
［輝度検波値を用いた２画像マッチング処理の要否判定例］
図８は、本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【０１１３】
図８には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図８に示す横軸は、時間軸を示す。また、図８には、画像１乃至１２と、各処理（４５１乃至４５６、４１５、４２５、４３５等）との関係を矢印で結んで示す。なお、図８に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）については、図７に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
【０１１４】
ここで、動画の撮像動作時においては、被写体の移動や変形が発生し得る。しかしながら、２画像マッチング処理では、２つの画像で被写体の位置や形が異なるような場合には、誤った合焦位置推定結果を出力することが多い。
【０１１５】
そこで、２画像マッチング処理に用いる２つの画像の取得時に、制御部２６０は、撮像部２２０により生成された画像における輝度検波値を算出する（４５１乃至４５６）。続いて、制御部２６０は、その算出された２つの輝度検波値の差分値が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１５、４２５、４３５）。なお、輝度検波値は、例えば、画像における検波枠内の輝度値の合計値または平均値である。
【０１１６】
そして、２つの輝度検波値の差分値が閾値未満である場合には、被写体が移動や変形をしていないと判断することができる。このため、２画像マッチングＡＦ処理部２８０は、その２つの輝度検波値の算出時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、制御部２６０は、２画像マッチングＡＦ処理部２８０による２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２６１に保持させる（４１３、４２３、４３３）。
【０１１７】
一方、２つの輝度検波値の差分値が閾値以上である場合には、被写体が移動や変形をしていると判断することができる。このため、２画像マッチングＡＦ処理部２８０は、その２つの輝度検波値の算出時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、制御部２６０は、２つの輝度検波値の差分値が閾値を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、ＡＦモードの切替の要否を判断する。
【０１１８】
また、制御部２６０は、２つの輝度検波値の差分値が閾値を基準として大きいことを条件に、コントラストＡＦモード（第１モード）を設定するようにしてもよい。
【０１１９】
［絞り値を用いた２画像マッチング処理の要否判定例］
図９は、本技術の第１の実施の形態における制御部２６０による２画像マッチング処理の要否を判定する際における判定処理の流れを模式的に示す図である。
【０１２０】
図９には、撮像部２２０により生成される画像１乃至１２を時系列で示す。なお、図９に示す横軸は、時間軸を示す。また、図９には、画像１乃至１２と、各処理（４６１乃至４６６、４１６、４２６、４３６等）との関係を矢印で結んで示す。なお、図９に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）については、図７に示す各処理（４１２、４１３、４２２、４２３、４３２、４３３）に対応するものであるため、同一の符号を付してここでの説明の一部を省略する。
【０１２１】
ここで、動画の撮像動作時においては、自動露出制御機能等により、絞りの開口部の大きさが変化することがある。ここで、２画像マッチング処理は、画像のボケ具合を用いて合焦位置を推定するものである。このため、絞りの開口部の大きさが変化する場合等のように、２つの画像で点拡がり関数の形や焦点深度の深さが異なる状況となった場合には、誤った合焦位置推定結果を出力することが多い。
【０１２２】
そこで、２画像マッチング処理に用いる２つの画像の取得時に、制御部２６０は、撮像部２２０における絞り値（Ｆ値）を取得する（４６１乃至４６６）。続いて、制御部２６０は、その取得された２つの絞り値の差分値が閾値以上であるか否かを判定（２画像マッチング処理の判定処理）する（４１６、４２６、４３６）。
【０１２３】
そして、２画像マッチングＡＦ処理部２８０は、２つの絞り値の差分値が閾値未満である場合には、その２つの絞り値の取得時に対応する２つの画像を用いて２画像マッチング処理を行う（４１２、４２２、４３２）。そして、制御部２６０は、２画像マッチングＡＦ処理部２８０による２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２６１に保持させる（４１３、４２３、４３３）。
【０１２４】
一方、２画像マッチングＡＦ処理部２８０は、２つの絞り値の差分値が閾値以上である場合には、その２つの絞り値の算出時に対応する２つの画像を２画像マッチング処理に用いない（４１２、４２２、４３２）。すなわち、制御部２６０は、２つの絞り値の差分値が閾値（例えば、０）を基準として大きい場合におけるマッチング処理結果を履歴として用いずに、ＡＦモードの切替の要否を判断する。
【０１２５】
また、制御部２６０は、２つの絞り値の差分値が閾値を基準として大きいことを条件に、コントラストＡＦモード（第１モード）を設定するようにしてもよい。
【０１２６】
なお、図７乃至図９では、２フレーム間隔で各情報（角速度、輝度検波値、絞り値）を得る例を示したが、フレーム毎に各情報を得るようにしてもよく、３以上のフレーム間隔で各情報を得るようにしてもよい。
【０１２７】
また、図７乃至図９では、２フレーム毎の各情報（角速度、輝度検波値、絞り値）のそれぞれを用いて２画像マッチング処理の要否判定を行う例を示した。ただし、これらの全ての情報（角速度、輝度検波値、絞り値）を用いて２画像マッチング処理の要否判定を行うようにしてもよい。なお、この例については、図１０および図１１に示す。
【０１２８】
［撮像装置の動作例］
図１０は、本技術の第１の実施の形態における撮像装置１００によるＡＦ処理の処理手順の一例を示すフローチャートである。この処理手順では、動画撮像モードの設定時において、撮像部２２０により画像が生成される毎に行う例を示す。また、この処理手順では、２フレーム間隔で２画像マッチング処理に用いる２つの画像を取得する場合における例を示す。
【０１２９】
最初に、制御部２６０は、２画像マッチング処理に用いられる２つの画像（第１画像および第２画像）を取得済であるか否かを判断する（ステップＳ９０１）。そして、２つの画像が取得されていない場合（１つの画像のみが取得されている場合を含む）には（ステップＳ９０１）、ステップＳ９０５に進む。
【０１３０】
２つの画像が取得されている場合には（ステップＳ９０１）、制御部２６０は、２画像マッチング処理の判定処理を行う（ステップＳ９２０）。この判定処理については、図１１を参照して詳細に説明する。
【０１３１】
続いて、制御部２６０は、２画像マッチング処理の判定処理により、２画像マッチング処理が可能であると判定されたか否かを判断し（ステップＳ９０２）、２画像マッチング処理が不可能であると判定された場合には、ステップＳ９０５に進む。一方、２画像マッチング処理が可能であると判定された場合には（ステップＳ９０２）、制御部２６０は、取得された２つの画像を用いて２画像マッチング処理を行う（ステップＳ９０３）。続いて、制御部２６０は、その２画像マッチング処理の処理結果を履歴情報として履歴情報保持部２６１に保持させる（ステップＳ９０４）。
【０１３２】
続いて、制御部２６０は、現在設定されているＡＦモードが、コントラストＡＦモードであるか、２画像マッチングＡＦモードであるかを判断する（ステップＳ９０５）。そして、現在設定されているＡＦモードが、コントラストＡＦモードである場合には（ステップＳ９０５）、制御部２６０は、フォーカスレンズが何れかの位置に収束しているか否かを判断する（ステップＳ９０６）。そして、フォーカスレンズが何れかの位置に収束している場合には（ステップＳ９０６）、制御部２６０は、第１条件（図６に示す）を満たすか否かを判断する（ステップＳ９０７）。
【０１３３】
第１条件を満たす場合には（ステップＳ９０７）、制御部２６０は、２画像マッチングＡＦモードを設定する（ステップＳ９０８）。すなわち、ＡＦモードが、コントラストＡＦモードから２画像マッチングＡＦモードに切り替えられる。
【０１３４】
また、フォーカスレンズが何れの位置にも収束していない場合（ステップＳ９０６）、または、第１条件を満たさない場合には（ステップＳ９０７）、制御部２６０は、ＡＦモードを変更しない（ステップＳ９０９）。すなわち、ＡＦモードとして、コントラストＡＦモードが設定されているため、コントラストＡＦ処理部２７０によりコントラストＡＦ処理が行われる（ステップＳ９０９）。
【０１３５】
また、現在設定されているＡＦモードが、２画像マッチングＡＦモードである場合には（ステップＳ９０５）、制御部２６０は、第２条件（図６に示す）を満たすか否かを判断する（ステップＳ９１０）。そして、第２条件を満たす場合には（ステップＳ９１０）、制御部２６０は、コントラストＡＦモードを設定する（ステップＳ９１１）。すなわち、ＡＦモードが、２画像マッチングＡＦモードからコントラストＡＦモードに切り替えられる。
【０１３６】
また、第２条件を満たさない場合には（ステップＳ９１０）、制御部２６０は、ＡＦモードを変更しない（ステップＳ９１２）。すなわち、ＡＦモードとして、２画像マッチングＡＦモードが設定されているため、２画像マッチングＡＦ処理部２８０により２画像マッチング処理が行われる（ステップＳ９１２）。なお、ステップＳ９０９は、特許請求の範囲に記載の第１処理手順の一例である。また、ステップＳ９１２は、特許請求の範囲に記載の第２処理手順の一例である。また、ステップＳ９０５乃至Ｓ９０８、Ｓ９１０、Ｓ９１１は、特許請求の範囲に記載の制御手順の一例である。
【０１３７】
図１１は、本技術の第１の実施の形態における撮像装置１００による２画像マッチング処理の処理手順のうちの判定処理手順（図１０に示すステップＳ９２０の処理手順）を示すフローチャートである。
【０１３８】
最初に、姿勢検出部２１０が、撮像装置１００の姿勢を検出する（ステップＳ９２１）。続いて、制御部２６０が、今回検出された撮像装置１００の姿勢と、その直前に検出された撮像装置１００の姿勢とに基づいてその姿勢の変化（角速度）を算出し、この角速度が閾値未満であるか否かを判断する（ステップＳ９２２）。
【０１３９】
角速度が閾値未満である場合には（ステップＳ９２２）、制御部２６０が、撮像部２２０により生成された画像における輝度検波値を算出する（ステップＳ９２３）。続いて、制御部２６０が、今回算出された輝度検波値と、その直前に算出された輝度検波値との差分値が閾値未満であるか否かを判断する（ステップＳ９２４）。
【０１４０】
その差分値が閾値未満である場合には（ステップＳ９２４）、制御部２６０は、撮像部２２０における絞り値を取得する（ステップＳ９２５）。続いて、制御部２６０が、今回取得された絞り値と、その直前に取得された絞り値との差分値が閾値未満であるか否かを判断する（ステップＳ９２６）。
【０１４１】
その差分値が閾値未満である場合には（ステップＳ９２６）、制御部２６０は、２画像マッチング処理が可能であると判定する（ステップＳ９２７）。
【０１４２】
また、角速度が閾値以上である場合には（ステップＳ９２２）、制御部２６０は、２画像マッチング処理が不可能であると判定する（ステップＳ９２８）。同様に、輝度検波値の差分値が閾値以上である場合（ステップＳ９２４）、または、絞り値の差分値が閾値以上である場合には（ステップＳ９２６）、制御部２６０は、２画像マッチング処理が不可能であると判定する（ステップＳ９２８）。
【０１４３】
このように、本技術の第１の実施の形態によれば、コントラストＡＦが苦手とする高輝度点光源のような被写体については、２画像マッチングＡＦを行うことにより、正しい合焦位置の付近にフォーカスレンズを移動することができる。また、合焦位置の付近では、コントラストＡＦモードを設定するため、合焦位置の近傍での精度を維持することができる。
【０１４４】
また、推定合焦位置を誤るような２画像マッチング処理の実行を防止することができる。これにより、フォーカスレンズの移動方向や距離の精度を改善することができる。また、ＡＦの誤り率や速度を向上させることができる。また、不要な演算を予め回避することができる。すなわち、適切にフォーカス制御を行うことができる。
【０１４５】
このように、本技術の第１の実施の形態によれば、２画像マッチング処理のハイブリッド動画ＡＦを実現することができる。
【０１４６】
なお、本技術の第１の実施の形態では、撮像部２２０を備える撮像装置１００を例にして説明したが、撮像部を着脱可能な撮像装置（電子機器）に本技術の実施の形態を適用することができる。また、撮像機能付き携帯電話機や撮像機能付き携帯端末装置（例えば、スマートフォン）等の電子機器に本技術の実施の形態を適用することができる。
【０１４７】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４８】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
【０１４９】
なお、本技術は以下のような構成もとることができる。
（１）  撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１モードと、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２モードとの何れかを、所定条件に基づいて設定する制御を行う制御部を具備する撮像装置。
（２）  前記制御部は、前記フォーカスレンズの位置と前記マッチング処理結果の履歴とに基づいて、前記第１モードおよび前記第２モード間の切替の要否を判断する前記（１）に記載の撮像装置。
（３）  前記制御部は、前記第１モードが設定されている場合において、前記フォーカスレンズの位置が収束し、かつ、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として大きいことを前記所定条件とし、前記所定条件を満たす場合には、前記第２モードを設定する制御を行う前記（１）または（２）に記載の撮像装置。
（４）  前記制御部は、前記第２モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１モードを設定する制御を行う前記（１）から（３）のいずれかに記載の撮像装置。
（５）  前記制御部は、前記第２モードが設定されている場合において、前記フォーカスレンズの位置と前記マッチング処理結果の履歴に基づいて推定された合焦位置との差分が閾値を基準として小さく、かつ、前記推定された合焦位置の履歴の重み分散が閾値を基準として小さいことを前記所定条件とし、前記所定条件を満たす場合には、前記第１モードを設定する制御を行う前記（１）から（４）のいずれかに記載の撮像装置。
（６）  前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記（２）に記載の撮像装置。
（７）  前記制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記（２）に記載の撮像装置。
（８）  前記制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合における前記マッチング処理結果を前記履歴として用いずに前記切替の要否を判断する前記（２）に記載の撮像装置。
（９）  前記撮像装置の姿勢の変化を検出する姿勢検出部をさらに具備し、
前記制御部は、前記検出された姿勢の変化が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う
前記（１）から（８）のいずれかに記載の撮像装置。
（１０）  前記制御部は、前記第１画像における輝度検波値と、前記第２画像における輝度検波値との差分値が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う前記（１）から（９）のいずれかに記載の撮像装置。
（１１）  前記制御部は、前記第１画像の生成時における絞り値と、前記第２画像の生成時における絞り値との差分値が閾値を基準として大きい場合には、前記第１モードを設定する制御を行う前記（１）から（１０）のいずれかに記載の撮像装置。
（１２）  第１モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１処理手順と、
第２モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２処理手順と、
所定条件に基づいて、前記第１モードと前記第２モードとの何れかを設定する制御を行う制御手順と
を具備する撮像装置の制御方法。
（１３）  第１モードの設定時に、撮像部により生成された画像におけるコントラストに基づいてフォーカスレンズを移動させてオートフォーカス処理を行う第１処理手順と、
第２モードの設定時に、前記フォーカスレンズが異なる位置となった状態で前記撮像部により生成された第１画像および第２画像に関するマッチング処理結果に基づいて前記フォーカスレンズを移動させてオートフォーカス処理を行う第２処理手順と、
所定条件に基づいて、前記第１モードと前記第２モードとの何れかを設定する制御を行う制御手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１５０】
１００  撮像装置
１０１  撮像レンズ
１０２  撮像素子
１０３  アナログ信号処理部
１０４  Ａ／Ｄ変換部
１０５  デジタル信号処理部
１０６  液晶パネル
１０７  ビューファインダ
１０８  記録デバイス
１０９  被写体検出部
１１０  ジャイロセンサ
１２０  制御部
１３１  ＥＥＰＲＯＭ
１３２  ＲＯＭ
１３３  ＲＡＭ
１４０  操作部
１５１  ＴＧ
１５２  モータドライバ
１５３  フォーカスレンズ駆動モータ
１５４  ズームレンズ駆動モータ
２１０  姿勢検出部
２２０  撮像部
２３０  画像処理部
２４０  記録制御部
２４１  コンテンツ記憶部
２５０  表示制御部
２５１  表示部
２６０  制御部
２６１  履歴情報保持部
２７０  コントラストＡＦ処理部
２８０  ２画像マッチングＡＦ処理部
２９０  操作受付部
【図１】
2013130761.tif 000005
【図２】
2013130761.tif 000006
【図６】
2013130761.tif 000007
【図７】
2013130761.tif 000008
【図８】
2013130761.tif 000009
【図９】
2013130761.tif 000010
【図１０】
2013130761.tif 000011
【図１１】
2013130761.tif 000012
【図３】
2013130761.tif 000013
【図４】
2013130761.tif 000014
【図５】
2013130761.tif 000015