(57)【特許請求の範囲】
【請求項１】
撮像画像データのフレーム内に設定された合焦検出領域が合焦状態か否かを、前記合焦検出領域内の撮像画像データに基づいて、フレーム毎に検出する検出部と、
画像処理中の第１フレームの前記撮像画像データを画像処理して生成された処理画像データから検出された被写体の特徴点を含む特徴領域の位置に、前記第１フレームの次に撮像される第２フレームの合焦検出領域を、フレーム毎に設定する設定部と、
前記第１フレームの前記合焦検出領域が合焦状態でないときに、前記第１フレームに設定された前記合焦検出領域から、前記第１フレームの前記処理画像データから検出された前記特徴領域までの変位量が基準量以下の場合には、複数のフレームにわたり撮像レンズの焦点距離を変化させて取得した前記合焦検出領域内の複数の撮像画像データに基づいて、前記合焦検出領域が合焦状態になるように前記撮像レンズの焦点距離を変化させる焦点距離制御を行い、前記変位量が前記基準量より大きい場合には、前記焦点距離制御を行わず、前記第１フレームの前記合焦検出領域が合焦状態であるときに、前記焦点距離制御を行わない制御部とを有する撮像制御装置。
【請求項２】
前記処理画像データは、前記撮像画像データを縮小処理して求められることを特徴とする請求項１に記載の撮像制御装置。
【請求項３】
前記処理画像データは外部の演算処理装置から供給されることを特徴とする請求項１に記載の撮像制御装置。
【請求項４】
前記特徴領域は、外部の演算処理装置により前記処理画像データから検出されることを特徴とする請求項１に記載の撮像制御装置。
【請求項５】
前記変位量は、前記第１フレームの第１の合焦検出領域から、前記特徴領域の位置に設定された前記第２フレームの第２の合焦検出領域までの距離であることを特徴とする請求項１に記載の撮像制御装置。
【請求項６】
前記変位量は、前記第１フレームの第１の合焦検出領域と前記特徴領域の位置に設定された前記第２フレームの第２の合焦検出領域との重複領域の面積に反比例する量であることを特徴とする請求項１に記載の撮像制御装置。
【請求項７】
前記変位量は、前記第１フレームの第１の合焦検出領域に対する、前記第１の合焦検出領域と前記特徴領域の位置に設定された前記第２フレームの第２の合焦検出領域との重複領域の面積率に反比例する量であることを特徴とする請求項１に記載の撮像制御装置。
【請求項８】
前記検出部は、前記第１フレームの第１の合焦検出領域から前記特徴領域までの前記変位量が前記基準量より大きい場合に、前記第２フレームの前記撮像画像データでは、前記第１の合焦検出領域の合焦状態を検出することを特徴とする請求項１に記載の撮像制御装置。
【請求項９】
前記制御部は、前記第２フレームの前記撮像画像データから前記特徴領域が検出されないときには、前記変位量に関わらず前記焦点距離制御を実行することを特徴とする請求項１に記載の撮像制御装置。
【請求項１０】
請求項１乃至９に記載の撮像制御装置と撮像レンズとを有する撮像装置。
【請求項１１】
撮像画像データのフレーム内に設定された合焦検出領域が合焦状態か否かを、前記合焦検出領域内の撮像画像データに基づいて、フレーム毎に検出し、
画像処理中の第１フレームの前記撮像画像データを画像処理して生成された処理画像データから検出された被写体の特徴点を含む特徴領域の位置に、前記第１フレームの次に撮像される第２フレームの合焦検出領域を、フレーム毎に設定し、
前記第１フレームの前記合焦検出領域が合焦状態でないときに、前記第１フレームに設定された前記合焦検出領域から、前記第１フレームの前記処理画像データから検出された前記特徴領域までの変位量が基準量以下の場合には、複数のフレームにわたり撮像レンズの焦点距離を変化させて取得した前記合焦検出領域内の複数の撮像画像データに基づいて、前記合焦検出領域が合焦状態になるように前記撮像レンズの焦点距離を変化させる焦点距離制御を行い、前記変位量が前記基準量より大きい場合には、前記焦点距離制御を行わず、前記第１フレームの前記合焦検出領域が合焦状態であるときに、前記焦点距離制御を行わないことを特徴とする撮像制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像制御装置、撮像装置、及び撮像制御方法に関する。
【背景技術】
【０００２】
デジタルスチルカメラなどの撮像装置において、ユーザ所望の被写体に対し自動的に合焦するオートフォーカスが知られている（たとえば、特許文献１、２）。オートフォーカスには、一回的に被写体に対し合焦するシングル・オートフォーカスと、シングル・オートフォーカスの後、継続的に合焦状態を維持するコンティニュアス・オートフォーカスとがある。
【０００３】
シングル・オートフォーカスを行う際、撮像装置は、フレーム内（たとえばフレーム中心部）に合焦検出領域を設定する。ユーザが所望の被写体を合焦検出領域に捉えてシングル・オートフォーカスの実行を指示すると、撮像装置は、レンズの焦点距離を変化させながら複数フレームの画像を撮像する。そして、撮像装置は、撮像画像データにおける合焦検出領域が合焦状態か否かを検出することで、被写体に合焦するレンズの焦点距離を検出し、レンズをその焦点距離に移動し固定する。シングル・オートフォーカスは、静止画を撮像する前のピント合わせのときや、動画の撮像開始直後に行われる。
【０００４】
そして、コンティニュアス・オートフォーカスでは、撮像装置は、フレームごとの撮像画像データにおける合焦検出領域の合焦状態を監視し、被写体が変位することで合焦状態が失われると、シングル・オートフォーカスを行う。さらに、近年では、フレームごとに変位する被写体に合焦検出領域を追従させる、物体追従コンティニュアス・オートフォーカスを行う撮像装置も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０９９４７号公報
【特許文献２】特許第３５００５３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、コンティニュアス・オートフォーカスを行う際に、被写体の変位量が大きいと、被写体がフレーム内に含まれていたとしても、合焦検出領域に含まれない（あるいは含まれる面積が小さい）場合がある。物体追従コンティニュアス・オートフォーカスを行う場合、フレームごとに被写体を検出し、その位置に合わせて合焦検出領域を設定する処理が必要となる。よって、かかる処理に要する時間の分合焦検出領域の設定が遅れるので、合焦検出領域を設定したときには被写体の位置が合焦検出領域から外れている場合がある。
【０００７】
被写体が合焦検出領域に含まれない場合、合焦検出領域の合焦状態に基づいてシングル・オートフォーカスを行うと、所望の被写体ではなく、たとえば遠方の背景などに合焦されてしまう。
【０００８】
そこで、本発明の目的は、被写体が大きく変位する場合であっても、安定的に被写体に合焦された撮像画像を得ることができる撮像制御装置等を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の１つの側面における撮像制御装置は、フレームごとの撮像画像データに設定される合焦検出領域の合焦状態を検出する第１の検出部と、前記撮像画像データが画像処理された処理画像データから検出された被写体の特徴点を含む特徴領域の位置に次のフレームの撮像画像データの合焦検出領域を設定する設定部と、前記合焦検出領域が合焦状態でないときに、当該合焦検出領域が合焦状態になるように撮像レンズの焦点距離を変化させる焦点距離制御を行い、前記撮像画像データに設定された前記合焦検出領域から当該撮像画像データに基づく処理画像データで検出された前記特徴領域までの変位量が基準量より大きい場合には、前記合焦検出領域が合焦状態でないときであっても、前記焦点距離制御を行わない制御部とを有する。
【発明の効果】
【００１０】
上記側面によれば、安定的に被写体に合焦された撮像画像を得ることができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における撮像装置とその撮像制御装置の構成例について説明する図である。
【図２】シングル・オートフォーカスについて説明する図である。
【図３】物体追従コンティニュアス・オートフォーカスについて説明する図である。
【図４】合焦検出領域から特徴領域までの変位量について説明する図である。
【図５】本実施形態における撮像制御装置１４の動作手順を説明するフローチャート図である。
【図６】撮像画像データと合焦検出領域の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面にしたがって本発明の実施形態について説明する。但し、本発明の技術的範囲は以下の実施形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【００１３】
図１は、本実施形態における撮像装置とその撮像制御装置の構成例について説明する図である。この撮像装置１は、撮像画像データを処理するとともに撮像動作を制御する撮像制御装置１０を有する。
【００１４】
撮像装置１では、被写体からの光が撮像レンズ２に入射される。撮像レンズ２は、たとえば複数の単焦点レンズを有する。レンズ駆動部４は、撮像レンズ２のレンズを駆動して焦点距離を調節する。レンズ駆動部４は、たとえばステッピングモータを有し、撮像レンズ２の光軸方向においてレンズ間の距離を変更することで焦点距離を変更する。そして、撮像レンズ２を介した光は、撮像部６に入光されて被写体像を結像する。撮像部６は、受光した光をアナログの画素値信号に変換する。撮像部６は、たとえばＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを有する。
【００１５】
撮像部６から出力される画素値信号は、Ａ／Ｄ変換器８に入力される。Ａ／Ｄ変換器８は、画素値信号をデジタル信号に変換して出力する。デジタル信号化された画素値信号は、撮像画像データとして撮像制御装置１０に入力される。撮像画像データは、たとえばＲＧＢ（Red、Green、Blue）データである。
【００１６】
撮像制御装置１０では、撮像画像データは、合焦検出部１２に入力される。合焦検出部１２は、１フレーム分の撮像画像データに設定される合焦検出領域の合焦状態を検出し、撮像画像データと検出した合焦状態とを出力する。合焦検出部１２は、たとえばハイパスフィルタを有し、合焦検出領域の空間周波数のうち高周波成分量（コントラスト値）を合焦状態として検出する。フレームごとの撮像画像データは、演算処理部１４により、ＲＡＭ（Random Access Memory）２４に格納される。ＲＡＭは、たとえばＤＲＡＭ（Dynamic RAM）である。また、合焦状態は、演算処理部１４に入力される。
【００１７】
演算処理部１４は、たとえば各種処理プログラムを実行する汎用ＣＰＵ（Central Processing Unit）、またはＤＳＰ（Digital Signal Processor）などである。撮像制御部１６、画像処理部１８、特徴領域検出部２０、及び合焦検出領域設定部２２は、ＣＰＵやＤＳＰにより実行される機能である。
【００１８】
画像処理部１８は、ＲＡＭ２４に格納された撮像画像データを読み出して画像処理を行い、処理画像データを生成する。画像処理部１８は、たとえばＲＧＢデータからＹＵＶ（輝度・色差）データへの変換、色や輝度の補正、ノイズ除去、輪郭強調といった画像処理、データ圧縮のためのフォーマット変換処理、あるいは、１フレーム分の撮像画像データを縮小処理して縮小画像データを生成する画像処理を行う。ここで、処理画像データは、たとえば撮像画像データのデータ量より少ないデータ量を有する縮小画像データである。データ量が少ない縮小画像データを生成することで、次に行われる特徴領域検出部２０による処理効率が向上する。
【００１９】
特徴領域検出部２０は、縮小画像データから被写体の特徴領域を検出する。特徴領域は、たとえば、人物の顔を被写体としたときの、目や口などの特徴点を含む領域である。そして、合焦検出領域設定部２２は、あるフレームで検出された特徴領域の位置に、次のフレームの撮像画像データにおける合焦検出領域を設定する。合焦検出領域設定部２２は、設定した合焦検出領域を示す信号を、合焦検出部１２に入力する。
【００２０】
撮像制御部１６は、合焦検出領域の合焦状態に基づいて、撮像部６の撮像動作を制御するとともに、レンズ駆動部４による撮像レンズ２の焦点距離変更動作を制御する焦点距離制御を行う。たとえば、撮像制御部１６は、撮像部６に撮像を指示する制御信号を生成して撮像部６に出力する。また、これとともに、撮像制御部１６は、撮像レンズ２の駆動を指示する制御信号を生成し、レンズ駆動部４に出力する。これにより、合焦検出領域が合焦状態になるように撮像レンズの焦点距離を変化させる、シングル・オートフォーカスが行われる。
【００２１】
なお、上記では、単一の演算処理部１４が撮像制御部１６、画像処理部１８、特徴領域検出部２０、及び合焦検出領域設定部２２を実行する場合を示したが、撮像制御部１６、画像処理部１８、特徴領域検出部２０、及び合焦検出領域設定部２２のうち１つ以上を演算処理部１４の外部のＣＰＵやＤＳＰで実行し、演算処理部１４との間でデータ授受を行う場合も本実施形態の範囲に含まれる。たとえば、画像処理部１８が別のＣＰＵやＤＳＰで実行され、処理画像データが演算処理部１４に供給される場合である。あるいは、画像処理部１８と特徴領域検出部２０が別のＣＰＵやＤＳＰで実行され、検出された特徴領域のサイズや位置が演算処理装置１４に供給される場合である。
【００２２】
操作部２６は、ユーザによる操作入力を受け付け、操作入力に対応する制御信号を撮像制御装置１０に入力する。操作部２６は、たとえば、各種操作ボタンとその制御回路を有する。撮像制御装置１０では、操作部２６からの制御信号は演算処理部１４に入力される。そして、撮像制御部１６が、かかる制御信号に応答して撮像部６、レンズ駆動部４等を制御する。これにより、撮像装置１が、ユーザ入力に応答して撮像動作を行う。
【００２３】
また、撮像制御装置１０は、縮小画像データを表示部２８に出力する。表示部２８は、縮小画像データに対応するファインダ画像を表示する。表示部２８は、たとえばＬＣＤ（Liquid Crystal Display）とその制御回路を有する。また、撮像制御装置１０は、撮像画像データを外部記憶インターフェース３０に出力する。外部記憶インターフェース３０は、外部記憶媒体に対するデータの読み書きを行う。外部記憶インターフェース３０により、たとえば撮像画像データが外部記憶媒体に書き込まれる。外部記憶媒体は、たとえば、ＵＳＢ（Universal Serial Bus）メモリやメモリカードなどである。
【００２４】
上記のような撮像装置１は、被写体に対し一回的に撮像レンズ２を合焦させるシングル・オートフォーカスと、複数フレームにおいて合焦状態を維持するコンティニュアス・オートフォーカスとを行う。さらに、撮像装置１は、コンティニュアス・オートフォーカスにおいて、フレームごとの合焦検出領域を被写体に追従させる、物体追従コンティニュアス・オートフォーカスを行う。
【００２５】
まず、撮像装置１は、たとえば静止画を撮像する前のピント合わせのときに、シングル・オートフォーカスを行う。撮像装置１は、たとえばユーザによりシャッタボタンが半押しにされると、これに応答してシングル・オートフォーカスを行う。あるいは、撮像装置１は、連続したフレームの撮像画像からなる動画を撮像するときに、シングル・オートフォーカスを行う。撮像装置１は、たとえばユーザにより動画撮像の開始が指示入力されると、これに応答して、撮像開始直後にシングル・オートフォーカスを行う。
【００２６】
図２は、シングル・オートフォーカスについて説明する図である。図２（Ａ）は、シングル・オートフォーカス時に撮像される撮像画像データの例を示す。撮像装置１は、撮像レンズ２の焦点距離を順次大きく（あるいは小さく）しながら、たとえばフレームｆ１〜ｆ５の撮像画像データを順次撮像する。たとえば、１秒間に数十フレームの速度で、撮像が行われる。各フレームでは、合焦検出領域Ｗ１が、たとえば初期設定としてフレーム中心に設定される。シングル・オートフォーカス時には、フレームｆ１〜ｆ５で同じ合焦検出領域Ｗ１が設定される。ここでは、合焦検出領域Ｗ１に、人物の顔が被写体Ｈ１として撮像される例が示される。
【００２７】
このとき、撮像制御部１６は、レンズ駆動部４に撮像レンズ２の焦点距離を段階的に変化させるような制御信号を生成して、レンズ駆動部４に出力する。それとともに、撮像制御部１６は、異なる焦点距離に対応して撮像部６に撮像を行わせるような制御信号を生成して、撮像部６に出力する。これにより、フレームｆ１〜ｆ５の撮像画像データが順次撮像され、撮像制御装置１０の合焦検出部１２に入力される。合焦検出部１２は、合焦検出領域Ｗ１の合焦状態として、たとえばコントラスト値を検出する。ここでは、合焦検出部１２は、被写体Ｈ１を構成するコントラスト値を検出する。
【００２８】
図２（Ｂ）は、フレームｆ１〜ｆ５ごとの合焦検出領域Ｗ１の合焦状態を示す。具体的には、フレームｆ１〜ｆ５ごとの合焦検出領域Ｗ１におけるコントラスト値が示される。撮像制御部１６は、ここに示すようなコントラスト値を監視する。
【００２９】
ここでは、横軸が時間軸に沿って撮像されたフレームを、縦軸がコントラスト値を示す。フレームｆ１〜ｆ５の順に、焦点距離を大きく（あるいは小さく）しながら撮像が行われた場合、それぞれの焦点距離に応じて合焦検出領域Ｗ１の合焦状態が変化する。たとえば、合焦検出領域Ｗ１のコントラスト値は漸増し、たとえばフレームｆ３でピークを形成した後、漸減する。このことは、フレームｆ３の撮像画像データにおいて、合焦検出領域Ｗ１が合焦状態にあることを示す。つまり、フレームｆ３で、被写体Ｈ１のピントが合った状態になる。よって、フレームｆ３の撮像画像データを撮像したときの焦点距離が、合焦検出領域Ｗ１の被写体Ｈ１に合焦する焦点距離である。
【００３０】
撮像制御部１６は、フレームｆ３を撮像したときの焦点距離をレンズ駆動部４に維持させるような制御信号を生成して、レンズ駆動部４に出力する。レンズ駆動部４は、これに応答して、合焦した焦点距離になるように撮像レンズ２を駆動して維持する。このようにして、シングル・オートフォーカスが行われる。
【００３１】
なお、シングル・オートフォーカス時に撮像されるフレームｆ１〜ｆ５の撮像画像データのうち、合焦状態のフレームｆ３の撮像画像データが、ファインダ画像表示用の撮像データ、あるいは動画の撮像データとして採用され、ほかのフレームｆ１、ｆ２、ｆ４、及びｆ５の撮像画像データは破棄される。そして、撮像画像データが採用されたフレームｆ３をフレームＦ１として、続くフレームＦ２、Ｆ３、・・・において被写体の合焦状態を維持するために、コンティニュアス・オートフォーカスが行われる。
【００３２】
コンティニュアス・オートフォーカスは、静止画撮像時のピント合わせのときに、シングル・オートフォーカスに続いて行われる。あるいは、動画撮像時に、撮像開始直後のシングル・オートフォーカスに続いて、撮像中に継続的に行われる。
【００３３】
コンティニュアス・オートフォーカスでは、撮像装置１は、フレームＦ１に続くフレームの合焦検出領域において、フレームＦ１での合焦状態が維持されているか否かを監視する。そして、合焦状態が失われたときに、撮像装置１は、上記のシングル・オートフォーカスを実行し、合焦検出領域が合焦状態になるようにする。ここでは、フレームごとに合焦検出領域を被写体に追従させる、物体追従コンティニュアス・オートフォーカスについて説明する。
【００３４】
図３は、物体追従コンティニュアス・オートフォーカスについて説明する図である。図３（Ａ）には、フレームＦ１（図２のフレームｆ３）に続くフレームＦ２〜Ｆ５の撮像画像データと、各フレームＦ２〜Ｆ４で生成される縮小画像データＰ２〜Ｐ４が示される。
【００３５】
フレームＦ２の撮像画像データでは、フレームＦ１の撮像画像データで設定された合焦検出領域Ｗ１が合焦検出領域Ｗ２として設定される。ここでは、人物の顔が被写体Ｈ１として撮像された例が示される。このとき、被写体Ｈ１が焦点距離を保った状態で、つまり合焦した状態で、撮像装置１の焦点方向に対し垂直方向に変位したとする。すると、被写体Ｈ１はフレームＦ１のときの位置から変位し、合焦検出領域Ｗ２から多少はみ出した位置で撮像される。
【００３６】
画像処理部１８は、フレームＦ２の撮像画像データから縮小画像データＰ２を生成する。そして、特徴領域検出部２０は、縮小画像データＰ２から被写体Ｈ１の特徴点を含む特徴領域Ｈ２を検出する。特徴領域Ｈ２は、たとえば、人物の顔などの被写体における眼や口などの特徴点を含む領域である。このとき、たとえば、特徴領域検出部２０は、縮小画像データＰ２をスキャンし、予め求められた人物の顔の画像パターンとマッチングさせることで被写体Ｈ１を検出し、その特徴領域Ｈ２を検出する。なお、マッチング用の画像パターンは、たとえば演算処理装置１０内のＲＯＭ（Read Only Memory）などに格納される。マッチングは、たとえば、画素の色に基づいて行われる。
【００３７】
そして、合焦検出領域設定部２２は、検出された特徴領域Ｈ２の位置に、次のフレームＦ３における合焦検出領域Ｗ３を設定する。このとき、たとえば、縮小画像データＰ２で検出された特徴領域Ｈ２の大きさや位置に対し、縮小画像データＰ２とフレームＦ３の撮像画像データとのサイズ比に基づくオフセットが加えられ、フレームＦ３の撮像画像データにおける合焦検出領域Ｗ３の大きさと位置が求められる。あるいは、特徴領域Ｈ２に対し余白領域を加え、合焦検出領域Ｗ３をある程度広めに設定してもよい。
【００３８】
なお、フレームＦ２では、被写体Ｈ１が合焦検出領域Ｗ２から多少はみ出した位置で撮像されていたが、縮小画像データＰ２における特徴領域Ｈ２の位置にフレームＦ３の合焦検出領域Ｗ３を設定することで、被写体に追従して合焦検出領域を設定することができる。たとえば、フレームＦ３では、合焦検出領域Ｗ３は、被写体Ｈ１が変位した分合焦検出領域Ｗ２からずれた位置に設定されている。
【００３９】
次いで、フレームＦ３の撮像画像データでは、被写体Ｈ１がさらに変位しており、合焦検出領域Ｗ３から多少はみ出した位置で撮像される。そして、特徴領域検出部２０は、上記同様にして、縮小画像データＰ３で、被写体Ｈ１の特徴領域Ｈ３を検出する。そして、合焦検出領域設定部２２は、特徴領域Ｈ３の位置に、次フレームＦ４の合焦検出領域Ｗ４を設定する。ここにおいて、フレームＦ４では、合焦検出領域Ｗ４は、被写体Ｈ１が変位した分、合焦検出領域Ｗ３からずれた位置に設定される。
【００４０】
また、フレームＦ４の撮像画像データでは、被写体Ｈ１がさらに変位しており、合焦検出領域Ｗ４から多少はみ出した位置で撮像される。そして、特徴領域検出部２０は、上記同様にして、縮小画像データＰ４で、被写体Ｈ１の特徴領域Ｈ４を検出する。そして、合焦検出領域設定部２２は、特徴領域Ｈ４の位置に、次フレームＦ５の合焦検出領域Ｗ５を設定する。ここにおいて、フレームＦ５では、合焦検出領域Ｗ５は、被写体Ｈ１が変位した分合焦検出領域Ｗ４からずれた位置に設定される。
【００４１】
このようにして、フレームごとに変位する被写体に対し、順次、合焦検出領域が追従して設定される。
【００４２】
ここで、フレームＦ５の撮像時に、被写体Ｈ１が焦点方向に変位したとする。すると、フレーム５の撮像画像データでは、被写体Ｈ１の大部分は合焦検出領域Ｗ５内に含まれてはいるものの、被写体Ｈ１の合焦状態が失われる。ここで、フレームＦ１〜Ｆ５の合焦検出領域Ｗ１〜Ｗ５の合焦状態を、図３（Ｂ）に示す。
【００４３】
図３（Ｂ）では、横軸が時間軸に沿って撮像されたフレームＦ１〜Ｆ５を、縦軸がコントラスト値を示す。撮像制御部１６は、ここで示すようなコントラスト値を監視する。
【００４４】
フレームＦ１では合焦検出領域Ｗ１に被写体Ｈ１が含まれており、合焦検出領域Ｗ１ではコントラスト値ｇ１が検出される。ここで、コントラスト値ｇ１を基準として合焦状態を示すコントラスト値の範囲Ｇが設定される。かかる範囲Ｇは、一応の合焦状態とみなすことができる範囲として、実験等により求められる。たとえば、合焦状態を示す範囲Ｇは、コントラスト値がその範囲内であれば、被写体Ｈ１の特徴領域が画素の色に基づいて確実に検出されるような範囲として設定される。
【００４５】
続くフレームＦ２〜Ｆ４では被写体Ｈ１が合焦検出領域Ｗ２〜Ｗ４から多少はみ出していたので、フレームＦ１で検出されたコントラスト値ｇ１よりやや少ないものの、合焦状態を示す範囲Ｇ内にあるコントラスト値ｇ２〜ｇ４が検出される。ところが、フレームＦ５では被写体Ｈ１が焦点方向に変位したため、合焦検出領域Ｗ５のコントラスト値ｇ５が合焦状態を示す範囲Ｇの外まで低下している。
【００４６】
よって、撮像制御部１６は、フレームＦ５のように合焦状態が失われたとき、合焦検出領域Ｗ５のコントラスト値に基づいてシングル・オートフォーカス用の処理を行う。たとえば、合焦検出領域Ｗ５が合焦状態になるように、撮像レンズ２の焦点距離が調節される。これにより、撮像装置１は、再び被写体Ｈ１に合焦する。そして、その後、撮像装置１は、物体追従コンティニュアス・オートフォーカスの手順に戻る。
【００４７】
ところで、上記のような物体追従コンティニュアス・オートフォーカスにおいては、被写体Ｈ１が焦点距離を保ったままで焦点方向に対し垂直方向に大きく変位すると、被写体Ｈ１が合焦された状態でフレーム内に含まれているにもかかわらず、合焦検出領域には含まれない（あるいは含まれる面積が小さい）場合がある。たとえば、図３（Ｃ）に示すフレームＦ５の撮像画像データでは、被写体Ｈ１が合焦検出領域Ｗ５から大きくはみ出しており、ほとんど含まれていない。このとき、被写体Ｈ１は合焦されておりピントが合っているにもかかわらず、合焦検出領域Ｗ５で検出されるコントラスト値は、図３（Ｂ）で示したように合焦状態を示す範囲Ｇの外まで低下する。しかしながら、このときシングル・オートフォーカスを行うと、合焦検出領域Ｗ５内で被写体Ｈ１以外のたとえば背景に合焦されることなる。
【００４８】
そこで、本実施形態では、撮像制御部１６が、撮像画像データにおける合焦検出領域から当該撮像画像データに基づく処理画像データで検出された特徴領域までの変位量が基準量より大きい場合には、合焦検出領域が合焦状態でないときであってもシングル・オートフォーカスを行わないようにする。たとえば、図３（Ｃ）に、フレームＦ５の撮像画像データから生成される縮小画像データＰ５と、縮小画像データＰ５で検出される被写体Ｈ１の特徴領域Ｈ５を示すと、合焦検出領域Ｗ５から特徴領域Ｈ５までの変位量が大きいときには、被写体Ｈ１がフレームＦ５内に含まれていても、合焦検出領域Ｗ５には含まれておらず（あるいは含まれる面積が小さく）、したがって合焦検出領域Ｗ５が合焦状態を示さない蓋然性が大きくなる。よって、かかる場合には、シングル・オートフォーカスの実行を中止することで、被写体Ｈ１以外の背景などの物体に合焦されて被写体Ｈ１のピントがぼけるといったことを防止できる。よって、安定的に被写体Ｈ１に合焦された撮像画像を得ることができる。
【００４９】
次に、合焦検出領域から特徴領域までの変位量について説明する。本実施形態では、特徴領域は縮小画像データにおいて検出される。よって、特徴領域の位置と大きさを縮小前の撮像画像データの大きさに合わせて変換して、合焦検出領域から特徴領域までの変位量を求める。そこで、特徴領域の位置に次のフレームの合焦検出領域が設定されることを利用して、本実施形態では、合焦検出領域から特徴領域までの変位量として、現在のフレームの合焦検出領域から次のフレームに設定する合焦検出領域までの変位量を用いる。
【００５０】
図４は、合焦検出領域から特徴領域までの変位量について説明する図である。図４（Ａ）〜（Ｃ）では、フレームＦ（ｎ）（ｎ＝２、３、４、・・・）の撮像画像データにおいて設定される合焦検出領域Ｗ（ｎ）と、フレームＦ（ｎ）の撮像画像データの縮小画像データから検出された特徴領域であって、フレームＦ（ｎ＋１）の撮像画像データで設定される合焦検出領域Ｗ（ｎ＋１）が示される。
【００５１】
図４（Ａ）は、第１の例を示す。第１の例では、合焦検出領域から特徴領域までの変位量は、合焦検出領域Ｗ（ｎ）、Ｗ（ｎ＋１）における任意の位置の間の距離、たとえば、合焦検出領域Ｗ（ｎ）の中心ｃ１と合焦検出領域Ｗ（ｎ＋１）の中心ｃ２との距離ｒである。
【００５２】
この場合、撮像制御部１６は、距離ｒを閾値と比較する。かかる閾値は、たとえば実験等により予め求められる。ここで、合焦検出領域から特徴領域までの変位量が基準量より大きい場合は、距離ｒが閾値より大きい場合である。
【００５３】
撮像制御部１６は、たとえば距離ｒが閾値より小さければ、被写体が合焦検出領域Ｗ（ｎ）に含まれる蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でないときにはシングル・オートフォーカスを行う。一方、距離ｒが閾値より大きければ、被写体が合焦検出領域Ｗ（ｎ）に含まれない蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でない場合であっても、シングル・オートフォーカスを中止する。
【００５４】
図４（Ｂ）は、第２、第３の例を示す。第２の例では、合焦検出領域から特徴領域までの変位量は、合焦検出領域Ｗ（ｎ）と合焦検出領域Ｗ（ｎ＋１）の重複領域Ｍ（ｎ）の面積Ｍａ（ｎ）に反比例する量である。すなわち、合焦検出領域から特徴領域までの変位量が大きいときには重複領域Ｍ（ｎ）の面積Ｍａ（ｎ）が小さくなり、合焦検出領域と特徴領域の変位量が小さいときには重複領域Ｍ（ｎ）の面積Ｍａ（ｎ）が小さくなる。撮像制御部１６は、面積Ｍａ（ｎ）を予め実験等により求めた閾値と比較する。ここで、合焦検出領域から特徴領域までの変位量が基準量より大きい場合は、面積Ｍａ（ｎ）が閾値より小さい場合である。
【００５５】
撮像制御部１６は、たとえば面積Ｍａ（ｎ）が閾値より大きい場合には、被写体が合焦検出領域Ｗ（ｎ）に含まれる蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でないときにはシングル・オートフォーカスを行う。一方、面積Ｍａ（ｎ）が閾値より小さい場合には、被写体が合焦検出領域Ｗ（ｎ）に含まれない蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でない場合であっても、シングル・オートフォーカスを中止する。
【００５６】
さらに、第３の例では、重複領域Ｍ（ｎ）の面積Ｍａ（ｎ）の、合焦検出領域Ｗ（ｎ）の面積Ｗａ（ｎ）に対する面積率をＲ（＝Ｍａ（ｎ）／Ｗａ（ｎ））としたとき、合焦検出領域から特徴領域までの変位量は、面積率Ｒに反比例する量である。撮像制御部１６は、面積率Ｒを予め実験等により求めた閾値と比較する。ここで、合焦検出領域から特徴領域までの変位量が基準量より大きい場合は、面積率Ｒが閾値より小さい場合である。
【００５７】
撮像制御部１６は、たとえば面積率Ｒが閾値より大きい場合には、被写体が合焦検出領域Ｗ（ｎ）に含まれる蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でないときにはシングル・オートフォーカスを実行する。一方、面積率Ｒが閾値より小さい場合には、被写体が合焦検出領域Ｗ（ｎ）に含まれない蓋然性が大きいので、合焦検出領域Ｗ（ｎ）が合焦状態でない場合であっても、シングル・オートフォーカスを中止する。
【００５８】
ところで、第１、第２の実施例において、合焦検出領域Ｗ（ｎ）、Ｗ（ｎ＋１）の大きさが一定であれば、合焦検出領域間の距離ｒや重複面積Ｍａ（ｎ）に基づいて被写体が合焦検出領域Ｗ（ｎ）から外れている蓋然性の大小を一律に評価することができる。さらに、第３の実施例では、合焦検出領域Ｗ（ｎ）の面積を基準にして面積率Ｒで重複領域Ｍ（ｎ）の面積Ｍａ（ｎ）を評価するので、合焦検出領域の大きさが被写体の大きさに応じて変化する場合であっても、被写体が合焦検出領域Ｗ（ｎ）に含まれる／含まれない蓋然性を正確に判定できる。
【００５９】
たとえば、図４（Ｃ）に示すように、合焦検出領域Ｗ（ｎ）が合焦検出領域Ｗ（ｎ＋１）より大きいとき、合焦検出領域Ｗ（ｎ）と合焦検出領域Ｗ（ｎ＋１）との非重複領域Ｍ´の面積が、合焦検出領域Ｗ（ｎ）の面積に対しある程度以上になる場合がある。にもかかわらず、合焦検出領域の中心間の距離ｒが閾値より小さいか、あるいは、重複面積Ｍａ（ｎ）が閾値より大きければ、被写体が合焦検出領域Ｗ（ｎ）に含まれる蓋然性が大きい判断される。すると、合焦検出領域Ｗ（ｎ）が合焦状態でないときに、シングル・オートフォーカスが実行される。
【００６０】
しかし、非重複領域Ｍ´の面積が合焦検出領域Ｗ（ｎ）の面積に対しある程度以上になると、合焦検出領域Ｗ（ｎ）で検出されるコントラスト値が非重複領域Ｍ´における被写体に依存する割合が大きくなる。よって、たとえば非重複領域Ｍ´に背景などが含まれる場合、被写体が合焦されているにもかかわらず合焦状態を示さなくなるおそれがある。その場合、シングル・オートフォーカスを実行すると、被写体ではなく背景などに合焦されてしまう。
【００６１】
この点、合焦検出領域Ｗ（ｎ）における重複領域Ｍ（ｎ）の面積率Ｒをみてみると、面積率Ｒが大きいときには非重複領域Ｍ´は小さくなり、面積率Ｒが小さいときには非重複領域Ｍ´は大きくなる。よって、第３の実施例によれば、面積率Ｒを基準にすることで、合焦検出領域Ｗ（ｎ）、Ｗ（ｎ＋１）の大きさが一定でない場合であっても、被写体が合焦検出領域Ｗ（ｎ）に含まれる／含まれない蓋然性をより正確に判断することができる。
【００６２】
よって、たとえば、合焦検出領域Ｗ（ｎ）、Ｗ（ｎ＋１）の大きさが一定でない場合において、面積率Ｒが大きいときには合焦検出領域Ｗ（ｎ）に被写体が含まれている蓋然性が大きいと判断できるので、シングル・オートフォーカスが行われるときには確実に被写体に合焦される。一方、面積率Ｒが小さいときには合焦検出領域Ｗ（ｎ）に被写体が含まれない蓋然性が大きいか、あるいは、合焦検出領域Ｗ（ｎ）に被写体が含まれていたとしても背景の割合が大きいと判断できるので、シングル・オートフォーカスを中止し、シングル・フォーカスを行うことで背景などに合焦されるといったことを回避できる。よって、より精度よく、安定的に被写体に合焦した撮像画像を得ることができる。
【００６３】
図５は、本実施形態における撮像制御装置１４の動作手順を説明するフローチャート図である。この動作手順は、シングル・オートフォーカスが終了した後、コンティニュアス・オートフォーカスが行われるときの動作手順に対応する。図６は、撮像画像データと合焦検出領域の例を示す図である。図５の手順について、適宜、図６を参照しつつ説明する。
【００６４】
撮像制御装置１４は、フレームごとの撮像画像データが入力されると（手順Ｓ２）、合焦検出領域の合焦状態を検出する（手順Ｓ４）。たとえば、図６（Ａ）に示すように、フレームＦ（ｎ）の撮像画像データが入力されると、合焦検出部１２が、合焦検出領域Ｗ（ｎ）のコントラスト値を検出する。ここで、合焦検出領域Ｗ（ｎ）は、フレームＦ（ｎ）の前のフレームで検出された特徴領域である。
【００６５】
次いで、画像処理部１８が、画像処理を行い（手順Ｓ６）、処理画像データを生成する。たとえば、図６（Ａ）に示すように、画像処理部１８は、フレームＦ（ｎ）の撮像画像データから、縮小画像データＰ（ｎ）を生成する。そして、特徴領域検出部２０が、特徴領域を検出する（手順Ｓ８）。たとえば、特徴領域検出部２０は、縮小画像データＰ（ｎ）から特徴領域Ｈ（ｎ）を検出する。
【００６６】
特徴領域が検出されないとき（手順Ｓ１０のＮｏ）、合焦検出領域設定部２２は、次のフレームで初期設定の合焦検出領域を設定する（手順Ｓ１３）。たとえば、合焦検出領域設定部２２は、図６（Ｂ）に示すように、フレームＦ（ｎ＋１）の中心に、初期設定の合焦検出領域Ｗ１を設定する。そして、手順Ｓ１６で、撮像制御部１６は、通常のコンティニュアス・オートフォーカスを行うように撮像を制御する（手順Ｓ１６）。このとき、被写体が検出されていないので、たとえば、合焦検出領域Ｗ１が合焦状態になるように、シングル・オートフォーカスが行われ、新たに被写体が検出される。そして、処理は手順Ｓ１８に移行する。
【００６７】
一方、手順Ｓ１０で特徴領域が検出されたとき（手順Ｓ１０のＹｅｓ）、合焦検出領域設定部２２は、特徴領域の位置に次のフレームの合焦検出領域を設定する（手順Ｓ１２）。たとえば、図６（Ａ）に示すように、合焦検出領域設定部２２は、特徴領域Ｈ（ｎ）の位置に次のフレームＦ（ｎ＋１）の合焦検出領域Ｗ（ｎ＋１）を設定する。
【００６８】
手順Ｓ１４では、たとえば図４で示した方法により、撮像制御部１６が、合焦検出領域と特徴領域の変位量が閾値より大きいかを判断する。たとえば、撮像制御部１６は、フレームＦ（ｎ）で用いられた合焦検出領域Ｗ（ｎ）からフレームＦ（ｎ＋１）で設定された合焦検出領域Ｗ（ｎ＋１）への変位量が基準量より大きいか否かを判断する。変位量が基準量より小さい場合（手順Ｓ１４のＮｏ）、撮像制御部１６は、通常のコンティニュアス・オートフォーカスを行うように撮像を制御する（手順Ｓ１６）。このとき、たとえば、合焦検出領域Ｗ（ｎ）で合焦状態が検出されていなければ、シングル・オートフォーカスを行い、手順Ｓ１８に進む。一方、変位量が基準量より大きい場合（手順Ｓ１４のＹｅｓ）、手順Ｓ１６を実行せずに、つまり、合焦検出領域Ｗ（ｎ）で合焦状態が検出されていない場合であってもシングル・オートフォーカスを行わずに、手順Ｓ１８に進む。
【００６９】
手順Ｓ１８では、撮像制御部１６が、静止画像を撮像している場合には撮影実行の指示が入力されたか否か、あるいは動画を撮像している場合には動画撮像の終了の指示が入力されたか否かを判断する。そして、静止画撮像あるいは動画撮像終了が指示された場合（手順Ｓ１８のＹｅｓ）、撮像制御部１６は、静止画撮像あるいは動画撮像終了処理を実行する（手順Ｓ２０）。たとえば、撮像制御部１６は、静止画の撮像画像データ、あるいは動画の撮像画像データを、外部記憶媒体に格納する。そして、本処理が終了する。一方、静止画撮像あるいは動画撮像終了が指示されない場合（手順Ｓ１８のＮｏ）、手順Ｓ２に戻り、撮像制御装置１０は、次のフレームの撮像画像データの入力を受ける。
【００７０】
そして、次のフレームＦ（ｎ＋１）（図６（Ａ））では、合焦検出領域Ｗ（ｎ＋１）の合焦状態が検出される（手順Ｓ４）。そして、縮小画像データＰ（ｎ＋１）が生成される（手順Ｓ６）。そして、特徴領域Ｈ（ｎ＋１）が検出されると（手順Ｓ１０のＹｅｓ）、特徴領域Ｈ（ｎ＋１）の位置に次のフレームＦ（ｎ＋２）の合焦検出領域Ｗ（ｎ＋２）が設定される（手順Ｓ１２）。そして、手順Ｓ１４では、合焦検出領域Ｗ（ｎ＋１）から合焦検出領域Ｗ（ｎ＋２）への変位量に基づく判断が行われる。ここで、フレームＦ（ｎ＋１）で特徴領域が検出されており、かつ変位量が基準量より小さい場合には、手順Ｓ１６が実行される。つまり、合焦検出領域Ｗ（ｎ＋１）が合焦状態でないときに、シングル・オートフォーカスが行われる。
【００７１】
一方、合焦検出領域の変位量が基準量より大きい場合（手順Ｓ１４のＮｏ）、手順Ｓ１６のコンティニュアス・オートフォーカスの実行を中止して、静止画が撮像されず、あるいは動画撮像が終了しない場合に（手順Ｓ１８のＮｏ）、次の処理サイクルに進む。
【００７２】
上記の動作手順によれば、被写体が焦点方向に変位することでピントがぼけた状態になり、フレーム内で特徴領域が検出されない場合には初期設定の合焦検出領域を用いてシングル・オートフォーカスを行う。その一方、被写体が焦点距離を保ったまま焦点方向に対し垂直方向に変位し、合焦された状態でフレーム内に含まれている場合には、合焦検出領域を被写体に追従させながら設定する。そして、合焦検出領域が合焦状態でない場合でもシングル・オートフォーカスを実行しないので、被写体がフレーム内に含まれているにもかかわらずピントがぼけるといったことを防止できる。そして、特徴領域が検出されなくなると（手順Ｓ１０のＮｏ）、フレーム中心部の合焦検出領域においてシングル・オートフォーカスを行い、被写体に合焦された状態で再びコンティニュアス・オートフォーカスに移行する。よって、安定的に被写体に合焦された撮像画像を得ることができる。
【００７３】
なお、上記手順の変形例では、たとえばフレームＦ（ｎ）において合焦検出領域Ｗ（ｎ）からＷ（ｎ＋１）までの変位量が基準量より大きい場合（手順Ｓ１４のＹｅｓ）、次の処理サイクルの手順Ｓ４では、フレームＦ（ｎ＋１）の撮像画像データにおいて、合焦検出部１２は、合焦検出領域Ｗ（ｎ＋１）ではなく、合焦検出領域Ｗ（ｎ）の合焦状態を検出する。このとき、たとえば合焦検出領域設定部２２は、合焦検出領域Ｗ（ｎ）を設定する制御信号を合焦検出部１２に出力する。被写体が突発的に大きく変位した場合、被写体に合焦検出領域Ｗ（ｎ＋１）を追従させたとしても被写体がこれに含まれず、むしろ前のフレームで用いた合焦検出領域Ｗ（ｎ）の位置に被写体が戻る蓋然性が大きい。たとえば、人物が顔を左右に振った場合などである。よって、かかる変形例によれば、合焦検出領域に被写体が戻って合焦状態になる蓋然性が大きいので、被写体に合焦検出領域を追従させる場合より確実に、コンティニュアス・オートフォーカスに復帰することができる。
【００７４】
上述のとおり、本実施形態によれば、被写体が大きく変位する場合であっても、安定的に被写体に合焦された撮像画像を得ることができる。
【符号の説明】
【００７５】
１：撮像装置、２：撮像レンズ、１０：撮像制御装置、１２：合焦検出部、１６：撮像制御部、１８：画像処理部、２０：特徴領域検出部、２２：合焦検出領域設定部
【図１】
0005810505.tif 000002
【図２】
0005810505.tif 000003
【図３】
0005810505.tif 000004
【図４】
0005810505.tif 000005
【図５】
0005810505.tif 000006
【図６】
0005810505.tif 000007