(57)【要約】      （修正有）【課題】被写体を追尾しながらの連続撮影において連続撮影の速度を速くするために、被写体の追尾性能低下と撮影間の処理時間を抑制することができる撮像装置を提供する。【解決手段】静止画読み出しの途中から被写体検出処理を開始する（第１の被写体検出）。これにより検出処理と静止画読出しとを並行させ撮影間の処理時間をより短くする。また、ＡＦ評価値算出用の読み出し領域を第１被写体検出結果と第２被写体検出結果（1フレーム前の検出結果）による被写体位置に基づいた撮像素子の有効画素領域の一部とする。これにより、画像全体での被写体の検出・追尾精度を保ったまま読出しに掛かる時間を短くする。【選択図】図７
2018005153.tif 000002
【特許請求の範囲】
【請求項１】
撮影開始命令を受けて撮像素子に蓄積した光を信号として読み出す第一の読出し手段（Ｓ３０２、１０６ｄ）と、
前記第一の読出し手段により前記撮像素子から読み出した信号から被写体を検出する第一の被写体検出手段（Ｓ３０５、１２５）と、
前記第一の読出し手段により前記撮像素子から読み出した信号から被写体を検出する第二の被写体検出手段（Ｓ３０６、１２５）と、
前記第一の被写体検出手段により取得した検出結果のみに基づいて前記撮像素子の信号を読み出す位置を決定する第一の読出し位置決定手段（Ｓ３０９、１２１）と、
前記第一の被写体検出手段と前記第二の被写体検出手段により取得した検出結果に基づいて前記撮像素子の信号を読み出す位置を決定する第二の読出し位置決定手段（Ｓ３１０、１２１）と、
オートフォーカス評価値取得開始命令を受けて撮像素子に蓄積した光を信号として読み出す第二の読出し手段（Ｓ３１２、１０６ｄ）と、
前記第二の読出し手段によりオートフォーカス評価値を取得してレンズの駆動量を算出するレンズ駆動量算出手段（Ｓ３１３、１２１）と、
前記レンズ駆動量算出手段により算出した駆動量に応じて前記レンズを駆動させるレンズ駆動手段（Ｓ３１４、１２１）と
前記各手段に掛かる時間と撮影間隔から被写体検出を開始する時間を算出する被写体検出開始時間算出手段（Ｓ３０７）とを有し、
前記第一の被写体検出手段（Ｓ３０５、１２５）は、前記被写体検出開始時間算出手段（Ｓ３０７、１２１）によって求められる時間に応じて、前記第一の読出し手段（Ｓ３０２、１０６ｄ）により前記撮像素子からの信号を読み出している途中に、第一の被写体領域（１５１）から被写体検出を開始し、
前記第二の被写体検出手段（Ｓ３０６、１２５）は、前記第一の読出し手段（Ｓ
２０３、１０６ｄ）により前記撮像素子からの信号を読み出した１フレーム前の第二の被写体領域（１５０）から被写体検出を開始して、
前記第二の読出し手段（Ｓ３１２、１０６ｄ）により、前記第一の読出し位置決定手段（Ｓ３０９、１２１）と前記第二の読出し位置決定手段（Ｓ３１０、１２１）により決定した位置に基づいて前記撮像素子に蓄積した光を信号として前記第二の読出し手段（Ｓ３１２、１０６ｄ）により部分的に読み出し、前記オートフォーカス評価値を取得することを特徴とする撮像装置。
【請求項２】
前記第一の被写体検出手段（Ｓ３０５、１２５）は、検出速度を優先して被写体を検出する速度優先被写体検出手段と、
検出精度を優先して被写体を検出する精度優先被写体検出手段を有し、
前記第二の被写体検出手段（Ｓ３０６、１２５）は、検出精度を優先して被写体を検出する精度優先被写体検出手段のみを有し、
前記第一の精度優先被写体検出手段の検出結果のみを用いる第三の読出し位置決定手段（Ｓ５１１、１２１）と、
前記速度優先被写体検出手段の検出結果のみを用いる第四の読出し位置決定手段（Ｓ５１２、１２１）と、
前記第一の精度優先被写体検出手段の検出結果と１フレーム前の前記第二の精度優先被写体検出手段の検出結果を用いる第五の読出し位置決定手段（Ｓ５１３、１２１）と、
前記速度優先被写体検出手段の検出結果と１フレーム前の前記第二の精度優先被写体検出手段の検出結果を用いる第六の読出し位置決定手段（Ｓ５１４、１２１）とを有し、
前記第三乃至第六の読出し位置決定手段により決定した位置に基づいて前記撮像素子に蓄積した光を信号として前記第二の読出し手段（Ｓ３１２、１０６ｄ）により部分的に読み出し、
前記オートフォーカス評価値を取得することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第一乃至第六の読出し位置決定手段は、前記第一の被写体検出手段（Ｓ３０５、１２５）の結果と第二の被写体検出手段（Ｓ３０６、１２５）の結果において、主被写体が一致する場合は、前記第一の被写体検出手段の結果を優先して使用することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第一乃至第六の読出し位置決定手段は、前記第一の被写体検出手段（Ｓ３０５、１２５）の結果と第二の被写体検出手段（Ｓ３０６、１２５）の結果において、主被写体が第二の被写体検出手段のみに存在する場合は、前記第二の被写体検出手段の結果を優先して使用することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続合焦撮影の制御に関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサ等の撮像素子からオートフォーカス評価値に必要な画像の読出しを行う際、静止画像等の通常の読出し速度よりも速い速度で読み出すことで高速な焦点検出を行う技術がある。
【０００３】
特許文献１には、有効画素領域のうち特定の領域の画素信号のみを撮像素子から読み出し、オートフォーカス評価値を取得することで高速な焦点検出を行う技術が開示されている。
【０００４】
また、特許文献２には、予め区分された静止画像の読出し領域のうち特定の区分領域を他の区分領域よりも先に読み出し、オートフォーカス評価値を取得することで高速な焦点検出を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−５８４６４号公報
【特許文献２】特開２０１１−１６６５１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、有効画素領域の全体を読み出して被写体を検知し、オートフォーカス評価値取得のための読出し領域を決めている。しかしながら、全体を読み出す際には被写体のいない部分も読み出すことになるため、無駄な読出し時間を費やしてしまい、結果オートフォーカス評価値取得までに時間が掛かることが考えられる。
【０００７】
また、上述の特許文献２に開示された従来技術では、静止画像の読出しと一部並行して、オートフォーカス評価値取得のための読出しを行っている。オートフォーカス評価値取得のための読出し部分は予め区分された静止画像の読出し領域内の特定の一部領域としている。
【０００８】
しかしながら、予め区分けされた一部の領域を読み出す場合、被写体に動きがあると、設定した領域に被写体が入らない可能性が高くなり、被写体検出・追尾性能としては低下することが考えられる。
【０００９】
そこで、本発明の目的は、オートフォーカスによるフォーカス位置の決定までに掛かる時間を抑制しつつ、被写体追尾の精度を高く維持しながらの高速連写撮影が可能な撮像装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る撮像装置は、
撮影開始命令を受けて撮像素子に蓄積した光を信号として読み出す第一の読出し手段と、前記第一の読出し手段により前記撮像素子から読み出した信号から被写体を検出する第一の被写体検出手段と、前記第一の読出し手段により前記撮像素子から読み出した信号から被写体を検出する第二の被写体検出手段と、前記第一の被写体検出手段により取得した検出結果のみに基づいて前記撮像素子の信号を読み出す位置を決定する第一の読出し位置決定手段と、前記第一の被写体検出手段と前記第二の被写体検出手段により取得した検出結果に基づいて前記撮像素子の信号を読み出す位置を決定する第二の読出し位置決定手段と、オートフォーカス評価値取得開始命令を受けて撮像素子に蓄積した光を信号として読み出す第二の読出し手段と、前記第二の読出し手段によりオートフォーカス評価値を取得してレンズの駆動量を算出するレンズ駆動量算出手段と、前記レンズ駆動量算出手段により算出した駆動量に応じて前記レンズを駆動させるレンズ駆動手段と、前記各手段に掛かる時間と撮影間隔から被写体検出を開始する時間を算出する被写体検出開始時間算出手段とを有し、前記第一の被写体検出手段は、前記被写体検出開始時間算出手段によって求められる時間に応じて、前記第一の読出し手段により前記撮像素子からの信号を読み出している途中に、第一の被写体領域から被写体検出を開始し、前記第二の被写体検出手段は、前記第一の読出し手段により前記撮像素子からの信号を読み出した１フレーム前の第二の被写体領域から被写体検出を開始して、前記第二の読出し手段により、前記第一の読出し位置決定手段と前記第二の読出し位置決定手段により決定した位置に基づいて前記撮像素子に蓄積した光を信号として前記第二の読出し手段により部分的に読み出し、前記オートフォーカス評価値を取得することを特徴とする。
【発明の効果】
【００１１】
本発明に係る撮像装置によれば、静止画像読出しをしている途中で被写体検出処理を行い、さらに１フレーム前に読み出した静止画像全体から被写体検出処理を行い、その検出結果に基づいてオートフォーカス評価値取得のための読出し領域を決めて評価値演算を実行することで、次の撮影のフォーカス位置の決定までに掛かる時間を抑制しつつ、被写体追尾の精度を高く維持しながら高速連写撮影することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る撮像装置の構成を示す図である。
【図２】本発明の実施形態に係る撮像素子の構成を示す図である。
【図３】本発明の実施形態に係る撮像素子の構成を示す図である。
【図４】本発明の実施形態に係る撮像素子の構成を示す図である。
【図５】本発明の実施形態に係る焦点検出の概念を示す図である。
【図６】本発明の第１実施形態に係る撮影処理の動作のタイミングを示すタイミングチャートである。
【図７】本発明の第１実施形態に係る撮影処理の動作を示すフローチャートである。
【図８】本発明の実施形態に係る焦点検出範囲を示す図である。
【図９】本発明の第２実施形態に係る撮影処理の動作のタイミングを示すタイミングチャートである。
【図１０】本発明の第２実施形態に係る撮影処理の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の好適な実施形態についての添付の図面を参照して詳細に説明する。
【００１４】
［実施例１］
第１実施形態による撮影処理について図面を用いて説明する。まず、本実施形態による撮像装置の全体構成について図１を用いて説明する。
【００１５】
図１は本実施形態による撮像装置の全体構成を示す図である。
【００１６】
本実施形態による撮像装置１００は、デジタルカメラである。図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。
【００１７】
第３レンズ群１０４は、光軸方向の進退によって、焦点調節を行う。光学的ローパスフィルタ１０５は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０６は、２次元ＣＭＯＳフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。
【００１８】
ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０４を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１３は、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行う。
【００１９】
撮影時に用いられる照明手段（被写体照明用電子フラッシュ）１１４は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。オートフォーカス（以下、ＡＦと記す）補助光手段１１５は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。
【００２０】
制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１４を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１５を点灯制御する。
【００２１】
撮像素子駆動回路１２４は、撮像素子１０６の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０６が取得した画像の被写体検出、γ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。
【００２２】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、第３レンズ群１０４を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２７は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２８は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２３】
表示装置１３１は、例えばＬＣＤ等により構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。
【００２４】
操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体１３３は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ１３４はＲＡＭ、ＲＯＭ等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。
【００２５】
ＡＦ演算回路１３５は、撮像素子１０６が出力する画像信号に基づいて焦点検出を行う。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００２６】
図２は第１撮像素子１０６の構成を示す。
【００２７】
第１撮像素子１０６は、画素アレイ１０６ａと、画素アレイ１０６ａにおける行を選択する垂直選択回路１０６ｄ、画素アレイ１０６ａにおける列を選択する水平選択回路１０６ｃを備える。読出し回路１０６ｂは、画素アレイ１０６ａ中の画素のうち垂直選択回路１０６ｄ及び水平選択回路１０６ｃによって選択される画素の信号を読み出す。
【００２８】
垂直選択回路１０６ｄは、画素アレイ１０６ａの行を選択し、制御部１２１から出力される水平同期信号に基づいて撮像素子駆動回路１２４から出力される読出しパルスを、選択行において有効にする。読出し回路１０６ｂは列毎のアンプやメモリを含み、選択行の画素信号はアンプを介してメモリに格納される。メモリに格納された１行分の画素信号は、水平選択回路１０６ｃによって列方向に順に選択され、出力アンプ１０６ｅを介して外部に出力される。この動作を行数分繰り返し、全ての画素信号が外部に出力される。
【００２９】
図３は画素アレイ１０６ａの構成例を示す。
【００３０】
画素アレイ１０６ａは、２次元の画像データを出力するため、複数の画素部を２次元アレイ状に配置し、位相差検出が可能な画素アレイの構成を例示している。
【００３１】
図３に円形枠で示すマイクロレンズ１０６ｆに対し、長方形枠で示す複数のフォトダイオード（以下、ＰＤと記す）１０６ｇ、１０６ｈが設けられる。ＰＤ１０６ｇ、１０６ｈは、複数の光電変換部を構成する。つまり、各画素部を構成する２つのＰＤに対して１つのマイクロレンズが被写体側に配置される。マイクロレンズ１０６ｆを共有する領域を１画素とした場合、水平方向にｎ個の画素、垂直方向にｍ個の画素が並んで配置される。垂直選択回路１０６ｄの動作設定によって、ＰＤ１０６ｇに蓄積された信号とＰＤ１０６ｈに蓄積された信号を加算して読み出すことも可能であるし、いずれか一方、あるいは両方の信号を独立に読み出すことも可能である。
【００３２】
ＰＤ１０６ｇとＰＤ１０６ｈには、後述のように位相差を持った異なる像の光がそれぞれ入射する。以下、ＰＤ１０６ｇをＡ像用画素とし、ＰＤ１０６ｈをＢ像用画素とする。本実施形態では、１つのマイクロレンズに対して２個のＰＤを配置した構成例を示すが、１つのマイクロレンズに対して３以上のＰＤ（例えば４個、９個など）を配置した構成でもよい。つまり、１つのマイクロレンズに対して複数のＰＤが上下方向または左右方向に配置された構成にも本発明を適用できる。
【００３３】
次に、図３に示す画素アレイ構成を有する撮像素子１０６にて、Ａ像用画素とＢ像用画素が出力する画素データについて説明する。
【００３４】
図４（ａ）及び（ｂ）は、撮像素子１０６におけるピント状態と位相差との関係を示す模式図である。
【００３５】
図４に示す画素アレイの断面１０６ａにおいて、１つのマイクロレンズ１４３に対してＡ像用画素１４４及びＢ像用画素１４５が配置される。撮影レンズ１４０は、図１に示す第１レンズ群１０１、第２レンズ群１０３、第３レンズ群１０４を併せて１つのレンズとして表現した撮像光学系である。被写体１４１からの光は、光軸１４２を中心として、撮影レンズ１４０の各領域を通過して撮像素子に結像する。ここでは射出瞳と撮影レンズの中心を同一としている。撮影レンズ１４０の各領域は、異なる方向から光が通過する。
【００３６】
すなわち、本構成では、撮像光学系をＡ像用画素から見た場合とＢ像用画素から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価となる。言い換えれば、撮像光学系からの光束が２つの光束として、いわゆる瞳分割される。この分割光束（第１光束ΦＬａ及び第２光束ΦＬｂ）がＡ像用画素及びＢ像用画素にそれぞれ入射する。
【００３７】
被写体１４１上の特定点からの第１光束は、Ａ像用画素１４４に対応する分割瞳を通ってＡ像用画素１４４に入射する光束ΦＬａである。また、被写体１４１上の特定点からの第２光束は、Ｂ像用画素１４５に対応する分割瞳を通ってＢ像用画素１４５に入射する光束ΦＬｂである。瞳分割された２つの光束は、被写体１４１上の同一点から撮像光学系を通過して入射される。このため、被写体１４１にピントが合った状態では、図４（ａ）に示すように、光束ΦＬａ，ΦＬｂが同一のマイクロレンズを通過して撮像素子上の１点に到達する。
【００３８】
したがって、Ａ像用画素１４４とＢ像用画素１４５からそれぞれ得られる像信号の位相は互いに一致する。これに対し、図４（ｂ）に示すように、光軸方向に距離Ｙだけピントがずれている状態では、光束ΦＬａ，ΦＬｂがマイクロレンズへ入射する入射角の変化分だけ両光束の到達位置が互いにずれる。したがって、Ａ像用画素１４４とＢ像用画素１４５からそれぞれ得られる像信号には位相差が生じる。Ａ像用画素１４４及びＢ像用画素１４５により検出される、互いに位相差を持った２つの被写体像（Ａ像及びＢ像）はＰＤがそれぞれ光電変換する。光電変換後のＡ像、Ｂ像の各信号は別々に外部へ出力され、後述するＡＦ動作で使用される。
【００３９】
図５（ａ）は、図４（ａ）で説明したように被写体にピントが合っている場合のＡ画像データ及びＢ画像データを例示する。横軸は、画素位置を表し、縦軸は出力レベルを表す。図５（ａ）に示すように、被写体にピントが合っている場合、Ａ画像データとＢ画像データは一致する。図５（ｂ）は、図４（ｂ）で説明したように被写体にピントが合っていない場合のＡ画像データ及びＢ画像データを例示する。この場合、Ａ画像データとＢ画像データは位相差を持ち、画素位置にずれ量Ｘが生じる。
【００４０】
ＡＦ演算回路１３５は、動画フレーム毎のずれ量Ｘを算出することによりピントずれ量、即ち図４（ｂ）におけるＹ値を算出する。ＡＦ演算回路１３５は算出したＹ値を、制御部１２１を介してフォーカス駆動回路１２６に送信する。
【００４１】
フォーカス駆動回路１２６は、ＡＦ演算回路１３５から取得したＹ値に基づき第３レンズ群１０４の駆動量を算出し、フォーカスアクチュエータ１１３に駆動命令を出力する。フォーカスアクチュエータ１１３により、第３レンズ群１０４は被写体にピントが合う合焦位置まで移動し、撮像素子１０６の受光面上に焦点が位置する状態となる。
【００４２】
次に、本実施形態による撮像装置によって行われる被写体追従ＡＦ連続撮影について、図６と図７を用いて説明する。
【００４３】
図６は本実施形態による撮像装置における被写体追従ＡＦ連続撮影の際の動作のタイミングを示すタイミングチャートである。加えて、図７は本実施形態による撮像装置における被写体追従ＡＦ連続撮影の際の動作を示すフローチャートである。
【００４４】
撮像装置１００は、操作スイッチ群１３２に含まれる撮影モード選択スイッチのユーザー操作により、撮影モードが被写体追従ＡＦ連続撮影モードとなっていることを前提とする。
【００４５】
前記撮影モードのときに、操作スイッチ群１３２に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップＳ３０１へ移行する。
【００４６】
ステップＳ３０１では、静止画撮影のために撮像素子１０６へ露光を開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ１１２で制御する。このとき撮像素子駆動回路１２４において、撮像素子１０６の有効画素領域全体含む領域を読み出す駆動モードで撮像素子１０６を制御する。処理のタイミングは２０１で示すように、撮影開始の後に実行する。
【００４７】
ステップＳ３０２では、撮像素子駆動回路１２４により、撮像素子１０６に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に送信する処理を開始する。ステップＳ３０１において設定した駆動モードに従って、有効画素領域全体を含む領域の画像信号を垂直選択回路１０６ｄの設定により、Ａ像用画素１４４及びＢ像用画素１４５の各データを画素毎に加算して読み出す。処理のタイミングは２０２で示すように、静止画蓄積処理の完了後に実行する。
【００４８】
ステップＳ３０３では、撮像素子１０６に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して制御部１２１に１画素毎、もしくは複数の画素単位で次々送信している。そして第１被写体検出処理開始時間は以下のようにして決める。図８は有効画素領域に対する第１被写体領域１５１と第２被写体領域１５０と焦点検出領域１５２を例示した図であり、第２被写体領域１５０は有効画素領域と一致する。まずは、第１被写体検出処理開始を第１被写体領域１５１までの読出しが完了するタイミングとなるように決める。
【００４９】
第１被写体領域１５１まで読出しが完了した時点で、読み出した画像信号をもとに被写体検出すれば必要なＡＦ評価値演算は可能であるから、第１被写体領域１５１までの読出しが完了する時点を第１被写体検出処理開始時間とすればよい。第１被写体領域は静止画像全体の一部の領域であり、撮影モードや、レンズの種類により変わるため、条件に応じて検出開始時間を変えてもよい。または、連写撮影の速度設定をもとに決めてもよい。連写速度が速い場合は、撮影と次の撮影との撮影間の処理時間をより短くする必要がある。
【００５０】
そこで、第１被写体検出処理開始時間を早めることで、撮影間の処理時間を短くすることが出来る。その場合、読出し完了している画像信号は少なくなってしまうため、被写体検出の精度は低下してしまうが、連写速度はより高速にすることが可能となる。
【００５１】
ステップＳ３０５では、制御部１２１に送信されてきた第１被写体領域１５１の画像信号をもとに画像処理回路１２５において第１被写体検出処理を開始する。後述するが、ＡＦ処理に必要な検出結果情報は被写体の位置情報であり、またＡＦ開始時間には制約があり、ＡＦ開始までには検出処理が終わっている必要がある。被写体が多数あるような場面で、検出処理が間に合わなかった場合は、前回の撮影での検出処理結果の位置情報を代用してもよい。または、予めデフォルト位置情報を設定しておいて、それをＡＦ処理では使用するかたちでもよい。処理のタイミングは、２０３で示すように静止画読出しの途中からであり、設定中の連写速度を保証できる時点となる。
【００５２】
ステップＳ３０７では、制御部１２１で残りの静止画読出し処理と被写体検出処理を並行して実行している。そしてＡＦ開始時間は以下のように決める。連写速度によって決まる次の撮影開始時間に対して、ＡＦ評価値算出用読出し領域算出処理、ＡＦ評価値算出用読出しのための蓄積、ＡＦ評価値算出用読出し、ＡＦ評価値算出とレンズ駆動量の算出、レンズの駆動、これらが完了するように決める。
【００５３】
ステップＳ３０８では、１回目の撮影かどうかを判断して、１回目の撮影であればステップＳ３０９に進み、２回目以降の撮影であればステップＳ３１０へ進む。ステップＳ３０９では、第１被写体検出の結果からＡＦ評価値算出用読出し領域を算出する。前提として、ＡＦ評価値算出用読出しは、撮像素子駆動回路１２４において静止画読出しとは別の駆動で制御して、撮像素子１０６の有効画素領域を部分的に読み出す。
【００５４】
図８に示す焦点検出領域１５２は、有効画素領域の一部の領域である。このとき第１被写体検出結果の被写体位置情報を用いて、被写体位置を中心として、有効画素領域に対して部分的に読み出す位置を決定し、焦点検出領域１５２をＡＦ評価値算出用読出し領域とする。処理のタイミングとしては２０４に含めているが、前述の通りに定めたＡＦ開始時間のタイミングで実行する。
【００５５】
ステップＳ３０４では、第２被写体検出開始のために図８に示す第２被写体領域１５０まで読出しが完了するのを待つ。第２被写体領域１５０は静止画像全部の領域であり、第２被写体検出処理開始時間は、第２被写体領域１５０までの読出しの完了後から第２被写体検出処理の完了が次フレームのＡＦ開始に間に合うタイミングまでの間とすればよい。
【００５６】
ステップＳ３０６では、制御部１２１に送信されてきた第２被写体領域１５０の画像信号をもとに画像処理回路１２５において第２被写体検出処理を開始する。第２被写体検出処理の結果は、現在のフレームではなく次のフレームに使用する。そのため、処理のタイミングは２０８で示すように、第２被写体領域１５０までの読出し完了後に行い、第１被写体検出２１１の結果と合わせてＡＦ処理に使用する。このとき、第２被写体検出２０８を第１被写体検出２０３の完了後に逐次的に行っているが、処理のタイミングは２１６に示すように第２被写体領域１５０までの読出し完了直後から、第１被写体検出２１１と並行して第２被写体検出を行ってもよい。
【００５７】
ステップＳ３１０では、制御部１２１で第１被写体検出の結果、及び１フレーム前の第２被写体検出の結果からＡＦ評価値算出用読出し領域を算出する。第１被写体検出の結果と第２被写体検出の結果が一致していれば、ステップＳ５１１と同様にして決定した読出し領域に対して読出しを開始する。第１被写体検出の結果と第２被写体検出の結果が異なる場合は、主被写体として検出された結果の方を優先して、読出し領域を決定して読出しを開始する。読出しの際の撮像素子１０６の駆動制御としてはステップＳ３０９と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては、ステップＳ３０９と同じく２０４に含まれ、ＡＦ開始時間のタイミングで実行する。
【００５８】
ステップＳ３１１では、ＡＦ評価値算出のために撮像素子１０６へ露光を開始し、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ１１２で制御する。静止画とは異なり、ここでは撮像素子駆動回路１２４において、撮像素子１０６の有効画素領域の一部の領域を読み出す駆動モードで撮像素子１０６を制御する。処理のタイミングは２０４で示すように、ＡＦ評価値算出用読出し領域算出処理の後に実行する。
【００５９】
ステップＳ３１２では、撮像素子駆動回路１２４により、撮像素子１０６に蓄積された電荷から得られた画像信号を垂直選択回路１０６ｄの設定により、Ａ像用画素１４４、Ｂ像用画素１４５のいずれか一方のデータ、あるいは加算したデータを独立にＡ／Ｄ変換して制御部１２１に送信する処理を開始する。ステップＳ３１１において設定した駆動モードに従って有効画素領域の一部の領域の画像信号を読み出す。処理のタイミングは２０５で示すように、ＡＦ評価値算出用読出しのための蓄積処理の完了後に実行する。
【００６０】
ステップＳ３１３では、制御部１２１に送信されたＡ像用画素１４４、Ｂ像用画素１４５の各画像信号をもとに前述の通り、ＡＦ演算回路１３５でＡＦの評価値算出を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部１２１で算出する。処理のタイミングは２０６で示すように、ＡＦ評価値算出用読出しの完了後に実行する。
【００６１】
ステップＳ３１４では、制御部１２１で算出したレンズの駆動量から、フォーカス駆動回路１２６、または絞りシャッタ駆動回路１２７、あるいはそれらを組み合わせて制御して、各アクチュエータ１１３、１１２を駆動させて、被写体に合焦する位置までレンズを駆動させる。
【００６２】
ステップＳ３１５では、操作スイッチ群１３２に含まれるレリーズスイッチ（ＳＷ２）がオンかオフかを判断して、オンであればＳ３１０で合焦したレンズ位置で連写撮影を続ける。オフであれば連写撮影を停止して撮影終了となる。タイミングとしては２０７の後にレリーズスイッチの判断をして、オンならば撮影開始されて２０８の静止画蓄積処理、２０９の静止画読出しと撮影処理を続けていく。
【００６３】
前述の通り、本実施形態では、静止画読み出し途中から第１被写体検出処理を開始する。これにより検出処理と静止画読出しとを並行させることで撮影間の処理時間をより短くすることができる。
【００６４】
加えて、ＡＦ評価値算出用読出しについては読み出す領域を第１被写体検出の結果と第２被写体検出の結果による被写体位置に基づいた撮像素子の有効画素領域の一部としている。これにより、画像全体での被写体の検出、追尾精度は保ったまま読出しに掛かる時間をより短くすることができる。
【００６５】
以上のように、画像全体での被写体の検出、追尾精度は保ちつつ、撮影間の処理時間とＡＦ評価値算出用読出し時間を短縮することで、被写体追従しながらの連写撮影において連写速度をより速めることができる。
【００６６】
［実施例２］
第２実施形態による撮像装置によって行われる被写体追従ＡＦ連続撮影について、図９と図１０を用いて説明する。
【００６７】
図９は本実施形態による撮像装置における被写体追従ＡＦ連続撮影の際の動作のタイミングを示すタイミングチャートである。加えて、図１０は本実施形態による撮像装置における被写体追従ＡＦ連続撮影の際の動作を示すフローチャートである。
【００６８】
本実施形態は第１実施形態による撮像装置によって行われる被写体追従ＡＦ連続撮影の処理に対して、被写体検出処理の内容が異なる。そのほかの処理については第１実施形態による処理内容と同じ処理を行う。
【００６９】
すなわち、Ｓ５０１からＳ５０４では、Ｓ３０１からＳ３０４と同じ処理を行い、Ｓ５１５からＳ５１９では、Ｓ３１１からＳ３１５と同じ処理を行う。加えて、タイミングチャート上の処理についても、４０１と４０２、４１０と４１１は２０１と２０２、２０９と２１０と同じ処理を行っており、４０５から４０８、４１４から４１７もまた２０４から２０７、２１２から２１５と同じ処理を行う。
【００７０】
第１実施形態による撮像装置によって行われる被写体追従ＡＦ連続撮影の処理と異なる、被写体検出処理及びそのタイミングについて説明する。
【００７１】
ステップＳ５０５においてステップＳ３０５と同様に、被写体検出を開始する。ただし、ここでは２通りの手段で被写体の検出を行う。１つは、被写体の内容や個数等は判別しない精度の低い検出手段である。しかしながら、検出精度のパラメータを調節することで、後述のＡＦ開始時間までに、主被写体の位置とサイズの情報を検出結果として出力することを保証する検出速度優先の検出手段である。ここでは入力した画像信号をもとにした色情報から当該検出を行う。４０３、４１２の物体検出処理に該当する。
【００７２】
もう１つの検出手段は、検出結果として被写体が顔か否かを判断して、その被写体の個数、それぞれの位置とサイズ、重要度の順位まで出力する、高精度な検出手段である。しかしながら、顔やその他の物体の個数が多いところを撮影する場合に検出処理が高負荷となり、検出結果を出力するまでに時間が掛かるような検出精度優先の検出手段である。４０４ａ、４０４ｂ、４１３の第１顔検出処理に該当する。
【００７３】
それぞれの検出を開始するタイミングについては、４０３、４０４ａ、４０４ｂ、４１２、４１３に示すように、静止画の読出しを実施している途中から、２つの検出処理を同時に開始する。
【００７４】
ステップＳ５０７では、静止画読出し処理と前記物体検出処理及び第１顔検出処理を並行して実行している。ＡＦ開始時間についてもステップＳ３０７と同様に、連写速度によって決まる次の撮影開始時間に対して、ＡＦ評価値算出用読出し領域算出処理、ＡＦ評価値算出用読出しのための蓄積、ＡＦ評価値算出用読出し、ＡＦ評価値算出とレンズ駆動量の算出、レンズの駆動、これらが完了するように決める。
【００７５】
ステップＳ５０８では、１回目の撮影かどうかを判断して、１回目の撮影であればステップＳ５０９に進み、２回目以降の撮影であればステップＳ５１０へ進む。
【００７６】
ステップＳ５０９では、ステップＳ５０５で開始した２つの被写体検出処理において、ステップＳ５０７で示すＡＦ開始時間が経過したときに、検出精度優先の検出結果を出力できているか否かを判断する。判断するタイミングとしては、４０３、４０４ａ、４０４ｂ、４１２、４１３の検出処理を開始してからＡＦ開始時間に到達したところで開始する。
【００７７】
検出精度優先の検出結果が出力できている場合、すなわち４０３、４０４ｂ、４１２で示すようにＡＦ開始時間までに２つの検出結果が出力できている状態にある場合は、ステップＳ５１１の処理を開始する。一方で、検出速度優先の検出結果のみが出力できている場合、すなわち４０３、４０４ａ、４１２、４１３で示すようにＡＦ開始時間までに検出速度優先の検出結果のみが出力できている状態にある場合は、ステップＳ５１２の処理を開始する。以下それぞれの処理を説明する。
【００７８】
ステップＳ５１１では、検出精度優先の検出結果を用いて、ＡＦ評価値算出用読出し領域を算出する。検出結果が１つの物体であれば、その物体の位置を中心として読出し領域を決定する。
【００７９】
一方で複数の物体が検出された際は、最も順位の高い物体の位置を中心として読出し領域を決定する。また、読出し領域の決定に顔情報を用いる場合、サイズによって、瞳位置を中心に領域決定するか、顔自体の中心で領域決定するかを判別する。上記の通り決定した読出し領域に対して読出しを開始する。読出しの際の撮像素子１０６の駆動制御としてはステップＳ３０９と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては４０５に含めているが、ＡＦ開始時間のタイミングで実行する。
【００８０】
ステップＳ５１２では、検出速度優先の検出結果を用いて、ＡＦ評価値算出用読出し領域を算出する。検出結果としては、物体１つの情報のみ出力されているので、その物体の位置を中心として読出し領域を決定し、読出しを開始する。読出しの際の撮像素子１０６の駆動制御としてはステップＳ３０９、ステップＳ５１１と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては４０５に含めているが、ＡＦ開始時間のタイミングで実行する。
【００８１】
ステップＳ５１０では、ステップＳ５０９と同一の処理を行い、検出精度優先の検出結果を出力できているか否かを判断する。判断するタイミングとしては、ステップＳ５０９と同じく、４０３、４０４ａ、４０４ｂ、４１２、４１３の検出処理を開始してからＡＦ開始時間に到達したところで開始する。
【００８２】
ステップＳ５０６では、検出精度優先の被写体検出のみを行う。４０９、４１８の第２顔検出処理に該当する。検出を開始するタイミングについては、４０９、４１８に示すように、静止画の読出しを完了した後に開始する。このとき、処理のタイミングについては、４０９に示すように第１顔検出４０４ａの完了後に逐次的に第２顔検出を行ってもよく、４１８に示すように静止画読出し完了直後から、第１顔検出４１３と並行して第２顔検出を行ってもよい。第２顔検出の結果は次フレームのＡＦ評価値算出用読出しに使用するため時間制約が少ない。そのため、検出速度優先の検出手段を並行して行う必要性は少なく、検出精度優先の検出手段のみを行えばよい。
【００８３】
ステップＳ５１３では、第１顔検出の結果及び１フレーム前の第２顔検出の結果を用いて、ＡＦ評価値算出用読出し領域を算出する。第１顔検出の結果と第２顔検出の結果が一致していれば、ステップＳ５１１と同様にして決定した読出し領域に対して読出しを開始する。第１顔検出の結果と第２顔検出の結果が異なる場合は、主被写体として検出された結果の方を優先して、読出し領域を決定して読出しを開始する。読出しの際の撮像素子１０６の駆動制御としてはステップＳ５１１と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては４１４に含めているが、ＡＦ開始時間のタイミングで実行する。
【００８４】
ステップＳ５１４では、物体検出の結果及び１フレーム前の第２顔検出の結果を用いて、ＡＦ評価値算出用読出し領域を算出する。物体検出の結果と第２顔検出の結果が一致していれば、ステップＳ５１１と同様にして決定した読出し領域に対して読出しを開始する。物体検出の結果と第２顔検出の結果が異なる場合は、主被写体として検出された結果の方を優先して、読出し領域を決定して読出しを開始する。読出しの際の撮像素子１０６の駆動制御としてはステップＳ５１２、ステップＳ５１３と同様に、有効画素領域を部分的に読み出す駆動方式で制御する。処理のタイミングとしては４１４に含めているが、ＡＦ開始時間のタイミングで実行する。
【００８５】
上記のように、実施例１に対して静止画の読出し途中で開始する被写体検出方法を２つに分けて同時に実施し、静止画の読出し完了後に開始する精度優先被写体検出処理の検出結果を１フレーム後に適用することで、検出速度優先の検出により連写速度を保証しながらも、画像全体の被写体の検出、追尾も保証が可能となる。加えて、検出精度優先の検出がＡＦ開始時間に間に合う場合は、より精度の高い検出結果を用いることで追尾性能も向上できる。
【００８６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８７】
１０１  第１レンズ群、１０２  絞り兼用シャッタ、１０３  第２レンズ群、
１０４  第３レンズ群、１０５  光学的ローパスフィルタ、１０６  撮像素子、
１１１  ズームアクチュエータ、１１２  絞りシャッタアクチュエータ、
１１３  フォーカスアクチュエータ、１１４  電子フラッシュ、
１１５  ＡＦ補助光手段、１２１  制御部、１２２  電子フラッシュ制御回路、
１２３  補助光駆動回路、１２４  撮像素子駆動回路、１２５  画像処理回路、
１２６  フォーカス駆動回路、１２７  絞りシャッタ駆動回路、
１２８  ズーム駆動回路、１３１  表示装置、１３２  操作スイッチ群、
１３３  記録媒体、１３４  メモリ
【図１】
2018005153.tif 000003
【図２】
2018005153.tif 000004
【図３】
2018005153.tif 000005
【図４】
2018005153.tif 000006
【図５】
2018005153.tif 000007
【図６】
2018005153.tif 000008
【図７】
2018005153.tif 000009
【図８】
2018005153.tif 000010
【図９】
2018005153.tif 000011
【図１０】
2018005153.tif 000012