(57)【要約】【課題】  オートフォーカス評価値を得るタイミングを早くするために被写体検出処理を行う領域を制限してしまうと、その領域の外にいる被写体に対して好適な画像処理を行うことができなかった。【解決手段】  撮像装置は、撮像素子の有効画素領域のうち、オートフォーカスのための評価値が生成される領域に対応する領域を含む第１の領域の画像データを読み出し、この画像データから検出された被写体に対応するオートフォーカスのための評価値に基づいて、オートフォーカスのためのレンズの駆動量を算出する。撮像装置はさらに、撮像素子の有効画素領域のうち、記第１の領域に含まれない領域を含む第２の領域の画像データを読み出し、この第２の領域の画像データから検出された被写体と、第１の領域の画像データから検出された被写体に基づいて、画像処理を行う。【選択図】  図２
2019057810.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から画像データを読み出す読み出し手段と、
前記読み出し手段によって読み出された画像データから被写体を検出する被写体の検出処理を行う検出手段と、
オートフォーカスのための評価値を生成する生成手段と、
前記検出手段によって検出された被写体に対応する前記評価値に基づいて、オートフォーカスのためのレンズの駆動量を算出する算出手段と、
前記検出手段によって検出された被写体に基づいて、画像処理を行う画像処理手段と、を有し、
前記読み出し手段は、前記撮像素子の有効画素領域の一部であり、かつ、前記オートフォーカスのための評価値が生成される領域に対応する領域を含む第１の領域の画像データを読み出してから、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第１の領域に含まれない領域を含む第２の領域の画像データを読み出し、
前記検出手段は、前記読み出し手段が前記第２の領域の画像データの読み出しを終える前に前記第１の領域の画像データに対して第１の被写体の検出処理を行い、前記第２の領域の画像データが読み出されてから前記第２の領域の画像データに対して第２の被写体の検出処理を行い、
前記算出手段は、前記第１の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記レンズの駆動量を算出し、
前記画像処理手段は、前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体に基づいて、前記画像処理を行うことを特徴とする撮像装置。
【請求項２】
前記画像処理手段は、前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体を統合した結果に基づいて、前記画像処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の領域は、前記撮像素子の有効画素領域のうち、前記第１の領域に含まれない全ての領域であることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第２の領域は、前記第１の領域の一部を含む領域であることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
前記検出手段は、検出した被写体の信頼度を求めるものであり、
前記画像処理手段は、前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体が同一の被写体であれば、信頼度の高いほうの被写体の検出結果を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像処理手段は、前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体が同一の被写体であれば、前記第２の被写体の検出処理によって検出された被写体の検出結果を選択することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記読み出し手段は、前記第２の領域の画像データの読み出しが終わった後に、電荷の蓄積を行った撮像素子から前記第１の被写体の検出処理の結果に基づく領域の画像データを読み出し、
前記生成手段は、前記第１の被写体の検出処理の結果に基づく領域から読み出された画像データから前記評価値を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記算出手段は、前記生成手段は生成した前記評価値のうち、前記検出手段によって検出された被写体に対応する前記評価値を選択して、オートフォーカスのためのレンズの駆動量を算出することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項９】
前記第１の被写体の検出処理の実行可能な時間は、次のフレームの撮影をするまでの間隔に基づいて決定されることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像素子の有効画素領域の一部であり、かつ、オートフォーカスのための評価値が生成される領域に対応する領域を含む第１の領域の画像データを読み出す工程と、
前記第１の領域の画像データを読み出した後で、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第１の領域に含まれない領域を含む第２の領域の画像データを読み出す工程と、
前記第２の領域の画像データの読み出しを終える前に前記第１の領域の画像データに対して、被写体を検出するための第１の被写体の検出処理を行う工程と、
前記オートフォーカスのための評価値を生成する工程と、
前記第１の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記オートフォーカスのためのレンズの駆動量を算出する工程と、
前記第２の領域の画像データが読み出されてから前記第２の領域の画像データに対して第２の被写体の検出処理を行う工程と、
前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体に基づいて、画像処理を行う工程と、
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
撮像装置のコンピュータが読み出し実行することが可能なプログラムであって、
前記プログラムは、
前記撮像装置の撮像素子の有効画素領域の一部であり、かつ、オートフォーカスのための評価値が生成される領域に対応する領域を含む第１の領域の画像データを読み出すステップと、
前記第１の領域の画像データを読み出した後で、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第１の領域に含まれない領域を含む第２の領域の画像データを読み出すステップと、
前記第２の領域の画像データの読み出しを終える前に前記第１の領域の画像データに対して、被写体を検出するための第１の被写体の検出処理を行うステップと、
前記オートフォーカスのための評価値を生成するステップと、
前記第１の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記オートフォーカスのためのレンズの駆動量を算出するステップと、
前記第２の領域の画像データが読み出されてから前記第２の領域の画像データに対して第２の被写体の検出処理を行うステップと、
前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体に基づいて、画像処理を行うステップと、
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オートフォーカスおよび画像処理ための被写体の検出処理に関するものである。
【背景技術】
【０００２】
画像データから被写体が存在する領域を検出し、その領域に対応するオートフォーカス評価値を算出して、焦点検出を行う撮像装置が知られている（特許文献１）。
【０００３】
特許文献１には、画像データから検出した被写体の領域に対応する読み出し領域を設定し、この読み出し領域から読み出した画像データを用いてオートフォーカスのための評価値（オートフォーカス評価値）を算出することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５８４６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の特許文献１に開示された従来技術では、有効画素領域の全体から読み出した画像データから被写体を検出し、これに応じてオートフォーカス評価値を取得するための読み出し領域を設定している。
【０００６】
ここで、撮像装置によっては、オートフォーカス評価値を算出できる領域が有効画素領域全体をカバーしておらず、一部の領域に限定されている場合がある。このような構成の場合、オートフォーカス評価値を算出することができない領域から被写体を検出したとしても、その検出結果をオートフォーカスに反映させることはできない。
【０００７】
そこで、オートフォーカス評価値を得ることができる領域から画像データを読み出し終えた時点で、全ての画像データを読み出す前であっても、被写体の検出を開始することが考えられる。被写体の検出の開始を早めることで、被写体を検出できるまでの時間を短縮することができる。
【０００８】
しかしながら、オートフォーカス評価値を得ることができる領域のみから被写体を検出すると、この領域外に被写体が存在する場合に、その被写体を中心とした色補正や鮮鋭度補正などの画像処理を行うことができなくなってしまう。
【０００９】
そこで、本発明は、被写体に対するオートフォーカス評価値を得るのに要する時間を抑えつつ、オートフォーカス評価値を得る領域外に存在する被写体に対しても好適な画像処理を行える撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明は、撮像素子から画像データを読み出す読み出し手段と、前記読み出し手段によって読み出された画像データから被写体を検出する被写体の検出処理を行う検出手段と、オートフォーカスのための評価値を生成する生成手段と、前記検出手段によって検出された被写体に対応する前記評価値に基づいて、オートフォーカスのためのレンズの駆動量を算出する算出手段と、前記検出手段によって検出された被写体に基づいて、画像処理を行う画像処理手段と、を有し、前記読み出し手段は、前記撮像素子の有効画素領域の一部であり、かつ、前記オートフォーカスのための評価値が生成される領域に対応する領域を含む第１の領域の画像データを読み出してから、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第１の領域に含まれない領域を含む第２の領域の画像データを読み出し、前記検出手段は、前記読み出し手段が前記第２の領域の画像データの読み出しを終える前に前記第１の領域の画像データに対して第１の被写体の検出処理を行い、前記第２の領域の画像データが読み出されてから前記第２の領域の画像データに対して第２の被写体の検出処理を行い、前記算出手段は、前記第１の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記レンズの駆動量を算出し、前記画像処理手段は、前記第１の被写体の検出処理によって検出された被写体と前記第２の被写体の検出処理によって検出された被写体に基づいて、前記画像処理を行うことを特徴とする撮像装置を提供するものである。
【発明の効果】
【００１１】
本発明によれば、被写体に対するオートフォーカス評価値を得るのに要する時間を抑えつつ、オートフォーカス評価値を得る領域外に存在する被写体に対しても好適な画像処理を行える撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態における撮像装置の全体構成を示す概略図である
【図２】本発明の第１の実施形態における撮影処理の動作のタイミングを示すタイミングチャートである
【図３】本発明の第１の実施形態における撮影処理の動作を示すフローチャートである
【図４】本発明の第１の実施形態における被写体検出結果を示す表である
【図５】本発明の第１の実施形態における静止画画像処理の動作を示すフローチャートである
【図６】本発明の第１の実施形態における被写体検出範囲を示す図である
【図７】本発明の第２の実施形態における被写体検出範囲を示す図である
【発明を実施するための形態】
【００１３】
以下、本発明の好適な実施形態について添付の図面を参照しながら詳細に説明する。
【００１４】
（第１の実施形態）
図１は、第１の実施形態による撮像装置の全体構成を示す図である。
【００１５】
本実施形態における撮像装置１００は、デジタルカメラである。図１に示すように、結像光学系の先端部に第１レンズ群１０１が配置されており、第１レンズ群１０１は光軸方向に進退可能に保持されている。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ１０２と第２レンズ群１０３とは一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動によって、変倍作用（ズーム機能）を奏する。
【００１６】
第３レンズ群１０５は、光軸方向の進退によって、焦点調節を行う。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、２次元ＣＭＯＳフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。
【００１７】
ズームアクチュエータ１１１は、図示しないカム筒を回動することで、第１レンズ群１０１乃至第３レンズ群１０５を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。
【００１８】
撮影時に用いられる照明手段（被写体照明用電子フラッシュ）１１５は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するＬＥＤを備えた照明装置を用いてもよい。オートフォーカス（以下、ＡＦと記す）補助光手段１１６は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。
【００１９】
制御部１２１は、撮像装置１００における種々の制御を司るものであり、図示しないＣＰＵ（演算部）、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有している。
【００２０】
電子フラッシュ制御回路１２２は、撮影動作に同期して照明手段１１５を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光手段１１６を点灯制御する。
【００２１】
撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御するとともに、取得した画像信号をＡ／Ｄ変換して制御部１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像に対して、被写体が存在する領域を検出するための被写体検出、ガンマ変換、カラー補間、および、圧縮等の処理を行う。
【００２２】
フォーカス駆動回路１２６は、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２８は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２９は、撮影者によるズーム操作に応じてズームアクチュエータ１１１を駆動する。
【００２３】
表示装置１３１は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成されており、撮像装置１００の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群１３２は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体１３３は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ１３４はＲＡＭ、ＲＯＭ等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。制御部１２１は、メモリ１３４の有するＲＯＭに記憶された所定のプログラムに基づいて、撮像装置１００の各種回路を駆動し、ＡＦ、撮影、画像処理、記録等の一連の動作を実行する。
【００２４】
次に、本実施形態による撮像装置によって行われる被写体追従ＡＦモードでの連続撮影について、図２と図３を用いて説明する。図２は、本実施形態による撮像装置における被写体追従ＡＦモードでの連続撮影の際の動作のタイミングを示すタイミングチャートである。加えて、図３は、本実施形態による撮像装置における被写体追従ＡＦモードでの連続撮影の際の動作を示すフローチャートである。
【００２５】
撮像装置１００は、操作スイッチ群１３２に含まれる撮影モード選択スイッチのユーザー操作により、撮影モードが被写体追従ＡＦモードになっていることを前提とする。
【００２６】
このモードのときに、操作スイッチ群１３２に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップＳ３０１へ移行する。
【００２７】
ステップＳ３０１では、静止画撮影のために撮像素子１０７へ露光を開始し、電荷の蓄積を行う。図２の静止画蓄積２０１が、露光および電荷の蓄積を行う期間を示す。露光時間は絞りシャッタアクチュエータ１１２で制御する。
【００２８】
ステップＳ３０２では、有効画素領域の全体を含む領域から画像データを読み出す処理を開始する。撮像素子駆動回路１２４は、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して画像データを生成し、制御部１２１に１画素単位、もしくは複数の画素単位で順に送信する。図２の静止画読み出し２０２が、画像データの読み出しに要する期間である。
【００２９】
ステップＳ３０３では、画像処理回路１２５が被写体検出処理を開始する。図２の被写体検出２０３が、被写体検出処理に要する期間である。ここで、後述する図６の領域６０１がＡＦ評価値を算出可能な領域である。この領域６０１より後に読み出される画像データからはＡＦ評価値を算出しないため、このような領域の画像データの読み出しを完了する前に被写体検出処理を開始する。具体的には、ＡＦ評価値を算出可能な全ての領域からの画像データの読み出しが完了すると、制御部１２１に送信されてきた画像信号に基づき、画像処理回路１２５が被写体検出処理を開始する。図２の静止画読み出し２０２の下に記載された矢印２１２が、ＡＦ評価値を算出可能な全ての領域からの画像データの読み出しに必要な期間を示す。
【００３０】
図４は被写体検出処理により検出された被写体の結果を表している。検出された被写体毎に、被写体の位置（水平方向、垂直方向）と大きさ、また、検出結果としての信頼度が算出され、信頼度順に整列されている。ピントが合っていない被写体や、画角内に捉えられず切れて写っている被写体では信頼度が小さくなるため、信頼度は、撮像装置が主たる被写体として捉えているかを表す指標として扱うこともできる。また、被写体検出処理では、検出できる被写体の個数に上限を設ける場合もある。これは、検出した被写体の数に応じて後処理の時間が増加するため、処理時間を考慮して検出できる被写体の個数に上限を設定する。
【００３１】
ステップＳ３０４では、制御部１２１が、被写体検出処理によって得られた被写体の位置情報を用いて、被写体の位置を中心とし、有効画素領域に対して部分的にＡＦ読み出し領域を設定する。次のフレームの電荷の蓄積のタイミングは定まっており、その前にＡＦ処理を完了する必要があるため、被写体検出処理ができるタイミングには制約がある。蓄積時間が長いと、ＡＦ評価値を算出可能な全ての領域からの画像データの読み出しが完了するまでに要する時間が長くなるため、ＡＦ処理を開始する前に被写体検出処理が完了しないケースがある。このような場合は、直前のフレームの画像データから得られた被写体検出処理によって検出された領域を、ＡＦ読み出し領域として設定してもよい。あるいは、デフォルトとして定めておいた領域をＡＦ読み出し領域として設定してもよい。
【００３２】
また、このステップＳ３０４と並行して静止画のための画像処理が開始される。この現像のフローについては後ほど説明を行う。
【００３３】
ステップＳ３０５では、ＡＦ評価値の算出のために撮像素子１０７へ露光を開始し、電荷が蓄積される。図２のＡＦ蓄積２０４が、ＡＦ評価値の算出のための電荷の蓄積に要する期間である。露光時間は絞りシャッタアクチュエータ１１２で制御する。露光時間の長さは、ＡＦ評価値さえ得られれば良いので、静止画を得る場合に比較して短く設定することができる。
【００３４】
ステップＳ３０６では、撮像素子駆動回路１２４が、撮像素子１０７に蓄積された電荷から得られた画像信号をＡ／Ｄ変換して画像データを生成し、制御部１２１に送信する処理を開始する。図２のＡＦ読み出し２０５が、ＡＦ評価値を生成するための画像データの読み出しに要する期間である。撮像素子駆動回路１２４は、静止画のための読み出しとは別の駆動方式で撮像素子１０７を制御し、撮像素子１０７の有効画素領域から部分的に画像データを読み出す。撮像素子駆動回路１２４はＡＦ読み出し領域からのみ画像データを読み出すので、有効画素領域の全体から画像データを読み出す場合に比べて、読み出しに要する時間を大幅に短縮することができる。
【００３５】
ステップＳ３０７では、制御部１２１は、送信された画像データをもとにＡＦの評価値の算出を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部１２１で算出する。ＡＦの評価値は、コントラストの強さや、特定周波数成分の信号レベルの積分値などを算出する、周知のコントラストＡＦ方式を用いる。図２の駆動量算出２０６が、ＡＦ評価値の算出に要する期間である。
【００３６】
ステップＳ３０８では、制御部１２１は算出したレンズの駆動量に基づいて、フォーカス駆動回路１２６を制御して、被写体に合焦する位置までレンズを駆動させる。図２のレンズ駆動２０７が、被写体に合焦する位置までレンズを駆動させるための要する期間である。
【００３７】
ステップＳ３０９では、操作スイッチ群１３２に含まれるレリーズスイッチがオンされた状態のままであるか、オフされたかを判断して、オンされた状態のままであればステップＳ３０１に戻る。オフされていれば、連写撮影を停止し、撮影終了となる。
【００３８】
ここで、図２の被写体検出２０３を実行可能な期間について説明する。ステップＳ３０３で説明したように、図２の被写体検出２０３は、ＡＦ評価値を算出可能な全ての領域からの画像データの読み出しが完了したタイミングから、開始することができる。
【００３９】
また、図２の被写体検出２０３は、連写の間隔によって決まる、次のフレームのための電荷の蓄積（図２の静止画蓄積２２１）を開始する前に、被写体に合焦する位置までレンズを駆動させる処理までを完了する必要がある。つまり、図２の被写体検出２０３は、次のフレームの電荷の蓄積を開始するタイミングから、図２のＡＦ蓄積２０４、ＡＦ読み出し２０５、駆動量算出２０６およびレンズ駆動２０７の期間だけ遡ったタイミングまでには、完了することが望ましい。
【００４０】
ここで、撮像素子１０７における静止画読み出し２０３が完了しないと、撮像素子１０７におけるＡＦ蓄積２０４を開始することができない。そのため、少なくともＡＦ評価値を算出可能な全ての領域からの画像データの読み出しが完了してから、有効画素領域の全ての領域からの画像データの読み出しが完了するまでの間は、被写体検出２０３のための期間として確保することができる。そして、蓄積時間が短いほど、すなわち、ＡＦ評価値を算出可能な全ての領域からの画像データの読み出しが完了するタイミングが早くなるほど、被写体検出２０３のために割り当てられる期間を長くすることができる。
【００４１】
続いて、図２、図５および図６を用いて、図３のステップＳ３０４と並行して開始される撮影した画像データに対して行われる静止画のための画像処理について説明する。図５は静止画のための画像処理の動作についてのフローチャートである。
【００４２】
ステップＳ５０１では、制御部１２１が現像処理のために被写体検出処理を適用する範囲を決定する。現像処理では、撮影された被写体に基づいて現像パラメータを変化させることで、その被写体に好適な画像データを生成することができる。例えば、被写体が暗い場合には、被写体の輝度を持ち上げるように現像処理のパラメータが変更される。また、被写体が人物の場合には、顔位置を検出し、その結果から、人物の明るさや色味を判定し、被写体である人物がより良く映るように現像パラメータが決定される。しかしながら、図３のステップＳ３０３では、有効画素領域の全ての領域から画像データを読み出す前であっても、ＡＦ評価値を算出可能な領域から画像データを読み出した時点で、被写体検出処理を開始している。そのため、ＡＦ評価値を得ることができる領域よりも後に読み出される領域に被写体が存在していたとしても、ステップＳ３０３の被写体検出処理では検出対象とすることができない。ゆえに、ステップＳ５０１では、ＡＦ評価値を得ることができる領域よりも後に読み出される領域に存在する被写体を検出するための、被写体検出処理を適用する範囲を決定する。なお、必ずしも、ＡＦ評価値を得ることができる領域よりも後に読み出される領域の全てを、被写体検出処理を適用する範囲とする必要はない。例え被写体が存在していたとしても、その位置に存在する被写体の重要度は低いと考えられる領域については、被写体検出処理を適用する範囲に含めなくともよい。
【００４３】
図６は被写体検出処理を適用する範囲を説明する図である。撮像素子１０７の有効画素領域は、ＡＦ評価値を算出可能な領域６０１を含む。上述の図３のステップＳ３０３で説明したように、ＡＦ評価値を算出可能な領域までの読み出しが完了するタイミングで、ＡＦ読み出し領域の設定のための被写体検出処理を実施する。そのため、点線６０２で示されるラインの画像データの読み出しが完了したタイミングで、ＡＦ読み出し領域の設定のための被写体検出処理を実施する。このときの被写体検出処理の対象範囲が左下がりの斜線で示す領域６０３である。
【００４４】
現像のための被写体検出処理は、残りの右下がりの斜線で示す領域６０４を含む領域に対して行われる。現像のための被写体検出処理に要する時間は、有効画素領域の狭い領域のみを対象とするので、有効画素領域全体に対して被写体検出処理を行う場合に比べて大幅に短縮することができる。現像のための被写体検出処理が完了するまでの時間が短くなれば、現像処理が完了する前の時間も短くなるので、連写枚数の向上に寄与することが可能となる。
【００４５】
ステップＳ５０２では、ステップＳ５０１において決定された範囲に対して、現像のための被写体検出処理を行う。図２の現像用被写体検出２０８が、現像のための被写体検出処理に要する期間を示す。ステップＳ３０３とステップＳ５０２における被写体検出処理は同一の画像処理回路１２５が行うため、ステップＳ５０２の被写体検出処理は、ステップＳ３０３の被写体検出処理が完了した後に実行される。
【００４６】
ステップＳ５０３では、ステップＳ３０３で得られたＡＦ読み出し領域を設定するための被写体の検出結果と、ステップＳ５０２で得られた現像のための被写体の検出結果を統合して、１画面分の被写体の検出結果を生成する。図２の統合２０９が、この被写体の検出結果を統合する処理に要する期間を示す。被写体の検出結果は、統合した後に信頼度の順で並び替えを行う。並び替えた結果、検出個数が上限の数を超えた場合には、上限の検出個数までを有効な検出結果として、信頼度の低い被写体情報は削除するようにしてもよい。
【００４７】
ステップＳ５０４では、統合された被写体の検出結果に基づいて現像パラメータを決定し、現像処理を実施する。図２の静止画現像処理２１０が、この現像処理に要する期間を示す。例えば、検出された被写体の位置、大きさ、および、信頼度に基づいて優先順位を設定し、優先順位に応じた重み付けを行って、色補正や鮮鋭度補正などの各種の画像処理を行う。あるいは、信頼度が閾値以上の被写体のみを対象として、各種の画像処理を行うようにしてもよい。あるいは、統合された被写体の検出結果を現像処理によって生成された画像データとともに記憶し、この画像データを後で処理する場合に被写体の検出結果を参照できるようにしてもよい。
【００４８】
前述の通り、本実施形態では、有効画素領域の全領域から画像データを読み出す前であっても、ＡＦ評価値を算出するための領域から画像データを読み出した時点で、被写体検出処理を行う。これにより、被写体に対するＡＦ評価値を算出するまでの時間を短縮することができる。
【００４９】
加えて、このＡＦ読み出し領域は、撮像素子の有効画素領域のうち、被写体が検出された位置に基づく領域のみとしている。これにより、被写体に対するＡＦ精度を保ちつつ、ＡＦ評価値を得るための画像データの読み出しに掛かる時間をより短くすることができる。
【００５０】
また、現像処理に必要な被写体検出処理は、ＡＦ読み出し領域を決定するための被写体検出では実施しなかった範囲に基づく部分的な領域に限定して実施する。そして、得られた被写体検出結果をＡＦ読み出し領域を決定するための被写体検出結果と統合することで、処理時間をより短くすることができる。
【００５１】
以上説明したように、本実施形態の撮像装置によれば、ＡＦ評価値を算出するまでに要する時間を抑えつつ、この領域外に存在する被写体に対しても好適な画像処理を行うことができる。
【００５２】
なお、本実施形態では、ステップＳ３０３で得られた被写体の検出結果に基づいて撮像素子１０７上のＡＦ読み出し領域を決定し、再度、撮像素子１０７にＡＦ評価値の算出のための電荷の蓄積を行わせる例をあげて説明を行った。しかしながら、これに限られるものではない。例えば、撮像装置が一眼レフカメラであって、撮像素子１０７とは別に測距センサを用いている場合であっても、本発明を適用することはできる。このような撮像装置の場合、測距センサに対応する測距点を含む領域から画像データの読み出しが完了した時点で、ステップＳ３０３の被写体検出処理を開始する。そして、この被写体の検出結果に基づいて測距センサの出力を選択して、レンズ駆動量の算出を行うようにする。
【００５３】
あるいは、特開２０１４−１４６０１９号に記載されているように、各画素から視差を有する画像データを得られる撮像素子を備えた撮像装置に本発明を適用してもよい。このような撮像装置であれば、瞳距離に応じて設定される距離情報を算出可能な領域から画像データを読み出しが完了した時点で、ステップＳ３０３の被写体検出処理を開始する。そして、この被写体の検出結果に基づいて画素を選択し、選択した画素から得られた視差を有する画像データを用いて、位相差検出方式によりレンズ駆動量の算出を行えばよい。
【００５４】
このように、他の構成の撮像装置の場合であっても、被写体が存在する領域のＡＦ評価値を得るまでの時間を短縮することができる。そして、図５に示す静止画画像処理を行うことで、ＡＦ評価値を算出する領域の外に存在する被写体に対しても好適な画像処理を行うことができるようになる。
【００５５】
（第２の実施形態）
第２の実施形態では、第１の実施形態で説明した撮像装置において、被写体が、ＡＦ評価値を算出可能な領域６０１の境界部を跨いでいる場合について説明する。本実施形態においても、図３および図５に示すフローチャートは本実施形態にいても共通である。
【００５６】
図７は、被写体７０１がＡＦ評価値を算出可能な領域６０１の境界部を跨ぐ位置に存在する状態を示す。図７（ａ）では、被写体７０１は、ＡＦ読み出し領域を決定するための被写体の検出範囲が行われる領域７０２の下端と重なっている。
【００５７】
図７（ａ）に示す状態では、ＡＦ読み出し領域を決定するための被写体検出処理によって、被写体７０１が低い信頼度で検出されるケースと、被写体７０１が検出されないケースとが考えられる。第１の実施形態では、図３のステップＳ３０３の被写体検出処理と、図５のステップＳ５０２の被写体検出処理のいずれにおいても、この被写体７０１を高い信頼度で検出することができなかった。
【００５８】
これに対し、本実施形態は、図７（ａ）の被写体７０１を高い信頼度で被写体として検出できるようにするための処理を行う。具体的には、図５のステップＳ５０１において、制御部１２１が現像処理のために被写体検出処理を適用する範囲を決定する処理が、第１の実施形態と一部異なる。
【００５９】
制御部１２１は、図７（ｂ）に示すように、ＡＦ評価値を算出可能な領域７０２も一部含むように、現像処理のための被写体検出処理を適用する範囲を決定する。図５のステップＳ５０１において、例えば、撮像素子１０７の下端のラインから、検出可能な被写体の最大のサイズを含むライン数だけ含むように、被写体検出処理を適用する範囲を決定する。あるいは、図３ステップＳ３０３の被写体検出処理において、信頼度が低くとも被写体７０１を検出できているならば、その検出結果から被写体の位置とサイズを推定し、これを含むように、被写体検出処理を適用する範囲の上端のラインを決定する。これにより、図３のステップＳ３０３の被写体検出範囲の境界と重なる被写体７０１を、現像処理のための被写体検出範囲に含めることが可能になり、被写体７０１の信頼度を正しく判定することが可能になる。
【００６０】
なお、図５のステップＳ５０３の被写体の検出結果を統合する処理では、同一の被写体がステップＳ３０３とステップＳ５０２の両方の被写体検出処理で検出されている場合がある。よって、両方で検出された被写体であるかを判定して、検出結果を１つにまとめる必要がある。同一の被写体であるかを判定する方法としては、検出された被写体の位置およびサイズの差分がいずれも予め設定した範囲内であれば、同一の被写体と判断することができる。また、同一の被写体と判断された場合には、信頼度の高いほうの検出結果を選択すればよい。あるいは、ステップＳ５０２の被写体検出処理のほうが、ステップＳ３０３の被写体検出処理よりも被写体を包含するように被写体検出範囲が設定されている可能性が高いため、ステップＳ５０２の被写体検出処理の結果を選択するようにしてもよい。
【００６１】
以上説明したように、本実施形態によれば、第１の実施形態における効果に加え、ＡＦ評価値を算出可能な領域に一部だけ掛かっている被写体を検出する確率を向上することができるようになる。
【００６２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６３】
１０１  第１レンズ群
１０２  絞り兼用シャッタ
１０３  第２レンズ群
１０５  第３レンズ群
１０７  撮像素子
１１１  ズームアクチュエータ
１１２  絞りシャッタアクチュエータ
１１４  フォーカスアクチュエータ
１２１  制御部
１２４  撮像素子駆動回路
１２５  画像処理回路
１２６  フォーカス駆動回路
１３２  操作スイッチ群
【図１】
2019057810.tif 000003
【図２】
2019057810.tif 000004
【図３】
2019057810.tif 000005
【図４】
2019057810.tif 000006
【図５】
2019057810.tif 000007
【図６】
2019057810.tif 000008
【図７】
2019057810.tif 000009