(57)【要約】【課題】  シーンに含まれる被写体を効率的に検出するとともに、主被写体への焦点調節の精度を上げること。【解決手段】  撮像素子から出力された画像信号から、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する焦点検出手段と、デフォーカス量に基づいて、距離分布情報を作成する作成手段と、距離分布情報およびデフォーカス量に基づいて、焦点調節を行う焦点調節手段と、作成手段により距離分布情報を作成する際には、撮像光学系に含まれる絞りを予め決められた第１の被写界深度となる第１の絞り値に設定して撮影を行い、焦点調節手段により焦点調節を行う際には、絞りを第１の被写界深度よりも浅い第２の被写界深度となる第２の絞り値に設定して撮影を行うように制御する制御手段と、を有する。【選択図】  図１
2018017876.tif 000002
【特許請求の範囲】
【請求項１】
複数のマイクロレンズそれぞれに対して複数の光電変換素子を備え、撮像光学系を介して入射した被写体像を撮影して、画像信号を出力する撮像素子と、
前記撮像素子から出力された画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する焦点検出手段と、
前記デフォーカス量に基づいて、距離分布情報を作成する作成手段と、
前記距離分布情報および前記デフォーカス量に基づいて、焦点調節を行う焦点調節手段と、
前記作成手段により前記距離分布情報を作成する際には、前記撮像光学系に含まれる絞りを予め決められた第１の被写界深度となる第１の絞り値に設定して撮影を行い、前記焦点調節手段により焦点調節を行う際には、前記絞りを前記第１の被写界深度よりも浅い第２の被写界深度となる第２の絞り値に設定して撮影を行うように制御する制御手段と
を有することを特徴とする撮像装置。
【請求項２】
前記距離分布情報に基づいて被写体を検出し、該検出した被写体から主被写体を検出する画像処理手段を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、前記デフォーカス量の差が予め決められた閾値以内にある焦点検出領域をそれぞれ領域群としてまとめることで、被写体を検出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の焦点検出領域それぞれに対して、予め決められた条件で決められた重み値を記憶した記憶手段を更に有し、
前記画像処理手段は、前記領域群それぞれについて、各領域群を構成する前記焦点検出領域の前記重み値の合計値が予め決められた閾値より大きい場合に、該領域群を被写体として判定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記画像処理手段は、前記被写体それぞれの前記重み値の合計値のうち、もっとも大きい合計値を有する被写体を主被写体として判定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記焦点調節手段は、前記主被写体に対応する焦点検出領域のデフォーカス量に基づいて、焦点調節を行うことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記焦点検出手段は、更に、前記デフォーカス量の信頼性を検出し、
前記画像処理手段は、前記信頼性が予め決められた閾値以上のデフォーカス量を有する焦点検出領域を用いて、被写体を検出することを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記焦点調節手段は、前記複数の焦点検出領域の全てにおいて、前記信頼性が予め決められた閾値よりも低い場合に、前記撮像光学系に含まれるフォーカスレンズを無限遠の位置に駆動することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記焦点調節手段は、前記重み値の合計値が前記予め決められた閾値より大きい領域群が存在しない場合、前記重みの合計値が最も高い領域群の焦点検出領域で検出したデフォーカス量に基づいて、前記撮像光学系に含まれるフォーカスレンズを駆動することを特徴とする請求項４または５に記載の撮像装置。
【請求項１０】
前記焦点調節手段は、前記主被写体の領域における前記重み値の合計値と前記第２の絞り値とに応じて、前記撮像光学系に含まれるフォーカスレンズの駆動速度を算出することを特徴とする請求項４または５に記載の撮像装置。
【請求項１１】
前記撮像素子から出力された画像信号により表される画像から、顔の領域を検出する顔検出手段を有し、
前記画像処理手段は、前記主被写体の領域と前記顔検出手段によって検出した顔の領域が一致しない場合、前記顔の領域を主被写体として判定することを特徴とする請求項２乃至１０のいずれか１項に記載の撮像装置。
【請求項１２】
撮像素子から出力された画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する焦点検出手段と、
前記デフォーカス量に基づいて、距離分布情報を作成する作成手段と、
前記距離分布情報および前記デフォーカス量に基づいて、フォーカスレンズの駆動量を求める焦点調節手段と、を有し、
前記焦点検出手段は、前記作成手段により前記距離分布情報を作成する際には、第１の設定を使用し、前記焦点調節手段により前記フォーカスレンズの駆動量を求める際には、第２の設定を使用して前記デフォーカス量を検出することを特徴とする画像処理装置。
【請求項１３】
前記距離分布情報に基づいて被写体を検出し、該検出した被写体から主被写体を検出する画像処理手段を更に有し、
前記焦点検出手段は、前記一対の画像を互いにシフトしながら相関演算を行ってデフォーカス量を検出し、
前記第１の設定では、１回のシフト幅を第１のシフト幅にするとともに、シフト範囲を第１のシフト範囲とし、
前記第２の設定では、前記主被写体に対応する焦点検出領域について、前記シフト幅を前記第１のシフト幅より狭い第２のシフト幅にすると共に、前記シフト範囲を前記第１のシフト範囲よりも狭い第２のシフト範囲とすることを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記画像信号をフィルタ処理するフィルタ手段と、
前記距離分布情報に基づいて被写体を検出し、該検出した被写体から主被写体を検出する画像処理手段と、を更に有し、
前記焦点検出手段は、前記フィルタ手段によりフィルタ処理された前記画像信号を用いて、デフォーカス量を検出し、
前記第１の設定では、前記フィルタ手段において第１のフィルタを使用し、前記第２の設定では、前記主被写体に対応する焦点検出領域について、第２のフィルタを使用し、前記第１のフィルタが抽出する周波数帯域は、前記第２のフィルタが抽出する周波数帯域よりも低いことを特徴とする請求項１２に記載の画像処理装置。
【請求項１５】
前記第２の設定では、前記主被写体に対応しない焦点検出領域について、前記第２のフィルタが抽出する周波数帯域よりも低い周波数帯域の信号を抽出する第３のフィルタを使用することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記画像処理手段は、前記デフォーカス量の差が予め決められた閾値以内にある焦点検出領域をそれぞれ領域群としてまとめることで、被写体を検出することを特徴とする請求項１３乃至１５のいずれか１項に記載の画像処理装置。
【請求項１７】
前記複数の焦点検出領域それぞれに対して、予め決められた条件で決められた重み値を記憶した記憶手段を更に有し、
前記画像処理手段は、前記領域群それぞれについて、各領域群を構成する前記焦点検出領域の前記重み値の合計値が予め決められた閾値より大きい場合に、該領域群を被写体として判定することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記画像処理手段は、前記被写体それぞれの前記重み値の合計値のうち、もっとも大きい合計値を有する被写体を主被写体として判定することを特徴とする請求項１７に記載の画像処理装置。
【請求項１９】
前記焦点調節手段は、前記主被写体に対応する焦点検出領域のデフォーカス量に基づいて、焦点調節を行うことを特徴とする請求項１３乃至１８のいずれか１項に記載の画像処理装置。
【請求項２０】
前記焦点検出手段は、更に、前記デフォーカス量の信頼性を検出し、
前記画像処理手段は、前記信頼性が予め決められた閾値以上のデフォーカス量を有する焦点検出領域を用いて、被写体を検出することを特徴とする請求項１３乃至１９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記焦点調節手段は、前記複数の焦点検出領域の全てにおいて、前記信頼性が予め決められた閾値よりも低い場合に、フォーカスレンズを無限遠の位置に駆動する駆動量を求めることを特徴とする請求項２０に記載の画像処理装置。
【請求項２２】
前記焦点調節手段は、前記重み値の合計値が前記予め決められた閾値より大きい領域群が存在しない場合、前記重みの合計値が最も高い領域群の焦点検出領域で検出したデフォーカス量に基づいて、フォーカスレンズの駆動量を求めることを特徴とする請求項１７または１８に記載の画像処理装置。
【請求項２３】
前記撮像素子から出力された画像信号により表される画像から、顔の領域を検出する顔検出手段を有し、
前記画像処理手段は、前記主被写体の領域と前記顔検出手段によって検出した顔の領域が一致しない場合、前記顔の領域を主被写体と定義することを特徴とする請求項１３乃至２２のいずれか１項に記載の画像処理装置。
【請求項２４】
複数のマイクロレンズそれぞれに対して複数の光電変換素子を備え、撮像光学系を介して入射した被写体像を撮影して、画像信号を出力する撮像素子と、
請求項１２乃至２３のいずれか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
【請求項２５】
複数のマイクロレンズそれぞれに対して複数の光電変換素子を備え、撮像光学系を介して入射した被写体像を撮影して画像信号を出力する撮像素子から、前記撮像光学系に含まれる絞りを予め決められた第１の被写界深度となる絞り値に設定して撮影を行って得られた画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する第１の焦点検出工程と、
作成手段が、前記第１の焦点検出工程で検出された前記デフォーカス量に基づいて、距離分布情報を作成する作成工程と、
前記撮像素子から、前記撮像光学系に含まれる絞りを予め決められた第２の被写界深度となる絞り値に設定して撮影を行って得られた画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する第２の焦点検出工程と、
焦点調節手段が、前記距離分布情報および前記第２の焦点検出工程で検出された前記デフォーカス量に基づいて、焦点調節を行う焦点調節工程と、を有し、
前記第２の被写界深度は、前記第１の被写界深度よりも被写界深度が浅いことを特徴とする撮像装置の制御方法。
【請求項２６】
焦点検出手段が、撮像素子から出力された画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについて、第１の設定を用いてデフォーカス量を検出する第１の焦点検出工程と、
作成手段が、前記第１の焦点検出工程で検出された前記デフォーカス量に基づいて、距離分布情報を作成する作成工程と、
前記撮像素子から出力された画像信号から、視差を有する一対の画像を生成して、前記複数の焦点検出領域それぞれについて、第２の設定を用いてデフォーカス量を検出する第２の焦点検出工程と、
焦点調節手段が、前記距離分布情報および前記第２の焦点検出工程で検出された前記デフォーカス量に基づいて、フォーカスレンズの駆動量を求める焦点調節工程と、
を有することを特徴とする画像処理方法。
【請求項２７】
コンピュータに、請求項２５に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
【請求項２８】
コンピュータに、請求項２６に記載の画像処理方法の各工程を実行させるためのプログラム。
【請求項２９】
請求項２７または２８に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、及び画像処理装置及び方法に関し、特に撮像面位相差ＡＦによる焦点調節技術に関する。
【背景技術】
【０００２】
近年需要が高まっているライブビュー（ＬＶ）画面を見ながらの撮影は、ＡＦ制御として、逸早く合焦させるための応答性に加えて、フォーカシング動作の品位が求められている。最近では、ＬＶ撮影時に高速かつ品位良くフォーカシングを行うことが可能なＡＦ方式が提案されている。その方式の一つとして挙げられるのが、位相差検出方式によるＡＦを、画像を撮影するための撮像素子を用いて行う撮像面位相差検出方式のＡＦである。
【０００３】
撮像面位相差検出方式の１つとして、特許文献１では、１つのマイクロレンズで集光される１つの画素においてフォトダイオードを分割し、各々のフォトダイオードが撮像レンズの異なる瞳領域を通過した光を受光するように構成することが開示されている。そして、２つのフォトダイオードの出力を比較することで、撮像面位相差検出方式のＡＦが可能となる。撮像面位相差検出方式を用いることで、ＬＶ撮影時でも位相差検出方式でＡＦ制御することが可能になり、高速で品位良くフォーカシングを行うことができる。
【０００４】
こうして得られる合焦結果を、撮影時の合焦位置決定のためだけに使用するのではなく、複数の焦点検出領域を設定し、画面内の距離の分布情報（距離マップ）から複数の被写体の位置を取得し、撮影時の処理や画像処理時の判断に使用する場合がある。
【０００５】
特許文献２では、撮像範囲を複数に分割して焦点検出を行い、距離情報に基づいて取得した被写体の種類に応じて撮影モードを切り替えることが開示されている。この際の焦点検出では、位相差検出方式、コントラスト方式、また２者を組み合わせたハイブリッド方式を用いている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２００９−２７２７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、フォーカスレンズの位置によっては、一回の露光で距離マップ情報を作成できないシーンもある。そのような場合、何度もフォーカスレンズを動かして露光して焦点検出を行い、被写体を捜索する必要がある。また、コントラスト方式を用いた焦点検出はフォーカスレンズを頻繁に駆動させるため時間がかかり、ＬＶ画面の見栄えも良くない。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、シーンに含まれる被写体を効率的に検出するとともに、主被写体への焦点調節の精度を上げることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装は、複数のマイクロレンズそれぞれに対して複数の光電変換素子を備え、撮像光学系を介して入射した被写体像を撮影して、画像信号を出力する撮像素子と、前記撮像素子から出力された画像信号から、視差を有する一対の画像を生成して、予め決められた複数の焦点検出領域それぞれについてデフォーカス量を検出する焦点検出手段と、前記デフォーカス量に基づいて、距離分布情報を作成する作成手段と、前記距離分布情報および前記デフォーカス量に基づいて、焦点調節を行う焦点調節手段と、前記作成手段により前記距離分布情報を作成する際には、前記撮像光学系に含まれる絞りを予め決められた第１の被写界深度となる第１の絞り値に設定して撮影を行い、前記焦点調節手段により焦点調節を行う際には、前記絞りを前記第１の被写界深度よりも浅い第２の被写界深度となる第２の絞り値に設定して撮影を行うように制御する制御手段とを有する。
【発明の効果】
【００１０】
本発明によれば、シーンに含まれる被写体を効率的に検出するとともに、主被写体への焦点調節の精度を上げることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置の構成を示すブロック図。
【図２】撮像光学系の瞳と撮像素子が受光する光の関係を示す模式図。
【図３】第１の実施形態における焦点検出処理を示すフローチャート。
【図４】第１の実施形態における焦点検出領域の一例を示す図。
【図５】第１の実施形態における焦点検出領域から得られる画像信号を示す図。
【図６】第１の実施形態における相関量及び相関変化量の変化を表した図。
【図７】第１の実施形態における相関変化量及び相関量の変化を表した図。
【図８】第１の実施形態における撮影処理を示すフローチャート。
【図９】第１の実施形態における静止画撮影処理を示すフローチャート。
【図１０】第１の実施形態における主被写体検出処理を示すフローチャート。
【図１１】第１の実施形態における被写体検出処理を示すフローチャート。
【図１２】第１の実施形態におけるＡＦ処理を示すフローチャート。
【図１３】第１の実施形態における焦点検出領域と重み値の一例を示す図。
【図１４】第１の実施形態における撮影するシーンの一例と焦点検出領域を示す図。
【図１５】第１の実施形態における撮像装置と被写体の位置関係を模式的に示す図。
【図１６】被写界深度と像崩れを説明する図。
【図１７】第１の実施形態における被写体の検出例を示す図。
【図１８】第１の実施形態における撮影するシーンの別の一例を示す図。
【図１９】第２の実施形態における第１の設定と第２の設定を示す図。
【図２０】第２の実施形態における焦点検出処理シーケンスを示す図。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
図１を参照して、第１の実施形態における撮像装置の構成について説明する。図１は、撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、被写体を撮影して得られた動画や静止画のデータを磁気テープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能なデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。
【００１４】
撮影レンズ１１１（レンズユニット）は、固定レンズ１１２、絞り１１３、フォーカスレンズ１１４等の撮像光学系を備えて構成される。絞り制御部１１５は、絞り１１３を駆動することにより、絞り１１３の開口径を調整して撮影時の光量調節を行う。フォーカス制御部１１６は、撮影レンズ１１１のピント方向のずれ量に基づいてフォーカスレンズ１１４を駆動する駆動量を決定する。フォーカスレンズ１１４を駆動することにより、焦点調節状態を制御する。フォーカス制御部１１６によるフォーカスレンズ１１４の移動制御により、自動焦点調節（ＡＦ）制御が実現される。フォーカスレンズ１１４は、焦点調節用レンズであり、図１では１枚のレンズで簡略的に示されているが、通常は複数のレンズで構成される。絞り制御部１１５や、フォーカス制御部１１６はレンズ制御部１１７によって制御される。
【００１５】
撮影レンズ１１１を介して入射した光束は撮像素子１２１の受光面上に結像し、撮像素子１２１により電気信号に変換される。撮像素子１２１は、ＣＣＤやＣＭＯＳセンサ等により構成され、複数の光電変換素子により被写体像（光学像）を信号電荷に光電変換する。各光電変換素子に蓄積された信号電荷は、タイミングジェネレータ１２２が出力する駆動パルスにより、信号電荷に応じた電圧信号（撮像信号及び焦点検出用信号）として撮像素子１２１から順次読みだされる。
【００１６】
ここで、図２を用いて撮像素子１２１について説明する。撮像素子１２１は、２次元的に配列されたｍ×ｎ画素で構成されており、２０１は撮像素子１２１の一部の断面を示している。各画素２０２には、マイクロレンズ２０３と２つの光電変換素子２０４，２０５が配置されており、撮像面位相差検出方式による自動焦点調節に用いる像信号を生成することができる。撮影レンズ１１１の撮像光学系の瞳２０６の異なる領域２０７，２０８を通過した光束は、光軸２０９を中心に各画素２０２に配置されたマイクロレンズ２０３を介して、各画素２０２に設けられた２つの光電変換素子２０４、２０５で受光される。これにより、１つの画素２０２から、撮像信号と焦点検出用信号の２種類の信号を取得することができる。
【００１７】
２つの光電変換素子２０４，２０５の出力を加算することで、撮像信号を取得することができ、撮像信号処理部１２４により画像信号（画像データ）として整えられる。また、２つの光電変換素子２０４，２０５の出力を各々扱うことにより、視差の異なる２つの画像（視差画像）を取得することができ、焦点検出用信号処理部１２５によって焦点検出の演算を行う。本実施形態の説明では、２つの光電変換素子２０４，２０５の出力を加算して得た画像をＡ＋Ｂ像、２つの光電変換素子の出力を各々扱って得た画像をそれぞれＡ像、Ｂ像と呼称する。なお、焦点検出用信号の生成方法については本実施形態の手法に限定せず、他の方法を用いても良い。また、焦点検出処理の詳細については後述する。
【００１８】
図１に戻り、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３は、撮像素子１２１から読み出された撮像信号及び焦点検出用信号に対し、リセットノイズを除去する為の相関二重サンプリング、ゲインの調節、信号のデジタル化を行う。そして、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３は、撮像信号を撮像信号処理部１２４に、撮像面位相差方式の焦点検出用信号を焦点検出用信号処理部１２５にそれぞれ出力する。焦点検出用信号処理部１２５はＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３から出力された焦点検出用の２つの像信号に対して相関演算を行い、像ずれ量、信頼性情報（二像一致度、二像急峻度等）を算出する。また、撮像画面内で焦点検出を行う焦点検出領域の設定や配置も行う。
【００１９】
撮像信号処理部１２４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３から出力された撮像信号をバス１３１を介してＳＤＲＡＭ１３６に格納する。ＳＤＲＡＭ１３６に格納された画像信号は、バス１３１を介して表示制御部１３２によって読み出され、表示部１３３に表示される。また、撮像信号の記録を行う動作モードでは、ＳＤＲＡＭ１３６に格納された画像信号は記録媒体制御部１３４によって記録媒体１３５に記録される。ＲＯＭ１３７にはカメラ制御部１４０が実行する制御プログラム及び制御に必要な各種データ等が格納されており、フラッシュＲＯＭ１３８には、ユーザ設定情報等の撮像装置１０１の動作に関する各種設定情報等が格納されている。
【００２０】
顔検出部１３９では、ＳＤＲＡＭ１３６に蓄積された画像データから公知の方法を使用して顔検出を行う。顔検出の公知技術は、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。
【００２１】
カメラ制御部１４０では、焦点検出用信号処理部１２５から出力されるデフォーカス量をレンズ駆動量に変換した後、レンズ制御部１１７に伝達し、フォーカス制御部１１６に伝えることで自動焦点調節を実現している。また、操作者からの指示、あるいは、一時的にＳＤＲＡＭ１３６に蓄積された画像データの画素信号の大きさに基づき、撮像素子１２１の蓄積時間、ＣＤＳ／ＡＧＣ／ＡＤコンバータ１２３のゲインの設定値、タイミングジェネレータ１２２の設定値を決定する。
【００２２】
次に、焦点検出処理について、図３のフローチャートを用いて説明する。第１の実施形態における焦点検出領域は、画面全体を２次元的に等分割して設定している。このように複数の焦点検出領域を配置することで、撮像面上における距離分布情報（距離マップ）を作成することができる。Ｓ３１１では２次元的に配置した焦点検出領域から１つの焦点検出領域を選択する。そして、選択した焦点検出領域に対して、Ｓ３１２において撮像素子１２１から、一対の焦点検出用信号（Ａ像、Ｂ像）を取得する。次に、Ｓ３１３では、Ｓ３１２で取得した一対の焦点検出用信号から、所定の周波数帯域の信号成分を抽出するフィルタ処理を行う。続いて、Ｓ３１４では、取得した一対の焦点検出用信号間の相関量を算出する相関演算を行う。相関演算は、焦点検出領域内の各走査ラインにおいてそれぞれ行う。次に、Ｓ３１５で、相関量から相関変化量を算出する。そしてＳ３１５で算出した相関変化量に基づいて、Ｓ３１６においてＡ像、Ｂ像の２像の像ずれ量を算出し、続いてＳ３１７において信頼性情報（二像一致度、二像急峻度等）を算出する。
【００２３】
Ｓ３１１からＳ３１７までの処理は配置されたすべての焦点検出領域に対して施し、Ｓ３１８ですべての焦点検出領域に対して処理を終えたと判断すると、Ｓ３１９に進む。最後に、Ｓ３１９で算出した２像の像ずれ量に所定の換算係数を乗算することでデフォーカス量を算出する。ただし、信頼性が閾値以下の場合は焦点検出の精度が低いことが想定されため、信頼性が閾値以下の焦点検出領域で算出したデフォーカス量は使用しない。この時、カメラ制御部１４０は、撮像装置１０１、または撮影レンズ１１１が持つ、自動焦点検出に使用するパラメータ情報を取得する。撮影パラメータとは、撮影レンズ１１１内の絞り１１３の絞り情報や、撮像装置１０１内の撮像素子１２１にかかっているセンサゲインなどをはじめとした情報であり、本実施形態の構成に依らず、撮像装置１０１の構成に応じて必要な情報を適宜取得すれば良い。このカメラパラメータに基づいて、焦点検出用信号処理部１２５での信号生成に係る処理や、焦点検出を行う領域が設定できるように、カメラ制御部１４０は情報を提供する。
【００２４】
次に上述した焦点検出処理の詳細について、図４から図７を用いて更に説明する。図４は、焦点検出処理において撮像素子１２１の画素アレイ４０１上での焦点検出領域４０２の一例を示している。焦点検出領域４０２の両側のシフト領域４０３は、相関演算に必要な領域である。このため、焦点検出領域４０２とシフト領域４０３とを合わせた領域４０４が相関演算に必要な画素領域である。図中のｐ，ｑ，ｓ，ｔはそれぞれ、水平方向（ｘ軸方向）での座標を表し、ｐとｑはそれぞれ領域４０４の始点と終点のｘ座標を、ｓとｔはそれぞれ焦点検出領域４０２の始点と終点のｘ座標を示している。
【００２５】
図５は、フィルタ処理を行った焦点検出用の一対の像信号の例を示す。実線５０１はＡ像のＡ像信号を示し、破線５０２はＢ像のＢ像信号を示す。図５（ａ）はシフト前の像信号５０１，５０２を示し、図５（ｂ），（ｃ）はそれぞれ、Ａ像信号５０１とＢ像信号５０２を図５（ａ）の状態からプラス方向およびマイナス方向にシフトした状態を示している。一対の像信号５０１，５０２の相関量を算出する際には、像信号５０１，５０２の両方を矢印の方向に１ビットずつシフトする。
【００２６】
次に、相関量ＣＯＲの算出方法について説明する。まず、図５（ｂ）及び（ｃ）に示すように、Ａ像信号５０１とＢ像信号５０２をそれぞれ１ビットずつシフトして、各シフト位置でのＡ像信号５０１とＢ像信号５０２との差の絶対値の和を算出する。シフト数をｉとし、最小シフト量をｐ−ｓとし、最大シフト量をｑ−ｔとし、ｘを焦点検出領域４０２の開始座標、ｙを焦点検出領域４０２の終了座標とすると、相関量ＣＯＲは以下の式（１）によって算出することができる。
【００２７】
2018017876.tif 000003
【００２８】
図６（ａ）は、相関量の変化の一例を示した図であり、グラフの横軸はシフト量、縦軸は相関量を示す。相関量波形６０１において、６０２、６０３は極値周辺を示している。ここでは、シフト量とともに変化する相関量６０１における極値付近６０２，６０３のうち、より小さい相関量に対応するシフト量においてＡ像信号５０１とＢ像信号５０２の一致度が最も高くなる。
【００２９】
次に、相関変化量ΔＣＯＲの算出方法について説明する。図６（ａ）に示した相関量６０１の波形における１シフトおきの相関量の差を相関変化量として算出する。このとき、シフト量をｉとし、最小シフト量をｐ−ｓ、最大シフト量をｑ−ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。
【００３０】
2018017876.tif 000004
【００３１】
図６（ｂ）は、シフト量と相関変化量ΔＣＯＲとの関係の例を示している。グラフの横軸はシフト量を示し、縦軸は相関変化量を示す。シフト量とともに変化する相関変化量６０４は、６０５、６０６の周辺でプラスからマイナスになる。この６０５、６０６において相関変化量６０４が０となる状態をゼロクロスと呼び、Ａ像信号５０１とＢ像信号５０２の一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。
【００３２】
図７（ａ）は、図６（ｂ）中の部分６０５を拡大したもので、６０７は相関変化量６０４の一部分である。この図７（ａ）を用いて、像ずれ量ＰＲＤの算出方法について説明する。ゼロクロスを与えるシフト量（ｋ−１＋α）は、整数部分βと小数部分αとに分けられる。小数部分αは、図７（ａ）の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。
【００３３】
2018017876.tif 000005
一方、整数部分βは、図７（ａ）から以下の式（４）によって算出することができる。
β＝ｋ−１      …（４）
以上のようにして得られたαとβの和から、像ずれ量ＰＲＤを算出することができる。
【００３４】
また、図６（ｂ）に示したように相関変化量６０４のゼロクロスが複数存在する場合は、その付近での相関変化量６０４の変化の急峻性がより大きい方を第１のゼロクロスとする。この急峻性は焦点検出の行い易さを示す指標であり、値が大きいほど精度良い焦点検出を行い易い点であることを示す。急峻性maxderは、以下の式（５）によって算出することができる。
【００３５】
2018017876.tif 000006
このように、第１の実施形態では、相関変化量のゼロクロスが複数存在する場合は、その急峻性によって第１のゼロクロスを決定し、この第１のゼロクロスを与えるシフト量を像ずれ量とする。
【００３６】
次に、像ずれ量の信頼性の算出方法について説明する。像ずれ量の信頼性は、Ａ像信号とＢ像信号の一致度ｆｎｃｌｖｌ（以下、「２像一致度」と呼ぶ。）と上述した相関変化量の急峻性によって定義することができる。２像一致度は、像ずれ量の精度を表す指標であり、本実施形態における相関演算手法ではその値が小さいほど精度が良いことを示す。
【００３７】
図７（ｂ）には、図６（ａ）中の６０２で示した部分を拡大したもので、６０８は相関量６０１の一部分である。２像一致度ｆｎｃｌｖｌは、以下の式（６）によって算出することができる。
【００３８】
2018017876.tif 000007
【００３９】
次に、撮像装置１０１の動作について、図８から図１２のフローチャートを用いて説明する。図８は、撮像装置１０１の撮影処理の手順を示すフローチャートである。撮影処理が開示されると、Ｓ８０１において初期化処理を行い、Ｓ８０２に進む。Ｓ８０２では、撮影モードが動画撮影モードか静止画撮影モードかの判定を行い、動画撮影モードである場合はＳ８０３へ進んで動画撮影処理を行い、静止画撮影モードである場合はＳ８０４へ進んで静止撮影処理を行って、Ｓ８０５へ進む。なお、Ｓ８０４で行う静止画撮影処理については、詳細に後述する。
【００４０】
Ｓ８０５では、撮影処理が停止されていないかどうかを判断し、停止された場合は撮影処理を終了する。撮影処理が停止されたときとは、カメラの電源が切断されたときや、カメラのユーザ設定処理、撮影画像・動画の確認のための再生処理等、撮影以外の動作が行われたときである。Ｓ８０５で撮影処理が停止されていないと判断すると、Ｓ８０６に進み、撮影モードが変更されたかどうかを判断する。変更されている場合はＳ８０１へ戻り、初期化処理を行った上で、変更された撮影モードの処理を行う。変更されていない場合はＳ８０２へ戻り、現在の撮影モードでの処理を継続して行う。
【００４１】
次に、焦点検出時の主被写体の検出処理を伴う静止画撮影処理について、図９のフローチャートを用いて説明する。Ｓ９０１では、現在の撮影シーンにおいて、まだ主被写体を検出していない場合はＳ９０２に進む。Ｓ９０２では複数の被写体の位置関係を短時間で検出できる第１の設定を行う。この第１の設定では、１垂直期間で撮影レンズ１１１の光軸上の広い範囲においてデフォーカス量の検出が可能だが、検出する位置の精度は低い。第１の設定を行った後、Ｓ９０４において主被写体検出処理を行い、少なくとも１つ以上の被写体を検出し、その中から主被写体を選択する。Ｓ９０４の主被写体検出処理を終えると、Ｓ９０６に進む。
【００４２】
一方、前回までの処理で、すでに主被写体を検出している場合はＳ９０３に進み、第２の設定を行う。この第２の設定は、撮影レンズ１１１の光軸上でデフォーカス量を検出できる範囲は狭いが、焦点検出の精度が高いという特徴がある。第２の設定を行った後、Ｓ９０５に進んで精度の高い焦点検出処理を行い、主被写体に対する焦点距離を検出する。なお、Ｓ９０５における焦点検出処理は、図３〜図７を用いて上述したようにして行われる。焦点検出処理を終えるとＳ９０６に進む。
【００４３】
このように、第１の実施形態では、主被写体が検出済みであるかどうかに応じて、主被写体検出時と焦点検出時とで特徴が異なる２種類の設定を切り替えて、それぞれの要件に合った設定を用いた処理を行う。第１の実施形態では、撮像光学系の露光量を制御する開口絞りを互いに異なる所定の絞り値に設定することで、第１の設定と第２の設定を切り替える。なお、第１の設定と第２の設定の具体的な設定内容については、後述する。
【００４４】
Ｓ９０６では、ＡＦ指示スイッチの判断を行う。ＡＦ指示スイッチがオンの場合は、Ｓ９０７に進んでＡＦ処理を行い、焦点検出で取得したデフォーカス量と信頼性とに応じてフォーカスレンズを駆動させる。一方、Ｓ９０６でＡＦ指示スイッチがオフの場合は、Ｓ９０８に進んで、撮影指示スイッチを確認する。Ｓ９０８で撮影指示スイッチがオフと判断された場合はＳ９１１に進み、合焦停止状態を解除して静止画撮影処理フローを終了する。ここで、合焦停止状態とは主被写体に対するデフォーカス量が所定値以内にあり、主被写体に焦点を合わせて撮影処理をする準備ができている状態を指す。
【００４５】
Ｓ９０８で撮影指示スイッチがオンと判断され、次のＳ９０９で合焦停止状態でないと判断された場合は、Ｓ９０７に進んでＡＦ処理を行う。また、Ｓ９０８で撮影指示スイッチがオンと判断され、次のＳ９０９で合焦停止状態であると判断された場合は、主被写体に焦点が合っているため、Ｓ９１０に進んで撮影処理を行う。Ｓ９１０で撮影処理を終えた後は、Ｓ９１１で合焦停止状態を解除して静止画撮影処理を終了する。
【００４６】
次に、Ｓ９０４で行われる主被写体検出処理について、図１０のフローチャートを用いて説明する。主被写体の検出は、複数の焦点検出領域で算出したデフォーカス量に応じて少なくとも１つ以上の被写体を検出し、その少なくとも１つ以上の被写体の中から１つの主被写体を選択するというフローとなっている。
【００４７】
まず、Ｓ１０００において、設定したすべての焦点検出領域に対して焦点検出処理を行う。なお、Ｓ１０００における焦点検出処理は、Ｓ９０５の焦点検出処理と同様に、図３〜図７を用いて上述した通りで、Ｓ１０００では各焦点検出領域における信頼性とデフォーカス量が求められる。続いて、Ｓ１００１では、Ｓ１０００で求められた信頼性の値が、１つ以上の焦点検出領域において閾値以上かを判断する。ここで、信頼性とは、上述したように、一対の像信号Ａ，Ｂの一致度（以下、２像一致度という）fnclvlと、相関変化量の急峻性maxderで定義される値である。また、信頼性の判定に用いる閾値は、検出したデフォーカス量が、合焦近傍の所定範囲内に収まることを保障できることを示す値で定義する。Ｓ１００１において、１つ以上の焦点検出領域で信頼性が閾値以上と判断した場合は、被写体までのデフォーカス量を検出できている領域が存在するので、Ｓ１００２に進む。一方、すべての焦点検出領域で信頼性が閾値以上と判断されない場合は被写体を検出することができないので、主被写体検出処理のフローを終了する。
【００４８】
Ｓ１００２では被写体検出を行う。Ｓ１００２における被写体検出処理の詳細は後述するが、Ｓ１００２では検出した各被写体に対して、被写体の確からしさを示す「重み合計値」が出力される。Ｓ１００３において、Ｓ１００２で少なくとも一つ以上の被写体を検出できたかどうかを判断し、検出できた場合は、Ｓ１００４に進んでカメラレンズの光軸方向における被写体距離をＳＤＲＡＭ１３６に記録する。被写体までの距離はＳ１０００の焦点検出処理で算出したデフォーカス量に基づいて算出する。Ｓ１００５ではＳ１００２で検出した被写体から１つの主被写体を選択する。本第１の実施形態における主被写体の選択の方法としては、被写体の確からしさを示す「重み合計値」が最大となる被写体を主被写体として選択する。
【００４９】
次に、Ｓ１００２で行われる被写体検出処理の詳細について、図１１のフローチャートを用いて説明する。本実施形態における被写体検出処理では、各焦点検出領域のデフォーカス量を比較して同等のデフォーカス量を出力した領域をかたまり（領域群）と定義する。
【００５０】
Ｓ１１０１では、かたまりが存在するかどうかを確認する焦点検出領域を選択する。次に、Ｓ１１０２において、Ｓ１１０１で設定した焦点検出領域のデフォーカス量と隣接する焦点検出領域のデフォーカス量とをそれぞれ比較し、デフォーカス量の差が予め決められた閾値以内である場合は１つのかたまりと見なす。なお、かたまり検出のデフォーカス量の比較は隣接する領域の比較に限定せず、他の領域と比較してよい。また、かたまりは信頼性が閾値以上で、かつ、１つ以上の焦点検出領域であれば、かたまりと見なすことができるものとする。Ｓ１１０１及びＳ１１０２の処理を、確認する焦点検出領域を順に変更していくことで、すべての焦点検出領域に対して処理し終えるまで繰り返し、すべての焦点検出領域に対して処理し終えると、Ｓ１１０３からＳ１１０４に進む。
【００５１】
Ｓ１１０４ではＳ１１０１及びＳ１１０２で検出したかたまりの数Ｎをカウントする。かたまりの数Ｎが０より大きくないとＳ１１０５で判断された場合、すなわち、固まりが検出できなかった場合は、被写体検出処理を終了する。一方、Ｓ１１０５で、Ｓ１１０４でかたまりの数Ｎが０よりも大きい、すなわち、１つ以上のかたまりを検出した場合は、Ｓ１１０６に進む。Ｓ１１０６では、検出したかたまりの番号を示すｉを０に初期化する。次にＳ１１０７において、ｉ番目のかたまり（以下、「かたまり（ｉ）」と記す。）に対する重み合計値を算出する。
【００５２】
ここで、重み合計値に関して、図１３を用いて詳細に説明する。図１３の１３０１は撮像可能領域を指し、１３０２は配置した焦点検出領域を示す。重み合計値は、図１３に示すように配置した各焦点検出領域１３０２に対して、ＲＯＭ１３７に記憶された予め像高に応じて設定された重み値（各焦点検出領域内に記載している数値）を用いて算出する。この重み値を参照して、Ｓ１１０２の処理で検出したかたまり（ｉ）を構成する領域の重み値の合計を計算することで、重み合計値を算出する。なお、図１３の重み値は一例であり、焦点検出領域の数や重みの値は他の設定にしても良い。この重み合計値を使用することで、撮像面上の位置と被写体の大きさに応じて被写体の確からしさを数値化することができる。例えば、中央に近い被写体ほど、また、撮像可能領域に対してかたまりの大きさが大きいほど、重み合計値は大きくなる。なお、重みの設定方法は像高や大きさに応じて決定する方法に限定されるものではなく、また、検出したデフォーカス量や焦点検出領域の信頼性の値を重みに乗算させて、重み合計値を求めてもよい。
【００５３】
Ｓ１１０８において、かたまり（ｉ）の重み合計値が閾値以上と判断した場合はＳ１１０９に進み、かたまり（ｉ）を被写体と見なす。一方、かたまり（ｉ）の重み合計値が閾値より小さいと判断した場合はＳ１１１０に進み、かたまり（ｉ）を被写体と見なさないものとする。重み合計値の閾値は、露光条件や各焦点検出領域の重み設定に応じた閾値をＲＯＭ１３７に予め記憶しておく。かたまり（ｉ）が被写体かどうか判断すると、Ｓ１１１１でｉを１インクリメントして次のかたまり（ｉ）の処理に進む。Ｓ１１０７からＳ１１１１までの処理を、かたまりの個数であるＮ回繰り返し、被写体判定をＮ回終了すると、Ｓ１１１２を抜けて被写体検出処理を終了する。
【００５４】
次に、図９のＳ９０７で行われるＡＦ処理に関して、図１２のフローチャートを用いて詳細に説明する。Ｓ１２０１では、現在主被写体に対するデフォーカス量が所定値以内で合焦停止状態であるかどうかを判断する。主被写体に対するデフォーカス量が所定の範囲外で合焦停止状態ではない場合はＳ１２０１からＳ１２０２に進む。一方、主被写体に対するデフォーカス量が所定値以内で合焦停止状態と判断した場合は、Ｓ１２０３に進んで合焦停止状態を保持したまま、ＡＦ処理を終了する。
【００５５】
Ｓ１２０２では、１つ以上の焦点検出領域で信頼性が閾値以上であるかどうかを判断する。１つ以上の焦点検出領域で信頼性が閾値以上であると判断した場合はＳ１２０４に進む。一方、Ｓ１２０２で、１つ以上の焦点検出領域で信頼性が閾値以上ではないと判断した場合は、Ｓ１２０５に進み、フォーカスレンズ１１４を無限遠に移動させてＡＦ処理を終了する。無限遠にフォーカスレンズ１１４を移動させることでより広範囲の被写体を探し、信頼性が閾値以上のデフォーカス量を検出できる可能性を高める。なお、Ｓ１２０５では、信頼性が閾値より小さくても検出したデフォーカスの方向が保障できる場合は、その方向に基づいてフォーカスレンズ１１４を駆動させても良い。
【００５６】
一方、Ｓ１２０４では、図１１の被写体検出処理において、１つ以上の被写体を検出することができたかを判断する。１つ以上の被写体を検出できている場合は、図１０のＳ１００５で主被写体を選択しているので、Ｓ１２０６で主被写体のデフォーカス量を取得する。この時、主被写体のデフォーカス量として、例えば、主被写体に含まれる焦点検出領域のデフォーカス量の平均値を使用する。なお、主被写体のデフォーカス量は平均値に限定されることはなく、主被写体領域の重心位置を含む焦点検出領域のデフォーカス量を使用しても良い。Ｓ１２０４で１つ以上の被写体を検出できなかったと判断した場合は、Ｓ１２０７に進み、信頼性が閾値以上の焦点検出領域のうち、重み合計値が最も大きい焦点検出領域のデフォーカス量に応じてフォーカスレンズを駆動させて、ＡＦ処理を終了する。
【００５７】
次に、Ｓ１２０８において、Ｓ１２０６で取得した主被写体のデフォーカス量の大きさが閾値以内にあるかどうかを判断する。この閾値は、主被写体に焦点が合っており、撮影できる状態にあるかどうかを判断するための閾値であり、１深度を閾値とする。なお、シーンに応じて閾値を変更してもよい。Ｓ１２０８で主被写体のデフォーカス量が閾値以内であると判断した場合は、Ｓ１２０９に進んで合焦停止状態へ移行してＡＦ処理を終了する。一方、主被写体のデフォーカス量が閾値の範囲外にある場合は、Ｓ１２１０へ進み、フォーカスレンズ１１４の駆動速度の設定を行う。フォーカスレンズ１１４の駆動速度は、主被写体の重み合計値と第２の設定に応じて切り替えるが、詳細については後述する。そして、主被写体のデフォーカス量に応じて、Ｓ１２１１でフォーカスレンズ１１４を駆動し、ＡＦ処理を終了する。
【００５８】
次に、主被写体の検出からＡＦ処理までの動作に関して、図１４から図１８を用いて実際のシーンを想定して説明する。ここでは、図１４に示すように被写体Ａ１４０１と被写体Ｂ１４０２の２つの被写体が存在するシーンに対して、複数の焦点検出領域１３０２を配置した場合の主被写体の検出方法について説明する。
【００５９】
最初は、主被写体を検出していない状態なので、第１の設定にする。第１の設定では、絞り１１３を開放絞りを除く絞り値に設定する。ここで、第１の設定の詳細について図１５を用いて説明する。図１５は、撮像装置１０１と被写体Ａ１４０１と被写体Ｂ１４０２と被写界の合焦位置１５０１との光軸方向の位置関係を模式的に示したものである。１５０２は第１の設定でデフォーカス量を検出できる範囲、１５０３は第２の設定でデフォーカス量を検出できる範囲で、１５０４と１５０５はそれぞれ被写体Ａと被写体Ｂのデフォーカス量を示している。
【００６０】
第１の設定の検出範囲１５０２は、絞り１１３を開放側と反対側（小絞り側）に設定することで広くすることができる。その理由を図１６を用いて説明する。図１６（ａ）は像ボケが小さい（コントラスト値が大きい）被写体のＡ像１６０１とＢ像１６０２を示し、図１６（ｂ）は像ボケが大きい被写体のＡ像１６０１とＢ像１６０２を示している。絞り１１３を小絞り側に設定することで被写界深度が深くなり、広範囲の被写体に対する像ボケ量を軽減することができるため、広範囲の被写体に対して図１６（ａ）のような波形を取得することができる。そのため、相関演算の際に像一致度や急峻性が高くなり、信頼性が高いデフォーカス量を検出することができる。図１６（ａ）に比べて図１６（ｂ）のＡ像とＢ像の形状は非対称で、かつ、エッジも立っていないため、焦点検出の処理において２像のずれ量１６０４を検出することが難しいことがわかる。
【００６１】
このように絞り１１３に小絞り側の絞り値を設定することで、広範囲の被写体を検出することができる。しかしながら、像ずれ量の検出誤差によるデフォーカス量の誤差が大きいというデメリットもある。このデメリットはデフォーカス量を算出する際に像ずれ量に乗算する変換係数が大きいことに起因している。これはデフォーカス量に対する像ずれ量の敏感度が大きいことを意味するので、像ずれ量１６０３の少量の検出誤差が大きなデフォーカス量の検出誤差となって出力される。このようなデメリットはあるが、第１の設定に対する要件は検出精度ではなく、より多くの被写体のデフォーカス量を検出できることであるため、開口絞りを小絞り側に設定する。なお、第１の設定で用いる絞り値は予めＲＯＭ１３７に書き込んでおいても良いし、ユーザが設定できるようにしても良い。
【００６２】
図１７は、図１４のシーンにおける各焦点検出領域１３０２に対して、第１の設定を用いてデフォーカス量を算出した結果を示す。図１７では説明の都合上、各焦点検出領域１３０２のデフォーカス量を各焦点検出領域１３０２内に文字と記号で表示している。ここで、同じ文字（Ａ，Ｂ）が書かれている焦点検出領域１３０２は、図１１のＳ１１０２でデフォーカス量を比較した結果、その差が閾値以内である領域である。×が書かれている焦点検出領域１３０２は信頼性が閾値よりも低く、デフォーカス量を検出できなかった領域である。デフォーカス量の結果から検出したかたまりが、かたまりＡ１７０１とかたまりＢ１７０２である。
【００６３】
そして、検出したかたまり毎に、各かたまりに含まれる焦点検出領域１３０２と図１３の重みを対応付け、かたまりＡ１７０１とかたまりＢ１７０２の重み合計値を算出する。その結果、かたまりＡ１７０１の重み合計値は３４（＝４＋８＋４＋２＋４＋４＋２＋２＋２＋２）、かたまりＢ１７０２の重み合計値は１２（＝１＋２＋２＋１＋２＋４）となる。被写体と見なすための重み合計値の閾値を、例えば８と設定していた場合、かたまりＡ１７０１とかたまりＢ１７０２をどちらも被写体と見なすことができ、被写体Ａ１４０１と被写体Ｂ１４０２を検出することができる。また、被写体Ａ１４０１の重み合計値の方が高いことから、被写体Ａ１４０１を主被写体とする。
【００６４】
なお、重み合計値によって検出した主被写体１４０１とは別に、図１８のように顔検出部１３９で検出した顔１８０１が存在する場合、重み合計値によって検出した被写体１４０１ではなく、顔１８０１を主被写体としても良い。また、複数の顔を主被写体と見なして、主被写体である複数の顔が被写界深度に入るように開口絞りを設定し、合焦駆動させても良い。
【００６５】
上述した処理で主被写体１４０１を検出できたので、次に絞り１１３を第２の設定にして焦点検出処理を行う。第２の設定の絞り値は第１の設定よりも開放側の絞り値を設定する。その理由は、第２の設定では、主被写体に焦点を合わせることが目的であり、デフォーカス量を検出できる範囲よりもデフォーカス量の精度が要求されるためである。開放側の絞り値を設定すると被写界深度が浅くなるため、被写界深度から外れた位置にある被写体の像ボケ量が急激に大きくなる。これにより、図１６（ａ）に示すような波形を取得することができる被写体の範囲が狭くなるため、像ずれ量の検出誤差を小さくすることができ、デフォーカス量の検出精度を上げることができる。
【００６６】
第２の設定の絞り値は、図１５の範囲１５０３に示すように、主被写体１４０１の位置＋αが被写界深度に入る絞り値に設定する。この絞り値に設定することで被写体１４０２の位置は検出できなくなるが、図１０のＳ１００４でＳＤＲＡＭ１３６に被写体位置を記録しているため、第２の設定では他の被写体を検出する必要は無い。
【００６７】
次に、図１２のＡＦ処理に沿って主被写体１４０１に焦点を合わせる。この時、主被写体１４０１に対してＡＦ処理を行うと、デフォーカス量は徐々に小さくなっていくのでデフォーカス量の大きさに応じて随時絞りを開放側に設定し直して、検出精度を高めても良い。この時、図１２のＳ１２１０のフォーカスレンズ駆動の設定は、下記の式（７）で算出することができる評価値に応じて設定する。
評価値＝主被写体の重み合計値÷第２の設定の絞り値      …（７）
この評価値が高い時は、被写体検出と検出したデフォーカス量の信頼精度が高いため、フォーカスレンズ１１４の駆動速度を高くし、短時間で合焦位置に移動するようにする。逆に評価値が低い時は検出したデフォーカス量よりも小さい値でフォーカスレンズ１１４を駆動させることで、徐々に合焦近傍に追い込み、合焦の精度を高める。
【００６８】
以上のように、主被写体の他に、画面内にある複数の被写体の位置やデフォーカス量も取得し、記憶しているので、主被写体に焦点を合わせた後も、主被写体以外の被写体の情報を用いて撮影を行うことができる。例えば、任意の被写体が被写界深度に入るように開口絞りを制御したり、ユーザが選択した被写体に応じてホワイトバランスなどを変更させたりしても良い。
【００６９】
上記の通り第１の実施形態によれば、最初に第１の設定で広範囲にある複数の被写体の位置を短時間で取得して主被写体を選び、第２の設定に切り替えて主被写体に精度よく焦点を合わせることができる。
【００７０】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態と第１の実施形態とでは、図９のＳ９０２及びＳ９０３で設定される第１の設定と第２の設定で設定を変更する対象が異なる。それ以外の処理内容および撮像装置の構成は、第１の実施形態で説明したものと同様であるので、説明を省略する。
【００７１】
第２の実施形態では、図３のＳ３１４で行われる２像の像信号間の相関量の算出におけるパラメータを、第１の設定と第２の設定において切り替える。第１の実施形態の図５で説明した通り、相関演算ではＡ像とＢ像をシフトさせて、その差を相関量として算出している。この時に１回でシフトする幅（シフト幅[ビット]）及びシフトする距離（シフト範囲[ビット]）を、第１の設定と第２の設定で切り替える。
【００７２】
第２の実施形態における第１の設定と第２の設定について、図１９を用いて詳細に説明する。まず第１の設定（Ｓ９０２）では、第１の実施形態で述べた通り、広範囲における多くの被写体を短時間で検出することが要件である。相関演算におけるシフト範囲の広さはデフォーカス量を検出できる範囲に比例するため、シフト範囲を広げることでより広範囲のデフォーカス量を検出することが可能となる。ただし、短時間で検出することも要件の一つであるため、シフト幅を大きくして全体の演算時間を短縮している。
【００７３】
次に、第２の設定（Ｓ９０３）では、第１の実施形態で述べた通り、主被写体に対する焦点検出精度が求められる。したがって、第１の設定で検出した主被写体を含む焦点検出領域に対してはシフト幅を小さくすることで２像のずれ量を検出する精度を高めている。しかし、第１の設定と同様のシフト範囲をシフトさせようとするとシフト数が増え、演算に多くの時間を要するため、シフト範囲は狭くする。精度が上がる理由は、図７の相関変化量の横軸（シフト量）の分解能が上がることで、ゼロクロスを与えるシフト量の検出精度が向上するためである。このように第２の設定を行うことで、主被写体への焦点検出精度を高める。
【００７４】
また、第２の実施形態では、主被写体以外の焦点検出領域についても設定を新たにすることで、主被写体以外の被写体の焦点検出精度も高めることができる。その設定は、図１９（ａ）に示すように、シフト幅は主被写体領域と同じように小さくして、シフト範囲は第１の設定と同じように広い範囲をシフトさせる設定である。この設定を行うことで広範囲において精度高くデフォーカス量を検出することができる。この設定のデメリットは相関演算に多くの時間を要することである。
【００７５】
図２０はそれぞれの焦点検出領域の処理時間を示している。２００１は時間の経過を示す矢印で、左から右に処理時間が経過している。２００２は撮像素子１２１の露光時間を表しており、２００３は相関演算に使用する像データの取得時間（Ｓ３１２）、そして２００４、２００５がそれぞれ主被写体領域と主被写体以外の領域の焦点検出領域における焦点検出処理を行う時間である。このように主被写体領域に対してその他の領域は相関演算に多くの時間を要するが、主被写体以外の領域では焦点検出速度が要求されないため、図２０のような処理シーケンスが成り立つ。
【００７６】
なお、主被写体以外の被写体領域のデフォーカス量の精度が、第１の実施形態における精度と同等で良いのであれば、第２の設定を図１９（ｂ）に示すようにしても良い。
【００７７】
上記の通り第２の実施形態によれば、第１の実施形態と同様の効果に加えて、さらに主被写体以外の被写体に対しても精度良くデフォーカス量を検出することができる。
【００７８】
＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。第３の実施形態と上述した第１及び第２の実施形態とでは、図９のＳ９０２及びＳ９０３で設定される第１の設定と第２の設定で設定を変更する対象が異なる。それ以外の処理内容および撮像装置の構成は、第１の実施形態で説明したものと同様であるので、説明を省略する。
【００７９】
第３の実施形態と第１の実施形態とでは、第１の設定と第２の設定で設定を変更する対象が異なる。第３の実施形態では図３で説明した焦点検出用信号処理部１２５における像データに対するフィルタ処理（Ｓ３１３）のフィルタ特性を第１の設定と第２の設定で切り替える。この手法を用いることで、短時間で多くの被写体の位置を取得し、様々な被写体に対して精度高く焦点を合わせることができる。
【００８０】
第３の実施形態では、図３のＳ３１３で行われるフィルタ処理において使用するフィルタ特性を、第１の設定と第２の設定で切り替える。使用するフィルタの係数は予めＲＯＭ１３７に記憶しておく。第１の設定（Ｓ９０２）では低域の画像周波数を持つ像信号を通過させるフィルタを設定する。被写体は合焦点から離れ、被写界深度から外れていくと像信号がぼけていく。像信号がぼけると、図１６で説明した通り、二像の像一致度が低くなるため、信頼性が高いデフォーカス量を検出することができなくなる。このようにぼけた像信号に対して低域の像信号を通過させるフィルタを使用することで、精度は高くないが、被写界深度から大きく外れている被写体の位置を検出することができる。
【００８１】
次に第１の設定で被写体を検出した後、第２の設定では、高域の画像周波数を持つ像信号を通過させる特徴があるフィルタを使用する。高域のフィルタを使用することでコントラストの高い被写体に対して精度高く焦点を検出することができる。しかし、高域フィルタを使用すると、ぼけた画像に対してはノイズ成分などを検出しやすく誤検出しやすいというデメリットもある。そのため、第１の設定で検出した主被写体までのデフォーカス量が所定値よりも大きく、高域のフィルタでは主被写体のデフォーカス量を取得できないシーンも想定される。そのようなシーンに対しては、予め中域の画像周波数を通すフィルタをＲＯＭ１３７に記憶しておき、高域フィルタでデフォーカス量を検出できるようになるまで、中域のフィルタを使用してデフォーカス量を検出してよい。また、デフォーカス量が所定よりも小さくても、元々コントラスト値が低い被写体に対しては低域のフィルタや中域のフィルタを使用しても良い。コントラスト値の判断は像データ取得時（Ｓ３１２）に、下記の式（８）及び（９）を用いてＡ像とＢ像でそれぞれ算出した評価値を使用する。
【００８２】
2018017876.tif 000008
【００８３】
2018017876.tif 000009
【００８４】
なお、第２の設定では、主被写体の領域と主被写体以外の領域で設定を変更しても良い。例えば、主被写体領域では精度高くデフォーカス量を検出する必要があるので高域のフィルタを使用し、主被写体以外の領域では広範囲における被写体の位置を常に検出しておくために低域のフィルタを使用する。
【００８５】
上記の通り第３の実施形態によれば、最初に第１の設定で広範囲にある複数の被写体の位置を短時間で取得して主被写体を選び、第２の設定に切り替えて主被写体に精度よく焦点を合わせることができる。
【００８６】
＜他の実施形態＞
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００８７】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８８】
１０１：撮像装置、１０２：撮影レンズ、１１３：絞り、１１４：フォーカスレンズ、１１５：絞り制御部、１１６：フォーカス制御部、１１７：レンズ制御部、１２１：撮像素子、１２４：撮像信号処理部、１２５：焦点検出用信号処理部、１４０：カメラ制御部、１３７：ＲＯＭ、１３９：顔検出部
【図１】
2018017876.tif 000010
【図２】
2018017876.tif 000011
【図３】
2018017876.tif 000012
【図４】
2018017876.tif 000013
【図５】
2018017876.tif 000014
【図６】
2018017876.tif 000015
【図７】
2018017876.tif 000016
【図８】
2018017876.tif 000017
【図９】
2018017876.tif 000018
【図１０】
2018017876.tif 000019
【図１１】
2018017876.tif 000020
【図１２】
2018017876.tif 000021
【図１３】
2018017876.tif 000022
【図１４】
2018017876.tif 000023
【図１５】
2018017876.tif 000024
【図１６】
2018017876.tif 000025
【図１７】
2018017876.tif 000026
【図１８】
2018017876.tif 000027
【図１９】
2018017876.tif 000028
【図２０】
2018017876.tif 000029