(57)【要約】【課題】  ユーザが意図する主被写体に対してより精度良くピントを合わせること。【解決手段】  ＣＰＵ１１０は、第１の被写体に対する第１の動体検出結果と、第２の被写体に対する前記第２の動体検出結果とに応じて、前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定する。前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定された場合には、前記第２の被写体を新たな第１の被写体として決定し、前記第２の被写体に対する第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御する。【選択図】  図５
2020003742.tif 000002
【特許請求の範囲】
【請求項１】
第１の被写体を決定する第１の決定手段と、
前記第１の被写体に対して焦点検出を行い第１の焦点検出結果を得る第１の焦点検出手段と、
前記第１の被写体に対して動体検出を行い第１の動体検出結果を得る第１の動体検出手段と、
前記第１の被写体に対する焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を有するとともに、
前記第１の被写体とは異なる第２の被写体を決定する第２の決定手段と、
前記第２の被写体に対して焦点検出を行い第２の焦点検出結果を得る第２の焦点検出手段と
前記第２の被写体に対して動体検出を行い第２の動体検出結果を得る第２の動体検出手段と、
前記第２の焦点検出結果を記憶する記憶手段と、を更に有し、
前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であるか否かを判定する判定手段を有し、
前記第１の決定手段は、前記第１の動体検出結果と前記第２の動体検出結果とに応じて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定された場合には、前記第２の被写体を新たな第１の被写体として決定し、前記制御手段は前記第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする撮像装置。
【請求項２】
顔検出手段を有し、前記判定手段は、第１の被写体が顔であるか否かおよび第２の被写体が顔であるか否かに基づいて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、第１の焦点検出結果および第２の焦点検出結果に応じて否かに基づいて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の動体検出手段で動体が検出された場合には前記第１の被写体に対して第１の動体予測による合焦位置を得る第１動体予測処理と、
前記第２の動体検出手段で動体が検出された場合には前記第２の被写体に対して第２の動体予測による合焦位置を得る第２動体予測処理を有し、
前記判定手段は、第１の動体予測処理および第２の動体予測処理に応じて否かに基づいて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
顔優先設定手段を有し、前記判定手段は、顔優先設定の設定値に基づいて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定することを特徴とする請求項２に記載の撮像装置。
【請求項６】
第１の被写体を決定する第１の決定ステップと、
前記第１の被写体に対して焦点検出を行い第１の焦点検出結果を得る第１の焦点検出ステップと、
前記第１の被写体に対して動体検出を行い第１の動体検出結果を得る第１の動体検出ステップと、
前記第１の被写体に対する焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御ステップと、を有するとともに、
前記第１の被写体とは異なる第２の被写体を決定する第２の決定ステップと、
前記第２の被写体に対して焦点検出を行い第２の焦点検出結果を得る第２の焦点検出ステップと
前記第２の被写体に対して動体検出を行い第２の動体検出結果を得る第２の動体検出ステップと、
前記第２の焦点検出結果を記憶する記憶ステップと、を更に有し、
前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であるか否かを判定する判定ステップを有し、
前記第１の決定ステップでは、前記第１の動体検出結果と前記第２の動体検出結果とに応じて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定された場合には、前記第２の被写体を新たな第１の被写体として決定し、前記制御ステップでは前記第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、焦点調節の対象となる被写体の決定に関する。
【背景技術】
【０００２】
従来、焦点検出領域の焦点状態に基づいてオートフォーカス（ＡＦとも称する）を行う撮像装置が知られている。
【０００３】
特許文献１では、複数の焦点検出領域から焦点調節に用いる１つの焦点検出領域を撮像装置が自動的に選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−０７２０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１によれば、撮影者が手動で焦点検出領域を選択する必要がないため、撮影時の操作手順を簡略化できるという利点がある。しかしながら、特許文献１では、動体への撮影を対象として、常時ＡＦし続ける場合に、次の課題がある。ピントを合わせ続けるべき主被写体として追尾している被写体がユーザの意図する主被写体と異なっている場合にも、誤検出した主被写体でピントを合わせ続けてしまう。また、主被写体が正しい場合においても、主被写体が動的に変化して追尾している被写体がユーザの意図する主被写体ではなくなってしまった場合に、ユーザの意図する主被写体にピントを合わせ続けることができない場合があった。
【０００６】
本発明は上記課題を鑑みてなされたものであり、ユーザが意図する主被写体に対してより精度良くピントを合わせることができる撮像装置及びその制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明は、第１の被写体を決定する第１の決定手段と、前記第１の被写体に対して焦点検出を行い第１の焦点検出結果を得る第１の焦点検出手段と、前記第１の被写体に対して動体検出を行い第１の動体検出結果を得る第１の動体検出手段と、前記第１の被写体に対する焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を有するとともに、前記第１の被写体とは異なる第２の被写体を決定する第２の決定手段と、前記第２の被写体に対して焦点検出を行い第２の焦点検出結果を得る第２の焦点検出手段と、前記第２の被写体に対して動体検出を行い第２の動体検出結果を得る第２の動体検出手段と、前記第２の焦点検出結果を記憶する記憶手段と、を更に有し、前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であるか否かを判定する判定手段を有し、前記第１の決定手段は、前記第１の動体検出結果と前記第２の動体検出結果とに応じて前記第２の被写体が前記フォーカスレンズを追従させるべき被写体であると判定された場合には、前記第２の被写体を新たな第１の被写体として決定し、前記制御手段は前記第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御するよう構成したことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、ユーザが意図する主被写体に対してより精度良くピントを合わせることができる。
【図面の簡単な説明】
【０００９】
【図１】カメラの撮像装置に関する部分の機能ブロック図である
【図２】第１実施形態を示す断面図である
【図３】撮像素子の画素構造である
【図４】撮像素子の瞳分割機能である
【図５】実施例１におけるサーボ撮影モードのフローチャートである
【図６】実施例１における色顕著度算出処理の流れを示すフローチャートである
【図７】実施例１における評価画素及び推定領域を示すブロック図である
【図８】実施例１における評価領域を示すブロック図である
【図９】実施例１における第１の被写体決定処理のフローチャートである
【図１０】実施例１における第２の被写体決定処理のフローチャートである
【図１１】実施例１における乗り移り判定処理のフローチャートである
【図１２】実施例２における焦点検出処理のフローチャートである
【図１３】実施例２における第２の被写体決定処理のフローチャートである
【図１４】実施例２における乗り移り判定処理のフローチャートである
【図１５】実施例３における乗り移り判定処理のフローチャートである
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
［実施例１］
（撮像システム）
図２は、本発明による撮像装置を含むカメラの実施例１を示す断面図である。
【００１２】
図１は、実施例１のカメラの撮像装置に関する部分の機能ブロック図である。
【００１３】
一般にカメラには、ある時刻における被写体の像面に対してレンズを駆動するモード（ワンショット撮影モード）と、将来の被写体の像面を予測しながらレンズを駆動するモード（サーボ撮影モード）の２種類がある。実施例１ではカメラがサーボ撮影モードに設定されたときの動きを示す。
【００１４】
本実施例のカメラは、撮像素子１０３を有するカメラ本体１００と、撮影光学系を有する撮像レンズ１２０とを組み合わせて使用するレンズ交換式のデジタルスチルカメラである。
【００１５】
カメラ本体１００は、撮像素子１０３、表示器１０５、ＣＰＵ１１０、撮像制御回路１０２、メモリ回路１０１、インターフェース回路１０６、画像処理手段１０７、電気接点１０４を備えている。
【００１６】
撮像素子１０３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサ等により形成されており、カメラ本体１００の撮影レンズ１２０の予定結像面に配置されている。撮像素子１０３の詳細については後述する。
【００１７】
表示器１０５は、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）パネル等により形成され、撮影画像の表示や撮影情報等の情報表示を行う。また表示器１０５は、ライブビューモード時には、撮影予定の領域をリアルタイム動画表示する。ここで、ライブビューモードとは、撮影レンズ１２０からの被写体像を撮像素子１０３による撮像して、プレビュー用の低画素動画像を表示器１０５にリアルタイムで表示するモードである。このライブビューモード時には、後述する撮像面における位相差ＡＦを実行することができる。さらに、連写撮影中には各連写時の低画素静止画像を表示器１０５に表示する。
【００１８】
ＣＰＵ１１０は、カメラ全体を統括的に制御するとともに、各種演算や判定を行う。ＣＰＵ１１０は、被写体検出部１１１、位相差検出手段１１２、第１の被写体決定処理部１１３、第２の被写体決定処理部１１４、乗り移り判定処理部１１５、焦点調節部１１６を備えている。また、撮影レンズ１２０の焦点状態の検出（焦点検出とも称する）と当該検出の結果に基づいてフォーカスレンズ１２６の駆動指示を行う。なお、焦点検出を複数の領域に対して行った場合には、その選択処理も行う。
【００１９】
被写体検出部１１１は、撮像素子１０３から得た画像信号に基づいて被写体を検出する処理を行う。被写体を検出する処理には、顔を検出する顔検出処理も含まれる。また、被写体を検出する方法の１つとして、後述の顕著度を算出する。また、撮像素子１０３から得た画像信号の特徴に基づき被写体を検出し追跡位置を算出する。被写体検出部１１１のよりは、公知のテンプレートマッチング処理やヒストグラムマッチング処理によって行っても良い。
【００２０】
位相差検出手段１１２は、撮像素子１０３から得た一対の像信号の位相差を検出する。
【００２１】
第１の被写体決定処理部１１３はどの被写体位置に焦点位置を移動させるかを決定する。言い換えると、主被写体（第１の被写体とも称する）とすべき被写体を決定する。
【００２２】
第２の被写体決定処理部１１４は第１の被写体となり得る第２の被写体の候補を決定する。
【００２３】
乗り移り判定処理部１１５はその時点で決定されている第１の被写体よりも、第２の被写体に焦点位置を合わせるべきかどうか、すなわち、第２の被写体が主被写体であるかどうかを判定する。
【００２４】
焦点調節部１１６は、第１の被写体位置における位相差検出手段１１２で検出した位相差信号から換算したデフォーカス量に基づいて焦点位置を移動させるようにレンズＣＰＵ１２２に指示を行う。
【００２５】
撮像素子制御回路１０２は、ＣＰＵ１１０の指示に従い、撮像素子１０３を駆動制御する。メモリ回路１０１は、撮像素子１０３により撮像された画像信号を記憶する。また、メモリ回路１０１は、撮像素子１０３の受光分布を記憶する。
【００２６】
インターフェース回路１０６は、画像処理手段１０７により画像処理された画像信号をカメラ外部に出力する。
【００２７】
画像処理手段１０７は、撮像素子１０３による撮像した画像信号を画像処理する。
【００２８】
電気接点１０４は、撮影レンズ１２０の電気接点１２４と接触して電力及び各種信号の通信に用いられる。
【００２９】
撮影レンズ１２０は、カメラ本体１００に対して着脱可能な交換レンズである。
【００３０】
撮影レンズ１２０は撮影光学系、レンズＣＰＵ１２２、フォーカスレンズ駆動機構１２１、絞り駆動機構１２３、絞り１２５、電気接点１２４を備えている。撮影光学系は、フォーカスレンズ１２６を含んでいる。
【００３１】
撮影光学系は、撮影する被写体の光学像を撮像素子１０３上に結像させる。撮影光学系は、複数のレンズ群からなり、撮像素子１０３の撮像面付近にある焦点位置をＺ方向に沿って移動させるようにフォーカスレンズ駆動機構１２１により駆動される。なお、本実施例では焦点位置を被写体に合わせる動作を、ピントを合わせる、とも称する。
【００３２】
レンズＣＰＵ１２２は、カメラ本体１００のＣＰＵ１１０から送られてくる焦点調節情報を、電気接点１２４を介して受信し、その焦点調節情報に基づいてフォーカスレンズ駆動機構１２１を駆動する。
【００３３】
絞り駆動機構１２３は、絞り１２５を駆動する機構及びそのアクチュエータを有し、レンズＣＰＵ１１０の指示に従い絞り１２５を駆動する。
【００３４】
（撮像素子の構造）
続いて図３を参照して、本実施例における撮像素子１０３の画素構造について説明する。図３は、撮像素子１０３の画素構造を示す図である。図３（Ａ）は撮像素子１０３の画素配列の説明図、図３（Ｂ）は画素２１０ＧのＺ−Ｘ平面による断面図を示している。
【００３５】
図３（Ａ）は、撮像素子１０３（２次元ＣＭＯＳセンサ）の画素配列を、４行×４列の画素範囲で示している。画素２１０の配列は、ベイヤー配列が採用されている。対角方向の２画素として、Ｇ（緑）の分光感度を有する画素２１０Ｇが配置されている。また、他の２画素として、Ｒ（赤）の分光感度を有する画素２１０Ｒ、および、Ｂ（青）の分光感度を有する画素２１０Ｂがそれぞれ配置されている。画素２１０Ｒ、２１０Ｇ、２１０Ｂは、それぞれ、瞳分割用の２つの副画素２０１ａ、２０１ｂを有する。また、副画素２０１ａは、撮像光学系の第１瞳強領域を通過した光束を受光する第１画素である。また、副画素２０１ｂは、撮像光学系の第２瞳領域を通過した光束を受光する第２画素である。各画素は、撮像用画素および焦点検出用画素として機能する。
【００３６】
図３（Ａ）中のＸ、Ｙ、Ｚで示される座標軸に関し、Ｘ−Ｙ平面は図３（Ａ）の紙面内に位置し、Ｚ軸は紙面に対して垂直な軸である。副画素２０１ａ、２０１ｂは、Ｘ軸に平行な方向に沿って配置されている。
【００３７】
図３（Ｂ）中のＸ、Ｙ、Ｚで示される座標軸に関し、Ｘ−Ｚ平面は図３（Ｂ）の紙面内に位置し、Ｙ軸は紙面に対して垂直な軸である。検出部はｐ型層２００およびｎ型層から構成されるフォトダイオードを有する。マイクロレンズ２０２は、受光面からＺ軸方向に所定の距離だけ離れた位置に配置されている。マイクロレンズ２０２は、カラーフィルタ２０３上に形成されている。
【００３８】
本実施例において、撮像素子１０３の全ての画素２１０Ｒ、２１０Ｇ、２１０Ｂに、瞳分割用の副画素２０１ａ、２０１ｂが設けられている。副画素２０１ａ、２０１は、焦点検出用画素として用いられる。ただし、本実施例はこれに限定されるものではなく、瞳分割可能な焦点検出用画素が全画素のうちの一部の画素にのみ設けられている構成であってもよい。
【００３９】
（撮像素子による瞳分割機能の概念）
続いて図４を参照して、撮像素子１０３の瞳分割機能について説明する。図４は、撮像素子１０３の瞳分割機能の説明図であり、１つの画素部における瞳分割の様子を示している。
【００４０】
図４中の下方に示される画素部の座標軸（Ｘ、Ｙ、Ｚ）に関し、Ｘ−Ｚ平面は図４の紙面内に位置し、Ｙ軸は紙面に対して垂直な軸である。画素は、ｐ型層３００およびｎ型層３０１ａ、３０１ｂを備えている。ｐ型層３００およびｎ型層３０１ａは図３中の副画素２０１ａを構成し、また、ｐ型層３００およびｎ型層３０１ｂは副画素２０１ｂを構成する。マイクロレンズ３０４は、Ｚ軸上に配置されている。
【００４１】
また、図４の上方には、射出瞳３０２、および、枠３０３（例えば、絞り枠やレンズ枠）がそれぞれ示されている。図４の上方に示される座標軸（Ｘ、Ｙ、Ｚ）に関し、Ｘ−Ｙ平面は図４の紙面内に位置し、Ｚ軸は紙面に対して垂直な軸である。
【００４２】
１つの画素には、ｐ型層３００に埋め込まれたｎ型層３０１ａ、３０１ｂが設けられていることにより、２つの副画素が形成されている。２つの副画素は、ｘ方向に沿って規則的に配置されている。また、２つの副画素は、＋Ｘ方向および−Ｘ方向にそれぞれ偏芯しているため、１つのマイクロレンズ３０４を用いて瞳分割を行うことが可能である。図４において、射出瞳３０２として、像信号Ａの瞳３０２ａ、および、像信号Ｂの瞳３０２ｂが示されている。像信号Ａは、−Ｘ方向に偏芯したｎ型層３０１ａに対応する副画素で取得される第１の像信号である。また、像信号Ｂは、＋Ｘ方向に偏芯したｎ型層３０１ｂに対応する副画素で取得される第２の像信号である。
【００４３】
このように本実施例において、像信号Ａ（第１の信号）は、図３（Ａ）に示されるように複数の副画素３０１ａをＸ方向に規則的に配列し、複数の副画素３０１ａから得られた信号である。すなわち像信号Ａは、結像光学系の異なる射出瞳領域を通過し、絞り値に応じて基線長が異なる対の光束から得られた像信号の一方である。また、像信号Ｂ（第２の信号）は、図３（Ａ）に示されるように複数の副画素３０１ｂをＸ方向に規則的に配列し、複数の副画素３０１ｂから得られた信号である。すなわち像信号Ｂは、結像光学系の異なる射出瞳領域を通過し、絞り値に応じて基線長が異なる対の光束から得た像信号の他方である。
【００４４】
ＣＰＵ１１０は、位相差検出手段１１１によって像信号Ａと像信号Ｂの相対的な像ずれ量を算出し、デフォーカス量換算手段１１２によってデフォーカス量を算出する。なお本実施例では、Ｘ方向の輝度分布を有する被写体に対応した構成について説明した。ただし、本実施例は、同様の構成をＹ方向にも展開することにより、Ｙ方向に輝度分布を有する被写体にも対応した構成を採用することも可能である。
【００４５】
（自動選択サーボＡＦの全体フロー）
続いて自動選択サーボＡＦの全体フローについて図５のフローチャートを用いて説明する。なお、本実施例の自動選択サーボＡＦは、主に動体の撮影のために、複数の焦点検出領域から焦点調節に用いる１つの焦点検出領域を撮像装置が自動的に選択して当該焦点検出領域を用いた焦点調節を行う処理を繰り返すモードである。
【００４６】
本実施例の自動選択サーボＡＦの概要は次の通りである。まず、第１の被写体決定処理（後述）によって、ある被写体を主被写体として決定する。また、別途行われる第２の被写体決定処理（後述）において、当該主被写体とは異なる被写体を、主被写体の候補である被写体（第２の被写体とも称する）として決定する。そして、乗り移り判定処理（後述）において、その時点で決定されている第１の被写体よりも、第２の被写体に焦点位置を合わせるべきかどうか、すなわち、第２の被写体が主被写体であるかどうかを判断する。この判断結果に応じた被写体を主被写体としてピントを合わせ続ける処理を行う。
【００４７】
まず、Ｓ１０１において、ＣＰＵ１１０は、撮像素子１０３から画像信号を取得する。
【００４８】
次にＳ１０２において、ＣＰＵ１１０は、Ｓ１０１で取得した画像信号をもとに、ＣＰＵ１１０が全画面の各枠の焦点検出を行う。
【００４９】
Ｓ１０３において、ＣＰＵ１１０は、Ｓ１０２で行った各枠の焦点検出の中から至近の位置を選択し、ＣＰＵ１１０が至近被写体位置にＡＦ枠を設定する。ただし既に至近被写体位置にＡＦ枠を設定済みの場合は、前回と同じＡＦ枠に固定しても良いし、前回と至近被写体位置が明らかに変わっている場合は別の至近被写体位置にＡＦ枠を設定し直してもよい。
【００５０】
Ｓ１０４では、ＣＰＵ１１０が算出したＡＦ枠位置の焦点検出結果が合焦範囲内かどうかを判定する。合焦範囲内であればＳ１０８に進み、合焦範囲外であればＳ１０５に進む。
【００５１】
Ｓ１０５では、ＣＰＵ１１０が算出したＡＦ枠位置の焦点検出結果を焦点調節部１１６でレンズ駆動量に換算し、レンズ１２０の焦点調節を行う。
【００５２】
Ｓ１０８では、ＣＰＵ１１０が第１の被写体決定処理を行いどこで追尾を開始させるかを決定する。この処理の詳細は後述の（第１の被写体決定処理１）で述べる。
【００５３】
Ｓ１０９では、ＣＰＵ１１０は、Ｓ１０８で決定した第一の被写体位置でＡＦ枠を設定する。
【００５４】
Ｓ１１０では、ＣＰＵ１１０は、撮像素子１０３から画像信号を取得する。
【００５５】
Ｓ１１１では、ＣＰＵ１１０は、Ｓ１１０で取得した画像信号をもとに、追尾処理を行う。追尾を行う被写体は第１の被写体および第２の被写体候補である。
【００５６】
Ｓ１１２では、Ｓ１１０で撮像素子１０３から取得した画像信号をもとにＣＰＵ１１０が焦点検出処理を行う。
【００５７】
Ｓ１１３では、ＣＰＵ１１０は、Ｓ１１１で検出した第２の被写体候補から第２の被写体決定処理を行う。この処理の詳細は後述の（第２の被写体決定処理）で述べる。
【００５８】
Ｓ１１４では、第２の被写体を第１の被写体として乗り移りかどうかの判定をＣＰＵ１１０が行う。この処理の詳細は後述の（乗り移り判定処理）で述べる。
【００５９】
Ｓ１１５では、ＣＰＵ１１０は、Ｓ１１４で行った乗り移り判定の結果、乗り移ると判断した場合はＳ１１６に進み、乗り移らないと判定した場合はＳ１１８に進む。
【００６０】
Ｓ１１６では、ＣＰＵ１１０は、第２の被写体を新たな第１の被写体として決定する。
【００６１】
Ｓ１１７では、ＣＰＵ１１０は、第２の被写体決定処理を行う。
【００６２】
Ｓ１１８では、ＣＰＵ１１０が算出したＡＦ枠位置の焦点検出結果を焦点調節部１１６でレンズ駆動量に換算し、レンズ１２０の焦点調節を制御する。
【００６３】
なお、第２の被写体を新たな第１の被写体として決定した場合においては、ＡＦ枠位置を設定し直して、再度焦点検出結果を算出し直した結果を用いて、焦点調節部１１６でレンズ駆動量に換算し、レンズ１２０の焦点調節を行ってもよい。
【００６４】
Ｓ１１９では、ＣＰＵ１１０は、レリーズスイッチ（ＳＷ２）が押されているかどうかを判定し、レリーズスイッチ（ＳＷ２）が押されているならＳ１２０に進み、押されていないならＳ１２１へ進む。
【００６５】
Ｓ１２０で、メモリ回路１０１は、撮像素子１０３で取得した画像信号を記録する。
【００６６】
Ｓ１２１では、ＣＰＵ１１０は、ＡＦスイッチ（ＳＷ１）が押されているかどうかを判定し、押下中なら、Ｓ１０９へ進み、押下されていなければ自動選択サーボＡＦの全体フローを終了する。
【００６７】
前述したとおり、本実施例の自動選択サーボＡＦでは、まずある被写体を第１の被写体として決定する。また、第２の被写体決定処理によって、当該第１の被写体とは異なる被写体を、主被写体の候補として決定する。そして、第１の被写体よりも第２の被写体にピントを合わせるべきと判断した場合には、第２の被写体を主被写体である第１の被写体とする。これにより、決定された主被写体がユーザの意図した被写体と異なる場合や、被写体の動きに応じて主被写体として決定すべき被写体が変化した場合であっても、適切な被写体を主被写体として決定することができる。
【００６８】
（第１の被写体決定処理１）
ここでは図５のフローチャートにおける第１の被写体決定処理１（Ｓ１１４）の詳細について図９のフローチャートを用いて説明する。前述のように、第１の被写体決定処理は主被写体である第１の被写体を決定する処理である。Ｓ９０１において、ＣＰＵ１１０は、撮像素子１０３から取得した画像信号から被写体検出を行う。
【００６９】
Ｓ９０２において、ＣＰＵ１１０は、Ｓ９０１で被写体として顔が検出されたか否かを判断する。顔が検出された場合はＳ９０３に進み、顔が検出されなかった場合はＳ９０４に進む。
【００７０】
Ｓ９０３で、ＣＰＵ１１０は、Ｓ９０１で顔があると判断した場合に、合焦位置のデフォーカス量と顔に対応する位置のデフォーカス量との差分を、第１の閾値と比較する。観客席の顔など一度合焦に合わせた位置から急に後ろの被写体に乗り移らせないようにするため、合焦位置のデフォーカス量と顔に対応する位置のデフォーカス量との差分が第１の閾値未満であればＳ９０９へ進み、第１の閾値以上であればＳ９０４へ進む。
【００７１】
なお、この閾値は広くするほど顔被写体へ焦点を合わせやすくなるが、例えば背景の観客などユーザの意図しない顔被写体へ焦点を合わせてしまう可能性もある。そのため、この時の閾値は合焦位置から無限側も至近側も同一の閾値で設定しても良いし、無限側を狭く至近側を広く設定しても良い。
【００７２】
Ｓ９０４は、ＣＰＵ１１０は、撮像素子１０３から取得した画像信号から顕著度を算出し、当該顕著度に基づいて、顕著な特徴を有した被写体（顕著被写体とも称する）が存在するか否かの判定を行う。本実施例の顕著度は特徴の顕著さの程度であり、背景に対する区別がはっきりとして目立っているほど、顕著度が高いとする。顕著度が所定の第２の閾値以上である場合に、顕著被写体が存在すると判定する。
【００７３】
本実施例では色相、彩度、輝度に基づいて顕著度を判定している。例えば緑色の葉に囲まれた中でのピンク色の花のシーンでは花の位置が主被写体であり、顕著度の判別によって花が主被写体と推測できる。また、海上の船や空を飛ぶ鳥なども同様の理由により顕著度の判別によって主被写体と推測できる。このように、顕著度は、主被写体を決定するにあたって有力な指標の一つとなり得るものであるので、本実施例では、顕著被写体を、第１の被写体を決定するにあたっての候補とする。Ｓ９０４で顕著度の算出処理方法については後述する。
【００７４】
Ｓ９０５では、ＣＰＵ１１０は、Ｓ９０４で顕著被写体があったかどうかを判定し、顕著被写体が見つかった場合はＳ９０６へ進み、見つからなかった場合はＳ９０７へ進む。
【００７５】
Ｓ９０６では、ＣＰＵ１１０は、合焦位置のデフォーカス量と顕著被写体のデフォーカス量との差分が第３の閾値と比較し、かつ、合焦位置に対して顕著被写体が近傍であるかどうかを判定する。これは看板などユーザが主被写体とさせたくないが顕著度が高い被写体が背景や平面端にいることがあるため、現在の合焦位置から大きく外れる位置の顕著被写体は除外させたいからである。合焦位置のデフォーカス量と顕著被写体のデフォーカス量との差分が第３の閾値未満、かつ、顕著被写体の平面上の位置が合焦位置の平面上の位置の近傍である場合には、Ｓ９０８へと進む。ここでは、デフォーカス方向（奥行方向）をＺ軸方向とした場合のＸＹ軸平面上の顕著被写体の中心座標の位置と合焦位置の座標位置との距離が第４の閾値未満である場合に、近傍であると判断する。また、複数の顕著被写体が閾値範囲に存在する場合は最も顕著度の高い被写体を選択しＳ９０８へと進む。合焦位置のデフォーカス量と顕著被写体のデフォーカス量との差分が第３の閾値以上、もしくは顕著被写体の平面上の位置と合焦位置の平面上の位置の近傍ではない、または両方を充たす場合には、Ｓ９０７へと進む。
【００７６】
Ｓ９０７では、ＣＰＵ１１０は、第１の被写体をＳ１０３で行った焦点検出結果が最至近を示している位置に決定する。
【００７７】
Ｓ９０８では、ＣＰＵ１１０は、第１の被写体をＳ９０４で判定した顕著被写体に決定する。
【００７８】
Ｓ９０９では、ＣＰＵ１１０は、第１の被写体を顔に決定する。
【００７９】
（色顕著度算出処理）
図６、図７及び図８を参照して、画像信号による色顕著度算出処理について説明する。
【００８０】
まず図６のＳ６０１において、ＣＰＵ１１０は、画像信号の評価を行う評価領域を決定する。評価領域は、顕著度を評価する対象である被写体に相当する領域である。図７では、７０１は入力画像、７０２は評価画素、７０３は評価領域候補である。各評価領域候補は図７（ａ）から図７（ｃ）に示すように、複数サイズで算出する。評価領域候補のサイズは所定値をｎ倍した値で算出し、例えば１６画素、３２画素、６４画素とする。評価画素は入力画像の全画素からラスタ処理で順次選択する。
【００８１】
次に、図６のＳ６０２において、ＣＰＵ１１０は、評価領域に対する外側評価領域を決定する。外側評価領域は、背景に相当する領域である。図８では、８０１が入力画像、８０２が評価画素、８０３が評価領域、８０４が外側評価領域である。図８に示すように、外側評価領域は中心位置が評価領域と同一であり、外径サイズが評価領域のサイズに所定値加算した値であり、評価領域を除いたドーナツ状の領域とする。加算する所定値は入力画像の割合で決定し、例えば入力画像の水平サイズの１０％とする。
【００８２】
次に、図６のＳ６０３において、ＣＰＵ１１０は、評価領域と外側評価領域に対応する画像信号の相違度を色顕著度評価値として算出する。相違度Ｄは下記式により算出される。
【００８３】
【数１】
2020003742.tif 000003
【００８４】
ｄＨは評価領域及び外側評価領域の色相情報から算出された相違度であり、ｐＨｉは評価領域の色相情報がｉの画素数を表し、ｑＨｉは外側評価領域の内、色相情報がｉの画素数を表す。ｄＳ、ｐＳｉ、ｑＳｉは彩度情報に関する同様の値であり、ｄＶ、ｐＶｉ、ｑＶｉは輝度情報に関する同様の値である。またｍは色相情報、彩度情報、輝度情報が取り得る最大値である。
【００８５】
次に、図６のＳ６０４において、ＣＰＵ１１０は、未処理の評価領域があるか否か判定を行う。未処理の評価領域があれば図６のＳ６０１に戻って一連の処理を繰り返し、なければ本処理を終了する。
【００８６】
以上の処理により、被写体領域は評価領域と外側評価領域の画像信号の相違度が高くなるという仮定に基づく色顕著度を算出できる。
【００８７】
（第２の被写体決定処理）
ここでは図５のフローチャートにおける第２の被写体決定処理（Ｓ１１３およびＳ１１７）の詳細について図１０を参照して説明する。前述のように、第２の被写体決定処理は、主被写体の候補として第２の被写体を決定する処理である。
【００８８】
まず、Ｓ１００１では、ＣＰＵ１１０は、撮像素子１０３から取得した画像信号から被写体検出部１１１を用いて被写体検出を行う。
【００８９】
次に、Ｓ１００２では、ＣＰＵ１１０は、Ｓ１００１で検出した結果、第１の被写体とは異なる被写体であって、顔である被写体があるかどうかを判定する。
【００９０】
Ｓ１００２において第１の被写体とは異なる被写体であって、顔である被写体があると判定された場合は、ＣＰＵ１１０は、Ｓ１００３で顔を第２の被写体に決定する。そして、第２の被写体は検出された状態として、第２の被写体決定処理を終了する。このように、主被写体である可能性が高い顔である被写体を主被写体の候補として決定する。これにより、第１の被写体がユーザの意図する主被写体でなかった場合や、第１の被写体とは異なる被写体のほうが主被写体にふさわしい場面に、より主被写体にふさわしい別の被写体を１の被写体として決定することができる。
【００９１】
Ｓ１００２において第１の被写体とは異なる被写体であって、顔である被写体があると判定されなかった場合は、ＣＰＵ１１０は、Ｓ１００４で、第２の被写体は決定せず、第２の被写体は非検出状態として、第２の被写体決定処理を終了する。第１の被写体とは異なる被写体として顔が検出されなかった場合には第１の被写体以外に主被写体にふさわしい被写体は存在しないと推測される。このため、主被写体の候補である被写体を決定しないことで、より主被写体にふさわしい被写体にピントを合わせ続けることができる。
【００９２】
（乗り移り判定処理）
ここでは図５のフローチャートにおける乗り移り判定処理Ｓ１１４の詳細について図１１を参照して説明する。前述のように、乗り移り判定処理は、その時点での第１の被写体ではなく第２の被写体がピントを合わせるべき被写体であるかを判断する処理である。
【００９３】
Ｓ１１０１では、ＣＰＵ１１０は、Ｓ１０８の第１の被写体決定処理で決定された被写体が顔であるかを判定する。
【００９４】
Ｓ１１０１において第１の被写体が顔であると判定された場合には、ＣＰＵ１１０は、Ｓ１１０２で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【００９５】
第１の被写体が顔である場合において、第１の被写体を変更しない理由は、現在追従している被写体が顔である場合は、主被写体である可能性が高く、被写体を変更しない方がよいためである。
【００９６】
Ｓ１１０１において第１の被写体が顔でないと判定された場合には、ＣＰＵ１１０は、Ｓ１１０３に進み、Ｓ１１３の第２の被写体決定処理で第２の被写体が検出されたかどうかを判定する。
【００９７】
Ｓ１１０３において第２の被写体が検出されていないと判定された場合は、ＣＰＵ１１０は、乗り移り対象が存在しないため、Ｓ１１０２で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【００９８】
Ｓ１１０３において第２の被写体が検出されたと判定された場合は、ＣＰＵ１１０は、Ｓ１１０４で第２の被写体が第１の被写体より至近側の被写体であるかを判定する。
【００９９】
Ｓ１１０４において第２の被写体が第１の被写体より至近側の被写体であると判定された場合は、ＣＰＵ１１０は、Ｓ１１０６で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１００】
この場合において、第２の被写体を第１の被写体に変更する理由は、第２の被写体が第１の被写体より至近側の被写体である場合に、第１の被写体が背景となっているときに至近側の被写体が主被写体である可能性が高いためである。
【０１０１】
Ｓ１１０４において第２の被写体が第１の被写体より至近側の被写体ではないと判定された場合は、ＣＰＵ１１０は、Ｓ１１０５で第２の被写体が第１の被写体より所定デフォーカス内の無限側の被写体であるかを判定する。
【０１０２】
Ｓ１１０５において、第２の被写体と第１の被写体とのデフォーカス量の差分が第５の閾値未満かつ、第２の被写体が第１の被写体より無限側の被写体であると判定された場合は、ＣＰＵ１１０は、Ｓ１１０６で乗り移り判定結果をＴＲＵＥにする。そして、乗り移り判定処理を終了する。
【０１０３】
Ｓ１１０５において、第２の被写体と第１の被写体とのデフォーカス量の差分が第５の閾値以上、第２の被写体が第１の被写体より至近側、又はこれら両方のいずれかを充たすと判定された場合には、Ｓ１１０２で乗り移り判定結果をＦＡＬＳＥにする。そして、乗り移り判定処理を終了する。
【０１０４】
ここで、第２の被写体を第１の被写体に変更する理由以下の通りである。第２の被写体と第１の被写体とのデフォーカス量の差分が第５の閾値未満かつ、第２の被写体が第１の被写体より無限側の被写体である場合において、例えば第１の被写体が地面等の人物よりも至近側である場合が考えられる。このような場合には、第２の被写体である顔が主被写体である可能性が高いためである。
【０１０５】
一方で第２の被写体と第１の被写体とのデフォーカス量の差分が第５の閾値以上でありかつ第２の被写体が第１の被写体の無限側の被写体である場合は、背景等にいる主被写体ではない顔である可能性が高いためである。
【０１０６】
なお、Ｓ１１０４およびＳ１１０５における処理では、ＣＰＵ１１０がＳ１１２の焦点検出処理において算出した焦点検出結果から、第１の被写体位置および第２の被写体位置に該当するそれぞれの焦点検出結果を用いることで判定する。
【０１０７】
以上のように、本実施例では、種々の工夫により主被写体誤検出を減らすことができるので、正しい主被写体へピントを合わせ続けることができる。また、さらには、焦点検出結果動的に主被写体を選び直すことで、正しい主被写体へピントを合わせ続けることができる。
【０１０８】
［実施例２］
以下、本発明の実施例２について図面を参照して説明する。本実施例は、例えば焦点検出処理において被写体が動体か否かを判定し、乗り移り判定において当該判定の結果を考慮する点で実施例１と異なる。また、例えば、第２の被写体決定処理において、顕著度を考慮している点で実施例１と異なる。なお、実施例１と同じ構成については説明を省略し、以下では実施例１と異なる部分を中心に説明する。本実施例では、ＣＰＵ１１０が実施例１で説明した処理の他に、後述の動体予測処理及び動体判定処理（動体検出とも称する）を行うよう構成されている。
【０１０９】
（焦点検出処理）
ここでは図５のフローチャートにおける実施例２の焦点検出処理Ｓ１１２の詳細について図１２を参照して説明する。
【０１１０】
Ｓ１２０１では、Ｓ１１０で撮像素子１０３から取得した画像信号をもとにＣＰＵ１１０が焦点検出処理を行う。
【０１１１】
Ｓ１２０２では、Ｓ１２０１で取得される焦点検出結果をもとに、ＣＰＵ１１０が第１の被写体位置に該当する焦点検出結果を選択する。
【０１１２】
Ｓ１２０３では、Ｓ１２０２選択される第１の被写体位置に該当する焦点検出結果をもとに、ＣＰＵ１１０が第１の動体判定処理を行う。
【０１１３】
第１の動体判定処理では、第１の被写体位置に該当する焦点検出結果を履歴として記憶し、その変化から動体であるかどうかを判定する。当該判定の結果を第１の動体検出結果とも称する。
【０１１４】
なお、動体判定処理は、被写体が動体であるか否かがわかる方法であればどのような方法を採用しても良い。例えば、焦点検出結果が一定期間以上同じ方向に変化し、その変化量が所定値を超えたときに動体と判定することができる。
【０１１５】
Ｓ１２０４において第１の被写体が動体であると判定された場合には、Ｓ１２０５では、Ｓ１２０２選択される第１の被写体位置に該当する焦点検出結果をもとに、ＣＰＵ１１０が第１の動体予測処理を行う。
【０１１６】
第１の動体予測処理では、第１の被写体位置に該当する焦点検出結果の履歴から、任意時刻における第１の被写体の合焦位置を予測することが可能であり、ここでは撮像素子１０３の次の蓄積時刻における第１の被写体の合焦位置を予測する。
【０１１７】
なお、動体予測処理の方法は、任意時刻における被写体の合焦位置を予測することができる方法であればどのような方法を採用しても良い。例えば特開２００１−２１７９４号公報に開示されている統計演算を用いて予測を行うことができる。
【０１１８】
Ｓ１２０６では、第２の被写体決定処理Ｓ１１３の結果、第２の被写体が決定されているか判定する。
【０１１９】
Ｓ１２０６において第２の被写体が決定されている場合には、Ｓ１２０７で、Ｓ１２０１で取得される焦点検出結果をもとに、ＣＰＵ１１０が第２の被写体位置に該当する焦点検出結果を選択する。
【０１２０】
Ｓ１２０８では、Ｓ１２０７で選択される第２の被写体位置に該当する焦点検出結果をもとに、ＣＰＵ１１０が第２の動体判定処理を行う。
【０１２１】
第２の動体判定処理では、第２の被写体位置に該当する焦点検出結果を履歴として記憶し、その変化から動体であるかどうかを判定する。当該判定の結果を第２の動体検出結果とも称する。
【０１２２】
Ｓ１２０９において第２の被写体が動体であると判定された場合には、Ｓ１２１０では、Ｓ１２０７選択される第２の被写体位置に該当する焦点検出結果をもとに、ＣＰＵ１１０が第２の動体予測処理を行う。
【０１２３】
第２の動体予測処理では、第２の被写体位置に該当する焦点検出結果を履歴から、任意時刻における第２の被写体の合焦位置を予測することが可能であり、ここでは現時刻における第２の被写体の合焦位置を予測する。
【０１２４】
（第２の被写体決定処理）
ここでは図５のフローチャートにおける実施例２の第２の被写体決定処理（Ｓ１１３およびＳ１１７）の詳細について図１３を参照して説明する。前述のように、実施例２の第２の被写体決定処理では、顕著度も考慮している。
【０１２５】
まず、Ｓ１３０１では、ＣＰＵ１１０は、撮像素子１０３から取得した画像信号から被写体検出部１１１を用いて被写体検出を行う。
【０１２６】
次に、Ｓ１３０２では、ＣＰＵ１１０は、Ｓ１３０１で検出した結果、顔が検出されたか否かを判定する。
【０１２７】
Ｓ１３０２において顔があると判定された場合は、Ｓ１３０３で、ＣＰＵ１１０は、第１の被写体のデフォーカス量と顔位置のデフォーカス量とを比較する。差分が第５の閾値未満であれば、Ｓ１３０４で顔を第２の被写体に決定し、第２の被写体は検出した状態として、第２の被写体決定処理を終了する。
【０１２８】
第１の被写体のデフォーカス量と顔位置のデフォーカス量との差分が第５の閾値以上のデフォーカス差であれば、検出された顔を第２の被写体として決定せず、Ｓ１３０５へ進む。
【０１２９】
この閾値は広くするほど顔被写体へ焦点を合わせやすくなるが、例えば背景の観客などユーザの意図しない顔被写体へ焦点を合わせてしまう可能性もある。そのため、この時の閾値は合焦位置から無限側も至近側も同一の閾値で設定しても良いし、無限側を狭く至近側を広く設定しても良い。
【０１３０】
Ｓ１３０２において顔があると判定されなかった場合は、ＣＰＵ１１０は、Ｓ１３０５で、撮像素子１０３から取得した画像信号から顕著度判定を行う。
【０１３１】
Ｓ１３０６では、ＣＰＵ１１０は、Ｓ１３０５で顕著被写体があったかどうかを判定し、顕著被写体が見つかった場合はＳ１３０７へ進み、見つからなかった場合はＳ１３０９へ進む。
【０１３２】
Ｓ１３０７では、ＣＰＵ１１０は、第１の被写体のデフォーカス量と顕著被写体のデフォーカス量とを比較する。差分が第６の閾値未満であれば、Ｓ１３０８で顕著被写体を第２の被写体に決定し、第２の被写体は検出した状態として、第２の被写体決定処理を終了する。
【０１３３】
第１の被写体と顕著被写体の焦点検出結果とを比較し、第６の閾値以上のデフォーカス差であれば、顕著被写体を第２の被写体には決定しない。
【０１３４】
この閾値は広くするほど顕著被写体へ焦点を合わせやすくなるが、例えば背景の目立った看板などユーザの意図しない被写体へ焦点を合わせてしまう可能性もある。
【０１３５】
そのため、この時の閾値は第１の被写体から無限側も至近側も同一の閾値で設定しても良いし、無限側を狭く至近側を広く設定しても良い。
【０１３６】
Ｓ１３０９では、ＣＰＵ１１０は、第１の被写体が画面内の中央領域に存在するかを判定する。
【０１３７】
Ｓ１３０９において第１の被写体が画面内の中央領域に存在すると判定された場合は、Ｓ１３１０において、ＣＰＵ１１０は、焦点検出結果が最至近を示している位置を第２の被写体に決定する。そして、第２の被写体は検出した状態として、第２の被写体決定処理を終了する。
【０１３８】
これは、第１の被写体が中央領域に存在する場合には、それ以外の領域に至近被写体が存在すれば主被写体である可能性があるためである。
【０１３９】
Ｓ１３０９において第１の被写体が画面内の中央領域に存在しないと判定された場合は、Ｓ１３１１において、ＣＰＵ１１０は、画面中央位置を第２の被写体に決定し、第２の被写体は検出した状態として、第２の被写体決定処理を終了する。
【０１４０】
これは、第１の被写体が中央領域に存在しない場合には、中央領域に主被写体が存在する可能性があるためである。
【０１４１】
ここで、中央領域の範囲に応じて、画面中央を第２の被写体として決定しやすさが変えるために、中央領域の範囲を狭くしても、広くしてもよい。
【０１４２】
（乗り移り判定処理）
ここでは図５のフローチャートにおける実施例２の乗り移り判定処理Ｓ１１４の詳細について図１４を参照して説明する。実施例２では、前述のように、焦点検出処理における動体判定の結果に基づいて乗り移り判定を行う。
【０１４３】
Ｓ１４０１では、ＣＰＵ１１０は、Ｓ１２０３の第１の動体判定処理の結果、第１の被写体が動体であるかどうかを判定する。
【０１４４】
Ｓ１４０１において第１の被写体が動体であると判定された場合には、ＣＰＵ１１０は、Ｓ１４０２で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１４５】
第１の被写体が動体である場合において、第１の被写体を変更しない理由は、現在追従している被写体が動体である場合は、主被写体である可能性が高く、被写体を変更しない方がよいためである。
【０１４６】
Ｓ１４０１において第１の被写体が動体でないと判定された場合には、ＣＰＵ１１０は、Ｓ１４０３に進み、Ｓ１２０８の第２の動体判定処理の結果、第２の被写体が動体であるかどうかを判定する。
【０１４７】
Ｓ１４０３において第２の被写体が動体であると判定された場合には、ＣＰＵ１１０は、Ｓ１４０４で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１４８】
Ｓ１４０３において第２の被写体が動体ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１４０２で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１４９】
この場合おいて、第２の被写体を第１の被写体に変更する理由は、現在追従している被写体が動体ではなく、第２の被写体が動体である場合、第２の被写体が主被写体である可能性が高いためである。
【０１５０】
実施例２におけるＳ１１８では、ＣＰＵ１１０が算出した第１の被写体として選択されている被写体のＡＦ枠位置の合焦位置を用いて焦点調節部１１６でレンズ駆動量に換算し、フォーカスレンズ１２６を駆動することで焦点調節を行う。
【０１５１】
以上のように、本発明によれば、焦点検出結果から動体を判定し、動体と判定された被写体に対し、動的に主被写体を選び直すことで、正しい主被写体へピントを合わせ続けることができる。
【０１５２】
［実施例３］
以下、本発明の実施例３について図面を参照して説明する。なお、実施例２と同じ構成については説明を省略し、以下では実施例２と異なる部分を中心に説明する。
【０１５３】
（乗り移り判定処理）
ここでは図５のフローチャートにおける実施例３の乗り移り判定処理Ｓ１１４の詳細について図１５を参照して説明する。
【０１５４】
Ｓ１５０１では、ＣＰＵ１１０は、Ｓ１２０３の第１の動体判定処理の結果、第１の被写体が動体であるかどうかを判定する。
【０１５５】
Ｓ１５０１において第１の被写体が動体であると判定された場合には、Ｓ１５０２で、ＣＰＵ１１０は、Ｓ１０８の第１の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１５６】
Ｓ１５０２において第１の被写体が顔であると判定された場合には、Ｓ１５０３で、ＣＰＵ１１０は、Ｓ１２０８の第２の動体判定処理の結果、第２の被写体が動体であるかどうかを判定する。
【０１５７】
Ｓ１５０３において第２の被写体が動体であると判定された場合には、Ｓ１５０４で、ＣＰＵ１１０は、Ｓ１１３の第２の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１５８】
Ｓ１５０３において第２の被写体が動体ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５０７で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１５９】
Ｓ１５０４において第２の被写体が顔であると判定された場合には、Ｓ１５０５で、ＣＰＵ１１０は、第２の被写体のデフォーカス量と第２の被写体のデフォーカス量を比較することで、第２の被写体が第１の被写体より至近側であるかを判定する。Ｓ１５０４において第２の被写体が顔ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５０７で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１６０】
なお、第２の被写体が第１の被写体より至近側であるかを判定する際には、それぞれのし被写体の位置の焦点検出結果を用いて行うこともできるが、それぞれの動体予測処理で求めた合焦位置から判定してもよい。また、以降の処理における判定においても焦点検出結果であるデフォーカス量の代わりに、動体予測処理で求めた合焦位置を用いて判定してもよい。
【０１６１】
Ｓ１５０５において、第２の被写体が第１の被写体より至近側であると判定された場合には、ＣＰＵ１１０は、Ｓ１５０６で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１６２】
Ｓ１５０５において第２の被写体が第１の被写体より至近側ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５０６で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１６３】
この場合において、第２の被写体を第１の被写体に変更する理由は、第２の被写体が第１の被写体より至近側である場合に、手前の被写体の方が主被写体である可能性が高いためである。
【０１６４】
Ｓ１５０２において第１の被写体が顔ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５０８で、Ｓ１２０８の第２の動体判定処理の結果、第２の被写体が動体であるかどうかを判定する。
【０１６５】
Ｓ１５０８において第２の被写体が動体であると判定された場合には、Ｓ１５０９で、ＣＰＵ１１０は、Ｓ１１３の第２の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１６６】
Ｓ１５０８において第２の被写体が動体ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５１３で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１６７】
Ｓ１５０９において第２の被写体が顔であると判定された場合には、ＣＰＵ１１０は、Ｓ１５１０で、第２の被写体のデフォーカス量と第１の被写体のデフォーカス量の差分が第７の閾値未満であるかを判定する。
【０１６８】
Ｓ１５０９において第２の被写体が顔ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５１３で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１６９】
Ｓ１５１０において第２の被写体のデフォーカス量と第１の被写体のデフォーカス量の差分が第７の閾値未満であると判定された場合には、ＣＰＵ１１０は、Ｓ１５１１で第２の被写体が第１の被写体の所定より近傍領域に存在するかを判定する。
【０１７０】
Ｓ１５０５において第２の被写体のデフォーカス量と第１の被写体のデフォーカス量の差分が第７の閾値以上であると判定された場合には、ＣＰＵ１１０は、Ｓ１５１３で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１７１】
Ｓ１５１１において第２の被写体の平面上の位置が第１の被写体の平面上の位置に対して近傍領域に存在すると判定された場合には、ＣＰＵ１１０は、Ｓ１５１２で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。ここでは、デフォーカス方向（奥行方向）をＺ軸方向とした場合のＸＹ軸平面上の第１の被写体の中心座標の位置と第１の被写体の中心座標の位置との距離が第８の閾値未満である場合に、第２の被写体の平面上の位置が第１の被写体の平面上の位置に対して近傍領域に存在すると判断する。
【０１７２】
この場合において、第２の被写体を第１の被写体に変更する理由は、第２の被写体と第１の被写体は同一被写体である可能性が高く、その場合は顔にピントを合わせた方が良いためである。
【０１７３】
Ｓ１５０１において第１の被写体が動体ではないと判定された場合には、Ｓ１５１４で、ＣＰＵ１１０は、Ｓ１０８の第１の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１７４】
Ｓ１５１４において第１の被写体が顔であると判定された場合には、Ｓ１５１５で、ＣＰＵ１１０は、Ｓ１２０８の第２の動体判定処理の結果、第２の被写体が動体であるかどうかを判定する。
【０１７５】
Ｓ１５１５において第２の被写体が動体であると判定された場合には、Ｓ１５１６で、ＣＰＵ１１０は、Ｓ１１３の第２の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１７６】
Ｓ１５１５において第２の被写体が動体ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５１９で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１７７】
Ｓ１５１６において第２の被写体が顔であると判定された場合には、ＣＰＵ１１０は、Ｓ１５１７で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１７８】
この場合において、第２の被写体を第１の被写体に変更する理由は、第２の被写体と第１の被写体が両方顔である場合に、動体である顔の方が主被写体である可能性が高いためである。
【０１７９】
Ｓ１５１６において第２の被写体が顔ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５１８で顔優先設定がＯＮになっているかについて判定する。
【０１８０】
なお、顔優先設定とは、ユーザの指定に応じてメモリ回路１０１に保存されているカメラ設定値である。顔優先設定がＯＮになっている場合は、被写体として顔が検出された場合に、顔を優先してピントを合わせるようＣＰＵ１１０が制御する。
【０１８１】
顔優先設定がＯＮの場合には、被写体検出部１１１によって顔を検出した際に、表示器１０５に顔の位置を示す枠を表示することも可能である。
【０１８２】
Ｓ１５１８において顔優先設定がＯＮになっていると判定された場合には、ＣＰＵ１１０は、Ｓ１５１９で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１８３】
Ｓ１５１８において顔優先設定がＯＮになっていないと判定された場合には、ＣＰＵ１１０は、Ｓ１５１７で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１８４】
この場合において、第２の被写体を第１の被写体に変更する理由は、顔優先設定がＯＮでなければ、顔ではあるが動体ではない被写体よりも顔ではない動体の方が主被写体である可能性が高いためである。
【０１８５】
Ｓ１５１４において第１の被写体が顔ではないと判定された場合には、Ｓ１５２０で、ＣＰＵ１１０は、Ｓ１２０８の第２の動体判定処理の結果、第２の被写体が動体であるかどうかを判定する。
【０１８６】
Ｓ１５２０において第２の被写体が動体であると判定された場合には、ＣＰＵ１１０は、Ｓ１５２１で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１８７】
この場合において、第２の被写体を第１の被写体に変更する理由は、動体ではない被写体よりも動体の方が主被写体である可能性が高いためである。
【０１８８】
Ｓ１５２０において第２の被写体が動体ではないと判定された場合には、Ｓ１５２２で、ＣＰＵ１１０は、Ｓ１１３の第２の被写体決定処理で決定された被写体が顔であるかを判定する。
【０１８９】
Ｓ１５２２において第２の被写体が顔であると判定された場合には、ＣＰＵ１１０は、Ｓ１５２３で顔優先設定がＯＮになっているかについて判定する。
【０１９０】
Ｓ１５２３において顔優先設定がＯＮになっていると判定された場合には、ＣＰＵ１１０は、Ｓ１５２１で乗り移り判定結果をＴＲＵＥにし、乗り移り判定処理を終了する。
【０１９１】
この場合において、第２の被写体を第１の被写体に変更する理由は、顔優先設定がＯＮである場合は、顔ではない被写体より顔の方が主被写体である可能性が高いためである。
【０１９２】
Ｓ１５２３において顔優先設定がＯＮになっていないと判定された場合には、ＣＰＵ１１０は、Ｓ１５２４で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１９３】
Ｓ１５２２において第２の被写体が顔ではないと判定された場合には、ＣＰＵ１１０は、Ｓ１５２４で乗り移り判定結果をＦＡＬＳＥにし、乗り移り判定処理を終了する。
【０１９４】
以上のように、本発明によれば、焦点検出結果から動体を判定し、動体と判定された被写体に対し、動的に主被写体を選び直すことで、正しい主被写体へピントを合わせ続けることができる。
【０１９５】
また、被写体が顔であるかどうかに応じて、主被写体を選び直すか否かを判定することで、誤って主被写体を選び直してしまうことを防ぐことができる。
【０１９６】
［その他の実施例］
なお、上述の実施例では主にデフォーカス量を用いた判定を行う例を説明したが、焦点検出結果に対応していればこれに限らない。例えば像ずれ量や距離に対応する情報で代用しても良い。
【０１９７】
また、上述の実施例では顔を検出する例を説明したが、追尾処理により検出される所定の被写体であれば顔に限らない。例えば撮影の対象としたいモノに対応して予め追尾のためのテンプレートを設定しておき、本実施例の顔に代えてモノを検出するようにしても良い。
【０１９８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１９９】
１００  カメラ本体
１０３  撮像素子
１１０  ＣＰＵ
１１１  被写体検出部
１１２  位相差検出手段
１１３  第１の被写体決定処理部
１１４  第２の被写体決定処理部
１１５  乗り移り判定処理部
１１６  焦点調節部
１２１  フォーカスレンズ駆動機構
【図１】
2020003742.tif 000004
【図２】
2020003742.tif 000005
【図３】
2020003742.tif 000006
【図４】
2020003742.tif 000007
【図５】
2020003742.tif 000008
【図６】
2020003742.tif 000009
【図７】
2020003742.tif 000010
【図８】
2020003742.tif 000011
【図９】
2020003742.tif 000012
【図１０】
2020003742.tif 000013
【図１１】
2020003742.tif 000014
【図１２】
2020003742.tif 000015
【図１３】
2020003742.tif 000016
【図１４】
2020003742.tif 000017
【図１５】
2020003742.tif 000018
【手続補正書】
【提出日】令和1年9月24日(2019.9.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の被写体に対応する第１の焦点検出結果と、前記第１の被写体とは異なる第２の被写体に対応する第２の焦点検出結果とを得る焦点検出手段と、
被写体が至近方向に移動しているか否かを判定する第１の判定手段と、
被写体が所定の被写体であるか否かを判定する第２の判定手段と、
第１の焦点検出結果に基づいて繰り返しフォーカスレンズの駆動を制御するモードにおいて、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体である場合には、第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を有し、
前記制御手段は、前記第１の被写体が前記所定の被写体である場合には、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体であっても、第１の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記第１の被写体が前記所定の被写体ではない場合であって、前記第２の被写体が前記所定の被写体であり且つ至近方向に移動している被写体である場合に、前記第１の被写体が前記第２の被写体よりも至近側である場合には、第１の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の被写体が前記所定の被写体ではない場合であって、前記第２の被写体が前記所定の被写体であり且つ至近方向に移動している被写体である場合に、前記第１の被写体が前記第２の被写体よりも至近側であり且つ前記第１の被写体と前記第２の被写体との焦点検出結果の差分が閾値以上である場合には、第１の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の被写体が光軸方向に移動している場合に前記第１の被写体に対して第１の動体予測による合焦位置を得る第１動体予測処理と、
前記第１の被写体が光軸方向に移動している場合に前記第２の被写体に対して第２の動体予測による合焦位置を得る第２動体予測処理を有し、
前記制御手段は、前記第１の動体予測処理または前記第２の動体予測処理の結果に基づいてフォーカスレンズの駆動を制御することを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
顔を検出する検出手段を有し、前記所定の被写体は顔であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
第１の被写体に対応する第１の焦点検出結果と、前記第１の被写体とは異なる第２の被写体に対応する第２の焦点検出結果とを得る焦点検出ステップと、
被写体が至近方向に移動しているか否かを判定する第１の判定ステップと、
被写体が所定の被写体であるか否かを判定する第２の判定ステップと、
第１の焦点検出結果に基づいて繰り返しフォーカスレンズの駆動を制御するモードにおいて、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体である場合には、第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御ステップと、を有し、
前記第１の被写体が前記所定の被写体である場合には、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体であっても、第１の焦点検出結果に基づいてフォーカスレンズの駆動を制御することを特徴とする撮像装置の制御方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
そこで、本発明は、第１の被写体に対応する第１の焦点検出結果と、前記第１の被写体とは異なる第２の被写体に対応する第２の焦点検出結果とを得る焦点検出手段と、被写体が至近方向に移動しているか否かを判定する第１の判定手段と、被写体が所定の被写体であるか否かを判定する第２の判定手段と、第１の焦点検出結果に基づいて繰り返しフォーカスレンズの駆動を制御するモードにおいて、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体である場合には、第２の焦点検出結果に基づいてフォーカスレンズの駆動を制御する制御手段と、を有し、前記制御手段は、前記第１の被写体が前記所定の被写体である場合には、前記第２の被写体が至近方向に移動しており且つ前記第２の被写体が前記所定の被写体であっても、第１の焦点検出結果に基づいてフォーカスレンズの駆動を制御するよう構成したことを特徴とする。