(57)【特許請求の範囲】
【請求項１】
撮像光学系により形成された被写体の光学像を光電変換することで順次生成される複数の画像において予め登録された情報に基づいて第１の被写体に対応する第１の被写体領域を検出する検出手段と、
前記第１の被写体領域に基づいて、前記第１の被写体に対する前記撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行う制御手段とを有し、
前記制御手段は、
前記検出手段により前記第１の被写体が検出されなかったフレームでは、前記検出手段に該フレームの前のフレームにおける前記第１の被写体と類似した特徴を有する第２の被写体に対応する第２の被写体領域を検出させ、
前記第２の被写体の前記第１の被写体に対するデフォーカス量が所定の条件を満たす場合に、前記第２の被写体領域に基づいて、前記第２の被写体に対する前記撮像光学系の合焦状態を維持するように前記フォーカス追尾制御を行うことを特徴とする光学機器。
【請求項２】
前記所定の条件は、前記撮像光学系の前記第１の被写体に対するデフォーカス量が所定値以下または該所定値より小さいことであることを特徴とする請求項１に記載の光学機器。
【請求項３】
前記所定値は、前記第２の被写体に対する前記フォーカス追尾制御が行われている間に前記検出手段による前記第１の被写体に対応する前記第１の被写体領域の再検出が可能な最大の前記デフォーカス量に基づいて設定されることを特徴とする請求項２に記載の光学機器
【請求項４】
前記制御手段は、前記撮像光学系の光軸方向において前記第１の被写体の位置が変化しない場合には、前記デフォーカス量を、前記第１の被写体に対する前記フォーカス追尾制御が行われていたときの該第１の被写体の位置に対して算出することを特徴とする請求項２または３に記載の光学機器。
【請求項５】
前記制御手段は、前記撮像光学系の光軸方向において前記第１の被写体が移動している場合には、前記デフォーカス量を、前記第１の被写体に対する前記フォーカス追尾制御が行われていたときの該第１の被写体の位置と移動速度とを用いて算出することを特徴とする請求項２から４のいずれか一項に記載の光学機器。
【請求項６】
前記検出手段は、前記第１の被写体に対応する前記第１の被写体領域との相関を用いて前記第２の被写体に対応する前記第２の被写体領域を検出することを特徴とする請求項１から５のいずれか一項に記載の光学機器。
【請求項７】
前記相関は、被写体の色の一致度であることを特徴とする請求項６に記載の光学機器。 
【請求項８】
前記被写体は、顔であることを特徴とする請求項１から７のいずれか一項に記載の光学機器。
【請求項９】
光学機器のコンピュータに、
撮像光学系により形成された被写体の光学像を光電変換することで順次生成される複数の画像において予め登録された情報に基づいて第１の被写体に対応する第１の被写体領域を検出する処理と、
前記第１の被写体領域に基づいて、前記第１の被写体に対する前記撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行う制御処理とを行わせるコンピュータプログラムであって、
前記制御処理は、
前記検出する処理により前記第１の被写体が検出されなかったフレームでは、前記検出する処理に該フレームの前のフレームにおける前記第１の被写体と類似した特徴を有する第２の被写体に対応する第２の被写体領域を検出させ、
前記第２の被写体の前記第１の被写体に対するデフォーカス量が所定の条件を満たす場合に、前記第２の被写体領域に基づいて、前記第２の被写体に対する前記撮像光学系の合焦状態を維持するように前記フォーカス追尾制御を行うことを特徴とする光学機器制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、いわゆる被写体追尾機能を有する撮像装置に関する。
【背景技術】
【０００２】
撮像装置には、撮像により生成した動画像において特定被写体（例えば、人物の顔）を検出し、その動きを追尾してフォーカスや露出を制御することが可能なものがある。また、予め人物の顔の情報を登録しておくことで、登録した人物を追尾し続ける撮像装置もある。
【０００３】
特許文献１にて開示された撮像装置では、動画像における前フレームにて特定被写体の画像領域とその特定被写体の色情報を取得し、最新フレームにおいて前フレームで取得した色情報と同じ色情報を有する被写体領域を追尾する。特定被写体が人物の顔である場合は、顔の位置と色の情報とに基づいてその顔を追尾する。
【０００４】
また、特許文献２にて開示された撮像装置では、予め追尾したい被写体（顔や物体）のパターンを登録しておき、動画像内からそのパターンを検出することで追尾を行う。そして、追尾対象の登録パターンの被写体が動画像（撮像画面）内から消えたときには、動画像内にて追尾対象以外の登録パターンの被写体を新たに追尾対象とすることもできる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１０１３０５号公報
【特許文献２】特開２００９−２２９５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１にて開示された撮像装置における被写体追尾方法では、特定被写体を追尾しているときにその特定被写体の前に他の被写体が重なる（他の被写体が特定被写体と撮像装置との間に入り込む）と、該他の被写体の追尾を開始する。そして、他の被写体が通り過ぎて特定被写体が再度現れた後も該他の被写体を継続して追尾し続けてしまうおそれがある。
【０００７】
一方、特許文献２に開示された撮像装置では、予め登録されている被写体のパターンを検出する際に該被写体に対するデフォーカス量が考慮されていないために、その被写体が画像内に存在するにもかかわらず正しく検出することができないおそれがある。つまり、追尾対象の被写体自体を特定することができず、被写体の追尾を行うことができないおそれがある。
【０００８】
本発明は、追尾していた特定被写体が他の被写体と重なる等して一時的に撮像画面から消えた場合でも、該特定被写体が再び撮像画面内に現れたときにその追尾をより確実に行うことができるようにした撮像装置等を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての光学機器は、撮像光学系により形成された被写体の光学像を光電変換することで順次生成される複数の画像において予め登録された情報に基づいて第１の被写体に対応する第１の被写体領域を検出する検出手段と、第１の被写体領域に基づいて、第１の被写体に対する撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行う制御手段とを有する。制御手段は、検出手段により第１の被写体が検出されなかったフレームでは、検出手段に該フレームの前のフレームにおける第１の被写体と類似した特徴を有する第２の被写体に対応する第２の被写体領域を検出させ、第２の被写体の第１の被写体に対するデフォーカス量が所定の条件を満たす場合に、第２の被写体領域に基づいて、第２の被写体に対する撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行うことを特徴とする。
【００１０】
本発明の他の一側面としての光学機器制御プログラムは、光学機器のコンピュータに、撮像光学系により形成された被写体の光学像を光電変換することで順次生成される複数の画像において予め登録された情報に基づいて第１の被写体に対応する第１の被写体領域を検出する処理と、第１の被写体領域に基づいて、第１の被写体に対する撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行う制御処理とを行わせるコンピュータプログラムである。制御処理は、検出する処理により第１の被写体が検出されなかったフレームでは、検出する処理に該フレームの前のフレームにおける第１の被写体と類似した特徴を有する第２の被写体に対応する第２の被写体領域を検出させ、第２の被写体の第１の被写体に対するデフォーカス量が所定の条件を満たす場合に、第２の被写体領域に基づいて、第２の被写体に対する撮像光学系の合焦状態を維持するようにフォーカス追尾制御を行うことを特徴とする。
【発明の効果】
【００１１】
本発明では、第２の被写体に対するフォーカス追尾制御を撮像光学系の第１の被写体に対するデフォーカス状態が所定の条件を満たす場合に限定して行う。このため、本発明によれば、第１の被写体に対するフォーカス追尾制御から第２の被写体に対するフォーカス追尾制御に移行した後に第１の被写体を再検出し易くして、第１の被写体に対するフォーカス追尾制御に復帰しやすい被写体追尾機能を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例であるデジタル一眼レフカメラの断面図。
【図２】実施例の撮像装置の機能構成を示すブロック図。
【図３】実施例の撮像装置における被写体追尾制御処理を示すフローチャート。
【図４】実施例における被写体追尾判定処理を行うシーン例を示す図。
【図５】実施例の撮像装置における被写体追尾制御処理を示すフローチャート。
【図６】実施例における被写体追尾制御処理を行うシーン例を示す図。
【図７】実施例における顔を検出できない被写体を追尾する場合の被写体追尾制御処理を示すフローチャート。
【図８】実施例における顔を検出できない被写体を追尾する場合の被写体追尾制御処理を行うシーン例を示す図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１４】
図１および図２を用いて本発明の実施例である撮像装置（光学機器）としてのデジタル一眼レフカメラ（以下、単にカメラという）１０１の構成について説明する。カメラ１０１には、交換レンズ１０２が取り外し可能に機械的および電気的に接続（装着）されている。図１は、カメラ１０１および交換レンズ１０２の光学的構成を示し、図２はカメラ１０１の電気的構成を示している。なお、図１と図２において共通する構成要素については同符号を付している。
【００１５】
交換レンズ１０２は、フォーカスレンズ１０３と絞り１０４を含む撮像光学系を有し、カメラ１０１からレンズマウント接点群１０５を介して電源供給や制御を受ける。
【００１６】
カメラ１０１において、メインミラー１０６はハーフミラーであり、その背後にはサブミラー１０７が配置されている。図１で示すようにメインミラー１０６が撮像光学系の光路（撮像光路）内に配置されている状態では、撮影光学系からの光束の一部がメインミラー１０６で反射されてファインダスクリーン１０９上に被写体像を形成する。メインミラー１０６を透過した光束はサブミラー１０７で反射されてＡＦ（オートフォーカス）ユニット１０８に入射する。
【００１７】
ＡＦユニット１０８は、位相差検出方式の焦点検出を行うＡＦセンサ２０２を備えている。撮像光学系からのＡＦユニット１０８に入射した光束は、ＡＦセンサ２０２内の一対の受光センサ（ラインセンサ）上のそれぞれに被写体像（２像）を形成する。ＡＦユニット１０８内のＡＦ制御部２０１は、２像を光電変換した一対のラインセンサから出力された一対の電気信号（以下、一対のＡＦ像信号という）の位相差を算出する。さらに、ＡＦ制御部２０１は、該位相差から撮像光学系の被写体に対するデフォーカス量（デフォーカス方向を含む）検出する。
【００１８】
制御手段としてのシステム制御部２０３は、ＡＦ制御部２０１からのデフォーカス量の情報に基づいて合焦状態を得るためのフォーカスレンズ１０３の駆動量を算出し、該駆動量を含むフォーカス駆動命令を交換レンズ１０２内の不図示のレンズ制御部に送信する。レンズ制御部は、フォーカス駆動命令に応じてフォーカスレンズ１０３を駆動する。これにより、フォーカスレンズ１０３の駆動が制御され、位相差検出方式によりＡＦが行われる。
【００１９】
なお、一対のラインセンサは撮像画面内の複数の焦点検出領域のそれぞれに対して設けられており、複数の焦点検出領域のうちユーザにより又はシステム制御部２０３が自動的に選択した焦点検出領域でＡＦが行われる。
【００２０】
また、ファインダスクリーン１０９上に被写体像を形成した光束は、ペンタプリズム１１１および接眼レンズ１１０を通ってユーザの眼に導かれる。これにより、ユーザは、ファインダスクリーン１０９上に形成された被写体像（ファインダ像）を観察することができる。また、ファインダスクリーン１０９上に被写体像を形成した光束の一部（測光像）は、ペンタプリズム１１１を介してＡＥユニット１１２にと導かれる。
【００２１】
ＡＥユニット１１２は、被写体の明るさを測定するため、測光センサ２０５によって測光像（光学像）を光電変換して測光用画像（画像データ）を生成する。ＡＥ制御部２０４は、測光用画像を用いて被写体の明るさを測定し、その測定結果（測光結果）から露出演算を行う。
【００２２】
システム制御部２０３は、ＡＥ制御部２０４から出力された露出演算結果に基づいて適切な絞り値を算出し、該絞り値を含む絞り駆動命令を交換レンズ１０２内のレンズ制御部に送信する。レンズ制御部は、絞り駆動命令に応じて絞り１０４を駆動する。これにより、絞り１０４の開口径が制御され、後述する撮像素子１１３に到達する光量が調節される。
【００２３】
また、検出手段としてのＡＥ制御部２０４は、測光用画像から被写体を検出する被写体検出処理を行い、検出した被写体の位置を示す情報（被写体位置情報）をシステム制御部２０３に出力する。システム制御部２０３は、被写体位置情報をＡＦ制御部２０１に出力する。ＡＦ制御部２０１は、被写体位置情報によって特定される被写体（特定被写体）に対して合焦状態が得られるようにフォーカスレンズ１０３の駆動を制御する。システム制御部２０３は、撮像により生成される動画像を構成するフレーム画像と同期して順次生成される測光用画像ごとにＡＥ制御部２０４により取得された被写体位置情報に基づいてフォーカスレンズ１０３の駆動を制御する。このようにして、システム制御部２０３は、特定被写体に追従するように合焦状態を維持し続ける被写体追従制御処理を行う。
【００２４】
撮像素子１１３は、ＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子であり、２次元配列された複数の画素を有する。被写体を撮像する際には、メインミラー１０６およびサブミラー１０７が撮像光路外に退避してフォーカルプレンシャッタ１１４が開閉動作を行うことで、撮像素子１１３上に被写体像（光学像）が形成される。撮像素子１１３は、その複数の画素によって被写体像を光電変換し、電気信号（撮像信号）をシステム制御部２０３に出力する。システム制御部２０３は、撮像素子１１３からの電気信号に対して各種処理を行って撮像画像（動画像または静止画像）を生成し、これをカメラ１０１の背面に設けられたディスプレイ１１５に表示する。
【００２５】
操作部２０６は、カメラ１０１や交換レンズ１０２に設けられたボタン、スイッチ、ダイヤル等の操作部材を含み、各操作部材のユーザ操作を検出して操作信号をシステム制御部２０３に伝達する。
【００２６】
次に、ＡＥ制御部２０４が行う被写体検出処理について詳しく説明する。ＡＥ制御部２０４は、測光センサ２０５から取得した測光用画像から特定被写体を検出し、該特定被写体を含む画像領域である特定被写体領域を特定する。特定被写体としては、例えば人物の顔がある。
【００２７】
ＡＥ制御部２０４は、測光用画像から検出した特定被写体を追尾対象として第１の被写体に設定する。ここにいう「追尾」は、追尾対象の被写体に対してＡＦによって撮像光学系を合焦させ、さらにその合焦状態を維持するようにＡＦを継続するフォーカス追尾制御を行うことを意味する。また、以下の説明において、測光用画像に含まれる第１の被写体以外の特定被写体を第２の被写体とする。
【００２８】
第１の被写体は、撮像開始時（またはその直後）に追尾対象として設定された特定被写体である。第１の被写体は、種々の方法により設定することができる。例えば、測光用画像内に複数の顔が存在する場合には、該複数の顔をディスプレイ１１５に表示し、それらの顔の中からユーザが追尾対象とする顔を操作部２０６を通じて選択することで第１の被写体が設定される。また、追尾対象とする人物の顔の情報を顔識別情報として登録しておき、測光用画像内にてその顔識別情報に対応する顔を検出した場合にその顔を第１の被写体に設定するようにしてもよい。このときの顔識別情報の登録は、第１の被写体の検出および追尾を行う撮像である追尾撮像の前の登録用撮像によって行ってもよいし、追尾撮像において最初に測光用画像内に現れた顔の情報を登録するようにしてもよい。
【００２９】
また、測光用画像内に存在する人物の顔を検出し、検出した顔の測光用画像において占める割合や測光用画像での位置（座標）に応じて第１の被写体として設定してもよい。さらに、ユーザが自ら焦点検出領域を選択している場合に、その焦点検出領域に近い顔を第１の被写体として設定してもよい。
【００３０】
ＡＥ制御部２０４が上記のように特定被写体を検出して該特定被写体の位置情報（被写体位置情報）をシステム制御部２０３に出力することができるように、ＡＥ制御部２０４は、図２に示すように被写体検出部２０７と被写体識別部２０８を有する。以下の説明において、ＡＥ制御部２０４が測光センサから順次取得（時系列的に連続して取得）する測光用画像のそれぞれを検出フレームという。また、各検出フレームにおいて第１の被写体に対応する特定被写体領域を、第１の被写体領域という。
【００３１】
被写体検出部２０７は、ある検出フレームにおいて特定被写体（第１の被写体）を検出する被写体検出処理（例えば、顔検出処理）を行う。また、被写体検出部２０７は、順次新たに取得する検出フレームのそれぞれにおいて、該新たな検出フレームより前に取得した検出フレームにて特定した第１の被写体領域付近で第１の被写体と相関が高い特定被写体に対応する特定被写体領域を検出する。そして、この相関が高い特定被写体領域を該新たな検出フレームでの特定被写体領域として検出する。該新たな検出フレームにおける特定被写体領域に対応する特定被写体が第１の被写体ではない第２の被写体である場合は、この特定被写体を第２の被写体として検出することになる。
【００３２】
例えば、新たな検出フレームのうち前の検出フレームにおける第１の被写体領域の付近に存在する第１の被写体の色と同じか近い色の被写体（ただし、第１の被写体ではない）を「相関が高い」第２の被写体として特定する。このように、本実施例では、被写体の色の一致度を相関として用いる。
【００３３】
そして、被写体検出部２０７は、新たな検出フレームにおける特定被写体（第２の被写体）を含む特定被写体領域の位置情報である被写体位置情報を出力する。
【００３４】
被写体識別部２０８は、検出された特定被写体の位置等の類似性に基づいて複数の検出フレーム間において同一の特定被写体を識別する。さらに、被写体識別部２０８は、登録されている顔識別情報に対応する特定被写体を識別する。例えば、検出した顔の特徴（眼、鼻、口、耳等の器官の形状や色等）を示す情報を抽出し、登録されている顔識別情報に含まれる特徴情報と比較してそれらの類似度を示す識別評価値を生成する。そして、識別評価値に基づいて、検出した顔が登録されている顔識別情報に対応する顔か否かを判定する。顔識別情報に対応する顔である場合には、その顔に対応する画像領域を特定被写体領域として特定する。そして、被写体識別部２０８、各検出フレームにおける特定被写体領域の位置情報である被写体位置情報を出力する。
【００３５】
なお、被写体識別部２０８は、検出された顔の大きさや向きおよび顔に対するデフォーカス量によっては顔識別情報に対応する顔か否かの判定、すなわち第１の被写体領域の特定をすることができず、その結果、被写体位置情報の出力ができない場合がある。ただし、この場合でも、被写体検出部２０７により顔の検出は可能な場合はある。この場合は、被写体検出部２０７から得られる被写体位置情報がシステム制御部２０３に出力される。
【００３６】
次に、図３のフローチャートを用いて、本実施例における被写体追尾制御処理について説明する。マイクロコンピュータにより構成されるシステム制御部２０３は、コンピュータプログラムである光学機器制御プログラムに従って被写体追尾制御処理を実行する。ここでは、図４に示すように、２人の人物のうち静止している一方の人物の顔を第１の被写体、移動している他方の人物の顔を第２の被写体とする。そして、第１の被写体の手前（第１の被写体とカメラ１０１との間）を第２の被写体が横切るシーンを撮像する場合について説明する。
【００３７】
図４中の画像４０１，４０２，４０４，４０６は、第１の被写体の近くを第２の被写体がカメラ１０１の撮像光軸に対して直交する方向に横切る撮像シーンの撮像により生成される動画像の４つのフレーム（または検出フレーム）を示している。また、画像４０１，４０２，４０５，４０７は、第１の被写体の近くを第２の被写体がカメラ１０１に近づきながら横切るシーンの撮像により生成される動画像の４つのフレームを示している。さらに、画像４０１，４０３，４０８は、第１の被写体から離れた位置（カメラ１０１に近い位置）で第２の被写体が横切るシーンの撮像により生成される動画像の３つのフレームを示している。なお、画像４０１〜４０８は、測光センサ２０５により生成される検出フレームと同じである。
【００３８】
図３のステップＳ３０１では、システム制御部２０３は、ＡＥ制御部２０４に、前述した第１の被写体の設定方法のいずれかにより、画像４０１において枠で囲まれた第１の被写体を設定させる。システム制御部２０３は、設定された第１の被写体の追尾を開始する。
【００３９】
ステップＳ３０２では、システム制御部２０３は、ＡＥ制御部２０４により第１の被写体が撮像画面内にて検出されたか否か、つまりは第１の被写体が撮像画面から消えたか否かを判定する。ＡＥ制御部２０４は、前述した顔検出処理または登録された顔識別情報を用いた第１の被写体の識別処理を行い、第１の被写体が検出されたか否かを確認する。画像４０１のように第１の被写体が検出された場合は、システム制御部２０３は、そのまま検出された第１の被写体を追尾し続けるとともに、本ステップの判定を繰り返す。
【００４０】
一方、画像４０２，４０３のように第１の被写体が第２の被写体の背後に隠れて撮像画面から消えた場合は第１の被写体が検出されない。このため、システム制御部２０３は、特定被写体の検出が可能な被写体検出部２０７による特定結果を利用するため、ステップＳ３０３に進む。
【００４１】
次にステップＳ３０３では、システム制御部２０３は、被写体検出部２０７に、新たな（現）フレームのうち、前フレームにおいてＡＥ制御部２０４により特定された第１の被写体領域付近に存在する第１の被写体と同じ色の被写体を追尾候補に設定する。第１の被写体に対して第２の被写体が重なった時点では、第１の被写体が撮像画面から消えて、それまで第１の被写体が検出された領域付近に第２の被写体が存在するため、第２の被写体が次に追尾を行う候補となる。この第２の被写体が追尾対象になるタイミングにおいて、システム制御部２０３は、第２の被写体を追尾するか否かを判定する被写体追尾判定処理を行う。
【００４２】
具体的には、第２の被写体が重なることで第１の被写体が撮像画面から消えることに応じて、システム制御部２０３は、ステップＳ３０４にて第１の被写体が存在していた光軸方向での位置を基準位置に設定する。そして、撮像光学系が第２の被写体に対して合焦した場合における基準位置、すなわち第１の被写体に対する撮像光学系のデフォーカス量を算出（予測）する。
【００４３】
次にステップＳ３０５では、システム制御部２０３は、算出した第１の被写体に対するデフォーカス量として表されるデフォーカス状態が所定の条件を満たすか否かを判定する。具体的には、デフォーカス量が所定値以下（所定値と同じまたはこれよりも小さい）か否かを判定する。閾値としての所定値は、第１の被写体が撮像画面内に再度現れたときに顔検出処理や顔識別情報を用いた識別処理によって第１の被写体を検出可能な最大のデフォーカス量に基づいて設定される。デフォーカス量が閾値以下の場合は、システム制御部２０３は、ステップＳ３０６に進み、画像４０２のように合焦した第２の被写体に対する追尾を開始する。この後、ステップＳ３０８に進む。
【００４４】
一方、第１の被写体に対するデフォーカス量が閾値よりも大きい場合は、システム制御部２０３は、ステップＳ３０７に進み、画像４０３のように第２の被写体に対する追尾は行わない。この後、ステップＳ３１３に進む。第１の被写体に対するデフォーカス量が閾値より大きいときに第２の被写体に対して追尾（つまりは合焦）しないことで、第１の被写体が撮像画面内に再び現れた後の顔検出処理や識別処理による第１の被写体の検出に応じて再び第１の被写体を追尾することができる。
【００４５】
ステップＳ３０６で第２の被写体の追尾を開始したシステム制御部２０３は、ステップＳ３０８にて、第２の被写体を追尾することで変化する第１の被写体に対するデフォーカス量を算出する。
【００４６】
そして、ステップＳ３０９では、システム制御部２０３は、算出した第１の被写体に対するデフォーカス量が上述した閾値としての所定値以下か否かを判定する。デフォーカス量が閾値以下である場合は、システム制御部２０３は、ステップＳ３１０に進み、画像４０４のようにそのまま第２の被写体の追尾を継続する。その後、ステップＳ３１２に進む。
【００４７】
一方、第２の被写体が光軸方向にて第１の被写体から離れた場所に移動した場合等、第１の被写体に対するデフォーカス量が閾値よりも大きくなった場合は、システム制御部２０３は、ステップＳ３１１に進む。そして、ステップＳ３１１では、システム制御部２０３は、画像４０５のように第２の被写体の追尾を中止する。そして、次に追尾する被写体を設定するまで第１の被写体に対するデフォーカス量が変化しないようにフォーカスレンズ１０３の位置を保持する。この後、ステップＳ３１３に進む。
【００４８】
ステップＳ３１２では、システム制御部２０３は、第１の被写体が撮像画面内にて検出されたか否かを確認する。第１の被写体が撮像画面内にて検出された場合は、システム制御部２０３は、ステップＳ３１４に進み、画像４０６のように第２の被写体の追尾を中止して第１の被写体の追尾を再開する。一方、第１の被写体が撮像画面内にて検出されない場合は、システム制御部２０３は、ステップＳ３０８に戻り、第２の被写体の追尾を継続する。この場合は、後続のフレームにおいて第１の被写体が検出されるまでステップＳ３０８からＳ３１２までの処理を繰り返す。
【００４９】
ステップＳ３１３では、システム制御部２０３は、ステップＳ３１２と同様に第１の被写体が撮像画面内にて検出されたか否かを確認する。第１の被写体が撮像画面内にて検出された場合は、システム制御部２０３は、ステップＳ３１４に進み、第１の被写体の追尾を再開する。第１の被写体が撮像画面内にて検出されない場合は、システム制御部２０３は、ステップＳ３０４に戻り、第１の被写体が後続のフレームにて検出されるまでステップＳ３０４以降の処理を繰り返す。
【００５０】
画像４０３のように第２の被写体に対する追尾に移行しなかったことで第１の被写体のデフォーカス量は閾値以下となる。この結果、画像４０８のように第１の被写体が撮像画面内に再び現れた後の顔検出処理や識別処理による第１の被写体の検出に応じて再び第１の被写体の追尾に戻ることが可能となる。
【００５１】
また、画像４０５のように第１の被写体に対するデフォーカス量が閾値以下のときに第２の被写体の追尾を中止することでも、第１の被写体の撮像画面内での再検出に応じて、画像４０７のように第１の被写体の追尾を再開することができる。
【００５２】
このように本実施例では、第１の被写体が撮像画面から消えて検出されなくなったときの該第１の被写体に対するデフォーカス量が閾値より大きくならないように第２の被写体に対する追尾を制限する。これにより、第２の被写体に対する追尾が行われていても、第１の被写体に対するデフォーカス量は常に閾値以下となる。この結果、第１の被写体が撮像画面内に再度現れた後の顔検出処理や識別処理により第１の被写体を確実に検出することができ、該第１の被写体の追尾に復帰することができる。一方、第１の被写体を追尾している間に第１の被写体が撮像画面から消えた場合には、第１の被写体が撮像画面内に再度現れたときにこれを検出可能な範囲で第２の被写体を追尾することができる。
【実施例２】
【００５３】
次に、本発明の実施例２について説明する。本実施例では、第１の被写体が動体である場合について説明する。なお、本実施例のカメラ１０１および交換レンズ１０２の構成は実施例１と同じであり、構成する要素には同符号を付して説明を省略する。また、本実施例におけるＡＥ制御部２０４で行われる被写体検出処理は、実施例１と同じである。
【００５４】
図５のフローチャートおよび図６を用いて、第１の被写体が動体である場合の被写体追尾制御処理について説明する。ここでは、図６に示すように、２人の人物の顔のうち一方である第１の被写体がカメラ１０１に向かって近づいてくる手前を、他方である第２の被写体がカメラ１０１に近づきながら横切るシーンを撮像する場合について説明する。なお、第１の被写体に比べて第２の被写体の光軸方向での移動速度が速く、第１の被写体と第２の被写体との間の光軸方向での距離は広がっていくものとする。
【００５５】
図５のステップＳ５０１では、システム制御部２０３は、ＡＥ制御部２０４に、実施例１で説明した第１の被写体の設定方法のいずれかにより、図６の画像６０１において枠で囲まれた第１の被写体を設定させる。システム制御部２０３は、設定された第１の被写体の追尾を開始する。
【００５６】
ステップＳ５０２では、システム制御部２０３は、実施例１で説明した顔検出処理や識別処理を行うＡＥ制御部２０４によって第１の被写体が撮像画面内にて検出されたか否か、つまりは第１の被写体が撮像画面から消えたか否かを判定する。第１の被写体が検出された場合は、システム制御部２０３は、そのまま検出された第１の被写体を追尾し続けるとともに、本ステップの判定を繰り返す。一方、図６の画像６０２のように第１の被写体が第２の被写体の背後に隠れて撮像画面から消えた場合は第１の被写体が検出されない。このため、システム制御部２０３は、被写体検出部２０７による特定結果を利用するため、ステップＳ５０３を介してステップＳ５０４に進む。
【００５７】
この際、ステップＳ５０３では、システム制御部２０３は、第１の被写体が撮像画面にて検出されなくなる前の連続する複数の過去フレームから、第１の被写体の光軸方向での単位時間あたりの移動量（つまりは移動速度）を算出する。そしてステップＳ５０４では、システム制御部２０３は、新たな（現）フレームのうち、前フレームにおいてＡＥ制御部２０４により特定された第１の被写体領域付近に存在する第１の被写体と同じ色の被写体（ここでは第２の被写体）を追尾候補に設定する。
【００５８】
次に、ステップＳ５０５では、システム制御部２０３は、第２の被写体を追尾するか否かを判定する被写体追尾判定処理を行うため、第２の被写体に合焦した場合に変化する第１の被写体のデフォーカス量を算出する。このとき、システム制御部２０３は、ステップＳ５０３で算出した第１の被写体の単位時間あたりの光軸方向での移動量を用いてデフォーカス量を算出する。具体的には、第１の被写体の単位時間あたりの光軸方向での移動量から該第１の被写体の現在の位置を予測し、その位置を基準位置に設定する。そして、撮像光学系が第２の被写体に対して合焦した場合における基準位置、すなわち第１の被写体に対する撮像光学系のデフォーカス量を算出（予測）する。
【００５９】
次にステップＳ５０６では、システム制御部２０３は、算出した第１の被写体に対するデフォーカス量（デフォーカス状態）が所定の条件を満たすか否か、具体的には所定値以下（所定値と同じまたはこれよりも小さい）か否かを判定する。閾値としての所定値は、実施例１のステップＳ３０５と同様に、第１の被写体が撮像画面内に再度現れたときに顔検出処理や識別処理によって第１の被写体を検出可能な最大のデフォーカス量に基づいて設定される。デフォーカス量が閾値以下の場合は、システム制御部２０３は、ステップＳ５０７に進み、画像６０２のように合焦した第２の被写体に対する追尾を開始する。この後、ステップＳ５０９に進む。
【００６０】
一方、第１の被写体のデフォーカス量が閾値よりも大きい場合は、システム制御部２０３は、ステップＳ５０８に進み、第２の被写体に対する追尾は行わない。この後、ステップＳ５１４に進む。第２の被写体に対する追尾は行わない理由は、実施例１のステップＳ３０７と同じである。
【００６１】
ステップＳ５０７で第２の被写体の追尾を開始したシステム制御部２０３は、ステップＳ５０９にて、第２の被写体を追尾することで変化する第１の被写体に対するデフォーカス量を算出する。この際、ステップＳ５０５と同様に、ステップＳ５０３で算出した第１の被写体の単位時間あたりの光軸方向での移動量を用いて第１の被写体の現在の位置を予測し、その位置を基準位置に設定する。そして、撮像光学系が第２の被写体に対して合焦した場合における基準位置（第１の被写体）に対する撮像光学系のデフォーカス量を算出（予測）する。
【００６２】
そして、ステップＳ５１０では、システム制御部２０３は、算出した第１の被写体に対するデフォーカス量が上述した閾値以下か否かを判定する。デフォーカス量が閾値以下である場合は、システム制御部２０３は、ステップＳ５１１に進み、図６の画像６０３のようにそのまま第２の被写体の追尾を継続する。その後、ステップＳ５１３に進む。
【００６３】
一方、移動速度が第１の被写体より速い第２の被写体が光軸方向において第１の被写体から離れることで第１の被写体に対するデフォーカス量が閾値よりも大きくなった場合は、システム制御部２０３は、ステップＳ５１２に進む。ステップＳ５１２では、システム制御部２０３は、図６の画像６０４のように第２の被写体の追尾を中止する。そして、次に追尾する被写体を設定するまで第１の被写体に対するデフォーカス量が変化しないように、ステップＳ５０３で算出した第１の被写体の移動速度を用いてフォーカスレンズ１０３の位置を制御する。この後、ステップＳ５１４に進む。
【００６４】
ステップＳ５１３では、システム制御部２０３は、第１の被写体が撮像画面内にて検出されたか否かを確認する。第１の被写体が撮像画面内にて検出された場合は、システム制御部２０３は、ステップＳ５１５に進み、図６の画像６０５のように第２の被写体の追尾を中止して第１の被写体の追尾を再開する。一方、第１の被写体が撮像画面内にて検出されない場合は、システム制御部２０３は、ステップＳ５０９に戻り、第２の被写体の追尾を継続する。この場合は、後続のフレームにおいて第１の被写体が検出されるまでステップＳ５０９からＳ５１３までの処理を繰り返す。
【００６５】
ステップＳ５１４では、システム制御部２０３は、ステップＳ５１３と同様に第１の被写体が撮像画面内にて検出されたか否かを確認する。第１の被写体が撮像画面内にて検出された場合は、システム制御部２０３は、ステップＳ５１５に進み、第１の被写体の追尾を再開する。第１の被写体が撮像画面内にて検出されない場合は、システム制御部２０３は、ステップＳ５０４に戻り、第１の被写体が後続のフレームにて検出されるまでステップＳ５０４以降の処理を繰り返す。
【００６６】
本実施例では、第１の被写体が撮像画面にて検出されなくなる前の該第１の被写体の光軸方向での移動量から、第１の被写体が撮像画面から消えている間の移動を予測して、第１の被写体に対するデフォーカス量の算出に用いる。その上で、第１の被写体に対するデフォーカス量が閾値以下となるように第２の被写体の追尾（フォーカス追尾制御）を行う。これにより、画像６０５のように第１の被写体が撮像画面内に再び現れた後の顔検出処理や識別処理による第１の被写体の検出に応じて再び第１の被写体の追尾に復帰することが可能となる。
【００６７】
このように本実施例では、移動している第１の被写体が撮像画面から消えて検出されなくなったときの該第１の被写体に対するデフォーカス量が閾値より大きくならないように第２の被写体に対する追尾を制限する。これにより、第２の被写体に対する追尾が行われていても、移動している第１の被写体に対するデフォーカス量は常に閾値以下となる。この結果、移動している第１の被写体が撮像画面内に再度現れた後の第１の被写体を確実に検出して第１の被写体の追尾に復帰することができる。
【実施例３】
【００６８】
次に、本発明の実施例３について説明する。本実施例では、第１の被写体としての顔が検出されない場合について説明する。なお、本実施例のカメラ１０１および交換レンズ１０２の構成は実施例１と同じであり、構成する要素には同符号を付して説明を省略する。
【００６９】
図７のフローチャートおよび図８を用いて、第１の被写体（顔）が検出できない場合の被写体追尾制御処理について説明する。ここでは、図８に示すように、第１の被写体を追尾中に該第１の被写体が静止している第２の被写体の背後を横切るシーンを撮像する場合について説明する。このシーンでは、画像８０１に示すように、カメラ１０１に対して横を向いて移動している人物の顔を第１の被写体とし、この第１の被写体を連続して撮像する。連続した撮像において、ユーザは第１の被写体が撮像画面の中央に位置するようにカメラ１０１をパンニングしている。第１の被写体が横を向いているので、顔検出処理や識別処理による被写体検出処理を行うことはできない。
【００７０】
図７のステップＳ７０１では、システム制御部２０３は、ＡＥ制御部２０４に、第１の被写体を設定させる。ここでは、実施例１で例示したように、ユーザが選択した焦点検出領域に含まれる（または近い）顔を第１の被写体として設定させる。そして、システム制御部２０３は、被写体検出部２０７に、第１の被写体の色の情報を取得させる。
【００７１】
本実施例では、図８の画像８０１，８０２のように、第１の被写体である顔が撮像画面内に存在しているにもかかわらず、その顔を検出することができない。このため、次のステップＳ７０２では、システム制御部２０３は、被写体検出部２０７に、現フレームのうち前フレームにおいて特定された第１の被写体を含む第１の被写体領域付近に存在する第１の被写体と同じ色を検出させる。そして、その検出した色に基づいて第１の被写体を追尾する。言い換えれば、色の一致度を相関として用い、現フレームにおいて前フレームとの相関が高い画像領域に第１の被写体が存在するとみなしてこれを追尾する。
【００７２】
図８の画像８０３のように、第１の被写体が第２の被写体の背後に隠れて撮像画面から消えると、それまでの第１の被写体領域付近に第１の被写体と同じ色の第２の被写体が存在するため、第２の被写体が次に追尾を行う候補となる。この第２の被写体が追尾対象になるタイミングにおいて、システム制御部２０３は、第２の被写体を追尾するか否かを判定する被写体追尾判定処理を行う。
【００７３】
ステップＳ７０３では、システム制御部２０３は、第１の被写体の光軸方向での位置を基準位置に設定し、撮像光学系が第２の被写体に対して合焦した場合における基準位置、すなわち第１の被写体に対する撮像光学系のデフォーカス量を算出（予測）する。
【００７４】
そして、ステップＳ７０４では、システム制御部２０３は、算出した第１の被写体に対するデフォーカス量（デフォーカス状態）が所定の条件を満たすか否か、具体的には所定値以下（所定値と同じまたはこれよりも小さい）か否かを判定する。閾値としての所定値は、実施例１，２での所定値と同じである。デフォーカス量が閾値以下の場合は、システム制御部２０３は、ステップＳ７０５に進み、第２の被写体に対する追尾を開始する。この後、ステップＳ７０７に進む。一方、第１の被写体のデフォーカス量が閾値よりも大きい場合は、システム制御部２０３は、ステップＳ７０６に進み、図８の画像８０３のように第２の被写体に対する追尾は行わない。この後、ステップＳ７０７に進む。
【００７５】
ステップＳ７０７では、システム制御部２０３は、第１の被写体が撮像画面内にて検出されたか否かを確認する。図８の画像８０４のように第１の被写体が撮像画面内に再び現れたとき、第１の被写体が横顔であることから顔検出処理や識別処理によって第１の被写体を検出することはできない。しかし、第１の被写体と同じ色を検出することでその色を有する被写体を第１の被写体とみなすことができる。なお、第１の被写体に相当する被写体の検出には、複数の過去フレームにおける第１の被写体に対するデフォーカス量や位置の情報を利用して行うことも可能である。
【００７６】
こうして第１の被写体（とみなされた被写体）が検出された場合は、システム制御部２０３はステップＳ７０８に進み、第１の被写体の追尾を再開する。このとき追尾される被写体は第１の被写体と判別されていないが、その被写体（第１の被写体）に対するデフォーカス量が閾値以下であるため、該被写体に対して合焦状態を得て追尾することができる。
【００７７】
一方、第１の被写体が検出されない場合には、システム制御部２０３はステップＳ７０２に戻る。
【００７８】
本実施例では、第１の被写体が撮像画面から消えて検出されなくなったときに、前フレームにて得られた第１の被写体の色情報に基づいて新たな追尾対象の被写体（第２の被写体）を設定する。このとき、第１の被写体に対するデフォーカス量が閾値より大きくならないように第２の被写体に対する追尾を制限する。これにより、第１の被写体が撮像画面内に再び現れたときに、第１の被写体の色と同じ色を検出することで第１の被写体の追尾に復帰することができる。
【００７９】
仮に画像８０３において、ステップＳ７０３で算出される第１の被写体に対するデフォーカス量にかかわらず第２の被写体を追尾した場合には、後続の画像８０４で第１の被写体が撮像画面内に再度現れても第２の被写体を追尾し続ける可能性がある。また、第２の被写体を追尾している間に画像８０４の状態にて第１の被写体が正面を向く等した場合でも、第１の被写体のデフォーカス量が大きいために顔検出処理や識別処理による第１の被写体の検出ができない。これに対して、本実施例では、画像８０３において第２の被写体の追尾を第１の被写体に対するデフォーカス量によって制限したことで、第１の被写体が撮像画面内に再び現れて正面を向いたときに、顔検出処理や識別処理により第１の被写体を検出することができる。  
【００８０】
このように、本実施例によれば、第１の被写体である顔が検出できない場合においても、第１の被写体を優先的に追尾することができる。また、第１の被写体である顔が検出できる状態となれば、顔検出処理や識別処理による第１の被写体の検出が可能となる。
【００８１】
上記各実施例では、デフォーカス状態を表すデフォーカス量が所定値以下（または所定値より小さい）場合に限って第２の被写体に対する追尾を行う場合について説明した。しかし、デフォーカス量以外のデフォーカス状態を表す評価値を決めて、該評価値についての所定の条件を満たす場合に限って第２の被写体に対する追尾を行うようにしてもよい。例えば、本実施例では位相差検出方式によってデフォーカス量を算出する場合について説明した。しかし、コントラスト検出方式によって求めたデフォーカス状態に対応するコントラスト評価値が所定値以上（または所定値より高い）という所定の条件を満足する場合に限って第２の被写体に対する追尾を行うようにしてもよい。なお、コントラスト評価値が所定値以上（または所定値より高い）とは、デフォーカス量で言えば所定値以下（または所定値より低い）であることに相当する。
【００８２】
また、上記各実施例では、第１の被写体に対して第２の被写体が重なることで第１の被写体が撮像画面から消えて第２の被写体が一時的に撮像画面内に存在することになる場合について説明した。しかし、各実施例のフォーカス追従制御は、第１の被写体が撮像画面から消えるとともに第２の被写体も存在しない場合や、第１の被写体が撮像画面から消えて、代わりに第２の被写体が現れる（フレームインする）場合等、様々なシーンで適用可能である。
【００８３】
また、各実施例では、被写体として２人の人物（の顔）が存在するシーンの撮像を例として説明したが、被写体の数や被写体（特定被写体）の種類は何ら限定されない。
【００８４】
また、各実施例では、測光センサ２０５による光電変換により取得される測光用画像（検出フレーム）を用いて被写体検出を行う場合について説明したが、他の画像を用いて被写体検出を行ってもよい。例えば、被写体像を光電変換する撮像素子１１３からの撮像信号を用いて生成された撮像画像（動画像のフレーム）を用いて被写体検出を行ってもよい。
【００８５】
また、各実施例では、追尾対象である第１の被写体を撮像開始時に決定する場合について説明したが、第１の被写体の決定は撮像開始時に限らず、他のタイミングで決定してもよい。例えば、撮像中において、撮像開始時に設定した第１の被写体とは別の被写体を第１の被写体に切り替えてもよい。
【００８６】
さらに、各実施例では、デジタル一眼レフカメラについて説明したが、レンズ一体型カメラやビデオカメラ等の撮像装置や交換レンズ等のレンズ装置を含む各種光学機器において各実施例にて説明した被写体追従制御処理を行うことができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８７】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００８８】
１０１  カメラ
１０２  交換レンズ
１０３  フォーカスレンズ
１０８  ＡＦユニット
１１２  ＡＥユニット
１１３  撮像素子
２０３  システム制御部
【図１】
0006602081.tif 000002
【図２】
0006602081.tif 000003
【図３】
0006602081.tif 000004
【図４】
0006602081.tif 000005
【図５】
0006602081.tif 000006
【図６】
0006602081.tif 000007
【図７】
0006602081.tif 000008
【図８】
0006602081.tif 000009