(57)【要約】【課題】追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる被写体追跡技術を実現する。【解決手段】被写体追跡装置は、画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出手段と、前記被写体検出手段により検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡手段と、焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、前記被写体検出手段により検出された被写体の数が増加した場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定する追跡変更判定手段と、を有する。【選択図】図１
2015111226.tif 000002
【特許請求の範囲】
【請求項１】
画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出手段と、
前記被写体検出手段により検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡手段と、
焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、
前記被写体検出手段により検出された被写体の数が増加した場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定する追跡変更判定手段と、を有することを特徴とする被写体追跡装置。
【請求項２】
前記追跡変更判定手段は、前記被写体検出手段により検出された被写体の数が増加した場合に、当該被写体の数が増加する前後に検出された、前記追跡領域に対応する焦点検出領域におけるデフォーカス量の差に基づいて、前記被写体追跡手段による追跡領域を変更するか否かを判定することを特徴とする請求項１に記載の被写体追跡装置。
【請求項３】
前記追跡対象の被写体が遮蔽中であるか否かを判定する遮蔽判定手段をさらに有し、
前記追跡変更判定手段は、前記遮蔽判定手段により追跡対象の被写体が遮蔽中であると判定されている場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定することを特徴とする請求項１または２に記載の被写体追跡装置。
【請求項４】
前記被写体追跡手段は、過去に追跡対象とした被写体の追跡領域を記憶し、
前記焦点検出手段は、前記追跡対象の被写体が遮蔽中であると判定されていない場合に、前記過去に追跡対象とした被写体の追跡領域に対応する焦点検出領域において検出されたデフォーカス量を記憶することを特徴とする請求項３に記載の被写体追跡装置。
【請求項５】
前記遮蔽判定手段は、前記被写体検出手段により検出された被写体の数が減少し、当該被写体の数が減少する前後に検出された、前記追跡領域に対応する焦点検出領域におけるデフォーカス量の差が閾値以上の場合に、前記追跡対象の被写体が遮蔽中であると判定することを特徴とする請求項４に記載の被写体追跡装置。
【請求項６】
前記遮蔽判定手段により前記追跡対象の被写体が遮蔽中であると判定された場合に、過去の追跡領域の情報に基づいて、前記追跡対象の被写体の現在の位置およびデフォーカス量の少なくともいずれかを予測する追跡候補領域決定手段をさらに有することを特徴とする請求項４または５に記載の被写体追跡装置。
【請求項７】
前記追跡候補領域決定手段は、遮蔽中であると判定される前に記憶された過去の追跡領域に対応する焦点検出領域のデフォーカス量に基づいて、前記追跡対象の被写体の現在のデフォーカス量を予測し、
前記追跡変更判定手段は、前記追跡候補領域決定手段により予測されたデフォーカス量と前記焦点検出手段により検出されたデフォーカス量の差が閾値以内となる焦点検出領域を前記被写体追跡手段による追跡領域に設定することを特徴とする請求項６に記載の被写体追跡装置。
【請求項８】
前記追跡変更判定手段は、前記追跡候補領域決定手段により予測された追跡対象の被写体の現在の位置の近傍の焦点検出領域を前記被写体追跡手段の追跡領域に設定することを特徴とする請求項６に記載の被写体追跡装置。
【請求項９】
前記追跡変更判定手段は、前記追跡候補領域決定手段により予測された追跡対象の被写体の現在の位置の近傍の焦点検出領域において前記焦点検出手段により検出されたデフォーカス量と、前記追跡候補領域決定手段により予測されたデフォーカス量との差が閾値以内となる場合に、当該焦点検出領域を前記被写体追跡装置による追跡領域に設定することを特徴とする請求項６に記載の被写体追跡装置。
【請求項１０】
前記被写体追跡手段の追跡領域に対応する焦点検出領域において、前記焦点検出手段により検出されたデフォーカス量に基づいてレンズの焦点調節を行う焦点調節手段をさらに有することを特徴とする請求項８に記載の被写体追跡装置。
【請求項１１】
前記特徴情報は、被写体としての人物の顔および肌の色に関する情報であることを特徴とする請求項１ないし１０のいずれか１項に記載の被写体追跡装置。
【請求項１２】
前記焦点検出手段は、レンズを通して結像された２つの像の位相差によりデフォーカス量を検出することを特徴とする請求項１ないし１１のいずれか１項に記載の被写体追跡装置。
【請求項１３】
前記被写体検出手段は、前記追跡対象の被写体の周囲の領域においてのみ顔の数を検出することを特徴とする請求項１ないし１２のいずれか１項に記載の被写体追跡装置。
【請求項１４】
被写体追跡装置の制御方法であって、
画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出ステップと、
前記被写体検出ステップにより検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡ステップと、
焦点検出領域におけるデフォーカス量を検出する焦点検出ステップと、
前記被写体検出ステップにより検出された被写体の数が増加した場合に、前記被写体追跡ステップにおける追跡領域を変更するか否かを判定する追跡変更判定ステップと、を有することを特徴とする方法。
【請求項１５】
請求項１ないし１３のいずれか１項に記載された被写体追跡装置と、
前記焦点検出手段により検出されたデフォーカス量に基づいてレンズの焦点調節を行う焦点調節手段と、を有することを特徴とする撮像装置。
【請求項１６】
コンピュータを、請求項１ないし１３のいずれか１項に記載された被写体追跡装置の各手段として機能させるプログラム。
【請求項１７】
コンピュータを、請求項１ないし１３のいずれか１項に記載された被写体追跡装置の各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の被写体を追跡する技術に関するものである。
【背景技術】
【０００２】
従来の撮像装置における焦点検出では、複数の焦点検出領域の中から１つの焦点検出領域を選択し、選択された焦点検出領域から検出されたデフォーカス量に基づいて撮影レンズを駆動させる方法が一般的である。また、被写体追跡機能を備える撮像装置では、被写体の輝度情報から被写体追跡のための特徴情報を検出し、連続して撮像される画像ごとの特徴情報から被写体の追跡領域を特定し、これに対応する焦点検出領域を選択する方法が一般的である。
【０００３】
しかしながら、追跡対象の被写体が他の人物や物体等の遮蔽物により遮蔽されると、追跡対象の被写体を見失ったり、遮蔽物を追跡対象の被写体として誤判定してしまうことがある。これに対して、焦点検出領域における前回と今回のデフォーカス量の差の変化が大きい場合には追跡対象の被写体が遮蔽されたと見なし、レンズの駆動を禁止するなどして追跡対象の被写体の誤判定を防ぐ方法が広く知られている。
【０００４】
特許文献１ではデフォーカス量の差に加えて、追跡対象の被写体の色情報からテンプレートを作成し、パターンマッチング法により被写体の画像平面上における位置を追跡している。被写体の色情報による追跡に失敗し、且つ検出デフォーカス量の差が大きかった場合に被写体が遮蔽されたことを検出してレンズの駆動を一定時間禁止する。被写体の色情報による追跡に成功し、且つ検出デフォーカス量が遮蔽の検出前のデフォーカス量に対して閾値以内の場合に、再びレンズの駆動を許可し、被写体を追跡する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１３４２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１では、被写体の肌の色などで被写体を追跡するため、追跡対象の被写体と他の人物の肌の色の区別が付かず、特に追跡対象の被写体と他の人物の奥行き方向の距離が比較的近い場合に、他の人物を追跡対象の被写体と誤判定してしまうことがある。また、追跡している被写体がカメラに対して急激に近づいているシーン等では、他の人物に遮蔽される前と後で追跡していた被写体の奥行き位置、つまりデフォーカス量が大きく変化してしまうため、再度出現した被写体を精度よく特定できないこともある。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる被写体追跡技術を実現することである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明の被写体追跡装置は、被写体追跡装置は、画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出手段と、前記被写体検出手段により検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡手段と、焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、前記被写体検出手段により検出された被写体の数が増加した場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定する追跡変更判定手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の被写体追跡装置の機能ブロック図。
【図２】本実施形態のカメラの構成を示すブロック図。
【図３】本実施形態の被写体追跡処理を示すフローチャート。
【図４】本実施形態のカメラの焦点検出領域を示す図。
【図５】被写体のデフォーカス量を予測する方法を説明する図。
【図６】図３の被写体遮蔽判定処理を示すフローチャート。
【図７】図３の追跡変更処理を示すフローチャート。
【図８】予測した座標位置と焦点検出を行う焦点検出領域を例示する図。
【図９】本実施形態の被写体追跡処理による効果を説明する図。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。
【００１２】
［実施形態１］本発明の被写体追跡装置を一眼レフデジタルカメラ（以下、カメラ）により実現した例について説明するが、コンパクトデジタルカメラあるいはカメラ機能を搭載するスマートフォンやタブレット端末等の携帯型電子機器にも適用可能である。
【００１３】
＜被写体追跡装置の説明＞図１を参照して、本実施形態の被写体追跡装置の構成および機能について説明する。なお、図示の機能は、図２で後述するカメラのマイクロコンピュータ（以下、マイコン）２２１の制御により、図２に示すハードウェアとソフトウェアの協働により実現される。
【００１４】
図１に示すように、被写体検出部１０１は、撮影レンズを通過した被写体の輝度情報から、被写体の特徴情報である色や顔に関する情報を検出する。
【００１５】
被写体追跡部１０２は、被写体検出部１０１により検出された被写体ごとの色情報に基づいて特定の被写体を追跡し、被写体の画像平面上における位置を特定する。さらに、被写体追跡部１０２は、後述する遮蔽中と判定されるまでの過去の複数回分の被写体の座標位置を記憶する。
【００１６】
焦点検出部１０３は、焦点検出領域において焦点検出を行い、デフォーカス量を算出する。さらに、焦点検出部１０３は、後述する遮蔽中と判定されるまでの過去の複数回分のデフォーカス量を記憶する。
【００１７】
被写体遮蔽判定部１０４は、被写体検出部１０１により検出される顔の数の増減および焦点検出部１０３により検出されるデフォーカス量の変化に基づいて、追跡している被写体が他の人物や物体等の遮蔽物により遮蔽されたか否かを判定する。
【００１８】
追跡候補領域決定部１０５は、被写体遮蔽判定部１０４により追跡している被写体が遮蔽されていると判定された時点で、被写体追跡部１０２および焦点検出部１０３がそれぞれ記憶している過去の座標位置やデフォーカス量に基づいて、追跡していた被写体の画像平面上における現在の座標位置やデフォーカス量を予測する。
【００１９】
追跡変更判定部１０６は、被写体検出部１０１により検出される顔の数が増加した場合に、被写体追跡部１０２が追跡対象とする被写体の追跡領域を、追跡候補領域決定部１０５により予測された候補領域に変更するか否かを判定する。
【００２０】
焦点調節部１０７は、被写体追跡部１０２が追跡対象とする被写体の追跡領域の画像平面上の位置の近傍に設定された焦点検出領域において、焦点検出部１０３により検出されたデフォーカス量に基づいてレンズの焦点調節を行う。
【００２１】
＜カメラの説明＞次に、図２を参照して、本実施形態の一眼レフデジタルカメラの構成および機能について説明する。
【００２２】
図２において、撮影レンズ２０１はズームレンズやフォーカスレンズを含み、レンズユニットとしてカメラ本体に内蔵又は着脱可能とされる。ＡＦ（オートフォーカス）駆動回路２０２は、例えばＤＣモータや超音波モータを備え、マイコン２２１の制御指令に応じてフォーカスレンズ位置を変化させることによりピントを合わせる。
【００２３】
２０３は絞りであり、絞り駆動回路２０４は、マイコン２２１の制御指令に応じて絞り２０３を駆動し、光学的な絞り値を変化させる。絞り２０３の光学的な絞り値はマイコン２２１によって算出される。
【００２４】
主ミラー２０５は、撮影レンズ２０１から入射した光束をファインダ側又は撮像素子側へ導く光路を切り替える。主ミラー２０５は常にファインダ側へと光束を導くミラーダウン位置にあるように付勢されているが、撮影時やライブビュー時には、不図示のミラー駆動回路により撮像素子側へ光束を導くように上方に跳ね上がり光軸中から待避したミラーアップ位置に変化する。主ミラー２０５で反射した光束の一部は、測光用のＡＥセンサを有する測光回路２２６に導かれ、被写体の輝度情報などが検出される。また、主ミラー２０５はその中央部が光束の一部を透過できるようにハーフミラーとなっており、光束の一部を焦点検出を行うためのＡＦセンサに入射する。なお、ＡＦセンサは、焦点検出回路２１０内に配置されている。サブミラー２０６は主ミラー２０５から透過した光束をＡＦセンサ側へ反射させる。
【００２５】
焦点検出回路２１０は、例えばレンズを通して結像された２つの像の位相差により焦点検出を行うもので、本例では一対のＡＦセンサを含むものとする。主ミラー２０５の中央部を透過し、サブミラー２０６で反射された光束は、焦点検出回路２１０の内部に配置された光電変換を行うための一対のＡＦセンサに到達する。被写体に対する撮影レンズ２０１の焦点調節状態を示すデフォーカス量は、一対のＡＦセンサの出力を演算することによって求められる。本例では、焦点検出回路２１０を独立した構成としているが、撮像素子２１３および映像信号処理回路２１７に焦点検出機能を搭載しても良い。
【００２６】
ファインダは、ペンタプリズム２０７、ピント板２０８、およびアイピースレンズ２０９等を備え、主ミラー２０５により反射された光束が入射され、ファインダへ導く。
【００２７】
マイコン２２１は、ＡＦセンサを用いた演算結果を評価してＡＦ駆動回路２０２に制御指令を出力し、フォーカスレンズを駆動させる。
【００２８】
２１１はフォーカルプレーンシャッタであり、シャッタ駆動回路２１２は、マイコン２２１の制御指令に応じたシャッタ速度で、フォーカルプレーンシャッタ２１１を駆動する。
【００２９】
撮像素子２１３は、ＣＣＤやＣＭＯＳ等の光電変換素子を用いたイメージセンサであり、撮影レンズ２０１によって結像された被写体像を光電変換して、アナログ画像信号を生成する。
【００３０】
クランプ回路２１４およびＡＧＣ回路２１５は、撮像素子２１３から得られるアナログ画像信号に対して基本的なアナログ信号処理を行い、マイコン２２１により、クランプレベルやＡＧＣ基準レベルの変更が行われる。
【００３１】
ＡＤ変換器２１６は、撮像素子２１３から得られアナログ信号処理後のアナログ画像信号をデジタル信号に変換し、映像信号処理回路２１７へ出力する。
【００３２】
映像信号処理回路２１７は、ゲートアレイ等のロジックデバイスにより実現される。
映像信号処理回路２１７は、ＡＤ変換器２１６からのデジタル画像信号、またはメモリ２１９から読み出した画像データに対して、フィルタ処理、色変換処理、ガンマ処理を施すと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ２１８に出力する。メモリコントローラ２１８はメモリ２１９やバッファメモリ２２０と映像信号処理回路２１７との間で画像データの書き込みや読み出しを行う。
【００３３】
また、映像信号処理回路２１７は、必要に応じて撮像素子２１３から得られた画像信号を用いて露出（ＡＥ）やホワイトバランス（ＷＢ）等の情報を演算し、演算結果をマイコン２２１に出力する。マイコン２２１は、その演算結果に基づいてホワイトバランスやゲイン調整を行う。
【００３４】
連続撮影時には、一旦、未処理画像のままバッファメモリ２２０に画像信号を格納し、メモリコントローラ２１８を介して未処理の画像信号を読み出し、映像信号処理回路２１７にて画像処理や圧縮処理を行う。連続撮影枚数はバッファメモリ２２０の容量に左右される。
【００３５】
メモリコントローラ２１８は、映像信号処理回路２１７から入力された未処理のデジタル画像信号をバッファメモリ２２０に格納し、処理済みのデジタル画像信号をメモリ２１９に格納する。また、メモリコントローラ２１８は、バッファメモリ２２０やメモリ２１９から読み出した画像データを映像信号処理回路２１７へ出力する。メモリ２１９は装置本体に対して取り外し可能である場合もある。
【００３６】
操作部材２２２は、ユーザ操作を受け付けるボタンやダイヤル、タッチパネル等を含む。マイコン２２１は、操作部材２２２の状態変化に応じて各部を制御する。
【００３７】
また、操作部材２２２は、レリーズボタンの操作でオンオフする第１スイッチ２２３及び第２スイッチ２２４を含む。
【００３８】
第１スイッチ２２３は、カメラに設けられたレリーズボタンの操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１スイッチ信号ＳＷ１を発生する。マイコン２２１は、第１スイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＷＢ処理等の動作を開始する。
【００３９】
第２スイッチ２２４は、シャッターボタンの操作完了、いわゆる全押し（撮影指示）でオンとなり、第２スイッチ信号ＳＷ２を発生する。マイコン２２１は、第２スイッチ信号ＳＷ２により、撮像素子２１３からの信号読み出しからメモリ２１９に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００４０】
また、第１スイッチ信号ＳＷ１および第２スイッチ信号ＳＷ２が共にオンし続けている間は、連続撮影動作が行われる。
【００４１】
操作部材２２２には、他に、メインスイッチ、撮影モードダイアル、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニューや再生画像移動のための移動＋（プラス）ボタン、移動−（マイナス）ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞りボタン、消去ボタン、撮影や再生に関する情報表示ボタンなどを含む。
【００４２】
電源部２２５は、各ＩＣや駆動系に必要な電力を供給する。
【００４３】
本実施形態のカメラは、上述した構成を備えることにより、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる。
【００４４】
＜被写体追跡処理＞次に、図３から図７を参照して、本実施形態のカメラによる被写体追跡処理について説明する。なお、図３、図６および図７の処理は、レリーズボタンが半押しされ第１スイッチＳＷ１がオンになると開始され、マイコン２２１が被写体追跡処理のプログラムを実行することにより実現される。
【００４５】
ステップＳ３０１では、被写体検出部１０１は、測光回路２２６から出力された被写体の輝度情報から、被写体の特徴情報である色情報や、顔の数や画像平面上における顔の位置などの顔情報を検出し保持する。以下、画像平面上における水平方向のＸ位置および垂直方向のＹ位置で表される位置を座標位置と呼ぶ。
【００４６】
ステップＳ３０２では、被写体追跡部１０２は、被写体検出部１０１により検出された被写体の色情報に基づいて追跡対象の被写体を特定し、その座標位置を検出し、追跡領域として保持する。
【００４７】
なお、ステップＳ３０１における輝度情報からの被写体の特徴色の抽出や人物の顔の検出方法、あるいはステップＳ３０２における被写体の特徴色による被写体領域の追跡方法として様々な周知の方法が適用できるが、本実施形態での詳細な説明は省略する。
【００４８】
ステップＳ３０３では、焦点検出部１０３は、被写体追跡部１０２により特定された追跡領域の近傍の焦点検出領域において、焦点検出回路２１０によりデフォーカス量を算出する。
【００４９】
図４は、焦点検出部１０３の焦点検出領域を例示している。図中に四角で示された焦点検出領域に配置された不図示のラインセンサにより２像の像ずれ量が検出され、デフォーカス量が算出される。
【００５０】
ステップＳ３０４では、被写体遮蔽判定部１０４は、被写体追跡部１０２が追跡対象とする被写体が他の人物や物体等の遮蔽物により遮蔽されたか否かを判定するためのサブルーチンのプログラムを実行する。この被写体遮蔽判定処理の詳細については図６を用いて後述する。
【００５１】
ステップＳ３０５では、マイコン２２１は、ステップＳ３０４で被写体遮蔽判定部１０４により被写体が遮蔽中ではないと判定された場合はステップＳ３０６へ進み、遮蔽中であると判定された場合はステップＳ３０８に進む。
【００５２】
ステップＳ３０６では、被写体追跡部１０２は、追跡している被写体の座標位置を保存する。
【００５３】
ステップＳ３０７では、焦点検出部１０３は、追跡している被写体のデフォーカス量を保存し、ステップＳ３１２へ進む。
【００５４】
ステップＳ３０８では、追跡候補領域決定部１０５は、遮蔽中であると判定される前に保存された過去の複数回分の被写体の座標位置から、追跡していた被写体の現在の座標位置を予測する。
【００５５】
ステップＳ３０９では、追跡候補領域決定部１０５は、遮蔽中であると判定される前に保存された過去の複数回分のデフォーカス量から、遮蔽中であると判定される前に追跡していた被写体に対して焦点検出した場合の、現在のデフォーカス量を予測する。
【００５６】
なお、ステップＳ３０８において過去の複数回分の被写体の座標位置から現在の被写体の座標位置を予測する方法としては様々な周知の方法が適用できるが、本実施形態での詳細な説明は省略する。また、ステップＳ３０９において過去の複数回分のデフォーカス量から現在の被写体のデフォーカス量を予測する方法にも様々な周知の方法が適用でき、例えば被写体が等速直線運動をすると見なして予測を行う方法がある。
【００５７】
ここで、時刻Ｔと被写体の像面位置Ｚ（画像平面と直交する奥行き位置）の関係を表す図５を参照して、デフォーカス量の予測方法について簡単に説明する。
【００５８】
図５において、時刻Ｔ０は、被写体の追跡を開始した時刻である。時刻Ｔ２は、追跡していた被写体が他の人物や物体などにより遮蔽された時刻であり、被写体遮蔽判定部１０４により遮蔽中であると判定される。したがって、時刻Ｔ０から時刻Ｔ１までのデフォーカス量は焦点検出部１０３により保存されるが、時刻Ｔ２以後のデフォーカス量は保存されない。そして、時刻Ｔ３では、被写体検出部１０１により検出される顔の数が増加したと仮定する。このような状況で、追跡候補領域決定部１０５は、時刻Ｔ０からＴ１までに保存された被写体のデフォーカス量を像面位置Ｚに変換し、図中に５０１で示す複数回の像面位置に基づいて、図中に示す曲線５０２のように追跡していた被写体の像面位置を予測する。時刻Ｔ３での被写体の像面位置は図中に５０３で示される。これを再びデフォーカス量に変換し、時刻Ｔ３において予測される被写体のデフォーカス量とする。このようにして、遮蔽中であると判定された後、被写体の数が増加した時刻における追跡していた被写体のデフォーカス量を予測する。
【００５９】
ステップＳ３１０では、マイコン２２１は、ステップＳ３０８およびステップＳ３０９にて追跡候補領域決定部１０５が被写体の座標位置およびデフォーカス量が適切に予測できたか否かを判定する。判定の結果、予測が適切に行われていない場合はステップＳ３１２へ進み、適切に行われている場合はステップＳ３１１へ進む。予測が適切に行われたか否かは、例えば、ステップＳ３０６やステップＳ３０７において保存されたデータ数が予測を行う上で十分であるか否かに基づいて判定したり、ステップＳ３０８にて予測された座標位置が焦点検出部１０３により焦点検出が可能な焦点検出領域内に含まれているか否かに基づいて判定できる。
【００６０】
ステップＳ３１１では、追跡変更判定部１０６は、追跡候補領域決定部１０５により予測された現在の被写体の座標位置およびデフォーカス量に基づいて焦点検出部１０３による焦点検出を行い、被写体追跡部１０２の追跡領域を変更するか否かを判定するサブルーチンのプログラムを実行する。この追跡変更判定処理の詳細については図７を用いて後述する。
【００６１】
ステップＳ３１２では、焦点調節部１０７は、被写体追跡部１０２が追跡領域とする近傍の焦点検出領域において焦点検出部１０３により検出されたデフォーカス量に基づいて撮影レンズ２０１を駆動させる。
【００６２】
ステップＳ３１３では、マイコン２２１は、第１スイッチＳＷ１がオンされているか否かを判定し、オンされている場合はステップＳ３０１に戻り、第１スイッチＳＷ１がオフされるまで処理を繰り返す。また、ステップＳ３１３において第１スイッチＳＷ１がオンされていないと判定されると、本処理を終了する。
【００６３】
なお、上述した処理では、ステップＳ３１２において、被写体遮蔽判定部１０４の判定結果にかかわらず、被写体追跡部１０２の追跡領域における焦点検出部１０３で検出されたデフォーカス量に基づいて撮影レンズ２０１を駆動させているが、被写体遮蔽判定部１０４により遮蔽中であると判定された場合には撮影レンズ２０１の駆動を禁止する、あるいは遮蔽と判定される前にステップＳ３０７で保存されたデフォーカス量を用いてレンズ位置を予測した上で駆動しても良い。
【００６４】
＜被写体遮蔽判定処理＞次に、図６を参照して、図３のステップＳ３０４にて被写体遮蔽判定部１０４により実行される被写体遮蔽判定処理について詳細に説明する。
【００６５】
ステップＳ６０１では、被写体遮蔽判定部１０４は、遮蔽中にのみカウントを更新するタイマが所定の時間を超過したか否かを判定する。判定の結果、タイマが超過していないと判定された場合はステップＳ６０２へ進み、タイマが経過したと判定された場合はステップＳ６０７へ進む。
【００６６】
ステップＳ６０２では、被写体遮蔽判定部１０４は、既に被写体が遮蔽中であると判定されているか否かを判定する。判定の結果、遮蔽中であると判定されていない場合はステップＳ６０３へ進み、遮蔽中であると判定されている場合は、本処理を終了し、ステップＳ３０５へ戻る。
【００６７】
ステップＳ６０３では、被写体遮蔽判定部１０４は、被写体検出部１０１により検出された画面内の顔の数が前回と比べて減少したか否かを判定する。判定の結果、顔の数が減少した場合はステップＳ６０４へ進み、減少していない場合は本処理を終了し、ステップＳ３０５へ戻る。
【００６８】
ステップＳ６０４では、被写体遮蔽判定部１０４は、画面内の顔の数が減少する前後に焦点検出部１０３により検出されたデフォーカス量の差が所定の閾値以上であるか否かを判定する。ここでのデフォーカス量とは、設定されている追跡領域に対応する焦点検出領域のデフォーカス量である。判定の結果、デフォーカス量の差が閾値以上の場合はステップＳ６０５へ進み、閾値未満であれば本処理を終了し、ステップＳ３０５へ戻る。
【００６９】
ステップＳ６０５では、被写体遮蔽判定部１０４は、顔の数が減少し、減少する前後のデフォーカス量の差が大きく変化したことにより、被写体が遮蔽中であると判定する。
【００７０】
ステップＳ６０６では、被写体遮蔽判定部１０４は、タイマのカウントを開始し、遮蔽中であると判定されてからの経過時間を計測する。
【００７１】
ステップＳ６０７では、被写体遮蔽判定部１０４は、遮蔽中であるとの判定を破棄し、ステップＳ６０８では、タイマを停止する。その後、本処理を終了し、ステップＳ３０５へ戻る。
【００７２】
なお、上述した処理では、ステップＳ６０３において被写体検出部１０１により検出された画面内の顔の数をカウントしているが、被写体追跡部１０２の追跡領域の周囲の所定の領域に限定して顔の数をカウントしても良い。このようにすることで、特に画面内に人物の出入りが頻繁に発生する場合等に好適となり、被写体と遮蔽物となる人物以外の顔の数の増減が本処理に影響を与えないという効果が得られる。
【００７３】
また、ステップＳ６０３において顔の数の減少に具体的な人数を設定しても良い。これは後述する顔の数の増加を判定する場合にも同様である。
【００７４】
＜追跡変更判定処理＞次に、図７および図８を参照して、図３のステップＳ３１１にて追跡変更判定部１０６により実行される追跡変更判定処理について詳細に説明する。
【００７５】
ステップＳ７０１では、追跡変更判定部１０６は、被写体検出部１０１により検出された画面内の顔の数が、被写体遮蔽判定部１０４により被写体が遮蔽中であると判定された時点の顔の数と比べて増加しているか否かを判定する。判定の結果、増加している場合はステップＳ７０２へ進み、増加していない場合は本処理を終了し、ステップＳ７１２へ戻る。
【００７６】
ステップＳ７０２では、追跡変更判定部１０６は、ステップＳ３０８にて予測された現在の被写体の座標位置の近傍の焦点検出領域において焦点検出を行うように焦点検出部１０３に指示する。焦点検出部１０３は各々の焦点検出領域においてデフォーカス量を検出する。
【００７７】
なお、焦点検出部１０３による焦点検出領域は、図８（ａ）に示すように、予測座標位置８００に最も近い１点ａのみの焦点検出領域８０１でも良い。また、図８（ｂ）に示すように、予測座標位置８００に最も近い１点ａとその周囲の１点ｂ〜ｅを拡張した焦点検出領域８０２としても良い。また、図８（ｃ）に示すように、遮蔽中であると判定される前に被写体が画像中を右側に移動していたことが過去の座標位置から判断できる場合には、予測座標位置８００から右側に拡張した焦点検出領域８０３としても良い。これらに限らず、予測座標位置８００を起点として種々の拡張が可能である。さらに、被写体の過去の複数回分の座標位置から予測した移動速度に基づいて焦点検出領域を指定しても良い。
【００７８】
ステップＳ７０３では、追跡変更判定部１０６は、ステップＳ７０２において検出されたデフォーカス量が、ステップＳ７０９にて予測された現在の被写体のデフォーカス量に対して閾値以内か否かを判定する。判定の結果、閾値以内ならばその焦点検出領域を選択し、ステップＳ７０４へ進む。このとき、閾値以内のデフォーカス量を検出した焦点検出領域が複数ある場合は、ステップＳ７０９にて予測されたデフォーカス量に最も近い焦点検出領域を選択する。なお、閾値を超えている場合は本処理を終了し、ステップＳ３１２へ戻る。
【００７９】
ステップＳ７０４では、追跡変更判定部１０６は、ステップＳ７０３で選択された焦点検出領域を被写体追跡部１０２の追跡領域として設定する。これに伴い、被写体検出部１０１により検出される、被写体追跡部１０２が特定の被写体を追跡し続けるために利用する特徴情報を更新する。なお、選択された焦点検出領域に基づいて追跡領域が設定されたならば本実施形態の範囲内であり、追跡領域と焦点検出領域の形状やサイズが必ずしも一致していなくても良い。
【００８０】
ステップＳ７０５では、追跡変更判定部１０６は、被写体遮蔽判定部１０４による遮蔽中であるとの判定を解除し、ステップＳ７０６において遮蔽時間を計測するタイマを停止して、本処理を終了し、ステップＳ３１２へ戻る。
【００８１】
上述した処理によれば、遮蔽中であると判定される前に保存された被写体の座標位置やデフォーカス量に基づいて現在の被写体の位置やデフォーカス量を予測する。このようにして、追跡対象の被写体が他の人物や物体等の遮蔽物により遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することが可能となる。
【００８２】
なお、本実施形態では、ステップＳ３０８における被写体の座標位置の予測およびステップＳ３０９におけるデフォーカス量の予測の両方を行う場合について説明したが、いずれか一方のみを行っても良い。被写体の座標位置の予測のみを行う場合、ステップＳ３１１の追跡変更判定処理において、予測した座標位置の近傍の領域（最も近くにある領域）を追跡領域に設定する。一方、デフォーカス量の予測のみを行う場合、ステップＳ３１１の追跡変更判定処理において、全焦点検出領域で焦点検出を行い、予測したデフォーカス量との差が閾値以内となるデフォーカス量の焦点検出領域を追跡領域に設定する。デフォーカス量の差が閾値以内となる焦点検出領域が複数あった場合には、最も差が小さい焦点検出領域を追跡領域に設定する。
【００８３】
＜効果の説明＞以下に、本実施形態の被写体追跡処理が有効となるシーンについて具体的に説明する。
【００８４】
遮蔽判定を行う場合、デフォーカス量の変化に対して閾値を設定するのが一般的であるが、閾値が小さいと被写体がカメラに対して急激に近づいたときなどに被写体を見失ったと誤判定することがあるため、比較的大きい値が閾値として設定されることが多い。ここで、追跡している被写体がカメラに対して急激に近づきながら遮蔽される場合に、カメラから見た被写体と他の人物の間の奥行き方向の距離が比較的小さいとする。この場合、遮蔽と判定される前後におけるデフォーカス量はそれほど大きく変化しないため、遮蔽物である他の人物のことを追跡対象の被写体であると誤判定してしまうことがある。人物の肌の色情報による被写体追跡を行っていた場合にも、追跡対象の被写体と他の人物の肌の色情報を区別することは容易ではないので、同様に他の人物を追跡対象の被写体と誤判定してしまうことがある。
【００８５】
これに対して、本実施形態によれば、人物の顔の数を利用することにより、遮蔽判定を行うためのデフォーカス量の変化に対する閾値を小さめに設定したとしても、例えば追跡対象の被写体がカメラに対して急激に近づいてきた場合でも顔の数が変化しなければ、追跡対象の被写体を見失ったと誤判定することはない。また、被写体の肌の色情報などで被写体を追跡する場合には、遮蔽されたときに顔の数が減少するので、たとえ追跡対象の被写体と他の人物の肌の色情報が区別できなくとも遮蔽判定を行うことができる。このようにして、遮蔽中であると判定される前に保存した被写体の座標位置やデフォーカス量から被写体の出現する座標位置とデフォーカス量を予測して追跡対象の被写体を再追跡することが可能である。
【００８６】
図９は本実施形態による被写体追跡処理の様子を説明する図であり、四角形の枠で示した領域が被写体追跡部１０２による追跡領域を表すものとする。さらに、被写体検出部１０１により検出された画面内の顔の数と、追跡領域における焦点検出部１０３により検出されたデフォーカス量を示している
図９（ａ）において、人物Ａを追跡対象の被写体として、人物Ａの顔の肌色情報を利用して追跡しているとする。また、人物Ａは図中を右側に、カメラに対して近づきながら移動しており、人物Ｂは図中に静止し、人物Ａよりもカメラに近い方向に存在するものとする。この時点の画面内の顔の数は２人であり、人物Ａに対して焦点検出を行っているのでデフォーカス量は小さい。また、遮蔽中ではないため、この時点の被写体の座標位置およびデフォーカス量が保存される。
【００８７】
図９（ｂ）では、人物Ａは少し図中右側に移動している。この時点でも画面内の顔の数は２人であり、人物Ａに対して焦点検出を行っているのでデフォーカス量は小さい。また、遮蔽中ではないため、この時点の被写体の座標位置およびデフォーカス量が保存される。
【００８８】
図９（ｃ）では、追跡対象の人物Ａが人物Ｂにより遮蔽される。この場合、人物Ａが人物Ｂの少し後ろを通過すると、遮蔽の前後でデフォーカス量はそれほど大きく変化しないため、一般的に設定される閾値では人物Ｂを追跡対象の被写体として誤判定してしまうことがある。これに対して、本実施形態では閾値を小さい値に設定することにより、このようなシーンであってもデフォーカス量が閾値以上変化したことが観測される。図９（ｃ）では、デフォーカス量が閾値を超えて大きくなることが観測されるものとする。また、この時点の画面内の顔の数は１人であり、図９（ｂ）に比べて１人減少したことと合わせて、追跡対象の被写体が遮蔽中であると判定される。遮蔽中であるため、この時点の人物Ａの座標位置およびデフォーカス量は保存されない。これにより、人物Ａの座標位置やデフォーカス量を予測する際に、人物Ｂの座標位置やデフォーカス量により影響を及ぼすことを防ぐことができる。この時点でも人物Ａの座標位置やデフォーカス量は予測されるものの、顔の数が増加していないため、予測に基づく焦点検出等は行われない。
【００８９】
図９（ｄ）では、画面内の顔の数は２人であり、図９（ｃ）の遮蔽時点と比べて１人増加している。遮蔽中であると判定される前に人物Ａは図中を右側に移動していたので、遮蔽前に保存された座標位置から、人物Ａは人物Ｂの少し右に出現することが予測され、予測した座標位置の近傍の焦点検出領域で焦点検出が行われる。遮蔽中であると判定されている間、人物Ｂを追跡していたとすると、その焦点検出領域で検出されるデフォーカス量は大きいことが予想される。そこで、本実施形態では、遮蔽中であると判定されるまでに保存された人物Ａのデフォーカス量から、現在の人物Ａのデフォーカス量を予測する。そして、予測されたデフォーカス量と、その焦点検出領域におけるデフォーカス量の差が閾値以内であればその焦点検出領域の座標位置を人物Ａの追跡領域として設定する。
【００９０】
以上説明したように、本実施形態によれば、追跡対象の被写体である人物Ａが人物Ｂに遮蔽された後、再度出現した時点で人物Ａを精度よく再追跡することが可能である。
【００９１】
なお、図９では静止する人物Ｂの後ろを追跡対象の被写体である人物Ａが通過するシーンについて説明したが、遮蔽物となる人物が静止しているとは限らない。また、遮蔽物となる人物の顔が必ずしも検出される必要はない。さらに、遮蔽物は人物に限らず物体等であっても良い。
【００９２】
［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2015111226.tif 000003
【図２】
2015111226.tif 000004
【図３】
2015111226.tif 000005
【図４】
2015111226.tif 000006
【図５】
2015111226.tif 000007
【図６】
2015111226.tif 000008
【図７】
2015111226.tif 000009
【図８】
2015111226.tif 000010
【図９】
2015111226.tif 000011