【手続補正書】
【提出日】平成24年10月18日(2012.10.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、
登録手段に登録された複数の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出手段と、
前記算出手段により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第１の判定手段とを有し、
前記複数の基準画像が、前記複数の入力画像のうち第１の入力画像において前記特定の被写体の領域として指定された領域に基づく第１の基準画像と、前記複数の入力画像のうち前記第１の入力画像よりも後に入力される複数の第２の入力画像において、前記第１の判定手段によって前記特定の被写体の領域と判定された領域に基づく第２の基準画像であり、
前記第１の判定手段は、前記第１の基準画像について前記算出手段が求めた最大相関度が予め定めた閾値以上であれば、前記第２の基準画像と最大相関度を有する領域によらずに前記第１の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第１の基準画像について前記算出手段が求めた最大相関度が前記予め定めた閾値未満であれば、前記第１の基準画像についての最大相関度と前記第２の基準画像についての最大相関度とに基づいて、前記第１の基準画像と最大相関度を有する領域と前記第２の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定することを特徴とする被写体追跡装置。
【請求項２】
前記第１の基準画像の特徴量を抽出する抽出手段と、
前記入力画像が前記特徴量と一致する度合いを判定する第２の判定手段と、
前記第２の判定手段の判定に応じて、前記予め定めた閾値を設定する設定手段とをさらに有し、
前記設定手段は、前記入力画像が前記特徴量と一致する度合いが高いと判定されるほど前記閾値を大きく設定し、前記入力画像が前記特徴量と一致する度合いが低いと判定されるほど前記閾値を小さく設定することを特徴とする請求項１記載の被写体追跡装置。
【請求項３】
前記抽出手段は、前記第１の基準画像に含まれる画素の予め定めた成分の値についてのヒストグラムを生成し、頻度が所定の閾値以上の値を前記特徴量として抽出することを特徴とする請求項２に記載の被写体追跡装置。
【請求項４】
前記第２の判定手段は、前記入力画像に含まれる画素のうち前記特徴量に一致する画素を計数し、前記入力画像全体の画素数に対する前記特徴量に一致する画素数の割合を、前記入力画像が前記特徴量と一致する度合いとして判定することを特徴とする請求項３記載の被写体追跡装置。
【請求項５】
前記入力画像中の領域を指定するための指定手段をさらに有し、
前記第１の入力画像における前記特定の被写体の領域の指定が、前記指定手段を通じてユーザによってなされることを特徴とする請求項１乃至請求項４のいずれか１項に記載の被写体追跡装置。
【請求項６】
画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置の制御方法であって、
算出手段が、登録手段に登録された複数の基準画像の各々について、入力画像との最大相関度と、当該最大相関度を有する前記入力画像中の領域とを求める算出工程と、
判定手段が、前記算出工程により求められた領域の中から、前記入力画像における前記特定の被写体の領域を判定する第１の判定工程とを有し、
前記複数の基準画像が、前記複数の入力画像のうち第１の入力画像において前記特定の被写体の領域として指定された領域に基づく第１の基準画像と、前記複数の入力画像のうち前記第１の入力画像よりも後に入力される複数の第２の入力画像において、前記第１の判定工程によって前記特定の被写体の領域と判定された領域に基づく第２の基準画像であり、
前記第１の判定工程において前記判定手段は、前記第１の基準画像について前記算出工程で求められた最大相関度が予め定めた閾値以上であれば、前記第２の基準画像と最大相関度を有する領域によらずに前記第１の基準画像と最大相関度を有する領域を前記入力画像における前記特定の被写体の領域と判定し、前記第１の基準画像について前記算出工程で求められた最大相関度が前記予め定めた閾値未満であれば、前記第１の基準画像についての最大相関度と前記第２の基準画像についての最大相関度とに基づいて、前記第１の基準画像と最大相関度を有する領域と前記第２の基準画像と最大相関度を有する領域のいずれかを、前記入力画像における前記特定の被写体の領域と判定することを特徴とする被写体追跡装置の制御方法。
【請求項７】
請求項６に記載の被写体追跡装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
上述の目的は、画像中の特定の被写体を、時系列的に入力される複数の入力画像に亘って追跡する被写体追跡装置であって、登録手段に登録された複数の基準画像の各々について、入力画像との最大相関度と、当最大相関度を有する入力画像中の領域とを求める算出手段と、算出手段により求められた領域の中から、入力画像における特定の被写体の領域を判定する第１の判定手段とを有し、複数の基準画像が、複数の入力画像のうち第１の入力画像において特定の被写体の領域として指定された領域に基づく第１の基準画像と、複数の入力画像のうち第１の入力画像よりも後に入力される複数の第２の入力画像において、第１の判定手段によって特定の被写体の領域と判定された領域に基づく第２の基準画像であり、第１の判定手段は、第１の基準画像について算出手段が求めた最大相関度が予め定めた閾値以上であれば、第２の基準画像と最大相関度を有する領域によらずに第１の基準画像と最大相関度を有する領域を入力画像における特定の被写体の領域と判定し、第１の基準画像について算出手段が求めた最大相関度が予め定めた閾値未満であれば、第１の基準画像についての最大相関度と第２の基準画像についての最大相関度とに基づいて、第１の基準画像と最大相関度を有する領域と第２の基準画像と最大相関度を有する領域のいずれかを、入力画像における特定の被写体の領域と判定することを特徴とする被写体追跡装置によって達成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る被写体追跡装置の一例としての撮像装置１００の機能構成例を示すブロック図である。レンズユニット１０１は結像光学系であり、一般にはフォーカス調整用レンズを含む複数のレンズによって構成される。レンズユニット１０１は被写体の光学像を撮像素子１０２の撮像面上に結像する。撮像素子１０２はＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの光電変換素子であり、被写体光学像を画素単位の電気信号に変換する。この電気信号は、撮像素子１０２で撮像された被写体像を示すアナログの映像信号である。撮像素子１０２は、撮像と出力を連続的に繰り返すことにより、所定のフレームレートで時系列的に映像信号を出力することができる。以下の説明において、「画像」とは、１フレームの映像信号と同義である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
被写体抽出部１１３では、相関度算出部１１２で求めた各基準画像の相関度に基づいて、１つの参照領域を被写体領域として判定し、抽出する。被写体抽出部１１３は、例えば基準画像登録部１１１による登録時刻が最も早い基準画像に対する最大相関度が所定の閾値以上であれば、当該基準画像と最大相関度を有する参照領域を入力画像中の被写体領域として選択、抽出する。一方、当該基準画像との最大相関度が所定の閾値よりも低ければ、被写体抽出部１１３は、残りの基準画像についての最大相関度のうち最も大きい相関度を有する参照領域を入力画像中の被写体領域として選択、抽出する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
制御部１０５は、このＡＦ制御やＡＥ制御による撮像条件の決定において、被写体追跡部１１０から供給される被写体領域の抽出結果を用いることができる。具体的には、制御部１０５は、被写体領域として抽出された領域に合焦するように焦点検出条件を制御してＡＦ制御を行ったり、当該領域の露出が適正になるように露出条件を制御してＡＥ制御することができる。また、制御部１０５は、撮像素子１０２の出力タイミングの制御や、読み出す画素の選択制御など、撮像素子１０２の読み出し制御も行う。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
（被写体追跡部１１０の動作）
次に、被写体追跡部１１０の処理の詳細について、図２及び図３Ａ〜図３Ｄを参照して説明する。なお、以下の説明では、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部１１１に登録される基準画像は、次の２つとする。（１）被写体追跡の開始時に被写体指定部１０９によって指定される領域に基づき登録される基準画像（以下、初期基準画像）。（２）相関度算出部１１２が求めた相関度に応じて被写体抽出部１１３が抽出した被写体領域に基づき逐次更新される基準画像（以下、更新基準画像とする）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
（被写体追跡部４０１の動作）
次に、被写体追跡部４０１の処理の詳細について、第１の実施形態との差異を中心に、図５、図６Ａ〜図６Ｃを参照して説明する。なお、以下の説明では、第１の実施形態と同様、図５は、第２の実施形態に係る被写体追跡の処理を示すフローチャートである。図６Ａ〜図６Ｃは、被写体追跡における説明図である。なお、以下の説明では、第１の実施形態の説明と同様、検出及び追跡すべき特定の被写体が人物の顔であるものとする。また、基準画像登録部１１１に登録される基準画像も、初期基準画像と更新基準画像との２つであるものとする。