【手続補正書】
【提出日】平成27年1月27日(2015.1.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾部を備える、画像処理装置。
【請求項２】
前記部分領域は前記顔領域に対して所定の位置関係にある、請求項１記載の画像処理装置。
【請求項３】
前記追尾部は、前記撮像画像から前記顔領域を検出し、前記顔領域及び前記部分領域のうち、少なくとも一方を追尾対象として決定し、前記追尾対象を追尾する、請求項２記載の画像処理装置。
【請求項４】
前記追尾部は、前記追尾対象を前記顔領域及び前記部分領域の間で切り替える、請求項３記載の画像処理装置。
【請求項５】
前記追尾部は、前記顔領域を検出する毎に、前記顔領域を顔領域リストに登録し、現フレームの前記顔領域が前記顔領域リストに登録された顔領域に一致する場合には、前記顔領域を追尾対象として決定する、請求項４記載の画像処理装置。
【請求項６】
前記追尾部は、現フレームの前記顔領域が過去のフレームで追尾されている顔領域に一致する場合には、前記顔領域を追尾対象として決定する、請求項４記載の画像処理装置。
【請求項７】
前記追尾部は、前記顔領域の追尾中に前記顔領域の信頼度が所定値以下になった場合に、前記部分領域の追尾を開始する、請求項４〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記追尾部は、前記部分領域の追尾中に前記顔領域を検出し、前記顔領域と前記部分領域とが前記所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、請求項４〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記追尾部は、前記顔領域が過去のフレームで検出されておらず、かつ、前記顔領域と前記部分領域とが前記所定の位置関係にある場合に、前記顔領域を追尾対象として決定する、請求項８記載の画像処理装置。
【請求項１０】
前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象と変更後の追尾対象との両方に表示する、請求項４〜９の何れか１項に記載の画像処理装置。
【請求項１１】
前記追尾部は、前記撮像画像を表示部に表示し、前記追尾対象を示す追尾対象報知画像を前記追尾対象の種類に応じた態様で前記表示部に表示する、請求項４〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記追尾部は、前記撮像画像と、前記追尾対象を示す追尾対象報知画像とを表示部に表示し、前記追尾対象を変更する場合に、前記追尾対象報知画像を変更前の追尾対象から変更後の追尾対象まで遷移させる、請求項４〜９の何れか１項に記載の画像処理装置。
【請求項１３】
前記追尾部は、前記顔領域の特性に基づいて、前記部分領域を検出する、請求項１〜１２の何れか１項に記載の画像処理装置。
【請求項１４】
前記顔領域の特性には、前記顔領域の向き、前記顔領域の大きさ、前記顔領域の動き、顔領域内の各パーツの位置、世代情報、及び性別情報のうち、少なくとも１つが含まれる、請求項１３記載の画像処理装置。
【請求項１５】
前記顔領域の向きには、前記顔領域のロール方向、ヨー方向、及びピッチ方向のうち、少なくとも１つが含まれる、請求項１４記載の画像処理装置。
【請求項１６】
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾することを含む、画像処理方法。
【請求項１７】
コンピュータに、
撮像画像中の顔領域に基づいて被写体の部分領域を検出し、前記部分領域を追尾する追尾機能を実現させる、プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
ステップＳ７０において、追尾対象決定部３５は、体領域の検出を指示する旨の体領域検出指示情報を体領域検出部３６に出力する。体領域検出部３６は、体領域検出指示情報が与えられた場合に、図４に示す体領域検出処理を行なう。体領域検出処理は、概略的には、顔領域と所定の位置関係にある領域を検索体領域として検出する処理である。ここで、所定の位置関係とは、概略的には、顔領域と体領域とが顔領域の首部分で連結される位置関係を意味する。この顔領域及び体領域は、同一の被写体（生体）を構成すると推測される。また、体領域は、生体の各部分のうち、顔以外の任意の部分を示す。体領域検出部３６は、体領域に関する体領域情報を特徴量抽出部３７に出力する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
ステップＳ２６０において、体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度以上−１０度以下であるか否かを判定する。即ち、体領域検出部３６は、追尾顔領域のヨー方向への回転が僅かであるか否かを判定する。体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度以上−１０度以下である（即ち、追尾顔領域のヨー方向への回転が僅かである）と判定した場合には、ステップＳ２７０に進む。一方、体領域検出部３６は、第２の基準軸と光軸とのなす角度が−４５度より小さい（即ち、ヨー方向への回転が大きい）と判定した場合には、ステップＳ２８０に進む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
ステップＳ２９０において、体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋１０度以上＋４５度以下であるか否かを判定する。即ち、体領域検出部３６は、追尾顔領域のヨー方向への回転が僅かであるか否かを判定する。体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋１０度以上＋４５度以下であると判定した場合には、ステップＳ３００に進む。一方、体領域検出部３６は、第２の基準軸と光軸とのなす角度が＋４５度より大きい（即ち、ヨー方向への回転が大きい）と判定した場合には、ステップＳ３１０に進む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
［結びつき判定処理］
次に、図５に基づいて、ステップＳ１５０に示す結びつき判定処理について説明する。ステップＳ３４０において、追尾対象決定部３５は、顔照合部３３から与えられた顔枠重畳画像と、体追尾部３４から与えられた体追尾枠重畳画像とを合成することで、結びつき判定用画像を生成する。顔照合部３３が新規顔領域を発見した場合、この結びつき判定用画像には、新規顔領域及び新規顔枠が含まれる。また、結びつき判定用画像には、体追尾枠が含まれる。次いで、追尾対象決定部３５は、体追尾枠の重心を算出する。体追尾枠の重心は、例えば体追尾枠の中心点となる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
ステップＳ３５０において、追尾対象決定部３５は、新規顔領域のロール方向の向きが正面であるか否かを判定する。具体的な処理内容はステップＳ１９０と同様である。追尾対象決定部３５は、新規顔領域のロール方向が正面方向であると判定した場合には、ステップＳ３６０に進み、新規顔領域のロール方向が正面方向以外であると判定した場合には、ステップＳ３７０に進む。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
ステップＳ４２０において、追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであるか否かを判定する。具体的な処理内容はステップＳ２６０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであると判定した場合には、ステップＳ４３０に進む。一方、追尾対象決定部３５は、ヨー方向への回転が大きいと判定した場合には、ステップＳ４４０に進む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
ステップＳ４５０において、追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであるか否かを判定する。具体的な処理内容はステップＳ２９０と同様である。追尾対象決定部３５は、新規顔領域のヨー方向への回転が僅かであると判定した場合には、ステップＳ４６０に進む。一方、追尾対象決定部３５は、ヨー方向への回転が大きいと判定した場合には、ステップＳ４７０に進む。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
ステップＳ４８０において、追尾対象決定部３５は、検索領域内に体追尾枠の重心が存在するか否かを判定する。図１０（ａ）に、検索領域内に体追尾枠の重心が存在する例を示す。図１０（ａ）に示す例では、結びつき判定用画像１１０に体追尾枠４２０及び重心４３０が重畳されており、重心４３０が検索領域４４０内に存在する。同様に、図１０（ｄ）に、検索領域外に体追尾枠の重心が存在する例を示す。図１０（ｄ）に示す例では、結びつき判定用画像１１０に体追尾枠４２０及び重心４３０が重畳されており、重心４３０が検索領域４４０外に存在する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
ただし、生体追尾部３０は、現フレームで追尾顔領域が発見されず、かつ、新規顔領域が追尾体領域に結びつかなかった場合、追尾対象を体領域とする。そして、生体追尾部３０は、追尾対象が体領域となる場合、または、追尾顔領域の信頼度が低い場合には、次フレームで体追尾処理を開始する。即ち、生体追尾部３０は、現フレームで発見された追尾顔領域の信頼度が低い場合には、次フレームでは顔追尾処理と体追尾処理とを並行して行う。生体追尾部３０が原則として追尾対象を顔領域とする理由としては、例えば、顔追尾処理の方が体追尾処理よりも環境の変化に対するロバスト性が大きいことが挙げられる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１４０
【補正方法】変更
【補正の内容】
【０１４０】
［第５の変形例］
次に、第５の変形例について説明する。第５の変形例では、体追尾部３４は、追尾体領域に顔追尾枠を重畳する。したがって、表示制御部３８は、追尾対象が体領域となる場合であっても、顔追尾枠が重畳された追尾体領域を表示する。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１４２
【補正方法】変更
【補正の内容】
【０１４２】
［第６の変形例］
次に、第６の変形例について説明する。第６の変形例では、顔検出部３２は、追尾対象が体領域となる場合に、追尾体領域と所定の位置関係にある領域を顔推定領域として検出する。そして、顔照合部３３は、顔推定領域に顔推定枠を重畳させる。一方、体追尾部３４は、追尾体領域に体追尾枠を重畳しない。したがって、表示制御部３８は、追尾対象が体領域となる場合であっても、顔推定枠が重畳された顔推定領域を表示する。なお、顔推定枠は顔追尾枠と同様の態様（例えば、色、形状）で表示されても良く、他の態様で表示されてもよい。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１４４
【補正方法】変更
【補正の内容】
【０１４４】
［第７の変形例］
次に、第７の変形例について説明する。第７の変形例では、体追尾部３４は、追尾体領域の全体に人体枠を重畳する。なお、体追尾部３４は、追尾対象が顔領域となる場合であっても、この人体枠を追尾体領域に重畳しても良い。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０１４６
【補正方法】変更
【補正の内容】
【０１４６】
［第８の変形例］
次に、第８の変形例について説明する。第８の変形例は、第６の変形例において、体追尾部３４が追尾体領域に体追尾枠を重畳するものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】０１６５
【補正方法】変更
【補正の内容】
【０１６５】
さらに、画像処理装置１は、追尾枠を追尾対象の種類に応じた態様で表示する。即ち、画像処理装置１は、追尾対象が顔領域となる場合には、顔領域に顔追尾枠を重畳し、追尾対象が体領域となる場合には、体領域に体追尾枠を重畳する。したがって、ユーザは、追尾対象の種類をより正確に把握することができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１６６
【補正方法】変更
【補正の内容】
【０１６６】
さらに、画像処理装置１は、撮像画像と、追尾枠とを表示部４０に表示し、追尾対象を変更する場合に、追尾枠を変更前の追尾対象から変更後の追尾対象まで遷移させるので、ハンチングを防止することができる。したがって、ユーザは、追尾対象をより正確に把握することができる。
【手続補正１７】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2013162329.tif 000001