【手続補正書】
【提出日】平成23年8月25日(2011.8.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮像した動画像を取得する取得手段と、
前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
を有する画像処理装置であって、
前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、
前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記動き検出手段は、前記顔検出手段による前記被写体の顔領域を検出しないフレーム、又は、前記顔検出手段により前記被写体の顔領域が検出できなかったフレームと、該フレームよりも過去のフレームとのフレーム間の相関から前記顔領域の動きを示す動き情報を検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記修正手段は、前記顔検出手段により前記被写体の顔領域が検出できたフレームについては前記顔領域の位置修正を行わず、前記顔検出手段による前記被写体の顔領域を検出しないフレーム、又は、前記顔検出手段により前記被写体の顔領域が検出できなかったフレームにおける前記顔領域の位置修正を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記直近に検出された顔領域の位置と、前記最後に検出された顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記直近に検出された顔領域の位置と、前記修正手段により直近に修正された前記顔領域の位置との差分から前記顔領域が予め設定された量以上移動したと判定される場合に、前記異なる被写体であると判定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記判定手段は、前記動き検出手段により前記現在のフレームについて検出された動き情報に基づいた前記顔領域の動き量と、前記記憶手段に蓄積された動き情報に基づいた前記顔領域の平均の動き量との差分が予め設定された閾値以上である場合に、前記異なる被写体であると判定することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
【請求項７】
前記判定手段は、前記直近に検出された顔領域の画像と、前記最後に検出された顔領域の画像との類似度を算出し、当該算出された類似度が予め設定された閾値より低い場合に、前記異なる被写体であると判定することを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
被写体を撮像するための撮像手段と、
請求項１乃至７のいずれか一項に記載の画像処理装置と、
前記画像処理装置により検出された前記被写体の顔領域に応じて前記撮像手段の露光調整及び焦点調整の少なくとも一方を制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項９】
被写体を撮像した動画像を取得する取得手段と、
前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、
前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、
前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、
前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、
を有する画像処理装置の制御方法であって、
前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、
前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、
を含むことを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか一項に記載の画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的は、被写体を撮像した動画像を取得する取得手段と、前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、を有する画像処理装置であって、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定手段と、前記判定手段により前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新手段と、を備えることを特徴とする本発明による画像処理装置によって達成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、上記目的は、被写体を撮像した動画像を取得する取得手段と、前記動画像のフレームから前記被写体の顔領域を検出する顔検出手段と、前記動画像の現在のフレームと、前記現在のフレームよりも過去のフレームとのフレーム間の相関から、前記過去のフレームから前記現在のフレームへの前記顔領域の動きを示す動き情報を検出する動き検出手段と、前記現在のフレームよりも前のフレームについて前記動き検出手段により検出された動き情報を蓄積する記憶手段と、前記動き検出手段により前記現在のフレームについて検出された動き情報と前記記憶手段に蓄積された動き情報とに基づいて、前記現在のフレームにおける前記顔領域の位置修正を行う修正手段と、を有する画像処理装置の制御方法であって、前記画像処理装置の判定手段が、前記顔検出手段により直近に顔領域が検出された被写体と、該被写体の顔領域が検出される前に前記顔検出手段により最後に顔領域が検出された被写体とが互いに異なる被写体であるか否かを判定する判定工程と、前記画像処理装置の更新手段が、前記判定工程において前記直近に顔領域が検出された被写体と前記最後に顔領域が検出された被写体とが互いに異なる被写体であると判定された場合に、前記記憶手段に蓄積された動き情報を初期化する更新工程と、を含むことを特徴とする本発明による画像処理装置の制御方法によっても達成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
また、Ｓ６０１では、Ｓ４１３で取得された直近の顔検出結果から得られる顔領域の座標と、直近のフレームにおける顔枠の座標との差が予め設定された閾値以下か否かを判定してもよい。この場合は、顔検出が行われたフレームにおいて検出された顔領域の位置と、直近のフレームまで顔枠が表示されていた位置が予め閾値として設定された量以上移動したと判定される場合に、別被写体の顔を検出したと判定されることとなる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
また、Ｓ６０１では、Ｓ４０３で取得された直近の動きベクトルであり、直近の顔領域の動き量と、蓄積された動きベクトルの履歴の平均であり、顔領域の平均の動き量の差が予め設定された閾値以下か否かを判定してもよい。この場合は、直近の顔領域の動き量が、顔領域の平均の動き量に対して予め閾値として設定された量以上変化した場合に、別被写体の顔を検出したと判定されることとなる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
すなわち、動きベクトルの履歴更新処理では、直近の顔検出結果から得られる主顔と、直近の顔検出処理により設定されていた主顔との距離が遠いのであれば、これらは同じ顔でないと判定している。また、直近の顔検出結果から得られる主顔の位置が、直近のフレームまで顔枠が検出された位置とずれる場合に、これらは同じ顔ではないと判定している。また、直近の顔検出結果から得られる主顔と、直近の顔検出結果から得られる主顔が類似していない場合に、これらは同じ顔ではないと判定している。そして、違う顔のベクトル履歴が顔枠位置に反映されることのないようＳ６０３でベクトル履歴を初期化している。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
第４フレーム（図８（ｅ））、第５フレーム（図８（ｆ））では、第１フレーム、第２フレームと同様に、Ｓ４１０の処理により動きベクトルとその履歴を用いて顔枠の座標が算出される。なお、第３フレームにおいて顔領域を検出した際に、第１、第２フレームで右向きであった動きベクトルの履歴はリセットされない。従って、第４、第５フレームで別被写体が左に横切り、第５フレームで最新の動きベクトルdX5が左向きであったとしても、第１、第２フレームにおける動きベクトルの履歴から右向きに動く以前の被写体に対して顔枠を表示することができる。