(57)【要約】【課題】動画像において対象人物の顔の検出が不可能な場合でも対象人物の頭部を特定して追尾可能にする。【解決手段】撮像部より得られた撮像データから対象人物の顔を検出する顔検出部２１と、顔検出部２１で検出された対象人物の顔を含む頭部情報を記憶する記憶部７と、記憶部７に記憶された対象人物の顔を含む頭部情報を基に、現在の撮像データにおける対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部２２とを備えたものである。【選択図】図２
2011166305.tif 000002
【特許請求の範囲】
【請求項１】
撮像部より得られた撮像データから対象人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記対象人物の顔を含む頭部情報を記憶する記憶部と、
前記記憶部に記憶された前記対象人物の顔を含む頭部情報を基に、現在の撮像データにおける前記対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部と、
を備える画像処理装置。
【請求項２】
前記顔検出部で検出された、現在の撮像データにおける前記対象人物の顔の向きを判定する顔向き判定部と、
をさらに備え、
前記顔向き判定部で判定された顔の向きに応じて、前記対象人物の顔の情報を抽出する
請求項１に記載の画像処理装置。
【請求項３】
前記頭部追尾部は、
前記顔向き判定部で顔の向きが判定できない場合、現在の撮像データにおいて、前記対象人物の顔の情報として当該顔と組みの後頭部部分から色情報を抽出する色情報抽出部と、を備える色追尾部を、更に備え、
前記色追尾部は、前記色情報抽出部から得られた色情報と、前記記憶部に記憶されている前記対象人物の顔と組みの後頭部部分の色情報から、現在の撮像データにおいて該当色情報を有する領域を検出する
請求項２に記載の画像処理装置。
【請求項４】
前記色情報抽出部は、現在の撮像データから前記対象人物の顔と組みの後頭部部分の色の分布を示す抽出色ヒストグラムを取得し、
前記色追尾部は、前記色情報抽出部で取得された現在の撮像データにおける前記対象人物の後頭部部分の抽出色ヒストグラムと、前記記憶部に記憶されている前記対象人物の過去の顔を含む頭部情報に基づく前記対象人物の顔と組みの後頭部部分の色の分布を示す基準色ヒストグラムから、現在の撮像データにおいて該当色情報を有する領域を前記対象人物の頭部として特定する
請求項３に記載の画像処理装置。
【請求項５】
前記色追尾部は、表示部に表示された対象人物の顔もしくは頭部の大きさに合わせて設定される表示枠について、前記抽出色ヒストグラムを取得時の基準の表示枠と現在の撮像データにおける頭部の表示枠の大きさを比較し、比較の結果に基づき、前記基準の表示枠の大きさに対する前記現在の撮像データにおける頭部の表示枠の大きさの変化率を計算し、
前記色追尾部により求められた前記変化率に応じて、前記現在の撮像データにおける頭部の表示枠の大きさが前記基準の表示枠に合わせて一定となるよう前記対象人物の頭部に対するズーム値が決定される
請求項４に記載の画像処理装置。
【請求項６】
前記頭部追尾部は、
前記顔向き判定部で顔の向きが判定できない場合、現在の撮像データにおいて、前記対象人物の顔の情報として当該顔の特徴点の座標と輝度を抽出する特徴点情報抽出部と、
前記特徴点情報抽出部により抽出される、前記記憶部に記憶されている直近の撮像データの前記対象人物の顔の特徴点の座標と輝度、および現在の撮像データの前記対象人物の顔の特徴点の座標と輝度から、当該特徴点の動きベクトルを算出する動きベクトル算出部と、を有する特徴点追尾部を、更に備え
前記特徴点追尾部は、前記動きベクトル算出部で算出された動きベクトルから、現在の撮像データにおける前記対象人物の顔を特定する
請求項２に記載の画像処理装置。
【請求項７】
被写体を撮像する撮像部と、
前記撮像部より得られた撮像データから対象人物の顔を検出する顔検出部と、
前記顔検出部で検出された前記対象人物の顔を含む頭部情報を記憶する記憶部と、
前記記憶部に記憶された前記対象人物の顔を含む頭部情報を基に、現在の撮像データにおける前記対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に映っている被写体を追尾する画像処理装置および撮像装置に係り、特に被写体の顔の検出が不可能な場合にその頭部を検知・追尾する技術に関する。
【背景技術】
【０００２】
近年、動画像から人物の顔を検知・追尾する技術がデジタルスチルカメラやビデオカメラに利用されている。一般的な顔の追尾処理は以下のように実行される。まず、万人に共通する顔の特徴を用いることにより、画像中から人の顔が検知され、顔の領域が特定される。次に、検知された顔の中から追尾対象が選択される。追尾対象が選択されると、前回の処理において対象の顔が検知された位置の周囲において顔検知が実行される。そして、この検知された顔について対象の顔との同定処理が実行されることにより、追尾が実現されている。この顔の追尾処理については、さらに下記特許文献１〜３に示すような改良技術が提案されている。
【０００３】
例えば、特許文献１では、撮像データから対象の顔を抽出し、その抽出された対象の顔の動きベクトルを検知し、その動きベクトルに基づいて対象の顔を画像内の一定の位置（例えば、画像中央）になるように追跡する技術についての記載がある。
特許文献２では、個人認識、顔認識、肌色認識の組み合わせで対象の顔を検知する処理を行い、これらの組み合わせで認識できない場合には音声方向認識や動き方向からの位置予測により追跡を行い、対象を検知する技術についての記載がある。
また、特許文献３では、顔検出結果と顔の周囲、主に胴体にあたる部分（例えば、服の色や形）の情報を組み合わせて対象の被写体を追跡する技術についての記載がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８―３０１１６２号公報
【特許文献２】特開２００４―２８３９５９号公報
【特許文献３】特開２００７−４２０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１〜３に記載された技術には以下のような不都合がある。
まず特許文献１に記載の技術では、顔が検知されない場合は追跡を行えず、追跡可能な対象の顔の向きが正面に限定されてしまう。
また特許文献２に記載の技術では、顔を検知できない場合には音声方向認識や動き方向からの位置予測により追跡を行うことができるものの、対象が音声を発しない場合や騒音のある環境下では対象を追跡できない可能性が高い。また、動き方向からの位置予測を用いても対象の頭部やそのサイズは検出できない。
【０００６】
また特許文献３に記載の技術では、顔と離れている胴体にあたる部分が障害物の陰や画面外にある場合などには追跡することができない。また、胴体にあたる部分（服）の色は同一人物でも日によってもしくは一日の中でも大きく異なるので、胴体にあたる部分（服）の色に追跡精度が大きく影響されてしまう。さらに顔による追跡時と色による追跡時で検出する対象サイズの把握方法が大きく異なるため、対象のサイズを把握し続ける精度にも問題がある。
【０００７】
本発明はかかる点に鑑みてなされたものであり、動画像において対象人物の顔の検出が不可能な場合でも対象人物の頭部を特定して追尾可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明は、撮像部から得られた撮像データから対象人物の顔を検出する顔検出部と、顔検出部で検出された対象人物の顔を含む頭部情報を記憶する記憶部と、記憶部に記憶された対象人物の顔を含む頭部情報を基に、現在の撮像データにおける対象人物の横顔から後頭部までを含む頭部を検出し続ける頭部追尾部とを備えたものである。
【０００９】
上記構成によれば、対象人物の顔を含む頭部情報を基に頭部検出するので、一度対象人物の顔を検出するだけで当該対象人物の顔がどの方向を向いてもその頭部を検出することができる。
【発明の効果】
【００１０】
本発明により、動画像において対象人物の顔の検出が不可能な場合でも対象人物の頭部を安定して正確に追尾することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係る撮像装置の構成を示したブロック図である。
【図２】本発明の一実施形態に係る顔検出部および頭部追尾部による処理の例を示すフローチャートである。
【図３】本発明の一実施形態に係る特徴点抽出を示すフレームの一例を示す図である。
【図４】本発明の一実施形態に係る色情報抽出を示すフレームの一例を示す図である。
【図５】本発明の一実施形態に係る特徴点追尾部による処理を示すフローチャートである。
【図６】本発明の一実施形態に係る特徴点追尾部によるフレームの一例を示す図である。
【図７】本発明の一実施形態に係る色追尾部による処理の例を示すフローチャートである。
【図８】本発明の一実施形態に係る色追尾部によるフレームの一例を示す図である。
【図９】本発明の一実施形態に係るフレームにおける色ヒストグラムの一例を示す図である。
【図１０】本発明の一実施形態に係る表示枠変更処理の例を示すフローチャートである。
【図１１】本発明の一実施形態に係る表示枠変更処理での判定処理を行う場合のフレームの一例を示す図である。
【図１２】本発明の一実施形態に係る比較及び表示枠の変更処理の例を示すフローチャートである。
【図１３】本発明の一実施形態に係る比較及び表示枠の変更処理での、頭部領域が基準の表示枠より小さいまたは大きい場合でのフレームの一例を示す図である。
【図１４】本発明の一実施形態に係る光学系駆動部による処理の例を示すフローチャートである。
【図１５】本発明の一実施形態に係るは撮像装置と対象人物の顔との距離関係を示した図の一例である。
【図１６】本発明の一実施形態に係る光学系駆動部を使用した場合と使用しない場合での表示部に表示されるフレーム（画像）の一例を示す。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、添付図面を参照して下記の順序で説明する。
１．頭部追尾処理を行う撮像装置の構成
２．頭部追尾処理の流れ
３．特徴点追尾部での処理
４．色追尾部での処理
５．頭部領域を基準の表示枠で表示する表示制御処理
【００１３】
［１．頭部追尾処理を行う撮像装置の構成］
本発明の一実施形態の例における撮像装置の構成を、図１を用いて説明する。撮像装置としては動画撮影機能を備えるものであればよく、デジタルスチルカメラやビデオカメラなどが適用される。
【００１４】
図１は、本発明の一実施形熊の例に係る撮像装置の構成を示すブロック図である。
撮像装置１は、制御部２と、画像ＲＡＭ３と、表示部４と、操作部５と、画像処理部６と、記憶部７と、外部インターフェース８と、光学系９と、光学系駆動部１０と、イメージセンサ１１と、信号処理部１２と、パンチルト駆動部１３と、データバス１４と、顔検出部２１と、頭部追尾部２２とで構成している。なお、各部間におけるデータの送受信は、データバス１４を経由したやりとりによって行われる。
【００１５】
以下に、撮像装置１の各構成要素の説明を行う。
まず、制御部２は、演算制御装置であり、一例として図示しないＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）から構成される。そして、制御部２は、制御信号が伝送されるデータバス１４を介して、撮像装置１内の各部と接続される。そして、制御部２は、データバス１４を通して各部と通信を行い、各部の処理制御を行う。
【００１６】
画像ＲＡＭ３は、撮像データを一時的に記憶するワークメモリ（記憶部）の一例である。各部間では、画像ＲＡＭ３を介して撮像データが受け渡される。なお、この例では、各部は、画像ＲＡＭ３を介して撮像データを受け渡すものとして説明している。しかし、この例に限られず、例えば、表示部４、画像処理部６および後述する顔検出部２１は、信号処理部１２から出力される撮像データを、データバス１４を介さずに直接受け取ることができるようにしてもよい。
また、画像ＲＡＭ３は、後述する顔検出部２１および後述する頭部追尾部２２の処理で扱われる特徴点情報と、色情報と、撮像データの情報を記憶するようにしてもよい。
【００１７】
表示部４は、信号処理部１２または画像処理部６等が出力した撮像データや、後述する頭部追尾部２２で処理した撮像データを表示するものである。また、表示部４は、撮像装置１におけるビューファインダとして用いられるとともに、記憶部７から再生された画像のモニタとして用いられる。表示部４としては、例えばＬＣＤ（Liquid Crystal Display）を用いることができる。
【００１８】
操作部５は、ユーザの操作入力に応じた操作信号を生成し、データバス１４を介して各部の操作を行うものであり、タッチパネルや方向キー、ボタン等から構成される。例えば、ユーザが操作部５を操作して、表示部４に表示されている人物の顔を指定して、当該指定した顔が常に表示部４に表示されるよう自動で追尾しながら撮影を行うことができる。
【００１９】
画像処理部６は、信号処理部１２から出力された撮像データ、あるいは画像ＲＡＭ３に記憶された撮像データを受け取り、この撮像データを圧縮符号化して、動画像あるいは静止画像のデータファイルとして記憶部７に出力するものである。また、画像処理部６は、後述する記憶部７から読み出された撮像データファイルを復号し、画像ＲＡＭ３を介して表示部４に供給する。
【００２０】
記憶部７は、画像処理部６により符号化されて生成された撮像データや、様々な顔角度でなる複数の基準顔データを記憶するものである。記憶部７としては、例えば、磁気テープや光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disc Drive）などを用いることができる。また、記憶部７は、後述する顔検出部２１および後述する頭部追尾部２２の処理で扱われる特徴点情報と、色情報と、撮像データの情報を記憶するようにしてもよい。
【００２１】
外部インターフェース８は、例えばパーソナルコンピュータなどの外部機器（図示せず）が接続されることで、記憶部７からデータを読み出し、当該データを外部機器に供給するように構成されている。
【００２２】
光学系９は、図示しないがレンズおよび絞りなどを含み、所望の被写体を取り込んでイメージセンサ１１に入射する光入射機構である。光学系９は、図示しないが、さらにシャッタ機構、ズーム機構、自動焦点調整機構、自動露出調整機構、赤外線（Infrared Rays : IR）カットフィルタ、光学ローパスフィルタ（Low Pass Filter : LPF）などを含んでもよい。
【００２３】
光学系駆動部１０は、操作部５からの操作信号または後述する頭部追尾部２２から出力される表示枠のズーム値を基に、制御部２の制御に従い、光学系９を駆動させるものである。また、操作部５からの操作信号により、光学系駆動部１０が光学系９を駆動させるものである。
【００２４】
イメージセンサ１１は、光学系９から出力された入射光を光電変換し、光電変換された電気信号を信号処理部１２に出力するものである。なお、ブレ補正用レンズの移動または傾き、ブレ補正用プリズムの変形や傾き、イメージセンサ１１の移動等をすることによって、検出されたブレを光学的に補正することができる。
【００２５】
信号処理部１２は、イメージセンサ１１から出力された電気信号に対して各種の信号処理を施し、信号処理が施された撮像データを画像ＲＡＭ３に一時記憶するものである。そして、記憶部７と、外部インターフェース８と、画像処理部６と、後述する顔検出部２１にも供給するものである。信号処理部１２における信号処理として、ノイズ軽減処理、レベル補正処理、Ａ／Ｄ変換処理および色彩補正処理等の信号処理がある。また、信号処理部１２は、制御部２の指示に基づいて各部から入力された画像に対して各種の画像処理を実行する。
ところで、光学系９と、光学系駆動部１０と、イメージセンサ１１と、信号処理部１２で構成されたものを、撮像部とすることができる。
【００２６】
パンチルト駆動部１３は、パンチルト機構のパン方向及びチルト方向への動作を制御するものである。パンチルト駆動部１３は、制御部２による自動制御又は操作部５からの操作信号に基づいて駆動する。
【００２７】
データバス１４は、撮像装置１を構成している各部との間で、データ転送や制御命令の転送に用いるための共通の経路である。
【００２８】
顔検出部２１は、信号処理部１２から送出される撮像データおよび記憶部７等に記憶された撮像データから人物の顔の検出を行い、その検出された顔の中から、対象人物の顔の特定を行うものである。対象人物とは、追尾対象として指定された人物を指す。この顔検出部２１は、一例として専用のプロセッサ（DSP：Digital Signal Processor）を適用してもよい。
また、顔検出部２１は、顔向き判定部２１Ａを備えている。この顔向き判定部２１Ａでは、特定された対象人物の顔を基に、正面、左向き、右向きなど対象人物の顔がいずれを向いているか判定するものである。この処理は、例えば、一般的な横顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって、顔の横向きの度合いを検出するように構成されてもよい。
【００２９】
頭部追尾部２２は、特徴点追尾部２３および色追尾部２４で構成され、顔検出部２１で検出された顔を基に、対象人物の顔を含む頭部を追尾する処理を行うものである。
詳細には、特徴点追尾部２３は、撮像データ内に対象人物の顔が検出されなかった場合、特徴点抽出の処理によって得られた特徴点の座標、輝度値を使って対象人物の頭部の追尾を行う。色追尾部２４は、入力された撮像データ内に対象人物の顔が検出されなかった場合、色抽出の処理によって得られた色情報を用いて対象人物の頭部の追尾を行う。この頭部追尾部２２は、一例として専用のプロセッサ（DSP：Digital Signal Processor）を適用してもよい。
この特徴点追尾部２３および色追尾部２４による処理の詳細は、後述する。
【００３０】
また、特徴点追尾部２３は、特徴点情報抽出部２３Ａとベクトル算出部２３Ｂを備えている。
特徴点情報抽出部２３Ａは、対象人物の顔から目、鼻、口等の領域を特定し、その特定された領域の特徴点情報の抽出を行うものである。この特徴点情報抽出部２３Ａによる処理の詳細は、後述する。
特徴点情報とは、所定の領域における座標および輝度値を含む。
【００３１】
ベクトル算出部２３Ｂは、現在の撮像データの一つ前又はそれ以外の直近のフレームでの特徴点情報の座標および現在の撮像データの特徴点情報を用いて、対象人物の顔での特徴点の動きベクトルを算出する。
このベクトル算出部２３Ｂによる処理の詳細は、後述する。
【００３２】
色追尾部２４は、色情報抽出部２４Ａを備えている。色情報抽出部２４Ａは、対象人物の顔を有する領域（顔領域）から所定の距離だけ離れた領域（後頭部領域）についての色情報抽出の処理を行うものである。
この色情報抽出部２４Ａによる処理の詳細は、後述する。
【００３３】
色情報とは、一例として抽出領域における色ヒストグラムの情報である。この色ヒストグラムは、抽出領域における色差信号の度数（画素数）を表す分布のことである。色差信号Ｃｒと色差信号Ｃｂのそれぞれについてこの色ヒストグラムの情報を取得する。
また、色ヒストグラムを得るときに用いられる色は色差信号Ｃｒ，Ｃｂに限らず、Ｒ，Ｇ，Ｂなど他の色でもよい。また、色情報は色ヒストグラムに限られるものではなく、その他の色に関する情報を用いてもよいことは勿論である。なお、この例での後頭部領域は、対象人物の後頭部の髪がある領域の事を指しており、その領域の大きさは適宜とする。
【００３４】
［２．頭部追尾処理の流れ］
本発明の一実施形態の例における顔検出部および頭部追尾部による処理を、図２〜４を用いて説明する。
図２は、顔検出部および頭部追尾部による処理におけるフローチャートである。
【００３５】
まず、顔検出部２１により、信号処理部１２から送出された現在の撮像データのフレームを読み出し、その現在のフレームから人物の顔の検出を行う（ステップＳ１）。この処理は、例えば、一般的な顔の耳から顎にかけての輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部２１では、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されてもよい。
【００３６】
また、顔検出部２１は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されてもよい。また、顔検出部２１は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されてもよい。また、顔検出部２１は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されてもよい。また、顔検出部２１による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されてもよい。
【００３７】
そして、顔検出部２１は、ステップＳ１の検出処理で検出された顔から、対象人物の顔に適合する顔のマッチング処理を行う（ステップＳ２）。例えば、顔検出部２１は、ステップＳ１の検出処理で検出された顔と、記憶部７に予め登録してある対象人物の顔に適合する顔があるかないかの判定を行うことである。または、ユーザが操作部５を操作して撮像データの中から人物の顔を指定することによって行う。
なお、ステップＳ２による対象人物の顔の検出処理を初めて行ったときに、対象人物の顔が検出されなかった場合は、そのまま処理を終了する。
【００３８】
ステップＳ２の判定処理でその対象人物の顔に適合した顔を含む頭部に関する情報（以後、「頭部情報」と称す）を、記憶部７に記憶する（ステップＳ４）。また、記憶部７の他に、画像ＲＡＭ３にも記憶するようにしてもよい。
頭部情報としては、例えば対象人物の顔の領域（特に頭髪部）と、対象人物の顔全体の輪郭と、目と鼻等の顔の要部の位置関係と、顔の面積の大小（カメラからの距離）等を含む。
【００３９】
そして、顔向き判定部２１Ａが、頭部情報を基に、正面、左向き、右向きなど対象人物の顔がいずれを向いているか判定する（ステップＳ３）。この処理は、例えば、一般的な横顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって、顔の横向きの度合いを検出するように構成されてもよい。
【００４０】
ステップＳ４の顔向き判定処理で検出される対象人物の顔の向きに応じて、特徴点情報抽出部２３Ａは特徴点情報抽出の処理を行う（ステップＳ５）。特徴点情報抽出の処理は、例えば、対象人物の顔の左向きであると判定された場合、左向きの顔の領域３１Ｌから左目３３Ｌ、鼻３４Ｌ、口３５Ｌの領域を抽出して、それぞれの領域の特徴点情報抽出を行う（図３Ａを参照）。同様に、図３Ｂに示すように、対象人物の顔の右向きであると判定された場合、右向きの顔の領域３１Ｒから右目３３Ｒ、鼻３４Ｒ、口３５Ｒの領域を抽出して、それぞれの領域の特徴点情報抽出を行う（図３Ｂを参照）。
【００４１】
次に、ステップＳ４の顔向き判定処理で検出される対象人物の顔の向きに応じて、色情報抽出部２４Ａは、その対象人物の顔を有する領域（顔領域）から所定の距離だけ離れた領域（後頭部領域）についての色情報抽出の処理を行う（ステップＳ６）。色情報抽出の処理は、例えば、対象人物の顔の左向きであると判定された場合、左向きの顔領域４２Ｌに対して、所定の距離にある右上の後頭部領域４３Ｌを認識し、その後頭部領域４３Ｌの色情報の抽出を行う（図４Ａを参照）。同様に、対象人物の顔の右向きであると判定された場合、右向きの顔領域４２Ｒに対して、所定の距離にある右上の後頭部領域４３Ｒを認識し、その後頭部領域４３Ｒの色情報の抽出を行う（図４Ｂを参照）。
【００４２】
そして、顔向き情報、特徴点情報および色情報のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
【００４３】
ステップＳ２の判定処理で対象人物の顔が検出されなかった場合、特徴点追尾部２３は、前フレームでの特徴点情報を基に、対象人物の特徴点追尾処理を行う（ステップＳ８）。この特徴点追尾処理は、対象人物の顔の特徴点が存在するかの判定（ステップＳ９）を行い、その特徴点が存在した場合、その特徴点を有する領域を対象人物の頭部と特定することである。なお、前フレームとは、動画を構成するフレームのうち、現在処理を行っているフレームの一つ前又はそれ以外の直近のフレームのことを指す。
この特徴点追尾部２３による処理の詳細は、後述する。
【００４４】
そして、ステップＳ９での特徴点追尾部２３による判定処理において、特徴点が存在した場合、特定した対象人物の頭部における、特徴点情報および色情報等のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
【００４５】
ステップＳ９の判定処理にて対象人物の頭部の特徴点が検出されなかった場合、色追尾部２４において前フレームでの色情報を基に、対象人物の後頭部の色追尾を行う（ステップＳ１０）。
【００４６】
色追尾部２４の処理は、前フレームから取得した色ヒストグラムを基準色ヒストグラムとし、基準色ヒストグラムに近い色ヒストグラム（以後、「抽出色ヒストグラム」と称す）を有する領域が現在のフレーム内にあるかの判定を行う（ステップＳ１１）。そして、その抽出色ヒストグラムに適合する領域が存在した場合、その領域を対象人物の頭部と特定する。また、その抽出色ヒストグラムに適合する領域が存在しない場合は、対象人物の頭部が存在しないと判定し、色追尾処理を終了する。このとき、例えば色追尾部２４から制御部２へ対象人物の頭部が存在しない旨の情報を送出し、制御部２の制御の下、表示部４が対象人物の頭部が検出されなかった旨の表示を行うようにしてもよい。
なお、この色追尾処理の詳細は、後述する。
【００４７】
そして、ステップＳ１１での色追尾部２４の処理後は、対象人物の頭部における、色情報等のデータを画像ＲＡＭ３に出力する（ステップＳ７）。また、それらのデータを記憶部７、表示部４に出力するようにしてもよい。
【００４８】
ところで、図２に示したステップＳ１０の後頭部の色追尾処理では、顔の検出および特徴点追尾ができない場合に色追尾を行うようにしている。しかしながら、ステップＳ２で顔の検出が検出できない場合にステップＳ８の特徴点追尾を行うことなくステップＳ１０の後頭部の色追尾を行うようにしてもよい。
【００４９】
［３．特徴点追尾部での処理］
ここで、特徴点追尾部２３による特徴点追尾処理を、図５〜６を用いて詳細に説明する。図５は特徴点追尾部２３の処理によるフローチャートを示す。そして、図６Ａは前フレームの一例を示し、図６Ｂは現在のフレームの一例を示す。
この特徴点追尾部２３による処理は、図２のステップＳ２の判定処理で対象人物の顔が検出されなかった場合に実行されるものである。
【００５０】
まず、画像ＲＡＭ３から最新（前フレーム）の特徴点情報（座標および輝度値）を読み込む（ステップＳ２１）。最新（前フレーム）の特徴点情報とは、例えば図２のステップＳ５の特徴点情報抽出の処理で抽出されたフレームのうち、現在処理を行っているフレームの一つ前又はそれ以外の直近のフレームのことでの特徴点情報である。また抽出できたフレームのうち直近のフレームでもよい。そして、この最新の特徴点情報は、画像ＲＡＭ３の他に記憶部７にも記憶されている場合があるので、その記憶部７から読み出してもよい。
【００５１】
次に、最新（前フレーム）の特徴点情報に含まれている特徴点ごとでの動きベクトルを算出する処理を行う（ステップＳ２２〜ステップＳ２６）。例えば、前フレームの特徴点情報に含まれている特徴点が目および口であった場合、特徴点が２点であるので２回の反復処理を行うこととなる。つまり、ステップＳ２２〜ステップＳ２６の処理を２回行うことになる。
【００５２】
前フレームでの特徴点の輝度値と最も近い値の輝度値を有する座標が、現在のフレーム内にあるかないかを判定する（ステップＳ２３）。
例えば、前フレーム５１Ｌ１から抽出された特徴点が目（以後、この目を含む領域を「眼領域」と称す）である場合について、図６を用いて説明する。前フレーム５１Ｌ１での目領域５３Ｌ１を、現在のフレーム５１Ｌ２上に同じ領域（目領域５３Ｌ２）を設定する。この目領域５３Ｌ２を中心に、目領域５３Ｌ１の輝度値に近い輝度値を有する座標が現在のフレーム内を走査する。その走査の結果により、現在のフレーム５１Ｌ２から、目領域５３Ｌ１の輝度値と近い輝度値をもつ目領域５３Ｌ３が検出されることとなる。
【００５３】
図２のステップＳ９の判定処理で、前フレームの特徴点情報の輝度値と最も近い値の輝度値があった場合、その最も近い値の輝度値での座標とその座標での輝度値を記憶する（ステップＳ２４）。
一方、図２のステップＳ９の判定処理で、前フレームの特徴点情報の輝度値と最も近い値の輝度値がなかった場合、後頭部の色追尾の処理に移行する（図２のステップＳ１０）。
【００５４】
次に、前フレームの特徴点情報での座標および現在のフレームの特徴点情報での座標を用いて、ベクトル算出部２３Ｂは動きベクトル（移動量と方向）を算出する（ステップＳ２５）。例えば、周知慣用技術の動きベクトル探索(ME: Motion Estimation)やブロックマッチング法等を利用して、前フレームの特徴点の座標から現在のフレームの特徴点での座標までの動きベクトルが算出される。
例えば、図６Ｂに示すように、前フレーム５１Ｌ１の目領域５３Ｌ１は、現在のフレーム５１Ｌ２において目領域５３Ｌ３に移動している。これにより、前フレームおよび現在のフレームでの目領域の動きベクトル５４が算出される。
【００５５】
そして、前フレームの特徴点情報に含まれている特徴点の点数分の反復処理を行った後に、全ての特徴点から算出された動きベクトルを用いて動きベクトルの平均化処理を行う（ステップＳ２７）。例えば、ステップＳ２２〜ステップＳ２６の処理により、全ての特徴点から算出された移動量を用いて、平均した移動量を算出する。次に、全ての特徴点から算出された方向を用いて、移動する方向を算出する。そして、平均した移動量と算出した方向より、平均化した動きベクトルが算出される。
【００５６】
この平均化した動きベクトルを基に、現在のフレームにおける領域を特定して、その特定された領域を新たな対象人物の頭部領域として変更する（ステップＳ２８）。例えば、図６Ｂに示すように、前フレームで抽出された特徴点が目のみである場合は、動きベクトル５４のみであるので、平均化された動きベクトルは動きベクトル５４となる。そして、その動きベクトル５４を基に、現在のフレームでの対象人物の頭部領域は、頭部領域５２Ｌ３となる。
なお、頭部領域とは、対象人物の頭部を含めたフレーム中での最低限での領域のこととする。
【００５７】
［４．色追尾部での処理］
ここで、色追尾部２４の処理を、図７〜９を用いて説明する。この色追尾部２４による処理は、図２のステップＳ９で対象人物の顔の特徴点が検出されなかった場合に実行されるものである。
図７は、色追尾部２４の処理におけるフローチャートを示す。そして、図８Ａは前フレームの一例を示し、図８Ｂは現在のフレームの一例を示す。図９Ａは前フレームでの抽出領域の基準色ヒストグラムの一例を示し、図９Ｂは現在のフレームの抽出領域の抽出色ヒストグラムを示す。図９Ａ，Ｂはそれぞれ、横軸が階調、縦軸が度数（画素数）を示している。
【００５８】
色差信号Ｃｒと色差信号Ｃｂのそれぞれについて、この色ヒストグラムの情報を取得する。そして、色差信号Ｃｒと色差信号Ｃｂにおける色追尾部２４の処理は共通であるので、色追尾部２４の処理の説明は、色差信号として説明する。
また、色ヒストグラムを得るときに用いられる色は色差信号Ｃｒ，Ｃｂに限らず、Ｒ，Ｇ，Ｂなど他の色でもよい。また、色情報は色ヒストグラムに限られるものではなく、その他の色に関する情報を用いてもよいことは勿論である。
【００５９】
まず、画像ＲＡＭ３から前フレームでの色情報を読み込む（ステップＳ３１）。前フレームでの色情報とは、図２のステップＳ６の色情報抽出の処理で抽出された前フレームでの色情報である。そして、この前フレームでの色情報は、画像ＲＡＭ３の他に記憶部７にも記憶されている場合があるので、その記憶部７から読み出してもよい。
【００６０】
次に、前フレームでの色情報を色基準値とする（ステップＳ３２）。この色基準値に含まれる色ヒストグラムを基準色ヒストグラムとする。
【００６１】
前フレームでの頭部領域を含む所定の範囲を現在のフレーム内に設定する。そして、その設定した範囲（色検索範囲）内を、基準色ヒストグラムを算出した範囲（検索領域）で走査しながら色ヒストグラムおよびマッチング二乗誤差を算出する処理を、検索領域の数だけ反復して行う（ステップＳ３３〜ステップＳ３９）。例えば、前フレーム６１Ｌでの色検索範囲６２Ｌと同じ領域（色検索範囲６２Ｂ）を現在のフレーム６１Ｂ上に設定する（図８を参照）。そして、色検索範囲６２Ｂ内を検索領域で走査しながら、各検索領域の抽出色ヒストグラムおよびマッチング二乗誤差を算出する処理を行う。
【００６２】
まず、ステップ３４にて、色検索範囲６２Ｂ内において、検索領域の抽出色ヒストグラムを算出する。そして、ステップＳ３５にて抽出色ヒストグラムと基準色ヒストグラムを用いて、マッチング二乗誤差を算出する。
【００６３】
以下に、マッチング二乗誤差の算出方法を、図９を用いて説明する。ｉは、抽出色ヒストグラム（図９Ｂ）および基準色ヒストグラム（図９Ａ）での任意の階調を示し、ｉｍａｘは抽出色ヒストグラム（図９Ｂ）および基準色ヒストグラム（図９Ａ）での最大の度数であるときの階調を示す。階調範囲Ｂはｉｍａｘを中心とした範囲で、その階調範囲Ｂは適宜に設定される。
次に、基準色ヒストグラムの階調毎の度数の値をＳｔｄＨ［ｉ］とし、ｉ＝ｉｍａｘのときのＳｔｄＨ［ｉｍａｘ］＝Ｘとなる。抽出色ヒストグラムの階調毎の度数の値をＧｅｔＨ［ｉ］とし、ｉ＝ｉｍａｘのときのＧｅｔＨ［ｉｍａｘ］＝Ｙとなる。
【００６４】
マッチング二乗誤差ＳＥは、次の式１により決定される。
【００６５】
【数１】
2011166305.tif 000003
【００６６】
図７のステップＳ３６にて、最大度数値誤差ｐｅａｋＥを行う。この最大度数値誤差ｐｅａｋＥは、基準色ヒストグラム内での最大の度数と抽出色ヒストグラム内での最大の度数の差とする。
最大度数値誤差ｐｅａｋＥは、以下の式にて決定される。
ｐｅａｋＥ＝ＳｔｄＨ［ｉｍａｘ］−ＧｅｔＨ［ｉｍａｘ］
【００６７】
次に、ステップＳ３７にて、マッチング二乗誤差ＳＥが前フレームでのマッチング二乗誤差より小さいかどうかを判定する。
マッチング二乗誤差ＳＥが小さい場合、現在のフレームから抽出される抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値を画像ＲＡＭ３に記憶する（ステップＳ３８）。そして、マッチング二乗誤差ＳＥが大きい場合、前フレームから抽出される抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値を更新せずに、そのままとする。
【００６８】
ただし、前フレームでのマッチング二乗誤差ＳＥの値が存在しない場合は、現在のフレームで算出される、抽出色ヒストグラム、マッチング二乗誤差ＳＥおよび最大度数値誤差ｐｅａｋＥの値が記憶される。
【００６９】
そして、色検索範囲の全領域での検索が終わった後、最終的に記憶されている最大度数値誤差ｐｅａｋＥが所定の閾値以内かどうかを判定する（ステップＳ４０）。なお、所定の閾値とは、適宜に設定することができる。しかし、この閾値は、あまり大きい値に設定しないことである。例えば、この閾値を大きい値にした場合、実際には対象人物の頭部がない領域を対象人物の頭部だと特定してしまう恐れがある。ちなみに、本実施の形態では、一例として基準ピーク値の１０％としている。
【００７０】
最大度数値誤差ｐｅａｋＥが所定の閾値内である場合、その最大度数値誤差ｐｅａｋＥが算出された時の後頭部領域を頭部領域として更新する（ステップＳ４１）。そして、最大度数値誤差ｐｅａｋＥが所定の閾値以内でない場合、色追尾の処理を終了する（ステップＳ４２）
【００７１】
次に、色追尾部２４における表示枠変更処理について、図１０〜１３を用いて説明する。ここでの表示枠変更処理は、対象人物の頭部が常に一定の大きさに表示されるように、基準の表示枠の大きさに対する現在のフレームにおける頭部の表示枠の大きさの変化率を算出する。そして、変化率に応じて、現在のフレームにおける頭部の表示枠の大きさが基準の表示枠に合わせて一定となるよう対象人物の頭部に対するズーム値を決定する。
基準の表示枠とは、最初に対象人物を指定したときの頭部の表示の大きさ、又は予め指定している頭部の表示の大きさである。
【００７２】
図１０は色追尾部２４における表示枠変更処理におけるフローチャートを示し、図１１は表示枠変更処理でのフレームの一例を示す。そして、図１２は比較及び表示枠の変更処理のフローチャートを示す。図１３Ａは頭部領域が基準の表示枠より小さい場合でのフレームの一例を示し、図１３Ｂは頭部領域が基準の表示枠より大きい場合でのフレームの一例を示す。
【００７３】
表示枠変更処理は、色追尾部２４により色追尾ができた場合に実行されるものである。
【００７４】
まず、図１１Ａに示すように、前フレームでの頭部領域を縦１／２倍および横１／２倍にした領域８３Ａで色検索範囲８１内を走査する。そして、前フレームでの頭部領域を縦１／２倍および横１／２倍にした領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５１）。
【００７５】
次に、図１１Ｂに示すように、前フレームでの頭部領域を縦３／２倍および横３／２倍にした領域８３Ｂで色検索範囲８１内を走査する。そして、前フレームでの頭部領域を縦３／２倍および横３／２倍にした領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５２）。
【００７６】
図１１Ｃに示すように、前フレームでの頭部領域と等しい領域８３Ｃで色検索範囲８１内を走査して、前フレームでの頭部領域での抽出色ヒストグラムに適合する領域が現在のフレーム内にあるかの判定を行う（ステップＳ５３）。
なお、上述のステップＳ５１〜ステップＳ５３の判定処理において、前フレームでの頭部領域の大きさを１／２倍および３／２倍にしているのは一例であり、例えば、２／３倍や３／４倍等の様々な倍率に設定することができる。これにより、頭部領域の表示枠の変化率をより精度良く算出することができる。
【００７７】
そして、ステップＳ５１〜ステップＳ５３での判定処理の結果を比較し、その比較結果により頭部領域の表示枠の変化率を算出し、その変化率を用いて基準の表示枠に合うようなズーム値を決定する（ステップＳ５４）。
【００７８】
ここで、図１０のステップＳ５４の検索結果の比較及び表示枠の変更処理の詳細について、図１２および図１３を用いて説明する。
まず、ステップＳ５１〜ステップＳ５３での判定処理の結果から、基準の表示枠に対して、現在のフレームでの対象人物の頭部領域の割合を算出する（ステップＳ６１）。例えば、基準の表示枠に対する領域の割合とは、図１３Ａに示すように、基準の表示枠９１に対して、現在のフレームでの頭部領域９２を占める割合を算出することである。
【００７９】
基準の表示枠に対して、現在のフレームでの対象人物の頭部領域を占める割合を算出する方法を、以下に説明する。
ここで、ＧｅｔＨｊ［ｉ］は、添字ｊの倍率とした前フレームでの頭部領域を検索領域としたときの抽出色ヒストグラムにおいて最大の度数を持つ階調iを中心とした、階調範囲Ｂでの各階調の度数である。また、ＧｅｔＰｊは、添字ｊの倍率とした前フレームでの頭部領域を検索領域としたときの抽出色ヒストグラムにおいて階調範囲Ｂの各階調の度数の合計値とする。ｊは前フレームでの頭部領域の縦横の倍率を示し、ｉは階調範囲Ｂにおける任意の階調である。
階調範囲Ｂの度数の合計値である、ＧｅｔＰ１／２、ＧｅｔＰ３／２、ＧｅｔＰ１は、次の式２〜４により求められる。
【００８０】
【数２】
2011166305.tif 000004
【００８１】
【数３】
2011166305.tif 000005
【００８２】
【数４】
2011166305.tif 000006
【００８３】
ＧｅｔＰ１／２は、前フレームの頭部領域を縦１／２倍および横１／２倍にした領域を用いたときの階調範囲Ｂの度数の合計値を示す。ＧｅｔＰ３／２は、前フレームの頭部領域を縦３／２倍および横３／２倍にした領域での最大度数値の合計値を示す。ＧｅｔＰ１は、前フレームの頭部領域と等倍である領域での度数の合計値を示す。
【００８４】
次に、図１２のステップＳ６２で、ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満かどうかの判定を行う。
【００８５】
ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満である場合、基準の表示枠の大きさに対する現在のフレームでの頭部領域の大きさの変化率を算出する（ステップＳ６３）。例えば、この場合の変化率は７／８倍となる。
なお、図１３Ａに示すように、頭部が前フレームの頭部領域の７／８倍の大きさである場合、それぞれの領域からの色ヒストグラムから得られる各階調の度数の合計値は、理想的には以下の割合となる。
ＧｅｔＰ１／２：ＧｅｔＰ１：ＧｅｔＰ３／２＝１：７／８：７／１８
【００８６】
ＧｅｔＰ１がＧｅｔＰ１／２の７／８未満かつ、ＧｅｔＰ３／２がＧｅｔＰ１／２の７／１８未満でない場合、ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上かどうかの判定を行う（ステップＳ６４）。
【００８７】
ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上であった場合、基準の表示枠の大きさに対する現在のフレームでの頭部領域の大きさの変化率を算出する（ステップＳ６５）。例えば、この場合の変化率は９／８倍となる。
なお、図１３Ｂに示すように、頭部が前フレームの頭部領域の９／８倍の大きさである場合、それぞれの領域からの色ヒストグラムから得られる各階調の度数の合計値は、理想的には以下の割合となる。
ＧｅｔＰ１／２：ＧｅｔＰ１：ＧｅｔＰ３／２＝１：１：１／２
【００８８】
上述した色ヒストグラムから得られる階調範囲Ｂの度数の合計値の割合は、理想的な数字であって、撮像データの状態や階調範囲Ｂの取り方などの条件により若干変わるので、計算に用いる数字は適宜に設定する。そして、これらの割合を使って頭部の表示枠の大きさの変化率を算出し、色追尾時の頭部の表示枠の大きさの変更を行う。
【００８９】
ＧｅｔＰ３／２がＧｅｔＰ１の１／２以上かつＧｅｔＰ３／２がＧｅｔＰ１／２の１／２以上でない場合、対象人物の頭部の表示枠の大きさを変更せず、前フレームでの表示枠のままとする（ステップＳ６６）。
【００９０】
そして、色追尾部２４の表示枠変更処理により求められた変化率に応じて、現在のフレームでの頭部領域の大きさが基準の表示枠に合わせて一定となるよう対象人物の頭部領域に対するズーム値が決定される。
このズーム値は、制御部２で光学系駆動部１０を制御するための制御信号であってもよい。
【００９１】
［５．頭部領域を基準の表示枠で表示する表示制御の処理］
光学系駆動部１０における、対象人物の頭部領域を一定の表示枠で表示する表示制御の処理を、図１４〜１６を用いて説明する。図１４は表示制御処理におけるフローチャートを示し、図１５は撮像装置１と対象人物の顔との距離関係を示した図の一例を示す。そして、図１６は、光学系駆動部１０を使用した場合と使用しない場合での表示部４に表示されるフレーム（画像）の一例を示す。
【００９２】
まず、色追尾部２４で算出されたズーム値の信号を、制御部２が受信したどうかを判定する（ステップＳ７１）。ズーム値の信号を受けた場合、制御部２は、そのズーム値の信号に従って光学系駆動部１０を制御して、基準の表示枠と同等の大きさの表示になるように、フレーム（画像）を調整する（ステップＳ７２）。また、ズーム値の信号を受けていない場合には、現在のフレームでの対象人物の頭部領域と基準の表示枠と同等であるかどうかの判定を行う（ステップＳ７３）。
対象人物の頭部領域が基準の表示枠と同等である場合は、光学系駆動部１０を制御しないで終了する。
【００９３】
ステップＳ７３の判定処理で対象人物の頭部領域が基準の表示枠と同等でないと判定された場合、制御部２が基準の表示枠と現在のフレームでの頭部領域との差を算出する。そして、その算出された差の値に従って光学系駆動部１０を制御して、基準の表示枠と同等の大きさの表示になるように、フレーム（画像）を調整する（ステップＳ７４）。
【００９４】
例えば、図１５に示すように、撮像装置１に対して、頭部１０５が基準の位置から距離Ｌ１下がって頭部１０４の位置になった場合は、基準の表示枠１０７と同じ大きさの表示になるように、光学系９のズームイン駆動が行われる。つまり、通常の表示では図１６Ａのフレーム（画像）１０１ａとなり、対象人物の頭部は小さく表示される。しかし、この表示制御処理により図１６Ｂのフレーム（画像）１０１ｂでの対象人物の頭部は小さくならず、基準の位置にあるフレーム（画像）１０２ｂの頭部１０５ｂと同じ大きさの表示となる。
【００９５】
また、撮像装置１に対して、頭部１０５が基準の位置から距離Ｌ２に前進して頭部１０６の位置になった場合は、基準の表示枠１０７と同じ大きさの表示になるように、光学系９のズームアウト駆動が行われる。つまり、通常の表示では図１６Ａのフレーム（画像）１０３ａとなり、対象人物の頭部は大きく表示される。しかし、この表示制御処理により図１６Ｂのフレーム（画像）１０３ｂでの対象人物の頭部は小さくならず、基準の位置にあるフレーム（画像）１０２ｂの頭部１０５ｂと同じ大きさの表示となる。
【００９６】
以上説明したように、本発明は、撮影した対象人物の後頭部の頭髪色を利用することにより、対象人物の顔を一度検出するだけで、対象人物の顔がどの方向を向いていても、動画像において対象人物の頭部を追尾することができる。また、対象人物が近づいても遠ざかっても、同様に動画像において対象人物の頭部を追尾することができる。
【００９７】
また、対象人物の後頭部の頭髪色を利用することにより、対象人物の頭部の大きさが顔の方向や姿勢によらず検出できるため、安定して正確な頭部追尾を行うことができる。
【００９８】
また、色追尾処理により頭部の表示枠の大きさを調整して一定サイズで頭部を検出し続けることにより、頭部の追尾が安定して行われるようにすることができる。
【００９９】
また、タッチパネルを使って対象人物の顔をタッチする方法や方向キーにより指定する方法、登録した対象人物の顔（頭部）を用いた自動の個人照合など、顔向きによらず様々な方法での対象顔（対象頭部）を指定することができる。それにより、大勢の人がいる中で顔の一部や後頭部のみが撮影可能な状態でも、対象人物の顔を一度検出していれば対象人物の頭部を常に追尾することが可能である。
【０１００】
また、対象人物の頭部を予め一定の大きさに表示させるように、基準の表示枠を設定することで、顔の一部や後頭部のみが撮影可能な状態でも対象人物の頭部の表示は常に基準の表示枠と同じ大きさで表示させることが可能である。さらに、対象人物の顔（頭部）とその（表示枠の）サイズを予め設定しておくことで、大勢の中に対象顔が見つかった時のみ頭部を指定サイズまで自動でズームすることも可能である。
【０１０１】
また、撮像装置にパンチルト駆動部を備えることで、色追尾処理と組み合わせて上下左右方向に対する広範囲で対象人物の頭部を追尾することができる。
【０１０２】
また、ズーム制御にトリミング機能を用いることにより、制御部２は、対象人物の顔が画像端に映っている場合でも、対象人物の顔周辺の領域のみを切り出して例えば画面中央に拡大表示する画像処理を行うことで、横の動きにも対応することができる。
【０１０３】
なお、本発明に係る撮像装置および画像処理装置の処理は、ソフトウェアにより実行させることもできるし、ハードウェアにより実行させることもできる。また、これらの処理を実行する機能はハードウェアとソフトウェアの組み合わせによっても実現できることは言うまでもない。これらの処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで各種の機能を実行することが可能である。例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。
【０１０４】
例えば、上述例では、図２、５、７、１０、１１のフローチャートでの各処理要素を、ソフトウェアにより実行する例を説明したが、ハードウェアにより実行されるようにしてもよい。
【０１０５】
また、本実施の形態では、対象人物の頭部を追尾した結果のフレームを表示部４で表示させるようにしている。しかし、このフレームを表示部４で表示させるとともに、記憶部７に記憶（録画）させてもよい。これにより、対象人物の頭部を追尾した録画データをいつでも見ることができる。
【０１０６】
また、本実施の形態での対象人物の頭部追尾処理は、実時間での撮像データを用いて頭部追尾処理を行っているが、事前に録画した撮像データに対しても対象人物の頭部追尾処理を行うようにしてもよい。
【０１０７】
以上、本発明の一実施形熊の例について説明したが、本発明は上記実施形態の例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
【符号の説明】
【０１０８】
１…撮像装置、２…制御部、３…画像ＲＡＭ、４…表示部、５…操作部、６…画像処理、７…記憶部、８…外部インターフェース、９…光学系、１０…光学系駆動部、１１…イメージセンサ、１２…信号処理部、１３…パンチルト駆動部、１４…データバス、２１…顔検出部、２１Ａ…顔向き判定部、２２…頭部追尾部、２３…特徴点追尾部、２３Ａ…特徴点情報抽出部、２３Ｂ…ベクトル算出部、２４…色追尾部、２４Ａ…色情報抽出部
【図１】
2011166305.tif 000007
【図２】
2011166305.tif 000008
【図３】
2011166305.tif 000009
【図４】
2011166305.tif 000010
【図５】
2011166305.tif 000011
【図６】
2011166305.tif 000012
【図７】
2011166305.tif 000013
【図８】
2011166305.tif 000014
【図９】
2011166305.tif 000015
【図１０】
2011166305.tif 000016
【図１１】
2011166305.tif 000017
【図１２】
2011166305.tif 000018
【図１３】
2011166305.tif 000019
【図１４】
2011166305.tif 000020
【図１５】
2011166305.tif 000021
【図１６】
2011166305.tif 000022