"映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段とを有することを特徴とする顔画像認識装置。映像から肌色領域を抽出する肌色領域抽出手段を更に有し、前記顔領域抽出手段は、抽出された肌色領域から前記人物の顔が写っている顔領域を抽出することを特徴とする請求項1記載の顔画像認識装置。前記顔認識手段は、前記顔領域の特徴と前記人物特定テンプレートとを照合して前記顔領域に正面の向きで写っている人物の顔を認識する認識手段と、前記顔領域の特徴と前記人物不特定テンプレートとを照合して、前記顔領域に正面以外の向きで写っている前記認識した人物の顔の向きを追跡する追跡手段とを有し、前記認識手段は前記顔領域に正面以外の向きで写っている前記認識した人物の認識結果を保持することを特徴とする請求項1又は2記載の顔画像認識装置。前記人物特定テンプレート及び前記人物不特定テンプレートは複数の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有しており、前記人物不特定テンプレートは、目標とする正面以外の向きの複数の顔画像の各特徴点について、前記顔画像で前記特徴点を平均位置にずらして調整した第1の平均画像を算出し、前記第1の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴と前記複数の顔画像の各特徴点で計測されたガボールウェーブレット特徴との位相の差分により位置ずれを推定し、推定した位置ずれを新たに前記複数の顔画像に適用して、複数の顔画像の各特徴点について、前記特徴点ごとに更にずらされた第2の平均画像を算出し、前記第2の平均画像の各平均特徴点で計測されたガボールウェーブレット特徴を成分として有することを特徴とする請求項1乃至3何れか一項記載の顔画像認識装置。コンピュータを、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段として機能させるための顔画像認識プログラム。従来の顔画像認識システム100では、入力映像の各フレームに顔領域検出の処理をかけて、検出された顔領域において可変テンプレートマッチングを初期化して、人物を認識する。従来の顔画像認識システム100では、顔の向きが正面から離れて顔領域の検出が出来なくなっても、前フレームでの可変テンプレートマッチング結果に基づいて、正面以外の向きでのテンプレートと照合して、人物の追跡と認識を続ける。従来の顔画像認識システム100では正面以外の向きでも、認識対象となる人物の人数分の各向きの可変テンプレートが必要であった。したがって、図1に示す従来の顔画像認識システム100では以下のような問題点があった。第1の問題点として、従来の顔画像認識システム100では可変テンプレートとの照合を初期化するために、先ず入力映像中の顔でありそうな領域を顔領域として検出する必要がある。顔領域検出部101による顔領域の検出処理は入力映像のフレームの全画面をスキャンするので、計算量が大きく、時間が掛かるという問題があった。第2の問題点として、従来の顔画像認識システム100では認識対象となる人物の顔が複数の向きで映った画像を集めて、各顔画像から可変テンプレートを構築してDBに登録する必要がある。しかし、認識対象となる人物の顔が複数の向きで映った画像を集めることは容易なことではない。第3の問題点として、従来の顔画像認識システム100では認識対象となる人物の顔が複数の向きで映った画像を集めることができたとしても、入力映像中に写っている顔の向きと、可変テンプレートDB103に登録されている顔の向きとが近ければ近いほど、照合して算出される類似度が高くなる傾向にある。それ故に、従来の顔画像認識システム100では、入力映像中に写っている人物本人の顔の向きに、別の人物他人の可変テンプレートの顔の向きが本人の可変テンプレートの顔の向きより近い場合、本人が他人として誤認識されることがあった。第4の問題点として、従来の顔画像認識システム100では認識対象となる人物の顔が複数の同じ向きで写った画像一致する方向を向いた認識対象となる全人物の顔の画像があれば第3の問題は発生しないが、複数の向きごとに認識対象となる人物の人数分の可変テンプレートがある故に、照合に必要な計算量が多いという問題があった。本発明は上記の点に鑑みなされたものであり、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。上記課題を解決するため、本発明は、映像中の人物の顔を認識する顔画像認識装置であって、認識対象となる人物の正面の向きの顔画像の人物特定テンプレート及び多数の人物の目標とする正面以外の向きの平均的な顔画像の人物不特定テンプレートが登録されたテンプレート格納手段と、映像から人物の顔が写っている顔領域を抽出する顔領域抽出手段と、抽出された顔領域の特徴を抽出し、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物特定テンプレートとを照合して、前記顔領域に写っている人物の顔を認識すると共に、前記顔領域の特徴と前記テンプレート格納手段に登録された前記人物不特定テンプレートとを照合して、前記顔領域に写っている前記認識した人物の顔の向きを追跡する顔認識手段とを有することを特徴とする。なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、データ構造などに適用したものも本発明の態様として有効である。本発明によれば、顔画像認識の処理の高速化及び登録作業の簡単化が可能な顔画像認識装置及び顔画像認識プログラムを提供することができる。次に、本発明を実施するための形態を、以下の実施例に基づき図面を参照しつつ説明していく。<本発明の概要>本発明はコンピュータによる顔画像認識において、映像中の人物の顔を追跡しながら、顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。本発明は複数の人物と複数の顔の向きとに対応することに伴う計算量の増加及び登録作業の複雑化に対応するため、人物の顔が正面に近い向きで映ったときに顔画像のデータベースに登録してある人物の顔と照合して、誰の顔であるかを認識する。また、本発明は人物の顔が正面から離れた向きで映ったときに、特別に用意した顔テンプレート人物不特定可変テンプレートを使用し、顔領域を追跡して認識結果を保持する。なお、人物不特定可変テンプレートの詳細については後述するが、認識対象となる人物の人数によらず、向きごとに一つの人物不特定可変テンプレートを使用すればよいため、顔領域を追跡する為の計算量が大幅に削減される。このように、本発明は顔領域を追跡する為の追跡技術の計算量が、複数の人物の様々な向きの顔を認識する計算量に比べて少ないため、様々な顔の向きに対応する頑健性が高く、高速な顔画像認識の処理を実現できる。<ハードウェア構成>本実施例の顔画像認識装置は、PCやワークステーション等により実現することができる。ここでは、本実施例の顔画像認識装置をPCにより実現する例について説明する。なお、顔画像認識装置は必ずしも一つの筐体で構成されることを示すものではない。また、本実施例の顔画像認識装置は顔画像認識システムのように複数の装置に機能を分散させる構成とすることもできる。本実施例の顔画像認識装置は例えば図2に示すようなハードウェア構成のPCにより実現される。図2はPCの一例のハードウェア構成図である。PC10はバス19で相互に接続されている入力装置11、出力装置12、記録媒体読取装置13、補助記憶装置14、主記憶装置15、演算処理装置16、インタフェース装置17を含む。入力装置11はキーボードやマウス等である。入力装置11は各種信号を入力するために用いられる。出力装置12はディスプレイ装置等である。出力装置12は各種ウィンドウやデータ等を表示するために用いられる。インタフェース装置17は、モデム,LANカード等である。インタフェース装置17は、ネットワークに接続するために用いられる。顔画像認識装置に搭載される顔画像認識プログラムは、PC10を制御する各種プログラムの少なくとも一部である。顔画像認識プログラムは例えば記録媒体18の配布やネットワーク等からのダウンロードなどによって提供される。記録媒体18はCD-ROM、フレキシブルディスク、光磁気ディスク等の様に情報を光学的,電気的或いは磁気的に記録する記録媒体、ROM、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。顔画像認識プログラムを記録した記録媒体18が記録媒体読取装置13にセットされると、顔画像認識プログラムは記録媒体18から記録媒体読取装置13を介して補助記憶装置14にインストールされる。ネットワーク等からダウンロードされた顔画像認識プログラムはインタフェース装置17を介して補助記憶装置14にインストールされる。補助記憶装置14は、インストールされた顔画像認識プログラム、必要なファイル、データ等を格納する。主記憶装置15は顔画像認識プログラムの起動時に、補助記憶装置14から顔画像認識プログラムを読み出して格納する。そして、演算処理装置16は主記憶装置15に格納された顔画像認識プログラムに従って、後述するような各種処理を実現している。<機能構成>図3は本実施例の顔画像認識装置の一例の機能構成図である。図3の顔画像認識装置20は肌色領域抽出部21、顔領域検出部22、顔部品追跡部23、可変テンプレートDB24を有する構成である。肌色領域抽出部21は入力映像中から肌色の領域を抽出する。入力映像中から肌色の領域を抽出する処理の詳細は後述する。顔領域検出部22は肌色領域抽出部21によって抽出された肌色の領域から、人物の顔が写っている顔領域を抽出する。顔領域を抽出する技術は上記した既存の技術を利用すればよい。顔部品追跡部23は、顔領域検出部22によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートDB24に登録した可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。顔部品追跡部23の処理の詳細は後述する。なお、本実施例で利用する可変テンプレートDB24は以下のように従来の可変テンプレートDB103と異なっている。可変テンプレートDB24は正面の向きの可変テンプレート以下、人物特定可変テンプレートというと、正面以外の向きの可変テンプレート以下、人物不特定可変テンプレートというとを登録している。人物特定可変テンプレートは認識対象となる人物の正面の向きの顔画像の可変テンプレートである。人物不特定可変テンプレートは必ずしも認識対象とはならない多数の人物の目標とする向きの顔画像を集めて構築した平均的な顔画像の可変テンプレートである。可変テンプレートDB24は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを、一つの人物不特定可変テンプレートに置き換えたものである。可変テンプレートDB24の詳細は後述する。顔部品追跡部23は、顔領域検出部22によって検出された顔領域の特徴を抽出し、抽出した特徴を可変テンプレートDB24に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に誰の顔が映っているかを推定し、抽出した特徴を可変テンプレートDB24に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が映っているかを推定する。顔部品追跡部23は、正面に近い向きで顔が写っている顔領域と人物特定可変テンプレートとの照合により人物の認識を行い、その後、顔が正面の向きから回転して離れても、正面以外の向きで顔が写っている顔領域と人物不特定可変テンプレートとの照合により顔を追跡することで、顔領域と対応付けて人物の認識結果を保持することができる。本実施例の顔画像認識装置20は上記した第1の問題点について、顔領域を抽出する処理の対象範囲を肌色の領域に絞ることで解決する。また、本実施例の顔画像認識装置20は上記した第2~第4の問題点について、人物不特定可変テンプレートを利用することで解決する。<肌色領域抽出>肌色領域抽出部21は正規化CbCr手法により入力フレームの各画素のRGB値が肌色に相当するか否かを判定する例えば非特許文献3参照。肌色領域抽出部21はRGB値をYCbCr空間に変換し、CbとCrとの値を式1により正規化する。なお、Yは輝度信号である。CbはB信号から輝度信号Yを差し引いた色差信号B-Yに特定の定数を掛けた値である。また、CrはR信号から輝度信号Yを差し引いた色差信号R-Yに特定の定数を掛けた値である。肌色領域抽出部21は、ある画素xに対応するCb′,Cr′xの位置が肌色代表点から一定の距離以内にあれば、式2に示すように、その画素xを肌色と判定する。肌色領域抽出部21は一般化されたメディアンフィルタにより、肌色または肌色ではないと判定され孤立した画素を除去する。以下の式3ではa=0.5の場合に、メディアンフィルタとなる。以下の式3では、aの値により少なめ又は多めに画素がONqx=1になる。肌色領域抽出部21は連接領域抽出connectedcomponentlabelingの処理と連接領域の外周ボックスに条件閾値をかけることにより、安定した肌色領域を抽出する。図4は肌色領域抽出の概要を示す一例の説明図である。肌色領域抽出部21は各画素のRGB値をYCbCr空間に変換し、CbとCrとの値を式1により正規化して、Y=128平面に射影している。肌色領域抽出部21は、肌色代表点に近ければ画素を肌色と判定する。肌色領域抽出部21は一般化されたメディアンフィルタにより独立画素を取り除いた領域を出力する。また、肌色領域抽出部21は連接領域抽出の処理により肌色領域リストを出力する。肌色領域抽出部21はメディアンフィルタ及び連接領域抽出の処理により安定した肌色領域を抽出する。<可変テンプレートの構築>従来の顔画像認識システム100で用いていた可変テンプレートは例えば図5に示すような成分を有する。図5は可変テンプレートの内容を示す一例の説明図である。従来の顔画像認識システム100で用いていた可変テンプレートは登録した顔画像において、顔の向きによって見えている最大9点の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを成分として有する。なお、図5では特徴点の数をNFP=9点としているが、その他の数を採用することもできる。特徴点は目頭、目尻など顔の部品に対して指定されるので顔画像の二次元的な形状を反映する。また、図5ではガボールウェーブレット特徴が5つの解像度×8つの方位を使用しているが、その他の数を採用することもできる。ガボールウェーブレット特徴は各解像度と各方位において、特徴点の近傍に、顔画像にどの程度の信号エネルギーがあるかを表現するものであるため、画像の輝度パターンを反映する。従来の顔画像認識システム100では、各向きに対して登録人数分認識対象となる人物の人数分の可変テンプレートを準備する必要があった。本発明では正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートに置き換える。図6は、ある向きにおける人物不特定可変テンプレートの構築方法を示す一例の説明図である。まず、ある向きにおける人物不特定可変テンプレートの構築方法では、必ずしも認証対象の人物を含まない多数の人物k,0≦k<Kの、目標とする各向きの顔画像Ikx,0≦k<Kを集めて、特徴点の位置座標を手動で指定する。各特徴点の平均位置と各特徴点のガボールウェーブレット特徴を計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では各特徴点n,0≦n<NFPについて、各画像でその特徴点nを平均位置にずらしてアラインした平均画像Anxを算出する。次に、ある向きにおける人物不特定可変テンプレートの構築方法ではガボールウェーブレット特徴cnを、平均画像Anxでの各平均特徴点位置で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では人物kの顔画像Ikと各特徴点nとで、ガボールウェーブレット特徴cnを平均画像Anxにおいて、各平均特徴点位置で計測する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では顔画像Ikと各特徴点nとで、ガボールウェーブレット特徴とcnとの位相の差分より、顔画像Ikの特徴点nが平均画像Anxでの平均特徴点から、どれだけずれているか、その位置ずれを推定する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では推定した位置ずれを新たに顔画像Ikxに適用して特徴点ごとに、更にずらされた平均画像を算出する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では、新たににおいて、平均特徴点位置でガボールウェーブレット特徴を計測する。人物不特定可変テンプレートは各平均特徴点位置とガボールウェーブレット特徴を有する。次に、ある向きにおける人物不特定可変テンプレートの構築方法では、正面以外の向きの登録人数分の可変テンプレートを一つの人物不特定可変テンプレートで置き替える。正面の向きの登録人数分の可変テンプレート人物特定可変テンプレートは、従来の顔画像認識システム100と同様、登録人数分の可変テンプレートのままとする。<顔部品追跡部23の構成>図7は顔部品追跡部の一例の機能構成図である。図7の顔部品追跡部23は認識部31、追跡部32を有する構成である。認識部31は顔領域検出部22によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートDB24に登録した人物特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで誰の顔が映っているかを推定する。追跡部32は顔領域検出部22によって検出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを抽出し、抽出した特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とを可変テンプレートDB24に登録した人物不特定可変テンプレートと照合することにより、検出された各顔領域に、どの向きで顔が写っているかを追跡する。ところで、顔領域検出部22は肌色の領域に、正面に近い向きの顔が写っているときに顔領域として抽出する。言い換えれば顔領域検出部22によって抽出された顔領域には正面に近い向きで顔が写っていることになる。結果として、顔領域検出部22によって抽出された顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物特定可変テンプレートと最もマッチングすることになる。その後、顔領域に写っている顔が正面の向きから回転して離れると、顔領域の特徴点の座標と各特徴点で計測されたガボールウェーブレット特徴とは人物不特定可変テンプレートと最もマッチングすることになる。ただし、人物不特定可変テンプレートは多数の人物の顔画像を集めて構築した平均的な可変テンプレートである。そこで、人物不特定可変テンプレートと最もマッチングするとき、認識部31は既に人物特定可変テンプレートによって推定した推定認識結果を維持する。このように、図7の顔部品追跡部23は顔領域に写っている顔が正面の向きから回転して離れても、追跡部32により顔の追跡を行い、認識部31により認識結果を維持保持することで、様々な顔の向きの人物を認識することを可能としている。つまり、本実施例の顔画像認識装置20は登録人数分の可変テンプレートが無くても、正面の向きで顔が認識されれば、認識には使用できない人物不特定テンプレートにより顔の向きの追跡を行い、既に認識した認識結果を連続的に引き継いでいくことにより、様々な向きの顔画像に対して人物の認識結果を付与することができる。<効果>本実施例の顔画像認識装置20は顔領域検出部22による顔領域の検出を肌色領域抽出部21によって抽出された肌色の領域に絞ることにより、顔領域の検出の処理時間を、ほぼ肌色の領域/画面の面積という比率で低減できる。また、本実施例の顔画像認識装置20は以前の顔画像認識システム100と比べて顔部品追跡部23の計算量を大幅に省くことができる。顔部品追跡部23の計算量は、正面以外の向きで顔が写っているとき、ほぼ1/登録人数に低減できる。また、本実施例の顔画像認識装置20は認識対象となる人物の顔が正面の向きで映った画像を集めればよいため、可変テンプレートDB24の登録作業が依然の顔画像認識システム100と比べて大幅に簡単化できる。また、本実施例の顔画像認識装置20の可変テンプレートDB24は正面以外の向きについて、認識対象となる人物の人数分の人物特定可変テンプレートを一つの人物不特定可変テンプレートに置き換えているため、上記した第3の問題点が発生しない。つまり、本実施例の顔画像認識装置20は可変テンプレートDB24の作りによる性能差を少なくできる。本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。なお、特許請求の範囲に記載したテンプレート格納手段は可変テンプレートDB24に相当し、顔領域抽出手段は顔領域検出部22に相当し、顔認識手段は顔部品追跡部23に相当し、肌色領域抽出手段は肌色領域抽出部21に相当し、認識手段は認識部31に相当し、追跡手段は追跡部32に相当し、人物特定テンプレートは人物特定可変テンプレートに相当し、人物不特定テンプレートは人物不特定可変テンプレートに相当する。"