監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、前記監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置であって、前記照合部は、前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、前記顔領域画像と前記登録顔画像を照合し、当該顔領域画像の人物が前記登録人物か否かの認証をする顔照合手段と、前記顔照合手段が前記顔領域画像の人物は前記登録人物でないと認証し、かつ当該人物が認証されようとする所定の要望行動を取ったことを条件に当該人物を認証困難者と判定する判定手段と、を有することを特徴とする顔画像認証装置。前記照合部は、取得した前記顔領域画像が略静止していることを検出する静止検出手段をさらに備え、前記判定手段は、少なくとも前記顔領域画像が略静止している時間が所定時間以上であることを前記所定の要望行動としたことを特徴とする請求項1に記載の顔画像認証装置。前記照合部は、順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段をさらに備え、前記静止検出手段は、前記顔領域画像の追跡位置が略静止していることを検出することを特徴とする請求項2に記載の顔画像認証装置。前記照合部は、前記人物の顔向きを検出する顔向き検出手段をさらに備え、前記判定手段は、少なくとも前記顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いている前記顔領域画像の数が所定数以上であることを前記所定の要望行動としたことを特徴とする請求項1~3のいずれか1つに記載の顔画像認証装置。前記照合部は、前記顔領域画像と前記顔照合手段の認証結果とを対応付けて照合履歴として前記記憶部に記憶させる履歴管理手段をさらに備え、前記判定手段は、前記照合履歴を参照して、同一の前記人物に関し前記登録人物ではないとの認証結果が履歴閾値以上であることを前記条件に追加した請求項1~4のいずれか1つに記載の顔画像認証装置。前記照合部は、前記顔領域画像と前記顔照合手段の認証結果とを対応付けて照合履歴として前記記憶部に記憶させる履歴管理手段をさらに備え、前記判定手段は、前記照合履歴を参照して、同一の前記人物に関し所定の履歴参照期間に含まれる前記登録人物ではないとの認証結果が増加傾向にあることを前記条件に追加した請求項1~4のいずれか1つに記載の顔画像認証装置。前記顔画像認証装置は、表示部と、外部からの指示入力により前記登録顔画像を前記顔領域画像にて再登録する登録手段をさらに備え、前記登録手段は、前記登録顔画像と、前記登録人物ではないとの認証結果の回数の多い順に前記顔領域画像を前記表示部に並べて表示させ、指示入力を受けた際に表示された前記登録顔画像を当該顔領域画像にて再登録することを特徴とした請求項1~6のいずれか1つに記載の顔画像認証装置。特許文献1に記載された顔画像照合装置は、照合時に本人であると判定された候補顔画像がその後の照合処理において入力顔画像と類似していると判定される状態が続いたときに登録顔画像を更新するので、誤って登録者以外の人物の顔画像によって登録顔画像を更新するおそれを低減しつつ、照合に失敗しやすい状態を解消することができる。しかしながら、この顔画像照合装置では登録顔画像を更新すべきと判断するためにはその人物に対する照合が複数回にわたってされる必要があるため、認証されにくい状態にある人物をより早期に検出することができる顔画像認証装置が望まれている。そこで、本発明の目的は、予め登録された人物のうち認証されにくく、認証失敗となることが多い人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択する顔画像認証装置を提供することにある。かかる課題を解決するための本発明は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備し、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、顔領域画像と登録顔画像を照合し、当該顔領域画像の人物が登録人物か否かの認証をする顔照合手段と、顔照合手段が顔領域画像の人物は登録人物でないと認証し、かつ当該人物が認証されようとする所定の要望行動を取ったことを条件に当該人物を認証困難者と判定する判定手段とを有することを特徴とする。また、本発明に係る顔画像認証装置において、照合部は、取得した顔領域画像が略静止していることを検出する静止検出手段をさらに備え、判定手段は、少なくとも顔領域画像が略静止している時間が所定時間以上であることを所定の要望行動とすることが好ましい。また、本発明に係る顔画像認証装置において、照合部は、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段をさらに備え、静止検出手段は、顔領域画像の追跡位置が略静止していることを検出することが好ましい。また、本発明に係る顔画像認証装置において、照合部は、人物の顔向きを検出する顔向き検出手段をさらに備え、判定手段は、少なくとも顔領域画像に写っている顔が撮像部に対して略正面方向を向いている顔領域画像の数が所定数以上であることを所定の要望行動とすることが好ましい。また、本発明に係る顔画像認証装置において、照合部は、顔領域画像と顔照合手段の認証結果とを対応付けて照合履歴として記憶部に記憶させる履歴管理手段をさらに備え、判定手段は、照合履歴を参照して、同一の人物に関し登録人物ではないとの認証結果が履歴閾値以上であることを条件に追加することが好ましい。また、本発明に係る顔画像認証装置において、照合部は、顔領域画像と顔照合手段の認証結果とを対応付けて照合履歴として記憶部に記憶させる履歴管理手段をさらに備え、判定手段は、照合履歴を参照して、同一の人物に関し所定の履歴参照期間に含まれる登録人物ではないとの認証結果が増加傾向にあることを条件に追加することが好ましい。また、本発明に係る顔画像認証装置において、表示部と、外部からの指示入力により登録顔画像を顔領域画像にて再登録する登録手段をさらに備え、登録手段は、登録顔画像と、登録人物ではないとの認証結果の回数の多い順に顔領域画像を表示部に並べて表示させ、指示入力を受けた際に表示された登録顔画像を当該顔領域画像にて再登録することが好ましい。本発明に係る顔画像認証装置は、予め登録された人物のうち認証されにくく、認証失敗となることが多い人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択できるという効果を奏する。なお、以下本明細書においては、認証失敗となることが多い人物を認証困難者と称して説明する。以下、図を参照しつつ、本発明にかかる顔画像認証装置の一つの実施の形態を、図を参照しつつ説明する。顔画像認証装置に対して認証を要望する人物は、なかなか認証されない場合、カメラを直視しながら立ち止まったりゆっくり歩くといった特徴的な行動をとる傾向にある。そこで、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像を順次取得するとともに、その順次取得した複数の監視画像にわたって同一の人物を追跡する。そして顔画像認証装置は、追跡中の人物がカメラを直視しながら立ち止まったりゆっくり歩く等の、認証されようとする特徴的な行動を取っているか否かを判定し、その後、認証の履歴を参照して、認証失敗となることが多い人物を認証困難者として検出する。これにより、顔画像認証装置は、認証困難者を早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することを図る。図1は、本発明を適用した顔画像認証装置10の概略構成を示す図である。図1に示すように、顔画像認証装置10は、撮像部100、出力部200、表示部300、入力部400及び画像処理部500を有する。以下、顔画像認証装置10の各部について詳細に説明する。撮像部100は、所定の監視領域を撮影する監視カメラであり、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子例えば、CCDセンサ、C-MOSなどと、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像部100は、監視領域内を通行する人物顔画像認証装置10による照合の対象となる監視領域内の人物を対象人物と称するの顔を順次撮影できるように設置される。そして撮像部100は、監視領域を撮影した監視画像を、所定の時間間隔例えば、200ミリ秒ごとに取得する。撮像部100は、画像処理部500と接続され、取得した監視画像を画像処理部500へ渡す。図2に、顔画像認証装置10がオフィスビルの入り口に設置される場合の撮像部100の設置例を模式的に示す。図2に示すように、例えば、顔画像認証装置10がオフィスビルの入り口253に設置される場合、撮像部100は、入り口253に通じる通路を監視領域に含むよう、入り口253が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部100は、入り口253に向かう進行方向254へ向かう対象人物を所定の時間間隔で撮像することができる。なお図2では、撮像部100が、時刻t、t1、t2において入り口253に向かう同一の対象人物250、251、252を順次撮影する様子を示している。監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横340画素×縦240画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。出力部200は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部200は、画像処理部500から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。表示部300は、画像処理部500と接続され、CRT、液晶ディスプレイ、有機ELディスプレイなどの表示装置を有する。そして表示部300は、画像処理部500からの要求に応じて画面を表示する。また、顔画像認証装置10は、画像処理部500からの要求に応じて音声を鳴動させたり、振動を発生させたりする、スピーカまたは振動装置等図示せずをさらに備えてもよい。入力部400は、キーボード、マウス等の入力デバイスで構成された入力インターフェースであり、管理者からの切換操作を受け付け、その操作に対応する信号を画像処理部500の登録手段529へ出力する。また、表示部300をタッチパネルディスプレイで構成することにより、表示部300と入力部400を一体化してもよい。画像処理部500は、例えば、いわゆるコンピュータにより構成される。そして画像処理部500は、撮像部100から受け取った監視画像に基づいて、対象人物を認証するとともに、認証されにくい状態にあることを判定し、履歴を参照して認証困難者を検出する。そのために、画像処理部500は、記憶部510及び照合部520を有する。さらに、照合部520は、顔検出手段521、顔追跡手段522、顔照合手段523、行動検出手段524、履歴管理手段527、判定手段528、及び登録手段529を有する。記憶部510は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部510には、顔画像認証装置10を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部510は、照合に使用される登録顔画像を対応する登録された人物以降、登録人物と称するの登録人物IDと関連付けて記憶する。また記憶部510は、画像処理により生じた対象人物に関する情報を管理するための照合テーブル及び履歴テーブルを記憶する。この照合テーブル及び履歴テーブルの詳細については後述する。照合部520の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成しでもよい。以下、照合部520の各手段について詳細に説明する。顔検出手段521は、撮像部100から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を抽出し、顔領域画像を抽出する。顔領域を抽出するために、顔検出手段521は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部100によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段521は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段521は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段521は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段521は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは顔検出手段521は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはPViolaとMJonesによる論文RapidObjectDetectionUsingaBoostedCascadeofSimpleFeaturesProctheIEEEInternationalConferenceonComputerVisionandPatternRecognitionvol1pp5115182001を参照することができる。そして顔検出手段521は、抽出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段522に出力する。顔追跡手段522は、所定の時間間隔で連続して取得される複数の監視画像にわたって顔検出手段521から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域どうしを対応付けることで顔領域画像の追跡を行う。例えば、顔追跡手段522は、最新の監視画像から抽出された顔領域以降、現フレームの顔領域と称するの重心位置と、1フレーム前の監視画像から抽出された顔領域以降、前フレームの顔領域と称するの重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、対象人物が撮像部100から離れているときに一定の距離を移動した場合と撮像部100の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。あるいは、顔追跡手段522は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。顔追跡手段522は、顔領域の対応付けを行うと、記憶部510に格納されている照合テーブルを更新する。図3に照合テーブルの例を示す。図3に示すように照合テーブル310は、対象人物ごとに照合データを管理する。照合データは、照合テーブル310の各行にあらわされるデータの組であり、顔追跡手段522は、照合データのうち、試行番号311、対象人物ID312、開始時刻313、追跡フラグ314、顔画像データ315及び追跡位置情報316を更新する。図3に示した照合テーブル310において、試行番号311は、追跡中の対象人物の照合データを他の照合データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段522によって追跡がされている間、同一の識別番号が割り当てられ続ける。対象人物ID312は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号311と1対1に対応する。対象人物ID312は、一意に定まるように付与されるものとなる。例えば、顔追跡手段522が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、対象人物ID312と試行番号311は1対1に対応するので、いずれかを省略してもよい。開始時刻313は、顔検出手段521がその対象人物について顔領域画像を最初に抽出し、顔追跡手段522が追跡処理を開始した時刻をあらわす。追跡フラグ314は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段522がその対象人物の追跡を開始するとONになり、追跡を終了するとOFFになる。つまり、追跡フラグ314がONのときはその対象人物は監視領域内に存在し、追跡フラグ314がOFFのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。顔画像データ315は、顔検出手段521によって作成され、顔追跡手段522によって追跡処理でその対象人物のものとして対応付けられた全ての顔領域画像のデータである。追跡位置情報316は、顔画像データ315として記憶された各顔画像データが切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。顔追跡手段522は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、照合テーブル310にその対象人物についての照合データを新たに追加し、初期化処理を行う。即ち顔追跡手段522は、その照合データに新たな試行番号311及び対象人物ID312を割り当てるとともに、開始時刻313として現在時刻を記録し、追跡フラグ314をONに設定する。また顔追跡手段522は、顔画像データ315としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報316としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段522は、認証フラグ317をOFFに設定し、要望行動カウンタ318を0に設定する。そして顔追跡手段522は、新たに追加した照合データを顔照合手段523に出力する。一方、顔追跡手段522が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての照合データは、既に照合テーブル310に作成されている。そのため、顔追跡手段522は、照合テーブル310の、対応する照合データの顔画像データ315にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報316にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段522は、その照合データを顔照合手段523に出力する。また、顔追跡手段522は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、照合テーブル310の、対応する照合データの追跡フラグ314をOFFにして、その対象人物についての追跡処理を終了する。顔照合手段523は、顔追跡手段522から出力された照合データのうち、図3に示した照合テーブル310の認証フラグ317がOFFとなっている照合データの最新の顔領域画像と記憶部510から読み込んだ各登録顔画像とを照合し、同一人物によるものか否かを判定する。そして顔照合手段523は、照合データの最新の顔領域画像と登録顔画像とが同一人物によるものであると判定すると、その照合データの認証フラグ317をONに設定する。つまり、この認証フラグ317は、対象人物に対する認証が成功したか否かをあらわすフラグである。顔照合手段523は、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔照合手段523は、顔領域画像と登録顔画像のパターンマッチングを行う。顔照合手段523は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。顔照合手段523は、各登録顔画像について求めた類似度のうち、最も高い類似度が所定の認証閾値を越える場合、その顔領域画像に写っている対象人物を、類似度が最も高い値を有する登録顔画像により登録された登録人物である認証成功と判断する。一方、顔照合手段523は、何れの類似度も所定の基準値を越えない場合、顔領域画像に写っている対象人物は登録人物ではない認証失敗と判断する。なおこの認証閾値は、顔画像認証装置10が設置される環境、目的などに応じて適宜定められる。顔照合手段523は、対象人物が登録人物であると判定すると、認証フラグ317をONに設定し、認証成功を示す信号を出力部200へ出力する。また、顔照合手段523は、照合処理を実施した対象人物の照合データを行動検出手段524に出力する。行動検出手段524は、顔領域画像に写っている対象人物の行動が認証を要望する行動以下、要望行動と称するらしさを表す行動特徴量を算出する。そして行動検出手段524は、その行動特徴量がその対象人物が要望行動を取っていることを表す所定の条件を満たす場合に、その対象人物は認証されにくい状態にあると検出し、後述するように要望行動カウンタをインクリメントする。そのために、行動検出手段524は、行動特徴量として、その対象人物が撮像部100の方向を向いている度合い、すなわち現フレームの顔領域画像に写っている顔が撮像部100に対して正面方向を向いている度合いを示す直視度を算出する。また行動検出手段524は、行動特徴量として、顔追跡手段522が追跡している対象人物が監視領域内で静止している度合い、すなわち複数の監視画像における、顔追跡手段522によって対応付けられた各顔領域の位置の変化の小ささの度合いを示す静止度を算出する。そして行動検出手段524は、直視度及び静止度に基づいて、その顔領域画像に写っている対象人物が要望行動を取っているか否かを判定する。そのために行動検出手段524は、顔向き検出手段525と静止検出手段526を有する。顔向き検出手段525は、行動特徴量を算出する特徴量算出手段として機能し、顔照合手段523から出力された照合データについて現フレームの顔領域画像に写っている顔の直視度を算出する。図2の時刻t2における対象人物252上に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系X、Y、Zでは、原点Oは顔向きの検出対象となる人物の顔領域画像の重心に設定される。X軸は、原点Oを通り、顔の正中線に沿った垂直軸として設定される。Y軸は、原点Oを通り、顔を左右に横断する方向の水平軸として設定される。Z軸は、顔を前後に横断する方向の水平軸として設定される。この座標系において、人物の顔向きは、人物が撮像部100を直視した状態すなわち、人物が顔の正面を撮像部100に向けており、Z軸が撮像部100と顔を結ぶ直線となる状態を顔向きの基準となる正対状態とした場合のヨー角ψ、ピッチ角θ及びロール角φの組ψ、θ、φで表される。ヨー角ψは、正対状態における人物の顔向きに対する、左右方向の回転角すなわち、X軸を回転中心とした、YZ平面内での回転角を表す。またピッチ角θは、正対状態における人物の顔向きに対する、上下方向の回転角すなわち、Y軸を回転中心とした、XZ平面内での回転角を表す。またロール角φは、正対状態における人物の顔向きに対する、Z軸を回転中心とした時計回りの回転角を表す。以下では、ヨー角ψ、ピッチ角θ及びロール角φを、ラジアン単位で表し、それぞれ、右向き方向、下向き方向、時計回り方向を正とする。顔向き検出手段は、まず、顔領域画像から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段525は、抽出した顔特徴点の種別と顔領域画像上の位置情報例えば、顔領域画像の左上端部を原点とする2次元座標値を算出する。例えば、顔向き検出手段525は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段525は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段525は、顔領域画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔向き検出手段525は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段525は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、顔領域画像にガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段525は、顔の各部位に相当するテンプレートと顔領域画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。そして顔向き検出手段525は、抽出した顔特徴点と、人物の顔の3次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出する。この場合、人の頭部の標準的な形状を模した3次元形状モデル例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表されるを予め準備し、記憶部510に記憶しておく。またその3次元形状モデルの両目尻、鼻尖点、口点といった3D顔特徴点の位置も記憶部510に記憶しておく。顔向き検出手段525は、顔領域画像から顔特徴点を抽出すると、3次元形状モデルについて、所定の回転量、並進量または拡大縮小率にしたがってその顔向きを調整し、撮像部100の結像光学系の像面と平行な面に仮想的に投影して、その面上における3D顔特徴点の位置を求める。そして顔向き検出手段525は、顔領域画像から抽出された各顔特徴点と、投影された3D顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段525は、回転量、並進量または拡大縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの3次元形状モデルの顔の向きを求める。そして顔向き検出手段525は、その3次元形状モデルの顔の向きから、上記のヨー角ψ、ピッチ角θ及びロール角φの組ψ、θ、φを求めることができる。あるいは、本願出願人による特開2009-237993に開示されている手法を採用することもできる。直視度は、例えば1式で表されるように、ヨー角ψとピッチ角θの絶対値和の逆数とすることができる。つまり直視度は、顔領域画像に写っている顔の向きが撮像部100に対して正面方向に近いほど大きい値となる。例えば、対象人物が撮像部100を直視している場合、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。一方、撮像部100に対して顔を背けている場合は、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。そして顔向き検出手段525は、直視度を算出すると、算出した直視度をその顔領域画像と対応付けて記憶部510に記憶しておく。静止検出手段526も、行動特徴量を算出する特徴量算出手段として機能し、照合テーブル310の追跡位置情報316を用いて、顔追跡手段522によって対応付けられた顔領域について静止度を算出する。例えば、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸が設定される2次元の座標系を設定する。つまりこの座標系では、撮像部100が監視領域をやや上方向から撮影するように設置されている場合、撮像部100からみて対象人物が左から右へ移動する方向にx軸が、撮像部100の撮影方向にそって対象人物が近づく方向にy軸が設定される。この座標系において、時刻tにおける顔領域の重心位置をxtytとする。その場合、時刻tにおける顔領域の静止度は、例えば2式で表されるように、前フレームの顔領域の重心位置に対する現フレームの顔領域の重心位置の、水平方向の差と垂直方向の差の絶対値和の逆数とすることができる。つまり静止度は、同一人物の顔が写っている顔領域の監視画像内における位置の変化が小さいほど大きい値となる。例えば図2に示した例では、時刻tから時刻t1の間に対象人物が移動した距離255よりも時刻t1から時刻t2の間に対象人物が移動した距離256の方が小さいため、時刻t2における静止度は時刻t1における静止度より大きくなる。そして静止検出手段527は、静止度を算出すると、算出した静止度をその顔領域画像と対応付けて記憶部510に記憶しておく。なお、撮像部100の床面からの高さ、俯角、焦点距離などの撮像条件が既知である場合には、撮像部100と対象人物との実際の距離をおおよそ算出できるので、静止検出手段526は、2式に準じ、当該距離の時間変化の絶対値の逆数を静止度として算出してもよい。履歴管理手段527は、顔照合手段523が算出した類似度、同手段が判断した認証結果を記憶部510に記録する。図4に類似度が格納されるテーブルの例を示す。このテーブルは、図3に示した照合テーブルの一部であるが、説明の都合上、以下履歴テーブルと称して説明する。図3と図4に示されるテーブルの各行は、1回の試行により記録される照合履歴となっている。履歴管理手段527は、図4に示す照合データごとに照合により得られた履歴データを管理する。履歴データは、履歴テーブル410の各行にあらわされるデータの組であり、対象人物ID312、顔画像データ315、要望行動カウンタ318、グループ番号321、認証困難者フラグ322、認証時間323、類似度412および認証結果416を含む。また、履歴テーブル410には、登録人物を他の登録人物と識別するための登録人物ID413及びその登録人物の顔画像をあらわす登録顔画像414が管理されており、類似度412は登録人物ID413ごとに管理される。なお、図4における顔画像データ315は、理解しやすいように1枚のみを示している。類似度412は、顔照合手段523が、対象人物が写っている顔領域画像を各登録顔画像414と照合した結果として算出した類似度である。また、登録人物ID413は、登録人物を他の登録人物と識別するためのIDである。登録人物ID413は、連続した正の整数でもよいが、例えば社員番号のように登録人物を一意に特定できるものであればどのようなものでもよい。登録顔画像414は、事前登録あるいは追加登録された登録人物の顔画像である。登録人物一人に対して一つ又は複数の登録顔画像が存在し得る。登録人物一人に対して複数の登録顔画像414が存在するときは、それぞれの登録顔画像414に対して登録人物ID413を割り当てることが好適である。なお、図4では理解しやすいように登録顔画像414として顔をあらわす画像を示しているが、顔照合手段523が顔画像の照合処理を実施するために必要なデータの形式で記憶しておいてもよい。例えば顔照合手段523が所定の顔特徴点の比較のみにより照合処理を実施する場合には、その顔特徴点の情報のみを記憶しておくことにより、記憶容量を節約できる。履歴管理手段527は、顔照合手段523が認証成功と判断した場合、認証成功と判断した登録顔画像414については、認証成功と判断したフレームにおける類似度を記録し、認証成功と判断しなかった登録顔画像414については、同フレームにおいてそれぞれの登録顔画像414について算出された類似度を記録する。さらに、そのときの対象人物について認証成功だった旨と、認証成功と判断された登録人物ID413を認証結果416に記録する。一方、履歴管理手段527は、最終的に顔照合手段523が認証成功と判断しなかった対象人物に関しては、最も高い類似度が算出された登録顔画像414については、その最も高い類似度を記録し、その他の登録顔画像414については、その最も高い類似度が算出されたフレームにおけるそれぞれの登録顔画像414について算出された類似度を記録する。あるいは、履歴管理手段527は、顔照合手段523が認証成功と判断しなかった登録顔画像414については、その対象人物を写した顔領域画像と登録顔画像414について算出された、全ての類似度の平均値又は最近の所定数の類似度例えば、最近5秒間に算出された類似度の平均値を類似度412として記録しでもよい。これにより対象人物を写した顔領域画像と登録顔画像がどれくらい類似しているかについて、より高精度に求めることができる。なお、類似度412は、顔照合手段523によって対象人物が登録人物であると認証されて入室するまで、又は対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置10がタイムアウト等により、その対象人物に対する認証処理を終了するまで算出される。また履歴管理手段527は、顔向き検出手段525が算出した直視度及び静止検出手段526が算出した静止度に基づいて、その登録顔画像を更新するのに最も適した顔画像を選択し、候補顔画像319として照合テーブル310に記録する。本実施形態の行動検出手段524は、監視領域内の対象人物が認証時間内に撮像部100に顔を向けた状態で立ち止まったり、ゆっくり歩いたりしているか否かを判定する。そのために行動検出手段524は、顔向き検出手段525によって算出された直視度を直視度閾値と比較するとともに、静止検出手段526によって算出された静止度を静止度閾値と比較する。なお、直視度閾値は、顔領域画像に写っている対象人物の顔の向きが撮像部100を直視しているとみなせる角度範囲にあることを判別できるように定められ、例えばヨー角ψ及びピッチ角θをラジアン値で表した場合、4とするのが好適である。また、静止度閾値は、顔領域画像に写っている対象人物が略停止していることを判別できるように定められ、例えば1秒間に5フレームの監視画像を処理する場合、顔領域画像の幅をWとしたときに1W×05とするのが好適である。行動検出手段524は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合、要望行動カウンタをインクリメントする。この要望行動カウンタは、対象人物が要望行動を取っていると判定された回数を示すカウンタであり、図3に示した照合テーブル310にすなわち図4に示した履歴テーブル410にも記録される。一方、直視度が直視度閾値未満である場合、又は静止度が静止度閾値未満である場合、その対象人物は撮像部100から顔を背けていたり、又はすばやく動いていると考えられ、認証されたいという心理状態でない可能性が高い。そのためその場合、行動検出手段524は要望行動カウンタを更新しない。履歴管理手段527は、顔追跡手段522が対象人物の顔領域画像の追跡を開始してから、顔照合手段523が照合成功と判断するまで、または、対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置10がタイムアウト等により、その対象人物に対する認証処理を終了するまでの認証時間を算出する。顔追跡手段522が対象人物の顔領域画像の追跡を開始した時刻は、照合テーブル310の該当する照合データの開始時刻313に記憶されている。顔照合手段523が照合成功と判断した時刻は、その照合成功との判断に用いた顔領域画像を顔画像データ315として記憶した際に対応づけて照合テーブル310に記憶された追跡位置情報316の最新のものである。そこで履歴管理手段527は、両者の差から認証時間を算出する。なお、タイムアウトとする認証時間は、顔画像認証装置の動作として、一般的に認証処理に要すると考えられる時間を考慮し、認証成功との結果を得るために認証処理を最大限繰り返すべき時間に基づき定められるとする。本実施の形態では、図2に示すように、歩行中の対象人物について、顔追跡手段522が対象人物の顔領域画像を追跡し始めてから、顔照合手段523が時間切れとして認証失敗の結果を出すための時間を基準に定めるとして、例えば10秒間とすることができる。あるいは、撮像部100の画角や俯角、運用場所に依って増減するのが良い。また、要望行動カウンタについての所定の閾値は1以上の整数値である。例えば、3~4秒間、その対象人物が撮像部100を直視しながらその場に静止している場合、その対象人物についての登録顔画像を更新すべきと判断することができる。従って、例えば1秒間に5フレームの監視画像を処理する場合、この所定の閾値は20とすることができる。要望行動カウンタは、1枚の監視画像ごとにインクリメントの有無が判断されるので、その数は、監視画像の処理間隔を考慮すると、対象人物が、撮像部100を直視しており、静止している時間を表している。以下、図4に示した履歴テーブル410を用いて履歴管理手段527の動作を説明する。なお、図4に示した例において、類似度412のうち枠415が付されたものは、認証成功と判断されたときの類似度をあらわす。また、類似度の取り得る範囲を0~10とし、認証閾値を5とし、要望行動カウンタの閾値を5とする。例えば、対象人物ID312が0511の対象人物において、要望行動カウンタ318は0で要望行動カウンタの閾値を越えておらず、その対象人物が写っている顔画像と登録人物ID413が2の登録顔画像との類似度は987で認証閾値を越えている。この場合、顔画像認証装置10は、この対象人物は登録人物であるとして、すみやかに認証成功と判断しており、履歴管理手段527は、認証結果416の該当する欄に認証成功である旨と、登録人物ID413が2の登録人物であった旨、および顔追跡手段522による顔領域の追跡開始から顔照合手段523による認証成功までの認証時間は0.6秒であった、との結果を記録している。一方、対象人物ID413が0011の対象人物において、要望行動カウンタ318は5で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と登録人物ID413が1の登録顔画像との類似度は552で認証閾値を越えている。この場合、顔画像認証装置10はこの対象人物について認証成功と判断している。しかし、顔追跡手段522による顔領域の追跡開始から顔照合手段523による認証成功までの認証時間は5.2秒であった、との結果を記録している。対象人物ID412が0511の対象人物に比べ、認証されるまでに要望行動を取っていた時間があった分、認証時間は長くなっており、この対象人物は認証成功と判断されるまで要望行動をとっていた認証されにくい人物と考えられる。しかし、対象人物ID312が0205の対象人物において、要望行動カウンタ318は314で要望行動カウンタの閾値である5を遙かに越えており、その対象人物が写っている顔画像と各登録顔画像との類似度は最大でも095で認証閾値を越えていない。さらには認証時間323は、顔画像認証装置10がタイムアウトとする10秒が記録されている。この場合、対象人物は要望行動を繰り返しとったものの、顔画像認証装置10は、最終的にこの対象人物について認証成功と判断しなかった、即ち認証失敗に終わったことを示している。この対象人物は、登録されているが、髪型や化粧などの原因で非常に認証困難な状態になっている人物であるとも考えられる。または、未登録の来訪者、場合によっては侵入を企てる不審者の可能性もある。また、履歴管理手段527は顔照合手段523にて認証処理が終了した最新の履歴データについて、顔画像データ315を参照して、同一の対象人物が過去にも認証を試みているか、即ち同一の対象人物について履歴データが履歴テーブル410に含まれているか否かを判定する。なお、最新の履歴データでは、グループ番号321は付与されておらず、認証困難者フラグ322はOFFに初期化されている。そのために履歴管理手段527は、顔画像データ315を用い、顔照合手段523と同様な照合処理を行って同一の対象人物の履歴データが履歴テーブル410に含まれるか否かを判定する。履歴管理手段527は、最新の履歴データの顔画像データ315から1枚の顔領域画像を選択し、既にグループ番号321が付与されている履歴データの顔画像315との照合処理を行う。照合処理に用いる顔領域画像は、任意のものでよいが、直視度を参照してそれが最大のものを選択するのが好ましい。履歴管理手段527は、最新の履歴データの顔画像データ315が、既にグループ番号321が付与されている履歴データのいずれかの顔画像データ315と同一人物のものと判断できる場合には、過去にも認証を試みた対象人物が再び認証を試みたとしてそのグループ番号321と同じ番号を、最新の履歴データのグループ番号321に記憶する。一方で、最新の履歴データの顔画像データ315が、既にグループ番号321が付与されている履歴データのいずれの顔画像データ315と同一人物のものと判断できない場合には、履歴管理手段527は、今回初めて認証を試みた人物であるとして、新たな番号を生成して最新の履歴データのグループ番号321の欄に記憶する。新たな番号は、既に記憶済みの最大の番号に1を加えた番号でよい。これらの処理により、同一の対象人物の履歴データには同一のグループ番号321が付与され、過去にどれだけの頻度や回数で認証を試みたのか、図2の模式図でいうと入口253に接近したのかが把握できることになる。次に、同じく図4に示した履歴テーブル410を用いて判定手段528の動作を説明する。判定手段528は、対象人物が認証されにくく、結局は認証失敗に終わることが多い認証困難者に該当するか否かを判定する。そのために判定手段528は、履歴テーブル410の内容を参照し、同一の対象人物が過去にも認証失敗に終わったか否かを調べる。図4に示す履歴テーブルにおいて、対象人物ID312が0205と0642と0721と0879の対象人物は、同一の対象人物と判断されており、グループ番号321は同じ59が記録されている。またそれぞれの認証結果416を参照すると認証失敗が記録されており、当該対象人物は試行の度に認証失敗に終わっている。判定手段528は、認証失敗に終わった履歴データの数と履歴閾値とを比較する。履歴閾値は、認証失敗に終わった回数がそれ上回ると認証困難者であると判断できる回数に関する閾値であり、顔画像認証装置10の設置場所や運用条件によって定めることができる。本実施の形態においては3とする。図4に示す場合では、同一人物と判断されグループ番号321に59が付与された対象人物は、認証失敗に終わった履歴データの数が4である。そこで、判定手段528は、当該対象人物を認証困難者であると判断し、認証困難者フラグ322をONにセットする。次に、顔画像認証装置10の管理モードにおける動作を述べる。顔画像認証装置10は、対象人物の顔画像を照合する通常モードと、装置の設定、保守等を行う管理者モードを有する。登録手段529は、管理者モードにおいて登録顔画像を登録、更新又は削除する。登録手段529は、管理者に登録顔画像の登録、更新又は削除を指示させるために表示制御手段として機能し、必要な画面を表示部300に表示させる。また登録手段529は、入力部400から受け取った管理者からの指示に対応する信号に応じて記憶部510に記憶された登録顔画像を登録、更新又は削除する。顔画像認証装置10の管理者は、例えば、顔画像認証装置10の登録人物から認証がされないことがほとんどで認証困難者と判定されているのではないかとの報告を受けた場合、又は定期的に装置のメンテナンスを行う場合、入力部400に特定の暗証番号等を入力して、顔画像認証装置10に通常モードから管理者モードへの移行を指示する。登録手段529は、入力部400を介して管理者モードへの移行の指示を受け取ると、顔画像認証装置10を管理者モードへ移行させ、表示部300に登録顔画像の更新画面を表示させる。図5aに登録顔画像の更新画面の例を示す。図5に示されるように、登録顔画像の更新画面は、登録顔画像を更新すべき対象人物の一覧を表示する一覧表示領域530、更新ボタン531、一覧表示ボタン532、削除ボタン533及びキャンセルボタン534を含む。一覧表示領域530には、判定手段528によって認証困難者と判断された対象人物ごとに、認証失敗回数535、候補顔画像536及び登録顔画像537が表示される。認証失敗回数535として、同一のグループ番号321が付与された対象人物について、認証失敗に終わった履歴データの数を表示する。候補顔画像536として、照合データ310の候補顔画像319が表示される。登録顔画像537として、その対象人物の認証処理において算出された類似度412を参照して選択された登録顔画像が表示される。管理者モードへ移行した直後、まず登録手段529は、一覧表示領域530を空白にした更新画面を表示部300に表示させる。そして、登録手段529は、入力部400から管理者が一覧表示ボタン532を押下したことを示す信号を受け取ると、認証困難者フラグ322がONとなっている人物についての情報を一覧表示させた更新画面を表示部300に表示させる。このとき、登録手段529は、各対象人物に関する情報を認証失敗回数の多い順に並べて一覧表示する。これにより、頻繁に認証失敗となる対象人物から順に表示されるので、管理者は、更新すべき登録顔画像を容易に選択することができる。あるいは、照合データの開始時刻313を参照して、認証失敗回数が同じ対象人物については古い順に並べて一覧表示をしてもよい。認証困難者フラグ322がONになっているのは、図4でいうと、対象人物ID312が0250の対象人物のように、試行の度に認証失敗となる認証困難者である。図5aでは、認証失敗回数535の欄に、図4のグループ番号321として59が付与された対象人物の認証失敗の回数である4が表示されている。また、候補顔画像536の欄に、当該対象人物の候補顔画像538が表示されている。さらには、登録顔画像537の欄には、候補顔画像536の欄に表示された候補顔画像の人物について算出された類似度412が高い人物の登録顔画像539、および選択ボタン540が表示されている。顔画像認証装置10の管理者は、図5aの表示結果を踏まえ、この対象人物の候補顔画像538と登録顔画像539とを目視により比較して、これらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、更新ボタン531にカーソルをあわせて押下する。そして登録手段529は、その状態で入力部400から更新ボタン531が押下されたことを示す信号を受け取ると、登録顔画像539を候補顔画像538で更新する。この場合、登録手段525は、更新後の登録顔画像と、候補顔画像538を並べて表示部300に表示させることが望ましい。これにより、管理者は登録顔画像が所望の候補顔画像に更新されたことを容易に確認することができる。選択ボタン540は、表示されている登録顔画像539を他の登録顔画像に変更するためのボタンである。例えば、登録手段529は、選択ボタン540が一回押下されると、図5bに表示される登録顔画像に関する情報541に、選択ボタン540が再度押下されると、図5cに表示される登録顔画像に関する情報542に、選択ボタン540が再度押下されると、図5dに表示される登録顔画像に関する情報543に、表示を変更する。この登録顔画像に関する情報の表示順は、その登録顔画像と、候補顔画像538の対象人物の顔画像について算出された類似度が大きい順である。これにより、当該対象人物の顔画像と類似している可能性の高い登録顔画像から順に表示されるため、管理者は、効率よく登録顔画像を更新することができる。また、管理者が対象人物の候補顔画像538と登録顔画像539とを目視により比較確認した際に、候補顔画像538に写った人物が見覚えのない人物である場合、善意の来訪者であるか、あるいは犯罪を企てるべく侵入を試みたり下見に訪れた不審人物であると判断することも可能となる。その場合、管理者は登録顔画像の更新は行わない。また不審人物であると判断できる場合には、通報するなどの適切な対応が可能となる。以下、図6と図7に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置10による認証困難者の検出と登録顔画像の更新に用いる候補顔画像の選定処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部500を構成するマイクロプロセッサ上で動作し、顔画像認証装置10全体を制御する制御部図示せずにより制御される。なお、以下に説明する処理の実施前に、照合テーブル310及び履歴テーブル410は空白になるよう初期化される。また、以下に説明する動作のうち、図6についての処理は監視画像を一つ取得するごとに実施される。最初に、顔画像認証装置10は、撮像部100により、監視領域を撮影した監視画像を取得し、画像処理部500の照合部520へ送るステップS701。次に、照合部520の顔検出手段521は、取得された監視画像から、対象人物の顔が写っている顔領域を抽出し、その顔領域を監視画像から切り出して顔領域画像を作成するステップS702。次に、顔検出手段521は、一つ以上の顔領域が抽出されたか否か判定するステップS703。顔領域が全く抽出されなかった場合、顔検出手段521はステップS701へ移行し、ステップS701~S703の処理を繰り返す。一方、ステップS703において、一つ以上の顔領域が抽出され、顔領域画像が作成された場合、顔追跡手段522は、抽出された全ての顔領域について、照合テーブル310における追跡フラグ314がONとなっている対象人物ID312との対応付けを実施するステップS704。そして顔追跡手段522は、照合テーブル310における追跡フラグ314がONとなっている対象人物ID312について、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定するステップS705。現フレームの顔領域のいずれとも対応付けられなかった照合テーブル310における追跡フラグ314がONとなっている対象人物ID312がある場合、その対象人物ID312の対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段522は、照合テーブル310の、現フレームの顔領域のいずれとも対応付けられなかった対象人物ID312の追跡フラグ314をOFFにして、以後追跡処理を実施しないようにする。また履歴管理手段527は、照合テーブル310の開始時刻313を参照して現時刻との差から認証時間を算出し、認証失敗の旨とともに履歴テーブル410に記録するステップS706。なお、その前フレームの顔領域に写っている人物が認証されずにタイムアウトとなった場合は、予め定められたタイムアウトを表す時間例えば10秒を記録する。また、認証フラグ317がOFFの場合には、それまでに算出された類似度を対応する履歴テーブル410に記憶する。そして顔追跡手段522は、現フレームの顔領域ごとに照合テーブルの照合データの新規追加又は更新をするステップS707。現フレームの顔領域について照合テーブル310における追跡フラグ314がONとなっている対象人物ID312と対応付けることができなかった場合、顔追跡手段522は、照合テーブル310にその対象人物についての照合データを新たに追加する。即ち、顔追跡手段522は、その照合データに新たな試行番号311及び対象人物ID312を割り当てるとともに、開始時刻313として現在時刻を記録し、追跡フラグ314をONに設定する。また顔追跡手段522は、顔画像データ315としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報316としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段522は、認証フラグ317をOFFに設定し、要望行動カウンタ318を0に設定する。一方、現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、顔追跡手段522は、照合テーブル310の、対応する照合データの顔画像データ315にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報316にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段522は、更新した照合データを顔照合手段523へ出力する。以下のステップS708~S716の処理は、追跡フラグ314がONになっており、認証フラグ317がOFFになっている照合データごとに行われる。追跡フラグ314がONになっている照合データのうち認証フラグ317がONである履歴データは処理対象としないのは、既に認証がなされているためである。そのため、顔照合手段523は、顔追跡手段522から出力された履歴データの最新の顔画像と記憶部510から読み込んだ各登録顔画像とを照合するステップS708。そして顔照合手段523は、認証が成功したか否かを判定するステップS709。ステップS709で認証が失敗した場合、顔向き検出手段525は、その認証が失敗した対象人物の顔が写っている顔領域画像について直視度を算出し、その顔領域画像と対応づけて記憶部510に記憶するステップS710。次に静止検出手段526は、その顔領域について静止度を算出し、その顔領域画像と対応づけて記憶部510に記憶するステップS711。そして行動検出手段524は、直視度と静止度から、対象人物がカメラを直視しながら静止しているか否かを判定するステップS712。そして行動検出手段524は、対象人物がカメラを直視しながら静止していると判定すると、要望行動カウンタ318をインクリメントするステップS713。一方、ステップS709で認証が成功した場合、顔照合手段523は、認証成功を示す信号を行動検出手段524を介して履歴管理手段527に出力して、履歴管理手段527は、その旨を履歴テーブル410の認証結果416に記録するステップS714。次に、顔照合手段523は、認証成功を示す信号を出力部200へ出力し、出力部200を介して電気錠の解錠を行う。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。次に、顔照合手段523は認証フラグ317をONに設定する。また履歴管理手段527は、照合テーブル310の開始時刻313と最新の追跡位置情報316とから認証時間を算出し、顔照合手段523が算出した類似度とともに履歴テーブル410に記憶する。行動検出手段524がステップS713で要望行動カウンタ318をインクリメントしたとき、又は顔照合手段523が認証フラグ317をONにして、履歴管理手段527が認証時間を算出し類似度を記録したとき、全ての顔領域画像について照合処理がされたか否かが判定される。まだ照合処理がされていない顔画像が存在する場合、制御はステップS708に戻り、ステップS708~S716の処理が繰り返される。次に、図7を用いて、履歴テーブル410に記録された対象人物が認証困難者であるか否かの判定処理について説明する。この処理は、一人の対象人物について認証処理が終了するごとに、履歴管理手段527と判定手段528にて実行される。または顔画像認証装置10が管理モードに移行した際に動作してもよい。まず履歴管理手段527は、記憶部510に記憶されている履歴テーブル410を読み出すステップS801。次に、履歴管理手段527は、履歴データのうち、グループ番号321が付与されていない履歴データがあるか否かを調べるステップS802。全ての履歴データについてグループ番号が付与されている場合にはステップS807に処理を進める。グループ番号が付与されていない履歴データがある場合には、その全てについてステップS803~S806の処理を行う。履歴管理手段527は、グループ番号が付与されてない履歴データについて、その顔画像データ315を用い、グループ番号が付与されている他の履歴データの顔画像315との類似度を算出するステップS803。これはグループ番号が付与されてない履歴データの対象人物が、既にその前に認証を試みているか、つまり同一の対象人物の履歴データが存在するか否かを調べることを意図している。ステップS803にて求められた類似度が一定以上となった場合、同一の対象人物についての履歴データが既に存在しているため、履歴管理手段527は、その既に存在している履歴データのグループ番号をグループ番号が付与されてない履歴データのグループ番号321に記録するステップS806。なお、ステップS803にて求められた類似度が一定以上となる履歴データが複数存在している場合には、類似度が最大の履歴データを採用するものとする。最も同一人物らしいと考えられるからである。一方で、ステップS803にて求められた類似度が、グループ番号が付与されている他の履歴データのいずれとも一定以上とならない場合、当該対象人物は初めて認証を試みたと考えられるので、グループ番号321には新たな番号を付与する。新たな番号は、既に付与されている最大番号に1を足した値でよいステップS805。ステップS803~S806を繰り返すことで、履歴テーブル410に記録されている履歴データの全てについてグループ番号が付与され、同一の対象人物についてはグループ化され、例えば認証失敗の回数や時期などが把握できることになる。次に、判定手段528は、同じグループ番号が付与された履歴データの集合顔画像グループについて、要望行動カウンタ318の値と、その顔画像グループに含まれる履歴データの数を参照して、ステップS807~S809の処理を行う。ここで、要望行動カウンタ318の値は、前述のように、直視度が高く静止度が高いときにインクリメントされるため、要望行動カウンタ318の値が高い場合、その対象人物は顔を撮像部100に正面向きに向け、立ち止まったり、通常の歩行速度よりもかなり低速に移動しており、認証されようとしていると考えられる。一方、認証失敗という結果に終わっても、立ち止まったり、顔をカメラに向けるといった要望行動を取らない人物は認証困難者と判定するのは不適切である。そこで要望行動カウンタ318を参照することで、その値が低い人物を認証困難者と誤判定することを防ぐことができる。また1つの顔画像グループに含まれる履歴データの数を参照するのは、認証困難者と判定するには、ある程度の数の認証履歴が必要と考えられるからである。例えば、登録者であっても初めて認証を試みた際に、勝手が分からず偶然認証に失敗すると、それでも直ちに認証困難者と判定されるのは不適切である。判定手段528は、要望行動カウンタ318の値が閾値例えば5以上の履歴データが含まれ、その顔画像グループに含まれる履歴データの数が所定の履歴閾値以上の顔画像グループについて、認証失敗に終わった試行の回数を調べるステップS807。それが履歴閾値未満の場合には、判定手段528は、その顔画像グループの対象人物は認証困難者と判定しない。認証失敗に終わった試行の回数が履歴閾値を超える場合には、判定手段528は、その顔画像グループの対象人物を認証困難者と判定して認証困難者フラグ322をONにセットするステップS808。なお、履歴閾値の値は、顔画像認証装置10の設置場所や運用条件によって定められ、例えば3とすることができる。次に、履歴管理手段527は、候補顔画像を選定する。この候補顔画像は、認証困難者と判定された対象人物が登録者であった場合に、登録顔画像414を更新するためものであり、照合テーブル310に記録するステップS809。履歴管理手段527は、その対象人物について記録された顔領域画像のうち、直視度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図3に示した照合テーブル310に候補顔画像319として記録する。直視度が高いということは、対象人物が認証されようとして顔を撮像部100に正面向きに向けていることを表すので、登録顔画像を照合に適した顔画像に更新できる可能性が高い。あるいは、履歴管理手段527は、その対象人物について記録された顔領域画像のうち、静止度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択して照合データに記録しでもよい。静止度が高いとき、その対象人物は認証されようとして立ち止まったり、通常の歩行速度よりもかなり低速に移動していると考えられ、そのような場合、その対象人物は認証されようとして顔を撮像部100に向けている可能性が高い。従って、そのときの顔領域画像を候補顔画像として選択することにより、登録顔画像を照合に適した正面向きの顔画像に更新できる可能性が高くなる。あるいは、履歴管理手段527は、その対象人物について記録された顔領域画像のうち、いずれかの登録顔画像との類似度が最も高い顔領域画像を候補顔画像として選択して照合データに記録しでもよい。この場合、その登録顔画像を更新すべく効率的に登録手段529における更新処理を行うことができる。以上説明してきたように、本発明を適用した顔画像認証装置10は、監視画像を順次取得し、その順次取得した複数の監視画像にわたって同一の人物の顔が写っている顔領域どうしを対応付ける。そして顔画像認証装置10は、現フレームの顔領域画像に写っている顔の向きと、監視画像における、複数の監視画像にわたって抽出された同一の人物の顔が写っている各顔領域の位置の変化から行動特徴量を算出し、認証結果とともに記録する。そして顔画像認証装置10は、行動特徴量からその人物が要望行動を取っているにもかかわらず認証失敗になることが頻発する場合に、その人物を認証困難者として検出する。これにより、顔画像認証装置10は、登録された顔画像が認証時に取得される顔領域画像と異なっているなどの理由で、認証困難な状態にある人物を、その人物の行動と認証履歴に基づいて早期に高精度に検出できる。そして、顔画像認証装置10の管理者は速やかに登録顔画像の更新の必要性を認識し、認証に適した、登録顔画像の更新に用いる顔を選択することができる。以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、判定手段528における、対象人物が認証困難者であるとの判断処理は、同一のグループ番号321が付与された対象人物についての認証失敗の回数に限られない。判定手段528は、同一のグループ番号321が付与された履歴データのなかには、認証成功となった場合もある場合には、同一のグループ番号321が付与された総履歴データ数に対する認証失敗に終わった履歴データ数の割合を用いて、認証困難者であると判断することもできる。この場合、認証困難者であると判断するための閾値としては、例えば80とすることができる。これにより、全く認証されない、とまでは言えないものの、認証失敗が高い割合で発生するので不便さを感じる利用者について、顔画像認証装置10の管理者は速やかに登録顔画像の更新の必要性を認識することができる。あるいは、判定手段528は、各履歴データについて、試行の日時を参照し、直近の履歴データに限定して、認証失敗の回数を参照して、認証困難者であると判断してもよい。即ち、同一のグループ番号321が付与された履歴データについて、照合テーブル310の開始時刻313を参照して、直近の履歴データ数例えば10のうち、認証失敗となった履歴データが所定数例えば8以上の場合に、当該対象人物は認証困難者であると判定できる。これにより、化粧の好みや髪型の変化により認証成功の可否の傾向が変わった利用者について、顔画像認証装置10の管理者は過去よりも最近の認証結果を重視して登録顔画像の更新の必要性を認識することができる。あるいは、判定手段528は、各履歴データについて、試行の日時を参照し、認証失敗になった試行の時間間隔が過去より短くなったことを参照して、認証困難者であると判断してもよい。即ち、判定手段528は、同一のグループ番号321が付与された履歴データについて、照合テーブル310の開始時刻313を参照して、直近の履歴参照期間例えば現時点から遡った1週間に含まれる履歴データと、過去例えば3ヶ月前の履歴参照期間に含まれる履歴データを比較し、認証失敗となった履歴データが過去より直近の履歴データに多く含まれていると、当該対象人物は認証困難者であると判定する。または履歴参照期間の長さを固定として、時間について移動平均を求めることにより、認証失敗となった履歴データが増加傾向にあることを検出して、当該対象人物は認証困難者であると判定する。この方法によっても、化粧の好みや髪型の変化により認証成功の可否の傾向が変わった利用者について、顔画像認証装置10の管理者は過去よりも最近の認証結果を重視して登録顔画像の更新の必要性を認識することができる。あるいは、判定手段528は、図4に示す履歴データを参照することなく、顔照合手段523にて認証失敗との結果が得られた場合に、要望行動カウンタ318の値が閾値を超えていたら当該対象人物を認証困難者であると判定しても良い。この判定結果を、例えば表示部300を顔画像認証装置10が設置されたオフィスビルの管理センタに設置されたモニタ画面である場合に、その画面に警告メッセージ付きで表示することにより、顔画像認証装置10の管理者は、認証失敗との結果が得られたら直ちに登録顔画像の更新の必要性を認識することができる。さらには、行動検出手段524は、カメラを直視しながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定するのではなく、単にカメラを直視している対象人物、または単に立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。その場合、行動検出手段524は、直視度と静止度のうちの何れか又は何れも算出し、直視度が直視度閾値以上である場合、または静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。即ち、認証時間内において対象人物が撮像部に対して顔を略正面方向に向けていると判断される顔領域画像が所定の枚数以上である、または認証時間内において対象人物が略静止していると判断される時間が所定時間以上である場合に、行動検出手段524は、その対象人物は認証されようとしているものの認証されにくい状態にあると判定して要望行動カウンタをインクリメントする。このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値と同じにしてもよい。あるいは、要望行動を取っていない人物を誤って検出することを抑制するため、このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値は静止度閾値より大きい値にしてもよい。この場合も、顔画像認証装置10は、登録された顔画像が認証時に取得される顔領域画像と異なって認証失敗となることが多い人物を早期に、かつ高精度に検出でき、顔画像認証装置10の管理者は速やかに登録顔画像の更新の必要性を認識することができる。以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。