監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、前記監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置であって、前記照合部は、前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段と、前記顔領域画像と前記登録顔画像を照合し、同一人物かを認証する顔照合手段と、前記追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間が第1の所定時間以上であることを条件に前記顔照合手段にて認証された前記登録人物を認証されにくい人物と判定する判定手段と、を有することを特徴とした顔画像認証装置。前記判定手段は、前記認証時間内に取得した前記顔領域画像ごとに、当該顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いているかを判定し、略正面方向を向いている前記顔領域画像が所定数以上であることを前記条件に追加した請求項1に記載の顔画像認証装置。更に、前記判定手段は、前記登録人物が前記認証されにくい人物と判定されたときに前記撮像部に対して略正面方向を向いている顔であると判定された顔領域画像を、前記登録顔画像を更新するための候補顔画像として前記記憶部に記憶する請求項2に記載の顔画像認証装置。前記判定手段は、前記認証時間内に取得した前記顔領域画像ごとに、前記認証時間内にて取得した前記顔領域画像の追跡位置が略静止している時間が、前記第1の所定時間よりも短い第2の所定時間以上であることを前記条件に追加した請求項1~3の何れか一項に記載の顔画像認証装置。監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、前記監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置であって、前記照合部は、前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の前記顔領域画像を追跡する顔追跡手段と、前記顔領域画像と前記登録顔画像を照合し、同一人物かを認証する顔照合手段と、前記追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間内にて取得した前記顔領域画像の追跡位置が略静止している時間が所定時間以上であることを条件に前記顔照合手段にて認証された前記登録人物を認証されにくい人物と判定する判定手段と、を有することを特徴とした顔画像認証装置。前記判定手段は、前記略静止していると判定している時間の前記顔領域画像に写っている顔が前記撮像部に対して略正面方向を向いていることを前記条件に追加した請求項5に記載の顔画像認証装置。更に、前記判定手段は、前記認証されにくい人物と判定されたときに同一人物と認証された顔領域画像を、前記登録顔画像を更新するための候補顔画像として前記記憶部に記憶する請求項5または6に記載の顔画像認証装置。特許文献1に記載された顔画像照合装置は、照合時に本人であると判定された候補顔画像がその後の照合処理において入力顔画像と類似していると判定される状態が続いたときに登録顔画像を更新するので、誤って登録者以外の人物の顔画像によって登録顔画像を更新するおそれを低減しつつ、照合に失敗しやすい状態を解消することができる。しかしながら、この顔画像照合装置では登録顔画像を更新すべきと判断するためにはその人物に対する照合が複数回にわたってされる必要があるため、認証されにくい状態にある人物をより早期に検出することができる顔画像認証装置が望まれている。そこで、本発明の目的は、予め登録された人物のうち認証されにくい人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択する顔画像認証装置を提供することにある。かかる課題を解決するための本発明は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置を提供する。係る顔画像認証装置において、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段と、顔領域画像と登録顔画像を照合し、同一人物かを認証する顔照合手段と、追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間が第1の所定時間以上であることを条件に顔照合手段にて認証された登録人物を認証されにくい人物と判定する判定手段と、を有する。また、本発明に係る顔画像認証装置において、判定手段は、認証時間内に取得した顔領域画像ごとに、当該顔領域画像に写っている顔が撮像部に対して略正面方向を向いているかを判定し、略正面方向を向いている顔領域画像が所定数以上であることを条件に追加することが好ましい。また、本発明に係る顔画像認証装置において、更に、判定手段は、登録人物が認証されにくい人物と判定されたときに撮像部に対して略正面方向を向いている顔であると判定された顔領域画像を、登録顔画像を更新するための候補顔画像として記憶部に記憶することが好ましい。また、本発明に係る顔画像認証装置において、判定手段は、認証時間内に取得した顔領域画像ごとに、認証時間内にて取得した顔領域画像の追跡位置が略静止している時間が、第1の所定時間よりも短い第2の所定時間以上であることを条件に追加することが好ましい。また、本発明の他の形態は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、登録人物の顔画像である登録顔画像を予め記憶する記憶部と、監視画像を用いて人物認証を行う照合部を具備する顔画像認証装置を提供する。係る顔画像認証装置において、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する監視画像にて同一人物の顔領域画像を追跡する顔追跡手段と、顔領域画像と登録顔画像を照合し、同一人物かを認証する顔照合手段と、追跡した顔領域画像について、追跡を開始してから同一人物と認証されるまでの認証時間内にて取得した顔領域画像の追跡位置が略静止している時間が所定時間以上であることを条件に顔照合手段にて認証された登録人物を認証されにくい人物と判定する判定手段と、を有する。また、本発明の他の形態において、判定手段は、略静止していると判定している時間の顔領域画像に写っている顔が撮像部に対して略正面方向を向いていることを条件に追加することが好ましい。また、本発明の他の形態において、更に、判定手段は、認証されにくい人物と判定されたときに同一人物と認証された顔領域画像を、登録顔画像を更新するための候補顔画像として記憶部に記憶することが好ましい。本発明に係る顔画像認証装置は、予め登録された人物のうち認証されにくい人物をより早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択できるという効果を奏する。以下、本発明の一実施形態である顔画像認証装置について図を参照しつつ説明する。顔画像認証装置に対して認証を要望する人物は、なかなか認証されない場合、カメラを直視しながら立ち止まったりゆっくり歩くといった特徴的な行動をとる傾向にある。そこで、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像を順次取得するとともに、その順次取得した複数の監視画像にわたって同一の人物を追跡する。そして顔画像認証装置は、追跡中の人物がカメラを直視しながら立ち止まったりゆっくり歩く等の、認証されようとする特徴的な行動を取っているか否かを判定することにより、認証されにくい状態にある人物を検出する。これにより、顔画像認証装置は、認証されにくい状態にある人物を早期かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することを図る。図1は、本発明を適用した顔画像認証装置10の概略構成を示す図である。図1に示すように、顔画像認証装置10は、撮像部100、出力部200、表示部300、入力部400及び画像処理部500を有する。以下、顔画像認証装置10の各部について詳細に説明する。撮像部100は、所定の監視領域を撮影する監視カメラであり、例えば、2次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子例えば、CCDセンサ、C-MOSなどと、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。撮像部100は、監視領域内を通行する人物顔画像認証装置10による照合の対象となる監視領域内の人物を対象人物と称するの顔を順次撮影できるように設置される。そして撮像部100は、監視領域を撮影した監視画像を、所定の時間間隔例えば、200msecごとに取得する。撮像部100は、画像処理部500と接続され、取得した監視画像を画像処理部500へ渡す。図2に、顔画像認証装置10がオフィスビルの入り口に設置される場合の撮像部100の設置例を模式的に示す。図2に示すように、例えば、顔画像認証装置10がオフィスビルの入り口253に設置される場合、撮像部100は、入り口253に通じる通路を監視領域に含むよう、入り口253が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部100は、入り口253に向かう進行方向254へ向かう対象人物を所定の時間間隔で撮像することができる。なお図2では、撮像部100が、時刻t、t1、t2において入り口253に向かう同一の対象人物250、251、252を順次撮影する様子を示している。監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横340画素×縦240画素を有し、RGB各色について8ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。出力部200は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部200は、画像処理部500から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。表示部300は、画像処理部500と接続され、CRT、液晶ディスプレイ、有機ELディスプレイなどの表示装置を有する。そして表示部300は、画像処理部500からの要求に応じて画面を表示する。また、顔画像認証装置10は、画像処理部500からの要求に応じて音声を鳴動させたり、振動を発生させたりする、スピーカまたは振動装置等図示せずをさらに備えてもよい。入力部400は、キーボード、マウス等の入力デバイスで構成された入力インターフェースであり、管理者からの切換操作を受け付け、その操作に対応する信号を画像処理部500の登録手段525へ出力する。また、表示部300をタッチパネルディスプレイで構成することにより、表示部300と入力部400を一体化してもよい。画像処理部500は、例えば、いわゆるコンピュータにより構成される。そして画像処理部500は、撮像部100から受け取った監視画像に基づいて、対象人物を認証するとともに、認証されにくい状態にある対象人物を検出する。そのために、画像処理部500は、記憶部510及び照合部520を有する。さらに、照合部520は、顔検出手段521、顔追跡手段522、顔照合手段523、行動判定手段524及び登録手段525を有する。記憶部510は、ROM、RAMなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部510には、顔画像認証装置10を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部510は、照合に使用される登録顔画像を対応する登録された人物以降、登録人物と称するの登録人物IDと関連付けて記憶する。また記憶部510は、画像処理により生じた対象人物に関する情報を管理するための履歴テーブル及び照合テーブルを記憶する。この履歴テーブル及び照合テーブルの詳細については後述する。照合部520の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部520の各手段について詳細に説明する。顔検出手段521は、撮像部100から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を抽出し、顔領域画像を抽出する。顔領域を抽出するために、顔検出手段521は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部100によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段521は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段521は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段521は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段521は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。あるいは顔検出手段521は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはPViolaとMJonesによる論文RapidObjectDetectionUsingaBoostedCascadeofSimpleFeaturesProctheIEEEInternationalConferenceonComputerVisionandPatternRecognitionvol1pp5115182001を参照することができる。そして顔検出手段521は、抽出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段522に出力する。顔追跡手段522は、所定の時間間隔で連続して取得される複数の監視画像にわたって顔検出手段521から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域どうしを対応付けることで顔領域画像の追跡を行う。例えば、顔追跡手段522は、最新の監視画像から抽出された顔領域以降、現フレームの顔領域と称するの重心位置と、1フレーム前の監視画像から抽出された顔領域以降、前フレームの顔領域と称するの重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、対象人物が撮像部100から離れているときに一定の距離を移動した場合と撮像部100の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。あるいは、顔追跡手段522は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。顔追跡手段522は、顔領域の対応付けを行うと、記憶部510に格納されている履歴テーブルを更新する。図3に履歴テーブルの例を示す。図3に示すように履歴テーブル310は、対象人物ごとに履歴データを管理する。履歴データは、履歴テーブル310の各行にあらわされるデータの組であり、顔追跡手段522は、履歴データのうち、試行番号311、対象人物ID312、開始時刻313、追跡フラグ314、顔画像データ315及び追跡位置情報316を更新する。図3に示した履歴テーブル310において、試行番号311は、追跡中の対象人物の履歴データを他の履歴データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段522によって追跡がされている間、同一の識別番号が割り当てられ続ける。対象人物ID312は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号311と1対1に対応する。対象人物ID312は、一意に定まるように付与されるものとなる。例えば、顔追跡手段522が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、対象人物ID312と試行番号311は1対1に対応するので、いずれかを省略してもよい。開始時刻313は、顔検出手段521がその対象人物について顔領域画像を最初に抽出し、顔追跡手段522が追跡処理を開始した時刻をあらわす。追跡フラグ314は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段522がその対象人物の追跡を開始するとONになり、追跡を終了するとOFFになる。つまり、追跡フラグ314がONのときはその対象人物は監視領域内に存在し、追跡フラグ314がOFFのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。顔画像データ315は、顔検出手段521によって作成され、顔追跡手段522によって追跡処理でその対象人物のものとして対応付けられた全ての顔領域画像のデータである。追跡位置情報316は、顔画像データ315として記憶された各顔画像データが切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。顔追跡手段522は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、履歴テーブル310にその対象人物についての履歴データを新たに追加し、初期化処理を行う。即ち顔追跡手段522は、その履歴データに新たな試行番号311及び対象人物ID312を割り当てるとともに、開始時刻313として現在時刻を記録し、追跡フラグ314をONに設定する。また顔追跡手段522は、顔画像データ315としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報316としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段522は、認証フラグ317及び更新フラグ319をOFFに設定し、要望行動カウンタ318を0に設定する。そして顔追跡手段522は、新たに追加した履歴データを顔照合手段523に出力する。一方、顔追跡手段522が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての履歴データは、既に履歴テーブル310に作成されている。そのため、顔追跡手段522は、履歴テーブル310の、対応する履歴データの顔画像データ315にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報316にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段522は、その履歴データを顔照合手段523に出力する。また、顔追跡手段522は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、履歴テーブル310の、対応する履歴データの追跡フラグ314をOFFにして、その対象人物についての追跡処理を終了する。顔照合手段523は、顔追跡手段522から出力された履歴データのうち、図3に示した履歴テーブル310の認証フラグ317がOFFとなっている履歴データの最新の顔領域画像と記憶部510から読み込んだ各登録顔画像とを照合し、同一人物によるものか否かを判定する。そして顔照合手段523は、履歴データの最新の顔領域画像と登録顔画像とが同一人物によるものであると判定すると、その履歴データの認証フラグ317をONに設定する。つまり、この認証フラグ317は、対象人物に対する認証が成功したか否かをあらわすフラグである。顔照合手段523は、照合処理として、公知の様々な照合方法を用いることができる。例えば、顔照合手段523は、顔領域画像と登録顔画像のパターンマッチングを行う。顔照合手段523は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。顔照合手段523は、各登録顔画像について求めた類似度のうち、最も高い類似度が所定の認証閾値を越える場合、その顔領域画像に写っている対象人物を、類似度が最も高い値を有する登録顔画像により登録された登録人物である認証成功と判断する。一方、顔照合手段523は、何れの類似度も所定の基準値を越えない場合、顔領域画像に写っている対象人物は登録人物ではない認証失敗と判断する。なおこの認証閾値は、顔画像認証装置10が設置される環境、目的などに応じて適宜定められる。顔照合手段523は、対象人物が登録人物であると判定すると、認証フラグ317をONに設定し、認証成功を示す信号を出力部200へ出力する。また、顔照合手段523は、照合処理を実施した対象人物の履歴データを行動判定手段524に出力する。行動判定手段524は、顔領域画像に写っている対象人物の行動が認証を要望する行動以下、要望行動と称するらしさを表す行動特徴量を算出する。そして行動判定手段524は、その行動特徴量がその対象人物が要望行動を取っていることを表す所定の条件を満たす場合に、その対象人物を認証されにくい人物として検出する。本実施形態の行動判定手段524は、一定以上の時間内においてカメラを直視しながら立ち止まったりゆっくり歩く人物を、顔画像認証装置に登録されているにも関わらず認証されにくい人物であるとして検出する。そのために、行動判定手段524は、顔追跡手段522がその顔領域画像の追跡を開始してから、顔照合手段523が照合成功と判断するまでの認証時間を算出する。また行動判定手段524は、行動特徴量として、その対象人物が撮像部100の方向を向いている度合い、すなわち現フレームの顔領域画像に写っている顔が撮像部100に対して正面方向を向いている度合いを示す直視度を算出する。また行動判定手段524は、行動特徴量として、顔追跡手段522が追跡している対象人物が監視領域内で静止している度合い、すなわち複数の監視画像における、顔追跡手段522によって対応付けられた各顔領域の位置の変化の小ささの度合いを示す静止度を算出する。そして行動判定手段524は、直視度及び静止度に基づいて、その顔領域画像に写っている対象人物が要望行動を取っているか否かを判定する。さらに行動判定手段524は、顔追跡手段522がその顔領域を追跡している間、認証時間内に要望行動を取った回数に基づいてその対象人物が認証されにくい状態にあるか否かを判定する。そのために行動判定手段524は、顔向き検出手段526、静止検出手段527及び判定手段528を有する。顔向き検出手段526は、行動特徴量を算出する特徴量算出手段として機能し、顔照合手段523から出力された履歴データについて現フレームの顔領域画像に写っている顔の直視度を算出する。図2の時刻t2における対象人物252上に、人物の顔向きを規定するための正規直交座標系を示す。この正規直交座標系XYZでは、原点Oは顔向きの検出対象となる人物の顔領域画像の重心に設定される。X軸は、原点Oを通り、顔の正中線に沿った垂直軸として設定される。Y軸は、原点Oを通り、顔を左右に横断する方向の水平軸として設定される。Z軸は、顔を前後に横断する方向の水平軸として設定される。この座標系において、人物の顔向きは、人物が撮像部100を直視した状態すなわち、人物が顔の正面を撮像部100に向けており、Z軸が撮像部100と顔を結ぶ直線となる状態を顔向きの基準となる正対状態とした場合のヨー角ψ、ピッチ角θ及びロール角φの組ψθφで表される。ヨー角ψは、正対状態における人物の顔向きに対する、左右方向の回転角すなわち、X軸を回転中心とした、YZ平面内での回転角を表す。またピッチ角θは、正対状態における人物の顔向きに対する、上下方向の回転角すなわち、Y軸を回転中心とした、XZ平面内での回転角を表す。またロール角φは、正対状態における人物の顔向きに対する、Z軸を回転中心とした時計回りの回転角を表す。以下では、ヨー角ψ、ピッチ角θ及びロール角φを、ラジアン単位で表し、それぞれ、右向き方向、下向き方向、時計回り方向を正とする。顔向き検出手段526は、まず、顔領域画像から顔の特徴的な部分である顔特徴点を抽出する。そして顔向き検出手段526は、抽出した顔特徴点の種別と顔領域画像上の位置情報例えば、顔領域画像の左上端部を原点とする2次元座標値を算出する。例えば、顔向き検出手段526は、両目尻、両目領域中心、鼻尖点、口点、口角点などの顔特徴点を抽出する。顔向き検出手段526は、顔特徴点を抽出するための公知の様々な手法を用いることができる。例えば、顔向き検出手段526は、顔領域画像に対してエッジ抽出処理を行って周辺画素との輝度差が大きいエッジ画素を抽出する。そして顔向き検出手段526は、エッジ画素の位置、パターンなどに基づいて求めた特徴量が、目、鼻、口などの顔の特徴的な部位について予め定められた条件を満たすか否かを調べて各部位の位置を特定することにより、各顔特徴点を抽出することができる。また顔向き検出手段526は、エッジ抽出処理を行ってエッジ画素を抽出する代わりに、顔領域画像にガボール変換処理あるいはウェーブレット変換処理を行って、異なる複数の空間周波数帯域で局所的に変化の大きい画素を抽出してもよい。さらに顔向き検出手段526は、顔の各部位に相当するテンプレートと顔領域画像とのテンプレートマッチングを行って顔の各部位の位置を特定することにより、顔特徴点を抽出してもよい。そして顔向き検出手段526は、抽出した顔特徴点と、人物の顔の3次元モデルにおける対応する顔特徴点の位置関係に基づいて顔の向きを検出する。この場合、人の頭部の標準的な形状を模した3次元形状モデル例えば、ワイヤーフレームモデルあるいはサーフェイスモデルにより表されるを予め準備し、記憶部510に記憶しておく。またその3次元形状モデルの両目尻、鼻尖点、口点といった3D顔特徴点の位置も記憶部510に記憶しておく。顔向き検出手段526は、顔領域画像から顔特徴点を抽出すると、3次元形状モデルについて、所定の回転量、並進量または拡大/縮小率にしたがってその顔向きを調整し、撮像部100の結像光学系の像面と平行な面に仮想的に投影して、その面上における3D顔特徴点の位置を求める。そして顔向き検出手段526は、顔領域画像から抽出された各顔特徴点と、投影された3D顔特徴点のうちの対応する特徴点との位置ずれ量の総和を求める。顔向き検出手段526は、回転量、並進量または拡大/縮小率を変更して、上記の手順を繰り返し、位置ずれ量の総和が最小となるときの3次元形状モデルの顔の向きを求める。そして顔向き検出手段526は、その3次元形状モデルの顔の向きから、上記のヨー角ψ、ピッチ角θ及びロール角φの組ψθφを求めることができる。あるいは、本願出願人による特開2009-237993に開示されている手法を採用することもできる。直視度は、例えば1式で表されるように、ヨー角ψとピッチ角θの絶対値和の逆数とすることができる。つまり直視度は、顔領域画像に写っている顔の向きが撮像部100に対して正面方向に近いほど大きい値となる。例えば、対象人物が撮像部100を直視している場合、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。一方、撮像部100に対して顔を背けている場合は、ヨー角ψ及びピッチ角θはともに小さい値となるため、直視度は大きくなる。なお直視度は1式で算出されるものに限定されない。例えば、前述したように、撮像部100が、入り口が設置された壁の上方または天井に取り付けられている場合、入室を希望する対象人物が認証を試みるとき、対象人物の顔向きは上向きになるピッチ角θが負値になる傾向がある。そのため、顔向き検出手段526は、2式のように、ピッチ角θが正値であるか負値であるかに応じてピッチ角θに重み付けをして直視度を算出してもよい。2式において、α及びβは、ピッチ角θの重み係数であり、例えばα=10、β=05とすることができる。あるいは、顔向き検出手段526は、3式のように、ピッチ角θがカメラを直視する角度に近い値のときは、ピッチ角θの項を考慮しないようにして直視度を算出してもよい。3式において、θ1及びθ2は、例えばθ1=-π/4、θ2=π/8とすることができる。このように、2式又は3式を用いて直視度を算出することにより、顔向き検出手段526は、撮像部100を直視している対象人物をより精度よく検出することができる。そして顔向き検出手段526は、直視度を算出すると、算出した直視度をその顔領域画像と対応付けて記憶部510に記憶しておく。静止検出手段527も、行動特徴量を算出する特徴量算出手段として機能し、履歴テーブル310の追跡位置情報316を用いて、顔追跡手段522によって対応付けられた顔領域について静止度を算出する。例えば、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸が設定される2次元の座標系を設定する。つまりこの座標系では、撮像部100が監視領域をやや上方向から撮影するように設置されている場合、撮像部100からみて対象人物が左から右へ移動する方向にx軸が、撮像部100の撮影方向にそって対象人物が近づく方向にy軸が設定される。この座標系において、時刻tにおける顔領域の重心位置をとする。その場合、時刻tにおける顔領域の静止度は、例えば4式で表されるように、前フレームの顔領域の重心位置に対する現フレームの顔領域の重心位置の、水平方向の差と垂直方向の差の絶対値和の逆数とすることができる。つまり静止度は、同一人物の顔が写っている顔領域の監視画像内における位置の変化が小さいほど大きい値となる。例えば図2に示した例では、時刻tから時刻t1の間に対象人物が移動した距離255よりも時刻t1から時刻t2の間に対象人物が移動した距離256の方が小さいため、時刻t2における静止度は時刻t1における静止度より大きくなる。そして静止検出手段527は、静止度を算出すると、算出した静止度をその顔領域画像と対応付けて記憶部510に記憶しておく。なお、撮像部100の床面からの高さ、俯角、焦点距離などの撮像条件が既知である場合には、撮像部100と対象人物との実際の距離をおおよそ算出できるので、静止検出手段527は、4式に準じ、当該距離の時間変化の絶対値の逆数を静止度として算出してもよい。判定手段528は、顔照合手段523が算出した類似度を記憶部510に記録する。図4に類似度が格納されるテーブルの例を示す。このテーブルは、図3に示した履歴テーブルの一部であるが、説明の都合上、以下照合テーブルと称して説明する。図4に示すように照合テーブル410は、履歴データごとに照合により得られた照合データを管理する。照合データは、照合テーブル410の各行にあらわされるデータの組であり、対象人物ID312、開始時刻313、顔画像データ315、要望行動カウンタ318及び類似度412を含む。また、照合テーブル410には、登録人物を他の登録人物と識別するための登録人物ID413及びその登録人物の顔画像をあらわす登録顔画像414が管理されており、類似度412は登録人物ID413ごとに管理される。なお、図4における顔画像データ315は、理解しやすいように1枚のみを示している。類似度412は、顔照合手段523が、対象人物が写っている顔領域画像を各登録顔画像414と照合した結果として算出した類似度である。また、登録人物ID413は、登録人物を他の登録人物と識別するためのIDである。登録人物ID413は、連続した正の整数でもよいが、例えば社員番号のように登録人物を一意に特定できるものであればどのようなものでもよい。登録顔画像414は、事前登録あるいは追加登録された登録人物の顔画像である。登録人物一人に対して一つ又は複数の登録顔画像が存在し得る。登録人物一人に対して複数の登録顔画像414が存在するときは、それぞれの登録顔画像414に対して登録人物ID413を割り当てることが好適である。なお、図4では理解しやすいように登録顔画像414として顔をあらわす画像を示しているが、顔照合手段523が顔画像の照合処理を実施するために必要なデータの形式で記憶しておいてもよい。例えば顔照合手段523が所定の顔特徴点の比較のみにより照合処理を実施する場合には、その顔特徴点の情報のみを記憶しておくことにより、記憶容量を節約できる。判定手段528は、顔照合手段523が認証成功と判断した場合、認証成功と判断した登録顔画像414については、認証成功と判断したフレームにおける類似度を記録し、認証成功と判断しなかった登録顔画像414については、同フレームにおいてそれぞれの登録顔画像414について算出された類似度を記録する。一方、判定手段528は、最終的に顔照合手段523が認証成功と判断しなかった対象人物については、最も高い類似度が算出された登録顔画像414については、その最も高い類似度を記録し、その他の登録顔画像414については、その最も高い類似度が算出されたフレームにおけるそれぞれの登録顔画像414について算出された類似度を記録する。あるいは、判定手段528は、顔照合手段523が認証成功と判断しなかった登録顔画像414については、その対象人物を写した顔領域画像と登録顔画像414について算出された、全ての類似度の平均値又は最近の所定数の類似度例えば、最近5秒間に算出された類似度の平均値を類似度412として記録してもよい。これにより対象人物を写した顔領域画像と登録顔画像がどれくらい類似しているかについて、より高精度に求めることができる。なお、類似度412は、顔照合手段523によって対象人物が登録人物であると認証されて入室するまで、又は対象人物が登録人物であると認証されないまま監視領域から離れるまで、又は顔画像認証装置10がタイムアウト等により、その対象人物に対する認証処理を終了するまで算出される。また判定手段528は、認証時間と、顔向き検出手段526が算出した直視度及び静止検出手段527が算出した静止度に基づいて、更新すべき登録顔画像を特定するとともに、その登録顔画像を更新するのに最も適した顔画像を選択する。本実施形態の判定手段528は、監視領域内の対象人物が認証時間内に撮像部100に顔を向けた状態で立ち止まったり、ゆっくり歩いたりしているか否かを判定する。そのために判定手段528は、顔向き検出手段526によって算出された直視度を直視度閾値と比較するとともに、静止検出手段527によって算出された静止度を静止度閾値と比較する。なお、直視度閾値は、顔領域画像に写っている対象人物の顔の向きが撮像部100を直視しているとみなせる角度範囲にあることを判別できるように定められ、例えばヨー角ψ及びピッチ角θをラジアン値で表した場合、4とするのが好適である。また、静止度閾値は、顔領域画像に写っている対象人物が略停止していることを判別できるように定められ、例えば1秒間に5フレームの監視画像を処理する場合、顔領域画像の幅をWとしたときに1とするのが好適である。また、認証されにくい対象人物は、カメラを直視しながら後ずさりをする行動をとることが多い。そこで、そのような対象人物を、認証されにくい対象人物としてより良好に検出するために、静止検出手段527は、顔領域がy軸の負方向に下から上へ向かって移動するときの静止度と、y軸の正方向に上から下へ向かって移動するときの静止度とを分けて算出してもよい。その場合、判定手段528は、顔領域がy軸の正方向に向かって移動するときの静止度に対する閾値を1とし、顔領域がy軸の負方向に向かって移動するときの静止度に対する閾値を1より小さい値、例えば1Wとするのが好適である。判定手段528は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合、要望行動カウンタをインクリメントする。この要望行動カウンタは、対象人物が要望行動を取っていると判定された回数を示すカウンタであり、図3に示した履歴テーブル310にすなわち図4に示した照合テーブル410にも記録される。あるいは、判定手段528は、直視度が直視度閾値以上であり、静止度が静止度閾値以上である場合に、常に要望行動カウンタをインクリメントするのではなく、静止している時間が長いほど要望行動カウンタの増加幅が大きくなるようにしてもよい。例えば判定手段528はそのときの要望行動カウンタ自体の値を加算するそのときの要望行動カウンタの値が0のときは1にするようにする。一方、直視度が直視度閾値未満である場合、又は静止度が静止度閾値未満である場合、その対象人物は撮像部100から顔を背けていたり、又はすばやく動いていると考えられ、認証されたいという心理状態でない可能性が高い。そのためその場合、判定手段528は要望行動カウンタを更新しない。判定手段528は、顔追跡手段522が対象人物の顔領域画像の追跡を開始してから、顔照合手段523が照合成功と判断するまでの認証時間を算出する。顔追跡手段522が対象人物の顔領域画像の追跡を開始した時刻は、履歴テーブル310の該当する履歴データの開始時刻313に記憶されている。顔照合手段523が照合成功と判断した時刻は、その照合成功との判断に用いた顔領域画像を顔画像データ315として記憶した際に対応づけて履歴テーブル310に記憶された追跡位置情報316の最新のものである。そこで判定手段528は、両者の差から認証時間を算出する。そして判定手段528は、認証時間が所定時間以上であり、その認証時間内に要望行動カウンタが所定の閾値以上となった場合、その顔領域画像に写っている対象人物は認証されにくい人物であり、その対象人物の登録顔画像は認証しづらい画像である可能性が高いため登録顔画像を更新すべきと判断して図3に示した履歴テーブル310の更新フラグ319をONにする。この更新フラグ319は、認証されにくいと判断された人物の登録顔画像を更新すべきか否かを示すフラグである。なお、認証時間についての所定時間は、顔画像認証装置の動作として、一般的に認証処理に要すると考えられる時間を考慮し、認証成功との結果を得るために認証処理を最大限繰り返すべき時間に基づき定められるとする。本実施の形態では、図2に示すように、歩行中の対象人物について、顔追跡手段522が対象人物の顔領域画像を追跡し始めてから、顔照合手段523が時間切れとして認証失敗の結果を出すための時間を基準に定めるとして、例えば10秒間とすることができる。あるいは、撮像部100の画角や俯角、運用場所に依って増減するのが良い。また、要望カウンタについての所定の閾値は1以上の整数値である。例えば、3~4秒間、その対象人物が撮像部100を直視しながらその場に静止している場合、その対象人物についての登録顔画像を更新すべきと判断することができる。従って、例えば1秒間に5フレームの監視画像を処理する場合、この所定の閾値は20とすることができる。要望行動カウンタは、1枚の監視画像ごとにインクリメントの有無が判断されるので、その数は、監視画像の処理間隔を考慮すると、対象人物が、撮像部100を直視しており、静止している時間を表している。判定手段528は、更新フラグ319をONにすると、顔照合手段523が照合成功との判断をしたときの顔領域画像を候補顔画像として選択し、図3に示した履歴テーブル310に候補顔画像320として記録する。または、その対象人物について記録された顔領域画像のうち、対象人物が撮像部100に対して略正面方向を向いているとみなされる顔領域画像、すなわち直視度が直視度閾値以上になったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図3に示した履歴テーブル310に候補顔画像320として記録してもよい。あるいは、その対象人物について記録された顔領域画像のうち、直視度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択し、図3に示した履歴テーブル310に候補顔画像320として記録してもよい。その場合、判定手段528は、その後、直視度の最高値が更新された場合には、そのときの顔領域を切り出した顔領域画像により候補顔画像320を更新する。直視度が高いということは、対象人物が認証されようとして顔を撮像部100に正面向きに向けていることを表すので、登録顔画像を照合に適した顔画像に更新できる可能性が高い。あるいは、判定手段528は、その対象人物について記録された顔領域画像のうち、静止度が最も高かったときの顔領域を切り出した顔領域画像を候補顔画像として選択して履歴データに記録してもよい。静止度が高いとき、その対象人物は認証されようとして立ち止まったり、通常の歩行速度よりもかなり低速に移動していると考えられ、そのような場合、その対象人物は認証されようとして顔を撮像部100に向けている可能性が高い。従って、そのときの顔領域画像を候補顔画像として選択することにより、登録顔画像を照合に適した正面向きの顔画像に更新できる可能性が高くなる。あるいは、判定手段528は、顔照合手段523が照合成功と判断したときの顔領域画像を候補顔画像として選択しても良い。あるいは、判定手段528は、その対象人物について記録された顔領域画像のうち、更新しようとしている登録顔画像との類似度が最も高い顔領域画像を候補顔画像として選択して履歴データに記録してもよい。この場合、登録顔画像が現在のものから大きく変化することを抑制でき、登録人物以外の人物が写っている顔領域画像が誤って登録される危険性を低減できる。以下、図4に示した照合テーブル410を用いて判定手段528の動作を説明する。なお、図4に示した例において、類似度412のうち枠415が付されたものは、認証成功と判断されたときの類似度をあらわす。また、類似度の取り得る範囲を0~10とし、認証閾値を5とし、要望行動カウンタの閾値を5とする。例えば、対象人物ID312が0511の対象人物において、要望行動カウンタ318は0で要望行動カウンタの閾値を越えておらず、その対象人物が写っている顔画像と登録人物ID413が2の登録顔画像との類似度は987で認証閾値を越えている。この場合、顔画像認証装置10は、この対象人物は登録人物であるとして、すみやかに認証成功と判断している。一方、対象人物ID413が0011の対象人物において、要望行動カウンタ318は5で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と登録人物ID413が1の登録顔画像との類似度は552で認証閾値を越えている。この場合、顔画像認証装置10はこの対象人物について認証成功と判断しているが、この対象人物は認証成功と判断されるまで要望行動をとっていた認証されにくい人物と考えられる。そのため、判定手段528は、この対象人物の履歴データについて更新フラグ319をONにし、候補顔画像を選択し、記憶する。一方、対象人物ID312が0205の対象人物において、要望行動カウンタ318は6で要望行動カウンタの閾値を越えており、その対象人物が写っている顔画像と各登録顔画像との類似度は最大でも095で認証閾値を越えていない。この場合、対象人物は要望行動をとっているが、顔画像認証装置10は、まだこの対象人物について認証成功と判断していない。この対象人物は、登録されているものの、髪型や化粧などの原因で非常に認証困難な状態になっている人物であると考えられる。または、未登録の来訪者、場合によっては侵入を企てる不審者の可能性もある。いずれにしても、認証成功との結果が得られていない以上、どの登録顔画像414を更新すべきかは不明であるので、判定手段528は、更新フラグ319をOFFとする。ただし、顔画像認証装置10の運用方針によっては、このように認証成功と判断できなかった対象人物も管理者による目視確認の対象にするのが望ましい場合もある。その場合には、判定手段528は、この対象人物の履歴データについても更新フラグ319をONにし、候補顔画像を選択し、記憶する。なお、後述するように登録手段525の説明は、認証成功と判断されなかった対象人物についても更新フラグ319をONにする場合について述べている。顔画像認証装置10は、対象人物の顔画像を照合する通常モードと、装置の設定、保守等を行う管理者モードを有する。登録手段525は、管理者モードにおいて登録顔画像を登録、更新又は削除する。登録手段525は、管理者に登録顔画像の登録、更新又は削除を指示させるために表示制御手段として機能し、必要な画面を表示部300に表示させる。また登録手段525は、入力部400から受け取った管理者からの指示に対応する信号に応じて記憶部510に記憶された登録顔画像を登録、更新又は削除する。顔画像認証装置10の管理者は、例えば、顔画像認証装置10の登録人物から認証がされにくい旨の報告を受けた場合、又は定期的に装置のメンテナンスを行う場合、入力部400に特定の暗証番号等を入力して、顔画像認証装置10に通常モードから管理者モードへの移行を指示する。登録手段525は、入力部400を介して管理者モードへの移行の指示を受け取ると、顔画像認証装置10を管理者モードへ移行させ、表示部300に登録顔画像の更新画面を表示させる。図5に登録顔画像の更新画面の例を示す。図5に示されるように、登録顔画像の更新画面は、登録顔画像を更新すべき対象人物の一覧を表示する一覧表示領域530、更新ボタン531、一覧表示ボタン532、削除ボタン533及びキャンセルボタン534を含む。一覧表示領域530には、判定手段528によって登録顔画像を更新すべきと判断された対象人物ごとに、要望行動カウンタ535、開始時刻536、候補顔画像537及び登録顔画像538が表示される。要望行動カウンタ535として、履歴データの要望行動カウンタ318の値が表示される。開始時刻536として、履歴データの開始時刻313が表示される。候補顔画像537として、履歴データの候補顔画像320が表示される。登録顔画像538として、その対象人物の認証処理において認証成功と判断された登録顔画像が表示される。管理者モードへ移行した直後、まず登録手段525は、一覧表示領域530を空白にした更新画面を表示部300に表示させる。そして、登録手段525は、入力部400から管理者が一覧表示ボタン532を押下したことを示す信号を受け取ると、判定手段528によって登録顔画像を更新すべきと判断された対象人物、即ち更新フラグ319がONとなっている人物についての情報を一覧表示させた更新画面を表示部300に表示させる。このとき、登録手段525は、各対象人物に関する情報を要望行動カウンタの値の大きい順に並べて一覧表示する。これにより、撮像部100を直視しながら長時間静止していた対象人物から順に表示されるので、管理者は、更新すべき登録顔画像を容易に選択することができる。あるいは、履歴データの開始時刻313を参照して、要望行動カウンタ値が同じ対象人物については古い順に並べて一覧表示をしてもよい。図5に示す要望行動カウンタ535が5の対象人物は、図4に示した対象人物ID312が0011の対象人物であり、認証成功ではあったものの認証されにくいと判断された対象人物である。この対象人物についての登録顔画像542を更新したい場合、まず管理者は、この対象人物の候補顔画像540と登録顔画像542とを目視により比較してこれらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、候補顔画像540にカーソルをあわせて選択する。そして登録手段525は、入力部400から候補顔画像540が選択されたことを示す信号を受け取ると、候補顔画像540を強調表示する。登録手段525は、その状態で入力部400から更新ボタン531が押下されたことを示す信号を受け取ると、登録顔画像542を候補顔画像540に更新する入れ替える。また登録手段525は、入力部400からキャンセルボタン534が押下されたことを示す信号を受け取ると、管理者モードを終了する。また図5に示す要望行動カウンタ535が6の対象人物は、図4に示した対象人物ID312が0205の対象人物であり、認証成功と判断されなかった対象人物である。認証成功と判断されなかった対象人物は、本発明でいう認証されにくい人物ではないため、管理者による登録顔画像414の更新処理の対象とする必要はない。しかし、認証成功と判断されなかった対象人物に登録されている人物が含まれている可能性は否定できず、そのままの状態を放置するのも不適切との運用方針もあり得る。その運用方針下では、多少管理者に負荷はかかるものの、管理者による目視確認を前提に登録顔画像414の更新をする。そこで、登録されているにも関わらず認証成功とならなかった人物の登録顔画像542の更新処理として、以下説明することにする。この対象人物については、登録者であっても認証処理において認証成功と判断された登録顔画像がないため、登録手段525は、登録顔画像538の欄に登録顔画像リスト表示ボタン541を表示する。登録手段525は、入力部400から登録顔画像リスト表示ボタン541が押下されたことを示す信号を受け取ると、表示部300に登録顔画像の選択画面を新たに表示させる。図6aに登録顔画像の選択画面の例を示す。図6aに示されるように、登録顔画像の選択画面は、更新ボタン601、一覧表示ボタン602、削除ボタン603、キャンセルボタン604、候補顔画像605、その候補顔画像605によって更新される対象となり得る登録顔画像に関する情報を表示する登録顔画像情報表示領域606、及び選択ボタン607を含む。登録顔画像情報表示領域606には、その登録顔画像の登録人物ID608、登録顔画像609、及び図5において選択された対象人物の顔画像とその登録顔画像とについて算出された類似度610が表示される。管理者は、この対象人物の候補顔画像605と登録顔画像609とを目視により比較してこれらが同一人物を表す画像であるか否かを判定する。同一人物を表す画像であると判定すると、管理者は、登録顔画像609にカーソルをあわせて選択する。そして登録手段525は、入力部400から登録顔画像609が選択されたことを示す信号を受け取ると、登録顔画像609を強調表示する。登録手段525は、その状態で入力部400から更新ボタン601が押下されたことを示す信号を受け取ると、登録顔画像609を候補顔画像605に更新する。この場合、登録手段525は、更新後の登録顔画像と、候補顔画像605を並べて表示部300に表示させることが望ましい。これにより、管理者は登録顔画像が所望の候補顔画像に更新されたことを容易に確認することができる。なお、登録手段525は、更新処理を実施すると、その対象人物についての履歴データ及び照合データを削除してもよい。これにより以後の更新処理において、候補顔画像の冗長な表示を抑制することができる。選択ボタン607は、表示されている登録顔画像609を他の登録顔画像に変更するためのボタンである。例えば、登録手段525は、選択ボタン607が一回押下されると、図6bに表示される登録顔画像に関する情報611に、選択ボタン607が再度押下されると、図6cに表示される登録顔画像に関する情報612に、選択ボタン607が再度押下されると、図6dに表示される登録顔画像に関する情報613に、表示を変更する。この登録顔画像に関する情報の表示順は、その登録顔画像と、図5において選択された対象人物の顔画像について算出された類似度が大きい順である。これにより、図5において選択された対象人物の顔画像と類似している可能性の高い登録顔画像から順に表示されるため、管理者は、効率よく登録顔画像を更新することができる。また、登録手段525は、管理者から選択された候補顔画像で登録顔画像を入れ替える更新をせずに、管理者から選択された候補顔画像を新たな登録顔画像として追加登録してもよい。この場合、以後の認証処理では、元の登録顔画像及び追加登録された登録顔画像の何れかに対して認証成功すればよいので、その対象人物について認証失敗となる可能性を低減することができる。また、登録手段525は、更新フラグがONになっている履歴データ、つまり要望行動カウンタが所定の閾値以上となっている履歴データが発生すると、表示部300にその旨を示すメッセージを表示してもよい。このとき、登録手段525は、さらにスピーカによる音声鳴動、振動装置による振動等によって警報を発するようにしてもよい。これにより、登録手段525は、更新すべき登録顔画像が存在することを管理者に報知することができる。また、管理者が対象人物の候補顔画像605と登録顔画像609とを目視により比較確認した際に、候補顔画像605に写った人物が見覚えのない人物である場合、善意の来訪者であるか、あるいは犯罪を企てるべく侵入を試みたり下見に訪れた不審人物であると判断することも可能となる。その場合、管理者は登録顔画像の更新は行わない。また不審人物であると判断できる場合には、通報するなどの適切な対応が可能となる。以下、図7に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置10による認証されにくい人の検出と登録顔画像の更新に用いる候補顔画像の選定処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部500を構成するマイクロプロセッサ上で動作し、顔画像認証装置10全体を制御する制御部図示せずにより制御される。なお、以下に説明する処理の実施前に、履歴テーブル310及び照合テーブル410は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。最初に、顔画像認証装置10は、撮像部100により、監視領域を撮影した監視画像を取得し、画像処理部500の照合部520へ送るステップS701。次に、照合部520の顔検出手段521は、取得された監視画像から、対象人物の顔が写っている顔領域を抽出し、その顔領域を監視画像から切り出して顔領域画像を作成するステップS702。次に、顔検出手段521は、一つ以上の顔領域が抽出されたか否か判定するステップS703。顔領域が全く抽出されなかった場合、顔検出手段521はステップS701へ移行し、ステップS701~S703の処理を繰り返す。一方、ステップS703において、一つ以上の顔領域が抽出され、顔領域画像が作成された場合、顔追跡手段522は、抽出された顔領域について、前フレームの顔領域との対応付けを実施するステップS704。そして顔追跡手段522は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがあるか否かを判定するステップS705。全ての現フレームの顔領域と対応付けられなかった前フレームの顔領域がある場合、その前フレームの顔領域に写っている対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段522は、履歴テーブルの、その前フレームの顔領域に対応する履歴データの追跡フラグ314をOFFにして、以後その顔領域に対する追跡処理を実施しないようにするステップS706。また、認証フラグ317がOFFの場合には、それまでに算出された類似度を対応する照合テーブル410に記憶する。そして顔追跡手段522は、現フレームの顔領域ごとに履歴テーブルの履歴データの初期化又は更新をするステップS707。現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、顔追跡手段522は、履歴テーブル310にその対象人物についての履歴データを新たに追加し、初期化処理を行う。即ち、顔追跡手段522は、その履歴データに新たな試行番号311及び対象人物ID312を割り当てるとともに、開始時刻313として現在時刻を記録し、追跡フラグ314をONに設定する。また顔追跡手段522は、顔画像データ315としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報316としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段522は、認証フラグ317及び更新フラグ319をOFFに設定し、要望行動カウンタ318を0に設定する。一方、現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、顔追跡手段522は、履歴テーブル310の、対応する履歴データの顔画像データ315にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報316にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段522は、更新した履歴データを顔照合手段523へ出力する。以下のステップS708~S716の処理は、追跡フラグ314がONになっており、認証フラグ317がOFFになっている履歴データごとに行われる。追跡フラグ314がONになっている履歴データのうち認証フラグ317がONである履歴データは処理対象としないのは、既に認証がなされているためである。そのため、顔照合手段523は、顔追跡手段522から出力された履歴データの最新の顔画像と記憶部510から読み込んだ各登録顔画像とを照合するステップS708。そして顔照合手段523は、認証が成功したか否かを判定するステップS709。ステップS709で認証が失敗した場合、顔向き検出手段526は、その認証が失敗した対象人物の顔が写っている顔領域画像について直視度を算出し、その顔領域画像と対応づけて記憶部510に記憶するステップS710。次に静止検出手段527は、その顔領域について静止度を算出し、その顔領域画像と対応づけて記憶部510に記憶するステップS711。そして判定手段528は、直視度と静止度から、対象人物がカメラを直視しながら静止しているか否かを判定するステップS712。そして判定手段528は、対象人物がカメラを直視しながら静止していると判定すると、要望行動カウンタ318をインクリメントするステップS713。一方、ステップS709で認証が成功した場合、顔照合手段523は、認証成功を示す信号を出力部200へ出力し、出力部200を介して電気錠の解錠を行うステップS714。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。次に、顔照合手段523は認証フラグ317をONに設定する。また判定手段528は、履歴テーブル310の開始時刻313と最新の追跡位置情報316とから認証時間を算出し、顔照合手段523が算出した類似度を照合テーブル410に記憶するステップS715。判定手段528は、認証時間が所定時間以上であり、その認証時間内にインクリメントされた要望行動カウンタ318が所定の閾値以上であるか否かを判定するステップS716。認証時間が所定時間を下回った場合には、対象人物はすみやかに認証成功との判断を得て入室可能となったと考えられる。また要望行動カウンタ318が所定の閾値を下回った場合には顔を撮像部100に向けたり静止したりすることなく入室可能となったと考えられるので、どちらの場合も候補顔画像の選定などの処理を行う必要はないステップS716のNoの分岐。一方で、認証時間が所定時間以上であり、その認証時間の間にインクリメントされた要望行動カウンタ318が所定の閾値以上である場合ステップS716のYesの分岐には、その対象人物は登録顔画像414の更新が必要な認証されにくい人物であると考えられるので、判定手段528は更新フラグ319をONに設定するステップS717。次に、判定手段528は、登録顔画像414の更新に用いる候補顔画像の選定処理を行うステップS718。判定手段528は、ステップS709にて認証成功との判断を得た最新の顔領域画像を、履歴テーブル310の顔画像データ315から読み出して、同テーブルの候補顔画像320に記憶するものとする。あるいは、判定手段528は、顔領域画像と対応づけられて記憶部510に記憶されている直視度を参照し、認証時間内にてそれが最大値を示した時の顔領域画像を選択して履歴テーブル310の候補顔画像320に記憶するものとする。判定手段258がステップS713で要望行動カウンタ318をインクリメントしたとき、又は判定手段528がステップS712で対象人物がカメラを直視しながら静止していないと判定したとき、又は判定手段528が候補顔画像の選定処理を実施したとき、又は認証時間が所定時間未満か要望行動カウンタ318が所定の閾値以下のとき、全ての顔領域画像について照合処理がされたか否かが判定される。まだ照合処理がされていない顔画像が存在する場合、制御はステップS708に戻り、ステップS708~S716の処理が繰り返される。以上説明してきたように、本発明を適用した顔画像認証装置10は、監視画像を順次取得し、その順次取得した複数の監視画像にわたって同一の人物の顔が写っている顔領域どうしを対応付ける。そして顔画像認証装置10は、現フレームの顔領域画像に写っている顔の向きと、監視画像における、複数の監視画像にわたって抽出された同一の人物の顔が写っている各顔領域の位置の変化から行動特徴量を算出する。そして顔画像認証装置10は、認証時間と行動特徴量からその人物が要望行動を取っていると判定した場合にその人物を認証されにくい人物として検出する。これにより、顔画像認証装置10は、登録された顔画像が認証時に取得される顔領域画像と異なって認証されにくい状態にある人物を、その人物の行動に基づいて早期に高精度に検出し、認証に適した、登録顔画像の更新に用いる顔をすみやかに選択することができる。以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、顔画像認証装置は、カメラを直視しながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定するのではなく、単にカメラを直視している対象人物、または単に立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。その場合、行動判定手段は、直視度と静止度のうちの何れか又は何れも算出し、直視度が直視度閾値以上である場合、または静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。即ち、認証時間内において対象人物が撮像部に対して顔を略正面方向に向けていると判断される顔領域画像が所定の枚数以上である、または認証時間内において対象人物が略静止していると判断される時間が所定時間以上である場合に、判定手段は、その対象人物が認証されにくい人物と判定する。このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値と同じにしてもよい。あるいは、要望行動を取っていない人物を誤って検出することを抑制するため、このときの直視度閾値又は静止度閾値は、直視度が直視度閾値以上であり、かつ静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする場合の直視度閾値又は静止度閾値より大きい値にしてもよい。この場合も、顔画像認証装置は、登録された顔画像が認証時に取得される顔領域画像と異なって認証されにくい状態にある人物を早期に、かつ高精度に検出し、認証に適した、登録顔画像の更新に用いる顔画像をすみやかに選択することができる。また、認証を要望する対象人物は、なかなか認証されない場合、望ましい角度で撮像されようとして、顔の向きを変えながら立ち止まったりゆっくり歩くことがある。そこで、顔画像認証装置は、顔の向きを頻繁に変えながら立ち止まったりゆっくり歩く対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として顔向き変化検出手段をさらに備える。この顔向き変化検出手段は、行動特徴量として、顔追跡手段によって対応付けられたそれぞれの顔領域に写っている対象人物の顔の向きの変化の度合いを示す顔向き変化度を算出する。例えば、顔向き変化検出手段は、現フレームの顔領域画像について算出された直視度と、その顔領域に対応付けられた前フレームの顔領域画像について算出された直視度との差の絶対値を算出し、算出した絶対値を所定数のフレームにわたって累積した累積値を顔向き変化度とする。つまり顔向き変化度は、顔の向きの変化が大きいほど大きい値となる。なお、この所定数は、例えば5秒間に相当するフレーム数とすることができる。そして判定手段は、顔向き変化検出手段によって算出された顔向き変化度が顔向き変化度閾値以上であり、かつ静止検出手段によって算出された静止度が静止度閾値以上である場合に要望行動カウンタをインクリメントする。なお、顔向き変化度閾値は、顔領域画像に写っている対象人物の顔の向きが変化していることを判別できるように定められる。例えば、図2に示した正規直交座標系において1式を用いて直視度を算出し、1式のヨー角ψ及びピッチ角θをラジアン値で表し、上記の所定数を5秒間に相当するフレーム数とした場合、顔向き変化度閾値はπとすることができる。また判定手段は、さらに顔向き検出手段によって算出された直視度が直視度閾値以上である場合のみ要望行動カウンタをインクリメントするようにしてもよい。また、認証を要望する対象人物は、なかなか認証されない場合、カメラを直視しながら後ずさりして再度の認証を試みることがある。そこで、顔画像認証装置は、カメラを直視しながら後ずさりする対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として後進検出手段をさらに備える。この後進検出手段は、行動特徴量として、複数の監視画像における、顔追跡手段によって対応付けられたそれぞれの顔領域の位置の変化する方向を表すベクトルを求める。例えば、撮像部が監視領域をやや上方向から撮影するように設置されている場合、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より上へ移動する。つまり、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸を設定すると、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より小さくなる。そこで、後進検出手段は、現フレームの顔領域の重心位置のy座標値から、その顔領域に対応付けられた前フレームの顔領域の重心位置のy座標値を引いた差分値を算出する。つまり、対象人物が撮像部から遠ざかる方向に移動しているとき、監視画像上で現フレームの顔領域の重心位置が前フレームの顔領域の重心位置より上の位置に存在するので、この差分値は負の値となる。そのため判定手段は、顔向き検出手段によって算出された直視度が直視度閾値以上であり、かつ後進検出手段によって算出された差分値が所定の閾値以下である場合に要望行動カウンタをインクリメントする。なお、この所定の閾値は、顔領域に写っている対象人物が撮像部から遠ざかる方向に移動していることを判別できるように定められ、この場合は例えば0とすることができる。また、撮像部が監視領域を斜め方向から撮影するように設置されている場合、後進検出手段は、監視画像における顔領域の位置のy軸方向の変化だけでなく、x軸方向の変化も考慮することが好ましい。その場合、予め人物が監視領域において後ずさりをするときの監視画像上の顔領域の位置が変化する方向をあらわすベクトルAを求めておく。そして後進検出手段は、監視画像上で、現フレームの顔領域の重心位置が、その顔領域に対応付けられた前フレームの顔領域の重心位置に対して変化した方向をあらわすベクトルBを求める。そして判定手段は、ベクトルAとベクトルBの方向一致度を5式により求める。5式により算出される方向一致度は、ベクトルBが予め人物が後ずさりする方向として求めていたベクトルAと完全に一致するとき1となる。この場合、判定手段は、直視度が直視度閾値以上であり、かつ方向一致度が所定の閾値以下である場合に要望行動カウンタをインクリメントする。なお、この場合の所定の閾値は、例えばベクトルBとベクトルAがなす角度が30度以下のときに要望行動カウンタがインクリメントされるように、086とすることができる。また、認証を要望する対象人物は、一旦撮像部から離れてから、再度撮像部に近づいて認証を試みることがある。そこで、顔画像認証装置は、一旦撮像部から離れてから、再度撮像部に近づいてくる対象人物を要望行動を取っている人物と判定してもよい。その場合、顔画像認証装置は、行動判定手段に特徴量算出手段として方向変化検出手段をさらに備える。この方向変化検出手段は、行動特徴量として、複数の監視画像における、顔追跡手段によって対応付けられたそれぞれの顔領域の位置が変化する方向の変化を示す方向変化値を求める。例えば、撮像部が監視領域をやや上方向から撮影するように設置されている場合、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より上へ移動し、対象人物が撮像部から近づくと現フレームの顔領域の重心位置は前フレームの顔領域の重心位置より下へ移動する。つまり、監視画像の左上端部を原点とし、水平に左から右へ向かう方向にx軸、垂直に上から下へ向かう方向にy軸を設定すると、対象人物が撮像部から遠ざかると現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より小さくなり、対象人物が撮像部に近づくと現フレームの顔領域の重心位置のy座標値は前フレームの顔領域の重心位置のy座標値より大きくなる。そこで、方向変化検出手段は、現フレームの顔領域の重心位置のy座標値から、その顔領域に対応付けられた前フレームの顔領域の重心位置のy座標値を引いた差分値を算出する。そして方向変化検出手段は、差分値が負値から正値に変化した場合に1となり、正値から負値に変化した場合に1となり、それ以外の場合に0となる変化判別値を求める。そして判定手段は、顔向き検出手段によって算出された直視度が直視度閾値以上であり、かつ方向変化検出手段によって算出された変化判別値が1又は1である場合に要望行動カウンタをインクリメントする。なお、この場合の判定方法は、顔領域に写っている対象人物が撮像部に近づいた後に遠ざかったこと、又は撮像部から遠ざかった後に近づいたことを判定できるものであればどのようなものであってもよい。例えば、判定手段は、各監視画像において方向変化検出手段によって算出された差分値が所定回数以上連続して正の値であり対象人物が撮像部に近づき、その後所定回数以上連続して負の値となり撮像部から離れ、その後再度正の値となった撮像部に再度近づいた場合に要望行動カウンタをインクリメントしてもよい。なお、この所定回数は例えば5回とすることができる。また、判定手段は、この行動が例えば2回以上繰り返されたときに要望行動カウンタをインクリメントしてもよい。その場合、監視画像において2回目の行動時の顔領域の位置の変化の割合が1回目の行動時の顔領域の位置の変化の割合より小さいとき、すなわち対象人物の移動速度が遅くなったとき、その対象人物はより強く認証を要望していると考えられるので、要望行動カウンタの加算幅を大きくしてもよい。また、監視画像において顔領域の位置の変化の割合が徐々に小さくなる場合も、その対象人物はより強く認証を要望していると考えられるので、要望行動カウンタの加算幅を大きくしてもよい。また、認証を要望する対象人物は、認証されようとして静止する場合、その対象人物がカメラの正面の位置と考える特定の範囲に静止する傾向にある。そこで、顔画像認証装置は、特定の範囲に静止する対象人物のみを認証を要望している人物と判定してもよい。その場合、判定手段は、直視度が直視度閾値以上であり、静止度が静止度閾値以上であり、さらに顔領域の重心位置が監視画像の予め定められた範囲に存在する場合のみ、要望行動カウンタをインクリメントする。なお、この範囲は撮像部の設置場所、撮像範囲等に応じて定められる。また、なかなか認証されずに認証を要望している対象人物は、自らの顔の特徴的な部位が明確に撮像されるようにするものと考えられ、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠していない可能性が高い。従って、顔画像認証装置は、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠している対象人物を、認証されにくい人物として検出判定しないようにしてもよい。その場合、顔画像認証装置は、行動判定手段に、対象人物が写っている現フレームの顔領域画像内に顔の特徴となる部位を覆う物が存在するか否かを判定する顔状態判定手段をさらに備える。そして判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されると、要望行動カウンタをインクリメントしないようにしたり、更新フラグをONにしないようにして、その人物を認証されにくい人物であると判断しない。つまり、顔画像認証装置は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在しないと判定された場合に限り、その顔領域画像に写っている人物を認証されにくい人物として検出できる。これにより顔画像認証装置は、マスク、サングラス等により顔の特徴となる部位が覆い隠された顔領域画像を登録顔画像の更新の対象から除くことができる。あるいは、判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されたときの直視度閾値及び静止度閾値を、存在しないと判定されたときの直視度閾値及び静止度閾値より大きくしてもよい。あるいは、判定手段は、顔状態判定手段によって顔の特徴となる部位を覆う物が存在すると判定されたときの要望行動カウンタの加算幅を、存在しないと判定されたときの要望行動カウンタの加算幅より小さくしてもよい。これにより顔画像認証装置は、マスク、サングラス等を用いて顔の特徴となる部位を物理的に覆い隠している対象人物を、認証を要望している人物と判定しづらくすることができ、認証を要望している人物をさらに高精度に判定することができる。なお、顔状態判定手段は、例えばマスク、サングラス等に相当するテンプレートと顔画像とのテンプレートマッチングを行ってマスク、サングラス等の有無を判定することができる。この方法については特許第2960490号を参照することができる。あるいは、顔状態判定手段は、Adaboost識別器を用いて顔の特徴となる部位を物理的に覆い隠しているものを検出する。この方法についてはPViolaとMJonesによる論文RapidObjectDetectionUsingaBoostedCascadeofSimpleFeaturesProctheIEEEInternationalConferenceonComputerVisionandPatternRecognitionvol1pp5115182001を参照することができる。その場合、Adaboost識別器には、顔の特徴となる部位が覆い隠された複数のサンプル画像と覆い隠されていない複数のサンプル画像を用いて、顔の特徴となる部位が覆い隠された画像に対して覆い隠すものが写っているとの識別結果を出力し、顔の特徴となる部位が覆い隠されていない画像に対しては覆い隠すものが写っていないとの識別結果を出力するように事前に学習させておく。これにより顔状態判定手段は、顔画像をAdaboost識別器に入力し、その顔画像に顔の特徴となる部位を覆い隠すものが写っているか否かの識別結果を得ることができる。また顔検出手段は、必ずしも対象人物の顔が写っている顔領域を監視画像から切り出して顔領域画像を作成する必要はない。例えば、顔検出手段は、監視画像から対象人物の顔が写っている顔領域を抽出した後、顔領域画像を作成せずに、抽出した顔領域の監視画像における座標情報のみを顔追跡手段に出力するようにしてもよい。その場合、顔照合手段及び行動判定手段は、顔領域画像についての処理を監視画像の顔領域に対して実施する。また顔照合手段は、必ずしも顔追跡手段によって対応付けられた顔領域画像について照合処理を行う必要はなく、顔追跡手段が追跡処理を実施する前に照合処理を実施してもよい。その場合、顔検出手段は、抽出した顔領域を監視画像から切り出した顔領域画像を顔追跡手段に出力するとともに、顔照合手段にも出力し、顔照合手段は、顔検出手段から受け取った顔領域画像について照合処理を実施する。また登録手段は、図5に示した登録顔画像の更新画面又は図6に示した登録顔画像の選択画面において、認証されやすい対象人物の登録顔画像に係る情報を表示しないようにしてもよい。その場合、例えば判定手段は、登録顔画像ごとに最近の一定期間内に要望行動カウンタが0のまま認証成功となった回数、すなわちカメラを直視しながら立ち止まったりゆっくり歩くことなく認証成功となった回数を算出しておく。そして登録手段は、判定手段によって算出された回数が所定回数以上である登録顔画像に対応する顔領域画像については登録顔画像の更新画面に表示しないようにする。また登録手段は、判定手段によって算出された回数が所定回数以上の登録顔画像については登録顔画像の選択画面に表示しないようにする。なお、例えばカメラを直視しながら立ち止まったりゆっくり歩くことなく認証成功となった回数を算出する期間を10日間とした場合、この所定回数は10回とすることができる。これにより、顔画像認証装置は、更新する必要のない認証されやすい対象人物の登録顔画像に関する情報を表示しないので、管理者は不要な情報を閲覧することなく効率よく登録顔画像を更新することができる。また、顔画像認証装置は、顔領域画像に写っている対象人物と登録顔画像に写っている人物が同一人物であると判定したときに、その顔領域画像に写っている対象人物が要望行動を取っていると判定した回数が所定回数以上となる場合には、その顔領域画像によって登録顔画像を更新するようにしてもよい。その場合、登録手段は、管理者からの指示によらず、履歴データに基づいて自動的に登録顔画像を更新する。登録手段は、更新フラグがONになっている履歴データ、つまり要望行動カウンタが所定の閾値以上となっている履歴データについて、照合された顔領域画像と登録顔画像の類似度が所定値以上となる場合に、その照合された顔領域画像によって登録顔画像を更新する。この所定値は、例えば認証閾値と同じ値とすることができる。あるいはこの所定値は、認証閾値より大きい値例えば11倍となる値、又は認証閾値より小さい値例えば09倍となる値としてもよい。これにより顔画像認証装置は、認証しづらい人物の登録顔画像をより認証しやすい画像に自動的に変更できるので、管理者の手間を削減するとともに、より早期に登録顔画像を変更できる。さらに顔画像認証装置は、以後の認証において本人認証の失敗を低減することができる。また、これまでに述べてきた本発明の実施の形態においては、対象人物が立ち止まっていることを表す行動を把握するのに、監視画像上での顔領域画像の時間的な位置変化、即ち4式で表される静止度が静止閾値を越えるフレーム数に基づいていた。時間的に隣接するフレーム間の時間間隔は既知であるので、要望行動カウンタの値は、対象人物が断続的に立ち止まっても、その位置変化が小さい時間の合計を表すので、立ち止まったり動いたりしても、対象人物が認証されようとして立ち止まるという行動を把握できる。これに代えて、認証時間において継続的に対象人物の静止度が静止閾値を越えている時間が所定の時間を越えていると、対象人物が立ち止まっていると判断しても良い。この場合の所定時間は、これまでに述べてきた本発明の実施の形態において要望行動カウンタに用いた閾値20に対応した、例えば3~4秒とすることができる。この場合も、対象人物が移動することを止めて静止し続けるという認証されようとする意思の現れとして判定することもできる。さらに、対象人物が静止しながら撮像部に顔を向けている場合、その対象人物は認証されようとしているものと推認される。そこで、上記の対象人物の静止度が継続的に静止閾値を越えている間に、当該対象人物が撮像部に顔を向けていることを判断の条件に加えることが好適である。上記のように、認証時間内において継続的に対象人物が静止閾値を越えている時間を用いて、対象人物が立ち止まっていると判断する場合においても、認証成功と判断されたときの顔領域画像を、登録顔画像の更新に用いる候補顔画像として選択することが可能である。また、これまでに述べてきた本発明の実施の形態においては、対象人物がカメラを直視していることを表す直視度や、立ち止まっていることを表す静止度を用いて、対象人物が要望行動を取っているか否かを要望カウンタのインクリメント結果にて判定し、それが認証時間内にて所定の回数以上である場合に対象人物が認証されにくい人物であると判断することとしていた。一方で、顔画像認証装置における処理速度が十分に速いにも関わらず、認証成功との結果を得るまでに時間がかかるのは、それだけでも認証されにくい人物であると考えることもできる。そこで、これまでに述べてきた本発明の実施の形態よりも判定条件を少なくし、要望行動カウンタを用いず、認証時間が所定時間を越えた場合には、対象人物が認証されにくい人物であると直ちに判定しても良い。この場合の所定時間は、これまでに述べてきた本発明の実施の形態において用いた場合と同様に、例えば10秒とすることができる。この場合でも、対象人物の行動に基づいて、認証されようと要望行動を取っている人物について、認証成功と判断されたときの顔領域画像を、登録顔画像の更新に用いる候補顔画像として選択することが可能である。以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。