(57)【特許請求の範囲】
【請求項１】
監視領域内の人物を撮影した監視画像を順次取得する撮像部と、複数の登録人物の顔画像を登録顔画像として予め記憶する記憶部と、前記監視画像を用いて監視領域内の人物が登録人物であるか否かの人物認証を行う照合部を具備する顔画像認証装置であって、
前記照合部は、
前記監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、
順次取得する所定枚数の監視画像にて前記顔領域画像を追跡する顔追跡手段と、
前記顔領域画像と前記登録顔画像との類似度を算出する類似度算出手段と、
前記類似度に基づいて前記複数の登録人物から認証候補人物を特定する認証候補人物特定手段と、
前記認証候補人物について、前記所定枚数の監視画像に対して当該認証候補人物と特定された顔領域画像の割合を登録人物検出率として算出する検出率算出手段と、
前記顔領域画像が前記認証候補人物のものであるか否かを認証するための認証閾値を、前記登録人物検出率に応じて前記認証候補人物ごとに決定する認証閾値決定手段と、
前記類似度が前記認証閾値を超えている認証候補人物を前記監視領域内の人物であると認証判定する認証判定手段と、を有することを特徴とした顔画像認証装置。
【請求項２】
前記認証閾値決定手段は、前記登録人物検出率が増加するに従って前記認証閾値を低くする請求項１に記載の顔画像認証装置。
【請求項３】
前記照合部は、予め定められた最新の複数枚の監視画像を用いて人物認証を行う請求項１又は２に記載の顔画像認証装置。
【請求項４】
前記照合部は、前記顔領域画像が前記登録人物検出率の計算に適切な画質であるか否かを判定する画質判定手段を更に有し、当該適切な画質と判定された顔領域画像を用いて人物認証を行う請求項１から３のうちのいずれか１項に記載の顔画像認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像認証装置に関し、特に、予め登録している顔画像に基づいて利用者を検出する顔画像認証装置に関する。
【背景技術】
【０００２】
従来、監視領域内を歩行する人物の認証を行うために、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出し、抽出した顔領域画像と予め登録された複数の登録顔画像のそれぞれと時系列の順での照合スコア即ち類似度を算出する顔画像認証装置（いわゆるウォークスルー型の顔画像認証装置）が用いられている。
【０００３】
ウォークスルー型の顔画像認証装置は、複数地点又は複数時点で歩行中の人物を撮影した画像から顔領域画像を抽出し、これらの顔領域画像と登録顔画像との類似度を算出する。そして、類似度が一定以上の登録顔画像の人物を、地点又は時点ごとに特定する。さらに、各地点又は各時点における類似度の最大値又は平均値を、特定した人物ごとに算出する。最終的には、このように算出した最大値又は平均値に基づいて人物の認証を行う（特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１８３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の監視画像に亘って抽出された同一人物の顔について登録人物に対する類似度を時系列で取得することを考えた場合、即ち同一人物についての直近の複数の顔領域画像について類似度を順次取得する場合、いずれの類似度も高くなるのが望ましい。この場合、複数の類似度の最大値又は平均値を用いても、正確な認証結果を得ることができる。
【０００６】
しかしながら、通行する人物の顔を順次撮影するような状況では、歩行中に自然に生じる表情、顔の向き等に変動が生じうる。このような変動が生じた場合、本人であっても類似度は低くなる一方で、顔領域画像の顔の人物が本人以外の人物であると判定されるいわゆる「他人の空似」が発生する可能性があるので、本人の類似度より他人の類似度が高くなる現象を無視することができない。これにより他人の受け入れにつながるので、単に複数の類似度の最大値に基づいて判定を行うのは不適切である。また、複数の類似度の平均値に基づいて判定を行う場合、複数の類似度の平均値が認証閾値を超えなくなり、本人を正しく判定できないことがある。
【０００７】
また、眼鏡の有無、表情の変動等により最高の類似度がいずれも認証閾値より低くなる事態がある。例えば、裸眼で登録した人物が眼鏡をかけて通行すると、登録顔画像と顔領域画像との類似度を算出する際に、眼鏡以外の部分では画像間の差異が小さいので眼鏡以外の部分の類似度が高くなる。しかしながら、眼鏡部分のテクスチャが登録顔画像と顔領域画像との間で異なるために眼鏡部分における登録顔画像と顔領域画像との差異が大きくなる。その結果、顔全体としては類似度が低くなり、本人の類似度が最大値を有したとしても類似度が認証閾値よりも低くなる。この場合、類似度が認証閾値を超えないために、複数の類似度の最大値又は平均値を用いても本人の判定が困難になる。
【０００８】
本人の判定を行えるようにするために認証閾値を低くすることも考えられるが、歩行中に自然に生じる表情、顔の向き等の変動により類似度が最大値を有する登録人物が本人以外であると判定されうる状況においては、本人以外の登録人物が誤って認証される可能性がある。
【０００９】
したがって、顔画像認証装置を用いて監視領域内を歩行する人物の認証を行う際に、表情、顔の向きの変動等により本人認証をしにくい状況でも本人受理を確保する必要がある。
【００１０】
本発明の目的は、表情、顔の向きの変動等により本人認証をしにくい状況でも本人受理を確保することができる顔画像認証装置を提供することにある。
【課題を解決するための手段】
【００１１】
かかる課題を解決するための本発明は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、複数の登録人物の顔画像を登録顔画像として予め記憶する記憶部と、監視画像を用いて監視領域内の人物が登録人物であるか否かの人物認証を行う照合部を具備する顔画像認証装置であって、照合部は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出する顔検出手段と、順次取得する所定枚数の監視画像にて顔領域画像を追跡する顔追跡手段と、顔領域画像と登録顔画像との類似度を算出する類似度算出手段と、類似度に基づいて複数の登録人物から認証候補人物を特定する認証候補人物特定手段と、認証候補人物について、所定枚数の監視画像に対して当該認証候補人物と特定された顔領域画像の割合を登録人物検出率として算出する検出率算出手段と、顔領域画像が認証候補人物のものであるか否かを認証するための認証閾値を、登録人物検出率に応じて認証候補人物ごとに決定する認証閾値決定手段と、類似度が認証閾値を超えている認証候補人物を監視領域内の人物であると認証判定する認証判定手段と、を有する。
【００１２】
また、本発明に係る顔画像認証装置において、認証閾値決定手段は、登録人物検出率が増加するに従って認証閾値を低くすることが好ましい。
【００１３】
また、本発明に係る顔画像認証装置において、照合部は、予め定められた最新の複数枚の監視画像を用いて人物認証を行うことが好ましい。
【００１４】
また、本発明に係る顔画像認証装置において、照合部は、顔領域画像が登録人物検出率の計算に適切な画質であるか否かを判定する画質判定手段を更に有し、当該適切な画質と判定された顔領域画像を用いて人物認証を行うことが好ましい。
【発明の効果】
【００１５】
本発明に係る顔画像認証装置は、表情、顔の向きの変動等により本人認証をしにくい状況でも認証閾値を適応的に決定することで本人受理を確保することができるという効果を奏する。
【図面の簡単な説明】
【００１６】
【図１】本発明を適用した顔画像認証装置の概略構成図である。
【図２】顔画像認証装置がオフィスビルの入り口に設置される場合の撮像部の設置例を表す模式図である。
【図３】記憶部に記憶される照合テーブルの模式図である。
【図４】図３に示す照合テーブルの一部を構成するフレーム照合結果の模式図である。
【図５】画質判定基準として照明条件に基づく画質判定基準を用いた場合を説明するための顔領域画像の例を示す図である。
【図６】認証閾値の調節の方法を説明する模式図である。
【図７】顔画像認証装置で得られる類似度の模式図である。
【図８】利用者が顔の向きを変えて撮影されることを示す模式図である。
【図９】本発明による顔画像認証装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態である顔画像認証装置について図を参照しつつ説明する。
顔画像認証装置における認証において、表情、顔の向きの変動等により本人認証をしにくい状況がある。そこで、本発明を適用した顔画像認証装置は、追跡された直近の複数の顔領域画像に対する類似度が最高となった回数の割合である登録人物検出率を計算し、顔領域画像に含まれる顔が認証候補人物の顔であるか否かを認証するための基準である認証閾値を、登録人物検出率に応じて決定する。このように認証閾値を適応的に決定することにより、顔画像認証装置は、表情、顔の向きの変動等により本人認証をしにくい状況でも本人受理を確保することを図る。
【００１８】
図１は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図１に示すように、顔画像認証装置１０は、撮像部１００、出力部２００及び画像処理部３００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。
【００１９】
撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物（顔画像認証装置１０による照合の対象となる監視領域内の人物を対象人物と称する）の顔を順次撮影できるように設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部３００と接続され、取得した監視画像を画像処理部３００へ渡す。
【００２０】
図２に、顔画像認証装置１０がオフィスビルの入り口に設置される場合の撮像部１００の設置例を模式的に示す。図２に示すように、例えば、顔画像認証装置１０がオフィスビルの入り口２５３に設置される場合、撮像部１００は、入り口２５３に通じる通路を監視領域に含むよう、入り口２５３が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、入り口２５３に向かう（進行方向２５４へ向かう）対象人物を所定の時間間隔で撮像することができる。なお図２では、撮像部１００が、時刻t、t+1、t+2において入り口２５３に向かう同一の対象人物２５０、２５１、２５２を順次撮影する様子を示している。
【００２１】
監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
【００２２】
出力部２００は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部３００から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。
【００２３】
画像処理部３００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部３００は、撮像部１００から受け取った監視画像に基づいて、対象人物を認証するとともに、表情、顔の向きの変動等により認証されにくい状態にある対象人物を検出する。そのために、画像処理部３００は、記憶部３１０及び照合部３２０を有する。さらに、照合部３２０は、顔検出手段３２１、顔追跡手段３２２及び顔照合手段３２３を有する。
【００２４】
記憶部３１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３１０は、照合に使用される登録顔画像を対応する登録された人物（以降、登録人物と称する）の登録人物ＩＤと関連付けて記憶する。また記憶部３１０は、画像処理により生じた対象人物に関する情報を管理するための照合テーブルを記憶する。この照合テーブルの詳細については後述する。
【００２５】
照合部３２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部３２０の各手段について詳細に説明する。
【００２６】
顔検出手段３２１は、撮像部１００から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を検出し、顔領域画像を抽出する。
顔領域を検出するために、顔検出手段３２１は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段３２１は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段３２１は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段３２１は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段３２１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。
【００２７】
あるいは顔検出手段３２１は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段３２１は、抽出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段３２２に出力する。
【００２８】
顔追跡手段３２２は、所定の時間間隔で連続して取得される複数の監視画像にわたって顔検出手段３２１から抽出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、同一人物の顔が写っている顔領域どうしを対応付けることで顔領域画像の追跡を行う。
例えば、顔追跡手段３２２は、最新の監視画像から抽出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から抽出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、対象人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。
【００２９】
あるいは、顔追跡手段３２２は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。
【００３０】
顔追跡手段３２２は、顔領域の対応付けを行うと、記憶部３１０に格納されている照合テーブルを更新する。図３に照合テーブルの例を示す。図３に示すように照合テーブル４１０は、対象人物ごとに系列データを管理する。系列データは、照合テーブル４１０の各行にあらわされるデータの組であり、顔追跡手段３２２は、系列データのうち、試行番号４１１、系列ＩＤ４１２、更新時刻４１３、追跡フラグ４１４及び追跡位置情報４１５を更新する。
図３に示した照合テーブル４１０において、試行番号４１１は、追跡中の対象人物の系列データを他の系列データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段３２２によって追跡がされている間、同一の識別番号が割り当てられ続ける。系列ＩＤ４１２は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号３１１と１対１に対応する。系列ＩＤ４１２は、一意に定まるように付与されるものとなる。例えば、顔追跡手段３２２が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、系列ＩＤ４１２と試行番号４１１は１対１に対応するので、いずれかを省略してもよい。更新時刻４１３は、顔検出手段３２１がその対象人物について顔領域画像を最後に抽出し、顔追跡手段３２２が追跡処理を終了した時刻を表す。
追跡フラグ４１４は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段３２２がその対象人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。つまり、追跡フラグ４１４がＯＮのときはその対象人物は監視領域内に存在し、追跡フラグ４１４がＯＦＦのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。
追跡位置情報４１５は、顔領域画像が切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。
【００３１】
顔追跡手段３２２は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、照合テーブル４１０にその対象人物についての系列データを新たに追加し、初期化処理を行う。即ち顔追跡手段３２２は、その系列データに新たな試行番号４１１及び系列ＩＤ４１２を割り当てるとともに、更新時刻４１３として現在時刻を記録し、追跡フラグ４１４をＯＮに設定する。また顔追跡手段３２２は、追跡位置情報４１５としてその現フレームの顔領域の座標情報及び現在時刻を記録する。また顔追跡手段３２２は、認証フラグ４１７をＯＦＦに設定し、新たに追加した系列データ及びその系列データに対応付けた現フレームの顔領域画像を顔照合手段３２３に出力する。
【００３２】
一方、顔追跡手段３２２が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての系列データは、既に照合テーブル４１０に作成されている。そのため、顔追跡手段３２２は、照合テーブル４１０の、対応する系列データの追跡位置情報４１５にその現フレームの顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段３２２は、その系列データ及びその系列データに対応付けた現フレームの顔領域画像を顔照合手段３２３に出力する。
【００３３】
また、顔追跡手段３２２は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、照合テーブル４１０の、対応する系列データの追跡フラグ４１４をＯＦＦにして、その対象人物についての追跡処理を終了する。
【００３４】
顔照合手段３２３は、画質判定手段３２４、類似度算出手段３２５、認証候補人物特定手段３２６、検出率算出手段３２７、認証閾値決定手段３２８及び認証判定手段３２９を有し、顔追跡手段３２２から出力された系列データのうち、図３に示した照合テーブル４１０の認証フラグ４１７がＯＦＦとなっている系列データに対応付けられて顔追跡手段３２２から出力された顔領域画像について照合処理を行い、照合テーブル４１０の照合履歴４１６及び認証フラグ４１７を更新する。
【００３５】
照合履歴４１６は、各フレームの追跡位置情報４１５に対応するフレーム照合結果４２０を保持する。図４にフレーム照合結果４２０の例を示す。
取得時刻４２１は、現フレームの顔領域画像が取得された時刻である。画質フラグ４２２は、顔領域画像の画質が照合に適したものであるか否か、即ち顔領域画像が後述する類似度の算出に適切な画質であるか否かを表すフラグであり、画質判定手段３２４が顔領域画像の画質が照合に適していると判定した場合は画質判定手段３２４によりＯＫにセットされ、画質判定手段３２４が顔領域画像の画質が照合に適していないと判断した場合は画質判定手段３２４によりＮＧにセットされる。
【００３６】
フレーム１位人物４２３は、顔追跡手段３２２によって追跡した顔領域画像と記憶部３１０に記憶された複数の登録顔画像のそれぞれとの類似度（照合スコア）のうち、類似度が最高（１位）となった登録人物の識別ＩＤである。類似度４２４は、フレーム１位人物４２３を特定することになった照合スコアである。
【００３７】
図３に戻り、認証フラグ４１７は、対象人物に対する認証が成功したか否かを表すフラグである。即ち対象人物が登録人物のいずれかであると認証判定手段３２９によって判定された場合にはＯＮにセットされ、対象人物の追跡が始まったばかりの状態のように認証結果が認証判定手段３２９によって求められていない状態の場合又は対象人物が登録人物ではないと認証判定手段３２９によって判定された場合にはＯＦＦにセットされる。
【００３８】
画質判定手段３２４は、上述したように、顔領域画像の画質が照合処理に適したものであるか否か、即ち顔領域画像が後述する登録人物検出率としての１位ヒット率の計算に適切な画質であるか否かを判定し、判定結果を画質フラグ４２２に記憶する。
一般に、撮像部１００が歩行する対象人物を撮影する間に、例えば、ピントが合わなくなる事態、照明、遮蔽等の影響で顔が暗くなる事態等が生じることがある。そのように事態のときに取得した照合処理に適さない画像を照合処理の対象から予め除外することによって、顔画像認証装置１０の認証性能を向上させることができる。
【００３９】
照合データの顔領域の画質が照合処理に適したものであるか否かを判断するための画質判定基準が複数存在する。例えば、撮像部１００のレンズとしてオートフォーカスタイプのレンズを使用し、合焦調整が追いつかない画像を排除するような画質判定基準を用いる場合には、画質判定手段３２４は、顔領域画像の周波数成分を抽出し、周波数成分が所定の値以下である顔領域画像は照合処理に適さない顔領域画像であると判定し、画質フラグ４２２をＮＧにセットする。
【００４０】
照合データの顔領域の画質が照合処理に適したものであるか否かを判断するための他の画質判定基準として照明条件に基づく画質判定基準を用いた場合において、顔領域画像に生じた明暗の状態を図５に示す。
【００４１】
図５（ａ）は、適切な明るさの顔領域画像を示す。図５（ａ）に示す顔領域画像には、特に照合処理の障害となる影が生じておらず、この場合、画質判定手段３２４は、画質フラグ４２２をＯＫにセットする。
【００４２】
図５（ｂ）は、全体的に暗い顔領域画像を示す。図５（ｂ）に示す顔領域画像では、照合処理において重要な情報となる顔のテクスチャ情報が欠落する傾向にあり、この場合、画質判定手段３２４は、顔領域画像の平均輝度を求め、平均輝度が所定の値以下である場合には、顔領域画像が暗すぎるとして画質フラグ４２２をＮＧにセットする。なお、画質判定手段３２４は、顔領域画像が明るすぎて顔のテクスチャ情報が欠落していると判定した場合も画質フラグ４２２をＮＧにセットする。したがって、画質判定手段３２４は、平均輝度が所定の範囲にある場合に画質フラグ４２２をＯＫにセットする。
【００４３】
平均輝度が所定の範囲にあるか否かを判定するために、画質判定手段３２４は、例えば、顔領域画像において輝度値が０となった画素（黒く飽和又は黒つぶれ）と輝度値が２５５となった画素（白く飽和又は白つぶれ）の少なくとも一方があるか否か判定し、これらの画素がいずれも存在しない場合には平均輝度が所定の範囲にあると判定する。なお、顔領域画像がカラー画像である場合、ＲＧＢのそれぞれの顔領域画像において、輝度値が０となった画素と輝度値が２５５となった画素の少なくとも一方があるか否か判定する。
【００４４】
顔領域画像が明るすぎ又は暗すぎるときの顔領域画像の顔の部分の領域の輝度分布は、単に明るい側又は暗い側に集中するだけでなく輝度階調が狭くなる傾向にある。したがって、平均輝度が所定の範囲にあるか否かを判定するために、画質判定手段３２４は、顔領域画像の顔部分の領域の輝度階調に４ビット以上の分解能があるか否かを判定し、４ビット以上の分解能がある場合には平均輝度が所定の範囲にあると判定してもよい。なお、顔領域画像がカラー画像である場合、ＲＧＢのそれぞれの顔領域画像において、顔領域画像の顔部分の領域の輝度階調に４ビット以上の分解能があるか否かを判定する。
【００４５】
図５（ｃ）は、対象人物の左側から光が当たり、左半面は明るいが右半面は暗い状態となっている顔領域画像を示す。この場合、本来あるべきでない特徴が明暗差の境目で抽出されうる。そこで、画質判定手段３２４は、所定の面積以上の領域において明るさが第１の値を超え又は所定の面積以上の領域において明るさが所定の第１の値より低い第２の値未満である場合に画質フラグ４２２をＮＧにセットする。画質フラグ４２２がＮＧにセットされた顔領域画像（フレーム）については、後述するように認証閾値決定手段３２８の処理対象外となる。
【００４６】
類似度算出手段３２５は、顔追跡手段３２２によって追跡した顔領域画像と記憶部３１０に予め記憶された複数の登録顔画像のそれぞれとの類似度を算出する。類似度算出手段３２５は、公知の顔照合技術を用いて類似度を算出する。例えば、類似度算出手段３２５は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。
認証候補人物特定手段３２６は、類似度が最高となった登録人物、即ち認証候補人物を特定し、その情報（登録人物の識別ＩＤ）をフレーム１位人物４２３に記憶し、その類似度を類似度４２４に記憶する。
【００４７】
検出率算出手段３２７は、認証候補人物ごとに、現フレームから過去に遡った直近のＮフレーム（例えば、３０フレーム）分の監視画像から抽出された顔領域画像のそれぞれについて類似度が最高となった枚数、即ちフレーム１位人物４２３に識別ＩＤが記録された数から登録人物検出率としての１位ヒット率を求める。
そのために、検出率算出手段３２７は、同一の系列ＩＤ４１２が付与された系列データについて、直近のＮフレームに含まれるフレーム１位人物４２３及び類似度４２４を調べる。そして、Ｎフレーム分の類似度４２４のうちで最高の値となったフレーム１位人物４２３に記録された識別ＩＤを持つ認証候補人物が、そのＮフレーム中にいくつ含まれているかを計数し、その割合を１位ヒット率とする。
理想的な状態では、全てのフレーム照合結果４２０において同一の認証候補人物について類似度が１位になるので、その認証候補人物について１位ヒット率は１００％となる。
以下、Ｎフレーム分の類似度４２４のうちで最高の値とはならなかったフレーム１位人物４２３の他の識別ＩＤを持つ認証候補人物についても同様に、そのＮフレーム中にいくつ含まれているかを計数し、それぞれ１位ヒット率を求めてもよい。
【００４８】
１位ヒット率は、例えば（１）式で表されるように、直近のＮフレーム分のフレーム照合結果４２０の中で認証候補人物が１位となったフレーム数Ｎｈｉｔ、直近のＮフレーム分のフレーム照合結果４２０の中で画質フラグ４２２がＮＧにセットされたフレーム数Ｉ及びフレーム数Ｎｈｉｔの中で画質フラグ４２２がＮＧにセットされたフレーム数Ｉｈｉｔを用いて計算することができる。
【数１】
0005766096.tif 000002
【００４９】
認証閾値決定手段３２８は、顔領域画像に含まれる顔が認証候補人物として特定された登録人物の顔であるか否かを認証するための基準である認証閾値を１位ヒット率に応じて決定する。認証閾値テーブルを２次元グラフ化した図を、図６に示す。
【００５０】
認証閾値テーブルを、後に詳細に説明するように、１位ヒット率が高くなるに従って認証閾値が小さくなるように設計する。１位ヒット率と認証閾値との関係は、図６（ａ）に示すような直線の関係、図６（ｂ）に示すような下に凸の曲線の関係、図６（ｃ）に示すような上に凸の曲線の関係、図６（ｄ）に示すような所定の区間ごとに区切った階段状の関係等とすることができる。
【００５１】
図６に示す１位ヒット率と認証閾値との関係は、設計事項として既存の知見に基づいて与えてもよいが、予備実験結果に基づいて経験的に求めることもできる。即ち、顔画像認証装置１０を設置した際に、本運用する前にサンプルとなる被験者を募り、実際に図２に示すように被験者に扉２５３の前で方向２５４に沿って歩いてもらう。その際、得られた入力顔画像を実際に認証処理し、１位ヒット率と類似度との関係を求めてサンプルデータとする。このサンプルデータは、日照変動に伴う明るさの変化などの顔画像認証装置１０の運用条件も加味しつつ数多く用意するのが望ましい。
【００５２】
そして、例えば、１位ヒット率が０．８に対する認証閾値を決める場合、サンプルデータの中で１位ヒット率が０．７５から０．８５だったサンプルデータを集め、許容できるＦＡＲ(False Accept Rate:他人受理率、例えば、０．１％）になる類似度を認証閾値に採用する。同様に、１位ヒット率を変えながらそれぞれの１位ヒット率に対する認証閾値を決定し、決定した１位ヒット率及び認証閾値の座標を滑らかな曲線で結び、１位ヒット率と認証閾値との関係を、例えば図６（ａ）に示すような直線の関係として決定すればよい。この際、右肩下がりの単調減少の非線形関数を当てはめてもよい。
【００５３】
なお、類似度が最高になったフレーム数が極めて少ない（例えば、直近の３０フレームに対して３フレーム）場合、類似度が高いフレームがあっても本人との結果を出力するのは不適切である。また、類似度が最高になったフレーム数が多くても、類似度が低すぎる場合も、本人との結果を出力するのは不適切である。したがって、類似度が最高になったフレーム数が極めて少ない場合、類似度が低すぎる場合等については、次に説明する認証判定手段３２９による判定を禁止するのが好ましい。
【００５４】
認証判定手段３２９は、類似度が最高となったフレーム数が複数であり、かつ、認証候補人物の直近のＮフレームにおける類似度のいずれか一つが認証閾値を超えたか否か判定する。類似度が最高となったフレーム数が複数であり、かつ、認証候補人物のいずれか一つの類似度が認証閾値を超えた場合、認証判定手段３２９は、顔領域画像に含まれる顔が当該認証候補人物として特定された登録人物の顔であると判定し、監視領域内を通行する対象人物が当該登録人物であると判定する。そして、対応する照合テーブル４１０において、追跡フラグ４１４をＯＦＦに設定するとともに認証フラグ４１７をＯＮに設定し、認証成功を示す信号を出力部２００に出力する。
【００５５】
一方、所定時間（例えば、２秒）以上追跡を継続しているにもかかわらず、認証候補人物のいずれの類似度も認証閾値を超えない場合、認証判定手段３２９は、認証失敗として対応する照合テーブル４１０の認証フラグ４１７をＯＦＦに設定する。また、追跡開始直後であり、類似度が最高となった回数が１回である場合又は照合履歴４１６がＮフレーム分取得されていない場合にも、認証判定手段３２９は、対応する照合テーブル４１０の認証フラグ４１７をＯＦＦに設定する。
【００５６】
ここで、１位ヒット率に応じて認証閾値を決定することにより奏される効果を、顔画像認証装置で得られる類似度の模式図である図７及び利用者が顔の向きを変えて撮影されることを示す模式図である図８を用いて説明する。
複数の監視画像に亘って抽出された同一人物の顔について登録人物に対する類似度を時系列で取得することを考えた場合、即ち同一人物についての直近の複数の顔領域画像について類似度を順次取得する場合、いずれの類似度も高くなるのが望ましい。例えば、図７（ａ）においては、いずれの類似度も高く、「顔領域画像の顔は人物Ａの顔である」との結果が得られている。この場合、最高の類似度、平均の類似度及び１位ヒット率のいずれを用いても、「顔領域画像の顔は人物Ａの顔である」との結果を正確に得ることができる。
【００５７】
しかしながら、通行する人物の顔を順次撮影するような状況では、歩行中に自然に生じる表情、顔の向き等に変動が生じうる。図８において、登録顔画像７００は正面向きの顔画像を表すとする。符号７０１〜７０５は、各フレームにおける顔領域画像を示す。図８に示すように、顔領域画像７０３，７０４については、照明条件が良好であり、顔の向きも正面であるので、登録顔画像７００と条件が揃い、これらの間の類似度も高くなる。その結果、各顔領域画像の顔の人物（フレーム１位人物４２３）は「人物Ａ」であると判定される。一方、顔領域画像７０１，７０２，７０５においては、顔の向きが正面でないので、本人であっても類似度は低くなり、顔領域画像７０１の顔の人物は「人物Ｂ」であると判定され、顔領域画像７０２の顔の人物は「人物Ｄ」であると判定され、顔領域画像７０５の顔の人物は「人物Ｃ」と判定される。
【００５８】
図８に示すような状況において、類似度をグラフ表示すると、図７（ｂ）に示すように、顔領域画像７０３，７０４については類似度が認証閾値を超え、顔画像７０１，７０２，７０５については類似度が認証閾値より低くなる。この場合、従来技術のように最高の類似度に基づいて判定を行えば本人と他人とを区別することができる。しかしながら、上述したように、顔画像認証では、顔の向き、照明条件等によりいわゆる「他人の空似」が発生し、本人の類似度より他人の類似度が高くなる現象を無視することができない。これにより他人の受け入れにつながるので、単に最高の類似度に基づいて判定を行うのは不適切である。
【００５９】
また、類似度の平均値に基づいて判定を行う場合、類似度の平均が認証閾値を超えなくなり、本人を正しく判定できないことがある。さらに、１位ヒット率に基づいて判定を行う場合でも、１位ヒット率が認証閾値を超えなくなり、本人を正しく判定できないことがある。
【００６０】
また、図７（ｃ）に示すように、眼鏡の有無、表情の変動等により最高の類似度がいずれも認証閾値より低くなる事態がある。例えば、裸眼で登録した人物が眼鏡をかけて通行するときに登録顔画像と顔領域画像との類似度を算出する際に、眼鏡以外の部分では画像間の差異が小さいので眼鏡以外の部分の類似度が高くなるが、眼鏡部分のテクスチャが登録画像と顔領域画像との間で異なるために眼鏡部分における登録画像と顔領域画像との差異が大きくなり、その結果、顔全体としては類似度が低くなり、本人が最高の類似度を有したとしても最高の類似度が認証閾値よりも低くなる。この場合、最高の類似度が認証閾値を超えないために、最高の類似度、類似度の平均及び１位ヒット率のいずれを用いても本人の判定が困難になる。
【００６１】
本人の判定を行えるようにするために認証閾値を低くすることも考えられるが、歩行中に自然に生じる表情、顔の向き等の変動により最高の類似度を有する登録人物が本人以外であると判定されうる状況においては、本人以外の１位ヒット率が高い登録人物が認証候補人物として特定される可能性がある。
【００６２】
したがって、歩行中に自然に生じる表情、顔の向き等の変動により本人の１位ヒット率が低くても最高の類似度が高いと予測される場合には、認証閾値を既定の高い値のままにすることによって、本人だけを受理することができる。
一方、眼鏡の有無、表情の変動等により本人の１位ヒット率が高いものの最高の類似度が低いと予想される場合には、認証閾値を低くする（例えば、既定の値の４０％にする）ことによって、本人だけを受理することができる。
上述したように、１位ヒット率に応じて認証閾値を適応的に決定することによって、表情、顔の向きの変動等により本人認証をしにくい状況でも本人受理を確保することができ、顔認証装置１０を運用する上で日常的に発生しうる様々な変動に対応することができる。
【００６３】
以下、図９に示したフローチャートを参照しつつ、本発明による顔画像認証装置１０の動作を説明する。なお、以下に説明する動作のフローは、画像処理部３００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、照合テーブル４１０は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。
【００６４】
最初に、顔画像認証装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部３００の照合部３２０へ送る（ステップＳ４０１）。次に、照合部３２０の顔検出手段３２１は、取得された監視画像から、対象人物の顔が写っている顔領域を抽出し、その顔領域を監視画像から切り出して顔領域画像を作成する（ステップＳ４０２）。次に、顔検出手段３２１は、一つ以上の顔領域が抽出されたか否か判定する（ステップＳ４０３）。顔領域が全く抽出されなかった場合、ステップＳ４０１へ移行し、顔領域が抽出されるまでステップＳ４０１〜Ｓ４０３の処理を繰り返す。
【００６５】
一方、ステップＳ４０３において、一つ以上の顔領域が抽出され、顔領域画像が作成された場合、顔追跡手段３２２は、抽出された全ての顔領域について、照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２との対応付けを実施する（ステップＳ４０４）。そして顔追跡手段３２２は、照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２について、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ４０５）。現フレームの顔領域のいずれとも対応付けられなかった照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２がある場合、その系列ＩＤ４１２の対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段３２２は、照合テーブル４１０の、現フレームの顔領域のいずれとも対応付けられなかった系列ＩＤ４１２の追跡フラグ４１４をＯＦＦにして、以後その顔領域に対する追跡処理を実施しないようにする（ステップＳ４０６）。
【００６６】
そして顔追跡手段３２２は、現フレームの顔領域について、照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２と対応付けることができなかったものがあるか否かを判定する（ステップＳ４０７）。照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２と対応付けることができなかったものがある場合、顔追跡手段３２２は、対応付けることができなかった顔領域の対象人物についての系列データを照合テーブル４１０に新たに追加する（ステップＳ４０８）。即ち顔追跡手段３２２は、対応付けることができなかった顔領域の対象人物についての系列データに新たな試行番号４１１及び系列ＩＤ４１２を割り当てるとともに、更新時刻４１３として現在の時刻を記録し、追跡フラグ４１４をＯＮに設定する。また顔追跡手段３２２は、対応付けることができなかった顔領域の座標情報及び取得時刻を追跡位置情報４１５として記録し、認証フラグ４１７をＯＦＦに設定する。
【００６７】
なお、現フレームの顔領域について、照合テーブル４１０における追跡フラグ４１４がＯＮとなっている系列ＩＤ４１２と対応付けることができた場合、顔追跡手段３２２は、対応付けることができた顔領域の座標情報及び取得時刻を、照合テーブル４１０の対応する系列データの追跡位置情報４１５に追加する更新処理を行う。そして顔追跡手段３２２は、更新した系列データ及び顔領域画像を顔照合手段３２２に出力する。
【００６８】
次に、顔照合手段３２３は、追跡フラグ４１４がＯＮであり、かつ、認証フラグ４１７がＯＦＦになっている系列データがあるか否か判定する（ステップＳ４０９）。追跡フラグ４１４がＯＮであり、かつ、認証フラグ４１７がＯＦＦになっている系列データがない場合、ステップＳ４０１へ移行する。それに対し、認証フラグ４１７がＯＦＦになっている系列データがある場合、以下のステップＳ４１０〜Ｓ４１５の処理を実行する。ここで、追跡フラグ４１４がＯＮになっている系列データのうち認証フラグ４１７がＯＮである系列データは処理対象としないのは、当該系列データについては既に認証が完了しているからである。
【００６９】
顔照合手段３２３は、顔追跡手段３２２から系列データが出力されると照合履歴４１６にフレーム照合結果４２０を蓄積する。フレーム照合結果４２０はそれぞれ、各フレームにおける追跡位置情報４１５と一対一で対応するものであり、追跡位置情報４１５の時刻情報を取得時刻４２１に記憶する。なお、取得時刻４２１を、追跡位置情報４１５の時刻情報と同一であるとして省略してもよい。
【００７０】
画質判定手段３２４は、系列データの現フレームの顔領域の画質が照合処理に適したものであるか否かを判定し、系列データの現フレームの顔領域の画質が照合処理に適したものである場合には画質フラグ４２２をＯＫにセットし、系列データの現フレームの顔領域の画質が照合処理に適したものでない場合には画質フラグ４２２をＮＧにセットする（ステップＳ４１０）。
【００７１】
次に、類似度算出手段３２５は、系列データの現フレームの顔領域に対して、記憶部３１０に記憶された全ての登録画像との間で類似度を算出する（ステップＳ４１１）。そして、認証候補人物特定手段３２６は、類似度が最高となった登録人物の情報（登録人物の識別ＩＤ）をフレーム１位人物４２３に記憶し、その類似度を類似度４２４に記憶する（ステップＳ４１２）。なお、画質判定手段３２４において系列データの現フレームの顔領域の画質が照合処理に適したものでないと判定された場合には、当該フレームの類似度は認証閾値決定手段３２８における認証閾値決定処理に用いられないので、類似度の算出を省略してもよい。
【００７２】
次に、検出率算出手段３２７は、直近のＮフレーム分のフレーム照合結果４２０の中で類似度が最高になった認証候補人物の１位ヒット率を、式（１）を用いて算出する。そして、認証閾値決定手段３２８は、顔領域画像に含まれる顔が認証候補人物として特定された登録人物の顔であるか否かを認証するための基準である認証閾値を１位ヒット率に応じて決定する（ステップＳ４１３）。
【００７３】
なお、顔追跡手段３２２による追跡を開始したばかりのときには、照合履歴４１６に蓄積されたフレーム数が少なく、１位ヒット率が一つのフレームの結果に大きく左右されるので、認証処理を行わないようにする必要がある。このために、認証処理に必要なフレーム数が照合履歴４１６に蓄積されたか否かの判定を、例えば、ステップＳ４０９で行い、認証処理に必要なフレーム数が照合履歴４１６に蓄積されていない場合には、認証処理を禁止し、ステップＳ４０１へ移行するようにするのが好ましい。認証処理に必要なフレーム数は、顔画像認証装置１０の設置環境に応じて適宜設定されるが、フレーム数Ｎの３０〜１００％の範囲内であることが望ましい。
【００７４】
次に、認証判定手段３２９は、認証候補人物の類似度が最高となったフレーム数が複数（例えば、３枚）であり、かつ、認証候補人物のいずれかの類似度４２４が認証閾値を超えているか否かを判定する（ステップＳ４１４）。認証候補人物の類似度が最高となったフレーム数が１枚又は認証候補人物の類似度４２４のいずれもが認証閾値を超えていない場合、ステップＳ４０１へ移行する。それに対し、認証候補人物の類似度が最高となったフレーム数が複数であり、かつ、認証候補人物の類似度４２４のいずれかが認証閾値を超えている場合、認証判定手段３２９は、認証成功を示す信号を出力部２００に出力し、追跡フラグ４１４をＯＦＦに設定するとともに認証フラグ４１７をＯＮに設定する（ステップＳ４１５）。
【００７５】
ステップＳ４１５で認証成功を示す信号が出力部２００に出力された場合、顔照合手段３２３は、出力部２００を介して電気錠の解錠を行う。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。
【００７６】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、上記実施の形態において、類似度に基づいて複数の登録人物から認証候補人物を特定する際に、直近のＮフレームにおいて最高の類似度を有する登録人物を認証候補人物として決定した場合について説明したが、直近のＮフレームにおいて最高の類似度以外の類似度を有する登録人物を、類似度が高い順に認証候補人物に決定することもできる。この場合、顔領域画像に含まれる顔が直近のＮフレームにおいて最高の類似度を有する登録人物の顔でないと判定されたときに、直近のＮフレームにおいて最高の類似度以外の類似度を有する登録人物について、１位ヒット率に応じた認証閾値の決定及び認証判定を、認証が成功するまで類似度が高い登録人物の順に行う。したがって、直近のＮフレームにおける類似度が高い順に複数の登録人物が認証候補人物として順次設定されることとなる。
【００７７】
また、類似度に基づいて複数の登録人物から認証候補人物を特定する際に、最新の顔領域画像（現フレーム）において最高の類似度を有する登録人物を認証候補人物に決定することもできる。この場合、現フレームにおいて最高の類似度を有する登録人物について、１位ヒット率に応じた認証閾値の決定及び認証判定を行う。また、顔領域画像に含まれる顔が現フレームにおいて最高の類似度を有する登録人物の顔でないと判定されたときに、最近抽出した顔領域画像において最高の類似度を有する登録人物以外の登録人物について、１位ヒット率に応じた認証閾値の決定及び認証判定を、認証が成功するまで類似度が高い登録人物の順に行うこともできる。したがって、現フレームにおける類似度が高い順に複数の登録人物が認証候補人物として順次設定されることとなる。
【００７８】
また、類似度に基づいて複数の登録人物のうちの少なくとも１人を認証候補人物と判定する際に、直近のＮフレームにおいて１位ヒット率が最も高い登録人物を認証候補人物に決定することもできる。この場合、直近のＮフレームにおいて１位ヒット率が最も高い登録人物について、１位ヒット率に応じた認証閾値の決定及び認証判定を行う。また、顔領域画像に含まれる顔が直近のＮフレームにおいて１位ヒット率が最も高い登録人物の顔でないと判定されたときに、直近のＮフレームにおいて１位ヒット率が最も高い登録人物以外の登録人物について、１位ヒット率に応じた認証閾値の決定及び認証判定を、認証が成功するまで１位ヒット率が高い登録人物の順に行うこともできる。したがって、直近のＮフレームにおける１位ビット率が高い順に複数の登録人物が認証候補人物として順次設定されることとなる。
【００７９】
また、上記実施の形態において、認証候補人物の直近のＮフレームにおける類似度の最高値が認証閾値を超えたか否か判定する場合について説明したが、認証候補人物の直近のＮフレームにおける類似度の平均値又は中央値が認証閾値を超えたか否か判定してもよい。
また、上記実施の形態において、認証人物の直近のＮフレームの顔領域画像に対する類似度が最高になった数に基づいて１位ヒット率を求めていたが、類似度が２位以下になった場合も含めて同様にヒット率を求めてもよい。この場合、上位ほど重み付けを大きくして式（１）と同様な式からヒット率を求めるのが好適である。
【００８０】
さらに、上記実施の形態において、１位ヒット率を計算する際に画質フラグ４２２がＮＧにセットされたフレームを除外する場合について説明したが、例えば画質フラグ４２２がＮＧにセットされたフレームの数が１位ヒット率を計算する際に用いられる直近のフレームの数よりも著しく少ない場合（例えば、１位ヒット率を計算する際に用いられる直近のフレームの数が５０であるときに画質フラグ４２２がＮＧにセットされたフレームの数が３以下である場合）には、１位ヒット率を計算する際に画質フラグ４２２がＮＧにセットされたフレームを除外しなくてもよい。
【符号の説明】
【００８１】
１０    顔画像認証装置
１００    撮像部
２００    出力部
３００    画像処理部
３１０    記憶部
３２０    照合部
３２１    顔検出手段
３２２    顔追跡手段
３２３    顔照合手段
３２４    画質判定手段
３２５    類似度算出手段
３２６    認証候補人物特定手段
３２７    検出率算出手段
３２８    認証閾値決定手段
３２９    認証判定手段
【図１】
0005766096.tif 000003
【図２】
0005766096.tif 000004
【図３】
0005766096.tif 000005
【図４】
0005766096.tif 000006
【図５】
0005766096.tif 000007
【図６】
0005766096.tif 000008
【図７】
0005766096.tif 000009
【図８】
0005766096.tif 000010
【図９】
0005766096.tif 000011