(57)【特許請求の範囲】
【請求項１】
監視領域内の人物を撮影した監視画像を順次取得する撮像部と、
予め複数の登録人物の登録顔画像を記憶する記憶部と、
前記監視画像が取得される度に当該監視画像から顔を含む顔領域画像を抽出する顔検出手段と、
順次取得される前記監視画像にて前記顔領域画像を追跡する顔追跡手段と、
前記監視画像から光源方向を推定する光源方向推定手段と、
前記顔領域画像を略同方向の前記光源方向毎に複数のグループに分類する分類手段と、
前記複数のグループのそれぞれについて、当該グループに含まれる前記顔領域画像と前記複数の登録顔画像との類似度を求め、前記顔領域画像ごとに当該類似度が最も高い登録顔画像を特定し、前記グループごとに当該特定された回数が最も多い登録顔画像を選択し、当該選択された登録顔画像と当該グループに含まれる顔領域画像との類似度の平均値であるグループ類似度を求め、当該グループ類似度が最も高いグループを選択するグループ選択手段と、
前記選択されたグループの前記グループ類似度と所定の認証閾値とを比較して、前記監視領域内の人物と前記登録人物とが同一の人物か否かを判定する判定手段と、
を有することを特徴とする顔画像認証装置。
【請求項２】
監視領域内の人物を撮影した監視画像を順次取得する撮像部と、
予め複数の登録人物の登録顔画像を記憶する記憶部と、
前記監視画像が取得される度に当該監視画像から顔を含む顔領域画像を抽出する顔検出手段と、
順次取得される前記監視画像にて前記顔領域画像を追跡する顔追跡手段と、
前記監視画像から光源方向を推定する光源方向推定手段と、
前記顔領域画像を略同方向の前記光源方向毎に複数のグループに分類する分類手段と、
前記複数のグループのそれぞれについて、当該グループに含まれる前記顔領域画像のそれぞれについて前記複数の登録顔画像との類似度を求め、前記顔領域画像ごとの当該類似度の平均値が最も高い登録顔画像の前記平均値であるグループ類似度を求め、当該グループ類似度が最も高いグループを選択するグループ選択手段と、
前記選択されたグループの前記グループ類似度と所定の認証閾値とを比較して、前記監視領域内の人物と前記登録人物とが同一の人物か否かを判定する判定手段と、
を有することを特徴とする顔画像認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像認証装置に関し、特に、予め登録している顔画像に基づいて利用者を認証する顔画像認証装置に関する。
【背景技術】
【０００２】
顔画像の照合によって人物を認証する顔画像認証装置は、監視画像から人物の顔を含む領域の画像を顔領域画像として抽出し、抽出した顔領域画像と予め登録された複数の登録顔画像のそれぞれとの照合スコア即ち類似度を算出する。そして、その顔領域画像の人物は、類似度が一定以上の登録顔画像の人物のうち、類似度が最も高い人物であると判定する。しかしながら、一枚の監視画像から抽出された顔領域画像で人物を判定する場合、監視画像を撮影した時の人物の表情、顔の向き等によっては、その顔領域画像とその人物の登録顔画像の類似度が低くなり、本人を正しく判定できないことがある。
【０００３】
そこで、特許文献１には、対象人物の顔画像を複数回撮像して人物を特定する人物特定装置が提案されている。この人物特定装置は、対象人物の顔画像を複数回撮像し、撮像した顔画像毎に各登録顔画像との類似度を算出する。そして、登録顔画像毎に、算出した複数の類似度の平均値、合計値又は乗算値を評価値として求め、評価値が最も高くなる登録顔画像について、その評価値が所定の基準値を上回る場合に、対象人物がその登録顔画像の人物であると特定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２４２８９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載された人物特定装置は、複数の顔画像に基づいて対象人物を特定するので、一枚の顔画像から人物を判定する場合よりも本人認証の失敗を低減することができる。
一方、監視領域内を歩行する人物を認証するために、監視画像を順次撮影し、撮影した各監視画像から抽出した顔領域画像と複数の登録顔画像のそれぞれとの類似度を時系列に算出するいわゆるウォークスルー型の顔画像認証装置が従来用いられている。ウォークスルー型の顔画像認証装置は、複数地点又は複数時点で歩行中の人物を撮影した画像から顔領域画像を抽出し、これらの顔領域画像と登録顔画像との類似度を算出する。このようなウォークスルー型の顔画像認証装置では、監視画像を撮影したときの人物の位置によって、その人物の顔に対する照明条件が異なり、顔領域画像と登録顔画像との類似度に影響を及ぼす場合がある。従って、ウォークスルー型の顔画像認証装置に特許文献１に記載された人物特定装置を適用した場合、照明条件が悪い時の類似度の影響を受けて評価値が所定の基準値以下となり、本人を正しく判定できないおそれがある。
【０００６】
照明条件の影響を低減するために、例えば監視画像を撮像する撮像装置側から高強度の照明で監視領域を照射することも考えられるが、その場合、別途照明装置が必要となる。また、その照明として可視光を用いる場合、監視領域内を歩行する人物にとってまぶしくなるという問題も生じる。
【０００７】
本発明の目的は、照明条件の影響を低減して高精度に人物を認証することができる顔画像認証装置を提供することにある。
【課題を解決するための手段】
【０００８】
かかる課題を解決するための本発明は、顔画像認証装置を提供する。係る顔画像認証装置は、監視領域内の人物を撮影した監視画像を順次取得する撮像部と、予め登録人物の登録顔画像を記憶する記憶部と、監視画像が取得される度に当該監視画像から顔を含む顔領域画像を抽出する顔検出手段と、順次取得される監視画像にて顔領域画像を追跡する顔追跡手段と、監視画像から光源方向を推定する光源方向推定手段と、顔領域画像を略同方向の光源方向毎に複数のグループに分類する分類手段と、複数のグループのそれぞれについて、当該グループに含まれる顔領域と登録顔画像とが類似する度合いを表すグループ類似度を求め、当該グループ類似度が最も高いグループを選択するグループ選択手段と、選択されたグループのグループ類似度と所定の認証閾値とを比較して、監視領域内の人物と登録人物とが同一の人物か否かを判定する判定手段と、を有する。
【０００９】
また、本発明に係る顔画像認証装置において、記憶部は、予め複数の登録人物の登録顔画像を記憶し、グループ選択手段は、顔領域画像と複数の登録顔画像との類似度を求め、顔領域画像ごとに当該類似度が最も高い登録顔画像を特定し、グループごとに当該特定された回数が最も多い登録顔画像を選択し、当該選択された登録顔画像と当該グループに含まれる顔領域画像との類似度の平均値をグループ類似度とすることが好ましい。
【００１０】
また、本発明に係る顔画像認証装置において、記憶部は、予め複数の登録人物の登録顔画像を記憶し、グループ選択手段は、グループに含まれる顔領域画像のそれぞれについて複数の登録顔画像との類似度を求め、顔領域画像ごとの当該類似度の平均値が最も高い登録顔画像の平均値をグループ類似度とすることが好ましい。
【発明の効果】
【００１１】
本発明に係る顔画像認証装置は、照明条件の影響を低減して高精度に人物を認証することができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】本発明を適用した顔画像認証装置の概略構成図である。
【図２】顔画像認証装置がオフィスビルの入り口に設置される場合の撮像部の設置例を表す模式図である。
【図３】（ａ）〜（ｄ）は、対象人物がそれぞれ特定の位置から照射された場合の画像の例を示す図である。
【図４】記憶部に記憶される履歴テーブルの模式図である。
【図５】図２に示した顔画像認証装置が設置されたオフィスビルの入り口を進行方向に向かって右側から見た模式図である。
【図６】フレーム照合結果の模式図である。
【図７】監視領域を移動する対象人物を時系列に表す模式図である。
【図８】（ａ）〜（ｃ）は、図７に示した対象人物に対する類似度について説明するためのグラフである。
【図９】本発明による顔画像認証装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の一実施形態である顔画像認証装置について図を参照しつつ説明する。
顔画像認証装置における認証において、照明条件の影響等により登録者本人の認証に失敗する場合がある。そこで、本発明を適用した顔画像認証装置は、監視領域を撮影した監視画像を順次取得するとともに、その順次取得した各監視画像から同一の人物の顔を含む顔領域画像を抽出する。そして、抽出した顔領域画像を光源方向が略同方向の顔領域画像毎に複数のグループに分類して、顔照合処理に最も適したグループを選択し、選択したグループの顔領域画像を用いて顔照合処理を実施する。これにより、顔画像認証装置は、照明条件の影響を低減して高精度に人物を認証することを図る。
【００１４】
図１は、本発明を適用した顔画像認証装置１０の概略構成を示す図である。図１に示すように、顔画像認証装置１０は、撮像部１００、出力部２００及び画像処理部３００を有する。以下、顔画像認証装置１０の各部について詳細に説明する。
【００１５】
撮像部１００は、所定の監視領域を撮影する監視カメラであり、例えば、２次元に配列され、受光した光量に応じた電気信号を出力する光電変換素子（例えば、ＣＣＤセンサ、Ｃ−ＭＯＳなど）と、その光電変換素子上に監視領域の像を結像するための結像光学系を有する。
撮像部１００は、監視領域内を通行する人物（顔画像認証装置１０による照合の対象となる監視領域内の人物を対象人物と称する）の顔を順次撮影できるように設置される。そして撮像部１００は、監視領域を撮影した監視画像を、所定の時間間隔（例えば、200msec）ごとに取得する。撮像部１００は、画像処理部３００と接続され、取得した監視画像を画像処理部３００へ渡す。
【００１６】
監視画像は、グレースケールまたはカラーの多階調の画像とすることができる。本実施形態では、監視画像を、横1280画素×縦960画素を有し、ＲＧＢ各色について８ビットの輝度分解能を持つカラー画像とした。ただし、監視画像として、この実施形態以外の解像度及び階調を有するものを使用してもよい。
【００１７】
図２に、顔画像認証装置１０がオフィスビルの入り口に設置される場合の撮像部１００の設置例を模式的に示す。図２に示すように、例えば、顔画像認証装置１０がオフィスビルの入り口２５３に設置される場合、撮像部１００は、入り口２５３に通じる通路を監視領域に含むよう、入り口２５３が設置された壁の上方または天井に、撮影方向をやや下方へ向け、その通路側へ向けた状態で取り付けられる。これにより撮像部１００は、入り口２５３に向かう（進行方向２５４へ向かう）対象人物を所定の時間間隔で撮像することができる。なお図２では、撮像部１００が、時刻t、t+1、t+2において入り口２５３に向かう同一の対象人物２５０、２５１、２５２を順次撮影する様子を示している。
【００１８】
また図２に示すように、入り口２５３に通じる通路の天井には照明装置としてダウンライト２６０が、照射方向が下向きとなるように設置される。撮像部１００から見ると、時刻tにおいて、対象人物２５０はダウンライト２６０より奥側に位置し、ダウンライト２６０により顔の前面が照射される。そして、時刻（t+1）において、対象人物２５１はダウンライト２６０の直下に位置し、ダウンライト２６０により頭上から照射される。そして、時刻（t+2）において、対象人物２５２はダウンライト２６０より手前側に位置し、ダウンライト２６０により背後から照射される。なお、図２に示す通路は、不図示の照明装置又は自然光により十分明るく、顔画像認証装置１０は、対象人物を十分に識別できるものの、対象人物がダウンライト２６０に近いほど、対象人物の顔部分にあたる光量はダウンライト２６０の方が支配的になるとする。
【００１９】
図３（ａ）〜（ｄ）は、対象人物がそれぞれ特定の位置から照射された場合の画像の例を示す。
図３（ａ）は、図２の時刻tにおいて、対象人物２５０を撮像した画像３５０を示す。画像３５０において、対象人物２５０はダウンライト２６０の光が前方上方から照射され、ダウンライト２６０と、不図示の照明装置または自然光により顔全体が明るくなっている。一般に、顔照合処理では、対象人物の顔画像と予め記憶された登録顔画像とが類似するか否かにより対象人物が登録顔画像の人物であるか否かを判定する。そのため、対象人物の顔画像と登録顔画像は、何れも目、鼻、口等の顔の特徴的な部位の位置、形状及び皮膚部分等のテクスチャを適切に表していることが好ましい。画像３５０には、対象人物の顔部分に照合処理の障害となるものはなく、顔の特徴的な部位の位置、形状及び皮膚部分等のテクスチャが適切に表れているため、画像３５０は顔照合処理に適する。
【００２０】
図３（ｂ）は、図２の時刻（t+1）において、対象人物２５１を撮像した画像３５１を示す。画像３５１において、対象人物２５１は略直上からダウンライト２６０の光が照射されている。人間の顔には凹凸が存在し、凹んでいる部分には直上からの光が当たらずに影になるため、額、頬上部及び鼻筋のみが明るくなり、眼窩付近、頬下部から顎にかけては暗くなっている。このように、画像３５１には顔上に明暗が生じ、顔のテクスチャ情報が本来のものと異なるものとなる。また、この明暗の境目が顔の特徴的な部位として誤って抽出されるおそれもある。そのため、画像３５１は顔照合処理には適さない。
【００２１】
図３（ｃ）は、図２の時刻（t+2）において、対象人物２５２を撮像した画像３５２を示す。画像３５２において、対象人物２５２は後方から照射され、ダウンライト２６０が逆光となり、対象人物２５２は顔全体が暗くなっている。そのため、画像３５２は、いわゆる黒つぶれにより顔部分の階調が失われて、顔のテクスチャ情報が欠落するおそれがあり、顔照合処理には適さない。仮に、別途輝度変換処理により対象人物２５２の顔部分を明るくしても、階調が失われているため、必要なコントラストが得られず、顔のテクスチャ情報が欠落したことにはかわりなく、顔照合処理には適さない。
【００２２】
図３（ａ）〜（ｃ）はダウンライト２６０が天井に設置され、略垂直方向からの光が照射されている場合であったが、同様なことは略水平方向から光が照射されている場合も起こる。図３（ｄ）は、進行方向２５４に対して略水平方向から太陽光が照射している時に対象人物を撮像した画像３５３を示す。画像３５３において、対象人物の左側から光が当たり、左半面は明るいが右半面は暗い状態となり、顔の正中線に沿って明暗の差が生じている。そのため、画像３５３も図３（ｂ）の画像３５１と同様に顔照合処理には適さない。このように、ダウンライトのような上方からの光だけでなく、対象人物が撮影される場所に窓があり、その窓から差し込む太陽光のような横方向からの光によっても顔照合処理に悪影響が及ぶおそれがある。
【００２３】
出力部２００は、例えば電気錠、又は電気錠を制御する外部機器等に接続する通信インターフェース及びその制御回路を有する。そして出力部２００は、画像処理部３００から対象人物についての認証成功を示す信号を受け取ると、接続された機器へ、例えば電気錠の解錠を要求する信号を出力する。
【００２４】
画像処理部３００は、例えば、いわゆるコンピュータにより構成される。そして画像処理部３００は、撮像部１００から受け取った監視画像から人物の顔を含む領域の画像を顔領域画像として抽出し、抽出した顔領域画像から、人物の顔から見た光源方向を推定する。そして、各顔領域画像を、推定した光源方向が略同方向の顔領域画像毎に複数のグループに分類し、顔照合処理に最も適したグループを選択し、選択したグループの顔領域画像を用いて顔照合処理を実施する。そのために、画像処理部３００は、記憶部３１０及び照合部３２０を有する。さらに、照合部３２０は、顔検出手段３２１、顔追跡手段３２２、光源方向推定手段３２３、分類手段３２４及び顔照合手段３２５を有する。
【００２５】
記憶部３１０は、ＲＯＭ、ＲＡＭなどの半導体メモリ、あるいは磁気記録媒体及びそのアクセス装置若しくは光記録媒体及びそのアクセス装置などを有する。そして記憶部３１０には、顔画像認証装置１０を制御するためのコンピュータプログラム及び各種パラメータなどが予め記憶される。また記憶部３１０は、一人以上の登録された人物（以降、登録人物と称する）のそれぞれについて、その登録人物の顔が写った登録顔画像を、その登録人物の登録人物ＩＤと関連付けて予め記憶する。また記憶部３１０は、画像処理により生じた対象人物に関する情報を管理するための履歴テーブルを記憶する。この履歴テーブルの詳細については後述する。また記憶部３１０は、少なくとも一つの標準的な３次元顔形状モデルを記憶する。
【００２６】
照合部３２０の各手段は、マイクロプロセッサ、メモリ、その周辺回路及びそのマイクロプロセッサ上で動作するソフトウェアにより実装される機能モジュールである。あるいは、これらの手段を、ファームウェアにより一体化して構成してもよい。また、これらの手段の一部または全てを、独立した電子回路、ファームウェア、マイクロプロセッサなどで構成してもよい。以下、照合部３２０の各手段について詳細に説明する。
【００２７】
顔検出手段３２１は、撮像部１００から監視画像を受け取る度に、受け取った監視画像から対象人物の顔が写っている領域である顔領域を検出し、顔領域画像を抽出する。
顔領域を検出するために、顔検出手段３２１は、例えばフレーム間差分処理または背景差分処理を利用して、撮像部１００によって取得される複数の監視画像において輝度値の時間的な変化のある変化領域を抽出する。そして顔検出手段３２１は、抽出した変化領域のうち、その変化領域の大きさ等の特徴量から人物らしいと考えられる変化領域を人物領域として抽出する。そして顔検出手段３２１は、抽出した人物領域に対してSobelフィルタなどを用いて輝度変化の傾き方向が分かるようにエッジ画素抽出を行う。そして顔検出手段３２１は、抽出したエッジ画素から、所定の大きさをもつ、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を、顔領域として抽出する。この場合において、顔検出手段３２１は、例えば、一般化ハフ変換を用いて、楕円形状のエッジ分布を検出することができる。
【００２８】
あるいは顔検出手段３２１は、Adaboost識別器を用いて顔領域を検出してもよい。この方法についてはP.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）を参照することができる。
そして顔検出手段３２１は、検出した顔領域を監視画像から切り出して顔領域画像を作成し、その顔領域画像及び監視画像における顔領域の座標情報を顔追跡手段３２２に出力する。
【００２９】
顔追跡手段３２２は、所定の時間間隔で連続して取得される複数の監視画像のそれぞれから顔検出手段３２１により検出された顔領域に対して公知のトラッキング技術を利用して追跡処理を行い、顔領域画像の追跡を行う。
例えば、顔追跡手段３２２は、最新の監視画像から検出された顔領域（以降、現フレームの顔領域と称する）の重心位置と、１フレーム前の監視画像から検出された顔領域（以降、前フレームの顔領域と称する）の重心位置の距離を求めて、その距離が所定の閾値以下である場合に、その顔領域を同一人物によるものとして対応付ける。なお、対象人物が撮像部１００から離れているときに一定の距離を移動した場合と撮像部１００の近くにいるときに同じ距離を移動した場合とでは、その移動の前後において監視画像における顔領域の位置の差は異なる。そのため、例えば所定の閾値を顔領域の大きさとすることにより、監視領域内の対象人物の位置にかかわらず、現フレームの顔領域と前フレームの顔領域が同一人物によるものか否かを適切に評価することができる。複数の顔領域が抽出されている場合には、重心位置の距離が最も近い顔領域どうしが対応づくか否かを調べる。
【００３０】
あるいは、顔追跡手段３２２は、オプティカルフロー、パーティクルフィルタ等の方法を用いて顔領域の追跡処理を行ってもよい。
【００３１】
顔追跡手段３２２は、顔領域の追跡処理を行うと、記憶部３１０に格納されている履歴テーブルを更新する。図４に履歴テーブルの例を示す。図４に示すように履歴テーブル４００は、対象人物ごとに履歴データを管理する。履歴データは、履歴テーブル４００の各行にあらわされるデータの組であり、顔追跡手段３２２は、履歴データのうち、試行番号４０１、対象人物ＩＤ４０２、開始時刻４０３、追跡フラグ４０４、顔画像データ４０５及び追跡位置情報４０６を更新する。
図４に示した履歴テーブル４００において、試行番号４０１は、追跡中の対象人物の履歴データを他の履歴データと識別するための識別番号であり、対象人物が監視領域内に存在している間、つまり顔追跡手段３２２によって追跡がされている間、同一の識別番号が割り当てられ続ける。対象人物ＩＤ４０２は、追跡中の対象人物を他の対象人物と識別するための識別番号であり、試行番号４０１と１対１に対応する。対象人物ＩＤ４０２は、一意に定まるように付与されるものとなる。例えば、顔追跡手段３２２が追跡を開始した時刻を基に、乱数を発生させればよい。あるいは、対象人物ＩＤ４０２と試行番号４０１は１対１に対応するので、いずれかを省略してもよい。開始時刻４０３は、顔検出手段３２１がその対象人物について顔領域画像を最初に抽出し、顔追跡手段３２２が追跡処理を開始した時刻を表す。
追跡フラグ４０４は、その対象人物に対する追跡が継続しているか否かをあらわすフラグであり、顔追跡手段３２２がその対象人物の追跡を開始するとＯＮになり、追跡を終了するとＯＦＦになる。つまり、追跡フラグ４０４がＯＮのときはその対象人物は監視領域内に存在し、追跡フラグ４０４がＯＦＦのときはその対象人物が既に認証されて入室したか、又は認証されずに監視領域から離れたということになる。
顔画像データ４０５は、顔検出手段３２１によって作成され、顔追跡手段３２２によって追跡処理でその対象人物のものとして対応付けられた全ての顔領域画像のデータである。追跡位置情報４０６は、顔画像データ４０５として記憶された各顔画像データが切り出された監視画像内の顔領域の座標情報及び追跡処理がされた時刻を示す時刻情報である。
【００３２】
顔追跡手段３２２は、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができなかった場合、その現フレームの顔領域には新たに監視領域内に入ってきた対象人物が写っているものとして、履歴テーブル４００にその対象人物についての履歴データを新たに追加し、初期化処理を行う。即ち顔追跡手段３２２は、その履歴データに新たな試行番号４０１及び対象人物ＩＤ４０２を割り当てるとともに、開始時刻４０３として現在時刻を記録し、追跡フラグ４０４をＯＮに設定する。また顔追跡手段３２２は、顔画像データ４０５としてその現フレームの顔領域から作成された顔領域画像を記録するとともに、追跡位置情報４０６としてその顔領域の座標情報及び現在時刻を記録する。また顔追跡手段３２２は、認証フラグ４０８をＯＦＦに設定し、新たに追加した履歴データを光源方向推定手段３２３及び顔照合手段３２５に出力する。
【００３３】
一方、顔追跡手段３２２が、着目する現フレームの顔領域について前フレームの顔領域と対応付けることができた場合、その対象人物についての履歴データは、既に履歴テーブル４００に作成されている。そのため、顔追跡手段３２２は、履歴テーブル４００の、対応する履歴データの顔画像データ４０５にその現フレームの顔領域から作成された顔領域画像を追加するとともに、追跡位置情報４０６にその顔領域の座標情報及び現在時刻を追加する更新処理を行う。そして顔追跡手段３２２は、その履歴データを光源方向推定手段３２３及び顔照合手段３２５に出力する。
【００３４】
また、顔追跡手段３２２は、前フレームの顔領域について、全ての現フレームの顔領域と対応付けられなかったものがある場合、履歴テーブル４００の、対応する履歴データの追跡フラグ４０４をＯＦＦにして、その対象人物についての追跡処理を終了する。
【００３５】
光源方向推定手段３２３は、顔追跡手段３２２から出力された履歴データのうち、図４に示した履歴テーブル４００の追跡フラグ４０４がＯＮかつ認証フラグ４０８がＯＦＦとなっている履歴データの最新の顔領域画像と、予め記憶部３１０に記憶された３次元顔形状モデルとから、顔領域画像に写った顔に照射された光の光源方向を推定する。以下、光源方向とは、顔領域画像に写っている人物の顔から見た光源の方向とする。光源方向を推定するための方法として、公知の様々な方法を用いることができる。例えば、光源方向推定手段３２３は、以下の方法により顔領域画像における輝度分布から光源方向を推定する。
まず、顔表面は、その表面により拡散される光の強度がその表面の法線とのなす角の余弦に比例する均等拡散面（ランバート面）であると仮定する。この場合、顔領域画像の水平方向をx軸、垂直方向をy軸とし、左上の点を原点とすると、顔領域画像上の位置(x,y)における輝度E(x,y)は、次式により、顔の３次元形状、光源の方向及び顔表面の反射率で決定されると考えられる。
【数１】
0005955031.tif 000002
（１）式において、ρ(x,y)は、位置(x,y)における顔表面の反射率、l0は光源係数、lは光源方向ベクトルを表す。またn(x,y)は、位置(x,y)における顔表面の法線方向ベクトルを表し、その位置(x,y)に対応する３次元顔形状モデル上の位置及び顔の向きに基づいて求められる。
【００３６】
ここで、顔の皮膚は場所によらず同一の成分で構成されると仮定し、（１）式においてρ(x,y)は一定値αを有するものとする。この場合、（１）式は光源係数l0及び光源方向lを未知数とした方程式となる。そこで、光源方向推定手段３２３は、顔領域画像における顔の皮膚に相当する領域内の各画素において、（１）式を立てて連立方程式とし、この連立方程式を解くことによって各向き調整済み形状モデルごとの光源係数l0及び光源方向lを求めることができる。なお、一定値αは、顔領域画像における顔の皮膚に相当する領域の輝度値の平均値、最頻値または中央値若しくはその近傍値に設定することができる。
【００３７】
あるいは、光源方向推定手段３２３は、予め様々な光源方向で人物の顔を撮影した標準的な顔画像若しくはシミュレーションにより求めた同等の顔画像を用意しておき、それらと顔領域画像とのパターンマッチングをおこなって、最も一致する顔画像を決定することにより、光源方向を推定してもよい。さらにまた、光源方向推定手段３２３は、照明光源と顔領域画像を取得したカメラの位置関係、または照明光源から照射される照明光の方向及びカメラの撮影方向の関係が予め分かっている場合、それらの関係に基づいて光源方向を決定してもよい。
光源方向推定手段３２３は、推定した光源方向を光源方向情報として分類手段３２４へ出力する。
【００３８】
分類手段３２４は、光源方向推定手段３２３から受け取った光源方向情報に基づいて、各顔領域画像を、光源方向が略同方向の顔領域画像毎に複数のグループに分類する。例えば、分類手段３２４は、図３（ａ）〜（ｃ）のように、対象人物が前方から照射された顔領域画像のグループである「前方」グループと、直上から照射された顔領域画像のグループである「直上」グループと、後方から照射された顔領域画像のグループである「後方」グループとに分類する。
【００３９】
図５に、図２に示した顔画像認証装置１０が設置されたオフィスビルの入り口を進行方向２５４に向かって右側から見た図を模式的に示す。図５に示す対象人物２５０〜２５２及びダウンライト２６０は、図２に示す対象人物２５０〜２５２及びダウンライト２６０に対応する。
図５に示すように、時刻tにおいて、ダウンライト２６０は対象人物２５０から見て前方上方に位置し、進行方向２５４に対するダウンライト２６０の角度θは90°未満となる。一方、時刻（t+1）において、ダウンライト２６０は対象人物２５１の略直上に位置し、進行方向２５４に対するダウンライト２６０の角度θは略90°となる。また、時刻（t+2）において、ダウンライト２６０は対象人物２５０から見て後方上方に位置し、進行方向２５４に対するダウンライト２６０の角度θは90°より大きくなる。
【００４０】
分類手段３２４は、光源方向推定手段３２３が推定した光源方向から、進行方向２５４に対するダウンライト２６０の角度θを求め、求めた角度θに応じて、顔領域画像を前方グループ、直上グループ又は後方グループに分類する。なお、直上グループに含まれる角度θの境界値は、光源により顔領域画像に影ができる境界になる角度とする。例えば分類手段３２４は、角度θが85°≦θ≦92°となる顔領域画像を直上グループに分類し、角度θがθ＜85°となる顔領域画像を前方グループに分類し、角度θがθ＞92°となる顔領域画像を後方グループに分類する。なお、角度θが90°以下の場合、90°を十分に下回らなければ、図３（ａ）に示すような顔全体が明るく写っている画像にならないが、角度θが90°以上の場合、少しでも90°を上回ると、図３（ｃ）に示すような顔全体が暗く写っている画像となる傾向にある。そのため、直上グループと後方グループの境界値を92°として、前方グループと直上グループの境界値である85°より90°に近い値としている。
なお、分類手段３２４は、顔領域画像を前方グループ、直上グループ及び後方グループの三つのグループよりさらに細かく分類してもよい。例えば、図３（ｄ）の画像３５３のように、進行方向２５４に対して左右方向からの太陽光の照射等を考慮して、光源方向の進行方向２５４に対する左右方向の成分にも基づいて分類してもよい。
分類手段３２４は、顔領域画像を分類したグループを示すグループ情報を顔照合手段３２５に出力する。
【００４１】
顔照合手段３２５は、グループ選択手段３２６及び判定手段３２７を有し、分類手段３２４によって分類されたグループのうち、顔照合処理に最も適したグループを選択し、選択したグループの顔領域画像を用いて顔照合処理を行う。また、履歴テーブル４００の照合履歴４０７及び認証フラグ４０８を更新する。
【００４２】
照合履歴４０７は、各フレームの追跡位置情報４０６に対応するフレーム照合結果を保持する。図６にフレーム照合結果６００の例を示す。
取得時刻６０１は、現フレームの顔領域画像が取得された時刻である。
光源方向グループ６０２は、分類手段３２４により分類された、各顔領域画像のグループを表し、分類手段３２４から出力されたグループ情報がセットされる。
認証候補人物６０３は、顔追跡手段３２２によって追跡された顔領域画像と記憶部３１０に記憶された複数の登録顔画像のそれぞれとの類似度（照合スコア）のうち、類似度が最高（１位）となった登録人物の識別ＩＤである。
認証候補類似度６０４は、認証候補人物６０３を特定することになった照合スコアである。
【００４３】
図４に戻り、認証フラグ４０８は、対象人物に対する認証が成功したか否かを表すフラグである。即ち対象人物が登録人物のいずれかであると判定手段３２７によって判定された場合にはＯＮにセットされ、対象人物の追跡が始まったばかりの状態のように認証結果が判定手段３２７によって求められていない状態の場合又は対象人物が登録人物ではないと判定手段３２７によって判定された場合にはＯＦＦにセットされる。
【００４４】
グループ選択手段３２６は、顔追跡手段３２２から出力された履歴データのうち、図４に示した履歴テーブル４００の追跡フラグ４０４がＯＮかつ認証フラグ４０８がＯＦＦとなっている履歴データの最新の顔領域画像に写っている顔と記憶部３１０に予め記憶された各登録顔画像に写っている顔との類似度を算出する。グループ選択手段３２６は、公知の顔照合技術を用いて類似度を算出する。例えば、グループ選択手段３２６は、顔領域画像と登録顔画像の位置をずらしながら顔領域画像に含まれる各画素と登録顔画像の対応画素の輝度値の差の二乗和を算出し、算出した二乗和のうち最も小さいものを顔領域画像に含まれる画素数で割って正規化した値の逆数を類似度として求める。
グループ選択手段３２６は、処理対象の顔領域画像との類似度が最も高い登録顔画像の登録人物、即ち認証候補人物を特定し、その情報（登録人物の識別ＩＤ）を認証候補人物６０３に記憶し、その類似度を認証候補類似度６０４に記憶する。また、グループ選択手段３２６は、分類手段３２４から出力されたグループ情報を光源方向グループ６０２に記憶する。
【００４５】
さらに、グループ選択手段３２６は、分類手段３２４によって分類される複数のグループのそれぞれについて、そのグループに含まれる各顔領域画像と各登録顔画像との類似度に基づいて、そのグループに含まれる各顔領域画像に写っている顔と最も類似する顔が写っている登録顔画像をそのグループのグループ候補顔画像として選択する。そして、選択したグループ候補顔画像の登録人物をグループ候補人物とする。例えば、グループ選択手段３２６は、各グループについて、認証候補人物の顔画像として特定された回数の最も多い登録顔画像をグループ候補顔画像とし、そのグループ候補顔画像の人物をグループ候補人物とする。その場合、グループ選択手段３２６は、同一の光源方向グループ６０２について認証候補人物６０３として最も多く記録されている認証候補人物をグループ候補人物とする。あるいは、そのグループに含まれる各顔領域画像との各類似度の平均値、中央値又は四分位数が最も高い登録顔画像の登録人物をグループ候補人物としてもよい。
次に、グループ選択手段３２６は、分類手段３２４によって分類される複数のグループのそれぞれについて、グループ候補人物となった認証候補人物について記録されている認証候補類似度６０４からグループ類似度を算出する。グループ類似度は、そのグループに含まれる各顔領域画像とグループ候補顔画像との類似する度合いを表し、グループ候補人物となった認証候補人物についてのそれぞれの認証候補類似度６０４が高いほど高くなる。例えば、グループ候補人物となった認証候補人物についての全ての認証候補類似度６０４の平均値、中央値及び四分位数のうちの何れか一つをグループ類似度とする。
そして、グループ選択手段３２６は、算出したグループ類似度が最も高いグループを判定処理を実施するグループとして選択する。
【００４６】
図７及び図８を用いて、グループ選択手段３２６によるグループ選択処理について詳細に説明する。
図７は、監視領域を通行する対象人物を時系列に表す模式図である。図７は、進行方向７２１へ向かう対象人物を示しており、撮像部１００は、同一の対象人物７０１〜７０９をそれぞれ時刻t1〜t9において順次撮影する。また、監視領域の天井には進行方向７２１に沿って三つのダウンライト７１１〜７１３が設置される。ダウンライト７１１〜７１３は対象人物７０１、７０４、７０７を前方上方から照射し、対象人物７０２、７０５、７０８を直上から照射し、対象人物７０３、７０６、７０９を後方上方から照射する。
【００４７】
図８（ａ）〜（ｃ）は、図７に示した対象人物に対する類似度について説明するためのグラフである。なお、以下では、顔画像認証装置１０には、三人の登録人物Ａ、Ｂ、Ｃの登録顔画像が記憶されているものとして説明する。
図８（ａ）は、対象人物７０１〜７０９についてグループ選択手段３２６が特定した認証候補人物と、算出した類似度とを示すグラフである。図８（ａ）において、横軸は時刻を、縦軸は類似度を表す。時刻８０１〜８０９は、それぞれ時刻t1〜t9であり、図７における対象人物７０１〜７０９が順次撮影された時刻にそれぞれ対応している。また、各時刻における各×印は、左側から順に、各時刻における対象人物についての顔領域画像と登録人物Ａ、Ｂ、Ｃについての登録顔画像との類似度を表す。×印の上側にＡ、Ｂ又はＣと表されている人物は、各時刻において類似度が最も高い登録人物であり、その登録人物がグループ選択手段３２６によって認証候補人物として特定される。つまり、時刻t1、t2、t4、t6、t7では登録人物Ａが、時刻t3、t5、t8では登録人物Ｂが、時刻t9では登録人物Ｃが、それぞれ認証候補人物として特定される。
この図８（ａ）に示す例では、時刻t1、t4、t7において対象人物が前方から照射されており、その時刻における顔領域画像は顔照合処理に適した画像である。そのため、以下では時刻t1、t4、t7において認証候補人物として特定された登録人物Ａが監視領域を通行する、真の対象人物であると仮定して説明する。
【００４８】
図８（ｂ）は、図８（ａ）の各時刻において認証候補人物として特定された人物についての類似度を、認証候補人物ごとに並べ替えたグラフである。図８（ｂ）において、横軸は各認証候補人物を、縦軸は類似度を表す。認証候補人物８１１は登録人物Ａであり、左側から順に時刻t1、t2、t4、t6、t7における類似度が表され、認証候補人物８１２は登録人物Ｂであり、左側から順に時刻t3、t5、t8における類似度が表され、認証候補人物８１３は登録人物Ｃであり、時刻t9における類似度が表されている。
図８（ｂ）に示すように、登録人物Ａ、すなわち認証候補人物８１１についての類似度の平均値８２１は、登録人物Ｂ、すなわち認証候補人物８１２についての類似度の平均値８２２、又は登録人物Ｃ、すなわち認証候補人物８１３についての類似度の平均値８２３より低くなっている。これは、認証候補人物８１１についての類似度の平均値８２１は、対象人物が直上から照射され、顔のテクスチャ情報を適切に抽出できない、時刻t2における顔領域画像から求められた極度に低い類似度の影響を受けているためである。
図８（ｂ）に示したように、監視領域がダウンライト等により照射される場合、顔のテクスチャ情報を適切に抽出できない顔領域画像が得られる可能性がある。そのため、対象人物が監視領域内に存在する間に取得された各顔領域画像について特定された全ての認証候補人物のうち、類似度の平均値が最も高い認証候補人物が対象人物であると判定すると、判定を誤るおそれがある。
【００４９】
図８（ｃ）は、図８（ａ）の各時刻においてにおいて認証候補人物として特定された人物についての類似度を、分類手段３２４によって分類されるグループごとに並べ替えたグラフである。図８（ｃ）において、横軸は各グループを、縦軸は類似度を表す。グループ８３１は前方グループであり、左側から順に時刻t1、t4、t7における類似度が表され、グループ８３２は直上グループであり、左側から順に時刻t2、t5、t8における類似度が表され、グループ８３３は後方グループであり、左側から順に時刻t3、t6、t9における類似度が表されている。
各類似度をこのように分類すると、各グループには、複数の認証候補人物についての類似度が含まれる場合がある。そこで、上述した通り、グループ選択手段３２６は、各グループにおいて、認証候補人物として特定された回数の最も多い人物をそのグループのグループ候補人物とする。図８（ｃ）では、前方グループ８３１については登録人物Ａがグループ候補人物となり、直上グループ８３２については登録人物Ｂがグループ候補人物となる。なお、後方グループ８３３については、登録人物Ａ、Ｂ、Ｃがそれぞれ一回ずつ認証候補人物として特定されている。顔画像認証では一定の確率で発生を避けられない「他人の空似」を考慮し、照合処理の精度を向上させるためには、所定回数（例えば、二回）以上、認証候補人物として特定されている人物をグループ候補人物とすることが好ましい。そこで、後方グループ８３３についてはグループ候補人物を選択しない。
図８（ｃ）に示すように、前方グループ８３１のグループ候補人物Ａについての類似度の平均値８４１は、直上グループ８３２のグループ候補人物Ｂについての類似度の平均値８４２より高い。これは、前方グループ８３１についての類似度は、全て顔のテクスチャ情報を適切に抽出できる顔領域画像から算出され、直上グループ８３２についての類似度は、全て顔のテクスチャ情報を適切に抽出できない顔領域画像から算出されるからである。
図８（ｃ）に示す例では、グループ選択手段３２６は、グループ候補人物についての類似度の平均値が最も高い前方グループ８３１を判定処理を実施するグループとして選択する。
【００５０】
判定手段３２７は、グループ選択手段３２６によって選択されたグループに含まれる少なくとも一つの顔領域画像とグループ候補顔画像とを比較することにより、監視領域内を通行する対象人物と登録顔画像に写っている人物とが同一の人物か否かを判定する。そのために、判定手段３２７は、例えばグループ選択手段３２６によって選択されたグループのグループ類似度が認証閾値以上であるか否かを判定する。なお、認証閾値は、選択されたグループの各顔領域画像に含まれる顔がグループ候補人物の顔であるか否かを認証するための基準である。そして、グループ類似度が認証閾値以上である場合、判定手段３２７は、そのグループの各顔領域画像に含まれる顔がグループ候補人物として特定された登録人物の顔であると判定し、監視領域内を通行する対象人物がその登録人物であると判定する。そして、対応する履歴テーブル４００において、追跡フラグ４０４をＯＦＦに設定するとともに認証フラグ４０８をＯＮに設定し、認証成功を示す信号を出力部２００に出力する。
【００５１】
一方、所定時間（例えば、２秒）以上追跡を継続しているにもかかわらず、グループ類似度が認証閾値未満である場合、判定手段３２７は、認証失敗として対応する履歴テーブル４００の認証フラグ４０８をＯＦＦに設定する。また、追跡開始直後であり、グループ候補人物が選択されていない場合又は照合履歴４０７が所定フレーム（例えば、３０フレーム）分取得されていない場合にも、判定手段３２７は、対応する履歴テーブル４００の認証フラグ４０８をＯＦＦに設定する。
【００５２】
以下、図９に示したフローチャートを参照しつつ、本発明を適用した顔画像認証装置１０による認証処理の動作を説明する。なお、以下に説明する動作のフローは、画像処理部３００を構成するマイクロプロセッサ上で動作し、顔画像認証装置１０全体を制御する制御部（図示せず）により制御される。なお、以下に説明する処理の実施前に、履歴テーブル４００は空白になるよう初期化される。また、以下に説明する動作は、監視画像を一つ取得するごとに実施される。
【００５３】
最初に、顔画像認証装置１０は、撮像部１００により、監視領域を撮影した監視画像を取得し、画像処理部３００の照合部３２０へ送る（ステップＳ９０１）。次に、照合部３２０の顔検出手段３２１は、取得された監視画像から、対象人物の顔が写っている顔領域を検出し、その顔領域を監視画像から切り出して顔領域画像を作成する（ステップＳ９０２）。次に、顔検出手段３２１は、一つ以上の顔領域が検出されたか否か判定する（ステップＳ９０３）。顔領域が全く検出されなかった場合、ステップＳ９０１へ移行し、顔領域が検出されるまでステップＳ９０１〜Ｓ９０３の処理を繰り返す。
【００５４】
一方、ステップＳ９０３において、一つ以上の顔領域が検出され、顔領域画像が作成された場合、顔追跡手段３２２は、検出された全ての顔領域について、図４に示した履歴テーブル４００における追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２との対応付けを実施する（ステップＳ９０４）。そして顔追跡手段３２２は、追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２について、現フレームの顔領域のいずれとも対応付けられなかったものがあるか否かを判定する（ステップＳ９０５）。現フレームの顔領域のいずれとも対応付けられなかったものがない場合、ステップＳ９０７へ移行する。一方、現フレームの顔領域のいずれとも対応付けられなかった、追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２がある場合、その対象人物ＩＤ４０２の対象人物は、認証成功となって入室したか、又は認証されずに監視領域から離れたと考えられる。そのためその場合、顔追跡手段３２２は、現フレームの顔領域のいずれとも対応付けられなかった対象人物ＩＤ４０２の追跡フラグ４０４をＯＦＦにして、以後その顔領域に対する追跡処理を実施しないようにする（ステップＳ９０６）。
【００５５】
そして顔追跡手段３２２は、現フレームの顔領域について、追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２と対応付けることができなかったものがあるか否かを判定する（ステップＳ９０７）。追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２と対応付けることができなかったものがある場合、顔追跡手段３２２は、対応付けることができなかった顔領域の対象人物についての履歴データを履歴テーブル４００に新たに追加する。即ち顔追跡手段３２２は、対応付けることができなかった顔領域の対象人物についての履歴データに新たな試行番号４０１及び対象人物ＩＤ４０２を割り当てるとともに、開始時刻４０３として現在の時刻を記録し、追跡フラグ４０４をＯＮに設定する（ステップＳ９０８）。また顔追跡手段３２２は、顔画像データ４０５として現フレームの顔領域から作成された顔領域画像を記録するとともに、対応付けることができなかった顔領域の座標情報及び取得時刻を追跡位置情報４０６として記録し、認証フラグ４０８をＯＦＦに設定する。
【００５６】
なお、現フレームの顔領域について、追跡フラグ４０４がＯＮとなっている対象人物ＩＤ４０２と対応付けることができた場合、顔追跡手段３２２は、対応付けることができた顔領域の座標情報及び取得時刻を、対応する履歴データの追跡位置情報４０６に追加する更新処理を行う。そして顔追跡手段３２２は、更新した履歴データを光源方向推定手段３２３及び顔照合手段３２５に出力する。
【００５７】
以下のステップＳ９０９〜Ｓ９１４の処理は、追跡フラグ４０４がＯＮであり、かつ認証フラグ４０８がＯＦＦである履歴データごとに行われる。追跡フラグ４０４がＯＮである履歴データのうち認証フラグ４０８がＯＮである履歴データを処理対象としないのは、既に認証がなされているためである。
光源方向推定手段３２３は、処理対象の履歴データの最新の顔領域画像について、光源方向を推定し、推定した光源方向を光源方向情報として分類手段３２４へ出力する（ステップＳ９０９）。次に、分類手段３２４は、光源方向推定手段３２３から受け取った光源方向情報に基づいて、処理対象の履歴データの最新の顔領域画像を、光源方向が略同方向の顔領域画像毎に複数のグループに分類する（ステップＳ９１０）。
【００５８】
次に、顔照合手段３２５は、照合履歴４０７にフレーム照合結果６００を蓄積する。フレーム照合結果６００はそれぞれ、各フレームにおける追跡位置情報４０６と一対一で対応するものであり、追跡位置情報４０６の時刻情報を取得時刻６０１に記憶する。なお、取得時刻６０１を、追跡位置情報４０６の時刻情報と同一であるとして省略してもよい。
次に、グループ選択手段３２６は、処理対象の履歴データの最新の顔領域画像に対して、記憶部３１０に記憶された全ての登録顔画像との間で類似度を算出し、類似度が最高となった登録顔画像の登録人物を認証候補人物として特定する。そして、その情報を認証候補人物６０３に記憶し、その類似度を認証候補類似度６０４に記憶する（ステップＳ９１１）。さらに、グループ選択手段３２６は、分類手段３２４が分類したグループ情報を光源方向グループ６０２に記憶する。
【００５９】
次に、グループ選択手段３２６は、各グループについてグループ候補人物を特定し、グループ類似度を算出し、算出したグループ類似度が最も高くなるグループを判定処理を実施するグループとして選択する（ステップＳ９１２）。
なお、顔追跡手段３２２による追跡を開始したばかりのときには、照合履歴４０７に蓄積されたフレーム数が少なく、グループ選択手段３２６が選択するグループが一つのフレームの結果に大きく左右されるので、判定処理を行わないようにする必要がある。このために、判定処理に必要なフレーム数が照合履歴４０７に蓄積されたか否かの判定を、例えば、ステップＳ９１２で行い、判定処理に必要なフレーム数が照合履歴４０７に蓄積されていない場合には、判定処理を禁止し、ステップＳ９０１へ移行するようにするのが好ましい。判定処理に必要なフレーム数は、顔画像認証装置１０の設置環境に応じて適宜設定される。
【００６０】
次に、判定手段３２７は、グループ選択手段３２６により選択されたグループのグループ類似度が認証閾値以上であるか否かを判定する（ステップＳ９１３）。グループ類似度が認証閾値未満である場合、追跡フラグ４０４がＯＮ、かつ認証フラグ４０８がＯＦＦの履歴データがまだあるならばステップＳ９０９へ移行し、ないならばステップＳ９０１へ移行する。一方、グループ類似度が認証閾値以上である場合、判定手段３２７は、監視領域内を通行する対象人物がそのグループ候補人物として特定された登録人物であると判定する。そして、対応する履歴テーブル４００において、追跡フラグ４０４をＯＦＦに設定するとともに認証フラグ４０８をＯＮに設定し、認証成功を示す信号を出力部２００に出力する（ステップＳ９１４）。
【００６１】
ステップＳ９１４で認証成功を示す信号が出力部２００に出力された場合、顔照合手段３２５は、出力部２００を介して電気錠の解錠を行う。これにより認証成功となった対象人物は、入室することができる。なお、電気錠は、対象人物の入室が確認できた後にすみやかに、または所定時間経過後に自動的に施錠されるものとする。
【００６２】
なお、ステップＳ９１１に示した類似度算出処理は、ステップＳ９０９及びＳ９１０に示した光源方向推定処理及び分類処理より前に実施してもよい。
【００６３】
以上説明してきたように、本発明を適用した顔画像認証装置は、顔領域画像を、推定された光源方向が略同方向の顔領域画像毎に複数のグループに分類し、各グループについてグループ類似度を算出し、グループ類似度が最も高くなるグループを選択する。そして、顔画像認証装置は、選択したグループの各顔領域画像と登録顔画像の類似度に基づいて顔照合処理を実施する。これにより、顔画像認証装置は、照明条件の影響を低減して高精度に人物を認証することができる。
【００６４】
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。例えば、本実施形態では、顔検出手段が監視画像から顔領域を切り出して顔領域画像を作成し、照合部の各手段がその顔領域画像に対して各処理を実施する例を示したが、顔検出手段は顔領域画像を作成せずに、照合部の各手段は監視画像内の顔領域に対して各処理を実施してもよい。
【００６５】
また、本実施形態では、顔照合処理として、対象人物の顔画像と記憶部に記憶された全ての登録顔画像とを照合する、いわゆる１対Ｎ照合を行う例を示したが、顔照合処理は、対象人物の顔画像と特定の登録顔画像とを照合する、いわゆる１対１照合でもよい。その場合、顔照合手段は、カードリーダ、テンキー等を備えた不図示の入力部を介して利用者により入力された登録人物ＩＤを取得し、対象人物の顔画像をその登録人物ＩＤに対応する登録顔画像と照合する。そして、グループ選択手段は、その登録人物ＩＤの登録人物を認証候補人物及びグループ候補人物として各グループのグループ類似度を算出し、判定処理を実施するグループを選択する。
【００６６】
また、各登録顔画像を取得したときの光源方向が予め分かっている場合は各登録顔画像とその光源方向を関連付けて記憶しておき、分類手段は、各顔領域画像を、認証候補人物の登録顔画像の光源方向に対応する第１のグループと、それ以外の第２のグループとに分類してもよい。その場合、分類手段が分類処理を実施する前に、グループ選択手段が類似度の算出処理及び認証候補人物の特定処理を実施しておく。そして、分類手段は、光源方向が認証候補人物の登録顔画像の光源方向と略同方向の顔領域画像、すなわち認証候補人物の登録顔画像の光源方向とその顔領域画像の光源方向との差が所定値未満になる顔領域画像を第１のグループに分類し、その差が所定値以上になる顔領域画像を第２のグループに分類する。なお、各光源方向の差は、例えば各光源方向ベクトルの差のスカラー量、又は各光源方向ベクトルの単位ベクトルの差のスカラー量とすることができる。所定値は、顔画像認証装置の設置環境に応じて適宜設定され、例えば単位ベクトルのスカラー量の1/2とすることができる。
このように、各顔領域画像を、その光源方向が登録顔画像の光源方向と略同方向か否かにより分類することにより、登録顔画像との類似度が高い顔領域画像と、登録顔画像との類似度が低い顔領域画像とをより的確に分類でき、より高精度に顔照合処理を実施することができる。
なお、各登録顔画像を取得したときの光源方向が予め分かっていない場合は、光源方向推定手段が各登録顔画像の光源方向を求め、各登録顔画像とその光源方向を関連付けて記憶部に記憶するようにしてもよい。これにより、登録顔画像を取得したときに光源方向が分かっていない場合でも、登録顔画像の光源方向を特定することができる。
【００６７】
また、頻繁に認証候補人物として特定される人物は、照合対象の人物との類似度が高く、その人物が照合対象の人物である可能性が高い。そのため、認証候補人物として特定された回数の最も多い人物の登録顔画像と光源方向が略同方向の顔領域画像のみを用いて顔照合処理を実施することにより、より本人を受理する可能性を高めることができる。そこで、分類手段は、顔追跡手段によって対応付けられた各顔領域画像を、認証候補人物として特定された回数の最も多い人物の登録顔画像の光源方向に対応する第１のグループと、それ以外の第２のグループとに分類してもよい。その場合、分類手段は、例えば、顔追跡手段によって対応付けられた顔領域画像について所定フレーム（例えば、１０フレーム）分の顔照合処理が実施された後に、認証候補人物として特定された回数の最も多い人物を特定する。そして、分類手段は、その特定した人物の登録顔画像の光源方向とその顔領域画像の光源方向との差が所定値未満になる顔領域画像を第１のグループに分類し、その差が所定値以上になる顔領域画像を第２のグループに分類する。
【００６８】
また、例えば、登録顔画像として社員証等の写真を用いている場合、各写真は同一の照明条件下で撮影されたものである可能性が高い。そのような場合、より多くの登録顔画像と光源方向が略同方向の顔領域画像のみを用いて顔照合処理を実施することにより、顔照合処理に用いる顔領域画像の照明条件を登録顔画像の照明条件にあわせることができる。そこで、分類手段は、各顔領域画像を、記憶部に記憶された全ての登録顔画像の光源方向が最も集中する最頻方向に対応する第１のグループと、それ以外の第２のグループとに分類してもよい。その場合、分類手段は、例えば、光源方向ベクトルを規定する空間における原点からの全ての方向を複数のブロックに分割し、複数のブロックのうち、登録顔画像の光源方向が含まれる度数が最も多いブロックを最頻ブロックとし、最頻ブロックにおける中心方向を最頻方向とする。各ブロックは、例えば緯度方向及び経度方向にそれぞれ5°の幅を持つ範囲とすることができる。そして、分類手段は、求めた最頻方向とその顔領域画像の光源方向との差が所定値未満になる顔領域画像を第１のグループに分類し、その差が所定値以上になる顔領域画像を第２のグループに分類する。
【００６９】
また、過去の顔照合処理において登録顔画像との類似度が高かった顔領域画像は顔照合処理に適した画像であり、その照明条件は好条件である可能性が高い。そのため、そのような顔領域画像と光源方向が略同方向の顔領域画像のみを用いることにより、より高精度に顔照合処理を実施することができる。そこで、判定手段は、登録顔画像に写っている人物と同一の人物と判定した人物毎に、その登録顔画像との類似度が最も高かった顔領域画像の光源方向を記憶部に記憶しておく。そして、分類手段は、過去に認証成功となった各人物の顔領域画像のうち、登録顔画像との類似度が最も高かった各顔領域画像の光源方向が最も集中する最頻方向に対応する第１のグループと、それ以外の第２のグループとに、現在の対象人物の各顔領域画像を分類してもよい。その場合、分類手段は、全ての登録顔画像の光源方向の最頻方向を求めたのと同様の方法により、登録顔画像との類似度が最も高かった各顔領域画像の光源方向の最頻方向を求める。そして、求めた最頻方向とその顔領域画像の光源方向との差が所定値未満になる顔領域画像を第１のグループに分類し、その差が所定値以上になる顔領域画像を第２のグループに分類する。
【００７０】
また、顔画像認証装置の監視領域において、複数のダウンライトが対象人物の進行方向に沿って一定間隔に設置されている場合、光源方向推定手段は、顔追跡手段によって対応付けられた全ての顔領域画像の顔部分の輝度の時間的な変化に基づいて、それぞれの顔領域画像の光源方向を推定してもよい。その場合、光源方向推定手段は、各顔領域画像毎に顔部分の輝度の平均値及び中央値のうちの何れか一つを算出し、算出した平均値又は中央値を時系列に並べて極大値及び極小値を抽出する。そして、極大値に対応する顔領域画像は、前方から光を受けていると判断して光源方向を前方と推定し、極小値に対応する顔領域画像は逆光を受けていると判断して光源方向を後方と推定する。分類手段は、顔追跡手段によって対応付けられた各顔領域画像を、前方の光源方向に対応する第１のグループと、後方の光源方向に対応する第２のグループと、それ以外の第３のグループとに分類する。この場合、分類手段は、光源方向が前方と推定された顔領域画像と時間的に近接する顔領域画像を第１のグループに分類し、光源方向が後方と推定された顔領域画像と時間的に近接する顔領域画像を第２のグループに分類し、それ以外の顔領域画像を第３のグループに分類する。例えば、分類手段は、各顔領域画像を、光源方向が前方の顔領域画像と光源方向が後方の顔領域画像との間で時間的に三等分に区切って、各グループに分類する。なお、各顔領域画像は、前方の光源方向に対応する第１のグループと、後方の光源方向に対応する第２のグループの二つのグループに分類してもよいし、四つ以上のグループに分類してもよい。
【００７１】
また、グループ選択手段は、分類手段によって分類された各グループについて、類似度が高い順に所定数（例えば５）の顔領域画像を選択し、顔領域画像が選択された数が最も多い認証候補人物をそのグループのグループ候補人物としてもよい。その場合、さらに、グループ選択手段は、グループ候補人物となった認証候補人物の類似度のうち、類似度が高い順に所定数の顔領域画像として選択された顔領域画像についての類似度のみを用いてグループ類似度を算出してもよい。これにより、類似度が最高となった枚数は多いが、各類似度自体の低い認証候補人物をグループ候補人物として選択することを抑制できる。
【００７２】
また、判定手段は、グループ選択手段によって選択されたグループの全ての顔領域画像に対する、認証候補人物と特定された顔領域画像の割合を登録人物検出率として算出し、算出した登録人物検出率に応じて認証閾値を決定してもよい。その場合、判定手段は、登録人物検出率が高いほど認証閾値を低くする。このように認証閾値を適応的に決定することにより、顔画像認証装置は、表情、顔の向きの変動等により本人認証をしにくい状況でも本人受理を確保することができる。
【００７３】
また、これまでに述べてきた実施の形態では、記憶部には複数の登録人物（例えば登録人物Ａ、Ｂ、Ｃの３人）の顔画像が記憶されているとして説明した。
本発明にかかる顔画像認証装置は、登録人物が１名であっても全く同様の効果を得ることができる。
即ち、ダウンライトが対象人物の略直上や後方に位置する場合には、輝度分布を理由に認証には適さない顔領域画像が得られ、本人の登録顔画像との類似度を求めても、低い値にしかならない。そのため、仮に各時刻の顔領域画像と登録顔画像との類似度の全てについて、光源方向を考慮せずひとまとまりで認証判定を試みると、認証には適さない顔領域画像から求められた低い類似度が悪影響を及ぼし、認証閾値を越えず本人が棄却される事態が発生する。本人棄却を避けるために認証閾値を低くすると、他人が認証を試みた場合に認証成功となり他人受け入れとなるため、認証閾値を低くすることは好ましくない。
このような場合でも、本発明にかかる顔画像認証装置は、光源方向を考慮して顔領域画像を分類し、認証に適した光源方向のグループの顔領域画像から求められた類似度が高いことを利用してグループ類似度を算出し、認証判定する。そのため、顔画像認証装置は、本人棄却を避けて、正しい結果を得ることができる。
【００７４】
また、これまでに述べてきた実施の形態では、光源方向推定手段は、顔検出手段が抽出した顔領域画像を用いて、その顔領域画像に写っている対象人物の顔から見た光源の方向を推定するとしていた。これに代えて、光源方向推定手段は局所的な顔領域からではなく、撮像部が取得した監視画像全体から、対象人物の体全体から見た光源方向を推定してもよい。即ち、いわば日時計のように、監視画像に写った対象人物の足下付近から伸びる影の方向を検出して、それとは反対の方向に光源があると判定することができる。
例えば、対象人物の足下から対象人物の背中の方向に影が伸びている場合には、光源方向は対象人物の前方かつ上方であると推定できる。同様に、対象人物の足下から対象人物の前方に影が伸びている場合には、光源方向は対象人物の後方かつ上方であると推定でき、影がほとんど検出できない場合には、光源方向は対象人物の略直上であると推定できる。この方法では、光源方向推定手段の説明の箇所で述べた方法よりも低い負荷でおおよその光源方向を推定できる。
【００７５】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７６】
１０    顔画像認証装置
１００    撮像部
２００    出力部
３００    画像処理部
３１０    記憶部
３２０    照合部
３２１    顔検出手段
３２２    顔追跡手段
３２３    光源方向推定手段
３２４    分類手段
３２５    顔照合手段
３２６    グループ選択手段
３２７    判定手段
【図１】
0005955031.tif 000003
【図２】
0005955031.tif 000004
【図３】
0005955031.tif 000005
【図４】
0005955031.tif 000006
【図５】
0005955031.tif 000007
【図６】
0005955031.tif 000008
【図７】
0005955031.tif 000009
【図８】
0005955031.tif 000010
【図９】
0005955031.tif 000011