(57)【要約】【課題】認証対象の人物は自分自身撮像視野外にでそうか否かを確認することが可能になり、撮像視野から外れないように対処することにより、顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供する。【解決手段】歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置において、歩行者の顔がカメラの視野から外れそうになったとき、視野から外れそうになった側についてズーム表示画像の端部を強調表示する。【選択図】      図１
2008071172.tif 000002
【特許請求の範囲】
【請求項１】
特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、
前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
前記特定の位置の近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、
この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記顔検出手段は、前記撮像手段により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする請求項１記載の顔認証装置。
【請求項３】
特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、
前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段とを有して構成され、
前記顔検出手段は、前記撮像手段により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする顔認証装置。
【請求項４】
特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、
前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、
この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
前記特定の位置の近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、
この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段と、
を具備したことを特徴とする顔認証装置。
【請求項５】
前記顔向き判定手段は、前記顔検出手段により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする請求項４記載の顔認証装置。
【請求項６】
特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、
前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、
この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段とを有して構成され、
前記顔向き判定手段は、前記顔検出手段により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする顔認証装置。
【請求項７】
前記顔向き判定手段により正面向きでないと判定された場合、当該人物に対し前記撮像手段あるいは前記表示手段の方向を向くように案内する案内手段をさらに具備したことを特徴とする請求項１または請求項４記載の顔認証装置。
【請求項８】
特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、
前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、
この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程と、
前記特定の位置の近傍に設けられた表示手段により、前記移動する人物に対し前記顔検出工程により検出された顔領域の画像を拡大して表示する表示工程と、
この表示工程により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御工程と、
を具備したことを特徴とする顔認証方法。
【請求項９】
特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、
前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、
この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程とを有して構成され、
前記顔検出工程は、前記撮像工程により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする顔認証方法。
【請求項１０】
特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、
前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、
この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定工程と、
この顔向き判定工程により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程と、
前記特定の位置の近傍に設けられた表示手段により、前記移動する人物に対し前記顔検出工程により検出された顔領域の画像を拡大して表示する表示工程と、
この表示工程により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御工程と、
を具備したことを特徴とする顔認証方法。
【請求項１１】
特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、
前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、
この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定工程と、
この顔向き判定工程により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程とを有して構成され、
前記顔向き判定工程は、前記顔検出工程により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする顔認証方法。
【請求項１２】
入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、
この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段と、
を具備したことを特徴とする入退場管理装置。
【請求項１３】
入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを有して構成され、
前記顔検出手段は、前記撮像手段により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする入退場管理装置。
【請求項１４】
入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、
この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、
前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、
この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段と、
を具備したことを特徴とする入退場管理装置。
【請求項１５】
入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、
前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、
この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、
この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、
この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを有して構成され、
前記顔向き判定手段は、前記顔検出手段により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする入退場管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、歩行者を認証対象とし、当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。
【０００２】
また、本発明は、上記顔認証装置を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。
【背景技術】
【０００３】
一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより、当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア（部屋や施設等）のドアを開放する（たとえば、特許文献１参照）。
【０００４】
この種の入退場管理装置（顔認証装置）にあっては、上記したように、認証する人物がカメラの前に立ち止まることで、当該人物の顔を撮像するようになっているため、認証対象が歩行者（移動する人物）であって、当該歩行者がドア（特定の位置）に接近するまでに顔認証を行なう目的に使用する場合、このような歩行する人物の顔を撮像することはできないという問題がある。
【０００５】
そこで、入退場対象エリアの入口の近傍にカメラと表示部を配設し、入口のドアに向かって移動する歩行者の顔認証を行なうものが考えられている。これは、入口のドアに向かって移動する歩行者の顔画像をカメラで撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより、当該歩行者はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入口のドアを開いて通行を許可し、そうでなければ、入口のドアを閉じたままにして通行を阻止するものである。  
このように、歩行者が入口のドアに到達するまでに、顔認証処理を終了することで、あらかじめ登録された歩行者は立ち止まることなしに入口を通過できる。
【０００６】
顔画像により、あらかじめ登録された人物か否かを判定する顔認証処理では、正面顔を安定して撮像することが、顔認証の精度向上の点において重要である。そこで、カメラの近傍に表示部を配設して、当該表示部にカメラで撮像した歩行者の顔をズームで表示し、歩行者が当該表示部を見るように誘導することで、正面顔を撮影しようとする技術も考えられている。
【０００７】
歩行者の正面顔を取得する技術として、カメラで撮像して得られる顔画像から顔の向きを判定する手法が知られている（たとえば、特許文献２参照）。これは、入力画像から左目、右目、顔の左右輪郭を計算し、次に、前記左眼と顔の左の輪郭間の距離と、右眼と顔の右の輪郭区間の距離との比から顔の向きを判定する。この２つの距離がほぼ等しい場合には、顔が正面を向いていると判定し、上記２つの距離の一方が短ければ、その方向に顔が向いていると判定するものである。
【０００８】
また、入力画像から顔領域を検出する技術として、カメラからの入力画像系列から、人物の顔を検出する手法が知られている（たとえば、特許文献３参照）。これは、入力画像全体について顔パターン検出を数フレームおきに行ない、顔が検出された領域については、引き続くフレームにおいて、その近傍についてのみ顔パターン検出を行なう。これは、毎フレーム、顔パターン検出を入力画像全体について行なうのではなく、一度顔が検出された場合には、引き続くフレームでは顔パターンの検出対象の領域を限定することにより、処理速度を向上させるという考え方に基づく。
【特許文献１】特開２００１−２６６１５２号公報
【特許文献２】特開２００５−１９６５６７号公報
【特許文献３】特開２００４−１７１４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
人物が検出され表示部に人物の顔がズーム表示された場合に、その人物が自分自身でカメラの視野のどの位置にいるかわからないため、照合が開始しないときに歩行者が誤ってカメラの視野外に出てしまうことである。これは、顔の認証に必要な顔画像の枚数が検出される前に人物がカメラの視野外に出てしまうことになり、認証性能の低下を招く。
【００１０】
また、特許文献２の顔向き判定は、歩行者の顔が正面でない場合にその人物に対して、カメラに顔を向けるように促す目的で用いられる。この技術は、顔向きの判定にまず顔の部品、具体的には左右の目および顔の左右輪郭を抽出することを前提としており、顔の照明が暗く、上記顔の部品の検出に失敗すると顔向きの判定ができなくなるという問題がある。結果として、歩行者の正面顔が得られる可能性が下がり、顔認証性能の低下を招く。
【００１１】
また、特許文献３の顔領域検出では、全体画像の顔検出を数フレームごとに行なうため、そのフレームの間に現れた人物の顔の検出が遅れてしまう。その結果、特許文献３の技術を本発明において歩行者の顔を検出する目的で用いた場合、人物から抽出する顔の枚数が減り、顔の認証に必要な枚数の顔画像が抽出できないことが発生し得る。これにより、顔認証性能の低下が発生するという問題がある。
【００１２】
そこで、本発明は、認証対象の人物は自分自身撮像視野外にでそうか否かを確認することが可能になり、撮像視野から外れないように対処することにより、顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
【００１３】
また、本発明は、人物の正面顔が得やすくなり、その結果顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
【００１４】
さらに、本発明は、顔の検出遅れがなくなり、その結果、認証に必要な顔画像が容易に得られ、顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
本発明の顔認証装置は、特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、前記特定の位置の近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段とを具備している。
【００１６】
また、本発明の顔認証装置は、特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段とを有して構成され、前記顔検出手段は、前記撮像手段により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする。
【００１７】
また、本発明の顔認証装置は、特定の位置に向かって移動する人物の顔認証を行なう顔認証装置であって、前記移動する人物と特定の位置との間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段とを有して構成され、前記顔向き判定手段は、前記顔検出手段により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする。
【００１８】
また、本発明の顔認証方法は、特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、この顔検出工程により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程と、前記特定の位置の近傍に設けられた表示手段により、前記移動する人物に対し前記顔検出工程により検出された顔領域の画像を拡大して表示する表示工程と、この表示工程により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御工程とを具備している。
【００１９】
また、本発明の顔認証方法は、特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、この顔検出工程により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程とを有して構成され、前記顔検出工程は、前記撮像工程により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする。
【００２０】
また、本発明の顔認証方法は、特定の位置に向かって移動する人物の顔認証を行なう顔認証方法であって、前記移動する人物と特定の位置との間に設けられた撮像手段により、当該移動する人物の少なくとも顔を含む画像を撮像する撮像工程と、この撮像工程により撮像された画像から前記人物の顔領域を検出する顔検出工程と、この顔検出工程により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定工程と、この顔向き判定工程により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証工程とを有して構成され、前記顔向き判定工程は、前記顔検出工程により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする。
【００２１】
また、本発明の入退場管理装置は、入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段と、前記入退場用ゲートの近傍に設けられ、前記移動する人物に対し前記顔検出手段により検出された顔領域の画像を拡大して表示する表示手段と、この表示手段により表示された顔領域の画像が前記撮像手段の撮像視野から外れそうになったことを検出し、当該撮像視野から外れそうになった側について拡大表示画像の端部を強調表示するよう前記表示手段を制御する表示制御手段とを具備している。
【００２２】
また、本発明の入退場管理装置は、入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを有して構成され、前記顔検出手段は、前記撮像手段により撮像された複数の画像に対して画像間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出処理を行ない、得られたオプティカルフローを位置が近く、かつ、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピング処理を行ない、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについてペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を当該人物の頭頂候補として抽出し、得られた頭頂候補について顔パターン検出を行なうことで顔領域の検出を行なうことを特徴とする。
【００２３】
さらに、本発明の入退場管理装置は、入退場対象エリアに設けられた入退場用ゲートに向かって移動する人物の顔認証を行ない、その認証結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置であって、前記移動する人物と前記入退場用ゲートとの間に設けられ、当該移動する人物の少なくとも顔を含む画像を撮像する撮像手段と、この撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域の画像が正面向きであるか否かを判定する顔向き判定手段と、この顔向き判定手段により正面向きであると判定された顔領域の画像とあらかじめ登録された辞書情報とを照合することにより当該人物はあらかじめ登録された人物であるかを判定する認証手段と、この認証手段の判定結果に基づき前記入退場用ゲートを開閉制御するゲート制御手段とを有して構成され、前記顔向き判定手段は、前記顔検出手段により検出された顔領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき顔が正面向きではないと判定し、前記短い方の長さを長い方の長さで割った値が閾値以下のとき当該顔領域に対し顔パターン検出を行なって、あらかじめ正面向きの顔から作成された顔検出辞書パターンとの類似度を計算し、得られた類似度が閾値以下のとき顔が正面向きではないと判定し、当該得られた類似度が閾値以上のとき顔が正面向きであると判定することを特徴とする。
【発明の効果】
【００２４】
本発明によれば、認証対象の人物は自分自身撮像視野外にでそうか否かを確認することが可能になり、撮像視野から外れないように対処することにより、顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。
【００２５】
また、本発明によれば、人物の正面顔が得やすくなり、その結果顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。
【００２６】
さらに、本発明によれば、顔の検出遅れがなくなり、その結果、認証に必要な顔画像が容易に得られ、顔認証性能が向上する顔認証装置、顔認証方法および入退場管理装置を提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施の形態について図面を参照して説明する。  
まず、本発明の概要について簡単に説明する。本発明では、たとえば、図２に示すように、通行帯１を図示矢印ｅ方向に移動して入退場対象エリア（部屋や施設等）２の入口３に設けられたドア（入退場用ゲート）４に向う歩行者（以下、人物ともいう）Ｍの顔をカメラで撮像する。具体的には、通行帯１におけるｄ地点からｂ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顏を含む画像をカメラで撮像し、ｂ地点から入口３近傍のａ地点まで歩行者Ｍが到達する間に、取得した画像によって、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。あらかじめ登録された人物と判定した場合にはドア４を開錠する。
【００２８】
図１は、本実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を撮像する撮像手段としてのビデオカメラ（以降、単にカメラと略称する）１１、カメラ１１により撮像された画像から歩行者Ｍの顔領域を検出して追跡する顔検出手段としての顔検出追跡部１２、顔領域の検出に用いる顔検出辞書パターンを格納している顔検出辞書パターン格納部（メモリ）１３、追跡中の歩行者Ｍの顔向きがカメラ１１に対して正面を向いているか否かを判定する顔向き判定手段としての顔向き判定部１４、複数の辞書情報があらかじめ登録（記憶）されている辞書記憶手段としての顔認証辞書（メモリ）１５、顔検出追跡部１２で得られた顔領域の画像（顔画像）と顔認証辞書１５にあらかじめ登録された辞書情報とを照合することにより当該歩行者Ｍはあらかじめ登録された人物であるかを判定する認証手段としての顔認証部１６、顔認証部１６の判定結果に基づき前記ドア４を制御するゲート制御手段としてのゲート制御部１７、歩行者Ｍに対し現在の顔認証の状況等を表示する表示手段としての表示部１８、歩行者Ｍに対し音声による案内を行なう案内手段としてのスピーカ１９、および、全体的な制御を司る制御手段としての表示認証制御部２０を有して構成されている。
【００２９】
以下、各構成要素について詳細に説明する。  
表示部１８は、たとえば、図２に示すように、通行帯１の側部で入口３の近傍に設置されている。表示部１８の設置高さは、たとえば、歩行者Ｍの身長の平均値程度にする。  
表示部１８は、歩行者Ｍに対して、現在の顔認証の状況等を表示する。具体的には、歩行者Ｍがドア４から遠く顔が検出できていない場合、または、検出しはじめの場合には、図３（ａ）に示すように、カメラ１１から得られる全体の画像３１を表示する。図３（ａ）における枠３２は、検出された顔の領域を示している。
【００３０】
顔が検出され、歩行者Ｍがドア４から一定の距離まで近付いた場合、具体的には図２のｃ地点よりも近付いた場合には、図３（ｂ）に示すように、検出した顔画像を拡大して表示する。
【００３１】
さらに、歩行者Ｍがドア４に対して接近した場合、具体的には図２のｂ地点よりも接近した場合には、カメラ１１から得られた画像からあらがめ登録された人物か否かの判定（顔認証）を開始し、ａ地点に到達するまでに顔認証を終了する。このとき、図３（ｃ）に示すように、「認証中」という案内文を表示する。
【００３２】
認証が終了し、あらかじめ登録された人物であると判定された場合には、当該歩行者Ｍに対して、図３（ｄ）に示すように、入場が許可されたことを表す案内文を表示する。そうでない場合には、歩行者Ｍに対して、図３（ｅ）に示すように、入場が拒否されたことを表す案内文を表示する。
【００３３】
カメラ１１は、ドア４に向かって移動してくる歩行者Ｍの顔画像を撮像して、たとえば、図４（ａ）〜（ｆ）に示すようなカメラ１１に対して近付く人物の動画像系列を入力するもので、たとえば、図２に示すように、表示部１８の近傍に設置されている。１１ａはカメラ１１の撮像視野を示している。  
スピーカ１９は、歩行者Ｍに対し音声による各種案内を行なうもので、たとえば、図２に示すように、カメラ１１の近傍に設置されている。
【００３４】
顔検出追跡部１２は、カメラ１１から得られる図４のようなカメラ１１に対して近付く人物の動画像系列から、顔の存在する領域を顔候補領域として検出する。検出した顔候補領域について時間的な対応付けを行ない、顔候補領域を時系列として得る。ここで、カメラ１１からの入力画像で、時間的に最新のものを現フレームの画像と呼び、１回前の画像入力で得られた画像を前フレームの画像と呼ぶことにする。また、現フレームの画像が得られた時刻をｔとして表し、前フレームの画像が得られた時刻をｔ−１と表すこととする。
【００３５】
図５は、顔検出追跡部１２の処理の流れを示している。まず、ステップＳ１の画像入力では、カメラ１１からの一定時間ごとの画像を入力する。次に、ステップＳ２の顔初期検出は、入力画像系列から変化のある領域を抽出し、抽出した変化領域から顔の存在する領域を顔候補領域として検出する。
【００３６】
次に、ステップＳ３の顔追跡処理は、顔初期検出で得られた顔候補領域の追跡を行なう。具体的には、前フレームでの顔候補領域が現フレームの画像中でどの位置に存在するかを決定する。顔追跡処理の後、表示認証制御部２０に現フレームでの顔候補領域が送られる（ステップＳ４）。表示認証制御部２０は、この状態に応じて表示を切換える。
【００３７】
顔追跡中の人物について、顔の画像が一定枚数（Ｍ_ＩＭＧ）以上集まった場合（ステップＳ５）、表示認証制御部２０に得られた枚数の顔画像を送る（ステップＳ６）。表示認証制御部２０は、得られた顔画像により顔認証処理を行なう。
【００３８】
ここで、ステップＳ２の顔初期検出処理について詳細に説明する。顔初期検出処理は、入力画像系列から変化のある領域を抽出し、抽出した変化領域領域から顔パターンの検出を行なうもので、図６に顔初期検出処理の流れを示す。
【００３９】
顔初期検出処理の入力は、カメラ１１から一定時間ごとに入力される図４のような画像系列である。まず、ステップＳ１１のフレーム間差分は、連続する２つのフレーム画像を比較し、変化のあるピクセルを抽出する処理である。前フレームでの入力画像をＩｔ−１（ｘ，ｙ）、現フレームでの入力画像をＩｔ（ｘ，ｙ）とすると、フレーム間差分画像ＤＩＦＦｔ（ｘ，ｙ）は下記数１のように計算される。
【数１】
2008071172.tif 000003
【００４０】
ここで、ＤＩＦＦｔ（ｘ，ｙ）＝１となる領域を変化領域とすると、たとえば、フレーム間差分により図７の符号Ａように人物の輪郭が変化領域として抽出される。同時に、背景のノイズ等も図７の符号Ｂのように抽出される。なお、図７では、ＤＩＦＦｔ（ｘ，ｙ）＝１のピクセルは黒で、ＤＩＦＦｔ（ｘ，ｙ）＝０のピクセルは白で表されている。
【００４１】
フレーム間差分の計算方法として、次のような増分符号フレーム間差分を用いてもよい。具体的には、時刻ｔ−１についての水平方向、垂直方向の増分符号画像ＤＩＦＦ_Ｓ_Ｘｔ−１（ｘ，ｙ）、ＤＩＦＦ_Ｓ_Ｙｔ−１（ｘ，ｙ）と、時刻ｔについての水平方向、垂直方向の増分符号画像ＤＩＦＦ_Ｓ_Ｘｔ（ｘ，ｙ）、ＤＩＦＦ_Ｓ_Ｙｔ（ｘ，ｙ）を計算する。
【００４２】
ＤＩＦＦ_Ｓ_Ｘｔ（ｘ，ｙ）、ＤＩＦＦ_Ｓ_Ｙｔ（ｘ，ｙ）は次のような画像である。  
【数２】
2008071172.tif 000004
【００４３】
また、増分符号フレーム間差分画像ＤＩＦ_Ｓｔ（ｘ，ｙ）は次のようになる。  
【数３】
2008071172.tif 000005
【００４４】
フレーム間差分として、輝度フレーム間差分ＤＩＦＦｔ（ｘ，ｙ）あるいは増分符号フレーム間差分ＤＩＦＦ_Ｓｔ（ｘ，ｙ）のどちらを用いてもよい。輝度フレーム間差分ＤＩＦＦｔ（ｘ，ｙ）は、演算量が少ないが、輝度差の閾値Ｔ_ＤＩＦＦを用いるため、輝度変動に弱いという性質がある。増分符号フレーム間差分ＤＩＦＦ_Ｓｔ（ｘ，ｙ）の方は、輝度フレーム間差分ＤＩＦＦｔ（ｘ，ｙ）に対して演算量が多いが、輝度差の閾値を用いないため輝度変動に影響を受けにくいという性質がある。
【００４５】
次に、ステップＳ１２のオプティカルフロー抽出は、前フレームの入力画像を、一辺が２×ｗの固定サイズの小ブロックに分割する。ここで、ｗは定数とする。分割した小ブロックのうち、フレーム間差分で変化領域があると判定された画素を含むブロックについて、前フレームから現フレームへのオプティカルフローを計算する。たとえば、変化領域が図７に示されるものの場合、図８に示す太線のブロックＢＬについてオプティカルフローを計算する。
【００４６】
前フレームの小ブロックが、たとえば、図９に示したものである場合には、図９における一辺が２×ＳＷの現フレームの矩形領域を探索範囲として、オプティカルフローの計算を行なう。具体的には、時刻ｔ−１のｉ番目のブロックの中心のピクセルを  
【数４】
2008071172.tif 000006
【００４７】
として、ＳＡＤの値  
【数５】
2008071172.tif 000007
【００４８】
が最小となるような（ｄｘ，ｄｙ）の値を求める。時刻ｔ−１のピクセル  
【数６】
2008071172.tif 000008
【００４９】
に時刻ｔのピクセル  
【数７】
2008071172.tif 000009
【００５０】
が対応すると判定する。
【００５１】
各ブロックについて、オプティカルフローを計算した例を図１０に示す。図１０では、前フレームの画像上に、前フレームと現フレームとで対応する画素同士を結んだ線としてオプティカルフローを示している。
【００５２】
次に、ステップＳ１３の頭部候補領域抽出は、得られたオプティカルフローを、近接し、かつ、移動量が類似しているもの同士が同じグループに属するように、グループに分割する。図１１にオプティカルフローをグループに分割した例を示す。得られたグループを構成するオプティカルフローの個数が閾値以下のものは削除する。たとえば、閾値が「２」の場合、図１１における背景のノイズ等Ｃ，Ｄ，Ｅ，Ｆ，Ｇは削除される。
【００５３】
次に、残ったグループについて、ペリフェラル特徴ＰＥ（ｘ）を計算する。具体的には、点（ｘ，０）から、入力画像をｙ軸方向にスキャンする。スキャンした線上のオプティカルフローまでの距離で最小のものをＰＥ（ｘ）とする。スキャンした線上に存在するオプティカルフローが存在しない場合には、ＰＥ（ｘ）は入力画像のｙサイズ（高さ）となる。図１２にペリフェラル特徴の具体例を示す。
【００５４】
次に、図１３に示すように、ペリフェラル特徴ＰＥ（ｘ）の１次微分をＰＥ′（ｘ）とする。１次微分ＰＥ（ｘ）で、左側が負のエッジ、右側が正のエッジであり、それらの絶対値が閾値よりも大きく、その間に挟まれた  
【数８】
2008071172.tif 000010
【００５５】
となる範囲を頭頂候補Ｈとする。たとえば、図１３の場合には、Ｉ部が左端の負のエッジ、Ｊ部が右側の正のエッジであり、Ｋ部がその間に挟まれた  
【数９】
2008071172.tif 000011
【００５６】
の範囲である。
【００５７】
次に、求めた頭頂候補から頭部候補領域を抽出する。頭部候補領域とは、頭頂候補領域を上辺とするような、高さが頭頂候補の幅（Ｗ_ＴＯＰ）の定数倍（Ａ_ＴＯＰ）の矩形である。図１４に頭部候補領域の具体例を示す。
【００５８】
次に、ステップＳ１４の顔パターン検出は、得られた頭部候補領域について顔パターンの検出を行なう。ただし、顔初期検出処理で既に抽出されおり、顔追跡処理で追跡対象となっているものについては除外する。
【００５９】
顔パターン検出の手法としては、たとえば、文献（三田，金子，堀，“微小な差異を含む画像の認証に適した空間差分確率テンプレートの提案”，第９会画像センシングシンポジウム講演論文集，ＳＳＩＩ０３，２００３）に記載された手法を用いることができる。これは、事前に顔の学習パターンから顔検出辞書パターンを作成しておき、顔検出辞書パターンと高い類似度を持つ領域を入力画像中から探す手法である。
【００６０】
顔検出辞書パターンは、たとえば、大量の正面向きの顔画像から作成する。このように作成した顔検出辞書パターンを顔検出辞書パターン格納部１３に格納しておき、顔パターン検出の際に用いることで、ほぼ正面向きの顔候補領域が検出される。検出された顔候補領域は、図１５に示すように正方形の顔候補矩形として表す。図１５において、符号Ｌは頭部候補領域を示し、符号Ｎは顔候補領域を示している。
【００６１】
次に、ステップＳ３の顔追跡処理について詳細に説明する。顔追跡処理は、前フレームの顔候補領域から現フレームでの顔候補領域を得るもので、図１６に顔追跡処理の流れを示す。
【００６２】
まず、前フレームの顔候補領域について、オプティカルフローを抽出する（ステップＳ２１）。具体的には、前フレームの顔候補領域を小ブロックに分割し、各ブロックが現フレームでどの位置にあるかをテンプレートマッチング等を用いて計算する。図１７に顔候補領域のオプティカルフローの例を示す。
【００６３】
前述した顔初期検出処理（ステップＳ２）におけるオプティカルフロー抽出は、変化領域を大まかに絞り込むことが目的である。これに対して、顔追跡処理（ステップＳ３）でのオプティカルフローの抽出では、顔の移動を計算することが目的であるため、顔初期検出処理におけるオプティカルフロー抽出よりも精度が必要となる。
【００６４】
そこで、顔追跡処理でのオプティカルフローの抽出では、顔初期検出処理におけるオプティカルフロー抽出処理と異なる小ブロックの分割の方法を用いてもよい。たとえば、顔追跡処理でのオプティカルフローの計算では、より多くのオプティカルフローを抽出するため、隣り合う小ブロック同士が互いにオーバーラップするように、小ブロックを配置してもよい。これにより、顔追跡処理の精度が向上する。
【００６５】
ここで、前フレームの顔候補領域内の小ブロックの中心点を  
【数１０】
2008071172.tif 000012
【００６６】
とし、中心点  
【数１１】
2008071172.tif 000013
【００６７】
に対応する現フレームの点を  
【数１２】
2008071172.tif 000014
【００６８】
とする。
【００６９】
次に、顔変形パラメータ計算を行なう（ステップＳ２２）。これは、  
【数１３】
2008071172.tif 000015
【００７０】
に移す変換式を計算する。たとえば、変換式として、  
【数１４】
2008071172.tif 000016
【００７１】
を用いる。これは、ｘ軸とｙ軸それぞれのスケーリングと平行移動の変換式である。
【００７２】
次に、回帰分析を用いて、Ａｘ，Ｂｘ，Ａｙ，Ｂｙを予測し、得られた値をＡ′ｘ，Ｂ′ｘ，Ａ′ｙ，Ｂ′ｙとする。  
【数１５】
2008071172.tif 000017
【００７３】
数１５の値が共にあらかじめ定められた閾値よりも小さな場合には、顔変形パラメータの計算が得られたとして（ステップＳ２３）、前フレームの顔候補領域の外接矩形Ｒｔ−１から現フレームの顔候補領域の外接矩形Ｒｔを計算して、現フレームの顔候補領域の位置とし（ステップＳ２４）、処理を終了する。
【００７４】
Ｒｔ−１の左上と右下の点の座標をそれぞれ、（ＬＥＦＴｔ−１，ＴＯＰｔ−１）、（ＲＩＧＨＴｔ−１，ＢＯＴＴＯＭｔ−１とし、Ｒｔの左上と右下の点の座標をそれぞれ、（ＬＥＦＴｔ，ＴＯＰｔ）、（ＲＩＧＨＴｔ，ＢＯＴＴＯＭｔ）とすると、  
【数１６】
2008071172.tif 000018
【００７５】
のように変換される。
【００７６】
変形パラメータの計算に失敗した場合（ステップＳ２３）、つまり、数１５の値が共にあらかじめ定められた閾値以上の場合には、前フレームの顔候補領域を一定サイズ拡張した領域について顔パターン検出を行なう（ステップＳ２５）。顔パターンにより顔候補領域が検出されれば（ステップＳ２６）、それを現フレームでの顔候補領域とし（ステップＳ２７）、処理を終了する。顔パターンにより顔候補領域が検出されなければ（ステップＳ２６）、前フレームの顔候補領域を現フレームの顔候補領域とする（ステップＳ２８）。
【００７７】
次に、連続で前フレームの顔候補領域を現フレームの顔候補領域としたフレーム数が所定の閾値Ｔ_ＮＯＴ_ＤＥＴＥＣＴＥＤ以上か否かをチェックし（ステップＳ２９）、閾値Ｔ_ＮＯＴ_ＤＥＴＥＣＴＥＤ以上でない場合は処理を終了し、閾値Ｔ_ＮＯＴ_ＤＥＴＥＣＴＥＤ以上の場合には、人物がカメラの視野からいなくなったとみなして、顔の追跡を中止し（ステップＳ３０）、処理を終了する。
【００７８】
顔向き判定部１４は、追跡中の顔の向きがカメラ１１に対して正面を向いているか否かを判定する処理である。図１８に顔向きと顔候補領域の外接矩形の例を示す。顔の初期検出において検出される顔領域は、図１８（ｅ）のような正面向きの顔である。これは、顔パターンの辞書として正面向きの顔の辞書を用いているからである。検出された正面向きの顔に対して、図１８（ｅ）のような正方形の矩形を与え、顔候補領域として追跡が行なわれる。顔が図１８（ｅ）のように正面向きであれば、顔は正方形のままであり、外接矩形の幅と高さはほぼ等しい値となる。しかし、図１８（ｄ）や（ｆ）のように横向きになると、外接矩形の幅に対して高さのほうが大きくなる。同様に、図１９（ｂ）や（ｈ）のように、上または下向きになると、外接矩形の高さに対して、幅のほうが長くなる。
【００７９】
そこで、顔向き判定部１４では、図１９に示すフローチャートにしたがった処理を行なう。まず、顔候補領域の外接矩形の縦と横との比に基づいて顔向きの判定を行なう。具体的には、顔候補領域の外接矩形の幅と高さのうち、長い方の長さをｌｅｎ_ｌｏｎｇ、短い方の長さをｌｅｎ_ｓｈｏｒｔとする（ステップＳ４１）。
【数１７】
2008071172.tif 000019
【００８０】
のとき（ステップＳ４２）、顔の向きが正面でないと判定し（ステップＳ４３）、処理を終了する。ここで、Ｔ_ｌｅｎは「１」よりも大きな閾値とする。
【数１８】
2008071172.tif 000020
【００８１】
が成立しない場合、つまり、顔候補領域の外接矩形の縦横比が「１」に近い場合は、図１８（ｅ）のように顔がカメラに対して正面向きである場合だけでなく、図１８（ａ）、（ｃ）、（ｇ）、（ｉ）のように斜め上、もしくは、斜め下を向いている場合もある。
【００８２】
そこで、  
【数１９】
2008071172.tif 000021
【００８３】
が成立しない場合（ステップＳ４２）、顔パターン検出を、顔候補領域に対して適用し、顔検出辞書パターンとの類似度を計算する（ステップＳ４４）。得られた類似度が所定の閾値Ｔ_ｓｉｍよりも小さい場合（ステップＳ４５）、顔の向きが正面でないと判定し（ステップＳ４３）、処理を終了する。得られた類似度が所定の閾値Ｔ_ｓｉｍよりも大きい場合（ステップＳ４５）、顔が正面向きであると判定し（ステップＳ４６）、処理を終了する。
【００８４】
顔認証部１６は、顔検出追跡部１２で得られた顔画像について、顔認証辞書１５にあらかじめ登録された人物か否かの判定を行なう。具体的には、たとえば、特開２００１−２６６１５２号公報に記載されているように、あらかじめ登録者（歩行者）の顔画像を用意し、その顔画像から抽出した固有の特徴情報を辞書情報として顔認識辞書１５に記憶（登録）しておく。そして、顔検出追跡部１２で得られた顔領域の画像（特徴情報）と顔認識辞書１５にあらかじめ登録された辞書情報とを照合して両者の類似度を求め、求めた類似度があらかじめ設定された閾値以上である場合、当該歩行者Ｍはあらかじめ登録された人物であると判定し、求めた類似度が閾値以上でない場合、当該歩行者Ｍはあらかじめ登録された人物でないと判定する。
【００８５】
ゲート制御部１７は、図２のように制御する対象がドア４の場合は、表示認証制御部２０からの通過可能信号がオンのとき開錠を行ない、通過可能信号がオフのときは施錠状態にする。なお、制御する対象がゲート装置の場合には、通行可能信号がオフにもかかわらず、ゲート装置を通過したときに警告音を出したり、あるいは、ゲート装置に設けられているフラッパを閉じ、通行を阻止したりする。具体的には、図２０に示すフローチャートのように制御を行なう。
【００８６】
表示認証制御部２０は、本装置全体の制御を行なうもので、処理の流れを図２１のフローチャートに示す。以下、図２１のフローチャートに基づいて処理の流れを説明する。
【００８７】
まず、顔検出追跡部１２の処理結果を取得し（ステップＳ５１）、顔向き誘導処理（後で詳細を説明する）を行なう（ステップＳ５２）。次に、認証対象の人物（歩行者Ｍ）が通行帯１のｄ地点よりもカメラ１１に近い地点にいるか否かをチェックし（ステップＳ５３）、歩行者Ｍがｄ地点よりもカメラ１１に近い地点にいない場合、カメラ１１から得られる画像を表示部１８に表示して（ステップＳ５４）、ステップＳ５１に戻り、上記同様な動作を繰り返す。
【００８８】
ステップＳ５３において、顔検出追跡部１２で顔領域が検出され、当該顔領域が検出された歩行者Ｍがｄ地点よりもカメラ１１に近い地点にいる場合、その歩行者Ｍを顔認証対象として、当該歩行者Ｍの存在位置に応じて表示部１８の表示内容を変える。歩行者の存在位置は、検出した顔候補領域のサイズから予測する。
【００８９】
すなわち、ステップＳ５３において、顔領域が検出された歩行者Ｍがｄ地点よりもカメラ１１に近い地点にいる場合、当該歩行者Ｍは通行帯１のｄ地点とｃ地点との間にいるか否かをチェックし（ステップＳ５５）、歩行者Ｍがｄ地点とｃ地点との間にいる場合には、図３（ａ）に示すように、表示部１８にカメラ１１から得られる全体の画像３１を表示するとともに、このとき検出された顔領域を示す枠３２を表示して（ステップＳ５６）、ステップＳ５１に戻り、上記同様な動作を繰り返す。ここで、入力画像は、左右鏡像反転して表示するものとする。
【００９０】
ステップＳ５５におけるチェックの結果、歩行者Ｍがｄ地点とｃ地点との間にいない場合、当該歩行者Ｍは通行帯１のｃ地点とｂ地点との間にいるか否かをチェックし（ステップＳ５７）、歩行者Ｍがｃ地点とｂ地点との間にいる場合、図３（ｂ）に示すように、表示部１８に検出した顔画像を拡大して表示し（ステップＳ５８）、ステップＳ５１に戻り、上記同様な動作を繰り返す。ここで、顔画像の拡大表示（ズーム表示）は、左右鏡像反転して表示する。
【００９１】
ステップＳ５５におけるチェックの結果、歩行者Ｍがｃ地点とｂ地点との間にいない場合、顔検出追跡部１２で検出された認証対象の正面向きの顏画像が、認証に最低限必要な一定枚数（Ｎ_ＩＭＧ枚）以上収集できたか否かをチェックする（ステップＳ５９）。このチェックの結果、認証対象の顏画像が一定枚数以上収集できない場合、図３（ｅ）に示すように、表示部１８に認証に失敗したことを表わすメッセージ「認証ＮＧ」を表示して（ステップＳ６０）、ステップＳ５１に戻り、上記同様な動作を繰り返す。
【００９２】
ステップＳ５９におけるチェックの結果、認証対象の顏画像が一定枚数以上収集できた場合、顔検出追跡部１２で得られた顔画像の中から正面向き以外の顔画像を除去し（ステップＳ６１）、残った正面向きの顔画像のみを顏認証部１６へ送り、顔認証処理を開始する（ステップＳ６２）。このとき、図３（ｃ）に示すように、表示部１８に「認証中」のメッセージを表示し（ステップＳ６３）、顏認証処理が終了するまで待機する（ステップＳ６４）。
【００９３】
顏認証処理が終了すると、認証結果が成功か失敗かをチェックし（ステップＳ６５）、認証結果が成功であれば、図３（ｄ）に示すように、表示部１８に「認証ＯＫ  通過して下さい」というメッセージを表示するとともに（ステップＳ６６）、ゲート制御部１７への通行可能信号を一定時間オンにする（ステップＳ６７）。これにより、歩行者Ｍはドア４を通過できる。
【００９４】
次に、通行可能信号をオンにしてから一定時間経過するか、あるいは、当該歩行者Ｍの通行完了信号をゲート制御部１７から受信するまで待機する（ステップＳ６８）。通行可能信号をオンにしてから一定時間経過するか、あるいは、当該歩行者Ｍの通行完了信号をゲート制御部１７から受信すると、ステップＳ５１に戻り、上記同様な動作を繰り返す。
【００９５】
ステップＳ６５におけるチェックの結果、認証結果が失敗であれば、図３（ｅ）に示すように、表示部１８に「認証ＮＧ」というメッセージを一定時間表示して（ステップＳ６９）、ステップＳ５１に戻り、上記同様な動作を繰り返す。
【００９６】
図２２は、ステップＳ５２における顔向き誘導処理の流れを示しており、以下、それについて説明する。顔向き誘導処理は、顔向き判定部１４の判定結果に応じて行なわれる。すなわち、まず、顔向き判定部１４の判定結果を取得し（ステップＳ７１）、歩行者Ｍの顔向きが正面か否かをチェックする（ステップＳ７２）。このチェックの結果、顔向きが正面であると判定された場合は当該処理を終了し、顔向きが正面でないと判定された場合、当該歩行者Ｍに対し、スピーカ１９から音声で「表示部をみてください」などの音声案内を行ない（ステップＳ７３）、当該処理を終了する。
【００９７】
図２３は、ステップＳ５８におけるズーム表示処理の流れを示しており、以下、それについて説明する。まず、カメラ１１から得られる入力画像から、検出された顔候補領域の画像（顔画像）を切り出して表示部１８に表示する（ステップＳ８１）。次に、表示された顔画像の頭部位置が入力画像の端に近い位置にあるか否かをチェックし（ステップＳ８２）、頭部位置が入力画像の端に近い位置にない場合は当該処理を終了し、頭部位置が入力画像の端に近い位置にある場合、入力画像の端に近い側についてズーム表示画像の端を強調表示せしめ（ステップＳ８３）、当該処理を終了する。
【００９８】
このように、ズーム表示処理では、歩行者Ｍの顔画像が入力画像からはみ出しそうになったとき、すなわち、顔画像がカメラ１１の撮像視野から外れそうになったとき、それを検出して、たとえば、図２４、図２５に示すように、はみ出しそうな側について端部を強調表示する。  
図２４では、顔画像が入力画像中の左端に近いため、ズーム表示において、同じ側の端部を強調表示している（符号４１ａの部分）。ズーム画像は鏡像反転表示されるため、図２４では右側が強調表示されている。また、図２５では、顔画像が入力画像中の上端に近いため、ズーム表示画像において、同じ側の端部（上端）を強調表示している（符号４１ｂの部分）。なお、図２４、図２５において、（ａ）は入力画像を示し、（ｂ）は当該入力画像に対するズーム表示画像を示している。
【００９９】
ここに、ズーム表示画像の端部を強調表示する方法としては、たとえば、図２４、図２５に示すように、強調表示部４１ａ，４１ｂを帯状にし、かつ、他の部分とは異なる色で表示する方法、あるいは、さらに強調表示部４１ａ，４１ｂを点滅させる方法、あるいは、強調表示部４１ａ，４１ｂを絵記号などで表示する方法が考えられる。要は、他の部分と区別できるように強調表示すればよい。
【０１００】
このように、外枠（端部）を強調表示するのは、認証対象の歩行者Ｍが、入力画像中でどの位置にいるか、自分自身で把握できるようにするためである。ズーム画像表示中には、認証対象の歩行者Ｍの顔しか映らないため、カメラ１１の視野から外れそうになったことを、強調表示により歩行者Ｍは気づくことができる。歩行者Ｍは、これにより歩行の速度を遅くしたり、カメラ１１側に寄ったりして、カメラ１１で顔が撮影されやすい位置に自ら移動することができる。
【０１０１】
以上説明したように上記実施の形態によれば、歩行者の顔がカメラの視野から外れそうになったとき、視野から外れそうになった側についてズーム表示画像の端部を強調表示することにより、顔認証性能が向上する。具体的には、認証対象の歩行者は、自分自身、カメラの視野外に出そうか否かを確認することが可能になり、顔認証が開始していないにも関わらず、カメラの視野外に出そうになったときに歩行の方向を変えたり、歩行の速度を遅くしたりして、カメラの視野から外れないように対処することにより、顔認証に必要な枚数の顔画像が得られるようになる。これにより、顔認証性能が向上する。
【０１０２】
また、あらかじめ正面向きの顔画像から作成した顔検出辞書パターンを用いて顔初期検出を行ない、オプティカルフローにより顔追跡を行ない、顔候補領域の外接矩形の高さと幅で、短い方の長さを長い方の長さで割った値が閾値以上のとき、あるいは、上記値が閾値以下で、かつ、顔検出辞書パターンとの類似度が閾値以下のとき、顔が正面向きではないと判定することにより、顔向き判定の精度が向上する。具体的には、たとえば、照明光が暗く、顔の部品を検出してから顔向きを判定する方法で、顔向きの判定ができない場合でも、本発明は、顔の部品検出を行なわないため、顔向きの判定ができる。これにより、顔向き誘導機能処理が機能し、歩行者の正面顔が得やすくなる。その結果、顔認証性能が向上する。
【０１０３】
さらに、入力画像系列に対してフレーム間差分を計算して変化領域を検出し、得られた変化領域についてオプティカルフロー抽出を行ない、得られたオプティカルフローを位置が近く、フローの向きと大きさが近いオプティカルフローが同じグループになるようにグルーピングし、得られたグループを構成するオプティカルフローの個数が閾値よりも大きなグループについて、ペリフェラル特徴を抽出し、得られたペリフェラル特徴量の１次微分が正と負の値を持つ位置に挟まれた１次微分の値が「０」に近い範囲を頭頂候補として抽出することにより、顔領域の検出遅れがなくなり、その結果、顔認証に必要な顔画像の枚数が得られない可能性が減少し、顔認証性能が向上する。
【０１０４】
本発明では、カメラに対して近付く歩行者が検出対象であるため、変化がある領域に絞って顔パターン検出を行なえばよい。そこで、本発明では、入力画像から変化領域を検出し、検出した変化領域から更に頭部候補を検出し、得られた頭部候補領域についてのみ、顔パターン検出を毎フレーム行なうことで、処理速度が遅くなることなく、毎フレーム顔パターン検出が行なえる。これにより、顔の検出遅れがなくなる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。
【図２】入退場管理装置の設置例を説明する模式図。
【図３】表示部における表示画面例を示す模式図。
【図４】カメラから入力される入力画像系列の例を示す模式図。
【図５】顔検出追跡部の処理の流れを説明するフローチャート。
【図６】顔初期検出処理の流れを説明するフローチャート。
【図７】顔初期検出処理におけるフレーム間差分を説明するための図。
【図８】顔初期検出処理におけるオプティカルフローの計算を説明するための図。
【図９】顔初期検出処理におけるオプティカルフローの計算を説明するための図。
【図１０】顔初期検出処理におけるオプティカルフローの例を示す図。
【図１１】顔初期検出処理におけるオプティカルフローのグループ化を説明するための図。
【図１２】顔初期検出処理におけるペリフェラル特徴の例を示す図。
【図１３】顔初期検出処理においてペリフェラル特徴から頭頂候補を抽出する処理を説明するための図。
【図１４】顔初期検出処理における頭部候補の例を示す図。
【図１５】顔初期検出処理における顔候補の例を示す図。
【図１６】顔追跡処理の流れを説明するフローチャート。
【図１７】顔候補領域についてのオプティカルフローを説明するための図。
【図１８】顔向き判定部の処理の流れを説明するフローチャート。
【図１９】顔向きと顔候補領域の外接矩形の例を示す図。
【図２０】ゲート制御部の処理の流れを説明するフローチャート。
【図２１】表示認証制御部の処理の流れを説明するフローチャート。
【図２２】顔向き誘導処理の流れを説明するフローチャート。
【図２３】ズーム表示処理の流れを説明するフローチャート。
【図２４】顔がカメラの視野外になりそうなときのズーム表示画像の第１の例を示す模式図。
【図２５】顔がカメラの視野外になりそうなときのズーム表示画像の第２の例を示す模式図。
【符号の説明】
【０１０６】
Ｍ…歩行者、１…通行帯、２…入退場対象エリア（部屋や施設等）、３…入口、４…ドア（入退場用ゲート）、１１…ビデオカメラ（撮像手段）、１２…顔検出追跡部（顔検出手段）、１３…顔検出辞書パターン格納部、１４…顔向き判定部（顔向き判定手段）、１５…顔認証辞書（辞書記憶手段）、１６…顔認証部（認証手段）、１７…ゲート制御部（ゲート制御手段）、１８…表示部（表示手段）、１９…スピーカ（案内手段）、２０…表示認証制御部（制御手段）、４１ａ，４１ｂ…強調表示部。
【図１】
2008071172.tif 000022
【図２】
2008071172.tif 000023
【図３】
2008071172.tif 000024
【図４】
2008071172.tif 000025
【図５】
2008071172.tif 000026
【図６】
2008071172.tif 000027
【図７】
2008071172.tif 000028
【図８】
2008071172.tif 000029
【図９】
2008071172.tif 000030
【図１０】
2008071172.tif 000031
【図１１】
2008071172.tif 000032
【図１２】
2008071172.tif 000033
【図１３】
2008071172.tif 000034
【図１４】
2008071172.tif 000035
【図１５】
2008071172.tif 000036
【図１６】
2008071172.tif 000037
【図１７】
2008071172.tif 000038
【図１８】
2008071172.tif 000039
【図１９】
2008071172.tif 000040
【図２０】
2008071172.tif 000041
【図２１】
2008071172.tif 000042
【図２２】
2008071172.tif 000043
【図２３】
2008071172.tif 000044
【図２４】
2008071172.tif 000045
【図２５】
2008071172.tif 000046