(57)【特許請求の範囲】
【請求項１】
移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証装置において、
前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、
前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、
前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、
この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記特定位置に最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別手段と、
この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
を具備したことを特徴とする顔認証装置。
【請求項２】
前記登録対象選別手段は、前記確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値未満である場合、係員に対し前記第２の撮像手段により撮像された画像を表示手段に表示するとともに、当該表示画像を目視確認することにより登録対象を選別するように案内し、この案内に基づき前記係員が入力する登録対象選別情報に基づき当該登録対象に対応する顔領域情報を出力することを特徴とする請求項１記載の顔認証装置。
【請求項３】
前記登録対象選別手段は、係員に対し前記第２の撮像手段により撮像された画像を表示手段に表示する際、前記第１の撮像手段により撮像された画像を同期させかつ並べて表示することを特徴とする請求項２記載の顔認証装置。
【請求項４】
移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証装置において、
前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、
前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、
前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、
この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像手段により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別手段と、
この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
を具備したことを特徴とする顔認証装置。
【請求項５】
移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証方法において、
前記移動する人物の少なくとも顔を含む画像を第１の撮像手段により撮像する第１の撮像工程と、
前記移動する人物を含む広い視野の画像を第２の撮像手段により撮像する第２の撮像工程と、
前記第１の撮像工程により撮像された画像から顔検出手段により前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域が単数であるかを確認手段により確認する確認工程と、
この確認工程による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像工程により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記特定位置に最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別工程と、
この登録対象選別工程から出力される顔領域情報に基づき顔特徴抽出手段により顔特徴情報を抽出する顔特徴抽出工程と、
この顔特徴抽出工程により抽出された顔特徴情報に基づき辞書登録手段により前記辞書情報の登録あるいは更新を行なう辞書登録工程と、
を具備したことを特徴とする顔認証方法。
【請求項６】
移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証方法において、
前記移動する人物の少なくとも顔を含む画像を第１の撮像手段により撮像する第１の撮像工程と、
前記移動する人物を含む広い視野の画像を第２の撮像手段により撮像する第２の撮像工程と、
前記第１の撮像工程により撮像された画像から顔検出手段により前記人物の顔領域を検出する顔検出工程と、
この顔検出工程により検出された顔領域が単数であるかを確認手段により確認する確認工程と、
この確認工程による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像工程により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別工程と、
この登録対象選別工程から出力される顔領域情報に基づき顔特徴抽出手段により顔特徴情報を抽出する顔特徴抽出工程と、
この顔特徴抽出工程により抽出された顔特徴情報に基づき辞書登録手段により前記辞書情報の登録あるいは更新を行なう辞書登録工程と、
を具備したことを特徴とする顔認証方法。
【請求項７】
移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し、その判定結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、
前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、
前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、
この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記入退場用ゲートに最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別手段と、
この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
を具備したことを特徴とする入退場管理装置。
【請求項８】
前記登録対象選別手段は、前記確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値未満である場合、係員に対し前記第２の撮像手段により撮像された画像を表示手段に表示するとともに、当該表示画像を目視確認することにより登録対象を選別するように案内し、この案内に基づき前記係員が入力する登録対象選別情報に基づき当該登録対象に対応する顔領域情報を出力することを特徴とする請求項７記載の入退場管理装置。
【請求項９】
移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し、その判定結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、
前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、
前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、
前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、
この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、
この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像手段により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別手段と、
この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、
この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段と、
を具備したことを特徴とする入退場管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、歩行者を認証対象とし、当該歩行者が特定の位置に到達するまでに当該歩行者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該歩行者はあらかじめ登録された人物であるかを判定する顔認証装置および顔認証方法に関する。
【０００２】
また、本発明は、上記顔認証装置あるいは顔認証方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する入退場管理装置に関する。
【背景技術】
【０００３】
一般に、顔認証装置を用いた入退場管理装置は、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定し、あらかじめ登録された人物である場合、入退場対象エリア（部屋や施設等）のドアを開放する（たとえば、特許文献１参照）。
【０００４】
この種の入退場管理装置（顔認証装置）にあっては、上記したように、認証する人物がカメラの前に立ち止まることで、当該人物の顔を撮像するようになっているため、認証対象が歩行者（移動する人物）であって、当該歩行者がドアに接近するまでに顔認証を行なう目的に使用する場合、このような歩行する人物の顔を撮像することはできないという問題がある。
【０００５】
これらの目的で用いる場合、歩行者が誰であるかの特徴がよくわかるように、顔の正面をとらえるようにすることが望ましい。歩行者の顔画像を撮像する方法の公知例としては、たとえば、特許文献２および特許文献３に開示された技術がある。
【０００６】
特許文献２の技術は、人物が歩行するときは、やや下を向く傾向があるため、顔を下から撮像した方が、正面の顔をとらえた画像を取得しやすいことに着目している。具体的には、歩行者の顔をとらえるように、通路の左右の顔よりも低い位置から、やや上向きにカメラを配置している。
【０００７】
特許文献３の技術は、ドアが開いたときに歩行者の顔をとらえるようにカメラを配置し、ドアが開いた瞬間の画像を取得するというものである。人物がドアを通過する際に正面を向くという傾向があることに着目した技術である。
【特許文献１】特開２００１−２６６１５２号公報
【特許文献２】特開２０００−３３１２０７号公報
【特許文献３】特開２００２−１４０６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、従来の入退場管理装置（顔認証装置）にあっては、カメラのレンズの前に一旦立ち止まってから認証しなければならず、利用者にとって使いにくいという問題がある。  
また、それを解決するために認証対象を歩行者へ拡張する場合、上記した２つの公知例（特許文献２および特許文献３）が存在する。しかし、これらの公知技術では、歩行者の顔（辞書情報）を登録する場合には単数の人物を前提としているが、複数の人物（歩行者）が同時に撮像されてしまう場合が存在する。その際、適切な登録対象を選別しないと誤った人物を登録してしまい、認証精度に悪影響を与えてしまうといった問題が存在する。
【０００９】
そこで、本発明は、辞書情報の登録時に複数の人物が存在する場合でも適切な人物のみを登録することができる顔認証装置、顔認証方法および入退場管理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証装置において、前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記特定位置に最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別手段と、この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段とを具備している。
【００１２】
また、本発明の顔認証装置は、移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証装置において、前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像手段により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別手段と、この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段とを具備している。
【００１４】
また、本発明の顔認証方法は、移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証方法において、前記移動する人物の少なくとも顔を含む画像を第１の撮像手段により撮像する第１の撮像工程と、前記移動する人物を含む広い視野の画像を第２の撮像手段により撮像する第２の撮像工程と、前記第１の撮像工程により撮像された画像から顔検出手段により前記人物の顔領域を検出する顔検出工程と、この顔検出工程により検出された顔領域が単数であるかを確認手段により確認する確認工程と、この確認工程による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像工程により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記特定位置に最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別工程と、この登録対象選別工程から出力される顔領域情報に基づき顔特徴抽出手段により顔特徴情報を抽出する顔特徴抽出工程と、この顔特徴抽出工程により抽出された顔特徴情報に基づき辞書登録手段により前記辞書情報の登録あるいは更新を行なう辞書登録工程とを具備している。
【００１５】
また、本発明の顔認証方法は、移動する人物が特定の位置に到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定する顔認証方法において、前記移動する人物の少なくとも顔を含む画像を第１の撮像手段により撮像する第１の撮像工程と、前記移動する人物を含む広い視野の画像を第２の撮像手段により撮像する第２の撮像工程と、前記第１の撮像工程により撮像された画像から顔検出手段により前記人物の顔領域を検出する顔検出工程と、この顔検出工程により検出された顔領域が単数であるかを確認手段により確認する確認工程と、この確認工程による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像工程により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別工程と、この登録対象選別工程から出力される顔領域情報に基づき顔特徴抽出手段により顔特徴情報を抽出する顔特徴抽出工程と、この顔特徴抽出工程により抽出された顔特徴情報に基づき辞書登録手段により前記辞書情報の登録あるいは更新を行なう辞書登録工程とを具備している。
【００１７】
また、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し、その判定結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第２の撮像手段により撮像された画像上での人物領域間の距離が一定値未満であるかを確認し、一定値以上である場合は前記入退場用ゲートに最も近い人物を登録対象として当該登録対象に対応する顔領域情報を出力する登録対象選別手段と、この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段とを具備している。
【００１８】
さらに、本発明の入退場管理装置は、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるか否かを判定し、その判定結果に基づき前記入退場用ゲートを開閉制御する入退場管理装置において、前記移動する人物の少なくとも顔を含む画像を撮像する第１の撮像手段と、前記移動する人物を含む広い視野の画像を撮像する第２の撮像手段と、前記第１の撮像手段により撮像された画像から前記人物の顔領域を検出する顔検出手段と、この顔検出手段により検出された顔領域が単数であるかを確認する確認手段と、この確認手段による確認の結果、検出された顔領域が単数である場合、当該顔領域情報をそのまま出力し、検出された顔領域が複数である場合、前記第１の撮像手段により撮像された画像上での顔領域間の距離が一定値未満になるまで顔領域情報を過去に向かって追跡し、この追跡した顔領域情報を出力する登録対象選別手段と、この登録対象選別手段から出力される顔領域情報に基づき顔特徴情報を抽出する顔特徴抽出手段と、この顔特徴抽出手段により抽出された顔特徴情報に基づき前記辞書情報の登録あるいは更新を行なう辞書登録手段とを具備している。
【発明の効果】
【００１９】
本発明によれば、辞書情報の登録時に複数の人物が存在する場合は、係員に目視により登録対象を選別させることにより、適切な人物のみを登録することができる顔認証装置、顔認証方法および入退場管理装置を提供できる。
【００２０】
また、本発明によれば、辞書情報の登録時に複数の人物が存在する場合は、通行路奥行方向の距離差に応じて処理を切換えることにより、適切な人物のみを登録できるだけでなく、登録する際の手間も軽減できる顔認証装置、顔認証方法および入退場管理装置を提供できる。
【００２１】
また、本発明によれば、辞書情報の登録時に複数の人物が存在する場合は、それぞれの顔領域間距離に応じて登録に用いる画像を選別することにより、確実に本人と判定できる画像のみを用いて登録することができるので、適切な人物のみを登録することができる顔認証装置、顔認証方法および入退場管理装置を提供できる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。  
本発明の概要について簡単に説明する。本発明では、たとえば、図２に示すように、通行路１を図示矢印ａ方向に移動して入退場対象エリア（部屋や施設等）２に設けられたドアやゲートなどのゲート装置（入退場用ゲート）３に向う歩行者（以降、人物とも称す）Ｍの顔をカメラで撮像する。具体的には、通行路１におけるＣ地点からＡ地点の間に歩行者Ｍが存在する間に、歩行者Ｍの少なくとも顏を含む画像をカメラで撮像し、Ａ地点からゲート装置３まで歩行者Ｍが到達する間に、取得した画像によって顔認証を行ない、当該歩行者Ｍがあらかじめ登録された人物であるか否かを判定する。判定の結果、あらかじめ登録された人物と判定された場合にはゲート装置３を通行許可とし、登録された人物でないと判定された場合にゲート装置３を通行不可とする。ここに、図２に示すように、通行路１におけるＣ地点からＡ地点で囲まれた範囲を歩行者Ｍの顔を撮像する撮像対象領域と呼ぶことにする。
【００２３】
まず、本発明の第１の実施の形態について説明する。  
図１は、第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すものである。この入退場管理装置は、歩行者Ｍの少なくとも顔を含む画像を撮像する第１の撮像手段としての第１のビデオカメラ（以降、単にカメラと略称する）１０１、歩行者Ｍを含む広い視野の画像を撮像する第２の撮像手段としての第２のビデオカメラ（以降、単にカメラと略称する）１０２、顔検出手段としての顔領域検出部１０３、人物領域検出手段としての人物領域検出部１０４、顔特徴抽出手段としての顔特徴抽出部１０５、辞書記憶手段としての顔照合辞書部１０６、顔照合手段としての顔照合部１０７、表示手段としての表示部１０８、操作手段としての操作部１０９、ゲート制御手段としてのゲート制御部１１０、登録対象選別手段としての登録対象選別部１１１、および、全体的な制御を司る制御手段としての認証制御部１１２を有して構成されている。
【００２４】
以下、各構成要素について詳細に説明する。  
第１のカメラ１０１は、歩行者認証用の画像として正面顔の収集を目的として、歩行者Ｍの少なくとも顔を含む画像を撮像するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。第１のカメラ１０１の設置位置は、たとえば、図２に示すように、通行路１の側部でＡ地点とゲート装置３との間に設置されている。なお、第１のカメラ１０１の設置高さは、たとえば、人物の平均的な身長程度の高さにほぼ水平に設置される。  
このように第１のカメラ１０１を設置することで、歩行者Ｍの正面の顔を含む画像を取得できる。取得した画像は、たとえば、横方向に５１２画素、縦方向に５１２画素のデジタル濃淡画像データとして顔領域検出部１０３に送られる。
【００２５】
第２のカメラ１０２は、第１のカメラ１０１よりも広い視野で人物を捉えることを目的として、歩行者Ｍを含む広い視野の画像を取得するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。第２のカメラ１０２の設置位置は、たとえば、図２に示すように、ほぼ通行路１のＡ地点からゲート装置３までの領域が画角に収まるように天井から下を見下ろす形で設置されている。取得した画像は、たとえば、横方向に６４０画素、縦方向に４８０画素のデジタル濃淡画像データとして人物領域検出部１０４に送られる。
【００２６】
顔領域検出部１０３は、第１のカメラ１０１で撮像された画像から歩行者Ｍの顔領域を検出する。これは、たとえば、文献（福井，山口．”形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論，（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−Ｈ，Ｎｏ．８，ｐｐ．２１７０−２１７７，１９９７）に記載されている方法などを用いることで、精度の高い顔領域の検出が実現可能である。検出された顔領域情報は、登録対象選別部１１１に送られる。
【００２７】
人物領域検出部１０４は、第２のカメラ１０２で撮像された画像から人物（歩行者Ｍ）の存在する候補領域を検出する。これは、たとえば、文献（中井．”事後確認を用いた移動物体検出手法”，情処研報，９４−ＣＶ９０．ｐｐ．１−８．１９９４）に記載されている手法のように、背景画像との差分から人物領域を検出する。検出された人物領域情報は登録対象選別部１１１に送られる。
【００２８】
顔特徴抽出部１０５は、登録や照合時に利用する特徴量を抽出するもので、たとえば、顔領域検出部１０３あるいは登録対象選別部１１１から得られる顔領域情報から、顔の特徴点を基準に一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。これらのデータから特徴ベクトルの相関行列を求め、周知のＫ−Ｌ展開による正規直交ベクトルを求めることにより、部分空間を計算する。部分空間の計算法は、特徴ベクトルの相関行列（または共分散行列）を求め、そのＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求めることにより、部分空間を計算する。部分空間は、固有値に対応する固有ベクトルを固有値の大きな順にｋ個選び、その固有ベクトル集合を用いて表現する。本実施の形態では、相関行列Ｃｄを特徴ベクトルから求め、相関行列
【００２９】
【数１】
0004836633.tif 000002
【００３０】
と対角化して、固有ベクトルの行列Φを求める。この部分空間は、人物の同定を行なうための顔特徴情報として利用する。この情報をあらかじめ登録しておいて、それを辞書情報として登録しておけばよい。また、後で述べるように、識別を行なうための顔特徴情報として部分空間自身を利用してもよい。算出された顔特徴情報は、登録時には顔照合辞書部１０６へ送られ、照合時には顔照合部１０７へ送られる。
【００３１】
顔照合辞書部１０６は、顔特徴抽出部１０３から得られた顔特徴情報を辞書情報として保持し、人物Ｍとの類似度を計算できるようにしている。保持された顔特徴情報は必要に応じて顔照合部１０７に出力される。
【００３２】
顔照合部１０７は、顔特徴抽出部１０５で抽出された歩行者Ｍの顔特徴情報と顔照合辞書部１０６に記憶されている顔特徴情報（辞書情報）との類似度を計算する。この顔照合処理には、たとえば、文献（山口．福井．前田，”動画像を用いた顔認識システム”，信学技報ＰＲＭＵ９７−５０，ｐｐ．１７−２３，１９９７−０６）に記載されている相互部分空間法を用いることで実現可能である。得られた顔照合結果（類似度）は認証制御部１１２に送られる。
【００３３】
表示部１０８は、たとえば、図２に示すように、ゲート装置３の近傍に設置されていて、認証制御部１１２から得られる表示制御情報に基づいて各種情報を表示するもので、たとえば、認証時に現在の顔認証の状況を表示したり、登録時に登録対象が複数存在する場合に目視確認を行なえる情報を表示したりする。表示部１０８の設置高さは、たとえば、人物の平均的な身長程度の高さとする。
【００３４】
表示部１０８の表示内容としては、たとえば、辞書情報の登録時で、複数の人物が存在する場合、図３に示すように、第２のカメラ１０２で撮像された画像１１、人物領域検出部１０４により検出された人物領域１２ａ，１２ｂ、検出された人物領域１２ａ，１２ｂに付与された識別情報（ＩＤ）１３、登録対象の選別を案内する案内文と選別用のタッチボタン部１４などを表示する。
【００３５】
操作部１０９は、登録時に表示部１０８に表示された内容を目視確認することで得られる登録対象選別情報や、登録指示情報などを入力するもので、表示部１０８と一体化されたタッチパネルなどで構成される。
【００３６】
ゲート制御部１１０は、認証制御部１１２からの通行制御情報に基づき図２のゲート装置３に対し開閉を指示する制御信号を送るとともに、歩行者Ｍの通行を検知する検知器を備えていて、歩行者Ｍが通行すると通行検知情報を認証制御部１１２へ送る。
【００３７】
登録対象選別部１１１は、辞書情報の登録処理を行なう際に登録対象となる人物を選別する処理を行なうもので、具体的な処理の流れを図４に示す。以下、図４のフローチャートに基づき具体的な処理の流れを説明する。
【００３８】
認証制御部１１２から登録指示情報を取得している場合に登録対象選別処理を開始する（ステップＳ１）。まず、顔領域検出部１０３から得られる顔領域情報が単数であるかを確認し（ステップＳ２）、単数であれば検出した顔領域情報（人物）を登録対象として、当該登録対象の顔領域情報を顔特徴抽出部１０５へ出力する（ステップＳ３）。
【００３９】
顔領域情報が複数であれば、目視確認のために認証制御部１１２に対し表示情報を出力する（ステップＳ４）。この表示情報には、人物領域検出部１０４により取得した人物領域情報を用いる。認証制御部１１２は、登録対象選別部１１１から表示情報を受取ると、当該表示情報に基づき表示制御情報を表示部１０８に送ることで、図３に示すような画面を表示し、登録対象選別情報を取得する（ステップＳ５）。
【００４０】
すなわち、図３に示すように、表示部１０８に第２のカメラ１０２で撮像された画像１１、人物領域検出部１０４により検出された人物領域１２ａ，１２ｂ、検出された人物領域１２ａ，１２ｂに付与された識別情報１３、登録対象の選別を案内する案内文と選別用のタッチボタン部１４を表示する。
【００４１】
係員（管理者）は、表示部１０８に表示された内容を目視確認することにより、複数存在する人物の中から目的とする登録対象を選別し、タッチボタン部１４（タッチボタン部１４）を用いて登録対象選別情報を入力する。入力された登録対象選別情報は、認証制御部１１２を介して登録対象選別部１１１に送られる。登録対象選別部１１１は、入力された登録対象識別情報に基づき、顔領域検出部１０３から得られる複数の顔領域情報の中から当該登録対象に対応する顔領域情報を選択して顔特徴抽出部１０５へ出力する（ステップＳ６）。  
顔特徴抽出部１０５は、登録対象選別部１１１からの顔領域情報から、顔の特徴情報を抽出し、辞書情報として顔照合辞書部１０６に記憶する。
【００４２】
認証制御部１１２は、本装置全体の制御を行なうもので、その主な制御内容として辞書情報の登録処理および認証処理（照合処理）がある。まず、辞書情報の登録処理ついて説明する。登録処理は、たとえば、操作部１０９から登録指示情報を取得することにより開始するものとする。操作部１０９から登録指示情報を、ゲート制御部１１０（ゲート装置３）から通行検知情報を取得した場合は、登録対象選別部１１１に対し登録指示情報を出力する。  
なお、登録処理は、操作部１０９から登録指示情報を取得することにより開始するのではなく、ゲート制御部１１０（ゲート装置３）から通行検知情報を取得することにより開始してもよい。これは、不正通行者の登録を行なう場合に利用可能な例である。
【００４３】
次に、認証処理（照合処理）について説明する。認証処理は、たとえば、登録指示情報を取得していない状況で、第１のカメラ１０１からの入力画像により人物の顔領域を検出した場合に開始するものとする。顔領域検出部１０３において入力画像から人物の顔領域を検出した場合は、顔照合部１０７から当該人物の類似度を取得する。取得した類似度とあらかじめ設定された判定用閾値とを比較し、判定用閾値以上である場合、当該人物はあらかじめ登録された人物であると判定し、類似度が判定用閾値未満である場合、当該人物はあらかじめ登録された人物でないと判定し、その判定結果を表示部１０８に表示するとともに、当該判定結果に基づく通行制御情報をゲート制御部１１０に出力する。
【００４４】
以上説明したように、第１の実施の形態によれば、辞書情報の登録時に複数の人物が存在する場合は、係員に目視により登録対象を選別させることにより、適切な人物のみを登録することができる。
【００４５】
次に、本発明の第２の実施の形態について説明する。  
なお、第２の実施の形態に係る顔認証装置が適用される入退場管理装置の構成は、基本的には前述した第１の実施の形態（図１）と同一構成であるため図示は省略し、機能が若干異なる登録対象選別部１１１とそれに関連する部分についてだけ説明する。
【００４６】
登録対象選別部１１１は、辞書情報の登録処理を行なう際に登録対象となる人物を選別する処理を行なうもので、具体的な処理の流れを図５に示す。以下、図５のフローチャートに基づき具体的な処理の流れを説明する。
【００４７】
認証制御部１１２から登録指示情報を取得している場合に登録対象選別処理を開始する（ステップＳ１１）。まず、顔領域検出部１０３から得られる顔領域情報が単数であるかを確認し（ステップＳ１２）、単数であれば検出した顔領域情報（人物）を登録対象として、当該登録対象の顔領域情報を顔特徴抽出部１０５へ出力する（ステップＳ１３）。
【００４８】
顔領域情報が複数であれば、人物領域検出部１０４から取得した人物領域情報を用いて人物領域間における通行路１の奥行方向の距離（Ｄｄ）を算出し、算出した距離（Ｄｄ）があらかじめ定められた一定値（Ｔｈ１）未満であるかを確認する（ステップＳ１４）。ここで用いた人物領域間における通行路奥行方向の距離（Ｄｄ）の定義を図６に示し、その算出式を下記数２に示す。
【００４９】
【数２】
0004836633.tif 000003
【００５０】
ステップＳ１４での確認の結果、人物領域間における通行路奥行方向の距離（Ｄｄ）が一定値（Ｔｈ１）未満である場合は、前述した第１の実施の形態と同様な登録処理を行なう。  
すなわち、目視確認のために認証制御部１１２に対し表示情報を出力する（ステップＳ１５）。認証制御部１１２は、登録対象選別部１１１から表示情報を受取ると、当該表示情報に基づき表示制御情報を表示部１０８に送ることで、図３に示すような画面を表示し、登録対象選別情報を取得する（ステップＳ１６）。
【００５１】
次に、取得した登録対象識別情報に基づき、顔領域検出部１０３から得られる複数の顔領域情報の中から当該登録対象に対応する顔領域情報を選択して顔特徴抽出部１０５へ出力する（ステップＳ１７）。
【００５２】
ステップＳ１４での確認の結果、人物領域間における通行路奥行方向の距離（Ｄｄ）が一定値（Ｔｈ１）以上である場合は、通行路奥行方向の距離（Ｄｄ）が最小の人物（すなわち、ゲート装置３に最も近い人物）を登録対象として選別し（ステップＳ１８）、当該登録対象に対応する顔領域情報を、顔領域検出部１０３から得られる複数の顔領域情報の中から選択して顔特徴抽出部１０５へ出力する（ステップＳ１９）。
【００５３】
以上説明したように、第２の実施の形態によれば、辞書情報の登録時に複数の人物が存在する場合は、通行路奥行方向の距離差に応じて処理を切換えることにより、適切な人物のみを登録できるだけでなく、登録する際の手間も軽減できる。
【００５４】
次に、本発明の第３の実施の形態について説明する。  
なお、第３の実施の形態に係る顔認証装置が適用される入退場管理装置の構成は、基本的には前述した第１の実施の形態（図１）と同一構成であるため図示は省略し、機能が若干異なる登録対象選別部１１１とそれに関連する部分についてだけ説明する。
【００５５】
登録対象選別部１１１は、辞書情報の登録処理を行なう際に登録対象となる人物を選別する処理を行なうもので、具体的な処理の流れを図７に示す。以下、図７のフローチャートに基づき具体的な処理の流れを説明する。
【００５６】
認証制御部１１２から登録指示情報を取得している場合に登録対象選別処理を開始する（ステップＳ２１）。まず、顔領域検出部１０３から得られる顔領域情報が単数であるかを確認し（ステップＳ２２）、単数であれば検出した顔領域情報（人物）を登録対象として、当該登録対象の顔領域情報を顔特徴抽出部１０５へ出力する（ステップＳ２３）。
【００５７】
顔領域情報が複数であれば、前述した第１の実施の形態もしくは第２の実施の形態における登録対象の選別方法を用いることで登録対象を選別する（ステップＳ２４）。  
次に、選別した登録対象において、顔領域情報を過去に向かって追跡し、顔領域間の距離（Ｄｍ）があらかじめ定められた一定値（Ｔｈ２）未満になるまで顔領域情報を過去に向かって追跡することを繰り返す（ステップＳ２５，Ｓ２６）。ここで用いた顔領域間の距離（Ｄｍ）の定義を図８に示し、その算出式を下記数３に示す。なお、顔領域間の距離（Ｄｍ）は、検出した顔領域の重心位置間の距離を表している。また、図８において、符号１５ａ，１５ｂは顔領域検出部１０３により検出された顔領域を示している。
【００５８】
【数３】
0004836633.tif 000004
【００５９】
そして、顔領域間の距離（Ｄｍ）が一定値（Ｔｈ２）未満となった時点で追跡を終了し、終了した時点でこれまで追跡した顔領域情報を顔特徴抽出部３０５に出力する（ステップＳ２７）。
【００６０】
以上説明したように、第３の実施の形態によれば、辞書情報の登録時に複数の人物が存在する場合は、それぞれの顔領域間距離に応じて登録に用いる画像を選別することにより、確実に本人と判定できる画像のみを用いて登録することができるので、適切な人物のみを登録することができる。
【００６１】
次に、本発明の第４の実施の形態について説明する。  
なお、第４の実施の形態に係る顔認証装置が適用される入退場管理装置の構成は、基本的には前述した第１の実施の形態（図１）と同一構成であるため図示は省略し、機能が若干異なる表示部１０８とそれに関連する部分についてだけ説明する。
【００６２】
表示部１０８は、前述したように認証制御部１１２から得られる表示制御情報に基づいて各種情報を表示するもので、登録対象が複数存在する場合、係員に対し目視確認を行なえる情報を表示する。具体的には、たとえば、図９に示すように、図３と同様に第２のカメラ１０２で撮像された画像１１、人物領域検出部１０４により検出された人物領域１２ａ，１２ｂ、検出された人物領域１２ａ，１２ｂに付与された識別情報１３、登録対象の選別を案内する案内文と選別用のタッチボタン部１４を表示するとともに、当該画像と同期させかつ並べて第１のカメラ１０１で撮像された画像１５をも同時に表示させ、かつ、表示の開始時刻をゲート制御部１１０（ゲート装置３）から通行検知情報を取得した時点に合わせたものである。なお、図９において、符号１７ａ，１７ｂは顔領域検出部１０３により検出された顔領域を示している。
【００６３】
以上説明したように、第４の実施の形態によれば、登録時の顔検出画像とより広い視野で捉えた画像とを同期させかつ並べて表示することにより、目視確認を容易に行なうことができる。
【００６４】
なお、前記実施の形態では、新たな辞書情報（顔特徴情報）を顔照合辞書部に登録する場合について説明したが、顔照合辞書部に既に登録されている辞書情報を新たな辞書情報に更新する場合も同様に実施可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施の形態に係る顔認証装置が適用される入退場管理装置の構成を概略的に示すブロック図。
【図２】顔認証装置の設置例を説明する模式図で、（ａ）図は平面図、（ｂ）図は側面図である。
【図３】第１の実施の形態に係る表示部の表示画面例を示す図。
【図４】第１の実施の形態に係る登録対象選別部の処理の流れを説明するフローチャート。
【図５】本発明の第２の実施の形態に係る登録対象選別部の処理の流れを説明するフローチャート。
【図６】第２の実施の形態に係る人物領域間における通行路奥行方向距離の定義を説明する図。
【図７】本発明の第３の実施の形態に係る登録対象選別部の処理の流れを説明するフローチャート。
【図８】第３の実施の形態に係る顔領域間距離の定義を説明する図。
【図９】本発明の第４の実施の形態に係る表示部の表示画面例を示す図。
【符号の説明】
【００６６】
Ｍ…歩行者（移動する人物）、１…通行路、２…入退場対象エリア（部屋や施設等）、３…ゲート装置（入退場用ゲート）、１０１…第１のカメラ（第１の撮像手段）、１０２…第２のカメラ（第２の撮像手段）、１０３…顔領域検出部（顔検出手段）、１０４…人物領域検出部（人物領域検出手段）、１０５…顔特徴抽出部（顔特徴抽出手段）、１０６…顔照合辞書部（辞書記憶手段）、１０７…顔照合部（顔照合手段）、１０８…表示部（表示手段）、１０９…操作部（操作手段）、１１０…ゲート制御部（ゲート制御手段）、１１１…登録対象選別部（登録対象選別手段）。
【図１】
0004836633.tif 000005
【図２】
0004836633.tif 000006
【図３】
0004836633.tif 000007
【図４】
0004836633.tif 000008
【図５】
0004836633.tif 000009
【図６】
0004836633.tif 000010
【図７】
0004836633.tif 000011
【図８】
0004836633.tif 000012
【図９】
0004836633.tif 000013