(57)【要約】【課題】他人なりすまし等の不正を抑止しながら辞書情報の登録を行なえ、管理者が必ずしも立ち会う必要がなく、利便性が著しく向上する辞書情報登録装置、辞書情報登録方法、顔認証装置および入退場管理システムを提供する。【解決手段】人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録装置において、顔認証時（顔照合時）と同様な動作の登録アクションを行なったときの取得画像か、顔認証時（顔照合時）の入力画像そのものを用いて辞書情報の登録を行なう。【選択図】      図２
2010009389.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録装置であって、
前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、
前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、
前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、
この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、
この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、
この照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、
この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、
この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段と、
を具備したことを特徴とする辞書情報登録装置。
【請求項２】
前記第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できない場合、あるいは、前記確認手段による確認の結果、前記管理者から登録許可が得られない場合、前記管理者に対し前記第２の画像取得手段により取得された画像を表示手段により表示し、この表示された画像を確認した上で前記管理者が入力する当該人物を特定可能な識別情報を取得する第２の識別情報取得手段と、
この第２の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第２の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第２の登録手段と、
前記第２の識別情報取得手段により当該人物を特定可能な識別情報を取得できない場合、前記第１の画像取得手段により取得された画像を保存あるいは削除する第１の処理手段と、
を具備したことを特徴とする請求項１記載の辞書情報登録装置。
【請求項３】
前記判定手段は、前記第１の画像取得手段により取得された画像から人物領域候補を検出し、この検出した人物領域候補が単一であり、かつ、当該検出した人物領域候補の移動軌跡が所望登録動作を示す範囲にあるとき、前記第１の画像取得手段により取得された画像は前記辞書情報の登録用情報として利用可能であると判定することを特徴とする請求項１記載の辞書情報登録装置。
【請求項４】
前記判定手段により前記第１の画像取得手段で取得された画像は前記辞書情報の登録用情報として利用不可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔領域候補を検出し、この検出した顔領域候補から特徴情報を抽出する第２の特徴抽出手段と、
この第２の特徴抽出手段により検出された顔領域候補が単一の場合、前記管理者に対し前記第２の画像取得手段により取得された画像を表示手段により表示し、この表示された画像を確認した上で前記管理者が入力する当該人物を特定可能な識別情報を取得する第３の識別情報取得手段と、
この第３の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、前記第２の特徴抽出手段により抽出された特徴情報をそれに前記第３の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第３の登録手段と、
前記第３の識別情報取得手段により当該人物を特定可能な識別情報を取得できない場合、前記第１の画像取得手段により取得された画像を保存あるいは削除する第２の処理手段と、
を具備したことを特徴とする請求項１記載の辞書情報登録装置。
【請求項５】
前記第２の特徴抽出手段により検出された顔領域候補が複数の場合、当該複数の顔領域候補の特徴情報と前記辞書記憶手段に登録された辞書情報との類似度をそれぞれ算出し、この算出した各類似度に応じて当該各顔領域候補を表示手段により前記管理者に対し表示し、この表示された画像を確認した上で前記管理者が１つの顔領域候補を選択して入力する当該顔領域候補に対する当該人物を特定可能な識別情報を取得する第４の識別情報取得手段と、
この第４の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、前記第２の特徴抽出手段により抽出された前記管理者により選択された顔領域候補に対応する特徴情報をそれに前記第４の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第４の登録手段と、
前記第４の識別情報取得手段により当該人物を特定可能な識別情報を取得できない場合、前記第１の画像取得手段により取得された画像を保存あるいは削除する第３の処理手段と、
を具備したことを特徴とする請求項４記載の辞書情報登録装置。
【請求項６】
人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録方法であって、
前記人物の少なくとも顔を含む画像をカメラ等により取得する第１の画像取得ステップと、
前記人物を含むその周囲全体の画像をカメラ等により取得する第２の画像取得ステップと、
前記第１の画像取得ステップにより取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定ステップと、
この判定ステップにより辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得ステップにより取得された画像から人物の顔の特徴情報を抽出する特徴抽出ステップと、
この特徴抽出ステップにより抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合ステップと、
この照合ステップにより当該人物は未登録者であると判定された場合、前記第２の画像取得ステップにより取得された画像から当該人物を特定可能な識別情報を取得する識別情報取得ステップと、
この識別情報取得ステップにより当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認ステップと、
この確認ステップによる確認の結果、前記管理者から登録許可が得られた場合、前記特徴抽出ステップにより抽出された特徴情報をそれに前記識別情報取得ステップにより取得された識別情報を付加して前記辞書記憶手段に登録する登録ステップと、
を具備したことを特徴とする辞書情報登録方法。
【請求項７】
人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録しておき、移動する人物が特定の位置に到達するまでに当該人物の顔画像から取得した固有の特徴情報を前記辞書記憶手段に登録された辞書情報と照合することにより当該人物は登録者であるか否かを判定する顔認証装置であって、
前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、
前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、
前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、
この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、
この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、
この照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、
この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、
この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段と、
を具備したことを特徴とする顔認証装置。
【請求項８】
人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録しておき、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔画像から取得した固有の特徴情報を前記辞書記憶手段に登録された辞書情報と照合することにより当該人物は登録者であるか否かを判定し、この判定結果に応じて前記入退場用ゲートを開閉制御する入退場管理システムであって、
前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、
前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、
前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、
この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、
この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、
この照合手段の判定結果に応じて前記入退場用ゲートを開閉制御するゲート制御手段と、
前記照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、
この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、
この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段と、
を具備したことを特徴とする入退場管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、歩行者を認証対象とし、当該歩行者が特定の位置に到達するまでに当該歩行者から取得した顔画像を用いて顔認証を行なう顔認証装置やこの顔認証装置を用いた入退場管理システムにおいて、人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録装置および辞書情報登録方法に関する。  
また、本発明は、上記辞書情報登録装置および辞書情報登録方法を用いた顔認証装置および入退場管理システムに関する。
【背景技術】
【０００２】
一般に、顔認証装置およびこれを用いた入退場管理システムは、ビデオカメラなどのカメラを有していて、認証対象となる人物がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、人物の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを判定するようになっている（たとえば、特許文献１参照）。
【０００３】
従来、この種の顔認証装置（入退場管理システム）における利用者の登録動作は、所定の権限を与えられた管理者の立会いのもとで、登録対象者が当該装置のカメラの前に立ち止まることで、当該人物の顔画像を撮像し、撮像した顔画像から得られる当該人物固有の顔の特徴情報を辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に記憶することで行なわれるのが一般的である。
【０００４】
また、あらかじめ登録済みの本人の辞書情報と一致する入力画像は自動的に保存しておき、これを用いて辞書情報の登録更新を実施できるようにした技術が公知である（たとえば、特許文献２参照）。  
さらに、登録有効期間の設定と事前登録画像との比較を条件として、遠隔での顔画像の登録を可能とした技術が公知である（たとえば、特許文献３参照）。  
【特許文献１】特開２００１−２６６１５２号公報
【特許文献２】特開２０００−３３９４６６号公報
【特許文献３】特開２００６−１９０１３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
顔画像を用いて顔認証を行なう顔認証装置（入退場管理システム）にあっては、上記したように、管理者立会いのもとで登録対象者が装置の前に立ち止まって辞書情報の登録動作を行なうことが一般的であるが、その場合、登録に要する時間が少なくなく、登録対象者に負担がかかる場合がある。また、管理者は、一般に複数人の登録時間中、その近傍に立ち会う必要があるため、その負担は非常に大きいという問題がある。
【０００６】
ところで、特許文献２では、あらかじめ登録済みの本人の辞書情報と一致する入力画像は自動的に保存しておき、これを用いて辞書情報の登録更新を実施できるようにしているため、登録済みの辞書情報を更新しようとする場合の手間を省くことが可能と考えられるが、その場合、最も手間のかかる新規の登録操作を利便に行なおうとするものではない。
【０００７】
また、特許文献３では、登録有効期間の設定と事前登録画像との比較を条件として、遠隔での顔画像の登録を可能としているが、指定期間に登録対象者が利用拠点に存在することを仮定しているため、登録対象者を拘束するという問題がある。
【０００８】
そこで、本発明は、他人なりすまし等の不正を抑止しながら辞書情報の登録を行なえ、管理者が必ずしも立ち会う必要がなく、利便性が著しく向上する辞書情報登録装置、辞書情報登録方法、顔認証装置および入退場管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の辞書情報登録装置は、人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録装置であって、前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、この照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段とを具備している。
【００１０】
また、本発明の辞書情報登録方法は、人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録する辞書情報登録方法であって、前記人物の少なくとも顔を含む画像をカメラ等により取得する第１の画像取得ステップと、前記人物を含むその周囲全体の画像をカメラ等により取得する第２の画像取得ステップと、前記第１の画像取得ステップにより取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定ステップと、この判定ステップにより辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得ステップにより取得された画像から人物の顔の特徴情報を抽出する特徴抽出ステップと、この特徴抽出ステップにより抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合ステップと、この照合ステップにより当該人物は未登録者であると判定された場合、前記第２の画像取得ステップにより取得された画像から当該人物を特定可能な識別情報を取得する識別情報取得ステップと、この識別情報取得ステップにより当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認ステップと、この確認ステップによる確認の結果、前記管理者から登録許可が得られた場合、前記特徴抽出ステップにより抽出された特徴情報をそれに前記識別情報取得ステップにより取得された識別情報を付加して前記辞書記憶手段に登録する登録ステップとを具備している。
【００１１】
また、本発明の顔認証装置は、人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録しておき、移動する人物が特定の位置に到達するまでに当該人物の顔画像から取得した固有の特徴情報を前記辞書記憶手段に登録された辞書情報と照合することにより当該人物は登録者であるか否かを判定する顔認証装置であって、前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、この照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段とを具備している。
【００１２】
また、本発明の入退場管理システムは、人物の顔画像から取得した固有の特徴情報を人物の顔認証を行なうための辞書情報として当該人物を特定可能な識別情報と対応させて辞書記憶手段に登録しておき、移動する人物が入退場対象エリアに設けられた入退場用ゲートに到達するまでに当該人物の顔画像から取得した固有の特徴情報を前記辞書記憶手段に登録された辞書情報と照合することにより当該人物は登録者であるか否かを判定し、この判定結果に応じて前記入退場用ゲートを開閉制御する入退場管理システムであって、前記人物の少なくとも顔を含む画像を取得する第１の画像取得手段と、前記人物を含むその周囲全体の画像を取得する第２の画像取得手段と、前記第１の画像取得手段により取得された画像が前記辞書情報の登録用情報として利用可能か否かを判定する判定手段と、この判定手段により辞書情報の登録用情報として利用可能であると判定された場合、前記第１の画像取得手段により取得された画像から人物の顔の特徴情報を抽出する第１の特徴抽出手段と、この第１の特徴抽出手段により抽出された特徴情報と前記辞書記憶手段に登録された辞書情報とを照合することにより当該人物は未登録者であるか否かを判定する照合手段と、この照合手段の判定結果に応じて前記入退場用ゲートを開閉制御するゲート制御手段と、前記照合手段により当該人物は未登録者であると判定された場合、前記第２の画像取得手段により取得された画像から当該人物を特定可能な識別情報を取得する第１の識別情報取得手段と、この第１の識別情報取得手段により当該人物を特定可能な識別情報を取得できた場合、当該識別情報により辞書情報の登録を行なってよいか否かを管理者に対し確認する確認手段と、この確認手段による確認の結果、前記管理者から登録許可が得られた場合、前記第１の特徴抽出手段により抽出された特徴情報をそれに前記第１の識別情報取得手段により取得された識別情報を付加して前記辞書記憶手段に登録する第１の登録手段とを具備している。
【発明の効果】
【００１３】
本発明によれば、他人なりすまし等の不正を抑止しながら辞書情報の登録を行なえ、管理者が必ずしも立ち会う必要がなく、利便性が著しく向上する辞書情報登録装置、辞書情報登録方法、顔認証装置および入退場管理システムを提供できる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態について図面を参照して説明する。  
なお、以下の説明では、たとえば、複数の入退場利用拠点（建物の入口や受付等）があり、そこから少なくとも目視で入退場利用拠点を確認することは不可能な程度離れた部位に入退場管理拠点が存在する様式の建物に対して、ビデオカメラ（以後、単にカメラと略称する）を画像取得手段とする顔認証を用いた入退場管理システムに適用した場合について説明する。
【００１５】
図１は、本発明に係る辞書情報登録装置（辞書情報登録方法）および顔認証装置が適用される入退場管理システムの構成を模式的に示すものである。この入退場管理システムは、たとえば、複数の入退場利用拠点（建物の入口や受付等）１，…と、この入退場利用拠点１から少なくとも目視で当該入退場利用拠点１を確認することは不可能な程度離れた部位（監視室等）に存在する入退場管理拠点２を有するものとする。
【００１６】
入退場利用拠点１には、たとえば、部屋（入退場対象エリア）の出入口に設けられたドア（入退場用ゲート）３を有していて、このドア３から利用者（人物）４が入退場するようになっている。ドア３には、図示しない電気錠が設置されていて、この電気錠の制御によりドア３が開閉制御（施錠、開錠）される。
【００１７】
入退場利用拠点１には、認証・登録端末装置５が設置されている。認証・登録端末装置５は、利用者４に対する顔認証機能と顔登録機能を有する。顔認証機能は、登録済みの利用者４の顔を認証する機能であり、認証が得られればドア３を開錠し、ドア３を通じて利用者４の入退場を許可する。顔登録機能は、未登録の利用者４に対して、その登録用顔画像に基づく顔の特徴情報を辞書情報として登録を行なう機能であり、認証・登録端末装置５は後述する管理サーバ６と情報を交換しながら顔登録機能を実行するようになっている。
【００１８】
入退場管理拠点２には、登録情報の蓄積、管理などを行なうための管理サーバ（管理装置）６が設置されていて、この管理サーバ６は所定の権限を与えられた管理者７が操作可能となっている。管理サーバ６は、ネットワーク回線８を介して認証・登録端末装置５と通信可能に接続されている。
【００１９】
認証・登録端末装置５は、たとえば、図２に示すように、画像取得手段としてのカメラ１１、画像取得手段としての画像入力部１２、人物検知手段としての人物検知部１３、判定手段としての登録用情報判定部１４、特徴抽出手段としての特徴抽出部１５、辞書記憶手段としての辞書情報記憶部１６、照合手段としての照合部１７、登録手段としての登録部１８、および、ゲート制御手段としてのドア制御部１９を有して構成される。
【００２０】
カメラ１１は、ドア３に向かって歩いてくる利用者４を含むその周囲全体の画像（以降、これを利用者全景画像という）を撮像するもので、たとえば、利用者４の周囲を含めた全景が取得できるように画角を調整した高解像度カメラが用いられる。
【００２１】
画像入力部１２は、カメラ１１から得られる画像に対し所定の処理（増幅等）を施した後、デジタルデータに変換して取込む。その場合、画像入力部１２は、人物検知部１３が人物が接近したことを検知したのに応答してカメラ１１からの画像を取込む。
【００２２】
人物検知部１３は、利用者４がカメラ１１に接近したことを検知するもので、たとえば、赤外線等を利用した人感センサを用いてもよいし、カメラ１１により入力される利用者全景画像を解析して人物らしき領域を見つけたことを利用して検知してもよい。
【００２３】
登録用情報判定部１４は、画像入力部１２で取込まれた利用者全景画像が辞書情報の登録用情報として利用可能か否かを判定する。  
特徴抽出部１５は、登録用情報判定部１４により辞書情報の登録用情報として利用可能であると判定された場合、画像入力部１２で取込まれた利用者全景画像から人物の顔の固有の特徴情報を抽出する。
【００２４】
辞書情報記憶部１６は、利用者４の顔画像から取得した固有の特徴情報が顔認証を行なうための辞書情報として当該利用者４を特定可能なＩＤ情報（識別情報）と対応させて記憶（登録）されている。
【００２５】
照合部１７は、特徴抽出部１５により抽出された顔の特徴情報と辞書情報記憶部１６に登録された辞書情報とを照合することにより当該利用者４は未登録者であるか否かを判定する。
【００２６】
登録部１８は、管理者７から登録許可が得られた場合、特徴抽出部１５により抽出された特徴情報をそれに後述するように取得されたＩＤ情報を付加して辞書情報記憶部１６に登録する。  
ドア制御部１９は、照合部１７の判定結果に応じて前記ドア３を開閉制御する。
【００２７】
管理サーバ６は、たとえば、図２に示すように、識別情報取得手段としてのＩＤ検出部２０、識別情報記憶手段としてのＩＤ情報保存部２１、および、処理手段および制御手段としての管理部２２、表示手段としての表示装置２３、および、キーボードやマウスなどの入力デバイス２４などを有して構成される。
【００２８】
ＩＤ検出部２０は、カメラ１１により入力される利用者全景画像を解析して、利用者４を特定可能なＩＤ情報を取得する。ＩＤ情報保存部２１は、たとえば、複数の登録候補者のＩＤ情報と顔画像とが対応付けて格納されている。管理部２２は、全体的な制御を行なうとともに、登録情報の蓄積や管理などの処理を行なう。これらは、記憶装置、演算処理装置、および、通信装置などからなるコンピュータにより構成される。
【００２９】
次に、上記のような構成において、図３に示すフローチャートを参照しながら処理の流れについて説明する。
【００３０】
まず、たとえば、利用者４が建物内に入構しようとしてドア３に向かって歩いてきて、人物検知部１３がそれを検知すると（ステップＳ１）、カメラ１１は、ドア３に向かって歩いてくる利用者４を含むその周囲全体の画像（以降、これを利用者全景画像という）を撮像し、得られた利用者全景画像は画像入力部１２を介して内部に取込まれる（ステップＳ２）。  
この取込まれた利用者全景画像は、登録用情報判定部１４、特徴抽出部１５、ＩＤ検出部２０、管理サーバ２２にそれぞれ送られる。
【００３１】
次に、登録用情報判定部１４は、画像入力部１２で取込まれた利用者全景画像が辞書情報の登録用情報として利用可能か否かを判定し、その判定結果を特徴抽出部１５および管理サーバ２２にそれぞれ送る（ステップＳ３）。
【００３２】
ステップＳ３における判定の結果、登録用情報として利用可能な場合、特徴抽出部１５は、画像入力部１２で取込まれた利用者全景画像から人物の顔の固有の特徴情報を抽出し、その抽出した特徴情報を照合部１７および管理サーバ２２にそれぞれ送る（ステップＳ４）。
【００３３】
ここで、顔の特徴情報の抽出方法例について簡単に説明する。まず、画像入力部１２で入力された利用者全景画像から利用者４の顔候補領域を検出する。これは、たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。
【００３４】
次に、検出された顔候補領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。次に、検出された顔部品の位置を基に、顔候補領域を一定の大きさ、形状に切出し、その濃淡情報を特徴量（特徴情報）として用いる。
【００３５】
次に、照合部１７は、特徴抽出部１５により抽出された顔候補領域内の特徴情報と辞書情報記憶部１６にあらかじめ登録された辞書情報とを照合することにより当該利用者４は未登録者であるか否かを判定し、その判定結果をドア制御部１９および管理サーバ２２にそれぞれ送る（ステップＳ５）。
【００３６】
具体的には、たとえば、特開２００１−２６６１５２号公報に記載されているように、特徴抽出部１５により抽出された顔候補領域内の特徴情報と辞書情報記憶部１６にあらかじめ登録された辞書情報とを照合して両者の類似度を求め、求めた類似度があらかじめ設定された閾値以上である場合、当該利用者４はあらかじめ登録された人物（登録者）であると判定し、求めた類似度が閾値以上でない場合、当該利用者４はあらかじめ登録された人物でない（未登録者）と判定する。
【００３７】
なお、照合部１７での照合は、処理としては通常の本人照合と同一ではあるが、判定用の閾値を変更することで対応してもよい。  
一般に、顔認証装置では、登録者ではないと判定された人物の登録を自動的に行なうことを志向するが、完全自動ではなく、最後に管理者に対して登録可否の確認を実施するので、登録された人物かどうかの判定用の閾値は、通常本人照合の場合に比べてより厳しくし、登録者ではないという判定結果がでる確率がより大きくなるようにする。すなわち、通常の本人時の閾値をＴ０、既存かどうかの判別時の類似度閾値をＴ１とすると、類似度の定義として、他人の辞書情報に対する照合時には類似度は低く、本人の辞書情報との照合時には類似度は大きくなるようなものだとすると、
Ｔ１＞Ｔ０
として、本人辞書情報との照合においても他人であると判定されやすくした照合を実施する。
【００３８】
ステップＳ５における判定の結果、登録者であると判定された場合、管理サーバ２２は、たとえば、画像入力部１２で入力された利用者全景画像を圧縮して図示しないメモリに保存するか、あるいは削除し（ステップＳ６）、ドア制御部１９は、ドア３を開錠して当該利用者４の入場を許可する（ステップＳ７）。
【００３９】
ステップＳ５における判定の結果、未登録者であると判定された場合、ＩＤ検出部２０は、画像入力部１２で入力された利用者全景画像から当該利用者４を特定できるＩＤ情報を取得できるかどうかを判定し、その判定結果を管理サーバ２２に送る（ステップＳ８）。
【００４０】
ステップＳ８における判定の結果、利用者全景画像からＩＤ情報を取得できた場合、管理サーバ２２は、さらにそのＩＤ情報をもって辞書登録してよいかどうかを管理者７に再確認する（ステップＳ９）。
【００４１】
ステップＳ９における確認の結果、管理者７から登録許可が得られた場合、管理サーバ２２は、利用者全景画像から取得されたＩＤ情報、および、先に特徴抽出部１５により抽出された顔の特徴情報を登録部１８へ送るとともに、ドア制御部１９へドア開錠命令を送る。
【００４２】
登録部１８は、特徴抽出部１５により抽出された特徴情報をそれにＩＤ検出部２０により取得されたＩＤ情報を付加して辞書情報として辞書情報記憶部１６に登録（記憶）する（ステップＳ１０）。  
また、ドア制御部１９は、ドア開錠命令を受取ると、ドア３を開錠して当該利用者４の入場を許可する（ステップＳ７）。
【００４３】
ステップＳ８における判定の結果、利用者全景画像からＩＤ情報を取得できなかった場合、あるいは、ステップＳ９における確認の結果、管理者７から登録許可が得られなかった場合、管理サーバ２２は、管理者７による登録の可否確認を行なう（ステップＳ１１）。ここで、管理者７から登録許可が得られた場合、管理サーバ２２は、管理者７によって提示されたＩＤ情報を登録部１８へ送るとともに、ドア制御部１９へドア開錠命令を送る。
【００４４】
登録部１８は、特徴抽出部１５により抽出された特徴情報をそれに管理者７から取得したＩＤ情報を付加して辞書情報として辞書情報記憶部１６に登録（記憶）する（ステップＳ１０）。  
また、ドア制御部１９は、ドア開錠命令を受取ると、ドア３を開錠して当該利用者４の入場を許可する（ステップＳ７）。
【００４５】
ステップＳ１１における確認の結果、管理者７から登録許可が得られなかった場合、管理サーバ２２は、たとえば、画像入力部１２で入力された利用者全景画像に登録不可能なフラグ情報を付与して圧縮後に図示しないメモリに保存するか、あるいは削除し（ステップＳ１２）、処理を終了する。この場合、ドア３は開錠せず、当該利用者４の入場を拒否する。
【００４６】
ステップＳ３における判定の結果、登録用情報として利用不可能な場合、特徴抽出部１５は、画像入力部１２で取込まれた利用者全景画像から人物の顔領域候補を検出し、この検出した顔領域候補から顔の固有の特徴情報を抽出し、その抽出した特徴情報を照合部１７および管理サーバ２２にそれぞれ送る（ステップＳ１３）。この際、特徴抽出部１５において、複数の顔候補領域が検出された場合、その複数の顔候補領域に対しそれぞれ特徴情報を抽出する。
【００４７】
次に、管理サーバ２２は、ステップＳ１１へ進み、上記同様な処理を行なう。すなわち、管理者７による登録の可否確認を行ない、ここで管理者７から登録許可が得られた場合、管理サーバ２２は、管理者７によって提示されたＩＤ情報を登録部１８へ送るとともに、ドア制御部１９へドア開錠命令を送る。
【００４８】
登録部１８は、特徴抽出部１５により抽出された特徴情報をそれに管理者７から取得したＩＤ情報を付加して辞書情報として辞書情報記憶部１６に登録（記憶）する（ステップＳ１０）。  
また、ドア制御部１９は、ドア開錠命令を受取ると、ドア３を開錠して当該利用者４の入場を許可する（ステップＳ７）。
【００４９】
ステップＳ１１における確認の結果、管理者７から登録許可が得られなかった場合、管理サーバ２２は、たとえば、画像入力部１２で入力された利用者全景画像に登録不可能なフラグ情報を付与して圧縮後に図示しないメモリに保存するか、あるいは削除し（ステップＳ１２）、処理を終了する。この場合、ドア３は開錠せず、当該利用者４の入場を拒否する。
【００５０】
次に、ステップＳ３における、取込まれた利用者全景画像が辞書情報の登録用情報として利用可能か否かの判定処理について、図４に示すフローチャートを参照しながらさらに詳細に説明する。
【００５１】
まず、取込まれた利用者全景画像から人物領域候補を検出し（ステップＳ２１）、その検出した人物領域候補の数が単一か否かを判定する（ステップＳ２２）。この判定の結果、検出した人物領域候補が複数あった場合、登録用情報としての利用は不可能であると判断してステップＳ１１の処理に進み、前述した管理者７による登録の可否確認を行なう。
【００５２】
ステップＳ２２における判定の結果、検出した人物領域候補が単一であった場合、さらに当該人物領域候補の移動軌跡が、所望登録動作を示す範囲内にあるものなのかどうかを判定する（ステップＳ２３）。この判定の結果、所望登録動作を示す範囲内でなければステップＳ１１の処理に進み、前述した管理者７による登録の可否確認を行なう。  
ステップＳ２３における判定の結果、所望登録動作を示す範囲内であればステップＳ４の処理に進み、前述した特徴情報の抽出処理を行なう。
【００５３】
上記ステップＳ２２における人物領域候補が単一か否かの判定基準、および、ステップＳ２３における所望登録動作を示す範囲内か否かの判定基準は、以下に説明する（ａ）および（ｂ）に相当するが、これらを両者とも満たす場合には、登録用情報としての利用は可能であると判断して、前記利用者全景画像から抽出した特徴情報の辞書登録を行ない、いずれか１つでも満たさない場合には、登録用情報としての利用は不可能であると判断してステップＳ７の処理に進む。
【００５４】
（ａ）利用者全景画像から人物領域候補を検出し、それが単一であること  
これについてはいくつかの画像処理による特徴量の判定を用いてよいが、たとえば以下のようなもの、あるいは、それらの組合わせを用いてもよい。
【００５５】
（ａ１）画像間差分（背景画像差分あるいは連続フレーム画像間差分）や、画像内差分から求めた頭部領域候補をパターンマッチングによって検証し、頭部と判定されたものの数が単一であること。  
（ａ２）利用者全景画像内をスキャンし、あらかじめ登録されていた頭部画像パターンとのパターンマッチングによって検出された頭部領域候補の数が単一であること。  
（ａ３）画像間差分（背景画像差分あるいは連続フレーム画像間差分）や、画像内差分から求めた頭部領域候補をパターンマッチングによって検証し、人物のシルエットと判定されたものの数が単一であること。  
（ａ４）利用者全景画像内をスキャンし、あらかじめ登録されていた人物領域画像パターンとのパターンマッチングによって検出された人物領域候補の数が単一であること。
【００５６】
（ｂ）利用者全景画像中から検出した人物領域候補が登録時に想定される軌跡を示してカメラ１１の前に存在すること  
これについても上記と同様にいくつかの画像処理による特徴量の判定を用いてよいが、たとえば以下のようなもの、あるいは、それらの組合わせを用いてもよい。
【００５７】
（ｂ１）上記（ａ１）や（ａ２）によって検出された頭部領域候補をフレーム間でパターンマッチングによって追跡し、その軌跡が所望の軌跡に近いものであること。  
（ｂ２）上記（ａ３）や（ａ４）によって検出された人物領域候補をフレーム間でパターンマッチングによって追跡し、その軌跡が所望の軌跡に近いものであること。
【００５８】
ここで判定に用いる軌跡の範囲は、あらかじめ複数の人物についての利用拠点への接近パターンを抽出しておき、その中から求めた典型的な軌跡との差を用いることとしてよい。典型的な軌跡を求めるには、複数の接近パターンについての軌跡から主成分分析をしたものを用いるなどしてよい。
【００５９】
次に、ステップＳ８における、利用者全景画像から利用者４を特定できるＩＤ情報を取得できるかどうかの判定処理について、さらに詳細に説明する。
【００６０】
登録処理を実施して辞書情報を構成するためには、顔の特徴情報が前述の処理で抽出できている必要があり、さらに利用者全景画像から検出できた人物が、当該利用者全景画像中からさらに別途検出された識別情報によって誰であるかが識別できる必要がある。ここでは、このような識別情報は、その情報の持ち主である利用者にあらかじめアサインされたＩＤ情報であると考える。
【００６１】
このようなＩＤ情報を取得するために、ＩＤ検出部２０は、利用者全景画像中に存在するＩＤ属性情報（たとえば、利用者４が胸に付けている名札やカード上にＩＤ情報が文字画像として表示されている場合）が検出可能かどうかを判定し、検出可能な場合には、その旨および検出されたＩＤ情報を管理サーバ２２に送る。ここに、カメラ１１により取得された利用者全景画像にＩＤ情報が含まれるように画像取得することにより、ＩＤ情報を利用者全景画像から自動的に取得できる。
【００６２】
なお、利用者全景画像からのＩＤ情報の取得は一般的な文字画像認識手法を使ってよいが、たとえば、以下のようにしてもよい。
【００６３】
（１）文字列初期候補領域を画像内差分やフレーム間差分によって検出
（２）検出した文字列初期候補領域から背景との輝度の判別分析によって文字列候補領域を抽出
（３）抽出された文字列候補領域に対し、画像周辺分布の検出、評価により文字領域を抽出
（４）抽出した文字領域を画像としてスキャンしてベクトル形式にて保存
（５）文字領域に対応するベクトルとあらかじめ登録済みの文字ベクトルとのパターンマッチングにより、文字を求める。
【００６４】
（６）求めた文字と存在すべきＩＤ情報とを比較して、最終的な読取りＩＤ情報を決定
（７）存在すべきＩＤ情報と類似する文字が複数候補抽出された場合には、その複数候補が提示され、もともとそのＩＤ情報を保有している利用者の顔画像が別途登録された顔画像データベースから抽出されて提示され、管理者の選択によって最終的にＩＤ情報が決定される。
【００６５】
（８）もし存在すべきＩＤ情報と類似する文字が抽出されなかった場合、あらかじめ別途収集された登録対象者用の顔画像データベースからの顔画像が提示され、それを管理者が選択することによって最終的にＩＤ情報が決定される。
【００６６】
次に、ステップＳ９における、利用者全景画像から取得したＩＤ情報をもって辞書登録してよいかどうかを管理者７に再確認する処理について、さらに詳細に説明する。
【００６７】
ステップＳ８においてＩＤ情報を取得できた場合、管理サーバ２２は、当該ＩＤ情報を用いて、ステップＳ４で抽出した顔の特徴情報を辞書情報として自動的に登録してよいかの確認メッセージを表示装置２３に表示することで、管理者７による許可、不許可の判定を受付け、ここでもし許可されたならステップＳ１０において自動登録が実行される。
【００６８】
反対に、管理者７から不許可の回答が戻された場合には、ステップＳ１１において、管理者７によって事前にＩＤ情報保存部２１に準備されたＩＤ情報用画像を目視確認した結果にしたがってＩＤ情報が付与され、ステップＳ１０において辞書登録される。このように、自動的に取得したＩＤ情報による辞書登録なのか、管理者７による目視確認により取得されたＩＤ情報による辞書登録なのかを選択する処理が行なわれる。
【００６９】
次に、ステップＳ１１における、管理者７による登録の可否確認処理について、図５に示すフローチャートを参照しながらさらに詳細に説明する。
【００７０】
この処理は、カメラ１１によって入力された認証・登録端末装置５前の利用者全景画像からその内容解析を自動的に実施した結果、辞書情報としての登録が不可能と判断されたものを管理者７に最終確認してもらうステップである。
【００７１】
まず、ステップＳ１３において検出された顔領域候補が単数個か否かを判定し（ステップＳ３１）、この判定の結果、顔領域候補が単数個の場合、カメラ１１によって入力された利用者全景画像を圧縮した後（ステップＳ３２）、管理サーバ２２へ送るとともに、特徴抽出部１５で検出された顔領域候補の座標値、および、登録用情報判定部１４で検出された人物領域候補の座標値を管理サーバ２２へ送る（ステップＳ３３）。
【００７２】
管理サーバ２２は、受取った利用者全景画像を表示装置２３に表示するとともに、受取った顔領域候補および人物領域候補の座標値に基づき、上記表示された利用者全景画像を上に人物の存在する領域をオーバレイ表示する（ステップＳ３４）。また、これらと同時に、ＩＤ情報保存部２１に蓄積された登録候補者のＩＤ情報つきの顔画像をも上記表示装置２３に表示する（ステップＳ３５）。  
管理者７は、表示された画象を見比べながら登録者のＩＤ情報を選択して、登録を許可した場合（ステップＳ３６）、ステップＳ１０において辞書登録される。
【００７３】
なお、ステップＳ３２〜Ｓ３６の処理は、ステップＳ８における判定の結果、利用者全景画像からＩＤ情報を取得できなかった場合、あるいは、ステップＳ９における確認の結果、管理者７から登録許可が得られなかった場合も実行される。
【００７４】
ステップＳ３６において管理者７が登録者のＩＤ情報を選択せず、登録を不許可とした場合、ステップＳ１２に進み、利用者全景画像に登録不可能なフラグ情報を付与して圧縮後に図示しないメモリに保存するか、あるいは削除し、処理を終了する。
【００７５】
なお、利用者全景画像を削除した場合、顔の特徴情報を顔認証用の辞書情報として登録するためには利用できなくなるが、この形式での保存が実施された場合には、未登録者が不正アクセスしてきたことの履歴情報としては利用可能である。
【００７６】
ステップＳ３１における判定の結果、顔領域候補が複数個の場合、ステップＳ１３において抽出された複数の顔領域候補の特徴情報を辞書情報記憶部１６に登録された辞書情報と照合することにより、両情報の類似度をそれぞれ算出し、その類似度に応じて複数の顔領域候補を並べ替えしておく（ステップＳ３７）。このとき並べ替えのキーとして用いる類似度としては、登録された全ての辞書情報との類似度をなんらかの方法で統合した結果を用いてよい。たとえば、類似度の平均値、最大値、最小値などを用いてよい。
【００７７】
次に、管理サーバ２２は、管理者７に対し、顔領域候補の表示数を問い合わせるメッセージを表示装置２３に表示し、顔領域候補を表示するための表示数を入力させることで（ステップＳ３８）、その数分だけの顔領域候補を上記並べ替え基準にしたがって表示装置２３に表示する（ステップＳ３９）。この場合、たとえば、ステップＳ３７で求めた類似度の低いものから順に表示することで、現行で登録されていない人物が表示される可能性が高まり、追加登録の効率を上げるために有効と考える。
【００７８】
次に、管理サーバ２２は、管理者７に対し、最終的に登録するべき顔領域候補を指定するメッセージを表示装置２３に表示する（ステップＳ４０）。ここで、管理者７が１つの顔領域候補を指定した場合（ステップＳ４１）、ステップＳ３５に進んで、以降、前述同様な処理を行なう。
【００７９】
一方、管理者７が一定時間以内に顔領域候補を指定しなかった場合（ステップＳ４１）、ステップＳ１２に進み、利用者全景画像に登録不可能なフラグ情報を付与して圧縮後に図示しないメモリに保存するか、あるいは削除し、処理を終了する。この場合、辞書情報の登録用には利用されない。
【００８０】
以上説明したように上記実施の形態によれば、顔認証時（顔照合時）と同様な動作の登録アクションを行なったときの取得画像か、顔認証時（顔照合時）の取得画像そのものを用いて辞書情報の登録を行なうことにより、他人なりすまし等の不正を抑止しながら辞書情報の登録を行なえ、管理者が必ずしも立ち会う必要がなく、利便性が著しく向上する。
【００８１】
なお、前記実施の形態では、第１の画像取得手段および第２の画像取得手段として１つの高解像度カメラを用い、この１つのカメラにより利用者全景画像を取得し、その利用者全景画像から顔領域候補を検出して顔認証用の特徴情報を取得する場合について説明したが、本発明はこれに限定されるものではなく、たとえば、それぞれ専用の２つのカメラを用いてもよい。すなわち、顔認証用の特徴情報を取得するための第１のカメラ（第１の画像取得手段）と、利用者全景画像を取得するための第２のカメラ（第２の画像取得手段）を用いるようにしてもよい。その場合、第１のカメラは、利用者（人物）の少なくとも顔を含む画像を撮像するように設置し、第２のカメラは、利用者（人物）を含むその周囲全体の画像を撮像するように設置する。第１、第２のカメラは、低解像度なものでも高解像度なものでも利用可能である。
【図面の簡単な説明】
【００８２】
【図１】本発明に係る辞書情報登録装置（辞書情報登録方法）および顔認証装置が適用される入退場管理システムの構成を概略的に示す模式図。
【図２】認証・登録端末装置および管理サーバの構成を示すブロック図。
【図３】全体的な処理の流れについて説明するフローチャート。
【図４】取込まれた利用者全景画像が辞書情報の登録用情報として利用可能か否かの判定処理の流れについて説明するフローチャート。
【図５】管理者による登録の可否確認処理の流れについて説明するフローチャート。
【符号の説明】
【００８３】
１…入退場利用拠点、２…入退場管理拠点、３…ドア（入退場用ゲート）、４…利用者（人物）、５…認証・登録端末装置、６…管理サーバ（管理装置）、７…管理者、１１…カメラ（画像取得手段）、１２…画像入力部（画像取得手段）、１３…人物検知部（人物検知手段）、１４…登録用情報判定部（判定手段）、１５…特徴抽出部（特徴抽出手段）、１６…辞書情報記憶部（辞書記憶手段）、１７…照合部（照合手段）、１８…登録部（登録手段）、１９…ドア制御部（ゲート制御手段）、２０…ＩＤ検出部（識別情報取得手段）、２１…ＩＤ情報保存部（識別情報記憶手段）、２２…管理部（処理手段、制御手段）、２３…表示装置（表示手段）。
【図１】
2010009389.tif 000003
【図２】
2010009389.tif 000004
【図３】
2010009389.tif 000005
【図４】
2010009389.tif 000006
【図５】
2010009389.tif 000007