(57)【要約】【課題】特定された認識対象者（入退場者）に対して、あらかじめ用意された当該認識対象者向けの案内情報を取得し、その案内情報を当該認識対象者に対し出力することができ、サービス性に優れた人物認識装置、人物認識方法および人退場管理システムを提供する。【解決手段】認識対象者から取得した顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを特定する人物認識装において、特定された認識対象者に対して、あらかじめ用意された当該認識対象者向けの案内情報を取得し、その案内情報を当該認識対象者に対し表示する。【選択図】      図１
2006293913.tif 000002
【特許請求の範囲】
【請求項１】
あらかじめ認識対象者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、
この第１の記憶手段に辞書情報が記憶されている認識対象者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段と、
認識対象者から固有の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該認識対象者を特定する照合手段と、
この照合手段により当該認識対象者が特定された場合、当該認識対象者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得手段と、
この案内情報取得手段により取得された案内情報を当該認識対象者に対して出力する案内情報出力手段と、
を具備したことを特徴とする人物認識装置。
【請求項２】
前記生体情報は、人物の顔画像、指紋画像、精脈情報、虹彩情報、掌形画像、指画像、音声情報のうち少なくともいずれか１つであることを特徴とする請求項１記載の人物認識装置。
【請求項３】
前記案内情報は画像情報、文字情報、音声情報のうち少なくともいずれか１つで表現されていることを特徴とする請求項１記載の人物認識装置。
【請求項４】
あらかじめ認識対象者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、この第１の記憶手段に辞書情報が記憶されている認識対象者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段とを有し、
認識対象者から固有の生体情報を取得する生体情報取得ステップと、
この生体情報取得ステップにより取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該認識対象者を特定する照合ステップと、
この照合ステップにより当該認識対象者が特定された場合、当該認識対象者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得ステップと、
この案内情報取得ステップにより取得された案内情報を当該認識対象者に対して出力する案内情報出力ステップと、
を具備したことを特徴とする人物認識方法。
【請求項５】
あらかじめ入退場対象エリアに対し入退場を許可された入退場者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、
この第１の記憶手段に辞書情報が記憶されている入退場者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段と、
入退場者から固有の生体情報を取得する生体情報取得手段と、
この生体情報取得手段により取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該入退場者を特定する照合手段と、
この照合手段により当該入退場者が特定された場合、当該入退場者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得手段と、
この案内情報取得手段により取得された案内情報を当該入退場者に対して出力する案内情報出力手段と、
前記照合手段により当該入退場者が特定された場合、当該入退場者に対し前記入退場対象エリアに対する入退場の許可を与える入退場制御手段と、
を具備したことを特徴とする人退場管理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、認識対象者から取得した生体情報としての顔画像をあらかじめ登録された辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを特定する人物認識装置および人物認識方法に関する。
【０００２】
また、本発明は、上記人物認識装置および人物認識方法を用いてセキュリティを必要とする部屋や施設等の入退場対象エリアに対する入退場を管理する人退場管理システムに関する。
【背景技術】
【０００３】
一般に、人物認識装置を用いた入退場管理システムは、ビデオカメラなどのカメラを有していて、認識対象者（入退場者）がカメラの前に立ち止まり、カメラのレンズに顔を向けることで、認識対象者の顔画像をカメラが撮像して入力し、この入力した顔画像から得られる当該人物固有の顔の特徴情報をあらかじめ登録されている辞書情報と照合することにより当該人物はあらかじめ登録された人物であるかを特定し、あらかじめ登録された人物であると特定された場合、入退場対象エリア（部屋や施設等）のドアを開放するようになっている（たとえば、特許文献１、特許文献２参照）。
【特許文献１】特開平９−３１９８７７号公報
【特許文献２】特開２００２−１１７４２６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、この種の入退場管理システム（人物認識装置）にあっては、認識した結果（人物の特定結果）は入退場の可否制御に使用するだけで、認識対象者（入退場者）に対するアナウンス機能などがなく、サービス性に劣るという問題がある。
【０００５】
そこで、本発明は、特定された認識対象者（入退場者）に対して、あらかじめ用意された当該認識対象者向けの案内情報を取得し、その案内情報を当該認識対象者に対し出力することができ、サービス性に優れた人物認識装置、人物認識方法および人退場管理システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の人物認識装置は、あらかじめ認識対象者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、この第１の記憶手段に辞書情報が記憶されている認識対象者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段と、認識対象者から固有の生体情報を取得する生体情報取得手段と、この生体情報取得手段により取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該認識対象者を特定する照合手段と、この照合手段により当該認識対象者が特定された場合、当該認識対象者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得手段と、この案内情報取得手段により取得された案内情報を当該認識対象者に対して出力する案内情報出力手段とを具備している。
【０００７】
本発明の人物認識方法は、あらかじめ認識対象者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、この第１の記憶手段に辞書情報が記憶されている認識対象者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段とを有し、認識対象者から固有の生体情報を取得する生体情報取得ステップと、この生体情報取得ステップにより取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該認識対象者を特定する照合ステップと、この照合ステップにより当該認識対象者が特定された場合、当該認識対象者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得ステップと、この案内情報取得ステップにより取得された案内情報を当該認識対象者に対して出力する案内情報出力ステップとを具備している。
【０００８】
本発明のおよび人退場管理システムは、あらかじめ入退場対象エリアに対し入退場を許可された入退場者から取得した固有の生体情報を辞書情報として記憶している第１の記憶手段と、この第１の記憶手段に辞書情報が記憶されている入退場者に対して提供する案内情報をあらかじめ記憶している第２の記憶手段と、入退場者から固有の生体情報を取得する生体情報取得手段と、この生体情報取得手段により取得された生体情報と前記第１の記憶手段に記憶された辞書情報とを照合することにより当該入退場者を特定する照合手段と、この照合手段により当該入退場者が特定された場合、当該入退場者に対する案内情報を前記第２の記憶手段に記憶されている案内情報内から取得する案内情報取得手段と、この案内情報取得手段により取得された案内情報を当該入退場者に対して出力する案内情報出力手段と、前記照合手段により当該入退場者が特定された場合、当該入退場者に対し前記入退場対象エリアに対する入退場の許可を与える入退場制御手段とを具備している。
【発明の効果】
【０００９】
本発明によれば、特定された認識対象者（入退場者）に対して、あらかじめ用意された当該認識対象者向けの案内情報を取得し、その案内情報を当該認識対象者に対し出力することができ、サービス性に優れた人物認識装置、人物認識方法および人退場管理システムを提供できる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態について図面を参照して説明する。  
なお、以下の説明では、人物の生体情報として顔画像を用いた場合を例として述べるが、顔画像以外に、指紋画像、精脈情報、虹彩情報、掌形画像、指画像、音声情報などの他の生体情報を用いても同様に実施できる。
【００１１】
図１は、本実施の形態に係る人物認識装置および人物認識方法が適用される入退場管理システムの構成を概略的に示すものである。図１において、複数の人物認識装置１１，１２，１３，１４は、それぞれ異なる場所（部屋や施設等の入退場対象エリアの入口近傍）に設置されていて、ネットワーク（通信回線）１５を介して第２の記憶手段としてのデータベース２０に接続されていて、互いに通信可能となっている。
【００１２】
人物認識装置１１，１２，１３，１４には、それぞれ入退場制御装置１６，１７，１８，１９が接続されている。入退場制御装置１６，１７，１８，１９は、人物認識装置１１，１２，１３，１４からの認識結果に基づき入退場用の通行ゲートに設けられた電気錠２１，２２，２３，２４をそれぞれ開閉制御する。
【００１３】
人物認識装置１１，１２，１３，１４は、たとえば、図２に示すように、認識対象者（以下、人物、入退場者ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する生体情報取得手段としてのテレビジョンカメラ１０１、カメラ１０１の近傍から認識対象者１００の少なくとも顔に向けて一定の照度で光を照射する照明手段としての照明部１０２、認識対象者１００に対して入力された顔画像や各種案内などを表示したり、認識対象者１００を特定するＩＤ番号（特定情報）やパスワードなどを入力したりする出力手段および入力手段としての入出力部１０３、および、カメラ１０１から入力された顔画像を処理して顔画像の認識処理などを行なう処理部１０４を有して構成されている。
【００１４】
なお、以下の説明では、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報の各情報が登場してくる。そして、認識データと言うときは、部分空間、または、部分空間を構成するための固有ベクトルを含み、登録情報（辞書情報）と言うときは、画像入力データ、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、状況情報、個人情報を含んでいる。したがって、認識データは登録情報に含まれる。
【００１５】
カメラ１０１は、認識対象者１００の顔画像を下方から所定角度で撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラを有して構成されている。  
照明部１０２は、カメラ１０１の近傍（たとえば、カメラ１０１の側部）から認識対象者１００の顔に向けて一定の照度で光を照射する蛍光灯などの照明器具である。
【００１６】
入出力部１０３は、カメラ１０１で撮影されている認識対象者１００の顔画像や各種ガイダンス、処理結果などを表示したり、認識対象者１００の個人ＩＤやパスワードなどを入力したりするもので、たとえば、液晶表示部とタッチパネルとを一体化して構成されていて、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ認識対象者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。
【００１７】
処理部１０４は、カメラ１０１からの顔画像を入力する画像入力部１０５、画像入力部１０５から得られた人物の顔画像を用いて、あらかじめ準備されたパターン辞書との照合で顔および目、鼻などの顔部品の位置を検出する顔検出手段としての顔検出部１０６、顔検出部１０６の出力に基づき濃淡情報あるいは部分空間情報などの特徴量を抽出する特徴抽出手段としての特徴抽出部１０７、辞書情報の登録時には、特徴抽出部１０７で抽出された特徴量を辞書情報として保持（登録）する第１の記憶手段としての辞書記憶部１０８、人物認識（顔照合）時には、特徴抽出部１０７で抽出された特徴量（入力特徴情報）と辞書記憶部１０８に登録されている辞書情報とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、入力特徴情報と辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該認識対象者１００は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定する照合手段としての認識部１０９、入退場制御装置やデータベース２０などと通信するための通信部１１０、全体的な制御を司る制御手段としての制御部１１１を有して構成されている。
【００１８】
画像入力部１０５は、カメラ１０１からの顔画像を入力し、Ａ／Ｄ変換してデジタル化した後、顔検出部１０６へ送る。  
顔検出部１０６は、まず、画像入力部１０５で入力された顔画像から認識対象者１００の顔の領域を検出する。たとえば、あらかじめ用意されたテンプレートを、画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。なお、その他に、固有空間法や部分空間法を利用した顔領域抽出法などの顔検出手段でもよい。
【００１９】
顔検出部１０６は、次に、検出された顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。その検出方法は、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いてよい。
【００２０】
特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に、顔領域を一定の大きさ、形状に切り出し、その濃淡情報を特徴量として用いる。ここでは、たとえば、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ次元の情報を特徴ベクトルとして用いる。
【００２１】
また、後で述べるように、認識を行なうための入力データとして部分空間自身を利用してもよい。したがって、部分空間を算出した結果は、認識部１０９および辞書記憶部１０８に送られる。
【００２２】
辞書記憶部１０８は、認識対象者１００を認識あるいは同定するために利用する部分空間（または、相関行列）などの辞書情報を当該認識対象者のＩＤ番号（固有の識別情報）と対応させて保持（記憶）している。また、登録の際の日時、時刻、場所などの属性情報も保持できる。なお、辞書情報として、部分空間に限らず、入力された顔画像や抽出された顔の特徴量そのものを用いてもよい。
【００２３】
認識部１０９は、辞書記憶部１０８に蓄えられた辞書情報（部分空間）と特徴抽出部１０７で得られた特徴量（濃淡情報あるいは部分空間情報）とを照合（比較）することにより、カメラ１０１で撮影している認識対象者１００が誰であるかを認識、あるいは、該当人物であるかどうかを同定する。人物を認識するためには、どの人物のデータに最も類似しているかを求めればよく、最大類似度をとるデータに対応する人物を認識結果とすればよい。
【００２４】
また、カードやＩＤ番号、暗証番号、鍵などを用いて、顔画像による認識を行なう場合には、それぞれの人物のカードやＩＤ番号などの個人情報に対応する認識データとの類似度を計算して、設定した閾値と照合し、その閾値を越えた場合に、その人物と同定する。
【００２５】
これらカードやＩＤ番号、暗証番号、鍵など入力する手段が必要であるが、たとえば、カードならＩＣカード、ＩＤカード、無線カードなどを用いることで実現できる。ＩＤ番号や暗証番号を用いる場合は、キー入力手段を設ければよい。
【００２６】
認識の方法としては、特徴抽出部１０７の情報を用いる場合は、部分空間法や複合類似度法などの方法を用いてよい。本実施の形態での認識方法は、たとえば、文献（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２（１９８５））に記載されている公知の認識方法である相互部分空間法を用いる。
【００２７】
この方法では、あらかじめ登録された辞書情報も、入力されるデータも部分空間として表現され、２つの部分空間のなす「角度」を類似度として定義する。ここで入力される部分空間を入力部分空間という。入力データ列に対して同様に相関行列Ｃｉｎを求め、  
【数１】
2006293913.tif 000003
【００２８】
と対角化し、固有ベクトルΦｉｎを求める。２つのΦｉｎ、Φｄで表わされる部分空間の部分空間類似度（０．０〜１．０）を求め、それを認識するための類似度とする。
【００２９】
データベース２０は、辞書記憶部１０８に辞書情報が登録（記憶）されている認識対象者に対して提供する案内情報（たとえば、本装置の利用日に予定されているスケジュール情報など）があらかじめ登録（記憶）されている。具体的には、たとえば、図３に示すように、一人の認識対象者に対して、当該認識対象者が利用する人物認識装置の機体番号、当該人物認識装置の照合時間範囲、当該認識対象者のＩＤ番号（固有の識別情報）、および、当該認識対象者向けの案内情報を対応させて記憶されていて、これらのうち機体番号、照合時間範囲およびＩＤ番号が対象とする案内情報を検索するための検索キーとして用いられる。
【００３０】
次に、このような構成において、代表して例えば人物認識装置１１における認識処理の流れについて図４に示すフローチャートを参照して説明する。  
認識対象者１００が本装置（カメラ１０１）の前に立ち、それが検知されることにより（ステップＳ１）、カメラ１０１は認識対象者１００の画像を取込み、画像入力部１０５を介して顔検出部１０６および制御部１１１へ送る（ステップＳ２）。ここに、このステップＳ１の処理が本発明における生体情報取得手段に対応している。
【００３１】
顔検出部１０６は、カメラ１０１により取込んだ画像から顔領域を検出し、検出した顔領域の部分の中から、目、鼻、口といった顔部品の位置を検出する。次に、特徴抽出部１０７は、顔検出部１０６で検出された顔部品の位置を基に顔の特徴量（入力顔画像に基づく情報）を抽出し、認識部１０９へ送る。  
制御部１１１は、カメラ１０１により取込んだ顔画像を、たとえば、図５に示すように、入出力部１０３の画像表示部１０３ａに表示する。図中、符号５１が表示された顔画像を示している。
【００３２】
次に、認識部１０９は、特徴抽出部１０７で抽出された顔の特徴量と辞書記憶部１０８に記憶された全ての辞書情報とをそれぞれ照合することにより両情報の類似度を求め、求めた類似度の中から最大値を示す類似度を選択し、選択した最大類似度をあらかじめ設定された閾値と比較し、当該最大類似度が閾値以上の場合は照合成功（当該認識対象者を特定）と判定し、閾値未満の場合は照合失敗（当該認識対象者は特定不可）と判定する（ステップＳ３，Ｓ４）。ここに、このステップＳ３，Ｓ４の処理が本発明における照合手段に対応している。
【００３３】
ステップＳ３，Ｓ４において、照合失敗と判定された場合、その判定結果を受けた制御部１１１は、通信部１１０を介して入退場制御装置１６へゲート閉の制御信号を送信することで、入退場制御装置１６は電気錠２１を閉じたままとし（ステップＳ５）、当該認識処理を終了する。
【００３４】
ステップＳ３，Ｓ４において、照合成功と判定された場合、その判定結果を受けた制御部１１１は、当該認識対象者１００のＩＤ番号を辞書記憶部１０８から取得し、この取得したＩＤ番号と当該人物認識装置１１の機体番号およびこのときの照合時間を検索キーとして、通信部１１０およびネットワーク１５を介してデータベース２０に対し検索バッチ処理を行なうことで、当該認識対象者１００に対する案内情報を検索する（ステップＳ６，Ｓ７）。ここに、このステップＳ６，Ｓ７の処理が本発明における案内情報取得手段に対応している。
【００３５】
次に、制御部１１１は、データベース２０から取得した案内情報を、たとえば、図５に示すように、入出力部１０３の画像表示部１０３ａに顔画像５１とともに表示する（ステップＳ８）。図中、符号５２が表示された照合結果の案内文を示し、符号５３が表示された案内情報の一例を示している。ここに、このステップＳ８の処理が本発明における案内情報出力手段に対応している。
【００３６】
ここで、具体例をあげて説明すると、たとえば、データベース２０に人物認識装置１１の照合時間範囲は「８時〜１０時」、ＩＤ番号は正社員全員、当該人物（社員）向けの案内情報は「１３時昼礼あり」というように設定登録されているものとする。また、当該人物認識装置１１が会社の入口に設置されていて、必ず社員が使用するものとする。
【００３７】
そこで、たとえば、登録人物である正社員Ａが出社の９時に人物認識装置１１で照合を行ない、照合成功した場合には、人物認識装置１１から正社員ＡのＩＤ番号と機体番号、照合時間の「９時」を検索キーとしてデータベース２０に対して検索バッチ処理が行なわれる。検索バッチ処理の結果として案内情報「１３時昼礼あり」が人物認識装置１１に戻される。人物認識装置１１は、その案内情報を入出力部１０３の画像表示部１０３ａに表示する。ここで、正社員Ａはその案内情報を目視することができる。
【００３８】
次に、制御部１１１は、通信部１１０を介して入退場制御装置１６へゲート開の制御信号を送信することで、入退場制御装置１６は電気錠２１を開き、当該認識対象者（この場合は入退場者）１００に対し入場を許可する（ステップＳ９）。ここに、このステップＳ９の処理が本発明における入退場制御手段に対応している。
【００３９】
次に、制御部１１１は、当該認識対象者（入退場者）１００が入場して当該ゲートが閉じたことを確認すると（ステップＳ１０）、入出力部１０３の画像表示部１０３ａに表示した案内情報５３を消去し（ステップＳ１１）、当該認識処理を終了する。
【００４０】
このように、上記実施の形態によれば、人物認識装置として入退場の可否制御に使用するだけではなく、認識するときに認識対象者の顔がカメラに近づくという利点を生かして、カメラからの入力画像の周辺に各認識対象者に提供したい案内情報を表示させるという付加価値を与えることができ、優れたサービス性が得られる。
【００４１】
なお、前記実施の形態では、１つのデータベースを複数の人物認識装置が共用する場合について説明したが、本発明はこれに限定されるものではなく、複数の人物認識装置がそれぞれデータベースを備えていてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施の形態に係る人物認識装置および人物認識方法が適用される入退場管理システムの構成を概略的に示すブロック図。
【図２】人物認識装置の構成を概略的に示すブロック図。
【図３】データベース内の案内情報の格納状態を説明する図。
【図４】人物認識装置における認識処理の流れについて説明するフローチャート。
【図５】案内情報の表示画面例を示す図。
【符号の説明】
【００４３】
１１，１２，１３，１４…人物認識装置、１５…ネットワーク（通信回線）、１６，１７，１８，１９…入退場制御装置、２０…データベース（第２の記憶手段）、２１，２２，２３，２４…電気錠、１００…認識対象者（人物、入退場者）、１０１…カメラ（生体情報取得手段）、１０２…照明部、１０３…入出力部（出力手段）、１０４…処理部、１０５…画像入力部、１０６…顔検出部、１０７…特徴抽出部、１０８…辞書記憶部（第１の記憶手段）、１０９…認識部（照合手段）、１１０…通信部、１１１…制御部（制御手段）、１０３ａ…画像表示部、５１…顔画像、５２…照合結果の案内文、５３…案内情報。
【図１】
2006293913.tif 000004
【図２】
2006293913.tif 000005
【図３】
2006293913.tif 000006
【図４】
2006293913.tif 000007
【図５】
2006293913.tif 000008