(57)【要約】【課題】簡易かつ低コストな構成で、より高精度なセキュリティー認証システムを実現する。【解決手段】監視対象の人物が保持しているＩＣカードに登録された個人情報を読み取るＩＣカードリーダ装置２と、赤外線を人物に照射しその反射光を検出することで当該人物の３次元形状を測定する顔認証リーダ装置４と、人物を撮像して２次元画像を生成する撮像装置３と、ＩＣカードリーダ装置２により読み取られた個人情報に基づいて、顔認証リーダ装置４により測定された３次元形状および撮像装置３により生成された２次元画像を用いて、人物の認証を行うＰＣ７とを備えた。【選択図】図１
2013250856.tif 000002
【特許請求の範囲】
【請求項１】
監視対象の人物が保持しているＩＣカードに登録された個人情報を読み取るＩＣカードリーダ装置と、
赤外線を前記人物に照射しその反射光を検出することで当該人物の３次元形状を測定する３次元形状測定装置と、
前記人物を撮像して２次元画像を生成する撮像装置と、
前記ＩＣカードリーダ装置により読み取られた個人情報に基づいて、前記３次元形状測定装置により測定された３次元形状および前記撮像装置により生成された２次元画像を用いて、前記人物の認証を行う認証装置と
を備えた監視システム。
【請求項２】
前記認証装置は、前記２次元画像に対しては輪郭抽出フィルタを用い、前記３次元形状に対しては対応座標高さの情報または微分係数を用いて、前記人物の特徴部位の座標を特定する
ことを特徴とする請求項１記載の監視システム。
【請求項３】
前記３次元形状測定装置に代えて、前記人物を撮像する２つの撮像部を有し、当該両撮像部による視差画像に基づいて当該人物の３次元形状を測定する第２の３次元形状測定装置を備えた
ことを特徴とする請求項１または請求項２記載の監視システム。
【請求項４】
前記人物の生体情報の識別を行う生体識別装置を備え、
前記認証装置は、前記生体識別装置により識別された生体情報も考慮して前記人物の認証を行う
ことを特徴とする請求項１から請求項３のうちのいずれか１項記載の監視システム。
【請求項５】
前記認証装置による認証結果に基づいて、前記人物が入退室を行うドアの開閉を制御する制御装置を備えた
ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視システム。
【請求項６】
前記認証装置による認証結果に基づいて、前記人物が利用するＡＴＭ機器の動作を制御する制御装置を備えた
ことを特徴とする請求項１から請求項４のうちのいずれか１項記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入国管理システム（駅・空港）、入退室監視システム、ＡＴＭ監視システム（銀行、証券、金融関連）、高機密国家機関・企業管理システム（政府、警察、軍事・防衛施設、学術機関等）、ホームセキュリティシステム、携帯電話（スマートフォン）待ち受け認証システムなど異国、施設、建物、システムへの侵入の際に個人の特定が必要となる高度なセキュリティシステムに対して適用可能な監視システムに関するものである。
【背景技術】
【０００２】
従来から、赤外光の画像（２次元画像）から顔の輪郭を抽出し、両目の位置、鼻の位置、口の位置を特定することで顔認証を行い、金銭決済（ＡＴＭ）を実施する発明が開示されている（例えば特許文献１参照）。しかしながら、３次元顔画像認証及び各種生体認証（虹彩認証、静脈認証）を組み合わせた、さらに精度の高い実施例に関する提示はされていない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１８１４６８号公報
【特許文献２】特開２０１１−９１５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
また、上記２次元画像による認証のように目、鼻、口等の特徴部位を特定して比較を行うアルゴリズムでは、認証精度が１００％近くまでは向上しないという課題がある。例えば、可視光領域に感度を有するカメラを用いて認証を行う場合、外部環境照度の違いにより登録時の顔画像データと撮像した２次元画像（顔画像データ）に相違が発生し、本来は正しく認証されるべき人物が不正であると誤認識される事例、悪意のある人物が認証時に必要な人物の写真を利用して不正に誤認証される事例、顔でない物体を顔と誤認識して誤認証される事例などが発生する場合があった。これは、２次元画像を用いて認証を行う際に輝度信号・色度信号のみを利用していることが原因であり、これにより認証の正答率は高いときで約９割程度に留まっている。
【０００５】
一方、光源を用いずに赤外線カメラを３つ利用して３次元形状情報を生成し、顔の認識を行う発明が開示されている（例えば特許文献２参照）。しかしながら、この特許文献２に開示された技術では、３つのカメラをシステム構成に組み入れる必要があるため、システム構成が複雑で部材コストも高くなってしまうという課題がある。
【０００６】
この発明は、上記のような課題を解決するためになされたもので、簡易かつ低コストな構成で、３次元形状測定による照合と２次元画像による照合とを組み合わせて認証を行うことで、より高精度なセキュリティー認証システムを実現することが可能な監視システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る監視システムは、監視対象の人物が保持しているＩＣカードに登録された個人情報を読み取るＩＣカードリーダ装置と、赤外線を人物に照射しその反射光を検出することで当該人物の３次元形状を測定する３次元形状測定装置と、人物を撮像して２次元画像を生成する撮像装置と、ＩＣカードリーダ装置により読み取られた個人情報に基づいて、３次元形状測定装置により測定された３次元形状および撮像装置により生成された２次元画像を用いて、人物の認証を行う認証装置とを備えたものである。
【発明の効果】
【０００８】
この発明によれば、上記のように構成したので、簡易かつ低コストな構成で、３次元形状測定による照合と２次元画像による照合とを組み合わせて認証を行うことができ、より高精度なセキュリティー認証システムを実現することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１に係る入退室監視システムの構成を示す図である。
【図２】この発明の実施の形態１に係る撮像装置の構成を示す図である。
【図３】この発明の実施の形態１における顔認証リーダ装置の動作概念を示す図である。
【図４】この発明の実施の形態１における顔認証リーダ装置の構成を示す図である。
【図５】この発明の実施の形態１に係る入退室監視システムの動作を示すフローチャートである。
【図６】この発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの構成を示す図である。
【図７】この発明の実施の形態２における顔認証リーダ装置の動作概念を示す図である。
【図８】この発明の実施の形態２における顔認証リーダ装置の３次元座標算出概念を示す図である。
【図９】この発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１はこの発明の実施の形態１に係る入退室管理監視システムの構成を示す図である。
入退室管理監視システムは、図１に示すように、自動ドア１、ＩＣカードリーダ装置２、撮像装置３、顔認証リーダ装置（３次元形状測定装置）４、ネットワークレコーダ５、スイッチングＨＵＢ６、ＰＣ（認証装置、制御装置）７およびドア開閉コントローラ８から構成されている。
【００１１】
自動ドア１は、通行人がフロアに入退室する際に使用するものであり、ドア開閉コントローラ８による制御に応じて開閉されるものである。
【００１２】
ＩＣカードリーダ装置２は、自動ドア１付近に設けられ、入退室する通行人により保持しているＩＣカードがかざされることで、当該ＩＣカードに登録された個人情報（顔情報）を読み取るものである。このＩＣカードリーダ装置２により読み取られた個人情報はＰＣ７に出力される。また、個人情報やその際の認証時刻はネットワークレコーダ５に出力される。
【００１３】
撮像装置３は、可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有し、ＩＣカードリーダ装置２による個人情報の読み取りが完了したことを契機に、監視対象の通行人の顔を撮像して２次元画像（映像データ）を生成するものである。この撮像装置３は、固定・ドームカメラの場合にはオートフォーカス機構、回転台カメラの場合にはオート光学ズーム機構・オートフォーカス機構を有して画角・ピントを顔に合わせて制御可能な装置である。また、実施の形態１における撮像装置３では、赤外線領域のレーザを照射する装置（顔認証リーダ装置４）を用いているため、不要な信号を捉えないための赤外線カットフィルタを装着することが必須である。
そして、撮像装置３では、生成した映像データから顔の特徴部位（目鼻口）の座標位置を特定する。この撮像装置３により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。また、映像データはネットワークレコーダ５に配信される。
【００１４】
顔認証リーダ装置４は、赤外線（波長λ：８３０［ｎｍ］超の光）に対して最大感度を有し、ＩＣカードリーダ装置２による個人情報の読み取りが完了したことを契機に、監視対象の通行人の顔の３次元形状を測定するものである。この顔認証リーダ装置４は、能動的に赤外線レーザを対象物（通行人の顔）に照射して、対象物からの反射光を受光し、その受光状態から各ＸＹ（縦横）座標におけるｚ（高さ）を算出することが可能な装置である。
そして、顔認証リーダ装置４では、測定した３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。この顔認証リーダ装置４により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。
【００１５】
ネットワークレコーダ５は、通行人が入退室する際にＩＣカードリーダ装置５により読み取られた個人情報やその際の認証時刻、撮像装置３から配信された映像データ、ＰＣ８により得られた融合スコア結果、２次元顔情報や３次元顔情報等の情報を記録する機能を有するものである。
スイッチングＨＵＢ６は、汎用のＨＵＢであり、各システム構成機器を並列的に組み合わせるために用いるものである。
【００１６】
ＰＣ７は、監視システム機器構成設定、カメラ設定やレコーダ（再生・記録）設定を行うとともに、ＩＣカードリーダ装置２からの個人情報に基づいて、撮像装置３および顔認証リーダ装置４からの特徴部位抽出データを用いて、入退室管理を行うものである。すなわち、ＰＣ７は、ＩＣカードリーダ装置２からの個人情報に基づいて、ネットワーク（ＷＡＮ・ＬＡＮ）回線網９を経由して接続可能なサーバ上のＩＣカード情報登録ＤＢ１０に保存されている該当する２次元顔情報・３次元顔情報を抽出する。そして、当該２次元顔情報と撮像装置３からの特徴部位抽出データとの照合、当該３次元顔情報と顔認証リーダ装置４からの特徴部位抽出データとの照合を行い、各々の照合結果を融合して融合スコアを算出する。そして、融合スコア結果を基にドア開閉コントローラ８に対する制御を行うことで入退室管理を行う。また、ＰＣ７により得られた融合スコア結果、２次元顔情報および３次元顔情報はネットワークレコーダ５に出力される。
【００１７】
ドア開閉コントローラ８は、ＰＣ７による制御に応じて自動ドア１の開閉制御を行うものである。
【００１８】
次に、撮像装置３の機能ブロックについて、図２を参照しながら説明する。
撮像装置３は、図２に示すように、レンズ３０１、光電変換部３０２、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）３０３、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）３０４、映像信号処理ＤＳＰ部３０５、タイミングジェネレータ３０６、マイクロプロセッサ３０７、メモリ回路３０８および映像信号出力部３０９から構成されている。
【００１９】
レンズ３０１は、入射光を結像するものである。このレンズ３０１により結像された入射光は光電変換部３０２に出力される。
光電変換部３０２は、レンズ３０１からの入射光を光電変換するものであり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサである。この光電変換部３０２により光電変換された信号はＣＤＳ３０３に出力される。
【００２０】
ＣＤＳ３０３は、光電変換部３０２からの信号に対し、相関二重サンプリングを行うことでノイズを除去するものである。このＣＤＳ３０３によりノイズが除去された信号はＡＦＥ３０４に出力される。
ＡＦＥ３０４は、ＣＤＳ３０３からの信号に対し、信号電荷のＡ／Ｄ変換とゲインコントロールを行うものである。このＡＦＥ３０４によりＡ／Ｄ変換・ゲインコントロールされたデジタル信号は映像信号処理ＤＳＰ部３０５に出力される。
【００２１】
映像信号処理ＤＳＰ部３０５は、ＡＦＥ３０４からのデジタル信号に画像処理を施し、映像のフォーマットを行うものである。この映像信号処理ＤＳＰ部３０５により処理された映像データは映像信号出力部３０９に出力される。
タイミングジェネレータ３０６は、光電変換部３０２の電荷転送タイミングを規定する機能を有するものである。
【００２２】
マイクロプロセッサ３０７は、撮像装置３の各種制御を行うものであり、顔画像信号処理部３０７ａを有している。
顔画像信号処理部３０７ａは、映像信号処理ＤＳＰ部３０５により処理された映像データから通行人の２次元顔画像データを抽出し、顔の特徴部位（目鼻口）の座標位置を特定するものである。この顔画像信号処理部３０７ａにより特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。
【００２３】
メモリ回路３０８は、マイクロプロセッサ３０７による制御に必要な情報を記憶しておくためのものである。
映像信号出力部３０９は、映像信号処理ＤＳＰ部３０５からの映像データを所定のフォーマットに変換し、ネットワークレコーダ５に出力するものである。
【００２４】
次に、図１における顔認証リーダ装置４の動作概念について、図３を参照しながら説明する。なお、図３（ａ）は顔認証リーダ装置４をレーザ送受信面（Ａ面）から見た状態を示し、図３（ｂ）は顔認証リーダ装置４を裏面（Ｂ面）から見た状態を示している。
顔認証リーダ装置４では、図３に示すように、レーザ送受信部３１から対象物である通行人の顔３２に対してスキャン軌跡３３〜３７でレーザを入反射させることで、顔３２の３次元形状を測定する。
【００２５】
次に、顔認証リーダ装置４の機能ブロックについて、図４を参照しながら説明する。
顔認証リーダ装置４は、図４に示すように、レーザ光源４０１、正弦波発振器４０２、光変調部４０３、ビームスプリッタ４０４、スキャナ部４０５、スキャナモータ制御部４０６、レンズ光学系４０７、光検出器４０８，４０９、ネットワークアナライザ４１０、マイクロプロセッサユニット４１１およびメモリ回路４１２から構成されている。
【００２６】
レーザ光源４０１は、レーザとして赤外線（１０００波長λ：１［μｍ］超の光）を発光するものである。なお、レーザ光源として、例えばＹＡＧ（Ｙｔｔｒｉｕｍ  Ａｌｕｍｉｎｕｍ  Ｇａｒｎｅｔ）レーザ（発振周波数帯：１．０５２〜１．１２３［μｍ］，１．０６４［μｍ］，１．３１９〜１．４４４［μｍ］）や、Ｈｅ−Ｎｅレーザ（発振周波数帯１．１５〜３．３９［μｍ］）を用いると、高出力・高効率で安定性の良い発振レーザが得られる。このレーザ光源４０１により発光されたレーザは光変調部４０３に出力される。
【００２７】
正弦波発振器４０２は、正弦波を発振するものである。この正弦波発振器４０２により発振された正弦波は光変調部４０３に出力される。
光変調部４０３、レーザ光源４０１からのレーザに対して、正弦波発振器４０２からの正弦波を用いて、特定の周波数でＦＤＭＡ（Ｆｒｅｑｕｅｎｃｙ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ：周波数分割多重）により光多重変調を行うものである。この光変調部４０３により光多重変調されたレーザはビームスプリッタ４０４に出力される。
【００２８】
ビームスプリッタ４０４は、表面に誘電体多層膜コーティングが施され、光変調部４０３からのレーザのうち透過光と反射光の比率を制御して、外部（通行人の顔３２）へ照射するレーザ成分と内部リファレンス用のレーザ成分とに分割するものである。このビームスプリッタ４０４により分離された照射用のレーザはスキャナ部４０５に出力され、内部リファレンス用のレーザは光検出器４０８に出力される。
【００２９】
スキャナ部４０５は、ビームスプリッタ４０４からの照射用のレーザの照射方向を決定するものである。
スキャナモータ制御部４０６は、スキャナ部４０５から射出されるレーザのビーム方向を決めるため、スキャナ部４０５の回転制御を行うものである。
レンズ光学系４０７は、スキャナ部４０５により照射され、顔３２で反射されたレーザを集光し、受光部の光強度を保つためのものである。このレンズ光学系４０７により集光されたレーザは光検出器４０９に出力される。
【００３０】
光検出器４０８は、ビームスプリッタ４０４からの内部リファレンス用のレーザを電気信号に光電変換するものである。この光検出器４０８により光電変換された信号はネットワークアナライザ４１０に出力される。
光検出器４０９は、レンズ光学系４０７からのレーザを電気信号に光電変換するものである。この光検出器４０９により光電変換された信号はネットワークアナライザ４１０に出力される。
【００３１】
ネットワークアナライザ４１０は、経路１（レーザ光源４０１→ビームスプリッタ４０４→光検出器４０８）及び経路２（レーザ光源４０１→ビームスプリッタ４０４→スキャナ部４０５→通行人の顔３２→レンズ光学系４０７→光検出器４０９）から入力された各々の信号の周波数特性及び位相差特性を測定可能なものである。このネットワークアナライザ４１０により測定された周波数特性及び位相差特性を示す情報はマイクロプロセッサユニット４１１に出力される。
【００３２】
マイクロプロセッサユニット４１１は、ネットワークアナライザ４１０からの周波数特性及び位相差特性を示す情報に基づいて、通行人の顔の３次元形状を算出するものである。そして、この３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。このマイクロプロセッサユニット４１１により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。
【００３３】
メモリ回路４１２は、３次元形状測定中に必要な情報（周波数ｆｉ，位相差φｉ，座標（ｘｉ，ｙｉ））（ｉ＝１，２，３・・・）を一時的に記憶しておくためのものである。
【００３４】
次に、上記のように構成された入退室監視システムの動作の流れについて、図５を参照しながら説明する。
入退室監視システムの動作において、図５に示すように、まず、システム動作のトリガとしては、通行人によりＩＣカードリーダ装置２に所定のＩＣカードがかざされ、ＩＣカードリーダ装置２により当該ＩＣカードに登録されている個人情報の読み取りが完了されることが条件となる（ステップＳＴ５０１）。このＩＣカードリーダ装置２により読み取られた個人情報はＰＣ７に出力される。
【００３５】
上記トリガ条件が満たされると、撮像装置３が起動を開始する。そして、回転台カメラの場合にはオートズーム・オートフォーカスにより対象となる顔が画面に適正なサイズに収まるように画角・ピント調整制御を行う（ステップＳＴ５０２）。その後、撮像装置３は監視対象の通行人の顔を撮像して２次元画像（映像データ）を生成する。
【００３６】
次いで、生成した映像データに対し、顔画像信号処理部３０７ａで、輪郭抽出フィルタとして、例えば式（１），（２）の行列式で表されるラプラシアンフィルタ（空間フィルタ）、たたみ込み処理式を利用して、輪郭線を抽出し、２次元顔画像データを抽出する（ステップＳＴ５０３）。
2013250856.tif 000003
ただし、ｎ１，ｎ２は２次元画面上の各軸方向の座標位置、Ｎ１，Ｎ２はラプラシアンフィルタの行列要素数を示す。
【００３７】
次いで、顔画像信号処理部３０７ａは、現画像ｘ（ｎ１，ｎ２）に対してラプラシアンフィルタで循環たたみこみにより輪郭抽出したｙ（（ｎ１，ｎ２））の各座標点から、顔の特徴部位（目鼻口）の座標位置を特定する（ステップＳＴ５０４）。この顔画像信号処理部３０７ａにより特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。
【００３８】
次いで、上記特徴部位抽出データを受けてＰＣ７は、ＩＣカード登録情報ＤＢ１０に保存されている情報と特徴部位抽出データとの対応点探索比較を行う（ステップＳＴ５０５）。すなわち、ＩＣカードリーダ装置２により読み取られた個人情報を基にＩＣカード登録情報ＤＢ１０から該当する２次元顔情報を抽出し、当該２次元顔情報と特徴部位抽出データとの対応点探索比較を行う。
次いで、ＰＣ７は、対応点探索比較結果から得られる照合スコアを算出する（ステップＳＴ５０６）。
【００３９】
一方で、上記トリガ条件が満たされると、顔認証リーダ装置４も起動を開始する（ステップＳＴ５０７）。その後、顔認証リーダ装置４は監視対象の通行人の顔の３次元形状を測定する。
【００４０】
ここで、図３のスキャン軌跡３４の片道距離をＬ１、変調周波数をｆ１、光速をＣとすると、ビームスプリッタ４０４で分光された光信号の位相差φ１は次式（３）を満たす。
2013250856.tif 000004
ただし、Ｍは整数であり、光の伝播経路の屈折率を１としている。
また、変調周波数をｆ２（＝２ｆ１）としてネットワークアナライザ４１０でφ２を測定すれば、φ２は次式（４）を満たす。
2013250856.tif 000005
【００４１】
そして、式（３），（４）を連立すれば、スキャン軌跡３４の片道距離Ｌ１を算出することが可能である。その後、スキャン軌跡３５以降の距離に関しても幾つかの変調周波数ｆを変化させて位相差φを測定することで任意の座標（Ｘｉ，Ｙｊ）に対する距離Ｌｉ，ｊを算出し、通行人の顔の３次元顔形状データ（Ｘｉ，Ｙｉ，Ｌｉ，ｊ）を生成する（ステップＳＴ５０８）。
【００４２】
次いで、顔認証リーダ装置４は、生成した３次元顔形状データ（Ｘｉ，Ｙｉ，Ｌi，ｊ）から、顔の特徴部位（目鼻口）の座標位置を特定する（ステップＳＴ５０９）。この際、顔認証リーダ装置４は、対応座標の高さ情報または微分係数を利用することで、顔の特徴部非の座標位置を特定する。この顔認証リーダ装置４により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ７に出力される。
【００４３】
次いで、上記特徴部位抽出データを受けてＰＣ７は、ＩＣカード情報登録ＤＢ１０に保存されている情報と特徴部位抽出データとの形状差分比較を行う（ステップＳＴ５１０）。すなわち、ＩＣカードリーダ装置２により読み取られた個人情報を基にＩＣカード登録情報ＤＢ１０から該当する３次元顔情報を抽出し、当該３次元顔情報と特徴部位抽出データとの形状差分比較を行う。
次いで、ＰＣ７は、形状差分比較結果から得られる照合スコアを算出する（ステップＳＴ５１１）。
【００４４】
次いで、ＰＣ７は、ステップＳＴ５０６における２次元画像を用いた照合結果とステップＳＴ５１１における３次元形状測定結果を用いた照合結果とを融合して融合スコアＣＴを算出し（ステップＳＴ５１２）、閾値スコアＴｈとの比較を行う（ステップＳＴ５１３）。
【００４５】
このステップＳＴ５１３において、融合スコアＣＴが閾値スコアＴｈより上回っている場合には、ＰＣ７は通門開放信号をドア開閉コントローラ８に通知し、それを受けてドア開閉コントローラ８は自動ドア１を開く（ステップＳＴ５１４）。
一方、ステップＳＴ５１３において、融合スコアＣＴが閾値スコアＴｈより下回っている場合には、ＰＣ７はアラームをネットワークレコーダ５に通知し、ドア開閉コントローラ８は自動ドア１を閉じた状態を維持する（ステップＳＴ５１５）。
【００４６】
また、入退室時にＩＣカードリーダ装置２により読み取られた個人情報や認証時刻、撮像装置３から配信された映像データ、ＰＣ７により得られた融合スコア結果ＣＴ、２次元顔情報や３次元顔情報は、構造データとしてネットワークレコーダ５に記録保存される。これにより、管理者がログを管理し、不正入室の実態調査を行うことが可能となる。
【００４７】
以上のように、この実施の形態１によれば、入退室監視システムにおいて、ＩＣカードリーダ装置２にて監視対象の人物が保持しているＩＣカードの個人情報を読み取り、顔認証リーダ装置４にて赤外線を人物に照射しその反射光を検出することで当該人物の３次元形状を測定し、撮像装置３にて当該人物を撮像して２次元画像を生成し、当該個人情報に基づいて、３次元形状測定結果による照合および２次元画像による照合を組み合わせて認証を行うように構成したので、簡易かつ低コストな構成で、より高精度なセキュリティー認証システムを実現することが可能となる。
すなわち、３次元形状測定結果による照合および２次元画像による照合を組み合わせることで、例えば認証者の顔の向きが正面からずれていた場合にその向きを補正して認証することが可能となる。また、可視光以外の赤外光を撮像して３次元形状測定に用いることで、外部環境の照明（輝度）変化の影響の少ない正確な認証を行うことが可能となる。また、３次元形状測定結果による照合および２次元画像による照合を組み合わせることで、従来に対して、より複数のパラメータ（縦、横、高さ、輝度信号、色差信号）を用いて顔部位の特徴パターンから照合することが可能となる。また、上記パラメータのように認証時の情報量が増加するため、様々な表情パターンをＤＢ登録しておき、認証することが可能となる。
【００４８】
実施の形態２．
図６はこの発明の実施の形態２に係るキャッシュサービス（ＡＴＭ）監視システムの構成を示す図である。
キャッシュサービス（ＡＴＭ）監視システムは、図６に示すように、ＡＴＭ機器１１、撮像装置１２、ネットワークレコーダ１３、スイッチングＨＵＢ１４およびＰＣ（認証装置、制御装置）１５から構成されている。
【００４９】
ＡＴＭ機器１１は、銀行、デパートやコンビニなどの場所に設置されるものであり、ＩＣカードリーダ装置１６、暗証番号入力キー１７、顔認証リーダ装置（３次元形状測定装置）１８、生体認証センサ（生体認証装置）１９および出入金口２０を有している。
【００５０】
ＩＣカードリーダ装置１６は、キャッシュサービスの利用者により銀行預金カードなどのキャッシュカード（ＩＣカード）が挿入されることで、当該ＩＣカードに登録された個人情報（顔情報）を読み取るものである。このＩＣカードリーダ装置１６により読み取られた個人情報はＰＣ１５に出力される。また、個人情報やその際の認証時刻はネットワークレコーダ１３に出力される。
【００５１】
暗証番号入力キー１７は、キャッシュサービスの利用者がＩＣカードに登録された暗証番号を解除するためのものである。
【００５２】
顔認証リーダ装置１８は、赤外線（波長λ：８３０［ｎｍ］超の光）または可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有する２つの撮像部を有し、ＩＣカードリーダ装置１６による個人情報の読み取りが完了したことを契機に、監視対象の利用者の顔の３次元形状を測定するものである。実施の形態２では、２つの撮像部による視差画像の対応点から３次元形状を測定する手法（ステレオ画像法）について示す。なお、顔認証リーダ装置１８において、本発明の実施の形態１の３次元形状測定手法を用いることも可能である。
そして、顔認証リーダ装置１８では、測定した３次元形状から顔の特徴部位（目鼻口）の座標位置を特定する。この顔認証リーダ装置１８により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ１５に出力される。
【００５３】
生体認証センサ１９は、ＰＣ１５における２次元画像による照合および３次元形状測定結果による照合の後、利用者の個人固有の生体（虹彩、静脈、指紋など）情報を識別するものである。この生体認証センサ１９により識別された利用者の生体情報はＰＣ１５に出力される。
出入金口２０は、お金の引き出し・預け入れを行うためのものであり、ＰＣ１５により制御されるものである。
【００５４】
撮像装置１２は、可視光領域（波長λ：３６０［ｎｍ］超８３０［ｎｍ］以下の光）に対して最大感度を有し、ＩＣカードリーダ装置１６による個人情報の読み取りが完了したことを契機に、監視対象の利用者の顔を撮像して２次元画像（映像データ）を生成するものである。
そして、撮像装置１２では、生成した映像データから顔の特徴部位（目鼻口）の座標位置を特定する。この撮像装置１２により特定された特徴部位の座標位置を示す特徴部位抽出データはＰＣ１５に出力される。また、映像データはネットワークレコーダ１３に配信される。
【００５５】
ネットワークレコーダ１３は、キャッシュサービスの利用者が金銭の引き出しや預け入れを行う際にＩＣカードリーダ装置１６により読み取られた個人情報やその際の認証時刻、撮像装置１２から配信された映像データ、ＰＣ１５により得られた融合スコア結果、利用者の２次元顔情報や３次元顔情報等の情報を記録する機能を有するものである。
スイッチングＨＵＢ１４は、汎用のＨＵＢであり、各システム構成機器を並列的に組み合わせるために用いるものである。
【００５６】
ＰＣ１５は、監視システム機器構成設定、カメラ設定やレコーダ（再生・記録）設定を行うとともに、ＩＣカードリーダ装置１６からの個人情報に基づいて、撮像装置１２および顔認証リーダ装置１８からの特徴部位抽出データや生体認証センサ１９からの生体情報を用いて、ＡＴＭ機器１１の出金・入金の管理を行うものである。すなわち、ＰＣ１５は、ＩＣカードリーダ装置１６からの個人情報に基づいて、ネットワーク（ＷＡＮ・ＬＡＮ）回線網２１を経由して接続可能なサーバ上のＩＣカード情報登録ＤＢ２２に保存されている該当する２次元顔情報・３次元顔情報を抽出する。そして、当該２次元顔情報と撮像装置１２からの特徴部位抽出データとの照合、当該３次元顔情報と顔認証リーダ装置１８からの特徴部位抽出データとの照合を行う。そして、これらの照合結果と、生体認証センサ１９からの生体情報に基づく照合結果とを融合して融合スコアを算出する。そして、融合スコア結果を基にＡＴＭ機器１１への出金・入金の管理を行う。また、ＰＣ１５により得られた融合スコア結果、２次元顔情報および３次元顔情報はネットワークレコーダ１３に出力される。
【００５７】
次に、図６における顔認証リーダ装置１８の動作概念について、図７を参照しながら説明する。なお、図７（ａ）は顔認証リーダ装置１８を受光面（Ａ面）から見た状態を示し、図７（ｂ）は顔認証リーダ装置１８を裏面（Ｂ面）から見た状態を示している。
顔認証リーダ装置１８では、図７（ａ）に示すように、受光部（撮像部）７１を２つ有し、それぞれ利用者の顔７２を撮像して２次元画像を生成する。なお、受光部７１間の距離はＲである。そして、両撮像部により生成された２次元画像から、対応点を顔面全体に対して探索することで顔７２の３次元形状を測定する。
【００５８】
ここで、図８は図７に示す点Ｐ（ｘ，ｙ，ｚ）の座標算出概念図である。この図８より、点Ｐ（ｘ，ｙ，ｚ）は以下の式（５）〜（７）または式（８）〜（１０）から算出することが可能である。ただし、図８において、Ｘａ’Ｙａ’平面およびＸｂ’Ｙｂ’平面はそれぞれ顔認証リーダ装置１８の撮像部による撮像面、ｆはレンズ中心の光軸の位置でレンズ中心から撮像面までの焦点距離を示す。
2013250856.tif 000006
【００５９】
次に、上記のように構成されたキャッシュサービス（ＡＴＭ）監視システムの動作の流れについて、図９を参照しながら説明する。
なお、ステップＳＴ９０１〜ＳＴ９０７は実施の形態１におけるステップＳＴ５０１〜ＳＴ５０７とほぼ同等はであることから説明は省略とする。
【００６０】
その後、顔認証リーダ装置１８は、３次元形状測定において、前記の式（５）〜（７）または式（８）〜（１０）を利用してＰ（ｘ，ｙ，ｚ）を算出する方法を用い、顔面全体を通して２つの撮像部の対応点の位置関係から顔の各点の座標を算出する（ステップＳＴ９０８）。
なお、ステップＳＴ９０９〜ＳＴ９１１は実施の形態１におけるステップＳＴ５０９〜ＳＴ５１１とほぼ同等はであることから説明は省略とする。
【００６１】
その後、ステップＳＴ９０６における２次元画像を用いた照合結果とステップＳＴ９１１における３次元形状測定結果を用いた照合結果が得られた後に、生体認証センサ１９は虹彩認証、静脈認証、指紋認証等の生体情報を識別し（ステップＳＴ９１２）、ＰＣ１５はＩＣカード情報登録ＤＢ２２に保存されている情報と生体情報との照合を行う（ステップＳＴ９１３）。すなわち、ＩＣカードリーダ装置１６により読み取られた個人情報を基にＩＣカード登録情報ＤＢ２２から該当する生体情報を抽出し、照合を行う。
【００６２】
次いで、ＰＣ１５は、ステップＳＴ９０６，ＳＴ９１１，ＳＴ９１３における照合結果を融合して融合スコアＣＴを算出し（ステップＳＴ９１４）、閾値スコアＴｈとの比較を行う（ステップＳＴ９１５）。
【００６３】
このステップＳＴ９１５において、融合スコアＣＴが閾値スコアＴｈより上回っている場合には、ＰＣ１５は出金・入金可能指示をＡＴＭ機器１に通知し、利用者は入金出金を行うことが可能となる（ステップＳＴ９１６）。
一方、ステップＳＴ９１５において、融合スコアＣＴが閾値スコアＴｈより下回っている場合には、ＰＣ１５はアラームをネットワークレコーダ１３に通知し、利用者は入金出金を行うことができない（ステップＳＴ９１７）。
【００６４】
また、キャッシュサービスの利用時にＩＣカードリーダ装置１６により読み取られた個人情報や認証時刻、撮像装置１２から配信された映像データ、ＰＣ１５により得られた融合スコア結果ＣＴ、２次元顔情報や３次元顔情報は、構造データとしてネットワークレコーダ１３に記録保存される。これにより、管理者がログを管理し、不正引き出しを検挙可能となる。
【００６５】
以上のように、この実施の形態２によれば、キャッシュサービス（ＡＴＭ）監視システムにおいて、ＩＣカードリーダ装置１６にて監視対象の人物が保持しているＩＣカードの個人情報を読み取り、顔認証リーダ装置１８にて２つの撮像部の視差画像から当該人物の３次元形状を測定し、撮像装置１２にて当該人物を撮像して２次元画像を生成し、当該個人情報に基づいて、３次元形状測定結果による照合および２次元画像による照合、生体情報による照合を組み合わせて認証を行うように構成したので、実施の形態１と同様に、簡易かつ低コストな構成で、より高精度なセキュリティー認証システムを実現することが可能となる。
【００６６】
なお、本発明の監視システムとして、実施の形態１ではフロアへ入退室する人物を監視する入退室監視システムを示し、実施の形態２では、キャッシュサービスを利用する人物を監視するキャッシュサービス（ＡＴＭ）監視システムを示したが、これらに限るものではなく、その他の監視システム（例えば、入国管理システム（駅・空港）、高機密国家機関・企業管理システム（政府、警察、軍事・防衛施設、学術機関等）、ホームセキュリティシステム、携帯電話（スマートフォン）待ち受け認証システムなど異国、施設、建物、システムへの侵入の際に個人の特定が必要となる高度なセキュリティシステム）に対しても同様に適用可能である。
【００６７】
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６８】
１  自動ドア、２，１６  ＩＣカードリーダ装置、３，１２  撮像装置、４，１８  顔認証リーダ装置（３次元形状測定装置）、５，１３  ネットワークレコーダ、６，１４  スイッチングＨＵＢ、７，１５  ＰＣ、８  ドア開閉コントローラ、９，２１  ネットワーク回線網、１０，２２  ＩＣカード情報登録ＤＢ、１１  ＡＴＭ機器、１７  暗証番号入力キー、１９  生体認証センサ、２０  出入金口、３１  レーザ送受信部、３２，７２  顔、３３〜３７  スキャン軌跡、７１  受光部、３０１  レンズ、３０２  光電変換部、３０３  ＣＤＳ、３０４  ＡＦＥ、３０５  映像信号処理ＤＳＰ部、３０６  タイミングジェネレータ、３０７  マイクロプロセッサ、３０７ａ  顔画像信号処理部、３０８  メモリ回路、３０９  映像信号出力部、４０１  レーザ光源、４０２  正弦波発振器、４０３  光変調部、４０４  ビームスプリッタ、４０５  スキャナ部、４０６  スキャナモータ制御部、４０７  レンズ光学系、４０８，４０９  光検出器、４１０  ネットワークアナライザ、４１１  マイクロプロセッサユニット、４１２  メモリ回路。
【図１】
2013250856.tif 000007
【図２】
2013250856.tif 000008
【図３】
2013250856.tif 000009
【図４】
2013250856.tif 000010
【図５】
2013250856.tif 000011
【図６】
2013250856.tif 000012
【図７】
2013250856.tif 000013
【図８】
2013250856.tif 000014
【図９】
2013250856.tif 000015