(57)【要約】【課題】  個人認証の性能と快適性のバランス、また環境変動に対する強さなどを状況に応じて調整可能とし、もって利便性を向上させること。【解決手段】  被認証者の顔画像を入力する顔画像入力部４１、前記顔画像から特徴情報を抽出する特徴抽出部４２、４３、認証用顔画像登録情報と前記被認証者に固有な識別情報とを対応付けて記憶する認証情報記憶部４５、前記特徴情報と前記認証要登録情報とを照合する照合部４４、前記被認証者から識別情報を取得する識別情報取得部、および、前記照合部が照合を行った結果、前記特徴情報に対応する前記認証用登録情報を特定できなかった場合に、前記識別情報取得部によって取得された識別情報に対応する認証用顔画像登録情報を前記認証情報記憶部から抽出し、この抽出された認証用顔画像登録情報と前記特徴情報とを用いて前記照合部に再度照合を行わせる再照合制御部、を備えることを特徴とする。【選択図】  図１３
2005149527.tif 000002
【特許請求の範囲】
【請求項１】
被認証者の顔画像を入力する顔画像入力部、
前記顔画像から特徴情報を抽出する特徴抽出部、
認証用顔画像登録情報と前記被認証者に固有な識別情報とを対応付けて記憶する認証情報記憶部、
前記特徴情報と前記認証要登録情報とを照合する照合部、
前記被認証者から識別情報を取得する識別情報取得部、および、
前記照合部が照合を行った結果、前記特徴情報に対応する前記認証用登録情報を特定できなかった場合に、前記識別情報取得部によって取得された識別情報に対応する認証用顔画像登録情報を前記認証情報記憶部から抽出し、この抽出された認証用顔画像登録情報と前記特徴情報とを用いて前記照合部に再度照合を行わせる再照合制御部、
を備える顔認証装置。
【請求項２】
前記識別情報取得部は、所定領域内に存在する無線タグから前記識別情報を受信する無線受信部を備えることを特徴とする請求項１に記載の顔認証装置。
【請求項３】
前記識別情報取得部は、前記認証者が前記識別情報を入力する手段を備えることを特徴とする請求項１に記載の顔認証装置。
【請求項４】
前記識別情報は、前記被認証者固有のＩＤデータであることを特徴とする請求項２または３に記載の顔認証装置。
【請求項５】
被認証者の認証用顔画像登録情報を前記被認証者固有のＩＤデータと対応付けて記憶する記憶ステップと、
前記被認証者の顔画像を入力する第1入力ステップと、
この第1入力ステップにて入力された前記被認証者の顔画像と前記認証用顔画像登録情報とを照合する第1照合ステップと、
この第1照合ステップにて認証されなかった場合、前記被認証者のＩＤデータ並びに顔画像を入力する第２入力ステップと、
前記認証要顔画像登録情報から前記第２入力ステップにて入力されたＩＤデータに対応する前記認証用顔画像登録情報を抽出し、この登録情報と前記第２入力ステップにて入力された前記被認証者の顔画像とを再照合する第２照合ステップとを具備することを特徴とする顔認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔画像を用いた顔認証装置および顔認証方法に関する。
【背景技術】
【０００２】
これまで生体情報から個人を認証する認証技術はより高度なセキュリティの実現を目指して様々な分野にわたって研究が行われてきた。中でも画像処理技術を用いた顔画像認識による個人認証システムは、認証に必要な生体情報の入力のために対象とする人物に時間や手間をほとんどかけさせないという快適性によって注目されている。しかし顔画像認識は他の虹彩、指紋などの生体情報を使用する認識に比べて快適性では勝っているものの認識性能において劣っており、このことが個人認証システムへの適用の障害となってきた。顔画像認識を用いて高度なセキュリティを実現するためには本人を識別する率（本人通過率）と本人以外の人物を拒絶する率（他人排除率）が共に十分な高さを維持していなくてはならない。
【０００３】
しかし現在の顔画像認識では被認証者の画像と登録情報を所定の特徴空間で比較・照合して類似度を求め、その類似度が所定の閾値を超えているか否かで被認証者が当該登録情報の人物であるか否かを判定することが一般的であるが、判定の基準となる閾値を固定すると少なくとも前述のどちらかの率の一方において十分な高さを得られないという不都合が発生する。
【０００４】
例えば他人排除率と本人通過率の関係は図２０で示すようになり、（Ａ）のように閾値を高く設定すれば他人が通過する率は低くなるが同時に本人が拒絶されることがあり、（Ｂ）のように閾値を低く設定すれば本人は必ず通過できても他人も通過することがある。即ちセキュリティの高さと正規利用者が拒否されないことを含んだ快適性とを共に十分達成することが従来の顔画像認識を用いた個人認証システムでは困難であった。なお生体情報の入力における快適性では顔画像に及ばないが、生体情報として音声を対象とした認証においても上記と同様の問題が発生する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述のように従来の顔や音声による生体情報認証では本人通過率と他人排除率の双方を十分高く保つことは困難であり、さらに照明や雑音などの環境条件に対する強さなども含めると、単一の認証論理のみを用いて十分な認証性能と快適さを持つ個人認証システムを実現することは難しかった。
【０００６】
本発明はこの様な問題点に鑑みて成されたものであり、その目的とするところは個人認証の性能と快適性のバランス、また環境変動に対する強さなどを状況に応じて調整可能とし、もって利便性を向上させたシステムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明においては、被認証者の顔画像を入力する顔画像入力部、前記顔画像から特徴情報を抽出する特徴抽出部、認証用顔画像登録情報と前記被認証者に固有な識別情報とを対応付けて記憶する認証情報記憶部、前記特徴情報と前記認証要登録情報とを照合する照合部、前記被認証者から識別情報を取得する識別情報取得部、および、前記照合部が照合を行った結果、前記特徴情報に対応する前記認証用登録情報を特定できなかった場合に、前記識別情報取得部によって取得された識別情報に対応する認証用顔画像登録情報を前記認証情報記憶部から抽出し、この抽出された認証用顔画像登録情報と前記特徴情報とを用いて前記照合部に再度照合を行わせる再照合制御部、を備えることを特徴とするものである。
【０００８】
更に上記目的を達成するために本発明においては、被認証者の認証用顔画像登録情報を前記被認証者固有のＩＤデータと対応付けて記憶する記憶ステップと、前記被認証者の顔画像を入力する第1入力ステップと、この第1入力ステップにて入力された前記被認証者の顔画像と前記認証用顔画像登録情報とを照合する第1照合ステップと、この第1照合ステップにて認証されなかった場合、前記被認証者のＩＤデータ並びに顔画像を入力する第２入力ステップと、前記認証要顔画像登録情報から前記第２入力ステップにて入力されたＩＤデータに対応する前記認証用顔画像登録情報を抽出し、この登録情報と前記第２入力ステップにて入力された前記被認証者の顔画像とを再照合する第２照合ステップとを具備することを特徴とするものである。
【発明の効果】
【０００９】
本発明によれば、安全性と快適性を高い水準で兼ね備えるセキュリティシステムを実現することが困難であった従来の生体情報認証方法を利用して、安全性と快適性のバランスを制御することによる利便性を実現する新たなシステムを提供することができる。また本発明では被認証者の周囲の環境変動を検知してそれに応じた最適な認証方法を選択することによって、総合的に認識率の低下を防ぐシステムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
まず本発明に係わる生体情報認証装置とその方法の実施例を図面に従って説明する。ここでは生体情報として顔画像を用いた認証の実施例について述べる。
【００１１】
本発明における生体情報認証装置の基本的構造を示したブロック様式を図１に示す。生体情報受理部Ａは被認証者から認証に必要な入力生体情報を取得する手段であり、基本的な構成要素は画像入力部１と顔検出部２、特徴抽出部３の３つである。画像入力部１は被認証者の顔画像を含むある一定領域の画像を取得し、その入力画像情報をデジタルデータとして顔検出部２へ伝送する処理手段である。顔検出部２は画像入力部１から送られた入力画像情報を解析することによって顔画像が含まれているかどうかを判断し、含まれている場合には顔画像情報を抽出して特徴抽出部３へ送る処理手段である。特徴抽出部３は入力画像情報中の顔画像における特徴量をモード管理部Ｃによって選択された特徴抽出アルゴリズムによって算出し、その結果を生体特徴情報として照合部４へ送る処理手段である。
【００１２】
識別部Ｂは被認証者が登録されている人物に含まれているか、またどのカテゴリに分類されるのか判断する手段であり、照合部４と認証情報記憶部５から成っている。照合部４はモード管理部Ｃから送られるモード制御情報によって決定される識別方法を用いて生体情報受理部Ａから送られる生体特徴情報と登録されている認証用登録情報を照合して類似度を求め、被認証者が登録された人物のどれかと一致しているか識別する処理手段である。認証情報記憶部５は照合部４が類似度を求める際に使用される認証用登録情報を記憶しておく処理手段であり、照合部４が識別を行う際には認証用登録情報をそこへ伝送する。
【００１３】
モード管理部Ｃは照合部４が被認証者の生体特徴情報を登録情報と照合して識別する際に使用する識別方法を管理／制御する手段であり、様々な情報に基づいて識別方法を決定しその結果をモード制御情報として照合部４に伝送する処理手段、すなわちモード決定部６を持っている。これによってシステムは認証性能と快適性を制御することになり被認証者の利便性を向上させることができる。
【００１４】
前記モード管理手段による認証論理の管理／制御パターンの例として以下の５つが挙げられる。
【００１５】
（１）時間によるモードの制御。
【００１６】
（２）センサによって感知される情報に基づくモードの制御。
【００１７】
（３）入力画像に含まれる環境情報に基づくモードの制御。
【００１８】
（４）管理者および被認証者による外部からの操作によるモードの制御。
【００１９】
（５）複数種の異なる生体情報について、認証に使用するために被認証者からどれを取得するのか選択するモードの制御。
【００２０】
（６）生体情報と非生体認証情報について、認証に使用するために被認証者からどちらを取得するのか選択するモードの制御。
【００２１】
（１）〜（３）は生体情報認証装置の中にモードを制御するための情報を自動的に収集する何らかの手段を持ち、モード管理部Ｃがその情報を基にモードの制御を行うシステムである。この様なモード制御の方式を自動モード制御と呼ぶ。（４）は生体情報認証装置の中に管理者および被認証者がモード管理部Ｃに対してモードの制御を指示するための命令を送るための外部入力装置を含んでいることが特徴である。モード管理部Ｃはここから送られる情報に基づいてモードを決定し各部に伝達する。この様なモード制御の方式を手動モード制御と呼ぶ。（１）〜（４）はモード管理部がモードを決定するための要素となる情報に注目した実施例であるが、（５）、（６）は認証に利用するために被認証者からどのような入力情報を取得するかを、モード管理部によって制御する実施例である。（１）〜（６）の認証モード制御機構それぞれについてその実施例を示す。
【００２２】
（実施例１）
最初の実施例は（１）の時間モード制御である。この場合モード管理手段はあらかじめ設定された時刻がくると識別手段に対してそれまでとは別のある決められた識別方法に切り替えるような命令（モード制御情報）を出す。つまり識別手段は予め設定された時間帯によって異なる識別方法を用いた識別作業を行うことができる。
【００２３】
ここでは前記時間モード制御システムを取り入れた生体情報認証装置について説明する。
【００２４】
認証を判定するための閾値に対する本人通過率および他人排除率の変動（図２０；山口  修、福井  和広：“動画像を用いた顔認識システム”，ＰＲＭＵ９７−５０，ｐｐ．１７−２４（１９９７））を見ても分かるように、閾値をどこに設定しても双方を十分高く固定することは不可能である。そこでどちらか一方について十分な高さを得られる閾値を二つ設定する。本実施例では“本人通過率は高いが他人排除率はやや低い”閾値設定１（本人利便モード）と“本人通過率はやや低いが他人排除率は高い”閾値設定２（安全優先モード）の２つを用意する。
【００２５】
これらのモードを時間帯によって交替させることによって、昼は快適性、夜は安全性を重視したセキュリティシステムを実現する。（図２）時間制御モードにおいてモード管理部Ｃは本人を識別するために必要な閾値を、時間帯によって２通りに分けて制御することができる。閾値設定１はそれほど高い安全性を求められていない昼に使用され、閾値設定２は十分な安全性を得る必要のある夜に利用される。これはモード管理部Ｃが人間によって意図的に操作されること無く閾値を変更することで成り立っており、この様なモード制御を自動モード制御と呼ぶ。これら２つの閾値設定を使い分けることによって実現するセキュリティシステムの処理の流れを、図３のフローチャートを参照しながら説明する。
【００２６】
画像入力部１は被認証者の顔をとらえるよう考慮して設置されたカメラを用いて画像情報を取得し、顔検出部２へ伝送する。顔検出部２では入力画像中に顔が検出された場合のみ検出された顔画像情報を特徴抽出部３へ送る（ステップＳ１）。特徴抽出部３では送られた顔画像情報を解析して取得した特徴量を生体特徴情報として照合部４へ送る。モード決定部６は作動している時間帯が昼であれば本人利便モードを、夜であれば安全優先モードで識別を行うよう照合部４に指令を出す（ステップＳ２）。照合部４は特徴抽出部３から送られる生体特徴情報と認証情報記憶部５から送られる認証登録情報の双方を照合することによって特徴類似度を求め、その類似度の中で最大のものがモード決定部６からの指示に従って選択された閾値設定を越えているか否かによって識別を行い、結果を出力する（ステップＳ３）。本実施例では２つのモードの切り替えについて述べたが、モードは２つに限定するものではなく３つ以上の複数でもよい。このことは以下の実施例（２）〜（４）についても同様である。
【００２７】
（実施例２）
顔画像認識は照明条件の変動に対して十分ロバストでなく、照明変動にロバストに作成された特徴抽出アルゴリズムはそうでないものより基準となる照明条件の下での認証性能が低いという問題がある。そこで新たに照度センサを設け、このセンサによって照明の強度を感知し、強度に応じて特徴抽出アルゴリズムを照明にロバストなものに切り替える前記（２）に該当するモード制御例を導入する。この様なモード制御を実現した例が次に説明する本発明に係る第２の実施例である。
【００２８】
本実施例装置は認証項目を顔画像とし、照明条件に対する性質の異なる２つの特徴抽出方法を用いて照明にロバストな生体情報認証装置を構成する。２つの特徴抽出方法とは、“基準となる照明強度においては十分高い認識率を達成できるが、それ以外では認識率が良くない”アルゴリズム１と、“基準となる照明強度においてはアルゴリズム１より認識率は落ちるが、それ以外ではより高い認識率を可能にできる”アルゴリズム２である。それぞれを用いた場合の認証を通常モード、照明ロバストモードとする。（図４）ここで上記アルゴリズム１とアルゴリズム２について説明する。
【００２９】
ある照明条件下で人物の顔を撮影して得られる顔画像は顔という立体物に照明光が反射して作られる反射輝度画像である。装置はこの様な顔の反射輝度画像を入力し、これを所定の大きさに正規化し、更に輝度の範囲を正規化して画像パターンとする。上記アルゴリズム１はこの様にして生成される反射輝度表現による画像パタンを生体特徴情報と成す特徴抽出アルゴリズムである。
【００３０】
ところが反射輝度表現による画像パターンは物体の変形（顔における表情変化などの立体形状変化）、照明変動（時間帯や天候による照明分光強度や照明方向の変化）、および物体の姿勢変動（顔における向きの変化などの撮像方向の変化）などが原因で様々な変化を受ける。特に照明方向については画像パターンの陰影の付き方が劇的に変わるという不安定差を抱えているにも関わらず、照合用登録情報に様々な照明方向のパターンを予め学習させることが難しい。未学習の照明変動はすべての入力パターンに未学習の照明輝度を与えてしまう。そのためアルゴリズム１では学習時と異なる照明条件下では深刻な認識率低下を起こすのである。
【００３１】
このような照明変動による認識率低下を防ぐためには、照明の影響を受けにくく、かつ物体（個人の顔）固有の特徴情報を温存した特徴量（すなわち画像表現）による生体特徴情報を用いて認識を行う必要がある。照明変動は対象物の反射輝度画像に強い変動を与えるため、反射輝度表現を生体特徴情報とする限り照明変動の影響は避けられない。一方、反射輝度パターンから導かれるある種の画像表現には照明条件に影響されにくい恒常性があることが知られている。
【００３２】
例えば、文献（Ｙａｅｌ  Ｍｏｓｅｓ  ｅｔ  ａｌ．，  ″Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ：  ｔｈｅ  Ｐｒｏｂｌｅｍ  ｏｆ  Ｃｏｍｐｅｎｓａｔｉｏｎ  ｆｏｒ  Ｃｈａｎｇｅｓ  ｉｎ  Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｄｉｒｅｃｔｉｏｎ″，  Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ＥＣＣＶ′９４，  １９９４）では、照明変動に対して有効な特徴量として反射輝度画像を微分して得られる輝度勾配表現（以下、微分画像と呼ぶ）が提案されている。
【００３３】
反射輝度画像への１階微分は輝度の変化率を求める操作に相当し、輝度がステップ状に変化する箇所（エッジ）を抽出する。物体表面には物体特有の反射率の高低パターンがあり、反射率の低い箇所では照明強度に依らず常に低い反射輝度が、反射率の高い箇所では照明強度に依存して反射輝度が高低に変化する。このため、１階微分画像は（ａ）照明が当たる箇所における反射率の変化と（ｂ）高反射率箇所における陰影変化を表現している。（ａ）は物体の姿勢が変わらない限り照明変動による強度変動はあっても位置変動がないエッジであり、（ｂ）は物体の姿勢が変わらなくても照明変動により強度と位置がともに変動するエッジである。
【００３４】
微分により抽出されるエッジの傾斜は、微分処理におけるオペレータの性質に依存する。一般的にはオペレータが大きいほどなだらかなエッジを抽出でき、小さいほど急峻なエッジのみが抽出される。どのような微分オペレータを用いるかは照明によるコントラストの強さなどに依存するので、本実施例においては、照明強度の大きさに応じて使用する微分オペレータの大きさを小さくする制御を併せてモード決定部により行う。
【００３５】
照明変動に対する微分画像の第１の効果は、（ａ）が物体の姿勢に応じた物体固有の反射率パターンの特徴を保存していることである。これは微分パターンを物体認識に使用することの正当性を示している。照明変動に対する微分画像の第２の効果は、物体表面の反射率パターンの高低差が大きい、すなわち物体のテクスチャが強いほど（ａ）は（ｂ）より強く現われることである。特に物体が滑らかな曲面を有しているとき、照明による陰影はなだらかな変化を示すので（ｂ）はさらに弱くなる。これは反射輝度表現では大規模な変動であった未学習の照明変動が、微分画像では（ｂ）に関する未学習の変動に抑えられること（局所化と微小化）を意味する。微分画像はこのような効果により照明変動恒常性を有すると考えられる。上記アルゴリズム２は顔の反射輝度画像を入力し、これを微分処理した後に所定の大きさに正規化し、さらに輝度の範囲を正規化して画像パターンとする。この結果、アルゴリズム２では照明変動の影響が局所化・微小化されて照明変動ロバスト性が向上する。
【００３６】
しかし、アルゴリズム２は顔の額や頬における陰影情報（個人の顔の立体形状的特徴を反映している）を落として、眉や目などのテクスチャ情報のみを個人性として用いるため、これら全てを手がかりに個人性を認識できるアルゴリズム１より若干認識率が劣るのである。以上の結果、アルゴリズム１は”照合用登録情報学習時の照明条件下では非常に高い認識率を達成できるが、照明条件がこれからずれると認識率が極端に悪化する”アルゴリズムであり、アルゴリズム２は”照合用登録情報学習時の照明条件下でそこそこ高い認識率を達成でき、照明条件が変動しても認識率が安定している”アルゴリズムとなる。なお、照明強度の変動に対してはいずれのアルゴリズムにおいても画像パターンの輝度を正規化することで吸収している。
【００３７】
図５に本実施例のブロック構成を示す。構造図は図１と良く似ているが、二つ異なる部分がある。第１に被認証者周辺の照明条件を感知するための装置が取り付けられたことである。この照明センサ部１７は対象範囲の照明の強度をデジタルデータ（照明強度情報）としてモード決定部１６に伝送する処理手段である。第２にモード決定部１６によってモードの制御を受けるのは照合部１４ではなく特徴抽出部１３に変更されたことである。照明に強いシステムを作るには特徴抽出を行う際のアルゴリズムを照明にロバストなものに変更しなくてはならず、特徴抽出部１３に作用しなければならない。
【００３８】
以上を踏まえて本実施例装置の処理の流れを図６のフローチャートを参照しながら説明する。まず実施例１と同様に、画像入力部１１によって取得された入力画像から顔特徴を抽出した顔検出部１２により顔画像情報が特徴抽出部１３へ送られる（ステップＳ１１）。照明センサ部１７は被認証者周辺の照明強度を常に感知しており、照明強度情報をモード決定部１６へ伝送する。モード決定部１６は現在の照明強度が照合用登録情報学習時の照明強度からさほど変化なく、アルゴリズム１で十分許容できる範囲であると判断した場合には通常モードを、照明強度の変化が大きすぎると判断した場合には照明ロバストモードを採用するように特徴抽出部１３へ指令を都度出しているものとする（ステップＳ１２）。特徴抽出部１３はこれに従ってアルゴリズムを選択し特徴抽出作業を行う（ステップＳ１３）。このことによってシステムはそれぞれのモードを単独で用いるよりも総合的に高い認識率を達成することができる。特徴抽出部で生成された生体特徴情報は照合部１４へ送られ、そこで認証情報記憶部１５から送られる認証用登録情報と照合して認証が行われる。
【００３９】
なお変形例として、モードを変更することによって特徴抽出部１３において生成される特徴量毎に照合部１４で用いられる識別アルゴリズムを変えることも可能である。（図７）
（実施例３）
上述の第２の実施例と同様に照明条件にロバストな生体情報認証装置を、前記（３）に該当するモード制御例（３）を用いて実施することもできる。その基本的なブロック構成は図８に示される通りである。この装置では第２の実施例の図５と比較して照明センサの代わりに、顔検出部２２と特徴抽出部２３の間に新たに照明強度解析部２７が設置されている。照明強度解析部２７は顔検出部２２から入力された顔画像情報を解析し、例えば、顔画像情報の平均輝度を照明強度情報としてモード決定部２６に送る。モード決定部２６は照明強度情報を受けると特徴抽出アルゴリズムを決定し、これを特徴抽出部２３に指令する。また顔検出部２２において取得された顔画像情報は特徴抽出部２３を経て照合部２４にて識別される。このとき特徴抽出部２３で用いられる特徴抽出アルゴリズムは、第２の実施例と同じ通常モードと照明ロバストモードの２つである。
【００４０】
次にこの装置における処理の流れを説明する。各処理ステップの主体は異なるが、フローチャートは第２の実施例で用いた図６と同一である。まず画像入力部２１は定められた領域の画像を取得し、入力画像情報として顔検出部２２へ送る。顔検出部２２は入力画像中に顔を検出すると顔画像情報を抽出して出力する（ステップＳ１１）。顔画像情報はそのまま照明強度解析部２７に転送され、画像中の例えば平均輝度が照明強度として計算される。その照明強度情報はモード管理部Ｃへ送られ最適なモードを決定するための要素となる。モード管理部Ｃにおけるモード決定部２６は受理した照明強度情報に基づいて特徴抽出に用いるべきアルゴリズムを決定し、その結果をモード制御情報として特徴抽出部２３へ伝達する（ステップＳ１２）。
【００４１】
照明強度が照合用登録情報学習時の照明強度からさほど変化なく、アルゴリズム１で十分許容範囲内であれば通常モード、照明強度の変化が大きすぎる場合は照明ロバストモードを選択するよう指示を出す。特徴抽出部２３は顔検出部２２による顔画像情報からモード制御情報に従って決定されたアルゴリズムを用いて特徴を抽出し（ステップＳ１３）、取得した生体特徴情報を照合部２４へ送る。識別部Ｂでは照合部２４において、認証情報記憶部２５から送られる認証用登録情報と特徴抽出部２３から送られる生体特徴情報を用いて認証が行われる。このようなシステムによって被認証者は第２の実施例の場合と同様に照明にロバストな個人認証を受けることができる。
【００４２】
これまでに挙げた３つの実施例は、すべて装置の中のいずれかの機能ブロックが得た情報を基に、モード管理部Ｂが自動的にモードを決定する自動モード制御であった。次に挙げる第４の実施例はこれらとは異なり、モード管理部Ｂに対して管理者もしくは被認証者自身がモードを操作する信号を送ることによって、システムが採用するモードを制御することができる。この様なモード制御を手動モード制御と呼ぶことにする。
【００４３】
（実施例４）
ここでは前記（４）に該当するモード制御を採用して、管理者もしくは被認証者が外部からモード管理部Ｃに対してモードを選択するための信号（モード選択情報）を入力し、それに従って採用すべきモードを決定する生体情報認証装置を用いたセキュリティシステム（装置ａ）と（装置ｂ）について説明する。（装置ｂ）の被認証者によるモード制御については、生体情報に加えてパスワード、ＩＤカードなどの記憶や物理的手段を用いた非生体認証情報を併用する実施形態について説明する。以下において、この装置の実施例として第１の実施例で使用した二つの識別方法（閾値設定１，２）を備えたシステム（装置ａ）と（装置ｂ）について説明する。
【００４４】
まず管理者によって制御される装置ａの実施例として、管理者が装置付近の例えば受付にいる間は快適性を重視した本人利便モード、受付を離れる場合は安全性を重視した安全優先モードを採用するシステムについて説明する。これは管理者が受付にいる場合は、管理者が通過しようとする人物をチェックしているので、本人利便モードでも十分な不正抑止力が得られるということを前提としている。
【００４５】
そのブロック構造を図９に示す。第１の実施例と異なるのはモード決定部３６が時間帯によってモードを制御するのではなく、代わりに管理者用外部入力部３９からの信号に従ってモードを決定するようになったことである。管理者用外部入力部３９は、管理者が入力する信号をモード決定部３６に伝達する処理手段である。管理者はモードを切り替えるための信号（モード選択情報）を送ることによって、自身の都合に応じてモードを制御する利便性を得ることができる。
【００４６】
この装置を使用した場合の処理の流れを図１０のフローチャートを参照しながら説明する。通常この装置は照合部３４で認証が行われるときは、閾値の低い本人利便モードが使用されるようにモード決定部３６によって制御されている。管理者は自分が受付を離れる場合には、管理者用外部入力部３９を用いて本人利便モードから安全優先モードへ切り替える信号をモード決定部３６に対して入力する。この信号を受けたモード決定部３６は認証モードを閾値の高い安全優先モードに切り替えるよう指示を出す（モード制御情報）。この後の情報伝達過程は第１の実施例と同様である。画像入力部３１で取得した入力画像情報は顔検出部３２へ送られる。そこで画像中に顔が含まれていると認識した場合には顔画像情報を（ステップＳ３１）、特徴抽出部３３は顔画像情報を解析して取得した生体特徴情報を照合部３４に送る。これを受けた照合部３４は先に指示された（ステップＳ３２）通り安全優先モードで認証を行う（ステップＳ３３）。
【００４７】
受付に戻った管理者が再び認証モードを本人利便モードに切り替えるようにモード管理部Ｃに信号を送れば、もとの状態に戻ることができる。
【００４８】
次に装置ｂについて説明する。この装置の実施例として、被認証者が無線タグ、ＩＤカード、パスワードなどの個人ＩＤによって自分の登録認証情報を指定し、それと入力顔画像情報を用いて一対一の個人認証を行うことができる生体情報認証装置を用いたセキュリティシステムについて説明する。装置ｂの基本的な構成を図１１に示す。このシステムは通常安全優先モードで作動しており、一部の被認証者は登録されている本人であるにも関わらず拒絶される場合がある。そのようなとき、被認証者は被認証者用外部入力部４９を用いてモード決定部４６に対して暗証番号を入力し、認証モードを暗証番号によって指定される特定個人を高い本人通過率で検証する個人同定モードに切り替えてから再び認証を受けることができる。これによって十分高い安全性を維持した上で登録された本人である被認証者が最終的に拒絶される確率が低く押さえられた、非常に利便性の高いセキュリティシステムを実現することができる。
【００４９】
装置ａの構成と異なる点は外部入力装置が被認証者用の個人ＩＤを入力する装置、被認証者用外部入力部４９になったことである。このシステムを使用した際の処理の流れについて説明する。通常の安全優先モードが作動している場合については第１の実施例で説明しているので省略し、登録された本人でありながら拒絶された場合（ステップＳ４１）について図１２を参照しながら説明する。このとき被認証者は被認証者用外部入力部４９を用いてモード決定部４６に対して個人ＩＤを入力し、モード決定部４６は照合部４４に対して今回のみ認証モードを個人同定モードに変更する指示と入力された個人ＩＤとを出力する（モード制御情報）。画像入力部４１と顔検出部４２、特徴抽出部４３では再び被認証者の生体情報を入力し、取得された生体特徴情報は照合部４４へ送られる。照合部４４はこの生体特徴情報と認証情報記憶部４５から送られる単一の個人認証情報を個人同定モードによって照合し、再びその結果を出力する（ステップＳ４２）。
【００５０】
これまで実施例に挙げてきた認証作業は、被認証者が多数の登録人物中の誰かと一致しているか否か判定する識別問題であった。それに対しステップＳ４１以降の処理過程（バックアップモード）は被認証者が登録人物中のある一人に一致しているか否かを判定する同定問題に帰着している。この誤認識の少ない同定問題によるバックアップ処理を持つことによって、本実施例におけるセキュリティシステムは非常に高い安全性を実現することができる。
【００５１】
（実施例５）
モード制御例（１）〜（４）において認証に用いる生体情報が１種類（顔画像）のみであったのとは異なり、本実施例において説明される生体情報認証装置は前記（５）に該当するモード制御を用い、顔画像と虹彩の２種類を採用している。また（１）〜（４）ではすべて単一の手段によってモードを変更する機構であったのに対し、本実施例では複数の手段によってモードが制御される機構が取り入れられている。
【００５２】
本実施例における生体情報認証装置は、昼は快適性を重視した顔画像による認証を採用し、夜は管理者がいないため十分警戒が必要であることを考慮して安全性を重視した虹彩を用いた認証を採用している。虹彩による認証は虹彩画像を取得するためのカメラを覗きこまなければならず快適性は高いとは言い難いが、認識率においては現在までにセキュリティに適用できるだけの水準に達していると考えられている。本実施例で使用するモードについて図１３を参照しながら説明する。
【００５３】
上述の通り本実施例装置において使用するモードは時間帯によって交替する。昼は実施例４の装置ａで使用した管理者によるモード制御システムを採用する。これは通常管理者が受付にいる時は快適性を重視した本人利便モードを使用し、管理者が受付を離れる場合は外部入力装置を用いて安全性重視の安全優先モードに切り替えるシステムであるが、既に実施例４において説明したので詳細は省く。夜は虹彩のみを用いて認証を行う虹彩認証モードを使用する。虹彩画像を用いて認証を行うために、この生体情報認証装置は顔画像を取得するものとは別に虹彩画像取得用の撮像手段と、その画像から虹彩を検出して特徴量を抽出する機能を備えている。
【００５４】
本実施例による生体情報認証装置の構造についてブロック様式図１４を参照しながら説明する。顔画像を用いた認証に関連した機能を有する顔画像情報受理部Ａ及び顔認識部Ｂについてはその機能が実施例３の生体情報受理部Ａ及び認識部Ｂと同様であるので省く。虹彩画像情報受理部Ｄは虹彩画像取得部５８と虹彩検出部５９、虹彩特徴抽出部６０によって構成されている。虹彩画像取得部５８は被認証者の虹彩画像を取得できるように設定された撮像手段によって画像を取得し、それを入力画像情報として虹彩検出部５９へ送る処理手段である。虹彩検出部５９は伝送されてきた入力画像情報を解析することによって画像中に虹彩が含まれているか否か判断し、検出された場合には虹彩部分の画像を虹彩特徴抽出部６０へ送る処理手段である。虹彩特徴抽出部６０は送られてきた虹彩画像を解析し、虹彩照合部６１において類似度を算出するための特徴量を抽出し虹彩特徴情報として送る処理手段である。虹彩識別部Ｅは虹彩照合部６１と虹彩情報記憶部６２で構成されている。虹彩照合部６１は虹彩特徴抽出部６０から送られる虹彩特徴情報と虹彩情報記憶部６２から送られる登録虹彩情報を照合することによって類似度を算出し、設定された閾値と比較することによって識別を行い結果を出力する処理手段である。虹彩情報記憶部６２は虹彩照合部６１において照合を行う際に使用する登録虹彩情報を記憶し、必要なときに伝送する処理手段である。モード管理部Ｃはモード決定部５６と管理者用外部入力部５７で構成されている。モード決定部５６は時間帯によって昼は顔認証、夜は虹彩認証を使用するように命令を出し、また時刻が昼に属している場合には管理者用外部入力部５７から送られたモード選択情報に従って本人利便モードか安全優先モードのどちらを使用するのか判断し、その結果を顔照合部５４に伝達する処理手段である。時間帯が昼であれば虹彩情報受理部Ｄと虹彩識別部Ｅには機能を停止しておくよう命令を出し、管理者用外部入力部５７からのモード選択情報に従ってモードを決定し顔照合部３４へ伝達する。時間帯が夜であれば顔画像情報受理部Ａと顔識別部Ｂには機能を停止しておくように命令を出し、虹彩認証のみを行うシステムに移行させる。管理者用外部入力部５７は、時間帯が昼の場合通常は本人利便モードが作動しているが管理者が受付を離れる場合に安全優先モードに切り替える信号（モード選択情報）をモード決定部５６に対して送るための処理手段であり、実施例４で説明した管理者用外部入力部３９と同じ機能を持つ。
【００５５】
本生体情報認証装置を使用した場合の処理の流れを図１５を参照しながら説明する。まず昼の時間帯に使用したとする（ステップＳ５１）。このとき、モード決定部５６によって虹彩認証に関連した機能、虹彩画像情報受理部Ｄ及び虹彩識別部Ｅは停止されており、顔画像を用いた認証のみが可能である。顔検出部５２において顔が検出されると顔画像情報が特徴抽出部５３に出力され（ステップＳ５２）、顔特徴抽出部５３では顔検出部５２より受け取った顔画像から特徴量を抽出する（ステップＳ５３）。モード決定部５６は管理者が受付にいる通常の場合は本人利便モードを使用し、受付を離れる場合には管理者が外部入力部５７を用いてモードを切り替え安全優先モードで識別作業を行う（ステップＳ５４）よう、顔照合部５４に指示を出す。この管理者のモード制御による顔画像認証の詳細は実施例４に説明したのでここでは省く。次に夜使用した場合について説明する（ステップＳ５１）。モード決定部５６によって顔認証に関連した機能、顔画像情報受理部Ａ及び顔識別部Ｂは停止されており虹彩画像を用いた認証のみ可能である。虹彩検出部５９において入力画像中に虹彩が検出されると、虹彩特徴抽出部６０は入力虹彩画像から特徴量を抽出し（ステップＳ５６）、虹彩照合部６０においてその特徴量と登録虹彩情報を用いて識別を行う（ステップＳ５７）。
【００５６】
（実施例６）
本発明は元々安全性と快適性をバランスよく高い水準で備えたセキュリティを実現することを目的とし、従来の認識技術が抱えている問題点を克服しようというものであった。そこで本実施例では前記（６）に該当するモード制御例を用い、生体情報認証に無線タグや暗証番号などの非生体認証情報を組み合わせて、被認証者の利便性をなるべく損なわずにより高い安全性を目指したセキュリティシステムを説明する。
【００５７】
本実施例におけるセキュリティシステムでは生体情報として顔画像を用い、非生体認証情報として登録者全員に渡される無線タグと暗証番号によって入力される個人ＩＤを用いることにし、これら顔画像認証と非生体認証情報を組み合わせることによって形成される次の４つの認証モードを用いて認証を行う。まず昼は管理者が付近にいることを想定しているため、登録本人でも通過できないことがあるが本人以外が通過する可能性が低い実施例１記載の“安全優先モード”による顔画像認証か、無線タグを用いて個人ＩＤを入力する非生体認証情報認証のどちらかで登録本人であると認められれば通過できる“昼モード”を用いる。夜は通常安全優先モードで認証を行い、通過できなかった場合には無線タグか暗証番号のどちらか一方によって個人ＩＤを入力し、それによって指定される特定個人を高い本人通過率で同定する実施例４の装置ｂ記載の“個人同定モード”によって再度認証を行うことができる“夜モード”を採用する。（図１６）この昼モードと夜モードを時間帯に応じて使い分けることによって、昼は快適性を、夜は安全性を重視した認証を行うことができる。
【００５８】
このセキュリティシステムのブロック構造図を図１７に示す。
【００５９】
生体情報受理部Ａは実施例１と同様に画像入力部７１、顔検出部７２、特徴抽出部７３の３つの部分によって構成されている。これらの部分の役割については実施例１で説明したものと同様である。
【００６０】
顔画像識別部Ｂは顔照合部７４と登録顔画像情報記憶部７５から構成されている。登録顔画像情報記憶部７５は照合に必要な登録顔画像情報を記憶しておき、必要なときに顔照合部７４に送る処理手段である。顔照合部７４は特徴抽出部７３から送られる生体特徴情報と登録顔画像記憶部７５から送られる登録顔画像情報をモード決定部７６によって指定されたモードにおける閾値設定に従って照合、識別を行い、通過判定部８３に識別結果情報として送る処理手段である。なお個人同定モードで認証を行う場合顔情報記憶部７５は、モード決定部７６から送られる被認証者の個人ＩＤ情報を参照して特定個人の登録顔画像情報のみを顔照合部７４へ送り、それと特徴抽出部７３から送られる生体特徴情報を用いて顔照合部７４では個人同定が行われる。
【００６１】
非生体認証情報受理部Ｆは、無線タグによる個人ＩＤ入力に関連した無線受信部７７と無線情報照合部７８、登録無線情報記憶部７９、暗証番号による個人ＩＤの入力に関連した暗証番号入力部８０と暗証番号照合部８１、登録暗証番号記憶部８２から構成されている。無線受信部７７は、被認証者が所有している無線タグを感知してＩＤ情報を取得し個人ＩＤ情報として無線情報照合部７８へ送る処理手段である。登録無線情報記憶部７９は、無線タグによる個人ＩＤの照合に必要な登録無線情報を記憶しておき、必要な時に無線情報照合部７８に送る処理手段である。無線情報照合部７８は、無線受信部７７から送られる個人ＩＤ情報と登録無線情報記憶部７９から送られる登録無線情報を照合、識別し、被認証者が登録人物のいずれかと一致したか否かを識別結果情報として通過判定部８３へ送り、また照合の結果選られた個人ＩＤをモード決定部７６へ送る処理手段である。
【００６２】
暗証番号入力部８０は、認証者が入力する暗証番号を個人ＩＤ情報として取得し、暗証番号照合部８１へ送る処理手段である。登録暗証番号記憶部８２は、暗証番号による個人ＩＤの照合に必要な登録暗証番号を記憶しておき、必要な時に暗証番号照合部８１に送る処理手段である。無線情報照合部８１は、暗証番号入力部８０から送られる個人ＩＤ情報と登録暗証番号記憶部８２から送られる登録暗証番号を照合、識別し、被認証者が登録人物のいずれかと一致したか否かを通過判定部８３に識別結果情報として送り、また照合の結果選られた個人ＩＤをモード決定部７６へ送る処理手段である。
【００６３】
モード管理部Ｃは、モード決定部７６と通過判定部８３から構成されている。モード決定部７６は、顔照合部７４に対して識別を行う際に使用する閾値設定をその時間帯が昼であれば閾値設定１、夜であれば閾値設定２を用いるように指令するモード制御情報を送り、また通過判定部８３に対して昼は安全優先モードによる顔画像認証と無線タグ認証のどちらか一方、夜は安全優先モードによる顔画像認証か安全優先モード２による認証のどちらか一方が成功した場合に通過を許可するよう指定する情報をモード制御情報として送る処理手段である。通過判定部８３は、顔照合部７４と無線情報照合部７８、暗証番号照合部８１から送られる識別結果情報を統合し、モード決定部７６から送られるモード制御情報に従って最終的に通過を許可するか判定する処理手段である。また夜に安全優先モードで通過を許可しない判断をした場合には、モード決定部に対して個人同定モードで認証を行うことを要請する再認証要請情報を送る。
【００６４】
本セキュリティシステムを使用した場合の処理の流れを図１８、図１９を参照しながら説明する。被認証者が来訪した時間帯が昼であった場合（ステップＳ７１）、入力画像中に顔が検出されれば（ステップＳ７２）安全優先モードによる顔画像認証が行われ認証結果が“通過”であれば認証は終了する（ステップＳ７３）。結果が“不通過”であった場合や前述のステップＳ７２において顔が検出されなかった場合には、被認証者が無線タグを所有していることを感知した上で無線タグモードによる非生体認証が行われる（ステップＳ７４）。時間帯が夜であればまず顔を検知し安全優先モードによる顔画像認証を行い（ステップＳ７５）、結果が“通過”であればそこで認証は終了する（ステップＳ７６）。結果が“不通過”であれば被認証者から無線タグもしくは暗証番号によって個人ＩＤを取得し、改めて顔画像を取得し直した後に個人同定モードによる認証を改めて行う（ステップＳ７７）。
【００６５】
また、実施例において、昼モードの場合には最初に生体情報を用いて判断を行い、その後生体情報を用いて最終判断を下したが、両情報の構成要素の数やそれらの順序などは制限されない。例えば、夜モードの場合に図１９ステップＳ７７からステップＳ７８で使用した個人同定モードのように無線タグ（非生体認証情報）の判断を行った後生体情報のチェックを行ったが、これは先に非生体認証情報を取得することによって生体情報の検索範囲を制限するという利得を得るためである。例えば、顔検出範囲の方が無線検出範囲よりも広い場合、迅速さを重視して顔画像による認証を行った後通過できなければ無線タグによる認証を行う昼モードを用いれば良い。しかしよりセキュリティの高い認証を行うには先に無線タグによって個人ＩＤを取得し、検索範囲を狭めた後顔画像認証を行う個人同定モードに切り替えた方が良い。このように順序関係の違いによっても認識全体のパフォーマンスを制御可能である。この制御はこれまでに述べた制御と同様に時間による制御や管理者の操作による制御などの他の制御と組み合わせて、パラメータの調整などのモード管理を行うことができる。
【００６６】
なおこれまで各実施例は顔画像による認証に基づいて認証を行ったが、生体情報としては音声、指紋、掌紋、虹彩、網膜などいずれを用いても良い。また実施例４、６で用いた非生体認証情報の種類も制限されない。
【００６７】
本発明は上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の基本構成を示す図。
【図２】実施例１における認証モードの構成を示す図。
【図３】実施例１における処理手続を示す図。
【図４】実施例２における認証モードの構成を示す図。
【図５】実施例２におけるブロック構成を示す図。
【図６】実施例２における処理手続を示す図。
【図７】実施例３における認証モードの構成を示す図。
【図８】実施例３におけるブロック構成を示す図。
【図９】実施例４装置ａにおけるブロック構成を示す図。
【図１０】実施例４装置ａにおける処理手続を示す図。
【図１１】実施例４装置ｂにおけるブロック構成を示す図。
【図１２】実施例４装置ｂにおける処理構成を示す図。
【図１３】実施例５における認証モードの構成を示す図。
【図１４】実施例５におけるブロック構成を示す図。
【図１５】実施例５における処理構成を示す図。
【図１６】実施例６における認証モードの構成を示す図。
【図１７】実施例６におけるブロック構成を示す図。
【図１８】実施例６における処理構成を示す図。
【図１９】実施例６における処理構成を示す図。
【図２０】他人排除率と本人通過率との関係を示す図。
【符号の説明】
【００６９】
４１  画像入力部
４２  顔検出部
４３  特徴抽出部
４４  照合部
４５  認証情報記憶部
４６  モード決定部
４９  被認証者用外部入力装置
【図１】
2005149527.tif 000003
【図２】
2005149527.tif 000004
【図３】
2005149527.tif 000005
【図４】
2005149527.tif 000006
【図５】
2005149527.tif 000007
【図６】
2005149527.tif 000008
【図７】
2005149527.tif 000009
【図８】
2005149527.tif 000010
【図９】
2005149527.tif 000011
【図１０】
2005149527.tif 000012
【図１１】
2005149527.tif 000013
【図１２】
2005149527.tif 000014
【図１３】
2005149527.tif 000015
【図１４】
2005149527.tif 000016
【図１５】
2005149527.tif 000017
【図１６】
2005149527.tif 000018
【図１７】
2005149527.tif 000019
【図１８】
2005149527.tif 000020
【図１９】
2005149527.tif 000021
【図２０】
2005149527.tif 000022