(57)【要約】【課題】顔写真やビデオ画像などによる本人なり済ましを確実に排除することができ、かつ、画像処理のみの顔照合では判別不可能な顔の判別も可能となる顔照合装置を提供する。【解決手段】被照合者の顔画像を用いて顔照合を行なう顔照合装置において、被照合者の顔画像による顔照合と人間の顔温度分布による顔照合とを組合わせて本人認証を行なう。【選択図】      図１
2005115460.tif 000002
【特許請求の範囲】
【請求項１】
照合対象となる被照合者の顔画像を取得する画像取得手段と、
この画像取得手段により取得された顔画像とあらかじめ登録された顔画像による第１の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第１の照合手段と、
この第１の照合手段による照合の結果、前記画像取得手段により取得された顔画像と第１の辞書情報との間に所定の関係が成立した場合、当該被照合者の少なくとも顔部分の温度分布を測定して温度分布情報を得る温度分布測定手段と、
この温度分布測定手段により得られた温度分布情報とあらかじめ登録された人間の顔部分の温度分布による第２の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第２の照合手段と、
を具備したことを特徴とする顔照合装置。
【請求項２】
前記第２の辞書情報は季節、時間、温度等の環境条件のうち少なくともいずれか１つの環境条件ごとに登録されていて、当該顔照合装置が運用される環境条件に対応する第２の辞書情報が選択されて照合に使用されることを特徴とする請求項１記載の顔照合装置。
【請求項３】
前記第２の照合手段による照合の結果、前記温度分布測定手段により得られた温度分布情報と第２の辞書情報との間に所定の関係が成立した場合、前記温度分布測定手段により得られた温度分布情報とあらかじめ登録された被照合者の顔部分の温度分布による第３の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第３の照合手段をさらに具備したことを特徴とする請求項１記載の顔照合装置。
【請求項４】
前記第３の辞書情報は季節、時間、温度等の環境条件のうち少なくともいずれか１つの環境条件ごとに登録されていて、当該顔照合装置が運用される環境条件に対応する第３の辞書情報が選択されて照合に使用されることを特徴とする請求項３記載の顔照合装置。
【請求項５】
照合対象となる通行者の顔画像を取得する画像取得手段と、
この画像取得手段により取得された顔画像とあらかじめ登録された顔画像による第１の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第１の照合手段と、
この第１の照合手段による照合の結果、前記画像取得手段により取得された顔画像と第１の辞書情報との間に所定の関係が成立した場合、当該通行者の少なくとも顔部分の温度分布を測定して温度分布情報を得る温度分布測定手段と、
この温度分布測定手段により得られた温度分布情報とあらかじめ登録された人間の顔部分の温度分布による第２の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第２の照合手段と、
この第２の照合手段による照合の結果に基づき当該通行者の通行を制御する通行制御手段と、
を具備したことを特徴とする通行制御装置。
【請求項６】
前記第２の照合手段による照合の結果、前記温度分布測定手段により得られた温度分布情報と第２の辞書情報との間に所定の関係が成立した場合、前記温度分布測定手段により得られた温度分布情報とあらかじめ登録された被照合者の顔部分の温度分布による第３の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第３の照合手段をさらに具備し、
前記通行制御手段は、前記第３の照合手段による照合の結果に基づき当該通行者の通行を制御することを特徴とする請求項５記載の通行制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、被照合者によって入力される顔画像をあらかじめ登録された辞書情報と照合することにより被照合者が本人であるか否かを判定する顔照合装置、および、この顔照合装置を用いて通行者の通行（たとえば、セキュリティエリアに対する入退場など）を制御する通行制御装置に関する。
【背景技術】
【０００２】
一般に、この種の顔照合装置は、照合対象となる被照合者の顔画像をカメラなどを用いて取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書情報として辞書記憶手段にあらかじめ記憶（登録）しておく。
【０００３】
そして、照合時には、照合対象となる被照合者の顔画像をカメラなどを用いて再度取得し、この取得した顔画像から得られる当該人物固有の特徴情報を辞書記憶手段にあらかじめ記憶されている辞書情報と照合することにより、両情報の間に所定の関係が成立するか否かを判定する。たとえば、入力された顔画像が辞書情報と類似しているかどうかを評価し、類似性が高い場合には当該被照合者は登録者（本人）であると判定し、類似性が低い場合には未登録者（本人ではない）と判定する。
【特許文献１】特開平９−２５１５３４号公報
【特許文献１】特開昭６４−７９８９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところが、従来の顔照合装置では、上述したようにカメラから得られる顔画像のみを用いて顔照合を行なっているため、たとえば、本人の顔写真やビデオ画像などによる本人なり済ましを確実に排除することが不可能である。  
また、画像処理のみの顔照合であるので、たとえば、双子の顔判別は不可能であるという問題もある。
【０００５】
そこで、本発明は、顔写真やビデオ画像などによる本人なり済ましを確実に排除することができ、かつ、画像処理のみの顔照合では判別不可能な顔の判別も可能となる顔照合装置および通行制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の顔照合装置は、照合対象となる被照合者の顔画像を取得する画像取得手段と、この画像取得手段により取得された顔画像とあらかじめ登録された顔画像による第１の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第１の照合手段と、この第１の照合手段による照合の結果、前記画像取得手段により取得された顔画像と第１の辞書情報との間に所定の関係が成立した場合、当該被照合者の少なくとも顔部分の温度分布を測定して温度分布情報を得る温度分布測定手段と、この温度分布測定手段により得られた温度分布情報とあらかじめ登録された人間の顔部分の温度分布による第２の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第２の照合手段とを具備している。
【０００７】
また、本発明の通行制御装置は、照合対象となる通行者の顔画像を取得する画像取得手段と、この画像取得手段により取得された顔画像とあらかじめ登録された顔画像による第１の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第１の照合手段と、この第１の照合手段による照合の結果、前記画像取得手段により取得された顔画像と第１の辞書情報との間に所定の関係が成立した場合、当該通行者の少なくとも顔部分の温度分布を測定して温度分布情報を得る温度分布測定手段と、この温度分布測定手段により得られた温度分布情報とあらかじめ登録された人間の顔部分の温度分布による第２の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定する第２の照合手段と、この第２の照合手段による照合の結果に基づき当該通行者の通行を制御する通行制御手段とを具備している。
【発明の効果】
【０００８】
本発明によれば、顔の温度分布による顔照合をも行なうことにより、顔写真やビデオ画像などによる本人なり済ましを確実に排除することができ、かつ、画像処理のみの顔照合では判別不可能な顔の判別も可能となる顔照合装置および通行制御装置を提供できる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について図面を参照して説明する。  
図１は、本実施の形態に係る顔照合装置および通行制御装置が適用される入退場管理システムの構成を概略的に示すものである。この入退場管理システムは、被照合者（以下、人物ともいう）１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力する画像取得手段としてのカメラ１０１、被照合者１００の少なくとも顔部分の温度分布を測定して温度分布情報を得る温度分布測定手段としてのサーモグラフィ１０２、被照合者１００に対して入力された顔画像や各種案内などを表示したり、被照合者１００を特定するＩＤ番号やパスワードなどを入力したりする入出力部１０３、カメラ１０１から入力された画像を処理して当該人物固有の入力特徴情報（顔特徴情報）を取得する顔特徴取得手段としての顔特徴取得部１０４、あらかじめ登録されている人物の顔画像による登録特徴情報（顔特徴情報）を第１の辞書情報として記憶（登録）する第１の辞書記憶部１０５、人間の顔部分における温度分布パターンを第２の辞書情報として記憶（登録）するとともに、あらかじめ登録されている被照合者の顔部分における温度分布パターンを第３の辞書情報として記憶（登録）する第２の辞書記憶部１０６、顔特徴取得部１０４から得られた入力特徴情報と第１の辞書記憶部１０５内の第１の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定したり、サーモグラフィ１０２から得られた顔部分の温度分布情報と第２の辞書記憶部１０６内の第２の辞書情報あるいは第３の辞書情報とを照合することにより両情報の間に所定の関係が成立するか否かを判定したりする照合手段としての照合部１０７、照合部１０７の判定結果に応じて重要施設１０８の入退場用ドア１０９の開閉制御を行なう通行制御手段としてのドア制御部１１０、および、入出力部１０３を制御する入出力制御部１１１を有して構成されている。
【００１０】
カメラ１０１は、被照合者１００の顔画像（少なくとも顔を含んでいる画像）を撮像して入力するものであり、たとえば、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラから構成されている。  
サーモグラフィ１０２は、たとえば、赤外線などを用いて被照合者１００の少なくとも顔部分、特に正面顔部分の温度分布を測定するものである。
【００１１】
入出力部１０３は、カメラ１０１で撮影されている被照合者１００の顔画像や各種ガイダンス、処理結果などを表示したり、被照合者１００のＩＤ番号やパスワードなどを入力するもので、たとえば、液晶表示部とタッチパネルとを一体化して構成されていて、カメラ１０１の近傍、たとえば、カメラ１０１の上部で、ほぼ被照合者１００の顔部分と相対応する位置に設けられている。なお、表示によるガイダンスのみに限らず、音声によるガイダンス機能を付加してもよい。
【００１２】
顔特徴取得部１０４は、カメラ１０１から入力された画像において、人物の顔を検出して入力特徴情報を抽出（取得）する。顔の検出方法としては、たとえば、文献（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７））などの方法を用いることで、精度の高い顔の検出が実現可能である。この場合、あらかじめ用意されたテンプレートを画像中を移動させながら相関値を求めることにより、最も高い相関値を持った場所を顔領域とする。
【００１３】
第１の辞書記憶部１０５は、あらかじめシステム全体で利用を許可された人物の顔特徴情報を第１の辞書情報として記憶しておくものである。登録する第１の辞書情報としては、入力された顔画像、抽出した特徴量、部分空間、部分空間を構成するための固有ベクトル、相関行列、登録の際の時刻、日時、場所などの状況情報、暗証番号、ＩＤ番号などの個人情報といったものがあげられ、必要に応じて記憶しておくことが可能とするが、本実施の形態においては、顔特徴取得部１０４で取得された顔切出し画像をＫＬ展開によって固有空間に変換して得られたベクトル情報を保存するものとし、この情報を辞書情報として扱う。
【００１４】
第２の辞書記憶部１０６は、人間の顔部分における平均的な温度分布パターンを第２の辞書情報として記憶するとともに、あらかじめシステム全体で利用を許可された人物の顔部分における温度分布パターンを第３の辞書情報として記憶しておくものである。
【００１５】
この場合、第２の辞書情報および第３の辞書情報は、季節、時間、温度等の環境条件のうち少なくともいずれか１つの環境条件、この例では例えば季節（春、夏、秋、冬）ごとに登録されていて、当該顔照合装置が運用される季節に対応する第２の辞書情報、第３の辞書情報が選択されて照合に使用されるようになっている。
【００１６】
なお、第３の辞書情報は、たとえば、第１の辞書情報の登録時に、サーモグラフィ１０２で測定することにより登録が行なわれるものとするが、第１の辞書情報が顔写真により登録される場合は、最初の顔照合時に登録するようにしてもよい。
【００１７】
照合部１０７は、顔特徴取得部１０４から得られた入力特徴情報と第１の辞書記憶部１０５内の第１の辞書情報とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、入力特徴情報と第１の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定する。この判定方法としては、入出力部１０３によるＩＤカードやテンキー入力を利用して特定された第１の辞書情報と一致するかどうかの１対１照合と、全登録者または一部の登録者と総当りで一致判定を行ない、１つでも一致する第１の辞書情報があれば登録者と判定するという１対Ｎ照合の両方が利用可能である。
【００１８】
また、照合部１０７は、顔特徴取得部１０４で検出された顔領域に相当するサーモグラフィ１０２から得られた顔部分の温度分布情報と第２の辞書記憶部１０６内の第２の辞書情報とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、温度分布情報と第２の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には人間の顔であると判定し、求めた類似度が閾値よりも低い場合には人間の顔ではないと判定する。
【００１９】
さらに、照合部１０７は、顔特徴取得部１０４で検出された顔領域に相当するサーモグラフィ１０２から得られた顔部分の温度分布情報と第２の辞書記憶部１０６内の第３の辞書情報とを照合することにより、両情報の間に所定の関係が成立するか否か、たとえば、温度分布情報と第３の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には未登録者（本人ではない）と判定する。
【００２０】
そして、照合部１０７は、たとえば、求めた類似度が閾値以上の場合、ドア制御部１１０に「ドア開」の信号を出力し、求めた類似度が閾値よりも小さかった場合、ドア制御部１１０に「ドア閉」の信号を出力する。ドア制御部１１０は、照合部１０７から「ドア開」の信号を受取ると、入退場用ドア１０９を開状態に制御して、被照合者（通行者）１００の入場を許可し、「ドア閉」の信号を受取ると、入退場用ドア１０９を閉状態に保持して、被照合者１００の入場を拒否する。
【００２１】
次に、このような構成において、図２に示すフローチャートを参照して動作を説明する。  
被照合者１００は、本装置（カメラ１０１）の前に立ち、入出力部１０３の画面を目視することにより、カメラ１０１は被照合者１００の画像を撮影して入力する（ステップＳ１）。カメラ１０１により被照合者１００の顔画像が入力されると、照合部１０７は、顔特徴取得部１０４により取得された入力特徴情報と第１の辞書記憶部１０５に記憶されている第１の辞書情報とを照合することにより、入力特徴情報と第１の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には登録者（本人）ではないと判定する（ステップＳ２）。ここに、ステップＳ２の処理が本発明における第１の照合手段に対応している。
【００２２】
ステップＳ２において、登録者ではないと判定した場合、照合ＮＧとなり、入出力部１０３の画面にその旨を表示するとともに、図示しない監視盤などに対し警報を出力し、さらにドア制御部１１０に対し「ドア閉」の信号を出力する（ステップＳ３）。
【００２３】
ステップＳ２において、登録者であると判定した場合、照合部１０７は、たとえば、図示しないカレンダ機能を参照することにより現在の季節を判定し、この判定した季節に対応する第２の辞書情報を第２の辞書記憶部１０６内から選択し、この選択した第２の辞書情報と、顔特徴取得部１０４で検出された顔領域に相当するサーモグラフィ１０２から得られた顔部分の温度分布情報とを照合することにより、温度分布情報と第２の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には人間の顔であると判定し、求めた類似度が閾値よりも低い場合には人間の顔ではないと判定する（ステップＳ４）。ここに、ステップＳ４の処理が本発明における第２の照合手段に対応している。
【００２４】
ステップＳ４において、人間の顔ではないと判定した場合、照合ＮＧとなり、入出力部１０３の画面にその旨を表示するとともに、図示しない監視盤などに対し警報を出力し、さらにドア制御部１１０に対し「ドア閉」の信号を出力する（ステップＳ３）。
【００２５】
ステップＳ４において、人間の顔であると判定した場合、照合部１０７は、温度分布による顔照合を行なうか否かを判定する（ステップＳ５）。すなわち、温度分布による顔照合を行なうか否かを設定する設定スイッチ（図示しない）が設けられていて、この設定スイッチの設定内容を参照することにより判定するようになっている。
【００２６】
ステップＳ５において、温度分布による顔照合を行なわないと判定した場合、照合ＯＫとなり、入出力部１０３の画面にその旨を表示するとともに、ドア制御部１１０に対し「ドア開」の信号を出力する（ステップＳ６）。
【００２７】
ステップＳ５において、温度分布による顔照合を行なうと判定した場合、照合部１０７は、ステップＳ２と同様に現在の季節を判定し、この判定した季節に対応する第３の辞書情報を第２の辞書記憶部１０６内から選択し、この選択した第３の辞書情報と、顔特徴取得部１０４で検出された顔領域に相当するサーモグラフィ１０２から得られた顔部分の温度分布情報とを照合することにより、温度分布情報と第３の辞書情報との類似度を求め、求めた類似度が閾値よりも高い場合には当該人物は登録者（本人）であると判定し、求めた類似度が閾値よりも低い場合には登録者（本人）ではないと判定する（ステップＳ７）。ここに、ステップＳ７の処理が本発明における第３の照合手段に対応している。
【００２８】
ステップＳ７において、登録者ではないと判定した場合、照合ＮＧとなり、入出力部１０３の画面にその旨を表示するとともに、図示しない監視盤などに対し警報を出力し、さらにドア制御部１１０に対し「ドア閉」の信号を出力する（ステップＳ３）。
【００２９】
ステップＳ７において、登録者であると判定した場合、照合ＯＫとなり、入出力部１０３の画面にその旨を表示するとともに、ドア制御部１１０に対し「ドア開」の信号を出力する（ステップＳ６）。
【００３０】
このように、被照合者の顔画像による顔照合と人間の顔温度分布による顔照合とを組合わせて本人認証を行なうことにより、顔写真やビデオ画像などによる本人なり済ましを確実に排除することができる。また、画像処理のみの顔照合では判別不可能な顔（たとえば、双子など）の判別も可能となる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施の形態に係る顔照合装置および通行制御装置が適用される入退場管理システムの構成を概略的に示すブロック図。
【図２】動作を説明するフローチャート。
【符号の説明】
【００３２】
１００…被照合者（人物）、１０１…カメラ（画像取得手段）、１０２…サーモグラフィ（温度分布測定手段）、１０３…入出力部、１０４…顔特徴取得部、１０５…第１の辞書記憶部、１０６…第２の辞書記憶部、１０７…照合部（照合手段）、１１０…ドア制御部（通行制御手段）。
【図１】
2005115460.tif 000003
【図２】
2005115460.tif 000004