(57)【要約】  照明が、可視光および赤外光を対象物へ照射し、可視カメラが、可視光が対象物によって反射された反射可視光を撮像し、赤外カメラが、赤外光が対象物によって反射された反射赤外光を撮像し、顔照合部が、撮像された反射可視光画像に基づいて顔照合を行い、生体判別部が、撮像された反射赤外光画像に基づいて生体判別を行うように生体認証装置を構成する。
2009107237.tif 000002
【特許請求の範囲】
【請求項１】
撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、
可視光および赤外光を対象物へ照射する照射手段と、
前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段と、
前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、
前記反射可視光撮像手段によって撮像された反射可視光画像に基づいて本人照合を行う本人照合手段と、
前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて生体判別を行う生体判別手段と
を備えたことを特徴とする生体認証装置。
【請求項２】
撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、
赤外光を対象物へ照射する照射手段と、
前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、
前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて本人照合を行う本人照合手段と、
前記反射赤外光画像に基づいて生体判別を行う生体判別手段と
を備えたことを特徴とする生体認証装置。
【請求項３】
前記生体判別手段は、
前記対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像に基づく判別用特徴量データおよび前記学習データを用いて前記判別式から算出された算出値に基づいて前記生体判別を行うことを特徴とする請求項１または２に記載の生体認証装置。
【請求項４】
前記生体判別手段は、
前記対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データと、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することで前記生体判別を行うことを特徴とする請求項１または２に記載の生体認証装置。
【請求項５】
前記本人照合手段による本人照合に成功し、かつ、前記生体判別手段によって生体と判定されたことを条件として最終的な生体認証に成功したものと判定する判定手段
をさらに備えたことを特徴とする請求項１または２に記載の生体認証装置。
【請求項６】
前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別する白黒対象物識別手段
をさらに備えたことを特徴とする請求項１に記載の生体認証装置。
【請求項７】
前記照射手段は、
可視光を対象物へさらに照射するものであって、
前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段
をさらに備え、
前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別することを特徴とする請求項２に記載の生体認証装置。
【請求項８】
前記反射可視光撮像手段および前記反射赤外光撮像手段は、
前記対象物を同時に撮像することを特徴とする請求項１または７に記載の生体認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置に関し、特に、写真等の非生体物を用いた不正行為を防止することができる生体認証装置に関するものである。
【背景技術】
【０００２】
従来から、生体認証装置として、認証対象者の顔をＣＣＤ（Charge  Coupled  Devices）カメラ等で撮像した入力画像とあらかじめ登録されている登録画像とを照合し、本人であることを認証する顔認証装置が知られている。【０００３】
しかし、このような顔認証装置は、本人の顔写真をカメラにかざす不正行為を排除する機能を備えたものが少なく、セキュリティ性に問題があることが指摘されている。このため、顔認証装置の実用性を高めるべく、顔写真を排除する機能を備えた顔認証手法が提案されている。【０００４】
たとえば、特許文献１には、写真などの印刷物が赤外光を吸収しない性質を利用し、可視光を撮像する可視カメラと、赤外光を撮像する赤外カメラとを併用することで顔写真を排除する顔認証手法が開示されている。【０００５】
具体的には、通常の印画紙にプリントした顔写真や、インクジェットカラープリンタ、染料系プリンタで印刷した顔写真に赤外光を照射した場合、赤外光が一様に反射されるので赤外カメラで撮像すると写真上の顔は写らない。したがって、このような場合には、顔写真であると判定することができる。【０００６】
【特許文献１】特開２００７−４６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、赤外光を吸収する成分で印刷された写真（たとえば、レーザプリンタや顔料系プリンタで印刷された写真）の場合には、赤外カメラで撮像しても生体部位（たとえば、顔、指、掌など）が写ってしまう。このため、生体部位の有無に基づいて写真を識別することはできない。したがって、特許文献１の技術を用いたとしても写真を完全には排除することができないという問題があった。【０００８】
これらのことから、写真等の非生体物を用いた不正行為を防止することができる生体認証装置をいかにして実現するかが大きな課題となっている。【０００９】
本発明は、上述した従来技術の課題を解決するためになされたものであり、写真等の非生体物を用いた不正行為を防止することができる生体認証装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、可視光および赤外光を対象物へ照射する照射手段と、前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段と、前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、前記反射可視光撮像手段によって撮像された反射可視光画像に基づいて本人照合を行う本人照合手段と、前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて生体判別を行う生体判別手段とを備えたことを特徴とする。【００１１】
また、本発明は、撮像された生体画像と登録された登録生体情報とを照合することによって生体認証を行う生体認証装置であって、赤外光を対象物へ照射する照射手段と、前記赤外光が前記対象物によって反射された反射赤外光を撮像する反射赤外光撮像手段と、前記反射赤外光撮像手段によって撮像された反射赤外光画像に基づいて本人照合を行う本人照合手段と、前記反射赤外光画像に基づいて生体判別を行う生体判別手段とを備えたことを特徴とする。【００１２】
また、本発明は、上記の発明において、前記生体判別手段は、前記対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像に基づく判別用特徴量データおよび前記学習データを用いて前記判別式から算出された算出値に基づいて前記生体判別を行うことを特徴とする。【００１３】
また、本発明は、上記の発明において、前記生体判別手段は、前記対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データと、前記反射赤外光撮像手段によって撮像された前記反射赤外光画像または該反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することで前記生体判別を行うことを特徴とする。【００１４】
また、本発明は、上記の発明において、前記本人照合手段による本人照合に成功し、かつ、前記生体判別手段によって生体と判定されたことを条件として最終的な生体認証に成功したものと判定する判定手段をさらに備えたことを特徴とする。【００１５】
また、本発明は、上記の発明において、前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別する白黒対象物識別手段をさらに備えたことを特徴とする。【００１６】
また、本発明は、上記の発明において、前記照射手段は、可視光を対象物へさらに照射するものであって、前記可視光が前記対象物によって反射された反射可視光を撮像する反射可視光撮像手段をさらに備え、前記反射可視光撮像手段によって撮像された前記反射可視光画像に係る色分布の分散値に基づいて前記対象物のうち白黒の非生体物を識別することを特徴とする。【００１７】
また、本発明は、上記の発明において、前記反射可視光撮像手段および前記反射赤外光撮像手段は、前記対象物を同時に撮像することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、可視光および赤外光を対象物へ照射し、可視光が対象物によって反射された反射可視光を撮像し、赤外光が前記対象物によって反射された反射赤外光を撮像し、撮像された反射可視光画像に基づいて本人照合を行い、撮像された反射赤外光画像に基づいて生体判別を行うこととしたので、赤外光を吸収する成分で印刷された生体写真を用いた不正行為を防止することができるという効果を奏する。【００１９】
また、本発明によれば、赤外光を対象物へ照射し、赤外光が対象物によって反射された反射赤外光を撮像し、撮像された反射赤外光画像に基づいて本人照合を行い、反射赤外光画像に基づいて生体判別を行うこととしたので、赤外光を吸収する成分で印刷された生体写真を用いた不正行為を防止することができるという効果を奏する。【００２０】
また、本発明によれば、対象物が生体であるか非生体であるかの判別分析に用いる判別式の各係数として予め記憶部に登録された学習データを読み出し、撮像された反射赤外光画像に基づく判別用特徴量データおよび学習データを用いて判別式から算出された算出値に基づいて生体判別を行うこととしたので、反射赤外光画像に対象物が写っている場合であっても、生体と写真等の非生体物とを判別することができるという効果を奏する。【００２１】
また、本発明によれば、対象物が生体である場合および非生体である場合についてそれぞれ記憶部に登録された反射赤外光画像またはこの反射赤外光画像を照合用に加工した照合用特徴量データと、撮像された反射赤外光画像またはこの反射赤外光画像を照合用に加工した照合用特徴量データとをそれぞれ対比することとしたので、反射赤外光画像に対象物が写っている場合であっても、生体と写真等の非生体物とを判別することができるという効果を奏する。【００２２】
また、本発明によれば、本人照合に成功し、かつ、生体と判定されたことを条件として最終的な生体認証に成功したものと判定することとしたので、生体写真を排除しつつ生体認証を行うことができるという効果を奏する。【００２３】
また、本発明によれば、撮像された前記反射可視光に係る色分布の分散値に基づいて対象物のうち白黒の非生体物を識別することとしたので、白黒写真等の白黒の非生体物を確実に識別することができるという効果を奏する。【００２４】
また、本発明によれば、可視光を対象物へさらに照射し、可視光が対象物によって反射された反射可視光を撮像し、撮像された反射可視光画像に係る色分布の分散値に基づいて対象物のうち白黒の非生体物を識別することとしたので、白黒写真等の白黒の非生体物を確実に識別することができるという効果を奏する。【００２５】
また、本発明によれば、反射可視光および反射赤外光を用いて対象物を同時に撮像することとしたので、生体認証に要する認証時間を短縮することができるという効果を奏する。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明に係る顔認証手法の概要を示す図である。
【図２】図２は、本実施例に係る顔認証装置の構成を示すブロック図である。
【図３】図３は、顔認証装置の側面図である。
【図４】図４は、カラー判別部によるカラー判別処理の概要を示す図である。
【図５】図５は、カラー判別処理の処理手順を示すフローチャートである。
【図６】図６は、学習データの登録手順を示すフローチャートである。
【図７】図７は、生体判別部による生体判別処理の処理手順を示すフローチャートである。
【図８】図８は、顔認証装置が実行する処理手順を示すフローチャートである。
【図９】図９は、並列処理の一例を示す図である。
【符号の説明】
【００２７】
１０    顔認証装置
１１    照明
１２    可視カメラ
１３    赤外カメラ
１４    制御部
１４ａ  可視画像取得部
１４ｂ  顔検出部
１４ｃ  顔照合部(本人照合手段)
１４ｄ  カラー判別部（白黒対象物識別手段）
１４ｅ  赤外画像取得部
１４ｆ  生体判別部
１４ｇ  最終判定部
１５    記憶部
１５ａ  学習データ
１５ｂ  登録画像
３１    カメラ間隔
４１、４２  色分布
４３    色分布中心位置
【発明を実施するための最良の形態】
【００２８】
以下に、添付図面を参照して、本発明に係る生体認証手法の好適な実施例を詳細に説明する。なお、以下では、本発明に係る生体認証手法の一例である顔認証手法の概要について説明した後に、本発明に係る生体認証手法を適用した生体認証装置の一例である顔認証装置についての実施例を説明することとする。なお、本発明に係る生体認証手法および生体認証装置の認証対象は顔に限られるものではなく、指、掌など生体部位全般に適用可能である。また、以下では、非生体物の一例として写真等の印刷物を用いて説明するが、非生体物は平面的なものに限らず、お面や彫像等の立体的な造形物も含むものとする。【００２９】
まず、本発明に係る顔認証手法の概要について図１を用いて説明する。図１は、本発明に係る顔認証手法の概要を示す図である。なお、同図の（Ａ）には赤外光を吸収する成分を含んだ印刷物（たとえば、レーザプリンタによる印刷物）である白黒写真を、同図の（Ｂ）には赤外光を吸収しない印刷物（たとえば、インクジェットプリンタによる印刷物）であるカラー写真を、同図の（Ｃ）には赤外光を吸収する成分を含んだ印刷物（たとえば、レーザプリンタによる印刷物）であるカラー写真を、それぞれかざした場合について示している。【００３０】
本発明に係る顔認証手法は、上記した特許文献１に係る従来技術と同様に、認証の対象物となりうる（Ａ）〜（Ｃ）の写真を、可視カメラおよび赤外カメラで撮像する。そして、（Ａ）の白黒写真を可視カメラで撮像すると白黒の画像となり、（Ｂ）のカラー写真を可視カメラで撮像するとカラーの画像となり、（Ｃ）のカラー写真を可視カメラで撮像するとカラーの画像となる。一方、（Ａ）および（Ｃ）の写真を赤外カメラで撮像すると赤外光を吸収する成分によって顔が写るが、（Ｂ）の写真を赤外カメラで撮像すると顔が写らない。これは、赤外光を吸収する成分を含んだ印刷物では、その濃淡や色によって赤外光を吸収する量が異なるので反射赤外光の強さに差が生じるが、赤外光を吸収しない印刷物では、その濃淡や色にかかわらず赤外光が一様に反射されるためである。【００３１】
上記した特許文献１に係る従来技術では、白黒写真である（Ａ）を可視カメラで撮像した場合に、可視カメラ画像が白黒となることを利用して（Ａ）が白黒写真であると判定していた。また、赤外光を吸収しないカラー写真である（Ｂ）を赤外カメラで撮像した場合に、赤外カメラ画像に顔が写らないことを利用して（Ｂ）がカラー写真であると判定していた。しかし、赤外光を吸収する成分を含んだカラー写真である（Ｃ）については、人の顔を区別することができず顔と判定してしまうことになる。【００３２】
そこで、本発明に係る顔認証手法では、従来技術が識別することができなかった（Ｃ）の写真（赤外光を吸収する成分を含んだカラー写真）を、後述する生体判別を行うことによってカラー写真と判定することとした（同図の（１）参照）。【００３３】
なお、本発明に係る顔認証手法では、可視カメラ画像が白黒であるかカラーであるかを判別する際に、色分布の分散値に基づいて判別処理を行うことで、白黒／カラー判別の精度を向上させているが、この点については、図４を用いて後述することとする。【００３４】
以下では、図１に示した本発明に係る顔認証手法を適用した顔認証装置に係る実施例を図２〜図９を用いて説明する。
【実施例】
【００３５】
まず、本実施例に係る顔認証装置１０の構成について図２を用いて説明する。図２は、本実施例に係る顔認証装置１０の構成を示すブロック図である。なお、同図においては、顔認証装置１０の特徴を説明するために必要な構成要素のみを示しており、顔認証結果を出力する出力部や表示部等の一般的な構成要素についての記載を省略している。【００３６】
同図に示すように、顔認証装置１０は、照射手段である照明１１と、反射可視光撮像手段である可視カメラ１２と、反射赤外光撮像手段である赤外カメラ１３と、制御部１４と、記憶部１５とを備えている。また、制御部１４は、可視画像取得部１４ａと、顔検出部１４ｂと、本人照合手段である顔照合部１４ｃと、白黒対象物識別手段であるカラー判別部１４ｄと、赤外画像取得部１４ｅと、生体判別部１４ｆと、最終判定部１４ｇとをさらに備えており、記憶部１５は、学習データ１５ａと、登録された人の顔の画像である登録画像１５ｂとを記憶する。【００３７】
照明１１は、可視光および赤外光を認証対象物に対して照射するデバイスであり、ハロゲンランプやＬＥＤ（Light  Emitting  Diode）などの発光体から構成される。なお、この照明１１は、可視光を発する発光体と赤外光を発する発光体との組み合わせで構成することしてもよく、可視光および赤外光を発する単一の発光体（たとえば、ハロゲンランプ）としてもよい。【００３８】
可視カメラ１２は、ＣＣＤ（Charge  Coupled  Devices）カメラ等のカメラであり、照明１１が照射した可視光が認証対象物によって反射された反射光である反射可視光を検知し、可視画像として制御部１４の可視画像取得部１４ａへ渡す。なお、可視カメラ１２が認証対象物を撮像するタイミングは、赤外カメラ１３が認証対象物を撮像するタイミングと略同一となるように制御される。【００３９】
赤外カメラ１３は、たとえば、ＣＣＤ（Charge  Coupled  Devices）カメラ等のカメラであって赤外波長に感度をもつカメラに、可視光線をカットするフィルタを装着することによって構成される。この赤外カメラ１３は、照明１１が照射した赤外光が認証対象物によって反射された反射光である反射赤外光を検知し、赤外画像として制御部１４の赤外画像取得部１４ｅへ渡す。なお、赤外カメラ１３が認証対象物を撮像するタイミングは、可視カメラ１２が認証対象物を撮像するタイミングと略同一となるように制御される。【００４０】
ここで、照明１１、可視カメラ１２および赤外カメラ１３の配置について図３を用いて説明しておく。図３は、顔認証装置１０の側面図である。図３に示すように、照明１１は、たとえば、顔認証装置１０の上方に設けられ、認証対象物（人の顔など）に対して可視光および赤外光を照射する。また、可視カメラ１２および赤外カメラ１３は、たとえば、顔認証装置１０の前方に上下に所定間隔（同図の３１参照）をおいて設けられる。【００４１】
ここで、カメラ間隔３１は、たとえば、５０ｍｍ程度である。なお、２つのカメラのステレオ視によって平面写真を排除する手法では、カメラ間隔は１００ｍｍ〜２００ｍｍ程度とる必要があるが、本実施例に係る顔認証装置１０は、ステレオ視を行う必要がないので、カメラ間隔を小さくすることができ、顔認証装置１０自体のサイズをコンパクトにすることが可能となる。【００４２】
図２の説明に戻り、制御部１４について説明する。制御部１４は、可視画像に基づく顔照合処理およびカラー判別処理を行うとともに、赤外画像に基づく生体判別処理を行い、顔照合処理結果、カラー判別処理結果および生体判別処理結果に基づいて最終的な判定（人の顔と写真とを切り分ける判定）を行う処理部である。【００４３】
可視画像取得部１４ａは、可視カメラ１２から可視画像を受け取り、受け取った可視画像を顔検出部１４ｂへ渡す処理を行う処理部である。また、顔検出部１４ｂは、可視画像取得部１４ａから受け取った可視画像について顔サーチを行い、検出した顔部分を顔照合部１４ｃおよびカラー判別部１４ｄへ渡す処理を行う処理部である。なお、この顔検出部１４ｂは、赤外画像取得部１４ｅから受け取った赤外画像についても顔サーチを行い、検出した顔部分を生体判別部１４ｆへ渡す処理を行う。【００４４】
顔照合部１４ｃは、記憶部１５に記憶された登録画像１５ｂと、顔検出部１４ｂから受け取った可視画像の顔部分とを対比することで撮像された人が登録された本人であるか否かを判定する処理部である。たとえば、この顔照合部１４ｃは、可視画像の顔部分と各登録画像１５ｂとを対比して両画像がどの程度類似しているかを表す値である類似度を算出し、算出した特徴点の類似度が所定値以上である登録画像１５ｂが存在する場合には本人と、存在しない場合には本人ではないと判定する。なお、可視画像の顔部分と指定された登録画像１５ｂとの１対１の照合を行うこととしてもよい。そして、顔照合部１４ｃは、照合結果を最終判定部１４ｇへ渡す。なお、登録画像１５ｂとしては、通常、可視画像が用いられる。【００４５】
なお、本実施例では、登録画像１５ｂと可視画像とを対比する場合について示したが、登録画像１５ｂのかわりに登録画像１５ｂから算出した照合用特徴量を記憶部１５へ登録しておき、顔照合部１４ｃが可視画像から照合用特徴量を算出したうえで、算出した特徴量と、記憶部１５に登録された特徴量とを対比することとしてもよい。すなわち、登録生体情報としては、生体画像または生体画像に基づいた特徴量（照合用特徴量データ）を用いることができる。【００４６】
カラー判定部１４ｄは、顔検出部１４ｂから受け取った可視画像の顔部分について色分布の分散値を算出し、算出した分散値と所定の閾値とを比較することで、可視画像の顔部分がカラーであるか白黒であるかを判定し、撮像された対象物が白黒の非生体物であるか否かを識別する処理部である。ここで、このカラー判定部１４ｄが行うカラー判定処理の内容について図４および図５を用いて説明しておく。【００４７】
図４は、カラー判別部１４ｄによるカラー判別処理の概要を示す図である。なお、同図には、カラーを取り扱う基本軸としてＨＳ平面を用いる場合について示している。ここで、「Ｈ」とは色合いをあらわす値である色相であり、図４の（１）に示したように、円周方向の色変化のことを指す。【００４８】
また、「Ｓ」とは色の鮮やかさをあらわす値である彩度であり、図４の（１）に示したように、中心点からの距離のことを指す。また、ＨＳ平面に展開された色分布はＨＳヒストグラムと呼ばれる。なお、本実施例では、カラーを取り扱う基本軸としてＨＳ平面を用いる場合について示したが、他の基本軸を用いることとしてもよい。【００４９】
図４の（２）に示したのは、従来のカラー判別手法である。また、同図の４１は、白黒写真である場合の色分布であり、同図の４２は、カラー写真あるいは人の顔である場合の色分布である。従来は、各分布が中心点に近いか否かを判定基準として用いていたので、中心点に近い４１については白黒、中心点から遠い４２についてはカラーと判定していた。【００５０】
しかし、カメラのホワイトバランス設定のずれや、外光などの環境光の影響によって、同図の４２に示した色分布が同図の４３に示した位置にずれると、４２の色分布を白黒と誤判定してしまうことになる。【００５１】
そこで、本実施例に係るカラー判別部１４ｄは、各色分布における中心位置からの分散値に基づいて白黒／カラーの判定を行うこととした。たとえば、図４の（３）に示したように、カラーの色分布４２について、色分布中心位置４４を算出する。そして、カラーの色分布４２について色分布中心位置４４からの分散値を求め、求めた分散値が所定の閾値より大きいか否かで白黒／カラーの判定を行う。【００５２】
ここで、カラーの色分布４２は、白黒の色分布４１に比べて拡がりをもった分布となる傾向があるため、色分布についての中心位置からの分散値を用いると白黒／カラーの判定を高精度に行うことができる。このようにすることで、肌の色が白い人や黒い人など、一見、白黒に近いと思われる生体と、白黒の非生体とを判別することができる。白黒に近い生体であれば、純粋に白黒の濃淡で表現される白黒の非生体と比べ、分散値が大きくなるためである。【００５３】
図５は、カラー判別処理の処理手順を示すフローチャートである。同図に示すように、カラー判別部１４ｄは、顔部分のＨＳヒストグラムを生成し（ステップＳ１０１）、色分布の重心位置（すなわち、中心位置）を算出する（ステップＳ１０２）。つづいて、重心位置からの分散値を算出し（ステップＳ１０３）、算出した分散値が所定の閾値以上であるか否かを判定する（ステップＳ１０４）。【００５４】
そして、分散値が所定の閾値以上である場合には（ステップＳ１０４，Ｙｅｓ）、カラーと判定して（ステップＳ１０５）処理を終了する。一方、分散値が所定の閾値未満である場合には（ステップＳ１０４，Ｎｏ）、白黒と判定して（ステップＳ１０６）処理を終了する。このように、白黒の非生体が撮像された場合には白黒と判定されるので、白黒の非生体であると識別することができる。【００５５】
図２の説明に戻り、赤外画像取得部１４ｅについて説明する。赤外画像取得部１４ｅは、赤外カメラ１３から赤外画像を受け取り、受け取った赤外画像を顔検出部１４ｂへ渡す処理を行う処理部である。また、生体判別部１４ｆは、記憶部１５に記憶された学習データ１５ａを用い、顔検出部１４ｂから受け取った赤外画像の顔部分について線形判別分析などの判別分析を行うことで生体判別を行う処理部である。なお、生体判別とは、赤外画像に含まれる顔部分が、人の顔であるか写真などの非生体物であるかを判別することを指す。【００５６】
ここで、生体判別部１４ｆが用いる学習データ１５ａの登録手順について図６を用いて説明しておく。図６は、学習データ１５ａの登録手順を示すフローチャートである。同図に示すように、生体（顔）画像あるいは非生体（写真）画像を入力し（ステップＳ２０１）、平均顔との対応付けを行い（ステップＳ２０２）、ステップＳ２０１で入力された顔画像の位置補正を実行する（ステップＳ２０３）。ここで、平均顔とは、多数の人の顔の平均を指し、たとえば、多数の人の顔画像を重ね合わせて平均をとることで得られる。【００５７】
そして、位置補正済みの顔画像について画像サイズの正規化を行う（ステップＳ２０４）。ここで、この正規化は、顔画像を１６画素×１６画素に縮小することで行われる。つづいて、各画素の値（濃淡を示す値）を１６×１６＝２５６次元の特徴量へ変換し（ステップＳ２０５）、学習処理（ステップＳ２０６）を実行する。なお、ステップＳ２０５に示した特徴量は、判別やその学習のために正規化されたデータである判別用特徴量データのことを指す。【００５８】
ここで、ステップＳ２０６の学習処理とは、線形判別処理に用いられる判別式の各係数を顔と写真とを判別するために適した値として求めることを指す。たとえば、かかる判別式は、
【数１】
2009107237.tif 000003
と表わされる。【００５９】
なお、特徴量（判別用特徴量データ）は、上記したように２５６次元の値をとるため、式（１）のｉは、１〜２５６の値をとる。また、式（１）のｘｉには、２５６次元の各特徴量が代入される。そして、式（１）の左辺であるｚの値について、顔の場合と写真の場合とを所定の閾値で区切ることができるように、係数であるａｉおよびａ０の値が学習される。【００６０】
なお、図６では、ステップＳ２０６の学習処理において線形判別分析を用いる場合について説明したが、その他の統計手法を用いることとしてもよい。たとえば、非線形判別分析やＳｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ（ＳＶＭ）法、ニューラルネットワーク法、部分空間法等を用いることができる。【００６１】
また、本実施例では、学習データ１５ａとして式（１）の各係数あるいは式（１）自体を記憶部１５へ登録し、生体判別部１４ｆが、学習データ１５ａを用いた線形判別分析によって生体判別を行う場合について説明する。しかし、これに限らず、別の方法によって生体判別を行うことも可能である。たとえば、生体（顔）画像を代表する生体判別用照合データ（赤外画像または照合用特徴量データ）と、非生体（写真）画像を代表する生体判別用照合データとをそれぞれ対比して照合を行い、類似度を比較して生体か非生体かを判別することとしてもよい。【００６２】
具体的には、顔部分と生体を代表する生体判別用照合データとの類似度が、顔部分と非生体を代表する生体判別用照合データとの類似度よりも大きい場合には生体と、それ以外は非生体と判別する。この場合、両類似度の差が所定値以上であることを生体と判別する際の条件として付加することとしてもよい。なお、あらかじめ登録しておく生体判別用照合データは、生体（顔）画像を代表するものと非生体（写真）画像を代表するものとの少なくとも２つが必要であるが、さらに数を増やすことしてもよい。また、これらの生体判別用照合データは、単一の人物の生体画像および非生体画像（写真や当該人物を模した造形物の画像等）から作成してもよく、複数の人物の生体画像および非生体画像を平均化した平均画像から作成してもよい。さらに、登録された人物ごとに専用の生体判別用照合データをもつようにしてもよい。【００６３】
なお、図６では、顔画像を１６画素×１６画素に縮小して２５６次元の特徴量（判別用特徴量データ）へ変換する場合について示したが、顔画像を縮小しないこととしてもよい。また、縮小する場合の画素数を他の画素数とすることとしてもよい。これらの場合には、図６のステップＳ２０４で正規化された画素数と、図７におけるステップＳ３０３で正規化された画素数とが同一となるようにする。なお、顔画像を縮小しない場合には、顔画像を、顔画像の画素数分の次元をもつ特徴量（判別用特徴量データ）として用いることになる。【００６４】
つづいて、生体判別部１４ｆによる生体判別処理の処理手順について図７を用いて説明しておく。図７は、生体判別部１４ｆによる生体判別処理の処理手順を示すフローチャートである。同図に示すように、生体判別部１４ｆは、赤外顔画像と平均顔との対応付けを行い（ステップＳ３０１）、赤外顔画像の顔位置を補正する（ステップＳ３０２）。そして、赤外顔画像を１６画素×１６画素に縮小することで、赤外顔画像のサイズを正規化する（ステップＳ３０３）。【００６５】
つづいて、１６画素×１６画素に縮小された赤外顔画像について、各画素の値（濃淡を示す値）を１６×１６＝２５６次元の特徴量（判別用特徴量データ）へ変換する（ステップＳ３０４）。そして、記憶部１５の学習データ１５ａを用いた判別分析が行われる（ステップＳ３０５）。【００６６】
この判別分析は以下に示す手順で行われる。すなわち、学習データ１５ａとして記憶部１５に記憶されている上記した式（１）の各係数（ａｉおよびａ０）を用い、ステップＳ３０４で算出された２５６次元の各特徴量を式（１）のｘｉへそれぞれ代入する。そして、式（１）のｚの値が所定の閾値以上であるか未満であるかに基づき、赤外顔画像が、生体（顔）カテゴリに属するか、非生体（写真）カテゴリに属するかが判別される。【００６７】
そして、生体（顔）カテゴリに属すると判定された場合には（ステップＳ３０６，Ｙｅｓ）、赤外顔画像を生体（顔）と判定する（ステップＳ３０７）。一方、ステップＳ３０６の判定条件を満たさなかった場合には（ステップＳ３０６，Ｎｏ）、赤外顔画像を非生体（写真）と判定する（ステップＳ３０８）。【００６８】
なお、図７では、赤外顔画像を１６画素×１６画素に縮小して２５６次元の特徴量（判別用特徴量データ）へ変換する場合について示したが、赤外顔画像を縮小しないこととしてもよい。また、縮小する場合の画素数を他の画素数とすることとしてよい。これらの場合には、図７におけるステップＳ３０３で正規化された画素数と、図６のステップＳ２０４で正規化された画素数とが同一となるようにする。なお、赤外顔画像を縮小しない場合には、赤外顔画像を、赤外顔画像の画素数分の次元をもつ特徴量（判別用特徴量データ）として用いることになる。【００６９】
図２の説明に戻り、最終判定部１４ｇについて説明する。最終判定部１４ｇは、顔照合部１４ｃから受け取った顔照合結果、カラー判別部１４ｄから受け取ったカラー判別結果および生体判別部１４ｆから受け取った生体判別結果に基づいて最終的な認証成否を判定する処理を行う処理部である。【００７０】
たとえば、この最終判定部１４ｇは、顔照合結果が照合成功であり、カラー判別結果がカラーであり、生体判別結果が生体（顔）である場合には、認証対象物は人の顔であるとして、最終的な認証に成功したと判定する。また、顔照合結果が照合成功であり、カラー判別結果がカラーであるが、生体判別結果が非生体（写真）である場合には、認証対象物はカラー写真であるとして、最終的な認証に失敗したと判定する。なお、カラー判別結果が白黒であれば、他の判定結果にかかわらず、認証対象物が白黒写真であるとして、最終的な認証に失敗したと判定する。【００７１】
記憶部１５は、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）等のメモリで構成される記憶部であり、学習データ１５ａおよび登録画像１５ｂを記憶する。学習データ１５ａは、既に説明した図６の手順に従って登録されるデータであり、生体判別部１４ｆによって用いられる。【００７２】
登録画像１５ｂは、あらかじめ登録された認証対象者の顔画像であり、顔照合部１４ｃによって用いられる。なお、顔照合部１４ｃが可視画像の照合用特徴量を算出する場合には、登録画像１５ｂのかわりに登録画像１５ｂの照合用特徴量を記憶部１５へ登録することとしてもよい。【００７３】
次に、顔認証装置１０が実行する処理手順について図８を用いて説明する。図８は、顔認証装置１０が実行する処理手順を示すフローチャートである。同図に示すように、可視画像取得部１４ａおよび赤外画像取得部１４ｅが、可視画像および赤外画像をそれぞれ取得すると（ステップＳ４０１）、顔検出部１４ｂは、可視画像について顔検出処理を行う（ステップＳ４０２）。【００７４】
そして、ステップＳ４０２の顔検出処理に成功した場合には（ステップＳ４０３，Ｙｅｓ）、顔照合部１４ｃが、可視画像について顔照合処理を行う（ステップＳ４０４）。なお、顔検出に失敗した場合には（ステップＳ４０３，Ｎｏ）、ステップＳ４０１以降の処理を繰り返す。【００７５】
つづいて、ステップＳ４０４の顔照合に成功したか否かが判定され（ステップＳ４０５）、顔照合に成功した場合には（ステップＳ４０５，Ｙｅｓ）、カラー判別部１４ｄが、可視画像についてカラー判別処理を行う（ステップＳ４０６）。なお、顔照合に失敗した場合には（ステップＳ４０５，Ｎｏ）、認証に失敗したものとして、ただちに、処理を終了する。【００７６】
そして、可視画像についてのカラー判別結果がカラーであるか否かが判定され（ステップＳ４０７）、カラーである場合には（ステップＳ４０７，Ｙｅｓ）、顔検出部１４ｂは、赤外画像について顔検出処理を行う（ステップＳ４０８）。なお、カラーではない場合には（ステップＳ４０７，Ｎｏ）、認証対象物を写真と判定して（ステップＳ４１３）処理を終了する。【００７７】
つづいて、ステップＳ４０８の顔検出処理に成功したか否かが判定され（ステップＳ４０９）、顔検出に成功した場合には（ステップＳ４０９，Ｙｅｓ）、生体判別部１４ｆが、赤外画像について生体判別処理を行う（ステップＳ４１０）。なお、顔検出に失敗した場合には（ステップＳ４０９，Ｎｏ）、認証対象物を写真と判定して（ステップＳ４１３）処理を終了する。【００７８】
そして、ステップＳ４１０の生体判別処理において生体と判別されたか否かが判定され（ステップＳ４１１）、生体と判定された場合には（ステップＳ４１１，Ｙｅｓ）、認証成功と判定して（ステップＳ４１２）処理を終了する。一方、ステップＳ４１１において非生体と判定された場合には（ステップＳ４１１，Ｎｏ）、認証対象物を写真と判定して（ステップＳ４１３）処理を終了する。【００７９】
なお、図８では、可視画像顔検出処理（ステップＳ４０２）、可視画像顔照合処理（ステップＳ４０４）、可視画像カラー判別処理（ステップＳ４０６）、赤外画像顔検出処理（ステップＳ４０８）および赤外画像生体判別処理（ステップＳ４１０）を、これらの順序で処理する場合について示したが、これらの順序以外で処理することとしてもよい。たとえば、ステップＳ４０６の可視画像カラー判別処理は、ステップＳ４０３以降であればどの段階で実行しても構わない。同じく、ステップ４１０の赤外画像生体判別処理は、ステップＳ４０９以降であればどの段階で実行しても構わない。また、ステップＳ４０８の赤外画像顔検出処理とステップＳ４０２の可視画像顔検出処理の実行順序を入れ替えることとしてもよい。【００８０】
また、図８では、可視画像顔検出処理（ステップＳ４０２）、可視画像顔照合処理（ステップＳ４０４）、可視画像カラー判別処理（ステップＳ４０６）、赤外画像顔検出処理（ステップＳ４０８）および赤外画像生体判別処理（ステップＳ４１０）を、これらの順序で直列に処理する場合について示したが、これらの処理を並列で行うこととしてもよい。【００８１】
図９は、並列処理の一例を示す図である。なお、同図に示す矢印は、処理が実行される順序をあらわしている。同図に示すように、認証処理が開始されたならば、顔検出部１４ｂは、可視画像顔検出処理と赤外画像顔検出処理とを並列で行い、つづいて、顔照合部１４ｃによる可視画像顔照合処理と、カラー判別部１４ｄによる可視画像カラー判別処理と、生体判別部１４ｆによる赤外画像判別処理を並列で行う。そして、最終判定部１４ｇによって最終的な処理結果判定が行われる。このように、各処理を並列で行うことで、認証処理に要する時間を短縮することが可能となる。【００８２】
上述してきたように、本実施例によれば、照明が、可視光および赤外光を対象物へ照射し、可視カメラが、可視光が対象物によって反射された反射可視光を撮像し、赤外カメラが、赤外光が前記対象物によって反射された反射赤外光を撮像し、顔照合部が、撮像された反射可視光画像に基づいて顔照合を行い、生体判別部が、撮像された反射赤外光画像に基づいて生体判別を行うように顔認証装置を構成したので、赤外光を吸収する成分で印刷された顔写真を用いた不正行為を防止することができる。【００８３】
なお、上述した実施例では、顔照合部は反射可視光画像に基づいて顔照合を行う場合について説明したが、顔照合を反射赤外光画像に基づいて行うことも可能である。この場合、登録画像として通常は赤外光画像が用いられる。また、生体判別を生体および非生体の生体情報を用いた照合によって行う場合には、生体判別部が顔照合部の機能を兼ねることとしてもよい。この場合、登録画像または照合用特徴量データと、生体判別用データ（生体画像または照合用特徴量データ）とが同一のものであってもよい。【００８４】
なお、上述した実施例では、顔認証装置を例としたが、本発明は、たとえば、指、掌など顔以外の対象にも有効であり、生体認証全般に適用可能である。
【産業上の利用可能性】
【００８５】
以上のように、本発明に係る生体認証装置は、写真を用いた不正行為の防止に有用であり、特に、赤外線を吸収する成分を含んだ写真を確実に排除したい場合に適している。
【図１】
2009107237.tif 000004
【図２】
2009107237.tif 000005
【図３】
2009107237.tif 000006
【図４】
2009107237.tif 000007
【図５】
2009107237.tif 000008
【図６】
2009107237.tif 000009
【図７】
2009107237.tif 000010
【図８】
2009107237.tif 000011
【図９】
2009107237.tif 000012
【国際調査報告】
2009107237.tif 000013
2009107237.tif 000014