(57)【要約】【課題】指紋画像に様々なノイズ要因が存在する場合にも、指紋の認証精度改善に欠かせない高品質の指紋特徴情報を取得可能にする。【解決手段】外光をカットしつつ、光学的に特性の異なる複数の撮像方式による指紋画像を交互に連続して取得し、それぞれの指紋画像から得られる特徴情報について局所領域毎の品質評価を行い、両指紋画像から評価の高い特徴情報を選択して１つの指紋に対する合成特徴情報を生成する。【選択図】図１
2010040011.tif 000002
【特許請求の範囲】
【請求項１】
検体となる指の配置に対して異なる位置に設置された第１および第２の光源と、
第１の光源の光の照射により指紋を撮像する第１の撮像方式を構成する第１の撮像手段と、
第２の光源の光の照射により指紋を撮像する第１の撮像方式と光学原理の異なる第２の撮像方式を構成する第２の撮像手段と、
第１および第２光源と第１および第２の撮像手段を制御して第１の撮像方式と第２の撮像方式による撮像を連続させるよう切り替える第１および第２光源と第１および第２の撮像手段を制御する撮像制御手段と、
指の指紋面と第１および第２の撮像手段の間に設けられ、外光をカットする外光フィルタと、
第１の撮像方式によって第１の撮像手段が取得した第１の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第１の特徴情報として抽出する第１の特徴情報抽出手段と、
第２の撮像方式によって第２の撮像手段が取得した第２の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第２の特徴情報として抽出する第１の特徴情報抽出手段と、
第１の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第１の特徴情報の品質を評価する第１の特徴情報品質評価手段と、
第２の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第２の特徴情報の品質を評価する第２の特徴情報品質評価手段と、
第１および第２の特徴情報品質評価手段のそれぞれにより品質評価された第１および第２の特徴情報の中から高い評価値の特徴情報を選択して合成し出力する特徴情報合成手段を備えたことを特徴とする指紋特徴情報生成装置。
【請求項２】
第１の撮像方式は、指の腹側以外の面の側に設置された第１の光源からの指を透過した光が作る指紋パターンを第１の撮像手段で撮像する光学的構成とし、
第２の撮像方式は、指紋のある指の腹側に設置された第２の光源からの指紋面で反射された光が作る指紋パターンを第２の撮像手段で撮像する光学的構成としたことを特徴とする請求項１記載の指紋特徴情報生成装置。
【請求項３】
第１および第２の撮像手段を１つの撮像手段で兼用するよう構成し、
撮像制御手段の切り替え制御に従って、前記１つの撮像手段が撮像した第１の撮像方式によって取得した指紋画像を第１の特徴情報抽出手段と第１の特徴情報品質評価手段に与え、前記１つの撮像手段が撮像した第２の撮像方式によって取得した指紋画像を第２の特徴情報抽出手段と第２の特徴情報品質評価手段に与えるよう振り分ける画像振り分け手段を備えたことを特徴とする請求項２記載の指紋特徴情報生成装置。
【請求項４】
検体となる指の配置に対して異なる位置に設置された第１および第２の光源と、
第１の光源の光の照射により指紋を撮像する第１の撮像方式を構成する第１の撮像手段と、
第２の光源の光の照射により指紋を撮像する第１の撮像方式と光学原理の異なる第２の撮像方式を構成する第２の撮像手段と、
第１および第２光源と第１および第２の撮像手段を制御して第１の撮像方式と第２の撮像方式による撮像を連続させるよう切り替える撮像制御手段と、
指の指紋面と第１および第２の撮像手段の間に設けられ、外光をカットする外光フィルタと、
第１の撮像方式によって第１の撮像手段が取得した第１の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第１の特徴情報として抽出する第１の特徴情報抽出手段と、
第２の撮像方式によって第２の撮像手段が取得した第２の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第２の特徴情報として抽出する第１の特徴情報抽出手段と、
第１の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第１の特徴情報の品質を評価する第１の特徴情報品質評価手段と、
第２の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第２の特徴情報の品質を評価する第２の特徴情報品質評価手段と、
第１および第２の特徴情報品質評価手段のそれぞれにより品質評価された第１および第２の特徴情報の中から高い評価値の特徴情報を選択して合成し出力する特徴情報合成手段と、
登録データ保存手段と、
指紋登録時に特徴情報合成手段から出力された合成特徴情報を識別情報に対応付けて登録データ保存手段に登録保存する特徴情報登録手段を備えたことを特徴とする指紋情報登録装置。
【請求項５】
第１の撮像方式は、指の腹側以外の面の側に設置された第１の光源からの指を透過した光が作る指紋パターンを第１の撮像手段で撮像する光学的構成とし、
第２の撮像方式は、指紋のある指の腹側に設置された第２の光源からの指紋面で反射された光が作る指紋パターンを第２の撮像手段で撮像する光学的構成としたことを特徴とする請求項４記載の指紋情報登録装置。
【請求項６】
第１および第２の撮像手段を１つの撮像手段で兼用するよう構成し、
撮像制御手段の切り替え制御に従って、前記１つの撮像手段が撮像した第１の撮像方式によって取得した指紋画像を第１の特徴情報抽出手段と第１の特徴情報品質評価手段に与え、前記１つの撮像手段が撮像した第２の撮像方式によって取得した指紋画像を第２の特徴情報抽出手段と第２の特徴情報品質評価手段に与えるよう振り分ける画像振り分け手段を備えたことを特徴とする請求項５記載の指紋情報登録装置。
【請求項７】
検体となる指の配置に対して異なる位置に設置された第１および第２の光源と、
第１の光源の光の照射により指紋を撮像する第１の撮像方式を構成する第１の撮像手段と、
第２の光源の光の照射により指紋を撮像する第１の撮像方式と光学原理の異なる第２の撮像方式を構成する第２の撮像手段と、
第１および第２光源と第１および第２の撮像手段を制御して第１の撮像方式と第２の撮像方式による撮像を連続させるよう切り替える撮像制御手段と、
指の指紋面と第１および第２の撮像手段の間に設けられ、外光をカットする外光フィルタと、
第１の撮像方式によって第１の撮像手段が取得した第１の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第１の特徴情報として抽出する第１の特徴情報抽出手段と、
第２の撮像方式によって第２の撮像手段が取得した第２の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第２の特徴情報として抽出する第１の特徴情報抽出手段と、
第１の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第１の特徴情報の品質を評価する第１の特徴情報品質評価手段と、
第２の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第２の特徴情報の品質を評価する第２の特徴情報品質評価手段と、
第１および第２の特徴情報品質評価手段のそれぞれにより品質評価された第１および第２の特徴情報の中から高い評価値の特徴情報を選択して合成し出力する特徴情報合成手段と、
登録データ保存手段と、
指紋登録時に特徴情報合成手段から出力された合成特徴情報を識別情報に対応付けて登録データ保存手段に登録保存する特徴情報登録手段と、
指紋照合時に特徴情報合成手段から出力された合成特徴情報を、登録データ保存手段に予め登録された合成特徴情報と照合し、両情報が一致するか否かを判定する特徴情報照合手段を備えたことを特徴とする指紋照合システム。
【請求項８】
第１の撮像方式は、指紋のない指の背側に設置された第１の光源からの指を透過した光が作る指紋パターンを第１の撮像手段で撮像する光学的構成とし、
第２の撮像方式は、指紋のある指の腹側に設置された第２の光源からの指紋面で反射された光が作る指紋パターンを第２の撮像手段で撮像する光学的構成としたことを特徴とする請求項７記載の指紋照合システム。
【請求項９】
第１および第２の撮像手段を１つの撮像手段で兼用するよう構成し、
撮像制御手段の切り替え制御に従って、前記１つの撮像手段が撮像した第１の撮像方式によって取得した指紋画像を第１の特徴情報抽出手段と第１の特徴情報品質評価手段に与え、前記１つの撮像手段が撮像した第２の撮像方式によって取得した指紋画像を第２の特徴情報抽出手段と第２の特徴情報品質評価手段に与えるよう振り分ける画像振り分け手段を備えたことを特徴とする請求項８記載の指紋照合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、生体の指紋パターンを撮像して得られる画像を解析して個人を識別する特徴情報を生成する指紋特徴情報生成装置、その特徴情報を用いる指紋情報登録装置および指紋照合システムに関するものである。
【背景技術】
【０００２】
生体情報を用いた代表的な個人識別装置として指紋照合装置があげられるが、指紋照合は、照合対象となる２つの指紋パターン画像、すなわち登録指および照合指の指紋画像のそれぞれから、隆線や谷線の分岐点や端点に代表される特徴点の情報（特徴点マッチング方式の場合）や隆線の方向角等を特徴情報として抽出し、特徴情報の類似度で照合するものである。パターンマッチング方式や周波数マッチング方式の場合には、指紋画像の縞状パターンそのもの（前処理によりパターン強調やノイズ低減した場合を含む）の強度分布またはそのパターンを空間周波数分布に変換した値が特徴情報として用いられる。精度の良い照合を行うためには、生体特有の様々なノイズ要因による特徴情報の品質低下を防ぐことが重要とされている。
【０００３】
指紋画像におけるノイズ要因は、次のように分類される。
（１）乾燥や発汗、摩耗、手荒れなどのような皮膚状態の変化に起因するもの
（２）指の回転による皮膚の撮像範囲のずれや、センサ部への指の押しつけ圧力の違いなど、指が撮像されるユーザの行動に起因するもの
（３）光学式センサにおける外光や迷光、半導体式センサにおける画素毎の寄生容量のばらつき等、撮像方式やセンサ特性といった撮像系に起因するもの
いずれにしても、指紋センサから得られる指紋画像において隆線パターンのつぶれ、かすれ、消滅、変形などを生じさせるため、特徴情報の欠落や偽の特徴情報の発生など、特徴情報の品質低下を引き起こすことになる。上記要因（１）は、要因（３）にも密接に関連している。一例を挙げると、センサ面と皮膚面との距離による静電容量の差を画像化する半導体式のセンサの場合では、表皮の汚れには影響されないが、皮膚の水分量に画質が大きく影響を受け、皮膚の乾燥に弱いとされる。一方、光学式センサには、半導体式よりも皮膚の乾燥の影響を受けにくいタイプも存在するが、タイプの違いによって影響度は異なるものの光を遮断／減衰させる表皮の汚れの影響が半導体式よりも大きい。
【０００４】
特徴情報の品質を向上させる技術としては、指紋画像を２回取得し、２枚の画像の重複部分を検出したのち、その重複情報を用いて２枚の画像の位置ずれを検知し、画像を貼り合わせることにより指紋画像の面積を増やす方法がある（例えば特許文献１参照）。
また、特に撮像方法特有の技術としては、例えば光学式センサにおいて要因（３）の１つである、太陽光等の外光の影響を軽減するために、指を照射する特定の単波長光源と、その特定の波長を通すようなバンドパスフィルタ等を組み合わせる技術が知られている。一方、これとは対極的な方法として、照射光に複数の波長を用いるという技術がある（例えば非特許文献１参照）。この非特許文献１には、指の腹側から６ないし７種類の波長の光源で指に照射して波長毎に画像を取得し、簡単なノイズ除去処理を行った後に波長毎に特徴情報を抽出し、波長毎に登録データと特徴情報を照合して特徴情報の一致スコアを評価し、得られた６つないし７つの一致スコアの平均を最終的な一致スコアとして指紋照合を行うという技術、および単純にノイズ除去済みの全波長の画像の画素値平均を取って１枚の画像にするという技術が示されている。ただし、外光に有効な上記のバンドパスフィルタは使えない。その他、白色光で撮像する表皮の指紋画像にけがや摩耗がある場合、その領域の画像を補完するための追加画像のために、波長４００ｎｍ程度の短波長光による撮像を行えるようにした装置（例えば特許文献２参照が提案）されているが、補完する領域の決定方法や補完処理については特に示されていない。
【０００５】
【特許文献１】特開２００５−３０１３４８号公報（頁１、頁２［請求項１］、図４、図６〜８）
【特許文献２】特開２００８−６１４６号公報（頁１、頁２［請求項１］、頁４［００１１］）
【非特許文献１】Roert K. Rowe, etc. ‘Multispectral Fingerprint Biometrics’Proc. 2005 IEEE Workshop on IAS U.S.Military Academy, West Point,NY（頁１６右欄１８〜２０行、頁１７右欄１３〜２７行）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の技術では、特徴情報の品質の劣化原因が上記要因（１）のような場合、同じ撮像方式で指の置き場所を変えて何枚画像を撮像しても、特徴情報が得られない皮膚上の領域の特性は変わるわけではないため、特徴情報の品質を改善できないという問題がある。また、通常のユーザの場合、指の置き場所を変えると、上記要因（２）の影響が大きいため、指が変形しないよう注意を払って指を置くことをユーザに指示しておかなければ精度良く特徴情報の合成を行えない。したがって、合成された特徴情報の品質が劣化しやすく、実用性に乏しい。
一方、非特許文献１、特許文献２の技術では、波長を変えるなどして撮像方法を変えれば、ある撮像方式では得られなかった特徴情報が別の撮像方式で得られるという技術が示されていると共に、指を動かさずに複数種類の撮像を行うことができるため、複数の画像間で指の変形を考慮する必要がないという特徴がある。しかしながら、複数波長を用いるため、その代償として、バンドパスフィルタ使用による外光カットを有効に行えず、実用上、外光に弱くなり、特徴情報の品質が劣化しやすいという問題がある。また、非特許文献１のような技術で照合を行って、すべての波長における特徴情報が低品質であった場合は、波長毎に照合を行っても一致スコアは低いままとなる。さらに、波長毎に特徴情報を登録データとして持ち、波長の数だけ照合処理を実行する必要があるため、登録データサイズや照合時間が過大になるという実用上の問題がある。
【０００７】
この発明は、上記問題点を解決するためになされたもので、指紋画像に様々なノイズ要因が存在する場合にも、指紋の認証精度改善に欠かせない高品質の指紋特徴情報を取得可能にする指紋特徴情報生成装置、その特徴情報を用いる指紋情報登録装置および指紋照合システムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る指紋特徴情報生成装置は、検体となる指の配置に対して異なる位置に設置された第１および第２の光源と、第１の光源の光の照射により指紋を撮像する第１の撮像方式を構成する第１の撮像手段と、第２の光源の光の照射により指紋を撮像する第１の撮像方式と光学原理の異なる第２の撮像方式を構成する第２の撮像手段と、第１および第２光源と第１および第２の撮像手段を制御して第１の撮像方式と第２の撮像方式による撮像を連続させるよう切り替える撮像制御手段と、指の指紋面と第１および第２の撮像手段の間に設けられ、外光をカットする外光フィルタと、第１の撮像方式によって第１の撮像手段が取得した第１の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第１の特徴情報として抽出する第１の特徴情報抽出手段と、第２の撮像方式によって第２の撮像手段が取得した第２の指紋画像から、当該方式の原理に基づく顕在化された画像部分を第２の特徴情報として抽出する第１の特徴情報抽出手段と、第１の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第１の特徴情報の品質を評価する第１の特徴情報品質評価手段と、第２の指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に第２の特徴情報の品質を評価する第２の特徴情報品質評価手段と、第１および第２の特徴情報品質評価手段のそれぞれにより品質評価された第１および第２の特徴情報の中から高い評価値の特徴情報を選択して合成し出力する特徴情報合成手段を備えたものである。
【発明の効果】
【０００９】
この発明によれば、光学式センサを用いる場合に実用上大きな問題となる外光をカットしつつ、光学的に特性の異なる複数の撮像方式による指紋画像を交互に連続して取得し、それぞれの指紋画像から得られる特徴情報について局所領域毎の品質評価を行い、評価の高い特徴情報を選択して１つの指紋に対する合成特徴情報を生成するようにしている。したがって、別々の撮像方式に基づくが撮像時に物理的・時間的に干渉せず、また、撮像時に起きる指の置き直しなどのような位置ずれを起さない状態で各指紋画像を精度良く取得できる。また、異なる撮像方式を用いて得られる両指紋画像の特徴情報のうちから品質評価の高い情報を用いて補完し合った１つの指紋の特徴情報を得るため、皮膚状態と撮像方法に依存するノイズ要因などは回避され、従来にない高品質の特徴情報が得られる。
【発明を実施するための最良の形態】
【００１０】
実施の形態１．
図１は、この発明の実施の形態１による指紋特徴情報生成装置の機能構成を示すブロック図である。
この発明では、指紋の画像を取得する方法として、２種類の撮像方式を併用する。第１の撮像方式には、例えば特開２００３−８５５３８号公報に開示されているような光透過型を適用する。すなわち、第１の撮像方式は、指の背側（爪側）に設置された光源（第１の光源）１１から光を照射し、指を透過し指紋の凸部を通過する光と凹部を通過する光をカメラ（撮像手段）２１により撮像する光学的構成とする。また、第２の撮像方式には、例えば特許文献２に開示されているような通常の反射型を適用する。すなわち、第２の撮像方式は、指の腹側（指紋側）に設置された光源（第２の光源）１２から光を指の腹に照射し、指紋の凹凸部で反射した光をカメラ２１により撮像する光学的構成とする。
なお、指は必ずしも非接触で撮像する必要はなく、指の動きを抑えるために、カメラの手前に図２に示すような指を置くための透明プレート２５を設けたり、光路を設定するためのプリズム等の光学系部材を設ける構成としてもよい。また、指の一部を触れさせる指置き用の外枠を設け、指の位置を静止させやすくしてよい。さらに、第１および第２の撮像方式の構成する上で撮像手段は1つのカメラ２１で兼用しているが、各撮像方式に対して別々のカメラを設置してもよい。その場合、ハーフミラーのようなスプリッタを用いて指紋側からの光を各カメラ側に分光することになる。しかし、この実施の形態１のように１つのカメラ２１で行う場合は、光学系の構成を簡易にできるので有利である。また、第１の撮像方式にかかる光源位置としては、指の背側以外にも、例えば特開２０００３−８５５３８号公報に開示されているように指の側面や、指の先側などに設置しても光透過型の撮像が可能である。
【００１１】
光源１１，１２から発射される光は、いずれもカメラ２１の手前に設けられているバンドパスフィルタである外光フィルタ２０を通過する波長を含んでいるものとする。光源１１，１２の照射のタイミングは、撮像制御手段３０により高速に切り換え制御されるようになっている。また、撮像制御手段３０は、照射のタイミングに合わせてカメラ２１による画像取得と画像振り分け手段４０による取得画像振り分けのタイミングを制御している。この撮像制御手段３０による切り替え制御は、指の動きが指紋パターンの大きさに比して無視できる程度まで十分高速に行われるものとする。
【００１２】
画像振り分け手段４０は、撮像制御手段３０による切り替え制御に応じて、カメラ２１で取得した第１の撮像方式の指紋画像を、特徴情報抽出手段（第１の特徴情報抽出手段）４１と特徴情報品質評価手段（第１の特徴情報品質評価手段）５１からなる特徴情報処理系に与え、また、第２の撮像方式の指紋画像を、特徴情報抽出手段（第２の特徴情報抽出手段）４２と特徴情報品質評価手段（第２の特徴情報品質評価手段）５２からなる特徴情報処理系に与えるよう動作する。特徴情報合成手段６０は、それぞれの特徴情報処理系で処理された特徴情報を合成し、品質改善された合成特徴情報を出力する。
【００１３】
次に動作について説明する。
電源が投入され本装置の処理開始状態におかれる。検体となる指が撮像領域にセットされると、まず撮像制御手段３０により第１の撮像方式を有効にして、光源１１の発した光が指の上側に照射されると、指を透過した光が作る指紋パターンが外光フィルタ２０を介してカメラ２１の撮像面に結像し、これをカメラ２１で撮像する。第１の撮像方式によってカメラ２１で取得された指紋画像（第１の指紋画像）は、画像振り分け手段４０を介して特徴情報抽出手段４１に与えられる。続いて撮像制御手段３０は、第１の撮像方式による撮像が終了すると瞬時に第２の撮像方式に切り替える。光源１２の発した光が指の指紋のある下面に照射され、その反射光が作る指紋パターンが外光フィルタ２０を介してカメラ２１の撮像面に結像し、これをカメラ２１で撮像する。第２の撮像方式によってカメラ２１で取得された指紋画像（第２の指紋画像）は、画像振り分け手段４０を介して特徴情報抽出手段４２に与えられる。ここでは、第１の撮像方式と第２の撮像方式による撮像動作を瞬時に連続して行うため、指の置き直しなどのような位置ずれを起さない状態で各指紋画像を精度良く取得できる。
【００１４】
特徴情報抽出手段４１では、第１の撮像方式によって得られる指紋画像から、その方式の原理に基づく顕在化された画像部分を特徴情報（第１の特徴情報）として抽出する。
第１の撮像方式の場合、指を透過した光のパターンからなる指紋画像には、原理上、後述する図３（ａ）に例示されるような指紋の谷線が明るく映る。そこで、特徴情報抽出手段４１では、この谷線を、例えば周囲より明るい線要素を検出する画像処理を用いて検出する。抽出する特徴情報としては、後述する図３（ｃ）に例示されるような、線の分岐点や端点の座標や向きといった特徴点の座標および分岐方向角、局所領域ごとの線の方向角、局所領域毎の信頼度マップを抽出する。ここでいう信頼度マップとは、その局所領域における特徴点の抽出結果がどの程度信頼できるかを数値化し、画素毎または原画像より低解像度の画素ブロックごとに値を持つようなマップであり、例えば谷線を抽出したときの線の濃淡コントラスト（コントラストが高い領域は信頼度が高いと考えられるため）の値を正規化して用いることとする。なお、この実施の形態１では、指紋照合方式として比較的シンプルな特徴点照合方式に適用することを前提として説明しているが、より複雑な照合方式に適用する場合には、特徴点以外の情報、例えば特徴点間の線の本数、特徴点の密度、線の密度、線の方向、線の間隔、線のコントラスト、等の情報も特徴情報として抽出することになる。
ここで、特徴情報抽出手段４１で行う画像処理は第１の撮像方式に特化したものであるが、光透過型の場合には、指の局所的な厚みの変化等を反映する輝度パターンの空間的低周波成分を取り除くアルゴリズム、また、光を通しにくい表面汚れのような画像ノイズに対しては、光が遮断されて黒く撮像された画素を無視して処理するアルゴリズム等を内蔵してもよい。
【００１５】
一方、特徴情報抽出手段４２では、第２の撮像方式によって得られる指紋画像から、その方式の原理に基づく顕在化された画像部分を特徴情報（第２の特徴情報）として抽出する。
第２の撮像方式の場合、指の指紋面で反射された光のパターンによる第２の指紋画像には、原理上、後述する図３（ｂ）に示されるような指紋の谷線が暗く映る。そこで、特徴情報抽出手段４２では、この谷線を、例えば周囲より暗い線要素を検出する画像処理を用いて検出する。抽出する特徴情報は、後述する図３（ｄ）に例示されるように、特徴情報抽出手段４１で抽出する特徴情報と類似したものとなる。
ここで、特徴情報抽出手段４２で行う画像処理は第２の撮像方式に特化したものであるが、光反射型の場合には、光源と指位置とカメラの位置関係で変化する鏡面反射領域を検出して輝度変化を抑える等の処理アルゴリズムを内蔵してもよい。
【００１６】
次に、特徴情報品質評価手段５１では、第１の撮像方式によって得られる指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に、特徴情報抽出手段４１で得られた特徴情報の品質を評価する。
この品質評価方法の簡単な例としては、例えば元の指紋画像から局所的な画素値のコントラストを計算し、その局所領域に属する特徴情報にそのコントラストの評価値を与えるという方法が考えられる。また、品質評価方法の高度な例としては、特徴情報の値の異常度合い（例えば線の方向が隣接領域と大きくずれている、特徴点の密度が大きすぎるか、少なすぎる、線の方向と特徴点の方向が矛盾している）等の方法がある。
また、特徴情報品質評価手段５２でも、第１の撮像方式によって得られる指紋画像における各局所領域のパターン品質を評価して信頼度マップを生成し、当該信頼度マップに基づいて局所領域毎に、特徴情報抽出手段４２で得られた特徴情報の品質を評価する。特徴情報品質評価手段５１と同様にして行えばよい。ただし、特徴情報品質評価手段５１，５２は、撮像方式が異なることから、それぞれの撮像方式に特有の品質評価処理を加えるようにしてもよい。
【００１７】
特徴情報合成手段６０では、特徴情報品質評価手段５１，５２のそれぞれにより品質評価された特徴情報の中から高い評価値の特徴情報を選択して合成する。なお、特徴情報品質評価手段５１，５２の両特徴情報が同程度の品質評価値であった場合には、特徴情報の重複を判定し、重複を取り除く処理を行う。
【００１８】
次に、各撮像方式により取得した指紋画像から特徴情報合成を行うまでの品質評価処理の流れを図３〜図６を用いて具体的に説明する。
図３は指紋画像と特徴情報について示す。図３（ａ）は上記第１の撮像方式で撮像して得られた指紋画像６０１を表わし、図３（ｂ）は上記第２の撮像方式で撮像して得られた指紋画像６１１を表わす。本例の指紋画像６０１は谷線が明るく、第２の指紋画像６１１は谷線が暗いため、両画像を、そのまま画素ごとに輝度の平均値を取って１枚の画像にすることはできない。また、谷線の中心位置も、光の当たり方や皮膚の特性、光の当て方の違いによるノイズ成分の違いなどによって完全に同じ位置にならず、僅かに位置がずれることがあるため、単純に輝度の平均値をとると部分的に輝度パターン同士が打ち消しあい、元の画像よりかえってコントラストが落ちることがある。
【００１９】
図３（ｃ）は、特徴情報品質評価手段５１で生成された信頼度マップ６０２上に、特徴情報抽出手段４１で指紋画像６０１から抽出された特徴情報を重ねた状態を示す。信頼度マップ６０２は、信頼度の値が高い領域６０３、中くらい領域６０４、低い領域６０５で表わされている。また、特徴情報は、丸印に方向角を示す短線分の付いた複数の特徴点（以降第１の特徴点）６０６で表わされている。図３（ｄ）は、同様に、特徴情報品質評価手段５１で生成された信頼度マップ６１２上に特徴情報抽出手段４２で指紋画像６１１から抽出された特徴情報を重ねた状態を示す。信頼度マップ６１２は、信頼度の値が高い領域６１３、中くらい領域６１４、低い領域６１５で表わされている。また、特徴情報は、三角印に方向角を示す短線分の付いた複数の特徴点（以降第２の特徴点）６１６で表わされている。ここで、指紋画像６０１は左下に皮膚の汚れがあり中〜低信頼度、また、指紋画像６１１は右上がかすれており中〜低信頼度とする。
【００２０】
図３（ｃ）における特徴点６０６に対する品質評価値としては、例えば図４（ａ）のように、その特徴点の属する領域の信頼度値を信頼度マップから読み取って与える。偽の特徴点はノイズによる偽の線が現れた局所領域に集中的に出現することが多いため、例えば周辺の特徴点の存在密度を評価し、その逆数を上記の信頼度値に加えるなど、複数の評価基準も反映されていることが望ましい。このようにして高、中、低の評価値が与えられた第１の特徴点を６０７，６０８，６０９とする。また、同様にして、図３（ｄ）における特徴点６１６についても、図４（ｂ）のようにして品質評価値を決定する。そして、高、中、低の評価値が与えられた第２の特徴点を６１７，６１８，６１９とする。
【００２１】
次に、図４（ｂ）の第２の特徴点６１７〜６１９（三角印）を図４（ａ）の信頼度マップ６０２の同じ座標位置に重ねる。この状態を図５に示す。ここでは、高評価値の特徴点６２７は丸印で表わされる第１の指紋画像に属する特徴点と位置や方向角がよく一致し、中・低評価値の特徴点６２８〜６３１は第１の指紋画像に属する特徴点と位置や方向角があまり一致しなくなっている。また、第１の信頼度マップ６０２の信頼度が低い領域に、品質評価値が第１の信頼度マップ６０２の信頼度より高い第２の特徴点６２９が存在する場合がある。そこで、このような状況例に対しては、例えば次のような補完・重複除去の処理を行う。
６２７：  第１、第２の特徴点の位置と方向角の誤差が所定以下であれば重複情報とみなし、いずれか一方を削除する。（図では第１特徴点を優先とした。）
６２８：  第１、第２の特徴点の位置と方向角の誤差が所定以下であれば重複情報とみなし、品質評価値の高い方を残す。
６２９：  第２の特徴点に対応する第１の特徴点はなく、第２の特徴点の品質評価値が第１の信頼度マップより十分高ければ、第２の特徴点を残す。
６３０：  信頼度マップは低いが第１、第２の特徴点がよく一致するのであれば重複情報とみなし、いずれか一方を削除する。
６３１：  品質評価値が所定以下で、良く一致する第２の特徴点が存在しない第１の特徴点は削除する。
【００２２】
以上により、最終的に図６に示すような合成された高品質の特徴点を得る。例えば第１の特徴点にはなかった特徴点６２９が補完されており、特徴点６３０は元の特徴点よりも品質評価値が向上している。このような品質の改善された特徴情報を指紋照合に用いると、単独の撮像方式の指紋画像から抽出した特徴情報で照合を行う場合より照合精度が大きく改善される。一方、非特許文献１のような方針で照合を行うと、品質改善前の第１の特徴点６０６同士の低精度の照合結果と、品質改善前の第２の特徴点６１６同士の低精度の照合結果の平均を取ることになるため、少なくとも最良の単独の撮像方式の原理によって得られる特徴情報を用いた照合結果以上の精度にはならない。
なお、この後さらに図４における特徴情報６１２と６０２の重ね合わせ評価処理の役割を交換して上記と同様の処理をさらに行い、処理結果の信頼性を向上させるようにしてもよい。また、上記例では、２つの異なる撮像方式を用いた説明としているが、２つ以上の撮像方式を用いてもよい。さらに、撮像回数を増やしてもよい。
【００２３】
以上のように、この実施の形態１によれば、光学式センサを用いる場合に実用上大きな問題となる外光をカットしつつ、光学的に特性の異なる複数の撮像方式による指紋画像を交互に連続して取得し、それぞれの指紋画像から得られる特徴情報について局所領域毎の品質評価を行い、評価の高い特徴情報を選択して１つの指紋に対する合成特徴情報を生成するようにしている。したがって、別々の撮像方式に基づくが撮像時に物理的・時間的に干渉せず、また、撮像時に起きる指の置き直しなどのような位置ずれを起さない状態で各指紋画像を精度良く取得できる。また、異なる撮像方式を用いて得られる両指紋画像の特徴情報のうちから品質評価の高い情報を用いて補完し合った１つの指紋の特徴情報を得るため、皮膚状態と撮像方法に依存するノイズ要因などは回避され、従来にない高品質の特徴情報が得られる。さらに、この実施の形態１の場合、異なる撮像方式を構成しているカメラを１つのカメラで兼用できるようにしているので、光学系の構成を簡易にすることができる。
【００２４】
実施の形態２．
図７は、この発明の実施の形態２による指紋照合システムの構成を示すブロック図である。図において、図１に相当する部分には同一符号を付し、その説明は原則的に省略する。
指紋登録を行う場合、ユーザ操作インタフェース７０からユーザに対して装置への指置きを要求する。ユーザが指紋読み取り部に指を差し込むと、２つの撮像原理に基づく２枚の画像を取得し、２枚の画像に対して実施の形態１で述べたような処理を経て特徴情報合成手段６０から高品質の特徴情報が出力される。特徴情報登録手段８０では、入力された特徴情報に、ユーザに入力させたユーザ識別ＩＤを関連づけ、登録データ保存手段８１に保存する。
【００２５】
次に、指紋照合を行う場合は、ユーザ操作インタフェース７０によりユーザに対して、装置への指置きと、そのユーザ識別ＩＤの入力を要求する。ユーザが指紋読み取り部に指を差し込むと、２つの撮像方式に基づく２枚の画像を取得し、実施の形態１で述べたような処理を経て特徴情報合成手段６０から高品質特徴情報が出力される。特徴情報照合手段９０に入力する。一方、特徴情報登録手段８０は、入力されたユーザ識別ＩＤに関連づけられた登録データを登録データ保存手段８１から引き出し、特徴情報照合手段９０に入力する。特徴情報照合手段９０では、照合のために入力された高品質の特徴情報と登録データの一致度を計算し、一致度が所定の値を超えていると判定された場合には照合ＯＫを出力する。また、一致度が所定の値を満たしていない場合には照合ＮＧを出力する。
【００２６】
以上のように、この実施の形態２によれば、実施の形態１による複数の異なる撮像方式を用いて取得したそれぞれの指紋画像から得られる特徴情報から相補的に合成した高品質の特徴情報を得て、合成情報を登録し、指紋照合に用いるようにしたので、高品質の特徴情報の登録と、それに基づいた精度の高い指紋照合を可能にする。また、指紋情報登録装置において品質の良い特徴情報のみを登録できるため、複数の低品質な重複した特徴情報は登録データとして保存する必要がなくなり、その分、特徴情報の保存容量を削減できると共に、複数の低品質な重複した特徴情報については照合する必要が無くなるため、照合時間も短くなる。
なお、上記例ではＩＤ照合と呼ばれる照合方法について説明したが、照合方法には、その他にも、ユーザ識別ＩＤの入力なしに登録データすべてとの照合を試みることによって「登録ユーザであるか否か」の判定を行うなどいくつかの照合方法があるが、いずれの場合でも、指紋から特徴情報を抽出して登録や照合に用いる方法であれば、この発明による高品質特徴情報と組み合わせて利用できる。
【図面の簡単な説明】
【００２７】
【図１】この発明の実施の形態１による指紋特徴情報生成装置の機能構成を示すブロック図である。
【図２】この発明の実施の形態１に係るカメラの前に透明プレートを設置する構成例を示す説明図である。
【図３】この発明の実施の形態１に係る指紋画像と信頼度マップ上の特徴情報を示す説明図である。
【図４】この発明の実施の形態１に係る特徴点に対する品質評価処理の説明図である。
【図５】この発明の実施の形態１に係る一方の指紋画像の評価特徴点を他方の指紋画像の信頼度マップに重ねる品質評価処理の説明図である。
【図６】この発明の実施の形態１に係る合成後の高品質の特徴点を示す説明図である。
【図７】この発明の実施の形態２による指紋照合システムの機能構成を示すブロック図である。
【符号の説明】
【００２８】
１１，１２  光源、２０  外光フィルタ、２１  カメラ、２５  透明プレート、３０  撮像制御手段、４０  画像振り分け手段、４１，４２  特徴情報抽出手段、５１，５２  特徴情報品質評価手段、６０  特徴情報合成手段、７０  ユーザ操作インタフェース、８０  特徴情報登録手段、８１  登録データ保存手段、９０  特徴情報照合手段。
【図１】
2010040011.tif 000003
【図２】
2010040011.tif 000004
【図３】
2010040011.tif 000005
【図４】
2010040011.tif 000006
【図５】
2010040011.tif 000007
【図６】
2010040011.tif 000008
【図７】
2010040011.tif 000009