(57)【特許請求の範囲】
【請求項１】
指紋の部分画像の系列を入力し、前記入力された入力指紋と予め登録された登録指紋との同一性の判定を行う指紋識別方法において、前記各部分画像の合成位置を決定するために該登録指紋の画像情報を利用することを特徴とする指紋識別方法。
【請求項２】
前記入力指紋と前記登録指紋との同一性の判定は、前記各部分画像について、前記登録指紋の画像の中で該部分画像と最もよく類似する位置を求め、該位置情報に基づいて該部分画像を配置することにより前記各部分画像を合成して合成画像を求め、該合成画像を前記登録指紋の画像と照合し同一性を判定することを特徴とする請求項１に記載の指紋識別方法。
【請求項３】
前記入力指紋と前記登録指紋との同一性の判定は、前記各部分画像について前記登録指紋の画像の中で該部分画像と最もよく類似する位置において最小となる第１のペナルティ指標を累積加算し、前記累計加算の結果が所定のペナルティ閾値を超えた場合には前記入力指紋が前記登録指紋と異なるものであると判定することを特徴とする請求項１、請求項２に記載の指紋識別方法。
【請求項４】
前記入力指紋と前記登録指紋との同一性の判定は、前記第１のペナルティ指標の累積加算が所定のペナルティ閾値を超えず、かつ前記部分合成画像の面積が所定の面積閾値を超えた場合には、前記入力指紋が前記登録指紋と類似するものであると判定することを特徴とする請求項１、請求項２に記載の指紋識別方法。
【請求項５】
前記各部分画像の合成は、前記各部分画像について、前記登録指紋の画像の中で該部分画像と最もよく類似する位置を求めるとともに、それ以前に入力された前記各部分画像から合成された部分合成画像と該部分画像とが最も矛盾なく連続する位置を求め、その結果に基づいて該部分画像を配置して前記各部分画像を合成することを特徴とする請求項２に記載の指紋識別方法。
【請求項６】
前記各部分画像の合成位置の決定は、前記第１のペナルティ指標と、それ以前に計算された前記部分合成画像と最も矛盾なく連続する位置において最小となる第２のペナルティ指標とを計算し、前記第１および第２のペナルティ指標の加重平均にしたがって前記第１のペナルティ指標の計算結果と前記第２のペナルティ指標の計算結果を統合することで合成位置を決定することを特徴とする請求項５に記載の指紋識別方法。
【請求項７】
前記各部分画像の合成位置の決定は、前記部分合成画像がより多くの前記部分画像から合成されるにつれて前記第２のペナルティ指標の重みを増すような加重平均法にしたがって前記第１のペナルティ指標の計算結果と前記第２のペナルティ指標の計算結果を統合し、その結果に基づいて合成位置を決定することを特徴とする請求項５に記載の指紋識別方法。
【請求項８】
指紋の部分画像の系列を入力し、前記入力された入力指紋と予め登録された登録指紋との同一性の判定を行う指紋識別装置において、
前記指紋の部分画像を入力するフレ−ム画像入力手段と、
該部分画像と前記登録指紋の画像との最も類似する位置を計算する対登録画像最適位置計算手段と、
前記最も類似する位置に配置した該部分画像と既に合成された部分合成画像とを合成し、拡張された部分合成画像を生成する画像合成手段と、
前記入力された全ての部分画像を合成した合成画像と前記登録指紋の画像との同一性の判定を行う指紋照合手段と、
を具備することを特徴とする指紋識別装置。
【請求項９】
前記部分画像についてそれ以前に入力された各部分画像から合成された前記部分合成画像との最も矛盾なく連続する位置を求める対合成画像最適位置計算手段を具備し、前記画像合成手段は前記対登録画像最適位置計算手段の結果と前記対合成画像最適位置計算手段の結果にしたがって該部分画像を合成することを特徴とする請求項８に記載の指紋識別装置。
【請求項１０】
前記対登録画像最適位置計算手段において前記各部分画像について計算された前記登録指紋の画像の中で該部分画像と最もよく類似する位置において最小となる第１のペナルティ指標を累計加算し、前記累計加算の結果が所定のペナルティ閾値を越えた場合に前記入力指紋と前記登録指紋との不一致を判定する不一致判定手段を具備することを特徴とする請求項８、請求項９に記載の指紋識別装置。
【請求項１１】
前記対登録画像最適位置計算手段において計算された前記各部分画像の第１のペナルティ指標を累積加算し、前記累積加算した結果が所定のペナルティ閾値を越えることなく、かつ前記画像合成手段で合成された前記部分合成画像の面積が所定の面積閾値を上回った場合に、前記入力指紋と前記登録指紋との一致を判定する簡易一致判定手段を具備することを特徴とする請求項８、請求項９に記載の指紋識別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特に個人や少人数ユ−ザ向けの情報機器において、指紋を用いた個人識別のために、入力された複数の指紋部分画像を合成し、指紋の照合を行う指紋識別方法及び装置に関する。
【０００２】
【従来の技術】
情報機器や情報サ−ビスにおけるユ−ザ確認には、万人不同・終生不変という特徴をもつ指紋の同一性を利用する指紋識別が有効である。この指紋識別によるユ−ザ確認では、あるユ−ザＸがその情報機器や情報サ−ビスを利用する際に指紋入力部から指紋を入力し、入力されたユーザＸの指紋と予め入力し保存されている、その情報機器や情報サ−ビスを利用する権限をもつ正規ユ−ザＡの指紋デ−タ（テンプレ−トと呼ぶ）とを照合し、一致すればユーザＸは正規ユ−ザとしてその情報機器や情報サービスの利用を許可される、という手順がとられる。
【０００３】
従来、指紋の入力においては、指先の指紋領域よりも十分に広い正方形に近い押捺面をもつ、いわば２次元型のセンサによる入力装置が多く用いられていた。しかし、入力装置の低価格化と小型化による搭載可能機器の範囲拡大のためには、指紋領域よりも小さい領域をセンサ面とする入力装置を用い、このような小面積センサ面に対して指を相対的に動かし（これをスイ−プ動作と呼ぶ）、得られた複数の部分画像列を用いて指紋照合を行う、という方法が有効である。
【０００４】
この小面積センサを用いた例として、特開平１０−９１７６９号公報に記載されている技術においては、およそ指の幅に近い長辺幅をもち、短辺方向の長さは長辺幅に比べてかなり短い、１次元のライン型に近い形状の矩形型のセンサを用い、その上で指を短辺方向にスライドさせ、得られた部分画像列から、照合用の２次元画像を合成する方法が述べられている。この場合、ライン状のセンサ上で指を動かしセンサが時間の経過と共にその上の指紋の隆線パタ−ンに対応する濃淡画像を次々と撮像するため、入力装置の側から見ると、ライン状の濃淡画像である矩形の部分画像列が時間の経過と共に入力されることになる。このときの一回の撮像で得られる部分画像をフレ−ムまたはフレーム画像と呼ぶ。
【０００５】
そして、このフレ−ム画像が次々と入力されるときに、この部分画像群から２次元画像を再構成し、指紋照合を行うためには、一般的に、図８に示す次のような手順を利用している。
（１）入力された部分画像と隣接する部分画像との位置関係、すなわちフレ−ム間の指画像の２次元的な移動量を調べる位置合わせを行い（ステップＳ１１，Ｓ１８）、
（２）この位置合わせの結果にしたがって相互に位置決めした部分画像群から２次元画像Ｓ（Ｎ）を合成し（ステップＳ１９，Ｓ２０）、
（３）得られた２次元画像Ｓ（Ｎ）から照合用の特徴を抽出し（ステップＳ２２）、
（４）抽出した照合用の特徴と予め求めておいた登録指紋（テンプレ−ト）の特徴とを照合し（ステップＳ２３）、一致すれば認証完了とする（ステップＳ２４）、という手順で処理している。
【０００６】
上記（１）の位置合わせ方法として、逐次類似検出アルゴリズム（ＳＳＤＡ：Ｓｅｑｕｅｎｔｉａｌ  Ｓｉｍｕｌａｒｉｔｙ  Ｄｅｔｅｃｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ）を用いる方法がある。例えば、既に第１フレ−ムから第（ｎ−１）フレ−ム（ｎは２以上の整数）までのフレ−ム画像が入力され、それらについて位置合わせおよび合成が終了し、その結果として部分合成画像Ｓ（ｎ−１；ｉ，ｊ）（ｉおよびｊはそれぞれｘ座標、ｙ座標）が計算されているとする。ここで、第ｎフレ−ム画像ｆ（ｎ；ｉ，ｊ）が入力され、これを部分合成画像Ｓ（ｎ−１； ｉ，ｊ）に対して位置合わせを行ない、合成するものとする。そのために、ＳＳＤＡ法では、フレーム画像ｆ（ｎ； ｉ，ｊ）を少しずつ平行移動しながら部分合成画像Ｓ（ｎ−１； ｉ，ｊ）とフレ−ム画像ｆ（ｎ； ｉ，ｊ）の重ね合わせを試み、最も合ったところをフレ−ム画像ｆ（ｎ； ｉ，ｊ）の位置合わせの最適な移動位置とするものである。これを実現するには、フレ−ム画像ｆ（ｎ； ｉ，ｊ）を（ｘ，ｙ）だけ平行移動した時の２つの画像の濃度値の差の累積（これをペナルティと呼ぶ）ｃ（ｘ，ｙ）を次式により計算し、ペナルティｃ（ｘ，ｙ）が最小となる（ｘ，ｙ）を求める。
【０００７】
【数１】
0003780830.tif 000002
ここで、２つの累積和Σは、それぞれ部分合成画像Ｓ（ｎ−１；ｉ，ｊ）とフレ−ム画像ｆ（ｎ；ｉ，ｊ）が重なる領域内の一定面積についてのｉおよびｊについて求める
【０００８】
（２）の合成においては、ペナルティｃ（ｘ，ｙ） を最小にする（ｘ，ｙ）だけフレーム画像ｆ（ｎ； ｉ，ｊ）を平行移動して部分合成画像Ｓ（ｎ−１；ｉ，ｊ）と合成し、新たな部分合成画像としてＳ（ｎ；ｉ，ｊ）を計算すればよい。
【０００９】
しかし、センサに対する指の相対的な移動速度が大きく、フレ−ム間の重なり面積が小さい場合、このような方法では最適な移動量を求めることが困難になる。すなわち、ユ−ザが指を速く動かしたときなどには正確な位置合わせができず、正しい２次元画像の再構成の失敗により指紋照合の精度が低下する、という問題がある。逆に言えば、安定した照合動作を保証するためには、ユ−ザは指をゆっくり動かす必要があり、ユ−ザの利便性が下がる、という問題がある。
【００１０】
以上述べたように、従来の指紋照合方法や指紋照合装置においては、指紋照合の精度を向上するためには、ユ−ザはセンサ上で指をゆっくり動かす必要があり、ユ−ザの利便性が低下するという問題があった。
【００１１】
【発明が解決しようとする課題】
本発明は、上記の問題に鑑みてなされたもので、特に個人用の情報機器においては、登録ユ−ザの指紋デ−タのテンプレ−トは限られた個数しかないという特性を利用することにより、部分画像列が入力されたときの部分画像間のより正確な位置合わせを可能とし、より高精度な指紋照合を実現する指紋照合方法及び装置を提供することを目的とする。
さらには、効率よい位置合わせを実現することにより、処理に必要な計算量を低減して処理の高速化を図り、あるいは処理に使用する演算装置の低価格化を実現すると共に、従来より小面積なセンサにより従来と同程度以上の照合精度を実現することで、センサの低価格化と搭載可能機器の範囲拡大を実現することをも目的とする。
また、特に高精度の照合が要求されないような応用に対して本発明を適用するときには、中程度の精度の照合結果をより高速に、あるいは低演算量で得ることができる指紋照合方法及び装置を提供することも目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載の発明は、指紋の部分画像の系列を入力し、前記入力された入力指紋と予め登録された登録指紋との同一性の判定を行う指紋識別方法において、前記各部分画像の合成位置を決定するために該登録指紋の画像情報を利用することを特徴とする。
【００１３】
請求項２に記載の発明は、請求項１に記載の指紋識別方法において、前記入力指紋と前記登録指紋との同一性の判定は、前記各部分画像について、前記登録指紋の画像の中で該部分画像と最もよく類似する位置を求め、該位置情報に基づいて該部分画像を配置することにより前記各部分画像を合成して合成画像を求め、該合成画像を前記登録指紋の画像と照合し同一性を判定することを特徴とする。
【００１４】
請求項３に記載の発明は、請求項１、請求項２に記載の指紋識別方法において、前記入力指紋と前記登録指紋との同一性の判定は、前記各部分画像について前記登録指紋の画像の中で該部分画像と最もよく類似する位置において最小となる第１のペナルティ指標を累積加算し、前記累計加算の結果が所定のペナルティ閾値を超えた場合には前記入力指紋が前記登録指紋と異なるものであると判定することを特徴とする。
【００１５】
請求項４に記載の発明は、請求項１、請求項２に記載の指紋識別方法において、前記入力指紋と前記登録指紋との同一性の判定は、前記第１のペナルティ指標の累積加算が所定のペナルティ閾値を超えず、かつ前記部分合成画像の面積が所定の面積閾値を超えた場合には、前記入力指紋が前記登録指紋と類似するものであると判定することを特徴とする。
【００１６】
請求項５に記載の発明は、請求項２に記載の指紋識別方法において、前記各部分画像の合成は、前記各部分画像について、前記登録指紋の画像の中で該部分画像と最もよく類似する位置を求めるとともに、それ以前に入力された前記各部分画像から合成された部分合成画像と該部分画像とが最も矛盾なく連続する位置を求め、その結果に基づいて該部分画像を配置して前記各部分画像を合成することを特徴とする。
【００１７】
請求項６に記載の発明は、請求項５に記載の指紋識別方法において、前記各部分画像の合成位置の決定は、前記第１のペナルティ指標と、それ以前に計算された前記部分合成画像と最も矛盾なく連続する位置において最小となる第２のペナルティ指標とを計算し、前記第１および第２のペナルティ指標の加重平均にしたがって前記第１のペナルティ指標の計算結果と前記第２のペナルティ指標の計算結果を統合することで合成位置を決定することを特徴とする。
【００１８】
請求項７に記載の発明は、請求項５に記載の指紋識別方法において、前記各部分画像の合成位置の決定は、前記部分合成画像がより多くの前記部分画像から合成されるにつれて前記第２のペナルティ指標の重みを増すような加重平均法にしたがって前記第１のペナルティ指標の計算結果と前記第２のペナルティ指標の計算結果を統合し、その結果に基づいて合成位置を決定することを特徴とする。
【００１９】
請求項８に記載の発明は、指紋の部分画像の系列を入力し、前記入力された入力指紋と予め登録された登録指紋との同一性の判定を行う指紋識別装置において、前記指紋の部分画像を入力するフレ−ム画像入力手段と、該部分画像と前記登録指紋の画像との最も類似する位置を計算する対登録画像最適位置計算手段と、前記最も類似する位置に配置した該部分画像と既に合成された部分合成画像とを合成し、拡張された部分合成画像を生成する画像合成手段と、前記入力された全ての部分画像を合成した合成画像と前記登録指紋の画像との同一性の判定を行う指紋照合手段と、を具備することを特徴とする。
【００２０】
請求項９に記載の発明は、請求項８に記載の指紋識別装置において、前記部分画像についてそれ以前に入力された各部分画像から合成された前記部分合成画像との最も矛盾なく連続する位置を求める対合成画像最適位置計算手段を具備し、前記画像合成手段は前記対登録画像最適位置計算手段の結果と前記対合成画像最適位置計算手段の結果にしたがって該部分画像を合成することを特徴とする。
【００２１】
請求項１０に記載の発明は、請求項８、請求項９に記載の指紋識別装置において、前記対登録画像最適位置計算手段において前記各部分画像について計算された前記登録指紋の画像の中で該部分画像と最もよく類似する位置において最小となる第１のペナルティ指標を累計加算し、前記累計加算の結果が所定のペナルティ閾値を越えた場合に前記入力指紋と前記登録指紋との不一致を判定する不一致判定手段を具備することを特徴とする。
【００２２】
請求項１１に記載の発明は、請求項８、請求項９に記載の指紋識別装置において、前記対登録画像最適位置計算手段において計算された前記各部分画像の第１のペナルティ指標を累積加算し、前記累積加算した結果が所定のペナルティ閾値を越えることなく、かつ前記画像合成手段で合成された前記部分合成画像の面積が所定の面積閾値を上回った場合に、前記入力指紋と前記登録指紋との一致を判定する簡易一致判定手段を具備することを特徴とする。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態による指紋識別方法及び装置を図１および図２を参照して説明する。図１は同実施の形態による指紋識別装置のブロック図であり、図２は同実施形態による指紋識別装置のセンサの使用方法を示す図である。本指紋識別装置は個人用の情報機器、例えば情報端末やテレビゲ−ム機、携帯電話などにおいて本人以外が使用できないようにするため、あるいは個人に応じてユ−ザ別の設定をするために、ユ−ザの確認を指紋によって行うものである。
【００２４】
図１において、５０は本人確認のための指紋画像の入力を行うフレ−ム入力部である。このフレーム入力部５０は、カメラ、スキャナなどのように移動する撮像対象の部分画像を連続して得る機能をもち、例えば図２（ａ）の８１のような形状をもつ、指の指紋部分よりは小さい長方形のセンサである。ユ−ザはセンサ８１に対して相対的に、例えば矢印のように（あるいは逆方向に）指を動かし、動きに連れて連続的に撮像した指紋の複数の部分画像（フレ−ム）を得る。１枚のフレ−ムと指紋との関係を示すのが図２（ｂ）であり、図２（ｂ）の長方形の部分が１フレームである。フレ−ム入力部５０は設定された撮像タイミングごとに、その上に置かれた指の隆線に対応する凹凸を画像の濃度に変換して撮像する。その実現方法としては、例えば特開平１０−９１７６９号公報、特開平１０−２４０９０６号公報、特開平０９−１１６１２８号公報、特開平１０−２２６４１号公報および特開平１０−２５５０５０号公報に記載されている技術がある。その他にも、プリズムを用いる方式、静電容量を用いる方式などが実用化されている。
【００２５】
なお、上記の説明では長方形のセンサ８１を仮定しているが、これは必要条件ではなく、例えば図２（ｃ）のような形状のセンサ８２で図２（ｄ）のような部分画像を撮像しても同様の効果を上げることができる。この場合、スイ−プ動作は必ずしも上記のように一方向に直線的になされる必要はなく、フレ−ム画像の覆う領域の和集合が最終的に十分広い領域を覆えばよく、より自由なスイ−プをすることが可能である。
【００２６】
５１は入力されたフレ−ム画像を記憶するフレ−ム画像記憶部、５２は予めその情報機器の正規ユ−ザの指紋を登録指紋（テンプレート）として記憶しておくテンプレ−ト画像記憶部である。この登録動作では、例えば他の装置に付属した２次元の（指紋の大部分を十分に覆うだけの広さをもつ）センサを用いて指紋画像を取り込み、その濃淡画像を格納したファイルを外部から情報機器に転送してテンプレ−ト画像記憶部５２に記憶させておくことができる。テンプレ−ト画像記憶部５２に登録された指紋画像（テンプレート画像）Ｔの形状の例を図２（ｅ）に示す。５３は、それ以前に入力されたフレ−ム画像群から合成された部分合成画像を保持しておく部分合成画像記憶部である。５４は、予めその情報機器の正規ユ−ザの指紋画像から照合用の特徴を抽出して記憶しておくテンプレ−ト照合特徴記憶部である。
【００２７】
また、５５は、フレ−ム画像記憶部５１に記録されたフレ−ム画像ｆ（ｎ）とテンプレ−ト画像記憶部５２に記憶されているテンプレ−ト画像Ｔとの位置合わせを行い、最適な位置を決定する最適位置計算部である。この位置合わせの実現方法としては、上記したＳＳＤＡ法を用いることができる。すなわち、フレ−ム画像ｆ（ｉ，ｊ）（ｉおよびｊはそれぞれｘ座標およびｙ座標）をテンプレ−ト画像Ｔ（ｉ，ｊ）（ｉおよびｊはそれぞれｘ座標およびｙ座標）の全域について少しずつ平行移動しながら両者の重ね合わせを試みて、最も合ったところをフレーム画像ｆ（ｉ，ｊ）の位置合わせの最適な位置とする。これを実現するには、フレーム画像ｆ（ｉ，ｊ）をテンプレート画像Ｔ（ｉ，ｊ）の原点に対して（ｘ，ｙ）だけ平行移動した時の２つの画像の濃度値の差の累積（ペナルティ）ペナルティｃ（ｘ，ｙ）を次式により計算し、ペナルティｃ（ｘ，ｙ）が最小となる（ｘ，ｙ）を求める。
【００２８】
【数２】
0003780830.tif 000003
ここで、２つの累積和Σは、それぞれテンプレート画像Ｔ（ｉ，ｊ）とフレーム画像ｆ（ｉ−ｘ，ｊ−ｙ）が重なる領域内の一定面積についてのｉおよびｊについて求める
【００２９】
なお、この位置合わせの実現には、ＳＳＤＡ法の代わりに相互相関法など他の実現方法を用いることもできる。
【００３０】
５７は、最適位置計算部５５で最小のペナルティｃ（ｘ，ｙ）を与える相対移動量（ｘ，ｙ）の時のペナルティｃ（ｘ，ｙ）の値がある閾値以下であれば、そのフレ−ムは合成に使用できる有効なフレ−ムであるとしてその位置を合成のための決定位置とし、また、これが閾値を越えていれば、このフレ−ムは合成には使用するべきでないとして、処理を中断し、次のフレ−ムの取り込みに進む、という判断を行う合成用フレ−ム位置決定部である。
【００３１】
６０は、部分合成画像記憶部５３に保持されたそれ以前に入力されたフレ−ム画像群から合成された部分合成画像と、現在処理中のフレ−ム画像とを、合成用フレ−ム位置決定部５７の出力する位置情報に基づいて合成する画像合成部である。第ｎフレ−ムのフレーム画像ｆ（ｎ）が入力された際の合成の様子の一例を図２（ｆ）（ｎ＝４の場合）に示す。ここでは上の３つのフレ−ム画像の和集合である薄灰色の部分が部分合成画像記憶部５３に保持された、フレ−ム画像群ｆ（１）〜ｆ（ｎ−１）から合成された部分合成画像Ｓ（ｎ−１）であり、その下の矩形の部分がフレーム画像ｆ（ｎ）である。合成の方法としては、例えば部分合成画像Ｓ（ｎ−１）に、それと重ならないフレーム画像ｆ（ｎ）の新規な領域を付け足して広げる、という方法が可能である。この合成結果は部分合成画像Ｓ（ｎ−１）より広い面積をもつ部分合成画像Ｓ（ｎ）として、部分合成画像記憶部５３に書き込まれる。
【００３２】
また、６１は、全ての有効なフレ−ムの読み込みと合成が終了した後、最終的な合成結果である合成画像を記憶する合成画像記憶部である。この合成画像が予め定められた閾値以上に広い面積をもつ場合には、この合成画像はユ−ザの指紋のうち照合に十分な広い領域を覆う２次元画像となっている。もし合成画像の面積が閾値に足りない場合には、一連のスイ−プは不十分なものであるとしてユ−ザに再スイ−プを指示する。
【００３３】
６２は、合成画像記憶部６１に保持された２次元の合成画像から照合用の特徴を抽出する照合特徴抽出部である。また、６３は、テンプレ−ト照合特徴記憶部５４に保持された正規ユ−ザの指紋特徴と、照合特徴抽出部６２で計算された今回指紋を入力しているユ−ザの指紋特徴を照合し、その類似度を出力する指紋特徴照合部である。この指紋特徴抽出部６２、指紋特徴照合部６３を含む指紋照合装置の実現例としては、特開昭５６−２４６７５号公報や特開平４−３３０６５号公報に記載された「指紋照合装置」がある。これらの技術では、指紋等の照合に際して、指紋紋様を特徴付ける各特徴点の位置および方向とともに、各特徴点により固有に決定される局所座標系を複数個の扇形領域に分割した近傍における最近傍点と上記特徴点との隆線数、すなわちリレ−ションを検査することによって、安定かつ精度の高い照合を可能にしている。
【００３４】
６４は、指紋特徴照合部６３での照合結果の類似度が高ければ一致であるとしてユ−ザにその情報機器の利用を許可し、類似度が低ければ不一致であるとして利用を許可しないなど所定の動作を行う一致判定部である。
【００３５】
次に、本実施形態の動作を図３を参照して説明する。図３は、本実施形態の指紋識別方法を示すフローチャートである。本実施形態を適用する情報機器は、例えば携帯電話機などの機器であり、その正規ユ−ザが所有者一人であるとする。所有者Ａは情報機器の使用開始時などに、予めその指紋デ−タを本指紋識別装置に登録する。そのときの入力は、例えば外部の指紋入力スキャナで指紋の十分な広さの領域を含む２次元の画像デ−タを撮り、この画像デ−タをテンプレート画像として図１のテンプレ−ト画像記憶部５２に記憶させる。それとともに、そのテンプレート画像Ｔを照合特徴抽出部６２、または同じ機能をもつ外部装置に入力して計算された、照合で用いられるテンプレート画像Ｔの指紋特徴をテンプレ−ト照合特徴記憶部５４に記憶させる。
【００３６】
その情報機器のうちユ−ザ認証を必要とする機能をあるユ−ザＸが使用しようとする際、ユーザＸはその指紋をセンサ上でスイ−プする。これによりセンサの形状に応じた指紋の部分画像であるフレ−ムが入力される。この部分画像の系列をｆ（１）〜ｆ（ｎ）〜ｆ（Ｎ）で表す。第１フレ−ムｆ（１）が入力される（ステップＳ１１）と、そのフレ−ム画像ｆ（１）と類似する部分をテンプレート画像Ｔの中で探索する位置合わせが行われる（ステップＳ１２）。入力されたフレ−ムｆ（１）がテンプレート画像Ｔと同じ指紋の一部であれば高い類似度をもつ位置が探索できるはずであり、これにより最も類似度が高い、いわば位置合わせの最適位置が決定される（ステップＳ１２）。そして、ｆ（１）については、これをそのまま部分合成画像Ｓ（１）とすると共に、この基準点を部分合成画像Ｓ（１）についての位置合わせの最適位置として記憶する(ステップＳ１５，Ｓ１９)。
【００３７】
その後、第ｎフレ−ムｆ（ｎ）（ｎは２以上の整数）が入力される（ステップＳ１１）と、同様に、フレームｆ（ｎ）とテンプレート画像Ｔとの位置合わせが行われ、最も類似度が高い、すなわちペナルティが小さい位置合わせの最適位置が決定される（ステップＳ１２）。この最適位置とそれまでに決定されているＳ（ｎ−１）についての基準点位置とを比較することにより、フレーム画像ｆ（ｎ）と部分合成画像Ｓ（ｎ−１）とを位置合わせすることが可能であり（ステップ１２）、この結果にしたがってフレーム画像ｆ（ｎ）を移動し、部分合成画像Ｓ（ｎ−１）とつなぎあわせることで、Ｓ（ｎ−１）より拡大された部分合成画像Ｓ（ｎ）を作成することができる（ステップＳ１５、Ｓ１９）。
【００３８】
なお、上記の位置合わせにおいて、フレーム画像ｆ（ｎ）とテンプレート画像Ｔとの類似度あるいは相違度を評価して類似度が予め定められた閾値より低い、あるいは相違度が閾値より高い場合には、このフレ−ム画像ｆ（ｎ）は合成には不適な品質をもつとして棄却して使用しない、という処理を行うことができる。
【００３９】
このようなフレ−ム入力と合成動作を繰り返し、全フレ−ムについての処理が終了した時点で得られる２次元の濃淡の合成画像をＳ（Ｎ）とする（ステップＳ２０）。この合成画像Ｓ（Ｎ）が予め定められた閾値以上に広い面積をもつ場合には、これは十分広い、ユ−ザＸの指紋の２次元画像であるので、これを対象として照合用の指紋特徴を抽出する（ステップＳ２２）。このようにして得られた特徴はユ−ザＸの指紋の特徴であり、これを保存されている所有者Ａの指紋の特徴と照合し（ステップＳ２３）、一致すればユーザＸは所有者Ａであるとして、その情報機器の使用を許可する（ステップＳ２４）。
【００４０】
次に、本発明の第２の実施の形態について図４を参照して説明する。図４は本実施の形態の指紋識別装置のブロック図である。図４において、図１と同一部分には同一符号を付してその説明を省略する。図４において、図１と異なる主な点は、最適位置計算部５５の他に、最適位置計算部５６を設けたことである。図４において、最適位置計算部５５は、フレ−ム画像記憶部５１に記憶されたフレ−ム画像ｆ（ｎ）について、テンプレ−ト画像記憶部５２に格納されているテンプレ−ト画像Ｔとの位置合わせを行い、最小ペナルティｃ１を与える位置p１を計算する。これに対して、最適位置計算部５６は、フレ−ム画像記憶部５１に記憶されたフレ−ム画像ｆ（ｎ）について、部分合成画像記憶部５３に記憶された部分合成画像Ｓ（ｎ−１）との位置合わせを行い、最小ペナルティｃ２を与える位置ｐ２を計算する。これらの位置合わせの実現方法としては、ＳＳＤＡ法を用いることができる。
【００４１】
そして、合成用フレ−ム位置決定部５８では、最小ペナルティｃ１とｃ２の値が共にある閾値以下であれば、そのフレ−ムｆ（ｎ）は合成に使用できる有効なフレ−ムであるとして、その位置ｐ１およびｐ２から決定される位置ｐ３を合成のための決定位置とし、また、ペナルティｃ１、ｃ２のいずれかが閾値を越えていれば、このフレ−ムｆ（ｎ）は合成には使用するべきでないとして処理を中断し、次のフレ−ムの取り込みに進む、という判断を行う。また、最小ペナルティｃ１、ｃ２ともに閾値以下である場合、合成のための位置ｐ３の決定法としては、次式で示すように、２つの方向ベクトルｐ１、ｐ２のそれぞれの最小ペナルティｃ１、ｃ２の値（類似度に反比例する）の逆数による加重平均をとることで求める。
ｐ３＝（ｃ２／（ｃ１＋ｃ２））ｐ１＋（ｃ１／（ｃ１＋ｃ２））ｐ２…（３）
ただし、ｐ１，ｐ２，ｐ３はいずれも２次元の方向ベクトル
【００４２】
次に、図５を参照し本実施形態の動作を説明する。図５において、図３と同一部分には同一ステップ符号を付してその説明を省略する。図５において、図３と異なる主な点は、ステップＳ１３およびステップＳ１４の処理を追加していることである。すなわち、フレームｆ（ｎ）とテンプレート画像Ｔとの位置合わせが行われ、テンプレート画像Ｔに対する位置合わせの最小ペナルティｃ１を与える最適位置ｐ１が計算される（ステップＳ１２）。それと平行して、フレームｆ（ｎ）と部分合成画像Ｓ（ｎ−１）との位置合わせが行われ、部分合成画像Ｓ（ｎ−１）に対する位置合わせの最小ペナルティｃ２を与える最適位置ｐ２が計算される（ステップＳ１３）。
【００４３】
そして、この最適位置ｐ１とｐ２（および最小ペナルティｃ１とｃ２）を含む情報から、フレームｆ（ｎ）を部分合成画像Ｓ（ｎ−１）に対して合成するための最適な移動量p３が上記した（３）式により計算され、これと部分合成画像Ｓ（ｎ−１）についての基準点位置とを比較することにより、フレームｆ（ｎ）と部分合成画像Ｓ（ｎ−１）との位置合わせが行なわれる（ステップＳ１５）。図５のその他のステップにおける処理内容は、図３の場合と同じである。
【００４４】
次に、本発明の第３の実施の形態について図４を参照して説明する。本実施の形態が第２の実施の形態と異なる点は、合成用フレーム位置決定部５８における合成位置ｐ３の決定方法である。すなわち、第２の実施の形態では、図４の合成用フレ−ム位置決定部５８において、上記の(３)式に示したように最適位置計算部５５から得られるテンプレ−ト画像Ｔとの位置合わせ結果の最適位置ｐ１と、最適位置計算部５６から得られる部分合成画像Ｓ（ｎ−１）との位置合わせ結果の最適位置ｐ２とを、その最小ペナルティｃ１、ｃ２に反比例した加重をかけて平均することで統合し、合成位置p３を決定した。
【００４５】
これに対して、本実施形態では、部分合成画像Ｓ（ｎ−１）がより多くのフレ−ムの合成結果として広い面積をもつほどそれはより信頼できる、という仮定を利用した別の計算法を用いる。すなわち、合成用フレ−ム位置決定部５８は、最小ペナルティｃ１、ｃ２ともに閾値以下である場合、合成位置ｐ３は次式により決定される。
ｑ１＝（ｅｘｐ（−Ｃａ））ｃ１／（ｃ１＋ｃ２）          …（４）
ｑ２＝（１−ｅｘｐ（−Ｃａ））ｃ２／（ｃ１＋ｃ２）      …（５）
ｐ３＝ｑ１ｐ１＋ｑ２ｐ２                               …（６）
但し、ｐ１，ｐ２，ｐ３はいずれも２次元の方向ベクトル
ａは合成の入力となる部分合成画像Ｓ（ｎ−１）の面積を示す変数
Ｃは正定数
（４）、（５）式のように、ｑ１，ｑ２は部分合成画像Ｓ（ｎ−１）の面積ａを考慮に入れて、位置ずれペナルティから計算される各ベクトルの加重を表すことになる。これによれば、最初のフレ−ムｆ（１）が入力された際、面積ａはゼロであるのでｑ２はゼロとなり、その後、合成に使用したフレ−ム数が大きくなる（すなわちｎが大きくなる）にしたがい、部分合成画像Ｓ（ｎ−１）の拡張（面積ａの増大）と共にｑ２の寄与が大きくなる。
【００４６】
次に、本実施の形態の動作について図５を参照して説明する。本実施の形態が第２の実施の形態と異なる点は、ステップＳ１５における処理内容である。すなわち、ステップＳ１５における合成位置ｐ３の決定が、第２の実施形態においては上記した(３)式により行われるのに対して、本実施形態では上記した（４）、（５）、（６）式により行われる。図５のその他のステップにおける処理内容は、第２の実施の形態の場合と同じである。
【００４７】
次に、本発明の第４の実施の形態について図６を参照して説明する。図６は本実施の形態の指紋識別装置を示すブロック図である。本実施の形態では、合成の精度を上げると共に、より少ない計算量でユ−ザの認証を実現することをも目的としている。図６において、図４と同一部分には同一符号を付してその説明を省略する。図６において、図４と異なる主な点は、厳密一致判定部６５、簡易一致判定部６６、位置ずれペナルティ評価部６７、簡易不一致判定部６８、品質判定部６９を設けていることである。
【００４８】
図６において、厳密一致判定部６５は、指紋特徴照合部６３での照合結果の類似度が高ければ一致であるとしてユ−ザにその情報機器の使用を許可し、類似度が低い場合には、例え簡易不一致判定部６８で不一致と判定されなかったとしても、厳密には不一致であるとして許可をしないなど所定の動作を行う。
【００４９】
簡易一致判定部６６は、最小ペナルティｃ１の累積値が閾値を越えることなく多くのフレームが合成され、合成結果の画像が一定面積以上に達した場合には、入力指紋はテンプレートと一致している、すなわちユーザＸは登録ユーザＡと同一である、との簡易的な判定結果を出力する。これは、比較的精度に対する要求が低い応用において、高速に個人識別をするのに有効な方法である。
【００５０】
位置ずれペナルティ評価部６７は、最適位置計算部５５からテンプレ−ト画像Ｔとの位置合わせの最小ペナルティｃ１を、最適位置計算部５６から部分合成画像Ｓ（ｎ−１）との位置合わせの最小ペナルティｃ２を入力し、ｎの増加に連れてそれぞれを累積して個別に所定の閾値と比較することで、位置ずれに起因する判定を行う。すなわち、位置ずれペナルティ評価部６７の第１の機能は、それまでの画像合成におけるフレ−ム間の整合性（コンシステンシ）の評価のために、フレーム画像ｆ（ｎ）と部分合成画像Ｓ（ｎ−１）の位置合わせの最小ペナルティｃ２の累積値を計算する。また、位置ずれペナルティ評価部６７は、テンプレ−ト画像Ｔの登録指紋と入力された入力指紋との同一性の評価のために、フレーム画像ｆ（ｎ）とテンプレ−ト画像Ｔの位置合わせの最小ペナルティｃ１の累積値も計算する。
【００５１】
簡易不一致判定部部６８は、位置ずれペナルティ評価部６７で計算されたフレ−ムごとの最小ペナルティｃ１の累積値が閾値より大きくなった時点で、スイ−プによる指紋入力を行っているユ−ザＸの指紋はテンプレ−ト画像Ｔに登録された正規ユ−ザＡの指紋と異なっていると判断し、ユ−ザＸに対してその情報機器の使用要求の拒否を通告する。簡易不一致判定部６８におけるこのような画像の濃淡レベルの不一致による指紋の違いの判定では一般的に高い精度は期待できないため、精度を必要とする場合には上記した厳密一致判定部６５において従来通り指紋特徴による照合を併用する。
【００５２】
品質判定部６９は、位置ずれペナルティ評価部６７で計算されたフレ−ムごとのペナルティｃ２の累積値が閾値より大きくなった場合、指のセンサに対するスイ−プ（移動）速度が大きい、あるいは指のスイ−プ時の指紋部の弾性変形による指紋の歪みが大きいなどの理由で、合成画像の品質が低いと判断し、ユ−ザＸに対して指紋の再入力（再スイ−プ）を要求する。
【００５３】
次に、図７を参照し本実施形態の動作を説明する。図７は本実施形態の指紋識別装置方法を示すフローチャートである。図７において、図５と異なる主な点は、ステップＳ１６，Ｓ１７、Ｓ２１、Ｓ２５の部分である。すなわち、フレ−ム画像ｆ（ｎ）とテンプレート画像Ｔの位置合わせの最小ペナルティｃ１の累積値を計算し、フレームごとの最小ペナルティｃ１の累積値が閾値より大きい場合には、ユ−ザＸに対してその情報機器の使用要求の拒否を通告する（ステップＳ１６）。
【００５４】
また、フレ−ム画像ｆ（ｎ）と部分合成画像Ｓ（ｎ−１）の位置合わせの最小ペナルティｃ２の累積値を計算し、フレ−ムごとのペナルティｃ２の累積値が閾値より大きい場合は、ユ−ザＸに対して指紋の再入力（再スイ−プ）を要求する（ステップＳ１７）。
【００５５】
一方、最小ペナルティｃ１の累積値が上記のように閾値を超えることなく多くのフレ−ムが合成され、合成結果の画像が一定面積以上に達した場合には、入力指紋はテンプレ−ト画像Ｔと一致している、すなわちユ−ザＸは登録ユ−ザＡと同一である、との簡易的な判定結果を出力する（ステップＳ２１）。
【００５６】
このような画像の濃淡レベルの不一致による指紋の違いの判定は、高い精度は期待できず、いわば簡易的なものである。したがって、さらに高い精度が要求される場合には、第３の実施形態と同様に、合成画像Ｓ（Ｎ）から照合用の指紋特徴を抽出し（ステップＳ２２）、これを保存されている所有者Ａの指紋の特徴と照合し（ステップＳ２３）、厳密な一致判定を行う（ステップＳ２５）。図７のその他のステップの処理内容は、図５の場合と同じである。
【００５７】
なお、以上の各実施形態の説明では、本指紋識別装置に登録されるユ−ザは１人であり、テンプレ−トは一指分であるとして説明しているが、例えこれが複数の指であっても、上記したプロセスを各テンプレ−トについて順次行い、そのうちの最小のペナルティを与えるテンプレ−トを選択してその後の処理を実行するように拡張することができる。これにより、１指にとどまらず、少人数で装置を共有し、または１人で複数の指を登録し、入力する指の違いにより動作を変えるという効果を実現することができる。
【００５８】
【発明の効果】
以上説明したように、この発明によれば、個人向けの情報機器においては１人ないし少数の利用者のみが登録ユ−ザであることを利用し、小型センサの部分画像（フレ−ム）から全体画像を再構成する際に登録ユ−ザの指紋情報（テンプレ−ト）を用いるようにしたことで、部分画像間のより正確な位置合わせを可能にし、再構成の精度を高めることが可能となる。
これにより、従来の再構成方式では、センサに対する指の相対的な移動速度が大きくフレ−ム間の重なり面積が小さい場合に、最適な移動量を求めることが困難であったのに対し、そのような場合にもより正確な位置合わせが可能になり、照合精度の向上が実現できる。すなわち、安定した照合動作を保証しつつ、ユ−ザの指の動かし方により大きな自由度を与え、ユ−ザの利便性を高めることができる。
さらには、効率よい位置合わせを実現することにより、処理に必要な計算量を低減して処理の高速化を図り、あるいは処理に使用する演算装置の低価格化を実現することができる。
また、従来の２次元型センサを用いるよりは小面積のセンサで同等のユ−ザ確認ができ、面積の増大に連れて高価格となるセンサ部分の低コスト化による装置全体の低価格化と、搭載可能性の増大により、本指紋識別装置の応用範囲の拡大に資することができる。
また、位置合わせペナルティの累積により入力画像とテンプレ−ト画像との一致度を、指紋照合特徴を利用することなく評価することにより、特に高精度の照合が要求されないような応用に対して用いるときには、中程度の精度の照合結果をより高速に、あるいは低演算量で得ることができる。
【図面の簡単な説明】
【図１】  この発明の第１の実施形態による指紋識別装置を示すブロック図である。
【図２】  同実施形態による指紋識別装置のセンサの使用図である。
【図３】  同実施形態による指紋識別方法を示すフロ−チャ−トである。
【図４】  この発明の第２および第３の実施形態による指紋識別装置を示すブロック図である。
【図５】  同実施形態による指紋識別方法を示すフロ−チャ−トである。
【図６】  この発明の第４の実施形態による指紋識別装置を示すブロック図である。
【図７】  同実施形態による指紋識別方法を示すフロ−チャ−トである。
【図８】  一般的な指紋識別方法を示すフロ−チャ−トである。
【符号の説明】
５０…フレ−ム入力部、５１…フレ−ム画像記憶部、５２…テンプレ−ト画像記憶部、５３…部分合成画像記憶部、５４…テンプレ−ト照合特徴記憶部、５５，５６…最適位置計算部、５７，５８…合成用フレ−ム位置決定部、６０…画像合成部、６１…合成画像記憶部、６２…照合特徴抽出部、６３…指紋特徴照合部、６４…一致判定部、６５…厳密一致判定部、６６…簡易一致判定部、６７…位置ずれペナルティ評価部、６８…簡易不一致判定部、６９…品質判定部、８１，８２…センサ
【図１】
0003780830.tif 000004
【図２】
0003780830.tif 000005
【図３】
0003780830.tif 000006
【図４】
0003780830.tif 000007
【図５】
0003780830.tif 000008
【図６】
0003780830.tif 000009
【図７】
0003780830.tif 000010
【図８】
0003780830.tif 000011