(57)【特許請求の範囲】
【請求項１】
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
指紋センサにより連続的に読み取られる各指紋部分画像が記憶されるステップと、
前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
前記移動量を画像間の時間で割ることで得られる移動速度と前記指紋センサにおける走査速度とに基づく画像の歪みを補正する補正ステップと、
前記移動量に基づき隣接する２つの生体部分画像を連結して全体の生体画像を生成する画像連結ステップとを備えたことを特徴とする画像連結方法。
【請求項２】
請求項１記載の画像連結方法に於いて、前記共通領域探索ステップは、時間的に前後する２つの生体部分画像を相対的に移動しながら重複する領域で前記特徴形状の相関演算により共通領域を探索して移動量を検出することを特徴とする画像連結方法。
【請求項３】
請求項１記載の画像連結方法に於いて、前記共通領域探索ステップは、前記相関演算として、時間的に前後する２つの生体部分画像を相対的に移動しながら重複する領域で重なり合う画素の値積和を評価値として算出し、前記評価値が最大となる位置の移動量を検出することを特徴とする画像連結方法。
【請求項４】
請求項１記載の画像連結方法に於いて、前記共通領域探索ステップは、前記生体部分画像における特徴形状の領域を拡張した後に、前記相関演算を行うことを特徴とする画像連結方法。
【請求項５】
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、
指紋センサにより連続的に読み取られる各指紋部分画像が記憶される記憶部と、
前記生体部分画像から特徴形状を抽出する特徴抽出部と、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索部と、
前記移動量を画像間の時間で割ることで得られる移動速度と指紋センサにおける走査速度とに基づく画像の歪みを補正する補正部と、
前記移動量に基づき隣接する２つの生体部分画像を連結して全体の生体画像を生成する画像連結部とを備えたことを特徴とする画像連結装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、小型のセンサで連続的に採取される部分的な指紋画像を連結して全体画像を生成する画像連結方法、プログラム及び装置に関し、特に、連続的に採取される部分的な指紋画像等から特徴的な形状を抽出して連結する画像連結方法、プログラム及び装置に関する。
【０００２】
【従来の技術】
近年、携帯電話や携帯情報端末（Personal Digital Assistants）などが高機能化及び高性能化するにつれ、社外秘情報や個人情報などの重要な情報を簡単且つ大量に外に持ち歩くことができるようになっている。そのため、携帯電話等の電子機器に強固なセキュリティが求められる。例えば、電子機器の所有者本人でしか記録された情報が見られない仕組みが求められている。
【０００３】
昨今では、IDやパスワードに代わる確実な所有者の確認として指紋、虹彩、声紋、署名等を用いたバイオメトリクス認証が注目されている。バイオメトリクス認証では、予め人体から直接、個人固有の特徴や癖を検出し、それをシステムに登録する。本人認証を行うときは、個人固有の特徴や癖を検出し、登録されたものと比較して、本人であるかどうかを確認する。バイオメトリクス認証では、機械が直接人体を観察するため、パスワードよりも遥かに盗難や偽造が困難であり、故にパスワードよりも高いセキュリティが維持できる。
【０００４】
しかしながら、バイオメトリクス認証は、IDやパスワード認証より高いセキュリティを提供できるが、人体の特徴を計測するセンサが大きいという欠点がある。例えば、指紋認識の場合では、指先程度の大きさの指紋センサが必要となる。携帯電話やPDAでは、既に高集積化が行われ、非常に小型化されているため、指紋センサを搭載する十分な空き領域が残されていない。従って、携帯電話やPDAに指紋認識機能を持たせるには、指紋センサを更に小型化しなければならない。
【０００５】
このため、従来と同様の使い勝手を維持しながら、認証技術を適用するために、小型のセンサを利用する方法が提案されている。指紋センサを用いた従来の個人照合システムとしては、例えば特開平８−２６３６３１号公報に開示された「指紋入力装置」がある。
【０００６】
この先行技術は、回転可能な円筒形導波路を被検体の指との接触媒体に用いて、被検体の指の接する部分を移動可能にし、撮像装置を通して回転走査により指紋全体を入力する。このときの円筒形導波路の回転角を回転角検出手段で検出する。この検出回転角に基づき、画像処理手段の画像処理によって正しい指紋画像として連結して再構成する。このような回転可能な円筒形導波路を指との接触媒体に使用することで、光学部品を小型化して大幅な小型化を実現している。
【０００７】
【発明が解決しようとする課題】
しかしながら、このような従来の指紋入力装置にあっては、小型のセンサを利用するものであるが、指の移動量を計測し、その結果を元に指紋画像を連結しているため、指紋画像を採取するセンサ以外に指の移動量を検出する機構が必要となり、装置の小型化と低コスト化を実現しにくいという欠点があった。
【０００８】
また、指紋画像を採取するセンサ以外の検出機構を必要としない別の先行技術として、特許第２９７１２９６号がある。これは1次元型のセンサから入力される１ラインごとに、既に入力された画像と比較し、特徴量を抽出して、類似する画像を識別し照合に利用している。
【０００９】
しかしながら、一次元型センサを使用した指紋画像の採取方法にあっては、指紋の入力状態等の要因により、入力する条件、即ち指の速度の変化、左右へのぶれ、左右の移動量の相違、軌跡のカーブなどが変化した場合に、入力される指紋画像を再構成することが困難となる。
【００１０】
この結果、本来の特徴量とは異なる照合データが生成され、本人の指であるのに拒絶される本人拒否率が増加する。そこで照合基準を緩めて本人受理率を上げようとすると、他人を本人と誤認識する他人受理率が増加するという問題が発生している。また、入力される画像の各ライン単位に他の画像との比較を行うため、演算量が増加し、高速な処理を実現できない問題もある。
【００１１】
本発明の目的は、携帯電話など小型機器向けの小型のセンサにより、連続的に採取される部分的な指紋等の入力画像から全体画像を高精度で連結して全体画像を生成する画像連結方法、プログラム及び装置を提供することにある。
【００１２】
【課題を解決するための手段】
図１は、本発明の原理説明図である。
本発明は画像連結方法を提供するものであり、この画像連結方法は、図１（Ａ）のように、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと
生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
画像間の相対的な移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を少なくとも備えたことを特徴とする。
【００１３】
ここで本発明の画像連結方法は、生体部分画像として、指紋、静脈血管網、掌紋、掌形、顔画像、耳形又は虹彩を生成する。
【００１４】
このような本発明の画像連結方法にあっては、生体部位として例えば指紋を例に取ると、指紋センサとして機能する読取部の上で指を滑らせ、図１（Ｂ）のように、時間的に連続した一連の指紋部分画像を採取し、採取した指紋部分画像に画像処理を施して隆線形状の特徴的な箇所を重点的に利用し、相関演算によって共通領域を抽出して連結するため、隆線の細かな歪みやノイズに強く、部分画像の連結が高精度でできる。また縞状の隆線のみが写っている指紋部分画像であっても、１隆線分の横ずれを起こすことなく、正確に連結できる。
【００１５】
画像入力ステップは、予め定めた人体部位、例えば指紋読取部に対する指の移動方向に対し、読取部の走査方向を逆方向に設定したことを特徴とする。このように指の移動方向と読取部の走査方向を逆方向に設定することで、各指紋部分画像における画像の読取範を広くし、連結するための共通領域を十分に確保する。
【００１６】
特徴抽出ステップは、生体部分画像の特徴形状として、生体部分画像の２値化形状を抽出する。例えば指紋の場合、指紋の隆線模様を２値化形状として抽出する。
【００１７】
また特徴抽出ステップは、生体部分画像の特徴形状として、生体部分画像の２値化形状における輪郭を表すエッジラインを抽出する。例えば指紋の場合、指紋の隆線模様を２値化形状からその輪郭となるエッジラインを抽出する。
【００１８】
更に特徴抽出ステップは、生体部分画像の特徴形状として、生体部分画像の２値化形状における輪郭を表すエッジラインの接線方向の変化量が所定値以上となる部分を抽出する。このエッジラインの接線方向の変化が大きい部分を特徴形状として検出することで、縞状の隆線のみが写っている指紋部分画像について、１隆線分の横ずれを起こすことなく正確に連結できる。
【００１９】
更にまた特徴抽出ステップは、生体部分画像の特徴形状として、生体部分画像の２値化形状における端点又は分岐点を抽出する。この端点又は分岐点の抽出も、縞状の隆線のみが写っている指紋部分画像の連結に適している。
【００２０】
共通領域探索ステップは、隣接する２つの生体部分画像を相対的に移動しながら重複する領域で特徴形状の相関演算により共通領域を探索して移動量を検出することを特徴とする。
【００２１】
具体的には、共通領域探索ステップの相関演算として、隣接する２つの生体部分画像を相対的に移動しながら重複する領域で重なり合う画素の値の例えば積和を評価値として算出し、この評価値が最大となる位置の移動量を検出する。
【００２２】
指紋画像を例にとると、特徴形状としては、隆線２値化形状、隆線エッジライン、隆線エッジラインの接線方向の変化の大きい部分、隆線の端点と分岐点があり、この特徴形状の相関演算を行うと一致するほど評価値が高くなり、評価値が最大となる位置で画像が正しく重なり合っていることから、このときの移動量を画像連結のために検出している。
【００２３】
共通領域探索ステップは、隣接する２つの生体部分画像を相対的に移動しながら重複する領域で特徴形状の度合いに応じて設定した重みの相関演算により共通領域を探索して移動量を検出する。
【００２４】
具体的には、共通領域探索ステップの相関演算として、隣接する２つの生体部分画像を相対的に移動しながら重複する領域で重なり合う画素に設定した重みの積和を評価値として算出し、この評価値が最大となる位置の移動量を検出する。
【００２５】
指紋画像を例にとると、特徴形状として隆線エッジラインの接線方向の変化の大きい部分を抽出している場合、背景を０、隆線エッジラインを１、接線方向の変化の大きさに応じて３，４といった重みを設定し、この重みを使用しての相関演算を行うと、重みの大きな特徴形状が一致するほど評価値が高くなって最大となる評価値が出現し易くなり、隆線の歪みやノイズがあっても、画像を連結するための移動量を正確に検出できる。
【００２６】
共通領域探索ステップは、生体部分画像における特徴形状の領域を拡張した後に、相関演算を行うことを特徴とする。例えば縞状の隆線のみが写っている指紋部分画像のエッジラインの相関演算を画素をずらしながら行った場合、画像が一致位置したときと１画素ずれたときの相関値の差、即ち重なり合う画素数の変化が少なく、評価値が最大値となる第１候補と次の第２候補との差がほとんどないためマッチングが不適切になる。
【００２７】
そこで、例えば連結先のエッジラインの画素を横方向に拡張する画素補間を行うことで、画像が一致したときの重なり画素数を多くして相関演算による最大評価値を見つけやすくする。
【００２８】
共通領域探索ステップは、相関演算を行うための移動を所定の移動範囲に限定する。この相関演算における移動範囲の制限は、指紋隆線の統計的に求められた間隔を超えない範囲に制限することで、縞状の隆線のみが写っている指紋部分画像を１隆線横にずれて画像を連結してしまう誤りを回避できる。
【００２９】
共通領域探索ステップは、生体部分画像の終端から所定距離以上離れた内側領域のみを相関演算の対象とすることを特徴とする。これは指紋センサとして機能する読取部の窓の周囲には指が密着しないし、また取付枠との間にほこりや水滴が付着し、正しく指紋模様を読み取れないことから、その部分を相関演算の対象から除外してマッチングの精度を高める。
【００３０】
本発明の画像連結方法に於いて、特徴抽出ステップは、生体部分画像の特徴形状として、生体部分画像の２値化形状又は２値化形状における輪郭を表すエッジラインを抽出し、共通領域探索ステップは、隣接する２つの生体部分画像における２値化形状のラインまたはエッジラインの接線方向の変化が滑らかで且つ連続となる重なり連結点を探索して移動量を検出する。
【００３１】
この画像連結は、指紋隆線の特徴形状からマッチングがうまくいかなかった場合の処理であり、曲線が滑らかに連結するための必要十分条件として「連結点が一致し、かつ、連結点における接線方向の変化が滑らかである」を設定し、この必要十分条件を満足する画像の重なり位置の移動量を検出する。
【００３２】
画像連結ステップは、読取部に対する人体部位の移動速度と読取部の走査速度からドップラー効果による画像伸縮率を算出して連結する生体部分画像を補正する。本発明の指紋画像の読取りにあっては、読取部の走査線と指の両方が動いており、両者の相対速度の関係によりドップラー効果を受けて画像が伸び縮みする。そこでドップラー効果による伸縮率を求めて指紋部分画像を補正し、後に連結することで、より正確な指紋画像を連結できる。
【００３３】
本発明は、更に、共通領域探索ステップで検出された移動量から生体部分画像の読取開始又は読取終了を判定するステップを備えたことを特徴とする。このため読取開始と終了を検知する別のセンサを必要としない。
【００３４】
本発明の画像連結方法の別の形態にあっては、読み取った生体部分画像を横に分割し、分割領域ごとに連結のための処理を行う。この画像連結方法は、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
入力画像を複数の領域に分割する画像分割ステップと、
分割領域毎に生体部分画像から特徴形状を抽出する特徴抽出ステップと、
分割領域毎に隣接する２つの生体部分画像における特徴形状が一致する共通領域を探索して移動量を検出する共通領域探索ステップと、
分割領域毎に移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を少なくとも備えたことを特徴とする。
【００３５】
この横方向に分割して画像を連結する処理は、例えば指紋画像の場合、読取部上で指を滑らせている場合、皮膚の横方向への伸び縮みにより、一部の隆線は良く一致するが、他の部分の隆線は一致しないことが発生する。
【００３６】
そこで、左右に例えば指紋部分画像を左右に２分割して処理することで、左右に分けた分割領域での隆線が一致する度合いが高くなり、マッチング性能が高められる。またマッチング後の分割領域の離れ具合から画像の伸び量を検出して補正することで、正確な全体画像が得られる。
【００３７】
本発明の別の形態にあっては、人体部位の画像読取りを利用した測定物の移動量検出方法が提供される。この移動量検出方法は、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
を少なくとも備えたことを特徴とする。このような移動量の検出方法を利用して、指の動きに応じてカーソルを画面上で移動させるカーソルポインタとしての利用を可能とする。
【００３８】
本発明の別の形態にあっては、人体部位の画像読取りを利用した移動方向判別方法が提供される。この移動方向判別方法は、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
生体部分画像のドップラー効果による画像の伸び縮みから人体部位の移動方向を検出する検出ステップと、
を少なくとも備えたことを特徴とする。
【００３９】
ここで検出ステップは、人体部分画像の縮みから人体部位の移動方向が読取部の走査方向に対し逆方向であることを判別し、また部分画像の伸びから人体部位の移動方向が読取部の走査方向と同方向であることを判別する。
【００４０】
このように画像読取の際にドップラー効果によって生ずる読取画像の伸び縮みから簡単に指の移動方向を検出できるため、例えは゛指紋センサとして機能する読取部をタッチパッドとして利用できる。
【００４１】
本発明は、画像連結のためのプログラムを提供する。このプログラムは、コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと
移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を実行させることを特徴とする。
【００４２】
本発明は、人体部位の移動量を検出するためのプログラムを提供する。このプログラムは、コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
を実行させることを特徴とする。
【００４３】
本発明は、人体部位の移動方向を検出するためのプログラムを提供する。このプログラムは、コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
生体部分画像のドップラー効果による画像の伸び縮みから前記人体部位の移動方向を検出する検出ステップと、
を実行させることを特徴とする。
【００４４】
本発明は画像連結装置を提供する。この画像連結装置は、読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、生体部分画像から特徴形状を抽出する特徴抽出部と、時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索部と、移動量に基づき隣接する２つの生体部分画像を連結して全体の生体画像を生成する画像連結部と、
を少なくとも備えたことを特徴とする。
【００４５】
本発明は、移動量検出装置を提供する。この移動量検出装置は、読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、生体部分画像から特徴形状を抽出する特徴抽出部と、時間的に前後する２つの生体部分画像における特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索部とを少なくとも備えたことを特徴とする。
【００４６】
本発明は、移動方向判別装置を提供する。この移動方向判別装置は、読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、生体部分画像のドップラー効果による画像の伸び縮みから前記人体部位の移動方向を検出する検出部とを少なくとも備えたことを特徴とする。
【００４７】
【発明の実施の形態】
図２は、本発明による画像連結装置の機能構成のブロック図である。図２において、本発明の画像連結装置は、指紋センサ１０、タイマ１２、記憶部１４、特徴抽出部１６、共通領域探索部２４、画像サイズ補正部２６及び画像連結部２８で構成される。特徴抽出部１６には、隆線エッジ抽出部１８、エッジ接線方向計算部２０及び特徴的形状部分抽出部２２を備えている。
【００４８】
指紋センサ１０は画像読取部として機能し、センサ読取面に指を押し付けて滑らせることにより、指紋部分画像を連続的に読み取って記憶部１４に格納する。タイマ１２は時刻情報を出力しており、指紋センサ１０により連続的に読み取られる各指紋部分画像に撮影時刻情報が連結されて記憶部１４に記憶される。
【００４９】
特徴抽出部１６は、記憶部１４に取り込まれた時間的に連続する複数の指紋部分画像を対象に画像処理を施して指紋隆線の特徴的な形状を抽出する。本発明にあっては、指紋隆線における次の特徴を抽出している。
（１）指紋隆線の輪郭線となるエッジライン
（２）隆線エッジラインにおける接線方向が急激に変化する部分
（３）隆線エッジラインにおける端点と分岐点
この３種類の特徴抽出に対応して特徴抽出部１６には、隆線エッジ抽出部１８、エッジ接線方向計算部２０及び特徴的形状部分抽出部２２が設けられている。
【００５０】
共通領域探索部２４は、記憶部１４に格納されている時間的に前後する２つの指紋部分画像について、抽出された特徴形状を対象に相対的に位置をずらしながら相関演算を行って評価値を求め、この評価値が最大となる重なり位置を連結位置として検出し、これに基づき２つの部分指紋画像の位置関係、即ち２次元平面における移動量を検出する。
【００５１】
画像サイズ補正部２６は、指紋センサ１０による画像読取りの際のドップラー効果による指紋部分画像の伸縮を補正する。画像連結部２８は、共通領域探索部２４で検出された移動量に従って時間的に前後する２つの指紋部分画像を連結して指紋全体画像を作成する。なお、画像サイズ補正部２６と画像連結部２８は順番が逆でもよく、この場合には、連結時にどの個所、即ちどの指紋部分画像がどの補正量（ドップラー係数）を記憶しておく。
【００５２】
図３は、図２の記憶部１４に格納される指紋部分画像ごとのデータ構造３０である。データ構造３０には、指紋センサ１０により読み取られた指紋部分画像３２、タイマ１２から得られた撮影時刻３４、特徴抽出部１６で抽出された隆線エッジライン、隆線エッジラインの接線方向の変化の大きい部分、更には隆線エッジラインの端点や分岐点などの特徴的形状部分３６、更に共通領域探索部２４で検出された移動量を示す指の移動ベクトル３８が格納される。
【００５３】
図４は、図２の画像連結装置で取り込まれた指紋部分画像４０−１，４０−２，４０−３，４０−４，・・・と、これらの連結で得られた指紋全体画像画像４２の一例である。
【００５４】
ここで図２の指紋センサ１０としては、携帯電話などの小型機器向けに適用可能な２次元イメージセンサを使用している。指紋センサ１０として、この実施形態にあっては、例えば主走査方向となる横方向に２５６ドット、副走査方向、即ち指の相対的な移動方向に３２ドット配列した（２５６×３２）ドットサイズの分解能５００ｄｐｉのものを使用している。
【００５５】
この程度のサイズを持つ２次元イメージセンサを使用した指紋センサ１０の寸法的な大きさとしては、横が約１２．５ｍｍ程度、縦が１．５ｍｍ程度と小さく、携帯電話などの小型機器の読取部として十分に適用可能である。
【００５６】
このような指紋センサ１０の上に指を当てて滑らせることにより、図４に示すような指紋部分画像４０−１，４０−２，４０−３，４０−４，・・・を時間的に連続して取り込んで、記憶部１４に記憶することができるる
ここで指紋センサ１０に当てて滑らせる指の移動速度は最大でも８ｃｍ／秒程度であり、指紋センサ１０における読取サンプリング周波数は例えば１００Ｈｚに設定されている。このような読取サンプリング周波数で指紋センサ１０を駆動して図４のような指紋部分画像４０−１，４０−２，４０−３，４０−４，・・・を連続的に取り込むと、時間的に前後する２つの指紋部分画像、例えば指紋部分画像４０−１と指紋部分画像４０−２の隣り合う画像部分は、重複した共通画像領域となっている。
【００５７】
そこで本発明にあっては、時間的に前後する２つの指紋部分画像について、基本的には指紋隆線の２値化情報であるドットパターンを特徴形状とし、２つの指紋部分画像の位置をずらしながら画素の相関演算により評価値を求め、評価値が最大となる位置を共通領域が重なり合う位置として検出し、この位置に対する画像移動量を検出する。
【００５８】
ここで図２の指紋センサ１０の走査方向に対する指の移動方向との関係を説明する。図５は、指紋センサ１０の走査ライン４４の初期位置に対する指４８の位置を表わしている。この例では、指紋センサ１０の走査ライン４４は図示の初期位置から矢印で示す走査方向４６方向に走査される。このような走査ライン４４の走査方向４６に対し、本発明にあっては、指４８を逆方向となる移動方向５０に移動させる。
【００５９】
図６は、図５のように指紋センサ１０に走査方向４６と指４８の移動方向が逆方向の場合の画像の取り込みを示している。図６（Ａ）は読取開始状態であり、指紋センサ１０の走査ライン４４−１は初期位置にあり、このとき指４８−１は図示の位置にあったとする。
【００６０】
この状態で指４８−１を移動方向５０に移動させながら走査ライン４４−１を走査方向４６に走査し、図６（Ｂ）の走査終了位置に走査ライン４４−２が移動したとする。このときの指４８−２における指紋センサ１０の開始位置の走査ライン４４−１から終了位置の走査ライン４４−２による画像取込範囲５２は、走査方向４６に対し指の移動方向５０が逆方向となることで、指紋センサ１０の移動方向の幅より拡大した取込範囲となっている。
【００６１】
図７は、指紋センサ１０の走査方向４６に対し指の移動方向５０を同方向とした場合の画像の取り込みである。図７（Ａ）は読取開始状態であり、指紋センサ１０の走査ライン４４−１は初期位置にあり、走査方向４６に走査する。これに対し指４８−１も同じ方向の移動方向５０に移動させる。
【００６２】
図７（Ｂ）は指紋センサ１０の走査終了状態であり、走査終了位置に走査ライン４４−２が移動しており、このとき同じに指４８−２も同じ移動方向５０に移動している。このように指紋センサ１０の移動方向４６と指の移動方向５０が同方向の場合には、開始位置における走査ライン４４−１から終了位置における走査ライン４４−２までの同方向に移動する指の読み取る範囲は、画像取込範囲５４のように指紋センサ１０の走査方向の幅より狭くなる。
【００６３】
この図６と図７の関係から、本発明にあっては、図６のように指紋センサ１０の走査方向４６に対し指の移動方向５０を逆方向とし、指の部分画像の取込範囲を拡大できるようにしている。
【００６４】
更に、図７の指紋センサ１０の走査方向４６と指の移動方向５０が同方向の場合には、図７（Ｃ）のように次の読取開始位置に走査ライン４４−３が戻るまでに、ある程度の時間がかかったとすると、この間読取りが行われずに指４８−３のように移動するため、画像取込範囲５４に続き読取不能領域５６を生ずる。このことからも、本発明における指紋センサ１０の走査方向４６に対し指の移動方向５０を逆方向としている。
【００６５】
図８は、図２の画像連結装置における基本的な処理手順のフローチャートである。図８において、まずステップＳ１で指紋センサ１０に指を当てて移動させることで、図４のような時間的に連続する指紋部分画像の読取記憶が行われる。
【００６６】
ここで図２の画像読取装置にあっては、指紋センサ１０で連続的に指紋部分画像を取り込んでいるため、指紋センサ１０による画像読取開始と画像読取終了を正しく検出する必要がある。
【００６７】
このような読取開始と終了検出に、従来はタッチセンサなどの専用センサを必要とするが、本発明にあっては共通領域探索部２４において指の移動量を検出することができるため、指の移動量の検出結果から指紋センサ１０における読取走査の開始と終了を簡単に判定することができる。なお共通領域探索部２４における相関演算に基づく移動量の検出については、後の説明で明らかにする。
【００６８】
図８のステップＳ１で指紋部分画像の読取記憶が済むと、次にステップＳ２各指紋部分画像の隆線の特徴抽出を行う。隆線から抽出する特徴としては、隆線の２値化によるドットパターン、ドットパターンの輪郭を抽出したエッジパターン、エッジパターンの各点における接線方向の計算から急激に変化する部分、更にはエッジパターンにおける隆線の端点や分岐点がある。次にステップＳ３で、時間的に前後する２つの指紋部分画像が重なり合う共通領域探索を行って移動量を検出する。
【００６９】
続いてステップＳ４で、共通領域探索で検出された移動量に基づいて、時間的に前後する２つの指紋部分画像を重ね合わせて連結する。ステップＳ５にあっては全ての指紋部分画像の連結の有無をチェックしており、未終了であれば、再びステップＳ３に戻り、次に読み込んでいる指紋部分画像との間で共通領域探索に基づく連結処理を繰り返し、全ての部分画像の連結が済めば一連の処理を終了する。
【００７０】
図９は、図８のステップＳ２における指紋隆線の特徴抽出の詳細フローチャートである。この指紋隆線に対する特徴抽出処理にあっては、ステップＳ１で２値化画像として生成された隆線ドットパターンについて、その輪郭線を画像処理により求めて、隆線エッジラインを抽出する。また、ラプラシアンフィルタを用いて２値化゛像を介さずにエッジラインを抽出しても良い。
【００７１】
続いてステップＳ２で隆線エッジラインを対象に各位置での接線方向を算出し、接線方向が急激に変化する部分即ち接線方向の変化が所定値を越える部分を特徴的部分として抽出する。
【００７２】
次にステップＳ３で隆線エッジラインにおける接線方向が急激に変化する部分の中から、更に特徴的な形状として隆線の端点と分岐点を抽出する。このようなステップＳ１〜Ｓ３における各特徴的部分の抽出処理を、ステップＳ４で全ての指紋部分画像を処理するまで繰り返す。
【００７３】
図１０は、図８のステップＳ３における共通領域探索処理の詳細フローチャートである。
【００７４】
図１０の共通領域探索処理は、図９の特徴抽出処理で抽出された特徴的部分の順番に共通領域探索処理を行っている。即ち次の手順で共通領域探索処理を行っている。
（１）隆線２値化画像としてのドットパターンを用いた共通領域探索処理（Ｓ  １，Ｓ２）。
（２）隆線エッジパターンを用いた共通領域探索処理（Ｓ３〜Ｓ５）。
（３）隆線エッジラインの接線方向の変化を用いた共通領域探索処理（Ｓ６，  Ｓ７）。
（４）隆線エッジラインの端点と分岐点を用いた共通領域探索処理（Ｓ８，Ｓ  ９）。
（５）抽出した特徴的部分では探索不能な場合の連結必要十分条件による探索  処理（Ｓ１０）。
【００７５】
そして、いずれかの共通領域探索処理で相関演算により求めた評価値の最大値が有意な値として得られれば、探索成功としてステップＳ１１で最大評価値を与える移動ベクトル、即ち２つの指紋部分画像の共通領域を重ね合わせるために必要な移動ベクトル（ａ，ｂ）を取得し、図８のメインルーチンにリターンする。
【００７６】
図１１は、図１０のステップＳ１、ステップＳ４、ステップＳ６及びステップＳ８のそれぞれの異なる特徴的部分を用いた共通領域探索処理における時間的に前後する２つの指紋部分画像を移動しながら行う相関演算の手順を示したフローチャートである。
【００７７】
図１１の共通領域探索処理を、図１２の指紋ドットパターンを対象とした場合を例に取ると、時間的に前後する２つの指紋部分画像４０−１，４０−２のドットパターン６０−１，６０−２における重なり部分となる共通領域５８−１，５８−２を探索し、この共通領域５８−１，５８−２が重なり合うように連結して連結画像６２を得る。
【００７８】
図１３（Ａ）は、図１１の共通領域探索処理における時間的に前後する２つの指紋部分画像４０−１，４０−２の探索処理における位置関係を表わしている。図１３（Ａ）は、時間的に先行する指紋部分画像４０−１を連結元として原点６３を持つ２次元平面に固定し、これに対し時間的に遅くなる指紋部分画像４０−２を連結先として、横及び縦方向に１画素単位で移動しながら、重なり領域６４について図１１のステップＳ２で評価値Ｅの相関計算を行うようにしている。
【００７９】
ここで、固定配置した指紋部分画像４０−１に対する連結先の指紋部分画像４０−２の横方向の移動量をａ、縦方向の移動量をｂとすると、移動範囲は
Ａ０≦ａ≦Ａ１
Ｂ０≦ｂ≦Ｂ１
に設定している。
【００８０】
具体的には、例えば指の移動速度を最大で２ｃｍ／秒、指紋センサ１０のサンプリング周波数を３０Ｈｚとすると、画像の移動範囲は
−１０ドット≦ａ≦１０ドット
０ドット≦ｂ≦２０ドット
の範囲に設定される。
【００８１】
図１３（Ｂ）は、原点６５に固定した指紋部分画像４０−１に対し、次に入力した指紋部分画像４０−２を移動させて、相関計算により評価値Ｅが最大となることにより、マッチングした重なり領域６４を表わしている。このように重なり領域６４が完全にマッチングしたときの原点６５に対する横方向の移動量ａと縦方向の移動量ｂによる移動ベクトル（ａ，ｂ）が、移動量として検出される。
【００８２】
図１４は図１１の共通領域探索処理で移動範囲を決める場合の制限の他の例を示す指紋部分画像である。この指紋部分画像４０−１は、指紋隆線の部分画像の中で隆線が同方向に縞状に並んだエッジパターンとなっている場合を示している。この指紋部分画像４０−１のように縞状のエッジパターンとなっている２つの部分画像を共通領域探索処理により結合する際には、隆線エッジパターンの１本分ずれた位置を探索して連結する誤りが生じ易い。
【００８３】
そこで、図１３（Ａ）のような探索処理における画像の横方向の移動範囲を統計的に求めた指紋の隆線の縞状のエッジパターンの間隔もしくは、その画像に映っているエッジの感覚より狭い範囲に制限する。これによって、図１３の部分画像の移動による重なり範囲６４での相関演算が縞状のエッジパターンの間隔を超えない範囲で行われるため、エッジパターンを１本誤った位置を探索して連結してしまう誤差を確実に防止することができる。
【００８４】
図１５は、図１１の共通領域探索処理における指紋部分画像の探索範囲の別の制限である。この場合には、部分読取画像の周辺部分を除いた領域で、重なり領域の相関演算による探索を行う。
【００８５】
図１５（Ａ）は、指紋センサ１０に対し読取りのために指４８を周囲の取付枠で携帯電話などの小型機表面に配置されており、この取付枠に対し指４８を押し付けるが、取付枠の突起により読取面中央に皮膚が当たるが周辺は押し付けが離れ、読み取りづらくなる。
【００８６】
また図１５（Ｂ）のように、指紋センサ１０の取付枠１１側の周辺部分には、使用中に埃や水などの異物６８が付着し易く、この異物６８の付着によって正しく指紋紋様を読み取ることができない。更に、指紋部分画像の上下の端部では指紋隆線が途切れるため、隆線の接線方向を正確に求めることができない問題がある。
【００８７】
そこで図１１の共通領域探索処理にあっては、指紋センサ１０の読取りで得られた指紋部分画像について、その周辺部分を探索領域が除外し、周囲を取り除いた中央の指紋部分画像を対象に探索処理を行う。
【００８８】
そこで図１１の共通領域探索処理の処理手順を、図１３を参照して説明すると次のようになる。まずステップＳ１，Ｓ１’で原点６３に対し固定している指紋部分画像４０−１に対し、相対移動させる指紋部分画像４０−２を、ｂ＝Ｂ０，ａ＝Ａ０となる初期位置に順次セットする。
【００８９】
次にステップＳ２で、この初期位置に位置合わせした状態で両者の重なり領域６４を対象に、例えば図１０のステップＳ１に示す隆線２値化画像であるドットイメージを対象に相関演算を行って、評価値Ｅを算出する。
【００９０】
ここで評価値Ｅの相関演算は
【００９１】
【数１】
0004169185.tif 000002
【００９２】
を行っている。ここで、Ｅ＝Ｅ（ｘ，ｙ）であり、またｆ（ｉ，ｊ）が画像４０−１であり、ｇ（ｘ−ｉ，ｙ−ｊ）が画像４０−２である。
【００９３】
具体的には、図１３の重なり領域６４について、隆線画像のドットパターンとなる画素値０，１につき、重なり合うドットの画素値の積和を求め、これを評価値Ｅとする。
【００９４】
即ち、重なり領域６４のドットは（１，１）（１，０）（０，１）（０，０）のいずれかであり、画素値１となる重なり部分の乗算結果のみが１となり、これによって重なり領域６４の画素値１、即ち黒ドットの重なり数が評価値Ｅとして算出される。したがって相関演算による評価値Ｅは、マッチングに近づくほど値が大きくなり、マッチング状態で最大値となる。
【００９５】
図１１のステップＳ２にあっては、この相関演算による評価値Ｅを求め、ステップＳ３で算出した評価値Ｅと、そのときの移動ベクトル（ａ，ｂ）を保存し、ステップＳ４で横移動量ａが上限値Ａ１未満であれば、ステップＳ５で横方向に１ドット増加して、ステップＳ２の評価値Ｅの相関演算を繰り返す。
【００９６】
ステップＳ４で横方向の移動量ａが上限値Ａ１に達すると、ステップＳ６に進み、縦方向の上限値Ｂ１に達するまで、ステップＳ７で縦方向の移動量ｂを１つずつ増加させながら、ステップＳ１’を経由してステップＳ２で評価値Ｅの相関演算とステップＳ３の保存を繰り返す。
【００９７】
このステップＳ１〜Ｓ６により、Ａ０≦ａ≦Ａ１及びＢ０≦ｂ≦Ｂ１の範囲内での各移動位置における評価値Ｅ＝Ｅ（ａ，ｂ）が求まる。そして、図１０の例えばステップＳ２にリターンし、算出された評価値の中から有意な最大値があるか否か判別する。この有意な最大値の判別とは、例えば評価値Ｅを共有領域の面積、即ち図１３（Ａ）の重なり領域６４の面積で割った値が、所定の数値以上ある場合であり、このときステップＳ１１で最大評価値Ｅの移動ベクトル（ａ，ｂ）を移動量として取得する。
【００９８】
図１０のステップＳ２で、隆線２値化画像となるドットパターンの相関演算による探索処理で有意な最大値が判定できなかった場合には、ステップＳ３〜Ｓ５の隆線エッジラインを用いた共通領域探索処理を行うことになる。この隆線エッジラインを用いた共通領域探索処理にあっては、まずステップＳ３で隆線エッジラインの拡張処理を行っている。
【００９９】
図１６は、図１０のステップＳ３〜Ｓ５で共通領域探索処理の対象となるドットパターンに対するエッジパターンの抽出状態の説明図である。図１６（Ａ）は、最初に共通領域探索処理の対象となる時間的に前後する指紋部分画像４０−１，４０−２におけるドットパターン６０−１，６０−２であり、このドットパターン６０−１，６０−２について共通領域探索が成功しなかった場合には、図１６（Ｂ）のようなエッジパターン６６−１，６６−２を使用して共通領域探索処理を行う。
【０１００】
このエッジパターンを使用した共通領域探索処理も、図１０のステップＳ４に示すように、ステップＳ１の隆線２値化画像であるドットパターンの相関演算と同じ積和演算で評価値Ｅを算出している。しかしながら、図１６（Ｂ）のようなエッジパターン６６−１，６６−２の間で位置をずらしながら相関演算を行う場合、指紋センサ１０に対し指を当てて滑らす際に皮膚が伸び縮みしたり、隆線エッジラインの不安定さによりエッジラインが不安定となり、エッジラインを特徴部分とする相関演算も不安定になる。
【０１０１】
そこで、図１７に示すようなエッジパターンを拡張する補正を行った後に相関演算を行う。
【０１０２】
図１７はエッジパターンをドットパターンレベルで表わしている。ここで時間的に早い連結元エッジパターン１１２に対し、時間的に遅い連結先エッジパターン１１４があったとする。
【０１０３】
ここで、拡張補正を行わずに両者を１ドットずつずらしながらマッチングした場合、完全に重なり合ったマッチングパターン１１８にあっては６ドットが一致しており、右に１ドット下に１ドットにずれたマッチングパターン１１６にあっては５ドットが一致しており、更に１つずれた場合とマッチング時との重なりドット数の差が少なく、有意な評価値が得られずに不安定になる。
【０１０４】
そこで本発明にあっては、拡張パターン１２０のように、連結先となるドットパターン１１４につき例えば横方向に１ドット拡張するドット補間を行う。このような拡張パターン１２０とドットパターン１１２をマッチングすると、一致するドット数は９ドットと増加し、１ドットずれた非マッチング状態との重なりドット数の差が大きくなり、ドット重なり数に依存した相関演算による評価値の最大値を安定して得ることができる。
【０１０５】
このような図１７の拡張パターン１２０におけるような隆線エッジラインの拡張処理を図１０のステップＳ３で行った後、ステップＳ４で時間的に前後する２つの指紋部分画像における特徴形状として抽出されたエッジパターンの相関演算により評価値Ｅを算出し、ステップＳ５でドット重なり数がエッジパターンのドット数の所定割合を越える有意な最大値を判定すると、ステップＳ１０で最大評価値Ｅの移動ベクトル（ａ，ｂ）を移動量として取得する。
【０１０６】
図１８は、図１０のステップＳ１における隆線２値化画像であるドットパターンを用いた相関演算による共通領域探索処理の説明図である。図１８にあっては、時間的に前後する２つの指紋部分画像となるドットパターン６８−１とドットパターン６８−２との間で、相対的にｘ軸方向にずらしながら相関演算を行うと、特性曲線７０のような評価値Ｅの変化が得られる。
【０１０７】
この特性曲線７０のピーク値７２となるマッチング状態７６を共通領域探索結果とするが、ドットパターンによる探索ではピーク値７２が得られるマッチング状態７６が必ずしもドットパターン６８−１，６８−２の重なり状態とは言えない場合がある。ドットパターン６８−１，６８−２のより正しいマッチング状態は、マッチング状態７８の位置となり、これは特性曲線７０における評価値７４であり、ピーク値７２からずれている。
【０１０８】
このような場合には、ドットパターン６８−１，６８−２による相関演算の評価値のピーク値からマッチング状態を正確に検出することはできなくなる。
【０１０９】
そこで図１０のステップＳ１のドットイメージについての相関演算で、ステップＳ２で有意な最大値が得られなかった場合には、ステップＳ３における図１７に示した隆線エッジラインの拡張処理を行った後、ステップＳ４で隆線エッジラインを対象とした相関演算で評価値Ｅを
【０１１０】
【数２】
0004169185.tif 000003
【０１１１】
として算出し、ステップＳ５で有意な最大値を求める。ここで、Ａ1はエッジラインの重みを表す定数である。
【０１１２】
図１９は、図１０のステップＳ４の隆線エッジラインを対象とした相関演算で得られる評価値の分布とマッチング状態である。図１９において、図１８と同じ指紋部分画像について抽出されたエッジパターン８６−１とエッジパターン８６−２の相関演算をｘ軸方向に相対的にずらしながら行うと、算出された評価値Ｅは特性曲線８８のような分布となる。
【０１１３】
この特性曲線８８におけるピーク値９２には、図１８のドットパターンの相関演算では判定できなかった正しいマッチング状態９６を示している。因みに図１８のドットパターンの相関演算でピーク値７２が得られたマッチング状態７６は、図１９のエッジパターンの相関演算による評価値Ｅの特性曲線８８にあっては評価値９０と低い値に対応したマッチング状態９４となっている。
【０１１４】
この関係から、指紋部分画像のドットパターンによる特徴抽出を対象とした相関演算による共通領域探索処理より、特徴の度合いが高いエッジパターンを用いた相関演算による共通領域探索処理の方が、より正しいマッチング状態を見つけて画像連結を高精度で行うことができる。
【０１１５】
図１０において、ステップＳ４の隆線エッジラインの相関演算による評価値Ｅについて、ステップＳ５で有意な最大値が得られなかった場合には、ステップＳ６で隆線エッジラインの接線方向の変化に応じた重みを設定した相関演算で評価値Ｅを
【０１１６】
【数３】
0004169185.tif 000004
【０１１７】
として算出することにより、マッチング状態となる共通領域探索処理を実行する。ここで、Ａ2は接線方向の重みを表す定数である。
【０１１８】
図２０は、隆線エッジラインの接線方向の変化に重み設定を行って相関演算をする場合のエッジパターンと、エッジパターンから検出した接線方向の変化の大きい部分を表わしている。
【０１１９】
図２０（Ａ）は、図１６（Ｂ）と同じ時間的に前後する２つの指紋部分画像４０−１，４０−２について抽出したエッジパターン６６−１，６６−２であり、このエッジパターン６６−１，６６−２について接線方向の変化の大きい部分を検出すると図２０（Ｂ）のようになる。
【０１２０】
図２０（Ｂ）の指紋部分画像４０−１，４０−２にあっては、接線方向の変化の大きい部分について、変化が大きいほど太い線で示している。即ち、特徴部分８２−１〜８２−４は比較的接線方向の変化が大きい部分であり、これに対し特徴部分８４−１〜８４−４は接線方向の変化が更に大きい部分である。
【０１２１】
図１０のステップＳ６にあっては、このような接線方向の変化の大きさに対し、例えば図２１に示すように、背景部分６５については重みｗ＝０、エッジライン６６については重みｗ＝１、接線方向の変化がある程度大きい特徴部分８２については重みｗ＝２、更に接線方向の変化がより大きい特徴部分８４については重みｗ＝３を、それぞれ設定する。
【０１２２】
そして、このように特徴部分に対応して設定した重みを、そのドットの値として、次式により相関演算で評価値Ｅを算出する。
【０１２３】
【数４】
0004169185.tif 000005
【０１２４】
ここで、Ａ3は重みを表す定数であり、例えば図２１のように設定した重みの値を表わしている。
【０１２５】
このような特徴部分の度合いに応じた重み設定による相関演算で評価値Ｅを算出することで、重みが大きい特徴部分、即ち特徴の度合いの高い部分が一致するほど評価値Ｅの値が大きくなり、大きな重みを持つ特徴的に大きな部分が重なり合うマッチング状態で評価値Ｅが最大値となる。
【０１２６】
この結果、指紋隆線の特徴部分に重点を置いた共通領域の探索により、より正しい連結のための移動量を検出することができる。また、指を押しつけることによる皮膚の伸び縮みによる画像の歪みやノイズの影響を受けにくい正しい画像連結のための移動量検出が安定的に実現できる。
【０１２７】
次に図１０のステップＳ６による隆線エッジラインの接線方向の変化において、重み付けに基づく相関演算による共通領域探索処理につき、ステップＳ７で有意な最大値が得られなかった場合には、ステップＳ８に進み、隆線エッジラインの分岐点や端点の特徴部分に重みを設定した相関演算による評価値Ｅの算出で、ステップＳ９における有意な最大値を判定して、最大評価値の移動ベクトルから移動量を検出できるようにする。
【０１２８】
図２２はエッジパターンを特徴部分とした相関演算で共通領域を探索する場合の問題を示している。図２２において、時間的に前後する２つのエッジパターン９８−１，９８−２の共通領域探索を行うとする。ここでエッジパターン９８−１，９８−２は、指紋隆線において隆線がほぼ等間隔に並んだ縞状となる部分でのエッジパターンを対象としている。
【０１２９】
このようなエッジパターン９８−１，９８−２について相関演算による評価値を求め、その評価値の最大値となるマッチング状態が右側に示すマッチング状態１００のように、エッジパターン９８−１に対しエッジパターン９８−２が横方向にずれた位置となってしまう場合がある。
【０１３０】
そこで図２３のように、例えばエッジパターン９８−１の中の接線方向の急激な変化となる特徴部分１０２を検出し、図１０のステップＳ６の接線方向の変化の大きさに応じた重みを設定した相関演算による共通領域の探索を行う。
【０１３１】
図２４（Ａ）及び図２４（Ｂ）はエッジパターンの他の例であり、それぞれ接線方向の急激に変化する特徴部分１０２−１〜１０２−５を検出して、接線方向の大きさに応じた重み設定による相関演算で共通領域を検出すれば、図２２に示したようなエッジパターンの相関演算による問題は解消できる。
【０１３２】
このような接線方向の急激に変化する特徴部分の検出は、図２５（Ａ）、図２５（Ｂ）の骨格線に変換して行っても良い。図２５（Ａ）（Ｂ）の骨格線は、図２４（Ａ）（Ｂ）の指紋隆線のエッジパターンの中心ラインを求めて、これを骨格線としたものであり、骨格線について接線方向の変化が急激な部分１０２−１１，１０２−１２，１０２−１５を求め、この骨格線の接線方向の変化の激しい特徴部分に重み付けを行った相関演算により共通領域の探索を行う。
【０１３３】
再び図１０を参照するに、ステップＳ６の隆線エッジラインまたは隆骨線の接線方向の変化に応じた重み設定による相関演算による共通領域探索につき、ステップＳ７で有意な最大値がもし得られない場合には、ステップＳ８に進み、隆線エッジラインの分岐点と端点に重みを設定した相関演算による評価値を算出し、その最大値をステップＳ９で判定して共通領域を探索する。
【０１３４】
この隆線エッジラインにおける端点と分岐点を特徴部分とした共通領域の探索は、指紋センサ１０における隆線読取りの際の画像変形による共通領域探索のエラーを回避する。
【０１３５】
即ち、指紋センサ１０に指を押し付けた際に皮膚は簡単に伸び縮みするため、指紋センサ１０上で指を滑らせると、図２２のような縞状の隆線に変形が発生し、この変形は指の移動に伴い時々刻々と変化し、隆線の接線方向の変化の激しい部分から共通領域を探索することが適当でない場合がある。そこで、指紋隆線における更に確実な特徴部分として隆線の端点と分岐点を使用する。
【０１３６】
図２６（Ａ）は端点を持つエッジラインであり、図２６（Ｂ）は分岐点を持つエッジラインである。この図２６（Ａ）（Ｂ）のエッジラインについては、エッジラインの接線方向の変化の激しい部分１０４，１０６を検出することで、端点１０４及び分岐点１０６を抽出できる。
【０１３７】
この場合、単に接線方向の変化が急激な部分を端点１０４または分岐点１０６とせずに、接線方向の変化の急激な部分を対象に、その部分の始点と終点の向きを追跡すると、始点及び終点がほぼ同じ方向を向いていることで端点１０４または分岐点１０６と判定することができる。
【０１３８】
図２７（Ａ）（Ｂ）は、図２６（Ａ）（Ｂ）のエッジパターンを骨格線に変換した場合であり、骨格線にあっては図２７（Ａ）の端点１０８は簡単に検出でき、また図２７（Ｂ）の分岐点１１０も、分岐点１１０から伸びる骨格線の数が３本以上となることで簡単に判定できる。
【０１３９】
この図２６及び図２７のように、エッジパターンもしくは骨格線から端点と分岐点を特徴部分として検出し、これにつき図１０のステップＳ８において特徴部分として検出した分岐点と端点に十分に大きな重み例えば重みｗ＝４を設定し、図２１と同様、背景については重みｗ＝０、エッジライン及び骨格線については重みｗ＝１を設定し、この重みを用いた相関演算により評価値Ｅを求めることで、その最大値から共通領域を探索すれば良い。
【０１４０】
次に図１０のステップＳ１０における隆線エッジラインの連結必要十分条件による探索処理を説明する。この探索処理は、それ以前のステップＳ１〜Ｓ９における隆線のドットパターン、隆線エッジライン、隆線の接線方向の変化、更に隆線エッジラインの分岐点と端点のそれぞれを特徴形状とした共通領域の探索処理が成功しなかった場合に行われる探索処理である。
【０１４１】
図２８は、図１０のステップＳ１０の連結必要条件による探索処理の概略を表わしている。図２８において、時間的に前後する２つの指紋部分画像１２４−１，１２４−２を連結するとき、例えば隆線１２６−１，１２６−２を例に取ると、ここからエッジラインをエッジパターン１２８−１，１２８−２のように抽出して連結する場合、この探索処理にあっては、曲線が滑らかに繋がる必要十分条件として「連結点が一致し且つ連結点における接線方向の変化が滑らかである」を満足するように連結する。
【０１４２】
例えばエッジパターン１２８−１，１２８−２において、それぞれの連結点を１３０−１，１３０−２とすると、この連結点１３０−１，１３０−２について接線方向を求めると、接線１３２−１，１３２−２のようになる。
【０１４３】
そこでエッジパターン１２８−１，１２８−２を右側のように連結点１３０−１，１３０−２を重ねた連結点１３０で合わせ、それぞれの接線１３２−１，１３２−２の関係をチェックする。
【０１４４】
この場合、曲線が滑らかに繋がる必要十分条件である「連結点が一致し且つ連結点における接線方向の変化が滑らかである」という条件を満足した場合、具体的には連結点１３０で重ね合わせたときの接線１３２−１，１３２−２の変化が所定値以下もしくは周辺のエッジの接線方向の変化程度に相当する場合、曲線が滑らかに繋がる必要十分条件を満足するものとて２つのエッジパターンを連結する。
【０１４５】
図２９は、曲線が滑らかに繋がる必要十分条件による共通領域探索処理の処理手順を１本の指紋隆線を取り出して説明している。図２９（Ａ）は指紋の隆線１２６に対する時間的に前後する指紋部分画像１２４−１，１２４−２の読取状態であり、両者の隣接する部分で重なり合った読取りが行われている。
【０１４６】
このような指紋の隆線１２６の指紋部分画像１２４−１，１２４−２は、図２９（Ｂ）のように連続的に読み取られて記憶部に格納されている。そこで曲線が滑らかに繋がる必要十分条件による共通領域探索処理にあっては、時間的に先行する指紋部分画像１２４−１における重なり部分に入る領域に走査ライン１３４を設定し、エッジライン１２６−１との交点を連結点１３０−１とする。
【０１４７】
この指紋部分画像１２４−１におけるエッジライン１２６−１の連結点１３０−１に対し、連結先となる指紋部分画像１２４−２を相対的に１ドットずつ位置をずらしながら、連結点１３０−１に対応するエッジライン１１４−２の連結点１３０−２を求める。
【０１４８】
そして２つの連結点１３０−１，１３０−２のそれぞれにおける接線方向を検出し、検出した２つの接線方向の差を求める。実際の指紋部分画像にあっては、図２８の指紋部分画像１２４−１，１２４−２のように指紋隆線が複数本並んでいることから、図２９（Ｂ）のようにして隆線エッジラインごとに決めた２つの連結点の接線方向の差の総和を求める。
【０１４９】
そして図２９（Ｂ）において、固定した連結元となる指紋部分画像１１２−１に対し連結先となる指紋部分画像１１２−２側を所定範囲で移動しながら、２つの連結点の接線方向の差の総和を評価値として求め、最終的に最小値となる評価値の連結状態を共通領域探索処理として求め、そのときの２つの指紋部分画像間の位置関係を移動量として検出する。
【０１５０】
図３０は、本発明における連結必要十分条件による探索処理の詳細を示したフローチャートである。まずステップＳ１で、図１３（Ａ）のような２つの指紋部分画像の探索処理の際の位置関係のように、相対移動させる連結先の指紋部分画像４０−２側を固定側の指紋部分画像４０−１に対し縦方向の移動量ｂがｂ＝Ｂ０となるようにセットし、ステップＳ１’で横方向の移動量ａが初期位置ａ＝Ａ０となるようにセットする。
【０１５１】
次にステップＳ２で、図２９（Ｂ）のように連結元の指紋部分画像１２４−１に連結点検出のための走査ライン１３４を設定し、エッジライン１２６−１との交点を連結点１３０−１とする。次にステップＳ３で、連結元のエッジライン連結点１３０−１に対応する連結先の指紋部分画像１２４−２におけるエッジライン１２６−２の連結点１３０−２を検出する。
【０１５２】
そしてステップＳ４で、連結元の連結点１３０−１と連結先の連結点１３０−２のそれぞれの接線方向を求め、その差の二乗和を評価値として算出する。次にステップＳ５で横方向の移動量ａが上限Ａ１に達したか否かチェックし、達していなければ、ステップＳ６で横方向移動量ａを１ドット増加させ、再びステップＳ２からの処理を繰り返す。
【０１５３】
横方向の移動量ａが上限Ａ１に達すると、ステップＳ７で縦方向の移動量ｂが上限Ｂ１に達したか否かチェックし、達していなければ、ステップＳ８で横方向移動量ｂを１ドット増加させ、ステップＳ１’を経由して再びステップＳ２からの処理を繰り返す。
【０１５４】
縦方向の移動量ｂが上限Ｂ１に達すると、ステップＳ９に進み、評価値が最小となる連結点を抽出し、図１０のステップＳ１１にリターンし、抽出した連結点の位置関係から得られている横方向の移動量ａを取得し、更に図８のメインルーチンのステップＳ４に戻って、隣接する指紋部分画像の連結処理を行う。
【０１５５】
なお図２９（Ｂ）にあっては、１つの指紋隆線のエッジラインについて、エッジラインの片側を対象に連結点１３０−１，１３０−２を求めて接線方向の差を算出しているが、反対側のエッジラインとの交点についても連結点として検出して、同様に接線方向の差の総和を求めても良い。
【０１５６】
次に図８のメインルーチンにおけるステップＳ４の時間的に前後する２つの指紋部分画像の連結処理の詳細を、図３１のフローチャートを参照して説明する。この画像連結処理にあっては、図２のブロック図に示したように、まず画像サイズ補正部２６でドップラー効果による画像の歪みを補正した後に画像連結部２８で画像連結処理を行うようにしている。
【０１５７】
図３１において、画像連結処理は、まずステップＳ１で連結する指紋部分画像を読み込む。続いてステップＳ２〜Ｓ４において、ドップラー効果により生じた画像の歪みを補正する補正処理を行う。
【０１５８】
本発明の画像連結装置にあっては、図５に示したように、指紋センサ１０の走査方向４６に対し指４８の移動方向５０を逆方向に設定している。この場合、図６（Ａ）（Ｂ）のようにして読み取られる取込画像は、指の移動速度Ｖｆと指紋センサ１０における走査線の移動速度Ｖｓにより縮小する。
【０１５９】
ここで指の移動速度Ｖｆは、図１０の共通領域探索処理の処理結果として得られている移動量を画像間の時間で割ることで求められる。画像間の時間ｔは、指紋センサ１０におけるサンプリング周波数の逆数で与えられる。したがって、指の移動速度Ｖｆは次式で与えられる。
Ｖｆ＝（共通領域探索処理で検出した移動量）／（サンプリング周波数の逆数）また、指紋センサ１０における走査速度Ｖｓは、指紋センサ１０における縦方向の走査長をサンプリング周期で割った値である。このため、ドップラー効果による画像の縮小率Ｋは次式で与えられる。
【０１６０】
縮小率＝Ｖｆ／（Ｖｆ＋Ｖｓ）
したがって、このようなドップラー効果により縮小された画像については、取込画像に縮小率Ｋの逆数を乗じて縦方向に拡大する補正を行えば良い。
【０１６１】
図３１のステップＳ２〜Ｓ４にあっては、ドップラー効果に対する補正処理を行っている。即ち、ステップＳ２で指の移動速度Ｖｆを算出し、続いてステップＳ３で指の移動速度Ｖｆと走査ライン移動速度Ｖｓからドップラー効果による縮小率Ｋを算出する。そしてステップＳ４で指紋部分画像を走査方向（縦方向）で（１／Ｋ）倍に拡大補正している。
【０１６２】
このようなドップラー効果により縮小した画像を拡大する補正処理が済んだならば、ステップＳ５で連結元の指紋部分画像に対し移動ベクトルＥ（ａ，ｂ）の位置に連結先の指紋部分画像を位置決めして重なり合う領域について、画素の上書きまたは２つの画素の平均画素値を求めて格納することで画像連結を行う。
【０１６３】
なお、図７のように、指紋センサ１０の走査方向４６と指の移動方向５０が同方向の場合には、読み取られた指紋部分画像はドップラー効果により拡大することとなり、この場合の拡大率Ｋは次式で与えられる。
【０１６４】
Ｋ＝Ｖｆ／（Ｖｆ−Ｖｓ）
したがって、ドップラー効果による拡大した指紋部分画像については、拡大率Ｋの逆数（１／Ｋ）を掛け合わせる走査方向（縦方向）の補正で、画像を走査方向で縮める補正を行う。
【０１６５】
次に本発明の画像連結処理の他の実施形態として、指紋センサ１０により連続的に読み取って入力した指紋部分画像を横方向で分割して画像連結を行う実施形態を説明する。
【０１６６】
本発明の指紋センサ１０において、指紋読取りのためにセンサ上で指をすべらせていると、その間に皮膚が伸び縮みし、時間的に前後して読み取られた指紋部分画像の間で完全に一致する共通領域が見つからない場合がある。
【０１６７】
例えば図３２は、横方向に皮膚が伸縮したときの指紋部分画像のエッジパターン１３６−１，１３６−２を示している。この２つのエッジパターン１３６−１，１３６−２について、図１０の共通領域探索処理に示したいずれかの特徴形状を対象とした相関演算を行って連結すると、例えば連結パターン１３８のように右側の領域１３８−２は隆線がよく一致するが、左側の領域１３８−１は隆線が一致しないという状態が発生する。
【０１６８】
このような状態で画像を連結すると隆線の連結部に段差ができ、滑らかに隆線が繋がった指紋部分画像が得られない。そこで本発明にあっては、図３３のように、時間的に前後する２つのエッジパターン１３６２−１，１３６−２について、横方向に例えば２分割して分割エッジパターン１４０−１，１４０−２及び分割エッジパターン１４２−１，１４２−２に分け、各分割領域ごとに共通領域の探索処理を行う。
【０１６９】
このような分割領域ごとに探索処理を行うと、右側に取り出して示す分割マッチングパターン１４４−１，１４４−２のように、それぞれの分割領域でエッジパターンがよく一致する結果が得られる。また左側のマッチングパターン１４４−１の領域に対し左側のマッチングパターン１４４−２の領域の間に微小な距離ｄの空きが生じており、この距離ｄ分だけ横方向に皮膚が伸びたことが分かる。
【０１７０】
このため、左右の分割領域の共通領域探索結果による横方向の分割領域の位置の差から画像の伸び量ｄを求め、指紋部分画像を補正した後に画像連結を行うことで、正確な指紋全体画像を得ることができる。
【０１７１】
図３４は、横方向で画像を分割する本発明による画像連結処理の処理手順のフローチャートである。図３４において、まずステップＳ１で指紋センサ１０に対する指の走査で連続的に複数の指紋部分画像を読み取って記憶した後、ステップＳ２で各指紋部分画像を例えば左右に２分割する。
【０１７２】
この左右に２分割した分割画像について、まず左側の分割部分についてステップＳ３〜ステップ５で隆線の特徴抽出、共通領域の探索及び指紋部分画像の連結を、ステップＳ６で左側部分の全部の部分画像を連結するまで行う。続いてステップＳ７で分割画像の処理が全て済んでいない場合には、ステップＳ３に戻り、残っている例えば右側の分割領域について、ステップＳ３〜Ｓ６による特徴抽出、共通領域探索、画像連結の処理を行う。
【０１７３】
もちろんステップＳ５の画像連結にあっては、図３３のように左右の分割領域の伸び縮みを示す例えば伸び量ｄが検出されている場合には、この伸び量ｄをなくすように右側の画像を補正して連結する。また左右の分割領域がお互いに重複する縮み状態にあっては、この縮み量を補正するように左側の画像を横に伸ばす補正を行う。
【０１７４】
なお図３４のフローチャートのステップＳ３〜Ｓ４における隆線の特徴抽出、共通領域の探索及び指紋部分画像の連結処理の詳細は、画像分割を行わない場合の実施形態と同じ処理内容である。
【０１７５】
図３５は、本発明による移動量検出装置の実施形態のブロック図である。この移動量検出装置は、指紋センサ１０、記憶部１４、特徴抽出部１６及び共通領域探索部２４で構成されており、特徴抽出部１６には隆線エッジ抽出部１８、エッジ接線方向計算部２０及び特徴的形状部分抽出部２２が設けられている。
【０１７６】
この移動量検出装置は、図２の画像連結装置における画像サイズ補正部２６及び画像連結部２８を取り除いたと同じ構成及び動作を行う。即ち図２の実施形態にあっては、指紋センサ１０で読み取った連続する複数の部分画像を連結して全体画像を作成しているが、図３５の移動量検出装置にあっては、共通領域探索部２４における相関演算による評価値の内の最大値の抽出によって指の移動量が検出できることから、この指の移動量の検出結果を外部に出力して利用できるようにしている。
【０１７７】
この図３５のような移動量検出装置を携帯電話やＰＤＡなどに搭載して、共通領域探索部２４より検出される指の移動量を用いて、例えば携帯電話の画面上に表示された反転セレクト部の変更やＰＤＡのカーソルポインタの移動に使用できる。
【０１７８】
図３６は、本発明による指の移動方向判別装置の実施形態のブロック図である。この移動方向判別装置は、指紋センサ１０の隆線間隔測定部１４６及び移動方向判定部１４８で構成される。
【０１７９】
この移動方向判別装置は、指紋センサ１０に指を当てて滑らせたときの指の移動速度とセンサの走査速度により生ずるドップラー効果を受けた画像の伸縮を利用して、指の動いた方向を検出するようにしている。特にドップラー効果による画像の変化は、指の動く速度が速いときに十分に表われる。
【０１８０】
図３７（Ａ）は指紋センサ１０の走査方向４６に対し指４８の移動方向５０を逆方向とした場合であり、この場合の指紋部分画像は図３７（Ｂ）のようになる。図３７（Ｂ）の指紋部分画像１５０にあっては、ドップラー効果により隆線１５２の間隔が狭まっている。
【０１８１】
図３８（Ａ）は指紋センサ１０の走査方向４６と指４８の移動方向５０を同方向とした場合である。この場合には、ドップラー効果により、図３８（Ｂ）の指紋部分画像１５４のように指紋隆線１５６の間隔が広くなる。
【０１８２】
そこで図３６の隆線間隔測定部１４６にあっては、指紋センサ１０に対する指の移動で取り込まれた部分画像における指紋隆線の間隔を測定し、移動方向判定部１４８に出力する。
【０１８３】
移動方向判定部１４８にあっては、ドップラー効果による隆線間隔の縮みを判定する縮み判定値と、ドップラー効果による画像の伸びを判定する伸び判定値が設定されており、縮み判定値以下の場合には図３７（Ａ）のように走査方向４６に対し指４８の移動方向５０が逆方向であることを判定し、また伸び判定値より隆線間隔が大きい場合には図３８（Ａ）のように走査方向４６と同じ指４８の移動方向５０であることを判定する。
【０１８４】
このような移動方向判定装置により指紋センサ１０上で動いた指の方向を検出することで、指の移動方向の判定結果を利用してタッチパッドの代わりに使用することができる。また、図３６の指の移動方向に使用する指紋センサ１０としては、指紋部分画像を連続的に入力する小型指紋センサに限らず、指を置いて指紋全体を読み込む指紋センサであってもよい。
【０１８５】
なお、上記の実施形態における画像連結処理にあっては、図１０の共通領域探索処理のフローチャートに示したように、共通領域を探索する特徴形状として、指紋隆線の２値化画像としてのドットパターン、エッジパターン、エッジラインの接線方向の変化、エッジラインの分岐点と端点、更には連結必要十分条件による探索の各処理を順番に配置し、先行する探索処理が不成功の場合に次の探索処理を実行するようにしているが、これら複数の特徴形状における各共通領域探索処理の内の特定の１つを使用してもよいし、複数の探索処理を組み合わせて順次もしくは一度に行うようにしてもよい。例えば図１０におけるステップＳ２，Ｓ５，Ｓ７を除いてステップＳ１，Ｓ４，Ｓ８の評価値を一度に求めるような処理でも良い。
【０１８６】
また上記の実施形態におけるフローチャートは、本発明における画像連結のために携帯機器の搭載されているコンピュータで実行されるプログラムの実施形態に対応している。
また本発明は、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
【０１８７】
（付記）
（付記１）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと
前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと
前記移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を少なくとも備えたことを特徴とする画像連結方法。（１）
【０１８８】
（付記２）
付記１記載の画像連結方法に於いて、前記生体部分画像として、指紋、静脈血管網、掌紋、掌形、顔画像、耳形又は虹彩を生成することを特徴とする画像連結方法。
【０１８９】
（付記３）
付記１記載の画像連結方法に於いて、前記画像得入力ステップは、予め定めた人体部位の前記読取部に対する移動方向に対し、前記読取部の走査方向を逆方向に設定したことを特徴とする画像連結方法。
【０１９０】
（付記４）
付記１記載の画像連結方法に於いて、前記特徴抽出ステップは、前記生体部分画像の特徴形状として、前記生体部分画像の２値化形状を抽出することを特徴とする画像連結方法。
【０１９１】
（付記５）
付記１記載の画像連結方法に於いて、前記特徴抽出ステップは、前記生体部分画像の特徴形状として、前記生体部分画像の２値化形状における輪郭を表すエッジラインを抽出することをと特徴とする画像連結方法。
【０１９２】
（付記６）
付記１記載の画像連結方法に於いて、前記特徴抽出ステップは、前記生体部分画像の特徴形状として、前記生体部分画像の２値化形状における輪郭を表すエッジラインの接線方向の変化量が所定値以上となる部分を抽出することを特徴とする画像連結方法。
【０１９３】
（付記７）
付記１記載の画像連結方法に於いて、前記特徴抽出ステップは、前記生体部分画像の特徴形状として、前記生体部分画像の２値化形状における輪郭を表すエッジラインの端点又は分岐点抽出することを特徴とする画像連結方法。
【０１９４】
（付記８）
付記１記載の画像連結方法に於いて、前記共通領域探索ステップは、時間的に前後する２つの生体部分画像を相対的に移動しながら重複する領域で前記特徴形状の相関演算により共通領域を探索して移動量を検出することを特徴とする画像連結方法。（２）
【０１９５】
（付記９）
付記１記載の画像連結方法に於いて、前記共通領域探索ステップは、前記相関演算として、時間的に前後する２つの生体部分画像を相対的に移動ながら重複する領域で重なり合う画素の値の積和を評価値として算出し、前記評価値が最大となる位置の移動量を検出することを特徴とする画像連結方法。
【０１９６】
（付記１０）
付記１記載の画像連結方法に於いて、前記共通領域探索ステップは、時間的に前後する２つの生体部分画像を相対的に移動しながら重複する領域で前記特徴形状の度合いに応じて設定した重みの相関演算により共通領域を探索して移動量を検出することを特徴とする画像連結方法。（３）
【０１９７】
（付記１１）
付記１記載の画像連結方法に於いて、前記共通領域探索ステップは、前記相関演算として、時間的に前後する２つの生体部分画像を相対的に移動しながら重複する領域で重なり合う画素に設定した重みの積和を評価値として算出し、前記評価値が最大となる位置の移動量を検出することを特徴とする画像連結方法。
【０１９８】
（付記１２）
付記９乃至１２のいずれかに記載の画像連結方法に於いて、前記共通領域探索ステップは、前記生体部分画像における特徴形状の領域を拡張した後に、前記相関演算を行うことを特徴とする画像連結方法。
【０１９９】
（付記１３）
付記９乃至１２のいずれかに記載の画像連結方法に於いて、前記共通領域探索ステップは、前記相関演算を行うための移動を所定の移動範囲に限定することを特徴とする画像連結方法。
【０２００】
（付記１４）
付記９乃至１２のいずれかに記載の画像連結方法に於いて、前記共通領域探索ステップは、前記生体部分画像の終周端から所定距離以上離れた内側領域のみを相関演算の対象とすることを特徴とする画像連結方法。
【０２０１】
（付記１５）
付記１記載の画像連結方法に於いて、
前記特徴抽出ステップは、前記生体部分画像の特徴形状として、前記生体部分画像の２値化形状又は前記２値化形状における輪郭を表すエッジラインを抽出し、前記共通領域探索ステップは、時間的に前後する２つの生体部分画像から前記２値化形状のラインまたは前記エッジラインの接線方向の変化が滑らかで且つ連続となる重なり位置を探索して移動量を検出することを特徴とする画像連結方法。
【０２０２】
（付記１６）
付記１記載の画像連結方法に於いて、前記画像連結ステップは、読取部に対する人体部位の移動速度と前記読取部の走査速度からドップラー効果による画像伸縮率を算出して連結する生体部分画像を補正することを特徴とする画像連結方法。
【０２０３】
（付記１７）
付記１の画像連結方法に於いて、更に、前記共通領域探索ステップで検出された移動量から生体部分画像の読取開始又は読取終了の判定するステップを備えたことを特徴とする画像連結方法。
【０２０４】
（付記１８）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと
前記入力画像を複数の領域に分割する画像分割ステップと、
分割領域毎に前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
分割領域毎に時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
分割領域毎に前記移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を少なくとも備えたことを特徴とする画像連結方法。
【０２０５】
（付記１９）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
を少なくとも備えたことを特徴とする移動量検出方法。
【０２０６】
（付記２０）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
前記生体部分画像のドップラー効果による画像の伸び縮みから前記人体部位の移動方向を検出する検出ステップと、
を少なくとも備えたことを特徴とする移動方向判別方法。
【０２０７】
（付記２１）
付記２０記載の移動方向判別方法に於いて、前記検出ステップは、前記人体部分画像の縮みから人体部位の移動方向が前記読取部の走査方向に対し逆方向であることを判別し、前記部分画像の伸びから人体部位の移動方向が前記読取部の走査方向と同方向であることを判別することを特徴とする画像連結方法。
【０２０８】
（付記２２）
コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
前記移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結ステップと、
を実行させることを特徴とするプログラム。（４）
【０２０９】
（付記２３）
コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
前記生体部分画像から特徴形状を抽出する特徴抽出ステップと、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索ステップと、
を実行させることを特徴とするプログラム。
【０２１０】
（付記２４）
コンピュータに、
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力ステップと、
前記生体部分画像のドップラー効果による画像の伸び縮みから前記人体部位の移動方向を検出する検出ステップと、
を実行させることを特徴とするプログラム。
【０２１１】
（付記２５）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、
前記生体部分画像から特徴形状を抽出する特徴抽出部と、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索部と、
前記移動量に基づき隣接する２つの生体部分画像の連結して全体の生体画像を生成する画像連結部と、
を少なくとも備えたことを特徴とする画像連結装置。（５）
【０２１２】
（付記２６）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、
前記生体部分画像から特徴形状を抽出する特徴抽出部と、
時間的に前後する２つの生体部分画像から前記特徴形状が一致する共通領域を探索して画像間の相対的な移動量を検出する共通領域探索部と、
を少なくとも備えたことを特徴とする移動量検出装置。
【０２１３】
（付記２７）
読取部に対する相対移動により人体部位の生体部分画像を連続的に入力する画像入力部と、
前記生体部分画像のドップラー効果による画像の伸び縮みから前記人体部位の移動方向を検出する検出部と、
を少なくとも備えたことを特徴とする移動方向判別装置。
【０２１４】
【発明の効果】
以上説明してきたように本発明によれば、携帯電話などの小型機器向けの小型センサにより連続的に採取される部分的な指紋などの入力画像から全体画像を高精度で連結して全体画像を正しく生成することができる。
【０２１５】
また人体部位、例えば指紋を読み取る際には、センサに対し指を滑らせるときに皮膚が伸縮して読取画像に歪みが生じ、単純なパターンマッチングでは誤差が大きくなるが、本発明にあっては、指紋隆線における特徴的な形状として隆線２値化以外に、隆線エッジライン、隆線エッジラインの接線方向の変化の大きい部分、更には隆線エッジラインの端点や分岐点といった特徴的な隆線紋様を重点的に利用してマッチングを行っているため、隆線の細かな歪みやノイズがあっても、正確に指紋部分画像を連結して正しい指紋全体画像を生成することができる。
【０２１６】
特に、１枚の指紋全体画像は十数枚から数十枚の指紋部分画像が連結されて構成されることになり、各部分画像連結時にずれが発生すると、ずれが微小であっても連結後の全体画像では無視できないほどの連結ずれとなる。例えば、各部分画像連結時に画像サイズが大きくなる方向に１％連結ずれがあった場合、２０枚の部分画像を連結した全体画像ではサイズが２０％増大した指紋全体画像となってしまう。
【０２１７】
このような複数の指紋部分画像の連結における連結ずれは、本発明における指紋隆線の特徴部分の抽出結果に対する相関演算による評価値の最大値として正確に一致する部分が検出されて連結できるため、極めて高い精度で連結のための共通領域を探索して正確に部分画像を連結でき、結果的に多数の指紋部分画像が連結されても、最終的に得られる全体画像のずれを最小限にすることができる。
【０２１８】
更に本発明にあっては、指紋センサの走査速度と指の移動速度によって生ずるドップラー効果で取り込まれた指紋部分画像が伸縮するが、このドップラー効果による伸縮に対し指の移動量が検出されることから、指の移動速度を求め、ドップラー効果による画像の伸縮率を用いた画像の補正により、ドップラー効果による歪みを受けることなく指紋部分画像を連結し、最終的に得られる全体画像の精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の原理説明図
【図２】本発明による画像連結装置の機能構成のブロック図
【図３】図２の記憶部に記憶させるデータ構造の説明図
【図４】本発明による指紋部分画像の連結処理の説明図
【図５】読取部の走査方向と指の移動方向の説明図
【図６】読取部の走査方向と指の移動方向を逆方向にした場合の読取範囲の説明図
【図７】読取部の走査方向と指の移動方向を同方向にした場合の読取範囲の説明図
【図８】本発明による画像連結方法の基本的な処理手順のフローチャート
【図９】図８の特徴抽出処理の詳細フローチャート
【図１０】図８の共通領域探索処理の詳細フローチャート
【図１１】図１０の共通領域探索処理の具体的処理手順のフローチャート
【図１２】時間的に前後する指紋部分画像の共通領域と画像連結の説明図
【図１３】共通領域探索処理における指紋部分画像の移動範囲と相関演算の説明図
【図１４】図１３の移動範囲を制限する要因となる縞状の指紋エッジラインのみの指紋部分画像の説明図
【図１５】読取部に指を当てて滑らせる読取走査と読取窓の周囲の汚れ状況の説明図
【図１６】指紋隆線のエッジ２値化画像からエッジラインを抽出する説明図
【図１７】図１０のエッジライン相関演算の前処理として行う拡張処理の説明図
【図１８】２値化形状の相関演算による評価値の最大値とエッジラインがマッチングする評価値の説明図
【図１９】エッジラインの相関演算による評価値の説明図
【図２０】指紋隆線のエッジラインから接線方向の変化が大きい部分を抽出する説明図
【図２１】接線方向の変化に応じた重み設定の説明図
【図２２】縞状のエッジラインにおける連結エラーの説明図
【図２３】縞状のエッジラインに含まれる接線方向の変化の大きな部分の説明図
【図２４】隆線エッジラインの接線方向の変化の大きな部分の説明図
【図２５】図２４の隆線エッジラインから生成した骨格線における接線方向の変化の大きな部分の説明図
【図２６】エッジラインにおける端点と分岐点の説明図
【図２７】図２６のエッジラインから生成した骨格線における端点と分岐点の説明図
【図２８】図１０の共通領域探索処理における連結必要十分条件による探索処理の説明図
【図２９】図２８の連結必要十分条件を満たす連結点検索の説明図
【図３０】連結必要十分条件による探索処理のフローチャート
【図３１】図８における画像連結処理の詳細のフローチャート
【図３２】画像に歪みが生じた縞状エッジライン画像の共通領域探索の説明図
【図３３】画像分割による縞状エッジライン画像の共通領域探索の説明図
【図３４】本発明の画像分割による画像連結処理のフローチャート
【図３５】本発明による移動量検出装置のブロック図
【図３６】本発明による移動方向判別装置のブロック図
【図３７】読取走査方向と指の移動方向が逆方向の場合のドップラー効果による画像の縮みの説明図
【図３８】読取走査方向と指の移動方向が同方向の場合のドップラー効果による画像の伸びの説明図
【符号の説明】
１０：指紋センサ
１２：タイマ
１４：記憶部
１６：特徴抽出部
１８：隆線エッジ抽出部
２０：エッジ接線方向計算部
２２：特徴的形状部分抽出部
２４：共通領域探索部
２６：画像サイズ補正部
２８：画像連結部
３０：データ構造
３２：指紋部分画像
３４：撮影時刻
３６：特徴的形状部分
３８：指の移動ベクトル
４０−１〜４０−４：指紋部分画像
４２：指紋全体画像
４４：走査ライン
４６：走査方向
４８：指
５０：移動方向
５２，５４：画像取込範囲
５８−１，５８−２：共通領域
６０−１，６０−２：ドットパターン（２値化パターン）
６２：連結画像
６４：重なり範囲
６５：原点
６６−１，６６−２：エッジパターン
１０４：端点
１０６：分岐点
１１２：連結元エッジパターン
１１４：連結先エッジパターン
１１６：１画素ずれマッチングパターン
１２０：拡張エッジパターン
１２２：拡張マッチングパターン
１３２：隆線間隔測定部
１３４：移動方向判定部
【図１】
0004169185.tif 000006
【図２】
0004169185.tif 000007
【図３】
0004169185.tif 000008
【図４】
0004169185.tif 000009
【図５】
0004169185.tif 000010
【図６】
0004169185.tif 000011
【図７】
0004169185.tif 000012
【図８】
0004169185.tif 000013
【図９】
0004169185.tif 000014
【図１０】
0004169185.tif 000015
【図１１】
0004169185.tif 000016
【図１２】
0004169185.tif 000017
【図１３】
0004169185.tif 000018
【図１４】
0004169185.tif 000019
【図１５】
0004169185.tif 000020
【図１６】
0004169185.tif 000021
【図１７】
0004169185.tif 000022
【図１８】
0004169185.tif 000023
【図１９】
0004169185.tif 000024
【図２０】
0004169185.tif 000025
【図２１】
0004169185.tif 000026
【図２２】
0004169185.tif 000027
【図２３】
0004169185.tif 000028
【図２４】
0004169185.tif 000029
【図２５】
0004169185.tif 000030
【図２６】
0004169185.tif 000031
【図２７】
0004169185.tif 000032
【図２８】
0004169185.tif 000033
【図２９】
0004169185.tif 000034
【図３０】
0004169185.tif 000035
【図３１】
0004169185.tif 000036
【図３２】
0004169185.tif 000037
【図３３】
0004169185.tif 000038
【図３４】
0004169185.tif 000039
【図３５】
0004169185.tif 000040
【図３６】
0004169185.tif 000041
【図３７】
0004169185.tif 000042
【図３８】
0004169185.tif 000043