(57)【特許請求の範囲】
【請求項１】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング工程と、を含み、
前記パターンマッチング工程は、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価工程と、
前記ベクトル評価工程により新たに選択されたベクトルに、前記ベクトル評価工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程とを有することを特徴とする指の動きの検出方法。
【請求項２】
前記指紋検出工程の後に、前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定工程をさらに有し、
前記パターンマッチング工程では、前記指紋領域判定工程により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする請求項１に記載の指の動きの検出方法。
【請求項３】
前記指紋領域判定工程では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング工程では、前記指紋領域判定工程により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする請求項２に記載の指の動きの検出方法。
【請求項４】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、を備え、
前記パターンマッチング手段は、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価手段と、
前記ベクトル評価手段により新たに選択されたベクトルに、前記ベクトル評価手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に前記第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段とを具備することを特徴とする指の動きの検出装置。
【請求項５】
前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定手段をさらに具備し、
前記パターンマッチング手段では、前記指紋領域判定手段により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする請求項４に記載の指の動きの検出装置。
【請求項６】
前記指紋領域判定手段では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング手段では、前記指紋領域判定手段により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする請求項５に記載の指の動きの検出装置。
【請求項７】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに、過去に求めたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正工程と、
を含むことを特徴とする指の動きの検出方法。
【請求項８】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正工程と、
を含み、
前記ベクトル補正工程においては、
前記パターンマッチング工程で求めたベクトルと、前記ベクトル補正工程で過去に求めた指の動きを示すベクトルとに基づき、指の動きを示す新たなベクトルを求めることを特徴とする指の動きの検出方法。
【請求項９】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング工程と、
前記ベクトルに、前記パターンマッチング工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程と、
を含むことを特徴とする指の動きの検出方法。
【請求項１０】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング手段と、
前記ベクトルに、過去に求めたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正手段と、
を具備することを特徴とする指の動きの検出装置。
【請求項１１】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、ベクトルを求めるパターンマッチング手段と、
前記ベクトルに基づき、指の動きを示すベクトルを求めるベクトル補正手段と、
を具備し、
前記ベクトル補正手段は、
前記パターンマッチング手段で求めたベクトルと、前記ベクトル補正手段で過去に求めた指の動きを示すベクトルとに基づき、指の動きを示す新たなベクトルを求めることを特徴とする指の動きの検出装置。
【請求項１２】
指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、
前記ベクトルに、前記パターンマッチング手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段と、
を具備することを特徴とする指の動きの検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、過去の指紋画像と現在の指紋画像とのパターンマッチングをおこなうことによって指の動きを検出する検出方法および検出装置に関し、特に指紋画像を利用した小型携帯機器用のポインティング装置に適用して好適な指の動きの検出方法および検出装置に関する。
【０００２】
従来より、ポインティング装置として、ノート型パーソナルコンピュータなどに備え付けの電子式トラックパッドが知られている。しかし、トラックパッドは、指先の位置を検出するために指先よりも大きなセンサ面を必要とし、それゆえ、携帯電話等の小型携帯機器用としては好ましくない。ところで、近時、指紋画像を利用した認証システムが実用化されつつあり、ポインティング装置においても指紋画像を利用することが考えられる。
【０００３】
【従来の技術】
指紋画像に基づいて指の動きを検出することによってポインティング機能を実現するというアイデアはすでに提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、指紋画像から指の動きを検出する方法や、その方法によって実現されるポインティング装置の構成などに関する具体的な提案は未だされていない。また、携帯電話等の小型携帯機器にポインティング装置を備え付けるためには、指紋を検出するセンサ面を指先よりも小さくする必要があるが、そのような大きさのセンサ面で指の動きを検出する方法や装置に関する提案も未だされていない。
【０００５】
また、ポインティング装置は常時使用されるため、指紋画像を利用したポインティング装置では、高いポインティング精度とともに、できるだけ演算負荷が少ないことが要求される。
【０００６】
本発明は、上記事情に鑑みてなされたものであって、指紋画像から指の動きを検出する具体的な方法や具体的な装置の構成を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、本発明は、以下のことを特徴とする。指先よりも小さい領域の指紋センサを用いて、指先よりも小さい領域の指紋を検出する。検出した現在のセンサ画像に対して、指紋画像が存在する指紋領域を特定し、その重心位置を求める。その重心位置付近の領域を、指紋領域よりも小さい複数の小ブロックに分割する。一回前のセンサ画像についても指紋領域を特定しておき、一回前のセンサ画像の指紋領域に対して、現在のセンサ画像の小ブロックごとに、各小ブロックの指紋画像に一致する画像領域を探す。
【０００８】
現在のセンサ画像の小ブロックの位置と、その小ブロックに対応する一回前のセンサ画像の画像領域の位置との偏差から、候補ベクトルを求める。小ブロックごとに求められた候補ベクトルの中から、現在のセンサ画像の指紋画像と一回前のセンサ画像の指紋画像とのマッチング度が最も高い候補ベクトルを選択し、検出ベクトルとする。検出ベクトルに対して、細かな指先の動きや誤検出の影響を排除するための補正をおこない、最終的にポインタの移動制御をおこなうための補正ベクトルを得る。
【０００９】
この発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められる。
【００１０】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しつつ詳細に説明する。図１は、本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。図１に示すように、この検出装置は、電子式の指紋センサ１、Ａ／Ｄ変換器２、２個のセレクタ３，４、フレームメモリ５、動き検出部６、検出ベクトル補正部７、および全体の動作タイミングを制御する指紋センサ制御部８を備えている。
【００１１】
指紋センサ１は、指先９よりも小さく、指先９よりも小さい領域の指紋を検出する。Ａ／Ｄ変換器２は、指紋センサ１により取り込まれたアナログ信号よりなるセンサ画像データをデジタル信号よりなるデータに変換する。フレームメモリ５は、特に限定しないが、たとえば＃０、＃１および＃２で示すように３バンク構成となっている。３個のバンクのうち、１個のバンクは書き込み用に使用され、残りの２個のバンクは動き検出用に使用される。したがって、フレームメモリ５にセンサ画像データが書き込まれている間も、後述する動き検出処理の実行が可能である。
【００１２】
第１のセレクタ３は、フレームメモリ５の３個のバンクの中から空いているバンク、すなわち動き検出部６による動き検出処理に使用されていないバンクを選択する。それによって、Ａ／Ｄ変換器２から送られてきたセンサ画像データは、その空いているバンクに書き込まれる。
【００１３】
第２のセレクタ４は、第１のセレクタ３が使用していない２個のバンク、すなわちセンサ画像データの書き込み中ではない２個のバンクを選択する。これら２個のバンクには、すでにセンサ画像データが格納されている。そして、第２のセレクタ４は、２個のバンクに格納されたセンサ画像データのうち、時間的に新しいものを現在のセンサ画像のデータとし、時間的に古いものを過去のセンサ画像のデータとして動き検出部６に供給する。
【００１４】
また、第２のセレクタ４は、Ａ／Ｄ変換器２から供給された１枚分のセンサ画像のデータの取り込みが完了し、かつ動き検出部６による検出ベクトル（検出ベクトルについては後述する）の算出が完了した後に、フレームメモリ５の、過去のセンサ画像の格納領域として使用されていたバンクを開放する。
【００１５】
そして、現在のセンサ画像データを格納していたバンクは、つぎの動き検出処理時には、過去のセンサ画像データを格納しているバンクとして選択される。センサ画像データの書き込み中であったバンクは、新たに現在のセンサ画像データを格納しているバンクとして選択される。開放されたバンクは、Ａ／Ｄ変換器２から供給されるつぎのセンサ画像データの格納に使用される。
【００１６】
動き検出部６は、さらに指紋領域判定部６１、パターンマッチング部６２、候補ベクトル評価部６３を有する。指紋領域判定部６１は、現在のセンサ画像データを入力データとして、現在のセンサ画像中の指紋領域を判定するとともに、その判定した指紋領域の重心位置を求める。指紋領域の判定方法および重心位置の求め方については後述する。
【００１７】
パターンマッチング部６２は、指紋領域判定部６１から出力された現在のセンサ画像の指紋領域および重心位置のデータと、それを１回分遅延させた過去のセンサ画像のデータとを用いて、現在の指紋画像と過去の指紋画像のパターンマッチングをおこない、複数の候補ベクトルを出力する。パターンマッチングの方法および候補ベクトルについては後述する。図１において、符号６４は、現在のセンサ画像に関するデータを１回分遅延させるために一時的に記憶するメモリである。
【００１８】
候補ベクトル評価部６３は、パターンマッチング部６２から出力された複数の候補ベクトルのデータと、パターンマッチング部６２に入力された現在および過去のセンサ画像に関するデータとに基づいて、複数の候補ベクトルの評価をおこない、最も好ましい候補ベクトルを検出ベクトルとして出力する。候補ベクトルの評価方法については後述する。検出ベクトル補正部７は候補ベクトル評価部６３から出力された検出ベクトルのデータの補正をおこない、補正ベクトルとして出力する。検出ベクトルの補正方法については後述する。
【００１９】
図２は、本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。図２に示すように、まず指紋センサ１により指先９よりも小さい領域の指紋を検出することにより現在のセンサ画像データを取得する。そして、指紋領域判定部６１により、取得したセンサ画像データに基づいて、現在のセンサ画像中の指紋領域を特定するとともに、その指紋領域の重心位置を求める。（ステップＳ２１）。
【００２０】
センサ画像中の指紋領域を特定するためには、たとえば図３に示すように、センサ画像１０１を複数の指紋判定ブロック１０２に分割し、各指紋判定ブロック１０２内の画素データの分布を調べ、指紋画像２０１の有無を判定する。そして、すべての指紋判定ブロック１０２についての判定が終了した後、指紋画像２０１が存在する領域を指紋領域とする。
【００２１】
指紋領域の重心位置を求めるためには、たとえば図４に示すように、センサ画像１０１を、特に限定しないが、たとえば６×４のマトリクス状の指紋判定ブロック１０２に分けたときの、各指紋判定ブロック１０２の画素データの分布値ｓ（ｘ，ｙ）を用いて、つぎの（１）式および（２）式の計算をおこなう。
【００２２】
図示例では、ｘは１〜６の整数であり、ｙは１〜４の整数である。（１）式より水平方向の重心位置（水平重心位置）が求まり、（２）式より垂直方向の重心位置（垂直重心位置）が求まる。なお、水平方向とは、図４に示すセンサ画像１０１において横に長い方向であり、垂直方向とは縦に短い方向である。分布値ｓ（ｘ，ｙ）としては平均値や分散値などを用いることができる。
【００２３】
【数１】
0004022090.tif 000002
【数２】
0004022090.tif 000003
【００２４】
指紋領域の重心位置を求める際に、画素データの分布値ｓ（ｘ，ｙ）にある閾値を設定し、分布値ｓ（ｘ，ｙ）がその閾値を超えた指紋判定ブロック１０２のみを対象として上記（１）式および(２)式の計算をおこなうようにしてもよい。そうすれば、重心位置をより高い精度で求めることができる。この場合、閾値以下の分布値ｓ（ｘ，ｙ）についてはその値をゼロとすればよい。
【００２５】
図２に戻り、ステップＳ２１につづいて、パターンマッチング部６２により、現在のセンサ画像の指紋領域から複数の小ブロックを抽出し、各小ブロックごとに、小ブロックの指紋画像と、一回前のセンサ画像（過去のセンサ画像）の指紋領域内の指紋画像とのパターンマッチングをおこなう。そして、各小ブロックごとに候補ベクトルを求める（ステップＳ２２）。
【００２６】
ここで、センサ画像よりも領域が小さい小ブロックでパターンマッチングをおこなうのは、指先９の大きな動きに対しても追従可能とするためである。パターンマッチングをおこなうためには、たとえば図５に示すように、過去のセンサ画像１１１の指紋領域１１２の中から、現在のセンサ画像１２１の指紋領域１２２中の小ブロック１２３の指紋パターンに一致するパターンの画像領域を、矢印で示すように走査して探す。
【００２７】
そして、過去のセンサ画像１１１の指紋領域１１２の中の、現在のセンサ画像１２１の小ブロック１２３の指紋画像とのマッチング結果が最もよい画像領域の位置と、現在のセンサ画像１２１の小ブロック１２３の位置との偏差から候補ベクトルを求める。図５に示す例では、現在のセンサ画像１２１中の小ブロック１２３の数は複数、たとえば３個であり、各小ブロック１２３から一つずつ候補ベクトルが得られるため、図示例では候補ベクトルが３つ得られる。ここで、パターンマッチングをおこなう領域を過去のセンサ画像１１１の指紋領域１１２に限定したのは、パターンマッチングの演算量をできるだけ少なくして演算処理に要する時間を短縮し、指先９の動きにできるだけ追従させるためである。
【００２８】
図５に示す例では、現在のセンサ画像１２１中の３個の小ブロック１２３は、現在のセンサ画像１２１の指紋領域１２２の重心付近に限定されている。これは、指紋中に皺などがあり、その皺などによって指紋画像が取り込めていない部分が存在する可能性があるので、そのような部分を避けることによって、演算量をさらに抑えるためである。
【００２９】
このように現在のセンサ画像１２１中の小ブロック１２３を重心付近に限定した場合には、指先９の動きにできるだけ追従させるため、過去の指先９の動きに応じて、すなわち指先９が動いていく先の領域が広くなるように、重心位置にオフセットを持たせるようにしてもよい。なお、図５に示す例では、センサ面が横方向（水平方向）に長いため、水平重心位置のみを求め、垂直重心位置については考慮していない。
【００３０】
図２に戻り、ステップＳ２２につづいて、候補ベクトル評価部６３により、各候補ベクトルに基づいて、現在のセンサ画像の指紋領域と過去のセンサ画像の指紋領域とのマッチング評価をおこなう。そして、最も評価結果のよい候補ベクトルを検出ベクトルに特定する（ステップＳ２３）。
【００３１】
候補ベクトルを評価するにあたっては、ステップＳ２２で得られた複数の候補ベクトルのそれぞれについて、たとえば図６に示すように、現在のセンサ画像１２１の基準点（たとえば左上の角）を候補ベクトル１３１の分だけ過去のセンサ画像１１１の基準点（たとえば左上の角）から変位させる。それによって、現在のセンサ画像１２１の指紋領域１２２が過去のセンサ画像１１１の指紋領域１１２に重ね合わされるので、両指紋領域１１２，１２２の指紋画像のマッチング度を評価する。
【００３２】
ここでは、図５において小ブロックが３つあるとしたので、候補ベクトル１３１も３つあり、それぞれの候補ベクトル１３１についてマッチング度が評価される。そのうち、最もマッチング度が高い候補ベクトル１３１を検出ベクトルとする。
【００３３】
図２に戻り、ステップＳ２３につづいて、検出ベクトル補正部７により、検出ベクトルの評価および補正をおこない（ステップＳ２４）、最終的に、画面に表示されているポインタの移動制御をおこなうための補正ベクトルを得る。検出ベクトルを評価し、補正する理由は、細かな指先の動きを検出したり、誤検出などによってポインタが操作者の意図しない方向に移動してしまうのを防ぐためである。ポインタの移動制御は、ステップＳ２４で得られた補正ベクトルに基づいておこなわれる。
【００３４】
検出ベクトルの評価、補正をおこなうにあたっては、たとえば図７に示すように、ステップＳ２３で得られた今回の検出ベクトルに対して、過去のｎ回分の検出ベクトルを平均した平均ベクトルに対する方向判定をおこない、判定した方向に応じた第１の係数ｋ（０＜ｋ≦１）をかける。
【００３５】
ここで、平均ベクトルとは、過去のｎ回分の検出ベクトルのそれぞれについて、今回の検出ベクトルと同様に、それまでのｎ回分の検出ベクトルを平均した平均ベクトルに対して、方向に応じた係数ｋをかけたｎ個のベクトルを合成し、その合成ベクトルを１／ｎしたベクトルのことである。ｎの値については、指先の動き検出のための演算量や操作性等との兼ね合いから決定される。
【００３６】
このように、方向を考慮して検出ベクトルの評価、補正をおこなう理由は、今回の検出ベクトルの向きが平均ベクトルの向きと同じかまたは近ければ、誤検出の可能性が低いとしてｋの値を大きくし、逆向きかまたは逆向きに近ければ、誤検出の可能性が高いとしてｋの値を小さくすることによって、動き検出において誤検出した場合の影響を小さくするためである。方向判定方法については、２つのベクトルのなす角度を求める一般的な計算をおこなう。
【００３７】
そして、補正ベクトルを得るにあたっては、図７に示すように、上述したように方向を考慮したｎ回分の検出ベクトルの平均である平均ベクトルと、前回の平均ベクトルに基づいて得られた前回の補正ベクトルに第２の係数ｒ（０≦ｒ＜１）をかけあわせたものとを合成し、それを最終的な補正ベクトルとする。ここで、補正ベクトルを求める際に平均ベクトルを用いるのは、今回の検出ベクトルに過去の検出ベクトルの影響を付加することによって、細かな検出ベクトルの変動を抑えるためである。また、第２の係数ｒをかけるのは、補正ベクトルに基づいて移動制御されるポインタの動きに慣性を持たせて、ポインタの動きをより滑らかにするためである。したがって、ｒの値は、ポインタが滑らかに動くように適宜選択される。
【００３８】
なお、図７において、符号３０１は、検出ベクトルに第１の係数ｋをかける演算処理を表す。符号３０２〜３０４は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトルを表す。符号３０５は、検出ベクトルに第１の係数ｋをかけたｎ回分のベクトル３０２〜３０４を合成する処理を表す。符号３０６は、合成処理３０５において得られた合成ベクトルから平均ベクトルを求める処理を表す。符号３０７は、平均ベクトルに対する検出ベクトルの方向を判定する処理を表す。符号３０８は前回の補正ベクトルを表す。符号３０９は、前回の補正ベクトルに第２の係数ｒをかける演算処理を表す。符号３１０は、平均ベクトルと、前回の補正ベクトル３０８に第２の係数ｒをかけたベクトルとを合成する処理を表す。
【００３９】
上述した実施の形態によれば、指先９よりも小さい領域の指紋が検出され、現在のセンサ画像１２１と過去のセンサ画像１１１について、それぞれ指紋領域１２２，１１２が特定され、それぞれの指紋領域１２２，１１２の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先９の動きを検出することができる。そして、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサ１を用いて、操作者の意思に沿ったポインティング機能を実現することができる。
【００４０】
したがって、たとえば指紋画像を利用した認証システムにポインティング機能を付加することができる。また、指紋センサ１が指先９よりも小さいため、携帯電話等の小型携帯機器にポインティング機能や、ポインティング機能付きの指紋認証システムを付加することができる。
【００４１】
以上において本発明は、上述した実施の形態に限らず、種々変更可能である。たとえば、指紋領域の特定方法、指紋領域の重心位置の求め方、パターンマッチング方法、検出ベクトルの評価、補正方法などは適宜変更可能である。また、本発明は、ソフトウェアにより実現することもできるし、ハードウェアにより実現することもできる。
【００４２】
（付記１）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋検出工程と、
取得した前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング工程と、
を含むことを特徴とする指の動きの検出方法。
【００４３】
（付記２）前記パターンマッチング工程では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価工程をさらに有することを特徴とする付記１に記載の指の動きの検出方法。
【００４４】
（付記３）前記ベクトル評価工程により新たに選択されたベクトルに、前記ベクトル評価工程により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正工程をさらに有することを特徴とする付記２に記載の指の動きの検出方法。
【００４５】
（付記４）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価工程により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記３に記載の指の動きの検出方法。
【００４６】
（付記５）前記指紋検出工程の後に、前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定工程をさらに有し、
前記パターンマッチング工程では、前記指紋領域判定工程により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記１〜４のいずれか一つに記載の指の動きの検出方法。
【００４７】
（付記６）前記指紋領域判定工程では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング工程では、前記指紋領域判定工程により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記５に記載の指の動きの検出方法。
【００４８】
（付記７）指先よりも小さい領域の指紋を検出することにより第１のセンサ画像および第２のセンサ画像を取得する指紋センサと、
前記第２のセンサ画像の一部の画像領域を小ブロックとして抽出し、前記第１のセンサ画像の中から、第２のセンサ画像の前記小ブロックの指紋パターンに一致する指紋パターンを有する画像領域を探し、第２のセンサ画像中の前記小ブロックの、当該小ブロックに対応する第１のセンサ画像中の前記画像領域からの変位に基づいて、指の動きを示すベクトルを求めるパターンマッチング手段と、
を具備することを特徴とする指の動きの検出装置。
【００４９】
（付記８）さらに、前記指紋センサにより取得された第１のセンサ画像および第２のセンサ画像を記憶するフレームメモリを備えたことを特徴とする付記７に記載の指の動きの検出装置。
【００５０】
（付記９）前記パターンマッチング手段では、第２のセンサ画像から前記小ブロックを複数抽出し、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記画像領域を探し、第２のセンサ画像中の前記各小ブロックの、当該小ブロックのそれぞれに対応する第１のセンサ画像中の前記各画像領域からの変位に基づいて、指の動きを示す複数のベクトルを求めておき、
前記複数のベクトルの中から、前記各ベクトルに基づいて前記第１のセンサ画像の指紋画像と前記第２のセンサ画像の指紋画像とを重ね合わせたときのマッチング度が最も高いベクトルを、指の動きを示すベクトルとして選択するベクトル評価手段をさらに具備することを特徴とする付記７または８に記載の指の動きの検出装置。
【００５１】
（付記１０）前記ベクトル評価手段により新たに選択されたベクトルに、前記ベクトル評価手段により過去に選択されたベクトルに基づいて決められる第１の係数を乗算して求めたベクトルと、過去に前記第１の係数を乗算して求めたベクトルとの平均ベクトルと、過去に合成されたベクトルに第２の係数を乗算して求めたベクトルとを合成したベクトルを、指の動きを示すベクトルとするベクトル補正手段をさらに具備することを特徴とする付記９に記載の指の動きの検出装置。
【００５２】
（付記１１）前記第１の係数は、前記平均ベクトルに対する前記ベクトル評価手段により新たに選択されたベクトルの方向に基づいて決められることを特徴とする付記１０に記載の指の動きの検出装置。
【００５３】
（付記１２）前記第１のセンサ画像の中から、指紋画像が存在する指紋領域を判定する指紋領域判定手段をさらに具備し、
前記パターンマッチング手段では、前記指紋領域判定手段により判定された指紋領域の中から、第２のセンサ画像から抽出された前記小ブロックに対応する前記画像領域を探すことを特徴とする付記７〜１１のいずれか一つに記載の指の動きの検出装置。
【００５４】
（付記１３）前記指紋領域判定手段では、前記第２のセンサ画像の中から、指紋画像が存在する指紋領域を判定するとともに、第２のセンサ画像の前記指紋領域の重心位置を求めておき、
前記パターンマッチング手段では、前記指紋領域判定手段により求められた前記重心位置の付近で前記小ブロックを抽出することを特徴とする付記１２に記載の指の動きの検出装置。
【００５５】
（付記１４）上記付記１〜５のいずれか一つに記載の指の動きの検出方法により指の動きを示すベクトルを求める工程と、
当該ベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう工程と、
を含むことを特徴とするポインティング方法。
【００５６】
（付記１５）上記付記７〜１３のいずれか一つに記載の指の動きの検出装置と、前記検出装置により求められた指の動きを示すベクトルに基づいて、画面に表示されたポインタの移動制御をおこなう制御手段と、
を具備することを特徴とするポインティング装置。
【００５７】
【発明の効果】
本発明によれば、指先よりも小さい領域の指紋が検出され、現在のセンサ画像と過去のセンサ画像について、それぞれ指紋領域が特定され、それぞれの指紋領域の中で互いに指紋画像が一致する領域が求められ、その指紋画像が一致する領域の変位に基づいて指先の動きを表すベクトルが求められるため、指紋画像から指先の動きを検出することができる。したがって、指先の動きを表すベクトルに基づいてポインタを移動制御することにより、指先よりも小さい指紋センサを用いて、操作者の意思に沿ったポインティング機能を実現することができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる指の動きの検出装置の構成を機能的に示すブロック図である。
【図２】本発明の実施の形態にかかる指の動きの検出方法の手順を示すフローチャートである。
【図３】本発明の実施の形態においてセンサ画像中の指紋領域を特定する方法について説明するための図である。
【図４】本発明の実施の形態において指紋領域の重心位置を求める方法について説明するための図である。
【図５】本発明の実施の形態においてパターンマッチングの方法について説明するための図である。
【図６】本発明の実施の形態において候補ベクトルの評価方法について説明するための図である。
【図７】本発明の実施の形態において検出ベクトルの評価、補正方法について説明するための図である。
【符号の説明】
１  指紋センサ
５  フレームメモリ
６  動き検出部
７  検出ベクトル補正部
９  指先
６１  指紋領域判定部
６２  パターンマッチング部
６３  候補ベクトル評価部
【図１】
0004022090.tif 000004
【図２】
0004022090.tif 000005
【図３】
0004022090.tif 000006
【図４】
0004022090.tif 000007
【図５】
0004022090.tif 000008
【図６】
0004022090.tif 000009
【図７】
0004022090.tif 000010