(57)【要約】  本発明は、指の指移動方向を推定する方法に関し、本方法は、ａ）基準指紋画像を取得するステップ、ｂ）候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得するステップ、ｃ）候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定するステップであって、一致パラメータ値は、基準指紋画像部分と候補指移動方向の変位に対応する候補指紋画像部分との間の相関を示すものであり、ｄ）候補指移動方向の各々に対して、候補指紋画像取得時間の時系列において最大相関を示す極値一致パラメータを決定するステップ、及び、ｅ）指移動を、決定された極値一致パラメータの評価に基づいて、推定するステップ、を含む。【選択図】図６
2018510406.tif 000002
【特許請求の範囲】
【請求項１】
指紋センサを用いて指の指移動を推定する方法であって、前記方法は
ａ）基準指紋画像取得時間に基準指紋画像を取得するステップ、
ｂ）候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得するステップ、
ｃ）前記候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定するステップであって、前記一致パラメータ値は、前記指紋センサの基準領域に対応する基準指紋画像部分と前記指紋センサの候補領域に対応する候補指紋画像部分との間の相関を示すものであり、前記候補領域は、前記基準領域に関して前記候補指移動方向に所与の変位距離だけ変位されており、前記候補指移動方向における前記所与の変位距離は、前記候補指紋画像取得時間の各々に対して同一である、ステップ、
ｄ）候補指紋画像取得時間の前記時系列において最大相関を示す極値一致パラメータ値を、前記候補指移動方向の各々に対して、決定するステップ、及び、
ｅ）前記指移動を、決定された前記極値一致パラメータの評価に基づいて、推定するステップ、を含む方法。
【請求項２】
請求項１に記載の方法であって、ステップｅ）は、前記指移動の方向を、複数の異なる前記候補指移動方向のうち最も強い最大相関を示すことが決定された候補指移動方向に主に対応するように、推定することを含む、方法。
【請求項３】
請求項１又は２に記載の方法であって、
各候補領域は、前記基準領域に関してそれぞれの既知の変位距離だけ変位されており、
ステップｂ）は、前記指が前記変位距離を移動するために必要な時間の間に少なくとも３個の候補指紋画像を取得する取得頻度で、前記候補指紋画像を取得することを含む、方法。
【請求項４】
請求項３に記載の方法であって、前記取得頻度は、少なくとも毎秒３０００個の候補指紋画像である、方法。
【請求項５】
請求項１〜４のいずれか一項に記載の方法であって、
各候補領域は、前記基準領域に関してそれぞれの既知の変位距離だけ変位されており、及び、
ステップｅ）は、決定された前記極値一致パラメータの前記評価及び前記既知の変位距離に基づいて、前記指の速度を推定することを含む、方法。
【請求項６】
請求項５に記載の方法であって、前記速度は、前記基準指紋画像取得時間と、決定された前記極値一致パラメータの間で最も強い最大相関を示す前記極値一致パラメータの値に対応する候補指紋画像取得時間との間の経過時間に基づいて推定される、方法。
【請求項７】
請求項１〜６のいずれか一項に記載の方法であって、前記ステップａ）〜ｅ）は、第１ナビゲーションシーケンスでは一回目に実行され、及び、第２ナビゲーションシーケンスでは二回目に実行される、方法。
【請求項８】
請求項７に記載の方法であって、
前記第１ナビゲーションシーケンスは、前記時系列において、前記基準指紋画像取得時間と第１候補指紋画像取得時間の間に第１期間を示し、及び、
前記第２ナビゲーションシーケンスは、前記時系列において、前記基準指紋画像取得時間と第１候補指紋画像取得時間の間に前記第１期間とは異なる第２期間を示す、方法。
【請求項９】
請求項８に記載の方法であって、指移動の推定は、前記第１期間及び前記第２期間にさらに基づいている、方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の方法であって、取得された前記候補指紋画像の各々は、複数の異なる候補指紋画像部分を含む、方法。
【請求項１１】
請求項１〜１０のいずれか一項に記載の方法であって、前記基準指紋画像は、一つの候補指紋画像部分に対して、異なる候補指移動方向の変位に対応する複数の異なる基準指紋画像部分を含む、方法。
【請求項１２】
請求項１〜１１のいずれか一項に記載の方法であって、前記候補領域は、前記基準領域と同じ大きさを有する、方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の方法であって、複数の前記候補指移動方向の各々の前記一致パラメータ値は、ブロックマッチングアルゴリズムを用いて決定される、方法。
【請求項１４】
請求項１〜１３のいずれか一項に記載の方法であって、
ｆ）推定された前記指移動を示す信号を提供するステップ、
をさらに含む、方法。
【請求項１５】
指の指移動を推定するための指ナビゲーションシステムであって、前記指ナビゲーションシステムは、感知素子の配列を含む指紋センサ及び処理回路を含み、
前記処理回路は、
指紋画像を取得するための指紋画像取得回路、
取得された指紋画像間の相関を示す一致パラメータ値を決定するための指紋画像マッチング回路、
メモリ、及び
一致パラメータ値に基づいて前記指移動を推定するための推定回路、
を含み、
前記指が前記指紋センサの前記感知領域を横切って移動する場合、
前記指紋画像取得回路は、基準指紋画像取得時間に基準指紋画像を取得し、及び、候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得し、
前記指紋画像マッチング回路は、前記候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定し、前記一致パラメータ値は、前記指紋センサの基準領域に対応する基準指紋画像部分と前記指紋センサの候補領域に対応する候補指紋部分との間の相関を示すものであり、前記候補領域は、前記基準領域に関して前記候補指移動方向に所与の変位距離だけ変位されており、前記候補指移動方向における前記所与の変位距離は、前記候補指紋画像取得時間の各々に対して同一であり、
前記指紋画像マッチング回路は、候補指紋画像取得時間の前記時系列において最大相関を示す少なくとも一つの極値一致パラメータ値を、前記候補指移動方向の各々に対して、前記メモリに格納し、及び、
前記推定回路は、前記候補指移動方向の各々に対する前記極値の評価に基づいて前記指移動を推定する、システム。
【請求項１６】
請求項１５に記載の指ナビゲーションシステムであって、前記指紋取得回路は、少なくとも毎秒３０００個の候補指紋画像を取得するように構成されている、システム。
【請求項１７】
請求項１５又は１６に記載の指ナビゲーションシステムであって、
各感知素子は、
前記指で触れられる保護誘電最上層と、
前記最上層の下に配置される導電性感知構造と、
前記感知構造に接続され、前記指と前記感知構造の間の電位差の変化に起因し前記感知構造によって運ばれる電荷の変化を示す感知信号を提供する、電荷測定回路と、を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指紋センサを用いて指移動を推定するための方法及びシステムに関する。
【背景技術】
【０００２】
指紋センサは、「ナビゲーションツール」として、例えば、ディスプレイ上のカーソル又はポインタを移動させるか、或いは、ディスプレイ上に提示された項目の選択を行うため等に、しばしば使用される。
【０００３】
そのようなナビゲーションツールアプリケーションのために指紋センサを使用することができるように、指紋センサを横切るユーザの指の動きを何らかの形で追跡することが必要である。
【０００４】
米国特許第６４０８０８７号に記載の一つのアプローチによれば、指紋の隆線と孔が識別され、指紋の連続画像の間の隆線と孔の動きが検出される。
【０００５】
指紋ベースのナビゲーションツールのハードウェアを、低コストで電力効率をよくするには、指紋センササイズを可能な限り小さくし、メモリ及び計算の複雑さについて低い要件を有する方法を使用することが望ましい。
【０００６】
その目的で、米国特許第７０６４７４３号は、ブロックマッチングに基づいた指移動追跡方法を開示している。
【０００７】
しかし、指紋センサを使用する指移動の推定に関して、特に、小さい指紋センサとメモリ及び計算の複雑さについて要件が低い追跡方法を使用した場合、どの様にして十分な精度を達成するかに関して、未だ改善の余地があるように見える。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
先行技術の上述及び他の欠点を考慮すると、本発明の目的は、指紋センサを使用する指移動の改善された推定を提供することである。
【課題を解決するための手段】
【０００９】
従って、本発明の第一の態様によれば、指紋センサを用いて指移動を推定する方法であって、本方法は、ａ）基準指紋画像取得時間に基準指紋画像を取得するステップ、ｂ）候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得するステップ、ｃ）候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定するステップであって、一致パラメータ値は、指紋センサの基準領域に対応する基準指紋画像部分と指紋センサの候補領域に対応する候補指紋画像部分との間の相関を示すものであり、候補領域は、基準領域に関して候補指移動方向に所与の変位距離だけ変位される、ステップ、ｄ）候補指紋画像取得時間の時系列において最大相関を示す極値一致パラメータ値を、候補指移動方向の各々に対して、決定するステップ、及び、ｅ）指移動を、決定された極値一致パラメータの評価に基づいて、推定するステップ、を含む方法を提供する。
【００１０】
「指移動」は、指移動方向と指速度の少なくとも一方として理解されたい。
【００１１】
候補領域は、基準領域に関して候補指移動方向に所与の変位距離だけ変位してもよい。さらに、候補指移動方向における所与の変位距離は、候補指紋画像取得時間の各々に対して同一であってもよい。
【００１２】
指紋センサは、例えば、感知素子の配列の感知素子のそれぞれと、指紋感知表面に触れる指表面との間の容量結合を示す量を検出する静電容量型指紋センサであってもよい。指紋の隆線に対応する位置の感知素子は、指紋の谷に対応する位置の感知素子よりも指との強い容量結合を示すであろう。
【００１３】
しかしながら、本発明の様々な実施形態は、特定の指紋感知技術に限定されず、例えば、光、熱又は圧電性の指紋センサ等にも同様に適用される。
【００１４】
候補指紋画像は、常に基準指紋画像の取得後に取得される。
【００１５】
基準指紋画像部分と候補指紋画像部分は、連続的又は非連続的ないかなる形状であってもよいことに留意すべきである。一例によれば、各画像部分は、画像画素がまとまった矩形であってもよく、別の例によれば、各画像部分は、分散された画像画素の組であってもよい。
【００１６】
コンパスからの類推を用いて、候補指移動方向は、例えば、北、北西、西、南西等を含んでもよい。
【００１７】
本出願の文脈において、「指紋画像部分」は、取得指紋画像の全体又はその一部であってもよい。
【００１８】
候補指紋画像部分と基準指紋画像部分の間の相関関係を示す一致パラメータ値は、候補指紋画像部分と基準指紋画像部分の間の強い相関（類似性）が高くても低くてもよい。
【００１９】
一例によれば、一致パラメータ値は、候補指紋画像部分と基準指紋画像部分の間の相違の尺度であってもよい。その場合に、一致パラメータ値の低い値は、指紋画像部分間の強い相関を示し、且つ、最大の相関を示す極値は、極小となる。同様に、一致パラメータ値は、指紋画像部分間の一致又は類似性の尺度であってもよく、その場合に最大の相関を示す極値は極大となる。
【００２０】
本発明の実施形態によれば、最大相関を示す極値を示す少なくとも２つの指移動方向を、各々の候補指移動方向に対して時間の観点から評価することができる。
【００２１】
本発明は、指紋の代表的な特性と非常に小さい指紋センサとの組み合わせが、指移動方向と速度を正しく推定することを困難としている、との認識に基づいている。特に指紋パターンの周辺には、少なくとも非常に小さい指紋センサによって覆われている感知領域内に、隆線が互いにほぼ平行に存在する場合がある。そして、隆線と実質的に並行な方向の移動は、既知のマッチング技術を用いて互いに区別することが非常に困難かもしれない。
【００２２】
本発明者らは現在、指紋の隆線が実質的に決して完全には平行にならないため、簡単なマッチング法を用いた場合であっても、指移動を正確に推定することは可能である、と理解している。
【００２３】
本発明の実施形態によれば、これは、これらの候補指移動方向の各々が最大相関、すなわち最良の一致に達するまで、その特定の候補指移動方向に対して、いくつかの異なる候補指移動方向を評価することによって、達成される。異なる最大相関を評価することによって、次に、どの候補指移動方向が異なる可能な方向のうち最良の一致を有していたかを決定することが可能である。
【００２４】
次に、指移動方向は、主に最良の一致を有する候補指移動方向であると推定されてもよい。例えば、指移動方向は、２つの隣接する候補指移動方向の間のどこかにあると推定されてもよく、或いは、指移動方向は、単に「最良の」候補指移動方向に対応して推定されてもよい。推定された指移動方向は、平均化演算の結果であってもよく、ここでは最良の一致を有する候補指移動方向に最大の重みを与えることができる。
【００２５】
様々な実施形態によれば、各候補領域は、前記基準領域に関してそれぞれの既知の変位距離だけ変位されており、ステップｂ）は、前記指が前記変位距離を移動するために必要な時間の間に少なくとも３個の候補指紋画像を取得する取得頻度で、前記候補指紋画像を取得することを含む。
【００２６】
指ナビゲーションシステムは、典型的には、推定された最大指速度に対して設計される。その最大指速度で指が上記変位距離を移動するために必要な時間の間、好ましくは少なくとも３個の候補指紋画像を取得すべきである。同じ期間に、一致パラメータ値の時系列に対して極値を少なくともおおまかに決定するためには、少なくとも３つの一致パラメータ値の時系列を決定すべきである。
【００２７】
感知素子ピッチ（指紋センサの感知素子の配列の行又は列において隣接する感知素子の中心間の距離）で並べられる感知素子の配列を有する指紋センサにとって、最短の可能な変位距離は、感知素子ピッチであってもよい。
【００２８】
合理的な例として、感知素子ピッチは、約５０μｍであると仮定することができ、これは指紋センサにとって一般的であり、指ナビゲーションシステム用の許容可能な性能のための最低限の最大指速度は約５ｃｍ／秒であってもよい。
【００２９】
従って、有利には、指が５ｃｍ／秒で５０μｍだけ移動するために必要な時間の間に、少なくとも３個の候補指紋画像を取得してもよく、これは少なくとも毎秒３０００個の候補指紋画像を意味する。
【００３０】
指ナビゲーションシステムの性能をさらに改善するために、指ナビゲーションシステムは、有利には少なくとも約１０ｃｍ／秒の最大指速度に設計されてもよく、これは５０μｍの感知素子ピッチを有し、少なくとも毎秒約６０００個の候補指紋画像を取得し且つ処理することを意味する。また、指が変位距離を移動するために必要な時間の間に、３個以上の候補の指紋画像を取得することが有益かもしれない。例えば、その時間の間に少なくとも５個の候補指紋画像を取得することが有利かもしれない。上記の例では、少なくとも毎秒５０００個の候補指紋画像及び少なくとも毎秒１００００個の候補指紋画像にそれぞれ対応する。
【００３１】
様々な実施形態によれば、さらに、各候補領域が基準領域に関して各々の既知の変位距離だけ変位することができる。ステップｅ）は、決定された極値一致パラメータの評価及び既知の変位距離に基づいて、指の速度を推定することを含んでもよい。
【００３２】
極値一致パラメータの評価は、指移動方向の指示、及び、その方向に既知の変位距離を指が移動するために必要な時間を与える。
【００３３】
時間と既知の変位距離から、指の移動速度を推定することができる。上述したように、指移動方向を、２つの候補指移動方向の間にあると推定することができ、且つ、そのような方向に基づいて距離及び時間又は指移動速度を、例えば平均化を介して、推定することができる。
【００３４】
様々な実施形態では、既知の変位距離は、各候補指移動方向において、１つ又はいくつかの感知素子（単数又は複数）に対応し得る。次に、行／列の方向において、変位距離は感知素子ピッチの倍数であって、対角の方向において、変位距離は長くなり、例えば正方形の候補領域等に対して、感知素子ピッチの倍数の
【数１】
2018510406.tif 000003
倍となるだろう。
【００３５】
本実施形態によれば、さらに、上記ａ）〜ｅ）は、指移動を連続的に追跡するために、有利には順番に複数回実行されてもよい。結果は、瞬間的な一連の指移動の推定であってもよい。改善された指移動の推定には、いくつかの瞬間的な指移動の推定に基づいてもよい。例えば、そのような改善された指移動の推定は、以前に決定された１つ又はいくつかの瞬間的な指移動の推定とともに現在の瞬間的な指移動の推定に基づくことができる。例えば、ほぼ一定の指移動速度は、量子化誤差に起因する瞬間的な指速度推定値の変動をもたらす。このような場合には、指移動速度の推定は、いくつかの瞬間的な指移動の推定の平均（有利には、加重平均）に基づいて改善することができる。
【００３６】
いくつかの瞬間的な指移動の推定動作を順番に実行することの代替又は補完として、いくつかの瞬間的な指移動の推定動作は、少なくとも部分的に同時に行われてもよい。換言すれば、候補指紋画像領域を取得する間の時系列が、異なる瞬間的な指移動の推定動作に対して重なり合っていてもよい。
【００３７】
さらに、一の瞬間的な指移動の推定動作の候補指紋画像は、別の瞬間的な指移動の推定動作の基準指紋画像として使用されてもよいことに留意すべきである。
【００３８】
指移動の推定は、異なる瞬間的な指移動の推定に対して、基準指紋画像取得時間と第１候補指紋画像取得時間の間に可変遅延（時間）を導入することによって、さらに向上させることができる。これは、特に高速の指移動であって、この場合、基準画像部分と候補画像部分の画素構成に起因する量子化誤差が、速度の点で比較的大きな誤差をもたらす可能性がある。
【００３９】
したがって、第１ナビゲーションシーケンスは、時系列において、基準指紋画像取得時間と第１候補指紋画像取得時間の間に第１期間を示してもよい。第２ナビゲーションシーケンスは、時系列において、基準指紋画像取得時間と第１候補指紋画像取得時間の間に第１期間とは異なる第２期間を示す。
【００４０】
次に、指移動の推定、特に指速度は、第１期間及び第２期間にさらに基づくことができる。上記期間は、所定のパターンに従って、やや大きな数の異なる期間、例えば少なくとも４つの異なる期間、の間で変化してもよい。これにより、特定の候補指紋取得時間と推定される指速度で指が上記変位距離を移動するために必要な指移動時間との間において、どの異なる期間が最良の一致をもたらすかを決定することが可能になる。
【００４１】
様々な実施形態によれば、取得された候補指紋画像の各々は、異なる候補指移動方向の変位に対応する異なる候補指紋画像部分を含んでもよい。
【００４２】
これらの実施形態において、取得された候補指紋画像の異なる候補指紋画像部分は、異なる候補指移動方向の各々の一致パラメータを決定するために基準指紋画像部分に関連付けられることができる。これにより、各候補指紋画像部分は、完全な候補指紋画像よりもより小さい（少ない画素数を備える）ことになる。
【００４３】
さらに、基準指紋画像は、一つの候補指紋画像部分に対して、異なる候補指移動方向の変位に対応する複数の異なる基準指紋画像部分を含んでもよい。
【００４４】
次に、上述した実施形態の代替として、候補指紋画像部分を、例えば、取得候補指紋画像全体で構成してもよい。候補指紋画像部分は、候補指移動方向の各々に対する一致パラメータを決定するために、異なる基準指紋画像部分と相関させることができる。これらの実施形態では、（画素数の）小さい候補指紋画像を取得することができる。上述したように、候補指紋画像を、有利にはかなり高い取得頻度（例えば、少なくとも毎秒３０００画像）で取得することができるので、小さい候補指紋画像は、処理の低減をもたらすであろう。これは、同様に、複雑さの低減及び／又はエネルギー消費の低減及び／又は指ナビゲーションシステムの最大指速度の点で改善された性能を提供することができる。
【００４５】
また、基準指紋画像が複数の基準指紋画像部分を含む実施形態と、各候補指紋画像が複数の候補指紋画像部分を含む実施形態との混合も用途に応じて有利かもしれない。
【００４６】
一致パラメータ値の決定を容易にするために、基準指紋画像部分と各候補指紋画像部分は、有利には同じ空間構成（高さ、幅、画素分布など）を有していてもよい。したがって、候補領域は、有利には基準領域と同じ感知素子の構成を有している。
【００４７】
基準領域及び候補領域は、有利には百個未満の感知素子を含んでもよく、これによって非常に小さい指紋センサの使用が可能となる。
【００４８】
実施形態によれば、複数の候補指移動方向の各々に対する一致パラメータ値を、ブロックマッチングアルゴリズムを用いて決定することができる。
【００４９】
一致パラメータ値は、例えば、いわゆるコスト関数の出力であってもよい。よく知られているコスト関数は、例えば、差分絶対値の和、平均絶対差、二乗誤差の和及び平均二乗誤差を含む。
【００５０】
指移動（方向及び／又は速度）が推定されている場合、それを示す信号は、検出された指移動に基づいて、電子デバイスを制御する外部制御ユニットに提供されてもよい。
【００５１】
本発明の第二の態様によれば、指移動を推定するための指ナビゲーションシステムであって、この指ナビゲーションシステムは、感知素子の配列を含む指紋センサ及び処理回路を含み、処理回路は、指紋画像を取得するための指紋画像取得回路、取得された指紋画像間の相関を示す一致パラメータ値を決定するための指紋画像マッチング回路、メモリ、及び、一致パラメータ値に基づいて指移動を推定するための推定回路、を含む。ここで、指が指紋センサの感知領域を横切って移動する場合、指紋画像取得回路は、基準指紋画像取得時間に基準指紋画像を取得し、及び、候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得し、指紋画像マッチング回路は、候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定し、一致パラメータ値は、指紋センサの基準領域に対応する基準指紋画像部分と指紋センサの候補領域に対応する候補指紋部分との間の相関を示すものであり、候補領域は、基準領域に関して候補指移動方向に所与の変位距離だけ変位されており、指紋画像マッチング回路は、候補指移動方向の各々に対して、候補指紋画像取得時間の時系列において最大相関を示す少なくとも一つの極値一致パラメータ値をメモリに格納し、及び、推定回路は、候補指移動方向の各々の極値の評価に基づいて指移動を推定する。
【００５２】
有利には、指紋取得回路は、少なくとも毎秒３０００個の候補指紋画像を取得するように構成されてもよい。
【００５３】
さらに、様々な実施形態によれば、指紋センサと少なくとも指紋画像取得回路、指紋画像マッチング回路とメモリは、単一の半導体部品として提供されてもよい。これは非常にコンパクトで低い消費電力を有する低コストの指ナビゲーションシステムを提供する。
【００５４】
さらに、高い性能及び堅牢性のため、各感知素子は、指で触れられる保護誘電最上層と、最上層の下に配置される導電性感知構造と、感知構造に接続され、指と感知構造の間の電位差の変化に起因し感知構造によって運ばれる電荷の変化を示す感知信号を提供する、電荷測定回路と、を含む。電荷測定回路は、電荷増幅器を含んでもよい。
【００５５】
本発明のさらなる実施形態及び本発明のこの第二の態様によって得られた効果は、本発明の第一の態様に関して上述したものとほぼ類似する。
【００５６】
要約すれば、本発明は、指の指移動方向を推定する方法に関し、本方法は、ａ）基準指紋画像を取得するステップ、ｂ）候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得するステップ、ｃ）候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定するステップであって、一致パラメータ値は、候補指移動方向の変位に対応する、基準指紋画像部分と候補指紋画像部分の間の相関を示すものであり、ｄ）候補指移動方向の各々に対して、候補指紋画像取得時間の時系列において最大相関を示す極値一致パラメータを決定するステップ、及び、ｅ）指移動を、決定された極値一致パラメータの評価に基づいて、推定するステップ、を含む。
【００５７】
本発明の実施例を示す添付図面を参照しながら、本発明のこれら及び他の態様をより詳細に説明する。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態による指ナビゲーションシステムのための例示的なアプリケーションをテレビジョンセットのリモコンの形態において概略的に示す図。
【図２】図１のリモコンに含まれる指ナビゲーションシステムの概略的なブロック図。
【図３】図１及び図２の指ナビゲーションシステムの指紋センサを用いて取得された指紋画像の例示図。
【図４】本発明の実施形態による指移動を推定する方法を概略的に示すフローチャート。
【図５】図４の方法で使用される指紋センサ及び候補指移動方向の一例を示す図。
【図６】候補指紋画像と基準指紋画像の間の偏差の経時変化を概略的に示す図。
【図７ａ−ｂ】異なる指移動の推定のために基準指紋画像と第１候補指紋画像の取得の間の時間を変化させることによって得られる改善された指速度の決定を概略的に示す図。
【発明を実施するための形態】
【００５９】
図１は、本発明の実施形態による指のナビゲーションシステムのためのアプリケーションの一例を、テレビジョンセット２の動作を制御するための遠隔制御装置１の形態において概略的に示す。遠隔制御装置１は、単なる適用例にすぎず、電子機器の動作を制御するために指紋センサを横切るユーザの指移動を使用するならば、本発明の実施形態による指ナビゲーションシステムを、携帯電話及びコンピュータなどの他の電子デバイスに同様に含めることができることに留意すべきである。
【００６０】
図１を参照すると、遠隔制御装置１は、指ナビゲーションシステム４及び赤外線ＬＥＤ（図１には図示せず）のような無線送信機を含む。テレビジョンセット２は、リモコン装置１によって送信された信号を受信するための光検出器（図示せず）のような無線受信機を含む。受信信号に基づいて、例えば、チャンネルを変更したり、或いは、概略的に図１に示すように、メニューダイアログ５のオプションを選択したりするようにテレビジョンセット２を制御してもよい。
【００６１】
図２を参照すると、これは図１の遠隔制御装置１に含まれる指ナビゲーションシステムの概略的なブロック図である。指ナビゲーションシステム４は、指紋センサ７及び処理回路を含む。処理回路は、ここではマイクロプロセッサ８及びメモリ９を含むように示されている。処理回路は、同様にＡＳＩＣとして少なくとも部分的に実装されてもよく、且つ、図２の指ナビゲーションシステム４は、単一の集積回路として提供されてもよいことを理解されたい。
【００６２】
図２のブロック図において、マイクロプロセッサは、指紋画像取得回路１１、指紋画像マッチング回路１２及び推定回路１３を含むものとして示される。
【００６３】
本発明による指ナビゲーションシステム４の実施形態では、指紋センサ７は、指ナビゲーションシステムを非常にコンパクトでコスト効率をよくするように非常に小さくすることができる。例示の指紋センサ７の可能な大きさに視点を置くと、指紋センサ７の１０×１０の感知素子感知領域に対応する指紋部１５は、図３の例示的な指紋パターン１６に示される。図３から分かるように、指紋センサ７は、指紋の特徴と比較して非常に小さく、且つ、特に指紋の隆線１７と実質的に並列な指移動方向にとっては、指移動方向を正確に推定することは困難である。例えば、図３の状況では、南西方向と北東方向の移動を区別することは困難である。本明細書に記載されるように、本発明の実施形態は、より正確な指移動方向の推定を提供する。
【００６４】
本発明の一実施形態による図２の指ナビゲーションシステムを用いて指移動方向を推定する方法は、図５及び図６で提供される図とともに、図４の概略的なフローチャートを参照して説明される。
【００６５】
最初のステップ１００において、基準指紋画像は、指紋画像取得回路１１によって指紋センサ７から取得される。現在の指移動の推定の基準指紋画像を、基準画像取得時間ｔｒに取得する。
【００６６】
次のステップ１０１において、候補指紋画像は、基準画像取得時間ｔｒから一定時間隔てた第１候補画像取得時間ｔｃ１で始まる、ｎ番目の候補画像取得時間ｔｃｎにおいて、指紋画像取得回路１１によって指紋センサ７から取得される。基準画像取得時間ｔｒと第１候補画像取得時間ｔｃ１の間のこの期間は、以下でさらに詳細に説明するように、複数の実施形態によって、異なる指移動の推定ごとに異なってもよい。
【００６７】
基準指紋画像及びｎ番目の候補指紋画像を取得した後には、この方法は、指紋センサ７の基準領域に対応する（基準指紋画像の）基準指紋画像部分及び指紋センサ７の候補領域に対応する（候補指紋画像の）候補指紋画像部分の間の相関関係に基づいて、複数の候補指移動方向の各々に対する一致パラメータ値を決定するためにステップ１０２に進む。候補指移動方向の各々に対して、候補領域は、基準領域に関して候補指移動方向に変位される。
【００６８】
図５を参照して、基準指紋画像、基準指紋部分、基準領域（複数可）、候補指紋画像（複数可）、候補指紋画像部分（複数可）及び候補領域（複数可）の間の関係について、以下に追加的な説明が提供される。
【００６９】
図５は、図２の指ナビゲーション装置４（または図２の指紋センサ７の一部）に含まれる指紋センサ７の一例を示す。異なる候補指移動方向、基準領域（複数可）及び候補領域（複数可）の説明を補足するために、図５に指紋センサ７の９つの図を提供する。これらの指紋センサの各々は、異なる感知素子のハッチング領域を有し、且つ、指紋センサの図は、中心（Ｃ）、北西（ＮＷ）、北（Ｎ）、北東（ＮＥ）、西（Ｗ）、東（Ｅ）、南西（ＳＷ）、南（Ｓ）、及び南東（ＳＥ）として、各々のハッチング領域の表示によって識別される。
【００７０】
図５の例では、指紋センサ７は、１０×１０の感知素子の配列に配置された百個の感知素子を含む感知領域を有しており、且つ、斜線部の各々は、８×８の感知素子によって形成される。
【００７１】
一実施形態によれば、ステップ１００で取得した基準指紋画像は、中心（Ｃ）斜線領域を形成する８×８の感知素子を用いて取得されてもよく、その後これは基準領域になる。本実施形態では、ステップ１０１で取得した各候補指紋画像を、図５に指紋センサ７として示される１０×１０個の感知素子を用いて取得することができる。次に、各候補指紋画像は、８つの異なる候補指紋画像部分を含むと言うことができ、この各々の部分は、基準領域に関して異なる候補指移動方向に変位した、候補領域（図５に示すコンパスの異なる方向別の斜線領域）に対応する。
【００７２】
別の実施形態によれば、ステップ１００で取得した基準指紋画像は、１０×１０全ての感知素子の指紋センサを用いて取得されることができる。一方で、ステップ１０１で取得した各候補指紋画像は、中心（Ｃ）斜線領域によって示される８×８の感知素子により形成された候補領域を用いて取得されてもよい。
【００７３】
本実施形態では、基準指紋画像は、８つの異なる基準指紋画像部分を含むと言うことができ、この各々の部分は、候補領域（基準領域に関して変位した候補領域と実質的に等しい）に関して異なる候補指移動方向に変位した、基準領域（図５に示すコンパスの異なる方向別の斜線領域）に対応する。
【００７４】
横の候補指移動方向（北、西、東及び南）に対して、基準領域に関する変位距離は、感知素子ピッチに等しく（例えば、約５０μｍであってもよい）、且つ、対角線の候補指移動方向（北西、北東、南西及び南東）に対して、基準領域に関する変位距離は、感知素子ピッチに
【数２】
2018510406.tif 000004
をかけたものに等しい（５０μｍの感知素子に対して約７０μｍ）。
【００７５】
図４のフローチャートに戻ると、候補指紋画像部分と基準指紋画像部分の間の相関関係を示す一致パラメータ値は、各候補指移動方向に対して別々に決定される。図４のフローチャートにおいて、ステップ１０１の分岐によって、これを概略的に示す。各候補の移動方向に対して別々に実行されるステップは、例えば西（Ｗ）のように、指移動方向のいずれかについて記載される。他の候補指移動方向についても同様に処理されることを理解されたい。
【００７６】
したがって、一致パラメータ値を決定する上記ステップ１０２は、少なくとも第１候補指紋画像取得時間ｔｃ１に、各候補指移動方向に対して別々に実行される。
【００７７】
上記の発明の概要で説明したように、一致パラメータの値は、２つの画像間の相関を示す任意の適切な値であってもよい。現在示されている例では、候補指紋画像部分と基準指紋画像部分の８×８画素の全ての差分絶対値（偏差）の和が、一致パラメータ値として使用される。
【００７８】
次のステップ１０３では、候補指移動方向を不適当とすべき場合、一致パラメータの値は、最後の一致パラメータ値からの一致パラメータ値の変化に基づいて決定される。この場合、次に本方法はステップ１０４に進み、候補指移動方向は無視される。
【００７９】
ステップ１０３において、候補指移動方向を不適当とし且つ無視すべきと判定されない場合、本方法は、ステップ１０５に進み、候補指移動方向の極値に達したか否かを判定する。
【００８０】
ステップ１０５において、一致パラメータ値の極値に達していないと判定された場合、本方法は、ステップ１０６に進み、不適当とも又はその極値に達しているともいずれにも該当しない任意の候補指移動方向が存在するかがチェックされる。存在する場合、本方法は、ステップ１０１において、次の候補指紋画像取得時間ｔｃｎ＋１について新しい候補画像を取得することに進む。
【００８１】
ステップ１０５において、別の判定、即ち、一致パラメータ値の極値に達したと判定された場合、次に、ステップ１０７において、極値及び対応する候補指紋取得時間がメモリ９に保存される。極値及び対応する時間は、典型的には、前の候補指紋画像取得、例えば先行する候補指紋画像取得時間ｔｃｎ−１での取得、に関連するであろうことに留意されたい。
【００８２】
異なる候補指移動方向に対して決定された極値及び対応する時間に基づいて、推定回路１３は、指移動を推定し、且つ、次のステップ１０８でそれを示す信号を提供する。ステップ１０８の結論は、現在の指のナビゲーションシーケンスが完了し、次のナビゲーションシーケンスが開始される。
【００８３】
候補指移動方向を不適当とする場合又は極値に達している場合、又は、追加の候補指紋画像取得が必要な場合をどの様に判定することができるかの一例を、図６を参照してさらに以下に提供する。
【００８４】
図６に、異なる候補指移動方向に対する一致パラメータ値の経時変化（この場合、偏差）の例を示す。ここで、異なる候補指移動方向は、図５を参照して上述したように、コンパスの異なる点によって示されている。
【００８５】
一致パラメータ値が既に最初から減少相関（増加偏差）を示す場合の候補指移動方向に対して、ステップ１０３では更なる分析が必要ないこと且つ候補指移動方向を無視すべきことが判定される。図６に示す例示的な場合において、無視される候補指移動方向は、北西、北、北東、東であろう。
【００８６】
しかし、決定された一致パラメータ値が少なくとも最初は増加相関（減少偏差）を示す場合、候補指移動方向は、実際の指移動方向であってもよく、且つ、さらなる分析が行われるべきである。これは、フローチャートのステップ１０５によって示され、相関が増加し続けるか否か又は極値に達したかが判定される。
【００８７】
図６の例において、偏差の極小値は、西、南西、南及び南東の各々の方向について決定され、これらの方向の極小値に基づいて、ステップ１０８で指移動が推定される。この場合、候補移動方向「南」は、約１６番目の候補指紋画像取得時間ｔｃ１６に最良の相関を示すと判断される。従って、ステップ１０８で指移動が、「南」の方向であり且つ以下の関係： 
１×感知素子ピッチ／ｔｃ１６
によって近似できる指速度を有するように、推定回路１３により推定される。
【００８８】
そのような極値を有する各候補指移動方向に対する極値（図６の偏差の最小値）は、好ましくは、識別されるべきであることに留意されたい。そのために、好ましくは、十分な数の候補指紋画像を（十分なフレームレートで）取得すべきである。図６の例では、少なくとも約２３のフレームが、西、南西、南及び南東の各々に対して極小値を識別するために取得されるべきである。
【００８９】
図４のフローチャートに関連して上記で説明したように、本発明の実施形態による方法は、典型的には、動く指が指紋センサ７で検知される限りにおいて繰り返し行われてもよい。本方法を実行するたびに、指移動（有利には、方向及び速度）を示す信号が提供され、電子機器の動作を制御するためにそれを使用することができる。
【００９０】
上記で提供された本方法の説明において、本実施形態によれば、基準画像取得時間ｔｒ及び第１候補画像取得時間ｔｃ１の間の時間は、異なる指移動の推定ごとに異なっていてもよい。
【００９１】
基準画像取得時間ｔｒ及び第１候補画像取得時間ｔｃ１の間の異なる期間を有する２つの異なる指移動の推定を概略的に示す図７ａ及び図７ｂを参照して、このような時間ディザリングを用いた実施形態の一例を説明する。
【００９２】
図７ａは、第１の指移動の推定の指紋画像取得タイミングを概略的に示す。ここで、基準画像取得時間ｔｒで基準指紋画像２５を取得する。第１期間Ｔ１の後、候補指紋画像２６ａ−ｉの時系列は、候補指紋取得時間ｔｃ１−ｔｃ９で取得される。
【００９３】
第２の指移動の推定について、図７ｂは、基準指紋画像３０の取得から第１候補指紋画像３１ａの取得までの第１期間Ｔ１とは異なる第２期間Ｔ２が存在することを概略的に示す。図７ａのように、候補指紋取得画像３１ａ−ｉの時系列は、候補指紋取得時間ｔｃ１−ｔｃ９で取得される。
【００９４】
図７ａ及び図７ｂに例示的な場合を概略的に示すように、ユーザの指が上記変位距離を移動するためには、ある指移動時間ｔｆｍを要し得る。この場合、図７ａ及び図７ｂの時系列は、指移動の方向において基準センサ領域から変位した候補センサ領域で撮られた候補指紋画像に関係している。
【００９５】
図７ａの、第１期間Ｔ１とともに、指移動時間ｔｆｍは、第５及び第６の候補画像取得時間の間のほぼ中央にある。
【００９６】
この特定の指速度及び一定時間（第１期間Τ１）は、各指移動の推定のために使用されているとともに、指ナビゲーションシステムは、指速度の非常に小さな変化に起因して、時々、指速度をＤ／（ｔｃ５−ｔｒ）且つ時にはＤ／（ｔｃ６−ｔｒ）であると示す。特に、比較的速い指速度にとって、これは実際の指速度の小さな変化を、指ナビゲーションシステムによって推定された指速度の実質的な変化に変換できることを意味する。
【００９７】
代わりに、基準指紋取得時間ｔｒ及び第１候補指紋取得時間ｔｃ１の間に異なる期間を使用することによって、特に速い指紋速度に対して、より安定的な取得時間の推定を達成することが可能になる。
【００９８】
図７ｂから理解できるように、第２期間Ｔ２は、第５候補指紋取得時間にさらに近い指移動時間ｔｆｍをもたらすので、指速度の小さな変化が第２の指移動の推定で推定された指速度に実質的な変化をもたらさない。
【００９９】
基準指紋取得時間ｔｒ及び第１候補指紋取得時間ｔｃ１の間にいくつかの既知の異なる期間を使用することによって、推定された指速度に大きく且つ高速な変動を生じさせる指移動の推定を無視することができ、より安定した指速度を示す指移動の推定に基づいて、指速度をより正確且つ確実に推定することができる。
【０１００】
一致パラメータ値の極値を決定し、決定された極値に基づいて指移動を推定することに伴う指ナビゲーション方法に関して上述したが、基準指紋画像取得時間及び第１候補指紋取得時間の間の期間を変化させることにより、指速度を推定する改善された本方法は、取得された指紋画像の時系列に基づいて、指速度の推定を改善する要望が存在する他の状況にも等しく良好に適用可能であることに留意されたい。例えば、上記時間ディザリングの実施形態は、スワイプ型の指紋センサシステムを用いて取得された指紋画像から抽出された指紋の特徴間の空間的関係を決定することに関して、指速度の推定を改善するために有用であるかもしれない。
【０１０１】
当業者は、本発明は上記実施形態に限定されるものではないことを理解する。一方で、多くの修正及び変形は、添付の特許請求の範囲内で可能である。
【０１０２】
特許請求の範囲では、「含む」という単語は他の要素又はステップを排除するものではなく、不定冠詞「ａ」又は「ａｎ」は複数を除外しない。単一のプロセッサ又は他のユニットは、特許請求の範囲に記載された複数のアイテムの機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用できないことを示すものではない。コンピュータプログラムは、光記憶媒体又は他のハードウェアとともに又はこれの一部として供給される固体媒体などのような適切な媒体に格納／配布されてもよいが、インターネット又は他の有線若しくは無線通信システムなどを介して他の形式で配布されてもよい。請求項のいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。
【図１】
2018510406.tif 000005
【図２】
2018510406.tif 000006
【図３】
2018510406.tif 000007
【図４】
2018510406.tif 000008
【図５】
2018510406.tif 000009
【図６】
2018510406.tif 000010
【図７ａ−７ｂ】
2018510406.tif 000011
【手続補正書】
【提出日】平成29年4月21日(2017.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
指紋センサを用いて指の指移動を推定する方法であって、前記方法は
ａ）基準指紋画像取得時間に基準指紋画像を取得するステップ、
ｂ）候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得するステップ、
ｃ）前記候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定するステップであって、前記一致パラメータ値は、前記指紋センサの基準領域に対応する基準指紋画像部分と前記指紋センサの候補領域に対応する候補指紋画像部分との間の相関を示すものであり、前記候補領域は、前記基準領域に関して前記候補指移動方向に所与の変位距離だけ変位されており、前記候補指移動方向における前記所与の変位距離は、前記候補指紋画像取得時間の各々に対して同一である、ステップ、
ｄ）候補指紋画像取得時間の前記時系列において最大相関を示す極値を表す前記候補指移動方向の各々に対して、前記最大相関を示す極値一致パラメータ値を決定するステップ、及び、
ｅ）前記指移動を、決定された前記極値一致パラメータ値の評価に基づいて、推定するステップ、を含む方法。
【請求項２】
請求項１に記載の方法であって、ステップｅ）は、前記指移動の方向を、複数の異なる前記候補指移動方向のうち最も強い最大相関を示すことが決定された候補指移動方向に主に対応するように、推定することを含む、方法。
【請求項３】
請求項１又は２に記載の方法であって、
各候補領域は、前記基準領域に関してそれぞれの既知の変位距離だけ変位されており、
ステップｂ）は、前記指が前記変位距離を移動するために必要な時間の間に少なくとも３個の候補指紋画像を取得する取得頻度で、前記候補指紋画像を取得することを含む、方法。
【請求項４】
請求項３に記載の方法であって、前記取得頻度は、少なくとも毎秒３０００個の候補指紋画像である、方法。
【請求項５】
請求項１〜４のいずれか一項に記載の方法であって、
各候補領域は、前記基準領域に関してそれぞれの既知の変位距離だけ変位されており、及び、
ステップｅ）は、決定された前記極値一致パラメータの前記評価及び前記既知の変位距離に基づいて、前記指の速度を推定することを含む、方法。
【請求項６】
請求項５に記載の方法であって、前記速度は、前記基準指紋画像取得時間と、決定された前記極値一致パラメータの間で最も強い最大相関を示す前記極値一致パラメータの値に対応する候補指紋画像取得時間との間の経過時間に基づいて推定される、方法。
【請求項７】
請求項１〜６のいずれか一項に記載の方法であって、前記ステップａ）〜ｅ）は、第１ナビゲーションシーケンスでは一回目に実行され、及び、第２ナビゲーションシーケンスでは二回目に実行される、方法。
【請求項８】
請求項７に記載の方法であって、
前記第１ナビゲーションシーケンスは、前記時系列において、前記基準指紋画像取得時間と第１候補指紋画像取得時間の間に第１期間を示し、及び、
前記第２ナビゲーションシーケンスは、前記時系列において、前記基準指紋画像取得時間と第１候補指紋画像取得時間の間に前記第１期間とは異なる第２期間を示す、方法。
【請求項９】
請求項８に記載の方法であって、指移動の推定は、前記第１期間及び前記第２期間にさらに基づいている、方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の方法であって、取得された前記候補指紋画像の各々は、複数の異なる候補指紋画像部分を含む、方法。
【請求項１１】
請求項１〜１０のいずれか一項に記載の方法であって、前記基準指紋画像は、一つの候補指紋画像部分に対して、異なる候補指移動方向の変位に対応する複数の異なる基準指紋画像部分を含む、方法。
【請求項１２】
請求項１〜１１のいずれか一項に記載の方法であって、前記候補領域は、前記基準領域と同じ大きさを有する、方法。
【請求項１３】
請求項１〜１２のいずれか一項に記載の方法であって、複数の前記候補指移動方向の各々の前記一致パラメータ値は、ブロックマッチングアルゴリズムを用いて決定される、方法。
【請求項１４】
請求項１〜１３のいずれか一項に記載の方法であって、
ｆ）推定された前記指移動を示す信号を提供するステップ、
をさらに含む、方法。
【請求項１５】
指の指移動を推定するための指ナビゲーションシステムであって、前記指ナビゲーションシステムは、感知素子の配列を含む指紋センサ及び処理回路を含み、
前記処理回路は、
指紋画像を取得するための指紋画像取得回路、
取得された指紋画像間の相関を示す一致パラメータ値を決定するための指紋画像マッチング回路、
メモリ、及び
一致パラメータ値に基づいて前記指移動を推定するための推定回路、
を含み、
前記指が前記指紋センサの前記感知領域を横切って移動する場合、
前記指紋画像取得回路は、基準指紋画像取得時間に基準指紋画像を取得し、及び、候補指紋画像取得時間の時系列における各々の候補指紋画像取得時間に少なくとも１個の候補指紋画像を取得し、
前記指紋画像マッチング回路は、前記候補指紋画像取得時間の各々について、複数の候補指移動方向の各々に対する一致パラメータ値を決定し、前記一致パラメータ値は、前記指紋センサの基準領域に対応する基準指紋画像部分と前記指紋センサの候補領域に対応する候補指紋部分との間の相関を示すものであり、前記候補領域は、前記基準領域に関して前記候補指移動方向に所与の変位距離だけ変位されており、前記候補指移動方向における前記所与の変位距離は、前記候補指紋画像取得時間の各々に対して同一であり、
前記指紋画像マッチング回路は、候補指紋画像取得時間の前記時系列において最大相関を示す極値を表す前記候補指移動方向の各々に対して、前記最大相関を示す少なくとも一つの極値一致パラメータ値を前記メモリに格納し、及び、
前記推定回路は、前記極値一致パラメータ値の評価に基づいて前記指移動を推定する、システム。
【請求項１６】
請求項１５に記載の指ナビゲーションシステムであって、前記指紋取得回路は、少なくとも毎秒３０００個の候補指紋画像を取得するように構成されている、システム。
【請求項１７】
請求項１５又は１６に記載の指ナビゲーションシステムであって、
各感知素子は、
前記指で触れられる保護誘電最上層と、
前記最上層の下に配置される導電性感知構造と、
前記感知構造に接続され、前記指と前記感知構造の間の電位差の変化に起因し前記感知構造によって運ばれる電荷の変化を示す感知信号を提供する、電荷測定回路と、を含むシステム。
【国際調査報告】
2018510406.tif 000012
2018510406.tif 000013
2018510406.tif 000014
2018510406.tif 000015