(57)【要約】  本発明は、指紋感知システムの指紋センサ（１０２）によって捕捉された画像中に存在する劣化データ（１２０）を抑制することを可能にする指紋感知システム（１０１）の方法、及びその方法を実行する指紋感知システム（１０１）に関する。【選択図】図８
2020511712.tif 000002
【特許請求の範囲】
【請求項１】
指紋感知システム（１０１）の指紋センサ（１０２）によって捕捉された画像中に存在する劣化データ（１２０）を抑制する前記指紋感知システム（１０１）の方法であって、
前記指紋センサ（１０２）に接触する対象物の少なくとも１つの画像を捕捉し（Ｓ１０１）、前記画像は、前記指紋センサ（１０２）が受ける劣化に起因する劣化データ（１２０）を備えることと、
前記劣化データを備える前記捕捉された画像を記憶する（Ｓ１０２）ことと、
前記指紋センサ（１０２）に接触している指の指紋の少なくとも１つのさらなる画像を捕捉する（Ｓ１０３）ことと、
指紋の前記捕捉されたさらなる画像における前記劣化データを少なくとも部分的に抑制するために、前記劣化データを備える前記記憶された捕捉された画像で指紋の前記捕捉されたさらなる画像を処理する（Ｓ１０４）ことと、を含む方法。
【請求項２】
前記対象物がゴム印である、請求項１に記載の方法。
【請求項３】
前記指紋センサ（１０２）と接触する対象物の少なくとも１つの画像の前記捕捉（Ｓ１０１）は、
前記指の前記指紋の複数の画像を捕捉し、前記画像は、前記指紋センサ（１０２）が受ける劣化に起因する劣化データ（１２０）を備えることと、
前記指紋の前記複数の捕捉された画像から、前記劣化データ（１２０）を備える画像を作成する（Ｓ１０１ａ）ことと、を含み、前記捕捉された画像の前記記憶（Ｓ１０２）は、
前記劣化データを備える前記作成された画像を記憶することを含む、前記対象物は指である、請求項１に記載の方法。
【請求項４】
前記複数の画像は、前記指紋感知システム（１０１）が配置されている電子装置（１００）の通常のユーザ操作中に捕捉される、請求項３に記載の方法。
【請求項５】
前記電子装置（１００）の通常のユーザ操作中にユーザが前記指紋センサ（１０２）に接触すると、１つ又は複数の画像が繰り返し捕捉され、前記指紋の前記複数の捕捉された画像から作成された前記画像は、前記指紋の充分な数の画像が捕捉された後に作成されるとともに記憶される、請求項４に記載の方法。
【請求項６】
前記指紋の新しい画像を繰り返し捕捉し（Ｓ１０５）、前記画像は劣化データ（１２０）を備えることと、
前記捕捉された新しい画像と、前記劣化データを備える以前に記憶された画像とから、前記劣化データを備える更新された画像を作成する（Ｓ１０６ａ）ことと、
前記劣化データを備える前記更新された画像を記憶する（Ｓ１０６ｂ）ことと、をさらに含み、指紋の前記捕捉されたさらなる画像の前記処理（Ｓ１０４）は、指紋の前記捕捉されたさらなる画像中に存在する前記劣化データを少なくとも部分的に抑制するために、前記劣化データを備える前記記憶された更新された画像を使用して実行される、請求項４又は５に記載の方法。
【請求項７】
前記劣化データを備える前記記憶された捕捉された画像を用いた、指紋の前記捕捉されたさらなる画像の前記処理（Ｓ１０４）は、
指紋の前記捕捉されたさらなる画像から前記劣化データを備える前記記憶された捕捉された画像を減算することを含む、請求項３〜６のいずれか一項に記載の方法。
【請求項８】
前記劣化データを備える前記記憶された捕捉された画像を用いた、指紋の前記捕捉されたさらなる画像の前記処理（Ｓ１０４）は、
前記捕捉された画像中に存在する前記劣化データを前記記憶された画像の前記劣化データで除算することを含む、請求項３〜７のいずれか一項に記載の方法。
【請求項９】
前記指紋の前記複数の捕捉された画像からの前記劣化データを備える前記画像の前記作成（Ｓ１０１ａ）は、
前記複数の捕捉された画像を前記劣化データを備える単一の画像に組み合わせること（１２０）を含む、請求項３〜８のいずれか一項に記載の方法。
【請求項１０】
前記複数の捕捉された画像の前記劣化データ（１２０）を備える単一の画像への前記組み合わせは、
前記劣化データ（１２０）を備える前記画像を作成するために、前記複数の捕捉された画像を平均化することを含む、請求項９に記載の方法。
【請求項１１】
画像が捕捉される前に、ユーザの指の上、及び／又は前記指紋センサ（１０２）の感知領域の表面（１１０）の上に少量の流体を適用することをさらに含む、請求項３〜１０のいずれか一項に記載の方法。
【請求項１２】
前記劣化データが抑制されている指紋の前記捕捉されたさらなる画像から指紋を抽出する（ｓ１０７）ことと、
前記指の前記捕捉された画像の指紋を、１つ又は複数の認証された予め記憶された指紋テンプレートと比較する（Ｓ１０８）ことと、及び
前記捕捉された画像の前記抽出された指紋が、前記認証された予め記憶された指紋テンプレートのうちの１つ又は複数と一致すると見なされる場合、ユーザを認証することと、をさらに含む、請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記劣化データを備える前記記憶された捕捉された画像についての信頼メトリックを計算する（Ｓ１０１ｂ）ことをさらに含み、前記記憶された捕捉された画像の少なくとも一部が、前記計算された信頼メトリックによって示されるように信頼できないと考えられる場合、前記少なくとも一部は、指紋の前記捕捉されたさらなる画像中に存在する劣化データを抑制するために利用されない、請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記指紋の捕捉された新しい画像に基づいて更新された信頼メトリックを計算する（Ｓ１０６ｃ）ことと、
前記更新された信頼メトリックを記憶する（Ｓ１０６ｄ）ことと、をさらに含み、続いて前記記憶され更新された信頼メトリックは、指紋の前記捕捉されたさらなる画像中に存在する劣化データを抑制する場合を考慮する、請求項１３に記載の方法。
【請求項１５】
指紋センサ（１０２）及び処理ユニット（１０３）を備える指紋感知システム（１０１）であって、前記指紋感知システム（１０１）は、前記指紋感知システム（１０１）の前記指紋センサ（１０２）によって捕捉された画像内に存在する劣化データ（１２０）を抑制するように構成され、
前記指紋センサ（１０２）は、
前記指紋センサ（１０２）に接触する対象物の少なくとも１つの画像を捕捉し、前記画像は、前記指紋センサ（１０２）が受ける劣化に起因する劣化データ（１２０）を備えるように構成され、
前記処理ユニット（１０３）は、
前記劣化データを備える前記捕捉された画像を記憶し、
前記指紋センサ（１０２）に接触している指の指紋の少なくとも１つのさらなる画像を捕捉し、
指紋の前記捕捉されたさらなる画像における前記劣化データを少なくとも部分的に抑制するために、前記劣化データを備える前前捕捉されたさらなる画像を用いて指紋の前記捕捉されたさらなる画像を処理するように構成される、指紋感知システム（１０１）。
【請求項１６】
前記対象物はゴム印である、請求項１５に記載の指紋感知システム（１０１）。
【請求項１７】
前記対象物が指であり、
前記指紋センサ（１０２）は、
前記指の前記指紋の複数の画像を捕捉し、前記画像は指紋センサ（１０２）が受ける劣化に起因する劣化データ（１２０）を備えるように構成され、
前記処理ユニット（１０３）は、
前記指紋の前記複数の捕捉された画像から、前記劣化データを備える画像を作成し（１２０）、
前記劣化データを備える前記作成された画像を記憶するように構成される、請求項１５に記載の指紋感知システム（１０１）。
【請求項１８】
前記複数の画像は、前記指紋感知システムが配置されている電子装置の通常のユーザ操作中に捕捉される、請求項１７に記載の指紋感知システム（１０１）。
【請求項１９】
前記電子装置（１００）の通常のユーザ操作中にユーザが前記指紋センサ（１０２）に接触すると、１つ又は複数の画像が繰り返し捕捉され、前記指紋の充分な数の画像が捕捉された後、前記指紋の前記複数の捕捉された画像から作成された前記画像が作成され記憶される、請求項１８に記載の指紋感知システム（１０１）。
【請求項２０】
前記指紋センサ（１０２）は、
前記指紋の新しい画像を繰り返し捕捉し、前記画像は劣化データを備える（１２０）ように構成され、
前記処理ユニット（１０３）は、
前記捕捉された新しい画像と、前記劣化データを備える以前に記憶された画像から、前記劣化データを備える更新された画像を作成し、
前記劣化データを備える前記更新された画像を記憶し、指紋の前記捕捉されたさらなる画像の前記処理は、指紋の前記捕捉されたさらなる画像中に存在する前記劣化データを少なくとも部分的に抑制するために、前記劣化データを備える前記記憶された更新された画像を使用して実行されるように構成される、請求項１８又は１９に記載の指紋感知システム（１０１）。
【請求項２１】
前記処理ユニット（１０３）は、前記劣化データを備える前記記憶された捕捉された画像で指紋の前記捕捉されたさらなる画像を処理するとき、
指紋の前記捕捉されたさらなる画像から前記劣化データを備える前記記憶された捕捉された画像を減算するように構成される、請求項１７〜２０のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２２】
前記処理ユニット（１０３）は、前記劣化データを備える前記記憶された捕捉された画像で指紋の前記捕捉されたさらなる画像を処理するとき、
前記捕捉された画像内に存在する前記劣化データを、前記記憶された画像の前記劣化データで除算するように構成される、請求項１７〜２１のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２３】
前記処理ユニット（１０３）は、前記指紋の前記複数の捕捉された画像から前記劣化データ（１２０）を備える前記画像を作成するとき、
前記複数の捕捉された画像を前記劣化データ（１２０）を備える単一の画像に組み合わせるように構成される、請求項１７〜２２のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２４】
前記処理ユニット（１０３）は、前記複数の捕捉された画像を前記劣化データ（１２０）を備える単一の画像に組み合わせるとき、
前記劣化データ（１２０）を備える画像を作成するために、前記複数の捕捉された画像を平均化するように構成される、請求項２３に記載の指紋感知システム（１０１）。
【請求項２５】
前記処理ユニット（１０３）は、
前記劣化データが抑制されている指紋の前記捕捉されたさらなる画像から指紋を抽出し、
前記指の前記捕捉された画像の指紋を、１つ又は複数の認証された予め記憶された指紋テンプレートと比較し、
前記捕捉された画像の前記抽出された指紋が、前記認証された予め記憶された指紋テンプレートのうちの１つ又は複数と一致すると見なされる場合、ユーザを認証するようにさらに構成される、請求項１５〜２４のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２６】
前記処理ユニット（１０３）は、
前記劣化データを備える前記記憶された捕捉された画像について信頼メトリックを計算し、前記記憶された捕捉された画像の少なくとも一部が、前記計算された信頼メトリックによって示されるように信頼できないと考えられる場合、前記少なくとも一部は、指紋の前記捕捉されたさらなる画像中に存在する劣化データを抑制するために利用されないようにさらに構成される、請求項１５〜２５のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２７】
前記処理ユニット（１０３）は、
前記指紋の捕捉された新しい画像に基づいて更新された信頼メトリックを計算し、
前記更新された信頼メトリックを記憶し、前記記憶された更新された信頼メトリックは、その後、指紋の前記捕捉されたさらなる画像中に存在する劣化データを抑制するときに考慮されるようにさらに構成される、請求項１５〜２５のいずれか一項に記載の指紋感知システム（１０１）。
【請求項２８】
請求項１５〜２７のいずれか一項に記載の前記指紋感知システム（１０１）を備える、電子装置（１００）。
【請求項２９】
前記指紋感知システム（１０１）に備えられる処理ユニット（１０３）上で実行されるときに、前記指紋感知システムに請求項１〜１４のいずれか一項に記載のステップを実行させるためのコンピュータ実行可能命令を備える、コンピュータプログラム（１０７）。
【請求項３０】
コンピュータ可読媒体（１０５）を備え、前記コンピュータ可読媒体は、請求項２９に記載の前記コンピュータプログラム（１０７）をそこに具現化した、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指紋感知システムの指紋センサによって捕捉された画像中に存在する劣化データを抑制する指紋感知システムの方法、及びその方法を実行する指紋感知システムに関する。
【背景技術】
【０００２】
スマートフォン、ラップトップ、リモコン、タブレット、スマートカードなどの電子装置は、指紋認識を使用することができ、例えば、ユーザが装置にアクセスすることを可能にし、電子装置を使用して実行された取引を認証すること、又は電子装置を介してサービスにアクセスするためにユーザを認証する。
【０００３】
それ故、例えばスマートフォンである電子装置は、指紋の画像を捕捉し、記録された指紋を予め記憶され認証された指紋テンプレートと比較するための、ユーザが自分の指を置く指紋センサを備えている。記録された指紋が予め記憶されているテンプレートと一致する場合、ユーザは認証され、スマートフォンは、ロックモードからユーザのスマートフォンへのアクセスが可能になるロック解除モードへの移行などの適切な行動を実行する。
【０００４】
指紋センサ用の−例えば、指からの容量、光学的又は超音波検出信号に基づいている−ユーザの指とセンサの指紋感知素子（画素として知られている）との間に存在する材料に対する要件は、厚さ及び例えば容量センサの誘電均一性などの材料特性の精度に関して高い。容量センサの場合、ユーザがスマートフォンの指紋感知領域（例えばガラス又はセラミックで覆われている）に触れると、指紋感知領域の表面とスマートフォンの内部に配置された指紋センサとの間にコンデンサが形成される。各画素においてユーザが触れる表面とセンサとの間の容量を測定することによって、ユーザの指紋は、ユーザの指の指紋センサによって捕捉された画像から導出することができる。
【０００５】
しかしながら、いくつかの理由のために、準定常ノイズの形態の劣化データが、指紋センサによって捕捉された画像中に存在する可能性があり、これは、捕捉された画像からの指紋の導出をより困難にする。
【０００６】
容量センサの場合、このタイプのノイズは容量ノイズと呼ばれ、例えば、指紋感知領域の表面と指紋センサとの間の材料の積み重ね高さのばらつき、例えば引っかき傷の形をした指紋感知領域の損傷した表面などの劣化によって、又はセンサの反りや捕捉した画像に繰り返しノイズパターンを生じさせる積み重ねと感知領域の間の材料接着剤中の不純物などの材料特性の不完全性などの劣化により発生する場合がある。容量ノイズを除去するためには、サブミクロンの精度及び極めて純粋な材料が要求される場合がある。実際のシナリオでは、このような材料の精度は達成が困難である。
【発明の概要】
【０００７】
本発明の目的は、当技術分野におけるこの問題を解決又は少なくとも軽減し、したがって、指紋センサによって捕捉された画像中に存在する劣化データを少なくとも部分的に抑制する改善された方法を提供することである。
【０００８】
この目的は、本発明の第１の態様において、指紋感知システムの指紋センサによって捕捉された画像中に存在する劣化データを抑制する指紋感知システムの方法によって達成される。本方法は、指紋センサと接触する対象物の少なくとも１つの画像を捕捉することを含み、画像は、指紋センサが受ける劣化に起因する劣化データを備え、そして、劣化データを備える捕捉された画像を記憶すること、指紋センサと接触する指の指紋の少なくとも１つのさらなる画像を捕捉すること、指紋のさらに捕捉された画像を劣化データを備える記憶された捕捉された画像で処理し、指紋の捕捉されたさらなる画像における劣化データを少なくとも部分的に抑制することと、を含む。
【０００９】
この目的は、本発明の第２の態様において、指紋センサと処理ユニットとを備える指紋感知システムの方法によって達成される。指紋感知システムは、指紋感知システムの指紋センサによって捕捉された画像内に存在する劣化データを抑制するように構成される。指紋センサは、指紋センサに接触している対象物の少なくとも１つの画像を捕捉するように構成されており、画像は、指紋センサが受ける劣化に起因する劣化データを備える。処理ユニットは、劣化データを備える捕捉された画像を記憶し、指紋センサに接触する指の指紋の少なくとも１つのさらなる画像を捕捉し、劣化データを備える記憶された捕捉された画像を用いて指紋のさらに捕捉された画像を処理するように構成され、指紋の捕捉されたさらなる画像内の劣化データを少なくとも部分的に抑制する。
【００１０】
前述したように、準定常ノイズの形の劣化データが、指紋センサによって捕捉された画像内に存在する可能性があり、これにより、捕捉された画像からの指紋の導出がより困難になる。
【００１１】
発明は、指紋センサにセンサと接触する対象物の画像を捕捉させることによって、捕捉された画像中に存在するそのような劣化データを有益に抑制する。対象物は、いわゆるゴム印の形の人工指、又はユーザの本物の指であり得る。以下では、対象物はユーザの本物の指によって例示される。
【００１２】
いくつかの画像が捕捉される可能性があり、これらの画像が組み合わされて劣化データを表す単一の画像が生成されることに留意されたい。
【００１３】
続いて、指紋システムが配置されている電子装置のユーザが、−例えば、スマートフォンのロックを解除するために指紋センサが配置されているスマートフォンのホームボタンに親指を押すことによって、電子装置、−例えば、スマートフォン−との認証プロセスを実行したい場合、指紋センサはユーザの指紋のさらなる画像を捕捉する。
【００１４】
劣化データを備える以前に記憶された画像がメモリから取り出され、処理ユニットは、指紋の捕捉された画像を、劣化データを備えるゴム印の記憶された捕捉された画像で処理して、さらに捕捉された画像からの劣化データを抑制又は相殺さえする。
【００１５】
有益には、指紋が損なわれていない間に、さらに捕捉された画像内に存在する劣化データが抑制される。
【００１６】
一実施形態では、ゴム印を使用して、劣化データを備える単一の画像を作成し記憶する。これは、指紋センサの製造及び試験中に実行することができる。
【００１７】
しかし、劣化データを備える単一の画像を作成するためにユーザの指が利用される実施形態では、多くの利点が達成される。
【００１８】
第１に、ユーザの指を利用して登録プロセスを適用することによって、ゴム印を使用して「オフライン」製造試験を実行する必要がなく、劣化データを備える画像の捕捉は、センサが配置されている電子装置の構成時に、又はその後に、ユーザによっていつでも実行することができる。
【００１９】
例として、例えばユーザが電子装置、例えばスマートフォンのロックを解除したいときに、ユーザがセンサの感知領域の表面に触れるたびに、１つ又は２つの画像が捕捉され、指紋システムの処理ユニットが、充分な数の画像が捕捉されたと判定すると、単一の画像が作成され記憶されることを想定することができる。有益には、ユーザは、劣化データを備える画像を作成するために面倒な登録プロセスに従事する必要がない。
【００２０】
第２に、「オンライン」指登録プロセスは、有益には記憶された画像の更新を容易にする。電子装置は、−例えば、センサを覆っているカバーガラスに引っかき傷や亀裂の形で−磨耗するので、センサが受ける劣化は経時的に変化する可能性がある。
【００２１】
これは、新しい劣化データを備える単一の画像を作成して記憶するための多数の新しい画像のセットを捕捉することによって克服することができる。あるいは、電子装置の通常のユーザ操作中に新しい画像が繰り返し捕捉され、その新しい画像が記憶された単一の画像と組み合わされ、記憶された画像は経時的に変化して、センサが受ける劣化の変化を反映する。
【００２２】
したがって、指紋感知システムを実装する電子装置の通常の操作中にユーザの指の画像を捕捉することの大きな利点は、劣化データの推定を経時的に徐々に改善できることである（何らかの改良が可能な場合）。さらに、そのような手法のさらなる利点は、経時的に変化する劣化（すなわち、ユーザが自分のスマートフォンのカバーガラスを破ること）を補償できることである。
【００２３】
さらに、一実施形態では、画像画素に関連付けられた信頼メトリックが計算され、記憶された単一の画像に利用されることが想定され得る。記憶された画像が特定の領域で充分に信頼できるとは考えられない場合、すなわち信頼メトリックは特定の地域では低い場合、これらの領域は、さらに捕捉された画像の劣化データを抑制するときには使用されない。信頼メトリックは、画素ごとのレベルで、又は画素のクラスタについて計算することができる。全体的な信頼メトリックが完全な記憶された画像について計算されることもまた  想定され得る。
【００２４】
さらに一実施形態では、指紋感知システムは、劣化データが抑制されている指紋のさらに捕捉された画像から指紋を抽出し、指の捕捉された画像の指紋を１つ又は複数の事前に認証された予め記憶された指紋テンプレートと比較し、捕捉された画像の抽出された指紋が、１つ又は複数の認証された予め記憶された指紋テンプレートと一致すると見なされる場合、ユーザを認証する。
【００２５】
さらなる態様では、本明細書に記載の指紋感知システムを備える電子装置が提供される。電子装置は、例えばスマートフォン、ラップトップ、リモコン、タブレット、スマートカード、スマートウォッチなどの形態、又は指紋感知を利用する他の種類の現在又は将来の同様に構成された装置の形態で具現化することができる。
【００２６】
コンピュータ実行可能命令が指紋感知システムに備えられる処理ユニット上で実行されるときに、指紋感知システムに説明された方法を実行させるためのコンピュータ実行可能命令を備えるコンピュータプログラムがさらに提供される。
【００２７】
さらに提供されるのは、コンピュータ可読媒体を備えるコンピュータプログラム製品であり、コンピュータ可読媒体は、その上に具現化された上述のコンピュータプログラムを有する。
【００２８】
本発明のさらなる実施形態は、詳細な説明において記載される。
【００２９】
概して、特許請求の範囲で使用されるすべての用語は、本明細書で他に明示的に定義されない限り、技術分野におけるそれらの通常の意味に従って解釈されるべきである。「ａ／ａｎ／要素、装置、構成要素、手段、ステップなど」に対するすべての言及は、他に明示的に述べられていない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つの例を指すものとして公然と解釈されるべきである。本明細書に開示された任意の方法のステップは、明示的に述べられていない限り、開示された正確な順序で実行される必要はない。
【図面の簡単な説明】
【００３０】
ここで、添付の図面を参照しながら、例により本発明を説明する。
【図１】本発明を実施することができるスマートフォンの形態の電子装置を示す。
【図２】ユーザが指を置く指紋センサの図を示す。
【図３】一実施形態による指紋感知システムの一部である指紋センサを示す。
【図４】容量指紋感知の原理を示す。
【図５】センサと接触する対象物がゴム印である場合の指紋センサによって捕捉された画像を示す。
【図６（ａ）】異なる劣化を受けている指紋センサの異なる個体によって捕捉された画像を示す。
【図６（ｂ）】異なる劣化を受けている指紋センサの異なる個体によって捕捉された画像を示す。
【図６（ｃ）】異なる劣化を受けている指紋センサの異なる個体によって捕捉された画像を示す。
【図７】図５の捕捉された画像を示すが、画像はさらに劣化データを備える。
【図８】本発明の一実施形態による、捕捉された画像内の劣化データを抑制する方法のフローチャートを示す。
【図９】本発明の別の実施形態による、捕捉された画像内の劣化データを抑制する方法のフローチャートを示す。
【図１０（ａ）】劣化データを備える４つの捕捉された画像を示す。
【図１０（ｂ）】劣化データを備える４つの捕捉された画像を示す。
【図１０（ｃ）】劣化データを備える４つの捕捉された画像を示す。
【図１０（ｄ）】劣化データを備える４つの捕捉された画像を示す。
【図１１】単一の画像を作成するために組み合わされる図１０（ａ）〜（ｄ）の複数の捕捉された指紋画像を示す。
【図１２】劣化データが相殺された、図１１の捕捉された指紋を示す。
【図１３】本発明の別の実施形態による、捕捉された画像内の劣化データを抑制することを可能にする方法のフローチャートを示す。
【図１４】本発明のさらに別の実施形態による、捕捉された画像内の劣化データを抑制することを可能にする方法のフローチャートを示す。
【発明を実施するための形態】
【００３１】
発明の特定の実施形態が示されている添付の図面を参照しながら、ここで発明を以下でより充分に説明する。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書に記載の実施形態に限定されると解釈されるべきではなく、むしろ、これらの実施形態は、本開示が徹底的かつ完全であり、本発明の範囲を当業者に充分に伝えるように、例により提供される。説明全体を通して、同じ番号は同じ要素を指す。
【００３２】
図１は、本発明を実施することができるスマートフォン１００の形態の電子装置を示す。スマートフォン１００は、指紋センサ１０２と、タッチスクリーンインタフェース１０６を備えた表示部１０４とを備える。指紋センサ１０２は、例えば、携帯電話１００をロック解除するために、及び／又は携帯電話１００を使用して実行される取引を認証するためなどに使用することができる。指紋センサ１０２は、代替として、携帯電話１００の裏側に配置されてもよい。指紋センサ１０２は、表示装置／タッチスクリーンに一体化されてもよく、又はスマートフォンのホームボタンの一部を形成してもよいことに留意されたい。
【００３３】
発明の実施形態による指紋センサ１０２は、ラップトップ、リモコン、タブレット、スマートカード、スマートウォッチなどのような他の種類の電子装置、又は指紋感知を利用する他の種類の現在又は将来の同様に構成される装置に実装されてもよいことを理解されたい。
【００３４】
図２は、ユーザが自分の指２０１を置く指紋センサ１０２の幾分拡大した図を示す。容量感知技術を使用する場合、指紋センサ１０２は複数の感知素子を含むように構成される。単一の感知素子（画素とも呼ばれる）は、図２では参照番号２０２で示されている。
【００３５】
本発明は、例えば光学的又は超音波感知のような他の指紋感知技術にも同様に適用可能であることに留意されたい。
【００３６】
図３は、指紋感知システム１０１の一部である指紋センサ１０２を示す。指紋感知システム１０１は、指紋センサ１０２と、指紋センサ１０２を制御し、捕捉された指紋を分析するためのマイクロプロセッサなどの処理ユニット１０３とを備える。指紋感知システム１０１は、メモリ１０５をさらに備える。指紋感知システム１０１は、次に、典型的には、図１に例示されるように電子装置１００の一部を形成する。ワンタイムプログラマブル（ＯＴＰ）メモリ、フラッシュメモリ、又はランダムアクセスメモリ（ＲＡＭ）などのローカルメモリ１０８をセンサダイに埋め込むことができる。
【００３７】
ここで対象物が指紋センサ１０２に接触すると、センサ１０２は、処理ユニット１０３に対象物が認証されたユーザの指紋であるかどうかを判定させるために、又は捕捉された指紋を、メモリ１０５に予め記憶されている１つ又は複数の認証された指紋テンプレートと比較せずに対象物の画像を捕捉する。
【００３８】
指紋センサ１０２は、例えば容量、光学式、超音波又は熱感知技術を備える、任意の種類の現在又は将来の指紋感知原理を使用して実装することができる。現在、容量感知は最も一般的に使用されており、特にサイズと電力消費が重要な用途で使用されている。容量指紋センサは、（図２参照）いくつかの感知素子２０２と指紋センサ１０２の表面に置かれた指２０１との間の容量の指標となる測定値を提供する。指紋画像の取得は、典型的には、二次元的に配置された複数の感知素子２０２を含む指紋センサ１０２を用いて行われる。
【００３９】
一般的な認証プロセスでは、ユーザは自分の指２０１をセンサ１０２上に置き、センサがユーザの指紋の画像を捕捉する。処理ユニット１０３は、捕捉された指紋を評価し、それをメモリ１０５に記憶されている１つ又は複数の認証された指紋テンプレートと比較する。記録された指紋が予め記憶されているテンプレートと一致する場合、ユーザは認証され、処理ユニット１０３は通常、ロックモードからユーザがスマートフォン１００へのアクセスが可能になるロック解除モードへの移行などの適切な行動を実行するようにスマートフォン１００に指示する。
【００４０】
再び図３を参照すると、指紋感知システム１０１によって実行される方法のステップは、実際には、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、又はハードディスクドライブなど、マイクロプロセッサに関連付けられている記憶媒体１０５にダウンロードされたコンピュータプログラム１０７を実行するように配置された１つ又は複数のマイクロプロセッサの形態で具現化される処理ユニット１０３によって実行される。処理ユニット１０３は、コンピュータ実行可能命令を備える適切なコンピュータプログラム１０７が記憶媒体１０５にダウンロードされ、処理ユニット１０３によって実行されると、指紋感知システム１０１に実施形態による方法を実行させるように配置される。記憶媒体１０５は、コンピュータプログラム１０７を備えるコンピュータプログラム製品でもあり得る。あるいは、コンピュータプログラム１０７は、デジタル多用途ディスク（ＤＶＤ）又はメモリースティックなどの適切なコンピュータプログラム製品によって記憶媒体１０５に転送されてもよい。さらなる代替として、コンピュータプログラム１０７は、ネットワークを介して記憶媒体１０５にダウンロードされてもよい。処理ユニット１０３は、代替として、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジック装置（ＣＰＬＤ）などの形態で具現化することができる。処理ユニット１０３によって提供される機能の全部又は一部が、少なくとも部分的に指紋センサ１０２と統合されてもよいことがさらに理解されるべきである。
【００４１】
図４は、前述したように、容量指紋感知の原理を示している。ユーザがスマートフォンの指紋感知領域の表面１１０に自分の指２０１で接触すると（典型的にはホームボタンに触れることによって）、コンデンサＣが指紋感知領域の表面１１０とスマートフォンの内側に配置された指紋センサ１０２との間に形成される。表面１１０と指紋センサ１０２との間の材料１１１は、例えば、ガラス又はセラミックから構成することができる。
【００４２】
ユーザが触れた表面１１０とセンサ１０２との間の容量を測定することによって、ユーザの指紋は、ユーザの指２０１の指紋センサ１０２によって捕捉された画像から導出され得る。
【００４３】
指紋感知領域の表面１１０と指紋センサ１０２との間の材料１１１の積み重ね高さのばらつき、損傷した表面１１０、センサの反り、材料１１１の特性の一般的な不完全性などの様々な劣化のために指紋センサ１０２によって捕捉された画像には準定常ノイズが存在し、これによって、捕捉された画像からの指紋の導出がより困難になる。光学的又は超音波指紋感知技術を使用する場合にも同様のノイズが存在する。
【００４４】
捕捉された画像からそのようなノイズ、−又は劣化データ−を相殺することが望ましい。
【００４５】
再び図４を参照すると、指紋センサ１０２の製造及び試験中に、一般的に（平らな）ゴム印と呼ばれる対象物を、本物の指の代わりにスマートフォンの指紋感知領域の表面１１０に適用することができる。このゴム印は、通常、領域１１０を完全に覆い、それに対応して指紋センサ１０２の全画素を覆う。そのようなゴム印は、センサ１０２に対して適切に高い容量を与えるために、典型的には導電性であり、アースに接続されている。好ましくは、ゴム印によって生じる総容量は、典型的な人間の指の場合と同じである必要がある。
【００４６】
図５を参照すると、「完全な」センサ１０２、表面１１０及び材料１１１の場合、そのようなゴム印のセンサ１０２によって捕捉された画像は、画像中に存在するアーチファクト又はノイズの形のいかなる劣化データもなく、一様な黒／灰色であり、実際には、センサ１０２、表面１１０、及び材料１１１が劣化を受けるのに対して、何らかの種類のパターンを形成する劣化データがしばしば捕捉された画像中に存在する。
【００４７】
しかしながら、実際には、図６（ａ）〜（ｃ）を参照すると、指紋センサの異なる個体は異なる劣化を受け、その結果として捕捉されたゴム印画像の異なる外観を与える。
【００４８】
図７は、円形又は楕円形のパターンに配置されたより明白な劣化データの形で捕捉された画像内に存在する劣化データ１２０のさらなる例を示す。これは、指紋感知領域の表面１１０と指紋センサ１０２との間のガラス／セラミック材料１１１内、又はセンサとカバーガラスとの間の接着剤中の不純物によって生じるエアポケットの結果であり得るパターンである。
【００４９】
捕捉された画像内に存在する劣化データの正確な外観に関係なく、任意の劣化データは捕捉された画像からの指紋の抽出をより困難にする。
【００５０】
図８は、捕捉された画像内に存在する劣化データを抑制することによってこの問題を解決する本発明の一実施形態による方法のフローチャートを示す。図３の指紋感知システム１０１をさらに参照する。
【００５１】
第１のステップＳ１０１において、指紋センサ１０２は、センサ１０２に接触する対象物の画像を捕捉する。以下では、図５及び図７を参照して、対象物をゴム印の形で例示し、その画像を図５に示す。いくつかの画像を捕捉することができ、これらの画像を組み合わせてゴム印を表す単一の画像（又は繰り返される指接触の組み合わせ結果）を生成することに留意されたい。この画像は、スマートフォンなどの意図された電子装置１００に搭載された指紋システム１０１の製造試験中に捕捉できる。
【００５２】
この好ましい実施形態では、捕捉された画像は図７に示される外観を有すると仮定され、すなわち、楕円形の劣化データ１２０を備える。
【００５３】
その後、ステップＳ１０２において、劣化データを備える捕捉された画像（複数可）は、指紋システム１０１、例えばセンサダイに埋め込まれたＯＴＰメモリ１０８、又は電子装置１００のホストメモリに記憶される。捕捉された画像（複数可）は、記憶される前にダウンサンプリング又は圧縮されることが想定されている。
【００５４】
続いて、指紋システム１０１が配置されている電子装置１００のユーザが、電子装置、例えば、スマートフォン１００で、例えば、スマートフォン１００のロックを解除するために指紋センサ１０２が配置されているスマートフォンのホームボタンに親指を押すことによって認証処理を実行したい場合、指紋センサ１０２はステップＳ１０３でユーザの指紋の画像を捕捉する。
【００５５】
このように、劣化データを備える以前に記憶された画像は、処理ユニット１０３によってＯＴＰメモリ１０８から取り出される。
【００５６】
さらに、ステップＳ１０４において、処理ユニット１０３は、指紋の捕捉された画像を、劣化データを備えるゴム印の記憶された捕捉された画像で処理して、捕捉されたさらなる画像からの劣化データを抑制又は相殺さえする。
【００５７】
一実施形態では、ステップＳ１０４において、捕捉された指紋画像は、劣化データ１２０を備える記憶された捕捉された画像を使用して処理され、以前に記憶されたゴム印画像の劣化データ１２０は、捕捉された指紋画像中に存在する対応する劣化データを相殺し、一方、実際のスタンプに関する画像の部分は、指紋に影響を与えない。
【００５８】
処理はさまざまな方法で実行でき、例えば、（ａ）劣化データ１２０を備える記憶された捕捉された画像が捕捉された指紋画像から減算され、（ｂ）捕捉された指紋画像と劣化データを備える記憶された画像との線形（又は非線形）組み合わせが行われ、（ｃ）劣化データに基づく指紋データの線形（又は非線形）データフィッティング、又は（ｄ）劣化データを備える捕捉された画像及び記憶された画像に基づく指紋のデータモデリングである。
【００５９】
したがって、本実施形態は、捕捉された指紋を予め記憶された指紋テンプレートと一致させるための捕捉された画像からのその後の指紋特徴抽出を改善するのに大いに役立つ捕捉された画像中に存在する劣化データを有益に相殺する。
【００６０】
図９は、捕捉された画像内に存在する劣化データを抑制するか、又は相殺さえすることによって上記の問題を解決する、本発明の一実施形態による別の方法のフローチャートを示す。図３の指紋感知システム１０１をさらに参照する。
【００６１】
この特定の実施形態では、使用される対象物はゴム印ではなく、電子装置１００、例えば、スマートフォンのユーザの実際の指である。
【００６２】
第１のステップＳ１０１において、指紋センサ１０２は、センサ１０２に接触しているユーザの指の複数の画像を捕捉し、そのうちの４つが図１０（ａ）〜（ｄ）に示されている。
【００６３】
図１０（ａ）〜（ｄ）から分かるように、ユーザの実際の指紋に関しては、すべての捕捉された画像のための同じ方法で、ユーザが感知領域の表面に対して自分の指を押し付けていないので、画像は、他の画像と同一である可能性は低い。したがって、図１０（ａ）〜（ｄ）に示される４つの画像では、ユーザの指紋は異なる位置に配置され、一方、電子装置１００又はセンサ１０２自体に起因する劣化データ１２０は常に捕捉され画像に配置されたままである。
【００６４】
再び図９を参照すると、ステップＳ１０１においてユーザの指紋の複数の画像が捕捉された後、ステップＳ１０１ａにおいて複数の画像から単一の画像が作成される。実際には、数十枚、あるいは最大で数百枚の画像を捕捉することができる。
【００６５】
一実施形態では、単一の画像は複数の画像を組み合わせることによって作成される。例えば、単一の画像は、捕捉された複数の指紋画像を平均化することによって作成されてもよい。
【００６６】
図１１は、単一の画像を作成するために複数の捕捉された指紋画像を平均化したときに単一の画像がどのように見えるかを示す。上述したように−複数の捕捉された画像に対して−指紋を表す各捕捉された画像の部分は画像ごとに異なる。したがって、平均化プロセスは、複数の画像にフィルタリング効果をもたらし、ゴム印画像に類似した画像、すなわち、複数の画像にわたって絶えず配置されたままである劣化データ１２０を除いて、一様に灰色の画像を作成する。これは、重要であり、単一の画像を作成するときにユーザの実際の指紋に関連する画像の一部が「ぼやけて」いない場合、劣化データが正しく抑制されず、さらにその後捕捉された指紋画像に劣化データが導入される可能性があるリスクがある。
【００６７】
作成された画像は、その後の使用のためにステップＳ１０３で記憶される。
【００６８】
ここで、前述したように、指紋システム１０１が配置されている電子装置１００のユーザが電子装置１００を用いて認証プロセスを実行したい場合、指紋センサ１０２は、ステップＳ１０３でユーザの指紋のさらなる画像を捕捉する。
【００６９】
組み合わせられている複数の捕捉された指紋画像から作成された劣化データを備える以前に記憶された画像は、処理ユニット１０３によってＯＴＰメモリ１０８又はホストメモリから取り出される。
【００７０】
次に、ステップＳ１０４において、処理ユニット１０３は、捕捉されたさらなる画像の劣化データを抑制するために、この特定の電子装置１００を使用してすべての捕捉された画像中に存在する劣化データを備える記憶された作成された画像で指紋のさらに捕捉された画像を処理する。
【００７１】
この好ましい実施形態では、ステップＳ１０４における処理ユニット１０３による処理は、さらに捕捉された指紋画像から劣化データ１２０を備える捕捉された画像を減算することを含む。
【００７２】
再度、−実際の指紋に関する画像の一部は劣化データを表す単一の画像の一部ではないので−以前に作成され記憶された指紋画像の劣化データ１２０は、捕捉された指紋画像中に存在する対応する劣化データを相殺し、一方、捕捉された画像の実際の指紋は影響を受けない。
【００７３】
劣化データ１２０を備える図１１の記憶された画像が、例えば図１０ａに示される外観を有する捕捉された画像から減算された後、−図１２に示されるように−きれいな指紋画像が得られ、劣化データ１２０は有益には完全に相殺される。
【００７４】
センサ１０２が受ける劣化に起因する劣化データが存在する画像の「オンライン」登録のためにユーザの指を利用する本実施形態は、ゴム印を使用する前述の「オフライン」手法（又は指紋センサの感知領域に適用される適切な試験パターンを有する他の試験装置）上で多くの利点を有する。
【００７５】
第１に、図９のオンライン指登録プロセスを使用することによって、図８を参照して説明したようにゴム印を使用してオフライン製造試験を実行する必要がなく、劣化データを備える画像の捕捉は、センサ１０２が配置されている電子装置１００の構成時に、又はその後に、ユーザによっていつでも実行することができる。
【００７６】
例えば、ユーザが電子装置１００、例えば、スマートフォンのロックを解除したいとき、ユーザがセンサ１０２の感知領域の表面１００に触れるたびに、１つ又は２つの画像が捕捉され、処理ユニット１０３が充分な数の画像が捕捉されたと判定したとき、単一の画像が作成され記憶されることを想定することができる。有益には、ユーザは、劣化データを備える画像を作成するために面倒な登録プロセスに従事する必要がない。
【００７７】
この文脈において、電子装置１００は、指紋センサ１０２の感知領域の表面１１０に対して自分の指をどのように押し付けるかを視覚的及び／又は聴覚的にユーザに指示することが想定され得る。
【００７８】
第２に、オンライン指登録プロセスは、有益には記憶された画像の更新を容易にする。電子装置は、−例えばセンサ１０２を覆うカバーガラスに引っかき傷や亀裂の形で−磨耗するので、センサ１０２が受ける劣化が経時的に変化する。
【００７９】
これは、新しい劣化データを備える単一の画像を作成して記憶するための多数の新しい画像のセットを捕捉することによって克服することができる。代替として、新しい画像は、電子装置１００の通常のユーザ操作中に繰り返し捕捉され、それらの新しい画像は、記憶された単一の画像と組み合わされ、−例えば、平均化され−記憶された画像は、センサが受ける劣化の変化を反映するように経時的に変化する。
【００８０】
図１３は、本実施形態による方法のフローチャートを示す。したがって、図９のプロセスが実行され、ステップＳ１０４においてきれいな捕捉された画像が得られる。
【００８１】
ここで、指紋センサ１０２が変化するという劣化として、ステップＳ１０５において、好ましくは電子装置１００の通常のユーザ操作中に、ユーザの指紋の新しい画像が繰り返し捕捉される。
【００８２】
次いで、これらの新しい画像−又はこれらの画像からの選択された情報−は、ステップＳ１０６ａで示されるように、記憶されている単一の画像と組み合わせられ、組み合わせによって作成された更新された単一の画像はステップＳ１０６ｂで再び記憶される。
【００８３】
その後、ステップＳ１０４において、更新された単一の画像を使用して、捕捉された画像内の劣化データを抑制する。
【００８４】
したがって、指紋感知システムを実装する電子装置の通常の操作中にユーザの指の画像を捕捉することの大きな利点は、劣化データの推定を経時的に徐々に改善できることである（何らかの改良が可能な場合）。さらに、そのような手法のさらなる利点は、経時的に変化する劣化（すなわち、ユーザが指紋センサを覆うガラスを損傷すること）を補償できることである。
【００８５】
さらに、本実施形態及び前述の実施形態では、画像画素に関連する信頼メトリックがステップＳ１０１ｂで計算され、記憶されている単一の画像に利用されることを想定することができる。ステップＳ１０１ｃで記憶された信頼メトリックによって示されるように、記憶された画像が特定の領域において充分に信頼できるとは考えられない場合、すなわち、信頼メトリックは特定の地域では低い場合、これらの領域は、ステップＳ１０４において捕捉された画像の劣化データを抑制する際には使用されない。信頼メトリックは、画素ごとのレベルで、又は画素のクラスタについて計算することができる。全体的な信頼メトリックが完全な記憶された画像について計算されることもまた想定され得る。
【００８６】
ステップＳ１０５によって示されるように複数の新しい画像が捕捉される場合、これらの新しい画像−又はこれらの画像からの選択された情報−は、次にステップＳ１０６ｃで示されるように記憶された信頼メトリックを更新するために使用され、ステップＳ１０４の劣化データの抑制におけるその後の使用のために、更新された信頼メトリックがステップＳ１０６ｄにおいて再び記憶される。
【００８７】
さらに、一実施形態では、劣化データを抑制するために使用される記憶された画像をさらに改善するために、画像が捕捉される前に少量の流体がセンサの感知領域１１０の表面上及び／又はユーザの指に適用されることが想定される。流体によって、指紋の尾根と谷の間の区別がぼやけ、その一方で劣化データが残っており、これは、引き続いて捕捉された画像中に存在する劣化データを抑制するために作成され使用される画像にとって有益である。
【００８８】
さらに、ユーザは、画像が捕捉されたときに自分の指でスワイプ及び／又は回転運動を行うことが想定され、したがって、画像の動いている部分は指として識別され、一方、画像の静止部分は劣化データとして識別される。
【００８９】
図１４は、本発明の一実施形態による劣化データが抑制された後にユーザが認証されるフローチャートを示す。ステップＳ１０３で捕捉された画像から劣化データが相殺されるステップＳ１０４までのプロセスの説明については、図９を参照する。
【００９０】
したがって、ステップ１０４できれいな画像が達成された後、ステップＳ１０７で処理ユニット１０３は強調された捕捉された画像から指紋を抽出し、それをメモリ１０５に記憶された１つ又は複数の以前に登録された指紋テンプレートと比較する。ステップＳ１０８において、抽出された指紋が予め記憶されているテンプレートと一致する場合、ユーザは認証され、処理ユニット１０３は通常、電子装置１００、例えば、スマートフォンに指示し、ロックモードからユーザがスマートフォン１００へのアクセスが可能になるロック解除モードへの移行などの適切な行動を実行する。
【００９１】
一実施形態では、劣化データを抑制するために利用される画像は、指紋感知システム１０１のメモリ１０５にステップＳ１０２で記憶され、このメモリは、実際のセンサ１０２の外部にある（センサ１０２とオンチップであるＯＴＰ１０８とは対照的に）。有益には、より大きな記憶容量を提供することに加えて、外部メモリ１０５を使用することは、作成された画像をホスト装置に記憶することを回避する。さらに有益な点は、指紋センサ１０２を新しいセンサと交換する必要がある状況では、既に作成された画像を新しいセンサをメモリに接続する際に外部メモリから取得することができるので、劣化データを備える記憶された画像をさらなる試験を実行することによって再度導出する必要がないことである。しかしながら、新しいセンサのために新しい画像を捕捉して記憶しなければならないことも可能である。
【００９２】
上述したように、劣化データが加法型のものである場合、処理ユニット１０３は、劣化データを備える記憶された画像のスケーリングされたバージョンを捕捉された画像から減算し、捕捉された画像中に存在する劣化データは抑制され、又は相殺さえされる。
【００９３】
別の実施形態では、劣化データが乗法型のものである場合、処理ユニット１０３は、捕捉された画像内に存在する劣化データを単一の記憶された画像の劣化データで除算し、捕捉された画像内に存在する劣化データは抑制されるか、又は相殺さえされる。
【００９４】
劣化データは加法的及び乗法的の両方であることをさらに想定することができる。
【００９５】
本発明は、いくつかの実施形態を参照して主に説明された。しかし、当業者には容易に理解されるように、添付の特許請求の範囲によって定義されるので、上記に開示されたもの以外の他の実施形態も本発明の範囲内で同様に可能である。
【図１】
2020511712.tif 000003
【図２】
2020511712.tif 000004
【図３】
2020511712.tif 000005
【図４】
2020511712.tif 000006
【図５】
2020511712.tif 000007
【図６Ａ】
2020511712.tif 000008
【図６Ｂ】
2020511712.tif 000009
【図６Ｃ】
2020511712.tif 000010
【図７】
2020511712.tif 000011
【図８】
2020511712.tif 000012
【図９】
2020511712.tif 000013
【図１０Ａ】
2020511712.tif 000014
【図１０Ｂ】
2020511712.tif 000015
【図１０Ｃ】
2020511712.tif 000016
【図１０Ｄ】
2020511712.tif 000017
【図１１】
2020511712.tif 000018
【図１２】
2020511712.tif 000019
【図１３】
2020511712.tif 000020
【図１４】
2020511712.tif 000021
【国際調査報告】
2020511712.tif 000022
2020511712.tif 000023
2020511712.tif 000024
2020511712.tif 000025