(57)【特許請求の範囲】
【請求項１】
バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定する方法であって、
超音波センサーのレンジゲートを調整することによって、バイオメトリックオブジェクトから超音波画像情報を取得するステップと、
少なくとも2つの分析段階で前記超音波画像情報を分析するステップとを含み、
前記分析段階の1つが、前記バイオメトリックオブジェクトが前記超音波センサーにとって連続的に使用可能であった時間期間の間に取得された前記超音波画像情報の変化を分析する時間的分析段階であり、
前記時間的分析段階が、前記画像情報の変化が生きているオブジェクトと一致する変化と類似しているかどうかを判定し、
前記分析段階の他方が、前記バイオメトリックオブジェクトが製造されているかどうかを判定し、前記バイオメトリックオブジェクトが3次元であるかどうかを判定し、および前記画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定するために前記画像情報を分析し、
前記バイオメトリックオブジェクトが製造されているかどうかを判定することが、前記バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、前記超音波センサーの前記レンジゲートを調整することによって取得された前記超音波画像情報を分析することを伴う、方法。
【請求項２】
前記時間的分析段階が、前記時間期間の間に前記バイオメトリックオブジェクトの特徴が変わったかどうかを判定し、随意に、前記特徴が、孔開口サイズ、孔の深さ、隆線パターン、およびテクスチャからなるグループから選択される、請求項1に記載の方法。
【請求項３】
前記バイオメトリックオブジェクトが3次元であるかどうかを判定することが、前記バイオメトリックオブジェクトのパターンが均一であるかどうかを判定することを含む、請求項1に記載の方法。
【請求項４】
前記バイオメトリックオブジェクトのパターンが均一であるかどうかを判定するために、ソーベルフィルタが使用される、請求項3に記載の方法。
【請求項５】
前記超音波画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定することが、前記超音波画像情報内に提示されたパターン分類を識別し、次いで、前記パターン分類が所定のパターン分類の中にあるかどうかを判定することを含む、請求項1に記載の方法。
【請求項６】
パターン分類を識別することが、前記バイオメトリックオブジェクトのパターンが隆線フローを示すかどうかを識別することを含む、請求項5に記載の方法。
【請求項７】
前記バイオメトリックオブジェクトが層から構成されているかどうかを判定するために前記超音波センサーが複数の超音波周波数を検出する、請求項1に記載の方法。
【請求項８】
前記オブジェクトが製造されているかどうかを判定することが、前記超音波画像情報の画質を評価することを含む、請求項1に記載の方法。
【請求項９】
(i)前記時間的分析段階が、前記超音波画像情報の変化が生きているオブジェクトと一致する変化と類似していることを示し、
(ii)前記分析段階の他方が、前記バイオメトリックオブジェクトが製造されていないことを示す
場合、前記バイオメトリックオブジェクトが生きている個人の一部であると結論付けるステップをさらに含む、請求項1に記載の方法。
【請求項１０】
前記分析された超音波画像情報に基づいて生存性出力信号を提供するステップをさらに含む、請求項1に記載の方法。
【請求項１１】
バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定するためのシステムであって、
超音波センサーのレンジゲートを調整することによって、前記バイオメトリックオブジェクトから超音波画像情報（MFA）を取得するように構成された手段と、
少なくとも2つの分析段階で前記超音波画像情報を分析するように構成された手段と、を含み、前記分析段階の1つが、前記バイオメトリックオブジェクトが前記超音波センサーにとって連続的に使用可能であった時間期間の間に取得された前記超音波画像情報の変化を分析する時間的分析段階であり、
前記時間的分析段階が、前記超音波画像情報の変化が生きているオブジェクトと一致する変化と類似しているかどうかを判定し、
前記分析段階の他方が、
(a)前記バイオメトリックオブジェクトが3次元であるかどうかを判定することと、
(b)前記超音波画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定することと、
(c)前記バイオメトリックオブジェクトが製造されているかどうかを判定することであり、前記バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、前記超音波センサーの前記レンジゲートを調整することによって取得された前記超音波画像情報を分析することを伴う、判定することと、
(d)前記バイオメトリックオブジェクトが前記MFAにとって連続的に使用可能であった時間期間を選択し、生きているオブジェクトと一致するような形で前記時間期間の間に前記超音波画像情報が変わったかどうかを判定することと
を伴う判定をするために前記超音波画像情報を分析することを伴う、システム。
【請求項１２】
前記画像情報が、前記超音波センサーのレンジゲートを調整することによって取得される超音波画像情報を含み、前記分析するための手段によって、
(i)前記バイオメトリックオブジェクトが3次元であると判定され、
(ii)前記超音波画像情報における前記パターンタイプが所定のパターンタイプの中にあり、
(iii)前記バイオメトリックオブジェクトが製造されていないと判定され、
(iv)前記バイオメトリックオブジェクトが生きているオブジェクトと一致するように挙動すると判定された
場合、前記バイオメトリックオブジェクトは生きている個人の一部であると結論付けるための手段と
を含む、請求項１１に記載のシステム。
【請求項１３】
コンピュータ実行可能コードを記憶する非一時的コンピュータ可読媒体であって、前記実行可能コードが、
超音波センサーのレンジゲートを調整することによって、バイオメトリックオブジェクトから超音波画像情報を取得し、
少なくとも2つの分析段階で前記超音波画像情報を分析するための命令を含み、
前記分析段階の1つが、前記バイオメトリックオブジェクトが前記超音波センサーにとって連続的に使用可能であった時間期間の間に取得された前記超音波画像情報の変化を分析する時間的分析段階であり、
前記時間的分析段階が、前記超音波画像情報の変化が生きているオブジェクトと一致する変化と類似しているかどうかを判定し、
前記分析段階の他方が、前記バイオメトリックオブジェクトが製造されているかどうかを判定し、前記バイオメトリックオブジェクトが3次元であるかどうかを判定し、および前記画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定するために前記超音波画像情報を分析し、
前記バイオメトリックオブジェクトが製造されているかどうかを判定することが、前記バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、前記超音波センサーの前記レンジゲートを調整することによって取得された前記超音波画像情報を分析することを伴う、非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その開示が参照により本明細書に組み込まれる、2015年4月23日に出願された現在係属中の米国仮出願第62/151,983号、および現在係属中の米国仮出願第62/046,744号の優先権を主張する。本出願は、その全体が2015年9月3日に本明細書と同時に出願された「Image-Based Liveness Detection for Ultrasonic Fingerprints」という名称の同時係属中の米国出願第14/845,174号の開示を組み込む。
【０００２】
本開示は、生存性を判定するデバイスおよび方法に関する。
【背景技術】
【０００３】
バイオメトリックセンサーは、あるアクティビティに従事することを認可された個人と、そのアクティビティに従事することを認可されていない個人とを区別するために広く使用されている。たとえば、一般に、個人によって提供される指紋がデータベース内の情報と一致するかどうかを判定するために指紋センサーが使用され、一致が判定された場合、個人はアクティビティに関与することが許可され得る。たとえば、個人は、建物や部屋に入ることが許可され得、または、モバイルフォンやモバイルデバイス上で稼働しているアプリケーションなどの電子デバイスを使用することが許可され得る。
【０００４】
バイオメトリックセンサーは、欺かれ(「スプーフィングされた」とも呼ばれる)、それによって、無認可の個人が、認可された個人のために確保されたアクティビティに参加できるようになる可能性がある。指紋センサーのスプーフィングは、様々な方法で達成され得る。これらには、偽の指紋の使用、指以外の身体部分の使用、および人の死んだ指の使用などがある。指紋センサーに使用される特定のタイプのスプーフィングがあらかじめわかっている可能性は低いので、すべてのタイプのスプーフを防ぐことが重要である。スプーフィングを防ぐ1つの方法は、バイオメトリックオブジェクトが生存性に関連する特性を示すかどうかを判定することを伴う。
【０００５】
ユーザの識別および/または検証にますます多くのバイオメトリクスが使用されるようになるにつれて、アクセスのセキュリティおよび精度を確実にするために、生体検知がますます重要になっている。識別システムおよび/または検証システムを欺く多くの方法は、生きていないスプーフを使用するので、生体検知は重要である。たとえば、ラテックス指は、認可されたユーザの指紋に似た隆線および谷線を有するように作られ得る。そのようなラテックスのスプーフが指紋センサーに提示されると、スキャニングシステムは、ラテックスのスプーフが生物の一部ではないにもかかわらず、ラテックスのスプーフが認可されたユーザの指であると誤って結論付ける可能性がある。したがって、バイオメトリックオブジェクトが生物の一部であるかどうかを検出することができるシステムは、スプーフの存在を検出するのに有用である。そのようなシステムでは、バイオメトリックオブジェクトが生きている個人の一部ではないと判定された場合、たとえバイオメトリック情報(たとえば指紋など)が関連する識別/検証データベース内の情報と一致するとしても、バイオメトリックオブジェクトを提示する個人は、アクセス(たとえば、要求されたアクティビティへのアクセス)を拒否され得る。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第7,739,912号
【非特許文献】
【０００７】
【非特許文献１】U.S. Nonprovisional Patent Application titled "Image-Based Liveness Detection for Ultrasonic Fingerprints" filed on September 3, 2015
【発明の概要】
【課題を解決するための手段】
【０００８】
本開示の一実装形態は、バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定する方法として説明され得る。この方法は、センサーを使用してバイオメトリックオブジェクトから画像情報を取得するステップを含み得る。画像情報は、バイオメトリックオブジェクトが置かれたプラテンを使用して取得され得る。センサーは、超音波センサーであってもよく、センサーのレンジゲートは、たとえば、バイオメトリックオブジェクトが層から構成されているかどうかを判定するために調整され得る。センサーは、たとえば、バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、複数の超音波周波数を検出するように構成されてもよい。この方法は、少なくとも2つの分析段階で画像情報を分析するステップをさらに含み得る。
【０００９】
分析段階の1つは、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間の間に取得された画像情報の変化を分析する時間的分析段階であり得る。時間的分析段階は、画像情報の変化が、生きているオブジェクトと一致する変化と類似しているかどうかを判定し得る。時間的分析段階は、時間期間の間にバイオメトリックオブジェクトの特徴が変わったかどうかを判定し得る。特徴は、孔開口サイズ、孔の深さ、隆線パターン、およびテクスチャを含み得る。
【００１０】
分析段階の1つは、バイオメトリックオブジェクトが3次元であるかどうかを判定するために画像情報を分析し得る。バイオメトリックオブジェクトが3次元であるかどうかを判定することは、バイオメトリックオブジェクトのパターンが均一であるかどうかを判定することを含み得る。ソーベルフィルタを使用して、バイオメトリックオブジェクトのパターンが均一であるかどうかを判定し得る。
【００１１】
分析段階の1つは、たとえば、画像情報内に提示されたパターン分類を識別し、次いで、パターン分類が、所定のパターン分類の中にあるかどうかを判定するなど、画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定するために、画像情報を分析し得る。パターン分類を識別することは、バイオメトリックオブジェクトのパターンが隆線フローを示すかどうかを識別することを含み得る。
【００１２】
分析段階の1つは、たとえば、バイオメトリックオブジェクトが層から構成されているかどうかを判定することによって、バイオメトリックオブジェクトが製造されているかどうかを判定するために、画像情報を分析し得る。画像情報はまた、バイオメトリックオブジェクトが製造されているかどうかを判定するために、画像情報の画質を評価するためにも分析され得る。
【００１３】
この方法は、時間的分析段階が、画像情報の変化が生きているオブジェクトと一致する変化と類似していることを示す場合、バイオメトリックオブジェクトが生きている個人の一部であると結論付けるステップをさらに含み得、他方の分析段階は、オブジェクトが3次元であることを示す。分析された画像情報に基づいて、生存性出力信号が提供され得る。いくつかの実装形態では、単一の画像からの画像情報の分析に基づく画像ベースの生体検知は、非時間的分析段階の1つとして働き得る。いくつかの実装形態では、2つ以上の画像からの画像情報の分析に基づく画像ベースの生体検知は、時間的分析段階として働き得る。いくつかの実装形態では、複合判定を形成するために、複数の単一の画像の各々からの中間判定が融合され得る。
【００１４】
本開示の一実装形態は、バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定する方法として説明され得る。この方法は、センサーを使用してバイオメトリックオブジェクトから画像情報を取得するステップを含み得る。この方法は、画像情報を分析するステップをさらに含み得る。画像情報の分析は、バイオメトリックオブジェクトが3次元であるかどうかを判定することを含み得る。画像情報の分析は、画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定することも含み得る。画像情報の分析は、バイオメトリックオブジェクトが製造されているかどうかを判定することも含み得る。画像情報の分析は、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間を選択することと、生きているオブジェクトと一致するような形で時間期間の間に画像情報が変わったかどうかを判定することとを含み得る。この方法は、バイオメトリックオブジェクトが3次元であると判定され、画像情報におけるパターンタイプが所定のパターンタイプの中にあり、バイオメトリックオブジェクトが製造されていないと判定され、バイオメトリックオブジェクトが生きているオブジェクトと一致するように挙動すると判定された場合、バイオメトリックオブジェクトが生きている個人の一部であると結論付けるステップをさらに含み得る。
【００１５】
本開示の一実装形態は、コンピュータ実行可能コードを記憶する非一時的コンピュータ可読媒体として説明され得る。実行可能コードは、センサーを使用してバイオメトリックオブジェクトから画像情報を取得するための命令を含み得る。実行可能コードは、少なくとも2つの分析段階で画像情報を分析するための命令も含み得る。分析段階の1つは、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間の間に取得された画像情報の変化を分析するための命令を有する時間的分析段階であり得る。
【００１６】
本開示の一実装形態は、バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定するためのシステムとして説明され得る。このシステムは、バイオメトリックオブジェクトから画像情報を取得するように構成されたセンサーを含み得る。センサーは超音波センサーであってもよく、センサーのレンジゲートは調整可能であり得る。センサーは、複数の超音波周波数を検出するように構成され得る。センサーは、バイオメトリックオブジェクトが置かれるプラテンも有し得る。
【００１７】
システムは、少なくとも2つの分析段階で画像情報を分析するように構成されたプロセッサも含み得る。分析段階の1つは、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間の間に取得された画像情報の変化を分析する時間的分析段階であり得る。プロセッサは、バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、センサーのレンジゲートを調整するように構成され得る。
【００１８】
本開示の一実装形態は、バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定する方法として説明され得る。1つのそのような方法では、超音波センサーなどのセンサーを使用してバイオメトリックオブジェクトから画像情報が取得され得る。画像情報は、1つまたは複数の分析段階で分析され得る。分析段階の1つは、バイオメトリックオブジェクトが生きているか死んでいるかを判定しようと試み得る。デッド/アライブ段階は、2つの異なる時に収集された画像情報セットを取得し、次いで、ある時から次の時への変化を識別するために、取得された画像情報間の差異を分析し得る。デッド/アライブ段階は、時間の経過による変化を識別し、評価しようとするので、デッド/アライブ段階は、本明細書では「時間的分析段階」と呼ばれることがある。デッド/アライブ段階以外の段階は、時間の経過による変化を評価しようとするのではなく、特定の時に取得された特定の画像情報セットの態様に焦点を合わせ得る。非時間的段階は、画像情報セットが、生きているバイオメトリックオブジェクトと一致するものに類似する特性を示すかどうかを判定しようとし得る。非時間的段階は、本明細書では「予想されるバイオメトリック段階」を表す「EBS」と呼ばれ得る。
【００１９】
時間的分析段階が、バイオメトリックオブジェクトが死んでいることを示す場合、または、EBSが、バイオメトリックオブジェクトが予想に一致しないことを示す場合、アクセスまたは要求されたアクティビティが拒否され得る。しかしながら、時間的分析段階が、バイオメトリックオブジェクトが生きていることを示す場合、または、EBSのすべてが予想に一致する場合、アクセスまたは要求されたアクティビティが許可され得る。
【００２０】
時間的分析段階は、画像情報の変化が、生きているオブジェクトと一致する変化と類似しているかどうかを判定し得る。そのような分析は、時間期間の間にバイオメトリックオブジェクトの特定の特徴が変わったかどうかを判定し得る。たとえば、特徴は、孔開口サイズ、孔の深さ、孔の特徴、隆線パターン、隆線の幅、流体の排出、局所的なテクスチャ、構造的な特徴、バイオメトリック特徴またはバイオメトリック変化を含み得る。この方法のセキュリティを向上させるために、時間的分析段階は、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間の間に取得された画像情報の変化を分析し得る。
【００２１】
1つまたは複数の予想されるバイオメトリック段階が含まれ得る。1つのそのようなEBSは、バイオメトリックオブジェクトが2次元であるか3次元であるかを判定しようとし得る。そうするための方法は、バイオメトリックオブジェクトのパターンが均一であるかどうかを判定し得る。パターンが均一であると判定された場合、オブジェクトが2次元であり、スプーフの可能性があると判定され得、アクセスまたは要求されたアクティビティが拒否され得る。たとえば、取得された画像内の指紋隆線の縁部は、極めて明確に定義されている場合があり、指紋の印刷された写真の複製のようなおおむね平面の2次元のスプーフの可能性を示す。代替的に、この方法は、たとえば、センサーアレイのプラテン上に配置された隆線の縁部における湾曲変化を評価することによって、指紋の隆線および谷線のような画像特徴が3次元であるかどうかを判定し得る。
【００２２】
EBSの別のタイプは、画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定するために、画像情報を分析し得る。そのような方法は、画像情報内に提示されたパターンを分類し、次いで、識別されたパターン分類が、生きている指のような許容可能なバイオメトリックオブジェクトに対応するものであると以前に判定された、所定のパターン分類の中にあるかどうかを判定しようとし得る。1つのそのような分類は、隆線フローを示すパターンに関係し得る。画像情報によって示されるパターンタイプが隆線フローを示すタイプである場合、オブジェクトが、異なる身体部分(たとえば、鼻、頬、掌、または肘)とは対照的に、指であり得るという判定が行われ得る。
【００２３】
EBSの別のタイプは、バイオメトリックオブジェクトが製造されているかどうかを判定するために画像情報を分析し得る。製造されたオブジェクトはしばしば層を有するので、製造されたスプーフを識別するための1つのそのようなEBSにおいて、バイオメトリックオブジェクトが層から構成されているかどうかに関する判定が行われ得る。たとえば、無認可の人の指の上で摺動される、指紋の隆線および谷線を有する薄いラテックススリーブは、スプーフ内に存在する層を有するものとしてEBSによって検出可能であり得る。ターゲットオブジェクト内の層は、超音波センサーを使用し、様々なレンジゲート遅延および/または複数の超音波周波数を使用して画像情報を捕捉して、検出され得る。いくつかの実装形態では、1つまたは複数の画像ベースの生体検知分析からの中間判定を使用して、オブジェクトが製造されているかどうかを判定し得る。代替的に、製造されたスプーフは、指の型に注入されたシリコーンポリマーのような固体の単一の材料から形成され得る。単一材料のスプーフフィンガーは、人間の指の皮膚、骨、および血管の層とは異なり、内層を有していない可能性があり、層の存在(またはその欠如)を分析するEBSは、単一材料のスプーフは生きていないと判定し得る。
【００２４】
本開示の性質および目的のより深い理解のために、添付の図面および後続の説明が参照されるべきである。手短には、図面は以下の通りである。
【図面の簡単な説明】
【００２５】
【図１】生存性を判定する方法を示す流れ図である。
【図２】分析段階が連続的に実行される生存性を判定する方法を示す流れ図である。
【図３】分析段階が並行して実行される生存性を判定する方法を示す流れ図である。
【図４】4つの分析段階を有する生存性を判定する方法を示す流れ図である。
【図５】4つの分析段階を有する生存性を判定する別の方法を示す流れ図である。
【図６Ａ】生存性を判定する他の方法を示す流れ図である。
【図６Ｂ】生存性を判定する他の方法を示す流れ図である。
【図７Ａ】本物の指および偽の指から反射された超音波信号を示す超音波センサーの断面図である。
【図７Ｂ】本物の指および偽の指から反射された超音波信号を示す超音波センサーの断面図である。
【図７Ｃ】本物の指および偽の指から反射された超音波信号を示す超音波センサーの断面図である。
【図８Ａ】指紋画像および他の身体部分からの画像を示す図である。
【図８Ｂ】指紋画像および他の身体部分からの画像を示す図である。
【図９】本物の指および偽の指についての異なる周波数およびレンジゲート遅延で取得された画像情報から導出された画像を示す図である。
【図１０】本物の指と偽の指との間の画質の差を評価するために使用され得る画像情報を示す図である。
【図１１Ａ】指紋画像の時間的変化を示す図である。
【図１１Ｂ】指紋画像の時間的変化を示す図である。
【図１１Ｃ】指紋画像の時間的変化を示す図である。
【図１２】指紋登録および/または認証、続いて生存性判定段階についての一般化されたフローを示す図である。
【図１３】超音波センサーシステムの一般化されたブロック図である。
【図１４】超音波センサーシステムのより詳細なブロック図である。
【図１５Ａ】超音波センサーアレイの様々な構成を示す図である。
【図１５Ｂ】超音波センサーアレイの様々な構成を示す図である。
【図１５Ｃ】超音波センサーアレイの様々な構成を示す図である。
【図１５Ｄ】超音波センサーアレイの様々な構成を示す図である。
【図１６Ａ】本明細書で説明する指紋感知システムを含むディスプレイデバイスを示すシステムブロック図の例を示す図である。
【図１６Ｂ】本明細書で説明する指紋感知システムを含むディスプレイデバイスを示すシステムブロック図の例を示す図である。
【発明を実施するための形態】
【００２６】
バイオメトリクスの多くのモダリティの中で、指紋は最も研究され、使用されている。本明細書に記載された実装形態は、指紋に焦点を合わせているが、本開示は指紋に限定されない。たとえば、開示されたシステムおよび方法は、掌紋または手形認識のような他のバイオメトリクスとともに使用されてもよい。
【００２７】
図1は、生存性を判定する方法を示す流れ図である。100で、オブジェクトに関する画像情報が取得され、103で、オブジェクトが生きている個人の一部であるかどうかを判定するために分析され得る。生存性を判定するために使用される画像情報は、オブジェクトの画像を生成するために使用される同じ情報であり得る。たとえば、画像情報は、「Ultrasonic Fingerprint Scanning Utilizing a Plane Wave」という名称の米国特許第7,739,912号に記載されているように、超音波センサーを使用して100で取得された指紋に関する情報であり得る。画像情報の分析は、モバイルデバイスの1つまたは複数のアプリケーションプロセッサなど、画像情報を分析するようにプログラムされた1つまたは複数の多目的コンピュータまたはプロセッサによって実行され得る。取得された画像情報またはデータは、たとえば、ノイズを低減し、コントラストを増大させ、アーティファクトを除去し、または温度効果を補償するために、必要に応じて前処理されてもよい。103での画像情報の分析が、バイオメトリックオブジェクトが生きている個人の一部ではないことを示す場合、150で、個人によって要求されたアクティビティ(アプリケーションへのアクセスまたは購入の許可など、単に所望されるアクティビティを含む)が拒否され得る。たとえば、個人が施設、コンピュータデータベース、またはモバイルデバイスアプリケーションへのアクセスを要求し、情報分析が、バイオメトリックオブジェクトが生きている個人の一部ではないことを示す場合、個人は、場合によっては、施設、データベース、またはアプリケーションへのアクセスが許可されない可能性がある。しかしながら、画像情報の分析が、バイオメトリックオブジェクトが生きている個人の一部であることを示す場合、個人は、場合によっては、153で、施設、データベース、またはアプリケーションへのアクセスが許可され得る。いくつかの実装形態では、アクセスが認められ得る前、または要求されたアクティビティが許可される前に、生存性の表示に加えて、ユーザの識別、検証、または認証が必要とされ得る。
【００２８】
オブジェクトが生きている個人の一部であるかどうかを判定するための画像情報の103での分析は、2つ以上の分析段階を介して実行され得る。分析段階は、並行して(すなわち、ある段階が、別の段階が実行される間に実行される)、または連続的に(すなわち、ある段階が別の段階の後に)実行され得る。図2は、分析段階103A、103Bが連続的に実行される生存性を判定する方法を示す流れ図である。図3は、分析段階103A、103Bが並行して実行されることを除いて、図2に類似する。
【００２９】
図2および図3に関して、分析段階の1つ103Aは、バイオメトリックオブジェクトが死んでいるか生きているかを判定しようとし得る。デッド/アライブ判定103Aを行う1つの方法は、時間に対する画像情報の変化を識別し、評価することである。1つのそのような分析では、オブジェクトに関する少なくとも2組の画像情報またはデータが取得され、互いに比較される。たとえば、超音波センサーアレイを使用して、指などのバイオメトリックオブジェクトから画像情報または情報を取得することによって、収集された画像情報が取得され得る。第1の時間に画像情報を取得することによって取得される第1の組の画像情報が、第2の時間に画像情報を取得することによって取得される第2の組の画像情報と比較され、2つの情報セットの間の変化が識別され得る。情報セットは異なる時間に取得されるので、この分析段階は、2つの時間期間の間に生じる変化を識別しようとし、したがって、「時間的分析段階」と呼ばれ得る。時間的分析段階が、生きているオブジェクトと一致する変化に類似する変化を識別する場合、時間的分析段階は、バイオメトリックオブジェクトが生きている個人の一部であることを示すと結論付け得る。デッド/アライブ段階は、オブジェクトがセンサーにとって連続的に使用可能であった時間期間の間にオブジェクトの特徴が変化したかどうかに関する判定を生成しようとし得ることに留意されたい。たとえば、図6Aで説明するように、104で、オブジェクトがセンサーにとって連続的に使用可能であった時間期間が選択され得る。このようにして、同じバイオメトリックオブジェクトに対して時間的分析が行われることの何らかの保証が提供される。すなわち、この方法/システムは、2つの異なるバイオメトリックオブジェクトの使用を防止するように実施され得る。たとえば、2つの異なる時に2つの異なるバイオメトリックオブジェクトを使用することを防止するために、超音波センサーアレイに結合されたプラテンの表面上に配置された指のようなバイオメトリックオブジェクトから、一連の連続的な画像が取得され得、時間的分析に使用される画像情報セットの取得の間の時間期間の間に同じ指がプラテン表面上に保持されていたと判定するために、十分な数の連続的な画像が取得される。いくつかの実装形態では、指または他のバイオメトリックオブジェクトがプラテン表面から取り除かれていないことを確実にするために、より簡単な分析ルーチンで連続的に取得されたデータセットが分析され得る。いくつかの実装形態では、時間的分析は、同じ指で2回以上実行され得る。いくつかの実装形態では、時間的分析は、2組以上の画像情報を使用し得る。バイオメトリックオブジェクトが取り除かれておらず、別のバイオメトリックオブジェクトによって置き換えられていないことを確実にするために連続的に取得されたデータセットが、時間的データセットのいずれかの取得の間に挿入され得る。
【００３０】
時間的分析段階は、特に、脈拍、または発汗、皮脂の排出、もしくは筋肉の動きなど他の生物学的機能を有するオブジェクトを示すものなど、孔サイズの変化または隆線パターンの変化などの変化について、画像情報セットまたは画像情報を分析し得る。時間的分析段階の一部として検出され得る他の変化は、孔の深さの変化またはテクスチャの変化を含む。孔サイズは、皮脂もしくは汗の排出のため、または指がプラテン表面に押し付けられたとき単に孔の外径の変動のために時間とともに変化し得る。指がプラテン表面に押し付けられ、保持されると、特に、心臓の鼓動とともに指先の血圧が変化する、または筋肉の局所的な収縮および弛緩が押された指において起こると、隆線の位置、隆線の幅、または隆線の幅と谷線の幅の比のような隆線パターンは、変わり得る。指がプラテン表面によりひどく、および柔らかく押し付けられ、結果的にプラテンに接触する皮膚の面積が増減すると、テクスチャの変化が短い時間間隔で生じる可能性がある。たとえば、孔開口の周りに不完全な隆線を有する開いた孔は、より高い指圧が加えられると、閉じた孔となり得る。孔の深さは、プラテン表面に対する孔径の変化によって示されるように、時間および圧力によって変化し得る。様々なレンジゲート遅延による時間的撮像は、孔径または孔の深さなどの時間的変化が検出され得る指への撮像を可能にし得る。
【００３１】
時間的分析から、画像情報の変化が生じたとの判定がなされた場合、時間的分析段階は、画像情報の変化が生きているオブジェクトと一致する変化と類似しているかどうかを判定することを含み得る。時間的分析によって、変化が生きているオブジェクトと一致するものと一致していると判定された場合、時間的分析段階は、バイオメトリックオブジェクトが生きている個人の一部である可能性があるという表示を生成し得る。しかしながら、時間的分析によって、変化が生きているオブジェクトと一致するものと一致していないと判定された場合、時間的分析段階は、バイオメトリックオブジェクトが生きている個人の一部でない可能性があるという表示を生成し得る。
【００３２】
デッド/アライブ段階103Aに加えて、少なくとも1つの他の分析段階103Bがあり得る。分析段階103Bをデッド/アライブ段階103Aとより明確に区別するために、分析段階103BはEBSの一例であり得る。バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定するのに好適な方法/システムを提供するために、1つまたは複数のEBS103Bがデッド/アライブ段階103Aと結合され得る。EBS103Bの間、取得された情報の分析は、オブジェクトが3次元であるかどうか、画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうか、および/またはオブジェクトが製造されているかどうかを判定することに向けられ得る。これらの分析の各々について、以下でさらに詳しく説明する。デッド/アライブ段階103AおよびEBS103Bが各々、バイオメトリックオブジェクトが生きている個人の一部であるという判定を生成する場合、本明細書で開示されるシステムまたは方法は、画像情報が取得された時にバイオメトリックオブジェクトが生きている個人の一部であったという表示を生成し得る。しかしながら、デッド/アライブ段階103AまたはEBS103Bが、バイオメトリックオブジェクトが生きている個人の一部でないという表示を生成する場合、本明細書で開示されるシステムまたは方法は、バイオメトリックオブジェクトが生きている個人の一部でないという表示を生成し得る。システム/方法が、バイオメトリックオブジェクトが生きている個人の一部である可能性があるという表示を生成する場合、バイオメトリックオブジェクトを提示した個人が要求されたアクティビティに従事することを認可され得るかどうかを判定するために、バイオメトリックオブジェクトから取得された情報が分析され得る。いくつかの実装形態では、アクセスが認められ得る前、または要求されたアクティビティが許可され得る前に、生存性の肯定的な表示に加えて、ユーザの識別、検証、または認証が必要とされ得る。
【００３３】
生存性を判定するための方法の一般的な概要を説明してきたので、以下で追加の詳細を提供する。図4は、(図2のように)連続的に実行されるように示されている4つの分析段階を有する生存性を判定する方法を示すフロー図である。図2とは異なり、図4には、デッド/アライブ段階103AがEBS103Bの後に実行されるように示されている。図5は、分析段階が並行して実行されるように示されていることを除いて、図4に類似の方法を示す。特に、分析段階のうちの1つがあまり労力を必要としない、時間があまりかからない、または他の分析段階よりも計算上あまりコストがかからないとき、分析段階の連続的な実行は、いくつかの利点をもたらし得る。たとえば、そのような分析段階があまり労力を必要としない、時間があまりかからない、または他の分析段階よりもあまりコストがかからない場合、他の段階の実行に優先するように、そのような段階から、オブジェクトが生きていないという表示が使用され、それによって時間およびエネルギーが節約され得るので、その段階を他の段階の前に実行することが有益であり得る。代替的に、分析段階の並行の実行は、方法でのすべてのバイオメトリック分析段階の実行により、全体的な実行時間の高速化、待ち時間の低減、より良いユーザエクスペリエンス、および生存性判定のより高い信頼性など、様々な利益をもたらし得る。
【００３４】
図4は、EBS103Bによって、画像情報が予想されるバイオメトリックオブジェクトと相関していないと判定された場合、EBS103Bは、提示されたバイオメトリックオブジェクトが生きている個人の一部ではない可能性があるという表示を生成し得ることを示す。そして、その場合、方法は、個人がアクセスを許可されるべきではない、または要求されたアクティビティに従事するべきではないという旨の表示を生成し、要求されたアクティビティまたはアクセスが、150で拒否され得る。各EBSサブステージ103B(i)〜(iii)が、画像情報が予想されたバイオメトリックと相関していることを示す場合、分析はデッド/アライブ段階103Aに進み得る。デッド/アライブ段階103Aが、情報を提供したオブジェクトが生きていないと判定した場合、EBS103Bは、提示されたバイオメトリックオブジェクトが生きている個人の一部ではない可能性があるという表示を生成し得る。しかしながら、各EBSサブステージ103B(i)〜(iii)によって、およびデッド/アライブ段階103Aによって、提示されたバイオメトリックオブジェクトが生きている個人の一部であると判定された場合、バイオメトリックオブジェクトが生きている個人の一部である可能性があるという表示が生成され得る。そして、その場合、方法は、個人がアクセスを許可されるべきである、または要求されたアクティビティに従事するべきであるという旨の表示を生成し、要求されたアクティビティまたはアクセスが、153で許可され得る。いくつかの実装形態では、アクセスが認められ得る前、または要求されたアクティビティが許可される前に、生存性の表示に加えて、ユーザの識別、検証、または認証が必要とされ得る。
【００３５】
図6Aは、生存性を判定する別の方法を示す流れ図である。図6Aに示された方法は、バイオメトリックオブジェクトが生きている個人の一部であるかどうかを判定し得、以下のステップを含む。
1.100で、センサーを使用してバイオメトリックオブジェクトから画像情報を取得し、随意に、画像情報を前処理する。
2.画像情報を分析して
(a)103B(i)でバイオメトリックオブジェクトが3次元であるかどうかを判定する。
(b)103B(ii)で画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定する。
(c)103B(iii)でバイオメトリックオブジェクトが製造されているかどうか(たとえば、非バイオメトリック)を判定する。
(d)バイオメトリックオブジェクトがセンサーにとって連続的に使用可能である時間期間を選択し、103Aで、生きているオブジェクトと一致するような形で時間期間の間に画像情報が変わったかどうかを判定する。
3.以下の場合、バイオメトリックオブジェクトは生きている個人の一部であると結論付ける。
(i)バイオメトリックオブジェクトが3次元であると判定され、
(ii)画像情報におけるパターンタイプが所定のパターンタイプの中にあり、
(iii)バイオメトリックオブジェクトが製造されていないと判定され、
(iv)バイオメトリックオブジェクトが生きているオブジェクトと一致するように挙動すると判定された場合。
【００３６】
上記の概要を念頭に置いて、EBS103Bの間に実施され得る特定のタイプの分析に関する追加の詳細を提供する。特に、EBS103Bは、以下の質問のうちの1つまたは複数に向けられる取り組みを含み得る。
(i)オブジェクトは3次元であるか?
(ii)画像情報におけるパターンタイプは所定のパターンタイプの中にあるか?、および/または
(iii)オブジェクトは製造されているか?
【００３７】
バイオメトリックオブジェクトが3次元であることを画像情報が示す場合、提示されたバイオメトリックオブジェクトが生きている個人の一部であり得るということがEBS103B(i)によって結論付けられ得る。画像情報が超音波センサーから取得されたとき、そのような分析は、バイオメトリックオブジェクトのパターンが均一である度合いを判定することを含み得る。指紋の2次元のスプーフは、通常、3次元の指よりも超音波のより均一な反射を有する。
【００３８】
図6Bは、生存性を判定する別の方法650を示す流れ図である。方法は、センサーを使用してバイオメトリックオブジェクトから画像情報を取得するステップ651を含む。この方法は、少なくとも2つの分析ステップで画像情報を分析するステップ653をさらに含む。分析段階の1つは、バイオメトリックオブジェクトがセンサーにとって連続的に使用可能であった時間期間の間に取得された画像情報の変化を分析する時間的分析段階であり得る。センサーは超音波指紋センサーであり得る。センサーは、バイオメトリックオブジェクトが配置され得るプラテンを含み得る。いくつかの実装形態では、撮像されるバイオメトリックオブジェクトがセンサーにとって連続的に使用可能であり、別のバイオメトリックオブジェクトによって置き換えられていないことを確実にするために、時間的分析に使用される画像情報のセットの間で時系列的に追加の画像情報のセットが取得され得る。
【００３９】
図7A〜図7Cは、本物の指および偽の指から反射された超音波信号を示す超音波センサーシステムの超音波センサーアレイ702の断面図を図式的に示す。
【００４０】
図7Aは、圧電層714の各側面に配置された送信機電極712と716との間に圧電層714が配置された超音波送信機710から送り出される実質的に平面の超音波平面波718aを示す。超音波送信機710は、その上にTFT回路722が形成されたTFT基板720に結合され得る。超音波送信機710は、1つまたは複数の超音波平面波718aを、TFT基板720、TFT回路722、およびカバー層740を介して送り出し得る。いくつかの実装形態では、カバー層740は、保護プラテンとして働き得る。いくつかの実装形態では、ディスプレイデバイスのカバーガラスまたはカバーレンズが、プラテンまたはカバー層740として働き得る。カバー層740の外面上に保護被覆層742が含まれ得る。被覆層742は、汚れ防止層、耐引掻性層、環境保護層、音響インピーダンス整合層、光学干渉フィルタ、または他の機能層として働き得る。被覆層742は、サブレイヤのマルチレイヤスタックを含み得る。いくつかの実装形態では、被覆層742は、超音波受信機730上に直接配置され、プラテンとして働き得る。いくつかの実装形態では、超音波センサー702は、カバー層740または被覆層742なしで構成されてもよく、超音波受信機703の外面が感知面として働く。
【００４１】
指750のようなバイオメトリックオブジェクトが超音波センサーアレイ702の外面に配置され得る。カバー層740および随意の被覆層742を通って進む超音波平面波718aは、超音波センサーアレイ702と指750との間の面から反射し得る。指750の隆線領域754の間の谷線領域756は、入射超音波エネルギーの大部分をTFT回路722に向けて反射し得る。センサー表面と接触している指750の隆線領域754は、入射超音波エネルギーを吸収し、分散させ、または伝達し、その結果、TFT回路722に向かって反射される超音波エネルギーの量が少なくなり得る。指750の隆線領域および谷線領域から反射された超音波エネルギーは、TFT回路722の一部またはすべてに配置された圧電受信機層732によって、TFT回路722のセンサーピクセル724の下にあるアレイ726によって検出され得る電荷に変換され得る。受信機バイアス電圧は、圧電受信機層732上に配置された受信機バイアス電極734に印加されて、反射超音波718b(図7B参照)が圧電受信機層732およびTFT回路722を通過する際の画像情報の取得を可能にし得る。ひとたび取得されると、センサーピクセル724のアレイ726からのピクセル出力信号は、1つまたは複数のデータおよび制御ラインを使用したさらなる処理のために、TFT回路722からクロックアウトされ得る。
【００４２】
本物の指750aが超音波センサーアレイ702のセンサー表面744上に配置された状態で、超音波センサーアレイ702の拡大部分が図7Bに示されており、指の隆線領域754からの反射超音波718bを示している。入射超音波平面波718aはセンサー表面744から反射し、反射波718bの一部は、図7Cに示される平らな偽の指750bと比較して、より高い角度で、ある程度遅延した時間で、指隆線領域754の縁部から反射する。図7Cの偽の指750bは、指紋の印刷された写真の複製、または不十分な深さの谷線領域を有する低品質の不完全に作られたシリコーンスプーフのような、おおむね2次元のスプーフを示す。取得された画像情報のレベルおよび均一性が分析され、偽の指750bが指紋の1つまたは複数の予想されるバイオメトリック特徴を有していないという判定がなされ得る。
【００４３】
ソーベルフィルタを使用して、バイオメトリックオブジェクトのパターンが均一である度合いを判定し得る。均一であると判明した場合、バイオメトリックオブジェクトが2次元であるとの判定がなされ、その状況では、生存判定が否定(生きていない)であり、アクセスまたは要求されたアクティビティが拒否され得る。そのような分析では、ソーベルフィルタ「S」は、
【００４４】
【数１】
0006656228.tif 000002
【００４５】
であり、転置行列S'を使用して、画像情報に対応する関心領域をフィルタ処理し得る。次いで、フィルタ処理された画像の冪和を計算し、冪和の平均値が所定のしきい値よりも低い場合、画像情報は「弱いエッジ」を有し、バイオメトリックオブジェクトが2次元であると判定され得る。
【００４６】
画像情報が画像情報におけるパターンタイプに関するいくつかの特性を示す場合、バイオメトリックオブジェクトが生きている個人の一部であるということがEBS103B(ii)によって結論付けられ得る。EBS103B(ii)は、画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定することを含み得る。画像情報におけるパターンタイプが所定のパターンタイプの中にあるかどうかを判定することが、画像情報内に提示されたパターン分類を識別し、次いで、パターン分類が所定のパターン分類の中にあるかどうかを判定することを含み得る。いくつかの実装形態では、パターン分類を識別することは、バイオメトリックオブジェクトのパターンが指紋画像の特性である隆線フローを示すかどうかを識別することを含み得る。そのような分析では、画像情報の一部分またはブロックに関して隆線フロー抽出アルゴリズムを使用して、画像情報のその部分によって示される隆線フローが、本物の指からであることがわかっている所定のテンプレートと十分に類似しているかどうかを判定し得る。画像情報の隆線フローがテンプレートと十分に似ていない場合、画像情報が人間の指から来ていないと判定され得(たとえば、画像情報が人間以外のものであった、または画像情報が人間からの、しかし、鼻、頬、掌または肘からのものであった)、その場合、要求されたアクティビティまたはアクセスは、150で拒否され得る。いくつかの実装形態では、テンプレート情報は、ユーザの事前の登録の間に取得され得る登録された指からのパターンタイプおよびパターン分類を含み得る。図8Aは、人間の指からの様々な指紋画像302、304、306、および308を示し、図8Bは、鼻312、頬314、掌316、および肘318などの指紋ではない身体部分の様々な画像を示す。外観検査は、指紋画像における隆線フロー特性および非指紋画像における特徴的な隆線フローの欠如を示す。
【００４７】
この分析の精度を確実にするために、画像情報の複数の部分またはブロックが抽出され、分析され得、所望の数未満の抽出部分が予想される隆線フローを示す場合、画像情報は指から来ていないと判定され得、要求されたアクティビティまたはアクセスは拒否され得る。しかしながら、所望の数(またはそれ以上)の抽出された部分が予想される隆線フローを示す場合、画像情報が指から来ていると判定され得、その場合、153で要求されたアクティビティまたはアクセスを許可するか、または150で要求されたアクティビティまたはアクセスを拒否するかを判定するために、他のEBS103B分析またはデッド/アライブ分析103Aが使用され得る。いくつかの実装形態では、パターンクラスとしても知られるパターン分類は、本物の指の分類またはスプーフフィンガーの分類のような分類を含み得る。本物の指の分類は、生きている指のサブクラスまたは死んだ指のサブクラスのような下位分類を含み得る。スプーフフィンガーの分類は、ゼラチンサブクラス、シリコーンサブクラス、ウッドグルーサブクラス、またはラテックスサブクラスのような下位分類を含み得る。各分類または下位分類は、そのクラスまたはサブクラスに関連する1つまたは複数のパターンタイプを有し得る。パターンタイプは、たとえば、特徴タイプ、特徴ベクトル、特徴マトリックス、または特徴値を含み得る。たとえば、パターンタイプは、空間周波数(たとえば、高、低、または中間の空間周波数)などの特徴タイプを含み得る。パターンタイプは、ローカルバイナリパターンベクトル(たとえば、LBPベクトル)のような特徴ベクトルを含み得る。パターンタイプは、超音波インピーダンス相関の2次元分布のような特徴マトリックスを含み得る。パターンタイプは、方向整合性値のような特徴値(たとえば、数)を含み得る。
【００４８】
いくつかの実装形態では、取得された画像が隆線を有するか、または、より具体的には、画像が人間の指紋隆線パターンを含むかどうかが、予想されたバイオメトリック段階(EBS)103B分析によって判定され得る。たとえば、隆線フロー抽出アルゴリズムは、隆線が取得された画像に含まれているかどうか、および撮像されたオブジェクトの隆線が通常人間の指上に現れるもののようであるかどうかを判定するために、隆線フロー抽出アルゴリズムが、撮像されたオブジェクトから取得された1つまたは複数の対象の領域からのデータとともに使用され得る。撮像されたオブジェクトによって示されるパターンが人間の指紋パターンまたは何らかの他のパターンである可能性あるかどうかを識別するように、隆線パターンの判定が実行され得る。撮像されたオブジェクトの隆線が通常人間の指上に現れるもののようでない場合、撮像されたオブジェクトを「非指」とラベル付けし、その結果を使用して、153で要求されたアクティビティまたはアクセスを許可するか、150で要求されたアクティビティまたはアクセスを拒否するか判定することができる。
【００４９】
バイオメトリックオブジェクトが製造されていない(すなわち、有機的または生物的である)ことを画像情報が示す場合、バイオメトリックオブジェクトが生きている個人の一部であるということがEBS103Bによって結論付けられ得る。そのような分析は、バイオメトリックオブジェクトが製造された層で構成されているかどうかを判定するために画像情報を分析することを含み得る。バイオメトリックオブジェクトが層で構成されていると判定された場合、バイオメトリックオブジェクトが製造されていると判定され得る。たとえば、オブジェクト内の層は、一般に層にプリントされた、3次元プリントされたスプーフの使用を示し得る。別の例では、認可されていないユーザの指の上で摺動される偽の指紋特徴を有する薄いラテックスのスプーフを含むバイオメトリックオブジェクトにおいて層が検知され得る。バイオメトリックオブジェクトが層から構成されているかどうかを判定するために、超音波センサーが使用され得、圧電受信機層およびセンサーのピクセル回路に達する超音波信号の検出についてのレンジゲート遅延は、層がバイオメトリックオブジェクトの表面から測定された特定の深さに存在するかどうかを判定するために調整され得る。バイオメトリックオブジェクトが層から構成されているかどうかを識別する他の方法は、複数の超音波周波数の使用を含む。いくつかの実装形態では、複数の周波数および異なるレンジゲート遅延を使用して、バイオメトリックオブジェクトに関する複数の組の画像情報を取得し得る。画像融合アルゴリズムを使用して、単一の組の画像情報を導出し、その導出された画像情報の組が層の存在について分析され得る。層が存在するかどうかを判定する別の方法は、導出された画像情報の品質をしきい値と比較することである。導出された画像情報の品質がしきい値を満たさない、またはしきい値を超えない場合、画像情報が生物の一部であるバイオメトリックオブジェクトから導出されず、代わりに製造されたスプーフがセンサーに提示されたと判定され得る。
【００５０】
別の方法は、製造されたスプーフを識別するために、複数の特徴ベースの分類方法を使用し得る。そのような方法では、異なる周波数での本物の指と偽の指との間の微妙な違いが分析され、評価され得る。図9は、本物の指および偽の指についての異なる周波数およびレンジゲート遅延で取得された画像情報から導出された画像を示す。たとえば、一番上の行には、第1の周波数F1および第1のレンジゲート遅延RGD1での本物の指からの画像情報が指紋画像322aとして示されている。第2の周波数F2および第2のレンジゲート遅延RGD2での指からの画像情報が指紋画像322bとして示され、第3の周波数F3および第3のレンジゲート遅延RDG3での指からの画像情報が指紋画像322cとして示されている。画像情報は、画像融合アルゴリズムを使用して融合され得、その結果が融合された指紋画像322dとして示される。第2の行は、第1の周波数F1および第1のレンジゲート遅延RGD1、第2の周波数F2および第2のレンジゲート遅延RGD2、ならびに第3の周波数F3および第3のレンジゲート遅延RGD3でそれぞれ撮影された画像324a、324bおよび324cでラテックス指を示し、画像融合の結果は、融合画像324dとして示されている。第3の行は、第1の周波数F1および第1のレンジゲート遅延RGD1、第2の周波数F2および第2のレンジゲート遅延RGD2、ならびに第3の周波数F3および第3のレンジゲート遅延RGD3でそれぞれ撮影された画像326a、326bおよび326cでシリコーン指を示し、画像融合の結果は、融合画像326dとして示されている。同様に、第4の行は、第1の周波数F1および第1のレンジゲート遅延RGD1、第2の周波数F2および第2のレンジゲート遅延RGD2、ならびに第3の周波数F3および第3のレンジゲート遅延RGD3でそれぞれ撮影された画像328a、328bおよび328cでタイプ2のシリコーン指を示し、画像融合の結果は、融合画像328dとして示されている。図9の画像融合前および後の画像は、本物の指からスプーフフィンガーを分離するために使用され得る画像特徴、画質、画像コントラストにおける特徴的な変化を示す。たとえば、孔の位置および孔密度は、スプーフ材料のタイプおよび指の中への撮像の深さによって変化し得る。高品質のスプーフは、人の指とは異なりスプーフの表面からの深さに伴い急速に減少し得る、適切な数の孔および孔密度をスプーフの表面に有し得る。指の中への深さを有する孔の数および密度は、本物の指からスプーフを判定するのを助け得る。
【００５１】
図10は、本物の指と偽の指との間の画質の差を評価するために使用され得る画像情報を示す。指紋の画質は、偽の指紋画像情報対本物の指紋画像情報を検出する手がかりとして使用され得る。偽の指またはスプーフは、偽の指の取得された超音波画像上の品質メトリックを使用して検出され得る。偽の指は、ラテックス、シリコーン、または他のポリマー材料のようないくつかの異なる材料のうちの1つから製造され得る。いくつかの場合には、材料の柔軟性によって、スプーフがセンサーアレイと完全に接触することが困難になり得、結果として生じる画像にむらのある不均一な品質が生じる。いくつかの場合には、本物の指内の局所化された骨構造は、鋳造された偽の指のための型の形成の間に局部的な突起をもたらし得る。空間分解能、コントラスト、空間周波数、パターン整合性、明瞭度、および/または鮮明度などの指紋品質メトリックは、これらの不均一性を検出し得る。指紋品質メトリックは、偽対本物の指検出システムの性能をさらに向上させ得る。生体を直接検知することはできないが、指紋品質は、生体検知の多段手法の一環として、偽の指紋画像情報を検出する手がかりとして使用され得る。スプーフおよび人の組織で使用される材料間の音響インピーダンスの差は、検出可能な画質の差ももたらし得る。
【００５２】
スプーフフィンガーに品質メトリックを利用する1つの手法は、指紋画像エリア内の2つ以上の小さい領域(すなわちブロック)を選択すること、各選択されたブロックに明瞭度または鮮明度などの品質メトリックを適用すること、次いで、1つまたは複数のエリアが他の領域とは著しく異なる明瞭度または鮮明度を有するかどうかを判定するために、計算の結果を比較することを伴う。計算結果の幅広い変動は、偽の指を示し得る。
【００５３】
図10の画像に関して、品質ベースのスプーフ検出方法の例を見ることができる。図9のように、図10の画像は、異なる周波数およびレンジゲート遅延で撮影され得る。第1のボックス342aおよび第2のボックス342bは、本物の指から指紋画像332a、332bおよび332c内の選択された1対のブロックまたは領域の周りに形成され得る。2つのブロック内の特徴の結果として生じる明瞭度および鮮明度は、類似していることがわかり得る。第1のボックス344aおよび第2のボックス344bは、偽の指から指紋画像334a、334bおよび334c内の類似のブロックまたは領域の周りに描かれ得る。2つのブロックの間の結果として生じる明瞭度および鮮明度は、かなり異なることがわかり得る。この分析に基づいて、第2の画像が偽の指からのものであると疑われ得る。いくつかの実装形態では、画像分析は、1つまたは複数の周波数およびレンジゲート遅延で個々の指紋画像において実行され得る。いくつかの実装形態では、画像分析は、それぞれ本物の指および偽の指の融合指紋画像332dおよび334dのような融合画像において実行され得る。この疑惑は、予想されるバイオメトリック分析段階または時間分析段階など他のテストおよび分析からの結果によって強調され得る。
【００５４】
図11A〜図11Cは、指紋画像の時間的変化を示す。第1の時刻t1に撮影された指紋画像342a(図11A)と同じ指の第1の時刻t1とは異なる第2の時刻t2に撮影された第2の指紋画像342b(図11B)とが比較され得る。時刻t1のピクセル出力値を時刻t2のピクセル出力値から減算し、その減算結果を元の指紋画像342aに重畳させて得られた比較指紋画像342cが図11Cに示される。
【００５５】
いくつかの実装形態では、取得された指紋が2D特性のみを有するか、または3Dオブジェクトであるかにかかわらず、指状のオブジェクトの生存性が部分的に判定され得る。肌状オブジェクト検出および3Dオブジェクト判定は、生体検知システムおよび方法におけるいくつかの段階を形成し得る。上を覆っているプラテンを有するまたは有していない超音波センサーアレイのような接触ベースの指紋撮像システムは、撮像されたオブジェクトの特性を明らかにし、オブジェクトが肌状であるか、および3次元であるかを判定することを助け得る。たとえば、指によってプラテン表面に加えられる力または圧力は、しばしば時間的で不均一であり、ある画像取得と別の画像取得との間での指の動きをもたらし得る。各画像取得の間、指紋検出システムは、3Dオブジェクトを2D等価画像に変換し得る。指および皮膚の弾性は、より低い圧力よりも大きい圧力で皮膚をより伸張させ得る。プラテン表面上の3Dオブジェクトによって加えられる圧力は、押下された指の中央で最も高く、指紋の境界または端に向かって減少し得る。押下された指の中央は、より顕著な縁部を有し得、縁部が薄くなることは、指周辺の近くでより顕著であり得る。対照的に、2Dオブジェクトは、撮像されたオブジェクトの全体にわたってより均一なエッジ強度を有し得る。x方向およびy方向に沿った画像勾配は、オブジェクトが2Dであるか3Dであるかを判定するのを助け得る。画像勾配は、以下に示すように、SxおよびSyに関してX方向およびY方向に沿ってソーベルフィルタリングカーネルを適用することによって、画像データから計算され得る。
【００５６】
【数２】
0006656228.tif 000003
【００５７】
【数３】
0006656228.tif 000004
【００５８】
取得された画像は、2つの対応する応答gxおよびgyを生成するために、SxおよびSyフィルタにより畳み込まれ得る。画像勾配は、応答gxおよびgyから∇I=[gx gy]Tとして計算され得る。オブジェクト縁部は、しきい値処理操作により勾配画像から決定され得る。エッジ強度は、記述子として使用され、画像コントラストの尺度(すなわち、縁部にわたる、および縁部に沿った強度変動がどのくらい重要であるか)として使用され得る。あらかじめ確立された発見的エッジ強度または勾配しきい値に関するエッジ強度または勾配情報の比較は、オブジェクトが3Dオブジェクトであるかどうかを判定し得る。
【００５９】
いくつかの実装形態では、時間的指紋情報は、プラテン表面上の指のわずかな回転による3Dオブジェクト判定を助け得る。たとえば、時間的に離して取得された3Dオブジェクトの複数の画像は、縁部の特徴の変化またはエッジ領域の拡大または縮小など、回転または加えられた力の変化によるオブジェクトのわずかに異なるビューを示し得る。対照的に、2Dオブジェクトからの時間的情報は、画像間の整合性の高まりを示し得る。
【００６０】
いくつかの実装形態では、オブジェクトが2Dであるか3Dであるかを判定するための分析段階の後、肌状表面の存在を判定するための追加の分析段階が続き得る。たとえば、肌状表面の存在は、取得された画像から生成された皮膚トーンヒストグラムを、有効な皮膚トーンの集まりから決定された基準の皮膚トーンヒストグラムと照合することによって検証され得る。いくつかの実装形態では、基準の皮膚トーンヒストグラムは、ユーザの登録の間に取得され得る。
【００６１】
いくつかの実装形態では、取得された画像におけるパターンが肌状であるかどうかの判定は、隆線の位置に関連する反射エネルギーを、谷線に関連する反射エネルギーと比較することによって行われ得る。比較の結果が予想される反射された隆線/谷線エネルギー結果に類似している場合、オブジェクトは肌状と判定され得る。
【００６２】
いくつかの実装形態では、肌状表面は、指状の3Dオブジェクトの皮膚孔の位置を特定することによって決定され得る。たとえば、皮膚孔は、隆線領域において顕著な円形領域を検出することによって、または孔サイズ、線形孔密度、もしくは面の孔密度を表す撮像されたオブジェクトのフーリエスペクトルの特定の領域において特徴的なピークを検出することによって、3Dオブジェクトにおいて位置が特定され得る。
【００６３】
いくつかの実装形態では、単一の画像からの画像情報の分析に基づく画像ベースの生体検知は、非時間的分析段階の1つとして働き得る。単一画像ベースのEBSは、指紋画像情報を有する指紋画像を取得し、画像情報から生存性の特徴を抽出するステップを含み得る。抽出された生存性の特徴は、比較を提供するために1つまたは複数のベースラインの特徴と比較され得、比較に基づいて生存性出力信号が決定され得る。超音波センサーアレイの一部であるプラテンの表面上に配置されたユーザの指から画像情報が取得され得る。適切な幾何学的成分を有する偽の指紋を作成することはしばしば比較的容易であるが、適切な組織成分を有する偽の指紋を作成することはより一層困難であるので、画像情報から生存性の特徴を抽出するための方法は、指紋における(幾何学的成分に対する)組織成分の相違を識別することを試み得る。たとえば、偽の指紋は、指紋の隆線領域と谷線領域との間で顕著に異なるグレーレベル分布を有し得る。いくつかの方法では、生の生存性の特徴は、空間または周波数領域のいずれかで決定され得る。指紋の隆線および指紋の谷線に関して、生の生存性の特性が計算され得る。これらの生の生存性の特徴は、画像情報において生存性判定を行うのに十分であり得る。いくつかの実装形態では、オブジェクトが生きているかどうかを判定するために、生の生存性の特徴の比が使用され得る。他の方法は、U.S. Nonprovisional Patent Application titled "Image-Based Liveness Detection for Ultrasonic Fingerprints" filed on September 3, 2015(2015年9月3日に出願された「Image-Based Liveness Detection for Ultrasonic Fingerprints」という名称の米国非仮特許出願)に記載されている。
【００６４】
いくつかの実装形態では、2つ以上の画像からの画像情報の分析に基づく画像ベースの生体検知は、時間的分析段階として働き得る。たとえば、連続的に取得された指紋画像からの画像情報は、生の生存性の特徴について個々に分析され得、時間による生の生存性の特徴への変化は、正の生存性判定のために強いインジケータとなり得る。
【００６５】
いくつかの実装形態では、複合判定を形成するために、複数の単一の画像の各々からの中間判定が融合され得る。たとえば、2つ以上の画像から中間生存性判定が行われ、中間生存性判定が結合されて複合生存性判定が形成され得る。複合生存性判定は、他の段階からの判定と結合されて、撮像されたオブジェクトの生存性を示す生存性出力信号を提供し得る。
【００６６】
いくつかの実装形態では、1つまたは複数の画像ベースの生体検知分析からの中間判定を使用して、オブジェクトが製造されているかどうかを判定し得る。たとえば、製造されたスプーフから抽出された生の生存性の特徴は、画像間でほとんど変化を示さない場合がある。
【００６７】
図12は、本開示の態様による、指紋登録および/または認証、続いて生存性判定段階についての一般化されたフローを示す。この例では、ブロック400は登録プロセスを説明し、ブロック420は検証/認証プロセスを説明する。登録の間、取得された画像は、ローカルデータベースまたは外部データベース410に記憶され得るテンプレート(たとえば、テンプレート情報、テンプレートデータ、バイオメトリック参照データ、または参照)を生成するために処理され得る。参照は、1つまたは複数のテンプレート、モデル、または原画像を含み得ることに留意されたい。いくつかの実装形態では、登録プロセスは、画像収集402と、画像処理404と、特徴抽出406と、テンプレート生成408と、データベース410内のデータ記憶とを含み得る。ブロック420における検証/認証は、画像収集422と、画像処理424と、特徴抽出426と、テンプレート生成428と、データベース410内に記憶された情報を使用する指紋整合430と、整合出力信号434を判定および提供するための整合判定432とを含み得る。識別/検証/認証段階では、収集された画像の各々は、テンプレートを生成するために処理されてよく、生成されたテンプレートは、整合のために使用されてよい。指紋検証/認証ブロック420は、整合が生じたかどうかを示す整合出力信号434を提供し得る。1つまたは複数の生存性判定段階440は、指が本物であるか偽であるか、および指が死んでいるか生きているかを判定するために、様々な時間的分析および/または予想されるバイオメトリック分析を実行し得る。生存性判定を示す生存性出力信号442が提供され得る。いくつかの実装形態では、指紋登録ブロック400の間に生存性出力信号442を提供する生存性判定440が行われ得る。いくつかの実装形態では、生存性出力信号442は、ユーザを登録するかどうかを判定するために提供され得る。いくつかの実装形態では、生存性出力信号442は、ユーザを検証、識別または認証すべきかどうかを判定するために提供され得る。たとえば、ユーザを認証または検証すべきかどうかを判定するために、生存性出力信号442が整合出力信号434と結合され得る。アクセスを許可する、または要求されたアクティビティを許可するために、正の整合出力信号434と正の生存性出力信号442が結合され得る。いくつかの実装形態では、生存性出力信号442が生成され、モバイルまたは非モバイルデバイス上で動作するソフトウェアアプリケーションまたはアプリケーションに提供され得る。いくつかの実装形態では、登録の間にパターンタイプが決定され得る。パターンタイプは、指などのオブジェクトに関連付けられたテンプレートの一部として記憶され得る。いくつかの実装形態では、登録の間にパターン分類が決定され得る。パターンタイプおよびパターン分類は、部分的に認証または検証のために使用され得る。検証シーケンスの間に、特定のユーザについてのパターンタイプおよび/またはパターン分類が更新され得る。更新されたパターンタイプおよび/またはパターン分類は、変更されたテンプレートに記憶され得る。
【００６８】
図13は、超音波センサーシステム700の一般化されたブロック図を示す。超音波センサーシステム700は、超音波センサーアレイ702とセンサーコントローラ704とを含み得る。超音波センサーアレイ702は、1つまたは複数のセンサーピクセルのアレイを含み得る。超音波センサーシステム700は、少なくとも1つの超音波センサーアレイ702を含み得る。いくつかの実装形態では、超音波センサーアレイ702の構成要素は、図15A〜図16Bを参照して以下に説明するタッチセンサーシステムの構成要素と同様であり得る。いくつかの実装形態では、超音波センサーアレイ702とセンサーコントローラ704は、異なって構成されてもよい。たとえば、超音波センサーシステム700および超音波センサーアレイ702は、特定の実装形態に応じて、ディスプレイデバイスに関連付けられたタッチセンサーシステムの一部であってもよい。
【００６９】
センサーコントローラ704は、1つまたは複数の汎用シングルまたはマルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくはその他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、またはそれらの組合せを含んでもよい。センサーコントローラ704はまた、1つまたは複数のランダムアクセスメモリ(RAM)デバイス、読取り専用メモリ(ROM)デバイスなどの1つまたは複数のメモリデバイスを含んでもよい(および/またはそのようなメモリデバイスと通信できるように構成されてもよい)。センサーコントローラ704は、超音波センサーアレイ702から指紋センサー画像情報を受信し、処理し得る。いくつかの実装では、センサーコントローラ704の機能の一部またはすべては、モバイルデバイスのアプリケーションプロセッサに常駐する、またはモバイルデバイスのアプリケーションプロセッサによって実行され得る。
【００７０】
図14は、超音波センサーシステムのより詳細なブロック図を示す。超音波センサーシステム700は、超音波送信機710を有する超音波センサーアレイ702と、センサーピクセルアレイ726を有するTFT回路を含むTFT基板720とを含み得る。超音波送信機710は、送信機ドライバ768と(たとえば、1つまたは複数の電気的接続を通じて)電気的に連絡していることがある。いくつかの実装形態では、送信機ドライバ768は、超音波送信機710と電気的に連絡している正の極性の出力信号と負の極性の出力信号とを有し得る。送信機ドライバ768は、センサーコントローラ704の制御ユニット760と電気的に連絡していることがある。制御ユニット760は、送信機ドライバ768に送信機励振信号を提供することができる。制御ユニット760は、レベル選択入力バスを通じて、受信機バイアスドライバ762と電気的に連絡していてよい。受信機バイアスドライバ762は、センサーピクセルアレイ726(図7A参照)に取り付けられ得る、圧電受信機層732の表面に配設される受信機バイアス電極734に、受信機バイアス電圧を与えることができる。制御ユニット760は、1つまたは複数のデマルチプレクサ764とも電気的に連絡していることがある。デマルチプレクサ764は、複数のゲートドライバ766と電気的に連絡していることがある。ゲートドライバ766は、センサーピクセルアレイ726と電気的に連絡していることがある。ゲートドライバ766は、センサーピクセルアレイ726の外部に配置され、またはいくつかの実装形態では、センサーピクセルアレイ726と同じ基板上に含まれることがある。センサーピクセルアレイ726の外部にあり得る、またはセンサーピクセルアレイ726とともに同じ基板上に含まれ得るデマルチプレクサ764は、特定のゲートドライバ766を選択するために使用され得る。ゲートドライバ766は、センサーピクセルアレイ726の1つまたは複数の行または列を選択し得る。センサーピクセルアレイ726は、1つまたは複数のデジタイザ772と電気的に連絡していてよい。デジタイザ772は、センサーピクセルアレイ726の1つまたは複数のセンサーピクセル724からのアナログピクセル出力信号を、センサーコントローラ704中または外のデータプロセッサ770内でさらに処理するための適したデジタル信号に変換することができる。センサーコントローラ704は、モバイルデバイスのアプリケーションプロセッサのような外部システムまたはプロセッサに、デジタル出力を提供することができる。
【００７１】
図15A〜図15Dは、超音波センサーアレイの様々な可能な構成を示す。超音波センサーアレイ702は、ディスプレイ780および超音波センサーアレイ702のための別個のまたは共通のTFT基板を有し得る。超音波センサーアレイ702は、指紋センサーとして働き得、いくつかの実装形態では、超音波タッチスクリーンまたはタッチパッドとして働き得る。共通のカバーガラスまたはタッチスクリーンは、超音波センサーアレイ702の要素とディスプレイとの間で共有され、超音波センサーアレイ702のカバー層740として働き得る。代替構成では、超音波センサーアレイ702(および任意選択の被覆またはカバー層)が、モバイルデバイスの筐体のベゼルに、側部に、または背部に配置され得る。いくつかの実装形態では、超音波センサーアレイ702は、超音波ボタンの上に、または超音波ボタンの一部として配置されてもよい。超音波ボタンは、機械式でも非機械式でもよい。たとえば、超音波ボタンは、電気機械スイッチに機械的に結合されてもよい。超音波ボタンは、認証していても、認証していなくてもよい。いくつかの実装形態では、超音波センサーアレイ702は、ディスプレイのアクティブエリアの周辺にあってもよく、ディスプレイカラーフィルタガラス784およびディスプレイTFT基板782を含み得る。図15Aに示される例では、超音波センサーアレイ702は、超音波センサーアレイ用のプラテンとして、およびディスプレイ780用のタッチスクリーンまたはカバーガラスとして働き得る共通のカバー層740の下に配置される。別の例では、超音波センサーアレイ702は、モバイルデバイス筐体(図示せず)のベゼル領域、側壁、または背面など、ディスプレイとは別個に配置されてもよい。図15Bに示される別の例では、超音波センサーアレイ702は、ディスプレイカラーフィルタガラス784およびディスプレイのTFT基板782など、ディスプレイ780の下(または背後)に置かれ得る。図15Cに示される別の例では、超音波センサーアレイ702の一部またはすべては、ディスプレイのTFT基板782に組み込まれ得る。いくつかの実装形態では、超音波センサーアレイ702は、ディスプレイ780のアクティブエリアの一部または全部を含み得る。図15Dは、カバー層740が超音波受信機730の上に配置された状態で、超音波送信機710、およびTFT基板720上に配置された超音波受信機730を有する超音波センサーアレイ702の破断図を示す。
【００７２】
図16Aおよび図16Bは、本明細書で説明するように指紋感知システムを含むディスプレイデバイスを示すシステムブロック図の例を示す。このディスプレイデバイス900はたとえば、スマートフォン、セルラー電話またはモバイル電話などのモバイルディスプレイデバイスであってもよい。しかし、ディスプレイデバイス900の同じ構成要素またはそれらのわずかな変形例はまた、テレビジョン、コンピュータ、タブレットコンピュータ、電子リーダー、ハンドヘルドデバイスおよびポータブルメディアデバイスのような様々なタイプのディスプレイデバイスを示す。
【００７３】
この例では、ディスプレイデバイス900は、ハウジング941と、ディスプレイ930と、超音波センサーシステム700(その一部は、視覚ディスプレイ930の一部であっても、視覚ディスプレイ930から分離されていてもよい)と、アンテナ943と、スピーカ945と、入力デバイス948と、マイクロフォン946とを含み得る。いくつかの実装形態では、入力デバイス948は、超音波指紋センサー、タッチパッド、またはタッチスクリーンの一部として働き得る超音波センサーアレイ702を含み得る。ハウジング941は、射出成形および真空成形を含む様々な製造プロセスのいずれによって形成されてもよい。加えて、ハウジング941は、限定はしないが、プラスチック、金属、ガラス、サファイア、ゴムおよびセラミック、またはそれらの組合せを含む様々な材料のいずれかから製作され得る。ハウジング941は、異なる色を有するかまたはそれぞれに異なるロゴ、絵、または記号を含む取外し可能な他の部分と交換されてもよい取外し可能な部分(図示せず)を含んでもよい。
【００７４】
ディスプレイ930は、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または液晶ディスプレイ(LCD)などのフラットパネルディスプレイ、あるいは陰極線管(CRT)または他のチューブデバイスなどの非フラットパネルディスプレイを含む様々なディスプレイのいずれであってもよい。また、ディスプレイ930は、干渉変調器(IMOD)ベースのディスプレイまたはマイクロシャッターベースのディスプレイを含んでもよい。
【００７５】
ディスプレイデバイス900の一例の構成要素を図16Bに概略的に示す。ディスプレイデバイス900は、ハウジング941を含み、ディスプレイデバイス900内に少なくとも部分的に密閉された追加の構成要素を含んでもよい。たとえば、ディスプレイデバイス900は、1つまたは複数のトランシーバ947に結合されてもよい1つまたは複数のアンテナ943を含むネットワークインターフェース927を含み得る。ネットワークインターフェース927は、ディスプレイデバイス900上に表示され得る画像情報のソースであり得る。したがって、ネットワークインターフェース927は、画像ソースモジュールの一例であるが、プロセッサ921および入力デバイス948も画像ソースモジュールとして働いてよい。トランシーバ947は、調整ハードウェア952に接続され得るプロセッサ921に接続され得る。調整ハードウェア952は、信号を調整する(たとえば、信号をフィルタリングする、またはさもなければ処理する)ように構成されてもよい。調整ハードウェア952は、スピーカ945およびマイクロフォン946に接続されてもよい。プロセッサ921はまた、入力デバイス948およびドライバコントローラ929に接続されてもよい。ドライバコントローラ929は、フレームバッファ928およびアレイドライバ922に結合されてもよく、アレイドライバ722はディスプレイアレイ930に結合されてもよい。図16Bに特に示されていない要素を含む、ディスプレイデバイス900における1つまたは複数の要素は、メモリデバイスとし働くことが可能であり、かつプロセッサ921または制御システムの他の構成要素と通信することが可能であってもよい。いくつかの実装形態では、電源950は、特定のディスプレイデバイス900設計において実質的にすべての構成要素に電力を供給してもよい。
【００７６】
この例では、ディスプレイデバイス900は、タッチおよび/または指紋コントローラ977を含み得る。タッチおよび/または指紋コントローラ977は、たとえば、上述のような超音波センサーシステム700の一部であってもよい。したがって、いくつかの実装形態では、タッチおよび/または指紋コントローラ977(および/または超音波センサーシステム700の他の構成要素)は1つまたは複数のメモリデバイスを含んでもよい。いくつかの実装形態では、超音波センサーシステム700はまた、図16Bに示すプロセッサ921、アレイドライバ922、および/またはドライバコントローラ929などの構成要素を含んでもよい。タッチおよび/または指紋コントローラ977は、たとえば配線を介して超音波センサーシステム700と通信することが可能であってもよく、超音波センサーシステム700を制御することが可能であってもよい。タッチおよび/または指紋コントローラ977は、超音波センサーシステム700上の指などの1つまたは複数のオブジェクトの位置および/または動きあるいは超音波センサーシステム700に近接したオブジェクトの位置および/または動きを判定することが可能であってもよい。いくつかの実装形態では、プロセッサ921(または超音波センサーシステム700の別の部分)は、上述したように、タッチおよび/または指紋コントローラ977、超音波センサーシステム700、ならびに/あるいはセンサーコントローラ704の機能のうちのいくつかまたはすべてを提供することができる。
【００７７】
タッチおよび/または指紋コントローラ977(および/または超音波センサーシステム700の別の素子)は、1つまたは複数のタッチ位置に応じてディスプレイデバイス900を制御するための入力を生成することが可能であってもよい。いくつかの実装形態では、タッチおよび/または指紋コントローラ977は、1つまたは複数の位置の動きを判定し、動きに応じてディスプレイデバイス900を制御するための入力を提供することが可能であってもよい。代替または追加として、タッチおよび/または指紋コントローラ977は、ディスプレイデバイス900に近接するオブジェクトの位置および/または動きを判定することが可能であってもよい。したがって、タッチおよび/または指紋コントローラ977は、ディスプレイデバイス900への接触がない場合でも指またはスタイラスの動き、手によるジェスチャーなどを検出することが可能であってもよい。タッチおよび/または指紋コントローラ977は、そのような検出された動きおよび/またはジェスチャーに応じてディスプレイデバイス900を制御するための入力を生成することが可能であってもよい。
【００７８】
本明細書の他の個所で説明したように、タッチおよび/または指紋コントローラ977(または超音波センサーシステム700の別の素子)は、1つまたは複数の指紋検出動作モードを実現することが可能であってもよい。したがって、いくつかの実装形態では、タッチおよび/または指紋コントローラ977(または超音波センサーシステム700の別の素子)は指紋画像を生成することが可能であってもよい。いくつかの実装形態では、超音波センサーシステム700の超音波センサーアレイ702が視覚ディスプレイ930から物理的に分離されるときなど、超音波センサーシステム700のコントローラは、タッチコントローラとは別個であり、タッチコントローラからほとんど独立して動作し得る。
【００７９】
いくつかの実装形態では、超音波センサーシステム700は、本明細書の他の個所で説明するような超音波受信機730および/または超音波送信機710を含んでもよい。いくつかのそのような実装形態によれば、タッチおよび/または指紋コントローラ977(または超音波センサーシステム700の別の素子)は、超音波受信機730から入力を受信し、ディスプレイデバイス900の超音波トランスミッタ710および/または別の構成要素の電源投入または「ウェイクアップ」を行うことが可能であってもよい。
【００８０】
ネットワークインターフェース927は、ディスプレイデバイス900がネットワークを介して1つまたは複数のデバイスと通信することができるようにアンテナ943とトランシーバ947とを含み得る。ネットワークインターフェース927はまた、たとえば、プロセッサ921のデータ処理要件を軽減するために、いくつかの処理能力を有することができる。アンテナ943は、信号を送受信してもよい。いくつかの実装形態では、アンテナ943は、IEEE16.11(a)、(b)、もしくは(g)を含むIEEE16.11規格、または、IEEE802.11a、b、g、n、ac、adを含むIEEE802.11規格、およびそれらの他の実装形態に従ってRF信号を送受信する。いくつかの実装形態では、アンテナ943は、Bluetooth(登録商標)規格に従ってRF信号を送受信し得る。セルラー電話の場合、アンテナ943は、符号分割多元接続(CDMA)、周波数分割多元接続(FDMA)、時分割多元接続(TDMA)、モバイル通信用グローバルシステム(GSM)、GSM/汎用パケット無線サービス(GPRS)、拡張データGSM環境(EDGE)、地上基盤無線(TETRA)、広帯域CDMA(W-CDMA)、エボリューションデータオプティマイズド(EV-DO)、1xEV-DO、EV-DO Rev A、EV-DO Rev B、高速パケットアクセス(HSPA)、高速ダウンリンクパケットアクセス(HSDPA)、高速アップリンクパケットアクセス(HSUPA)、発展型高速パケットアクセス(HSPA+)、ロングタームエボリューション(LTE)、AMPS、または3G技術、4G技術、もしくは5G技術を利用するシステムのような、ワイヤレスネットワーク内で通信するのに使用される他の公知の信号を受信するように設計されてもよい。トランシーバ947は、アンテナ943から受信された信号をプロセッサ921によって受信しさらに処理することができるように前処理してもよい。トランシーバ947は、プロセッサ921から受信された信号をディスプレイデバイス900からアンテナ943を介して送信することができるように処理してもよい。
【００８１】
いくつかの実装形態では、トランシーバ947は受信機と置き換えられてもよい。また、いくつかの実装形態では、ネットワークインターフェース927は、プロセッサ921に送信すべき画像情報を記憶または生成する場合がある画像ソースと置き換えられてもよい。プロセッサ921は、ディスプレイデバイス900の動作全体を制御してもよい。プロセッサ921は、圧縮された画像情報などのデータをネットワークインターフェース927または画像ソースから受信し、データを処理して生画像情報または生の画像情報に容易に処理することのできるフォーマットに処理し得る。プロセッサ921は、処理済みのデータを記憶できるようにドライバコントローラ929またはフレームバッファ928に送ってもよい。生データは通常、画像内の各位置での画像特性を識別する情報を指す。たとえば、そのような画像特性は、色、彩度、およびグレースケールレベルを含んでもよい。
【００８２】
プロセッサ921は、ディスプレイデバイス900の動作を制御するマイクロコントローラ、CPU、または論理ユニットを含んでもよい。調整ハードウェア952は、信号をスピーカ945に送信し、マイクロフォン946から信号を受信するための増幅器およびフィルタを含んでもよい。調整ハードウェア952は、ディスプレイデバイス900内の個別構成要素であってもよく、あるいはプロセッサ921または他の構成要素内に組み込まれてもよい。
【００８３】
ドライバコントローラ929は、プロセッサ921によって生成された生画像情報をプロセッサ921から直接取り込んでも、あるいはフレームバッファ928から取り込んでもよく、かつ生画像情報をアレイドライバ922に高速に送信できるように適切に再フォーマットしてもよい。いくつかの実装形態では、ドライバコントローラ929は、生画像情報をラスタ状フォーマットを有するデータフローに再フォーマットしてもよく、それによって、ドライバコントローラ929は、ディスプレイアレイ930全体にわたってスキャンするのに適した時間順を有する。ドライバコントローラ929は、フォーマット済みの情報をアレイドライバ922に送信し得る。LCDコントローラなどのドライバコントローラ929は、しばしば、スタンドアロンの集積回路(IC)としてシステムプロセッサ921に関連付けられるが、そのようなコントローラは、多くの方法で実装され得る。たとえば、コントローラは、ハードウェアとしてプロセッサ921内に組み込まれ得、ソフトウェアとしてプロセッサ921に組み込まれ得、またはアレイドライバ922とともにハードウェア内に完全に集積され得る。
【００８４】
アレイドライバ922は、ドライバコントローラ929からフォーマット済みの情報を受信してもよく、ディスプレイ素子のディスプレイのx-yマトリックスからの数百本、場合によっては数千本(またはそれよりも多く)のリード線に1秒当たりに何度も印加される互いに平行な波形のセットに、映像データを再フォーマットしてもよい。
【００８５】
いくつかの実装形態では、ドライバコントローラ929、アレイドライバ922、およびディスプレイアレイ930は、本明細書で説明するディスプレイのタイプのうちのいずれにも適している。たとえば、ドライバコントローラ929は、従来のディスプレイコントローラまたは双安定ディスプレイコントローラ(IMODディスプレイ素子コントローラなど)であってもよい。また、アレイドライバ922は、従来のドライバまたは双安定ディスプレイドライバであってもよい。さらに、ディスプレイアレイ930は、従来のディスプレイアレイまたは双安定ディスプレイであってもよい。いくつかの実装形態では、ドライバコントローラ929は、アレイドライバ922と一体化されてもよい。そのような実装形態は、高集積度システム、たとえば、モバイルフォン、ポータブル電子デバイス、腕時計またはスモールエリアディスプレイにおいて有用である場合がある。
【００８６】
いくつかの実装形態では、入力デバイス948は、たとえばユーザがディスプレイデバイス900の動作を制御するのが可能であってもよい。入力デバイス948は、QWERTYキーボードもしくは電話キーパッドのようなキーパッド、ボタン、スイッチ、ロッカー、タッチセンシティブスクリーン、ディスプレイアレイ930と一体化されたタッチセンシティブスクリーン、圧力感応膜もしくは感熱膜、超音波指紋センサー、超音波タッチパッド、または超音波タッチスクリーンを含んでもよい。マイクロフォン946は、ディスプレイデバイス900用の入力デバイスとして働くことが可能であってもよい。いくつかの実装形態では、マイクロフォン946を通じた音声コマンドがディスプレイデバイス900の動作を制御するのに使用されてもよい。
【００８７】
電源950は、様々なエネルギー貯蔵デバイスを含んでもよい。たとえば、電源950は、ニッケルカドミウム電池またはリチウムイオン電池のような充電式バッテリーであってもよい。充電式バッテリーを使用する実装形態では、充電式バッテリーは、たとえば、壁コンセントあるいは光起電性デバイスまたはアレイからの電力を使用して充電可能であってもよい。代替的に、充電式バッテリーはワイヤレス充電可能であってもよい。電源950は、再生可能なエネルギー源、キャパシタ、またはプラスチック太陽電池もしくは塗料型太陽電池を含む太陽電池であってもよい。電源950は、壁コンセントから電力を受けることが可能であってもよい。
【００８８】
いくつかの実装形態では、電子ディスプレイシステム内のいくつかの場所に配置されてもよいドライバコントローラ929に制御プログラマビリティが存在し得る。いくつかの実装形態では、アレイドライバ922に制御プログラマビリティが存在し得る。上記で説明した最適化は、任意の数のハードウェアおよび/またはソフトウェア構成要素において、ならびに様々な構成において実施され得る。
【００８９】
本明細書で開示された実装形態に関連して説明した様々な例示的なロジック、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得る。ハードウェアとソフトウェアの互換性は、概して機能の観点から記載され、上述された様々な例示的な構成要素、ブロック、モジュール、回路、およびプロセスにおいて例示されている。そのような機能がハードウェアまたはソフトウェアのどちらで実装されるのかは、システム全体に課される特定の用途および設計制約に依存する。
【００９０】
本明細書で開示された態様に関連して説明した様々な例示的なロジック、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチッププロセッサもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタ論理、個別のハードウェア構成要素、または、本明細書に記載の機能を実行するように構成されたそれらの任意の組合せで実装または実行され得る。汎用プロセッサは、マイクロプロセッサ、または任意の従来のプロセッサ、コントローラ、マイクロコントローラ、もしくは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと組み合わせた1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行することができる。
【００９１】
1つまたは複数の態様では、説明した機能は、本明細書で開示された構造またはそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装され得る。また、本明細書において説明される主題の実装形態は、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして、実装することができる。
【００９２】
ソフトウェアにおいて実装される場合、機能は、非一時的媒体などのコンピュータ可読媒体上で1つまたは複数の命令またはコードとして記憶または伝送され得る。本明細書において開示された方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在することができるプロセッサ実行可能ソフトウェアモジュールにおいて実装することができる。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能になる場合がある任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の使用可能な媒体であってもよい。限定ではなく例として、そのような非一時的可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用される場合があるとともに、コンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。また、任意の接続がコンピュータ可読媒体と呼ばれてもよい。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に同じく含まれるものとする。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれ得る機械可読媒体およびコンピュータ可読媒体上に存在し得る。
【００９３】
本開示は、1つまたは複数の特定の実装形態に関して説明されてきたが、本開示の他の実装形態が、本開示の趣旨および範囲から逸脱することなく実現され得ることが理解されるだろう。よって、本開示は、添付の特許請求の範囲およびその妥当な解釈のみによって制限されると見なされる。
【符号の説明】
【００９４】
322  指紋
410  ローカルデータベースまたは外部データベース
700  超音波センサーシステム
702  超音波センサーアレイ
704  センサーコントローラ
710  超音波送信機
712  送信機電極
714  圧電層
716  送信機電極
718a  超音波平面波
718b  反射超音波
720  TFT基板
722  TFT回路
724  センサーピクセル
726  アレイ
730  超音波受信機
732  圧電受信機層
734  受信機バイアス電極
740  カバー層
742  保護被覆層
750  指
754  隆線領域
756  谷線領域
760  制御ユニット
764  デマルチプレクサ
766  ゲートドライバ
768  送信機ドライバ
770  データプロセッサ
772  デジタイザ
780  ディスプレイ
782  TFT基板
784  ディスプレイカラーフィルタガラス
900  ディスプレイデバイス
921  プロセッサ
922  アレイドライバ
927  ネットワークインターフェース
928  フレームバッファ
929  ドライバコントローラ
930  ディスプレイアレイ
941  ハウジング
943  アンテナ
945  スピーカ
946  マイクロフォン
947  トランシーバ
948  入力デバイス
950  電源
952  調整ハードウェア
977  タッチおよび/または指紋コントローラ
【図１】
0006656228.tif 000005
【図２】
0006656228.tif 000006
【図３】
0006656228.tif 000007
【図４】
0006656228.tif 000008
【図５】
0006656228.tif 000009
【図６Ａ】
0006656228.tif 000010
【図６Ｂ】
0006656228.tif 000011
【図７Ａ】
0006656228.tif 000012
【図７Ｂ】
0006656228.tif 000013
【図７Ｃ】
0006656228.tif 000014
【図８Ａ】
0006656228.tif 000015
【図８Ｂ】
0006656228.tif 000016
【図９】
0006656228.tif 000017
【図１０】
0006656228.tif 000018
【図１１Ａ】
0006656228.tif 000019
【図１１Ｂ】
0006656228.tif 000020
【図１１Ｃ】
0006656228.tif 000021
【図１２】
0006656228.tif 000022
【図１３】
0006656228.tif 000023
【図１４】
0006656228.tif 000024
【図１５Ａ】
0006656228.tif 000025
【図１５Ｂ】
0006656228.tif 000026
【図１５Ｃ】
0006656228.tif 000027
【図１５Ｄ】
0006656228.tif 000028
【図１６Ａ】
0006656228.tif 000029
【図１６Ｂ】
0006656228.tif 000030