(57)【要約】  電子デバイスを含む装置は、超音波タッチセンサベースの仮想ボタンとともに構成される。超音波センサは、電子デバイスの外面の第1の部分の裏に配置される。電子デバイスおよび超音波センサの一方または両方に関連付けられたプロセッサは、(i)外面の第1の部分に接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理し、(ii)画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うように構成される。
2018530024.tif 000002
【特許請求の範囲】
【請求項１】
第1の外面を含む電子デバイスと、
前記第1の外面の第1の部分の裏に配置された超音波センサと、
前記電子デバイスおよび前記超音波センサの一方または両方に関連付けられたプロセッサであって、
前記第1の外面の前記第1の部分と接触した物体または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
を行うように構成されるプロセッサと
を備える、装置。
【請求項２】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項1に記載の装置。
【請求項３】
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記プロセッサは、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるように構成される、
請求項2に記載の装置。
【請求項４】
前記電子デバイスが、前記超音波センサおよび前記プロセッサの一方または両方に結合される、周囲光センサ、圧力センサ、周囲温度センサ、および動き検出器のうちの1つまたは複数を含み、
前記超音波センサは、(i)前記周囲光センサが周囲光レベルの変化を登録すること、(ii)前記圧力センサが圧力の変化を登録すること、(iii)前記周囲温度センサが周囲温度の変化を登録すること、および(iv)前記動き検出器が前記電子デバイスの動きを登録することのうちの1つまたは複数の後にのみ、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を送信する、
請求項1に記載の装置。
【請求項５】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記少なくとも1つの面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
【請求項６】
前記仮想ボタンが前記カバーガラス上に配置される、請求項5に記載の装置。
【請求項７】
前記仮想ボタンがホームボタンである、請求項5に記載の装置。
【請求項８】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含む第2の外面と反対にあり、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
【請求項９】
前記意図的な制御タッチが、前記第1の外面の前記第1の部分へのユーザの指またはスタイラスの意図的なタッチである、請求項1に記載の装置。
【請求項１０】
前記プロセッサが、30msec未満のレイテンシ期間内に前記第1の判定を行う、請求項1に記載の装置。
【請求項１１】
前記プロセッサが、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１２】
前記プロセッサが、少なくとも-40C〜40Cの周囲温度の範囲にわたって、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１３】
前記プロセッサが、少なくとも0μm〜600μmの距離の範囲にわたって前記第1の外面と前記超音波センサとを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１４】
前記プロセッサが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
【請求項１５】
前記プロセッサが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを前記プロセッサによって実行することを含む適応型指検出プロセスを実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
【請求項１６】
前記決定ツリーラーニングプロセスが、
稜線特徴点抽出プロセス、
配向精緻化プロセス、
配向ヒストグラム分析プロセス、
配向相関/変更/分析プロセス、
入力の構造的類似性の分析プロセス、および
局所的バイナリパターン分析プロセス
のうちの1つまたは複数の出力に作用する、請求項15に記載の装置。
【請求項１７】
第1の外面を含む電子デバイスのプロセッサにおいて、前記第1の外面の第1の部分の裏に配置された超音波センサからの信号を受信するステップと、
前記プロセッサによって、
前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した前記信号を処理するステップと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うステップと
を備える、方法。
【請求項１８】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項17に記載の方法。
【請求項１９】
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるステップ
をさらに備える、請求項18に記載の方法。
【請求項２０】
前記第1の外面の前記第1の部分が仮想ボタンの位置に対応し、前記方法が、前記第1の判定に基づいて前記仮想ボタンの機能を実行または実行を控えるステップをさらに備える、請求項17に記載の方法。
【請求項２１】
前記第1の判定を行うステップが、前記第1の外面の前記第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するステップを含む、請求項17に記載の方法。
【請求項２２】
前記第1の判定を行うステップが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行するステップを含む、請求項17に記載の方法。
【請求項２３】
前記第1の判定を行うステップが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを実行することを含む適応型指検出プロセスを実行するステップを含む、請求項17に記載の方法。
【請求項２４】
前記決定ツリーラーニングプロセスが、
稜線特徴点抽出プロセス、
配向精緻化プロセス、
配向ヒストグラム分析プロセス、
配向相関/変更/分析プロセス、
入力の構造的類似性の分析プロセス、および
局所的バイナリパターン分析プロセス
のうちの1つまたは複数の出力に作用する、請求項23に記載の方法。
【請求項２５】
ソフトウェアを記憶する非一時的コンピュータ可読記録媒体であって、前記ソフトウェアが、
電子デバイスの第1の外面の第1の部分と接触した面または物質の画像データを取得するために、前記第1の外面の前記第1の部分の裏に配置された超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
を前記電子デバイスのプロセッサに行わせるための命令を含む、非一時的コンピュータ可読記録媒体。
【請求項２６】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
ソフトウェアが、
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への意図的な制御タッチに関連するとの判定である場合、電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えること
を前記電子デバイスのプロセッサに行わせるための命令をさらに含む、請求項26に記載のコンピュータ可読記録媒体。
【請求項２８】
第1の外面を含む電子デバイスと、
前記第1の外面の第1の部分の裏に配置された超音波センサと、
前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、前記取得された画像データが前記第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うことと
を行うための手段と
を備える、装置。
【請求項２９】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項28に記載の装置。
【請求項３０】
前記意図的な制御タッチが、前記第1の外面の前記第1の部分へのユーザの指またはスタイラスの意図的なタッチである、請求項28に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本開示は、2015年6月29日に出願された"ULTRASONIC FINGERPRINT SENSOR-BASED HOME BUTTON DESIGN"という名称の米国仮特許出願第62/186,238号、および2016年6月27日に出願された"ULTRASONIC TOUCH SENSOR-BASED VIRTUAL BUTTON"という名称の米国特許出願第15/194,377号の優先権を主張し、これらの開示の全体が参照により本明細書に組み込まれる。
【０００２】
本開示は、超音波センサに関し、より詳細には、モバイルデバイスのユーザインターフェース面の裏に配置された超音波センサを使用した低レイテンシタッチ認識のための技法に関する。
【背景技術】
【０００３】
スマートフォンおよびタブレットなどの現代のモバイルデバイスは、任意の数の仮想ボタンを提示するように構成することができるタッチスクリーンを含むユーザインターフェース、すなわち、視認可能なアイコンとして表示される「ソフト」キーまたはボタン、ユーザがアプリケーションを起動し、電話をかけ、メッセージをタイピングすることを可能にするボタンまたはキーなどを組み込む。加えて、そのようなデバイスは、一般に限られた数の物理的な感圧性の機械的に作動されるボタンを含む。
【０００４】
本教示がない場合、仮想ボタンおよび物理的ボタンは、ユーザによって意図的に開始される指またはスタイラスのタッチ/プレスと、モバイルデバイスがたとえばユーザのポケット、財布、またはバックパック内にある際に生じる場合がある偶発的なタッチおよび圧力とをデバイスが区別することを可能にする限られた機能しか有しないか、またはその機能を有しない。その結果、そのようなデバイスのよく知られている問題は、そのような無作為のタッチおよび圧力が第三者の偶発的なダイヤリングを引き起こす、いわゆる「ポケットダイヤリング」の発生である。同様に、そのような無作為のタッチおよび圧力は、モバイルデバイスの意図しない起動を引き起こし、不要な電力消費をもたらす場合がある。
【０００５】
上述の問題は、タッチスクリーン(「カバーガラス」)面積を最大化し、機械的に作動されるボタンへの依存を低減することを望む結果、悪化する場合がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第7,739,912号
【特許文献２】米国特許第9,041,690号
【特許文献３】米国特許公開第2015-0253931号
【特許文献４】米国特許公開番号第2016/007098号
【発明の概要】
【課題を解決するための手段】
【０００７】
本開示のシステム、方法、およびデバイスは各々、いくつかの発明的態様を有し、それらの態様はいずれも、本明細書で開示する望ましい属性を単独で担うものではない。
【０００８】
本開示で説明する主題の1つの発明的態様は、第1の外面を含む電子デバイスと、第1の外面の第1の部分の裏に配置された超音波センサと、電子デバイスおよび超音波センサの一方または両方に関連付けられるプロセッサとに関する。本プロセッサは、第1の外面の第1の部分に接触した物体または物質の画像データを取得するために、超音波センサから受信した信号を処理し、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うように構成される。
【０００９】
いくつかの例では、超音波センサは、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を出力する場合がある。いくつかの例では、第1の判定が、超音波センサから受信した信号が第1の部分への意図的な制御タッチに関連付けられることである場合、電子デバイスが低電力モードであるとき、プロセッサは、電子デバイスを低電力モードから通常電力モードに切り替えるように構成される場合がある。
【００１０】
いくつかの例では、電子デバイスは、超音波センサおよびプロセッサの一方または両方に結合される、周囲光センサ、圧力センサ、周囲温度センサ、および動き検出器のうちの1つまたは複数を含む場合がある。超音波センサは、(i)周囲光センサが周囲光レベルの変化を登録すること、(ii)圧力センサが圧力の変化を登録すること、(iii)周囲温度センサが周囲温度の変化を登録すること、および(iv)動き検出器が電子デバイスの動きを登録することのうちの1つまたは複数の後にのみ、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を送信する場合がある。
【００１１】
いくつかの例では、第1の外面は、カバーガラスを有するインタラクティブディスプレイを含む場合があり、少なくとも1つの面の第1の部分は、仮想ボタンの位置に対応する。いくつかの例では、仮想ボタンはカバーガラス上に配置される場合がある。いくつかの例では、仮想ボタンはホームボタンである場合がある。
【００１２】
いくつかの例では、第1の外面は、カバーガラスを有するインタラクティブディスプレイを含む第2の外面と反対にある場合があり、第1の外面の第1の部分は、仮想ボタンの位置に対応する。
【００１３】
いくつかの例では、意図的な制御タッチは、第1の外面の第1の部分へのユーザの指またはスタイラスの意図的なタッチである場合がある。
【００１４】
いくつかの例では、プロセッサは、30msec未満のレイテンシ期間内に第1の判定を行う場合がある。
【００１５】
いくつかの例では、プロセッサは、第1の外面の第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される場合がある。
【００１６】
いくつかの例では、プロセッサは、少なくとも-40C〜40Cの周囲温度の範囲にわたって、第1の外面の第1の部分への、意図的な制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される場合がある。
【００１７】
いくつかの例では、プロセッサは、少なくとも0μm〜600μmの距離の範囲にわたって第1の外面と超音波センサとを適応的に区別するように構成される場合がある。
【００１８】
いくつかの例では、プロセッサは、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行することによって第1の判定を行うように構成される場合がある。
【００１９】
いくつかの例では、プロセッサは、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムをプロセッサによって実行することを含む適応型指検出プロセスを実行することによって第1の判定を行うように構成される場合がある。いくつかの例では、決定ツリーラーニングプロセスは、稜線特徴点抽出プロセス、配向精緻化プロセス、配向ヒストグラム分析プロセス、配向相関/変更/分析プロセス(orientation correlation and change and analysis process)、入力の構造的類似性の分析プロセス、および局所的バイナリパターン分析プロセスのうちの1つまたは複数の出力に作用する場合がある。
【００２０】
いくつかの実装形態によれば、本方法は、第1の外面を含む電子デバイスのプロセッサにおいて、第1の外面の第1の部分の裏に配置された超音波センサからの信号を受信するステップと、プロセッサによって、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理するステップと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うステップとを含む。
【００２１】
いくつかの例では、第1の外面の第1の部分は、仮想ボタンの位置に対応する場合があり、本方法は、第1の判定に基づいて仮想ボタンの機能を実行または実行を控えるステップをさらに含む場合がある。
【００２２】
いくつかの実装形態によれば、非一時的コンピュータ可読媒体は、その上にソフトウェアを記憶するが、そのソフトウェアは、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、電子デバイスの第1の外面の第1の部分の裏に配置された超音波センサから受信した信号を処理することと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うこととを電子デバイスのプロセッサに行わせるための命令を含む。
【００２３】
いくつかの実装形態によれば、本装置は、第1の外面を含む電子デバイスと、第1の外面の第1の部分の裏に配置された超音波センサと、第1の外面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理することと、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうかの第1の判定を行うこととを行うための手段と含む。
【００２４】
本明細書で説明する主題の1つまたは複数の実装形態の細部が、本開示および添付の図面で述べられる。他の特徴、態様、および利点は、本開示を検討することにより明らかになるであろう。本開示の図面および他の図の相対的な寸法は、一定の縮尺で描かれていない可能性のあることに留意されたい。本開示に図示され、記載されたサイズ、厚さ、配置、材料などは、単なる例としてなされ、限定するものとして解釈されるべきではない。様々な図面における同様の参照番号および指定は、同様の要素を示す。
【図面の簡単な説明】
【００２５】
【図１Ａ】いくつかの実装形態による電子デバイスの一例を示す図である。
【図１Ｂ】いくつかの実装形態による電子デバイスの一例を示す図である。
【図１Ｃ】いくつかの実装形態による電子デバイスの一例を示す図である。
【図２】一実装形態による、ホームボタンにより指タッチと他の相互作用とを区別するための流れ図の一例を示す図である。
【図３】一実装形態による、指(スタイラス)検出プロセスのためのプロセスフローの一例を示す図である。
【図４】一実装形態による、稜線特徴点抽出プロセスの一例を示す図である。
【図５】一実装形態による、配向精緻化プロセスの一例を示す図である。
【図６】一実装形態による、配向ヒストグラムプロセスの一例を示す図である。
【図７】一実装形態による、配向相関/符号変化分析プロセスの一例を示す図である。
【図８】一実装形態による、構造的類似性判定プロセスの一例を示す図である。
【図９】一実装形態による、局所的バイナリパターン分析プロセスの一例を示す図である。
【図１０】一実装形態による、取得された画像データが意図的な制御タッチに関連するかどうかを判定するための方法の一例を示す図である。
【図１１】さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す図である。
【図１２】さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスの一例を示す図である。
【図１３Ａ】仮想ボタンのさらなる例示的な実装形態を含む図である。
【図１３Ｂ】仮想ボタンのさらなる例示的な実装形態を含む図である。
【図１３Ｃ】仮想ボタンのさらなる例示的な実装形態を含む図である。
【図１３Ｄ】仮想ボタンのさらなる例示的な実装形態を含む図である。
【発明を実施するための形態】
【００２６】
本明細書で説明する主題の1つまたは複数の実装形態の詳細が、本明細書における説明および特許請求の範囲と添付の図面とを含む、本開示に記載される。他の特徴、態様、および利点が、本開示を検討することにより明らかになるであろう。本開示の図面および他の図の相対的な寸法が、一定の縮尺で描かれていない場合があることに留意されたい。本開示に示され、記載されたサイズ、厚さ、配置、材料などは、単なる例としてなされ、限定するものとして解釈されるべきではない。
【００２７】
本開示のシステム、方法、およびデバイスは各々、いくつかの発明的態様を有し、それらの態様はいずれも、本明細書で開示する望ましい属性を単独で担うものではない。本開示で説明する主題の1つの発明的態様は、電子デバイスの外面の裏に配置された超音波センサを有する電子デバイス内に実装することができる。電子デバイスは、指またはスタイラスからの意図的なタッチと、指またはスタイラス以外の物体または面からの、不注意または無作為の圧力とを区別するために、超音波センサから信号を受け取り、それを分析するように構成されるプロセッサを含んでもよい。いくつかの実装形態では、このプロセッサは、電子デバイスが電源を入れられる(「アウェイク」モードもしくは「通常電力モード」である)かどうか、または低電力(「スリープ」)モードであるかどうかにかかわらず、上述のように機能する。いくつかの実装形態では、超音波センサは、「ホームボタン」位置に対応する外面の一部に近接していてもよい。その結果、重要なホームボタン機能は、電子デバイスがスリープモードであるときでも、意図的なユーザタッチによって、知覚できないレイテンシで開始される場合があり、ポケットダイヤリングエラーが、少なくとも大部分は除去される場合がある。
【００２８】
図1A〜図1Cは、いくつかの実装形態による電子デバイスの一例を示す。図1Aは、一実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す。電子デバイス100(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、プロセッサ104を含み、インタラクティブディスプレイ102を含む前部外面101を有する。インタラクティブディスプレイ102は、電子デバイス100の前面101のかなりの部分を占有するように構成されるタッチスクリーンディスプレイであってもよい。いくつかの実装形態では、インタラクティブディスプレイ102は、前面101の領域と実質的に同一の広がりをもつ領域を有してもよい。インタラクティブディスプレイ102は、IMODディスプレイ、あるいは、プラズマ、エレクトロルミネッセント(EL)、有機発光ダイオード(OLED)、超ねじれネマティック(STN)もしくは薄膜トランジスタ(TFT)液晶ディスプレイ(LCD)、またはCRTもしくは他のチューブデバイスなどの非フラットパネルディスプレイなどの他のタイプのディスプレイとして構成されてもよい。プロセッサ104は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイ102の出力を制御するように構成されてもよい。
【００２９】
図示した実装形態では、プロセッサ104は、超音波センサ106と通信可能に結合される。適切な超音波センサの一例は、本発明の譲受人に譲渡された"Ultrasonic Fingerprint Scanning Utilizing a Plane Wave"という名称の米国特許第7,739,912号に記載されている。超音波センサ106は、電子デバイス100の前面101の裏に、電子デバイス100の前面101の外周内に配置された位置110(本明細書では「ボタン位置」と呼ぶ)に近接して配置されてもよい。図示した実装形態では、ボタン位置110は、インタラクティブディスプレイ102の外周内に配置される。インタラクティブディスプレイ102は、ボタン位置110においてまたはボタン位置110内に「ソフト」ボタンまたは仮想ボタンを含む様々な位置に、任意の数のタッチ対応アイコンおよび/または閲覧可能な画像コンテンツを表示するように構成されてもよい。他の実装形態では、ボタン位置110は、インタラクティブディスプレイ102の外周の外側(すなわち、「オフガラス」)にあってもよい。そのような実装形態では、位置110に近接した電子デバイス100の前面は、透過的でない場合がある。位置110に近接している、電子デバイス100の前面材料はたとえば、ガラス、プラスチック、またはアルミニウムであってもよい。超音波センサ106は、前面101上にまたは前面101に近接して、位置110の近くに配置された表面または物体の画像特性を取得するように構成されてもよい。上述のように、超音波センサは、前面101の裏に配置される場合があり、前面が、たとえばガラスであってもアルミニウムであっても、約600μmまでの前面の厚さを通して画像特性を取得するように構成される場合がある。面の厚さのそのような範囲は、プラスチック、カバーガラス、アルミニウム、もしくは他の金属から作ることができる様々な厚さのプラテンの配置、または製造プロセス中の凹部の存在または不存在による、および/もしくはデバイス使用中の追加の層、たとえばスクリーンプロテクタの後の配置による厚さの変化から生じる場合がある。
【００３０】
ボタン位置110がインタラクティブディスプレイ102の外周の内側にあるか、または外側にあるかにかかわらず、ボタン位置110は、電子デバイス100のユーザにタッチインターフェース機能を提供するように構成されてもよい。いくつかの実装形態では、ボタン位置110は、電子デバイス110のホームボタン輪郭を形成する場合がある。本開示の技法による電子デバイス100はたとえば、ボタン位置110へのユーザの指またはスタイラスの意図的なタッチと、ユーザの指またはスタイラス以外の物体または面による無作為または不注意の圧力とを適応的に区別するように構成されてもよい。
【００３１】
図1Bでは、電子デバイス100は、ディスプレイが照明され複数の仮想ボタン120のうちのいずれかが視認可能でタッチ作動可能である場合がある、動作モード(「通常電力」モードまたは「アウェイク」モード)であるものとして示される。仮想ボタン120のうちの1つまたは複数は、追加の超音波センサ(図示せず)によりタッチ作動可能となってもよい。代替的にまたは追加として、仮想ボタン120のうちの一部または全部は、抵抗性、容量性、および投影容量性タッチ(PCT:projected capacitive touch)スクリーンなどの他の技法により、タッチ作動可能となる場合がある。いくつかの実装形態では、仮想ボタン120の一部または全部は、各々が本発明の譲受人に譲渡され全体が本開示に組み込まれている、米国特許第9,041,690号および米国特許公開第2015-0253931号などに開示された光学的技法を使用してタッチ作動可能となる場合がある。
【００３２】
図1Cでは、電子デバイス100は、ディスプレイが照明されず仮想ボタンが視認可能でない、低電力モード(たとえば、スリープモードまたは同様の電力節約モード)であるものとして示される。しかしながら、いくつかの実施形態では、たとえばボタン位置110に位置する仮想ボタンの機能は、電子デバイス100が低電力モードであるときも、提供される場合がある。たとえば、10〜100マイクロアンペア程度の電流引き込みを有する場合がある、超音波センサ106は、ボタン位置110に関連付けられた画像データを収集し、電子デバイス100が低電力モードであるかどうかにかかわらず、対応する信号をプロセッサに出力するように構成されてもよい。その結果、プロセッサ104は、ボタン位置110に近接したユーザの指またはスタイラスが接触すると直ちに、電子デバイスを「起動する」ように構成されてもよい。本開示の技法によれば、「起動」プロセスは、ボタン位置110においてユーザによってタッチされると、電子デバイス100が使用のためにほぼ直ちに利用可能になるように、ほとんど知覚できないレイテンシ(25〜50msec)で起こる。
【００３３】
いくつかの実装形態では、プロセッサ104は、ボタン位置110と接触した面または物質の画像データを取得するために超音波センサ106から出力された信号を処理するように構成される。プロセッサ104は、取得された画像データがボタン位置110上で意図的な制御タッチに関連するかどうかを判定するように構成されてもよい。たとえば、プロセッサ104は、画像データがたとえば、空気、織物、革、または無作為の物体とは対照的に、指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定してもよい。この判定に基づいて、プロセッサ104は、画像データが意図的な制御タッチを示すものと判定されるとき、電子デバイス100を「起動」してもよい。
【００３４】
図2は、一実装形態による、ホームボタンにより指タッチと他の相互作用とを区別するための流れ図の一例を示す。図示した方法200によれば、ブロック210において、超音波センサからの入力信号を受信してもよい。たとえば、プロセッサ104は、超音波センサ106から出力された信号を受信してもよい。入力信号は、ボタン位置110に近接したカバーガラスによって指、スタイラス、または他の物体の物理的接触または「タッチ」から生じる場合がある。いくつかの実装形態では、プロセッサ104は、電子デバイス100の汎用プロセッサであるか、もしくはそれを含む場合があり、または超音波センサ106に関連付けられたおよび/もしくはそれとコロケートされた専用プロセッサである場合がある。ブロック220では、入力信号は、ホームボタンと接触した面の画像を取得するために処理を経る場合がある。
【００３５】
ブロック230では、意図的な制御タッチの適応型検出のためのプロセスが、以下でより詳細に説明するように実行される場合がある。適応型検出プロセスは、プロセッサ104によって実行されるアルゴリズムであってもよい。このアルゴリズムは、ボタン位置110と接触した面の取得された画像に基づいて動作してもよい。取得された画像は、画像データの1つまたは複数のフレームを含んでもよい。
【００３６】
ブロック240では、取得された画像が意図的な制御タッチに関連付けられるかどうかに関して、判定が行われてもよい。いくつかの実装形態では、以下で詳細に説明するように、この判定は、取得された画像が指紋の特徴を示す特徴点を含むかどうかに基づいている場合がある。代替的にまたは追加として、いくつかの実装形態では、取得された画像は、スタイラスの既知の面特性と比較されてもよい。そのような実装形態では、この比較は、取得された画像がスタイラスの特徴を示すものとして認識されるかどうかに関する決定をもたらす場合がある。
【００３７】
ブロック240における判定が、取得された画像が意図的な制御タッチの特徴を示す特徴点を含むことである場合、本方法は、ブロック250に進み、ボタン位置110に関連付けられた仮想ボタンの機能を実行する場合がある。いくつかの実装形態では、仮想ボタンは電子デバイス100のホームボタンである場合があり、ブロック250は、電子デバイスをスリープモードから、電子デバイス100のホームスクリーンが表示されるアウェイクモードに切り替えることを含む場合がある。代替的にまたは追加として、仮想ボタンは、電子デバイス100の他の機能に関係する場合があり、ブロック250は、これらの他の機能(たとえば、電話をかける、ウェブブラウザを開く、カレンダーまたはTo Do リストを表示するなど)のうちの1つまたは複数を起動することを含む場合がある。他方では、ブロック240における判定が、取得された画像が指紋またはスタイラスの特徴を示さないという判定である場合、本方法は、仮想ボタンの任意の機能を実行しない判定を有するブロック260に進む場合がある。
【００３８】
図3は、一実装形態による、指(スタイラス)検出プロセスのためのプロセスフローの一例を示す。図2のブロック230に含まれる場合がある方法300は、各々が後続の図面により詳細に示される処理ステップのトップレベルシーケンスを示す。超音波画像(図2のブロック220の出力である場合がある)は、ブロック310において、図4に示す稜線特徴点抽出プロセスを処理することを経る場合がある。並列に、超音波画像は、図8に示す入力の構造的類似性(ブロック350)を判定し、図9に示す局所的バイナリパターン(ブロック360)を判定する処理を経る場合もある。稜線特徴点抽出プロセス310からの出力は、図5に示す配向精緻化プロセスブロック320を経る場合がある。配向精緻化プロセス320からの出力は、図6に示す配向ヒストグラムプロセスブロック330による、および、図7に示す配向相関/符号変化プロセス(ブロック340)による並列の処理を経る場合がある。プロセスブロック330、340、350、および360の出力は、以下でより詳細に説明する、特徴点分類プロセス(ブロック370)を経る場合がある。
【００３９】
図4は、一実装形態による、稜線特徴点抽出プロセスの一例を示す。図示した稜線特徴点抽出プロセスは、たとえば図3のブロック310に含まれる場合がある。いくつかの実装形態によれば、勾配ベクトル(Gij)は、取得された超音波画像内の各ピクセルにおいて偏導関数をとることによって計算される場合がある。取得された超音波画像が指紋(または既知の面特性を有するスタイラス)である場合、勾配ベクトルは、指紋稜線配向と相関する場合があるグレー強度の最高の空間変化率を特定する。図4に示すように、取得された超音波画像が、空気、または指紋様の稜線によっては特徴づけられない面である場合、勾配ベクトルは、指紋に特有の勾配ベクトルの配向パターンとは区別できる配向パターン(「配向マップ」)を有する。用語が本明細書で使用される「コヒーレンス」は、局所的配向の分布における平均勾配の強度を計算する配向の推定の信頼度に関する。用語が本明細書で使用される「配向(Orientation)」(θ)は、図4に記載の勾配ベクトルGxx、Gyy、およびGxyに関して定義される(方程式Eq(1))。最小ピクセル強度Iminおよび最大ピクセル強度Imaxは、図4に示すように、勾配ベクトルおよびθに関して計算される場合がある(方程式Eq(2)およびEq(3))。コヒーレンス(Coherence)および信頼度(Reliablity)は、図4に示すように、IminおよびImaxに関して計算される場合がある(方程式Eq(4)およびEq(5))。
【００４０】
図5は、一実装形態による、配向精緻化プロセスの一例を示す。図示した配向精緻化プロセスは、たとえば図3のブロック320に含まれる場合がある。いくつかの実装形態では、図4に示すプロセスによって生成された配向マップ(詳細A)は、配向特徴点である支配的な配向方向を選択することによってさらに精緻化される場合がある。たとえば、支配的な配向は、図示するように、ヒストグラムデータ(詳細B)の評価に基づいて、かつ精緻化された配向マップ(詳細C)を生成するためにヒストグラムのピークを使用して選択される場合がある。図示の例では、配向精緻化プロセスが空間領域において実行されているが、配向精緻化プロセスは、周波数領域において実行される。
【００４１】
図6は、一実装形態による、配向ヒストグラムプロセスの一例を示す。図示した配向ヒストグラムプロセスは、たとえば図3のブロック330に含まれる場合がある。図5に示すように支配的な配向方向を選択したが、この配向はヒストグラム(詳細D)のビンに割り振られる場合がある。取得された超音波画像が空気、または指紋様の稜線によっては特徴づけられない面である場合、対応するヒストグラム(詳細E)は、詳細Dのヒストグラムと比較してノイズが多い。
【００４２】
図7は、一実装形態による、配向相関/符号変化分析プロセスの一例を示す。図示した配向相関/符号変化分析プロセスは、たとえば図3のブロック340に含まれる場合がある。図示の例では、指紋配向マップ701は、ベクトルのアレイとして構成されるが、このアレイは7行および17列を有する。行1、3、5、および7に関して図示するように、各行の隣接するベクトルの配向の相対的相関の分析が実行される場合がある。指紋配向マップ701に関する隣接するベクトルの配向が強い相関を有する(大部分のベクトルが隣接するベクトルと同様の勾配を有する)ことが観測される場合がある。各行において約16番目または17番目の列で、勾配符号の単一の変化が起こることも観測される場合がある。はっきりした対比において、空気画像702の配向マップは、同じ分析を受けるとき、隣接するベクトル間のはるかに小さい相関と、勾配符号のはるかに頻度が高い変化とを示す。
【００４３】
再び図3を参照すると、配向ヒストグラムプロセス330および配向相関符号変化分析プロセス340は、配向精緻化プロセス320の出力において並列に実行されてもよいことが観測される場合がある。さらに、図示した実装形態におけるこれらのプロセスは、超音波画像(すなわち、その一部)の1つまたは複数の局所的特徴点において実行される。
【００４４】
図8は、一実装形態による、構造的類似性判定プロセスの一例を示す。図示した構造的類似性判定プロセスは、たとえば図3のブロック350に含まれる場合がある。図示の例では、ブロック810において、入力された超音波画像に関して、ヒストグラムが計算され、ブロック820において、ブロック830によって出力されたヒストグラムと比較される。ブロック830によって出力されたヒストグラムは、アップサンプリングおよびダウンサンプリングの後、入力画像に基づいて計算されるが、アップサンプリングおよびダウンサンプリングは画像詳細を低減する。ブロック820において実行される比較が、ブロック810によって計算されたヒストグラムとブロック830によって計算されたヒストグラムとの間で比較的高い類似性を示すとき、入力画像は比較的小さい構造的相関を有することが推論される場合がある。たとえば、その画像は、空気であるか、またはより無作為の表面テクスチャを有する面である可能性が高い。他方では、ブロック820において実行される比較が、ブロック810によって計算されたヒストグラムとブロック830によって計算されたヒストグラムとの間で比較的小さい類似性を示すとき、入力画像は比較的大きい構造的相関を有することが推論される場合がある。たとえば、その画像は、指紋であるか、または十分に構造化された性状を有する他の面である可能性が高い。
【００４５】
図9は、局所的バイナリパターン分析プロセスの一例を示す。図示した局所的バイナリパターン分析プロセスは、たとえば図3のブロック360に含まれる場合がある。図示した実装形態では、入力された超音波画像は、関連の局所的バイナリパターン(LBP:local binary pattern)画像を形成するために処理される場合がある。より具体的には、指紋画像901がLBP画像903を形成するように処理される。同様に、空気画像902がLBP画像904を形成するように処理される。LBP画像903および904は、それぞれ指紋画像および空気画像に関連付けられるものとして、元の画像901および902よりもはっきりと区別できる場合がある。
【００４６】
再び図3を参照すると、構造的類似性判定プロセス350および局所的バイナリパターン分析プロセス360は、超音波画像において並列に実行されてもよいことが観測される場合がある。さらに、図示した実装形態におけるこれらのプロセスは、超音波画像(すなわち、その実質的にすべて)の大域的特徴点において実行される。
【００４７】
さらに図3を参照すると、ブロック330、340、350、および360の出力は、ブロック370における決定ツリー学習プロセスを受ける場合がある。いくつかの実装形態ではたとえば、これらの出力の回帰ツリー分析が実行される場合がある。回帰ツリー分析ブロック370の出力は、空気または無作為のテクスチャ表面とは対照的に、指紋または他の構造的なテクスチャ表面の画像を受信する確率を示す数値的スコアである場合がある。たとえば、数値的スコアは、0と1との間の数である場合があるが、1は画像が指紋または他の構造的なテクスチャ表面であるという高信頼度の特定を示し、0は画像が空気または無作為のテクスチャ表面であるという高信頼度を示す。そのような回帰ツリーは、入力された品質スコアまたは入力物体の出現確率基準を生成することが可能である。
【００４８】
いくつかの実装形態では、図3に示すプロセスフローは、「トレーニング」手順の一部として多数のサンプルに関して実行される場合があるが、アルゴリズムが様々な環境構成およびハードウェア構成のもとでトレーニングされる。超音波画像の品質およびフレームごとの変化が、超音波センサのハードウェア特性、温度の変化、湿度、ノイズ、センサレンジゲート遅延、および周波数設定、ならびにカバーガラス特性によって影響を受ける場合があることが了解されよう。一度または周期的に実行される場合があるトレーニング手順は、ちり、泥、および湿度の様々な量の存在、ならびに少なくとも-40℃〜40℃を含む範囲の極端な温度にもかかわらず、取得された画像が指紋またはスタイラスの特徴を示すかどうかのアルゴリズムの判定の精度を改善する場合がある。トレーニングの結果はたとえば、ハッシュテーブルまたは回帰ツリーとして記憶されてもよい。
【００４９】
本発明者は、本開示に従って構成される意図的な制御タッチアルゴリズムの適応型検出が、取得された画像が極めて低いレイテンシ(いくつかの実装形態では、約10〜15msec)で指紋またはスタイラスの特徴を示すかどうかの極めて正確な判定(たとえば、約95〜98%の精度)を行う場合があることを見出した。その結果、仮想ボタンの機能は、ユーザの指またはパターンスタイラスのタッチがあると、低レイテンシで作動され、たとえば革、布、または空気などの他の物体または材料のタッチによっては作動されない場合がある。
【００５０】
いくつかの実装形態では、本開示の技法は、本発明の譲受人に譲渡され全体が本開示に組み込まれている、米国特許公開番号第2016/007098号などに開示された指紋認証技法および/または生体検出技法と組み合わせられてもよい。
【００５１】
図10は、一実装形態による、取得された画像データが意図的な制御タッチに関連するかどうかを判定するための方法の一例を示す。上記で説明したように、電子デバイスの前面の第1の部分の裏に配置された超音波センサによって出力された信号からの画像データが、プロセッサによって取得される場合がある。図示した実装形態では、方法1000は、超音波変換器からの信号をプロセッサによって受信するためのブロック1010を含む。
【００５２】
本方法は、プロセッサ1020において、前面の第1の部分と接触した面または物質の画像データを取得するために、超音波センサから受信した信号を処理することに進む。
【００５３】
本方法は、ブロック1030において、画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定することによって、取得された画像データが第1の部分への意図的な制御タッチに関連するかどうか判定どうかの判定を行うことによって終了する。
【００５４】
図11は、さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスのブロック図の一例を示す。電子デバイス1100(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、プロセッサ1104を含み、インタラクティブディスプレイ1102を含む前面1101を有する。プロセッサ104は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答して、インタラクティブディスプレイ1102の出力を制御するように構成されてもよい。
【００５５】
図示した実装形態では、プロセッサ1104は、超音波センサ1106および環境センサ1108と通信可能に結合される。環境センサ1108はたとえば、圧力の変化、周囲光もしくは温度の変化を検知するか、または電子デバイス1100の動きを検知するように構成される低電力デバイスであってもよい。そのような実装形態では、超音波センサは、環境センサ1108が圧力、周囲光、または温度の変化を登録するか、または電子デバイスの動きを検出した後にのみ、電子デバイスが低電力モードであるかどうかにかかわらず、プロセッサに信号を送信するように構成される場合がある。
【００５６】
図12は、さらなる実装形態による、インタラクティブディスプレイを有する電子デバイスの一例を示す。電子デバイス1200(たとえば、スマートフォンまたは他のパーソナル電子デバイスであってもよい)は、インタラクティブディスプレイ1202を含む前面1201を有する。インタラクティブディスプレイ1102の出力は、指、手、またはハンドヘルドオブジェクト(たとえば、スタイラス)などのユーザの付属器によるタッチまたはジェスチャーを含む場合がある、ユーザ入力に少なくとも部分的に応答する場合がある。
【００５７】
上記で説明したように、超音波センサは、電子デバイス1200の前面1201の裏に、電子デバイス100の前面1201の外周内に配置された位置1210に近接して配置されてもよい。代替的にまたは追加として、超音波センサが、電子デバイス1200の背面1231の裏に、位置1230に近接して配置される場合がある。いくつかの実装形態では、背面1231は、不透過性のガラス、プラスチック、または金属表面であってもよい。位置1230に位置する仮想ボタンの機能は、電子デバイス1200が低電力モードであるときも、提供される場合がある。たとえば、超音波センサは、ボタン位置1230に関連付けられた画像データを収集し、電子デバイス1200が低電力モードであるかどうかにかかわらず、対応する信号をプロセッサに出力するように構成されてもよい。その結果、プロセッサは、ボタン位置1230に近接したユーザの指またはスタイラスが最初に接触すると直ちに、電子デバイスを「起動する」ように構成されてもよい。いくつかの実装形態では、プロセッサは、ボタン位置1230に近接したユーザの指またはスタイラスが2番目に接触すると、カメラ1240を作動させるように構成されてもよい。
【００５８】
かなり様々な外面の厚さおよび材料のための、本開示の技法によって企図される超音波センサが、外面が透過的であるかどうかにかかわらず、画像データを収集するように動作可能であるため、上記で開示したタイプの仮想ボタンの機能が、デバイスがカバーガラスを含むかどうかにかかわらず、様々なデバイスに提供される場合がある。図13A〜図13Cは、仮想ボタンのさらなる例示的な実装形態を含む。図示した実装形態の各々において、1つまたは複数の仮想ボタン1310が、電子デバイス上に配置される。各仮想ボタンが、仮想ボタンに近接して配置されたそれぞれの超音波センサ(図示せず)に関連付けられる。図13Aに示す例示的な実装形態では、仮想ボタン1310は、スマートウォッチのカバーガラス上に配置されるように示される。代替的にまたは追加として、仮想ボタン1310は、図13Bに示すように、たとえば不透明なリストバンドに近接してカバーガラスの外部に配置される場合がある。仮想ボタンの機能は、他のウェアラブルデバイス上に提供される場合もあり、たとえば仮想ボタン1310は、たとえば図13Cに示すように、スマートグラス上に配置される場合がある。さらに、開示された技法は、図13Dに示すように、たとえばスマート吸入器を含む他のデバイスに仮想ボタンの機能を提供するように構成される場合がある。
【００５９】
またさらなる実装形態では、上記で開示した仮想ボタンは、モノのインターネット(IOT)デバイス、たとえばコンピュータマウス(それが動作していないとき、低電力モードにすることによって電力を節約する)、フィットネスバンド、キオスクおよび/またはサーモスタット、TVまたは他のエンターテインメント電子機器などのホーム機器上に配置されてもよい。一実装形態では、1つまたは複数の仮想ボタンは、ハンドルまたは車両内の1つまたは複数の他の面上に配置される場合があり、それによりユーザが仮想ボタンにタッチした場合、仮想ボタンからの入力がプロセッサに車の自律モードまたは半自律モードよりもマニュアルドライビングを選択させるか、またはその逆の場合がある。
【００６０】
したがって、極めて低いレイテンシで、モバイルデバイスのカバーガラスへの指またはスタイラスのタッチと、指またはスタイラス以外の物体または面のカバーガラス上の不注意による圧力とを区別するための改善された技法が提供される。いくつかの代替の構成および製造技法が企図されてもよいことが了解されよう。
【００６１】
本明細書で使用する場合、項目のリストのうちの「少なくとも1つ」を指す句は、単一のメンバーを含むこれらの項目の任意の組合せを指す。一例として、「a、b、またはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することを意図する。
【００６２】
本明細書で開示する実装形態に関連して説明する様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装されてもよい。ハードウェアとソフトウェアの互換性について、概して機能に関して説明し、上記で説明した様々な例示的な構成要素、ブロック、モジュール、回路、およびプロセスにおいて例示した。そのような機能がハードウェアに実装されるか、ソフトウェアに実装されるかは、特定の適用例および全体的なシステムに課された設計制約によって決まる。
【００６３】
本明細書で開示する態様に関連して説明する様々な例示的な論理、論理ブロック、モジュール、および回路を実装するために使用されるハードウェアおよびデータ処理装置は、汎用シングルチッププロセッサもしくは汎用マルチチッププロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、個別のゲートもしくはトランジスタ論理、個別のハードウェア構成要素、または、本明細書で説明する機能を実行するように設計されたそれらの任意の組合せとともに実装または実行されてもよい。汎用プロセッサは、マイクロプロセッサもしくは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえばDSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてもよい。いくつかの実装形態では、特定のプロセスおよび方法は、所与の機能に特有の回路によって実行されてもよい。
【００６４】
1つまたは複数の態様では、説明する機能は、本明細書で開示する構造およびそれらの構造的等価物を含む、ハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せにおいて実装されてもよい。本明細書で説明した主題の実装形態は、データ処理装置の動作によって実行するために、またはデータ処理装置の動作を制御するためにコンピュータ記憶媒体上に符号化された、1つまたは複数のコンピュータプログラムとして、すなわち、コンピュータプログラム命令の1つまたは複数のモジュールとして実装することもできる。
【００６５】
それらの機能は、ソフトウェアにおいて実装される場合、1つまたは複数の命令またはコードとして、非一時的媒体などのコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信される場合がある。本明細書で開示した方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に存在する場合があるプロセッサ実行可能ソフトウェアモジュールにおいて実装されてもよい。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することが可能になる可能性がある任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされる場合がある任意の利用可能な媒体であってもよい。限定ではなく例として、そのような非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用される場合があるとともに、コンピュータによってアクセスされる場合がある任意の他の媒体を含んでもよい。また、任意の接続はコンピュータ可読媒体と適切に呼ぶことができる。本明細書で使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびBlu-ray(登録商標)ディスク(disc)を含むが、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せはまた、コンピュータ可読媒体の範囲内に含まれるものとする。さらに、方法またはアルゴリズムの動作は、コードおよび命令のうちの1つまたは任意の組合せまたはセットとして、コンピュータプログラム製品に組み込まれる場合がある機械可読媒体およびコンピュータ可読媒体上に存在してもよい。
【００６６】
本開示で説明する実装形態に対する様々な変更形態が、当業者には容易に明らかになる場合があり、本明細書で規定された一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実装形態に適用される場合がある。したがって、特許請求の範囲は、本明細書で示されている実装形態に限定されることを意図するものではなく、本開示、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。加えて、当業者が容易に理解するように、「より上」および「より下」、「上部」および「底部」、「前」および「後」、ならびに、「わたって」、「上」、「下方」、および「下にある」という用語は、時には図面の説明を容易にするために使用され、適切に向けられたページ上の図面の向きに対応する相対的な位置を示し、実装されたデバイスの適切な向きを反映しない場合がある。
【００６７】
別個の実装形態の文脈において本明細書で説明する特定の特徴は、単一の実装形態において組み合わせて実装されることも可能である。逆に、単一の実装形態に関連して説明した様々な特徴もまた、複数の実装形態に別々に実装することができ、あるいは任意の好適な部分組合せに実装することができる。その上、特徴は、上記ではいくつかの組合せとして作用するものとして記載され、場合によっては最初からそのようなものとして特許請求される場合があるが、特許請求される組合せにおける1つまたは複数の特徴は、場合によっては、その組合せから削除することができ、特許請求される組合せは、部分組合せまたは部分組合せの変形形態を対象とする場合がある。
【００６８】
同様に、動作は、特定の順序で図面に示されているが、これは、そのような動作が、示された特定の順序で、もしくは順番に実行されること、またはすべての図示の動作が望ましい結果を達成するために実行されることを必要とするものとして理解されるべきではない。さらに、図面は、フロー図の形態で1つまたは複数の例示的なプロセスを概略的に示す場合がある。しかしながら、概略的に示されている例示的なプロセスには、図示されていない他の動作を組み込むことができる。たとえば、図示した動作のうちの任意の動作の前、後、任意の動作と同時に、またはこれらの動作の間に、1つまたは複数の追加の動作を実行することができる。特定の状況では、マルチタスキングおよび並列処理が有利である場合がある。その上、上記で説明した実装形態における様々なシステム構成要素の分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきではなく、説明したプログラム構成要素およびシステムは、一般に単一のソフトウェア製品内に一体化することができ、あるいは複数のソフトウェア製品としてパッケージ化することができることを理解されたい。さらに、他の実装形態も以下の特許請求の範囲内にある。場合によっては、特許請求の範囲に記載されているアクションは、異なる順序において実行することができるが、その場合でも望ましい結果を達成することができる。
【符号の説明】
【００６９】
100  電子デバイス
101  前部外面、前面
102  インタラクティブディスプレイ
104  プロセッサ
106  超音波センサ
110  ボタン位置
120  仮想ボタン
701  指紋配向マップ
702  空気画像
901  指紋画像
902  空気画像
903  LBP画像
904  LBP画像
1100  電子デバイス
1101  前面
1102  インタラクティブディスプレイ
1104  プロセッサ
1106  超音波センサ
1108  環境センサ
1200  電子デバイス
1201  前面
1202  インタラクティブディスプレイ
1210  位置
1230  位置、ボタン位置
1231  背面
1240  カメラ
1310  仮想ボタン
【図１Ａ】
2018530024.tif 000003
【図１Ｂ】
2018530024.tif 000004
【図１Ｃ】
2018530024.tif 000005
【図２】
2018530024.tif 000006
【図３】
2018530024.tif 000007
【図４】
2018530024.tif 000008
【図５】
2018530024.tif 000009
【図６】
2018530024.tif 000010
【図７】
2018530024.tif 000011
【図８】
2018530024.tif 000012
【図９】
2018530024.tif 000013
【図１０】
2018530024.tif 000014
【図１１】
2018530024.tif 000015
【図１２】
2018530024.tif 000016
【図１３Ａ】
2018530024.tif 000017
【図１３Ｂ】
2018530024.tif 000018
【図１３Ｃ】
2018530024.tif 000019
【図１３Ｄ】
2018530024.tif 000020
【手続補正書】
【提出日】平成30年1月5日(2018.1.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第1の外面を含む電子デバイスと、
前記第1の外面の第1の部分の裏に配置された超音波センサと、
前記電子デバイスおよび前記超音波センサの一方または両方に関連付けられたプロセッサであって、
前記第1の外面の前記第1の部分と接触した物体または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定し、かつ前記第1の外面の前記第1の部分への、指またはスタイラスの意図的なタッチと、不注意および無作為の接触の一方または両方とを区別することによって、前記取得された画像データが前記第1の部分への指またはスタイラスの意図的なタッチに関連するかどうかの第1の判定を行うことと
を行うように構成されるプロセッサと
を備える、装置。
【請求項２】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項1に記載の装置。
【請求項３】
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への指またはスタイラスの意図的なタッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記プロセッサは、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるように構成される、
請求項2に記載の装置。
【請求項４】
前記電子デバイスが、前記超音波センサおよび前記プロセッサの一方または両方に結合される、周囲光センサ、圧力センサ、周囲温度センサ、および動き検出器のうちの1つまたは複数を含み、
前記超音波センサは、(i)前記周囲光センサが周囲光レベルの変化を登録すること、(ii)前記圧力センサが圧力の変化を登録すること、(iii)前記周囲温度センサが周囲温度の変化を登録すること、および(iv)前記動き検出器が前記電子デバイスの動きを登録することのうちの1つまたは複数の後にのみ、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を送信する、
請求項1に記載の装置。
【請求項５】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記少なくとも1つの面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
【請求項６】
前記仮想ボタンが前記カバーガラス上に配置される、請求項5に記載の装置。
【請求項７】
前記仮想ボタンがホームボタンである、請求項5に記載の装置。
【請求項８】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含む第2の外面と反対にあり、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項1に記載の装置。
【請求項９】
前記プロセッサが、30msec未満のレイテンシ期間内に前記第1の判定を行う、請求項1に記載の装置。
【請求項１０】
前記プロセッサが、前記第1の外面の前記第1の部分への、意図した制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１１】
前記プロセッサが、少なくとも-40C〜40Cの周囲温度の範囲にわたって、前記第1の外面の前記第1の部分への、意図した制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１２】
前記プロセッサが、少なくとも0μm〜600μmの距離の範囲にわたって前記第1の外面と前記超音波センサとを適応的に区別するように構成される、請求項1に記載の装置。
【請求項１３】
前記プロセッサが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
【請求項１４】
前記プロセッサが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを前記プロセッサによって実行することを含む適応型指検出プロセスを実行することによって前記第1の判定を行うように構成される、請求項1に記載の装置。
【請求項１５】
前記決定ツリーラーニングプロセスが、
稜線特徴点抽出プロセス、
配向精緻化プロセス、
配向ヒストグラム分析プロセス、
配向相関/変更/分析プロセス、
入力の構造的類似性の分析プロセス、および
局所的バイナリパターン分析プロセス
のうちの1つまたは複数の出力に作用する、請求項14に記載の装置。
【請求項１６】
第1の外面を含む電子デバイスのプロセッサにおいて、前記第1の外面の第1の部分の裏に配置された超音波センサからの信号を受信するステップと、
前記プロセッサによって、
前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した前記信号を処理するステップと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定し、かつ前記第1の外面の前記第1の部分への、指またはスタイラスの意図的なタッチと、不注意および無作為の接触の一方または両方とを区別することによって、前記取得された画像データが前記第1の部分への指またはスタイラスの意図的なタッチに関連するかどうかの第1の判定を行うステップと
を備える、方法。
【請求項１７】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項16に記載の方法。
【請求項１８】
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への指またはスタイラスの意図的なタッチに関連するとの判定である場合、前記電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えるステップ
をさらに備える、請求項17に記載の方法。
【請求項１９】
前記第1の外面の前記第1の部分が仮想ボタンの位置に対応し、前記方法が、前記第1の判定に基づいて前記仮想ボタンの機能を実行または実行を控えるステップをさらに備える、請求項16に記載の方法。
【請求項２０】
前記第1の判定を行うステップが、前記第1の外面の前記第1の部分への、意図した制御タッチと、不注意および無作為の接触の一方または両方とを適応的に区別するステップを含む、請求項16に記載の方法。
【請求項２１】
前記第1の判定を行うステップが、サポートベクターマシン回帰、現代のニューラルネットワークアルゴリズム、およびディープラーニング技法のうちの1つまたは複数を実行するステップを含む、請求項16に記載の方法。
【請求項２２】
前記第1の判定を行うステップが、トレーニングされた回帰決定ツリーラーニングプロセスを含むアルゴリズムを実行することを含む適応型指検出プロセスを実行するステップを含む、請求項16に記載の方法。
【請求項２３】
前記決定ツリーラーニングプロセスが、
稜線特徴点抽出プロセス、
配向精緻化プロセス、
配向ヒストグラム分析プロセス、
配向相関/変更/分析プロセス、
入力の構造的類似性の分析プロセス、および
局所的バイナリパターン分析プロセス
のうちの1つまたは複数の出力に作用する、請求項22に記載の方法。
【請求項２４】
ソフトウェアを記憶する非一時的コンピュータ可読記録媒体であって、前記ソフトウェアが、
電子デバイスの第1の外面の第1の部分と接触した面または物質の画像データを取得するために、前記第1の外面の前記第1の部分の裏に配置された超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定するとともに、前記第1の外面の前記第1の部分への、指またはスタイラスの意図的なタッチと、不注意および無作為の接触の一方または両方とを区別することによって、前記取得された画像データが前記第1の部分への指またはスタイラスの意図的なタッチに関連するかどうかの第1の判定を行うことと
を前記電子デバイスのプロセッサに行わせるための命令を含む、非一時的コンピュータ可読記録媒体。
【請求項２５】
前記超音波センサが、前記電子デバイスが低電力モードであるかどうかにかかわらず、前記プロセッサに前記信号を出力する、
請求項24に記載のコンピュータ可読記録媒体。
【請求項２６】
ソフトウェアが、
前記第1の判定が、前記超音波センサから受信した前記信号が前記第1の部分への指またはスタイラスの意図的なタッチに関連するとの判定である場合、電子デバイスが前記低電力モードであるとき、前記電子デバイスを前記低電力モードから通常電力モードに切り替えること
を前記電子デバイスのプロセッサに行わせるための命令をさらに含む、請求項25に記載のコンピュータ可読記録媒体。
【請求項２７】
第1の外面を含む電子デバイスと、
前記第1の外面の第1の部分の裏に配置された超音波センサと、
前記第1の外面の前記第1の部分と接触した面または物質の画像データを取得するために、前記超音波センサから受信した信号を処理することと、
前記画像データが指紋またはパターン化されたスタイラスの特徴を示すかどうかを判定し、かつ前記第1の外面の前記第1の部分への、指またはスタイラスの意図的なタッチと、不注意および無作為の接触の一方または両方とを区別することによって、前記取得された画像データが前記第1の部分への指またはスタイラスの意図的なタッチに関連するかどうかの第1の判定を行うことと
を行うための手段と
を備える、装置。
【請求項２８】
前記第1の外面がカバーガラスを有するインタラクティブディスプレイを含み、前記第1の外面の前記第1の部分が仮想ボタンの位置に対応する、請求項27に記載の装置。
【国際調査報告】
2018530024.tif 000021
2018530024.tif 000022
2018530024.tif 000023