(57)【要約】  コンピューティングデバイスは複数の力センサを有するタッチスクリーンディスプレイを含み、力センサの各々はタッチスクリーンディスプレイとの接触に応答して信号を与える。複数の力センサからの力の信号を使用して、力の大きさ、力の中心点、およびせん断力など、接触の特性が求められる。接触の特性は、コンピューティングデバイスを制御するために処理されるコマンドを選択するために使用される。たとえば、コマンドは、タッチスクリーンディスプレイ上に表示されるデータを、たとえば、力の大きさに応答してスクロール速度または選択されるデータの量を調整することによって操作することに関連してもよいし、力の大きさに応答して、異なる焦点範囲を選択すること、警告を発すること、もしくはスピーカの音量を調整することなど、コンピューティングデバイス上のアプリケーションの動作に関連してもよい。
2013541795.tif 000002
【特許請求の範囲】
【請求項１】
タッチスクリーンディスプレイとコンピューティングデバイスのハウジングとの間に結合された複数の力センサから、前記タッチスクリーンディスプレイとの接触に応答して信号を受信するステップと、
前記複数の力センサからの前記信号を使用して前記タッチスクリーンディスプレイとの前記接触の特性を求めるステップであって、前記接触の前記特性が、前記タッチスクリーンディスプレイで画定される平面に垂直に加えられる力の大きさと、前記接触の力の中心点と、前記タッチスクリーンディスプレイで画定される前記平面に平行なせん断力とのうちの少なくとも1つを含む、ステップと、
前記接触の前記特性をコマンドを選択するために使用するステップと、
前記コマンドを前記コンピューティングデバイスを制御するために処理するステップとを含む、方法。
【請求項２】
前記複数の力センサが抵抗性力センサであり、前記タッチスクリーンディスプレイの底面の周辺に配列される、請求項1に記載の方法。
【請求項３】
前記力の大きさが、前記タッチスクリーンディスプレイの上の前記力の大きさと、前記タッチスクリーンディスプレイとの接触面積の上の前記力の大きさとのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項４】
前記タッチスクリーンディスプレイとの前記接触面積の上の前記力の大きさを求めるステップが、前記タッチスクリーンディスプレイ上のタッチセンサからの信号に基づいて前記接触面積を求めるステップを含む、請求項3に記載の方法。
【請求項５】
前記接触の前記力の中心点を求めるステップが、検出された力と前記タッチスクリーンディスプレイの中心までの距離との積として各力センサに対して求められた力のベクトルのベクトル和を含む、請求項1に記載の方法。
【請求項６】
前記せん断力を求めるステップが、
前記複数の力センサから受信した前記信号を使用して前記接触の前記力の中心点を求めるステップと、
前記タッチスクリーンディスプレイ上のタッチセンサからの信号に基づいて接触面積の中心点を求めるステップと、
前記せん断力を求めるために、前記接触面積の前記中心点と前記力の中心点との間の差を使用するステップとを含む、請求項1に記載の方法。
【請求項７】
前記せん断力を求めるステップが、前記複数の力センサのサブセットから受信した信号を使用するステップを含み、前記複数の力センサの前記サブセットが、前記タッチスクリーンディスプレイと前記ハウジングとの間の、前記タッチスクリーンディスプレイの側部に配列される、請求項1に記載の方法。
【請求項８】
前記コンピューティングデバイスの動きを検出し、前記動きに応答して力の閾値を調整するステップであって、前記コンピューティングデバイスの動きが大きくなるにつれて前記力の閾値が増大される、ステップと、
前記力の大きさを前記力の閾値と比較するステップとをさらに含み、
前記力の大きさが前記力の閾値よりも大きいときにコマンドが選択される、請求項1に記載の方法。
【請求項９】
前記コマンドが、前記タッチスクリーンディスプレイ上に表示されたデータを操作するステップを含む、請求項1に記載の方法。
【請求項１０】
前記タッチスクリーンディスプレイ上に表示されたデータを操作するステップが、前記力の大きさに応答して前記タッチスクリーンディスプレイ上に表示されたデータをスクロールする速度を制御するステップを含む、請求項9に記載の方法。
【請求項１１】
前記タッチスクリーンディスプレイ上に表示されたデータを操作するステップが、前記力の大きさに応答して選択される前記タッチスクリーンディスプレイ上のデータの量を制御するステップを含む、請求項9に記載の方法。
【請求項１２】
前記コマンドが、前記コンピューティングデバイス上のアプリケーションの動作を制御するステップを含む、請求項1に記載の方法。
【請求項１３】
前記方法が、前記力の大きさの変化速度を求めるステップをさらに含み、前記アプリケーションの動作を制御するステップが、前記力の大きさの前記変化速度が閾値よりも大きいことに応答して選択されたアクションを少なくとも部分的に逆にするステップを含む、請求項12に記載の方法。
【請求項１４】
前記アプリケーションの動作を制御するステップが、前記タッチスクリーンディスプレイに加えられた前記力の大きさに応答して、前記タッチスクリーンディスプレイ上に表示された前景の対象物と背景の対象物との間で選択するステップを含む、請求項12に記載の方法。
【請求項１５】
前記アプリケーションの動作を制御するステップが、前記タッチスクリーンディスプレイに加えられた前記力の大きさに応答して、前記コンピューティングデバイス上のカメラに対する焦点範囲を選択するステップを含む、請求項12に記載の方法。
【請求項１６】
前記タッチスクリーンディスプレイ上のタッチセンサからの信号に基づいて接触面積を求めるステップをさらに含み、前記アプリケーションの動作を制御するステップが、前記接触面積の上の前記力の大きさが閾値よりも大きいことに応答して、前記タッチスクリーンディスプレイの損傷の可能性を表示する警報を発するステップを含む、請求項12に記載の方法。
【請求項１７】
前記アプリケーションの動作を制御するステップが、前記力の大きさが閾値よりも大きくかつ接触の位置が前記タッチスクリーンディスプレイ上にあることに応答して前記コンピューティングデバイスをロックするステップを含む、請求項12に記載の方法。
【請求項１８】
前記アプリケーションの動作を制御するステップが、前記力の大きさが閾値よりも大きくかつ接触の位置が前記タッチスクリーンディスプレイ上にあることに応答して前記タッチスクリーンディスプレイ内のタッチセンサをディセーブルするステップを含む、請求項12に記載の方法。
【請求項１９】
前記タッチセンサが、容量性タッチセンサと抵抗性タッチセンサとのうちの少なくとも1つである、請求項18に記載の方法。
【請求項２０】
前記アプリケーションの動作を制御するステップが、前記タッチスクリーンディスプレイ内のタッチセンサがディセーブルである間に前記コンピューティングデバイスを制御するために前記力の大きさと前記力の中心点とを使用するステップを含む、請求項12に記載の方法。
【請求項２１】
前記アプリケーションの動作を制御するステップが、前記タッチスクリーンディスプレイに加えられる前記力の大きさに応答して、スピーカの音量、オーディオ周波数等化、アクティブ雑音消去、ダイナミックレンジ圧縮、リミッティング、およびゲイン制御のうちの少なくとも1つを可変的に調整するステップを含む、請求項12に記載の方法。
【請求項２２】
前記複数の力センサが、保護要素を介して指の動きを検出する、請求項1に記載の方法。
【請求項２３】
前記保護要素が衣類のポケットまたはホルダである、請求項22に記載の方法。
【請求項２４】
ハウジングと、
ディスプレイ、および前記ハウジングと前記ディスプレイとの間に結合された複数の力センサを備えるタッチスクリーンディスプレイと、
前記複数の力センサに接続されたプロセッサと、
前記プロセッサに接続されたメモリと、
前記プロセッサに、前記複数の力センサから受信した信号を使用して前記タッチスクリーンディスプレイとの接触の特性を求めさせ、前記接触の前記特性を使用してコマンドを選択させ、前記コマンドを処理して前記コンピューティングデバイスを制御させるために前記メモリ内に保持されて前記プロセッサ内で実行されるソフトウェアとを備え、前記接触の前記特性が、前記タッチスクリーンディスプレイで画定される平面に垂直に加えられる力の大きさと、前記接触の力の中心点と、前記タッチスクリーンディスプレイで画定される前記平面に平行なせん断力とのうちの少なくとも1つを含む、コンピューティングデバイス。
【請求項２５】
前記複数の力センサが抵抗性力センサであり、前記タッチスクリーンディスプレイの底面の周辺に配列される、請求項24に記載のコンピューティングデバイス。
【請求項２６】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチスクリーンディスプレイ上の前記力の大きさを求めさせる、請求項24に記載のコンピューティングデバイス。
【請求項２７】
前記タッチスクリーンディスプレイが、前記ディスプレイに結合され、前記プロセッサに接続されたタッチセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチセンサから受信した信号に基づいて接触面積を求めさせ、かつ前記接触面積の上の前記力の大きさを求めさせる、請求項24に記載のコンピューティングデバイス。
【請求項２８】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、検出された力と前記タッチスクリーンディスプレイの中心までの距離との積として、各力センサに対して求められた力のベクトルのベクトル和として、前記接触の前記力の中心点を求めさせる、請求項24に記載のコンピューティングデバイス。
【請求項２９】
前記タッチスクリーンディスプレイが、前記ディスプレイに結合され、前記プロセッサに接続されたタッチセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチセンサから受信した信号に基づいて接触面積の中心点を求めさせ、かつ前記接触面積の中心点と前記力の中心点との間の差として前記せん断力を求めさせる、請求項24に記載のコンピューティングデバイス。
【請求項３０】
前記複数の力センサのサブセットが、前記ディスプレイと前記ハウジングとの間で前記ディスプレイの側部に配列され、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記複数の力センサの前記サブセットからの信号に基づいて前記せん断力を求めさせる、請求項24に記載のコンピューティングデバイス。
【請求項３１】
前記プロセッサに接続された動きセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記動きセンサからの信号に基づいて前記コンピューティングデバイスの動きを検出させ、前記動きに応答して力の閾値を調整させ、前記力の閾値が前記コンピューティングデバイスの動きが大きくなるにつれて増加され、さらに前記プロセッサに、前記力の大きさを前記力の閾値と比較して、前記力の大きさが前記力の閾値よりも大きいときにコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３２】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさに応答して前記ディスプレイ上に表示されたデータをスクロールする速度を制御するためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３３】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさに応答して選択される前記ディスプレイ上のデータの量を制御するためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３４】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさの変化速度を求めさせ、前記プロセッサに、前記力の大きさの前記変化速度が閾値よりも大きいことに応答して、選択されたアクションを少なくとも部分的に逆にするためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３５】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさに応答して、前記ディスプレイ上に表示された前景の対象物と背景の対象物との間で選択させるためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３６】
選択可能な焦点範囲を有するカメラをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさに応答して前記カメラの焦点範囲を選択するためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３７】
前記タッチスクリーンディスプレイが、前記ディスプレイに結合され、前記プロセッサに接続されたタッチセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチセンサからの信号に基づいて接触面積を求めさせ、かつ前記接触面積の上の前記力の大きさが閾値よりも大きいことに応答して前記ディスプレイの損傷の可能性を表示する警報を発するためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３８】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさが閾値よりも大きくかつ接触の位置が前記タッチスクリーンディスプレイ上にあることに応答して前記コンピューティングデバイスをロックするためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項３９】
前記タッチスクリーンディスプレイが前記ディスプレイに結合されたタッチセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記力の大きさが閾値よりも大きくかつ接触の位置が前記タッチスクリーンディスプレイ上にあることに応答して前記タッチセンサをディセーブルするためのコマンドを選択させる、請求項24に記載のコンピューティングデバイス。
【請求項４０】
前記タッチセンサが、容量性タッチセンサと抵抗性タッチセンサとのうちの少なくとも1つである、請求項39に記載のコンピューティングデバイス。
【請求項４１】
前記タッチスクリーンディスプレイが前記ディスプレイに結合されたタッチセンサをさらに備え、前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチスクリーンディスプレイ内の前記タッチセンサがディセーブルである間に前記力の大きさと前記力の中心点を用いて前記コンピューティングデバイスを制御させる、請求項24に記載のコンピューティングデバイス。
【請求項４２】
前記メモリ内に保持されて前記プロセッサ内で実行される前記ソフトウェアが、前記プロセッサに、前記タッチスクリーンディスプレイに加えられる前記力の大きさに応答して、スピーカの音量、オーディオ周波数等化、アクティブ雑音消去、ダイナミックレンジ圧縮、リミッティング、およびゲイン制御のうちの少なくとも1つを調整させる、請求項24に記載のコンピューティングデバイス。
【請求項４３】
前記複数の力センサが、保護要素を介して指の動きを検出する、請求項24に記載のコンピューティングデバイス。
【請求項４４】
前記保護要素が衣類のポケットまたはホルダである、請求項43に記載のコンピューティングデバイス。
【請求項４５】
タッチスクリーンディスプレイとの接触に応答して前記タッチスクリーンディスプレイの複数の位置から力の測定値を受信するための手段と、
前記複数の位置からの力の測定値を使用して前記タッチスクリーンディスプレイとの前記接触の特性を求めるための手段であって、前記接触の前記特性が、前記タッチスクリーンディスプレイで画定される平面に垂直に加えられる力の大きさと、前記接触の力の中心点と、前記タッチスクリーンディスプレイで画定される前記平面に平行なせん断力とのうちの少なくとも1つを含む、手段と、
前記接触の前記特性に基づいてコマンドを選択するための手段と、
前記コマンドを処理するための手段と
を備える、システム。
【請求項４６】
コンピュータにより実行可能なプログラムコードが記録されたコンピュータ可読記録媒体であって、
複数の力センサから受信した信号を使用してタッチスクリーンディスプレイとの接触の特性を求めるためのプログラムコードであって、前記接触の前記特性が、前記タッチスクリーンディスプレイで画定される平面に垂直に加えられる力の大きさと、前記接触の力の中心点と、前記タッチスクリーンディスプレイで画定される前記平面に平行なせん断力とのうちの少なくとも1つを含む、プログラムコードと、
前記接触の前記特性を使用してコマンドを選択するためのプログラムコードと、
前記コマンドを処理するためのプログラムコードとを含む、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、力をセンシングするタッチスクリーンに関する。
【背景技術】
【０００２】
タッチスクリーンディスプレイは、スマートフォンなど、最近のモバイルプラットフォームアプリケーションにおいて遍在するようになっている。タッチスクリーンディスプレイは、キーパッドの必要性を排除する。一適応形態では、タッチスクリーンディスプレイは、キーパッドの置換としてだけでなく、タッチスクリーン上のユーザのジェスチャーを検出し、そのジェスチャーを、実行すべき所望のコマンドに変換するユーザインターフェースとして使用される。
【０００３】
タッチスクリーンディスプレイは、従来は、LCD(液晶ディスプレイ)技術、またはLPD(発光ポリマーディスプレイ)技術である。スクリーンは、タッチスクリーンとの1カ所または複数カ所の接触点を求めるために、容量性、抵抗性、赤外線、および表面弾性波技術など、タッチセンシング技術を使用するタッチセンサで覆われる。しかしながら、タッチセンシング技術は、ディスプレイの平面内において2次元の情報を受信する。図1は、例として、2次元の、すなわちX軸とY軸とに沿ったタッチ情報を検出するタッチスクリーンディスプレイ12を有する従来のモバイルプラットフォーム10を示す。言い換えれば、タッチスクリーンディスプレイ12上のタッチセンサは、タッチスクリーンディスプレイ12上の接触の位置を検出する。容量性センサなど、いくつかのタッチセンシング技術は、対象物がタッチスクリーンディスプレイ12にどれだけ近いかを検出し得るが、最終的には、検出されたパラメータ、たとえばキャパシタンスが特定の閾値内にあるときに対象物が接触しているものと判断する。したがって、そのようなタッチセンシング技術は、実際には、2次元情報、すなわち対象物が接触しているものとみなされるほど近くにあるかどうか、またそうであればその接触の2次元の位置を検出しているにすぎない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、従来のタッチスクリーンディスプレイは2次元のユーザインターフェースとして機能し、それゆえ、ユーザがインターフェーシングする機会およびそれへのデバイスの応答は制限される。
【課題を解決するための手段】
【０００５】
コンピューティングデバイスは複数の力センサを有するタッチスクリーンディスプレイを含み、力センサの各々はタッチスクリーンディスプレイとの接触に応答して信号を与える。例として、力センサは、タッチスクリーンディスプレイの底面の周辺に設置された抵抗性力センサであってよい。複数の力センサからの力の信号を使用して、力の大きさ、力の中心点、およびせん断力など、接触の特性が求められる。接触の特性は、コンピューティングデバイスを制御するために処理されるコマンドを選択するために使用される。
【０００６】
選択されたコマンドは、タッチスクリーンディスプレイ上に表示されたデータを、たとえば力の大きさに応答してスクロール速度または選択されるデータ量を調整することなどによって操作することに関連し得る。選択されたコマンドはまた、コンピューティングデバイス上のアプリケーションの動作に関連し得る。たとえば、カメラの異なる焦点範囲が、力の大きさに応答して選択され得る。他の例には、タッチスクリーンディスプレイが接触による損傷を受ける可能性があることを力の大きさが示すときに警報を発すること、またはタッチスクリーンディスプレイに加えられる力の大きさに応答してスピーカの音量、オーディオ周波数等化、もしくはアクティブ雑音消去を調整することが含まれる。タッチスクリーンディスプレイとの接触に応答して検出された、力の大きさ、力の中心点、およびせん断力に応答して、追加の機能および動作が可能である。
【図面の簡単な説明】
【０００７】
【図１】2次元タッチ情報を検出するタッチスクリーンディスプレイを有する従来のモバイルプラットフォームの図である。
【図２】3次元タッチ情報を検出するタッチスクリーンディスプレイを有するコンピューティングデバイスの図である。
【図３】3次元タッチ情報を検出するための力センサを有するタッチスクリーンディスプレイの斜視図である。
【図４】力センサを有するタッチスクリーンディスプレイを備え、3次元のユーザインターフェーシングによって、プロンプトが出されるコマンドをサポートすることができるコンピューティングデバイスのブロック図である。
【図５】コンピューティングデバイスの動作を制御するために、3次元ユーザインターフェースとしてタッチスクリーンディスプレイ上に複数の力センサを使用するステップを示すフローチャートである。
【図６】タッチスクリーンディスプレイの底部ならびに側部の周辺に分散された力センサを有するタッチスクリーンディスプレイの平面図である。
【図７】ユーザが、タッチスクリーンディスプレイに検出可能な力を加えているコンピューティングデバイスの図である。
【図８】コンピューティングデバイスの動きに応答して力の閾値を動的に調整するコンピューティングデバイスの図である。
【図９】タッチスクリーンディスプレイ上に表示されたデータを操作することなどのコマンドを選択するために、接触によって検出されたせん断力を使用するコンピューティングデバイスの図である。
【図１０】タッチスクリーンディスプレイに加えられる力の大きさに応答してデータをスクロールする速度を制御することによって、タッチスクリーン上に表示されているデータを操作するコンピューティングデバイスの図である。
【図１１】タッチスクリーンディスプレイに加えられる力の大きさに応答して選択される、タッチスクリーンディスプレイ上のデータの量を制御することによって、タッチスクリーン上に表示されているデータを操作するコンピューティングデバイスの図である。
【図１２】力の大きさの変化速度に応答して選択されたアクションを逆にすることによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１３Ａ】タッチスクリーンディスプレイに加えられる力の大きさに応答して、たとえば拡張現実(Augmented Reality)(AR)タイプのアプリケーションにおいて、タッチスクリーンディスプレイ上に表示される前景の対象物と背景の対象物との間で選択することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１３Ｂ】タッチスクリーンディスプレイに加えられる力の大きさに応答して、たとえば拡張現実(AR)タイプのアプリケーションにおいて、タッチスクリーンディスプレイ上に表示される前景の対象物と背景の対象物との間で選択することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１４】タッチスクリーンディスプレイに加えられる力の大きさに応答して、コンピューティングデバイス上のカメラの焦点範囲を選択することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１５】タッチスクリーンディスプレイに加えられる力の大きさに応答して、タッチスクリーンディスプレイの損傷の可能性を表示する警報を発することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１６】タッチスクリーンディスプレイに加えられる力の大きさに応答して、コンピューティングデバイスをロックすることによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１７】コンピューティングデバイスが少なくとも部分的にロックされている間に、コンピューティングデバイスを制御するための閾値よりも大きい力の大きさを使用することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１８】タッチスクリーンディスプレイ上の力の大きさが閾値を超えるまでタッチセンサをディセーブルすることによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図１９】コンピューティングデバイスが低電力モードにある間に力センサを使用してコンピューティングデバイスを制御することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図２０】コンピューティングデバイスが低電力モードにある間に力センサを使用してコンピューティングデバイスを制御することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの別の例を示す図である。
【図２１】タッチスクリーンディスプレイに加えられる力の大きさに応答して、スピーカの音量、オーディオ周波数等化、およびアクティブ雑音消去のうちの少なくとも1つを可変的に調整することによって、コンピューティングデバイス上のアプリケーションの動作を制御するコンピューティングデバイスの図である。
【図２２】ユーザが、保護要素を介してコンピューティングデバイスと対話するジェスチャーを生成している、衣類のポケットまたはホルダなどの保護要素の背後にあるコンピューティングデバイスの図である。
【発明を実施するための形態】
【０００８】
図2は、タッチ情報を3次元で、すなわちX軸、Y軸およびZ軸に沿って検出するタッチスクリーンディスプレイ102を有するコンピューティングデバイス100を示す。Z軸情報を追加することによって、タッチスクリーンディスプレイ102は、3次元のジェスチャーまたはインターフェーシングが可能になり、タッチスクリーンの面上の単純な2次元のジェスチャーに限定されない。
【０００９】
コンピューティングデバイス100は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップもしくは他の適切なモバイルデバイス、またはデスクトップコンピュータもしくは他の同様のデバイスを含む任意の他の適切な固定式コンピューティングデバイスなどのモバイルプラットフォームであってよい。したがって,「コンピューティングデバイス」は、タッチスクリーンディスプレイを含むユーザインターフェースを有するワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むことが意図されている。
【００１０】
図3は、X軸、Y軸およびZ軸を有するコンピューティングデバイス100のタッチスクリーンディスプレイ102の斜視図を示す。コンピューティングデバイス100の場合は、タッチスクリーンディスプレイ102は、LCDディスプレイ、LPDディスプレイ、または他の適切なディスプレイなどのディスプレイ要素104を含み、また、たとえば、ディスプレイ要素104とハウジング108の枠との間の、ディスプレイ要素104の周辺に位置する複数の力センサ106を含む。力センサ106は、ハウジング108およびディスプレイ要素104に接着剤で付着され得る。したがって、ディスプレイ要素104は、力センサ106を介してハウジング108に接続される。図3に示すように、4つの力センサ106がディスプレイ要素104の左側および右側に位置し、3つの力センサ106がディスプレイ要素104の上側および底側に沿って位置する。より多いかまたはより少ない力センサ106および図3に示すものと異なる配列が、必要な場合に使用されてよい。たとえば、ディスプレイ要素104の隅ごとに1つの、4つの力センサ106が使用されてよい。必要な場合、力センサ106は、周辺に配列されることに反してまたは加えて、ディスプレイ要素104の中央に位置してもよい。力センサ106は、PPS Touch Technology Inc、Stantum Inc.、Peratech Ltd.、またはArtificial Muscle, Inc.によって製造されるものなどの容量性力センサであってよい。必要な場合、Interlink Inc.によって製造されるものなど、抵抗性力センサなどの他の力センサが使用されてもよい。加えて、Measurement Specialties Inc.によって製造されるポリマータイプ、またはMurata Inc.によって製造されるセラミックタイプなどの圧電性力センサが使用されてもよい。
【００１１】
力センサ106は、センサに加えられる力または力の量を検出する。複数の力センサ106がディスプレイ要素104とハウジング108との間に配列される状態で、力センサ106は、ディスプレイ要素104に対してZ軸に加えられた力を、X軸とY軸とに沿った力の中心点と同時に求めるために、共に使用され得る。たとえば、ディスプレイ要素104の左上隅に加えられたタッチによって、右下隅付近の力センサ106によるよりも大きい力の測定値(reading)が、左上隅付近の力センサ106によって生じる。
【００１２】
力が加えられたときにディスプレイ要素104内のガラスまたはプラスチックに起こり得る変形を補償するために、較正が実行されてよい。較正は、ディスプレイ要素104の特定の領域に知られている力を加え、その結果得られる、Z軸に沿った力の測定値ならびにX軸とY軸とに沿った力の中心点を、知られている力および力が加えられる特定の領域に対応するように調整することによって実行されてよい。タッチスクリーンディスプレイ102は、ディスプレイ要素104上に従来のタッチセンサ110をさらに含んでよく、タッチセンサ110は、容量性、抵抗性、赤外線、および表面弾性波技術であってよい。力センサ106によって求められた力の中心点がタッチセンサ110によって特定されるタッチ位置とぴったり整合する、たとえば中心が合うことを確保することによって、タッチセンサ110が、力センサ106の較正に使用され得る。
【００１３】
図4は、力センサ106を有するタッチスクリーンディスプレイ102を有し、3次元のユーザインターフェーシングによって、プロンプトを出されるコマンドをサポートすることができるコンピューティングデバイス100のブロック図である。コンピューティングデバイス100は、タッチスクリーンディスプレイとの接触に応答してタッチスクリーンディスプレイの複数の位置から力の測定値を受信するための手段を含むシステムであり、タッチスクリーンディスプレイは、たとえば、力センサ106ばかりでなく、プロセッサ152ならびに関連するメモリ154、ハードウェア156、ソフトウェア158およびファームウェア157を含み得る制御ユニット150を含んでもよい。
【００１４】
コンピューティングデバイス100は、制御ユニット150と通信しているユーザインターフェース160を含み、たとえば制御ユニット150はデータを受けてユーザインターフェース160を制御する。デスクトップコンピュータなど、いくつかのコンピューティングデバイスを用いて、タッチスクリーンディスプレイ102は、制御ユニット150と物理的に分離され、制御ユニット150とケーブルを介してまたはワイヤレスに接続されてよいことを理解されたい。ユーザインターフェース160は、ディスプレイ要素104など、グラフィックス、テキストおよび画像を表示するための手段を含むタッチスクリーンディスプレイ102を含む。タッチスクリーンディスプレイ102は、上述の力センサ106など、タッチスクリーンディスプレイ102に加えられた力の大きさと位置とを検出するための手段をさらに含む。必要な場合、タッチスクリーンディスプレイ102は、タッチセンサ110など、ディスプレイ要素104のタッチを検出するための手段をさらに含み得る。
【００１５】
ユーザインターフェース160は、キーパッド162、またはユーザが情報をコンピューティングデバイス100に入力することのできる他の入力デバイスをさらに含み得る。必要な場合、仮想キーパッドをタッチスクリーンディスプレイ102に統合することによって、キーパッド162をなくし得る。たとえば、コンピューティングデバイス100がセルラー電話であるとき、ユーザインターフェース160はまた、たとえばマイクロフォン164およびスピーカ166を含み得る。
【００１６】
コンピューティングデバイス100は、トランシーバ170、たとえば、セルラータワーとの間の通信を送受信することまたはワイヤレスアクセスポイントからの通信を受信することを、それぞれアンテナ172を介して行うことができる、セルラーモデムまたはワイヤレスネットワークの無線受信機/送信機をさらに含み得る。コンピューティングデバイス100は、3軸加速度計またはジャイロスコープなど、動きセンサ180をさらに含み得る。動きセンサ180は、コンピューティングデバイス100の動きの形態でのジェスチャーを検出することによって、またはジェスチャーがタッチスクリーンディスプレイ102によって検出されたときのコンピューティングデバイス100の向きを検出することによって、ユーザインターフェース160の一部として使用され得る。
【００１７】
コンピューティングデバイス100は、複数の位置からの力の測定値を使用して、力の大きさ、接触の力の中心点、およびせん断力など、タッチスクリーンディスプレイ102との接触の特性を求めるための手段をさらに含み得る。接触の特性を求めるための手段は、ユーザインターフェース160、トランシーバ170および動きセンサ180と通信するために接続される制御ユニット150を含み得る。制御ユニット150は、ユーザインターフェース160、トランシーバ170および動きセンサ180からデータを受けて処理し、デバイスの動作を制御し、それにより、接触の特性に基づいてコマンドを選択するための手段、およびコマンドを処理するための手段として働く。制御ユニット150は、プロセッサ152ならびに関連するメモリ154、ハードウェア156、ソフトウェア158およびファームウェア157によって提供され得る。制御ユニット150は、ディスプレイコントローラ192として示すディスプレイ要素104を制御するための手段と、タッチセンサコントローラ194として示すタッチセンサ110を制御するための手段と、力センサコントローラ196として示す力センサ106を制御するための手段とを含む。ディスプレイコントローラ192、タッチセンサコントローラ194および力センサコントローラ196は、プロセッサ152、ハードウェア156、ファームウェア157、もしくはソフトウェア158すなわちメモリ154に記憶されプロセッサ152で実行されるコンピュータ可読媒体、またはそれらの組合せの中に埋め込まれてもよい。とはいえ、ディスプレイコントローラ192、タッチセンサコントローラ194および力センサコントローラ196は、明快のために別々に示されている。たとえば、Cypress, Inc.によって製造されるタッチスクリーンコントローラは、タッチセンサコントローラ194ならびに力センサコントローラ196として使用され得る。さらに、A/Dコンバータを有する電圧分割器または他のインピーダンス測定回路は、抵抗性力センサコントローラ196とともに使用され得る。
【００１８】
本明細書では、プロセッサ152は、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要もないことが理解されよう。「プロセッサ」という用語は、特定のハードウェアではなくてシステムによって実装される機能を述べることを意図する用語である。さらに、本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、またはモバイルプラットフォームに関連づけられた他のメモリを含む任意の種類のコンピュータ記憶媒体を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。
【００１９】
本明細書で説明する方法は、用途に応じて様々な手段によって実装され得る。たとえば、これらの方法は、ハードウェア156、ファームウェア157、ソフトウェア158、またはそれらの任意の組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、あるいはそれらの組合せ内で実装されてもよい。
【００２０】
ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。本明細書で説明する方法を実施する際に、命令を有形に具現化する任意の機械可読媒体を使用してもよい。たとえば、ソフトウェアコードをメモリ154に記憶し、プロセッサ152によって実行してもよい。メモリは、プロセッサユニット内に実装されてもよく、あるいはプロセッサユニットの外部に実装されてもよい。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリのいかなる特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。
【００２１】
たとえば、ソフトウェア158は、メモリ154に記憶されプロセッサ152によって実行されるプログラムコードを含んでよく、また、プロセッサを動作させて本明細で説明するようにコンピューティングデバイス100の動作を制御するために使用されてもよい。メモリ154など、コンピュータ可読媒体に記憶されるプログラムコードは、複数の力センサから受信した信号を使用してタッチスクリーンディスプレイとの接触の特性を求めるためのプログラムコードであって、接触の特性が、タッチスクリーンディスプレイで画定される平面に垂直に加えられる力の大きさ、接触の力の中心点、およびタッチスクリーンディスプレイで画定される平面に平行なせん断力のうちの少なくとも1つを含む、プログラムコードと、接触の特性を使用してコマンドを選択するためのプログラムコードと、コマンドを処理するためのプログラムコードとを含み得る。コンピュータ可読媒体に記憶されるプログラムコードは、プロセッサに、以下にさらに詳細に説明するコンピューティングデバイス100の任意の動作を制御させるためのプログラムコードを追加として含み得る。
【００２２】
ファームウェアおよび/またはソフトウェアで実装する場合、機能は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。この例には、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM、または他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは所望のプログラムコードを命令またはデータ構造の形で記憶するのに使用することができ、またコンピュータによってアクセスすることのできる任意の他の媒体を備えてよく、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクが含まれ、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含めるべきである。
【００２３】
図5は、コンピューティングデバイス100の動作を制御するための3次元ユーザインターフェースとして、タッチスクリーンディスプレイ102上に複数の力センサ106を使用するステップを示すフローチャートである。図示のように、タッチスクリーンディスプレイ102と接触することに応答して、タッチスクリーンディスプレイ102上の複数の力センサ106からの信号が受信される(202)。力センサ106は、タッチスクリーンディスプレイ102上の接触の位置の直下に位置する必要はなく、たとえば、タッチスクリーンディスプレイ102の周辺に、またはタッチスクリーンディスプレイ102の様々な領域に分散されてよい。タッチスクリーンディスプレイ102との接触の特性を求めるために、複数の力センサ106からの信号が、タッチセンサからの信号と一緒に連携して使用される(204)。接触の特性は、タッチスクリーンディスプレイ102の平面に垂直に、すなわち図3に示すようにZ軸に沿って加えられる力の大きさ、接触の力の中心点、およびタッチスクリーンディスプレイ102で画定される平面に平行なせん断力のうちの少なくとも1つを含む。一実施形態では、接触の特性は、力の大きさ自体であるか、または接触の中心点および/またはせん断力で与えられる追加の情報を有する力の大きさである。例として、力の大きさは、複数の力センサ106の各々によって個別に検出された力を単に合計することによって求められ得る。必要な場合、力の測定値は、たとえば、力をタッチスクリーンディスプレイ102の知られている面積で割ることによって、タッチスクリーンディスプレイ102に加えられる圧力の測定値に変換され得る。さらに、力の測定値は、最初に、たとえば図3に示すディスプレイ要素104上にあるタッチセンサ110を使用して接触面積を求め、次いで、力を接触面積で割ることによって、タッチスクリーンディスプレイ102上の接触面積に加えられた圧力の測定値に変換され得る。したがって、力と圧力とは、単なる数学的変換であり、それゆえ等価であるものとみなされてよい。したがって、力と圧力とは、別段に規定されていない限り互換的に使用され得る。
【００２４】
タッチスクリーンディスプレイ102のX軸およびY軸で画定される平面に沿った接触の力の中心点は、複数の力センサの各々によって検出された力と、複数の力センサ106の各々の位置とに基づいた加重平均を使用して求められ得る(204)。必要な場合、接触の中心点は、2つ1組になっている力センサ106で測定された力に基づいて求められ得る。たとえば、図6は、力センサ106がタッチスクリーンディスプレイ102の周辺に分散されたタッチスクリーンディスプレイ102の平面図を示す。各力センサ106は、破線で示すように、X軸またはY軸に沿った別の力センサ106と対にされる。たとえば、力センサ106T1が力センサ106B1と対にされ、力センサ106L1が力センサ106R1と対にされる。各力センサ対に対する合成力が、X軸およびY軸に沿った接触の中心点C1を求めるために、力センサ106の知られている位置とともに重み係数として使用され得る。代替として、力の中心点は、力センサに加えられた力に、その力センサの、スクリーン中心からの距離を乗ずることによって各力センサ106の力ベクトルを求めることができる。次いで、力の中心点は、すべての力ベクトルのベクトル和として計算され得る。
【００２５】
さらに、必要な場合、タッチスクリーンディスプレイ102上の接触によって生じたせん断力が求められ得る(204)。タッチスクリーンディスプレイ102の平面に平行に、すなわちX軸およびY軸で画定される平面内に加えられる力であるせん断力が、複数の力センサ106を使用して求められる接触の中心点または点と、ディスプレイ要素104(図3に示す)上にあるタッチセンサ110を使用して求められる接触の中心点とを比較することによって求められ得る。図6は、例として、タッチセンサ110によって求められる接触面積Aを示しており、接触面積Aによって、接触の中心点C2が、たとえば、接触面積Aの幾何学的中心として求められ得る。せん断力Fshearは、複数の力センサ106によって測定された接触の中心点C1とタッチセンサ110によって測定された接触の中心点C2との間のベクトルである。したがって、中心点C1が中心点C2と一致するとき、せん断力は存在せず、すなわちすべての力がZ軸に沿って加えられるが、一方、中心点C1と中心点C2との間のベクトルの大きさが大きいほど、せん断力Fshearは大きい。代替的に、せん断力は、タッチスクリーンディスプレイ102の縁部の周りに、すなわちタッチスクリーンディスプレイ102の縁部とハウジング108との間に(図6に示すように)、タッチスクリーンディスプレイ102の下面に対向するように、追加の力センサ106sを配列することによって求められ得る。せん断力はまた、タッチセンサ110によって測定されるときに、タッチスクリーンディスプレイ102に押しつけられた指の領域内でのシフトを検出することによって求められ得る。
【００２６】
再び図5を参照すると、コンピューティングデバイス100は、検出された力の大きさ、ならびに場合によっては接触の中心点およびせん断力に関連するコマンドを選択する(206)。検出された力の大きさに関連するコマンドは、コンピューティングデバイス100が使用中のアプリケーションもしくはプログラムに依存してもよく、または動きセンサ180によって求められるコンピューティングデバイス100の向きなど、他のパラメータに依存してもよい。コマンドは、とりわけ、タッチスクリーンディスプレイ102上に表示されるアイテムの選択、データ、たとえばテキストおよび/もしくは画像の操作、またはコンピューティングデバイス100の制御、たとえば音量の上げ下げを含んでよい。次いで、コンピューティングデバイス100は、所望のアクションを実行するためにコマンドを処理する(208)。
【００２７】
図7は、ユーザ101が、タッチスクリーンディスプレイ102に力を加えているコンピューティングデバイス100を示す。コンピューティングデバイス100を、スピーカ166とマイクロフォン164とを含むモバイル電話またはスマートフォンとして示しているが、コンピューティングデバイス100は、それらに限定されないことを理解されたい。ユーザ101のタッチスクリーンディスプレイ102との接触を、星形220として示す。本明細書全体にわたって説明するように、星形のサイズが大きいほど、タッチスクリーンディスプレイ102に加えられている力は大きい。したがって、星形222は、星形220と比較して、ユーザ101がタッチスクリーンディスプレイ102に加える力の量がより大きいことを示す。タッチスクリーンディスプレイ102に加えられる力の大きさ、ならびに必要な場合、接触の中心点および任意のせん断力が、コンピューティングデバイス100によって求められてよく、また、異なるコマンドを選択し処理するために使用されてよい。
【００２８】
一実施形態では、環境的状況に応答して、タッチスクリーンディスプレイ102上のアイテムを選択することまたはデータを操作すること、すなわち動的閾値調整などのコマンドを選択するために、異なる量の力が必要となることがある。図8は、動的閾値調整を示す。図8に示すように、コンピューティングデバイス100は、コンピューティングデバイス100の動きの量を検出する3軸加速度計またはジャイロスコープなど、動きセンサ180を含み得る。ユーザは、バスまたは列車の中など、大きい量の動きを受けるときにタッチスクリーンディスプレイ102上のアイテムをうっかりと選択する可能性が高いので、選択項目を登録するのに必要な力の閾値は、より強い力を必要とするように調整されてよい。したがって、たとえば、図8の星形226に関連する力は、ユーザ101およびコンピューティングデバイス100が静止しているときはコマンドを選択するのに十分であり得るが、大きい量の動きを受けるときは、コマンドを選択するために星形228で示す、より大きい力を必要とするように、力の閾値が引き上げられる。タッチスクリーンディスプレイ102上の接触の位置は、力センサ106を使用してまたはタッチセンサ110に基づいて求められる接触の中心点として求められてよく、一方、力の大きさは複数の力センサ106によって求められる。動的閾値調整は、ユーザが構成可能な設定であってよい。
【００２９】
図9は、タッチスクリーンディスプレイ上に表示されるデータ(テキスト、グラフィカル、他)を操作することなどのコマンドを選択するためにコンピューティングデバイス100に対してせん断力を使用することを示す。せん断力はまた、コンピューティングデバイス100上のアプリケーションの動作を制御するために使用され得る。せん断力は、上記で説明したように求められてよい。図9に示すように、せん断力Fshear1が、星形230で示すある位置で一方向に加えられ、検出され、その方向は、方向に基づく異なるコマンドと関連づけられてよく、たとえば左または右に押すことによって、それぞれ、画像がズームインまたはズームアウトすること、電子文書もしくは電子ブックのページが前方または後方にめくられること、などが行われ得る。その上、せん断力の大きさは、コマンドが実行される速度を制御するために使用することができ、たとえば、小さいせん断力が、コンピューティングデバイス100に、画像のズームインまたは電子文書のページめくりをゆっくりと行わせる一方で、大きいせん断力が、コンピューティングデバイス100に、画像のズームインまたは電子文書のページめくりを比較的速く行わせることができる。加えて、複数の方向、たとえば円形にまたは回転運動で加えられたせん断力Fshear2は、方向に基づいて異なるコマンドと関連づけられてよく、たとえば、時計回りまたは反時計回りの方向が、音量を上げることまたは下げることと関連づけられてよい。したがって、せん断力を使用することで、ユーザは、正および負のスカラーを有するアクションを制御すること、たとえば、従来のデバイスが必要とするような、指を持ち上げることおよびタッチスクリーンディスプレイ102の複数の領域を認識してタッチすることを必要とすることなく、音量を上げ下げすること、ズームインまたはズームアウトすること、ページを左右にめくることが可能になる。
【００３０】
タッチスクリーンディスプレイ102に加えられた力の検出された大きさは、タッチスクリーンディスプレイ102上のデータの操作を変更するために使用され得る。たとえば、力の大きさは、データがタッチスクリーンディスプレイ上でスクロールされる速度を制御するために使用され得る。図10は、例として、星形232で示す、タッチスクリーンディスプレイ102に加えられた力の大きさに応答してテキスト231をスクロールする速度を制御することを示す。ユーザ101は、指を、矢印234で示すようにタッチスクリーンディスプレイ102を上または下に(または横に)ドラッグすることができ、矢印234は、矢印236で示す所望のスクロールの方向にマッピングされる。ユーザ101はジェスチャーを止めてよく、指を1カ所に固定したままで、タッチスクリーンディスプレイ102に加えられる力の大きさ234を変えることによってスクロールの速度を調整することができ、たとえば、より大きい力がより速いスクローリングと関連づけられる。代替的に、スクロールの速度は、指をドラッグしている間に加えられる力によって制御されてもよい。上記で説明したように、必要な場合、スクロールの方向は、せん断力の方向に基づいてユーザの指の動きなしに制御され得る。スクロールされるデータは、たとえば、ウェブページ、文書ファイルもしくは任意の他のテキスト、ならびに画像ギャラリーなどのグラフィカルデータ、または任意の他の種類のデータであってよい。
【００３１】
図11は、タッチスクリーンディスプレイ102に加えられる力の検出された大きさに応答して、タッチスクリーンディスプレイ102上のデータが操作されるやり方を変更する別の例を示す。図11は、タッチスクリーンディスプレイ102上で、データの選択を変えるために検出された力の大きさを使用することを示しており、データは、テキストとして示されるが、画像ギャラリー内の画像など、グラフィカルであってよく、または他の種類のデータであってよい。図示のように、ユーザ101は、テキストの比較的小さい部分、たとえば、上記で説明したように力センサ106でまたは存在する場合はタッチセンサ110で求められ得る接触の中心点に位置する図11でハイライトによって示されるような文字または言葉を選択するために、星形240で示すように軽く押してよい。星形242で示すような中程度の圧力によって、接触位置に位置する文など、追加のデータが選択される。しっかりした圧力によって、接触位置に位置する段落全体など、さらに多くのデータがハイライトされ得る。必要な場合、1ページまたはテキスト全体など、さらなるレベルのデータを選択するために、さらなる度合いの力が使用され得る。
【００３２】
図12は、コンピューティングデバイス100上のアプリケーションの動作を制御するために検出された力の大きさを使用する一例を示す。図12は、例として、星形248で示す、タッチスクリーンディスプレイ102に対して検出された力に基づいて、アプリケーションの音量の調整を制御することを示す。矢印250で示す音量調整の速度は、加えられる力の量に基づいて制御されてよく、すなわち力を増すと、より速い音量の増加が引き起こされる一方で、力を減じると、より遅い音量の増加が引き起こされる。さらに、タッチスクリーンディスプレイ102に加えられる力の大きさの変化速度は、コンピューティングデバイス100を制御するために使用され得る。たとえば、タッチスクリーンディスプレイ102上に力を加えることで、ある方向における調整、たとえば音量を上げることが制御される一方で、たとえば矢印252とユーザの手101'で示すようにタッチスクリーンディスプレイ102から指を急に離すことによってタッチスクリーンディスプレイ102に加わる力が急速に減少することで、調整が反対方向に、たとえば矢印254で示すように音量が下がるように制御される。変化速度の大きさで、反対方向における調整の量が制御され得る。したがって、たとえば、音量を上げているときに、ユーザ101がうっかりして所望の音量を超えた場合、指を急に離すという自然な反応で音量が下がり、それゆえユーザは、音量を下げるために適切なボタンを見つけて押す必要がなくなる。変化速度が所定の閾値より低い場合、後処理のアクション、たとえば音量を下げることは不要である。
【００３３】
図13Aおよび図13Bは、タッチスクリーンディスプレイに加えられる力に基づく拡張現実(AR)の状況で対象物を選択する形態において、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。ARアプリケーションにおいて、実世界の対象物が、画像情報またはテキスト情報など、コンピュータで生成された情報とともにタッチスクリーンディスプレイ上に描写され、表示される。たとえば、ARは、建築物または製品など、実世界の対象物についてグラフィカルまたはテキストの情報を与えるために使用され得る。表示されるコンピュータで生成された情報は、選択される画像における実世界の対象物に基づくことができる。図13Aおよび図13Bで示すように、ARアプリケーションは、画像260内のアイテムを選択するための、図1に示すようなX軸およびY軸に沿った接触位置を使用し得るばかりでなく、接触の力に基づく、Z軸に沿った深さを含むことができる。たとえば、コンピューティングデバイス100上で3次元(3D)カメラを使用することで、実世界の対象物まで距離が求められ得る。したがって、しっかりとまたは軽く押すことは、ARエンジンが、さらなる処理のために画像内の実世界の所望の対象物を選択することの助けとなる。たとえば、図13Aは、ユーザ101が、前景のアイテム、たとえば木263を選択するためにタッチスクリーンディスプレイ102に加えた軽い力、星形262を示す。図13Bは、図13Aに示す接触と同じ位置に加えられた強い力、星形264を示すが、増加した力に基づいて、画像260の背景にあるアイテム、たとえば建築物265が選択されている。
【００３４】
図14は、カメラアプリケーションで焦点範囲を選択する形態において、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。従来は、電話のカメラは、中央重点(center weighted)ベース、ウィンドウ(window)ベース、または顔検出ベースのオートフォーカス機構のいずれかを使用する。そのようなシステムでは、ユーザは、カメラが正しい焦点距離に調整されており、ショットが所望の領域内で最小レベルの不鮮明さで記録されることを期待する必要がある。図14に示すように、ユーザ101は、合焦すべきアイテム、たとえば前景の木270を選択することができる。ユーザは、タッチスクリーンディスプレイ102に加えられる、星形272で示す力を調整することによって、または指を、矢印274で示す軽めの力でタッチスクリーンディスプレイ102を横に、ユーザ101が合焦させたい他の領域、たとえば背景の建築物271の方に動かすことによって、焦点深度を調整することができる。このようにして、コンピューティングデバイス100は、ユーザ101が木270と建築物271の両方が合焦することを望んでいるものと判断することができ、適切な焦点位置を適用することができる。最初の力272と指が動いている間に使用される力274との差が、焦点位置を重み付けするために使用されてよく、すなわち、弱い力274で指を動かしている間に木270の上に強い力が生じることは、焦点位置が2つの対象物の間のどこかに、木270が鮮明になるレンズ位置よりに配置されるべきであることを示し得る。
【００３５】
図15は、ある面積の上に加えられる力がタッチスクリーンディスプレイ102を損傷する可能性があるときに、警報を発する形態でコンピューティングデバイス100を制御するために、検出された力の大きさを使用する別の例を示す。タッチスクリーンディスプレイ102上の力センサ106からの力の値が、タッチセンサ110からの接触面積とともに、コンピューティングデバイス100によって連続的に監視され得る。コンピューティングデバイス100が、タッチスクリーンディスプレイ102に押しつけるキー278の先端からなど、対象物の接触面積に対して、星形276で示す過大な力を測定した場合、コンピューティングデバイス100は、可聴または振動であってよい警報279を発することができる。過大な力は、力を、接触面積およびタッチスクリーンディスプレイ102の性能特性に依存する1つまたは複数の閾値と比較することによって求められ得る。代替として、タッチスクリーンディスプレイ102に加わる圧力は、力と接触面積とに基づいて求められ得、圧力は、1つまたは複数の閾値と比較され得る。タッチスクリーンディスプレイ102が耐え得る力の量は、接触面積に基づいて異なることがあるので、複数の閾値が使用されてよい。たとえば、指先からなど、比較的大きい接触面積上ではより大きい力に耐え得る一方で、タッチスクリーンディスプレイ102を引っ掻くことがあるキーの先端からなど、小さい接触面積上の小さめの力が、警報をトリガすることもある。タッチスクリーンディスプレイ102全体に対する最大の閾値、たとえば30Nが、ユーザがコンピューティングデバイス100の上に座っていることを示すために使用され得る。ユーザがコンピューティングデバイス100からの警報279を聞くと、ユーザは、タッチスクリーンディスプレイ102が損傷しかかっていることを知り、是正措置を取ることができる。
【００３６】
図16は、タッチスクリーンディスプレイ102に加わる力の大きさに基づいてコンピューティングデバイス100をロックする形態で、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。たとえば、時間の閾値よりも長い時間の間、星形282で示す、閾値の大きさを超える力で、選択可能なアイコンまたはボタン280がない位置でタッチスクリーンディスプレイ102を押すことで、ロック284で示すように、コンピューティングデバイス100またはタッチスクリーンディスプレイ102をロックすることができる。
【００３７】
図17は、所望のアクションをトリガするために、タッチスクリーンディスプレイ102上に閾値を超える力を要求する形態で、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。たとえば、コンピューティングデバイス100は、ロック290で示すように部分的にロックされた状態にあり得、いくつかのフィーチャーだけが使用または制御され得る一方で、他のフィーチャーはディセーブルされる。部分的にロックされた状態で使用または制御され得る1つのフィーチャーは、たとえば、メディアプレーヤアプリケーションであり得る。メディアは、メディアプレーヤアプリケーションでプレイされ得る一方で、コンピューティングデバイス100は、部分的にロックされた状態にある。しかしながら、他のアイテム292がうっかりと選択され得ないように、または実行中のアプリケーションがうっかりとクローズされ得ないように、タッチスクリーンディスプレイ102は部分的にディセーブルされてもよい。たとえば、タッチセンサ110が使用されている場合はタッチセンサ110がディセーブルされてよく、加えられた力が閾値よりも大きくない場合、力センサ106に対する応答は、ディセーブルされ得る。したがって、親は、子供がタッチスクリーンディスプレイ102にタッチすることによってうっかりとメディアをポーズまたはクローズすることを懸念することなく、子供にコンピューティングデバイス100上のメディアを閲覧させることができる。しかしながら、コンピューティングデバイス100は、依然として、所定のしきい値を超える力、たとえば子供が加え得るよりも大きい力を有するタッチスクリーンディスプレイ102との接触を使用して制御され得る。部分的にロックされた状態には、たとえば、しきい値を超える力による特定のパターンの接触を使用して、たとえば選択可能なアイコン292が存在しない位置を、星形294で示すように3回強く押すことによって入ることができる。部分的にロックされた状態は、ジェスチャーを繰り返すことによって取り除かれ得る。
【００３８】
図18は、タッチスクリーンディスプレイ102上に閾値を超える力が加えられるまでタッチセンサ110をディセーブルする形態で、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。従来のデバイス内の容量性のタッチスクリーンは、デバイスがアクティブである限りアクティブのままである。したがって、長いビデオを視聴するとき、タッチインターフェースとのユーザの対話が最小であるとしても、容量性タッチスクリーンは、不必要に全時間作動する。その上、多くの従来のデバイスをウェイクするために、電気機械式ボタンが、容量性タッチスクリーンを起動するために押される必要がある。力センサ106の使用により、コンピューティングデバイス100は、容量性タッチセンサコントローラ194(図4に示す)をオフにすることができ、したがって、ユーザ101がムービーまたは本を読むことなど、コンテンツを受動的に消費するときにタッチセンサ110をディセーブルすることができるが、力センサ106で検出される、閾値よりも大きい力(星形302で示す)がタッチスクリーンディスプレイ102に加えられるとオンになる(「オン」アイコン300で示す)。力センサ106は、アクティブのときに、容量性タッチセンサ110と比較してほとんど電流を消費せず、したがって節電が達成され得る。
【００３９】
図19は、低電力モードの間にコンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示す。今日のモバイル電話で最も電力を必要とする部分は、LCDディスプレイとそれに付属するバックライトである。力センサ106を使用する利点の1つは、Interlinkからの技術など、抵抗性力センシング技術は、定常状態において、すなわち力が加えられないときには電流をほとんどまたはまったく引き込まないことである。力センサ106は、通常、高インピーダンスで動作し、力が加えられたときだけインピーダンスが引き下げられ、それにより電子の流れで力の量が測定される。したがって、接触の中心点を監視するとともにタッチスクリーンディスプレイ102に加わる力を検出することによって、ユーザは、接触のパターンおよび/またはジェスチャーを使用して最小の電力引き込みでコンピューティングデバイス100を制御することができる。したがって、たとえば、一実施形態では、コンピューティングデバイス100のバッテリーレベルが閾値レベル、たとえば10%より低下すると、コンピューティングデバイス100は、LCDディスプレイとタッチセンサとをディセーブルしてもよいし、力センサ106のサンプリングを継続することを除いて、スリープモードに置かれてもよい。異なる接触パターンが、コンピューティングデバイス100を制御するために使用されてよい。たとえば、コンピューティングデバイス100が、力センサ106のサンプリングを除いてスリープモードにある間に、図19の星形312、314、316で示すようにタッチスクリーンディスプレイの左下、左上および右上の隅のボタンに接触することで、LCDとすべてのタッチセンサ110とをオフにしたままで、コンピューティングデバイス100を起動することができる。ユーザ101は、タッチスクリーンディスプレイ102上をパターンで押すことによって単純なジェスチャー318を使用することができ、パターンは、接触の中心点の位置を追跡することによって検出される。図19に示すように、たとえば、ユーザ101が、タッチスクリーンディスプレイ上に「C」に続いて「H」を描くと、コンピューティングデバイス100は家に電話することができる。ジェスチャーは、ユーザで構成可能であってもよい。したがって、ユーザ101は、依然と
して、コンピューティングデバイス100と何らかの対話をすることができるが、電力が節約されるような方式で対話する。
【００４０】
図20は、低電力モードの間にコンピューティングデバイス100を制御するために、検出された力の大きさを使用する別の例を示す。e-inkまたはMirasol(登録商標)ディスプレイなど、低電力双安定ディスプレイを有するデバイスにおいて、ユーザは、デバイスがタッチされたときはいつでも、デバイスはキープレスまたはウェイク事象を登録するものと考える可能性がある。しかしながら、アイドル状態では、容量性または抵抗性のタッチセンサコントローラ194(図4)が作動すると、力センサ106を使用して接触の中心点を検出するよりもずっと多い電力が消費される。したがって、力センサ106の機能と一致する幾何学的配置に対応する選択可能なアイコン320の配置とサイズとを使用することによって、コンピューティングデバイス100は、限定されたセットの動作モードから選択するために力(星形322で示す)を使用する階層型タッチシステムを使用することができる。たとえば、力センサ106を有する電子ブックリーダーは、力センサ106を使用して求められる接触の中心点がアイコンを選択するために使用され得るように、タッチスクリーンディスプレイの中心周りに放射状に配置されたアイコンのセットを有し得る。
【００４１】
図21は、コンピューティングデバイス100を制御するために検出された力の大きさを使用する別の例を示しており、コンピューティングデバイス100は、たとえば、耳101earで示すユーザによってタッチスクリーンディスプレイ102に加えられる力に基づいてスピーカ166の音量を制御する形態のセルラー電話であってよい。たとえば電話アプリケーションが使用されているものと、コンピューティングデバイス100が判断するときに、タッチスクリーンディスプレイ102が耳101earに押しつけられ、力センサ106で検出される力の大きさ(星形330で示す)が、音声またはノイズ参照マイクロフォン164を介する周辺雑音レベルの測定値と組み合わされて、矢印332および音量制御バー334ならびに明瞭度を増すためおよびリークの影響を補償するために受け入れられたオーディオ周波数等化によって示すように、スピーカ166の音量を調整するために使用されてよい。たとえば、ユーザが騒音環境にいるとき、コンピューティングデバイス100を耳101earにより強く押しつけることで、スピーカ166の音量が自動的に上げられ、明瞭度を増すために3-4kHzの領域のブーストがもたらされる。さらに、タッチスクリーンディスプレイ102に加えられた力330の大きさは、コンピューティングデバイス100においてアクティブ雑音消去(ANC)技術を制御するために使用されてよく、この技術は、耳101earに対する低リークの機械結合に依存する。リークが存在するとANC効果が減少し、知覚可能な閾値より下に急速に低下する。したがって、電力を節約するために、ANCアルゴリズムとマイクロフォンとをオフにすることが有利である。したがって、図21に示すように、耳101earによって加えられる力が十分に大きいとき、すなわち閾値を超えるときにANC 336をアクティブにしてよく、それ以外ではANC 336をオフにする。さらに、タッチスクリーンディスプレイ102に加えられる力330の大きさは、あるダイナミックレンジ圧縮、リミッティング、および自動ゲイン制御または受信音量増強(Receive Volume Enhancement)(RVE)などのゲイン制御など、コンピューティングデバイス100の他の動作を制御するために使用されてよく、RVEにおいて、受信信号内のサブバンドゲインが、マイクロフォン164によって各サブバンドに対して検出された周辺雑音スペクトルに基づいて制御される。たとえば、ユーザが騒音環境にいるとき、コンピューティングデバイス100を耳101earにより強く押しつけることで、圧縮、リミッティング、または明瞭度を増すためのゲインが自動的に調整される。
【００４２】
その上、力センサ106は、キャパシタンスを測定するのとは対照的に、ディスプレイ102に加えられる力の大きさと位置とを測定するので、力センサ106は、衣類のポケットまたはしなやかなホルダなど、保護要素を介してジェスチャーを検出するために使用され得る。図22は、衣類のポケットまたはホルダなど、保護要素402の背後のコンピューティングデバイス100を示す。ユーザ101は、タッチスクリーンディスプレイ102上を、たとえば、接触の中心点の位置を追跡することによって検出される垂直方向(上もしくは下)のジェスチャー404または水平方向(右もしくは左)のジェスチャー406におけるパターンで押すことによってジェスチャーを生成するために、保護要素402を介してコンピューティングデバイス100に接触しているように示されている。ジェスチャーに関連づけられ得るコマンドは、たとえば、垂直方向のジェスチャー404に応答してスピーカの音量を上げ下げすること、および水平方向のジェスチャー406に応答して前後のアイテム(たとえば、歌、ボイスメール、電子メールなど)を選択することを含む。したがって、ユーザ101は、コンピューティングデバイス100が保護要素402の中にある間に、コンピューティングデバイス100と対話することができる。当然、追加または代替のジェスチャーが使用されてよく、追加または代替のコマンドがジェスチャーと関連づけられてよい。その上、ジェスチャーおよび関連するコマンドは、ユーザによって構成可能であり得る。さらに、コンピューティングデバイス100との意図しない対話を回避するために、コンピューティングデバイス100が、保護要素402の中にあるときに、コンピューティングデバイス100との対話を許可するために、特定の接触のシーケンス、たとえば3セットのダブルタップが必要となり得、保護要素の中にあることは、たとえば光センサを使用して判断され得る。
【００４３】
本発明をその説明のために特定の実施形態に関連して例示したが、本発明はそれらの実施形態に限定されない。本発明の範囲から逸脱せずに様々な適合および修正を施してもよい。したがって、添付の特許請求の範囲の趣旨および範囲を上記の説明に限定すべきではない。
【符号の説明】
【００４４】
10  従来のモバイルプラットフォーム
12  タッチスクリーンディスプレイ
100  コンピューティングデバイス
101  ユーザ
101'  ユーザの手
101ear  耳
102  タッチスクリーンディスプレイ
104  ディスプレイ要素
106、106T1、106B1、106L1、106R1、106s  力センサ
108  ハウジング
110  タッチセンサ
150  制御ユニット
152  プロセッサ
154  メモリ
156  ハードウェア
157  ファームウェア
158  ソフトウェア
160  ユーザインターフェース
162  キーパッド
164  マイクロフォン
166  スピーカ
170  トランシーバ
172  アンテナ
180  動きセンサ
192  ディスプレイコントローラ
194  タッチセンサコントローラ
196  力センサコントローラ
220、222、226、228、230、232、240、242、248、262、264、276、282、294、302、312、314、316、322、330  星形
231  テキスト
234、236、250、252、254  矢印
260  画像
263  木
265  建築物
270  木
271  建築物
272  最初の力
274  指が動いている間に使用される力/矢印
278  キー
279  警報
280  アイコンまたはボタン
284、290  ロック
292  アイテム
300  アイコン
318  ジェスチャー
320  アイコン
332  矢印
334  音量制御バー
336  アクティブ雑音消去(ANC)
402  保護要素
404  垂直方向のジェスチャー
406  水平方向のジェスチャー
【図１】
2013541795.tif 000003
【図２】
2013541795.tif 000004
【図３】
2013541795.tif 000005
【図４】
2013541795.tif 000006
【図５】
2013541795.tif 000007
【図６】
2013541795.tif 000008
【図７】
2013541795.tif 000009
【図８】
2013541795.tif 000010
【図９】
2013541795.tif 000011
【図１０】
2013541795.tif 000012
【図１１】
2013541795.tif 000013
【図１２】
2013541795.tif 000014
【図１３Ａ】
2013541795.tif 000015
【図１３Ｂ】
2013541795.tif 000016
【図１４】
2013541795.tif 000017
【図１５】
2013541795.tif 000018
【図１６】
2013541795.tif 000019
【図１７】
2013541795.tif 000020
【図１８】
2013541795.tif 000021
【図１９】
2013541795.tif 000022
【図２０】
2013541795.tif 000023
【図２１】
2013541795.tif 000024
【図２２】
2013541795.tif 000025
【国際調査報告】
2013541795.tif 000026
2013541795.tif 000027
2013541795.tif 000028
2013541795.tif 000029
2013541795.tif 000030
2013541795.tif 000031