(57)【要約】  赤外線のジェスチャ捕捉及び認証を提供するタッチセンサ式の表示デバイスに関するシステム、方法及び装置が説明される。取り外し可能なフロントパネルを備える表示デバイスは、対話型のタッチセンサ式で赤外線のジェスチャ捕捉及び処理を可能とする。赤外線の光源及び赤外線カメラは、デバイスの取り外し可能なフロントパネル上でなされる複雑でマルチタッチのジェスチャの画像を捕捉するよう構成され得る。取り外し可能なフロントパネルは、クリーニング及び使いやすさのために表示デバイスから取り外し得る。
2015536501.tif 000002
【特許請求の範囲】
【請求項１】
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザ指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、
前記ユーザの指の前記位置を追跡し前記タッチスクリーン上のユーザのタッチを判断するように構成されたジェスチャ処理モジュールと、を備え、
ここにおいて、前記ジェスチャ処理モジュールは、前記判断されたタッチ及び位置の追跡からユーザジェスチャを判断する、
タッチセンサ式の表示デバイス。
【請求項２】
前記タッチスクリーンは、フレーム構造上に搭載される、請求項１の表示デバイス。
【請求項３】
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネルを具備する請求項２の表示デバイス。
【請求項４】
前記フレーム構造に結合され、前記第２パネル上のユーザのタッチの位置を判断するよう構成された、少なくとも１つの圧力センサを更に具備する、請求項３の表示デバイス。
【請求項５】
前記第２パネルは、多数のマグネットにより前記第１パネルに取り外し可能に固定されている、請求項３の表示デバイス。
【請求項６】
前記赤外線の光源は、前記第１及び第２パネルの背面の前記フレーム構造に結合され、前記ディスプレイのユーザに対して前記第１及び前記第２パネルを通じて光を向けるように構成される、請求項３の表示デバイス。
【請求項７】
前記赤外線カメラは、前記第１及び第２パネルの背面の前記フレーム構造に結合される、請求項３の表示デバイス。
【請求項８】
前記赤外線の光源は、前記第２パネル上のタッチイベントに応答してターンオンするよう構成される、請求項４の表示デバイス。
【請求項９】
前面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザの指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、を具備し、
制御モジュールは、
ユーザが前記タッチスクリーンをタッチした時、ジェスチャ認証モジュールを活性化し、
タッチセンサ式の表示デバイスの前記タッチスクリーン上で作られたユーザジェスチャの１つまたは複数の画像を捕捉し、
ユーザが前記タッチスクリーンを離した時、前記ジェスチャ認証モジュールの動作を停止させ、
前記ディスプレイ上の対応する動作を実行するためにユーザジェスチャの画像を解析する、ように構成された、前記タッチセンサ式の表示デバイス上のユーザジェスチャを捕捉するためのシステム。
【請求項１０】
前記タッチスクリーンは、フレーム構造上に搭載される、請求項９のシステム。
【請求項１１】
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに対して取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネル、を具備する、請求項１０のシステム。
【請求項１２】
前記制御モジュールは、前記ユーザジェスチャの前記画像に関連されたユーザコマンドに関するメモリに問い合わせするよう、更に構成された、請求項９のシステム。
【請求項１３】
前記制御モジュールは、プロセッサを介して前記ユーザコマンドを実行するよう、更に構成された、請求項１２のシステム。
【請求項１４】
前記ユーザジェスチャの前記画像に関連された前記ユーザコマンドに関する前記問い合わせは、識別されるジェスチャパターンに基づいている、請求項１２のシステム。
【請求項１５】
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
ユーザが前記タッチスクリーンをタッチした時、赤外線の光源を供給する手段と、
タッチセンサ式の表示デバイスの前記タッチスクリーン上でなされたユーザジェスチャの１つまたは複数の画像を捕捉する手段と、
ユーザが前記タッチスクリーンを離した時、ユーザジェスチャの画像の捕捉を中断し、前記赤外線の光源の使用を停止する手段と、
前記ディスプレイ上の対応する動作を実行するためのユーザジェスチャの前記画像を解析する手段と、を具備する前記タッチセンサ式の表示デバイス。
【請求項１６】
１つまたは複数の画像を捕捉する前記手段は、赤外線カメラを具備する、請求項１５のデバイス。
【請求項１７】
赤外線の光源を提供する前記手段は、前記タッチスクリーンを通じて光を光らせるように構成された、１つまたは複数の赤外線の光源を備える、請求項１５のデバイス。
【請求項１８】
タッチセンサ式の電子デバイス内にデータを入力するための方法であって、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
具備する、方法。
【請求項１９】
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための、複数のジェスチャ認証テンプレートのそれぞれと比較する、請求項１８の方法。
【請求項２０】
信頼要因を、それぞれの候補のジェスチャに割り当てること、をさらに備える、請求項１９に記載の方法。
【請求項２１】
前記ジェスチャを解析することは、最も大きい前記信頼要因を有する少なくとも１つの候補のジェスチャから１つのジェスチャを選択することを備える、請求項２０に記載の方法。
【請求項２２】
プロセッサによって実行されると、タッチセンサ式の電子デバイス内にデータを入力する方法を実行する命令を具備する非一時的なコンピュータ可読記憶媒体であって、前記方法は、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の、対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
を具備する非一時的なコンピュータ可読記憶媒体。
【請求項２３】
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための複数のジェスチャ認証テンプレートのそれぞれと比較する、請求項２２のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]ここに示されたデバイス、システムおよび方法は、一般的に電子デバイスに関するユーザインターフェース、具体的には特に、電子デバイス用のタッチセンサ式のディスプレイを使用する赤外線ジェスチャ認証に関する。
【背景技術】
【０００２】
[0002]タッチセンサ式のディスプレイは、電子デバイス上で有名なインターフェースで、ユーザが容易にコマンドとデータを入力することを可能にする。タッチディスプレイはモバイルデバイス、電子表示、タブレット、ラップトップおよびデスクトップコンピュータにおいて見つけ得る。タッチディスプレイは、一般的に、指タッチ、スタイラスタッチ、指の動きあるいはタッチスクリーン面上のスタイラス動きに応答し、動作するように設計されている。
【０００３】
[0003]タッチディスプレイ上で特定箇所に触れることは、タッチディスプレイ上のその場所で見つけられ、或いは示された機能、特徴あるいは、仮想ボタンを活性化し得る。典型的な特徴は、例えば、他の機能と一緒になって、電話を掛けること、データを入力すること、ブラウザウィンドウを開け閉めすること、を含み得る。
【０００４】
[0004]いくつかの環境では、タッチスクリーンは、マルチタッチ入力のような、複雑なユーザジェスチャを正確に解決することは出来得ない。この不正確は、ディスプレイ上のタッチセンサ内の感度の欠落の結果であり得、あるいはユーザからのマルチタッチ入力の複雑さに起因し得る。
【０００５】
[0005]さらに、携帯電話のような、ある電子デバイスは、タッチスクリーン上のユーザによる動きの量を制限する、比較的小さなディスプレイを有し得る。ある例において、表示画面に触れることにより複雑なコマンドを入力することはユーザにとって難しいかもしれない。
【発明の概要】
【０００６】
[0006]本開示のシステム、方法、およびデバイスはそれぞれ、いくつかの革新的な観点を有し、これらのうちの何れも、ここに開示される所望の属性を単独で担うものではない。
【０００７】
[0007]一実施形態は、ディスプレイの背面に搭載された赤外線の光源とカメラを有する対話型のジェスチャ認証に関するシステムである。いくつかの具体化では、システムは、取り外し可能なフロントパネルを更に有し得、それは、赤外線カメラと圧力検出器を使用して、複雑なタッチ相互作用を提供をもし得る。取り外し可能なフロントパネルのいくつかの実施形態は、枠のないガラスを備え得る。表示デバイスが汚れまたは油脂に晒される環境では、枠を有していないことは、汚れか油脂が、枠とガラスとの間の接触線に集まることから防ぐ利点を備えており、それは完全にガラスから汚れを取り除くことは難しくなり得る。フロントパネルの取り外し可能な特性は、ディスプレイ自身が、汚れや油脂によって触られない上に（while the display itself remains untouched by dirt or grease）、フロントパネルは洗浄するために取り外され得るため、ユーザが散らかった環境の中で快適にディスプレイを使用することを可能にする。さらに、ディスプレイが引っ掻かれ、あるいは破損され得るような環境では、ディスプレイを保護するための取り外し可能なパネルを有することは、破損に対して晒された、容易に代替可能なコンポーネントを有することによりディスプレイの寿命を伸ばす。
【０００８】
[0008]別の実施形態は、ユーザのタッチを検知可能なタッチスクリーンと、タッチスクリーンの前に置かれたユーザ指に光を当てるように構成された１つまたは複数の赤外線の光源と、タッチスクリーンの背面に配置され、タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、ユーザの指の位置を追跡しタッチスクリーン上のユーザのタッチを判断するように構成されたジェスチャ処理モジュールと、を備え、ここにおいて、ジェスチャ処理モジュールは、判断されたタッチ及び位置の追跡からユーザジェスチャを判断する。
【０００９】
[0009]また別の実施形態は、前面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、タッチスクリーンの前に置かれたユーザの指に光を当てるように構成された１つまたは複数の赤外線の光源と、タッチスクリーンの背面に配置され、タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、を含むタッチセンサ式の表示デバイス上でのユーザジェスチャをキャプチャするためのシステムである。システムは、更にユーザが前記タッチスクリーンをタッチした時、ジェスチャ認証モジュールを活性化し、タッチセンサ式の表示デバイスのタッチスクリーン上で作られたユーザジェスチャの１つまたは複数の画像を捕捉し、ユーザがタッチスクリーンを離した時、ジェスチャ認証モジュールの動作を停止させ、表示上の対応する動作を実行するためにユーザジェスチャの画像を解析する、ように構成された、制御モジュールを含む。
【００１０】
[0010]他の一実施形態は、全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、ユーザがタッチスクリーンをタッチした時、赤外線の光源を供給する手段と、タッチセンサ式の表示デバイスのタッチスクリーン上でなされたユーザジェスチャの１つまたは複数の画像を捕捉する手段と、ユーザがタッチスクリーンを離した時、ユーザジェスチャの画像の捕捉を中断し、赤外線の光源の使用を停止する手段と、表示上の対応する動作を実行するためのユーザジェスチャの画像を解析する手段、を含むタッチセンサ式の表示デバイスである。
【００１１】
[0011]更に別の実施形態は、タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、ユーザタッチが検出されると、赤外線の光源を有効にすることと、タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、タッチセンサ式の電子デバイスの表示上の対応する動作を実行するためのユーザジェスチャの画像を解析することのステップを含む、タッチセンサ式の電子デバイス内にデータを入力するための方法である。
【００１２】
[0012]他の一実施形態は、プロセッサによって実行されると、タッチセンサ式の電子デバイス内にデータを入力する方法を実行する命令を具備する非一時的なコンピュータ可読記憶媒体である。方法は、タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、ユーザタッチが検出されると、赤外線の光源を有効にすることと、タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、タッチセンサ式の電子デバイスの表示上の、対応する動作を実行するためのユーザジェスチャの前記画像を解析することとを含む。
【図面の簡単な説明】
【００１３】
[0013]開示される観点は、開示されたこれら観点を限定するためでなく、例示するために提供される、別表及び添付図面と併せて以下に説明され、ここにおいて同様の表記は同様の要素を示す。
【図１】[0014]図１は、１つの履行に従った、タッチセンサ式の表示システムおよび取り外し可能なフロントパネルを備えた装置の図。
【図２】[0015]図２は、１つの履行に従った、タッチセンサ式の表示デバイスの正面斜視図。
【図３】[0016]図３は、赤外線カメラを有するタッチ式の表示デバイスの上面図。
【図４Ａ】[0017]図４Ａは、図２のタッチセンサ式のデバイスの取り外し可能なフロントパネルの下側の略図。
【図４Ｂ】[0018]図４Ｂは、取り外しされたフロントパネルを有する、図２表示デバイスの略図。
【図５】[0019]図５は、図２の表示デバイスを横切った断面図。
【図６】[0020]図６は、図２の表示デバイスに組み込まれた赤外線ジェスチャキャプチャを横切った断面図。
【図７】[0021]図７は、ある動作エレメントを履行するタッチセンサ式の表示システムを描写するブロック図。
【図８】[0022]図８は、１つの履行に従った、タッチセンサおよび赤外線ジェスチャ加工処理を示すフローチャート。
【図９】[0023]図９は、一履行に従った、認識処理及び赤外線ジェスチャキャプチャを示すフローチャート。
【発明を実施するための形態】
【００１４】
[0024]実施形態は、電子システムに情報を入力するための画像システムの使用に関する。一実施形態において、履行は、ユーザの指の動きを捕捉するための赤外線画像システムを利用し、表示スクリーン上のタッチベースの入力を提供するための動作を使用する、システム、デバイス、方法、或いはデバイスを含む。これは、赤外線マルチタッチ対話型のジェスチャ認識を有するタッチセンサ式の表示デバイスのために提供する。
【００１５】
[0025]例えば、一実施形態では、デバイスは、赤外光に対して透明であるが、付属の電子システムからの情報を表示する表示パネルを有し得る。そのようなディスプレイは、ＬＣＤまたはＬＥＤ表示パネルを含み得る。赤外線カメラと光源は、下で述べられるように、ユーザから反対の表示パネルの後ろに位置され、表示パネルの全面の動きをとらえるために焦点を合わせ得る。ユーザが表示パネルの前で、一本の指、あるいは指の集合を動かすと、赤外線カメラは、ユーザの指のサインを捕らえ得、どのジェスチャが現在行なわれているか確定するためにそのサインを分析し得る。電子システム内で稼働するソフトウェアは、行われる適切なジェスチャを確定するためのユーザの指の動作を分析するために使用され得る。
【００１６】
[0026]一実施形態では、ディスプレイは、付属の電子システムからのユーザへ情報を表示するために使用される表示パネルを保持するフレームを含み得る。表示パネルは、適切な場所にパネルを保持する他の手段またはマグネットを用いたフレームをしっかり固定され得る、取り外し可能な、透明なパネルによってカバーされ得る。赤外線の光源と赤外線カメラは、表示パネル及び透明なパネルの後ろに配置され、ユーザの複雑なマルチタッチジェスチャの認識および解釈を提供するために使用され得る。多くの圧力センサは、ディスプレイに関する透明なパネルの動作が、ユーザのタッチの位置を確定するために分析される圧力センサ信号を生成するように、フレームに付属され得る。このタッチ信号は、いつシステムが赤外線カメラを使用して、タッチジェスチャの捕捉を始めるべきか確定するために使用され得る。したがって、使用において、システムは、フレーム上の圧力センサからの透明なパネル上の圧力を検知するために走査する。圧力を検知した時、システムは、どこで指圧が生じたのかを特定するためスクリーン上の圧力イベントの座標位置を計算する。その後、システムは、検知された位置から指の動きをモニタするための赤外線画像センサと光を初期化する。この動きをモニタすることによって、システムは、タッチセンサを集積していないが、その代りに指の位置を検知するための圧力センサを使用する透明なパネルを横切る場合でさえ、複雑な指の動きを追跡することができる。いくつかの実施形態では、取り外し可能で透明なパネルは、枠のないガラス製パネルである。
【００１７】
[0027]発明の実施形態は、多数の他の用途の広い或いは特別目的のコンピューティングシステムの環境か設定で使用可能である。本発明での使用に適しうる周知のコンピューティングシステム、環境、および／または構成の例は、限定されるものではないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルド（hand-held）型またはラップトップ型のデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、任意の上記のシステムまたはデバイスを含む分散型コンピュータ環境、およびその類似したものを含む。
【００１８】
[0028]ここで使用されるように、命令は、システム中で情報を処理するための、コンピュータで履行するステップを指す。命令はソフトウェア、ファームウェア、またはハードウェアで履行され得、システムの要素により引き受けられる（undertaken）プログラムされたステップの任意のタイプを含むことができる。
【００１９】
[0029]以下の説明では、特定の詳細は、例についての完全な理解を提供するために与えられる。しかしながら、当業者であれば、これら例がこれらの特定の詳細なしで実施されうることを理解するであろう。例えば、これら例を不必要な詳細で不明瞭にしないように、電気コンポーネント／デバイスはブロック図で示されうる。他の事例では、このようなコンポーネント、他の構造および技術が、これら例をさらに説明するために詳細に示されうる。
【００２０】
[0030]また、これら例は、フローチャート、フロー図、有限状態図、構造図、またはブロック図として図示される、プロセスとして説明されうることに留意されたい。フローチャートは、動作を順次プロセスとして説明しうるが、これら動作の多くは並列または同時並行に実行されることができ、また、プロセスは繰り返されることができる。加えて、動作の順序は並べ換えることができる。処理は、その動作が完了した時に終了する。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラム等に対応しうる。プロセスがソフトウェア関数に対応する時、その終了は、この関数が呼び出し関数または主関数に戻ることに対応する。
【００２１】
[0031]当業者であれば、情報および信号は、様々な異なる技術および技法のうちの任意のものを用いて表されうることを理解するであろう。例えば、上記説明の全体にわたって参照されうるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁性粒子、光場または光粒子、あるいはこれらの任意の組み合わせによって表されうる。
【００２２】
表示デバイスの概観
[0032]発明の実施形態は、取り外し可能なフロントパネルを有する、タッチセンサ式のデバイスに関係があり、そこで、ディスプレイ上に配置された圧力センサ及びディスプレイの背面に配置された赤外線（ＩＲ）カメラは、対話型のタッチセンシングおよびジェスチャ認識を提供する。一典型的なデバイスは、２０１３年１月４日に出願され、その全体中のこの参照によりここに組み込まれた、“取り外し可能なフロントパネルを有する対話型のディスプレイ（INTERACTIVE DISPLAY WITH REMOVABLE FRONT PANEL）”と題された、米国仮特許出願番号６１／７４９、１８４に記載されている。赤外線ジェスチャの認識機能は、記述された実施形態中で示されるようなタッチセンサ式の表示デバイス上で提供され得る。他の実施形態では、赤外線ジェスチャの認識は、ラップトップ、デスクトップあるいはモバイルデバイスに制限されていないが、そのような他の電子デバイス上で提供され得る。
【００２３】
[0033]図１は、レッグ２０、２５によって支えられるフレーム構造（図示せぬ）上に搭載された枠が無く、取り外し可能な透明のフロントパネルを有するタッチセンサ式の表示システム５の一実施形態を示す。タッチセンサ式の表示システム５は、ユーザに情報を表示するよう構成される。示されるように、ディスプレイ１０は、有線か、あるいは無線で、ディスプレイ１０上にユーザへの内容を表示するように構成された、ラップトップ、デスクトップ、又は他の処理デバイスのようなコンピュータ１１に接続され得る。いくつかの実施形態では、コンピュータ１１は、ディスプレイ１０に集積され得る。システム５は、有線又は無線で、タッチセンサ式のディスプレイ１０からのユーザ入力をアップロードし、またディスプレイ１０にコンテンツをダウンロードするために、コンピュータ１１を介してインターネットのような、広域エリアネットワーク１３にも接続され得る。ディスプレイ１０は、ここで更に詳細に説明されるように、赤外線の光源および赤外線カメラ（図示せず）を含み得、マルチタッチジェスチャの認証を用いて動作するように構成され得る。ユーザは、既知のユーザコマンドジェスチャと関連され、カメラによってキャプチャされ得る、マルチタッチジェスチャを用いてシステム５に入力を提供し得る。加えて、ユーザは、例えば、バーチャルキーボードを使用して、ディスプレイシステム５への入力を提供し得る。入力は、例えば、テキスト、数字、記号、および／または制御コマンドを含み得る。
【００２４】
[0034]図１に示されるように、ディスプレイ１０は、スタンドアロンの表示デバイスである。しかしながら、ネットワークとの通信に関して適した他のデバイスが使用され得る。コンピュータ１１に関連する表示デバイス１０は、インターネット１３上の他のデバイスから情報を受信するために、及び情報を送信するために使用され得る。通信された情報は、例えば、ボイス、データおよび／またはマルチメディアサービスを含み得る。表示デバイス１０およびコンピュータ１１も、例えば、セルラーネットワークを含む、インターネット１３に加えてネットワーク上で通信するためにも使用され得る。
【００２５】
[0035]コンピュータ１１および表示デバイス１０は、様々な規格を用いて通信し得る。例えば、あるユーザデバイスは、ＩＥＥＥ１６．１１（ａ）、（ｂ）、または（ｇ）を含むＩＥＥＥ１６．１１規格、あるいはＩＥＥＥ８０２．１１ａ、ｂ、ｇまたはｎを含むＩＥＥＥ８０２．１１規格に従って通信し得る。いくつかの実施形態では、ユーザデバイスは、ＢＬＵＥＴＯＯＴＨ（登録商標）規格に従って、ＲＦ信号を送信および受信するためのアンテナを含み得る。ユーザデバイスが携帯電話であるときのような、あるユーザデバイスでは、ユーザデバイスは、符号分割多元接続（ＣＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル移動体通信システム（ＧＳＭ（登録商標））、ＧＳＭ／汎用パケット無線システム（ＧＰＲＳ）、エンハンストデータＧＳＭ環境（ＥＤＧＥ：Enhanced Data GSM Environment）、ＴＥＴＲＡ（Terrestrial Trunked Radio）、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ（登録商標））、ＥＶ−ＤＯ（Evolution Data Optimized）、１ｘＥＶ−ＤＯ、ＥＶ−ＤＯ  Ｒｅｖ  Ａ、ＥＶ−ＤＯ  Ｒｅｖ  Ｂ、高速パケットアクセス（ＨＳＰＡ）、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）、高速アップリンクパケットアクセス（ＨＳＵＰＡ）、発展型高速パケットアクセス（ＨＳＰＡ＋）、ロングタームエボリューション（ＬＴＥ）、ＡＭＰＳ、または３Ｇあるいは４Ｇの技術を利用するシステムのような、無線ネットワーク内で通信するために使用される他の既知信号を受信するように設計されるアンテナを使用して、通信することができる。
【００２６】
[0036]図２は、取り外し可能なフロントパネル１５を有するタッチセンサ式の表示デバイス１０の一実施形態の透視図を示す。表示デバイス１０は、ガラス（図示せず）のバックパネルに結合された２本のレッグ２０および２５から構築されるフレーム１６によってサポートされる。レッグ２０および２５は、機械的な留め具、あるいは接着剤のような結合剤によって、グラスのバックパネルと結合され得る。アクティブな表示パネル１７は、コンピュータ１１、スマートフォンあるいはタブレットのような結合された電子システムからユーザへの情報を表示する画素の実際のディスプレイを提供する。アクティブな表示パネル１７は、ガラスのバックパネル表面上に位置する。アクティブな表示パネル１７は、透明なＬＣＤディスプレイのような、あらゆる種類のフラットパネル技術になり得る。いくつかの構成では、アクティブな表示パネル１７は枠を取りはずした、２２インチの三星ＬＴＩ２２０ＭＴ０２ディスプレイであり得る。
【００２７】
[0037]透明なフロントパネル１５は、それが完全にアクティブな表示パネル１７をカバーするように、フレーム１６に結合され得る。フロントパネル１５は、透明で高い透過率、ほとんど色のなしのガラスで作られ得、好ましくは枠の無い１つの充分に平らな平面の表面を備える。例えば、１つの構成では、フロントパネル１５は、長さ約６００ｍｍ、高さ約３４０ｍｍ、および厚さ約３．３ｍｍを持つ、ユーロホワイト、オプティホワイトあるいはディアマンテとしても知られるスターファイヤーガラスで作られ得る。フロントパネル１５は、フロントパネル１５とフレームのレッグ２０および２５との間の磁石の結合によって表示パネル１７に取り外し可能に固定され得る。この磁石の結合は、マグネット４０および４４の厚さの１／２にほぼ等しい深さを有している、浅い溝内のフロントパネル１５の内側（underside）に接合した１組のマグネット４０および４４を含み得る。磁石４０および４４は、各々レッグ２０および２５中の中心点に配置されたマッチング磁石ホルダ（図示せず）に搭載するよう更に構成される。浅い溝内でのマグネット４０および４４の配置は、マグネット４０、４４を、レッグ２０、２５において配置された対応するマグネットと一直線にすることを促し、およびさらにフロントパネル１５にマグネットを固定している結合剤からある負荷を除去することを促す。表示デバイス１０へのフロントパネル１５の磁石の結合も、磁石および磁気的に魅力的な材料の組み合わせを通じて達成され得る。この磁石の結合は、アクティブな表示パネル１７を使用後に洗うべきアクティブな表示パネル１７の前に、フロントパネル１５を付属の位置から容易に取り外されることを可能にする。
【００２８】
[0038]図２に示されるように、赤外線の光ユニット８は、デバイス１０のレッグ２０および２５の上に配置され得る。赤外線の光ユニット８は、ディスプレイ１０の前面に向かって、すなわちユーザの方へ光を向ける。いくつかの構成では、赤外線の光ユニット８は、デバイス１０の両脚のいずれの前面に付属された広角のある光源である。１つの構成では、赤外線の光ユニット８は、約８５０ｎｍの波長の光を放射する赤外線ＬＥＤ光ユニットであり得る。赤外線の光源は、干渉無しで、透明なアクティブな表示パネル１７およびフロントパネル１５を直接通り抜け得、したがって、他の構成では、赤外線の光ユニット８は、電子筐体内で、透明なディスプレイを通じてユーザに赤外線の光源を向けるためのディスプレイ１０の背面に置かれ得る。
【００２９】
[0039]ユーザの手あるいは指からの赤外線の光源の反射は、ディスプレイ１０の背後に位置する赤外線カメラ（図示せず）によって捕捉され得る。ユーザジェスチャのこれらの画像は、意図したユーザコマンドのジェスチャを判別するためのジェスチャ処理機能を使用して分析され得る。これらの特徴は、下記に非常に詳しく説明される。
【００３０】
[0040]図３の平面図に示されるように、フロントパネル１５は直接、隣接するアクティブな表示パネル１７に搭載される。フロントパネル１５は、それがフレーム１６の側面及び上部からはみ出るように、アクティブ表示パネル１７及びバックパネル３０よりも大きな幅及び高さを有し得る。いくつかの構成では、料理の中で（in cooking）使用されるもののような共通の測定等価物を示すラベルは、ユーザに有益情報を提供するために、フロントパネル１５の横にくっきりと描かれ得る。フロントパネル１５の横に配置されることによって、それらはアクティブな表示パネル１７をオーバーラップさせ得なく、ディスプレイに示された情報のユーザの視界を遮られ得ない。フロントパネル１５は、クリーニングのため容易にフロントパネル１５の取り外し及び掴むことを手助けするために基本的なパネルよりも大きくなり得る。いくつかの構成では、表示デバイス１０は、フロントパネル１５の前面と、バックパネル３０の背面のと、間はおよそ１インチの厚さである。他の構成では、表示デバイスは、１インチの４／５又は約２０ｍｍの厚さを有している。まださらなる構成では、表示デバイスは、約１インチの１／２の厚さを有し得る。
【００３１】
[0041]レッグ２０および２５は、バックパネル３０に集積され得、あるいはそれらは、バックパネル３０に接合され得る。いくつかの構成では、レッグ２０および２５は、表示デバイス１０に関して安定性と支援を提供するために、プレキシグラスのアクリル、あるいは他の硬質なプラスチックで作られ得る。レッグ２０および２５は、約１インチの幅であり得、あるいは、それらは、デバイス１０の重さを安全に支えるのに十分な他の幅であり得る。いくつかの実施形態では、レッグ２０および２５は、アクティブな表示パネル１７のためにバックライトを供給するための、ＬＥＤの光ストリップ１８のような、１つまたは複数の光源を含み得る。他の実施形態では、ＬＥＤの光ストリップ１８は、フレーム１６の横側に固定され得る。ＬＥＤの光ストリップ１８は、アクティブな表示パネル１７を照らすために、透明なバックパネル３０を通り抜けて光をトンネルさせ又は直接向ける。１つの構成では、ＬＥＤの光ストリップ１８は、約７５０ｎｍの波長で減衰する光を放射し得、７５０ｎｍ以上で、この光信号においてほとんどエネルギーの無いことを意味する。ＬＥＤの光ストリップ１８は、約５０００Ｋあるいは約６５００Ｋの色温度で光を放射し得る。他の色温度は、他の構成の中で使用され得る。
【００３２】
[0042]透明なバックパネル３０は、透明なアクティブ表示パネル１７に向かって前方のレッグ２０および２５上に配置されたＬＥＤの光ストリップ１８からの光を曲げ、あるいは向け得る。いくつかの構成では、バックパネル３０は、バージョンOF11LのACRYLITE(R)Endlighten Tで作ら得、それは、透明に見え、またディスプレイ１０のための照明を提供するため、バックパネル３０の表面の至る所に光を均一に向け直す。
【００３３】
[0043]フレーム１６の下に配置されるのは、電子筐体４５であり、これは、アクティブ表示パネル１７、バックライトＬＥＤストリップ１８、赤外線の光ユニット８、赤外線カメラ３５、あるいはディスプレイ１０内で使用される他の電子コンポーネントを制御するためのプロセッサのような、ディスプレイを稼働させるために必要とされるあらゆる電子機器を収容するために使用され得る。ＬＥＤストリップ１８が、ディスプレイを照らすためにターンオンする時、光は、ディスプレイの横から、フロントパネルにむかって前方にトンネルする。迷光も、ＩＲカメラ３５に向かって後ろへ向かい得る。しかしながら、いくつかの実施形態中において、ＩＲカメラ３５は、この波長で光を捕らえないため、この光の波長は、画像を捕捉するためのＩＲカメラの能力に邪魔をしないだろう。１つの構成では、ＩＲカメラ３５は、約８５０ｎｍ及びそれ以上の波長を有する光を捕捉するように設計され得る。
【００３４】
[0044]図３は、さらに、フロントパネル１５上でなされたユーザジェスチャの画像を捕捉するように構成された赤外線カメラ３５の配置を示す。赤外線カメラ３５は、フレーム１６の下に配置された電子筐体４５内に設置され得る。ディスプレイ１０の後ろにＩＲカメラを置くことは、ディスプレイ１０の透明度に起因してゼロ個のカメラ（zero camera）が見えない場所をもたらす。いくつかの構成では、ディスプレイ１０は、アクティブな表示パネル１７がアクティブでも非アクティブの時でも、赤外線カメラ３５に反射された赤外線の光に対して透明である。赤外線の光ユニット８は、ディスプレイ１０のフロントパネル１５上のユーザジェスチャを捕捉するための赤外線カメラの能力を妨げない。更に、バックライトＬＥＤのストリップ１８は、さらにユーザジェスチャの画像を捕捉するための赤外線カメラ３５の能力をも妨げない。１つの構成では、ＩＲカメラは、交換式の赤外線レンズを有するＣＭ２６Ｆ２７２型カメラであり得る。いくつかの構成では、マルチプル（multiple）のカメラは、フロントパネルのあらゆる位置でなされたジェスチャを捕捉するための広角を提供するために使用され得る。
【００３５】
[0045]赤外線の光ユニットの配置は、赤外線カメラの配置に依存し得る。赤外線カメラの配置は、他の検討事項に共通して（among other considerations）、赤外線カメラの仕様、表示デバイスの全体寸法、コストおよび美的感覚に依存し得る。いくつかの実施形態では、赤外線の光が赤外線カメラに直接向けられないように、赤外線の光源は配置される。
【００３６】
[0046]いくつかの実施形態では、赤外線の光ユニットは、上述したようにデバイスのレッグ２０および２５の上に配置され得る。これは、デバイスにクリーンな外観という利点を提供するが、要求されるより多くのＩＲ光ユニットに起因してより大きな複雑さをもたらし得、なぜなら、この構成は、デバイスのフロントパネル全体を照らすために各レッグの上にマルチプルのＩＲの光ユニットを必要とし得るためである。
【００３７】
[0047]他の具体化では、ＩＲ光ユニットは、単一のモジュール中の赤外線カメラの近くのディスプレイの背後に配置され得る。この構成では、赤外線の光ユニットおよび赤外線カメラの両者は、ユーザに向かって前に向いており、また、赤外線の光は、赤外線カメラに直接向けられていないであろう。
【００３８】
[0048]図４Ａは、取り外し可能なフロントパネル１５、つまり、フロントパネル１５が付けられる時に、アクティブな表示パネル１７に面するフロントパネル１５の側面の内面４６を図式的に示す。図中における“左”及び“右”の表示は、フロントパネル１５の方向を指し、またフロントパネル１５を有する完全に組み立てられたデバイス１０を持つユーザによって見えるような表示デバイス１０を指す。示されるように、フロントパネル１５は、２セットのマグネットペアの磁石の結合によって表示デバイス１０を取り外し可能に固定され得る。他の実施形態では、２セット以上のマグネットのペアは、表示デバイス１０に対してフロントパネル１５を固定するために使用され得る。
【００３９】
[0049]図４Ａの中で示されるように、２つのマグネット４０および４４がフロントパネル１５の内側に接着される。マグネット４０および４４は、好ましくはフロントパネル１５の内側に接着されるが、他の接着手段によってフロントパネル１５に固定され得る。図４Ａの中で示されるように、マグネット４０および４４は、フロントパネル１５ほぼ中程の高さに位置する。
【００４０】
[0050]図４Ａの中で示されるように、多くの高ＰＳＩの泡材（high PSI foam members）５０、５２、５４および５６が、フロントパネル１５の内側４６の４隅の各々に配置され得る。ディスプレイ１０のフロントパネル１５へのユーザ圧力は、フロントパネル１５上のユーザタッチを示す圧力信号のセットを生成するためのディスプレイのフレーム１６上に配置された、対応する圧力センサに接触して（against）、高ＰＳＩの泡材（high PSI foam members）５０、５２、５４および５６に圧力を掛けるであろう。１つの構成では、高ＰＳＩの泡材５０、５２、５４および５６は、メーカーのパーツ番号８４６３Ｋ４１２を有するMcMaster-Carrによってそれらの割り振られたような、６０Ａのジュロメータ及び２５００ＰＳＩの抗張力を有する超強なネオプレンゴム素材で作られ得る。
【００４１】
[0051]低ＰＳＩの泡材８０および８４は、フロントパネル１５の内側４６上の各マグネット４０および４４に接合され得る。低ＰＳＩの泡材８０および８４は、高ＰＳＩの泡材５０、５２、５４および５６よりも低ＰＳＩを有する軟骨泡で作られ得る。１つの構成では、低ＰＳＩの泡材は、ロジャーズ株式会社によって製造され、幅が１．５７ｍｍで、パーツ番号が４７０１−４０−２００６２−０４である、ＰＯＲＯＮウレタン泡のような軟骨材料であり得る。
【００４２】
[0052]図４Ｂは、取り外されたフロントパネル１５を有するフレーム１６及びアクティブな表示パネル１７を図式的に示す。示されるように、フレーム１６は、アクティブな表示パネル１７の全ての辺を包む。他の実施形態では、フレーム１６は、アクティブな表示パネル１７の上辺及び下辺ではなく左側および右側を包み得る。上で議論されるように、フロントパネル１５は、２セットのマグネットペアの磁石の結合によって表示デバイス１０に取り外し可能に固定され得る。図４Ｂ中に示されるように、２つのマグネット４２及び４６は、表示デバイス１０のフレーム１６に接着される。マグネット４２及び４６は、好ましくは表示デバイス１０のフレーム１６に接合されるが、他の粘着手段によって固定されてもよい。図示されるように、マグネット４２及び４６は、フレーム１６の側面の中心点の範囲内に位置する。他の具体化では、低ＰＳＩの泡材８０および８４は、フロントパネル１５の内側４６に面する、マグネット４２及び４６に固定され得る。
【００４３】
[0053]多くの圧力検出器７０、７２、７４および７６は、表示パネル１７の４隅の近くの、ディスプレイ１０のフレーム１６上又は、レッグ２０及び２５上（図示せず）に配置され得る。ディスプレイに関してのフロントパネル１５の動きは、ユーザタッチの位置及びユーザコマンドのジェスチャの種類を判断するために分析され得る圧力信号を生成する。他の実施形態では、高ＰＳＩの泡材５０、５２、５４および５６は、フロントパネル１５の内側に面する圧力検出器７０、７２、７４および７６の外側表面に接合され得る。１つの構成において、圧力検出器７０、７２、７４および７６は、１４．７ｍｍの直径の活動領域を有する、パーツ番号ＦＳＲ４０２としてインターリンクエレクトロニクス（Interlink Electronics）によって割り振られた単一ゾーンの力センサ抵抗器であり得る。
【００４４】
[0054]フロントパネル１５が、表示デバイス１０に取り外し可能に固定されている場合、マグネット４２および４６は、フロントパネル１５の内側で対応するマグネット４０および４４と一致させられた時、表示デバイスの１５にフロントパネルの磁石の結合を供給する。例えば、マグネット４２および４４が、磁気的に引きつけられるように、マグネット４０、４２、４４および４６は適切な位置に置かれ、また、マグネット４０および４６は、表示デバイス１０にフロントパネル１５を付けるための磁石の結合を提供するために磁気的に引きつけられる。
【００４５】
[0055]他の実施形態において、マグネットペアは、表示デバイス１０のフレーム１６のレッグ２０および２５の下辺または上辺に接近して配置され得る。１つの構成では、マグネットは、４．５ｌｂｓの付着力を有するＫ＆Ｊマグネットによって割り当てられた製品番号Ｄ９１−Ｎ５２の、ネオジムディスクマグネットであり得る。フロントパネル１５の重さに依存して、マグネット強さを変えること、あるいは一方当たり、１セット以上のマグネットが必要であり得る。
【００４６】
[0056]マグネット４０、４２、４４および４６は、小さな隙間が、フロントパネル１５とアクティブな表示パネル１７との間に存在するように、表示デバイス１０にフロントパネル１５を固定にするよう構成される。フロントパネル１５とアクティブな表示パネル１７との間の小さな隙間は、表示パネル１７、並びに圧力検出器７０、７２、７４および７６に対してフロントパネル１５を動かすことを可能にする。したがって、フロントパネル１５上のユーザ圧力は、高ＰＳＩの泡材５０、５２、５４及び５６に、力の変化量を備えた、対応する圧力検出器７０、７２、７４及び７６に圧力を加えさせるフロントパネルの動きを教える。フロントパネル１５とアクティブな表示パネル１７と、の間の隙間は、フロントパネル１５の内側の破片或いは異物があるだろう、アクティブな表示パネル１７を引っ掻くことから防止することをも助ける。その隙間は、さらにユーザによる、フロントパネル１５の一般的な取り外しおよび配置に起因するアクティブな表示パネル１７の掻き傷を防止することを助ける。いくつかの構成では、フロントパネル１５とアクティブな表示パネル１７と、の間の隙間は、約３ｍｍであり得る。他の構成では、フロントパネル１５とアクティブな表示パネルと、の間の隙間は、約２ｍｍ以下になり得る。
【００４７】
[0057]互いのマグネットペアのうちの１つのマグネットに固定される、低ＰＳＩの泡材８０および８４は、フロントパネル１５が、ユーザタッチに対する圧縮反応中の表示パネル１７に対して移動させるよう及び／または傾けられる（tilt）ようにし、また表示パネル１７に対してフロントパネル１５の動きを和らげられるようにする。低ＰＳＩの泡材８０および８４は、フロントパネル１５上のユーザタッチの解除後に、フロントパネル１５が、圧力検出器７０、７２、７４、及び７６に対してニュートラルの位置に戻って来られるようにするためバネとしても働く。低ＰＳＩの泡材８０および８４は、表示デバイス１０にフロントパネル１５を付着させるマグネットペアのうちのいずれか一方のマグネットに接合され得る。１つの構成では、低ＰＳＩの泡材８０は、マグネット４０を覆い、また接合され得、また、低ＰＳＩの泡材８４は、フロントパネル１５の内側のマグネット４４を覆い、また接合され得る。他の構成では、低ＰＳＩの泡材８０はマグネット４２に接合され得る。また、低ＰＳＩの泡材８４は、表示デバイス１０のレッグ２０および２５の中心の近くに配置されたマグネット４６に接合され得る。
【００４８】
[0058]フロントパネル１５が、ディスプレイ１５に付着られている時、高ＰＳＩの泡材５０、５２、５４及び５６を、対応する圧力検出器７０、７２、７４及び７６と位置合わせする。ディスプレイ１０のフロントパネル１５上のユーザ圧力は、４つの検出器７０、７２、７４及び７６の各々からの圧力信号を生成するための対応する圧力検出器７０、７２、７４及び７６に接触して、高ＰＳＩの泡材５０、５２、５４及び５６に圧力を掛けるであろう。これらの信号は、より詳細に下で議論されるように、ユーザのフロントパネル１５上のタッチの位置を判断するために分析され得る。信号は、なされたユーザジェスチャの種類、ユーザジェスチャに関連された関連コマンドを判断するために、或いはより詳しく下で議論されるように、赤外線のジェスチャ認識を活性化するために、分析もされ得る。
【００４９】
[0059]さらにここで議論されるように、プロセッサは、圧力検出器７０、７２、７４及び７６からの信号を受信し、圧力信号をユーザジェスチャと関連させる。検知部は、検知部間での、相対的な圧力差に基づいてフロントパネル上のユーザタッチから圧力の位置を判断することができるように構成される。圧力検出器７０、７２、７４及び７６は、タッチセンサ式の表示デバイス１０のフロントパネル１５上でユーザ入力を受信する１つの手段を表示する。
【００５０】
[0060]表示デバイス１０の断面図が図５に示される。この図は、表示デバイス１０の右側に配置されたマグネットと圧力検出器を貫通する断面を示す。この図では、マグネット４０および４６は、表示デバイス１０にフロントパネル１５を固定するためにペアとされる。低ＰＳＩの泡材８０は、ユーザのタッチからの圧力の解除の後、ニュートラルな位置にフロントパネル１５を戻すためのバネとして機能させるためのマグネット４０と４６との間に挟まれる。図５は、１つの低ＰＳＩの泡材８０を示す。しかしながら、対応する泡材８４（図示せず）は、ディスプレイ１０の反対側（左側）に配置される。
【００５１】
[0061]いくつかの実施形態では、サンドペーパのような高摩擦材料は、わずかに或いは滑ることのない表示デバイス１０に固くフロントパネル１５を固定するための各ペアのマグネット間で提供され得る。いくつかの構成では、高摩擦フィルム或いはサンドペーパは、フレームかレッグに付けられたマグネットと、フロントパネル１５の内側４６に固定されたマグネットに付着された低ＰＳＩの泡材と、の間で固定され得る。この高摩擦フィルムは、前面のガラスが下へ滑り、あるいは左右に滑ることから防止する。図５に示されるように、高摩擦フィルム材９０はさらに、フロントパネル１５で下に動いたり或いは左右への滑りを最小にするためにマグネット４０と４６との間に挟まれる。いくつかの構成では、高摩擦材料は、２２０のＡ−ＷＴを有するノートンTufbak Gold T481のようなサンドペーパであり得る。フロントパネル１５が洗浄される時、この高摩擦材料は、時間を通じて（over）繰り返される洗浄に耐え得る。さらに、この材料は泡材をはぎ取ることなく、低ＰＳＩの泡材を掴むのに十分に荒い。
【００５２】
[0062]それに応じて、ディスプレイ（図示せず）の反対側で、マグネット４２および４４は、低ＰＳＩの泡材８４及びマグネット４２と４４との間に挟まれた第２の高摩擦フィルム材９０を有する、表示デバイス１０にフロントパネル１５の固定を助けるペアである。低ＰＳＩの泡材８０および８４は、マグネット４０、４２、４４および４６が、泡とフィルムとを圧縮する時にぶつかって（into）、「かみつく」ための高摩擦材料９０に関するグリップ面として機能する。
【００５３】
[0063]フロントパネル１５とフレーム１６との間の隙間９５は、図５中でよりはっきり見られ得る。隙間９５は、ユーザのタッチからの圧力に応じてアクティブな表示パネル１７及びフレーム１６に対してフロントパネル１５が移動することを可能にする。
【００５４】
[0064]図５に示されるように、高ＰＳＩの泡材５４及び５６は、圧力検出器７４及び７６と位置合わせられる。ディスプレイ１０に対するフロントパネル１５の動きは、対応する圧力検出器に接触して、高ＰＳＩの泡材を圧縮し、各圧力検出器からの圧力信号を引き起こすだろう。フロントパネル１５の動きは、高ＰＳＩの泡材に、対応する圧力検出器に接触して圧縮させ、或いは高ＰＳＩの泡状に、対応する圧力検出器から解除させ得る。
【００５５】
[0065]例えば、ユーザが、ディスプレイの右上カドラント（quadrant）に触れ、圧力検出器７４に対して（against）高ＰＳＩの泡材５４を押す時、フロントパネル１５の右上隅は、フレーム１６の方に近づくであろう。フロントパネル１５の剛性は、フロントパネル１５のより低い右下隅に、フレーム１６から離れるように上げさせるだろう。ユーザのタッチからの圧力に応じたフロントパネル１５の動きは、ディスプレイ１０の各サイド上の圧力検出器からの異なる応答をもたらすだろう。これらの応答は、ユーザタッチのフロントパネル１５上の位置を判断するために分析され得、ユーザに選択されたアプリケーション内での所望のコマンドを実行するために、ユーザのタッチの位置でアクティブなウィンドウか特定のアプリケーションかに関連付けられ得る。
【００５６】
赤外線ジェスチャ捕捉特性の要旨
[0066]発明の１つの実施形態では、対話型のユーザジェスチャは、視覚的にユーザジェスチャを分析するための赤外線カメラ及び赤外線の光ユニットを使用する、タッチセンサ式の表示デバイス上で捕捉され得る。ディスプレイのフロントパネル上のユーザのタッチで加えられた圧力は、ディスプレイに搭載された少なくとも１つの圧力検出器によって測定されるように、対話型のジェスチャの開始を示し、表示デバイスに接続されたプロセッサ内に収容されたジェスチャ処理モジュールを有効化するために使用され得る。同様に、タッチセンサ式のディスプレイからの圧力の解除は、対話型のジェスチャが終了したことを示す。
【００５７】
[0067]図６は、ユーザジェスチャの赤外線の画像の捕捉の１つの実施形態を示す。電子筐体４５に付けられた赤外線カメラ３５は、プロセッサのジェスチャ認識モジュールによる解析に関する対話型のジェスチャの画像を捕捉することができる。１つの構成では、フロントパネル１５上のユーザ圧力は、少なくとも１つの圧力検出器（図示せず）によって記録されると、赤外線カメラ３５の有効化、及びフレーム１６上の赤外線の光源からの赤外線の光源６５の照明を引き起こし得る。
【００５８】
[0068]実線６５によって示された赤外線の光源は、透明なアクティブな表示パネル１７およびフロントパネル１５を通り抜け得る。赤外線カメラ３５は、ユーザの指５５からの赤外線の反射７５を捕捉するためにディスプレイの後ろの最適な場所に配置され得る。赤外線カメラ３５は、表示パネル１７が、ユーザジェスチャの画像を捕捉するためにアクティブで非アクティブの両者である場合、透明なアクティブな表示パネル１７を通じて見得る。フロントパネル１５からの圧力の解除は、圧力検出器によって判断された時、赤外線ジェスチャの認識機能の終了を信号で伝え、赤外線の光ユニットをターンオフされるように動作させ得る。
【００５９】
赤外線ジェスチャの命令システムの要旨
[0069]赤外線ジェスチャの認識で構成されるタッチセンサ式の表示デバイス１０のハイレベルなブロック図が図７に示される。タッチセンサ式の表示システム１０は、アクティブな表示パネル、バックライトＬＥＤストリップ、赤外線の光ユニット８、赤外線カメラ３５、あるいはディスプレイ１０内で使用される他の電子コンポーネントのような、ディスプレイの機能を制御するための電子筐体４５に組み込まれ得る。図示されるように、システム１０は、多くの圧力検出器７０、７２、７４及び７６、並びにディスプレイ出力７９にリンクされたプロセッサ１２０を含んでいるコンポーネントのセットを有する。赤外線カメラ３５及び赤外線の光ユニット８もプロセッサ１２０にリンクされる。作業領域１３５及びメモリ１４０は、プロセッサ１２０とも通信され得る。タッチセンサ式の表示システム１０は、ワード処理、ビデオ及びオーディオ機能、或いはインターネットを介した対話型のブラウジングのような、ディスプレイに関する追加のアプリケーションおよび機能を提供するために、コンピュータにも接続し得る。
【００６０】
[0070]タッチセンサ式の表示システム１０は、台所用食器棚ユニット、冷蔵庫、或いは他の電化製品に組み込まれたディスプレイのような静止しているデバイス、或いは、スタンドアロンの表示デバイスであり得る。多くのアプリケーションが、付属のコンピュータシステムを介してタッチセンサ式の表示システム１０上でユーザに利用可能となり得る。これらのアプリケーションは、カレンダ表示、編集機能、ワード処理機能、レシピ編集及び表示機能、ビデオ及び画像表示機能、並びにインターネットブラウジング機能を含み得るが、これに限定するものではない。
【００６１】
[0071]プロセッサ１２０は、汎用処理ユニット、または表示アプリケーションのために特別に設計されたプロセッサであり得る。図示されるように、プロセッサ１２０は、メモリ１４０および作業領域１３５に接続される。図解入りの実施形態において、メモリ１４０は、タッチ検出モジュール１４５、画像キャプチャモジュール１４６、ジェスチャの処理モジュール１５０、表示モジュール１５５、オペレーティングシステム１６０及びユーザインターフェースモジュール１６５を格納している。これらのモジュールは、様々なディスプレイ、タッチセンサ式、画像キャプチャ及びジェスチャ処理機能及びデバイス管理タスク、を実行するプロセッサ１２０を構成する命令を含み得る。作業領域１３５は、メモリ１４０のモジュール中に含まれているプロセッサ命令のワーキングセットを格納するためのプロセッサ１２０によって使用され得る。あるいは、作業領域１３５は、タッチセンサ式の表示システム１０の動作中に生成された動的データを格納するためのプロセッサ１２０によっても使用され得る。
【００６２】
[0072]上述されるように、プロセッサ１２０は、メモリ１４０中に格納された幾つかのモジュールによって構成される。タッチ検出モジュール１４５は、圧力検出器７０、７２、７４及び７６から受信した信号を分析することにより、ユーザのディスプレイ１０のフロントパネル１５上のタッチを検知するためのプロセッサ１２０を構成する命令を含んでいる。したがって、タッチ検出モジュール１４５及び圧力検出器７０、７２、７４及び７６と一緒に、プロセッサ１２０は、表示デバイス１０のフロントパネル１５上のユーザタッチを検知するための１つの手段を表す。
【００６３】
[0073]画像キャプチャモジュール１４６は、赤外線カメラ３５を使用して、ディスプレイ１０のフロントパネル１５上でなされたユーザジェスチャの画像を捕捉するためのプロセッサ１２０を構成する命令を提供する。フロントパネル１５上のユーザタッチは、赤外線画像の捕捉機能の始動を動作させ得る。フロントパネル１５からの圧力のユーザの解除は、赤外線画像の捕捉機能の中段を動作させ得る。
【００６４】
[0074]ジェスチャ処理モジュール１５０は、タッチ及び／又はジェスチャが意図する意味を判断するための捕捉された画像及び圧力検出器のデータを処理するためのプロセッサ１２０を構成する命令を提供する。ジェスチャ処理モジュール１５０は、例えば、色信号処理、デジタル・アナログ変換、および／またはガンマ補正を含む、受信された画像上で様々な機能を行うことができる。ジェスチャ処理モジュール１５０は、カメラ３５から、ユーザの手または指を収めた一連の画像を受信することができ、ジェスチャ処理モジュール１５０は、鏡像を生成するためのそれぞれの画像を反転させるように構成されることができる。ジェスチャ処理モジュール１５０は、ジェスチャパターンマッチング又は特徴抽出のような、追加処理機能を実行するための反転及び／又は非反転画像を使用し得る。データは、メモリ１４０内の画像データとしても格納され得る。したがって、タッチ検出モジュール１４５、画像キャプチャモジュール１４６、圧力検出器７０、７２、７４及び７６、赤外線カメラ３５並びにジェスチャ処理モジュール１５０と一緒に、プロセッサ１２０は、ユーザタッチの意図する意味を判断するための１つの手段を表す。
【００６５】
[0075]ジェスチャ処理モジュール１５０は、結合された画像を形成するための、処理され或いは処理されていない画像を組み合わせ得る。ジェスチャ処理モジュール１５０は、さらに動きの領域を判断するための一連の画像を処理するための特徴抽出機能を実行し得る。例えば、ジェスチャ処理モジュール１５０は、直接先行フレームのような、捕捉シーケンス中の前のフレームと受信フレームとを比較し、フレーム間の画像の違いを計算し得る。差異の画像は、例えば、フィルタにかけられた差異の画像を作り出すために、しきい値より下の差異を除去することなどにより、任意の適した方法でフィルタにかけられ得る。フィルタにかけられた、および／またはフィルタにかけられない差異の画像は、メモリ１４０に画像データとして記憶されることができる。
【００６６】
[0076]ジェスチャの開始点は、表示画面に対してユーザによる初期画面のタッチの地理的位置を最初に計算することにより判断され得る。ジェスチャ処理モジュール１５０は、透明なパネルと通信する各圧力検出器から、及び表示パネルに対するユーザタッチの相対的な二次元の位置を判断したデータから、相対圧力を判断し得る。その判断は、システムによって判断されるようなジェスチャの開始点になることにより、赤外線カメラによってジェスチャの判断に追加の焦点を供給し得る。ＩＲ捕捉を、検出された最初のタッチ位置と位置合わせすることによって、ジェスチャ処理モジュールは、時間とともに（over）ジェスチャの開始および動きを判断し得る。
【００６７】
[0077]ユーザジェスチャの終点も、ジェスチャ処理モジュール１５０によって判断され得る。ジェスチャ処理モジュール１５０は、ジェスチャの終点を判断するための一連の異なる画像（the sequence of difference images）を分析し得、あるいは、ジェスチャの終点は、フロントパネル１５に対するユーザ圧力の解除から判断され得る。例えば、ジェスチャ終点検出モジュール１５０は、比較的高い動きを収めた１つまたは複数の一連のフレームの後に検出された、比較的低い動きを有する１つまたは複数のフレームを探し出すように構成されることができる。ジェスチャの終点が検出されたと判断されると、ジェスチャ処理モジュール１５０は、ジェスチャが、１つまたは複数の既知のジェスチャパターンと一致するかどうか判断するための情報を使用し得る。例えば、一連のジェスチャの画像は、認識されたジェスチャが存在するかどうか判断するため、メモリ１４０に格納された各ジェスチャのテンプレートと比較され得る。
【００６８】
[0078]ユーザインターフェースモジュール１６５は、表示デバイス１０のアクティブな表示パネル１７上に情報を表示するためのプロセッサ１２０を構成する命令を含み得る。
【００６９】
[0079]様々なモジュールは、ハードウェアおよび／またはソフトウェアの様々な組み合わせで履行され得る。例えば、タッチ検出モジュール１４５、画像キャプチャモジュール１４６、ジェスチャ処理モジュール１５０、ディスプレイモジュール１５５及びユーザインターフェースモジュール１６５は、１つまたは複数のプロセッサを使用して実行するように構成されたコンピュータ可読記憶媒体上に格納された命令として履行され得る。モジュールの履行に関する追加の詳細は、後に以下で詳しく説明されることになる。
【００７０】
[0080]オペレーティングシステム１６０は、システム１０のメモリおよび処理リソースを管理するためのプロセッサ１２０を構成する。例えば、オペレーティングシステム１６０は、ディスプレイ出力、圧力検出器７０、７２、７４及び７６、並びに赤外線カメラ３５のような、ハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上述されたタッチセンサ式の表示システムモジュール中に含まれる命令は、これらのハードウェアリソースと直接情報をやりとりし得ないが、代わりに、オペレーティングシステムコンポーネント１６０中に配置された、標準サブルーチンあるいはＡＰＩを通じて情報のやりとりをし得る。その後、オペレーティングシステム１６０内の命令は、これらのハードウェアコンポーネントと直接情報のやり取りをし得る。
【００７１】
[0081]図７は、プロセッサ、多くの圧力検出器、電子表示ディスプレイ出力、及びメモリを含めるための個別のコンポーネントを備えたデバイスを描写しているが、当業者は、これらの個別のコンポーネントは、特定の設計目的を達成するための様々な方法で組み合わせられ得ることを認識するだろう。例えば、代替の実施形態では、メモリコンポーネントは、費用を節約しパフォーマンスを向上させるために、プロセッサコンポーネントと組み合わされ得る。
【００７２】
[0082]加えて、図７は、作業領域を備える個別のメモリ１３５及びいくつかのモジュールを具備するメモリコンポーネント１４０を含む、２つのメモリコンポーネントを示すが、当業者は、異なるメモリ構造を利用するいくつかの実施形態を認識するだろう。例えば、設計は、メモリ１４０中に含まれるモジュールを履行するプロセッサ命令の記憶装置に関するスタティックＲＡＭ或いはＲＯＭを利用し得る。その代替案としては、プロセッサ命令は、外部デバイスポート経由或いはタッチセンサ式の表示システム１０中に集積されている磁気ディスク装置からのシステムスタートアップで読まれ得る。その後、プロセッサ命令は、ＲＡＭにロードされて、プロセッサによる実行を容易にし得る。例えば、作業領域１３５は、プロセッサ１２０による実行の前に作業領域１３５にロードされた命令を備える、ＲＡＭメモリであり得る。
【００７３】
赤外線ジェスチャ相互作用の要旨
[0083]図８は、表示デバイス１０のようなタッチセンサ式の電子表示上で履行され得る認識処理、及び赤外線ジェスチャ捕捉の要旨を示す処理８００を図示する高レベルのフローチャートである。プロセス８００は、いくつかの実施形態において、表示デバイス１０のフロントパネル１５上でなされるユーザジェスチャの一連の画像又は１つの画像を捕捉するため、また指示されたユーザジェスチャとしてそれらの画像又はこの１つの画像を解釈するために使用され得る。
【００７４】
[0084]プロセス８００は、スタートブロック８０５で開始し、ブロック８１０へ推移し、ここにおいて１つまたは複数の圧力検出器は、ユーザがディスプレイのフロントパネルの上にかれらの手や指を置いたということを示すための圧力信号を送信する。フロントパネル上でユーザのタッチの位置によって、圧力検出器からの信号は変わり得る。フロントパネル上のユーザタッチは、フロントパネルに、ディスプレイのフレームに付けられたアクティブな表示パネルの方へ（toward）それさせ得る。同様に、このそらすことは、圧力検出器に、対応する高ＰＳＩの泡材によって角度を変化させることに関与させる。
【００７５】
[0085]フロントパネルとアクティブな表示パネルとの間の小さなギャップと一緒に、表示デバイスにフロントパネルを固定するそれぞれのマグネットペア間に低ＰＳＩの泡材を挿入することは、フロントパネルが上下にそらすことを可能にする。表示デバイスの中心を垂直に通過する中心線の一方サイドでのユーザタッチの位置は、さらにフロントパネルに、他よりも片側にもっとそれさせ得、従って、フロントパネル上のユーザタッチのエリアにより近く配置された圧力検出器においてより大きな圧力信号応答を引き起こす。同様に、フロントパネルの４カドラントのうちのいずれかのユーザタッチは、ユーザタッチのエリアにもっとも近いセンサからのより高圧力センサ応答をもたらすであろう。
【００７６】
[0086]その後、プロセス８００は、ブロック８１５に推移し、ここにおいて赤外線の光ユニットが、フロントパネル上のユーザタッチを示す圧力信号に応じてターンオンするために指示される。同時に、赤外線カメラは、表示デバイスのフロントパネル上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することを始めるように指示される。
【００７７】
[0087]赤外線の光ユニット及び赤外線カメラがターンオンした後、プロセス８００はブロック８２０に推移し、ここにおいて、フロントパネル上のユーザタッチの位置が判断される。ユーザタッチ或いはジェスチャのそれぞれについて、タッチ期間、タッチのあらゆる動きの経路又は方向、及びタッチの動きのあらゆる速度が判断され得る。ユーザタッチの位置は、複数の圧力検出器の各々の間の距離、既知の位置、並びにプロセッサによって受信した圧力信号の大きさから判断され得る。ユーザタッチの位置は、表示デバイスに（with）ユーザの意思疎通の文脈を示し得る。例えば、ユーザタッチの位置は、表示デバイス上の各アプリケーションの表示された位置に依存して、ユーザが、インターネットブラウザウィンドウあるいは文書編集アプリケーションと交流していることを示し得る。
【００７８】
[0088]フロントパネル上のユーザタッチの位置を判断し、ユーザジェスチャの少なくとも１つの画像を得た後、プロセス８００は、ブロック８２５へ推移し、ここにおいて、フロントパネル上のユーザによってなされたユーザジェスチャのタイプが判断される。ユーザジェスチャのタイプは、メモリユニット内に含まれるユーザジェスチャのカタログ或いは書庫と、ユーザジェスチャの一連の画像から形成された組み合わせられた画像或いはユーザジェスチャの画像と、を比較することによって判断され得る。
【００７９】
[0089]一旦、ユーザジェスチャのタイプが判断されると、プロセス８００は、ブロック８３０に推移し、ここにおいてユーザジェスチャは、所望の事前に定義されたコマンドに関連付けられる。例えば、ユーザは、フロントパネル上の１つの位置で指を滑らせる動作を実行でき、システムは、実行された動作を、アクティブな表示パネル上のオブジェクトを移動させること、に関連付けるだろう。マルチタッチジェスチャを含む、他の動作は、他の動作と一緒になって、アプリケーションを閉じたり開いたりすること、物のサイズを変えること、物を選択すること、或いは仮想キーボード上で文章を入力すること、のようなことも可能である。
【００８０】
[0090]ユーザジェスチャのタイプを所望の事前に定義されたコマンドと関連付けた後、プロセス８００は、ブロック８３５に推移し、ここにおいて、システムは、事前に定義されたコマンドを実行する。上記の例で議論されるように、システムは、事前に定義されたコマンドに関連付けられたジェスチャに応じて、他の動作と一緒になって、アプリケーションを開き又は閉じ、物のサイズを変更し、物を選択し、アプリケーションへの文章を入力し得る。一旦、事前に定義されたコマンドが実行されると、プロセス８００は、ブロック８４０に推移し、次いで終了する。
【００８１】
赤外線ジェスチャの捕捉及び識別の要旨
[0091]図９は、１つの実施形態に従った、赤外線カメラを使用して捕捉された複雑なユーザジェスチャ或いはマルチタッチを認識し、処理することに関するプロセス９００のフローチャートである。プロセス９００は、ブロック９０５でスタートし、次いでブロック９１０へ推移し、ここにおいて、システムは、ディスプレイのフロントパネル上でなされた一連の指又は手の画像を捕捉する。画像の捕捉は、ユーザが手か指で表示デバイスのフロントパネルに圧力を掛けた時に始まる。
【００８２】
[0092]上述されたように、タッチセンサ式のディスプレイへの圧力は、１つまたは複数の圧力検出器によって記録されると、ターンオンされるべき赤外線光ユニット、及び開始されるべき赤外線カメラによる画像捕捉を動作させる。ユーザが、彼または彼女の手か指を上げることによりディスプレイのフロントパネルから圧力を解除する時、画像捕捉の終了、及び複雑なマルチタッチのジェスチャの完成が示される。フロントパネルからの圧力の解除に際して、赤外線の光ユニットはターンオフされ、赤外線カメラによる画像捕捉が終了する。
【００８３】
[0093]その後、プロセス９００は、ブロック９１５に推移し、ここにおいて、一連の画像は、画像処理機能を使用して、複雑なユーザジェスチャの単一の画像に組み合わされる。プロセス９００、その後、ブロック９２０に推移し、ここにおいて、ユーザ入力に関連付けられたアプリケーションが特定される。そのアプリケーションは、１つまたは複数の圧力検出器によって特定されるように、表示ディスプレイ上のアプリケーションインタフェースの既知の位置、及びユーザタッチの既知の場所に基づいて特定され得る。
【００８４】
[0094]プロセス９００は次に、ブロック９２５へ推移し、ここにおいて、１つまたは複数の候補のジェスチャ及び信頼因子が、ユーザジェスチャの組み合わされた画像を使用して判断される。例えば、ジェスチャの認識テンプレートは、捕捉された画像または複数の画像と比較され得る。各ジェスチャ認識テンプレートと、捕捉された１つの画像又は複数の画像との比較は、１つ以上の可能性があるジェスチャマッチをもたらし得る。可能性があるジェスチャマッチはそれぞれ、捕捉された１つの画像又は複数の画像に対するジェスチャ認識テンプレートの類似性に基づいて信頼因子を割り当てられ得る。しきい値信頼レベルを超える可能性のあるジェスチャマッチのような、十分な信頼因子の可能性のあるジェスチャマッチは、候補ジェスチャであるべきと判断され得る。候補ジェスチャ及びそれぞれのジェスチャ認識テンプレートを使用して決定された対応する信頼要因は、候補ジェスチャのリスト及び信頼要因を集合的に形成し得る。
【００８５】
[0095]候補ジェスチャ及び確信要因のリストを決定した後に、その後、プロセス８００はブロック９３０に推移し、ここにおいて、誤検出が除去される。例えば、誤検出の除去は、大域的運動条件、局所的運動条件、および／または１つまたは複数の信頼要因を使用する、候補ジェスチャのリストからの１つまたは複数の候補ジェスチャの除去を含むことができる。誤検出であることとして削除されない候補ジェスチャは、プロセス９００の次のブロック９３５中の認識されたジェスチャであると決定され得る。その後、プロセス９００は、ブロック９４０に推移し、終了する。
【００８６】
専門用語に関する説明
[0096]当業者であれば、ここで開示された履行に関連して説明された様々な例示的な論理ブロック、モジュール、回路、およびプロセスステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組み合せとして履行されうることもさらに理解するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップが、概してそれらの機能の点から上記に説明されてきた。このような機能性が、ハードウェアまたはソフトウェアとして履行されるか否かは、システム全体に課せられている、特定のアプリケーションおよび設計制約に依存する。当業者は、各特定のアプリケーションのために、様々な方法で、説明された機能を実装し得るが、そのような履行の判定は、本発明の範囲から逸脱を引き起こしていると解釈されるべきでない。当業者であれば、部分、または一部が、全体よりも少ないもの、または全体に等しいものを備え得ることを理解するであろう。例えば、画素のコレクションの部分は、それら画素のサブコレクションを称しうる。
【００８７】
[0097]ここに開示された履行に関連して記載されたさまざまな例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、離散ゲートまたはトランジスタ論理、離散ハードウェア・コンポーネント、または、ここに説明される機能を実行するように設計されたこれら任意の組み合わせとともに実現または実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代替において、このプロセッサは、任意の従来型のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシン（state machine）でありうる。プロセッサは、また、例えば、ＤＳＰと、１つのマクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアに結合した１つまたは複数のマイクロプロセッサ、その他の上記構成の組み合わせといった計算デバイスの組み合わせとしても実現されうる。
【００８８】
[0098]ここで開示された履行に関連して説明された方法または処理のステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、または両者の組み合わせで具現化されることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバルディスク、ＣＤ−ＲＯＭ、または当該技術分野において周知のその他任意の形状の非一時的な記憶媒体内に存在し得る。典型的なコンピュータ可読記憶媒体は、プロセッサがコンピュータ可読記憶媒体から情報を読み取り、またそれに情報を書き込むことができるように、プロセッサに結合される。あるいは、記憶媒体はプロセッサに集積され得る。プロセッサおよび記憶媒体はＡＳＩＣに存在しうる。ＡＳＩＣは、ユーザ端末、カメラ、または他のデバイス内に存在し得る。代替において、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス内のディスクリートコンポーネントとして存在し得る。
【００８９】
[0099]見出しは、参照のためおよび様々なセクションの位置付けを支援するために、ここに含まれる。これらの見出しは、これらに関して説明された概念の範囲を限定するようには意図されない。このような概念は、明細書全体にわたって適用性を有し得る。
【００９０】
[0100]開示の実現の先の説明は、いずれの当業者でも本発明を作り出し、使用することを可能にさせるために提供されている。これらの履行への様々な修正は、当業者にとって容易に明白であり、ここに定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく、他の履行にも適用されうる。したがって、本発明は、ここに示された履行に限定されるようには意図されず、ここに開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。
【図１】
2015536501.tif 000003
【図２】
2015536501.tif 000004
【図３】
2015536501.tif 000005
【図４Ａ】
2015536501.tif 000006
【図４Ｂ】
2015536501.tif 000007
【図５】
2015536501.tif 000008
【図６】
2015536501.tif 000009
【図７】
2015536501.tif 000010
【図８】
2015536501.tif 000011
【図９】
2015536501.tif 000012
【手続補正書】
【提出日】平成27年6月25日(2015.6.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザ指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、
ユーザが前記タッチスクリーンに触れた時に活性化するよう構成されたジェスチャ認証モジュールと、
前記ユーザの指の前記位置を追跡し前記タッチスクリーン上のユーザのタッチを判断するように構成されたジェスチャ処理モジュールと、を備え、
ここにおいて、前記ジェスチャ処理モジュールは、前記判断されたタッチ及び位置の追跡からユーザジェスチャを判断する、
タッチセンサ式の表示デバイス。
【請求項２】
前記タッチスクリーンは、フレーム構造上に搭載される、請求項１の表示デバイス。
【請求項３】
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネルを具備する請求項２の表示デバイス。
【請求項４】
前記フレーム構造に結合され、前記第２パネル上のユーザのタッチの位置を判断するよう構成された、少なくとも１つの圧力センサを更に具備する、請求項３の表示デバイス。
【請求項５】
前記第２パネルは、多数のマグネットにより前記第１パネルに取り外し可能に固定されている、請求項３の表示デバイス。
【請求項６】
前記赤外線の光源は、前記第１及び第２パネルの背面の前記フレーム構造に結合され、前記ディスプレイのユーザに対して前記第１及び前記第２パネルを通じて光を向けるように構成される、請求項３の表示デバイス。
【請求項７】
前記赤外線カメラは、前記第１及び第２パネルの背面の前記フレーム構造に結合される、請求項３の表示デバイス。
【請求項８】
前記赤外線の光源は、前記第２パネル上のタッチイベントに応答してターンオンするよう構成される、請求項４の表示デバイス。
【請求項９】
前面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザの指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、を具備し、
制御モジュールは、
ユーザが前記タッチスクリーンをタッチした時、ジェスチャ認証モジュールを活性化し、
タッチセンサ式の表示デバイスの前記タッチスクリーン上で作られたユーザジェスチャの１つまたは複数の画像を捕捉し、
ユーザが前記タッチスクリーンを離した時、前記ジェスチャ認証モジュールの動作を停止させ、
前記ディスプレイ上の対応する動作を実行するためにユーザジェスチャの画像を解析する、ように構成された、前記タッチセンサ式の表示デバイス上のユーザジェスチャを捕捉するためのシステム。
【請求項１０】
前記タッチスクリーンは、フレーム構造上に搭載される、請求項９のシステム。
【請求項１１】
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに対して取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネル、を具備する、請求項１０のシステム。
【請求項１２】
前記制御モジュールは、前記ユーザジェスチャの前記画像に関連されたユーザコマンドに関するメモリに問い合わせするよう、更に構成された、請求項９のシステム。
【請求項１３】
前記制御モジュールは、プロセッサを介して前記ユーザコマンドを実行するよう、更に構成された、請求項１２のシステム。
【請求項１４】
前記ユーザジェスチャの前記画像に関連された前記ユーザコマンドに関する前記問い合わせは、識別されるジェスチャパターンに基づいている、請求項１２のシステム。
【請求項１５】
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
ユーザが前記タッチスクリーンをタッチした時、赤外線の光源を供給する手段と、
タッチセンサ式の表示デバイスの前記タッチスクリーン上でなされたユーザジェスチャの１つまたは複数の画像を捕捉する手段と、
ユーザが前記タッチスクリーンを離した時、ユーザジェスチャの画像の捕捉を中断し、前記赤外線の光源の使用を停止する手段と、
前記ディスプレイ上の対応する動作を実行するためのユーザジェスチャの前記画像を解析する手段と、を具備する前記タッチセンサ式の表示デバイス。
【請求項１６】
１つまたは複数の画像を捕捉する前記手段は、赤外線カメラを具備する、請求項１５のデバイス。
【請求項１７】
赤外線の光源を提供する前記手段は、前記タッチスクリーンを通じて光を光らせるように構成された、１つまたは複数の赤外線の光源を備える、請求項１５のデバイス。
【請求項１８】
タッチセンサ式の電子デバイス内にデータを入力するための方法であって、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
具備する、方法。
【請求項１９】
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための、複数のジェスチャ認証テンプレートのそれぞれと比較する、請求項１８の方法。
【請求項２０】
信頼要因を、それぞれの候補のジェスチャに割り当てること、をさらに備える、請求項１９に記載の方法。
【請求項２１】
前記ジェスチャを解析することは、最も大きい前記信頼要因を有する少なくとも１つの候補のジェスチャから１つのジェスチャを選択することを備える、請求項２０に記載の方法。
【請求項２２】
プロセッサによって実行されると、タッチセンサ式の電子デバイス内にデータを入力する方法を実行する命令を具備する非一時的なコンピュータ可読記憶媒体であって、前記方法は、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の、対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
を具備する非一時的なコンピュータ可読記憶媒体。
【請求項２３】
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための複数のジェスチャ認証テンプレートのそれぞれと比較する、請求項２２のコンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
[0100]開示の実現の先の説明は、いずれの当業者でも本発明を作り出し、使用することを可能にさせるために提供されている。これらの履行への様々な修正は、当業者にとって容易に明白であり、ここに定義された一般的な原理は、本発明の主旨または範囲から逸脱することなく、他の履行にも適用されうる。したがって、本発明は、ここに示された履行に限定されるようには意図されず、ここに開示される原理および新規な特徴と一致する最も広い範囲を与えられることとなる。  
以下、出願当初の特許請求の範囲を付記する。  
[付記１]
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザ指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、
ユーザが前記タッチスクリーンに触れた時に活性化するよう構成されたジェスチャ認証モジュールと、
前記ユーザの指の前記位置を追跡し前記タッチスクリーン上のユーザのタッチを判断するように構成されたジェスチャ処理モジュールと、を備え、
ここにおいて、前記ジェスチャ処理モジュールは、前記判断されたタッチ及び位置の追跡からユーザジェスチャを判断する、
タッチセンサ式の表示デバイス。
[付記２]
前記タッチスクリーンは、フレーム構造上に搭載される、付記１の表示デバイス。
[付記３]
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネルを具備する付記２の表示デバイス。
[付記４]
前記フレーム構造に結合され、前記第２パネル上のユーザのタッチの位置を判断するよう構成された、少なくとも１つの圧力センサを更に具備する、付記３の表示デバイス。
[付記５]
前記第２パネルは、多数のマグネットにより前記第１パネルに取り外し可能に固定されている、付記３の表示デバイス。
[付記６]
前記赤外線の光源は、前記第１及び第２パネルの背面の前記フレーム構造に結合され、前記ディスプレイのユーザに対して前記第１及び前記第２パネルを通じて光を向けるように構成される、付記３の表示デバイス。
[付記７]
前記赤外線カメラは、前記第１及び第２パネルの背面の前記フレーム構造に結合される、付記３の表示デバイス。
[付記８]
前記赤外線の光源は、前記第２パネル上のタッチイベントに応答してターンオンするよう構成される、付記４の表示デバイス。
[付記９]
前面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
前記タッチスクリーンの前に置かれたユーザの指に光を当てるように構成された１つまたは複数の赤外線の光源と、
前記タッチスクリーンの背面に配置され、前記タッチスクリーンを通じてユーザの指の赤外線画像を捕捉するよう構成された赤外線カメラと、を具備し、
制御モジュールは、
ユーザが前記タッチスクリーンをタッチした時、ジェスチャ認証モジュールを活性化し、
タッチセンサ式の表示デバイスの前記タッチスクリーン上で作られたユーザジェスチャの１つまたは複数の画像を捕捉し、
ユーザが前記タッチスクリーンを離した時、前記ジェスチャ認証モジュールの動作を停止させ、
前記ディスプレイ上の対応する動作を実行するためにユーザジェスチャの画像を解析する、ように構成された、前記タッチセンサ式の表示デバイス上のユーザジェスチャを捕捉するためのシステム。
[付記１０]
前記タッチスクリーンは、フレーム構造上に搭載される、付記９のシステム。
[付記１１]
前記タッチスクリーンは、前記フレーム構造上に搭載され、情報を表示するよう構成された第１パネル、及び前記第１パネルに対して取り外し可能に固定され、前記第１パネルをカバーするように構成された第２パネル、を具備する、付記１０のシステム。
[付記１２]
前記制御モジュールは、前記ユーザジェスチャの前記画像に関連されたユーザコマンドに関するメモリに問い合わせするよう、更に構成された、付記９のシステム。
[付記１３]
前記制御モジュールは、プロセッサを介して前記ユーザコマンドを実行するよう、更に構成された、付記１２のシステム。
[付記１４]
前記ユーザジェスチャの前記画像に関連された前記ユーザコマンドに関する前記問い合わせは、識別されるジェスチャパターンに基づいている、付記１２のシステム。
[付記１５]
全面及び背面を有し、ユーザのタッチを検知可能なタッチスクリーンと、
ユーザが前記タッチスクリーンをタッチした時、赤外線の光源を供給する手段と、
タッチセンサ式の表示デバイスの前記タッチスクリーン上でなされたユーザジェスチャの１つまたは複数の画像を捕捉する手段と、
ユーザが前記タッチスクリーンを離した時、ユーザジェスチャの画像の捕捉を中断し、前記赤外線の光源の使用を停止する手段と、
前記ディスプレイ上の対応する動作を実行するためのユーザジェスチャの前記画像を解析する手段と、を具備する前記タッチセンサ式の表示デバイス。
[付記１６]
１つまたは複数の画像を捕捉する前記手段は、赤外線カメラを具備する、付記１５のデバイス。
[付記１７]
赤外線の光源を提供する前記手段は、前記タッチスクリーンを通じて光を光らせるように構成された、１つまたは複数の赤外線の光源を備える、付記１５のデバイス。
[付記１８]
タッチセンサ式の電子デバイス内にデータを入力するための方法であって、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
具備する、方法。
[付記１９]
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための、複数のジェスチャ認証テンプレートのそれぞれと比較する、付記１８の方法。
[付記２０]
信頼要因を、それぞれの候補のジェスチャに割り当てること、をさらに備える、付記１９に記載の方法。
[付記２１]
前記ジェスチャを解析することは、最も大きい前記信頼要因を有する少なくとも１つの候補のジェスチャから１つのジェスチャを選択することを備える、付記２０に記載の方法。
[付記２２]
プロセッサによって実行されると、タッチセンサ式の電子デバイス内にデータを入力する方法を実行する命令を具備する非一時的なコンピュータ可読記憶媒体であって、前記方法は、
前記タッチセンサ式のデバイス上のユーザタッチから圧力を検知することと、
ユーザタッチが検出されると、赤外線の光源を有効にすることと、
前記タッチセンサ式の表示デバイス上でなされたユーザジェスチャの１つまたは複数の画像を捕捉することと、
前記タッチセンサ式の電子デバイスの表示上の、対応する動作を実行するためのユーザジェスチャの前記画像を解析することと
を具備する非一時的なコンピュータ可読記憶媒体。
[付記２３]
ユーザジェスチャの前記画像を解析することは、前記画像を、少なくとも１つの候補のジェスチャを特定するための複数のジェスチャ認証テンプレートのそれぞれと比較する、付記２２のコンピュータ可読記憶媒体。
【国際調査報告】
2015536501.tif 000013
2015536501.tif 000014