(57)【要約】【課題】スクリーンビューを遮らない指のジェスチャ入力のための入力ゾーンを提供する経済的かつ審美的なタッチスクリーン装置を提供する。【解決手段】本発明は、電子装置のためのハウジング、ハウジングに取り付けられたディスプレイ、ディスプレイから分離されてハウジングの２つの対向面を貫通するキャビティ、ハウジングに取り付けられ、キャビティに挿入された物体を検出するように作動する検出器、及び検出器及びディスプレイに接続され、検出器からの出力に応じてディスプレイに視覚的表示をレンダリングさせるようになったプロセッサを備える、電子装置のための光学式指ジェスチャユーザインタフェースを提供する。【選択図】図２０
2014209362.tif 000002
【特許請求の範囲】
【請求項１】
電子装置のための光学式指ジェスチャユーザインタフェースであって、
電子装置のためのハウジングと、
前記ハウジングに取り付けられるディスプレイと、
前記ディスプレイから分離され、前記ハウジングの２つの対向面を貫通するキャビティと、
前記ハウジングに取り付けられ、前記キャビティに挿入された物体を検出するように作動する検出器と、
前記検出器からの出力に応じて視覚的表示を前記ディスプレイ上にレンダリングさせるために、前記検出器及び前記ディスプレイに接続されるプロセッサと、
を備える、ユーザインタフェース。
【請求項２】
前記ハウジングは、ヒンジ結合されて互いに折り畳むことができる、第１のセクション及び第２のセクションを備え、前記ディスプレイは、前記第１のセクションに取り付けられ、前記キャビティは、フレーム内の前記第２のセクションに配置され、前記フレームは、前記第１のセクション及び前記第２のセクションが折り畳まれた場合に前記第１のセクションの端部に沿ってぴったりと合うようになっている、請求項１に記載のユーザインタフェース。
【請求項３】
前記キャビティは、前記装置を持ち運ぶためのハンドル内に配置される、請求項１に記載のユーザインタフェース。
【請求項４】
前記キャビティは、前記電子装置を３つの側面で取り囲む格納式フレームを展開することで形成される、請求項１に記載のユーザインタフェース。
【請求項５】
前記プロセッサは、前記キャビティの内部に挿入された前記物体の５つの位置及び方向の属性、すなわち、
（ｉ）ｘ軸に沿った位置、
（ｉｉ）ｙ軸に沿った位置、
（ｉｉｉ）ｚ軸に沿った位置、
（ｉｖ）ｘｚ平面における極角、及び
（ｖ）ｙｚ平面における極角、
の少なくとも１つを決定する、請求項１に記載のユーザインタフェース。
【請求項６】
前記キャビティ内に挿入される前記物体は、２本の指から成り、前記プロセッサは、前記キャビティ内で実行される４つの多指ジェスチャ、すなわち、
（ｉ）ｘｙ平面における時計周りの回転、
（ｉｉ）ｘｙ平面における反時計周りの回転、
（ｉｉｉ）ｘｙ平面における指ピンチ、及び
（ｉｖ）ｘｙ平面における指スプレッド、
を更に識別する、請求項５に記載のユーザインタフェース。
【請求項７】
前記ディスプレイは、立体ビューポイントを含み、前記プロセッサは、前記立体ビューポイントに、前記キャビティに挿入された前記物体に応じて、３次元に回転される図形をレンダリングさせる、請求項１に記載のユーザインタフェース。
【請求項８】
電子装置のための光学式指ジェスチャユーザインタフェースであって、
電子装置のためのハウジングと、
前記ハウジングに取り付けられ、アプリケーションプログラムによって生成された出力をレンダリングするためのディスプレイと、
前記ディスプレイから分離され、前記ハウジングの２つの対向面を貫通するキャビティと、
前記ハウジングに取り付けられ、前記キャビティに挿入された物体を検出するように作動するセンサと、
前記アプリケーションプログラムを実行し、前記センサの出力を受信し、前記キャビティの内部に挿入された前記物体の５つの位置及び方向の属性、すなわち、
（ｉ）ｘ軸に沿った位置、
（ｉｉ）ｙ軸に沿った位置、
（ｉｉｉ）ｚ軸に沿った位置、
（ｉｖ）ｘｙ平面における極角、及び
（ｖ）ｙｚ平面における極角、
の少なくとも１つに基づいて、前記アプリケーションプログラムに入力を与えるために、前記ディスプレイ及び前記センサに接続された、前記ハウジング内のプロセッサと、
を備える、ユーザインタフェース。
【請求項９】
前記キャビティに挿入される前記物体は、１本又はそれ以上の指から成り、前記プロセッサは、前記センサを用いて、前記キャビティ内で実行された４つの多指ジェスチャ、すなわち、
（ｉ）ｘｙ平面における時計周りの回転、
（ｉｉ）ｘｙ平面における反時計周りの回転、
（ｉｉｉ）ｘｙ平面における指ピンチ、及び
（ｉｖ）ｘｙ平面における指スプレッド、
を更に識別する、請求項８に記載のユーザインタフェース。
【請求項１０】
前記プロセッサは、１本指ジェスチャに応じて、表示された画像のパン、表示された文書又はリストのスクロールのうちの１つを前記ディスプレイにレンダリングさせ、
前記プロセッサは、前記多指ジェスチャの１つに応じて、ファイルのオープン、表示された物体の回転、表示された画像のズームのうちの１つを前記ディスプレイにレンダリングさせる、請求項９に記載のユーザインタフェース。
【請求項１１】
前記プロセッサは、前記センサによる平行移動ジェスチャの検出に応じて、ウィジェット、文書、ウェブページブックマーク、アルバムアートワーク、又は写真のスナップショットの動画ナビゲーションを前記ディスプレイにレンダリングさせる、請求項８に記載のユーザインタフェース。
【請求項１２】
前記プロセッサは、前記センサによる多指ジェスチャの検出に応じて、ウィジェット、文書、ウェブページ、アルバム、又は写真のオープンを前記ディスプレイにレンダリングさせる、請求項１１に記載のユーザインタフェース。
【請求項１３】
前記プロセッサは、前記ディスプレイに、
前記センサによる前記平行移動ジェスチャの検出に応じた、前記スナップショットの高速ナビゲーションと、
前記センサによる多指ジェスチャの検出に応じた、前記スナップショットの低速ナビゲーションと、
をレンダリングさせる、請求項１１に記載のユーザインタフェース。
【請求項１４】
前記プロセッサは、前記ディスプレイに、
前記センサによる平行移動ジェスチャの検出に応じた、ウィジェット、文書、ウェブページブックマーク、アルバムアートワーク、又は写真のスナップショットの高速動画ナビゲーションと、
前記センサによる第１の多指ジェスチャの検出に応じた、前記スナップショットの低速動画ナビゲーションと、
前記センサによる第２の多指ジェスチャの検出に応じた、ウィジェット、文書、ウェブページ、アルバム、又は写真のオープニングと、
前記センサによる第３の多指ジェスチャの検出に応じた、オープンウィジェット、文書、ウェブページ、アルバム、又は写真のクロージングと、
をレンダリングさせる、請求項９に記載のユーザインタフェース。
【請求項１５】
前記物体は指から成り、前記アプリケーションプログラムは、文脈を定義し、前記プロセッサは、前記キャビティ内で実行される前記指のジェスチャの前記センサによる検出に応じて、前記文脈に基づく機能を起動する、請求項８に記載のユーザインタフェース。
【請求項１６】
前記ジェスチャは、前記キャビティの内部の指を鋭角に傾斜させることを含み、前記機能は、文脈に関連する選択肢のメニューを前記ディスプレイにレンダリングさせる、請求項１５に記載のユーザインタフェース。
【請求項１７】
前記物体は指から成り、前記プロセッサは、前記ディスプレイに１つ又はそれ以上のオブジェクトをレンダリングさせ、選択されたオブジェクトとして前記レンダリングされた物体の１つを識別し、前記センサによる前記キャビティ内の前記指のジェスチャの検出に応じて、前記選択されたオブジェクトを処理するよう前記アプリケーションプログラムに命令する、請求項８に記載のユーザインタフェース。
【請求項１８】
前記選択されたオブジェクトは、前記ディスプレイより大きな文書内の選択されたテキストであり、前記アプリケーションプログラムは、前記ディスプレイに、前記ディスプレイに対する該当位置に前記選択されたテキストを維持し、前記ディスプレイから選択されていないテキストを取り除き、前記文書からの表示されていないテキストを前記ディスプレイに移動するようにさせて、これによって、前記文書内の異なる位置に前記選択されたテキストを位置付ける、請求項１７に記載のユーザインタフェース。
【請求項１９】
前記アプリケーションプログラムは、前記センサによる前記キャビティ内の第２の指ジェスチャの検出に応じて、前記ディスプレイに、前記前記選択されたテキストを異なる位置に固定させる、請求項１７に記載のユーザインタフェース。
【請求項２０】
前記選択されたオブジェクトは、前記ディスプレイより大きなアイコンのレイアウト内の選択されたアイコンであり、前記アプリケーションプログラムは、前記ディスプレイに、前記ディスプレイ上の該当位置に前記選択されたアイコンを維持し、前記ディスプレイから選択されていない表示されたアイコンを取り除き、前記レイアウト内に表示されていないアイコンを前記ディスプレイに移動するようにさせて、これによって、前記レイアウト内の異なる位置に前記選択されたアイコンを位置付ける、請求項１７に記載のユーザインタフェース。
【請求項２１】
前記アプリケーションプログラムは、前記センサによる前記キャビティ内の第２の指ジェスチャの検出に応じて、前記ディスプレイに、前記選択されたアイコンを異なる位置に固定させる、請求項１７に記載のユーザインタフェース。
【請求項２２】
前記アプリケーションプログラムは、通信プログラムであり、前記選択されたオブジェクトは、コンタクトリスト内の選択されたリストエントリであり、前記アプリケーションプログラムは、
前記センサによる第１ジェスチャの検出に応じて、前記選択されたエントリへの電話呼出しを開始し、
前記センサによる第２ジェスチャの検出に応じて、前記選択されたエントリにアドレス指定されたＳＭＳダイアログを開く、
ようなっている、請求項１７に記載のユーザインタフェース。
【請求項２３】
前記アプリケーションプログラムは、所定の解像度のユニットに分割された時間間隔を提示するカレンダープログラムであり、前記選択されたオブジェクトは、選択された時間間隔であり、前記アプリケーションプログラムは、前記選択された時間間隔を中心に、前記ディスプレイに前記解像度を増加又は減少させて、それぞれ長い又は短い時間間隔を提示させるようになっている、請求項１７に記載のユーザインタフェース。
【請求項２４】
前記アプリケーションプログラムは、ファイルを提示するファイルマネージャであり、前記選択されたオブジェクトは、選択されたファイルであり、前記ジェスチャは、拡張可能であり、前記ファイルマネージャは、
前記センサによる最初のジェスチャの検出に応じて、前記選択されたファイルの属性を提示し、
前記センサによる前記最初のジェスチャの拡張の検出に応じて、前記選択されたファイルを開く、
ようになっている、請求項１７に記載のユーザインタフェース。
【請求項２５】
前記アプリケーションプログラムは、フォルダの複数のレベルを有するファイルシステム内のファイルを提示するファイルマネージャであり、前記選択されたオブジェクトは、選択されたファイルであり、前記ジェスチャは、拡張可能であり、前記ファイルマネージャは、
前記センサによる最初のジェスチャの検出に応じて、前記選択されたファイルの属性を提示し、
前記センサによる前記最初のジェスチャの拡張の検出に応じて、該当フォルダのアイコンとして前記選択されたファイルを表示し、
前記センサによる前記最初のジェスチャの別の拡張の検出に応じて、次のレベルのフォルダのアイコンとして該当フォルダを表示する、
ようになっている、請求項１７に記載のユーザインタフェース。
【請求項２６】
前記アプリケーションプログラムは、ソーシャルネットワークアプリケーションであり、前記選択されたオブジェクトは、前記ソーシャルネットワーク内の人であり、前記ジェスチャは、拡張可能であり、最初のジェスチャに応じて、前記アプリケーションプログラムは、
前記センサによる最初のジェスチャの検出に応じて、前記選択された人に関連する第１の複数の人を提示し、
前記センサによる前記最初のジェスチャの拡張の検出に応じて、前記第１の複数の人に関連する第２の複数の人を提示する、
ようになっている、請求項１７に記載のユーザインタフェース。
【請求項２７】
前記アプリケーションプログラムは、音楽ライブラリマネージャであり、前記選択されたオブジェクトは、前記音楽ライブラリ内の曲又はアーティストであり、前記ジェスチャは、拡張可能であり、前記音楽ライブラリマネージャは、
前記センサによる最初のジェスチャの検出に応じて、前記選択された曲又はアーティストに直接関連付けられる第１の複数の曲を提示し、
前記センサによる前記最初のジェスチャの拡張の検出に応じて、前記選択された曲又はアーティストに直接関連付けされないが、前記第１の複数の曲に関連付けされる第２の複数の曲を提示する、
ようになっている、請求項１７に記載のユーザインタフェース。
【請求項２８】
前記アプリケーションプログラムは、レストラン又はホテルの予約プログラムであり、前記選択されたオブジェクトは、選択されたレストラン又はホテルであり、前記ジェスチャは、拡張可能であり、前記予約プログラムは、
前記センサによる最初のジェスチャの検出に応じて、スタイル、費用、場所、又は他のパラメータの観点から、前記選択されたレストラン又はホテルにほぼ類似する複数のレストラン又はホテルを提示し、
前記センサによる前記最初のジェスチャの拡張の検出に応じて、前記第１の複数のレストラン又はホテルよりも前記選択されたレストラン又はホテルに類似しない、付加的なレストラン又はホテルを提示する、
ようになっている、請求項１７に記載のユーザインタフェース。
【請求項２９】
前記物体は、指から成り、前記プロセッサは、前記ディスプレイに画像をレンダリングさせ、選択された位置であるとして前記画像内の位置を識別し、前記センサにより前記キャビティ内の前記指のジェスチャの検出に応じて、前記選択された位置を処理するよう前記アプリケーションプログラムに命令する、請求項８に記載のユーザインタフェース。
【請求項３０】
前記ディスプレイは、前記プロセッサにタッチ情報を送信するタッチスクリーンを備え、前記プロセッサは、前記キャビティ内の指ジェスチャと同時に実行可能な、前記センサ及び前記タッチスクリーンに前記タッチスクリーン上の指ジェスチャの検出に応じて、特定の機能を起動するよう前記アプリケーションプログラムに命令する、請求項８に記載のユーザインタフェース。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の技術分野は、タッチ感知式スクリーンに関する。
【背景技術】
【０００２】
現在、多くの消費者電子装置は、指又はスタイラスタッチユーザ入力を使用するタッチ感知式スクリーンを組み込んでいる。これらの装置は、携帯電話及び自動車の娯楽システムのような小型スクリーン装置から、ノートブックコンピュータのような中型スクリーン装置、空港のチェックインステーションのような大型スクリーン装置まで様々である。
【０００３】
タッチ感知式スクリーンへのユーザ入力は、基本的なスクリーンタップからスイープジェスチャ、更に２本又はそれ以上の指からの協調した同時入力を含む複雑なピンチジェスチャへと進化してきた。タッチスクリーン入力の欠点の１つは、ユーザの手がユーザのスクリーンビューを遮ることである。これは、特に、２本の指がスクリーンの対角線にまたがる場合の２本指ピンチジェスチャの場合に特に当てはまる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，３３３，０９５号公報
【特許文献２】米国特許公開第２０１１／０１６９７８１号公報
【特許文献３】米国特許公開第２００９／０１８９８７８号公報
【特許文献４】米国特許公開第２０１１／０１６３９９８号公報
【特許文献５】米国特許公開第２０１１／００４３４８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、従来のタッチスクリーンは、指ジェスチャ入力には理想的ではないことを理解されたい。スクリーンビューを遮らない指のジェスチャ入力のための入力ゾーンを提供する経済的かつ審美的なタッチスクリーン装置を提供することが好都合である。
【課題を解決するための手段】
【０００６】
本発明の態様は、電子装置の空洞キャビティ又は凹型キャビティ内の指のジェスチャを検出及び識別する光学式ユーザインタフェースを提供する。指ジェスチャは、指のスライドのような１本指ジェスチャ、又は２本の指の回転、２本の指のピンチ、又は２本の指のスプレッドのような多指ジェスチャとすることができる。
【０００７】
本発明の更なる態様は、３次元タッチ認識及び３次元モデリングへの応用を有する、３次元キャビティ空間内に挿入された物体の位置及び方向を検出する光学式ユーザインタフェースを提供する。
【０００８】
従って、本発明の実施形態によれば、電子装置のためのハウジング、該ハウジングに取り付けられたディスプレイ、該ディスプレイから分離され、ハウジングの２つの対向面を貫通するキャビティ、キャビティに挿入された物体を検出するよう作動するハウジングに取り付けられた検出器、及び検出器からの出力に応答して視覚的表示をディスプレイにレンダリングさせるために、検出器及びディスプレイに接続されたプロセッサを含む、電子装置のための光学式指ジェスチャユーザインタフェースが提供される。
【０００９】
更に、本発明の実施形態によれば、電子装置のハウジング、アプリケーションプログラムによって生成された出力をレンダリングするためのハウジングに取り付けられたディスプレイ、ディスプレイから分離してハウジングの２つの対向面を貫通するキャビティ、キャビティに挿入された物体を検出するよう作動するハウジングに取り付けられたセンサ、及びアプリケーションプログラムを実行して、センサの出力を受信して、キャビティの内部に挿入された物体の５つの位置及び方向の属性の少なくとも１つ、すなわちｘ軸に沿う位置、ｙ軸に沿う位置、ｚ軸に沿う位置、ｘｙ平面における極角、ｙｚ平面における極角の少なくとも１つに基づいてアプリケーションプログラムに入力を提供するための、ハウジング内でディスプレイ及びセンサに接続されたプロセッサと、を含む電子装置のための光学式指ジェスチャユーザインタフェースが提供される。
【００１０】
本発明の実施形態によれば、携帯型ハウジング、ハウジングに取り付けられたディスプレイ、ディスプレイから分離してハウジングを貫通するキャビティ、ハウジングに取り付けられキャビティに光パルスを放射する複数の発光体、ハウジングに取り付けられ光パルスを検出する複数の受信器、及び受信器の出力に基づいてキャビティに挿入された物体の２次元の輪郭を決定するためにハウジングに取り付けられた計算ユニットを含む、３次元モデリングシステムが提供され、計算ユニットは、キャビティに挿入された物体が、キャビティに垂直な平面に沿って平行移動して、物体の連続するセクションの一連の２次元スキャンを生成するようになった時間間隔にわたって、このような一連の決定を実行し、計算ユニットは、この決定から物体の３次元モデルをアセンブリして、ディスプレイにモデルをレンダリングさせる。
【００１１】
本発明の実施形態によれば、光学式タッチスクリーンディスプレイ、及びキャビティでディスプレイから分離され、ハウジングの２つの対向面を貫通して、実行されたユーザジェスチャの光学式検出を提供するためのキャビティを含む、電子装置が更に提供される。光学式タッチスクリーンディスプレイ及び指ジェスチャのキャビティは、スクリーンに接触するか又はキャビティに挿入された物体をそれぞれに検出するよう作動する、ハウジングに取り付けられた複数の発光体及び受信器によって取り囲まれる。ハウジング内のコントローラは、スキャンシーケンスを実行するために発光体及び受信器セットに接続され、プロセッサは、それぞれの検出信号を受信してスクリーン上の１つ又はそれ以上のタッチ位置を決定し、キャビティの内部に挿入された物体のユーザジェスチャを決定するためにハウジングに設けられている。
【００１２】
本発明は、図面と関連する以下の詳細な説明から十分に理解され解釈されるであろう。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置、及びキャビティ内で平行移動（translation）ジェスチャを行う指を示す概略図である。
【図２】本発明の実施形態による、両方が光学式検出を使用する、タッチスクリーンディスプレイ及びディスプレイから分離した指ジェスチャユーザ入力用キャビティを有する装置を示す概略図である。
【図３】本発明の実施形態による、図２の装置の下部左側部分を示す拡大図である。
【図４】本発明の実施形態による、発光体及び受信器のスタック列を使用してユーザジェスチャ入力キャビティ内に降ろされた物体の光学式検出を示す略図である。
【図５】本発明の実施形態による、発光体及び受信器のスタック列を使用してユーザジェスチャ入力キャビティ内に降ろされた物体の光学式検出を示す略図である。
【図６】本発明の実施形態による、Ｙ軸の周りの回転検出を示す概略図である。
【図７】本発明の実施形態による、Ｙ軸の周りの回転検出を示す概略図である。
【図８】本発明の実施形態による、Ｙ軸の周りの回転検出を示す概略図である。
【図９】本発明の実施形態による、Ｘ軸の周りの回転検出を示す概略図である。
【図１０】本発明の実施形態による、Ｘ軸の周りの回転検出を示す概略図である。
【図１１】本発明の実施形態による、Ｘ軸の周りの回転検出を示す概略図である。
【図１２】ユーザがスクリーン上に２本の指を置き、中心点の周りで２本の指を回転させる、Ｚ軸の周りの回転ジェスチャを示す概略図である。
【図１３】本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置を示す概略図である。
【図１４】本発明の実施形態による、最初に挿入された物体を検出する、図１３の装置を示す概略図である。
【図１５】本発明の実施形態による、２つの挿入された物体を検出する、図１３の装置を示す概略図である。
【図１６】本発明の実施形態による２本の指のピンチジェスチャを検出する、指ジェスチャユーザ入力用キャビティを示す概略図である。
【図１７】本発明の実施形態による、２本の指のスプレッドジェスチャを検出する、指ジェスチャユーザ入力用キャビティを示す概略図である。
【図１８】本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置、及びキャビティに挿入された指を示す概略図である。
【図１９】本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置、及びキャビティから持ち上げられる指を示す概略図である。
【図２０】本発明の実施形態による、タッチスクリーンジェスチャ及び入力キャビティジェスチャを組み合わせたユーザ入力を示す概略図である。
【図２１】本発明の実施形態による、タッチスクリーンジェスチャ及び入力キャビティジェスチャを組み合わせたユーザ入力を示す概略図である。
【図２２】本発明の実施形態による、ヒンジ結合されたディスプレイ及びユーザ入力キャビティを有する装置を示す概略図であって、ディスプレイは直立状態にあり、キャビティによって支持さられている。
【図２３】本発明の実施形態による図２２の装置を示す概略図であり、キャビティは、ディスプレイ上に折り畳まれている。
【図２４】本発明の実施形態による図２２の装置を示す概略図であり、キャビティは、ディスプレイ上に折り畳まれている。
【図２５】本発明の実施形態による、装置のハウジングが折り畳まれた場合にタッチスクリーンに対する指の深さを検出する光学式ユーザインタフェースを備えた装置を示す概略図である。
【図２６】本発明の実施形態による、装置のハウジングが折り畳まれた場合にタッチスクリーンに対する指の深さを検出する光学式ユーザインタフェースを備えた装置を示す概略図である。
【図２７】本発明の実施形態による、キャビティがディスプレイに並んで配置される図２２の装置を示す略図である。
【図２８】本発明の実施形態による、キャビティが装置の背面に折り畳まれる図２２の装置を示す概略図である。
【図２９】本発明の実施形態による、キャビティが装置の背面に折り畳まれる図２２の装置を示す概略図である。
【図３０】本発明の実施形態による、装置を持ち運ぶためのハンドルとして形成された、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置を示す概略図である。
【図３１】本発明の実施形態による、開放時に光学式検出を使用する指ジェスチャユーザ入力用キャビティを形成する、格納式フレームを有する装置を示す概略図である。
【図３２】本発明の実施形態による、ヒンジの周りで回転する指ジェスチャユーザ入力用キャビティを有する装置を示す概略図である。
【図３３】本発明の実施形態による、ランチャ（launcher）ユーザインタフェースのレンダリング方法を示す概略フローチャートである。
【図３４】本発明の実施形態による、キャビティ平面に対して垂直の平行移動する物体の３Ｄモデルの光学式検出スキャニングを使用するキャビティを有する装置を示す概略図である。
【図３５】本発明の実施形態による、ディスプレイ上及び指ジェスチャユーザ入力用キャビティ上のスキャンシーケンスを実行する単一のコントローラを示す概略図である。
【図３６】本発明の実施形態による、光学式ユーザ入力キャビティ及びタッチスクリーンのコントローラに関するチップパッケージを示す例示的な回路図である。
【図３７】本発明の実施形態による、図３６のチップパッケージへ接続する、各行が４又は５個のフォト発光体を備える、６行のフォト発光体を示す例示的な回路図である。
【発明を実施するための形態】
【００１４】
本発明の態様は、電子装置へのユーザ入力に関し、詳細には、キャビティ内で行われるユーザ入力ジェスチャを検出するよう作動する、装置ディスプレイから分離した、装置ハウジングに設けられる空洞キャビティ又は凹型キャビティに関する。入力ジェスチャは、指のスライドのような１本指ジェスチャ、又は２本指の回転、２本指のピンチ、又は２本指のスプレッドのような多指ジェスチャとすることができる。本発明は、キャビティ内に挿入された物体の位置及び方向を検出する光学式ユーザインタフェースを更に備え、以下に説明されるように、３次元タッチ認識及び３次元モデリングへの用途がある。本発明は、光学式検出機器に関して説明するが、音響的方法のような他の検出方法も本発明の範囲内にある。
【００１５】
説明を容易にするために、本明細書全体を通して「発光体」という用語は、特に発光ダイオード（ＬＥＤ）を含む発光要素、及びディスプレイ表面全体に又はキャビティ内に光を導くレンズ、又は反射体に光を出力する光ファイバ、又は管状光導体の出力端を示すための一般的な用語として使用される。「受信器」という用語は、特にフォトダイオード（ＰＤ）を含む光検出要素、及びディスプレイ表面又はキャビティを横切る光ビームを受信し、これらを光検出要素又は画像センサに向ける光ファイバ又は管状光導体の入力端を示すための一般的な用語として使用され、画像センサは、特に電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）画像センサである。
【００１６】
本発明の実施形態によると、タッチスクリーンディスプレイを補って完全にするものとしてサブシステムが提供され、ユーザ対話の新しいタイプ、並びにマウス入力装置によって提供されるが指に基づくタッチスクリーンにはない多くの機能を提供する。物理的に、装置は、開放フレームの内部でアイテムを追跡可能とする、固定式又は折り畳み式の相補的な光学センサと組み合わせたタッチセンサを備えるディスプレイを含む。開放フレームは、固定式又は折り畳み式フレームとして装置に一体化することができる。
【００１７】
従来技術のディスプレイタッチセンサは、Ｘ、Ｙ、及びＺの２＋１入力次元を提供し、Ｚは、典型的には、タッチと非タッチとを区別するために単にバイナリ次元であるが、技術的には限定的な連続した次元感知が可能である。タッチスクリーン上でＺ次元を使用すると、Ｘ−Ｙ平面から離れた場所に指を置いた場合に不利益があり、目とディスプレイとの間の視差効果に起因して、ディスプレイ画像の大部分が視界から隠される。
【００１８】
本発明のユーザ入力キャビティと組み合わした場合、タッチスクリーンは、通常のユーザインタフェース（ＵＩ）の解決策と類似の方法でアイテム選択のために使用される。本発明のユーザ入力キャビティサブシステムは、タッチスクリーン上で選択されたアイテムとの文脈対話のためのユーザ入力の追加の次元を可能にする。１つのこのような対話は、一方の手によってタッチディスプレイ上で物体を選択し、次に、他方の手によってユーザ入力キャビティを介して外観を変化させる。この組み合せは、固有のユーザ入力経験を可能にしてユーザ対話をより効率的にする。これは、スクロールホイール機能、右ボタン又は中央ボタンクリック、並びに組み合わされた制御ボタン及びクリックを真似ることによって、マウス入力機能の復元を可能にする。
【００１９】
本発明の実施形態によると、ユーザジェスチャを検出するためのユーザ入力キャビティは、装置ディスプレイから分離した装置ハウジングに提供される。図１を参照すると、図１は、本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置と、キャビティ内で平行移動ジェスチャを行う指を示す概略図である。図１は、ディスプレイ６３５及びハウジング８２７に収容される空洞のユーザインタフェースキャビティ８５０を有する電子装置８２６を示す。キャビティ８５０は、ハウジング８２７の２つの対向面を貫通している。キャビティ８５０の内部の矢印によって示されるように、キャビティ８５０の長さに沿ってスライドする平行移動ジェスチャを行う指９００が示されている。
【００２０】
キャビティ８５０は、キャビティの周囲に沿って配置された、特に赤外線又は近赤外線発光ダイオード（ＬＥＤ）を含む１つ又はそれ以上の発光体と、特にフォトダイオード（ＰＤ）を含む複数の受信器とを含む。図２を参照すると、図２は、本発明の実施形態による、光学式検出を利用するディスプレイ６３５及びキャビティ８５０を備える装置８２６の概略図である。図２は、キャビティ８５０の周囲を取り囲む発光体及び受信器の２つのスタック列を示す。
【００２１】
図３を参照すると、図３は、本発明の実施形態による、装置８２６の下部左側部分の拡大図である。発光体２００及び受信器３００が位置する装置８２６の下部左コーナ部が、図３で拡大されている。発光体２００は、光をキャビティ８５０に発射し、この光は受信器３００によって検出される。キャビティに挿入された指又はスタイラスのような物体が光ビームの一部を遮り、これに応じて受信器３００の一部は光の強度を検出しない。受信器３００の位置の幾何学的形状、及び受信器が検出する光強度は、挿入された物体のキャビティ空間の座標の決定を満足させる。発光体２００及び受信器３００は、コントローラによる選択的な作動及び非作動に合わせて制御される。一般的に、各発光体２００及び受信器３００はＩ／Ｏコネクタを有し、どの発光体及び受信器を作動させたかを特定する信号が送信される。
【００２２】
ユーザ入力キャビティ検出器は、入力キャビティフレームによって境界付けされた平面に位置合わせされ、この平面の法線に沿って延びるユークリッド空間を決定する。機械的設計に応じて、この空間は、ディスプレイ平面及びその法線によって定められる空間に対して異なる方向に向けられる。ユーザ入力キャビティ空間の座標は、Ｘ、Ｙ、及びＺで示され、これらの軸の周りの回転角度は、それぞれα、β、及びγとして示される。２本指の距離のスカラー（グリップ）は、Ｓ座標と呼ばれる。これらの座標を以下に説明する。
【００２３】
表Ｉは、キャビティサブシステムによって提供される入力座標をまとめたものである。
表Ｉは、ディスプレイタッチサブシステムを含まない。
（表Ｉ）
2014209362.tif 000003
【００２４】
Ｘ及びＹ座標は、キャビティフレーム端部によって境界付けされる平面に沿う。これらの座標は、端部によって境界付けされる範囲を正しく覆う。Ｚ座標は、キャビティの端部によって境界付けされる平面の法線に沿って延び、物体がキャビティにどれ位深く挿入されたかを実際に測定する。Ｚ次元に沿った検出は、感知層の間の距離によって規定される小さな範囲内で正確である。精度範囲内の検出は、２つの感知層の信号レベルの差異に基づく。
【００２５】
図４及び５を参照すると、図４及び５は、本発明の実施形態による、発光体及び受信器のスタック列を使用したユーザジェスチャ入力キャビティ内に降ろされた物体の光学式検出の概略図である。白い受信器は、期待される光を検出し、黒い受信器は、挿入された物体によって遮られている。図４及び５は、Ｚ軸に対する深さをどのように決定するかを示している。図４は、指がキャビティの上部に挿入された場合の受信器の検出パターンを示している。図５は、指がキャビティを貫通して挿入された場合の受信器の検出パターンを示している。
【００２６】
α及びβ角は、それぞれＸ及びＹ軸の周りを回転して拡がる。精度は、各感知層の間の距離に関連し、一般的には、ＸＹ平面の法線に対する小さな角度を感知しない。回転の広がりは、センサによってではなく人体の生体構造によって制限される。ＸＹ平面に対する小さな角度を検出する場合には理論的なギャップが存在し、フレームの端部自体は±９０°以下に制限される。感知は、感知層の検出ポイント間の角度を計算することによって行われる。
【００２７】
図６−８を参照すると、図６−８は、本発明の実施形態によるＹ軸の周りの回転検出の概略図である。図６は、キャビティに挿入された指がＹ軸の周りで１つの方向に傾斜した場合の受信器の検出パターンを示している。図７は、キャビティに挿入された指が直立状態にある場合の受信器の検出パターンを示している。図８は、キャビティに挿入された指がＹ軸の周りで第２の方向に傾斜した場合の受信器の検出パターンを示している。図９−１１を参照すると、図９−１１は、本発明の実施形態による、Ｘ軸の周りの回転検出の概略図である。
【００２８】
このように、１本の指がキャビティに挿入される場合の５つのユーザ入力座標、すなわち、Ｘ、Ｙ、Ｚ、α、及びβが決定される。
【００２９】
２本の指がキャビティに挿入される場合、２つの追加の入力座標、すなわち、γ及びＳが決定されるので、全部で７つの入力座標がもたらされる、
【００３０】
Ｓ座標はスカラーであり、ユーザ入力キャビティに挿入された２本の指の間の距離によって定義される。Ｓ座標の精度は、全ての正値に対して高いが、１本の指からゼロ値を区別することは難しい。感知は、２本の指のＸ及びＹ座標の間の距離を計算することによって行われる。
【００３１】
γ次元は、Ｚ軸の周りを回転して拡がる。これは、２本指モードでのみ利用可能である。精度は、極めて小さなＳ値を除いて高い。拡がりは制限されておらず、すなわち、感知は、無限回転に対して行うことができる。感知は、２本の指の間のＸ及びＹデルタに基づく角度を計算することによって行われる。
【００３２】
図１２を参照すると、図１２は、Ｚ軸の周りの回転ジェスチャの概略図であり、ユーザは、スクリーンの上に２本の指を置いて中心点の周りで２本の指を回転させる。
【００３３】
キャビティサブシステムからの入力は、異なる座標の範囲及び精度に応じて利用されるのが好ましい。Ｘ、Ｙ、γ、及びＳの精度は、平行移動、回転、及びスクロールのような連続した物体操作に対して有利である。低精度座標は、メニューナビゲーションのような付加的な機能に対して有利である。ユーザの観点から、これは、容易に理解される。すなわち、（ｉ）スクロールするために１本の指をスイープする、（ｉｉ）ポップアップメニューを開くために挿入した指を傾ける、及び（ｉｉ）サイズ変更及び回転のような物体の操作のために２本の指を使用する。
【００３４】
入力のキャビティに挿入される指の数は、直感的なモード設定として機能する。例えば、１本の指は、メニューをスクロール及び選択することができ、２本の指は物体を操作することができる。
【００３５】
いくつかの実施形態では、低解像度座標α、β、及びＺは、「傾斜及び挿入（tilt-and-insert）」方式での一時的なコマンドを呼び出すためのクイック一本指ジェスチャと組み合わせて使用される。α、β、及びＺの全ての組合せを使用することは、ＵＩを複雑にする。従って、バランスの取れたシナリオは可能性を制限する。例えば、スクロールをイネーブルにするために直立した指を挿入する、及びマウス右クリックを真似るために、すなわち文脈感知メニューを開くために傾けた指を挿入する。
【００３６】
表ＩＩは、ユーザキャビティ入力座標、各座標に対する適切なジェスチャ、及びＵＩ機能の実施例をまとめたものである。
（表ＩＩ）
2014209362.tif 000004
【００３７】
本発明の実施形態では、複数の発光体が矩形キャビティの２つの隣接する側面に沿って配置され、複数の受信器が他の２つの隣接する側面に沿って配置される。図１３を参照すると、図１３は、本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置の概略図である。図１３は、ディスプレイ８００及びユーザジェスチャ入力キャビティ８５０を有する装置８２６を示す。キャビティ８５０は、発光体２００及び受信器３００によって取り囲まれている。発光体２００は、キャビティ８５０に赤外線又は近赤外線の光ビームを放出し、直接対向してそれぞれの発光体２００に対応する受信器３００によって検出される。物体がキャビティ８５０に挿入される場合、物体は、受信器３００の一部に光が届かないように遮ることになる。受信器出力から物体によって遮られた光ビームを識別することによって、物体の位置が決定される。発光体−受信器コントローラ７７６は、発光体２００及び受信器３００に接続され、これらの要素の作動を調整して受信器出力を格納する。コントローラ７７６に含まれるか又はコントローラ７７６と通信する計算ユニットは、受信器出力を読み取り、受信器出力から挿入された物体の存在及び位置を決定する。発光体２００及び受信器３００、及びディスプレイ６３５に接続されるプロセッサ７７０（図３に示されている）は、ディスプレイ６３５に受信器３００からの出力に応じて視覚的表示をレンダリングさせる。
【００３８】
ここで図１４を参照すると、図１４は、本発明の実施形態による最初に挿入された物体を検出する装置８２６の概略図である。図１４は、キャビティ８５０に挿入された指９００を検出する装置８２６を示している。指９００は、受信器２及び９としてマーク付けされた受信器３００の一部に光が届かないように遮っている。本発明の実施形態によると、指９００の位置は、指が遮っている赤外線ビームの交差する線から決定される。受信器は、左から右に１−９の番号が付与されている。しかしながら、遮られた受信器だけがマーク付けされている。
【００３９】
ここで図１５を参照すると、図１５は、本発明の実施形態による２つの挿入された物体を検出する装置８２６の概略図である。図１５は、キャビティ８５０に挿入された２本の指９００及び９０１を検出する装置８２６を示している。指９００は、受信器２及び９に光が届かないように遮り、指９０１は、受信器６に光が届かないように遮っている。本発明の実施形態によると、指９００及び９０１の位置は、指が遮っている赤外線ビームの交差する線から決定され、これによって遮られた受信器が、遮られていない受信器によって分けられる。これは２つの別々の挿入ポイントを示す。
【００４０】
ここで図１６を参照すると、図１６は、本発明の実施形態による２本の指のピンチジェスチャを検出する指ジェスチャユーザ入力用キャビティの概略図である。図１６は、２本の指のピンチジェスチャを検出する入力キャビティ８５０を示している。キャビティ８５０は、遮られた受信器の経時的な変化を示すために２つの図に示されている。図１６のピンチジェスチャは、上側の図に示されるように、遮られている受信器２及び６から始まる。指９００及び９０１が互いに近づくにつれて、受信器３及び５が下側の図に示されるように遮られる。従って、ピンチジェスチャの方向は、遮られる受信器３００の変化から決定される。ピンチジェスチャは、下側の図の下の２つの向かい合う矢印によって示される。
【００４１】
図１７を参照すると、図１７は、本発明の実施形態による２本の指のスプレッドジェスチャを検出する指ジェスチャユーザ入力用キャビティの概略図である。図１７は、２本の指のピンチジェスチャとは逆の２本の指のスプレッドジェスチャを示している。キャビティ８５０は、遮られた受信器の経時的な変化を示すために３つの図に示されている。図１７のスプレッドジェスチャは、上側の図に示されるように、遮られている受信器４及び５から始まる。指９００及び９０１が両側に広げられるにつれて、遮られた受信器間の距離が増加する。従って、受信器３及び５が中央の図で遮られており、受信器２及び６が下側の図で遮られている。従って、スプレッドジェスチャの方向は、遮られる受信器３００の変化から決定される。スプレッドジェスチャは、下側の図の下の２つの外向きの矢印によって示される。
【００４２】
現在、多くの装置では、タッチスクリーン上で行われるピンチジェスチャが、表示されたスクリーン画像のズームアウト機能をアクティブにし、タッチスクリーン上で行われるスプレッドジェスチャが、表示されたスクリーン画像におけるズームイン機能をアクティブにする。本発明は、スクリーン上の画像のユーザのビューを遮ることなくキャビティ８５０内でこれらのジェスチャの実行を可能にする。ピンチ及びスプレッドジェスチャがスクリーンの対角線に沿って実行された場合、ユーザの手がスクリーンの大部分を遮るのでユーザのビューを遮る問題は従来の装置で特に深刻である。特定の実施形態によると、キャビティ８５０に沿って第１の方向に１本の指を平行移動させることは、タッチスクリーン上の従来のピンチジェスチャに対応し、キャビティ８５０に沿って反対側の方向に１本の指を平行移動させることは、タッチスクリーン上の従来のスプレッドジェスチャに対応する。これは、ジェスチャを単純化し、本発明の装置への既存のアプリケーションソフトウエアの簡単な適用を可能にし、これによって、ユーザジェスチャ入力キャビティドライバは、ピンチ又はスプレッドジェスチャに等価のメッセージをホストプロセッサ又はアプリケーションソフトウエアに送信する。
【００４３】
指がキャビティに挿入される場合に、キャビティ８５０の狭い辺に沿った受信器が遮られることが図１３−１７から明らかである。これは、キャビティの狭い形状の結果である。従って、入力ジェスチャは一方の辺にだけ沿った検出器に基づいて互いに区別される。従って、狭いキャビティを使用する、又はそうでなければ１次元だけの検出を必要とするいくつかの実施形態では、発光体及び受信器は、狭い辺に沿うのではなくキャビティの長い辺に沿って設けられる。指が第２の辺に沿って挿入されることは重要ではないので、狭い辺に沿って挿入された指を検出する必要はなく、１つ又はそれ以上の指が長い辺に沿って挿入されていること及び指がその辺に対して行うジェスチャを知ることだけが重要である。
【００４４】
もしくは、このような場合、１つの発光体−検出器ペアがキャビティの狭い辺に設けられ、指が完全に挿入されたかどうか決定するために使用される。このことは、長い辺に沿って複数の発光体にパルスを放射するのに必要な電力に比べて電力を節約する。指の挿入が検出されると、長い辺に沿った発光体−検出器ペアだけが、ユーザジェスチャの実際の性質を決定するためにアクティブにされる。
【００４５】
図２及び３では、発光体２００は、キャビティ８５０の少なくとも１つの壁面に沿って層状に配置され、キャビティ８５０の空間に光パルスを放出する。光受信器３００は、キャビティ８５０の反対側の壁面に沿って同様の層状に配置され、キャビティ空間が空である場合に放出される光パルスを検出するが、物体９００がキャビティ８５０に挿入される場合は、放出された光パルスの一部分が受信器３００に届かないように遮る。このように、プロセッサ７７０は、キャビティ８５０の物体の存在、及び様々な層の受信器３００の出力に基づいて物体がキャビティ８５０に挿入される深さを検出することができる。指がキャビティ８５０に挿入される場合、指は、最初に上位層の受信器３００によって検出される。指がキャビティ８５０の内側に深く進んだ場合、指は、上位及び下位層の受信器３００によって検出される。第１の上位層検出と次の下位層検出の間の時間は、キャビティへの物体の下向きの速さを決定するために使用される。このことは、システムが、激しい又は速い挿入と遅い又は穏やかな挿入とを区別できるので、ユーザインタフェースの有用な特性である。このような情報は、例えば、アバターの動作に加えられる力の程度を変えることをサポートするゲーム環境で、又は筆運びの力がその濃さを変える場合の芸術的な絵筆のレンダリングの場合に有用である。キャビティから物体が取り除かれる速度は、異なる層の物体の除去を検出する間隔を決定することによって同様に計算される。
【００４６】
発光体及び受信器の複数のスタック層の別の利点は、キャビティを通る接近角及びキャビティ内部の物体の直立状態の角度を決定できることである。この情報の１つの用途は、様々な方向への指の挿入及び傾斜のユーザジェスチャを可能にすることである。例えば、文書をスクロールするために、ユーザは、指の根元を動かすことなく、指を挿入して傾けてスクロールするようになっている。傾斜角はスクロール速度を設定する。
【００４７】
発光体及び受信器の複数のスタック層の別の利点は、ある順序でマルチタッチの２つ又はそれよりも多くのタッチの検出を可能にすることである。２つの対角線上に向かい合ったタッチのような複数の同時タッチは、受信器の検出パターンが、対角線タッチの両方の場合に関してほぼ同じなので、すなわち、同時の左上タッチ及び右下タッチは、同時の右上多値及び左下タッチと同じ遮られた受信器のパターンを生成するので曖昧である。１つのタッチが２番目のタッチの直前に作動される場合、このことは、タッチパターンを明確にするために使用できる。例えば、最初に検出されたタッチが左下コーナ部であると明確に決定された場合、後続の２番目のタッチは右上コーナ部でなくてはならない。発光体及び受信器の複数のスタック層を備えるシステムでは、各層は、他方の指の前に一方の指の挿入を検出する機会をもたらし、これが検出される可能性が高くなる。
【００４８】
図１８を参照すると、図１８は、本発明の実施形態による、光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置と、キャビティに挿入された指の概略図である。図１８は、図１−３の光学式ユーザインタフェースを示しており、物体９００がキャビティ８５０内に降ろされている。
【００４９】
図１９を参照すると、図１９は、本発明の実施形態による光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置と、キャビティから持ち上げられた指の概略図である。図１９は、図１−３の光学式ユーザインタフェースを示し、物体９００がキャビティ８５０から持ち上げられている。
【００５０】
本発明の更なる特徴によると、装置は、ユーザジェスチャ入力キャビティ及びタッチ感知式ディスプレイの両方を含む。これによって、ユーザがスクリーン上でのジェスチャ及びキャビティ内でのジェスチャを行う、組み合せジェスチャを可能にする。これに関して、図２０及び２１を参照すると、図２０及び２１は、本発明の実施形態によるタッチスクリーンジェスチャと入力キャビティジェスチャを組み合わせたユーザ入力の概略図である。図２０及び２１は、タッチスクリーンディスプレイ６３５と共に使用される図１−３の光学式ユーザインタフェースを示している。図２０では、画像がスクリーン上に表示されている。ユーザは、画像のズームを望む。従来のシステムでは、ズーム機能は、画像の表示された部分の中心に自動的にズームインする。従来のシステムでは、画像の異なる部分にズームインするために、ユーザは、画像をパンする必要があり、これによって、画像が所望の位置の中心になり、次に、ズームジェスチャ、典型的にはピンチ又はスプレッドジェスチャを行う。図２０では、ユーザが所望のピクチャ要素にタッチしながら、ユーザジェスチャ入力キャビティでズームジェスチャを行うことで、ズーム中心を選択する。図２１に示される結果は、タッチ位置の周りにズーム画像が表示されている。ある場合には、ユーザは、タップすることによってスクリーン物体を選択する。後続のキャビティでのジェスチャに応じて実行されるサイズ変更動作は、ユーザがスクリーンにタッチしていない場合に実行される。サイズ変更動作は、選択された物体の中心にサイズ変更された画像を置く。他の場合には、ユーザは、ディスプレイ上の指をドラッグすることによって画像をパンしながら、入力キャビティ内でジェスチャを行うことで、画像のサイズ変更を行う。従って、サイズ変更及びパンは同時に起こり、ユーザは両方の動作を制御する。
【００５１】
図２２を参照すると、図２２は、本発明の実施形態によるヒンジ結合されたディスプレイ及びユーザ入力キャビティを有する装置の概略図であり、ディスプレイは直立状態でありキャビティによって支持されている。図２２は、ディスプレイにタッチしている左手の指９００を示しており、右手の２本の指９０２及び９０３がユーザキャビティに挿入されている。
【００５２】
また、図２３及び２４を参照すると、本発明の実施形態による図２２の装置の概略図であり、キャビティがディスプレイ上に折り畳まれている。図２２−２４は、ハウジングの１つのセクションのディスプレイ６３５、及びハウジングの別のセクションのキャビティ８５０を有する電子装置のための光学式ユーザインタフェースを示している。これらの２つのセクションは、各セクションを互いに折り畳めるようにするヒンジ８３５によって結合されている。ディスプレイ６３５は、第１のセクションに取り付けられており、キャビティ８５０は、第２のセクションに配置されている。キャビティ８５０の周りのフレームは、２つのセクションが折り畳まれた場合に第１のセクションの端部に沿ってぴったり合う。
【００５３】
一方の端部の近くの中心軸を用いてユーザ入力キャビティフレームとディスプレイユニットとを同じ平面上に位置合わせすることで、フレームはディスプレイに対して連続して回転させることができる。このことは、ユーザがフレームの開放限界による制約を受けないので、適応性をもたらし、ユニットを堅牢にする。ユーザ入力キャビティフレームをディスプレイユニットよりも僅かに厚くすることによって、フレームの感知層は、折り畳まれた場合にディスプレイユニットを取り囲む。ディスプレイユニットをユーザ入力キャビティフレームに固定するヒンジ８３５の２本の軸でコレクタレール（図示せず）を使用することによって、捻られるワイヤが存在せず、ユーザ入力キャビティフレームは、ヒンジ８３５の周りを連続して回転することができる。少なくとも２つのコレクタは給電のために使用される。制御及びタッチイベントデータは、電力信号に重畳されるか、又は固有のコレクタレールを有する。
【００５４】
図２５及び２６を参照すると、本発明の実施形態による、装置のハウジングが折り畳まれた場合にタッチスクリーンに対する指の深さを検出する光学式ユーザインタフェースを備えた装置の概略図である。装置ディスプレイは、タッチスクリーン８６０である。空洞フレーム８５０がタッチスクリーン８６０上に折り畳まれた場合、タッチ検出の複数の層、すなわち空洞フレームを取り囲む発光体及び受信器によってもたらされる上位層、及びタッチスクリーンによって提供される下位層がもたらされる。図２５では、空洞フレーム８５０は、発光体の層２０２及び２０３と受信器の層３０２及び３０３の２つのスタック層によって取り囲まれている。他の実施形態では、発光体及び受信器の１つの層だけがもたらされる。タッチスクリーン８６０は、発光体２０１及び受信器３０１の１つの層によって取り囲まれている。しかしながら、タッチスクリーン８６０に使用されるタッチ検出技術は、光学式の代わりに抵抗式又は容量式のような任意の技術とすることができる。空洞フレームがディスプレイ上に折り畳まれた場合、空洞フレームベゼルは、タッチスクリーンよりも僅かに高くなっており、ディスプレイ上の物体検出を可能にする。
【００５５】
折り畳まれたフレームを示す図２６は、３Ｄタッチスクリーン８６１を含む。図２６は、フレームがスクリーン上で折り畳まれた場合に、スクリーンが、ディスプレイ上の異なる高さで発光体２０１−２０３及び受信器３０１−３０３の３つのスタック層によって取り囲まれることを示している。
【００５６】
図２７を参照すると、これは、本発明の実施形態による、キャビティがディスプレイに並んで配置される図２２の装置の概略図である。図２８及び２９を参照すると、本発明の実施形態による、キャビティが装置の背面上に折り畳まれている図２２の装置の概略図である。図２７は、ヒンジ８３５によって結合されたタッチスクリーン８６０に並んで配置されるキャビティ８５０を備える、開放状態の装置を示している。図２８は、タッチスクリーン８６０の背面上へのキャビティ８５０の折り畳み状態を示している。
【００５７】
図２９は、折り畳まれたフレーム、装置の前側のタッチスクリーン８６０、及び装置のタッチ感知式の背面８６２を示している。図２９は、折り畳んだフレームを２つの図で示している。図２９の上側図では、タッチスクリーン８６０及び装置のタッチ感知式背面８６２を備えた装置が示されている。図２９の下側図では、右手の指９０２を装置のタッチ感知式背面に添えたまま左手の指９００でタッチスクリーンにタッチしている。
【００５８】
図２７は、ヒンジ８３５によって結合されたタッチスクリーン８６０に並んで配置されたキャビティ８５０を備える、開放状態の装置を示している。この折り畳まれていない動作モードでは、ユーザ入力キャビティは、ディスプレイユニットから分離しており、拡張されたディスプレイＸＹ平面に位置合わせされるか、又は所定の角度で位置合わせされる。ユーザ入力キャビティサブシステムは、前述の７つのユーザ座標をもたらす。最も好都合なユーザ入力キャビティフレームの角度は、ユーザが調整できる。典型的には、ユーザは、ディスプレイタッチを使用して物体を選択し、次に選択された物体を操作するためにユーザ入力キャビティを使用する。
【００５９】
ユーザ入力キャビティフレームをユーザに向けて又はユーザから離して折り畳むことは、使用事例に依存することができる。一部の使用事例は以下の通りである。
【００６０】
ユニットを空中で保持する場合、ユーザに対して約４５度だけ入力キャビティフレームを傾けるか、又はユーザから離れて９０度だけ入力キャビティを折り畳むことによって好都合になる。
【００６１】
ユニットをテーブルに常駐させる場合、ディスプレイはテーブル上にフラットに置くことができ、ユーザ入力キャビティフレームは９０度の角度で直立した状態に位置付けることができる。もしくは、テーブルに装置を常駐させる場合、ディスプレイ平面の連続性を成すためにユーザ入力キャビティフレームを完全に折り畳むことができる。もしくは、フレームは、図２２に示されるように直立ディスプレイの支持部として二つ折りすることである。
【００６２】
以前から、３Ｄ領域でＺ軸に沿って移動させることは、２Ｄ入力装置を使用する場合の問題点であった。マウスを使用する場合、スクロールホイール及び／又は右クリックに加えて、Ｙ軸の動きは、Ｚ次元での物体の操作の標準的な方法になっている。これらの方法のいずれも、タッチスクリーンを使用する時には利用できない。
【００６３】
ＹＺ平面に沿ってユーザ入力キャビティフレームを位置合わせする、例えば、水平方向のディスプレイ上の右側にフレームを直立状態に立てることによって、キャビティのＹ座標は、３Ｄ  ＵＩのための直感的Ｚ移動制御を表す。更に、キャビティ内のユーザジェスチャは、ディスプレイ上面の指のＺ移動が遮ることになるディスプレイのユーザビューを遮ることはない。
【００６４】
図３０を参照すると、本発明の実施形態による装置を持ち運ぶためのハンドルとして形成された光学式検出を使用する指ジェスチャユーザ入力用キャビティを有する装置８２６の概略図である。タッチ感知式キャビティ８５０はハンドルを形成し、装置は、ハンドル内の指のジェスチャを検出する。
【００６５】
図３１を参照すると、開放時に本発明の実施形態による光学式検出を使用する指ジェスチャユーザ入力用キャビティを形成する格納式フレームを有する装置の概略図である。図３１は、指のジェスチャを検出するタッチスクリーン８６０及びユーザインタフェースキャビティ８５０を示す。キャビティ８５０は、格納式の３つの側面を有するフレーム８６３を展開することによって形成される。矢印８６４は、フレーム８６３の展開−格納経路を示す。
【００６６】
図３２を参照すると、本発明の実施形態によるヒンジの周りで回転する指ジェスチャユーザ入力用キャビティを有する装置の概略図である。図３２は、指のジェスチャを検出するディスプレイ６３５及びユーザインタフェースキャビティ８５０を示す。キャビティ８５０は、回転式ヒンジ８３５によって装置に結合されたフレーム８６３によって形成される。
【００６７】
アンドロイドランチャアプリケーション
本発明の態様は、ＡＮＤＲＯＩＤ（登録商標）オペレーティングシステムにユーザインタフェースジェスチャキャビティを統合するためのアーキテクチャを含む。類似のアーキテクチャは、他のオペレーティングシステムのために使用される。アンドロイドランチャは、ユーザがアプリケーションを起動する初期ＵＩである。ランチャは、ユーザが「ホーム」ボタンを押した時に起動される。アンドロイドは、標準的なランチャを備え、多くのサードパーティランチャが存在する。多くの装置ベンダは、固有のランチャを提供する。本発明の態様は、本発明によって提供される特徴、すなわち、スクリーンから分離されたタッチ入力キャビティ、及び従来のタッチスクリーン装置によって提供されるバイナリタッチ／非タッチ情報を超えたスクリーンのＺ平面に関するタッチ情報をサポートするアンドロイドＵＩを含む。
【００６８】
一般的に、アンドロイドランチャは、複数のスクリーンに分割された作業領域を提供する。ユーザは、典型的には横方向のスイープジェスチャを行うことによって、すなわちスクリーンの幅を横切って指を滑らせることによって、異なるスクリーンに切り換える。作業領域の特定の範囲は、スクリーンが切り換わらないように固定されている。この固定範囲は、「ドック（dock）」と呼ばれることが多く、人気のあるアプリケーション、例えば、ダイアラ、プログラムドローワ、及びインターネットサーチを起動するためのアイコンを含む。作業領域は、典型的にはスクリーンスイッチに同期してスライドする全てのスクリーンによって共有される背景を有する。
【００６９】
各スクリーンは、コンテンツプロバイダのスクリーン上のリアルタイムビューであるウィジェット、ショートカット、フォルダ、及びライブフォルダを保持する。ライブフォルダは、ユーザにアプリケーションを起動させることなくソースからのデータを表示する。このように、ライブフォルダは、コンタクト、ブックマーク、電子メール、プレイリスト、及びＲＳＳフィードを表示するために使用することができる。スクリーンは、通常、グリッドレイアウトを有し、これによってアイコン及びウィジェットは、何らかの任意の位置に配置することはできない。いずれかのスクリーン上の項目でロングホールドを実行することでモードを切り換え、これによって項目を「ごみ箱」に移動又はドラッグすることができる。スクリーンの空の部分でロングホールドを実行することで、スクリーンに追加される新しい項目をユーザが選択するためのメニューを開く。
【００７０】
ランチャは、いずれかのスクリーンから開かれたアプリケーション「ドロワー」を提供し、全てのインストールされたアプリケーションのリストをラベル又はアイコンとして含む。典型的には、リストは、スクロール可能なリスト又はマルチページグリッドの形式である。アプリケーションドロワー内のアプリケーションラベル又はアイコン上のロングホールドの実行は、アプリケーションをいずれのスクリーンにも配置することができるモードに切り換える。
【００７１】
要約すると、ランチャは、ウィジェット、ライブフォルダ、及びアプリケーション起動を処理できる必要があり、ユーザフォルダ、ショートカット、及び壁紙を処理できる必要がある。
【００７２】
大部分のランチャの作業領域は、ショートカット、ウィジェット、フォルダ、及びライブフォルダを含むスクリーンに分割される。本発明のランチャの実施形態における作業領域は、概念的に３Ｄ領域で構成され、作業領域スクリーンは、項目の論理的グルーピングを提供する様々なオブジェクト、表面、又は仮想ルームに分配される。ランチャＵＩは、２Ｄ又は３Ｄでモデル化することができるシーングラフとして示される。
【００７３】
本発明の実施形態では、ランチャは、３Ｄ領域のための背景画像として壁紙を含むが、３Ｄ背景及び２Ｄ壁紙に適した画像タイプの間には違いがある。多くの場合、３Ｄ背景の外観は、設計処理において別のエントリとして処理されたデスクトップ壁紙とは完全に異なる。
【００７４】
本発明の実施形態では、ユーザインタフェースジェスチャキャビティが、スクリーンにマップされた入力の付加的な層を提供するためにディスプレイスクリーンの周りを回転又はスライドした場合、アンドロイドデスクトップＵＩは、２つの異なるモード；すなわち閉モードと開モードをサポートする。閉モードでは、ユーザインタフェースジェスチャキャビティは、ディスプレイスクリーンを取り囲み、スクリーンにマップされる入力の付加的な層を提供する。開モードでは、キャビティは、スクリーンから分離されている。開モードでは、装置が、２つの別々のサブシステム、すなわちスクリーンから及びキャビティからの多次元入力を受信する。閉モードでは、１つだけの入力、すなわちスクリーン上でユーザが行うタッチだけが存在する。これらのタッチは、スクリーンとキャビティの両方によって検出される。
【００７５】
アプリケーションアーキテクチャ
ユーザインタフェース（ＵＩ）表示のための様々なアーキテクチャは、類似の概念、すなわち、「ビュー」と呼ばれるスクリーン上に図形でレンダリングされる「モデル」と呼ばれることが多いＵＩの現在の構造を表わすデータオブジェクトのグラフに基づく。データオブジェクトグラフのノードは、テキスト、画像、ボタン、及びチェックボックスのような静的及び対話型ＵＩ物体を表わす。同じデータオブジェクトグラフの様々な図形表示（graphical representations）が同時に存在できる。
【００７６】
ＵＩモデルに対する様々な手段が使用される。ウェブブラウザのため及び多くのワードプロセッサのために、ＵＩの構造は、ドキュメント・オブジェクト・モデル（ＤＯＭ）であり、ＡＮＤＲＯＩＤ（商標）のために構造は「ビューツリー」であり、ＦＬＡＳＨ（登録商標）のために構造は「シーン」である。ハードウエアプラットフォーム、オペレーティングシステム、ランタイム環境、及びプログラミング言語に関わらず、元になる概念は同じである。多くのプラットフォームベンダーは、使用されるＵＩモデルに対する基本設定を課する。ＡＮＤＲＯＩＤ（商標）環境では、プログラマは、ＵＩモデルを記述するために、「アプリケーション資源」と呼ばれるＸＭＬファイルのセットを使用し、ＤＡＬＶＩＫ（登録商標）ランタイムエンジンのためのバイトコードにコンパイルされるＪＡＶＡ（登録商標）プログラミング言語を使用することが推奨される。しかしながら、開発者は、ネイティブ開発キット（ＮＤＫ）を介したプログラミング言語のためのネイティブＣコードを使用する、及びＡＮＤＲＯＩＤ（商標）のためのスクリプティングレイヤＳＬＡ４を介したスクリプティング言語を使用する機能をもたらすことを要求する。
【００７７】
本発明の態様は、何らかのプラットフォーム、モデル、プログラミング環境、及びランタイム環境にも利用できる。本発明の実施形態によると、ＵＩデータオブジェクトグラフは、ユーザ入力キャビティによって生成されたユーザイベントに基づいてランタイムで処理される。
【００７８】
ＵＩを表わすデータオブジェクトグラフは、一般的にテキスト表示から膨らませる。特に、ウェブブラウザに対して、膨らませた形式をＨＴＭＬ文書とすることができ、ワードブラウザに対して、膨らませた形式をＯＯＸＭＬ文書とすることができ、ＳＩＬＶＥＲＬＩＧＨＴ（登録商標）に対して、膨らませた形式をＸＡＭＬ文書とすることができる。文書から膨らませることに加えて、データオブジェクトグラフは、ユーザがＵＩと対話するためにキーボード又はポインタを使用した場合のイベントなどに応じて、ウェブブラウザ、文書エディタ、及びデスクトップのような実行アプリケーションにおけるイベントに応じて操作することができる。
【００７９】
本発明の態様は、ＵＩモデルを操作することに関する。ユーザインタフェースキャビティは、タッチスクリーン、マウス、及びキーボードのような他の入力装置に類似の処理チェーンを介してＵＩと対話する。すなわち、低レベルの装置ドライバは、ユーザ入力キャビティから生のイベントを取り込み、オペレーティングシステムを介して実行アプリケーションにディスパッチし、実行アプリケーションがこれらを解釈し適切な修正をＵＩモデルに加える。
【００８０】
本発明の実施形態によると、ＵＩモデルとのユーザ対話は、特に、以下の動作を含む。
移動−移動に応じて、現在のビューの範囲、すなわちＵＩモデルの目に見える部分が変更される；例えば、文書におけるスクローリング、及びＡＮＤＲＯＩＤ（商標）ランチャにおける異なるデスクトップスクリーンの切り換え。
選択−選択に応じて、特定の物体又は物体のグループが更なる動作に対して選択される；例えば、ファイルアイコンの選択、及びテキストエディタにおけるワードのグループの選択。
編集−編集に応じて、以前に選択された物体又は物体のグループが変更される；例えば、ドローイングプログラムにおける選択された画像の回転、及びワードプロセッサにおいて選択されたテキストを太字にする。
移動−移動に応じて、以前に選択された物体または物体のグループがＵＩモデル内の新しい位置に移動される、又は別のプログラムのための別のモデルに転送される、又は別の装置の別のモデルに転送される；例えば、文書内の物体のドラッグ及びドロップ、及び選択されたファイルを新しいフォルダに移動する。
【００８１】
ユーザ入力キャビティは、特に、修正子キー（ＣＴＲＬ、ＡＬＴ）、付加的なマウスボタン、及びスクロールホイールを含む、タッチに基づくインタフェースに利用できない入力方法によって通常作動される従来のＰＣ環境で使用される入力イベントを再現する。中間装置ドライバレイヤは、目標アプリケーションによく知られているイベントにユーザ入力キャビティイベントを翻訳することができるので、このようなイベントをサポートするために目標アプリケーションのプログラムコードを修正する必要はない。実施例は、特に、ズーム、カット及びペースト、文脈メニューのスクロール及びオープンを含む。このように、サードパーティアプリケーションは、修正なしに本発明のユーザ入力キャビティを組み入れることができる。
【００８２】
更に、本発明のユーザ入力キャビティは、以下に説明されるように、特に、物体の３次元操作を含むユーザ入力イベントの多種多様な新しいタイプを発生する。このようなイベントをサポートするために、特定のアプリケーションコードが必要であり、すなわち、既存のアプリケーションは修正を必要とする。アプリケーションコードのイベントハンドラは、ユーザ入力キャビティと並行した標準的な入力装置からのイベントをリッスンし、新しい特徴に対応するパターンに従ってＵＩモデルを操作する。
【００８３】
様々な選択肢は、本発明のユーザ入力キャビティによって提供される新しい入力パターンを使用する新しいアプリケーションを書くために利用できる。全てのＪＡＶＡ（登録商標）モデルでは、フルアプリケーションが、ＪＡＶＡ（登録商標）プログラミング言語で書かれ、ＤＡＬＶＩＫ（登録商標）フレームワークにコンパイルされる。これは、ＡＮＤＲＯＩＤ（商標）アプリケーションを生成する従来の方法であるが、２つの大きな欠点をもたらし、性能及び融通性を損なう。
【００８４】
代替えのモデルはＪＡＶＡ（登録商標）とＣを組み合わせる。このモデルでは、プログラム論理がＪＡＶＡ（登録商標）で書かれ、タイムクリティカル部分がＣで書かれ、ＪＡＶＡ（登録商標）ネイティブインタフェース（ＪＮＩ）を介してＪＡＶＡ（登録商標）レイヤにさらされる。これは、性能の向上を可能にし、ＪＡＶＡ（登録商標）レイヤからＣレイヤにオンデマンドでコードをポートできる場合に、プロジェクトを開始するための適正な方法である。
【００８５】
更に別の代替えのモデルは、ＪＡＶＡ（登録商標）、スクリプティング、及びＣを組み合わせる。このモデルでも、プログラム論理がＪＡＶＡ（登録商標）で書かれ、タイムクリティカル部分がＣで書かれるが、アプリケーションの動的部分は、ＰＹＴＨＯＮ（登録商標）、Ｒｕｂｙ又はＪＡＶＡＳＣＲＩＰＴ（登録商標）のようなＪＡＶＡ（登録商標）レイヤによってホストされるスクリプト言語で書かれ、ランタイムで解釈される。これは、アプリケーションを再コンパイルし再インストールすることなく小さな変更を行うことができる場合に、開発中の融通性を向上させる。
【００８６】
異なるモデルはスクリプティング及びＣのみを使用する。これは、アプリケーションがＪＡＶＡ（商標）レイヤを備えていないネイティブアプリケーションとして出現する場合の方式であり、動的部分は、遠隔手順呼出し（ＲＰＣ）を介してアプリケーションと通信するスクリプティングレイヤによって処理される。これは、ゲームに共通して使用される複雑であるが非常に融通性のあるモデルである。
【００８７】
ランチャＵＩは、２Ｄ又は３Ｄでモデル化されたシーングラフとして示される。ＡＮＤＲＯＩＤ（商標）リソースファイルとしてのＵＩ宛先のシステムへの接続はなく、すべてが単一のビューに含まれる。図３３を参照すると、図３３は、本発明の実施形態による、ランチャユーザインタフェースがどのようにレンダリングされるかを示す流れ図の概略図である。図３３は、フルランチャＵＩシーンをレンダリングするためにレンダラを使用する唯一のＧＬＳｕｒｆａｃｅＶｉｅｗ内でランチャＵＩがどのように処理されるかを示す。
【００８８】
応用例
本発明の指ジェスチャユーザインタフェースは、多くの異なる応用例において広範囲に有利である。特に、これらの応用例の幾つかを以下に説明する。
【００８９】
本発明の実施形態によると、キャビティに挿入される物体は２本の指であり、ユーザインタフェースは、該キャビティ内で行われる４つの多指ジェスチャ、すなわち（ｉ）時計回りの回転、（ｉｉ）反時計周りの回転、（ｉｉｉ）指ピンチ、及び（ｉｖ）指スプレッドを区別する。
【００９０】
本発明の実施形態によると、ディスプレイは、キャビティに挿入される物体に応じて３次元で回転する図形をレンダリングする立体ビューポイントである。
【００９１】
本発明の実施形態によると、ディスプレイは、１本指ジェスチャに応じて画像をパンするか、又は文書若しくはリストをスクロールし、２本指ジェスチャに応じて画像をズームするか又は物体を回転するか又はファイルを開く。
【００９２】
本発明の実施形態によると、ディスプレイは、平行移動ジェスチャに応じて、ウィジェット、文書、ウェブページブックマーク、アルバムアートワーク、又は写真のスナップショットの動画ナビゲーションをレンダリングし、及び２本指ジェスチャに応じて、ウィジェット、文書、ウェブページ、又は写真のオープニングをレンダリングする。
【００９３】
本発明の実施形態によると、ディスプレイは、平行移動ジェスチャに応じて、ウィジェット、文書、ウェブページブックマーク、アルバムアートワーク又は写真のスナップショットの高速動画をレンダリングし、第１の２本指ジェスチャに応じて、これらの低速動画をレンダリングし、第２の２本指ジェスチャに応じて、ウィジェット、文書、ウェブページ、アルバム又は写真のオープンをレンダリングし、第３の２本指ジェスチャに応じてこれらのクロージングをレンダリングする。
【００９４】
本発明の実施形態によると、カット及びペーストルーチンが提供される。このルーチンでは、ユーザは、一方の手でディスプレイ上のテキスト又は物体に触れることによってテキスト又は物体を選択する。次に、他方の手の親指及び人差し指をユーザ入力キャビティフレームに挿入して、ピンチジェスチャで一緒に移動させてフレームから取り除く。これは、テキスト又は物体を比喩的につかむカット動作である。カットする物体の目標位置は、一方の手でディスプレイに触れ、次に他方の手の親指及び人差し指を一緒にユーザ入力フレームに挿入し、次にスプレッドジェスチャで親指と人差し指を離すことによってマーク付けされ、これは、先に掴んだテキスト又は物体をその新しい位置にドロップすることを比喩的に表す。
【００９５】
本発明の実施形態によると、アプリケーションプログラムは、文脈を定義し、文脈に関係付けられる機能が、指のジェスチャに応じて起動される。例えば、ディスプレイは、キャビティの内部で鋭角に指を傾けることに応じて、文脈に関連する選択肢のメニューをレンダリングする。
【００９６】
本発明の実施形態によると、ディスプレイは、指のジェスチャに応じて、画像をレンダリングし、画像内の選択された位置を識別し、更に選択された位置を処理する。
【００９７】
本発明の実施形態によると、ディスプレイはタッチスクリーンディスプレイであり、ユーザインタフェースは、タッチスクリーン上の指ジェスチャ及びキャビティ内の指ジェスチャを検出する。ディスプレイは、タッチスクリーン上の指ジェスチャに応じて画像をパンし、キャビティ内の指ジェスチャに応じて画像をサイズ変更する。タッチスクリーン上の指ジェスチャは、特に、指の平行移動であり、キャビティ内の指ジェスチャは、特に、指ピンチ又は指の平行移動である。
【００９８】
本発明の実施形態によると、１つ又はそれ以上のオブジェクトがレンダリングされ、その１つは、選択されたオブジェクトとして識別され、アプリケーションプログラムは、ユーザ入力キャビティ内で実行される指ジェスチャに応じて、選択されたオブジェクトを処理する。第１の実施例に関して、選択されたオブジェクトは、文書内の選択されたテキストであり、アプリケーションプログラムは、キャビティ内の指ジェスチャに応じて、選択されたテキストを文書内のその位置に維持し、選択されていないテキストを移動させ、これによって選択されたテキストを文書内の異なる位置に位置付ける。更に、選択されたテキストは、キャビティ内の第２の指ジェスチャに応じて異なる位置に固定される。
【００９９】
第２の実施例では、選択されるオブジェクトはアイコンであり、アプリケーションプログラムは、キャビティ内の指ジェスチャに応じて、選択されたアイコンをディスプレイ上のその位置に維持し、選択されていないアイコンを移動させ、これによって選択されたアイコンをＵＩの異なる位置に位置付ける。例えば、キャビティ内のユーザジェスチャ、特に平行移動ジェスチャに応じて、現在のアンドロイドスクリーンにおける全ての選択されていないアイコンは、ディスプレイから図形的に一掃され、異なるスクリーンからのアイコンが、ディスプレイに図形的に持って来られる。これは、選択されたアイコンを異なるアンドロイドスクリーンに位置付ける。更に、アイコンテキストは、キャビティからユーザの指を取り除く第２の指ジェスチャに応じて異なる位置に固定される。
【０１００】
第３の実施例では、選択されるオブジェクトはコンタクトリスト内のエントリであり、アプリケーションプログラムは、キャビティ内の第１の指ジェスチャに応じて選択されたエントリへの電話呼出しを開始し、キャビティ内の第２の指ジェスチャに応じて選択されたエントリにアドレス指定されたＳＭＳダイアログボックスを開く。
【０１０１】
第４の実施例では、選択されるオブジェクトはカレンダーの中の選択された時間間隔であり、アプリケーションプログラムは、選択された時間間隔を中心に、それぞれ長い又は短い時間間隔を提示するために、カレンダーに解像度を増加又は減少させる。
【０１０２】
第５の実施例では、選択されるオブジェクトはファイルであり、アプリケーションはファイルマネージャである。ファイルマネージャは、選択されたファイルの特性をキャビティ内の最初の指ジェスチャに応じて提示し、最初のジェスチャの拡張に応じて選択されたファイルを開く。更に、ファイルシステムはフォルダの複数のレベルを有し、ファイルマネージャは、キャビティ内の最初のジェスチャに応じて選択されたファイルの特性を提示し、最初のジェスチャの拡張に応じてそのフォルダのアイコンとして選択されたファイルを表示し、最初のジェスチャの更なる拡張に応じてその次のレベルフォルダにおけるアイコンとしてフォルダを表示する。
【０１０３】
第６の実施例では、選択されるオブジェクトはソーシャルネットワーク内の人であり、アプリケーションプログラムは、ソーシャルネットワークアプリケーションである。アプリケーションは、キャビティ内の最初のジェスチャに応じて、選択された人に関連した第１の複数の人をレンダリングし、最初のジェスチャの拡張に応じて第１の複数の人に関連した第２の複数の人をレンダリングする。
【０１０４】
第７の実施例では、選択されるオブジェクトは音楽ライブラリの中の曲又はアーティストであり、アプリケーションプログラムは、音楽ライブラリマネージャである。音楽ライブラリマネージャは、キャビティ内の最初の指ジェスチャに応じて、選択された曲又はアーティストに関係付けられる第１の複数の曲をレンダリングし、最初のジェスチャの拡張に応じて第１の複数の曲に関連した第２の複数の曲をレンダリングする。
【０１０５】
第８の実施例では、選択されるオブジェクトは、レストラン又はホテルであり、アプリケーションプログラムは、レストラン又はホテルのための予約プログラムである。予約プログラムは、キャビティ内の最初のジェスチャに応じて、スタイル、費用、場所、又は他のパラメータに関して選択されたレストラン又はホテルに類似した複数のレストラン又はホテルを表示し、最初のジェスチャの拡張に応じて付加的な類似のレストラン又はホテルをレンダリングする。
【０１０６】
図３４を参照すると、図３４は、本発明の実施形態による３次元モデリング入力システムの概略図である。フレーム８６３内のキャビティは、コーヒーマグのような固体物体に対して降ろされた状態で示されている。これは下向きの矢印によって示される。降ろされた際にフレームによって実行される一連の検出は、固体物体の３Ｄモデルを提供するために物体の２Ｄスライスとして組み合わされる。
【０１０７】
代替えの実施形態は、キャビティの辺に沿って配置される細長い光導体の一端に発光体又は受信器を結合することによって、システム内の構成要素の数を低減する。このような光導体は、Ｌｉｅｂｅｒｍａｎ他の米国特許第７，３３３，０９５号「光学タッチパネルのための照明」に記載されている。
【０１０８】
ユーザジェスチャキャビティ構成要素の較正
物体検出のための発光体及び検出器の較正は、本出願人による同時係属中の２０１１年３月２２日出願の米国出願番号第１３／０５３，２２９号「タッチスクリーン較正及び更新方法」（２０１１年７月１４日に米国特許公開第２０１１／０１６９７８１号として公開されている）に記載されている。
【０１０９】
光学式タッチスクリーンのためのＡＳＩＣコントローラ
本発明の態様は、単一の装置におけるユーザジェスチャ入力キャビティ及び光学式タッチスクリーンの両方を制御するためのプログラム可能ステートマシンの設計及び使用に関する。コントローラは、タッチスクリーン及びユーザジェスチャ入力キャビティの両方における一連の発光体及び検出器におけるスキャニングプログラムを実行する。スキャニングプログラムは、スキャンシーケンス、電流レベル、及びパルス幅を決定する。スキャンシーケンスレジスタを構成することによって、ホストプロセッサは、どのＬＥＤ−ＰＤペアを起動するか決定する。従って、コントローラは、スクリーンを取り囲むＬＥＤ−ＰＤペア、ユーザ入力ジェスチャキャビティのＬＥＤ−ＰＤペア、又は両方に対する起動を設定する。ホストプロセッサは、各ＬＥＤ及び各ＰＤを、スクリーン又はキャビティのいずれかに関連付け、結果を適宜に処理する。例えば、スクリーン上のタッチは、入力キャビティ内のユーザジェスチャより高い精度を必要とする。従って、スクリーン上の検出結果は、時間的及び空間的の両方でフィルタ処理されるが、入力キャビティ内の検出結果はフィルタ処理されない、もしくは、空間的にのみ、任意選択的にフィルタ係数の異なるセットを使用してフィルタ処理される。更に、スキャンシーケンス構成レジスタは、オーバサンプル起動シーケンスの構成、特に各発光体が２つの検出器を起動させる、及び各発光体が唯一の検出器を起動させる１対１シーケンスを可能にする。典型的には、ユーザ入力キャビティの周りの発光体及び検出器は、互いに対向配置される。本発明のいくつかの実施形態では、スキャン構成レジスタの少なくとも２つのセットは、２つの異なるスキャンパターン構成を可能にするように設けられる、すなわち、コントローラの単一スキャン動作で実行される、スクリーンの周りの発光体及び受信器に関する１つのセット、及びユーザ入力キャビティを取り囲む発光体及び検出器に関する１つのセットである。他の実施形態では、スクリーンに対するスキャンシーケンスが構成され、ユーザ入力キャビティに対するスキャンシーケンスとは別に実行される。
【０１１０】
コントローラは、ＬＥＤ電流制御のための一体型ＬＥＤドライバ、フォト検出器電流測定のための一体型受信器ドライバ、及び一体型Ａ／Ｄコンバータを含み、シリアル周辺インタフェース（ＳＰＩ）のような標準的なバスインタフェースを使用してコントローラとホストプロセッサとの間の通信が可能になっている。
【０１１１】
本発明によると、プログラムは、例えばＳＰＩを通じてコントローラにロードされる。その後、スキャニング実行は、ホストプロセッサから独立して実行され、全体的なシステム電力消費を最適化する。スキャンデータの準備ができると、コントローラは、ＩＮＴピンを介してホストプロセッサに割り込み信号を送出する。
【０１１２】
図３５を参照すると、図３５は、本発明の実施形態による、光学式タッチスクリーン８６０及びユーザ入力キャビティ８５０のためのＡＳＩＣコントローラ７７６の概略図である。コントローラ７７６は、タッチスクリーン８６０及びキャビティ８５０を取り囲む発光体２００及び受信器３００を起動する。
【０１１３】
図３６を参照すると、図３６は、本発明の実施形態による、光学式タッチスクリーン及びユーザ入力キャビティのコントローラのためのチップパッケージ７３１０の回路図である。図３６に示すように、チップパッケージ７３１は、チップパッケージの外側にある複数のフォト発光体２００を選択的に起動するための発光体ドライバ回路７４０、及びフォト発光体２００を発光体ドライバ回路７４０に接続するための信号伝導ピン７３２を含む。発光体ドライバ回路７４０は、本出願人の同時係属中の２００９年２月１５日出願の米国特許出願番号１２／３７１，６０９号「光学式タッチスクリーン」に記載されており、その内容は引用により本明細書に組み込まれている。特に、２００９年７月３０日公開の米国特許公開第２００９／０１８９８７８号の段落［００７３］、［００８７］−［００９１］及び図１１を参照されたい。
【０１１４】
発光体ドライバ回路７４０は、プログラム可能電流源を介して各発光体−検出器ペアのための個々のフォト発光体パルス持続時間及びパルス電流を設定するための回路７４２を含む。回路７４２は、本出願人の同時係属中の２０１１年３月２１日出願の特許出願番号１３／０５２，５１１号「シフトアラインド発光体及び受信器レンズを備えた光学式タッチスクリーン」に記載されており、その開示内容は引用により本明細書に組み込まれている。特に、２０１１年７月７日公開の米国特許公開第２０１１／０１６３９９８号の段落［０３４３］−［０３５８］及び図９９−１０１を参照されたい。
【０１１５】
チップパッケージ７３１は、チップパッケージの外側にある複数のフォト検出器３００を選択的に起動するための検出器ドライバ回路７５０、及びフォト検出器３００を検出器ドライバ回路７５０に接続するための信号伝導ピン７３３を含む。検出器ドライバ回路７５０は、連続したフィードバックバンドパスフィルタを実行することによってフォト検出器３００から受信された電流を濾過するための回路７５５、及びバンドパス濾過電流をデジタル化するための回路７５６を含む。回路７５５は、前述の米国特許公開第２００９／０１８９８７８号の段落［００７６］、［１０７］−［０１６３］、及び図１４−２３Ｂに詳細に記載されている。また、チップパッケージ７３１は、フォト検出器３００で検出された光の測定量を表わす検出信号を生成するための検出器信号処理回路７５３を含む。
【０１１６】
チップパッケージ７３１は、ホストプロセッサ７７２と通信するためのＩ／Ｏピン７３６、及び電源に接続するための伝導ピンを更に含む。チップパッケージ７３１は更に、発光体ドライバ回路７４０及び検出器ドライバ回路７５０を制御するためのコントローラ回路７５９を含む。コントローラ回路７５９は、シリアル周辺インタフェース（ＳＰＩ）７７５のためのバス規格を使用してホストプロセッサ７７２と通信する。チップパッケージ７３１は更に、光学式タッチスクリーンのための少なくとも１つの付加的なコントローラ７７４にコントローラ回路７５９の動作を協調させるためのチップ選択（ＣＳ）ピン７３７を含む。
【０１１７】
図３６に示されたコントローラは、チップパッケージ７３１内に前述の要素の全てをパッケージ化し、（ｉ）これによって５０個の発光体−受信ペアのような完全スキャンシーケンスの自動実行を可能にし、（ｉｉ）これによってホストプロセッサ７７２による次の分析のためにレジスタアレイに検出信号を格納する。
【０１１８】
図３７を参照すると、図３７は、本発明の実施形態による、チップパッケージ７３１のピン７３２への接続のための、各行が４又は５のフォト発光体を備えた６行のフォト発光体の回路図である。１１列ＬＥＤ＿ＲＯＷ１、・・・、ＬＥＤ＿ＲＯＷ６及びＬＥＤ＿ＣＯＬ１、・・・、ＬＥＤ＿ＣＯＬ５は、３０フォト発光体のための２次元アドレス指定を提供するが、第１の部分のフォト発光体は、タッチスクリーン８６０の２つの端部の周りに物理的に配置され、第２の部分は、図３５に示すように入力キャビティ８５０の周りに物理的に配置される。表ＩＩＩは、ＬＥＤがＬＥＤ＿ＲＯＷ及びＬＥＤ＿ＣＯＬピンにどのようにマップされているかを示す。より一般的には、ＬＥＤ行列は、コントローラ上のｍ＋ｎＩ／ＯピンでサポートされるＬＥＤのｍ×ｎアレイを含むことができる。
（表ＩＩＩ）
2014209362.tif 000005
【０１１９】
このように、ＬＥＤは、行及び列Ｉ／Ｏピンの選択によってアクセスされる。コントローラは、行及び列を選択するためのプッシュ−プルドライバを含む。ＬＥＤの行及び列座標は、ＬＥＤ及びプッシュ−プルドライバの物理的配置に関係ないことが当業者によって理解されるであろう。詳細には、ＬＥＤは、長方形の行列に物理的に位置付けられる必要はない。
【０１２０】
本発明のコントローラの代替えの実施形態では、電流源ドライバが、プッシュ−プルドライバの代わりに使用される。本発明のコントローラの別の実施形態では、プッシュ−プルドライバの一部が、電流源ドライバに組み合わされ、プッシュ−プルドライバの他のものが電流シンクドライバに組み合わされる。
【０１２１】
本発明のコントローラが一連の発光体−受信器ペアをスキャンする場合、ＬＥＤドライバは、ＬＥＤ電流制御レジスタ及びＬＥＤパルス長制御レジスタにおける設定に従ってＬＥＤにある量の電流を供給する。ＬＥＤは、スキャン範囲レジスタにおける設定に従って起動のために選択される。スキャン範囲レジスタは、各スクリーン端に沿って及びキャビティ端に沿って起動される第１のＬＥＤ、各端に沿って起動されるＬＥＤの数、及び起動されたＬＥＤ間のステップ係数を指示する。０のステップ係数は、各ステップで次のＬＥＤが起動されることを示し、１のステップ係数は、全ての他のＬＥＤが起動されることを示す。従って、奇数のみ又は偶数のみのＬＥＤを起動するために、１のステップ係数が使用される。２又はそれ以上のステップ係数は、２又はそれ以上のＬＥＤのステップそれぞれに対して使用することができる。付加的なレジスタは、各ＬＥＤと共に起動されるＰＤの数を構成する。０の値は、各ＬＥＤが単一の対応するＰＤと共に起動されることを示し、１の値は、各ＬＥＤが２つのＰＤと共に起動されることを示す。各ＬＥＤと共に起動されるＰＤの数は、タッチスクリーンの周りで利用可能な同じ数のＰＤとすることができる。典型的には、コントローラは、スクリーン要素及びキャビティ要素に対する別々のスキャンシーケンスを起動することになる。これらの起動は、各シーケンスに含まれる要素のインデックスによって区別される。例えば、要素１−２０はスクリーンＬＥＤであり、要素２１−３０はキャビティＬＥＤである。
【０１２２】
本発明のコントローラは、電流を所望のＬＥＤに向けるためのＭＵＸを自動的に制御する。ＬＥＤのＭＵＸは、制御レジスタをスキャンすることによって設定される。コントローラは、ドライバがＬＥＤにパルスを発した場合に、正しいＰＤ受信器を自動的に同期させる。１２ビットＡＤＣ受信器情報がＰＤデータレジスタに格納される。スキャニングの完了後、コントローラは、割り込み信号をホストプロセッサに送出し、自動的にスタンバイモードに入る。
【０１２３】
いくつかのタッチスクリーン構成では、スクリーンに関連付けされる各発光体は、各受信器に応じて位置合わせされ、発光体は、１つより多い受信器によって検出され、各検出受信器に対して１回又はそれよりも多い回数起動される。例えば、発光体は、急速に連続して３回起動することができ、各起動によって異なる受信器が起動される。更に、受信器は、周囲の光の強度を決定するために発光体起動の間の時間間隔に起動される。
【０１２４】
他のタッチスクリーン構成では、スクリーンに関連付けされる発光体及び受信器が位置合わせされるが、各発光体は、１つより多い受信器によって検出され、各発光体は、各検出受信器に対して別々に起動される。発光体−受信器起動パターンは、本出願人の同時係属中の２０１０年１月５日出願の特許出願米国連番第１２／６６７，６９２号「タッチスクリーンのスキャニング」に記載されており、その開示内容は、引用により本明細書に組み込まれている。特に、２０１１年２月２４日公開の米国特許公開第２０１１／００４３４８５号の段落［００２９］、［００３０］、［００３３］、及び［００３４］を参照されたい。
【０１２５】
本発明の実施形態によると、コントローラは、単純なステートマシンであり、ＡＲＭコアのようなプロセッサコアを含まない。このように、本発明のコントローラは安価である。容量式タッチスクリーンは、多数の信号を統合しタッチ位置を計算するためにプロセッサコアを必要とするが、本発明のコントローラを使用する光学式タッチスクリーンは、互換性のある容量式タッチスクリーンよりコストがかからない。迅速な反応時間を得るために、容量式タッチスクリーンは、ホストプロセッサにこの計算をオフロードする代わりに、タッチ位置を計算するための専用プロセッサコアを使用する。その結果として、容量式タッチスクリーンに関する部品点数が増える。対照的に、本発明の光学式タッチスクリーンは、１つの軸に沿ったタッチ位置を計算するために２つの隣接した受信器値を使用し、タッチ位置をホストが計算できるようにして、結果的に安価なコントローラの使用を可能にする。更に、本発明の教示に従う装置は、タッチスクリーン及びユーザジェスチャキャビティの両方に対して同じコントローラを利用することによって資源を効率的に使用する。
【０１２６】
本発明は、小型、中型、及び大型スクリーンを含むタッチ感知式スクリーンを備えた電子装置への広範な応用を有する。このような装置は、特に、コンピュータ、家庭娯楽システム、車内娯楽システム、セキュリティシステム、ＰＤＡ、携帯電話、電子ゲーム及びおもちゃ、デジタルフォトフレーム、デジタル楽器、電子書籍リーダ、ＴＶ、及びＧＰＳナビゲータを含む。
【０１２７】
前述の明細書では、本発明は、その特定の例示的な実施形態に関して説明される。しかし、様々な修正及び変更は、添付の請求項に示された本発明の広範な精神及び範囲から逸脱することなく特定の例示的な実施形態に行い得ることが明らかであろう。従って、明細書及び図面は、制限的な意味ではなく例証的な意味に捉えるべきである。
【符号の説明】
【０１２８】
６３５  ディスプレイ
８２６  電子装置
８２７  ハウジング
８５０  キャビティ
９００  指
【図１】
2014209362.tif 000006
【図２】
2014209362.tif 000007
【図３】
2014209362.tif 000008
【図４】
2014209362.tif 000009
【図５】
2014209362.tif 000010
【図６】
2014209362.tif 000011
【図７】
2014209362.tif 000012
【図８】
2014209362.tif 000013
【図９】
2014209362.tif 000014
【図１０】
2014209362.tif 000015
【図１１】
2014209362.tif 000016
【図１２】
2014209362.tif 000017
【図１３】
2014209362.tif 000018
【図１４】
2014209362.tif 000019
【図１５】
2014209362.tif 000020
【図１６】
2014209362.tif 000021
【図１７】
2014209362.tif 000022
【図１８】
2014209362.tif 000023
【図１９】
2014209362.tif 000024
【図２０】
2014209362.tif 000025
【図２１】
2014209362.tif 000026
【図２２】
2014209362.tif 000027
【図２３】
2014209362.tif 000028
【図２４】
2014209362.tif 000029
【図２５】
2014209362.tif 000030
【図２６】
2014209362.tif 000031
【図２７】
2014209362.tif 000032
【図２８】
2014209362.tif 000033
【図２９】
2014209362.tif 000034
【図３０】
2014209362.tif 000035
【図３１】
2014209362.tif 000036
【図３２】
2014209362.tif 000037
【図３３】
2014209362.tif 000038
【図３４】
2014209362.tif 000039
【図３５】
2014209362.tif 000040
【図３６】
2014209362.tif 000041
【図３７】
2014209362.tif 000042
【手続補正書】
【提出日】平成26年6月18日(2014.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
電子装置のためのハウジングであって、
前記ハウジングの前部外側表面にある前部開口部、
前記ハウジングの後部外側表面にある後部開口部、及び
平行移動ジェスチャを行うために指を前から後の方向で中に挿入するための、及び平行移動ジェスチャを行うために指を後から前の方向で中に挿入するためのキャビティ、を形成するために前記前部開口部から前記後部開口部まで拡がる内側側壁を含むハウジングと、
前記ハウジングに取り付けられるディスプレイであって、前記キャビティの全体が前記ディスプレイの側部に沿って、前記ディスプレイから分離して配置されるディスプレイと、
前記内側側壁に取り付けられ、前記前から後の平行移動ジェスチャを検出し、前記後から前の平行移動ジェスチャを検出するように作動する検出器と、
検出された平行移動ジェスチャをユーザインターフェース入力コマンドとして解釈し、前記ディスプレイ上にレンダリングされた図形を変更するための、前記検出器及び前記ディスプレイに接続されたプロセッサと、
を備える、電子装置のための指ジェスチャユーザインタフェース。
【請求項２】
前記ハウジングは、ヒンジ結合されて互いに折り畳むことができる、第１のセクション及び第２のセクションを備え、前記ディスプレイは、前記第１のセクションに取り付けられ、前記キャビティは、フレーム内の前記第２のセクションに配置され、前記フレームは、前記第１のセクション及び前記第２のセクションが折り畳まれた場合に前記第１のセクションと同じ平面にある、請求項１に記載のユーザインタフェース。
【請求項３】
前記キャビティは、前記装置を持ち運ぶための、少なくとも１つの指の前記前部開口部に入る及び前記後部開口部から出る配置を許すような位置と大きさである請求項１に記載のユーザインタフェース。
【請求項４】
前記キャビティは、前記電子装置を３つの側面で取り囲む格納式フレームを展開することで形成される、請求項１に記載のユーザインタフェース。
【請求項５】
前記プロセッサは、検出された平行移動ジェスチャを前記ディスプレイ上にレンダリングされた図形を拡大するためのコマンドとして解釈する、請求項１に記載のユーザインタフェース。
【請求項６】
前記検出器は、前記指が前記キャビティの内部に挿入されたことに応じて、少なくとも５つの位置及び方向の属性、すなわち、
（ｉ）ｘ軸に沿った位置、
（ｉｉ）ｙ軸に沿った位置、
（ｉｉｉ）ｚ軸に沿った位置、
（ｉｖ）ｘｚ平面における極角、及び
（ｖ）ｙｚ平面における極角、
を検出するように作動可能であり、前記位置及び極角は、前記キャビティの上部開口部の長さ及び幅に沿ったｘ及びｙ軸を基準とし、前記キャビティの上部から底部への高さに沿ったｚ軸を基準とするものである請求項１に記載のユーザインタフェース。
【請求項７】
前記検出器は、前記キャビティ内の多指スプレッドジェスチャを検出するように更に作動可能である、請求項１に記載のユーザインタフェース。
【請求項８】
前記プロセッサは、前記検出器が平行移動ジェスチャを検出したことに応じて、ウィジェット、文書、ウェブページブックマーク、アルバムアートワーク、又は写真のスナップショットの動画ナビゲーションを前記ディスプレイにレンダリングさせる、請求項１に記載のユーザインタフェース。
【請求項９】
前記検出器は、前記キャビティ内の多指スプレッドジェスチャを検出するように更に作動可能であり、前記プロセッサは、前記検出された多指スプレッドジェスチャを、ウィジェット、文書、ウェブページ、アルバム、又は写真をオープンするコマンドとして解釈する、請求項８に記載のユーザインタフェース。
【請求項１０】
前記検出器は、前記キャビティ内の多指ピンチジェスチャを検出するように更に作動可能であり、前記プロセッサは、前記検出された多指ピンチジェスチャを、ウィジェット、文書、ウェブページ、アルバム、又は写真をクローズするコマンドとして解釈する、請求項８に記載のユーザインタフェース。
【請求項１１】
前記検出器は、前記前から後の方向の前記指のスピード及び前記後から前の方向の前記指のスピードを検出するように更に作動可能であり、前記ユーザインターフェース入力コマンドの属性は、前記検出された指のスピードに従って構成される請求項１に記載のユーザインタフェース。
【請求項１２】
前記検出器は、前記キャビティ内の前記指の、前記キャビティの前記上部開口部の前記長さ及び幅に沿ったｘ及びｙ軸を基準とする、及び前記キャビティの上部から底部への前記高さに沿ったｚ軸を基準とする２つの極角、すなわち
（ｉ）ｘｙ平面における極角、及び
（ｉｉ）ｙｚ平面における極角、
を検出するように更に作動可能であり、前記プロセッサは、前記極角の変化をユーザインターフェース入力コマンドとして解釈する、請求項１に記載のユーザインタフェース。
【請求項１３】
前記プロセッサは、前記検出器が前記キャビティ内で前記指を傾斜させることを含むジェスチャを検出したことに応じて、前記ディスプレイにポップアップメニューをレンダリングさせる、請求項１２に記載のユーザインタフェース。
【請求項１４】
前記検出器は、前記キャビティ内の多指回転ジェスチャを検出するようにさらに作動可能である、請求項１に記載のユーザインタフェース。
【請求項１５】
前記プロセッサは、前記検出器が前記多指回転ジェスチャを検出したことに応じて、前記ディスプレイに表示された画像の回転をレンダリングさせる、請求項１４に記載のユーザインタフェース。