(57)【要約】近接検出に基づくユーザインターフェース機能を制御するための方法を提供する。入力面（１００）のごく近くに第１のオブジェクト（１１０）および第２のオブジェクト（１１２）が同時に存在することの検出に応じて、入力モードが起動されうる。この入力モードにおいて、第１の機能は第１のオブジェクト（１１０）による入力に関連付けられ、第２の機能は第２のオブジェクト（１１２）による入力に関連付けられる。【選択図】図１
2013524311.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
少なくとも１つのプロセッサと、
コンピュータプログラムコードを格納する少なくとも１つのメモリと、
を備え、
前記少なくとも１つのメモリおよび前記コンピュータプログラムコードは、前記少なくとも１つのプロセッサを用いて、前記装置に、少なくとも、
入力面のごく近くに第１のオブジェクトが存在することを検出することと、
前記入力面のごく近くに第２のオブジェクトが存在することを検出することと、
前記第１のオブジェクトおよび前記第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が前記第１のオブジェクトによる入力に関連付けられ、第２の機能が前記第２のオブジェクトによる入力に関連付けられる入力モードを起動することと、
を遂行させるように構成される、装置。
【請求項２】
前記装置は、前記入力面のごく近くから前記第１のオブジェクトおよび／または前記第２のオブジェクトがいなくなったことの検出に応じて、前記入力モードを無効にするように構成される、請求項１に記載の装置。
【請求項３】
前記装置は、前記第１のオブジェクトおよび／または前記第２のオブジェクトの位置にさらに基づいて、前記第１のオブジェクトおよび／または前記第２のオブジェクトによる入力に応じた動作を決定するように構成される、請求項１または２に記載の装置。
【請求項４】
前記装置は、
前記第１のオブジェクトによる入力の検出に応じて、該入力に関連付けられた情報要素に対する選択作用を遂行し、
前記第２のオブジェクトによる入力の検出に応じて、該入力に関連付けられる情報要素についての選択可能な項目メニューを表示するように構成される、
上記いずれかの請求項に記載の装置。
【請求項５】
前記装置は、前記入力モードが起動したこと及び／又は前記入力モード中のアクションに応答して、表示されるべきグラフィカルユーザインターフェース要素への少なくとも１つの関連付けを修正するように構成される、上記請求項のうちのいずれか１項に記載の装置。
【請求項６】
前記装置は、
前記入力面のごく近くに存在する前記第１のオブジェクトおよび前記第２のオブジェクトの検出に応じて、ポインタ要素の表示を生成することと、
前記ポインタ要素の表示を、前記第１のオブジェクトおよび／または前記第２のオブジェクトの検出された動きに関して移動させることと、
を行うように構成される、
上記請求項のうちのいずれか１項に記載の装置。
【請求項７】
前記装置は、前記オブジェクト間の距離に基づいて、前記入力モードの起動および／または無効化を制御するように構成される、上記いずれかの請求項に記載の装置。
【請求項８】
動作は、前記入力モードの間、前記第１のオブジェクトによる入力と前記第２のオブジェクトによる入力との組み合わせに関連付けられる、上記いずれかの請求項に記載の装置。
【請求項９】
前記装置は、タッチスクリーンを備える携帯通信デバイスである、上記いずれかの請求項に記載の装置。
【請求項１０】
入力面のごく近くに第１のオブジェクトが存在することを検出することと、
前記入力面のごく近くに第２のオブジェクトが存在することを検出することと、
前記第１のオブジェクトおよび前記第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が前記第１のオブジェクトによる入力に関連付けられ、第２の機能が前記第２のオブジェクトによる入力に関連付けられる入力モードを起動することと、
を含む、方法。
【請求項１１】
前記入力面のごく近くから前記第１のオブジェクトおよび／または前記第２のオブジェクトがいなくなったことの検出に応じて、前記入力モードを無効化することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記第１のオブジェクトおよび／または前記第２のオブジェクトの位置にさらに基づいて、前記第１のオブジェクトおよび／または前記第２のオブジェクトによる入力に応じた動作が決定される、請求項１０または１１に記載の方法。
【請求項１３】
前記入力面のごく近くに前記第２のオブジェクトが存在することの検出に応じて、前記第１のオブジェクトが前記入力面に近接しているかが判断され、
前記入力モードが起動され、前記第１のオブジェクトおよび／または前記第２のオブジェクトによる入力に関連付けられる機能が、依然として前記入力面のごく近くに存在するままの第１のオブジェクトに応答して構成される、請求項１０、１１、または１２に記載の方法。
【請求項１４】
前記入力モードが起動したこと及び／又は前記入力モード中のアクションに応答して、表示されるべきグラフィカルユーザインターフェース要素への少なくとも１つの関連付けが修正される、請求項１０から１３のいずれかに記載の方法。
【請求項１５】
前記第１のオブジェクトによる入力の検出に応じて、該入力に関連付けられた情報要素に対する選択作用を遂行することと、
前記第２のオブジェクトによる入力の検出に応じて、該入力に関連付けられる情報要素についての選択可能な項目メニューを表示することと、
をさらに含む、請求項１０から１４のいずれかに記載の方法。
【請求項１６】
前記入力モードの前記起動および／または無効化は、前記オブジェクト間の距離に基づいて制御される、請求項１０から１５のいずれかに記載の方法。
【請求項１７】
前記第１のオブジェクトおよび前記第２のオブジェクトの存在の検出に応じて、ポインタ要素の表示を生成することと、
前記ポインタ要素の表示を、前記第１のオブジェクトおよび／または前記第２のオブジェクトの検出された動きに関して移動させることと、
をさらに含む、請求項１０から１６のいずれかに記載の方法。
【請求項１８】
タッチスクリーンと、
ワイヤレス伝送のための通信ユニットと、
入力面のごく近くに存在するオブジェクトの存在を検出するための少なくとも１つの近接検出器を有する、近接検出システムと、
請求項１から８のうちのいずれか１項に記載の装置と、
を備える、電子デバイス。
【請求項１９】
電子デバイスのためのユーザインターフェースであって、
第１のオブジェクトおよび第２のオブジェクトが入力面のごく近くに存在することを検出するための少なくとも１つの近接検出器を有する、近接検出システムを備え、前記ユーザインターフェースは、前記第１のオブジェクトおよび前記第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が前記第１のオブジェクトによる入力に関連付けられ、第２の機能が前記第２のオブジェクトによる入力に関連付けられる入力モードで動作するように構成される、
ユーザインターフェース。
【請求項２０】
装置の１つ以上のプロセッサによって実行される時、前記装置に、請求項１０から１７のうちのいずれか１項に記載の方法を遂行させる、１つ以上の命令の１つ以上のシーケンスを備える、コンピュータ可読記憶媒体。
【請求項２１】
入力面のごく近くに第１のオブジェクトが存在することを検出する手段と、
前記入力面のごく近くに第２のオブジェクトが存在することを検出する手段と、
前記第１のオブジェクトおよび前記第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が前記第１のオブジェクトによる入力に関連付けられ、第２の機能が前記第２のオブジェクトによる入力に関連付けられる入力モードを起動する手段と、
を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、近接性に基づく入力を検出するための装置および方法に関する。
【背景】
【０００２】
タッチスクリーンは、例えばＰＤＡ（個人用デジタル補助装置）デバイスや卓上装置、携帯デバイスなど多くの可搬型電子デバイスで使用されている。タッチスクリーンは、ポインティングデバイスやスタイラス、または指によって、動作可能である。これらのデバイスは通常、特定の動作のために従来のボタンも備えている。
【０００３】
３次元（３Ｄ）コンテンツ表示技術や３Ｄ相互作用または３Ｄ相互作用の感知は、可搬型電子デバイスにおいてもまだ開発途上である。ユーザ入力のためのさらなる手段として、タッチスクリーン表面上部の空間も使用することが提案されている。
【摘要】
【０００４】
本発明の実施例の種々の側面を、請求項において記載する。
【０００５】
ある側面によると、少なくとも１つのプロセッサと、コンピュータプログラムコードを格納する少なくとも１つのメモリとを備える、装置であって、少なくとも１つのメモリ、およびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、少なくとも、入力面のごく近くに第１のオブジェクトが存在することを検出することと、入力面のごく近くに第２のオブジェクトが存在することを検出することと、第１のオブジェクトおよび第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が第１のオブジェクトによる入力に関連付けられ、第２の機能が第２のオブジェクトによる入力に関連付けられる入力モードを起動することと、を遂行させるように構成される、装置が提供される。
【０００６】
ある側面によると、入力面のごく近くに第１のオブジェクトが存在することを検出することと、入力面のごく近くに第２のオブジェクトが存在することを検出することと、第１のオブジェクトおよび第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が第１のオブジェクトによる入力に関連付けられ、第２の機能が第２のオブジェクトによる入力に関連付けられる、入力モードを起動することと、を含む方法が提供される。
【０００７】
ある側面によると、第１のオブジェクトおよび第２のオブジェクトが入力面のごく近くに存在することを検出するための少なくとも１つの近接検出器を有する、近接検出システムを備える、電子デバイスのためのユーザインターフェースであって、第１のオブジェクトおよび第２のオブジェクトが同時に存在することの検出に応じて、第１の機能が第１のオブジェクトによる入力に関連付けられ、第２の機能が第２のオブジェクトによる入力に関連付けられる入力モードで動作するように構成される、ユーザインターフェースが提供される。
【０００８】
ある実施形態によると、前記入力モードは、前記入力面のごく近くから前記第１のオブジェクトおよび／または前記第２のオブジェクトがいなくなったことの検出に応じて無効化される。
【０００９】
本発明の種々の実施形態は、以下の詳細説明から明らかとなるであろう、いくつかの利点を提供する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に従う入力装置の簡単なブロック図であり、側面から見た図である。
【図２】本発明の実施形態に従う装置の簡単なブロック図であり、側面から見た図である。
【図３】本発明の実施形態に従う方法を例示する。
【図４】本発明の実施形態に従う方法を例示する。
【図５】本発明の実施形態に従う方法の実施例を示す。
【図６】本発明の実施形態に従うユーザインターフェースの振る舞いを順に例示する。
【図７】本発明の実施形態に従うディスプレイの上面図であって、オブジェクトと関係を有するカーソルが例示されている。
【図８】本発明の実施形態に従う電子デバイスを例示する。
【詳細説明】
【００１１】
本発明の例示的な実施形態のより完全な理解のために、添付の図面と併せて以下の説明を参照されたい。
【００１２】
図１は、１つ以上の入力デバイスおよび／または出力デバイスを有する装置１０を例示する。入力デバイスは、例えばボタン、スイッチ、スライダ、キー、またはキーパッド、ナビゲーションパッド、タッチパッド、タッチスクリーン、および同等のものから選択されてもよい。出力デバイスは、例えばディスプレイ、スピーカ、インジケータから選択されてもよい。
【００１３】
装置１０は、近接検出システムまたはユニット１２０をさらに備える。近接検出システムまたはユニット１２０は、指やスタイラスといったオブジェクト１１０や１１２が、入力面１００とは接触していないが極めて近づいてきた時に検出するように構成される。入力面１００は、タッチスクリーンの表面や、ユーザ入力を検出可能な装置の入力デバイスであることができる。入力面１００は、例えばハンドヘルド電子デバイスのハウジングに設けられることができ、１つ又は複数の側面や背面（ディスプレイの位置を考慮して）上のボタンや特定の入力領域といった入力デバイスと併せて設けられることができる。
【００１４】
感知領域１４０は、オブジェクト１１０や１１２が、表面１００のすぐそばまで接近していることが検出される、近接領域および／または近接距離を例示しうる。感知領域１４０はまた、ホバリング領域と称されてもよく、ホバリング領域へのオブジェクト１１０，１１２の侵入や、ホバリング領域におけるオブジェクト１１０，１１２による可能な（非タッチ）入力は、ホバリングと称されてもよい。実施形態によっては、ホバリング領域１４０はまた、入力面１００をタッチさえすることなく、装置１０にデータを入力したり装置１０のデータへアクセスしたりすることを可能にする。
【００１５】
装置１０は、コントローラ１３０をさらに備えるか、またはそれに組み合わされる。近接検出システム１２０は、オブジェクト１１０や１１２がホバリング領域１４０に進入する時、コントローラ１３０に信号を提供するように構成される。かかる入力信号に基づいて、命令や選択など、様々なタイプのアクションが開始されてもよい。これらのアクションは、通常、ユーザに対する可視、可聴、および／または触覚フィードバックを生成してもよい。
【００１６】
装置１０は、キーボードやマウスといった周辺デバイスであってもよく、または電子デバイスに統合されてもよい。電子デバイスの例としては、コンピュータ、メディアプレーヤ、ワイヤレス通信端末デバイス等のような様々なコンシューマ電子デバイスが挙げられる。
【００１７】
実施形態によっては、近接検出システム１２０は、タッチスクリーンディスプレイを備える装置に提供される。図２は、タッチスクリーン２１０を備える実施形態に従う装置２００を例示する。複数のタッチ感応検出器２１２が、スクリーンディスプレイ表面部分への入力を検出するべく設けられる。
【００１８】
装置２００は、タッチスクリーン２１０の表面の極めて近くに存在するオブジェクト１１０や１１２を検出するための近接検出回路２２０を備える。実施形態によっては、検出システム２２０は、１つ以上の近接センサ２２２による感知フィールドを生成する。
【００１９】
実施形態によっては容量性近接検出システムが使用され、それによって、センサ２２２は容量性感知ノードである。感知フィールドにおける１つ以上のオブジェクト１１０や１１２による外乱（disturbance）が監視され、１つ以上のオブジェクトの存在が、検出された外乱に基づいて検出される。容量性検出回路２２０は、タッチスクリーン２１０の表面上部の静電容量の変化を検出する。
【００２０】
しかしながら、この特徴が、特定のタイプの近接検出法に制限されないことは理解されたい。近接検出システム１２０や２２０は、赤外線近接検出、光陰影検出、音響放出検出、超音波検出、または任意の他の好適な近接検出技術に基づいてもよい。例えば近接検出システム１２０，２２０が、赤外線による検出技術に基づく場合、システムは、赤外線光のパルスを放射する１つ以上の放射装置を備えるであろう。また１つ以上の検出器が、近傍のオブジェクト１１０や１１２からの反射光を検出するために設けられるであろう。システムが反射された光を検出すると、オブジェクトが存在することが推定される。検出システム１２０，２２０は、入力面からのオブジェクトまでの距離を推測するように構成されてもよい。用いられる技術や、装置及び入力面の大きさ、所望のユーザ相互作用に依存して、ホバリング領域１４０，２４０の大きさは、設計によって、例えば数ミリメートルから最大数１０センチメートルにわたり、入力面から延在するように設けられてもよい。近接検出システム１２０，２２０はまた、ユーザの手のさらなる部分を検出してもよいが、システムは、かかる誤入力を認識し、何らアクションを行わないように構成されてもよい。
【００２１】
検出回路２２０はコントローラ２３０に組み合わされる。タッチスクリーン検出器２１２への入力は、制御回路を介して、コントローラ２３０、または別のコントローラへ伝達されてもよい。コントローラ２３０は、タッチスクリーンディスプレイ２１０といった、１つ以上の出力デバイスに接続されてもよい。コントローラ２３０は、ディスプレイ２１０上の複数のアプリケーション画面を制御するように構成されてもよい。
【００２２】
近接検出システム１２０，２２０は、複数のオブジェクト１１０，１１２が同時に接近していることを検出して知らせるように構成される。ホバリング領域１４０，２４０において同時に検出されるオブジェクト１１０，１１２の各々は、それぞれのオブジェクトによるさらなる入力に応答して開始される少なくとも１つの動作や機能に関連付けられてもよい。
【００２３】
さらなる入力は、ホバリング領域２４０内の入力領域２５０，２５２のそれぞれにおいて、オブジェクト１１０，１１２によって提供されてもよい。装置２００は、タッチスクリーンディスプレイ表面を押下する、および／またはホバリング領域２４０において特定のジェスチャを遂行するオブジェクト１１０，１１２の１つ以上の検出に応じて、そのようなさらなる入力を検出するように構成されてもよい。広範な機能が、タッチ感知検出システムおよび／または近接検出システム２２０によって検出される入力に関連付けられて選択されることが可能である。コントローラ２３０は、例えば装置２００、ユーザ入力、または装置２００において実行されるアプリケーションの現在の動作状態に従って、関連性を調整するように構成されてもよい。例えば、この関連性は、アプリケーション特有、メニュー特有、表示特有、および／またはコンテクスト特有であってもよい。コンテクストは、装置２００の現在の環境もしくは使用から取得される情報に基づいて定義されてもよい。１つ以上の入力領域２５０，２５２および／またはオブジェクト１１０，１１２が、電子デバイスの現在の動作状態にかかわらず、特定の作用を表すように設定されてもよいことに留意されたい。特に、２つ以上のオブジェクト１１０，１１２がホバリング領域１４０，２４０に侵入したことの検出に応じて、１つ以上の関連性が調節されてもよい。
【００２４】
図３は、実施形態に従う複数オブジェクトホバリング入力モードを制御するための方法を示す。この方法は、例えばコントローラ１３０や２３０による制御アルゴリズムとして適用されてもよい。この方法は、ステップ３０２において開始し、それによって、入力面２１０のごく近くに２つ以上のオブジェクトが同時に存在することの検出が行われる。このため、ステップ３０２は、入力面との物理的接触が行われなくても、２つ以上のオブジェクト１１０，１１２がホバリング領域１４０，２４０に検出された時に始められてもよい。オブジェクト同士の間隔が予め定められた距離より短いこととか、オブジェクトのうちの１つ以上があるオブジェクトや電子デバイス入力面の表面から予め定められた距離内にあることといった、さらなる条件が存在してもよい。
【００２５】
ステップ３０２の検出に応じて、ユーザインターフェースは、本明細書で"複数オブジェクトホバリング入力モード"と称される、特別の入力モードを開始する（３０４）ように構成される。ここで、１つ以上の特定の動作が、第１のオブジェクトおよび／または第２のオブジェクトに関連付けられるか、またはリンクされてもよい。その動作は、第１もしくは第２のオブジェクトが相手なしで使用される間は利用可能ではない。
【００２６】
図３に例示される方法は、ホバリングおよび／またはタッチに基づくユーザ入力に関して、継続してチェックする（３０６）。複数オブジェクトホバリングモードの開始に応じて、上記方法は、入力のソースを判断するように開始してもよい。第１のオブジェクトによる入力が検出される場合（３０８）、第１のオブジェクトに関連付けられる動作が実行されてもよい（３１０）。ステップ３１２において、第２のオブジェクトによる入力が検出される場合、第２のオブジェクトに関連付けられる動作が実行されてもよい（３１４）。
【００２７】
図３には例示されていないが、上記方法はまた、通常、入力のターゲット（となる情報要素）、例えばアプリケーション領域やアプリケーションウィンドウ、またはディスプレイ上の特定のグラフィカルユーザインターフェース（ＧＵＩ）要素をチェックする。ここで、現時点でホバリング入力領域２５０，２５２に関連付けられるソフトウェア機能は何かが判断されてもよい。
【００２８】
上記方法は、表面１００のごく近くから１つまたは両方のオブジェクトが存在しなくなったことが検出されたかどうかをさらにチェックする（３１６）。Ｙｅｓの場合、ステップ３１８において、複数オブジェクトホバリングモードは無効化または終了される。そうでない場合、上記方法は、更なるユーザ入力をチェックするべく、ステップ３０６に戻ってもよい。図３には示されていないが、動作３１０や３１４から動作３０６や動作３１６に戻ってさらなるユーザ入力をチェックするような手続があってもよい。
【００２９】
入力のソースは、例えば入力が第１もしくは第２のオブジェクト（またはさらなるオブジェクト）によって提供されるかどうかにかかわらず、種々の方法で判断されてもよい（３０６，３０８，３１２）。ある実施形態において、近接検出システム１２０，２２０および／またはコントローラ１３０，２３０は、感知された他のオブジェクトの位置に対する、検出された入力の位置の分析に基づいて、入力のソースを判断するように構成される。検出された位置関係に基づいて入力を提供するオブジェクトが判断され（３０８，３１２）、関連付けられた機能が選択されてもよい（３１０，３１４）。（入力面に沿った）ｘ軸やｙ軸に対する入力オブジェクトの位置を判断する処理があってもよい。例えば、オブジェクト１１２による入力が、他の（ホバリング）オブジェクト１１０の左側で検出されたかどうかが判断される。オブジェクトの相対位置は、入力の検出に応答して決定されてもよく、継続的に監視されてもよい。実施形態によっては、オブジェクト１１０，１１２の１つ以上の感知された特性に基づいて、入力のソースを判断する処理が含まれてもよい。ホバリング領域においてオブジェクトの（端部）上で感知された情報の代わりに、またはそれに加えて、例えばユーザの手に関する更なる検出情報が、入力オブジェクトを決定する時に利用されてもよい。例えば装置１０，２００は、ユーザの手がホバリングに使用されたかどうかを検出するように構成されてもよく、また左手又は右手のいずれが使用されたかどうかを検出するように構成されてもよい。
【００３０】
図４は、別の実施形態に従う方法を例示する。この方法は、検出された入力をチェックし、検出された入力に基づいてさらなるユーザインターフェース機能を制御する、コントローラ１３０，２３０における制御アルゴリズムとして実施されてもよい。
【００３１】
ステップ４０２において、第１の入力領域のごく近くに存在するオブジェクトの存在が検出される。例えば図２のオブジェクト１１０は、第１の入力領域２５０のごく近くに存在することが検出される。第１の入力領域に関連付けられる動作が開始４０４される。この動作は、例えばグラフィカルユーザインターフェース（ＧＵＩ）要素を第１の入力領域の近傍に表示することでもよい。その他にも多種多様なオプションが存在する。
【００３２】
上記の方法は、全てのホバリング入力を監視し続ける。簡略化された図４は、ステップ４０６において、第２の入力領域のごく近くに存在する第２のオブジェクトの存在の検出を示している。例えばオブジェクト１１２が、タッチスクリーンディスプレイ２１０の第２の入力領域２５２上部のホバリング領域において検出されてもよい。
【００３３】
上記方法は、ステップ４０８において、第１のオブジェクトが、図２の例にけるホバリング領域２４０または特定の入力領域２５０において、依然として入力面１００のごく近くに存在しているかどうかをチェックしてもよい。そうである場合、ステップ４１０において、第１の入力領域および／または第２の入力領域に関連付けられるユーザインターフェースの機能が構成される。ここで、図３およびステップ３０４に関連して例示された複数オブジェクトホバリングモードが開始されてもよい。
【００３４】
第１のオブジェクトが、ホバリング領域２４０からいなくなった場合、ステップ３１８に関連して例示されたように、複数オブジェクトホバリングモードは無効化されてもよく、単一入力ホバリングモードにおいて第２の入力領域に関連付けられる機能が開始されてもよい（４１２）。
【００３５】
この特徴は、ホバリングに関する機能を有するユーザインターフェースのためのさらなる用途や入力オプションをもたらすことを可能にする。２つのオブジェクトへの応用の場合、第３の入力レベルまたは構成が、ホバリング領域での２つのオブジェクトの同時存在によって提供される。入力領域に対する入力の位置にかかわらず、複数オブジェクト入力モードにおける予め定められる、オブジェクト特有の機能が提供されてもよい。
【００３６】
実施形態によっては、複数オブジェクトホバリングモードは、コンピュータマウスの機能に類似する、少なくともいくつかの機能を提供する。図５ａに例示される実施形態では、入力面１００のごく近くに少なくとも２つのオブジェクトが存在する間、左マウスボタンの機能が、第１の（または第２の）オブジェクトに関連付けられ。
【００３７】
ステップ５０２において、情報要素に関連付けられる入力が検出される。例えばＧＵＩ要素を表示する入力領域２４０への第１のオブジェクト１１０による入力が検出される。情報要素に対して選択動作が遂行される（５０４）。この情報要素は選択される際に表示されてもよく、または、選択された情報要素に対してさらなる処理が実行されてもよい。例えば、項目リスト内の特定の項目への第１のオブジェクトによるダブルクリックタイプの二回入力の場合、まず項目の選択を生じさせ、次いで、選択された項目に対するウィンドウを開くことを生じさせる。
【００３８】
図５ｂは、典型的な右マウスボタン入力の基本的な特徴を例示する。ステップ５５２において、情報要素に関連付けられる入力が検出される。例えばホバリング入力、または第２の領域２４２上に表示されるＧＵＩ要素への第２のオブジェクト１１２によるタッチスクリーン２１０表面への入力が検出される。ステップ５５４において、利用可能な機能のメニューが表示される。メニューは、状況依存性、および、例えばユーザインターフェースまたはアプリケーション、アプリケーションウィンドウ、または選択されている情報要素の現在の状態に依存してもよい。メニューは、テキスト情報、画像、および／または任意の他のグラフィカル情報を含んでもよい。
【００３９】
このため、専用のマウスボタン機能は、ホバリング領域１４０，２４０に、少なくとも２つのオブジェクトが侵入することによって可能にされてもよい。右または左マウス機能は、関連付けられたオブジェクトによるさらなる入力によって選択されてもよい。
【００４０】
図６ａから６ｄは、実施形態に従うユーザインターフェースとの相互作用の様子を順に例示している。図６ａは、複数の画像ＧＵＩ要素を伴う、最初の表示コンテンツを例示する。ユーザが、ユーザの指のうちの２本、例えば図６ｂに例示されるように人差し指および中指１１０、１００を、スクリーンの上部かつスクリーン表面のごく近くで動かす時、近接検出システムは、今、スクリーン領域の上部に２本の指があることを検出する。制御システム、例えばコントローラ１３０，２３０は、左マウスボタンの機能を左の指に、および右マウスボタンの機能を右の指にリンクさせることによって、複数オブジェクトホバリングモードを開始する。ユーザが、指のうちの１本でスクリーンを押下する場合、押下は、どの指が使用されたかに依存して、右または左マウスボタンの機能のいずれかを起動する。
【００４１】
図６ｃに例示されるように、ユーザが、ユーザの左指で画像６０２を押下する場合、検出された入力は、左マウスボタンの押下に関連付けられる機能と類似の機能に関連付けられ、入力領域に関連付けられる画像がフルスクリーンモード（６１０）に開かれてもよい。
【００４２】
図６ｄに例示されるように、ユーザが、ユーザの右指１００で画像６０２を押下する場合、検出された入力は、右マウスボタンの機能と類似の機能に関連付けられ、ポップアップメニュー６２０が起動されてもよい。
【００４３】
上に例示される機能は、従来のマウス機能の代替としてＵＩに使用可能な仮想ホバリングマウスを提供することを可能にする。従来のマウスクリック機能およびロジックが、ホバリングマウスによって提供されうる。上に例示される機能に加えて、またはその代わりに、スクロールといった非クリック相互作用、および２つ以上のマウスボタンの種々の組み合わせを伴う別のマウスボタン機能が、さらなる、および新たなＵＩ相互作用を提供するように実装されてもよい。
【００４４】
ある実施形態において、近接検出システムは、複数オブジェクトホバリング入力モードにおいて、第３のタイプの入力として解釈されうる、２つ以上のオブジェクトの併用を検出するように構成されてもよい。ある動作が２つ以上のオブジェクト１１０，１１２による入力の組み合わせに関連付けられてもよい。例えば、２つのオブジェクトと同時に行われるマルチタッチ入力が、単一オブジェクトのみによるタッチ入力とは別の機能に関連付けられてもよい。このため、第１および第２のオブジェクトによる同時入力に関する第３のチェックといった、チェック４１０，４１２に加えて、入力に関する１つ以上のさらなるチェックが存在してもよい。
【００４５】
典型的にマウスボタンに関連付けられる、図５ａから６ｄに関連して例示された機能は、複数オブジェクトホバリングモードの間のオブジェクト１１０，１１２に関連付けられうる可能な機能の一例を表すに過ぎない。例えば、かかる機能は、オブジェクトのパニング、回転、スクロール、編集、ズーム、変形等のグループより選択されてもよい。
【００４６】
上の図３から６ｄは、入力面のごく近くに存在する２つ以上のオブジェクトの検出に応答して複数オブジェクト機能を構成するための、可能な方法および機能のうちの一部のみを例示する。更なるまたは代替的な実施形態の一部を以下に例示する。
【００４７】
ある実施形態によれば、２つ以上のオブジェクト１１０，１１２が、ホバリング領域１４０，２４０において同時に使用され、特定の機能が、さらなるオブジェクトの検出に応答してトリガされてもよい。例えばホバリング領域１４０，２４０における、３本または４本の指の組み合わせの侵入は、さらなる特定の機能やモードをトリガしてもよい。１つのさらなる例は、３オブジェクト仮想マウス機能が、ホバリング領域における３本の指の検出に応じて、開始されることである。中間のオブジェクトは、例えばロール機能に関連付けられてもよい。
【００４８】
ある実施形態によれば、表示されるべきグラフィカルユーザインターフェース要素への少なくとも１つの関連付けは、複数オブジェクトホバリングモードの起動３０４、４１０、および／またはその間のアクションに応答して修正される。これは、一般的に、ディスプレイ上での１つ以上の情報要素の追加および／または修正を指す。例えば、特定のＧＵＩが一時的に、または複数オブジェクトホバリングモードの間に、表示される。さらなる出力、例えば可聴および／または触覚出力もまた、複数オブジェクトホバリングモードへの移行に応じて、および／または複数オブジェクトホバリングモード中の入力の検出に応じて、装置１０，２００によって生成されてもよい。このためユーザは、特定の複数オブジェクトホバリングモードがサポートされ、入力ロジックが変更されることを通知されてもよい。さらなる実施形態においては、タッチスクリーンの領域が複数オブジェクトホバリングモードの間に拡張される。この領域はまた、複数オブジェクトホバリングモード中の領域上でのオブジェクトの検出に応答して拡張されてもよい。
【００４９】
複数オブジェクトホバリングモードの間に利用可能であり、ホバリング領域１４０，２４０、および／または特定の入力領域２５０，２５２に関連付けられる、ソフトウェアの機能や振る舞いは、例えばタッチスクリーン２１０上でユーザに示されてもよい。そのような機能は、それがそれぞれの領域１４０，２４０、２５０，２５２において利用可能な時に、および／またはホバリング領域２５０，２５２への入力が検出された時に、提示されてもよい。
【００５０】
ある実施形態において、ホバリング領域１４０，２４０において検出される１又は複数のオブジェクトや、各オブジェクトによって利用可能な機能は、複数オブジェクトホバリングモードの間にユーザに提示される。例えば利用可能な機能のそれぞれは、それぞれのオブジェクト１１０，１１２を可視化するＧＵＩに関連付けられるＧＵＩ要素によって示される。アクションやオブジェクトを可視化したものがスクリーン上に表示されてもよく、オートステレオスコピックディスプレイの場合もまた、種々の３Ｄ可視化オプションが存在する。
【００５１】
ある実施形態においては、ホバリング領域１４０，２４０で検出されたオブジェクト１１０，１１２が表示される。例えば１本、２本、またはそれ以上の指の画像が、ホバリング領域１４０，２４０で検出されるオブジェクトの数に従って表示される。別の例において、視覚的マウスモードへの応用に関連して、マウスの画像が表示されてもよい。なおもさらなる例において、装置１０，２００は、ホバリング領域１４０，２４０における、オブジェクト１１０，１１２の不透明または半透明の陰影を表示するように構成されてもよい。さらに、オブジェクトに対して検出（３０８，３１２）されたアクションは、表示されたオブジェクトの可視化物を変更することによって示されてもよい。例えば、表示されたマウスの左側ボタンは、第１のオブジェクト１１０による入力の検出に応じて、動かされて戻される。さらに、オブジェクトによるさらなる入力によって利用可能なアクションが、それぞれのオブジェクトの画像または陰影に関連して示されてもよい。
【００５２】
ある実施形態において、装置１０，２００は、入力面１００のごく近くに存在する第１のオブジェクトおよび第２のオブジェクト１１０，１１２の存在の検出に応じて、ポインタ要素の表示を生成するように構成される。簡略化された図７は、タッチスクリーン上に表示されるポインタ７００を例示している。ポインタ要素７００が表示される位置は、第１のオブジェクトおよび／または第２のオブジェクトの検出された移動に関して変更される。このため、ユーザは、仮想マウスタイプの機能を有する複数オブジェクトホバリングモードが起動中であることを容易に知りうる。
【００５３】
さらなる実施形態において、ポインタ７００は、複数オブジェクトホバリングモードの間に行われる入力のためのターゲットスクリーン領域を示す。このため、さらなる仮想マウスロジックが、ユーザインターフェースによって提供されてもよく、ユーザが、ホバリング領域１４０，２４０と比較して小さいＧＵＩ要素への入力を提供することがより容易となる。例えば本明細書において、参照することによって組み込まれる、特許出願第ＰＣＴ／ＩＢ２０１０／０５０７５２号に説明されるカーソルの表示に関する特性は、この複数オブジェクトホバリング入力モードに関して応用されてもよい。
【００５４】
ある実施形態において、複数オブジェクトホバリング入力モードは、装置１０，２００のスクリーン上に表示される項目のうちの一部のみに応用される。コントローラ１３０，２３０は、ＵＩオブジェクトが、複数オブジェクトホバリング入力モードの起動に応答して、および／またはその間に、図５ａから６ｄに関して例示される仮想マウスボタン機能のような複数オブジェクトホバリング入力モードをサポートすることを、ユーザに通知するように構成されてもよい。例えば、かかるＵＩオブジェクトは、拡大されるか、３Ｄ可視化の場合は前面に持って来られるか、オブジェクトの近くに移動させられるか、またはこれらの項目の可視化物が変更されてもよい。
【００５５】
装置１０，２００は、ホバリング領域１４０，２４０におけるオブジェクト１１０，１１２間の距離を判断するように構成されてもよい。機能は、検出された距離（または距離の変化）に従って、多入力ホバリングモード中に選択されてもよい。例えば、第２のオブジェクト１１２から距離を置く第１のオブジェクト１１０の検出に応じて、関連付けられたＧＵＩ要素の拡大といった特定の作用が、トリガされる。さらなる実施形態において、複数オブジェクトホバリング入力モードの開始および／または無効化は、オブジェクト間の距離によってさらに影響される。例えばステップ３０４に移行するためのさらなる条件は、オブジェクト間の距離が極めて近くなることであってもよい。ある実施形態において、オブジェクト間の距離は、図３のステップ３０２に関してチェックされる。入力モードは、少なくとも２本の指が互いに十分近い時にのみ、起動されるように設定されうる。さらに、入力モードは、オブジェクト１１０，１１２がお互いから十分に遠く分離されている時、無効化（３１８）されうる。
【００５６】
ある実施形態において、ユーザは、複数オブジェクトホバリングモードに関連付けられる種々の設定を構成してもよい。例えばユーザは、複数オブジェクトホバリングモードに使用されるべきオブジェクト１１０，１１２および／またはホバリング領域２５０，２５２に関連付けられる機能を指定してもよい。さらなる例では、ユーザは、左手または右手のいずれかのボタン構成を選択してもよく、すなわち、オブジェクトに関連付けられる機能が適宜設定されうるということである。さらなる例では、さらなる関連付けがユーザ入力に従って追加される。例えばユーザは、特定の機能を、さらなる特定のホバリング入力にリンクさせてもよい。このように、ユーザは、ユーザの選好に従って、複数オブジェクトモードの機能を調整してもよい。
【００５７】
実施形態によっては、かかる特徴は、３Ｄ相互作用、または３Ｄ相互作用の感知を提供する、ユーザインターフェースに関して応用される。例えば種々のオートステレオスコピックスクリーンが利用されてもよい。近接検出システム１２０，２２０は、表面１００からの距離を判断し、距離に依存して、ディスプレイ出力といった機能を選択するように構成されてもよい。例えばＧＵＩ要素は、オブジェクト１１０，１１２が表面１００から遠ざかる時に拡大される。
【００５８】
ある実施形態において、装置１０，２００は、複数オブジェクトホバリングモードをトリガする入力や、複数オブジェクトホバリングモードの間に行われる入力を検出するべく、入力面上部のホバリング領域１４０，２４０における、１つ以上のオブジェクトによるジェスチャを（独立に、または組み合わせて）検出するように構成される。このため、近接感知フィールド（proximity sensing field）における変化が監視されてもよい。ジェスチャは、検出された変化に基づいて識別される。識別されたジェスチャに関連付けられる機能が実行されてもよい。例えば、ジェスチャに基づく入力は、図３から６ｄの動作のうちの少なくとも一部に関して利用されてもよい。非常に単純な例は、マウスボタンをダブルクリックする時の指の動きに似たジェスチャの検出に応じて、ＧＵＩ要素が選択され、選択されたＧＵＩ要素に対してさらなる機能が遂行される。例えば、選択されたＵＲＬのコンテンツを有する新たなアプリケーションウィンドウが表示される。別の例では、装置１０，２００は、円を描くようなオブジェクト移動を検出し、それによって、次の又は前の表示に移動するように構成される。
【００５９】
既に示されたように、複数オブジェクトホバリングモードの間の入力は、オブジェクト１１０，１１２によるタッチおよび／またはホバリング入力に関連付けられてもよい。例えば右側の指といった第２のオブジェクト１１２によるタッチスクリーン２１０上の入力は、タップ選択機能に関連付けられてもよいが、左側の指といった第１のオブジェクト１１０による非タッチホバリング入力が、同時に監視されてもよい。
【００６０】
ある実施形態において、装置１０，２００は、複数オブジェクトホバリングモードの最中の、単一オブジェクトまたはオブジェクト１１０，１１２の組み合わせの移動に関連付けられるさらなる特徴に基づいて、ユーザインターフェースの振る舞いを制御するように構成される。例えば装置１０，２００は、コントローラ１３０，２３０に接続される圧力センサを備えてもよく、検出された圧力に従ってＵＩ動作が制御されてもよい。別の例において、装置は、連続した入力間の時間、タッチスクリーン２１０へのタッチの時間、ホバリング領域１４０，２４０におけるオブジェクト１１０，１１２の移動の速度等に基づいて、機能を制御するように構成される。例えば、タッチスクリーン２１０に対するオブジェクトの速度に基づいて２つ以上の機能が選択されることが可能であってもよく、例えば速いタッチ入力と遅いタッチ入力は区別されてもよい。このような更なる特定の入力は、複数オブジェクトホバリングモードの間に、例えば図３の動作３０８から３１４のうちの少なくとも１つに関する、追加のチェックまたはさらなるチェックによって、検出することができる。
【００６１】
上で例示される特徴は、様々なアプリケーションや、アプリケーションモードのために応用されてもよい。特定の利益が得られるアプリケーションの一部の例としては、ブラウザアプリケーション、地図を利用するアプリケーション、メディアコンテンツ関連アプリケーションおよびサービス、拡張現実相互作用を利用するアプリケーション、ならびに同等のものが挙げられる。
【００６２】
一部の例が、小型ディスプレイに関して上で例示されてきたが、これらホバリング関連の特徴は、大型のディスプレイや面に関して応用されてもよい。さらに、近接検出システム１２０，２２０は、複数の手の指を検出するように構成されてもよい。例えばシステムは、両手によるホバリングをサポートしてもよい。さらに、システムは、大型ディスプレイの異なる領域と相互作用する２人以上のユーザによるホバリングの検出をサポートしてもよい。
【００６３】
図８は、例示的な実施形態に従う電子デバイス８００の構造のブロック図を示す。電子デバイスは、装置１０または２００として構成されてもよい。電子デバイス８００の一実施形態が例示され、以降に例示目的で説明される。しかし、限定されないが、可搬型デジタル補助装置（ＰＤＡ）、ページャ、携帯コンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メディアプレーヤ、テレビ、ゲーミングデバイス、カメラ、ビデオレコーダ、位置決定デバイス、電子書籍、ウェアラブルデバイス、プロジェクタデバイス、および他のタイプの電子システムといった、様々なタイプの電子デバイスが、この実施形態を用いてもよい。さらに、例示的な実施形態の装置は、電子デバイスの全体である必要は必ずしもなく、他の例示的な実施形態においては、電子デバイスの構成要素または構成要素群であってもよい。
【００６４】
プロセッサ８０２は、命令を実行し、電子デバイス８００に関連付けられる処理を行うように構成される。プロセッサ８０２は、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、および、例えば図１から７に関して説明される機能のうちの１つ以上を含む種々の機能を遂行するための回路といった、手段を備えてもよい。プロセッサ８０２は、メモリから読み出される命令を使用することによって、電子デバイス８００の構成要素間の入力および出力データの受信および処理を制御してもよい。プロセッサ８０２は、単一チップ、複数のチップ、または複数の電気構成要素上に実装することができる。プロセッサ８０２のために使用することができるアーキテクチャの一部の例としては、専用または埋め込みプロセッサ、およびＡＳＩＣが挙げられる。
【００６５】
プロセッサ８０２は、１つ以上のコンピュータプログラムを動作させるための機能を備えてもよい。コンピュータプログラムコードは、非揮発性または有形のメモリ８０４に記憶されてもよい。少なくとも１つのメモリおよびコンピュータプログラムコードは、少なくとも１つのプロセッサを用いて、装置に、例えば図１から７に関して説明される機能のうちの１つ以上を含む、少なくとも１つの実施形態を遂行させるように構成されてもよい。典型的に、プロセッサ８０２は、オペレーティングシステムとともに動作して、コンピュータコードを実行し、データを生成および使用する。
【００６６】
例として、メモリ８０４は、ＥＥＰＲＯＭ、フラッシュメモリ、または同等のものといった非揮発性部分と、データの一時的記憶のためのキャッシュ領域を有するランダムアクセスメモリ（ＲＡＭ）といった揮発性部分とを含んでもよい。情報もまた、着脱可能な記憶媒体上に存在し、必要な時に、電子デバイス８００にロードまたはインストールされうる。
【００６７】
電子デバイス８００は、送信機および受信機を備える送受信機ユニット８０６と協働するアンテナ（または多重アンテナ）を備えてもよい。電子デバイス８００は、１つ以上のエアインターフェース規格および通信プロトコルとともに動作してもよい。例示として、電子デバイス８００は、多くの第１、第２、第３、および／または第４世代通信プロトコル、または同等のもののうちのいずれかに従って動作してもよい。例えば電子デバイス８００は、イーサネットおよびデジタル加入者回線（ＤＳＬ）といった有線プロトコル、ＩＳ−１３６（時分割多重アクセス（ＴＤＭＡ））、モバイル通信用グローバルシステム（ＧＳＭ）、およびＩＳ−９５（符号分割多重アクセス（ＣＤＭＡ））といった、第２世代（２Ｇ）ワイヤレス通信プロトコル、第３世代パートナーシップ・プロジェクト（３ＧＰＰ）、ＣＤＭＡ２０００、広帯域ＣＤＭＡ（ＷＣＤＭＡ）、および時分割同期ＣＤＭＡ（ＴＤ−ＳＣＤＭＡ）による３Ｇプロトコルといった、第３世代（３Ｇ）ワイヤレス通信プロトコル、または第４世代（４Ｇ）ワイヤレス通信プロトコル、８０２．１１といったワイヤレスローカルエリアネットワーキングプロトコル、Ｂｌｕｅｔｏｏｔｈといった短距離ワイヤレスプロトコル、および／または同等のものに従って動作してもよい。
【００６８】
電子デバイス８００のユーザインターフェースは、スピーカのような出力デバイス８０８、マイクロホン、キーパッド、または１つ以上のボタンもしくはアクチュエータのような１つ以上の入力デバイス８１０、および２次元以上で情報を表示するためのディスプレイ８１２を備えてもよい。
【００６９】
入力デバイス８１０は、ユーザのタッチからの入力を受信し、その情報をプロセッサ８０２に送信するように構成されるタッチ感応デバイスを備えてもよい。かかるタッチ感応デバイスは、タッチ感知面上のタッチの位置だけでなく強さも認識するように構成されてもよい。タッチ感応デバイスは、容量性感知、抵抗感知、表面音波感知、圧力感知、誘導感知、光感知といった感知技術に基づいてもよい。また、これら以外の感知技術に基づいてもよい。さらに、タッチ感応デバイスは、単一点感知技術または多点感知技術に基づいてもよい。ある実施形態において、入力デバイスは、ディスプレイ８１２の前部に位置付けられるタッチスクリーンである。入力デバイス８１０は、第１のアクションが第１のオブジェクトによる入力に関連付けられ、第２のアクションが第２のオブジェクトによる入力に関連付けられる入力モードにおいて、第１のオブジェクトおよび第２のオブジェクトの同時近接の検出（３０２）に応答して、動作するように構成されてもよい。
【００７０】
ディスプレイ８１２は、使用しようとしている電子デバイス８００に対して適切な任意のタイプであることができる。ある例としては、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、有機発光ダイオードディスプレイ（ＯＬＥＤ）、プロジェクタ、ホログラフィックディスプレイ、および同等のものが挙げられる。ホバリングは、画面が投影される面上にさえ定義することができる。例えば、指の近接性および位置を検出するためにカメラを使用することができる。
【００７１】
電子デバイス８００はまた、プロセッサ８０２と協働しうるように組み合わされる、先で例示されたシステム１２０，２２０のような近接検出システム８１４を備える。近接検出システム８１４は、指、スタイラス、または他のポインティングデバイスが、コンピュータシステムのある構成要素（ハウジング、タッチスクリーンのようなＩ／Ｏデバイスなど）のごく近くに非接触で存在することを検出しうるように構成される。
【００７２】
電子デバイス８００はまた、さらなるインターフェースデバイスやバッテリー、カメラ・ビデオ・オーディオモジュールなどのメディアキャプチャ要素、ユーザ識別モジュールといった、図８には例示されない更なるユニットおよび要素を備えてもよい。
【００７３】
本発明の実施形態は、ソフトウェア、ハードウェア、アプリケーションロジック、またはソフトウェア、ハードウェア、およびアプリケーションロジックの組み合わせによって実装されてもよい。例示的な実施形態において、アプリケーションロジック、ソフトウェアまたは命令セットは、種々の従来のコンピュータ可読媒体のうちのいずれにおいても保持されうる。本明細書のコンテクストにおいて、「コンピュータ可読媒体」は、図８に説明および描かれるコンピュータの一例とともに、コンピュータといった命令実行システム、装置、もしくはデバイスによる、またはそれと併せた使用のための命令を含有、記憶、通信、伝播、もしくは輸送することができる、任意の媒体または手段であってもよい。コンピュータ可読媒体は、コンピュータといった、命令実行システム、装置、もしくはデバイスによる、またはそれと併せた使用のための命令を含有もしくは記憶することかできる、任意の媒体または手段であってもよい、コンピュータ可読記憶媒体を備えてもよい。
【００７４】
所望される場合、本明細書において述べられる異なる機能のうちの少なくとも一部が、異なる順番で、および／または相互と同時に遂行されてもよい。さらに、所望される場合、上で説明される機能のうちの１つ以上が、オプションであってもよいし、または組み合わされてもよい。
【００７５】
本発明の実施形態の種々の側面が、独立請求項において記載されるが、他の側面は、説明された実施形態、および／または独立請求項の特徴を伴う従属請求項に記載の特徴の他の組み合わせ、ならびに請求項において単独では記載されていない組み合わせを含んでいる。
【００７６】
本明細書において本発明の例示的な実施形態を説明してきたが、これらの説明は、制限的意味で見なされるべきではないということにも留意されたい。そうではなく、添付の請求項において定義されるように、本発明の範囲から逸脱することなく実施されうる様々な変更および修正が存在する。
【図１】
2013524311.tif 000003
【図２】
2013524311.tif 000004
【図３】
2013524311.tif 000005
【図４】
2013524311.tif 000006
【図５】
2013524311.tif 000007
【図６】
2013524311.tif 000008
【図７】
2013524311.tif 000009
【図８】
2013524311.tif 000010
【国際調査報告】
2013524311.tif 000011
2013524311.tif 000012
2013524311.tif 000013
2013524311.tif 000014