(57)【要約】  ジェスチャ検出、およびジェスチャにより起動するコンテンツディスプレイのための、システム、デバイス、方法、および非一時的なコンピュータ可読媒体が提供される。例えば、少なくとも１つのプロセッサを含むジェスチャ認識システムが開示される。プロセッサは少なくとも１つの画像を受信するように構成されてもよい。プロセッサは、（ａ）ユーザーによって実行された手のジェスチャに対応する情報、および（ｂ）表面に対応する情報を識別するために、少なくとも１つの画像を処理するように構成されてもよい。プロセッサは、表面に関して識別された手のジェスチャに関連付けられるコンテンツを表示するように構成されてもよい。【選択図】図１
2018516422.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサを含むシステムであって、前記プロセッサが、
少なくとも１つの画像を受信する；
（ａ）ユーザーにより実行された手のジェスチャに対応する情報と、（ｂ）表面に対応する情報と、を識別するために少なくとも１つの画像を処理する；および、
表面に関して識別された手のジェスチャに関連付けられるコンテンツを表示する、
ように構成されることを特徴とする、システム。
【請求項２】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、ユーザーの視線に対応する情報を識別するように構成されることを特徴とする、請求項１に記載のシステム。
【請求項３】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、ユーザーの顔の１つ以上のエリアに関してユーザーの目の瞳孔に対応する情報を識別するように構成されることを特徴とする、請求項２に記載のシステム。
【請求項４】
表面がディスプレイを含み、少なくとも１つのプロセッサがさらに、視線に基づいてディスプレイの第１の領域を規定するように構成されることを特徴とする、請求項２に記載のシステム。
【請求項５】
コンテンツを表示するために、少なくとも１つのプロセッサがさらに、手のジェスチャに基づいて第１の領域内にカーソルを位置決めするように構成されることを特徴とする、請求項４に記載のシステム。
【請求項６】
少なくとも１つのプロセッサがさらに、視線の変化に基づいてディスプレイの第２領域を規定し；コンテンツを表示するために、少なくとも１つのプロセッサがさらに、第２の領域内にカーソルを位置決めするように構成されることを特徴とする、請求項４に記載のシステム。
【請求項７】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、ユーザーの目および表面に関して視線を判定するように構成されることを特徴とする、請求項２に記載のシステム。
【請求項８】
表面が、ディスプレイ装置を含むことを特徴とする、請求項７に記載のシステム。
【請求項９】
コンテンツを表示するために、少なくとも１つのプロセッサがさらに、識別された手のジェスチャと、識別された音声コマンドと、判定された視線と、に関連するコンテンツを表示するように構成されることを特徴とする、請求項７に記載のシステム。
【請求項１０】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、少なくとも１つの画像内に、ユーザーに関して第１の領域を規定するように構成されることを特徴とする、請求項２に記載のシステム。
【請求項１１】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、第１の領域内のポインティング要素の存在を識別するように構成され、そして、コンテンツを表示するために、少なくとも１つのプロセッサがさらに、第１の領域内のポインティング要素の存在に対応する位置において表面上にカーソルを表示するように構成されることを特徴とする、請求項１０に記載のシステム。
【請求項１２】
第１の領域を規定するために、少なくとも１つのプロセッサがさらに、第１の領域内に第２の領域を規定するように構成されることを特徴とする、請求項１０に記載のシステム。
【請求項１３】
少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、第２の領域内のポインティング要素の存在を識別するように構成され、そして、コンテンツを表示するために、少なくとも１つのプロセッサがさらに、第２の領域内のポインティング要素の存在に対応する位置において表面上のカーソルの移動を調節するように構成されることを特徴とする、請求項１２に記載のシステム。
【請求項１４】
第１の領域が、表面上に表示される第１のインターフェースに対応し、少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、第１の領域内の手のジェスチャを識別するように構成され、そして、コンテンツを表示するために、少なくとも１つのプロセッサがさらに、第１のインターフェースに関して手のジェスチャに対応する命令を提供するように構成されることを特徴とする、請求項１０に記載のシステム。
【請求項１５】
第１の領域を規定するために、少なくとも１つのプロセッサがさらに、第２の領域を規定するように構成され、第２の領域は表面上に表示された第２のインターフェースに対応し、そして、少なくとも１つの画像を処理するために、少なくとも１つのプロセッサがさらに、第２の領域内の手のジェスチャを識別するように構成され、そして、コンテンツを表示するために、少なくとも１つのプロセッサがさらに、第２のインターフェースに関して手のジェスチャに対応する命令を提供するように構成されることを特徴とする、請求項１４に記載のシステム。
【請求項１６】
表面に対応する情報を識別するために、少なくとも１つのプロセッサがさらに、少なくとも１つの画像内で、識別された手のジェスチャに関連する表面を識別するように構成され；そして、コンテンツを表示するために、少なくとも１つのプロセッサがさらに、識別された表面に関して識別される手のジェスチャに関連するコンテンツを表示するように構成されることを特徴とする、請求項１に記載のシステム。
【請求項１７】
少なくとも１つのプロセッサがさらに、表面の１つ以上の特性を識別するように構成されることを特徴とする、請求項１に記載のシステム。
【請求項１８】
ビジュアルコンテンツを表示することが、表面の１つ以上の特性に基づいて表面に関してコンテンツを表示することであることを特徴とする、請求項１７に記載のシステム。
【請求項１９】
少なくとも１つのプロセッサがさらに、表面の１つ以上の特性に基づいてコンテンツをフォーマットするように構成されることを特徴とする、請求項１７に記載のシステム。
【請求項２０】
少なくとも１つのプロセッサがさらに、コンテンツを検索するように構成されることを特徴とする、請求項１に記載のシステム。
【請求項２１】
少なくとも１つのプロセッサがさらに、手に関して照射装置を起動するように構成されることを特徴とする、請求項１に記載のシステム。
【請求項２２】
少なくとも１つのプロセッサがさらに、識別された手のジェスチャに基づいて照射装置に関連する１つ以上の設定を調節するように構成されることを特徴とする、請求項２１に記載のシステム。
【請求項２３】
少なくとも１つのプロセッサがさらに、１つ以上の音声入力を受信し；そして、
コマンドを識別するために、１つ以上の音声入力を処理する、
ように構成されることを特徴とする、請求項１に記載のシステム。
【請求項２４】
コンテンツを表示するために、少なくとも１つのプロセッサがさらに、表面に関して識別された手のジェスチャおよび識別されたコマンドに関連するコンテンツを表示するように構成されることを特徴とする、請求項２３に記載のシステム。
【請求項２５】
非一時的なコンピュータ可読媒体であって、前記非一時的なコンピュータ可読媒体が、その上に符号化された命令を有しており、その命令が処理装置により実行されたとき、処理装置に、
少なくとも１つの画像を受信させる；
（ａ）ユーザーにより実行された手のジェスチャに対応する情報と、（ｂ）表面に対応する情報と、を識別するために少なくとも１つの画像を処理させる；および、
表面に関して識別された手のジェスチャに関連付けられるコンテンツを表示させる、
ことを特徴とする、非一時的なコンピュータ可読媒体。
【請求項２６】
少なくとも１つのプロセッサを含むシステムであって、前記プロセッサが、
少なくとも１つの画像を受信する；
１つ以上の音声入力を受信する；
（ａ）デバイスに向けて配向されるユーザーの視線に対応する情報と、（ｂ）位置に向けて配向されるユーザーの手のジェスチャに対応する情報と、を識別するために少なくとも１つの画像を処理する；
コマンドを識別するために１つ以上の音声入力を処理する；および、
位置に関して識別されたコマンドに対応する１つ以上の命令をデバイスに提供する、
ように構成されることを特徴とする、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本出願は、引用により全体が本明細書に組み込まれる、２０１５年５月２８日出願の米国特許仮特許出願第６２／１６７，３０９号に関するものであり、且つその利益を主張するものである。
【０００２】
技術分野
本開示は、ジェスチャ検出の分野、より具体的には、ジェスチャにより起動するコンテンツディスプレイのためのデバイス及びコンピュータ可読媒体に関連する。
【背景技術】
【０００３】
ユーザーのデバイスとの相互作用、又はデバイス上でのアプリケーションの実行を可能にすることは、様々な設定において有用であり得る。例えば、キーボード、マウス、及びジョイスティックが、ユーザーがデータを入力し、データを操作し、且つ電子システムのプロセッサに様々な他のアクションを実行させることを可能にするために、電子システムに頻繁に含まれている。しかし、次第に、キーボード、マウス、及びジョイスティックなどのタッチベースの入力デバイスは、タッチフリーのユーザー相互作用を可能にするデバイスと置き換えられ、又はそれにより補われつつある。例えば、システムは、例えばユーザーの手及び／又は指を含むユーザーの画像を捕捉するための画像センサーを含む場合がある。プロセッサは、そのような画像を受信し、そしてユーザーにより実行されたタッチフリーのジェスチャに基づいてアクションを起動するように構成される場合がある。
【発明の概要】
【０００４】
１つの開示された実施形態において、ジェスチャ検出システムが開示されている。ジェスチャ認識システムは、少なくとも１つのプロセッサを備え得る。プロセッサは、少なくとも１つの画像を受信するように構成されてもよい。プロセッサはまた、（ａ）ユーザーにより行われる手のジェスチャに相当する情報及び（ｂ）表面に相当する情報を識別するために、少なくとも１つの画像を処理するように構成されてもよい。プロセッサはまた、表面に関して識別された手のジェスチャに関連したコンテンツを表示するように構成されてもよい。
【０００５】
実施形態に関連する付加的な態様は、以下の記載において部分的に明記され、且つ前記記載から部分的に理解され、或いは、開示された実施形態の実施により理解される（ｌｅａｒｎｅｄ）場合がある。
【０００６】
前述の一般的な記載及び以下の詳細な記載は共に、典型的且つ例示的なものにすぎず、請求の範囲を限定するものではないことが理解される。
【図面の簡単な説明】
【０００７】
本開示に組み込まれ且つその一部を構成する添付の図面は、様々な開示された実施形態を示す。
【図１】開示された実施形態を実施するためのシステムの一例を示す。
【図２】開示された実施形態を実施するためのシステムの別の例を示す。
【図３】開示された実施形態を実施するためのシステムの別の例を示す。
【図４】開示された実施形態を実施するためのシステムの別の例を示す。
【図５】開示された実施形態を実施するためのシステムの別の例を示す。
【図６Ａ】ａは開示された実施形態の実施の一例を示す。
【図６Ｂ】ｂは開示された実施形態の実施の別の例を示す。
【図７Ａ】開示された実施形態を実施するための方法の一例を示す。
【図７Ｂ】開示された実施形態を実施するための方法の別の例を示す。
【図８】開示された実施形態を実施するためのシステムの別の例を示す。
【図９】開示された実施形態の実施の別の例を示す。
【図１０】開示された実施形態を実施するためのシステムの一例を示す。
【図１１】開示された実施形態の実施の別の例を示す。
【発明を実施するための形態】
【０００８】
本開示の態様及び実施は、データ処理、より具体的には、ジェスチャにより起動されるコンテンツディスプレイ、及び、眼の追跡を使用する改善されたジェスチャ制御に関連する。
【０００９】
ユーザーのデバイスとの相互作用、又はデバイス上でのアプリケーションの実行を可能にすることは、様々な設定において有用であり得る。例えば、キーボード、マウス、及びジョイスティックが、ユーザーがデータを入力し、データを操作し、且つ電子システムのプロセッサに様々な他のアクションを実行させることを可能にするために、電子システムに頻繁に含まれている。しかし、次第に、キーボード、マウス、及びジョイスティックなどのタッチベースの入力装置は、タッチフリーのユーザー相互作用を可能にするデバイスと置き換えられ、又はそれにより補われつつある。例えば、システムは、例えばユーザーの手及び／又は指を含むユーザーの画像を捕捉するための画像センサーを含む場合がある。プロセッサは、そのような画像を受信し、そしてユーザーにより実行されたタッチフリーのジェスチャに基づいてアクションを起動するように構成される場合がある。
【００１０】
今日の徐々に急速になっていくハイテク社会において、ユーザーの経験と「活動の容易さ」は、デバイスの選択時にユーザーが行う選択において重要な要因となった。タッチフリーの相互作用技術は既に、広い規模で十分に利用可能となりつつある段階であり、ジェスチャ（例えばポインティング）を他の技術（例えば、音声コマンドと視線）と組み合わせる性能は、ユーザーの経験を更に向上させることができる。
【００１１】
例えば、家庭用娯楽システム、スマートフォン、及びタブレットなどのデバイスとのユーザー相互作用に関して、自然なユーザーインターフェース方法の組み合わせ（例えば、ジェスチャの追跡、及び音声コマンド／視線）の使用により、以下のような相互作用が可能になり得る：
・（例えば、ＴＶスクリーン上に）表示されるようなアルバムリストをジェスチャし／指し示して、アルバムリストに口頭で「ランダムに再生（ｐｌａｙ  ｒａｎｄａｍ）」するよう命令し、特定のアルバムをプレイリストなどに追加する
・映像（ｍｏｖｉｅ）のキャラクターをジェスチャし／指し示して、「もっと私に話して（ｔｅｌｌ  ｍｅ  ｍｏｒｅ）」と伝える
・部屋の表面／エリア（例えば、壁、テーブル、窓など）をジェスチャし／指し示して、表面にビデオを再生／投影する（又は、レシピ或いは他の幾つかのコンテンツを表示する）よう口頭で要求する（ポイント＆ウォッチ（ｐｏｉｎｔ  ＆  ｗａｔｃｈ））
・窓をジェスチャし／指し示して、（例えば、「少し持ち上げて（ｒａｉｓｅ  ａ  ｂｉｔ）」と伝えることにより）窓や日よけなどを持ち上げるよう口頭で要求／命令する
・ロボット相互作用も向上され得る−例えば、ロボットは、デバイスを運び、特定のライトのスイッチを切り、及び／又は、床の上の特定のしみをきれいにするよう口頭で命令され得る。
【００１２】
本明細書には、ポインティング要素が指し示している対象又は画像に関連するコマンドの実行を可能にする技術が記載される。図１は、開示された技術の１つの実施に従うシステム（５０）を概略的に示す。システム（５０）は、例えば指、ワンド、又はスタイラスであり得るポインティング要素（５２）を把握、又は特定するように構成され得る。システム（５０）は、視認空間（５６）の画像を得るように構成され得る１以上の画像センサー（５４）を備える。１以上の画像センサー（５４）により得られた画像は、プロセッサ（５６）へと入力されるか、又は提供され得る。プロセッサ（５６）は、画像を分析し、ポインティング要素（５２）が指し示す視認空間（６２）における対象（５８）、画像、又は位置の存在を判定／特定することができる。システム（５０）はまた、（例えば、視認空間（６２）内、又は視認空間（６２）の近辺の）音を受信／把握することができる１以上のマイクロホン（６０）を備える。１以上のマイクロホン（６０）により拾い上げられた音は、プロセッサ（５６）へと入力／提供され得る。プロセッサ（５６）は拾い上げられた音を分析し、その間ポインティング要素は、拾い上げられた音の中の１以上の音声コマンド／メッセージの存在を識別するなどのために、対象、画像、又は位置を指し示す。その後、プロセッサは、特定されたメッセージを解釈し、そして、（ａ）ポインティング要素が指し示している対象又は画像（同様に、特定の実施では、提供されているジェスチャのタイプ）及び（ｂ）音声コマンド／メッセージの組み合わせ／複合物に関連する又は関係している、１以上のコマンドを判定又は識別することができる。その後、プロセッサはデバイス（７０）に識別されたコマンド（複数可）を送信することができる。
【００１３】
従って、記載された技術は、限定されないが画像処理、リアルタイムの検査、貨物運送、及び警報／通知を含む、複数の技術分野における特定の技術課題及び長年の不備に向けられるとともに、これらに対処することが、認識され得る。本明細書で詳細に記載されるように、開示された技術は、言及された技術分野における言及された技術課題及び満たされていないニーズに対する特定の技術的な解決策を提供し、且つ、既存の手法に多数の利点と改善をもたらす。
【００１４】
言及されたデバイス（同様に、本明細書で言及される他のデバイス）は、限定されないが以下を含むデジタルデバイスを含み得ることに、注意されたい：パーソナルコンピュータ（ＰＣ）、娯楽装置、セットトップ・ボックス、テレビ（ＴＶ）、モバイルゲーム機、携帯電話又はタブレット、電子書籍リーダー、携帯ゲーム機、ラップトップ又はウルトラブックなどのポータブルコンピュータ、オール・イン・ワン、ＴＶ、コネクテッドＴＶ、ディスプレイ装置、家電、通信デバイス、エアコン、ドッキングステーション、ゲーム機、デジタルカメラ、時計、インタラクティブ表面、３Ｄディスプレイ、娯楽装置、スピーカー、スマートホームデバイス、台所器具、メディアプレイヤー又はメディアシステム、位置ベースのデバイス；並びに、モバイルゲーム機、ピコプロジェクター又は埋込み型プロジェクター、医療機器、医療用ディスプレイ装置、伝達手段、車内／空中情報娯楽システム、ナビゲーションシステム、着用可能なデバイス、拡張現実可能なデバイス、着用可能なゴーグル、位置ベースのデバイス、ロボット、インタラクティブデジタルサイネージ、デジタルキオスク、自動販売機、自動預金受払機（ＡＴＭ）、及び／又は、言及された命令などのデータを受信、出力、及び／又は処理することが可能な他のデバイス。
【００１５】
図１に記載されるようなセンサー（複数可）（５４）、同様に他の図面に記載され且つ本明細書に記載及び／又は言及される他の様々なセンサーは、例えば、三次元（３−Ｄ）視認空間の画像を得るように構成される画像センサーを含み得ることに、注意されたい。画像センサーは、例えば、カメラ、光センサー、赤外線（ＩＲ）センサー、超音波センサー、近接センサー、ＣＭＯＳ画像センサー、短波赤外線（ＳＷＴＲ）画像センサー、又は反射率センサー、エリアをスキャンすることが可能な単一のフォトセンサー又は１−Ｄラインセンサー、ＣＣＤ画像センサー、反射率センサー、三次元画像センサー又は２つ以上の二次元（２−Ｄ）実体像センサーを含む深度ビデオシステム、及び、環境の視覚的な特徴を感知することが可能な他のデバイスの１以上を含む、画像取得装置を備える場合がある。センサー（複数可）の視認空間に位置するユーザー又はポインティング要素は、センサー（複数可）により得られた画像に現れる場合がある。センサー（複数可）は、センサーに統合される又は有線又は無線式通信チャネルによりセンサー（複数可）に接続され得る演算処理装置に、２−Ｄ又は３−Ｄモノクロ、カラー、又はＩＲの映像を出力する場合がある。
【００１６】
図１に記載されるようなプロセッサ（５６）、同様に他の図面に記載され且つ本明細書に記載及び／又は言及される他の様々なプロセッサは、例えば、入力上で論理演算を実行する電気回路を含み得る。例えば、そのようなプロセッサは、１以上の集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理装置（ＣＰＵ）の全て又は一部、グラフィック処理装置（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、アプリケーションに特異的な集積回路（ＡＳＩＣ）、又は、命令の実行又は論理演算の実行に適している他の回路を含む場合がある。少なくとも１つのプロセッサは、とりわけ、画像センサーにより得られる画像を保存するためのプロセッサ及びメモリを含み得る処理装置などの、処理装置の一部に一致するか、或いはそれを構成し得る。処理装置は、とりわけ、センサーにより得られた画像の保存に使用され得るプロセッサ及びメモリを含む場合がある。処理装置及び／又はプロセッサは、プロセッサ及び／又はメモリに存在する１以上の命令を実行するように構成されてもよい。そのようなメモリは、例えば、永続メモリ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＡＲＯＭ、フラッシュメモリデバイス、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ブルーレイ媒体の１以上を含み、及び、命令（即ち、ソフトウェア又はファームウェア）及び／又は他のデータを含み得る。特定の実施において、処理装置の一部としてメモリが構成され得るが、他の実施において、メモリは処理装置の外部にある場合もある。
【００１７】
センサー（５４）により捕捉された画像は、センサー（５４）によりデジタル化され、プロセッサ（５６）へと入力されるか、又は、アナログ方式でプロセッサ（５６）へと入力され、プロセッサ（５６）によりデジタル化される場合もある。典型的な近接センサーは、とりわけ、容量性センサー、容量性変位センサー、レーザー距離計、飛行時間（ＴＯＦ）技術を使用するセンサー、ＩＲセンサー、磁気の変形を検出するセンサー、又は、近接センサー付近の対象の存在を示す情報を生成することが可能な他のセンサーを含む場合がある。幾つかの実施形態において、近接センサーにより生成された情報は、対象の近接センサーまでの距離を含む場合もある。近接センサーは、単一センサーでも、又は１セットのセンサーでもよい。単一センサー（５４）は図１に示されているが、システム（５０）は、複数のタイプのセンサー（５４）及び／又は同じタイプの多重センサー（５４）を含んでもよい。例えば、多重センサー（５４）は、システム（５０）の他のコンポーネントの外部の単一デバイスにおいて、又は、少なくとも１つの外部センサー、及びシステム（５０）の別のコンポーネント（例えばプロセッサ（５６）又はディスプレイ）に構築される少なくとも１つのセンサーを備える他の様々な構成において、システム（５０）の全てのコンポーネントを収容するデータ入力デバイスなどの単一デバイス内に配置されてもよい。
【００１８】
プロセッサ（５６）は、１以上の有線又は無線式の通信回線を介してセンサー（５４）に繋げられ、且つ、画像などのセンサー（５４）からのデータ、又は本明細書に記載されるものなどのセンサー（５４）により収集可能な任意のデータを受信し得る。そのようなセンサーデータは、例えば、センサー及び／又はディスプレイから距離を空けて配置されたユーザーの手のセンサーデータを含み得る（例えば、図２に示される及び本明細書に記載されるものなど、ディスプレイ装置上で表示されるアイコン又は画像に対してジェスチャを行うユーザーの手及び指の画像（１０６））。画像は、センサー（５４）により捕捉されたアナログ画像、センサー（５４）により捕捉又は判定されたデジタル画像、センサー（５４）により捕捉されたデジタル画像又はアナログ画像のサブセット、プロセッサ（５６）により更に処理されたデジタル情報、センサー（５４）により感知されたデータに関連した情報の数学的表示又は変形、画像を表す度数データなどの視覚的情報として提示される情報、センサーの視界における対象の存在などの概念的情報の１以上を含み得る。画像はまた、画像捕捉中のセンサーの状態又はそのパラメータ（例えば露光量、フレームレート、画像の分解能、カラービット分解能、深さ分解能、センサー（５４）の視界）を示す情報を含み得、画像捕捉中の他のセンサーからの情報、例えば、近接センサー情報、加速装置情報、画像を更に捕捉するために行われる更なる処理を記載する情報、画像捕捉中の照明条件、センサー（５４）によりデジタル画像から抽出された機能、又は、センサー（５４）により感知されたセンサーデータに関連した他の情報を含む。更に、言及された画像は、静止画像、モーション画像（すなわち映像）、又は他の視覚に基づくデータに関連した情報を含み得る。特定の実施において、１以上のセンサー（５４）から受信されたセンサーデータは、モーションデータ、ＧＰＳ位置座標及び／又は方向ベクトル、視線情報、音データ、及び、様々なタイプのセンサーにより測定可能な任意のタイプのデータを含み得る。加えて、特定の実施において、センサーデータは、２以上のセンサーからのデータの組み合わせを分析することにより得られたメトリクスを含み得る。
【００１９】
ある実施において、プロセッサ（５６）は、１つ以上の有線通信リンクまたは無線通信リンクを介して、複数のセンサーからデータを受信してもよい。プロセッサ（５６）も、ディスプレイ（例えば、図２において描かれるようなディスプレイ装置（１０））に接続されてもよく、本明細書に記載および／または参照されたされたものなどの、１つ以上の画像を表示するためのディスプレイに命令を送信してもよい。様々な実施において、記載されたセンサー（複数化）、プロセッサ（複数化）、およびディスプレイ（複数化）は、単一デバイス内に組み込まれてもよく、また、センサー（複数化）、プロセッサ（複数化）、およびディスプレイ（複数化）の様々な組合せを有する複数の装置にわたって分配されてもよいことを理解されたい。
【００２０】
本明細書に記載および／または参照されるように、参照された処理装置、および／またはプロセッサは、センサーにより得られた画像を分析し、ディスプレイと相互作用するためのユーザーにより活用されてもよい１つ以上のポインティング要素（例えば、図１において示されるようなポインティング要素（５２））を追跡するように構成されてもよい。ポインティング要素は、例えば、センサーの視認空間内に位置するユーザーの指先を含んでもよい。いくつかの実施形態において、ポインティング要素は、例えば、ユーザーの１つ以上の手、手の一部、１本以上の指、指の１つ以上の部分、および１つ以上の指先、または携帯用のスタイラスを含んでもよい。様々な図はポインティング要素として指または指先を図示する可能性があるが、他のポインティング要素が同様に使用されてもよく、同じ目的を果たしてもよい。したがって、指、指先等は、本明細書内のどこに述べられていても、実施例のみと見なされるべきであり、同様に他のポインティング要素を含むように広く解釈されるべきである。
【００２１】
いくつかの実施形態において、プロセッサは、検出されたジェスチャ、検出されたジェスチャの位置、および検出されたジェスチャの位置と制御境界の関係に関連付けられるアクションを引き起こすように構成される。プロセッサにより実行されたアクションは、例えば、そのジェスチャに関連付けられるメッセージの生成またはコマンドの実行であってもよい。例えば、生成されたメッセージまたはコマンドは、限定されないが、オペレーティングシステム、１つ以上のサービス、１つ以上のアプリケーション、１つ以上のデバイス、１つ以上の遠隔アプリケーション、１つ以上の遠隔サービス、または１つ以上の遠隔デバイスを含む、任意のタイプの送信先に送られてもよい。例えば、参照された処理装置／プロセッサは、ユーザーが自身の指先で指し示すディスプレイ上に、アイコンなどのディスプレイ情報を示すように構成されてもよい。プロセッサ／処理装置はさらに、ユーザーにより指し示される位置に対応するディスプレイ上の出力を表示するように構成されてもよい。
【００２２】
本明細書に使用されるように、「コマンド」および／または「メッセージ」は、限定されないが、オペレーティングシステム、１つ以上のサービス、１つ以上のアプリケーション、１つ以上のデバイス、１つ以上の遠隔アプリケーション、１つ以上の遠隔サービス、または１つ以上の遠隔デバイスの１つ以上を対象とする、および／またはそれらを含む任意のタイプの送信先によって受信／処理されうる命令および／または内容を指すことができることを、留意すべきである。
【００２３】
本明細書に参照された様々なコンポーネントが、特定の実施に従って、ともに結合されうること、または複数のコンポーネントへとさらに分離されうることも理解されたい。加えて、いくつかの実施において、様々なコンポーネントは、切り離されたマシン上で実行されるか、具体化されてもよい。さらに、特定のコンポーネントのいくつかの操作は、より詳細に本明細書に記載され、例示される。
【００２４】
現在開示される主題も、グラフィック（または他の）要素の選定などに応じて、外部デバイスまたはウェブサイトとの通信を可能にするように構成されてもよい。そのような通信は、外部デバイス上で実行されるアプリケーション、外部デバイス上で実行されるサービス、外部デバイス上で実行されるオペレーティングシステム、外部デバイス上で実行されるプロセス、外部デバイスのプロセッサ上で実行される１つ以上のアプリケーション、外部デバイスのバックグラウンドにおいて実行されるソフトウェアプログラム、または外部デバイス上で実行される１つ以上のサービスにメッセージを送信することを含んでもよい。加えて、ある実施において、メッセージは、デバイス上で実行されるアプリケーション、デバイス上で実行されるサービス、デバイス上で実行されるオペレーティングシステム、デバイス上で実行されるプロセス、デバイスのプロセッサ上で実行される１つ以上のアプリケーション、デバイスのバックグラウンドにおいて実行されるソフトウェアプログラム、またはデバイス上で実行される１つ以上のサービスに送信されうる。
【００２５】
現在開示される主題は、グラフィック（または他の）要素の選定に応じて、外部デバイス上で実行されるアプリケーションからの画像内で確認されるグラフィック要素、外部デバイス上で実行されるサービス、外部デバイス上で実行されるオペレーティングシステム、外部デバイス上で実行されるプロセス、外部デバイスのプロセッサ上で実行される１つ以上のアプリケーション、外部デバイスのバックグラウンドにおいて実行されるソフトウェアプログラム、または外部デバイス上で実行される１つ以上のサービスに関係するデータを要求するメッセージを送信することも含みうる。
【００２６】
現在開示される主題は、グラフィック要素の選定に応じて、デバイス上で実行されるアプリケーションからの画像内で確認されるグラフィック要素、デバイス上で実行されるサービス、デバイス上で実行されるオペレーティングシステム、デバイス上で実行されるプロセス、デバイスのプロセッサ上で実行される１つ以上のアプリケーション、デバイスのバックグラウンドにおいて実行されるソフトウェアプログラム、またはデバイス上で実行される１つ以上のサービスに関係するデータを要求するメッセージを送信することも含みうる。
【００２７】
外部デバイスまたはウェブサイトへのメッセージは、コマンドであってもよく、または該コマンドを含んでもよい。コマンドは、例えば、外部デバイスまたはウェブサイト上でアプリケーションを実行するためのコマンド、外部デバイスまたはウェブサイト上で実行されるアプリケーションを止めるためのコマンド、外部デバイスまたはウェブサイト上で実行されるサービスを起動するためのコマンド、外部デバイスまたはウェブサイト上で実行されるサービスを止めるためのコマンド、または画像内に確認されるグラフィック要素に関係するデータを送信するためのコマンドから選択されてもよい。
【００２８】
デバイスへのメッセージは、コマンドであってもよい。コマンドは、例えば、デバイス上でアプリケーションを実行するためのコマンド、デバイスまたはウェブサイト上で実行されるアプリケーションを止めるためのコマンド、デバイス上で実行されるサービスを起動するためのコマンド、デバイス上で実行されるサービスを止めるためのコマンド、または画像内に確認されるグラフィック要素に関係するデータを送信するためのコマンドから選択されてもよい。
【００２９】
現在開示された主題はさらに、グラフィック要素の選定に応じて、画像内に確認されるグラフィック要素に関係する外部デバイスデータまたはウェブサイトデータから受信すること、またユーザーに受信データを示すことを、含んでもよい。外部デバイスまたはウェブサイトとの通信は、通信ネットワーク上にあってもよい。
【００３０】
２つの手で指し示すことにより実行されるコマンドおよび／またはメッセージは、例えば、エリアを選択すること、指先を互いに離すまたは近づけることによって選択エリアを拡大または縮小すること、または指先の回動運動による選択エリアを回転することを含みうる。２本の指で指し示すことにより実行されるコマンドおよび／またはメッセージは、音楽トラックを映像トラックと組み合わせること、または、ゲーミング相互作用（ｇａｍｉｎｇ  ｉｎｔｅｒａｃｔｉｏｎ）のために、１本の指で指し示すことによって対象を選択して、別の指を用いてディスプレイ上の位置を指し示すことによりその移動の方向を設定することなどの２つの対象間の相互作用を作成すること、も含みうる。
【００３１】
ユーザーが指し示してきたディスプレイ上の位置を認識した後に、ユーザーにより実行されたあらかじめ規定されたジェスチャに応じて、参照されたコマンドは実行されてもよくおよび／またはメッセージは生成されてもよい。システムは、ジェスチャを検出し、そして関連付けられたコマンドを実行する、および／または関連付けられたメッセージを生成するように構成されてもよい。検出されるジェスチャは、例えば、スワイプする動き、２本の指でピンチする動き、ポインティング、左から右へのジェスチャ、右から左へのジェスチャ、上方へのジェスチャ、下方へのジェスチャ、押すジェスチャ、握りこぶしを開くこと、握りこぶしを開きセンサーに近づけること（「ブラスト」ジェスチャとしても公知）、タップするジェスチャ、手を振るジェスチャ、指または手で行う円形のジェスチャ、右回りおよび／または左回りのジェスチャ、拍手するジェスチャ、逆拍手するジェスチャ、手を閉じて拳にすること、ピンチするジェスチャ、逆にピンチするジェスチャ、手の指を広げること、手の指を一緒に閉じること、グラフィック要素を指し示すこと、あらかじめ定義された時間作動した対象を保持すること、グラフィック要素をクリックすること、グラフィック要素をダブルクリックすること、グラフィック要素の右側をクリックすること、グラフィック要素の左側をクリックすること、グラフィック要素の下部をクリックすること、グラフィック要素の上部をクリックすること、対象を握ること、右からグラフィック要素に向かってジェスチャを行うこと、左からグラフィック要素に向かってジェスチャを行うこと、左からグラフィック要素を通り抜けること、対象を押すこと、拍手すること、グラフィック要素の上で手を振ること、ブラストジェスチャ、グラフィック要素上での右回りまたは左回りのジェスチャ、２本の指でグラフィック要素を握ること、クリック・ドラッグ・リリースの動き、アイコンをスライドさせること、および／またはセンサーにより検出可能である他のいかなる動きまたはポーズ、の１つ以上を含んでもよい。
【００３２】
加えて、ある実施において、参照されたコマンドは、遠隔デバイスのディスプレイ装置に表示された仮想キーを押し下げること；選択カルーセル（ｓｅｌｅｃｔｉｏｎ  ｃａｒｏｕｓｅｌ）を回転させること；デスクトップを切り替えること、遠隔デバイス上であらかじめ定義されたソフトウェアアプリケーションを動かすこと；遠隔デバイス上のアプリケーションをオフにすること；スピーカーの電源をオンにするまたはオフにすること；音量を上げるまたは下げること；遠隔デバイスをロックすること、遠隔デバイスのロックを解除すること、メディアプレイヤーにおいて、またはＩＰＴＶチャンネル間で別のトラックへスキップすること；ナビゲーションアプリケーションを制御すること；通話を始めること、通話を終了すること、通知を示すこと、通知を表示すること；写真または音楽アルバムギャラリーをナビゲートすること、ウェブページをスクロールすること、電子メールを示すこと、１つ以上の書類または地図を示すこと、ゲームのアクションを制御すること、地図を指し示すこと、マップまたは画像を拡大または縮小すること、画像上に絵を描くこと、作動可能なアイコンを掴み作動可能なアイコンをディスプレイ装置から引き出すこと、作動可能なアイコンを回転させること、遠隔デバイス上でタッチコマンドエミュレートすること、１つ以上のマルチタッチコマンドを実行すること、停止または再生するために、表示された映像上で１つ以上のマルチタッチコマンド、タッチジェスチャコマンド、タイピング、クリックを実行すること、映像のフレームにタグ付けまたは映像のフレームを捕捉すること、着信メッセージを示すこと；着信に応答すること、着信を無音にするか拒否すること、届いたリマインダーを開くこと；ネットワークコミュニティサービスから受信した通知を示すこと；遠隔デバイスにより生成された通知を示すこと、あらかじめ定義されたアプリケーションを開くこと、ロックされたモードから遠隔デバイスを変更し最近の通話アプリケーションを開くこと、ロックされたモードから遠隔デバイスを変更しオンラインサービスアプリケーションまたはブラウザを開くこと、ロックされたモードから遠隔デバイスを変更し電子メールアプリケーションを開くこと、ロックされたモードから遠隔デバイスを変更しオンラインサービスアプリケーションまたはブラウザを開くこと、ロックされたモードからデバイスを変更しカレンダーアプリケーションを開くこと、ロックされたモードからデバイスを変更しリマインダーアプリケーションを開くこと、ロックされたモードからのデバイスを変更し、ユーザーにより設定され、遠隔デバイスの製造業者により設定され、サービスオペレーターにより設定されるあらかじめ定義されたアプリケーションセットを開くこと、作動可能なアイコンを起動すること、メニュー項目を選択すること、ディスプレイ上のポインターを移動させること、タッチフリーマウス（ｔｏｕｃｈ  ｆｒｅｅ  ｍｏｕｓｅ）を操作すること、ディスプレイ上の作動可能なアイコン、ディスプレイ上の情報を変更すること；から選択される、遠隔デバイスに対するコマンドでありえる。
【００３３】
さらに、ある実施において、参照されたコマンドは、第１のデバイスの表示スクリーン上に表示された仮想キーを押し下げること；選択カルーセルを回転させること；デスクトップを切り替えること、第１のデバイス上であらかじめ定義されたソフトウェアアプリケーションを動かすこと；第１のデバイス上のアプリケーションをオフにすること；スピーカーの電源をオンにするまたはオフにすること；音量を上げるまたは下げること；第１のデバイスをロックすること、第１のデバイスのロックを解除すること、メディアプレイヤーにおいて、またはＩＰＴＶチャンネル間で別のトラックへスキップすること；ナビゲーションアプリケーションを制御すること；通話を始めること、通話を終了すること、通知を示すこと、通知を表示すること；写真または音楽アルバムギャラリーをナビゲートすること、ウェブページをスクロールすること、電子メールを示すこと、１つ以上の書類または地図を示すこと、ゲームのアクションを制御すること、インタラクティブ映像およびアニメコンテンツを制御すること、映像または画像を編集すること、地図を指し示すこと、マップまたは画像を拡大または縮小すること、画像上に絵を描くこと、第１のデバイス上でアイコンをディスプレイに向かって押すこと、作動可能なアイコンを握り作動可能なアイコンをディスプレイ装置から引き抜くこと、作動可能なアイコンを回転させること、第１のデバイス上でタッチコマンドエミュレートすること、１つ以上のマルチタッチコマンドを実行すること、停止または再生するために、表示された映像上で１つ以上のマルチタッチコマンド、タッチジェスチャコマンド、タイピング、クリックを実行すること、映像コマンドまたは音楽コマンドを編集すること、映像のフレームにタグ付けまたは映像のフレームを捕捉すること、映像から映像のサブセットを切り取ること、着信メッセージを示すこと；着信に応答すること、着信を無音にするか拒否すること、届いたリマインダーを開くこと；ネットワークコミュニティサービスから受信した通知を示すこと；第１のデバイスにより生成された通知を示すこと、あらかじめ定義されたアプリケーションを開くこと、ロックされたモードから第１のデバイスを変更し最近の通話アプリケーションを開くこと、ロックされたモードから第１のデバイスを変更しオンラインサービスアプリケーションまたはブラウザを開くこと、ロックされたモードから第１のデバイスを変更し電子メールアプリケーションを開くこと、ロックされたモードから第１のデバイスを変更しオンラインサービスアプリケーションまたはブラウザを開くこと、ロックされたモードからデバイスを変更しカレンダーアプリケーションを開くこと、ロックされたモードからデバイスを変更しリマインダーアプリケーションを開くこと、ロックされたモードからのデバイスを変更し、ユーザーにより設定され、第１のデバイスの製造業者により設定され、サービスオペレーターにより設定されるあらかじめ定義されたアプリケーションセットを開くこと、作動可能なアイコンを起動すること、メニュー項目を選択すること、ディスプレイ上のポインターを移動させること、タッチフリーマウス（ｔｏｕｃｈ  ｆｒｅｅ  ｍｏｕｓｅ）を操作��ること、ディスプレイ上の作動可能なアイコン、ディスプレイ上の情報を変更すること；から選択される、デバイス対するコマンドでありえる
【００３４】
本明細書に使用されるような「移動」は、３次元の経路を通る空間、速度、加速度、角速度、移動経路、およびユーザーの手および／または指（例えば、図２において描かれ、本明細書に記載されるような）などの物理的位置または位置の変化の他の公知の特性の１つ以上を含んでもよい。
【００３５】
本明細書に使用されるような「位置」は、センサ（５４）の場所に関連する対象のＸ、ＹおよびＺ軸座標などの、３次元空間における１つ以上の次元内に場所を含んでもよい。位置は、センサ（５４）から受信したセンサーデータにおいて検出された別の対象に関連する場所または距離も含んでもよい。いくつかの実施形態において、位置は、ユーザーの姿勢を示す、ユーザーの体に関連する１つ以上の手および／または指の場所も含んでもよい。
【００３６】
本明細書に使用されるような「配向」は、手（複数可）または指（複数可）が指し示している位置または方向を含む、１つ以上の手または１つ以上の指の配置を含んでもよい。いくつかの実施形態において、「配向」は、別の検出された対象に関連する、センサ（５４）の検出の領域に関連する、または表示されたデバイスもしくは表示されたコンテンツの検出の領域に関連する検出された対象の位置または方向を伴ってもよい。
【００３７】
本明細書に使用されるような「ポーズ」は、手および／または１つ以上の指の配置を含んでもよく、時間、および手および／または１つ以上の指が互いに対して位置するあらかじめ決められた配置において、固定した点で判定されてもよい。
【００３８】
本明細書に使用されるような「ジェスチャ」は、センサ（５４）から受信したセンサーデータを使用して検出された移動の検出／認識されたあらかじめ定義されたパターンを含んでもよい。いくつかの実施形態において、ジェスチャは移動の認識されたあらかじめ定義されたパターンに対応するあらかじめ定義されたジェスチャを含んでもよい。あらかじめ定義されたジェスチャは、キーボードキーをタイプする、マウスボタンをクリックする、またはマウスハウジングを移動させることなどの作動可能な対象を操作することを示す移動のパターンを伴ってもよい。本明細書に使用されるような「作動可能な対象」は、選択された又は操作されたときにデータの入力または機能の実行を結果としてもたらす、任意の表示された視覚的な表現を含んでもよい。いくつかの実施形態において、視覚的な表現は、キーボードイメージ、仮想キー、仮想ボタン、仮想アイコン、仮想ノブ、仮想スイッチ、および仮想スライダなどの表示された画像の表示された画像項目または部分を含んでもよい。
【００３９】
ポインティング要素（５２）が指し示している対象、画像、または位置を判定するために、プロセッサ（５６）は、ポインティング要素の先端（６４）の位置、および視認空間（６２）内のユーザーの目（６６）の位置を判定し、視線（ｖｉｅｗｉｎｇ  ｒａｙ）（６８）が対象、位置、または画像（５８）に出会うまで、ポインティング要素（５２）の先端（６４）を介してユーザーの目（６６）からの視線（６８）を拡張してもよい。代替的に、ポインティングは、対象、画像または位置（５８）を指し示して終了する視認空間（６２）内でジェスチャを実行するポインティング要素（５２）を伴ってもよい。この場合、プロセッサ（５６）は、ポインティング要素（５２）がジェスチャを実行すると、視認空間（６２）内のポインティング要素の軌道を判定するように構成されてもよい。ポインティング要素がジェスチャ終了時に指し示している対象、画像または位置（５８）は、視認空間内の対象画像、または位置への軌道を推定／計算することによって判定されてもよい。
【００４０】
ポインティング要素がアイコンなどのスクリーン上のグラフィック要素を指し示しているその場合において、グラフィック要素は、プロセッサにより特定される上で、例えば、グラフィック要素の色を変更すること、またはグラフィック要素のスクリーン上のカーソルを指し示すことにより強調表示されてもよい。コマンドはグラフィック要素により記号化されたアプリケーションに向けられてもよい。この場合、ポインティングは、スクリーン上に表示された動くカーソルを使用して、間接的なポインティングであってもよい。
【００４１】
ジェスチャにより起動するコンテンツディスプレイのための方法／プロセスを含む様々な方法の態様が本明細書に記載される。そのような方法は、ハードウェア（回路類、専用ロジック等）、ソフトウェア（コンピュータシステムまたは専用のマシン上で動かされるなどの）、または両方の組合せを含んでもよい処理ロジックにより実行される。ある実施において、そのような方法は、１つ以上のデバイス、プロセッサ（複数可）、マシン等などにより実行することができ、それらは、限定されないが、本明細書で記載および／または参照されている。模範的な方法（７００）の様々な態様は、図７Ａにおいて示され、本明細書に記載された。特定の実施において、方法（７００）（および／または本明細書で記載および／または参照された他の方法／プロセスのいずれか）の様々な操作、ステップ等は、本明細書に記載および／または参照されるプロセッサ／処理装置、センサー、および／またはディスプレイの１つ以上によって実行されてもよいが、他の実施形態において、方法（７００）のいくつかの操作／ステップは他の処理装置、センサー等で実行されてもよいことが、理解されたい。加えて、特定の実施において、本明細書に記載された方法／プロセスの１つ以上の操作／ステップは、方法（７００）の少なくとも１つのステップを実行するプロセッサ（５６）などの複数のプロセッサ、および方法（７００）の少なくとも１つのステップを実行する携帯電話などのネットワーク化されたデバイス中の別のプロセッサを含む分散コンピューティングシステムを使用して実行されてもよい。さらに、いくつかの実施形態において、記載された方法／プロセスの１つ以上のステップは、クラウドコンピューティングシステムを使用して実行されてもよい。
【００４２】
説明を簡略化するために、方法は一連の行為として描写・記載される。しかしながら、本開示に従った行為は、様々な順序で、および／または同時に発生し、他の行為は本明細書には提示も記載もされていない。さらに、すべての記載されたあるいは例証された行為が、開示された主題に一致する方法を実施するために必要とされるわけではないこともある。加えて、当業者は、該方法を状態図または事象によって一連の相互関係状態として代替的に表すことができると理解および認識するであろう。さらに、本明細書で開示された方法は、そのような方法をコンピュータ装置に運び、および移すことを促すために１つの製品に保存され得ることを認識されたい。本明細書で使用されるように、製品との用語は、任意のコンピュータ可読デバイスあるいは記憶媒体からアクセス可能なコンピュータープログラムを包含することを意図している。
【００４３】
工程（７０２）では、プロセッサ（例えば、プロセッサ（５６））は、本明細書に記載される方法などで、センサー（５４）によって捕捉された画像などの少なくとも１つの画像を受信することができる。工程（７０４）では、プロセッサ（例えばプロセッサ（５６））は、捕捉され得るか、あるいはさもなければマイクロフォン（６０）によって感知されるなどして、１つ以上の音声信号（あるいは他のそうした音声コンテンツ）を受信することができる。工程（７０６）では、プロセッサ（例えばプロセッサ（５６））は、少なくとも１つの画像（（７０２）で受け取られる画像など）を処理することができる。そのようにする際に、ユーザーによって行われた手によるジェスチャに対応する情報は識別可能である。さらに、ある実施において、表面に対応する情報は、本明細書に記載されるように識別可能である（ある実施において、参照された「表面」は、壁、スクリーンなどに相当することがあるが、他の実施では、参照された「表面」は、本明細書に記載されるようにディスプレイ、モニターなどに相当することがある）。工程（７０８）では、プロセッサ（例えばプロセッサ（５６））は、音声信号（（７０４）で受け取られる音声信号など）を処理することができる。そのようにする際に、あらかじめ定められた音声コマンドなどのコマンドは、本明細書に記載されるやり方などで識別可能である。工程（７２４）では、プロセッサ（例えばプロセッサ（５６））は、音声および／または映像コンテンツなどのコンテンツを表示することができる。ある実施では、そのようなコンテンツは識別された手によるジェスチャおよび／または識別された音声コマンドに関連するコンテンツであり得る。さらに、ある実施では、参照されたコンテンツは、本明細書に記載されるように参照された表面に関連して、識別され、受け取られ、フォーマットされるなどしたコンテンツであり得る。
【００４４】
実例として、記載された技術により、ユーザーはコンピュータシステムと対話することができる。図２に示されるように、デバイス（７０）は、ディスプレイ装置（１０）と、ディスプレイ装置（１０）に取り付けられた画像センサー（８）とを含むコンピュータシステムであってもよい。ユーザー（２）は、ディスプレイ装置（１０）上の位置（２０）を指し、音声コマンドを発してもよく、これは、ユーザーが指しているディスプレイ上の位置に関連するなどして、ディスプレイ装置（１０）に表示された画像に関連し、参照され、および／または、アドレス指定される。例えば、いくつかの音楽アルバムはディスプレイ装置（１０）に提示されたアイコン（２１）によって表されることもある。ユーザー（２）はアイコンの１つを指（１）などのポインティング要素で指して、「アルバムを再生して（ｐｌａｙ  ａｌｂｕｍ）」と言い、（本明細書に記載されるように）センサー（８）によって捕捉された画像内の参照された手によるジェスチャと感知された音声信号内の音声コマンドとを識別後、プロセッサ（５６）はその後、口頭による命令に対応するコマンドをデバイス（７０）へ送る。この例において、ポインティングはポインティング要素を使用する直接的なポインティングであるか、あるいはディスプレイ装置（１０）に表示されたカーソルを利用する間接的なポインティングであることもある。
【００４５】
別の例として、ユーザーは映画／映像を休止してもよく、および／または、スクリーンに表示された自動車を指して、「もっと話して」と言ってもよい。これに応じて、以下に詳細に記載されるように、様々な情報を（例えば第三者のソースから）検索して表示することができる。
【００４６】
さらに、ある実施では、記載された技術は、ホームオートメーション装置に関連して実行可能である。例えば、記載された技術は、ユーザーがウインドウを指して、例えば、「もう少し開いて（ａ  ｂｉｔ  ｍｏｒｅ  ｏｐｅｎ）」と言うと、（および、本明細書に記載される方法などで参照された手によるジェスチャと音声コマンドを識別後）、１つ以上の対応する命令が提供され得るか、および／または１つ以上のアクションが開始され得る（例えば、参照されたウインドウを開くために）ように、自動的なおよび／または電動のウインドウを開く装置に関連して構成することができる。
【００４７】
他の図面に描かれたり、本明細書で記載および／または参照されたりする様々な他のディスプレイと同様に、図２に描かれるようなディスプレイ（１０）も、例えば、任意の面、表面、あるいは画像あるいは他の視覚的情報の表示を引き起こすことができる他の手段も含み得ることに留意されたい。さらに、ディスプレイは面または表面上へ画像あるいは視覚的情報を映し出す任意のタイプのプロジェクターを含んでもよい。例えば、そのディスプレイは、テレビジョンセット、コンピューターモニター、頭部装着型ディスプレイ、放送用リファレンスモニター（ｂｒｏａｄｃａｓｔ  ｒｅｆｅｒｅｎｃｅ  ｍｏｎｉｔｏｒ）、液晶ディスプレイ（ＬＣＤ）スクリーン、発光ダイオード（ＬＥＤ）ベースのディスプレイ、ＬＥＤバックライトＬＣＤディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、電界発光（ＥＬＤ）ディスプレイ、電子ペーパー／インクディスプレイ、プラズマディスプレーパネル、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、薄膜トランジスターディスプレイ（ＴＦＴ）、ハイパフォーマンスアドレッシングディスプレイ（ＨＰＡ）、表面伝導型電子放出素子、量子ドットディスプレイ、干渉変調器ディスプレイ、スウェプトボリューム（ｓｗｅｐｔ−ｖｏｌｕｍｅ）ディスプレイ、カーボンナノチューブディスプレイ、可変焦点鏡ディスプレイ、発光ボリューム（ｅｍｉｓｓｉｖｅ  ｖｏｌｕｍｅ）ディスプレイ、レーザー・ディスプレイ、ホログラフィーディスプレイ、ライトフィールドディスプレイ、壁、三次元ディスプレイ、電子インクディスプレイ、および視覚情報を出力するための他の電子機器の１つ以上を含み得る。そのディスプレイはタッチスクリーンを含むか、あるいはその一部であってもよい。図２はデバイス（７０）の一部としてのディスプレイ（１０）を描く。しかしながら、代替的な実施形態では、ディスプレイ（１０）はデバイス（７０）の外側にあってもよい。
【００４８】
該システムはさらに画像センサ（８）を含む（あるいは画像センサ（８）から情報を得る）こともあり、これは、ある実施において、デバイス（７０）に隣接して位置付けられてもよく、破線（１１）（例えば、図２に描かれるように）によって境界を定められた３次元（３Ｄ）視認空間の画像を得るように構成されてもよい。図２に描かれるようなセンサー（８）は、例えば、図１に関連して上に詳細に記載されたセンサー（５４）などのセンサー（例えば、カメラ、光センサー、ＩＲセンサー、ＣＭＯＳ画像センサーなど）を含むことができることにも留意されたい。一例として、図２はデバイス（７０）に隣接している画像センサ（８）を描いているが、代替的な実施形態では、画像センサ（８）はデバイス（７０）に組み込まれることもあれば、デバイス（７０）から離れて位置付けられることさえある。
【００４９】
例えば、ある実施では、センサーから、埋め込まれたデバイス・マザーボード、プロセッサ、アプリケーションプロセッサ、ＧＰＵ、アプリケーションプロセッサによって制御されたプロセッサ、あるいは他のプロセッサへのデータ転送を減らすために、ジェスチャによる認識システムは、センサーへ部分的にあるいは完全に統合されることもある。センサー、ＩＳＰあるいはセンサーユニットへの部分的な統合しか生じない場合、あらかじめ定められたオブジェクトに関連するオブジェクトの特徴を抽出する画像前処理は、センサー、ＩＳＰあるいはセンサーユニットの一部として統合されてもよい。映像／画像および／またはオブジェクトの特徴の数学的表現は、専用の有線接続あるいはバスによる外部ＣＰＵのさらなる処理のために転送されてもよい。システム全体がセンサー、ＩＳＰまたは、センサーユニット統合される場合、メッセージあるいはコマンド（例えば、本明細書で参照されたメッセージとコマンドを含む）は、外部ＣＰＵに送信されてもよい。さらに、いくつかの実施形態において、システムが立体画像センサーを組み込む場合、環境の深度マップは、２Ｄ画像センサーまたは画像センサーＩＳＰ中での映像／画像の前処理によって作成され、および、映像／画像、オブジェクトの特徴、および／または、他の集約された情報の数学的な表現は外部ＣＰＵでさらに処理されることもある。
【００５０】
デバイス（７０）のプロセッサまたは（図１に描かれるような）処理装置（５６）は、ユーザー（２）が指／指先（１）を向けるディスプレイ（１０）上のアイコン（２１）などの表示情報を提示するように構成されてもよい。処理装置はユーザーが指差す位置に対応するディスプレイ（１０）上で出力（例えば指標）を示すようにさらに構成されてもよい。例えば、図２に示されるように、ユーザー（２）は、ディスプレイ（１０）上で描かれるような表示情報（アイコン（２１）に指（１）を向けてもよい。この例において、処理装置は、ユーザーがアイコンに対応するディスプレイ（１０）上の特定の座標（（３Ｄディスプレイの場合には（ｘ、ｙ）あるいは（ｘ、ｙ、ｚ））を指しているという決定に基づいてアイコン（２１）をユーザーが指していると判定してもよい。図１に関して詳細に上記されたように、ユーザーが指している座標は、（図２に示されるような光線（３１）によって反射されるように）アイコンに関して指／指先（１）の位置に基づいて判定可能であり、ある実施では、ユーザーの目の位置と、ユーザーの目からアイコンへ向かう（図２に示されるような光線（３１）によって反射されるように）視認光線の判定とに基づいて判定可能である。
【００５１】
ジェスチャを行う位置（図２に描かれるように、ユーザーがジェスチャをしているアイコン（２１）の位置など）は、ユーザーが指す位置としてシステムにより複数の点で定義可能であるディスプレイ（１０）上の位置に関連した数学的な表現などの表現であってもよいことに留意されたい。明記されるように、ジェスチャを行う位置は３Ｄディスプレイの場合、ディスプレイ（ｘ、ｙ）あるいは（ｘ、ｙ、ｚ）上の特定の座標を含んでもよい。ジェスチャを行う位置は、ディスプレイ（１０）上の領域または位置（例えば候補面）を含んでもよい。加えて、ジェスチャを行う位置は、ディスプレイ上の位置に関連した確率関数（３Ｄのガウス関数）として定義され得る。ジェスチャを行う位置は、ジェスチャを行う位置のディスプレイ（１０）上の位置の推定精度の確率の指標などの検出の質を記載した一連の追加の特徴に対応付けることが可能である。
【００５２】
スマートグラス、例えば、ユーザー（２）にデジタル情報に示す能力を備えたウェアラブルグラスの場合、ジェスチャを行う位置は、仮想平面の位置として定義されることもあり、仮想平面とはスマートグラスのディスプレイによって提示されるデジタル情報を見るためにユーザーが認識するものである。
【００５３】
表示情報は静止画像、アニメーション画像、インタラクティブオブジェクト（アイコンなど）、映像、および／または、情報の任意の視覚的な表現を含み得る。表示情報は、上に記載されているようなディスプレイの任意の方法によって表示することができ、フラットディスプレイ、曲面ディスプレイ、プロジェクター、ウェアラブルグラスで使用されたものなどの透明ディスプレイ、および／またはユーザーの目あるいは瞳孔に直接または間接的に映し出すディスプレイを含んでもよい。
【００５４】
指し示されたアイコン（例えば、図２のアイコン（２１））の表示あるいはフィードバックは、例えば、視覚表示、音声表示、触知表示、超音波表示、および触覚表示の１つ以上によって提供されてもよい。視覚表示を表示することは、例えば、ディスプレイ（１０）上にアイコンを表示すること、ディスプレイ上でアイコンを変更すること、（図２に描かれるように）ディスプレイ上でアイコンの色を変更すること、表示灯を表示すること、強調を表示すること、印影を付ける効果あるいは他の効果、ディスプレイ上で指標を動かすこと、指向性の振動表示を提供すること、および／または、空気触知表示を提供することを含んでもよい。視覚的な指標は上部、あるいはディスプレイに現われる他の画像あるいは映像の前に現れることもある。ユーザーによって選択されたディスプレイ上のアイコンなどの視覚的な指標は、ユーザーの目と、一般の表示光線（あるいは視線）上にある指先と同一直線上であってもよい。本明細書で使用されるように、および、以下に非常に詳細に記載される理由により、「ユーザーの目」との用語は、視線に関連するユーザーの顔上の位置または領域を定義する略語句である。したがって、本明細書で使用されるように、「ユーザーの目」との用語は、一方の目の瞳孔あるいは他の目の特徴、目の間のユーザーの顔の位置、ユーザーの目の少なくとも１つに関連したユーザーの顔上の位置、あるいは視線に関連づけられ得る顔上の他の複数の解剖学的特徴を包含する。この概念もしばしば「仮想目」と呼ばれる。
【００５５】
アイコンは、ディスプレイ（１０）上に表示され、ユーザー（２）により選択され得る典型的なグラフィック要素である。アイコンに加えて、グラフィック要素は、例えば、表示された画像および／または映画内に表示されたオブジェクト、ディスプレイ上に、あるいは表示されたファイル内に表示されたテキスト、およびインタラクティブゲーム内に表示されたオブジェクトをさらに含み得る。この記載の全体にわたって、「アイコン」と「グラフィック要素」という用語は、任意の表示された情報も含めるように広く使用される。
【００５６】
記載された技術の別の典型的な実施は、図７Ｂで示されるような、および本明細書に記載されるような方法（７３０）である。ある実施では、記載された技術は、限定されないがロボットを含む様々な他のデバイスとの対話の向上を可能にするように構成され得る。
【００５７】
例えば、図３に示されるように、参照されたデバイス（７０）はロボット（１１）であってもよい。工程（７３２）では、プロセッサは、本明細書に記載される方法などでセンサーによって捕捉された画像などの少なくとも１つの画像を受信することができる。工程（７３４）では、プロセッサは１つ以上の音声信号（あるいは他のそのような音声コンテンツ）を受信することができる。工程（７３６）では、プロセッサは少なくとも１つの画像（（７３２）で受け取った画像など）を処理することができる。そうする際に、デバイス（例えばロボット）の方へ向けられたユーザーの視線に対応する情報に対応する情報を識別することができる。さらに、ある実施では、（例えば、ある位置の方へ向けられるように）ユーザーの手によるジェスチャに対応する情報に対応する情報を、本明細書に記載されるように識別することができる。工程（７０８）では、プロセッサは音声信号（（７０４）で受け取られた音声信号など）を処理することができる。そのようにする際に、あらかじめ定められた音声コマンドなどのコマンドは、本明細書に記載されるやり方などで識別可能である。工程（７４０）では、プロセッサはデバイス（例えばロボット）に１つ以上の命令を提供することができる。ある実施では、そのような命令は、本明細書に記載されるように、位置に関して識別された音声コマンドに相当する場合がある。
【００５８】
実例として、図３に示されるように、ユーザー（２）はオブジェクトを指して、ユーザーが指しているオブジェクトに関連するタスクなどの特別なタスクを行うために、ロボット（１１）へ口頭コマンドを発する。ユーザーは室内の位置（例えば位置２３）またはオブジェクトを指し、ロボットに「ここをきれいに／丹念に掃除してください（Ｐｌｅａｓｅ  ｃｌｅａｎ  ｈｅｒｅ  ｂｅｔｔｅｒ／ｍｏｒｅ  ｃａｒｅｆｕｌｌｙ）」と言う。ユーザーは、例えば本を指して、「取ってきて」と言ってもよく、あるいはランプを指して、「この明かりを消してくれない？」と言ってもよい。ユーザーがオブジェクトを指すときに、オブジェクトの代わりにロボットを見ていると判定される可能性がある場合、プロセッサ（５６）はユーザーの頭部（４）の位置に基づいて視線（３３）を識別することもあり、本明細書に詳細に記載されるように、万一ユーザーがポインティング要素（１）を見ているとしたらユーザーの目がどこにあるのかを判定することもある。その後、対応するコマンド（例えば、参照された清掃作業を行うために部屋の領域（２４）へロボット（１１）をナビゲートするコマンド）がデバイスに提供され得る。
【００５９】
さらに、ある実施では、記載された技術は、オブジェクトまたは表面上で画像、映像、および／または他のコンテンツの表示を可能にする場合がある。例えば、図４に示されるように、ポインティング要素（例えば、描かれでいる指（１））は、オブジェクトまたは表面（２６）（例えば、壁、プロジェクタースクリーンなど））を指差すことができるか、あるいは他の方法においてジェスチャで示すことができる。こうしたジェスチャの１つ以上の画像（あるいは他のそうした視覚的なコンテンツ）を捕捉し、および／または他の方法で（例えば、カメラ、センサーなどにより）受信することができ、例えば、ジェスチャの発生、特別なジェスチャの存在、および／または表面の態様を識別するために処理可能である。そうしたジェスチャ（例えば、ポインティングジェスチャ）は、ユーザーが本明細書に記載される様々な技術を駆使して、表示される表示コンテンツ（例えば、テキスト、画像、映像、媒体など）に関して希望する、例えば、表面、領域、部分、表示スクリーンなどを識別することができる。さらに、ある実施では、ユーザー（２）の視線、視認方向／光線などの様々な態様を（例えば、本明細書に記載される方法で）決定することができ、および、ユーザーがコンテンツを提示するように要求し得る特定の表面、領域などを識別する際に、利用することができる／説明することができる。
【００６０】
そのようなジェスチャ、ポインティング、注視、凝視などと同時に／共に、ユーザーはさらに、「ここでコンテンツ（例えばレシピ、映像など）を表示する」などのコマンド（例えば、口頭コマンド／可聴コマンド）を投影し、あるいは他の方法において言葉で表すか、あるいは、提供することもある。これに応じて、対応する音声コンテンツ／入力（例えば、本明細書に記載されるように、上で参照された視覚的なコンテンツの捕捉と同時にマイクロフォンによって捕捉されるような）は、ユーザーによって提供される１つ以上のコマンドを識別するために（例えば、ユーザーが表面に表示されることを望む具体的なコンテンツ、例えばレシピ、映像などを、ユーザーがジェスチャで示している当該コンテンツに関連して識別して）、（例えば、音声認識技術を使用して）処理可能である。その後、そうしたコンテンツを（例えば、映像ストリーミングサービスなどの第三者のリポジトリから）検索し、ユーザーによって識別された表面上に／該表面に関連して表示することができる。
【００６１】
工程（７１４）では、プロセッサは、参照された表面の様々な特徴、特性などを識別するために、参照された捕捉画像を処理することができる。すなわち、ある実施では、参照されたデバイス（７０）は、この場合、オブジェクトまたは表面（２６）上のコンテンツ、画像など（２５）を投影するか、あるいは表示するように構成された、および／またはさもなければ投影または表示することができる、任意のタイプのプロジェクター（１２）であってもよいことを理解されたい。ある実施において、センサー（例えば画像センサー）は、表面の様々な入力（例えば画像、映像など）を捕捉することができ、プロセッサ（５６）は、ユーザーが指している／ジェスチャで示している（例えば、表面の色、形、空間の配向、反射率など）と判定され得るオブジェクト、表面、あるいは領域の特徴あるいは特性を識別するか、決定するか、他の方法で抽出するために、そうした入力を処理するように構成されることもある。（工程（７１６）において、例えば、第三者のリポジトリから、および、本明細書に記載されるように）要求されたコンテンツを検索するか、あるいは他の方法で受信すると、プロセッサは、特定のやり方で（例えば、直線に、歪めずに、など）ユーザーに知覚できるように、表面／オブジェクト上のコンテンツ／画像をどのように（例えば、どのような投影設定、パラメータなどで）フォーマットおよび／または投影するかを計算するためなどに、任意の数の方法で識別されたオブジェクトの特徴／特性を利用することもあり、および、（例えば、工程（７１８）において、本明細書に記載されるように）これに応じてコンテンツをフォーマットすることもある。例えば、プロジェクターが表面／オブジェクトの前に直接位置していない場合、プロセッサは、投影されたコンテンツが任意のせん断あるいは他の歪なく正確に／正しく現われるように、（例えば、どのような投影設定、パラメータなどを用いて）どのようにしてコンテンツを投影するかを決定するためにコンテンツ／画像を処理することもある。さらに、ある実施では、プロセッサ（５６）は、コンテンツ／画像が投影されなければならないコンテンツの適切なサイズをさらに決定するためなどに、ユーザー（２）と表面（２６）との間の距離を判定／測定するように構成されてもよい。
【００６２】
さらなる実例として、参照されたセンサー（例えば画像センサ）は、参照されたコンテンツが提示されている／投影される表面の入力（例えば画像、映像など）を継続的におよび／または受け取り、および捕捉することができる。そうした入力を処理することができ、例えば、表面上のコンテンツの提示に関係する様々な態様／特性を反映して、様々な決定を計算することができる。例えば、表面上に投影されているコンテンツの可視性、画質などを決定することができる。様々な環境条件（例えば、部屋の日光の量、日光が輝いている方向、部屋の照明の量など）は時間とともに変化することがあり、そのような条件は表面上のコンテンツの提示の様々な特性に影響を与えることもあるということが認識されよう。これに応じて、（例えば、コンテンツが表面上で提示されている方法を反映する画像センサーからの入力を処理する／分析することにより）そうした特性をモニタリングすることにより、参照された環境条件などを考慮して、ユーザー（２）に見える可能性が高いやり方でコンテンツが提示されているかどうかを判定することができる。例えば、コンテンツが（例えば、部屋内の日光量が追加されたために）あまり見えなくなったと判定されると、プロジェクターの各種パラメータ、設定、構成など、および／またはコンテンツを調整して、コンテンツの可視性を改善することができる。さらに、先に明記したように、参照された表面の画像などを捕捉する光センサーに由来する入力に基づいて計算された決定に基づいて、コンテンツの様々な態様をフォーマットすることができる。例えば、参照された入力に基づいて、コンテンツが提示されている表面領域が比較的大きい（例えば、５０インチより大きい）ということを判定し、および／または、ユーザーが表面から比較的離れて立っている（例えば、３フィート以上離れて）と判定した後、コンテンツをユーザーにもっと見えるようにするために、コンテンツのサイズ（例えば、テキストコンテンツのフォントサイズ）を大きくすることができる。さらに、上に明記されたように、コンテンツが投影される／提示される方法を構成する／調整する際に表面の特性を判定し、説明することができる。例えば、表面が特別な色であるという決定に基づいて、参照された表面上に提示される際にもっと目に見えるようにするべく、例えば、テキストコンテンツのために対照的な色を選択するために、コンテンツの様々な態様を調整することができる。
【００６３】
開示された技術はまた、図５に概略的に示されるシステム（５１）などにおいて、ポインティング要素を使用して、ジェスチャ、ポインティングなどの判定／識別に基づいて／に応じて、コマンドがシステムに生成される／入力されるシステムなどにおいて、制御フィードバックを提供するための技術を含む。システム（５１）は、視認空間／エリア（５６）の画像を捕捉する／得ることができる１つ以上のセンサー（５４）（例えば、画像センサー）を含むことができる。１つ以上のセンサー（５４）によって捕捉された画像は、プロセッサ（５６）に入力／提供され得る。プロセッサ（５６）は、本明細書に記載される方法などで、画像を分析し、視認空間（６）内の／それに関連するポインティング要素の位置を特定／判定する。画像内のポインティング要素を特定することで、ポインティング要素（または先端（６４）などの、ポインティング要素の一部）の位置は、視認空間（６２）自体内で特定／判定され得る。工程（７２０）では、プロセッサ（５６）は、その後、照射装置（７４）（これは、例えば、プロジェクター、ＬＥＤ、レーザーなどであり得る）を起動させる。例えば、特定の実施では、照射装置（７４）は、ポインティング要素（５２）の少なくとも一部に向けて光を投影する／それを照射するために、照射装置（７４）をポインティング要素（６４）に向けるか又は集中させ、光源を照射することにより起動され得る。図６ａに示されるように、例えば、ポインティング要素が指（１）である場合、指（１）の先端（１０１）は、プロジェクター（７４）によって照射され得る。代替的に、図６ｂにおける示されるように、手全体が、（例えば、手全体がポインティング要素として使用されている判定に基づいて）照射され得る。照射は、好ましくは、少なくともユーザーに可視のポインティング要素（５２）の側面上で行われる。さらに、特定の実施では、照射装置に関連した様々な設定は、例えば、特定されたジェスチャに基づいて調節することができる（工程（７２２）など）。例えば、照射の色は、ポインティング要素が実行しているジェスチャなどの、様々な状態に依存し得る。プロセッサ（５６）は、画像中のポインティング要素の境界を特定する及びポインティング要素の境界内のポインティング要素の照射を制限するように構成され得る。システム（５１）は、視認空間（６２）内のポインティング要素の位置を継続的に／断続的にモニタリングすることができ、ポインティング要素が視認空間内で移動したときに（照射装置によって生成されたような）照射を継続的に／断続的にポインティング要素に向ける又は配向することができる。
【００６４】
さらに、特定の実施では、開示された技術は、カーソルを（例えばスクリーン上の）インターフェース内に位置付け、そのようなインターフェース内のカーソルを移動させる方法およびシステムを提供する。図８は、本明細書に開示された一実施形態によるシステム（２０７）を示す。システム（２０７）は、同じ画像内でユーザーの目とポインティング要素（１）（留意されるように、ポインティング要素は、手、手の一部、指、指の一部、スタイラス、ワンドなどであり得る）の両方を捕捉するなどのために、ユーザー（２）の少なくとも一部の画像を得るように位置付ける／構成することができる画像センサー（２１１）を含むことができる。センサー（２１１）によって得られた画像または捕捉された他のそのようなビジュアルコンテンツ／データは、（例えば、工程（７０２）で及び本明細書で記載されるように）プロセッサ（２１３）に入力／提供され得る及び／又はそれよって受信され得る。プロセッサは、ユーザーの視線（Ｅ１）（これは、例えば、ユーザーが目を配向すると決心し得る、視線の角度及び／又はディスプレイ（２１５）の領域及び／又はその上に表示されるコンテンツ、例えば、アプリケーション、ウェブページ、ドキュメントなどを反映し得る）及び／又はそのような視線に対応する情報を判定／特定するために、（例えば、工程（７０６）で及び本明細書で記載されるように）そのような画像を処理／分析することができる。例えば、参照された視線は、ユーザーの顔上の１つ以上のエリア／目印（ｌａｎｄｍａｒｋｓ）に対するユーザーの瞳孔の位置に基づいて／それを考慮して計算され得る。図８に示されるように、ユーザーの視線は、ユーザーの顔から（例えば、表面／スクリーン（２１５）への）延長する視線（Ｅ１）として定義され得、これは、ユーザーが見ている方向を反映する。
【００６５】
参照された視線を判定するまたはそうでなければ特定することで、プロセッサは、（例えば工程（７１０）で）視線に属するかまたはそうでなければ関連すると判定され得るスクリーン（２１５）上の１つ以上の領域またはエリアを線引きする（ｄｅｌｉｎｅａｔｅ）かそうでなければ定義することができる。例えば、特定の実施では、そのような領域は、視線によって判定された中央点（２０１）を有している及び特定の長さの側面または縁を有している、長方形（２０２）であり得る。他の実施では、そのような領域は、特定の半径を有している及び視線によって判定された中央点を有している円（または他の形状）であり得る。様々な実施において、領域及び／又はその境界が、（例えば、グラフィカルオーバーレイを介して）スクリーン上に表示またはそうでなければ描写されることもあれば描写されないこともあることが理解されるべきである。
【００６６】
プロセッサはさらに、スクリーン／表面上にカーソル（Ｇ）を表示、投影、またはそうでなければ描写するように構成され得る。カーソルは、例えば、ディスプレイスクリーン上に表示されるあらゆるタイプのグラフィック要素であってもよく、静的または動的であり得る。カーソルは、スクリーン上に表示された画像を指し示すために使用される指示端部（ｐｏｉｎｔｅｄ  ｅｎｄ）（ＰＩ）であってもよい。特定の実施では、プロセッサが（例えば、定義されたエリアまたはゾーン内の）ポインティング要素の存在を検出またはそうでなければ判定するときに、またはプロセッサが、ポインティングジェスチャなどの、特定のジェスチャを実行するポインティング要素を検出するときに、カーソルは表示され得る（および随意に他の時間に隠され得る）。スクリーン上のカーソルの特定の位置／位置決めの判定は、カーソルが配向される傾向に関係してスクリーン内の特定の領域（２０２）の位置を判定または特定することを含むことができ、ポインティング要素（例えばポインティングジェスチャ）によって／関連して最近実行された１つ以上のジェスチャも含み得る。本明細書で使用される／参照されるように、用語「ジェスチャ」は、ポインティング要素のあらゆる移動を指すことができることが理解されるべきである。
【００６７】
特定の領域（２０２）を判定／特定することで、ユーザーは、その後、領域内のカーソル（Ｇ）を移動させ、ポインティング要素でのジェスチャなどによって、カーソルを使用して領域内のコンテンツと相互作用することができる。ユーザーの視線の方向／角度を使用して、カーソルを特定の領域に配向する又は「集中させる」ことによって、ポインティング要素によって提供されたジェスチャは、（例えば、ユーザーの視線が他に考慮されない場合に、そのようなジェスチャが他に関連付けられるかもしれないディスプレイの他の領域とは対照的に）その領域に配向されているものとして処理され得る。色、サイズ、またはスタイルなどの、カーソルの任意数のグラフィカルな特徴が、ランダムに又は特定の命令、信号などに応じて変更することができることが理解されるべきである。
【００６８】
工程（７１２）では、プロセッサは、ディスプレイの第２の領域を定義することができる。特定の実施では、そのような第２の領域は、ユーザーの参照された視線の変化の特定に基づいて定義され得る。例えば、それの判定で、ユーザーが、視線（Ｅ１）から視線（Ｅ２）に変更するなど、視線を変更した（すなわち、ユーザーが、例えば、視線をスクリーン／表面の１つのエリアまたは領域から別のエリアまたは領域に移動させたかシフトさせた）ことが判定されると、本明細書に記載されるプロセスは、カーソルが配向される又は集中されるスクリーン上の新しい領域を判定または特定するために、繰り返され得る。その際、ポインティング要素の移動またはそれによるジェスチャなしで、ユーザーが視線を変更するときに、カーソルは元の領域から新しい領域に迅速に移動され得る。これは、例えば、ユーザーが以前に相互作用した領域からのスクリーンの反対側のウインドウなど、ユーザーがスクリーンの別の領域と相互作用したいシナリオにおいて利点を有し得る。例えば、（カーソルをスクリーンの片方の側からもう一方の側に配向し得る）大きく横に振る（ｂｒｏａｄ  ｓｗｅｅｐｉｎｇ）ジェスチャを実行するよりもむしろ、ユーザーの視線の変化を検出することによって、カーソルは、ポインティング要素のジェスチャまたは移動を必要とすることなく、新しい領域に移動させることができる。
【００６９】
図９を参照すると、特定の実施では、空間中の第１の領域（Ａ１）は、センサー／画像化装置によって捕捉された又は得られた（例えばユーザーの）画像内に／それに関係して（例えばプロセッサによって）特定／定義することができる。プロセッサは、領域（Ａ１）内のポインティング要素の存在を検索／特定し、ポインティング要素が領域（Ａ１）内に存在することを判定すると（例えば、スクリーン／表面上の）カーソルを表示、投影、及び／又は描写するように構成され得る。（Ａ１）のサブ領域などの第２の領域（Ａ２）がさらに定義され、それによって、ポインティング要素が、（Ａ２）に対応する空間／エリア内に存在すると判定されたときに、カーソルの移動を領域（Ａ２）内で調節することができ、それによりカーソルの分解能が改善される。
【００７０】
特定の実施では、記載された技術は、位置ベースのジェスチャの相互作用を可能にするように構成され得る。例えば、開示された技術は、別のウインドウ内などで（例えば、ディスプレイスクリーンまたは他のそのようなインターフェース上で）同時に表示され得る、複数の適用、特徴などを個々に／独立して制御するための方法およびシステムを提供する。開示された技術に従って、特定のジェスチャが、参照された適用によって／それに関係して占められるスクリーン／インターフェース上の領域／エリアに関係する／対応する位置／領域で実行されたという判定に基づいて、表示された適用の１つが、ユーザーによる制御のために選択され得る。例えば、図１０に示されるように、２つのウインドウ（４０１）  、（４０２）が、単一のインターフェース／スクリーン（２１５）内に表示されるシナリオでは、ウインドウの１つ内のスクロール／ナビゲーションは、（例えば、スクリーン上のマウスカーソルの位置を無視しながらも）ユーザーがそのウインドウに対応するスクリーンの領域の前でスクロールジェスチャを実行したという判定に応じて達成され得る。その際、開示された技術は、例えば、同じスクリーン／インターフェース内の２つのウインドウの同時／一緒のスクロール（あるいは他のそのようなナビゲーションまたは他のコマンド）を、ウインドウの１つをその内部でスクロールする又はそうでなければそれと相互作用させる前に選択する又は起動させる必要なしに可能にする。ユーザーが、特定のウインドウ「の前の」エリア／空間においてスクロール動作を行ったことを判定すると、対応するスクロールコマンドは、その適用に配向され得る／送られ得る。
【００７１】
例として、ユーザーが図１０に描写されるようにスクリーン（２１５）に面しているシナリオでは、（領域（４０１）の前に存在すると判定され得る）ユーザーの左手によって提供されていると特定されたジェスチャに対応するコマンドは、領域（４０１）  に適用され得る／関連付けられ得る（例えば、領域内でウインドウを上／下にスクロールする）が、一方で、（領域（４０２）  の前に存在すると判定され得る）ユーザーの右手によって提供されていると特定されたジェスチャに対応するコマンドは、領域（４０２）  に適用され得る／関連付けられ得る（例えば、領域内でウインドウを左／右にスクロールする）。その際、ユーザーは、各々の手（または他のそのようなポインティング要素）を使用して、異なる領域に配向されるジェスチャを提供することなどによって、スクリーンの複数の領域に存在するコンテンツと同時に相互作用することができる。
【００７２】
本明細書に記載される技術は、主としてコンテンツのディスプレイおよびジェスチャ制御に関して例証されているが、記載された技術はまた、任意数の追加のまたは代替的な設定またはコンテキストにおいて及び任意数の追加の目的に向けて実施され得ることも留意されるべきである。
【００７３】
図１１は、実例となるコンピュータシステムを描写し、その中で、本明細書に議論される方法論の１つ以上をマシンに実行させるための１セットの命令が実行され得る。代替的な実施において、マシンは、ＬＡＮ、イントラネット、エクストラネット、またはインターネットで他のマシンに接続されてもよい（例えば、ネットワーク化されてもよい）。
マシンは、クライアントサーバネットワーク環境でサーバーマシンの能力内で作動し得る。マシンは、伝達手段、パーソナルコンピュータ（ＰＣ）、セットトップ・ボックス（ＳＴＢ）、サーバー、ネットワークルーター、スイッチまたはブリッジ、あるいはそのマシンによってとられるアクションを指定する１セットの命令を（連続して又は他の方法で）実行することができるマシンと一体化した及び／又は通信しているコンピューティング装置であり得る。さらに、単一のマシンのみが例証されているが、用語「マシン」は、本明細書に議論される方法論の１つ以上を実行する１セット（または複数セット）の命令を個々にまたは一緒に実行するマシンのあらゆる集合体を含むようにも解釈されるものとする。
【００７４】
典型的なコンピューターシステム（６００）は、バス（６０８）を介して互いに通信する、処理システム（プロセッサ）（６０２）、主メモリ（６０４）（例えば、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）などの動的ランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ（６０６）（例えば、フラッシュメモリ、静的ランダムアクセスメモリ（ＳＲＡＭ））、およびデータ記憶装置（６１６）を含む。
【００７５】
プロセッサ（６０２）は、マイクロプロセッサ、中央処理装置などの、１つ以上の処理装置を表わす。より具体的には、プロセッサ（６０２）は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＭ）マイクロプロセッサ、あるいは他の命令セットを実施するプロセッサまたは命令セットの組み合わせを実施するプロセッサであり得る。プロセッサ（６０２）はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどの１つ以上の処理装置であり得る。プロセッサ（６０２）は、本明細書に議論される動作を実施するための命令（６２６）を実行するように構成されている。
【００７６】
コンピューターシステム（６００）はさらに、ネットワークインターフェース装置（６２２）を含み得る。コンピューターシステム（６００）はまた、ビデオディスプレイ装置（６１０）（例えば、タッチスクリーン、液晶ディスプレイ（ＬＣＤ）、または陰極線管（ＣＲＴ））、英数字入力装置（６１２）（例えばキーボード）、カーソル制御装置（６１４）（例えばマウス）、および信号生成装置（６２０）（例えばスピーカー）を含み得る。
【００７７】
データ記憶装置（６１６）は、本明細書に記載される方法論または機能の１つ以上を具現化する１つ以上のセットの命令（６２６）（例えばサーバーマシン（１２０）によって実行された命令など）が保存されるコンピュータ可読媒体（６２４）を含み得る。命令（６２６）はまた、完全に又は少なくとも部分的に、コンピュータシステム（６００）、主メモリ（６０４）、およびコンピュータ可読媒体も構成するプロセッサ（６０２）によるその実行の間に、主メモリ（６０４）内及び／又はプロセッサ（６０２）内に存在し得る。命令（６２６）はさらに、ネットワークインターフェース装置（６２２）を介してネットワークにわたって送信または受信され得る。
【００７８】
コンピュータ可読記憶媒体（６２４）は、典型的な実施形態において単一の媒体であると示されているが、用語「コンピュータ可読記憶媒体」は、１つ以上のセットの命令を保存する単一の媒体または複数の媒体（例えば、集中型または分散型のデータベース、及び／又は関連するキャッシュおよびサーバー）を含むように解釈されるべきである。用語「コンピュータ可読記憶媒体」はまた、マシンによる実行のための１セットの命令を保存する、符号化する、または運ぶことができる、およびマシンに本開示の方法論の１つ以上を実行させる媒体を含むように解釈されるものとする。したがって、用語「コンピュータ可読記憶媒体」は、限定されないが、ソリッドステートメモリ、光媒体、および磁気媒体を含むように解釈されるものとする。
【００７９】
上記の説明において、多数の詳細が明記される。しかしながら、本開示の恩恵を有する当業者にとって、これらの具体的な詳細なしで実施形態が実施され得ることは明白である。幾つかの例では、周知の構造および装置は、説明を不明瞭にしないようにするために、詳細にではなく、ブロック図の形態で示される。
【００８０】
詳細な説明の幾つかの部分は、コンピューターメモリ内のデータビット上の動作のアルゴリズムおよび記号表現の観点から示される。これらのアルゴリズム的な記述および表現は、データ処理分野の当業者によって使用される、他の当業者へと仕事の内容を最も有効に伝えるための手段である。アルゴリズムは、本明細書で及び一般に、望ましい結果に結びつく自己矛盾がない一連の工程であると考えられている。これらの工程は物理量の物理的操作を必要と工程である。通常、必ずしもではないが、これらの量は、保存される、移される、組み合わせられる、比較される、および他に操作されることが可能な電気信号または磁気信号の形態をとる。これらの信号をビット、値、要素、記号、文字、用語、数字などとして参照することが、主に共通使用の理由で、時々好都合であると証明された。
【００８１】
しかしながら、これらおよび同様の用語のすべてが、適切な物理量に関連付けられること、およびこれらの量に適用された単に好都合な標識であることが留意されるべきである。上記の議論から明白であるとして特に別記されない限り、明細書の全体にわたって、「受信する」、「処理する」、「提供する」、「特定する」などの用語を利用する議論は、コンピュータシステムのレジスターおよびメモリ内の物理（例えば、電子）量として表わされるデータを、コンピュータシステムのメモリまたはレジスターあるいは他のそのような情報記憶装置、送信装置または表示装置内の物理量として同様に表わされる他のデータへと操作し、変換する、コンピュータシステム、または類似した電子計算装置のアクションおよびプロセスを指すことが理解される。
【００８２】
本開示の態様および実施はまた、本明細書において動作を実行するための装置に関する。したがって、コンピューティング装置を起動または構成するためのコンピュータープログラムは、限定されないが、フロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、および光磁気ディスクを含むあらゆるタイプのディスク、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光カード、または電子命令を保存するのに適したあらゆるタイプの媒体などの、コンピュータ可読記憶媒体に保存され得る。
【００８３】
本開示は、いかなる特定のプログラミング言語にも関連して記載されていない。本明細書に記載されるような本開示の教示を実施するために、様々なプログラミング言語が使用されてもよいことが認識されるだろう。
【００８４】
本明細書で使用されるように、句「例えば（ｆｏｒ  ｅｘａｍｐｌｅ）」、「など」、「例えば（ｆｏｒ  ｉｎｓｔａｎｃｅ）、およびそれらの変形は、本明細書に開示された主題の限定しない実施形態を記載する。本明細書における「１つの場合」、「幾つかの場合」、「他の場合」、またはそれらの変形に対する引用は、実施形態に関して記載された特定の特徴、構造または特性が、本明細書に開示された主題の少なくとも１つの実施形態に含まれることを意味する。したがって、句「１つの場合」、「幾つかの場合」、「他の場合」、またはそれらの変形の出現は、必ずしも同じ実施形態を指さない。
【００８５】
明瞭さのために、別の実施形態に関連して本明細書に記載される特定の特徴も、単一の実施形態における組み合わせで提供されてもよい。逆に、単一の実施形態に関連して記載される様々な特徴も、別々に複数の実施形態において又は適切な部分的組み合わせで提供されてもよい。さらに、特定の組み合わせで作用する及びそのまま最初に請求されたものとして、特徴が上に記載され得るが、請求された組み合わせからの１つ以上の特徴は、幾つかの場合において、組み合わせから削除され得、請求された組み合わせは、部分的組み合わせまたは部分的組み合わせの変形に向けられ得る。
【００８６】
特定の実施形態が記載されている。他の実施形態は以下の請求項の範囲内にある。
【００８７】
上記の説明は、例示的であるとして意図され、限定するようには意図されないことが理解されるべきである。他の多くの実施形態が、上記の説明を読み、理解することで当業者に明白となる。さらに、上に記載された技術は、メディアクリップ（例えば、画像、オーディオクリップ、テキスト文書、ウェブページなど）の代わりに、またはそれらに加えて他のタイプのデータに適用され得る。それ故、本開示の範囲は、添付の請求項を参照して、そのような請求項が権利を与えられる同等物の全範囲とともに決定されるべきである。
【図１】
2018516422.tif 000003
【図２】
2018516422.tif 000004
【図３】
2018516422.tif 000005
【図４】
2018516422.tif 000006
【図５】
2018516422.tif 000007
【図６Ａ】
2018516422.tif 000008
【図６Ｂ】
2018516422.tif 000009
【図７Ａ】
2018516422.tif 000010
【図７Ｂ】
2018516422.tif 000011
【図８】
2018516422.tif 000012
【図９】
2018516422.tif 000013
【図１０】
2018516422.tif 000014
【図１１】
2018516422.tif 000015
【国際調査報告】
2018516422.tif 000016