(57)【特許請求の範囲】
【請求項１】
デバイスでアプリケーションを制御するための方法であって、
閾値の長さの時間の間、ユーザが前記デバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するステップと、
前記維持された位置の検出に基づいて前記デバイスに対して前記物体または前記ジェスチャの最初の位置にアンカーを打つステップと、
前記検出に応答して、前記アンカーを打たれた最初の位置からの前記物体または前記ジェスチャの変化に関連付けられた1つまたは複数のコマンドを示すユーザインタフェースを表示することを含めて、前記デバイスをエンゲージするステップと、
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップとを含み、
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、
前記アンカーを打たれた最初の位置に関連する安定区域内で前記デバイスに対する前記ジェスチャまたは前記物体の高さの変化を検出することに基づいて前記アプリケーションを操作するステップと、
前記物体または前記ジェスチャが前記安定区域内で前記デバイスの上の前記デバイスに平行な平面に沿って移動するところを検出されるときにはいつも前記アプリケーションを操作しないステップとを含む
方法。
【請求項２】
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、前記物体または前記ジェスチャが前記安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつも前記アプリケーションを操作するステップをさらに含み、
前記アプリケーションを操作するステップが、
前記物体または前記ジェスチャが前記安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するステップと、
前記物体または前記ジェスチャが前記安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するステップであって、前記第2の領域が、前記第1の領域よりも前記安定区域から遠い、ステップとを含む請求項1に記載の方法。
【請求項３】
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するステップが、前記デバイスの上に浮かぶ3次元空間内の前記物体または前記ジェスチャの少なくとも1つの動きを検出するステップを含む請求項1に記載の方法。
【請求項４】
前記アプリケーションを操作するステップが、前記最初の位置に対する前記デバイスの上に浮かぶ前記物体または前記ジェスチャの位置に基づく請求項2に記載の方法。
【請求項５】
前記アプリケーションを操作するステップが、
前記物体または前記ジェスチャが前記安定区域の外の第3の領域に浮かんでいるところを検出される場合に第3のアクションを実行するステップであって、前記第3の領域が、前記第2の領域よりも前記安定区域から遠い、ステップをさらに含む請求項2に記載の方法。
【請求項６】
前記ユーザが前記デバイスの上の位置に前記ジェスチャまたは前記物体を浮かべていることを検出するステップをさらに含む請求項1に記載の方法。
【請求項７】
前記ユーザが前記デバイスの下の位置に前記ジェスチャまたは前記物体を浮かべていることを検出するステップをさらに含む請求項1に記載の方法。
【請求項８】
前記アプリケーションを制御するステップが、前記アンカーを打たれた最初の位置に基づいて前記アプリケーションにアンカーを打たれた前記ユーザインターフェースを使用するステップを含む請求項1に記載の方法。
【請求項９】
前記アプリケーションにアンカーを打たれた前記ユーザインターフェースが、前記デバイスの近くに浮かぶ検出されたジェスチャまたは物体の前記最初の位置に応じて前記アプリケーション上で中心を決められる請求項8に記載の方法。
【請求項１０】
装置であって、
閾値の長さの時間の間、ユーザが装置の近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するための手段と、
前記維持された位置の検出に基づいて装置に対して前記物体または前記ジェスチャの最初の位置にアンカーを打つための手段と、
前記検出に応答して、前記アンカーを打たれた最初の位置からの前記物体または前記ジェスチャの変化に関連付けられた1つまたは複数のコマンドを示すユーザインタフェースを表示することを含めて、前記装置をエンゲージするための手段と、
前記アンカーを打たれた最初の位置を用いて装置で動作するアプリケーションを制御するための手段とを含み、
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、
前記アンカーを打たれた最初の位置に関連する安定区域内で前記装置に対する前記ジェスチャまたは前記物体の高さの変化を検出することに基づいて前記アプリケーションを操作ための手段と、
前記物体または前記ジェスチャが前記安定区域内で前記装置の上の前記装置に平行な平面に沿って移動するところを検出されるときにはいつも前記アプリケーションを操作しないための手段とを含む、
装置。
【請求項１１】
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、前記物体または前記ジェスチャが前記安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつも前記アプリケーションを操作するための手段をさらに含み、
前記アプリケーションを操作するための前記手段が、
前記物体または前記ジェスチャが前記安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するための手段と、
前記物体または前記ジェスチャが前記安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するための手段であって、前記第2の領域が、前記第1の領域よりも前記安定区域から遠い、手段とを含む請求項10に記載の装置。
【請求項１２】
前記アンカーを打たれた最初の位置を用いて前記アプリケーションを制御するための前記手段が、前記装置の上に浮かぶ3次元空間内の前記物体または前記ジェスチャの少なくとも1つの動きを検出するための手段を含む請求項10に記載の装置。
【請求項１３】
プロセッサに、請求項1乃至9の何れか1項に記載の方法を実施させるように構成されたプロセッサ可読命令を含む、非一時的プロセッサ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、ユーザデバイスまたはシステムに関し、より詳細には、システムのエンゲージメントに関する。
【背景技術】
【０００２】
現在、ユーザデバイスは、概して、例えば、タッチスクリーンを用いるか、ボタンを押すか、またはデバイスに触れるためのその他の好適な手動の方法によってデバイスを手動でオンにすることによってエンゲージ(engage)され得る。ユーザデバイスがスマートフォンである一例において、ユーザは、電源ボタンを押すか、ロック解除キーをスライドさせるか、スクリーンに触れるか、またはこれらの組み合わせによってデバイスのロックを解除し得る。しかし、デバイスをエンゲージするためのそのような現在の方法は、煩わしく、ユーザに優しくない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、システムまたはデバイスをエンゲージするための改善された方法およびシステムに対するニーズが当技術分野に存在する。
【課題を解決するための手段】
【０００４】
本開示の1つまたは複数の実施形態によれば、方法およびシステムが、3D物体検出によってシステムのエンゲージメントおよび制御を行う。システムは、エンゲージされると、特定のモード、機能、コントロール、またはインターフェースに切り替わる可能性がある。
【０００５】
一部の実施形態においては、デバイスでアプリケーションを制御するための方法が、示される。方法は、閾値の長さの時間の間、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するステップを含み得る。方法は、維持された位置の検出に基づいてデバイスに対して物体またはジェスチャの最初の位置にアンカーを打つ(anchor)ステップと、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップとをさらに含み得る。
【０００６】
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、アンカーを打たれた最初の位置に関連する安定区域内でデバイスに対するジェスチャまたは物体の高さの変化を検出することに基づいてアプリケーションを操作するステップと、物体またはジェスチャが安定区域内でデバイスの上のデバイスに平行な平面に沿って移動するところを検出されるときにはいつもアプリケーションを操作しないステップとを含む。
【０００７】
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、物体またはジェスチャが安定区域の外の領域の上に浮かんでいるところを検出されるときにはいつもアプリケーションを操作するステップをさらに含む。アプリケーションを操作するステップは、物体またはジェスチャが安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行するステップと、物体またはジェスチャが安定区域の外の第2の領域の上に浮いているところを検出される場合に、第2の速さを有する第2のパンアクションを実行するステップであって、第2の領域は、第1の領域よりも安定区域から遠い、ステップとを含み得る。
【０００８】
一部の実施形態において、アンカーを打たれた最初の位置を用いてアプリケーションを制御するステップは、デバイスの上に浮かぶ3次元空間内の物体またはジェスチャの少なくとも1つの動きを検出するステップを含む。
【０００９】
一部の実施形態において、アプリケーションを操作するステップは、最初の位置に対するデバイスの上に浮かぶ物体またはジェスチャの位置に基づく。
【００１０】
一部の実施形態において、アプリケーションを操作するステップは、物体またはジェスチャが安定区域の外の第3の領域に浮かんでいるところを検出される場合に第3のアクションを実行するステップであって、第3の領域は、第2の領域よりも安定区域から遠い、ステップをさらに含む。
【００１１】
一部の実施形態において、方法は、ユーザがデバイスの上の位置にジェスチャまたは物体を浮かべていることを検出するステップをさらに含む。
【００１２】
一部の実施形態において、方法は、ユーザがデバイスの下の位置にジェスチャまたは物体を浮かべていることを検出するステップをさらに含む。
【００１３】
一部の実施形態において、アプリケーションを制御するステップは、アンカーを打たれた最初の位置に基づいてアプリケーションにアンカーを打たれたユーザインターフェースを使用するステップを含む。
【００１４】
一部の実施形態において、アプリケーションにアンカーを打たれたユーザインターフェースは、デバイスの近くに浮かぶ検出されたジェスチャまたは物体の最初の位置に応じてアプリケーション上で中心を決められ得る。
【００１５】
一部の実施形態においては、装置が示される。装置は、閾値の長さの時間の間、ユーザが前記装置の近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出するように構成された少なくとも1つのセンサーを含み得る。装置は、維持された位置の検出に基づいて前記装置に対して物体またはジェスチャの最初の位置にアンカーを打ち、アンカーを打たれた最初の位置を用いて前記装置で動作するように構成されたアプリケーションを制御するように構成されたプロセッサをさらに含み得る。
【００１６】
一部の実施形態においては、閾値の長さの時間の間、ユーザが装置の近くに浮かぶ物体またはジェスチャを位置において維持していることを検出するための手段と、維持された位置の検出に基づいて装置に対して物体またはジェスチャの最初の位置にアンカーを打つための手段と、アンカーを打たれた最初の位置を用いて装置で動作するアプリケーションを制御するための手段とを含む装置が、示される。
【００１７】
一部の実施形態においては、プロセッサに閾値の長さの時間の間、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持していることを検出させ、維持された位置の検出に基づいてデバイスに対して物体またはジェスチャの最初の位置にアンカーを打たせ、アンカーを打たれた最初の位置を用いて装置で動作するように構成されたアプリケーションを制御させるように構成されたプロセッサが読み取り可能な命令を含み得る非一時的なプロセッサが読み取り可能な媒体が、示される。
【００１８】
さまざまな実施形態の本質および利点の理解は、以下の図を参照することによって実現され得る。添付の図において、同様の構成要素または特徴は、同じ参照ラベルを有する可能性がある。さらに、同じ種類のさまざまな構成要素は、参照ラベルの後に、ダッシュと、同様の構成要素を区別するための第2のラベルとを続けることによって区別される可能性がある。第1の参照ラベルが本明細書において使用される場合、説明は、第2の参照ラベルに無関係に、同じ第1の参照ラベルを有する同様の構成要素のいずれか1つに当てはまり得る。
【図面の簡単な説明】
【００１９】
【図１】一部の実施形態によるデバイスに対する3次元(3D)座標系内の点を示す図である。
【図２】一部の実施形態によるデバイスに対する3D座標系内の点の境界領域を示す図である。
【図３】一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。
【図４】一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。
【図５】一部の実施形態による3D物体検出によるシステムのエンゲージメントの使用事例を示す図である。
【図６】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図７】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図８】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図９】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１０】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１１】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１２】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１３】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１４】一部の実施形態による3D物体検出によるエンゲージされたシステムの制御の使用事例を示す図である。
【図１５】一部の実施形態による3D物体検出によってシステムをエンゲージするための方法を示す流れ図である。
【図１６Ａ】一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。
【図１６Ｂ】一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。
【図１６Ｃ】一部の実施形態による3D物体検出によってシステムをエンゲージし、制御するための方法を示すその他の例示的な流れ図である。
【図１７】本開示の一実施形態によるデバイスを実装するためのシステムのブロック図である。
【発明を実施するための形態】
【００２０】
アプリケーションの上または近くに動的に生成される3次元タッチレス環境で単一の物体またはジェスチャを用いてグラフィカルなアプリケーションをエンゲージし、操作するための方法および装置が、示される。タッチレス技術を用いてアプリケーションを操作するためのいくつかのデバイスが市販されているが、改善され得るいくつかの制限が残っている。例えば、タッチレス技術によって操作されるビデオゲームプラットフォームは、ユーザがカメラの視界の正面真ん中にいることを必要とする可能性がある。別の例として、タッチレス環境は、基本的に2次元の(例えば、深さのない水平および垂直方向の)動きのみを検出することができる可能性がある。同様に、2-D環境で3つ以上の種類のアクションを行う(例えば、単にカーソルを水平および垂直に動かすことに留まらず、ズームアウトを行う)ためには、複数のジェスチャおよび/または複数の移動する物体(例えば、2本の手、つまむ動作など)が必要とされる可能性がある。その他の場合、検出方法は、例えば、移動する車両内にいる間にモバイルデバイスを操作するユーザによる小さな細かい揺れがアプリケーションの望まれていない動きまたは操作を引き起こすという点で感度が高すぎる可能性がある。一方で、タッチレス検出方法の解像度は、ユーザによる小さな動きがアプリケーションのいかなる動きにも対応しない可能性があるという点で感度が低すぎる可能性がある。
【００２１】
3D物体検出によってシステムまたはデバイスをエンゲージするための改善された方法およびシステムが示され、これらの問題を1つ残らずいっぺんに解決することができる可能性がある。システムは、エンゲージされると、特定のモード、機能のコントロール、またはインターフェースに切り替わる可能性がある。
【００２２】
一部の実施形態においては、タッチレスな実装が、好適なタッチレステクノロジー、例えば、(例えば、マイクロフォンおよび/もしくは超音波エミッタを用いる)超音波テクノロジー、カメラなどの画像もしくは映像撮影テクノロジー、IRもしくはUVテクノロジー、磁界テクノロジー、または放出電磁放射(emitted electromagnetic radiation)テクノロジーなどを使用することによって行われる。タッチレスな実装の一例においては、内蔵カメラに基づくジェスチャシステムを含むデバイスに関して、ユーザの開いた手のひらが検出され、システムをエンゲージするために使用され得る。別の例において、ユーザは、システムをエンゲージするために、カメラに基づくジェスチャシステムの前で自分の手を振る可能性がある。
【００２３】
さまざまな実施形態において、システムをエンゲージするために、システムまたはデバイスの近くの物体またはジェスチャが検出される。例えば、システムは、システムの上の座標系内に浮かぶ物体を検出する可能性があり、またはその他の例において、システムは、システムの上の座標系の外、つまり、システムの右、左、上、または下など、システムの視線の外(例えば、ユーザデバイスに対して画面外)に浮かぶ物体を検出する可能性がある。物体の物理的な位置が、システムに入力され、3座標(x, y, z)によって3次元(3D)空間内で示される可能性がある。システムは、所定の量の時間(例えば、500ミリ秒またはその他の適切な量の時間)物体がデバイスの近くに浮かんでいたと判定することに応じてエンゲージされる可能性がある。所定の量の時間の値は、構成可能である可能性があり、もしくは構成可能でない可能性があり、またはシステムの現在の状態もしくはコンテキストに基づいて変わる可能性がある。
【００２４】
浮かぶ位置は、オフセット(offset)によって境界を定められる可能性がある。例えば、最初の検出される座標は、1つの点に制限されない可能性があり、定義されたおよび/または構成可能な大きさ、例えば、境界円の定義されたおよび/または構成可能な半径を有する境界エリアまたは境界位置、例えば、境界円に制限される可能性がある。物体が、少なくとも所定の量の時間の間、境界を定められたエリアまたは位置内に浮かぶ場合、システムは、エンゲージされる。
【００２５】
システムは、エンゲージされると、特定のモード、機能、コントロール、またはインターフェースに切り替わる可能性がある。さまざまな実施形態において、ユーザは、3次元座標内を(例えば、x、y、z方向に)移動することによってシステムを制御し得る。速度も、考慮される可能性がある。3次元座標であるので、ジョイスティックのようなコントロールが実装され得る。例えば、物体の検出された動きが、ジョイスティックがモード、機能、コントロール、またはインターフェースをどのように制御するかをエミュレートするために使用され得る。
【００２６】
したがって、エンゲージされたシステムが、例えば、ジョイスティックが使用されているかのように3次元で制御され得る。一実施形態において、最初の検出された点および境界位置の円が、ジョイスティックの中心(center)または「スティック」として働く可能性がある。例えば、ジョイスティックは、ジョイスティックが引き上げられているかのように(z値が増加している)、またはジョイスティックが押し下げられているかのように(z値が減少している)、境界を定められた位置内にある間に検出されたz値が扱われ得るような中心コントロールまたは「スティック」を含み得る。現在、ほとんどのジョイスティックは、ジョイスティック上に中心コントロールを持たず、むしろ、ピボッティングアングル(pivoting angle)のみを有する。
【００２７】
さまざまな実施形態において、ジョイスティックの中心または「スティック」に関して、ジェスチャが検出される可能性もある。例えば、物体が境界を定められた位置内で回転されるかまたはあちこち動かされているとき、例えば、ジョイスティックの中心または「スティック」が保持され、時計回りにまたは反時計回りに回転される可能性がある。データ入力が、これらのジェスチャを検出するために使用され得る。これは、ジョイスティックの中心または「スティック」が回転されることを可能にする。この特徴は、さまざまな使用事例またはアプリケーションで使用される可能性があり、例えば、ジョイスティックの回転の検出は、ゲームアプリケーションで使用するのに好適である可能性がある。したがって、中心または「スティック」が特定の最大値まで引き上げられ得るかまたは特定の最小閾値まで押し下げられ得ることに加えて、速度およびジェスチャが検出され得る。
【００２８】
検出された物体が最初の境界エリアまたは位置の外に(例えば、境界円の外に)移動する場合、ジョイスティックコントロールは、ジョイスティックがその角度、方向、および速度で旋回されるかのように同じ動作をし得る。
【００２９】
一部の実施形態においては、ジョイスティックの旋回に関して、物体の浮遊が何らかの特定の角度に動かされるとき、モード、機能、コントロール、またはインターフェースは、ジョイスティックがそのモード、機能、コントロール、またはインターフェースを調整するために使用されているかのように調整され得る。物体の移動の速度も、計算される可能性がある。例えば、ユーザが、地図などのコンテンツを表示しているディスプレイ上で物体(例えば、指、ポインタなど)を右に素早く動かす使用事例においては、制御の速さ、例えば、地図に関するパンの速さが、速度に合わせて増減され得る。
【００３０】
さまざまな実施形態においては、物体の移動の特定の角度もしくは方向、または物体が移動した境界を定められた位置もしくはエリアを越える境界を定められた位置もしくはエリアのセクタ(sector)が、モードの変更、機能もしくは制御の実行、またはインターフェースの変更などのアクションを開始する可能性がある。境界円に関する一実施形態において、セクタは、2つの半径およびそれらの半径の間にある弧によって境界を定められた領域である可能性がある。x、y、z次元、速度、およびジェスチャの任意の組み合わせが、コントロールのための中心および/または外側領域で検出される可能性がある。一部の実施形態において、セクタは、別の形状を含むように定義される可能性がある。さらに、境界を定められた位置が境界円を含むとき、境界円の周りの同心の輪が、異なる機能に対応する可能性がある。
【００３１】
物体がもはや検出されないかまたはシステムの範囲外にあるとき、システムは、エンゲージメントを解除される可能性がある。エンゲージメント解除の検出は、ユーザに即座に知覚され得る。一部の実施形態において、システムは、所定のエンゲージメント解除動作、アクション、またはジェスチャが検出されるときに(例えば、物体が「X」形に移動するときに)エンゲージメントを解除される可能性がある。
【００３２】
3次元座標(例えば、x、y、z)および速度を使用することによって、データが、アプリケーションの展開(application development)の仮想的な力(virtual force)に変換され得る。
【００３３】
図1を参照すると、図が、本開示の一実施形態によるデバイスに対する3次元(3D)座標系内の点を示す。
【００３４】
タブレット、スマートフォン、ラップトップ、PCなどを含み得るデバイス102が、超音波テクノロジーなどのタッチレステクノロジーを用いてデバイス102上に浮いている物体104を検出し得る。さまざまな実施形態において、デバイス102は、デバイス102の上に、つまり、システムの上の座標内に物体104が浮いているときに物体104を検出する可能性があり、またはその他の実施形態において、デバイス102は、デバイス102の視線の外、例えば、デバイス102に対して画面外に物体104が浮いているときに物体104を検出する可能性がある。
【００３５】
任意のデータまたはコンテンツを表示し得るデバイス102は、点または位置「A」が特定され得る検出された物体104に対応する画像を示す可能性もある。画像内の点「A」は、デバイス102に対するその点の3次元(3D)座標(x, y, z)によって位置を定められ得る。したがって、デバイス102上の物体104の画像内の位置「A」は、3D座標点(x, y, z)である可能性がある。
【００３６】
さまざまな実施形態において、物理的な3D座標が、スクリーン座標に変換される可能性がある。変換は、特定のデバイスのディスプレイの画素密度を考慮に入れる可能性がある。したがって、デバイスに無関係に、デバイスに対する物理的な3D座標が、特定のデバイスのスクリーン座標に変換され得る。例えば、物体が、デバイスの左など、画面外で検出されるとき、変換された座標は、負のxの値を有する可能性がある。
【００３７】
図2を参照すると、図200が、本開示の一実施形態によるデバイスに対する3D座標系内の点の境界領域を示す。
【００３８】
図1の実施形態に関連して上で説明されたように、デバイス102に表示された浮いている物体104の画像内の点「A」は、デバイス102に対するその点の3次元(3D)座標(x, y, z)によって位置を定められ得る。境界円206などの境界領域は、点「A」と予め定義された半径とを含み得る。この実施形態において、点「A」は、境界円206の中心である。境界領域は、例えば、境界楕円、境界長方形、または任意のその他の好適な形状を含む円以外の任意の形状である可能性があることを理解されたい。さらに、境界領域は図2の平らな円として示されているが、境界領域は球または立方体などの3次元形状である可能性があることが理解されるであろう。したがって、物体が境界領域内にあることを検出することは、デバイス102からの物体の距離に無関係に、物体が(x, y)座標の特定の組の中にあることを検出することを含む可能性があり、または検出することは、物体が特定の深さパラメータ内にあることを検出することも含む可能性がある。加えて、境界領域は、ユーザによって調整される可能性があり、またはデバイス102の状態もしくはコンテキストに基づいて自動的に変わる可能性がある。
【００３９】
図3〜図5を参照すると、3D物体検出によるシステムのエンゲージメントの例示的な使用事例が、一部の実施形態にしたがって示される。
【００４０】
図3においては、地図310などのコンテンツまたは画像が、ユーザデバイス302のインターフェースに表示され得る。デバイス302は、超音波テクノロジーなどの任意の好適なタッチレステクノロジーを用いて、任意の物体またはジェスチャ、例えば、指304を検出するように構成され得る。
【００４１】
図4において、デバイス302(またはデバイス302の一部であるシステム)をエンゲージすることは、デバイス302に対する3次元(3D)の物体の位置がシステムに入力されるように指304を検出することを含み得る。この「エンゲージする状態」で、システムは、エンゲージすることを開始する。
【００４２】
視覚インジケータ312によるような視覚フィードバックが、境界位置の相対的な認識を示すまたは与えるために、物体の下、つまり、指304の下のユーザデバイスに表示され得る。
【００４３】
図5において、システムは、物体(すなわち、指304)が、少なくとも所定の量の時間、例えば、500ミリ秒、境界位置、例えば、境界円内に浮かぶかどうかを判定し得る。そうである場合、システムは、「エンゲージする状態」316から「エンゲージされた状態」318に移る。例えば、エンゲージされた状態に到達するように進んでいることをユーザに示すために、境界領域内の浮遊が検出されている間、視覚および/または音声フィードバックがユーザに与えられ得る。
【００４４】
「エンゲージされた状態」318においては、ジョイスティックコントロール320などのユーザインターフェースコントロールが、ユーザデバイスに表示され得る。したがって、コントロール320は、デバイス102がエンゲージされたというフィードバックをユーザに与え得る。1つまたは複数の実施形態においては、音声フィードバックが、状態の変化を示すために与えられる可能性がある。
【００４５】
図6〜図11を参照すると、3D物体検出によるエンゲージされたシステムの制御の例示的な使用事例が、一部の実施形態にしたがって示される。
【００４６】
図6においては、システムが「エンゲージされた状態」になると、ユーザは、ジョイスティック320などのユーザインターフェースコントロールを用いてズーム、パンなどの異なる機能を実行し得る。
【００４７】
ユーザインターフェースコントロール上で、実際の検出された座標(例えば、一実施形態による、図1に関連して上で説明された点「A」の3D座標)が、ドット422によって示される可能性がある。
【００４８】
セクション(section)または円424によって示される可能性があるユーザインターフェースコントロールの中心が、ジョイスティック320の中心として使用される可能性がある。中心セクションまたは円424の周りの外側領域426は、ジョイスティック320の旋回点(pivot point)として扱われ得る。
【００４９】
図7においては、中心コントロールセクション424が、ズームコントロールに関連付けられ得る。外側領域またはセクション426は、例えば、セクタ428aを含むセクタに分割される可能性がある。セクタは、パンコントロールである可能性がある。例えば、セクタ428aは、「パンアップ」コントロール領域である可能性がある。
【００５０】
図8においては、1つまたは複数の実施形態にしたがって、外側領域が、表示されたコントロールを越えて拡張され得る。一部の実施形態において、外側領域は、セクタの角度によってのみ境界を定められる可能性がある。例えば、セクタ428aに関して、外側領域は、位置AとBとの間のセクタの角度によって境界を定められる可能性がある。このように、セクタ428aに対応する「パンアップ」領域は、セクタ428aに関する対応するセクタの角度によって境界を定められた外側領域へとセクタ428aを越えて拡張される可能性がある。その他の実施形態において、赤く強調されたセクタ428aの部分を越えて物体またはドットを動かすことは、いかなるアクションも生じない可能性があり、または異なるアクション、例えば、異なる程度にパンすることまたは次の好ましい地図に飛ぶことを生じる可能性がある。
【００５１】
図9においては、一部の実施形態にしたがって、物体(例えば、指)がデバイス302に表示された中心領域424内に浮かんでいる場合、システムは、ズームモードである可能性がある。この場合、システムは、z座標を用いて物体からデバイス302までの距離を判定し得る。参照番号432によって示されるように、物体をデバイス302から遠ざけるように動かすことは、「ズームアウト」に対応する可能性がある。図10において、参照番号434によって示されるように、物体をデバイス302に向かって動かすことは、「ズームイン」に対応する可能性がある。一部の実施形態において、ズームは、例えば、パンおよびズームが同時に実行され得るように、物体が中心領域424の外にあるものとして検出されるときでさえも実行され得る。
【００５２】
さまざまな実施形態において、ズームモードは、3D座標(x, y, z)および速度を考慮に入れる可能性がある。最小および最大の検出可能なz点が存在する可能性がある。例えば、ユーザが最大閾値を超え、検出可能な距離内にまだいる場合、ズームアウト(例えば、地図のズームアウト)は、所定の設定されたステップおよび/または間隔で継続する可能性がある。比較例として、ユーザは、物理的なジョイスティックデバイスをそのデバイスの最大限まで引く可能性がある。スティックはそれ以上動かない可能性があるが、スティックを引き上げ、上げたまま保つ力はかかっている。反対に、同様のメカニズムが、スティックをそのスティックの最小限まで押すときに適用される可能性がある。この点で、ユーザが最小閾値を超える場合、ズームイン(例えば、地図のズームイン)は、所定の設定されたステップおよび/または間隔で継続する可能性がある。さまざまな実施形態において、最小閾値および最大閾値は、構成可能である可能性があり、および/またはデバイスの較正に基づく可能性がある。
【００５３】
一部の実施形態においては、物体が円424内でデバイス302に平行な方向に移動する場合、ズームが行われない可能性がある。物体がデバイス302に近づくようにまたはデバイス302から離れるように移動していないので、ズーム機能は実行されない可能性がある。その他の場合、たとえ物体がデバイス302にほんのわずかに、例えば、何らかの所定の閾値の距離内で近づくようにまたはデバイス302から離れるように移動するとしても、ズームは行われない可能性もある。このようにして、物体は、わずかな乱れ、震え、または揺らぎで動いているものとして検出される可能性があり、一部の実施形態による方法は、結果としていかなるアクションも意図的に実行しない可能性がある。そのような機能は、デバイス302のアプリケーションの動作を意図せず操作することによるいかなる混乱も生じないように、小さな意図されていない動き、例えば、物体が揺れる自動車内でわずかに動くことを許容する可能性がある。物体の検出された変化がアプリケーションの操作をもたらさない円424内のこの3次元空間は、本明細書においては「安定区域」または「不感区域」と呼ばれる可能性がある。
【００５４】
ここで図11を参照すると、ズームの閾値が、一部の実施形態にしたがって示される。ここでは、指などの物体が、図9および図10の実施形態に示されたように、ズームインまたはズームアウトを実施するものとして検出され得る。図11においては、物体(例えば、指)が、動的なズーム範囲406を越え、最大閾値405を越えた範囲の外に動かされたものとして検出される可能性がある。物体が最大検出可能距離409までの(つまり、最大の検出可能なz点までの)継続ズームアウト範囲410内にある場合、アクション、すなわち、ズームアウトが、所定の設定されたステップおよび/または間隔で継続する可能性がある。
【００５５】
反対に、物体(例えば、指)が、動的なズーム範囲406の下に、最小閾値407を越えて動かされたものとして検出され可能性がある。物体が継続ズームイン範囲411内にある場合、アクション、すなわち、ズームインが、所定の設定されたステップおよび/または間隔で継続する可能性がある。
【００５６】
図12においては、一部の実施形態にしたがって、アプリケーションまたはアクションが最大閾値または最小閾値に達した場合、例えば、参照番号442で示されるように、音声フィードバックまたは視覚フィードバックが、状態または機能の変化を示すために与えられ得る。例えば、デバイス302上の画像が、ズームアウトの最大閾値が達せられ、自動ズームアウトが開始されたことを表示し得る。この場合、視覚的合図442が、物体(例えば、指)がデバイス302の上で最大のレベルに持ち上げられたことを示し、その最大のレベルで、アプリケーションは、応答を変える(例えば、ズームアウトを変える)可能性がある。
【００５７】
図13を参照すると、パンなどのアクションが、一部の実施形態にしたがって実施され得る。この点で、物体(例えば、指)がズーム領域の外、例えば、ジョイスティック320などのコントロールの中心円の外の外側領域に浮かぶ場合、ジョイスティック320は、旋回する可能性がある。角度の旋回が、検出された座標、例えば、ドット452によって表される座標によって決定され得る。図13においては、矢印454によって示されるように、ユーザは、物体(すなわち、ユーザの指)を右に旋回させる可能性がある。結果として、ユーザデバイスに表示されるコンテンツ、例えば、地図アプリケーションが、所定のステップおよび/または間隔で右にパンする。
【００５８】
図14を参照すると、ドット452は、実際の検出された3D座標を示す。視覚フィードバック、例えば、色を変えること、点滅することなどが可能な視覚インジケータ456が、ユーザデバイスに表示されるコンテンツ、例えば、地図がパンしていることを示すために与えられ得る。また、音声フィードバックが、モード/機能の変化を示すために与えられ得る。
【００５９】
リアルタイムで、コンテンツ、例えば、地図が、ジョイスティック320などのコントロールが表示されている間にパンしている可能性がある。この点で、物体が右パンのセクタ内に浮かぶ限り、地図は、特定の速さで右にパンし続ける可能性がある。
【００６０】
加えて、ユーザデバイスに表示されるコンテンツ、例えば、地図は、ドット452によって特定される検出される座標がパンのセクタ内にある場合、パンし続ける可能性がある。さまざまな実施形態によれば、そのような特徴は、構成可能な挙動である可能性がある。
【００６１】
ジョイスティック320の旋回に関して、ジョイスティック320は、物体(例えば、指)の浮遊が何らかの特定の角度に動かされるとき旋回される可能性があり、速度が、計算される可能性がある。例えば、ユーザが物体(例えば、指)を右に素早く動かす場合、パンの速さが、速度に合わせて増減され得る。図14の例に示されるように、ユーザが外側の円455の外に移動する場合、パンの速さは、円または安定区域のすぐ外の第1の領域内に留まるときに使用されるパンの速度と比較して増やされる可能性があり、例えば、倍にされる可能性がある。速度または速さは、検出された座標が中心コントロールからどれだけ遠くにあるかに応じて決定され、増減される可能性がある。例えば、図14において、パンの速さは、検出された座標またはドット452が中心または最初の検出された座標、すなわち、ジョイスティックの中心からどれだけ遠くにあるかに応じて決定され、増減される可能性がある。実施形態が地図の「ジョイスティック」コントロールに関連して説明され、示されたが、当業者は、その他の実施形態が実装され得ることを理解するであろう。例えば、ズームおよびパンに加えてその他の機能が、システムのエンゲージメントの後に物体の3D位置を検出することに基づいて実施され得る。さらに、物体が追跡される可能性、物体の絶対座標が判定される可能性、物体の動きの仮想的な力が判定される可能性などがある。さらに、地図以外の情報および/または画像が、表示される可能性がある。さらに、一部の実施形態においては、物体の動作または位置だけが検出され得るのではなく、物体の傾きも検出され得る。一部の実施形態においては、物体が、所定の期間、ディスプレイに対する境界領域内に浮かんでいるものとして検出されるとき、3Dディスプレイがエンゲージされる。そのような実施形態においては、物体の向きのその後検出された動作が、表示された3D画像を横に動かすこと、要素を(例えば、フォルダ内またはその他の場所に)動かすことなどのために使用され得る。
【００６２】
1つまたは複数の実施形態によれば、システムは、さまざまな方法でエンゲージメントを解除され得る。例えば、ユーザは、そのユーザの手をユーザデバイスから素早く外す可能性がある。その他の場合、エンゲージメント解除は、必ずしもデバイスから完全に外されないが、ユーザの手の突然の振りまたは震えを検出するなど、ユーザの手の速度の突然の増加を検出すると行われる可能性がある。その他の場合、エンゲージメント解除は、必ずしもデバイスから完全に外されない可能性があるが、元の安定区域の初期化から十分に遠く離れて、例えば、何らかの所定の閾値の距離だけ離れてユーザの手が移動することを検出すると行われる可能性がある。場合によっては、エンゲージメント解除は、ユーザの手がこれらの例のいずれかによる閾値の距離に達した後、所定の閾値の量の時間待つことも含む。その他の例があり得、実施形態はそのように限定されない。その後、システムは、例えば、1)いかなる新しい座標の更新もなく所定の量の時間(例えば、2〜3秒)が過ぎたこと、2)システムがシステムモード変更を受け取ること、または3)物体が検出されないことを含む特定の出来事またはトリガが起こるとエンゲージメントを解除される可能性がある。さらに、エンゲージメント解除は、エンゲージメント解除アクション、ジェスチャ、またはコマンドを検出すると実施される可能性がある。
【００６３】
システムがエンゲージメントを解除されると、視覚インジケータ、例えば、ジョイスティックなどのコントロールが、ユーザデバイスのディスプレイから削除される可能性があり、および/または音声の指示が、ユーザに示される可能性がある。
【００６４】
有利なことに、本明細書の1つまたは複数の実施形態によれば、システムのエンゲージメント解除は、ユーザにとって即座に見え、自然に感じられ得る。
【００６５】
ここで図15を参照すると、流れ図が、本開示の一実施形態による3D物体検出によってシステムをエンゲージするための方法を示す。
【００６６】
ブロック602において、システムが、物体、例えばユーザデバイス上に浮かぶ指が検出されるかどうかを判定し得る。システムは、物体を継続的に検出するように構成され得る。
【００６７】
ブロック604において、物体が検出されない場合、システムがエンゲージメントを解除される。
【００６８】
ブロック606において、物体が検出されない場合、例えば、特定の量の時間(システムの上の座標内に、またはシステムに対して画面外に)浮かぶ物体が検出されない場合、エンゲージメントタイマーが取り消され得る。
【００６９】
ブロック608において、システムが、物体が検出されると判定する場合、物体の座標(例えば、3D座標)が、システムに入力され得る。
【００７０】
ブロック610において、システムがエンゲージされるかどうかが判定される。システムがエンゲージされる場合、プロセスは、システムがエンゲージされるブロック615に続く。
【００７１】
ブロック612において、システムがエンゲージされない場合、エンゲージメントタイマーが開始され得るかまたは継続され得る。
【００７２】
ブロック614において、エンゲージメントタイマーにより測定されるタイムアウトの前にシステムがエンゲージされ得る。例えば、所定の量の時間浮かんでいる物体が検出されるとシステムがエンゲージされる。システムがエンゲージされると、プロセスは、ブロック615に続く。
【００７３】
ブロック616において、システムがエンゲージされると、システムが、システムに入力された物体の3D座標が境界を定められた円などの境界を定められた領域内にあるかどうかを判定する。
【００７４】
ブロック618において、物体の3D座標が境界を定められた領域内にない場合、旋回角(pivot angle)が計算され、操られ得る。
【００７５】
ブロック620において、物体の3D座標が境界を定められた領域内にある場合、中心コントロール、例えば、ジョイスティックの中心コントロールが操られ得る。
【００７６】
ブロック622において、システムは、例えば、1)いかなる座標の更新もなく所定の量の時間が過ぎること、2)システムがシステムモード変更を受け取ること、または3)物体が検出されないことを含む出来事またはトリガがシステムにエンゲージメントを解除させるまでエンゲージされたままである。
【００７７】
図16A、図16B、および図16Cを参照すると、一部の実施形態に合致するさらなる流れ図が与えられる。図16Aのブロック1602において、アプリケーションを制御するための方法が、ユーザがデバイスの近くに浮かぶ物体またはジェスチャをある位置において維持することを検出することを含み得る。物体またはジェスチャは、本開示のいずれかで検討された例示的な物体またはジェスチャのいずれかを、当業者に知られている整合性のあるありとあらゆるその他の変種とともに含み得る。デバイスは、タブレットまたはモバイル電話などのモバイルデバイスである可能性があるが、コンピュータモニタ、テレビ、デジタルキオスクなどのより固定的なデバイスを含み得る。
【００７８】
ブロック1604において、方法は、ブロック1602において見つかった検出に基づいて物体またはジェスチャの最初の位置にアンカーを打つことを含み得る。アンカーを打たれる位置は、図1〜図14で検討された説明のいずれとも合致し得る。例えば、アンカーを打たれる位置は、デバイスの近くに浮かぶ物体またはジェスチャの最初の位置で始まるジョイスティック状の制御機能を含み得る。
【００７９】
ブロック1606において、方法は、アンカーを打たれた最初の位置を用いて、デバイスで動作するかまたはデバイスに関連するアプリケーションを制御することを含む。アプリケーションは、デバイスで実行され得る任意の種類のプログラムを含む可能性がある。例示的なアプリケーションは、図3〜図14で検討された地図アプリケーションのような地図アプリケーションを含み得る。アプリケーションを制御することは、図1〜図15のいずれかに示されたアプリケーションを制御するための任意の例の詳細および当業者にすぐに分かるその他のコントロールを含み得る。
【００８０】
図16Bを参照すると、ブロック1606でアプリケーションを制御するための例の詳細が示される。例えば、ブロック1612において、アプリケーションを制御することは、デバイスに対するジェスチャまたは物体の高さの変化を安定区域で検出することに基づいてアプリケーションを操作することを含み得る。一部の実施形態において、本明細書において言及される高さは、単に、例えば、デバイスから離れる、上、後ろ、下などの水平、垂直、斜めなどの距離である可能性がある。上述のように、一部の実施形態において、安定区域は、アンカーを打たれた最初の位置を中心にして生成される。一部の実施形態において、安定区域は、図2および図5〜図14に示された円形領域に合致する。一部の実施形態において、アプリケーションの操作は、高さの変化に応じてアプリケーションのズームインまたはズームアウトアクションを実行することを含む。
【００８１】
ブロック1614において、アプリケーションを制御することは、物体またはジェスチャが安定区域内でデバイスの上のデバイスに平行な平面に沿って移動するところを検出される場合、アプリケーションを意図的に操作しないことを含み得る。つまり、物体またはジェスチャは、安定区域内で、デバイスに近づかずまたはデバイスから遠ざからずに移動しているだけである可能性がある。一部の実施形態において、アプリケーションを操作しないことは、アンカーを打たれた最初の位置から狭い領域内でデバイスに近づくかまたはデバイスから遠ざかる動きを検出することを含む可能性もある。つまり、物体またはジェスチャは、任意の3次元の方向にほんのわずかに動き、なおもアプリケーションを操作しない可能性がある。
【００８２】
図16Cを参照して、ブロック1612においてアプリケーションを操作する例の詳細が検討される。一部の実施形態においては、ブロック1622で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第1の領域の上に浮いているところを検出される場合に、第1の速さを有する第1のパンアクションを実行することを含み得る。例示的な第1の領域は、図5〜図14のいずれかに示された外側の円部分を含み得る。また、第1の領域は、複数の下位領域にさらに分割される可能性があり、異なる下位領域の上に浮かぶことは、わずかに異なるアクション、例えば、異なる方向であるが、第1の領域内のその他のアクションと同じ速さのパン動作をもたらす。
【００８３】
一部の実施形態においては、ブロック1624で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第2の領域の上に浮かんでいるところを検出される場合に、第2の速さを有する第2のパンアクションを実行することをさらに含み得る。一部の実施形態において、第2の領域は、第1の領域よりも安定区域から遠い。一部の実施形態において、第1のパンアクションに関連する第1の速さは、第2のパンアクションに関連する第2の速さよりも遅い。
【００８４】
一部の実施形態においては、ブロック1626で、アプリケーションを操作することは、物体またはジェスチャが安定区域の外の第3の領域の上に浮かんでいるところを検出される場合に、第3のアクションを実行することをさらに含み得る。一部の実施形態において、第3の領域は、第2の領域よりも安定区域から遠い。一部の実施形態において、第3のアクションは、第3の速さを有するパンアクションを含み得る。その他の実施形態において、第3のアクションは、本開示において説明された任意のアクションに合致するその他の種類のアクション、または当業者にすぐに分かるその他のアクションを含み得る。
【００８５】
ここで図17を参照すると、デバイスを実装するためのシステムのブロック図が、本開示の一実施形態にしたがって示される。システム1700は、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、TVなどの有線またはワイヤレスデバイスを含む任意の種類のデバイスを実装するために使用され得る。
【００８６】
図17に示されたシステム1700は、デバイス102または302を含む本開示の実施形態を実装するのに好適である可能性がある。例えば、デバイス、例えば、スマートフォン、タブレット、パーソナルコンピュータ、および/またはネットワークサーバの一部などのシステム1700は、処理構成要素1704(例えば、プロセッサ、マイクロコントローラ、デジタル信号プロセッサ(DSP)など)、システムメモリ構成要素1706(例えば、RAM)、静的なストレージ構成要素1708(例えば、ROM)、ネットワークインターフェース構成要素1712、ディスプレイもしくは出力構成要素1714(もしくは代替的に、外部ディスプレイへのインターフェース)、入力構成要素1716(例えば、キーパッドもしくはキーボード)、および/またはカーソル制御構成要素1718(例えば、マウスパッド、ジョイスティック)のうちの1つまたは複数を含むサブシステムおよび構成要素を相互接続するバス1702または情報を伝達するためのその他の通信メカニズムを含み得る。さまざまな実施形態において、入力構成要素1716は、(例えば、マイクロフォンおよび/もしくは超音波エミッタを用いる)超音波テクノロジー、カメラなどの画像もしくは映像撮影テクノロジー、IRもしくはUVテクノロジー、磁界テクノロジー、または放出電磁放射テクノロジーなどのタッチレステクノロジーを含む可能性がある物体検出構成要素を含み得る。
【００８７】
本開示の実施形態によれば、システム1700は、プロセッサ1704がシステムメモリ構成要素1706に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行することによって特定の動作を実行する。そのような命令は、静的なストレージ構成要素1708などの別のコンピュータ可読記録媒体からシステムメモリ構成要素1706に読み込まれ得る。これらは、3D物体検出によってシステムまたはデバイスをエンゲージし、システムがエンゲージされると、特定のモード、機能のコントロール、またはインターフェースに切り替えるための命令を含み得る。その他の実施形態においては、本開示の1つまたは複数の実施形態の実装のためにソフトウェア命令の代わりにまたはソフトウェア命令と組み合わせて、結線された回路が使用される可能性がある。例えば、処理構成要素1704が、例えば、システムメモリ構成要素1706、ストレージ構成要素1708、ディスクドライブもしくは外部メモリ構成要素1710、および/またはネットワークインターフェース構成要素1712と組み合わせて、例えば、入力構成要素1716によって検出された物体の場所または位置に基づいて、図15に示されたブロック602〜622および/または図16A〜図16Cのブロック1602〜1626のうちの1つまたは複数を実施するために使用され得る。
【００８８】
論理が、コンピュータ可読記録媒体で符号化される可能性があり、コンピュータ可読記録媒体は、実行するためにプロセッサ1704に命令を与えることに関与する任意の媒体を指す可能性がある。そのような媒体は、不揮発性媒体、揮発性媒体、および送信媒体を含むがこれらに限定されない多くの形態をとり得る。さまざまな実装において、揮発性媒体は、システムメモリ構成要素1706などの動的なメモリを含み、送信媒体は、バス1702を含む配線を含む同軸ケーブル、銅線、および光ファイバを含む。メモリは、システムを特定のモード、機能のコントロール、またはインターフェースに切り替えるための異なるオプションの表現を記憶するために使用され得る。一例においては、特定の物体の動きが、「ズームアウト」を表す可能性がある、物体が中心領域の上に浮いているところを検出される場合にデバイスに対して物体を離すように引くこと、「ズームイン」を表す可能性がある、デバイスに向かって検出された物体を押し下げることなどの特定のアクションに関連して記憶される可能性がある。一部の実施形態において、送信媒体は、無線波および赤外線データ通信中に生成される音波または光波などの音波または光波の形態をとる可能性がある。コンピュータ可読記録媒体のいくつかのよくある形態は、例えば、RAM、PROM、EPROM、FLASH-EPROM、任意のその他のメモリチップもしくはカートリッジ、搬送波、またはコンピュータが読み取るように適合される任意のその他の媒体を含む。コンピュータ可読記録媒体は、非一時的である可能性がある。
【００８９】
本開示のさまざまな実施形態において、本開示を実施するための命令シーケンスの実行は、システム1700によって行われ得る。さまざまなその他の実施形態においては、通信リンク1720(例えば、WiFi、またはその他の有線もしくはワイヤレスネットワーク)によって結合された複数のシステム1700が、互いに協調して、本開示を実施するための命令シーケンスを実行する可能性がある。システム1700は、通信リンク1720および通信インターフェース1712を通じて1つまたは複数のプログラム(つまり、アプリケーションコード)を含むメッセージ、データ、情報、および命令を送信および受信し得る。受信されたプログラムコードは、受信されたときにプロセッサ1704によって実行される可能性があり、および/または実行するためにディスクドライブもしくは外部メモリ構成要素1710もしくは何らかのその他の不揮発性ストレージ構成要素に記憶される可能性がある。
【００９０】
当業者が今では理解するであろうように、目下の特定の応用に応じて、本開示の精神および範囲を逸脱することなく、本開示の材料、装置、構成、およびデバイスの使用の方法で、それらに対して多くの修正、置き換え、および変更がなされ得る。これを考慮すると、本開示の範囲は、本明細書において示され、説明された特定の実施形態が本開示のいくつかの例であるに過ぎないのでそれらの特定の実施形態の範囲に限定されるべきでなく、むしろ、この後ろに添付された請求項およびそれらの請求項の機能的な均等物の範囲と完全に等しくあるべきである。
【符号の説明】
【００９１】
102  デバイス
104  物体
206  境界円
302  ユーザデバイス、デバイス
304  指
310  地図
312  視覚インジケータ、視覚フィードバック
320  ジョイスティックコントロール、ジョイスティック、コントロール
405  最大閾値
406  動的なズーム範囲
407  最小閾値
409  最大検出可能距離
410  継続ズームアウト範囲
411  継続ズームイン範囲
422  ドット
424  セクションまたは円、中心セクションまたは円、中心コントロールセクション、中心領域、円
426  外側領域、外側領域またはセクション
428a  セクタ、パンアップ領域
442  視覚的合図
452  ドット
454  矢印
455  外側の円
456  視覚インジケータ
1700  システム
1702  バス
1704  処理構成要素、プロセッサ
1706  システムメモリ構成要素、システムメモリ
1708  静的なストレージ構成要素、ストレージ構成要素、ストレージデバイス
1710  外部メモリ構成要素、外部メモリ入力
1712  ネットワークインターフェース構成要素、通信インターフェース
1714  出力構成要素、出力デバイス
1716  入力構成要素、入力デバイス
1718  カーソル制御構成要素、カーソル制御デバイス
1720  通信リンク
【図１】
0006297599.tif 000002
【図２】
0006297599.tif 000003
【図３】
0006297599.tif 000004
【図４】
0006297599.tif 000005
【図５】
0006297599.tif 000006
【図６】
0006297599.tif 000007
【図７】
0006297599.tif 000008
【図８】
0006297599.tif 000009
【図９】
0006297599.tif 000010
【図１０】
0006297599.tif 000011
【図１１】
0006297599.tif 000012
【図１２】
0006297599.tif 000013
【図１３】
0006297599.tif 000014
【図１４】
0006297599.tif 000015
【図１５】
0006297599.tif 000016
【図１６Ａ】
0006297599.tif 000017
【図１６Ｂ】
0006297599.tif 000018
【図１６Ｃ】
0006297599.tif 000019
【図１７】
0006297599.tif 000020