(57)【要約】  動き制御されたリストスクローリングが、複数の選択可能な項目を含むユーザーインターフェイスを表示デバイスに出力すること、および人間対象の手のワールド空間位置を受信することを含む。第１の領域内にある人間対象の手の位置に応答して、複数の選択可能な項目が第１の方向にスクロールされる。第２の領域内にある手の位置に応答して、複数の選択可能な項目が第２の方向にスクロールされる。第３の領域内にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目が、複数の選択可能な項目のうちの選択のために識別された１つで保持される。
2014531693.tif 000002
【特許請求の範囲】
【請求項１】
複数の選択可能な項目を含むユーザーインターフェイスを表示デバイスに出力し、
人間対象を含むワールド空間場面の１つまたは複数の深度画像を、深度カメラから受信し、
前記人間対象の手のワールド空間位置を識別し、
第１の領域内にある前記人間対象の前記手の前記ワールド空間位置に応答して、前記複数の選択可能な項目を、前記ユーザーインターフェイス内で、第１の方向にスクロールし、
第２の領域内にある前記人間対象の前記手の前記ワールド空間位置に応答して、前記複数の選択可能な項目を、前記ユーザーインターフェイス内で、前記第１の方向とは反対の第２の方向にスクロールし、
前記第１の領域と前記第２の領域の間の中間領域内にある前記人間対象の前記手の前記ワールド空間位置に応答して、前記複数の選択可能な項目を、前記複数の選択可能な項目のうちの選択のために識別された１つで保持するための、
論理サブシステムによって実行可能な命令を保持するデータ保持サブシステム。
【請求項２】
ユーザー入力に応答して、選択のために識別された項目を選択するための、
前記論理サブシステムによって実行可能な命令をさらに保持する請求項１に記載のデータ保持サブシステム。
【請求項３】
前記ユーザー入力が、ワールド空間での押すジェスチャである、請求項２に記載のデータ保持サブシステム。
【請求項４】
前記複数の選択可能な項目が、前記中間領域からの前記手の距離の関数に従って増加するスクロール速度でスクロールされる、請求項１に記載のデータ保持サブシステム。
【請求項５】
前記手の前記ワールド空間位置が、ワールド空間における第１の軸を基準とした前記手の位置を、前記第１の軸に平行ではない他の軸を基準とした前記手の前記位置とは無関係に指す、請求項１に記載のデータ保持サブシステム。
【請求項６】
前記ユーザーインターフェイスが、前記手の位置を指し示す視覚的要素のないカーソルレス・ユーザーインターフェイスである、請求項１に記載のデータ保持サブシステム。
【請求項７】
１つまたは複数の選択可能な項目を含むユーザーインターフェイスを制御する方法であって、
人間対象の身体部位の属性を受信するステップであって、前記身体部位の前記属性が２つ以上の異なる状態の間で変化可能な、受信するステップと、
第１の状態を有する前記人間対象の前記身体部位の前記属性に応答して、前記複数の選択可能な項目を、前記ユーザーインターフェイス内で、第１の方向にスクロールするステップと、
前記第１の状態と異なる第２の状態を有する前記人間対象の前記身体部位の前記属性に応答して、前記複数の選択可能な項目を、前記複数の選択可能な項目のうちの選択のために識別された１つで保持するステップと
を含む方法。
【請求項８】
前記身体部位の前記属性が、前記人間対象の頭部の向きを含む、請求項７に記載の方法。
【請求項９】
前記身体部位の前記属性が、前記人間対象の顔の表情を含む、請求項７に記載の方法。
【請求項１０】
前記身体部位の前記属性が、前記身体部位の第２の部分の位置に対する、前記身体部位の第１の部分の位置を含む、請求項７に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]ユーザーインターフェイスが多くの選択可能な項目を含むことは、一般的である。選択可能な項目の数は、しばしば同じビューの中にすべてが表示されないほど十分に多く、ユーザーは、興味のある項目を見るためにスクロールしなければならない。多くのモバイルデバイス、コンピューター、ゲームコンソールなどは、そのようなインターフェイスを出力するように構成される。
【０００２】
[0002]ユーザーは、さまざまな入力デバイスを介して入力を提供することによって、スクロールすることができる。いくつかの入力デバイスは、使用するのに扱いにくいことがあり、リストをスクロールするために、多くの繰り返されるユーザーアクションを必要とすることがある。
【発明の概要】
【課題を解決するための手段】
【０００３】
[0003]本概要は、詳細な説明において以下でさらに説明される選択された概念を、簡略化された形式において導入するために提供される。本概要は、特許請求される主題の重要な特徴、または必須の特徴を特定することは意図されず、特許請求される主題の範囲を限定するように使用されることも意図されない。さらに、特許請求される主題は、本開示の任意の部分において記されたいずれかの、またはすべての不都合を解決する実装形態には限定されない。
【０００４】
[0004]本開示の一態様によれば、スクローリングが、複数の選択可能な項目を含むユーザーインターフェイスを表示デバイスに出力することを含む。人間対象を含むワールド空間場面の１つまたは複数の深度画像が、深度カメラから受信され得る。加えて、人間対象の手のワールド空間位置が受信され得る。第１の領域内にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目が、ユーザーインターフェイス内で、第１の方向にスクロールされる。同様に、第２の領域内にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目が、ユーザーインターフェイス内で、第１の方向とは反対の第２の方向にスクロールされる。また、第１の領域と第２の領域の間の第３の領域内にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目が、複数の選択可能な項目のうちの選択のために識別された１つで保持される。
【図面の簡単な説明】
【０００５】
【図１】[0005]本開示の実施形態に従った例示的なスクローリング環境を概略的に示す図である。
【図２】[0006]本開示の実施形態に従った深度画像処理パイプラインを示す図である。
【図３】[0007]図３Ａは、例示的な仮想スケルトン（virtual skeleton）に応答してスクロールする、例示的なユーザーインターフェイスを示す図である。図３Ｂは、例示的な仮想スケルトンに応答してスクロールする、例示的なユーザーインターフェイスを示す図である。図３Ｃは、例示的な仮想スケルトンに応答してスクロールする、例示的なユーザーインターフェイスを示す図である。
【図４】[0008]本開示の実施形態に従った、ユーザーインターフェイスにおける例示的なスクローリングの方法を示す図である。
【図５】[0009]図５Ａは、本開示の実施形態に従った例示的なユーザーインターフェイスを概略的に示す図である。図５Ｂは、本開示の実施形態に従った例示的なユーザーインターフェイスを概略的に示す図である。図５Ｃは、本開示の実施形態に従った例示的なユーザーインターフェイスを概略的に示す図である。
【図６】[0010]図４の方法を実施するためのコンピューティングシステムを概略的に示す図である。
【発明を実施するための形態】
【０００６】
[0011]本説明は、ユーザーインターフェイスにおいて複数の選択可能な項目をスクロールすることに関する。本説明はさらに、スクローリングへのはずみとしての役割を果たすための、自然なユーザーの動きおよびジェスチャを可能にする入力デバイスを介して、スクロールすることに関する。
【０００７】
[0012]図１は、例示的なスクローリング環境を示し、スクローリング環境は、人間対象１１０と、コンピューティングシステム１２０と、深度カメラ１３０と、表示デバイス１４０と、ユーザーインターフェイス１５０とを含む。表示デバイス１４０は、コンピューティングシステムの表示出力部を介して、コンピューティングシステム１２０に動作可能に接続されてよい。たとえば、コンピューティングシステム１２０は、ＨＤＭＩ（登録商標）または他の好適な表示出力部を含むことができる。コンピューティングシステム１２０は、複数の選択可能な項目を含むカルーセル・ユーザーインターフェイス（carousel user interface）１５０を、表示デバイス１４０に出力するように構成されてよい。
【０００８】
[0013]コンピューティングシステム１２０は、さまざまな異なるゲームをプレイする、１つもしくは複数の異なるメディアタイプを再生する、および／または、ゲーム以外のアプリケーションおよび／もしくはオペレーティングシステムを制御する、または操作するために使用されてよい。示された実施形態において、表示デバイス１４０は、ユーザーおよび観察者に視覚表現を提示するのに使用され得るテレビである。
【０００９】
[0014]深度カメラ１３０は、１つまたは複数の入力部を介して、コンピューティングシステム１２０に動作可能に接続されてよい。限定しない例として、コンピューティングシステム１２０は、深度カメラ１３０が接続され得るユニバーサルシリアルバスを含むことができる。コンピューティングシステム１２０は、深度カメラ１３０から、人間対象１１０含むワールド空間場面の１つまたは複数の深度画像（depth image）を受信することができる。深度画像は、事実上任意の好適なデータ構造の形式を取ることができ、各ピクセルがそのピクセルで観察される対象の深度を示す深度情報を含む、ピクセルのマトリクスを含むが、それに限定されない。本開示の範囲から逸脱せずに、事実上任意の深度発見技術が使用されてよい。
【００１０】
[0015]深度画像は、人間対象１１０を仮想スケルトンとしてモデル化するために使用されてよい。図２は、人間対象２１０を仮想スケルトン２３０としてモデル化するために使用される深度画像２２０を提供するために深度カメラが使用され得る、簡略化された処理パイプラインを示す。処理パイプラインは、本開示の範囲から逸脱せずに、図２に示されたステップ以外の、追加ステップおよび／または代替ステップを含むことができることが認識されるであろう。
【００１１】
[0016]図２に示されるように、人間対象２１０の３次元外観および残りの観察される場面が、深度カメラによって撮像されてよい。図２において、深度画像２２０は、人間対象２１０のシルエットのピクセル化された（pixilated）グリッドとして、概略的に示される。この図は、理解しやすさのためのものであって、技術的な正確さのためものではない。深度画像は、人間対象２１０を撮像するピクセルのみではなく、すべてのピクセルについての深度情報を全体的に含むことを理解されたい。
【００１２】
[0017]仮想スケルトン２３０は、深度画像２２０から引き出されて、人間対象２１０のマシン可読表現を提供することができる。言い換えれば、仮想スケルトン２３０は、深度画像２２０から引き出されて、人間対象２１０をモデル化する。仮想スケルトン２３０は、任意の好適なやり方で、深度画像２２０から引き出されてよい。いくつかの実施形態において、１つまたは複数の骨格あてはめアルゴリズムが、深度画像に適用されてよい。本開示は、事実上任意の骨格モデリング技法に適合する。
【００１３】
[0018]仮想スケルトン２３０は、複数の関節を含むことができ、それぞれの関節は、人間対象２１０の一部に対応することができる。本開示に従った仮想スケルトンは、事実上任意の数の関節を含むことができ、関節のそれぞれは、事実上任意の数のパラメータ（たとえば、３次元の関節位置、関節回転、対応する身体部位の身体の姿勢（たとえば、開いた手、閉じた手など）など）に関連付けられてよい。仮想スケルトンは、複数の骨格関節のそれぞれについて、１つまたは複数のパラメータ（たとえば、ｘ位置、ｙ位置、ｚ位置、および関節ごとの回転を含む関節のマトリクス）を含むデータ構造の形式を取ることができることを理解されたい。いくつかの実施形態においては、他のタイプの仮想スケルトン（たとえば、ワイヤフレーム、形状プリミティブの組など）が使用されてもよい。
【００１４】
[0019]仮想スケルトンを用いて人間対象をモデル化することに代えて、またはそれに加えて、人間対象の身体部位の位置は、他のメカニズムを使用して判定されてもよい。限定しない例として、ユーザーは、動き制御デバイス（たとえば、ゲーム用のワンド）を保持することができ、人間対象の手の位置が、動き制御デバイスの観察された位置によって推定されてもよい。
【００１５】
[0020]図１に戻ると、コンピューティングシステム１２０は、人間対象１１０の手のワールド空間位置を識別するように構成されてよい。手のワールド空間位置は、上で説明されたような仮想スケルトンなどを介した、任意の数の技法を使用して識別されてよい。コンピューティングシステム１２０は、手の位置に応じて、ユーザーインターフェイス１５０によって提示されたスクロール可能な項目をスクロールする、または保持するように構成されてよい。
【００１６】
[0021]たとえば、図３Ａ、３Ｂ、および３Ｃは、人間対象１１０の仮想スケルトン３１０、３２０、および３３０のそれぞれを、ならびに対応するカルーセル・ユーザーインターフェイス１５０を、それぞれ時間的に異なる瞬間で示す。仮想スケルトンのそれぞれは、選択可能な項目をスクロールする、または保持するために、人間対象１１０が取ることができるジェスチャに対応する。
【００１７】
[0022]示されたジェスチャは、ユーザーインターフェイス１５０のスクロール可能な項目をスクロールする、または保持するために使用されてよい。たとえば、図３Ａの仮想スケルトン３１０によって示されるように、中間領域３４０内にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目が、複数の選択可能な項目のうちの選択のために識別された１つで、固定された位置に、またはゆっくりと動く位置に保持されてよい。
【００１８】
[0023]示された実施形態において、項目３５０は、選択のために、ユーザーインターフェイスの前面中心でのその位置、他の項目に比べて大きなサイズ、および視覚的に協調されたプレゼンテーションの性質によって、選択のために識別される。項目は、本開示の範囲から逸脱せずに、事実上任意のやり方で、選択のために識別されてもよいことを理解されたい。さらに、複数の選択可能な項目がスクロールしているときであっても、選択のために通常は常に１つの項目が識別されることになる。
【００１９】
[0024]図３Ｂの仮想スケルトン３２０によって示されるように、第１の側への中間領域３４０の（ユーザーから見て）外側にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目は、時計回りにスクロールされてよく、図３Ｃの仮想スケルトン３３０によって示されるように、第２の側への中間領域３４０の外側にある人間対象の手のワールド空間位置に応答して、複数の選択可能な項目は、反時計回りにスクロールされてよい。
【００２０】
[0025]時計回りおよび反時計回り方向の両方におけるスクロール速度は、一定速度、または中間領域３４０からの手の距離に比例した速度などの、任意の好適な速度であってよい。選択のために識別された項目は、押すジェスチャを行うことなどによる事実上任意の好適なやり方で、人間対象１１０によって選択されてよい。
【００２１】
[0026]図４は、複数の選択可能な項目を含むユーザーインターフェイスを制御するための方法４００の実施形態を示し、図１のユーザーインターフェイス１５０を含むが、それに限定されない。方法４００は、４１０で、複数の選択可能な項目を含むユーザーインターフェイスを表示デバイスに出力するステップを含むことができる。表示デバイスは、モバイルデバイス、コンピュータースクリーン、またはテレビなどの、視覚的にデータを表示するために好適な任意のデバイスであってよい。選択可能な項目は、たとえば、歌、写真、アプリケーション、またはビデオなどの、任意の好適なデータオブジェクトに関連付けられてよい。限定しない例として、項目を選択することにより、再生されることになる歌、または表示されることになる写真をトリガすることができる。
【００２２】
[0027]ユーザーインターフェイスは、さまざまな異なったやり方で編成された複数の選択可能な項目を示すことができる。いくつかの例のユーザーインターフェイスが、図５Ａ、５Ｂ、および５Ｃに示される。詳細には、図５Ａは、例示的なカルーセル５１０を示す。図５Ｂは、例示的な１−Ｄリスト５２０を示す。図５Ｃは、例示的な２−Ｄリスト５３０を示す。ユーザーインターフェイスのそれぞれは、スクロールする前の時間ｔ０、およびスクロールした後の時間ｔ１において示される。ユーザーインターフェイスは、時間ｔ０から時間ｔ１へと見た目を変えてよい。たとえば、カルーセル５１０は、選択のために項目５１１を識別するために、視覚的に回転したように見えてよく、１−Ｄリスト５２０は、選択のために異なる項目５２１を識別させることができ、２−Ｄリスト５３０は、選択のために識別された別の項目５３１で、項目のうちの別のコラム５３２を提示することができる。
【００２３】
[0028]選択のために項目を識別することは、続くユーザー入力が、その項目を選択することに関連付けられたアクションを開始することになる、手がかりを提供することを含むことができる。そのような手がかりは、その項目を強調表示すること、もしくは他のやり方でマークすることなど、またはその項目を他の項目よりも目立つように表示することよる、視覚表現であってよい。いくつかの実施形態において、手がかりは可聴式であってもよい。本開示の範囲から逸脱せずに、選択のために項目を識別する事実上任意の方法が利用されてもよいことを認識されたい。
【００２４】
[0029]いくつかの実施形態において、スクローリングは、それまで表示上に示されていない新しい項目を、表示に示すようにさせる。たとえば、１−Ｄリストは、選択のために中央の項目を常に識別させることができ、スクローリングが、新しい項目の組に、リストをポピュレートさせて、それにより、選択のために別の項目を識別することができる。
【００２５】
[0030]示されたユーザーインターフェイスは、性質上例示的であり、理解しやすさのために意図されたものである。本開示に適合するユーザーインターフェイスは、より多い、もしくはより少ないグラフィック、アイコン、または、図５Ａ、５Ｂ、および５Ｃに示されていない他の項目を含むことができること、および本開示の範囲から逸脱せずに、事実上任意のユーザーインターフェイスが利用され得ることを認識されたい。
【００２６】
[0031]図４に戻ると、方法４００は、４２０で、人間対象の身体部位のワールド空間配置を受信するステップを含むことができる。本明細書で使用されるとき、ワールド空間とは、その中に人間対象が存在する物理的な空間（たとえば、リビングルーム）を指す。配置は、そのユーザーの身体部位の３−Ｄ位置および／または向きを含むことができる。たとえば、配置は、頭部の向き、手の３−Ｄ位置および／もしくは向き、および／または人間が向いている方向を含むことができる。いくつかの実施形態において、配置は、片方の手からもう一方の手までの距離、または、一人の人物の身体部位の、別の身体部位もしくは別の人物に対する位置／向きなどの、２つ以上の身体部位を伴うことができる。
【００２７】
[0032]いくつかの実施形態において、配置は、１−Ｄ位置を含むことができる。たとえば、身体部位のワールド空間配置は、ワールド空間における第１の軸を基準とした身体部位の配置を、第１の軸に平行ではない他の軸を基準とした身体部位の配置とは無関係に、指すことができる。言い換えれば、スクローリングの目的のために、身体部位の軸外の動きは、無視されてよい。たとえば、左側および右側への手の位置は、上および下の、または前および後ろの手の位置にかかわらずに考えられてよい。このようにして、人物は、自分の手（または任意の身体部位）を、別の方向へのその身体部位の動きを不必要に制限する必要なく、ある方向に動かすことができる。
【００２８】
[0033]４２１で示されるように、人間対象を含むワールド空間場面の１つまたは複数の深度画像が、深度カメラから受信されてよい。深度画像は、処理されて、身体部位のワールド空間配置を判定することができる。たとえば、図３に関連して説明されたように、人間対象をモデル化するために、仮想スケルトンが使用されてよく、人間対象の対応する身体部位のワールド空間配置を判定するために、仮想スケルトンの関節および／または他の態様が使用されてよい。本開示の範囲から逸脱せずに、身体部位のワールド空間配置を判定するために、他の方法およびデバイスが使用されてもよい。たとえば、可視光データを観察し、出力することが可能な従来のカメラが利用されてもよい。可視光データは、処理されて、身体部位のワールド空間配置を判定することができる。たとえば、可視光データを処理するために、顔認識、オブジェクト認識、およびオブジェクトトラッキングが用いられてもよい。
【００２９】
[0034]４２２で示されるように、人間対象の手のワールド空間位置が識別されてよい。手の位置は、たとえば、仮想スケルトンを使用して識別されてよい。そのようなケースでは、仮想スケルトンの手関節の位置が使用されて、人間対象の実際の手のワールド空間位置を判定することができる。人間対象の手の位置は識別され得るものの、手の位置が、人間対象に視覚的に提示される必要はない。たとえば、ユーザーインターフェイスは、手の位置を指し示す視覚的要素のないカーソルレス・ユーザーインターフェイスであってもよい。いくつかの事例では、カーソルレス・ユーザーインターフェイスは、より直観的な体験をインターフェイスのユーザーに提供することができると考えられている。
【００３０】
[0035]方法４００は、４３０で、ある方向に対応した身体部位のワールド空間配置を有する対象に応答して、その方向に選択可能な項目をスクロールするステップを含むことができる。選択可能な項目をある方向にスクロールするステップは、本質的に、図５Ａ、５Ｂ、および５Ｃに関連して説明されたものなどの、選択可能な項目の表示を再編成する任意の好適な方法を含むことができる。しかしながら、他のスクローリング技法が同様に利用されてもよい。たとえば、３次元のスクローリングがユーザーによって開始されて、選択可能な項目の別の組を見ることに切り替える、またはリスト表示からカルーセル表示に変更することができる。より次元の高いスクローリングは、２つの対角方向、水平方向、および垂直方向におけるスクローリングなどによって実装され得る。本開示の範囲から逸脱せずに、事実上任意の数のスクローリング技法が利用されてもよいことを認識されたい。
【００３１】
[0036]いくつかの実施形態において、複数の選択可能な項目は、人間対象の身体部位の配置の関数に従ったスクロール速度でスクロールされる。たとえば、関数は、人間対象の身体部位のワールド空間配置のステップ関数（たとえば、中間領域からの手の距離）、または中間領域などのある領域からの距離に伴って増加する別の関数であってよい。中間領域は、スクロール速度がゼロである領域であってよい。言い換えれば、人間対象の身体部位が中間領域に配置された場合、複数の項目が選択のために識別された１つで保持されながら、スクローリングは、停止される、または減速されてよい。たとえば、図３Ａ、図３Ｂ、および図３Ｃは、人間対象の真正面のワールド空間位置に対応した、仮想位置における中間領域３４０を示す。そのような例において、仮想スケルトンの手が、中間領域３４０から左側または右側に遠くへ離れるほど、選択可能な項目が、速くスクロールすることができる。本開示の範囲から逸脱せずに、予測可能なやり方で身体部位のワールド空間配置をスクロール速度にマップする、任意の好適な関数が利用されてもよいことを認識されたい。
【００３２】
[0037]身体部位の配置は、任意の好適なユーザーインターフェイスのための任意の好適な方法を介して、スクロール方向およびスクロール速度にマップされてよい。たとえば、第１の配置（たとえば、中間領域の左側）を有する人間対象の身体部位のワールド空間配置に応答して、複数の選択可能な項目が、ユーザーインターフェイス内で、第１の方向（たとえば、反時計回り）にスクロールされてよく、第２の配置（たとえば、中間領域の右側）を有する人間対象の身体部位のワールド空間配置に応答して、複数の選択可能な項目が、ユーザーインターフェイス内で、第１の方向とは反対の第２の方向（たとえば、時計回り）にスクロールされてよい。
【００３３】
[0038]スクロール方向は、任意の好適な方法を介して決定されてよい。一般的に、スクロール方向は、人間対象の直観に一致するワールド空間方向に対応するように選択されてよい。たとえば、左スクロールは、手を左側へと動かすことによって実現されてよく、一方、下スクロールは、手を下へ動かすことによって実現されてよい。ワールド空間身体部位配置とスクロール方向との間には、事実上任意の相関関係が確立されてよい。
【００３４】
[0039]さらに、身体部位の配置は、必ずしも、その身体部位のワールド空間位置によって特徴付けられていることに制限されない。配置は、身体部位の属性によって特徴付けられてもよい。そのような属性は、たとえば、目のウィンク、頭部の向き、または顔の表情を含むことができる。複数の選択可能な項目は、身体部位の属性の状態に応答して、スクロールされてよい。１つの状態が、項目を第１の方向にスクロールさせることができ、別の状態が、項目を別の方向にスクロールさせることができる。たとえば、左目を閉じると、リストを左にスクロールさせることができ、右目を閉じると、リストを右にスクロールさせることができる。属性は、上で説明されたような、手のワールド空間配置であってもよいことを認識されたい。加えて、身体部位の属性は、身体部位の第２の部分の位置に対する、身体部位の第１の部分の位置を含むことができる。たとえば、人間対象は、所望のスクローリング効果を実現するために、１つの手指を別の手指から離すことができる。
【００３５】
[0040]いくつかの実施形態において、第１の配置と第２の配置の中間である、第３の配置を有する人間対象の身体部位のワールド空間配置に応答して、複数の選択可能な項目が、複数の選択可能な項目のうちの選択のために識別された１つで保持されてよい。例として、図３Ａは、中間領域３４０のまっすぐ前方に保持された左手を有する仮想スケルトン３１０を示す。この例では、中間の手の配置によって、ユーザーインターフェイス１５０に、複数の選択可能な項目を、選択のために識別された選択可能な項目３５０で保持させる。
【００３６】
[0041]方法４００は、４４０で、ユーザー入力に応答して、選択のために識別された項目を選択するステップを含むことができる。ユーザー入力は、ジェスチャまたはサウンドなどの、事実上任意の入力を含むことができる。たとえば、ユーザーは、押すジェスチャをして、選択のために識別された項目を選択することができる。たとえば、一歩踏み出すこと（a step）、またはうなずくこと（head nod）などの、他のジェスチャが使用されてもよい。あるいは、ユーザーは、「選択せよ」または「行け」と言うことなどによって話すことができる。手をたたくことなどによる、ジェスチャとサウンドとの組み合わせが利用されてもよい。項目が選択されると、歌を再生する、新しいデータを提示する、新しいリストを見せる、ビデオを再生する、友達に電話をかける、その他などの、任意の数のアクションが取られてよい。
【００３７】
[0042]いくつかの実施形態において、上で説明された方法およびプロセスは、１つまたは複数のコンピューターを含むコンピューティングシステムに結びつけられてよい。詳細には、本明細書で説明された方法およびプロセスは、コンピューターアプリケーション、コンピューターサービス、コンピューターＡＰＩ、コンピューターライブラリ、および／または他のコンピュータープログラム製品として実装されてよい。
【００３８】
[0043]図６は、上で説明された方法およびプロセスのうちの１つまたは複数を実施することができる、限定しないコンピューティングシステム６００を概略的に示す。コンピューティングシステム６００は、簡略化された形式で示される。本開示の範囲から逸脱せずに、事実上任意のコンピューターアーキテクチャが使用され得ることを理解されたい。異なる実施形態において、コンピューティングシステム６００は、メインフレームコンピューター、サーバーコンピューター、デスクトップコンピューター、ラップトップコンピューター、タブレットコンピューター、ホームエンターテインメントコンピューター、ネットワークコンピューティングデバイス、モバイルコンピューティングデバイス、モバイル通信デバイス、ゲームデバイス、その他の形式を取ることができる。図１のコンピューティングシステム１２０は、コンピューティングシステム６００の限定しない例である。
【００３９】
[0044]コンピューティングシステム６００は、論理サブシステム６０２と、データ保持サブシステム６０４とを含む。コンピューティングシステム６００は、オプションで、表示サブシステム６０６、通信サブシステム６０８、および／または図６に示されていない他のコンポーネントを含むことができる。コンピューティングシステム６００はまた、オプションで、たとえば、キーボード、マウス、ゲームコントローラ、カメラ、マイクロフォン、および／またはタッチスクリーンなどの、ユーザー入力デバイスを含むことができる。
【００４０】
[0045]論理サブシステム６０２は、１つまたは複数の命令を実行するように構成された、１つまたは複数の物理的なデバイスを含むことができる。たとえば、論理サブシステムは、１つもしくは複数のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理的構成体の一部である、１つもしくは複数の命令を実行するように構成されてよい。そのような命令は、タスクを実施する、データタイプを実装する、１つもしくは複数のデバイスの状態を変形させる、または別のやり方で所望の結果に達するために実装されてよい。
【００４１】
[0046]論理サブシステムは、ソフトウェア命令を実行するように構成された、１つまたは複数のプロセッサを含むことができる。追加として、またはそれに代えて、論理サブシステムは、ハードウェア命令またはファームウェア命令を実行するように構成された、１つもしくは複数のハードウェア論理マシンまたはファームウェア論理マシンを含むことができる。論理サブシステムのプロセッサは、シングルコアであっても、マルチコアであってもよく、その上で実行されるプログラムは、並列処理または分散処理のために構成されてよい。論理サブシステムは、オプションで、２つ以上のデバイスを通して分散された個々のコンポーネントを含むことができ、デバイスは、リモートに設置されても、および／または調整された処理のために構成されてもよい。論理サブシステムの１つまたは複数の態様は、クラウドコンピューティング構成において構成された、リモートでアクセス可能なネットワーク化されたコンピューティングデバイスによって、仮想化され、実行されてよい。
【００４２】
[0047]データ保持サブシステム６０４は、本明細書で説明された方法およびプロセスを実装するために、データを保持するように構成された、１つもしくは複数の物理的な、非一時的なデバイス、および／または論理サブシステムによって実行可能な命令を含むことができる。そのような方法およびプロセスが実装されるとき、データ保持サブシステム６０４の状態が、（たとえば、異なるデータを保持するように）変形されてよい。
【００４３】
[0048]データ保持サブシステム６０４は、リムーバブルメディアおよび／またはビルトインデバイスを含むことができる。データ保持サブシステム６０４は、とりわけ、光学メモリーデバイス（たとえば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスクなど）、半導体メモリーデバイス（たとえば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、など）、および／または、磁気メモリーデバイス（たとえば、ハードディスクドライブ、フロッピー（登録商標）ディスクドライブ、テープドライブ、ＭＲＡＭなど）を含むことができる。データ保持サブシステム６０４は、以下の特徴、すなわち、揮発性、不揮発性、動的、静的、読み出し／書き込み、読み出しのみ、ランダムアクセス、シーケンシャルアクセス、ロケーションアドレス指定可能、ファイルアドレス指定可能、およびコンテンツアドレス指定可能のうちの、１つまたは複数を備えたデバイスを含むことができる。いくつかの実施形態において、論理サブシステム６０２およびデータ保持サブシステム６０４は、特定用途向け集積回路またはシステムオンチップなどの、１つまたは複数の共通のデバイスの中に一体化されてもよい。
【００４４】
[0049]図６はまた、本明細書で説明された方法およびプロセスを実装するために実行可能なデータおよび／または命令を、記憶する、および／または転送するために使用され得るリムーバブルコンピューター可読記憶媒体６１２の形式における、データ保持サブシステムの態様を示す。リムーバブルコンピューター可読記憶媒体６１２は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイディスク、ＥＥＰＲＯＭ、および／またはフロッピー（登録商標）ディスクの形式を取ることができる。
【００４５】
[0050]データ保持サブシステム６０４は、１つまたは複数の物理的な、非一時的なデバイスを含むことを認識されたい。対照的に、いくつかの実施形態において、本明細書で説明される命令の態様は、少なくとも限定された期間の間、物理的なデバイスによって保持されない純粋な信号（たとえば、電磁信号、光学信号など）による一時的なやり方で伝搬されてよい。さらに、本開示に関するデータおよび／または他の形式の情報は、純粋な信号によって伝搬されてよい。
【００４６】
[0051]表示サブシステム６０６が含まれるとき、表示サブシステム６０６は、データ保持サブシステム６０４によって保持されたデータの視覚的表現を提示するために使用されてよい。本明細書で説明される方法およびプロセスが、データ保持サブシステム６０４によって保持されるデータを変化させるとき、したがって、データ保持サブシステムの状態を変形させるとき、表示サブシステム６０６の状態は、同様に、基礎になるデータにおける変化を視覚的に表現するように変形されてよい。表示サブシステム６０６は、事実上任意のタイプの技術を利用する１つまたは複数の表示デバイスを含むことができる。そのような表示デバイスは、共有される筐体において、論理サブシステム６０２および／またはデータ保持サブシステム６０４と組み合わされてもよいし、またはそのような表示デバイスは、周辺表示デバイスであってもよい。
【００４７】
[0052]通信サブシステム６０８が含まれるとき、通信サブシステム６０８は、コンピューティングシステム６００を、１つまたは複数の他のコンピューティングデバイスに通信可能に結合するように構成されてよい。通信サブシステム６０８は、１つまたは複数の異なる通信プロトコルと互換性のある有線および／または無線通信デバイスを含むことができる。限定しない例として、通信サブシステムは、無線電話ネットワーク、無線ローカルエリアネットワーク、有線ローカルエリアネットワーク、無線ワイドエリアネットワーク、有線ワイドエリアネットワーク、その他を介して通信するために構成されてよい。いくつかの実施形態において、通信サブシステムは、コンピューティングシステム６００が、インターネットなどのネットワークを介して、他のデバイスにメッセージを送信する、および／または他のデバイスからメッセージを受信するのを可能にすることができる。
【００４８】
[0053]いくつかの実施形態において、センササブシステム６１０が、深度カメラ６１４を含むことができる。深度カメラ６１４は、たとえば、立体視覚システムの左側カメラおよび右側カメラを含むことができる。両方のカメラからの時間分解された画像が、互いに正しく重ね合わされ（registered）、組み合わされて、深度分解されたビデオをもたらすことができる。
【００４９】
[0054]他の実施形態において、深度カメラ６１４は、非常に多くの離散的な特徴（たとえば、ラインまたはドット）を含む構造化された赤外線照明を投影するように構成された、構造化された光深度カメラであってよい。深度カメラ６１４は、構造化された照明が投影された場面から反射した、構造化された照明を撮像するように構成されてよい。撮像された場面のさまざまな領域における隣接する特徴の間の間隔に基づいて、場面の深度画像が構築されてよい。
【００５０】
[0055]他の実施形態において、深度カメラ６１４は、パルス赤外線照明を場面の上に投影するように構成された飛行時間型カメラであってよい。深度カメラは、場面から反射したパルス照明を検出するように構成された２つのカメラを含むことができる。両方のカメラは、パルス照明と同期した電子シャッターを含むことができるが、カメラ同士の積分時間が異なることがあり、その結果、ソースから場面へ、次いでカメラまでの、パルス照明のピクセル分解された飛行時間は、２つのカメラの対応するピクセルにおいて受信された光の相対量から認識可能である。
【００５１】
[0056]いくつかの実施形態において、センササブシステム６１０は、可視光カメラ６１６を含むことができる。本開示の範囲から逸脱せずに、事実上任意のタイプのデジタルカメラ技術が使用されてよい。限定しない例として、可視光カメラ６１６は、電荷結合素子画像センサを含むことができる。
【００５２】
[0057]いくつかの実施形態において、センササブシステム６１０は、動きセンサ６１８を含むことができる。例示的な動きセンサは、加速度計、ジャイロスコープ、および全地球測位システムを含むが、それらに限定されない。
【００５３】
[0058]本明細書で説明された構成および／またはアプローチは、性質上例示的であり、数多くの変形形態が可能であることから、これらの固有の実施形態または例は、限定する意味でみなされるべきではないことを理解されたい。本明細書で説明された固有のルーチンまたは方法は、任意の数の処理方策のうちの１つまたは複数を表すことができる。したがって、説明されたさまざまな行為は、示された順序で、他の順序で、並行して実施されてもよく、またはいくつかのケースでは省略されてもよい。同様に、上で説明されたプロセスの順番は、変更されてもよい。
【００５４】
[0059]本開示の主題は、本明細書で開示された、さまざまなプロセス、システム、および構成、ならびに他の特徴、機能、行為、および／または特性に加えて、その任意のおよびすべての均等物の、すべての新規な、かつ非自明の組み合わせおよび部分組み合わせを含む。
【図１】
2014531693.tif 000003
【図２】
2014531693.tif 000004
【図３Ａ】
2014531693.tif 000005
【図３Ｂ】
2014531693.tif 000006
【図３Ｃ】
2014531693.tif 000007
【図４】
2014531693.tif 000008
【図５Ａ】
2014531693.tif 000009
【図５Ｂ】
2014531693.tif 000010
【図５Ｃ】
2014531693.tif 000011
【図６】
2014531693.tif 000012
【国際調査報告】
2014531693.tif 000013
2014531693.tif 000014
2014531693.tif 000015
2014531693.tif 000016
2014531693.tif 000017
2014531693.tif 000018