(57)【要約】  コンピュータのオペレーティングシステムを通して利用可能なアプリケーションのリストを見て、そこから選択を行うためのグラフィカルユーザインタフェースは、切替えリストを含む。表示される切替えリストは、全体表示または部分表示あるいは非表示にすることができる。切替えリストは、切替えリストが非表示であるときにディスプレイの左側縁部からスワイプする、または全体表示されている切替えリストからオブジェクトを選択してドラッグするなど、何らかのユーザ入力ジェスチャによってユーザがその切替えリストからオブジェクトを選択した後、部分表示になる。切替えリストは、現在アクティブなオブジェクトを切替えリストに戻すことをユーザが何らかのユーザジェスチャによって示したときに、部分表示または非表示の状態から全体表示状態に移行する。
2016514875.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ中のプロセッサによって実行されるコンピュータ実装プロセスであって、
前記コンピュータ上で動作するアプリケーションのリストをメモリに受け入れるステップと、
前記アプリケーションのリストのグラフィック表現として切替えリストを生成するステップと、
第１のジェスチャに応答して、前記切替えリストをディスプレイ上に部分表示するステップと、
第２のジェスチャに応答して、前記切替えリストを全体表示するステップとを含む、コンピュータ実装プロセス。
【請求項２】
前記第１のジェスチャが、アプリケーションの選択を示す、請求項１に記載のコンピュータ実装プロセス。
【請求項３】
前記第２のジェスチャが、アプリケーションを前記切替えリストに戻すというユーザの意図を示す、請求項１に記載のコンピュータ実装プロセス。
【請求項４】
前記第２のジェスチャが、前記切替えリストが部分表示されているときに、戻りしきい値を超えて前記切替えリストに向かってオブジェクトを移動させることを含む、請求項３に記載のコンピュータ実装プロセス。
【請求項５】
前記第１のジェスチャが、前記切替えリストが非表示であるときに、アプリケーションを選択し、前記選択したアプリケーションのグラフィック表現を前記ディスプレイ上で移動させることを含む、請求項１に記載のコンピュータ実装プロセス。
【請求項６】
前記第１のジェスチャが、前記切替えリストが全体表示されているときに、前記切替えリスト中でアプリケーションを選択し、前記選択したアプリケーションのグラフィック表現を前記切替えリストから遠ざけるようにしきい値を超えて移動させることを含む、請求項１に記載のコンピュータ実装プロセス。
【請求項７】
前記ディスプレイが複数のモニタを含み、前記切替えリストが表示されているモニタから別のモニタにオブジェクトが移動したときに、前記切替えリストが非表示になる、請求項１に記載のコンピュータ実装プロセス。
【請求項８】
コンピュータ記憶媒体と、
前記コンピュータ記憶媒体に記憶されたコンピュータプログラム命令であって、処理デバイスによって処理されたときに、前記処理デバイスに、
コンピュータ上で動作するアプリケーションのリストをメモリに受け入れるステップ、
前記アプリケーションのリストのグラフィック表現として切替えリストを生成するステップ、
第１のジェスチャに応答して、前記切替えリストをディスプレイ上に部分表示するステップ、および
第２のジェスチャに応答して、前記切替えリストを全体表示するステップを含むプロセスを実行するように命令するコンピュータプログラム命令とを含む、製品。
【請求項９】
メモリと、
コンピュータ上で動作するアプリケーションのリストをメモリに受け入れ、
前記アプリケーションのリストのグラフィック表現として切替えリストを生成し、
第１のジェスチャに応答して、前記切替えリストをディスプレイ上に部分表示し、
第２のジェスチャに応答して、前記切替えリストを全体表示するようにプログラムされた、前記メモリに接続されたプロセッサとを含む、コンピュータ。
【請求項１０】
前記第１のジェスチャが、前記切替えリストが非表示であるときに、アプリケーションを選択し、前記選択したアプリケーションのグラフィック表現を前記ディスプレイ上で移動させることを含む、請求項９に記載のコンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  今日のパーソナルコンピュータ、モバイルデバイス、タブレット及びその他のコンピューティングデバイスは、一般に、ユーザが複数のアプリケーションを同時に実行することができるようになっている。したがって、一般にこれらのデバイスのオペレーティングシステムは、ユーザが複数のアプリケーションを切り替えることができるようにするメカニズムを提供する。一般に、このメカニズムは、それを通した様々なジェスチャによってユーザが使用しているアプリケーションに変化が生じるグラフィカルユーザインタフェースによって実現される。
【０００２】
[0002]  このようなグラフィカルユーザインタフェースを設計する際の難題は、利用可能なアプリケーションを見て、それらの中から選択を行い、また行われた選択を変更するための直観的な方法を提供することを含む（ただしこれに限定されるわけではない）。
【発明の概要】
【０００３】
[0003]  本概要は、以降の詳細な説明でさらに説明する選択した概念を簡単な形態で紹介する項である。本概要は、特許請求する対象の重要または不可欠な特徴を特定するためのものではなく、また特許請求する対象の範囲を限定するためのものでもない。
【０００４】
[0004]  コンピュータのオペレーティングシステムを通して利用可能なアプリケーションのリストを見て、そこから選択を行うためのグラフィカルユーザインタフェースは、切替えリストを含む。切替えリストは、ディスプレイ上でアプリケーションのビューを操作するジェスチャ中に、部分表示され、リストの内容をピークできるようにする。
【０００５】
[0005]  様々な実施態様において、表示される切替えリストは、全体表示または部分表示あるいは非表示にすることができる。切替えリストは、切替えリストが非表示であるときにディスプレイの左側縁部からスワイプする、または全体表示されている切替えリストからオブジェクトを選択してドラッグするなど、何らかのユーザ入力ジェスチャによってユーザがその切替えリストからオブジェクトを選択した後、部分表示になる。切替えリストは、現在アクティブなオブジェクトを切替えリストに戻すことをユーザが何らかのユーザジェスチャによって示したときに、部分表示または非表示の状態から全体表示状態に移行する。状態間の移行をアニメーションにして、さらに楽しい表示にすることもできる。同様に、選択したアプリケーションを表すオブジェクトの位置およびサイズも、移行時にアニメーションにすることができる。
【０００６】
[0006]  切替えリストは、少なくとも部分表示、全体表示または非表示の状態を有する、オブジェクト指向切替えリストオブジェクトなどのデータ構造で表すことができる。オペレーティングシステムが保持するこのアプリケーションのリストを使用して、アプリケーションを識別し、配列することができる。この切替えリストオブジェクトを表示するための適当な方法は、切替えリストの状態（部分表示か、全体表示か、非表示か）、アニメーション化される前状態からの移行があるかどうか、切替えリスト中のアプリケーションのグラフィック表現の配列、ならびに表示内の切替えリストの位置および向きによって決まる。
【０００７】
[0007]  例示的な実施態様では、切替えリストは、表示領域の左側縁部に小さいサムネイル画像が縦方向に並んだものとして表示される。このような表示オブジェクトは、横方向に並べる、斜めに並べる、あるいはある形状またはその他の構成で並べることもできる。アプリケーションは、小さいサムネイルの代わりに、アイコンまたはその他のオブジェクトで表すこともできる。切替えリストの表示領域内の向きまたは表示領域に対する向きも、様々に変更することができる。
【０００８】
[0008]  以下の説明では、例示を目的として本技術の具体的な例示的な実施態様を示す、本明細書の一部を構成する添付の図面について言及する。その他の実施形態を利用することもでき、また、本開示の範囲を逸脱することなく様々な構造的変更を加えることもできることを理解されたい。
【図面の簡単な説明】
【０００９】
【図１】[0009]図１は、アプリケーションの切替えリストを提供するオペレーティングシステムを備えた例示的なコンピュータを示すデータフロー図である。
【図２】[0010]部分表示状態の切替えリストを呼び出すジェスチャを示す例示的なグラフィカルユーザインタフェースを示す図である。
【図３】[0011]全体表示状態の切替えリストを呼び出すジェスチャを示す例示的なグラフィカルユーザインタフェースを示す図である。
【図４】[0012]切替えリストに戻されるアプリケーションを示す例示的なグラフィカルユーザインタフェースを示す図である。
【図５】[0013]切替えリストを部分表示状態に戻すジェスチャを示す例示的なグラフィカルユーザインタフェースを示す図である。
【図６】[0014]切替えリスト表示マネージャの例示的な実施態様を示すフローチャートである。
【図７】[0015]複数のモニタ用の例示的なグラフィカルユーザインタフェースを示す図である。
【図８】[0016]このようなシステムの構成要素を実施することができる例示的なコンピュータを示すブロック図である。
【発明を実施するための形態】
【００１０】
[0017]  以下の項では、切替えリスト（switch list）を実装することができる例示的な動作環境について述べる。
【００１１】
[0018]  図１を参照すると、コンピュータ１００は、アプリケーション１０４の実行と、メモリ、記憶装置、入出力デバイスおよび処理リソース（図示せず）など様々なコンピュータリソースに対するそれらのアプリケーションのアクセスの実行とを管理するオペレーティングシステム１０２を含む。このようなシステムを実施するための例示的なコンピュータについては、以下で図８と関連付けてさらに詳細に述べる。コンピュータ上で複数のアプリケーションが動作するので、オペレーティングシステム１０２は、アプリケーションのリスト１０６を保持しており、そのリストから、本明細書で切替えリストと称する表示用リストを作成することができる。切替えリストは、アプリケーションを識別するデータ構造であり、アプリケーションを表すアイコンのレファレンス（参照）やアプリケーションの現在の表示データなど、その他の情報を含むことができる。
【００１２】
[0019]  切替えリストは、ディスプレイ１２０上でユーザに対して表示される。このディスプレイは、ポインタデバイス（マウスなど）またはタッチデバイス（タッチスクリーンなど）からの入力に基づくものとし得るユーザ入力ジェスチャ１２２に応じてインタラクティブである。このインタラクティブなディスプレイを実現するために、オペレーティングシステムは、切替えリスト１０６およびユーザ入力ジェスチャ１２２を受け取り、ディスプレイ１２０に出力する切替えリストのグラフィック表現を含む表示データ１２６を生成する、切替えリスト表示マネージャ１２４を有する。以下でさらに詳細に述べるように、様々なユーザ入力ジェスチャ１２２に応答して、切替えリスト表示マネージャは、切替えリストを様々な状態で表示し、ユーザが切替えリスト中の項目を操作して、例えばアプリケーションを選択し、アプリケーションの選択を取り消し、利用可能なアプリケーションを見ることができるようにする。
【００１３】
[0020]  この文脈で、例示的な実施態様について、図２〜図７に関連付けてさらに詳細に説明する。
【００１４】
[0021]  図２は、切替えリストを表示する例示的なグラフィカルユーザインタフェースを示す図である。この例では、ディスプレイ上のアプリケーションのビューを操作するジェスチャの後、切替えリストが２００に部分表示され、切替えリストの内容がピークできるようになる。この例では、採られているジェスチャは、２０２に示すように、ユーザが指をタッチスクリーン上の表示領域の左側縁部に置き、その指を表示領域の内側に向かってドラッグすることなどによる、タッチスクリーン上の「スワイプ」である。スワイプは、２０６に示すようにしきい値を通過する。このスワイプジェスチャは、ディスプレイまたは表示領域の任意の縁部から行うことができるが、この例では、スワイプは左側縁部から行われている。この左側縁部から右に向かうスワイプによって、アプリケーションのビューまたはグラフィック表現（representation）２０４が表示され、その後、ディスプレイにおけるさらなるドラッグジェスチャによって操作される。この例では、アプリケーションのビューは、このアプリケーションの表示の大きいサムネイル画像である。スワイプジェスチャがしきい値を通過した後、切替えリストの部分ビューが、表示領域の左側縁部に表示される。この実施態様では、部分ビューは、全体表示状態の切替えリストの幅より小さい表示領域の縁部からの距離２０８によって定義される。表示されない状態から部分表示状態に切替えリストが移行していく様子をアニメーションにして、表示をさらに楽しいものにすることもできる。
【００１５】
[0022]  図３は、このグラフィカルユーザインタフェースにおける別の例示的な挙動を示す図である。この例では、切替えリストは、既に３００に部分表示されている。この例では、ユーザのジェスチャは、３０４に示すように、アプリケーションのビュー３０２を左に向かってドラッグするものである。この例では、ビュー３０２は、アプリケーションの表示の大きいサムネイル画像である。この動きが、本明細書で戻りしきい値と呼ぶしきい値３０６に到達すると、表示領域の左側縁部からスイッチリストの部分表示が拡大してリストの全体表示になる。このような挙動は、切替えリストが非表示状態で、アプリケーションが選択され、ディスプレイ内をドラッグされる場合にも当てはまる。
【００１６】
[0023]  図４は、一実施態様における、切替えリストが４００に全体表示された状態で、アプリケーションのビューをしきい値を超えて左に向かってドラッグするジェスチャの結果を示す図である。切替えリストの部分表示状態から全体表示状態への移行を、時間変化する何らかのグラフィックアニメーションを用いて行って、表示をさらに楽しいものにすることもできる。この例では、全体表示された切替えリストは、各アプリケーションの表示の小さいサムネイル画像を含む。ユーザが大きいサムネイル画像（図３のビュー３０２）をドラッグした現在選択されているアプリケーションの小さいサムネイル画像４０２がここで示されて、全体表示された切替えリスト内の所定の位置に配置されている。この例では、小さいサムネイル画像４０２は、切替えリストの最上部に表示される。大きいサムネイル画像から小さいサムネイル画像４０２への移行を、位置およびサイズの両方について滑らかなアニメーションにして、さらに楽しい表示をユーザに提供することもできる。その後、ユーザは、４０４に示すように、切替えリスト中の別のオブジェクトを選択することができる。
【００１７】
[0024]  切替えリストが表示されている状態で、ユーザは、切替えリスト中の項目を選択することができる。例えば、タッチインタフェース上で、ユーザは、小さいサムネイル画像のうちの１つ４０４にタッチして、表示されている切替えリストからディスプレイ上の主領域にドラッグすることができる。同様に、ポインティングデバイスを用いて、ユーザは、小さいサムネイル画像のうちの１つ４０４をクリックして、表示されている切替えリストからディスプレイ上の主領域にドラッグすることもできる。
【００１８】
[0025]  図５は、一実施態様における、全体表示された切替えリストからオブジェクトを選択することによって、全体表示状態から部分表示状態への切替えリストの移行が起こる状態を示す図である。図５では、オブジェクトが、選択され、５００に示すようにドラッグされることによって、表示されている切替えリストの縁部を超え、しきい値５０２を超えてドラッグされた場合に、切替えリストは、部分表示ビューに移行する。このアクションにより、切替えリストおよび図２と同様の選択されたアプリケーションを表すオブジェクトのビューが生じる。切替えリストの全体表示状態から部分表示状態への移行、および選択されたオブジェクトの小さいサムネイル画像から大きいサムネイル画像への移行をアニメーションにして、表示をさらに楽しいものにすることもできる。
【００１９】
[0026]  上記の例示的な実施態様では、切替えリストは、表示領域の左側縁部に小さいサムネイル画像が縦方向に並んだものとして表示される。このような表示オブジェクトは、横方向に並べる、斜めに並べる、あるいはある形状またはその他の構成で並べることもできる。アプリケーションは、小さいサムネイルの代わりに、アイコンまたはその他のオブジェクトで表すこともできる。表示領域内の向きまたは表示領域に対する向きも、様々に変更することができる。
【００２０】
[0027]  様々な実施態様において、表示される切替えリストは、全体表示または部分表示、あるいは非表示にすることができる。切替えリストが非表示の状態でディスプレイの左側縁部からスワイプする、あるいは全体表示状態の切替えリストからオブジェクトを選択してドラッグするなど、ユーザが何らかのユーザ入力ジェスチャによって切替えリストからオブジェクトを選択した後で、切替えリストは部分表示になる。切替えリストは、ユーザが現在アクティブなオブジェクトを切替えリストに戻すことを何らかのユーザジェスチャによって示すと、部分表示状態または非表示状態から全体表示状態に移行する。状態間の移行をアニメーションにして、表示をさらに楽しいものにすることもできる。同様に、アプリケーションを表す選択されたオブジェクトの位置およびサイズも、移行時にアニメーションにすることもできる。
【００２１】
[0028]  したがって、切替えリストは、少なくとも部分表示状態、全体表示状態または非表示状態を有する、オブジェクト指向の切替えリストオブジェクトなどのデータ構造で表すことができる。オペレーティングシステムが保持するアプリケーションのリストを使用して、アプリケーションを識別し、配列することができる。この切替えリストオブジェクトを表示する適当な方法は、切替えリストの状態（部分表示か、全体表示か、非表示か）、アニメーション化される前状態からの移行があるかどうか、切替えリスト中のアプリケーションのグラフィック表現の配列、ならびに表示内の切替えリストの位置および向きによって決まる。
【００２２】
[0029]  上記に鑑みて、このような切替えリストを備えたグラフィカルユーザインタフェースを維持するプロセスを説明するフローチャートを、図６に示す。
【００２３】
[0030]  図６のフローチャートでは、最初に、大きいサムネイル画像など、アプリケーションのグラフィック表現をドラッグするジェスチャに応答する（６００）。システムは、そのアプリケーションがどこからドラッグされているかを決定する（６０２）。
【００２４】
[0031]  ６０４に示すように、そのアプリケーションが以前からスクリーン上にあった場合には、引き続きアプリケーションをスクリーン内でドラッグすることができ、切替えリストは、６０８で判定されるようにそのアプリケーションの位置がピークしきい値より左側になるまで、現在の状態のまま留まる（６０６）。ドラッグ操作は、切替えリストから選択すること、ジェスチャ（スクリーンの上縁部からのスワイプなど）によって最小化すること、またはさらに他のジェスチャなど、いくつかの異なるジェスチャによって開始することができる。
【００２５】
[0032]  同様に、６１０に示すように、アプリケーションがスクリーン上になかった場合には、６１２に示すように、アプリケーションはドラッグされている。ドラッグ操作は、ディスプレイの縁部から内側にドラッグすること（この例示的な実施態様の場合）、またはその他のジェスチャなど、いくつかの異なるジェスチャによって開始することができる。アプリケーションは、６１４に示すように、引き続きスクリーン上をドラッグすることができ、切替えリストは、６１６で判定されるようにそのアプリケーションの位置がドラッグされてピークしきい値より右側になるまで、現在の状態のまま留まる。以前にアクティブであったアプリケーションについてのジェスチャがディスプレイ上の切替えリストが表示されていない位置から始まり、切替えリストが非表示である場合には、しきい値を超えたときに、切替えリストの全体表示を呼び出すことができる。
【００２６】
[0033]  なお、ディスプレイ上の切替えリストの向きによって、切替えリストの部分表示を呼び出すピークしきい値を超える動きの方向が決まることに留意されたい。切替えリストが表示領域の左側縁部に表示される場合、ドラッグされるアプリケーションのビューがスクリーン上で生じたときには、ピークしきい値を左方向に超える。ドラッグされるアプリケーションのビューがスクリーン外の左側で生じたときには、ピークしきい値を右方向に超える。一般に、ドラッグされるアプリケーションのビューがスクリーン上にあるときには、切替えリストの表示位置に向かう動きによって、切替えリストが呼び出され、ドラッグされるアプリケーションのビューがスクリーン外、ただし切替えリストの近くにあるときには、切替えリストの表示位置から遠ざかる動きによって、切替えリストが呼び出される。
【００２７】
[0034]  この例示的な実施態様では、６０８または６１６で判定されるようにアプリケーションのビューがドラッグされてピークしきい値を超えると、切替えリストは、６１８に示すように、状態を変化させて部分表示ビューになる。この移行時に、切替えリストの表示および任意の現在選択されているアプリケーションの任意のグラフィック表現の表示を、位置およびサイズの両方についてアニメーションにして、表示を楽しいものにすることもできる。
【００２８】
[0035]  切替えリストが部分表示である間に、６２０に示すように、ユーザは、引き続き現在選択されているアプリケーションのグラフィック表現を操作することができる。６２２に示すように、「ドロップ」ジェスチャなどによって、ユーザがアプリケーションを解放した場合には、切替えリストは見えなくなる（６２４）（切替えリストの状態が非表示状態に変化する）。
【００２９】
[0036]  ユーザが再度アプリケーションを部分表示状態の切替えリストの方向にドラッグした場合には、システムは、６３２に示すように、そのアプリケーションが戻りしきい値内にドラッグされたかどうかを判定する。アプリケーションが戻りしきい値内にない場合には、６２０に示すように、ユーザは、ディスプレイ内でさらにドラッグするなど、引き続きそのアプリケーションを操作することができる。アプリケーションがドラッグされて戻りしきい値内にある場合には、６３６に示すように、切替えリストは、その状態を全体表示状態に変化させる。この段階で、ユーザは、アプリケーションを切替えリストに戻すことができる。
【００３０】
[0037]  ここまで、１つの表示領域を用いた例示的な実施態様について説明したが、次に、複数のモニタ（ディスプレイ）を用いるシステムに適用可能な実施態様に対応する図７について説明する。
【００３１】
[0038]  例えば、複数のモニタにまたがってユーザがアプリケーション（大きいサムネイル画像など、そのグラフィック表現）を操作することができるようにすることが望ましい。ただし、切替えリストを部分表示または全体表示にするための様々なしきい値は、切替えリストが表示されるモニタに関連付けられる。
【００３２】
[0039]  図７を参照すると、例示的な実施態様において、モニタＡ（７００）およびモニタＢ（７０２）があるものとして、７０４に示すように、カーソルまたはその他のオブジェクトは、モニタＡに表示される状態からモニタＢに表示される状態に移動することができる。この場合には、切替えリストが現在モニタＡの７０６に部分表示されている場合には、切替えリストは、オブジェクトがモニタＢに移動した後で、非表示になることができる。
【００３３】
[0040]  その他の条件を、切替えリストの表示に設けることもできる。例えば、切替えリストが表示領域の左側縁部に表示される場合には、切替えリストは、部分表示であるか全体表示であるかに関わらず、（他のモニタとの間で）完全に共有されない左側縁部を有するモニタにしか表示されない。同様の条件を、他の切替えリストの配置に適用することもできる。また、切替えリストは、現在のカーソル位置を有するモニタに部分表示される。したがって、カーソルが別のモニタに移動した場合には、その部分表示されている切替えリストも移動する。同様に、切替えリストがあるモニタに部分表示されている場合には、その切替えリストは、アプリケーションを戻りしきい値にドラッグする同じモニタ上のジェスチャのみに応答して、全体表示になる。
【００３４】
[0041]  ここまで、例示的な実施態様について説明したが、次に、このようなシステムの構成要素が協働するようになっているコンピュータについて説明する。以下の説明は、このようなシステムを実施することができる適当なコンピュータの簡単かつ大まかな説明を与えるためのものである。コンピュータは、様々な汎用または特殊目的のコンピューティングハードウェア構成のいずれであってもよい。適している可能性がある周知のコンピュータの例としては、パーソナルコンピュータ、サーバコンピュータ、手持ち型またはラップトップデバイス（例えばメディアプレイヤ、ノートブックコンピュータ、携帯電話、個人携帯端末、ボイスレコーダなど）、マルチプロセッサシステム、マクロプロセッサ型システム、セットトップボックス、ゲームコンソール、プログラマブル大衆消費電子製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのうちのいずれかを含む分散型コンピューティング環境などが挙げられるが、これらに限定されるわけではない。
【００３５】
[0042]  図８は、適当なコンピュータの一例を示す図である。これは、適当なコンピュータの単なる一例に過ぎず、このコンピュータの使用または機能の範囲についていかなる制限を示唆するものでもない。
【００３６】
[0043]  図８を参照すると、例示的なコンピュータ８００は、基本構成として、少なくとも１つの処理ユニット８０２とメモリ８０４とを含む。コンピュータは、グラフィック処理ユニット８２０など、複数の処理ユニットおよび／または追加のコプロセッシングユニットを含むこともできる。コンピュータの厳密な構成およびタイプによって、メモリ８０４は、揮発性（ＲＡＭなど）であってもよいし、不揮発性（ＲＯＭ、フラッシュメモリなど）であってもよいし、その２つの何らかの組合せであってもよい。この構成を、図８に破線８０６で示す。
【００３７】
[0044]  さらに、コンピュータ８００は、追加の特徴／機能を有することもできる。例えば、コンピュータ８００は、磁気または光学式のディスクまたはテープなど（ただしこれらに限定されない）、追加の記憶装置（取外し式および／または非取外し式）を含むこともできる。このような追加の記憶装置は、取外し式な記憶装置８０８および非取外し式な記憶装置８１０として、図８に示してある。コンピュータ記憶媒体は、コンピュータプログラム命令、データ構造、プログラムモジュールまたはその他のデータなどの情報を記憶するための任意の方法または技術で実施される、揮発性および不揮発性の取外し式および非取外し式な媒体を含む。メモリ８０４、取外し式記憶媒体８０８、非取外し式な記憶装置８１０は全て、コンピュータ記憶媒体の例である。コンピュータ記憶媒体としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタル汎用ディスク（ＤＶＤ）またはその他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置またはその他の磁気記憶デバイス、あるいはその他の、所望の情報を記憶するために使用することができる、コンピュータ８００がアクセスすることができる任意の媒体が挙げられるが、これらに限定されるわけではない。このようなコンピュータ記憶媒体はコンピュータ８００の一部であってよい。
【００３８】
[0045]  コンピュータ８００は、デバイスが通信媒体を介して他のデバイスと通信することを可能にする１つまたは複数の通信接続８１２を含むこともできる。通信媒体は、通常は、コンピュータプログラム命令、データ構造、プログラムモジュールまたはその他のデータを、搬送波またはその他のトランスポートメカニズムなどの変調データ信号に含めて担持し、任意の情報配信媒体を含む。「変調データ信号」という用語は、その信号の特徴のうちの１つまたは複数が、その信号中に情報を符号化するように設定または変更されることにより、その信号の受信デバイスの構成または状態を変更する信号を意味する。例えば、通信媒体としては、有線ネットワークまたは直接配線接続などの有線媒体、および音声媒体、ＲＦ媒体、赤外線媒体およびその他の無線媒体などの無線媒体が挙げられるが、これらに限定されるわけではない。通信接続８１２は、ネットワークインタフェースなど、通信媒体とのインタフェースをとって通信媒体を介してデータを伝送し、通信媒体からデータを受信するデバイスである。
【００３９】
[0046]  コンピュータ８００は、キーボード、マウス、ペン、カメラ、タッチ入力デバイスなど、様々な１つまたは複数の入力デバイス８１４を有することができる。ディスプレイ、スピーカ、プリンタなど、１つまたは複数の出力デバイス８１６も含むことができる。これらのデバイスは全て、当技術分野で周知であり、ここで詳細には説明する必要はない。様々な入力デバイスおよび出力デバイスによって、ナチュラルユーザインタフェース（NUI）を実施することができる。ナチュラルユーザインタフェースは、ユーザが、マウス、キーボード、遠隔制御装置などの入力デバイスによって課される人工的な制約がなく「自然に」デバイスと相互作用できるようにする、任意のインタフェース技術である。
【００４０】
[0047]  ＮＵＩ方法の例としては、音声認識、タッチおよびスタイラス認識、スクリーン上およびスクリーン近傍のジェスチャ認識、空中ジェスチャ、頭部および目のトラッキング、音声および発話、視覚、触覚、ジェスチャならびに機械知能に依拠する方法などが挙げられるが、より自然なインタフェースをもたらす、タッチセンシティブディスプレイ、音声および発話認識、意図および目的の理解、奥行きカメラ（立体カメラシステム、赤外線カメラシステム、およびその他のカメラシステムとそれらの組合せなど）を用いた動きジェスチャ検出、加速度計またはジャイロスコープを用いた動きジェスチャ検出、顔認識、３次元ディスプレイ、頭部、目および視線のトラッキング、ならびに没入型拡張現実感及び仮想現実システム、さらには電界感知電極（ＥＥＧおよび関連する方法）を用いる脳活動を感知する技術を使用することも含むことができる。
【００４１】
[0048]  コンピュータ上で動作するこのシステムの各構成要素は、一般に、プログラムモジュールなどのコンピュータ実行可能命令および／またはコンピュータ解釈命令を含む１つまたは複数のコンピュータプログラムなどのソフトウェアがコンピュータによって処理されることによって実施される。一般に、プログラムモジュールは、処理ユニットによって処理されたときに、その処理ユニットに特定のタスクを実行する、または特定の抽象データタイプを実施するように命令するルーチン、プログラム、オブジェクト、コンポーネントおよびデータ構造などを含む。ライセンス制限を実施するこのコンピュータシステムは、タスクが通信ネットワークを介してリンクされた複数の遠隔処理デバイスによって実行される分散型コンピューティング環境で実施することができる。分散型コンピューティング環境では、プログラムモジュールは、メモリ記憶デバイスを含むローカルおよび遠隔の両方のコンピュータ記憶媒体に位置することができる。
【００４２】
[0049]  あるいは、またはこれに加えて、本明細書に記載する機能は、少なくとも部分的には、１つまたは複数のハードウェア論理構成要素によって実行することもできる。例えば、使用することができる例示的なタイプのハードウェア論理構成要素としては、フィールドプログラマブルゲートアレイ（FPGA）、特定プログラム向け集積回路（ASIC）、特定プログラム向け標準品（ASSP）、システムオンチップシステム（SOC）、複合プログラマブル論理デバイス（CPLD）などが挙げられるが、これらに限定されるわけではない。
【００４３】
[0050]  添付の特許請求の範囲のプリアンブルの「製品」、「プロセス」、「機械」および「物質組成」という用語は、米国特許法第１０１条におけるこれらの用語を用いることによって定義される特許性のある対象の範囲に含まれると考えられる対象に請求項を限定することを意図したものである。
【００４４】
[0051]  本明細書に記載する上述の代替実施形態のいずれかまたは全ては、追加の混成実施形態を形成するために望ましい任意の組合せで使用することができる。なお、添付の特許請求の範囲に定義される対象は、必ずしも上述の具体的な実施態様に限定されるわけではないことを理解されたい。上述の具体的な実施態様は、単なる例示として開示したものである。
【図１】
2016514875.tif 000003
【図２】
2016514875.tif 000004
【図３】
2016514875.tif 000005
【図４】
2016514875.tif 000006
【図５】
2016514875.tif 000007
【図６】
2016514875.tif 000008
【図７】
2016514875.tif 000009
【図８】
2016514875.tif 000010
【国際調査報告】
2016514875.tif 000011
2016514875.tif 000012
2016514875.tif 000013