(57)【特許請求の範囲】
【請求項１】
アプリケーションを制御するための方法であって、
ユーザデバイスのインターフェースに表示されるフォアグラウンドアプリケーションを動作させるステップと、
前記ユーザデバイスのバックグラウンドで少なくとも1つのアプリケーションを動作させるステップと、
前記ユーザデバイスのユーザからの非接触のジェスチャ入力を検出するステップと、
前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートする能力を有するかどうかを判定するステップと、
前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートする場合、前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとが異なる非接触のジェスチャ入力イベントのセットに対して登録されているかどうかを判断するステップと、
前記フォアグラウンドアプリケーションが前記バックグラウンドアプリケーションとは異なる非接触のジェスチャ入力イベントのセットに対して登録される場合、前記検出された非接触のジェスチャ入力を、前記非接触のジェスチャ入力が登録されるアプリケーションに経路付けるステップと、
前記フォアグラウンドアプリケーションが前記バックグラウンドアプリケーションに対して登録される入力イベントと同一の少なくとも1つの非接触のジェスチャ入力イベントに対して登録される場合、前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で選択を行うステップと、
前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートしない場合、最後に登録されたジェスチャアプリケーションに検出された非接触のジェスチャを提供するステップと、
を含む、方法。
【請求項２】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うステップが、所定の時間維持されるエンゲージメント姿勢を検出すること、および、前記ユーザが前記バックグラウンドアプリケーションに対する制御を切り替えられるようにするオーバーレイを示すことをさらに含む、請求項1に記載の方法。
【請求項３】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うステップが、所定の時間維持されるエンゲージメント姿勢を検出すること、および、前記フォアグラウンドアプリケーションへのフォーカスを失うことなく前記バックグラウンドアプリケーションを制御するように自動的に切り替えることをさらに含む、請求項1に記載の方法。
【請求項４】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うステップが、前記ユーザが前記バックグラウンドアプリケーションにエンゲージするのを望むことを示す特定の非接触のジェスチャ入力を検出することをさらに含み、前記バックグラウンドアプリケーションは複数のバックグラウンドアプリケーションのうちの1つである、請求項1に記載の方法。
【請求項５】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うステップが、2つ以上のアプリケーションの間で選択をするために割り当てられた単一の非接触のジェスチャ入力を検出することをさらに含む、請求項1に記載の方法。
【請求項６】
前記バックグラウンドアプリケーションが起動するときに特定の非接触のジェスチャ入力に対して前記バックグラウンドアプリケーションを登録するステップと、前記バックグラウンドアプリケーションが終了するときに前記バックグラウンドアプリケーションの登録を取り消すステップとをさらに含む、請求項1に記載の方法。
【請求項７】
アプリケーションを制御するための装置であって、
表示するための手段に表示されるフォアグラウンドアプリケーションを動作させるための手段と、
バックグラウンドで少なくとも1つのアプリケーションを動作させるための手段と、
前記装置のユーザからの非接触のジェスチャ入力を検出するための手段と、
前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートする能力を有するかどうかを判定するための手段と、
前記フォアグラウンドアプリケーションが前記バックグラウンドアプリケーションとは異なる非接触のジェスチャ入力イベントのセットに対して登録され、前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートする場合、前記検出された非接触のジェスチャ入力イベントを、前記非接触のジェスチャ入力が登録されるアプリケーションに経路付けるための手段と、
前記フォアグラウンドアプリケーションが前記バックグラウンドアプリケーションに対して登録される入力イベントと同一の少なくとも1つの非接触のジェスチャ入力イベントに対して登録される場合、前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で選択を行うための手段と、
前記フォアグラウンドアプリケーションが非接触のジェスチャをサポートしない場合、最後に登録されたジェスチャアプリケーションに検出された非接触のジェスチャを提供するための手段と
を含む、装置。
【請求項８】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うための手段が、所定の時間維持されるエンゲージメント姿勢を検出するための手段、および、前記ユーザが前記バックグラウンドアプリケーションに対する制御を切り替えられるようにするオーバーレイを示すための手段をさらに含む、請求項7に記載の装置。
【請求項９】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うための手段が、所定の時間維持されるエンゲージメント姿勢を検出するための手段、および、前記フォアグラウンドアプリケーションへのフォーカスを失うことなく前記バックグラウンドアプリケーションを制御するように自動的に切り替えるための手段をさらに含む、請求項7に記載の装置。
【請求項１０】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うための手段が、前記ユーザが前記バックグラウンドアプリケーションにエンゲージするのを望むことを示す特定の非接触のジェスチャ入力を検出するための手段ことをさらに含み、前記バックグラウンドアプリケーションは複数のバックグラウンドアプリケーションのうちの1つを含む、請求項7に記載の装置。
【請求項１１】
前記フォアグラウンドアプリケーションと前記バックグラウンドアプリケーションとの間で前記選択を行うための手段が、2つ以上のアプリケーションの間で選択をするために割り当てられた単一の非接触のジェスチャ入力を検出するための手段をさらに含む、請求項7に記載の装置。
【請求項１２】
バックグラウンドにおける前記少なくとも1つのアプリケーションの1つまたは複数が起動するときに特定の非接触のジェスチャ入力に対して前記バックグラウンドにおける前記少なくとも1つのアプリケーションの1つまたは複数を登録するための手段と、前記バックグラウンドにおける前記少なくとも1つのアプリケーションの1つまたは複数が終了するときに登録を取り消すための手段とをさらに含む、請求項7に記載の装置。
【請求項１３】
非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体に記憶されたコンピュータ可読命令は、プロセッサによって実行されると、前記プロセッサに、請求項1乃至6の何れか1項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の実施形態は、一般にユーザデバイスに関し、より詳細には、タスクまたはアプリケーションに作用するための非接触の対話式入力を検出することに関する。
【背景技術】
【０００２】
今日、ユーザデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は、複数のアプリケーションまたはタスクを同時に動作させることができるコンピューティングデバイスプロセッサを備えるのが一般的である。アプリケーションまたはタスクを制御するために、ユーザは、ユーザが制御したいアプリケーションまたはタスクに移動することができてよく、または別法として、ユーザは、アプリケーションまたはタスクに対する制御のメニューまたはリストを「プルダウン」することができてよい。
【０００３】
統合された車両システムの一例において、音声制御は、まず音声入力を最優先のタスクにしてから、ユーザが機能に関する入力を行えるようにすることができる。たとえば、ラジオがかかっているときに、ユーザは音声指示用のボタンを押すことができる。そうするとラジオは消音し、ユーザは「温度を78度に設定する」というような音声指示を行うことができる。温度が変更され、次いでラジオの消音が解除される。このように、最優先のタスクにされると、音声制御は、ユーザがアプリケーションに入力を行えるようにすることができる。しかしながら、そのように利用できる制御は、他の状況において作動しない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
それゆえ、当技術分野においては、ユーザデバイス上でのマルチタスキングを向上させる必要がある。
【課題を解決するための手段】
【０００５】
フォアグラウンドタスクまたはアプリケーションのようなフォーカスされているタスクまたはアプリケーションに影響を及ぼすことなく、たとえば、バックグラウンドタスクまたはアプリケーションのように現在フォーカスされていないタスクまたはアプリケーションであるアプリケーションなどのアプリケーションまたはタスクに作用し、またはこれらを制御するための入力指示として非接触のジェスチャなどの対話式入力を用いるための、1つまたは複数の実施形態によるシステムおよび方法が提供される。
【０００６】
一実施形態によれば、バックグラウンドアプリケーションを制御するための方法は、ユーザデバイスによって受け付けられる非接触のジェスチャ入力を検出するステップを含む。この方法はまた、非接触のジェスチャ入力をバックグラウンドで動作するアプリケーションと関連付けるステップを含み、別のフォーカスされているアプリケーションはフォアグラウンドで動作している。この方法はさらに、フォアグラウンドアプリケーションに影響を及ぼすことなくバックグラウンドアプリケーションを関連付けられた非接触のジェスチャ入力で制御するステップを含む。
【０００７】
別の実施形態によれば、デバイスは、非接触のジェスチャ入力を検出するように構成される入力と、非接触のジェスチャ入力をバックグラウンドで動作するアプリケーションと関連付けるように構成され、別のフォーカスされているアプリケーションはフォアグラウンドで動作し、さらに、このフォアグラウンドアプリケーションに影響を及ぼすことなくバックグラウンドアプリケーションを関連付けられた非接触のジェスチャ入力で制御するように構成される、1つまたは複数のプロセッサとを備える。一実施形態において、このプロセッサはさらに、ユーザデバイスのインターフェース上でフォーカスされているアプリケーションの上にオーバーレイを表示するように構成され、このオーバーレイは、非接触のジェスチャ入力がバックグラウンドアプリケーションに作用するために利用可能であることを示す。別の実施形態では、非接触のジェスチャ入力は、対象、凝視または視標追跡による姿勢または挙動を含む。別の実施形態では、プロセッサはさらに、対応する特定のアプリケーションに関する対応する指示に割り当てられた特定の非接触のジェスチャ入力を示すグローバルな参照テーブルを用いるように構成される。別の実施形態では、プロセッサはさらに、ユーザデバイスの現在の出力状態に基づいて、非接触のジェスチャ入力をアプリケーションに関する対応する指示に割り当てるように構成される。別の実施形態では、プロセッサはさらに、フォアグラウンドアプリケーションおよびバックグラウンドアプリケーションに対して登録された非接触のジェスチャ入力を検出し、検出された非接触のジェスチャ入力を適用するためのアクティブな非接触のジェスチャ入力のアプリケーションを選択するように構成される。別の実施形態では、プロセッサはさらに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出するように構成され、また、ユーザがバックグラウンドアプリケーションに対する制御を切り替えられるようにするオーバーレイを示す。別の実施形態では、プロセッサはさらに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出するように構成され、また、フォアグラウンドアプリケーションへのフォーカスを失うことなくバックグラウンドアプリケーションを制御するように自動的に切り替える。別の実施形態では、プロセッサはさらに、ユーザがバックグラウンドアプリケーションにエンゲージするのを望むことを示す特定の非接触のジェスチャ入力を検出するように構成される。別の実施形態では、プロセッサはさらに、2つ以上のアプリケーションの間で選択をするために割り当てられた単一の非接触のジェスチャ入力を検出するように構成される。別の実施形態では、プロセッサはさらに、非接触のジェスチャ入力のエンゲージメントが最後に選択されたアプリケーションに自動的に関係付けられるモードを可能にするように構成される。別の実施形態では、プロセッサはさらに、バックグラウンドアプリケーションが起動するときに特定の非接触のジェスチャ入力に対してバックグラウンドアプリケーションを登録するように構成され、バックグラウンドアプリケーショ���が終了するときに特定の非接触のジェスチャ入力に対するバックグラウンドアプリケーションの登録を取り消す。別の実施形態では、フォーカスされているアプリケーションがフォアグラウンドで動作している間、バックグラウンドアプリケーションの要素は表示されない。
【０００８】
別の実施形態によれば、バックグラウンドアプリケーションを制御するための装置は、この装置によって受け付けられる非接触のジェスチャ入力を検出するための手段と、非接触のジェスチャ入力をバックグラウンドで動作するアプリケーションと関連付けるための手段とを含み、別のフォーカスされているアプリケーションはフォアグラウンドで動作し、さらに、フォアグラウンドアプリケーションに影響を及ぼすことなくバックグラウンドアプリケーションを関連付けられた非接触のジェスチャ入力で制御するための手段を含む。一実施形態において、フォーカスされているアプリケーションは、装置の表示手段に表示される。別の実施形態では、装置はさらに、この装置の表示手段上でフォーカスされているアプリケーションの上にオーバーレイを表示するための手段を含み、このオーバーレイは、非接触のジェスチャ入力がバックグラウンドアプリケーションに作用するために利用可能であることを示す。別の実施形態では、非接触のジェスチャ入力は、対象、凝視または視標追跡による姿勢または挙動を含む。別の実施形態では、装置はさらに、対応する特定のアプリケーションに関する対応する指示に割り当てられた特定の非接触のジェスチャ入力を示すグローバルな参照テーブルを用いるための手段を含む。別の実施形態では、装置はさらに、ユーザデバイスの現在の出力状態に基づいて、非接触のジェスチャ入力をアプリケーションに関する対応する指示に割り当てるための手段を含む。別の実施形態では、装置はさらにフォアグラウンドアプリケーションおよびバックグラウンドアプリケーションに対して登録された非接触のジェスチャ入力を検出するための手段と、検出された非接触のジェスチャ入力を適用するためのアクティブな非接触のジェスチャ入力のアプリケーションを選択するための手段とを含む。別の実施形態では、装置はさらに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出するための手段と、ユーザがバックグラウンドアプリケーションに対する制御を切り替えられるようにするオーバーレイを示すための手段とを含む。別の実施形態では、装置はさらに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出するための手段と、フォアグラウンドアプリケーションへのフォーカスを失うことなくバックグラウンドアプリケーションを制御するように自動的に切り替えるための手段とを含む。別の実施形態では、装置はさらに、ユーザがバックグラウンドアプリケーションにエンゲージするのを望むことを示す特定の非接触のジェスチャ入力を検出するための手段を含む。別の実施形態では、装置はさらに、2つ以上のアプリケーションの間で選択をするために割り当てられた単一の非接触のジェスチャ入力を検出するための手段を含む。別の実施形態では、装置はさらに、非接触のジェスチャ入力のエンゲージメントが最後に選択されたアプリケーションに自動的に関係付けられるモードを可能にするための手段を含む。別の実施形態では、装置はさらに、バックグラウンドアプリケーションが起動するときに特定の非接触のジェスチャ入力に対してバックグラウンド��プリケーションを登録するための手段と、バックグラウンドアプリケーションが終了するときに特定の非接触のジェスチャ入力に対するバックグラウンドアプリケーションの登録を取り消すための手段とを含む。別の実施形態では、装置はさらに、フォーカスされているアプリケーションがフォアグラウンドで動作している間、表示されないバックグラウンドアプリケーションの要素を含む。
【０００９】
別の実施形態によれば、非一時的なコンピュータ可読媒体にコンピュータ可読命令が記憶され、プロセッサによって実行されると、この命令は、プロセッサに、ユーザデバイスによって受け付けられる非接触のジェスチャ入力を検出させ、非接触のジェスチャ入力をバックグラウンドで動作するアプリケーションと関連付けさせ、別のフォーカスされているアプリケーションはフォアグラウンドで動作し、かつ、フォアグラウンドアプリケーションに影響を及ぼすことなくバックグラウンドアプリケーションを関連付けられた非接触のジェスチャ入力で制御させる。一実施形態において、命令はさらに、プロセッサに、ユーザデバイスのインターフェース上でフォーカスされているアプリケーションの上にオーバーレイを表示させるように構成され、このオーバーレイは、非接触のジェスチャ入力がバックグラウンドアプリケーションに作用するために利用可能であることを示す。別の実施形態では、非接触のジェスチャ入力は、対象による姿勢または挙動を含む。別の実施形態では、命令はさらに、プロセッサに、対応する特定のアプリケーションに関する対応する指示に割り当てられた特定の非接触のジェスチャ入力を示すグローバルな参照テーブルを用いさせるように構成される。別の実施形態では、命令はさらに、プロセッサに、ユーザデバイスの現在の出力状態に基づいて、非接触のジェスチャ入力をアプリケーションに関する対応する指示に割り当てさせるように構成される。別の実施形態では、命令はさらに、プロセッサに、フォアグラウンドアプリケーションおよびバックグラウンドアプリケーションに対して登録された非接触のジェスチャ入力を検出させ、検出された非接触のジェスチャ入力を適用するためのアクティブな非接触のジェスチャ入力のアプリケーションを選択させるように構成される。別の実施形態では、命令はさらに、プロセッサに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出させ、また、ユーザがバックグラウンドアプリケーションに対する制御を切り替えられるようにするオーバーレイを示させるように構成される。別の実施形態では、命令はさらに、プロセッサに、制御するバックグラウンドアプリケーションを指定し、かつ所定の時間維持されるエンゲージメント姿勢を検出させるように構成され、また、フォアグラウンドアプリケーションへのフォーカスを失うことなくバックグラウンドアプリケーションを制御するように自動的に切り替える。別の実施形態では、命令はさらに、プロセッサに、ユーザがバックグラウンドアプリケーションにエンゲージするのを望むことを示す特定の非接触のジェスチャ入力を検出させるように構成される。別の実施形態では、命令はさらに、プロセッサに、2つ以上のアプリケーションの間で選択をするために割り当てられた単一の非接触のジェスチャ入力を検出させるように構成される。別の実施形態では、命令はさらに、プロセッサに、非接触のジェスチャ入力のエンゲージメントが最後に選択されたアプリケーションに自動的に関係付けられるモードを可能にさせるように構成される。別の実施形態では、命令はさらに、プロセッサに、バックグラウンドアプリケーション��起動するときに特定の非接触のジェスチャ入力に対してバックグラウンドアプリケーションを登録させるように構成され、バックグラウンドアプリケーションが終了するときに特定の非接触のジェスチャ入力に対するバックグラウンドアプリケーションの登録を取り消す。別の実施形態では、フォーカスされているアプリケーションがフォアグラウンドで動作している間、バックグラウンドアプリケーションの要素は表示されない。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態による、ユーザデバイス上でマルチタスクを行うための方法を示す流れ図である。
【図２】本開示の一実施形態による、音楽制御の使用事例を示す流れ図である。
【図３】本開示の一実施形態による、対話式入力が適用されるアプリケーションを判断するための方法を示す流れ図である。
【図４】本開示の一実施形態による、アプリケーションを制御するために登録された非接触のジェスチャを用いるための方法を示す流れ図である。
【図５】本開示の一実施形態による、アクティブなジェスチャアプリケーションの選択の処理を示すブロック図である。
【図６】本開示の一実施形態による、バックグラウンドタスクのジェスチャの処理の一例を示す図である。
【図７】本開示の一実施形態による、デバイスを実装するためのシステムが示されるブロック図である。
【図８】本開示の一実施形態による、アプリケーションを制御するための方法を示す流れ図である。
【発明を実施するための形態】
【００１１】
アプリケーションまたはタスクがバックグラウンドで動作している場合であっても、現在フォーカスされているタスクまたはアプリケーション、すなわちフォアグラウンドタスクまたはアプリケーションに影響を及ぼすことなく、非接触のジェスチャなどの対話式指示または入力を特定のアプリケーションまたはタスクと関連付けるための、1つまたは複数の実施形態によるシステムおよび方法が提供される。
【００１２】
フォーカスされているタスクまたはアプリケーションは、たとえば、ユーザデバイスのインターフェースに現在表示されているアプリケーションであってよい。非接触のジェスチャは、現在フォーカスまたは表示されていないアプリケーションでないアプリケーションに対する入力として用いられ得る。このようにして、ユーザデバイス上で、特に同時に1つのタスクまたはアプリケーションのみを表示することができるユーザデバイス上で、真のマルチタスキングが可能とされ得る。
【００１３】
図面を参照すると、ここにおいて、図示は本開示の実施形態を示す目的でのみあってこれらを限定する目的ではないが、図1は、本開示の一実施形態による、ユーザデバイス上でマルチタスクを行うための方法を示す流れ図である。
【００１４】
ブロック102で、アクティブなアプリケーションまたはタスク(「フォアグラウンドアプリケーション」)は、ユーザデバイスのインターフェース、たとえば図7に示すディスプレイコンポーネント1514に表示され得る。ユーザデバイスは、一般に、電子メール、音楽、ゲーム、電子商取引、および他の多数の適切なアプリケーションなど無限の種類のアプリケーションを表示できるようにされてよい。
【００１５】
ブロック104で、ユーザデバイスは、たとえば図7に示す入力コンポーネント1516を介して、少なくとも1つの非接触のジェスチャ入力または指示を受け付けてアプリケーションに作用し、またはアプリケーションを制御することができる。非接触の対話式ジェスチャ入力または指示は、ユーザデバイスのインターフェースのすぐ上で(たとえば、オンスクリーン)、またはユーザデバイスの側面、上部、底部または裏側などユーザデバイスのインターフェースから離れて(たとえば、オフスクリーン)、手、指、ペンなどの対象を用いる姿勢または挙動を含んでよい。様々な実施形態において、ユーザデバイスは、たとえば図7に示す入力コンポーネント1516の一部としてなど、凝視または視標追跡のような対話式入力能力を備えてよい。たとえば、ユーザデバイスは、カメラなどの画像または映像キャプチャ能力を介して、ユーザデバイスをじっと見つめる、またはユーザデバイスに目を向けるユーザの顔を検出することができる。
【００１６】
本明細書における実施形態では、ユーザデバイスは、モバイルデバイス、タブレット、ラップトップ、パーソナルコンピュータ(PC)、テレビ、スピーカ、プリンタ、ゲームボックスなどを含んでよい。一般に、ユーザデバイスは、非接触のジェスチャの認識を含む任意のデバイスを含むか、またはその一部であってよく、つまり、非接触のジェスチャは、タッチスクリーンのジェスチャ対話以外のセンサまたは技術によってキャプチャされ得るのが一般的である。たとえば、非接触のジェスチャの認識は、超音波ジェスチャ検出、カメラなどの画像または映像キャプチャコンポーネント(たとえば、可視光カメラ、飛行時間型カメラなどの距離画像カメラ、立体照明カメラ、ステレオカメラまたは同種のもの)、深度センサ、赤外線(IR)、超音波ペンのジェスチャの検出などを介して行われ得る。つまり、デバイスは、デバイスに接触することのないユーザのジェスチャ(すなわち、カメラの前の手の姿勢のような非接触のジェスチャ)をキャプチャするためのカメラまたは他の画像追跡技術を用いる視覚ベースのジェスチャ能力を備えてよく、または、視覚ベースの能力以外の非接触のジェスチャを検出する能力を備えてよい。
【００１７】
また、非接触のジェスチャのキャプチャセンサまたは技術は、ユーザデバイスの一部、または、たとえば、ユーザデバイスの上部、底部、左側面、右側面、および/または裏側など、ユーザデバイスの様々な面に配置されるシステムの一部であってよく、その結果、非接触のジェスチャがユーザデバイスのすぐ前で行われる場合(オンスクリーン)にも、ユーザデバイスのスクリーンの直線的な視線から離れて行われる場合(オフスクリーン)にも、非接触のジェスチャはキャプチャされ得る。
【００１８】
ブロック106で、受け付けられた対話式入力は、アクティブなアプリケーション、たとえば、ユーザデバイスのインターフェースには表示されずにバックグラウンドで動作しているアプリケーション(「バックグラウンドアプリケーション」)であるアクティブなアプリケーションと(たとえば図7に示す処理コンポーネント1504によって)関連付けられ得る。この点で、バックグラウンドアプリケーションは、表示されるフォアグラウンドアプリケーションとは異なる。たとえば、電子メールアプリケーションはユーザデバイスのインターフェースのフォアグラウンドで動作することができ、また、表示され得、一方で、音楽アプリケーションはバックグラウンドで動作することができる。
【００１９】
ブロック108で、入力指示は(たとえば図7に示す入力コンポーネント1516を介して受け付けられると)、フォアグラウンドアプリケーションに影響を及ぼすことなく(たとえば図7に示す処理コンポーネント1504によって)バックグラウンドアプリケーションに適用され得る。たとえば、ユーザは、表示される電子メールアプリケーションで作業しながら、ジェスチャを用いてバックグラウンドで動作している音楽アプリケーションを制御することができ、したがって、ジェスチャは電子メールアプリケーションを妨げることがない。
【００２０】
このため、1つまたは複数の実施形態によれば、ユーザは、別のフォアグラウンドアプリケーションを表示するスクリーンから、バックグラウンドで動作するアクティブなアプリケーションを制御する能力を有することができる。また、様々な実施形態において、ユーザは、バックグラウンドで動作するアクティブなアプリケーションをフォアグラウンドに持ってくる能力を有してもよい。
【００２１】
本開示の実施形態は、システムがフォアグラウンドアプリケーションに影響を及ぼすことなく、またはフォアグラウンドアプリケーションに割り込むことなく、ユーザデバイスに表示されるアプリケーション以外のアプリケーションに、関連付けられた対話式入力を適用することができるようにユーザが対話式入力(たとえば、非接触のジェスチャ)を用いることができる、多数の使用事例に適用されてよい。使用事例の例として、次のものを含むことができる。
【００２２】
使用事例:電子メールアプリケーションが表示されている間の音楽制御
【００２３】
図2を参照すると、流れ図は、本開示の実施形態による音楽制御の使用事例を示す。ブロック202で、ユーザデバイスまたはシステムは、たとえば図7に示すディスプレイコンポーネント1514を介して、ユーザデバイスのインターフェースに表示されるアクティブな音楽制御のスクリーンを備えてよい。
【００２４】
ブロック204で、システムは、要求により、ユーザが非接触のジェスチャを介して音楽制御のスクリーンを制御し得るジェスチャモードを可能にすることができる。超音波技術などの非接触のジェスチャのキャプチャセンサまたは技術は、ブロック206で作動されてよく、また、図7に示す入力コンポーネント1516の一部であってよい。
【００２５】
電子メールを受信すると、および、ユーザの要求または入力に基づいて、ブロック208で、システムは、(たとえば図7に示す処理コンポーネント1504によって)電子メールスクリーンを表示するかどうかを判断する。ユーザが電子メールスクリーンを見ることを望まないということを示す入力をシステムが受け付ける場合、システムはブロック212に進み、音楽スクリーンがユーザデバイスのインターフェースに引き続き表示される。
【００２６】
しかし、ユーザが電子メールスクリーンを見ることを望むということを示す入力をシステムが受け付ける場合(たとえば、ユーザがその電子メールに返信したい場合があるので)、システムはブロック210に進み、たとえば図7に示すディスプレイコンポーネント1514を介して、ユーザデバイスのインターフェースに電子メールスクリーンが表示される。音楽アプリケーションがバックグラウンドで動作し続けることに注目すべきである。
【００２７】
ブロック214で、音楽アプリケーションと関連付けられたジェスチャアイコンが、たとえば図7に示すディスプレイコンポーネント1514によって電子メールスクリーンに表示され得る。一実施形態において、ジェスチャアイコン216のようなジェスチャアイコンが電子メールスクリーンの上に浮かぶことができ、または別の方法で電子メールスクリーンに表示され得る。ジェスチャアイコン216は、バックグラウンドで動作し続ける音楽アプリケーションが特定のジェスチャ入力と関連付けられ、これによって制御され得ることを示すことができる。一般に、ジェスチャアイコン216のようなジェスチャアイコンは、バックグラウンドアプリケーションがジェスチャ入力と関連付けられ、これによって制御され得ることを示すための、任意の形式、大きさまたは形状のものであってよい。この例では、ジェスチャアイコン216は、手の一部分に音符がかかっている広げた手を含む。他の実施形態では、動作する別のプログラム(たとえば、カーナビゲーションシステム、ラジオなど)が特定のジェスチャ入力と関連付けられ、これによって制御され得る場合、音符は動作するその別のプログラムを示すものに置き換えられてもよい。様々な実施形態において、ジェスチャアイコン216の手の部分はジェスチャを示すものとして用いられてよく、たとえば、広げた手の代わりに握り拳、動きを示す矢印を備える手、またはジェスチャを示す任意の他の適切なものを示してよい。
【００２８】
ブロック218で、システムは、たとえば、ユーザが(たとえば図7に示す入力コンポーネント1516を介して)音楽アプリケーションに関して曲をスキップするための指示を入力することを望み得るなどというように、ユーザがバックグラウンドアプリケーションに関する指示を入力することを望むかどうかを判断することができる。
【００２９】
ユーザが曲をスキップするというような音楽アプリケーションに関する指示を入力することを望まない場合、ブロック222で作用はない。システムは次いで、ブロック226で、音楽アプリケーションを制御するための別の非接触のジェスチャ入力(たとえば、手のジェスチャ)を待つことができる。
【００３０】
ユーザが曲をスキップするというような音楽アプリケーションに関する指示を入力することを望む場合、ブロック220で、ユーザは、たとえば、曲をスキップすることと関連付けられた手のジェスチャなど特定の非接触のジェスチャ入力を(たとえば図7に示す入力コンポーネント1516を介して)用いることができる。特定の非接触のジェスチャ入力を受け付けると、または検出すると、ブロック224で、音楽アプリケーションは次の曲を再生する。
【００３１】
このように、ユーザは、電子メールスクリーン上に居る一方で、非接触のジェスチャ入力(たとえば、手の姿勢および/または動的なジェスチャ)を用いて音楽アプリケーションを制御し、Pandora(商標)のような音楽アプリケーション上で、「好き」、「嫌い」、「次の曲にスキップする」、「はい、私はまだ聞いています」などの指示を与えることができる。好都合なことに、ユーザは、音楽を聴きながら、電子メールアプリケーションと対話すること(たとえば、電子メールを打つこと、または読むことなど)を続けられる。
【００３２】
使用事例:バックグラウンドでの通話
【００３３】
ユーザデバイス上で通話中のユーザは、ユーザデバイスに表示されるコンタクトリストスクリーンに行って電話番号を探し、または、たとえば、インターネットコンテンツを閲覧するためにブラウザに行く、もしくはメッセージ作成スクリーンに行くなど別の目的で別のアプリケーションに行くことができる。コンタクトリストスクリーンまたは他のアプリケーションから、ユーザデバイスは、非接触のジェスチャ(たとえば、手の姿勢)などのユーザ入力を検出して、たとえば、消音する、音量を変更する、またはスピーカフォンへの移行など通話を制御するための指示を入力することができる。このため、コンタクトリストまたは他のアプリケーションがユーザデバイスのスクリーンに表示されている一方で、ユーザデバイスは、バックグラウンドで動作する通話を制御するユーザ入力に反応することができる。
【００３４】
アクティブなフォアグラウンドアプリケーションを動作させる一方でバックグラウンドタスクまたはアプリケーションが制御され得る他の使用事例が多数ある。バックグラウンドタスクまたはアプリケーションの例は、フラッシュライトをオン/オフにすること、録音/再生などボイスレコーダを制御すること、音声、ジェスチャなど入力モードを変更すること、指示を再生する、次の指示など、進路ごとにナビゲーションを制御すること、制御の音量、明るさなど、デバイスの状態および設定を制御すること、および、他の多数の使用事例を含んでよい。本開示の実施形態は本明細書に記述されていない使用事例を含む多数の使用事例に適用され得ることを理解されたい。
【００３５】
図3を参照すると、流れ図は、本開示の一実施形態による、対話式入力が適用されるアプリケーションを判断するための方法を示す。1つまたは複数の実施形態によれば、システムは、バックグラウンドアプリケーションまたはフォアグラウンドアプリケーションのいずれのアクティブなアプリケーションに特定の非接触のジェスチャイベントなどの特定の対話式入力が適用され得るかを判断する能力を有してよい。いくつかの要因が、どのアクティブなアプリケーションに特定の非接触のジェスチャイベントなどの特定の対話式入力が適用され得るかを判断してよい。たとえば、要因は、フォアグラウンドアプリケーションが非接触のジェスチャイベントなどの対話式入力に対応する能力を有するかどうかを含んでよい。
【００３６】
1つまたは複数の実施形態に従って上述したように、ブロック302で、ユーザデバイスのインターフェースは、別のアプリケーションがバックグラウンドで動作している(「バックグラウンドアプリケーション」)一方で、アクティブなアプリケーションを動作させる(「フォアグラウンドアプリケーション」)ことができる(たとえば図7に示すディスプレイコンポーネント1514などに表示する)。いくつかの実施形態では、フォアグラウンドアプリケーションがフォーカスされている、すなわちユーザデバイスによって表示されている間は、表示されるバックグラウンドアプリケーションの要素はない。
【００３７】
ブロック304で、システムは、フォアグラウンドアプリケーションが、たとえば図7に示す入力コンポーネント1516を介して受け付けられ得る非接触のジェスチャイベントなどの対話式入力に対応する能力を有するかどうかを、(たとえば図7に示す処理コンポーネント1504を用いて)判断する。
【００３８】
システムが、フォアグラウンドアプリケーション自体は非接触のジェスチャイベントなどの対話式入力に対応していないと判断する場合、ブロック306で、別のアプリケーション(たとえば、ジェスチャ解釈サービスに登録し、非接触のジェスチャイベントに対応する能力を有する最後のアプリケーション)、または、たとえばバックグラウンドアプリケーションは、非接触のジェスチャイベントを受け付けることができる。1つまたは複数の実施形態において、サービスまたはプロセスは、以下でより詳細に記述するように、(たとえば図7に示す処理コンポーネント1504を介して)ジェスチャイベントを識別する、解釈するおよび/または割り当てるために動作することができる。一実施形態では、たとえば、以下でTable 1(表1)およびTable 2(表2)によって示すように、グローバルなジェスチャ参照テーブルは、たとえば、ジェスチャXが特定のアプリケーションAPP1に関する入力指示Xに対応することを示すために、複数のジェスチャならびに対応するアプリケーションおよびこのアプリケーションに関する指示を含んでよい。いくつかの実施形態において、一定のアプリケーションは、このアプリケーションに関する特定の指示を実行するために予め割り当てられたジェスチャを備えてよい。
【００３９】
システムが、フォアグラウンドアプリケーションは、たとえば図7に示す入力コンポーネント1516を介して非接触のジェスチャイベントなどの対話式入力を受け付けるように構成されていると判断する場合、下記の2つの可能性を含む様々な可能性がある。
【００４０】
ブロック308で、可能性1は、フォアグラウンドアプリケーションがバックグラウンドアプリケーションとは異なる非接触のジェスチャイベントのセットに対して登録される場合に生じ得る。すなわち、特定の非接触のジェスチャは特定のアプリケーションまたはタスクと関連してのみ登録および使用され得る。この場合、ブロック312で、ジェスチャシステムは、(たとえば図7に示す処理コンポーネント1504によって)、特定の非接触のジェスチャイベントを、両方のアプリケーションが同時に非接触のジェスチャイベントを受け付けられるようにする適切なアプリケーションに経路付けることができる。アプリケーションを制御するために登録されたジェスチャを用いるための方法は、本開示の一実施形態に従って、図4に関して後述する。一実施形態では、たとえば、以下でTable 1(表1)およびTable 2(表2)によって示すように、グローバルなジェスチャ参照テーブルは、たとえば、ジェスチャXが特定のアプリケーションAPP1に関する入力指示Xに対応することを示すために、複数のジェスチャならびに対応するアプリケーションおよびこのアプリケーションに関する指示を含んでよい。いくつかの実施形態において、一定のアプリケーションは、このアプリケーションに関する特定の指示を実行するために予め割り当てられたジェスチャを備えてよい。1つまたは複数の実施形態において、サービスまたはプロセスは、(たとえば図7に示す処理コンポーネント1504を介して)ジェスチャイベントを識別する、解釈するおよび/または割り当てるために動作することができる。また、ジェスチャイベントは一意であってよく、すなわち、サービスまたはプロセスは、(たとえば、存在するジェスチャの関連性の重ね書きを許可しないことによるか、または、ユーザに警告をし、所与のジェスチャによってどのアプリケーションが制御されるかをユーザに選択させることなどによって)、アプリケーションが同一のジェスチャイベントに対して登録しないことを確実にする。もちろん、2つのアプリケーションが個別的に別々のジェスチャを単に受け取ることは可能である。一実施形態では、フォアグラウンドアプリケーションがジェスチャに対応する場合、検出されたジェスチャを解釈しようと試み、検出されたジェスチャを認識しない場合、このジェスチャに関する情報を、別のアプリケーションに渡すか、またはこのジェスチャをどのように処理するか(たとえば、情報を別のアプリケーションに送信する、情報を無視するなど)を判断することができるサービスまたはプロセスに渡すことができる。あるいは、別の実施形態では、サービスまたはプロセスは、まず挙動を検出し、この挙動に対応するジェスチャを判断し、次いでジェスチャ情報を適切なアプリケーション(フォアグラウンドアプリケーション、複数のバックグラウンドアプリケーションのうちの1つなど)に選択的に経路付ける。
【００４１】
ブロック310で、可能性2は、フォアグラウンドアプリケーションがバックグラウンドアプリケーションと同一の非接触のジェスチャイベントの少なくとも1つに対して登録される場合に生じ得る。この場合、ブロック314で、アプリケーションの選択手順が(たとえば図7に示す処理コンポーネント1504を介して)実行され得る。すなわち、フォアグラウンドアプリケーションと1つまたは複数のバックグラウンドアプリケーションの両方に対して登録され得る、検出されたジェスチャイベントをどのアプリケーションが受け付けるべきかを判断するための競合解消が実行され得る。フォアグラウンドアプリケーションがフォーカスを失う必要はないことに注目すべきである。後述する図5は、本開示の一実施形態による、ジェスチャアプリケーションの選択手順を示す図である。
【００４２】
ここで図4を参照すると、流れ図は、本開示の一実施形態による、アプリケーションを制御するために登録された非接触のジェスチャを用いるための方法を示す。
【００４３】
ブロック402で、非接触のジェスチャは、グローバルなジェスチャ参照テーブル(たとえば図7に示すストレージコンポーネント1508に記憶され得る)の特定のアプリケーションに関する対応する指示または入力に割り当てられ得る。たとえば、以下でTable 1(表1)およびTable 2(表2)によって示すように、グローバルなジェスチャ参照テーブルは、たとえば、ジェスチャXが特定のアプリケーションAPP1に関する入力指示Xに対応することを示すために、複数のジェスチャならびに対応するアプリケーションおよびこのアプリケーションに関する指示を含んでよい。いくつかの実施形態では、一定のアプリケーションは、このアプリケーションに関する特定の指示を実行するために予め割り当てられたジェスチャを備えてよい。いくつかの実施形態では、サービスまたはモジュールは、(たとえば図7に示す処理コンポーネント1504を介して)ジェスチャと指示とアプリケーションとの間の関連性を管理することができ、また、何らかの競合および/または可能性がある競合を解消する機能を果たすことができる。いくつかの実施形態では、アプリケーションは、システム1500の初期設定または起動のときに機能またはモジュールに登録することができ、また、アプリケーションまたはモジュールは、特定のジェスチャが特定のアプリケーションおよび/または指示に割り当てられ得るかどうかを判断することができる。
【００４４】
Table 1(表1)は、本開示の一実施形態に従って、対応する例示の指示およびアプリケーションの割当てとともに、例示のジェスチャを示す。
【００４５】
【表１】
0006270982.tif 000002
【００４６】
グローバルなジェスチャ参照テーブル(たとえば、Table 1(表1))は、ジェスチャXが特定のアプリケーションAPP1に関する入力指示Xに割り当てられ、または対応することを示すことができる。たとえば、「カバーする」形の広げた掌のジェスチャなどの手の姿勢は「消音する/消音を解除する」ための指示に対応してよく、通話アプリケーションに割り当てられる。「右にスワイプする」ジェスチャ(たとえば、広げた手の挙動で)は「次の曲にスキップする」ための指示に対応してよく、MP3プレイヤーアプリケーションに割り当てられる。「1本の指を上に」のジェスチャは「開始する/停止する」の指示に対応してよく、ボイスレコーダアプリケーションに割り当てられる、などである。
【００４７】
別法として、グローバルなジェスチャ参照テーブル(たとえば、Table 2(表2))は、ユーザデバイスの現在の出力状態に基づいて指示を割り当ててよいが、作用しているアプリケーションのフォーカスに関与し得るものではない。
【００４８】
【表２】
0006270982.tif 000003
【００４９】
Table 2(表2)に示すように、「カバーする」ジェスチャは、ユーザデバイスの現在の出力に基づくアプリケーションに応じて、「無音」、「一時停止する」または「消音する」の指示に対応してよい。たとえば、ユーザデバイスが通話アプリケーションを動作させていない場合、「カバーする」ジェスチャは、着信音、アラーム(「無音」の指示を適用する)、またはPandora(商標)もしくはMP3(商標)(「一時停止する」の指示を適用する)など別のオーディオ再生アプリケーションに適用され得る。ユーザデバイスが通話アプリケーションを動作させている場合、(Table 1(表1)の例で示すように)「消音する」の指示が適用され得る。
【００５０】
いくつかの実施形態では、ジェスチャが検出されたとき、1つまたは複数のアプリケーションは、上記の参照テーブルの一方または両方など、参照テーブルにアクセスすることができる。そのようなアクセスは、たとえば、アプリケーションプログラミングインターフェース(API)を介して行われ得る。アプリケーションは、たとえばAPIを介して、どのジェスチャ指示を適用すべきかについて通知され得る。いくつかの実施形態では、APIはまた、たとえば参照テーブルに基づいて、ジェスチャとの競合があるかどうか、また、競合がある場合、この競合をどのように仲裁または解消するかを示すことができる。
【００５１】
図4に戻って参照すると、ブロック404で、システムはユーザから(たとえば図7に示す入力コンポーネント1516を介して)入力を受け付けて、グローバルなジェスチャ参照テーブル内に関連付けられたジェスチャを含み得る第1のアプリケーション(たとえば、APP1)を起動することができる。たとえば、ユーザは通話の開始を望むことができ、この通話は関連付けられたジェスチャを含み、たとえば、「カバーする」ジェスチャは、Table 1(表1)の例に記載する通話の「消音する/消音を解除する」に対応し得る。いくつかの実施形態では、ブロック402およびブロック404は、逆の順番で実行されてよい。たとえば、402で、まず可能性のあるジェスチャをアプリケーションにマッピングするのではなく、404でアプリケーションが初期設定されてよく、このアプリケーションはサービスに登録することができ、このサービスはアプリケーションによって受け取られたジェスチャを、スタック、参照テーブル、データベース、および/または、ジェスチャと指示とアプリケーションとの間の関連性を記憶し得る他の要素に加えることができる。様々な実施形態において、アプリケーションを起動するとき、システムは、アプリケーションが、たとえば図7に示すストレージコンポーネント1508に記憶され得る上記のTable 1(表1)またはTable 2(表2)のようなジェスチャ参照テーブルに示される、関連付けられたジェスチャを含むことを示し、または確認することができる。いくつかの実施形態では、ユーザが、任意の所与の時間にどのジェスチャが利用可能であるかを判断し、参照テーブルにおいてどのマッピングが生成されているかを判断し、および/または、テーブルにおける関連性を編集することができるように、グローバルなジェスチャ参照テーブルへのアクセスは、図7に示すディスプレイコンポーネント1514を介して、たとえば、リンク、アイコン、ポップアップウィンドウの形式、小さいウィンドウなどで可能にされてよい。しかしながら、いくつかの実施形態では、ユーザはテーブルにアクセスすることができない。そのようないくつかの実施形態では、テーブルは、ジェスチャ、および/または、ジェスチャと指示とアプリケーションとの間の関連性を管理し得る上述のサービスを受け取るように構成されるアプリケーションまたはプログラムによってのみアクセスされ得る。いくつかの実施形態では、テーブルに基づくユーザインターフェースはユーザに対して表示され得、ユーザが、複数のジェスチャ指示の関連性の間の競合または可能性のある競合を解消できるようにする。
【００５２】
ブロック406で、システムは、(たとえば図7に示す入力コンポーネント1516を介して)ユーザから入力を受け付けて、第2のアプリケーション(APP2)を起動することができる。この第2のアプリケーション(APP2)はフォーカスされるアプリケーションになり、(たとえば図7に示すディスプレイコンポーネント1514を介して)ユーザデバイスのインターフェースに表示される。APP2は、接触の入力、および/または非接触の入力すなわちジェスチャによる入力を含む、多くの様式からの入力を受け付けることができる。
【００５３】
ブロック408で、ユーザインターフェース(たとえば図7に示すディスプレイコンポーネント1514)は任意選択で、ジェスチャが利用可能であること、および、ジェスチャが第1のアプリケーションAPP1に作用し得ることを示してよい。たとえば、ヘッダのアイコン、たとえば図2の例で示すアイコン216のようなアイコンは浮かぶことができ、または提示もしくは表示されてよい。
【００５４】
ブロック410で、ユーザ入力は(たとえば図7に示す入力コンポーネント1516を介して)受け付けられ得、ユーザは非接触のジェスチャX(たとえば、一実施形態によるTable 1(表1)またはTable 2(表2)において上記記載されたジェスチャのうちの1つ)を行う。
【００５５】
ブロック412で、第2のアプリケーションがフォーカスされたままである一方で、第1のアプリケーションAPP1上で実行される、割り当てられた入力指示Xが検出され得る。たとえば、ユーザデバイスがフォーカスされているアプリケーションAPP2を(たとえば図7に示すディスプレイコンポーネント1514を介して)表示している一方で、ユーザによって行われる「カバーする」ジェスチャが検出され、「消音する」ための対応する指示が(たとえば図7に示す処理コンポーネント1504を介して)通話(APP1)に適用され得る。
【００５６】
ここで図5を参照すると、ブロック図は、本開示の一実施形態による、アクティブなジェスチャアプリケーションの選択の処理を示す。非接触のジェスチャイベントなどの少なくとも1つの共通の対話式入力イベントに対してフォアグラウンドアプリケーションおよびバックグラウンドアプリケーションが登録される実施形態においては、ユーザは、どのアプリケーションが対話式入力(すなわち、非接触のジェスチャ)イベントを受け付けるべきかを識別することができてよい。
【００５７】
ブロック502で、システムは、少なくとも1つの共通の対話式入力(すなわち、非接触のジェスチャ)に対してフォアグラウンドアプリケーションおよびバックグラウンドアプリケーションが登録される、アクティブなジェスチャアプリケーションの処理を開始することができる。
【００５８】
ブロック504で、システムは、制御するバックグラウンドアプリケーションを指定するジェスチャが検出されたかどうかを判断する。ユーザは、バックグラウンドタスクまたはアプリケーションを制御することを望むことができる。たとえば、1つまたは複数の実施形態に従ってブロック508〜ブロック514との関連で以下でより詳細に記述するように、バックグラウンドアプリケーションが作用を受けるかまたは制御されることになるということを示す入力が、ユーザデバイスのインターフェースを介して(たとえば図7に示す入力コンポーネント1516を介して)受け付けられ得る。ブロック508〜ブロック514は、制御するバックグラウンドアプリケーションを指定するジェスチャが検出されたかどうかを判断する異なる実施形態、および、これに応答するための実施形態を示す。しかしながら、これらのブロックは必ずしも同時に実行されるものではなく、また、必ずしも相互に排他的な実施形態を含むものでもない。さらに、制御するバックグラウンドアプリケーションを指定するジェスチャが検出されたかどうかを判断するため、および/またはそのようなアプリケーションを制御するために他のプロセスが用いられ得るので、これらのブロックは網羅的なものではない。
【００５９】
ブロック506で、制御するバックグラウンドアプリケーションを指定するジェスチャが検出されない(たとえば、ユーザがバックグラウンドタスクを制御することを望まないなど)場合、デフォルトのアプリケーションの選択が生じてよく、その結果、ジェスチャの関連性などの対話式入力の関連性が、デフォルトによって、「フォーカス」されているアプリケーション、たとえばユーザデバイスのインターフェースに表示されているアプリケーションについて優先性を有する。たとえば、ユーザが自分の手をエンゲージメント姿勢に上げるなど、ユーザが非接触のジェスチャイベントを用いる場合、フォーカスされているアプリケーションは、同一のジェスチャに対して登録され得るバックグラウンドタスクを考慮せず、通常行うようにそのエンゲージメント姿勢を受け付け、応答する。そうではなくユーザがバックグラウンドタスクを制御することを望む場合は、以下のものを含むいくつかの選択肢がある。
【００６０】
ブロック508で、ユーザがエンゲージメント姿勢を所定の時間維持していることが検出された場合、ユーザがバックグラウンドアプリケーションを制御するための切替えを行えるようにするオーバーレイシステムが表示され得る。たとえば、対話式入力がエンゲージメントジェスチャを含む実施形態においては、システムは、たとえば、フォアグラウンドアプリケーションのエンゲージメントに要する時間に対して延長された時間など所定の時間維持されているユーザのエンゲージメントジェスチャ姿勢(たとえば、2〜3秒の間、ユーザインターフェースの前で保たれる広げた手)を検出することができる。このようにして、一定の時間エンゲージメント姿勢を維持することはフォアグラウンドアプリケーションをエンゲージすることができ、一方、より長い時間エンゲージメント姿勢を維持することはバックグラウンドアプリケーションをエンゲージすることができる。様々な実施形態において、フォアグラウンドアプリケーションまたはバックグラウンドアプリケーションをエンゲージすることに関するフィードバックが与えられてよく、たとえば、フォアグラウンドアプリケーションがエンゲージされるときはビープ音が1回あってよく、または、バックグラウンドアプリケーションがエンゲージされるときはビープ音が2回あってよい。他の実施形態では、フォアグラウンドアプリケーションがエンゲージされるときはアイコンが現れてよく、バックグラウンドアプリケーションがエンゲージされるときは、このアイコンは、たとえば、音符(または、制御されているアプリケーションを示す他のもの)が加えられてよい。つまり、一実施形態では、所定の時間維持されるユーザのエンゲージメントジェスチャ姿勢の検出は、これはバックグラウンドアプリケーションのエンゲージメントに対応し得るのであるが、バックグラウンドアプリケーションを制御するためにユーザがジェスチャシステムの切替えを行えるようにするジェスチャ選択可能なアプリケーションのアイコンを表示する「システムモード」に入るジェスチャオーバーレイシステムが後に続いてよい。たとえば、ジェスチャオーバーレイシステムは、たとえば、ユーザデバイスのスクリーン上に重ね合わされる、光る青色のアイコンを含んでよい。オーバーレイの他の例は、ボックスまたは図2の例で示すジェスチャアイコン216のようなアイコンを含んでよく、これはユーザデバイスのインターフェースまたはスクリーンの上に浮かぶように現れてよい。ジェスチャアイコン216のようなアイコンは、アプリケーションがバックグラウンドで動作し続け得ること、および特定のジェスチャ入力と関連付けられ得ることを示すことができる(たとえば音楽アプリケーション)。一般に、ジェスチャオーバーレイシステムは、バックグラウンドアプリケーションがジェスチャ入力と関連付けられ、これによって制御され得ることを示すための、任意の形式、大きさまたは形状のものであってよい。音声、または他のプロセスもしくは種類の入力は、アクティブなジェスチャアプリケーションを選択するために用いられてもよいことに注目すべきである。いくつかの実施形態では、どのバックグラウンドアプリケーションが制御されているかを示すオーバーレイを示す代わりに、ユー���がどのバックグラウンドアプリケーションを制御すべきかを選択できるように、複数の選択可能なアイコン(バックグラウンドアプリケーションにそれぞれ対応する)がオーバーレイで表示されてよい。
【００６１】
ブロック510で、ユーザがエンゲージメント姿勢を所定の時間維持していることが検出された場合、システム1500は、フォアグラウンドアプリケーションへのフォーカスを失うことなくバックグラウンドアプリケーションに対するジェスチャ制御のアプリケーションを制御することに切り替えることができる。ユーザによる対話式入力がエンゲージメントジェスチャを含む実施形態では、システムは、所定の時間、すなわちフォアグラウンドアプリケーションのエンゲージメントに要する時間に対して延長された時間維持されているユーザのエンゲージメントジェスチャ姿勢(たとえば、2〜3秒の間、ユーザインターフェースの前で保たれる広げた手)を検出することができる。このようにして、一定の時間維持されるエンゲージメント姿勢を検出することはフォアグラウンドアプリケーションをエンゲージすることができ、一方、より長い時間維持されるエンゲージメント姿勢を検出することはバックグラウンドアプリケーションをエンゲージすることができる。様々な実施形態において、フォアグラウンドアプリケーションまたはバックグラウンドアプリケーションをエンゲージすることに関するフィードバックが与えられてよく、たとえば、フォアグラウンドアプリケーションがエンゲージされるときはビープ音が1回あってよく、または、バックグラウンドアプリケーションがエンゲージされるときはビープ音が2回あってよい。他の実施形態では、フォアグラウンドアプリケーションがエンゲージされるときはアイコンが現れてよく、バックグラウンドアプリケーションがエンゲージされるときは、このアイコンは、たとえば、音符(または、制御されているアプリケーションを示す他のもの)が加えられてよい。つまり、一実施形態では、延長された時間維持されるユーザのエンゲージメントジェスチャ姿勢の検出は、これはバックグラウンドアプリケーションのエンゲージメントに対応し得るのであるが、バックグラウンドタスクにおいてジェスチャアプリケーションに自動的に切り替えるシステムが後に続いてよい。この場合、ユーザインターフェースは、フォアグラウンドアプリケーションへのフォーカスを失うことなくバックグラウンドアプリケーションのオーバーレイを反映するように変更することができ、または、別の種類の視覚または聴覚プロセスを用いて制御が変更されることを反映することができる。
【００６２】
様々な実施形態において、オーバーレイシステムは、たとえば、ユーザデバイスのスクリーン上に重ね合わされる、光るアイコンを含んでよい。オーバーレイの他の例は、ボックスまたは図2の例で示すアイコン216のようなアイコンを含んでよく、これはユーザデバイスのインターフェースまたはスクリーンの上に浮かぶように現れてよい。
【００６３】
ジェスチャイベントに対して登録されるバックグラウンドアプリケーションがいくつかあり得る実施形態では、これらのアプリケーションは、必要に応じて、連続的に通して進められる。別法として、ユーザインターフェースに「ジェスチャホイール」が現れてよく、これは、ユーザが所望のジェスチャアプリケーションをより迅速に選択できるようにする。たとえば、ホイールまたはアークの形の表示はスクリーンの上に浮かぶように現れてよく、また、セクションに分けられてよく、1つのセクションの音符は音楽アプリケーションに対応し、別のセクションの電話のアイコンは電話アプリケーションに対応し得るなど、各セクションはバックグラウンドアプリケーションに対応する。バックグラウンドアプリケーションは、対応するセクションを選択することによって、たとえば、手のスワイプおよび/または位置を検出することによって選択され得る。
【００６４】
ブロック512で、バックグラウンドアプリケーションと関連付けられたユーザ姿勢が検出された場合、バックグラウンドアプリケーションはエンゲージされ得る。システム1500がいくつかのエンゲージメントジェスチャ姿勢を受け取る実施形態では、たとえば、ユーザの特定の姿勢が検出されて、ユーザがその特定の姿勢と関連付けられた特定のバックグラウンドアプリケーションにエンゲージすることを望むということを示すことができる。たとえば、広げた掌の手の姿勢はフォアグラウンドアプリケーションを常にエンゲージすることができ、一方、いくつかの実施形態では、2本の指を使ったビクトリーの手の姿勢は第1のバックグラウンドアプリケーションを直接エンゲージすることができ、握り拳のジェスチャは第2のバックグラウンドアプリケーションを直接エンゲージすることができる。したがって、特定のアプリケーションは一意に登録されて、一定の手の姿勢に対応することができ、その結果、特定のアプリケーションは特定の手の姿勢が検出されたときに常に反応する。これらのバックグラウンドに固有のジェスチャは、前もって判断され得、および/または持続的であってよく、または実行時間に判断され得る。
【００６５】
ブロック514で、2つ以上のアプリケーションの間で選択をするためのジェスチャが検出された場合、システム1500はアプリケーションを切り替えることができる。たとえば、システム1500が複数の異なるジェスチャに対応する実施形態では、特定の非接触のジェスチャは、2つ以上のジェスチャアプリケーションの間で選択をするために割り当てられ得る。たとえば、時計回りの方向に「円を描く」ジェスチャがもっぱらこの目的に割り当てられる場合、この「円を描く」ジェスチャが検出されると、システムは、登録されたジェスチャアプリケーションのリスト中の別のジェスチャアプリケーションまたは次のジェスチャアプリケーションを選択することができる。
【００６６】
1つまたは複数の実施形態に従って上述したような、フォアグラウンドアプリケーションおよびバックグラウンドアプリケーションが少なくとも1つの共通のジェスチャイベントに対して登録される、アクティブなジェスチャアプリケーションの選択を処理するための異なる可能性においては、バックグラウンドのジェスチャアプリケーションが存在しない場合、一般的な「システムのジェスチャメニュー」または「ジェスチャホイール」が現れてよく、これは片方の手でスワイプされ得、アプリケーションランチャーまたは他のデフォルト動作(たとえば、電話のダイヤラー、ボイスレコーダなど)として用いられ得ることに留意されたい。
【００６７】
いくつかの実施形態では、本明細書でバックグラウンドタスクと呼ばれるタスクは、二次的なデバイスまたはモニタで動作中および/または表示中のタスクを含む。二次的なデバイスまたはディスプレイに作用し、および/またはこれを制御するジェスチャは、そのようないくつかの実施形態において、システム1500で動作中および/または表示中のフォアグラウンドアプリケーションの動作に影響を及ぼすことなく、システム1500によって検出され得る。たとえば、ユーザは、二次的なタスクが表示されたデータを制御している、二次的なディスプレイデバイスを備えてよい。いくつかの実施形態では、この二次的なディスプレイデバイスは、眼鏡に組み込まれたヘッドアップディスプレイ、時計に組み込まれたディスプレイ、またはテレビもしくは他の大型ディスプレイへのワイヤレスリンクであってよい。この例では、一次的なディスプレイは、ユーザが選択する任意の一次的なタスクのために用いられ得るが、同時に、ユーザは、ジェスチャによって、二次的なディスプレイ上で二次的なタスクを制御できるようにされてよい。いくつかのそのような実装形態では、ジェスチャ検出のために用いられるハードウェアは、二次的なディスプレイに関連付けられ、または一次的なデバイスに組み込まれ得る。システムは、一次的なデバイスディスプレイ上の一次的なタスクの動作を妨げることなく、ユーザのジェスチャに基づいて二次的なタスクを制御することが可能であってよい。いくつかの実施形態では、ジェスチャと関連付けられた任意のアイコンまたはユーザインターフェースコンポーネントは、一次的なディスプレイ上でよりも、二次的なディスプレイの一部として表示されて、さらに、ジェスチャ制御の選択肢に関してユーザを導くことができる。
【００６８】
1つまたは複数の実施形態によれば、フォアグラウンドアプリケーションおよびバックグラウンドアプリケーションが少なくとも1つの共通のジェスチャイベントに対して登録される、アクティブなジェスチャアプリケーションの選択を処理するための上述の可能性のいずれかについて、「粘着性のジェスチャ」と呼ばれ得る機能を用いることが可能であり得る。この点で、「粘着性のジェスチャ」は、エンゲージメントの通知を受けるアプリケーションが異なる方法でユーザによって選択され得る他のジェスチャを受け付ける例を指すことができ、たとえば次のものを含む。
【００６９】
A.  一実施形態において、どのアプリケーションがジェスチャを受け付けるかをユーザが識別するための1つの方法は、そのアプリケーションをシステム設定として明白に構成されるようにすることを含んでよい。一例として、ユーザは、「私の音楽アプリケーションがバックグラウンドで動作している場合、すべてのジェスチャは音楽アプリケーションに経路付けされる」ように、ジェスチャシステムを構成することができる。このことは、ユーザが明白にモードを変更しない限り、フォアグラウンドアプリケーションが何らかのジェスチャを受け付けることを防ぐ。
【００７０】
B.  別の実施形態において、どのアプリケーションが非接触のジェスチャを受け付けるかをユーザが識別するための方法は、ジェスチャエンゲージメントが生じるとき、およびジェスチャシステムからイベントを受け付けるための2つ以上のアプリケーションが登録されているときはいつでもプロンプトを生じさせることを含んでよい。このとき、ユーザは、非接触のジェスチャなどの対話式入力を用いることによって、または提供される任意の選択プロセスを介して、バックグラウンドアプリケーションまたはフォアグラウンドアプリケーションのいずれか一方を選択することができる。ユーザが選択されたアプリケーションとのジェスチャ対話を終了すると、システムは、i)次回そのジェスチャエンゲージメントが生じるときに、システムが最後に選択されたアプリケーションに自動的に繋がることができるように「粘着性のジェスチャ」を可能にする、ii)毎回プロンプトするように構成され得る、または、iii)ジェスチャシステムに対して登録されるアプリケーションのリストで変更があった場合にプロンプトするように構成され得る、のいずれかであってよい。
【００７１】
C.  さらに別の実施形態において、どのアプリケーションが非接触のジェスチャを受け付けるかをユーザが識別する別の方法は、「拡張されたエンゲージメント」技術を「粘着性のジェスチャ」と結び付けることを含んでよい。この実施形態では、新たに動作するアプリケーションとの第1のエンゲージメントは、それ自体のジェスチャのインターフェースをもたらすことができる。ユーザがエンゲージメントを(たとえば、手を静止した状態に保つことによって)拡張した場合、または別の方法でモードを切り替えたいという要望を知らせた場合、ユーザはバックグラウンドアプリケーションの1つにアクセスすることができる。次のエンゲージメントで、「粘着性のジェスチャ」は動作中であってよく、ジェスチャシステムは、前回選択されたアプリケーションに直接繋がることができる。ユーザは、この時点で拡張されたエンゲージメントを繰り返すこと、および、必要に応じてフォアグラウンドアプリケーションに戻ること、を選択することができる。
【００７２】
ここで図6を参照すると、図は、本開示の一実施形態による、バックグラウンドタスクのジェスチャの処理の一例を示す。この実施形態は、図2の実施形態で示す方法と同様に実施され得る。たとえば、602で、初期状態Aにおいては、音楽アプリケーションは再生中であってよく、また、3つのジェスチャ、すなわち左、右および上に対して登録され得る。この実施形態では、左は、音楽アプリケーションに1曲戻らせ、右は、音楽アプリケーションに1曲進ませ、上は、音楽アプリケーションに音楽の再生を一時停止させることができる。
【００７３】
604で、状態Bにおいては、電話の呼出しが受けられ得る。通話アプリケーションは優先権を得ることができ、左および右のジェスチャに対して登録する。この状態Bでは、左および右のジェスチャは、もはや音楽アプリケーションに送られ得ず、および適用され得ないが、その代わりに、電話の呼出しに応答する(右のジェスチャ)、または電話の呼出しをボイスメールに送る(左のジェスチャ)のいずれかのために用いられ得る。電話が鳴っている間にユーザが上のジェスチャを行う場合、上のジェスチャはまだバックグラウンドアプリケーションに送られ、および適用されるので、音楽は一時停止する。電話の呼出しが終了すると、システムは、音楽アプリケーションのみがジェスチャイベントに対して登録される状態C606に戻り、したがって、右、左および上のジェスチャはすべて音楽アプリケーションに送られ、および適用され得る。
【００７４】
本開示の1つまたは複数の実施形態によれば、システムにおいてジェスチャのデータを管理することができるジェスチャサービスが実施され得る。このジェスチャサービスは、どのアプリケーションがどのジェスチャを利用するか、および/または同様のジェスチャを用いるアプリケーション間の可能性のある競合を解消するかについて把握することができる。このジェスチャサービスは、特定の非接触のジェスチャを特定のアプリケーションと関連付け、または、アプリケーションが起動するときに特定の非接触のジェスチャに対して各アプリケーションを登録し、および、アプリケーションが終了するときに特定の非接触のジェスチャに対する登録を取り消すように構成されてよい。
【００７５】
1つのジェスチャアプリケーションのみが動作している実施形態において、サービスは、そのジェスチャアプリケーションが登録されているというすべてのメッセージをそのアプリケーションに単純に送ることができる。新たなアプリケーションが起動し、フォアグラウンドアプリケーションになり、予め登録されたジェスチャアプリケーションは動作し続けるが今やバックグラウンドにある(たとえば、音楽再生アプリケーション)という別の実施形態では、フォアグラウンドアプリケーションはフォアグラウンドアプリケーションに関連付けられたすべてのジェスチャイベントに関して優先権を得ることができる。このため、バックグラウンドアプリケーションが、フォアグラウンドアプリケーションが登録されているのと同一の非接触のジェスチャイベントに対して登録されている場合、フォアグラウンドアプリケーションは、バックグラウンドアプリケーションの代わりにそれらの非接触のジェスチャイベントを受け付けることができる。バックグラウンドアプリケーションは登録されているが、フォアグラウンドアプリケーションは登録されていない何らかの非接触のジェスチャイベントがある場合、バックグラウンドアプリケーションはそのような非接触のジェスチャイベントを受け付け続けることができる。フォアグラウンドアプリケーションが中止または終了することになる場合、バックグラウンドアプリケーションは、フォアグラウンドアプリケーションによって奪われていた何らかのそれらのジェスチャの第一順位のレシーバとして回復することができる。別の実施形態では、ジェスチャを登録するための第1のアプリケーションは、ジェスチャの制御を維持してよい。さらに別の実施形態では、ユーザは、競合があるときにどのアプリケーションが一定のジェスチャによって制御されるかを選択するように促され得る。別の実施形態では、ジェスチャを「所有する」アプリケーションは、アプリケーションを使用する頻度、重要性(たとえば、緊急応答機能は音楽よりも重要である)、またはある種の階層もしくは優先度に基づいて割り当てられてよい。
【００７６】
ユーザが非接触のジェスチャイベントをバックグラウンドアプリケーションに入力することを望むことができる実施形態、および、非接触のジェスチャイベントがフォアグラウンドアプリケーションにも登録されている実施形態においては、サービスは、たとえば、図5に示す実施形態に関連して上述されるように、ジェスチャメッセージの切替えを実施するための機構を提供することができる。このことを実施するための一例として、たとえば、延長された時間保たれる静止状態の手の姿勢、または独特の手の姿勢のようなカスタムジェスチャなどの拡張された非接触のジェスチャ、または特別な「ジェスチャモードのオーバーレイ」を呼び出すための任意の他の機構を用いることが挙げられ得る。このオーバーレイは、現在のフォアグラウンドアプリケーションに影響を与えることなく、サービスによって、現在ディスプレイ上にあるすべてのものの上に引き上げられ、または浮かび上がらせられ得る。このオーバーレイは、現在どのアプリケーションがジェスチャ入力を受け付けるか、またはジェスチャ入力の影響を受けるかを示すことができ、または、選択されてジェスチャ入力を受け付けることができる複数のアプリケーション(バックグラウンドおよび/またはフォアグラウンド)を示すことができる。システムが特別なジェスチャモードのオーバーレイの状態にあると、ユーザは、どのアプリケーションがジェスチャを受け付けるべきかを選択するように促され得る。一例として、2つのアプリケーション(フォアグラウンドおよびバックグラウンド)のためのアイコンが示されてよく、ユーザは、どちらか一方への単純なジェスチャでこれらを選択することができる。別法として、より多くの選択肢が示されてよく、ユーザは、自分の手をスクリーンに触れることなく動かし、カーソルを制御して、所望の選択肢を選択することができる。ユーザが所望の選択肢(たとえば、バックグラウンドアプリケーション)を選択すると、サービスは登録されたジェスチャの優先度を変更してバックグラウンドアプリケーションをより高い優先度のサービスにすることができ、バックグラウンドアプリケーションは、フォアグラウンドアプリケーションによって以前に奪われたジェスチャメッセージの受付けを開始することができる。この「粘着性の」ジェスチャモードは、ユーザが、ジェスチャモードのオーバーレイを用いて粘着性のジェスチャモードを明白に変更するまで、または、アプリケーションの1つが終了する場合まで、引き続いて効力を有する。
【００７７】
1つまたは複数の実施形態において、アプリケーションに関連付けられたジェスチャのリスト、ライブラリまたはボキャブラリは、登録するアプリケーションに基づいて変わってよい。たとえば、音楽アプリケーションは、左、右の動きを含むジェスチャに対して登録され得、ここにおいて、左は、音楽アプリケーションに1曲戻らせることができ、右は、音楽アプリケーションに1曲進ませることができる。続いて、電話アプリケーションもまた、左、右の動きを含むジェスチャに対して登録することができ、ここにおいて、左は、電話アプリケーションにボイスメールへ呼出しを送らせることができ、右は、電話アプリケーションに電話の呼出しへの応答をさせることができる。いくつかの実施形態では、左および右に関連付けられた指示は、電話アプリケーションが登録するときに変更する。さらに、ウェブページをリフレッシュするための円を描くジェスチャ、およびウェブページをブックマークするための上の動きを含むジェスチャに対して、ブラウザアプリケーションが続いて登録される場合、音楽アプリケーションおよび電話アプリケーションだけが登録されたときと比較して、ユーザが用いるためのさらなるジェスチャが利用可能であってよい。このため、ジェスチャのリスト、ライブラリまたはボキャブラリは、登録されたアプリケーション(またはその優先度)に基づいて変わってよい。
【００７８】
本開示の1つまたは複数の実施形態によれば、システムは、アプリケーションに関連付けられた作用についての通知を行うことができ、たとえば、新しい電子メールが受信され、または新しい歌の再生が始まるとき、ポップアップ通知がディスプレイの角部の端付近などユーザデバイスのスクリーンに表示されてよい。ポップアップ通知に関連付けられたアプリケーションは、ポップアップ通知がスクリーンに現れてから一定の時間(たとえば、3〜5秒)の間、またはポップアップ通知が表示されている間、ジェスチャについて優先度を有してよい。ユーザは一定のジェスチャでポップアップ通知を退ける選択肢を有し、または別の方法で、ユーザ自身がポップアップ通知に関連付けられたアプリケーションを制御することを望まないということを示すことができる。
【００７９】
有利なことに、本開示の1つまたは複数の実施形態によれば、アプリケーションがフォーカスされていない場合でも、バックグラウンドアプリケーションは関連付けられた指示によって制御され得る。さらに、ユーザが記憶し、および言葉による指示を言わなければならないであろうボタンまたは音声指示など特定の目的のためのインターフェースを用いる典型的なシステムとは異なり、本明細書における実施形態では、限られた数のジェスチャが別々のアプリケーションに同時に割り当てられてよく、このことは、ユーザが容易にそれらを記憶できるようにし得る。したがって、ジェスチャの利用可能なボキャブラリが少ない場合であっても、ユーザは多くのアプリケーションと効率的に対話することができる。
【００８０】
ここで図7を参照すると、本開示の一実施形態による、デバイスを実装するためのシステムのブロック図が示される。
【００８１】
本明細書において開示される方法およびシステムは、幅広い種類の電子システムまたはデバイスによって実施され、またはこれらに組み込まれ得ることが理解されよう。たとえば、システム1500は、モバイルデバイス、スマートフォン、携帯型情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、テレビまたは同種のものなど、ワイヤードまたはワイヤレスのデバイスを含む任意の種類のデバイスを実装するために用いられ得る。音楽プレイヤー、ビデオプレイヤー、通信デバイス、ネットワークサーバなどの他の例示の電子システムはまた、本開示に従って構成され得る。
【００８２】
システム1500は、様々なユーザデバイスを含む本開示の実施形態を実施するのに適している。たとえば、スマートフォン、タブレット、パーソナルコンピュータおよび/またはネットワークサーバなどデバイスの一部のようなシステム1500は、バス1502、または、情報を伝えるための他の通信機構を備え、これは、サブシステムと、処理コンポーネント1504(たとえば、プロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)など)、システムメモリコンポーネント1506(たとえば、RAM)、静的ストレージコンポーネント1508(たとえば、ROM)、ネットワークインターフェースコンポーネント1512、ディスプレイコンポーネント1514(または別法として、外部ディスプレイへのインターフェース)、入力コンポーネント1516(たとえば、キーパッドまたはキーボード、タッチスクリーンなどの対話式入力コンポーネント、ジェスチャ認識など)、およびカーソル制御コンポーネント1518(たとえば、マウスパッド)の1つまたは複数を含むコンポーネントとを相互接続する。1つまたは複数の実施形態に従って上述したように、アプリケーションはディスプレイコンポーネント1514を介して表示され得、一方、別のアプリケーションが、たとえば処理コンポーネント1504によってバックグラウンドで動作し得る。ジェスチャサービスは、これは処理コンポーネント1504で実施され得るが、各アプリケーションと関連付けられたジェスチャを管理することができ、このジェスチャは、入力コンポーネント1516を介して検出され得る。様々な実施形態において、上述のTable 1(表1)およびTable 2(表2)のようなジェスチャ参照テーブルは、ストレージコンポーネント1508に記憶され得る。
【００８３】
本開示の実施形態によれば、システム1500は、システムメモリコンポーネント1506に含まれる1つまたは複数の命令の1つまたは複数のシーケンスを実行する処理コンポーネント1504によって特定の動作を実行する。そのような命令は、静的ストレージコンポーネント1508などの別のコンピュータ可読媒体からシステムメモリコンポーネント1506に読み込まれ得る。これらは、対話式入力を介してアプリケーションまたはタスクを制御するための命令などを含んでよい。他の実施形態では、ハードワイヤードの電気回路が、本開示の1つまたは複数の実施形態の実施のためのソフトウェア命令に代わって、またはこれと組み合わされて用いられてよい。
【００８４】
論理はコンピュータ可読媒体でコード化され、この媒体は、実行のために処理コンポーネント1504に命令を与えることに関与する任意の媒体を指してよい。そのような媒体は多数の形態をとることができ、不揮発性の媒体、揮発性の媒体および伝送媒体を含むが、これらに限定されるものではない。様々な実装形態において、揮発性の媒体はシステムメモリコンポーネント1506のようなダイナミックメモリを含み、伝送媒体は、バス1502を構成する配線を含む同軸ケーブル、銅線および光ファイバーを含む。一実施形態では、伝送媒体は、電波および赤外線データ通信の間に生成されるような音波または光波の形態をとることができる。コンピュータ可読媒体のいくつかの一般的な形態は、たとえば、RAM、PROM、EPROM、FLASH-EPROM、任意の他のメモリチップまたはメモリカートリッジ、搬送波、またはコンピュータが読み取るように構成される任意の他の媒体を含む。コンピュータ可読媒体は、非一時的な媒体であってよい。
【００８５】
本開示の様々な実施形態において、本開示を実施するための命令シーケンスの実行は、システム1500によって行われ得る。様々な他の実施形態では、通信リンク1520(たとえば、WiFi、または様々な他のワイヤードまたはワイヤレスのネットワーク)によって結合された複数のシステム1500は、相互に協調して本開示を実施するための命令シーケンスを実行することができる。システム1500は、通信リンク1520およびネットワークインターフェースコンポーネント1512を介して、1つまたは複数のプログラム(すなわち、アプリケーションコード)を含む入力、メッセージ、データ、情報および命令を受け付け、拡張することができる。実行のために、受け付けられたプログラムコードは、受け付けられ、および/またはディスクドライブコンポーネント1510または他の不揮発性のストレージコンポーネントに記憶されると、処理コンポーネント1504によって実行され得る。
【００８６】
図8を参照すると、流れ図は、本開示の一実施形態による、アプリケーションを制御するための方法を示す。図8に示す方法は、一実施形態による、図7に示すシステム1500によって実施され得ることに留意されたい。
【００８７】
ブロック802で、システム1500は、これはユーザデバイスの一部であり得るが、ユーザデバイスのインターフェース、たとえばディスプレイコンポーネント1514に表示されるフォアグラウンドアプリケーションを動作させることができる。
【００８８】
ブロック804で、システムは、ユーザデバイスのバックグラウンドで少なくとも1つのアプリケーションを動作させることができる。フォアグラウンドアプリケーションが、たとえばディスプレイコンポーネント1514を介して表示されるなどしてフォーカスされている一方で、アプリケーションはバックグラウンドで動作することができる。
【００８９】
ブロック806で、システムは、たとえば入力コンポーネント1516を介して、ユーザデバイスのユーザからの非接触のジェスチャ入力を検出することができる。様々な実施形態において、非接触のジェスチャ入力は、ユーザデバイスのインターフェースのすぐ上で(たとえば、オンスクリーン)、またはユーザデバイスの側面、上部、底部または裏側などユーザデバイスのインターフェースから離れて(たとえば、オフスクリーン)、手、指、ペンなどの対象を用いる姿勢または挙動を含んでよい。様々な実施形態において、ユーザデバイスは、凝視または視標追跡などの対話式入力能力を備えてよい。
【００９０】
ブロック808で、システムは(たとえば、処理コンポーネント1504によって)、フォアグラウンドアプリケーション、およびバックグラウンドにおける少なくとも1つのアプリケーションのうちのどれに、検出された非接触のジェスチャ入力が適用されるかを判断することができる。
【００９１】
当業者であれば現時点で理解するように、また、当面は特定の適用によるが、本開示の精神および範囲から逸脱することなく、本開示の材料、装置、構成、およびデバイスを使用する方法において、およびこれらに対して、多数の修正形態、代替形態および変形形態が加えられ得る。このことを考慮すると、本開示の範囲は、本明細書において図示および説明される特定の実施形態の範囲に限定されるべきではなく、これらは単にいくつかの例であるので、むしろ、以下に添付する特許請求の範囲およびその機能的等価物の範囲と完全に同等であるべきである。
【符号の説明】
【００９２】
1500  システム
1502  バス
1504  処理コンポーネント
1506  システムメモリコンポーネント
1508  (静的)ストレージコンポーネント
1510  ディスクドライブコンポーネント
1512  ネットワークインターフェースコンポーネント
1514  ディスプレイコンポーネント
1516  入力コンポーネント
1518  カーソル制御コンポーネント
1520  通信リンク
【図１】
0006270982.tif 000004
【図２】
0006270982.tif 000005
【図３】
0006270982.tif 000006
【図４】
0006270982.tif 000007
【図５】
0006270982.tif 000008
【図６】
0006270982.tif 000009
【図７】
0006270982.tif 000010
【図８】
0006270982.tif 000011