(57)【特許請求の範囲】
【請求項１】
ユーザデバイスの画面上のタッチ入力データを取り込むステップであって、前記タッチ入力データが、前記ユーザデバイスの前記画面上で行われるタッチを表す、ステップと、
前記タッチ入力データに基づいて入力コマンドを決定するステップと、
前記タッチ入力データに基づいて前記ユーザデバイスの動作に影響を及ぼすステップであって、前記動作が、前記ユーザデバイスの前記画面上のコンテンツの表示に影響を与える、ステップと、
非タッチジェスチャ入力データを取り込むステップであって、前記非タッチジェスチャ入力データが、前記タッチを維持しながら前記ユーザデバイスの前記画面からオフセットされた領域で行われる画面外ジェスチャを表し、前記非タッチジェスチャ入力データが、前記決定された入力コマンドに関連している、ステップと、
前記決定された入力コマンドおよび前記非タッチジェスチャ入力データに基づいて前記ユーザデバイスの前記動作にさらに影響を及ぼすステップと
を含む、対話型入力を検出するための方法。
【請求項２】
前記タッチ入力データが、前記ユーザデバイスの前記画面上のターゲットアイテムを特定し、前記入力コマンドが、前記非タッチジェスチャ入力データに基づく前記ターゲットアイテムの態様の調整を含む、請求項1に記載の方法。
【請求項３】
前記入力コマンドが前記ターゲットアイテムの可変量調整を含み、前記可変量調整が前記非タッチジェスチャ入力データから決定される、請求項2に記載の方法。
【請求項４】
前記タッチ入力データを取り込む前記ステップがさらに、前記ユーザデバイスの前記画面上のユーザから、影響が及ぶべき所望のターゲットアイテムに対するタッチを受けるステップと、
前記ユーザデバイスの前記画面上で前記タッチの解放を検出することによって、前記ターゲットアイテムが解除されたと決定するステップとを含む、請求項1に記載の方法。
【請求項５】
前記非タッチジェスチャ入力データを取り込む前記ステップが、物体の位置および動きを検出するステップを含む、請求項1に記載の方法。
【請求項６】
前記物体の前記動きがさらに、前記ユーザデバイスの前記画面と実質的に同じ平面の中での動きを含む、請求項5に記載の方法。
【請求項７】
前記非タッチジェスチャ入力データを取り込む前記ステップが、前記ユーザデバイスの表面を越えた物体を超音波技術、画像もしくは映像取込み技術、または赤外線技術によって検出するように適合された1つまたは複数のセンサを使用するステップを含む、請求項1に記載の方法。
【請求項８】
前記決定された入力コマンドが、前記ユーザデバイスの前記画面上のターゲットアイテムの選択を表す複数の異なるタイプの入力のうちの1つを含む、請求項1に記載の方法。
【請求項９】
前記異なるタイプの入力がさらに、前記画面に触れる手の第1のポーズによって生成される右マウスクリック(RMC)、または前記画面に触れる前記手の第2のポーズによって生成される左マウスクリック(LMC)もしくは代替クリックとを含み、前記第1のポーズが前記第2のポーズとは異なる、請求項8に記載の方法。
【請求項１０】
前記非タッチジェスチャ入力データを取り込む前記ステップが、手のポーズまたは手の動作を取り込むステップを含む、請求項1に記載の方法。
【請求項１１】
ユーザデバイスの画面上のタッチ入力データを取り込むための手段であって、前記タッチ入力データが、前記ユーザデバイスの前記画面上で行われるタッチを表す、手段と、
前記タッチ入力データに基づいて入力コマンドを決定する手段と、
前記タッチ入力データに基づいて前記ユーザデバイスの動作に影響を及ぼす手段であって、前記動作が、前記ユーザデバイスの前記画面上のコンテンツの表示に影響を与える、手段と、
非タッチジェスチャ入力データを取り込む手段であって、前記非タッチジェスチャ入力データが、前記タッチを維持しながら前記ユーザデバイスの前記画面からオフセットされた領域で行われる画面外ジェスチャを表し、前記非タッチジェスチャ入力データが、前記決定された入力コマンドに関連している、手段と、
前記決定された入力コマンドおよび前記非タッチジェスチャ入力データに基づいて前記ユーザデバイスの前記動作にさらに影響を及ぼすための手段と
を含む、対話型入力を検出するための装置。
【請求項１２】
前記タッチ入力データが、前記ユーザデバイスの前記画面上のターゲットアイテムを特定し、前記入力コマンドが、前記非タッチジェスチャ入力データに基づく前記ターゲットアイテムの態様の調整を含む、請求項11に記載の装置。
【請求項１３】
前記入力コマンドが前記ターゲットアイテムの可変量調整を含み、前記可変量調整が前記非タッチジェスチャ入力データから決定される、請求項12に記載の装置。
【請求項１４】
前記タッチ入力データを取り込むための前記手段が、前記ユーザデバイスの前記画面上のユーザから、影響が及ぶべき所望のターゲットアイテムに対するタッチを受けるための手段を含み、
前記ユーザデバイスの前記画面上で前記タッチの解放を検出することによって、前記ターゲットアイテムが解除されたと決定することをさらに含む、請求項11に記載の装置。
【請求項１５】
プロセッサによって実行されたときに、前記プロセッサに請求項1から10のいずれか一項に記載のステップを行わせるコンピュータ可読命令が保存される、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般に、ユーザデバイスインターフェースにおける対話型入力に関する。
【背景技術】
【０００２】
タッチ画面などの対話型入力機能を有するユーザデバイス(たとえば、スマートフォン、タブレット、ラップトップなど)は現在、小型画面を有する。このような小型画面は、対話型入力機能を制限し得る。たとえば、小型画面では、滑らかなスクローリング、パニング、ズーミングなどの対話を妨げることがある。タッチ対話では、ユーザデバイスのタッチ画面上で複数回のピンチ、選択またはスクロール動作などのタスクを行うために、ユーザが繰り返し操作を行う必要があり得る。さらに、タッチ入力がユーザデバイスの画面を見えにくくして、影響が及ぶコンテンツを見ることが困難になり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、ユーザデバイスインターフェースにおける対話型入力を向上させることが当技術分野で必要とされている。
【課題を解決するための手段】
【０００４】
本開示の1つまたは複数の実施形態によるシステムおよび方法は、タッチ入力データを、超音波センサ、画像または映像取込み機能(たとえば、カメラ)、深度センサなどのセンサによって検出できる非タッチ入力データ(たとえば、手、指などの位置または動作などの制御物によって行われるジェスチャから検出される)と融合できるように、向上した対話型入力を実現する。有利なことに、ユーザデバイスのインターフェース(たとえば、表示装置または画面)の表示は、実質的に妨げられないままとすることができる。
【０００５】
一実施形態によれば、方法は、ユーザデバイスの画面上のタッチ入力データと、ユーザデバイスの画面外の非タッチジェスチャ入力データとを同時に取り込むステップと、この同時に取り込まれたタッチ入力データと非タッチジェスチャ入力データとの組合せに少なくとも一部は基づいて入力コマンドを決定するステップと、決定された入力コマンドに基づいてユーザデバイスの動作に影響を及ぼすステップとを含む。
【０００６】
別の実施形態によれば、方法は、ユーザデバイスにおいて、ユーザデバイスの画面上のタッチと、ユーザデバイスに触れていない手の少なくとも一部分のポーズ、および画面に実質的に平行な平面の実質的に中の一部分の動作、のうちの少なくとも1つとを同時に検出するステップと、その検出されたタッチと、検出されたポーズまたは動作との組合せに少なくとも一部は基づいてコマンドを決定するステップと、決定されたコマンドに基づいてユーザデバイスの動作を調整するステップとを含む。一実施形態では、手の一部分は、画面に触れるために使用される手の別の一部分を含む。別の実施形態では、方法はさらに、手の一部分が、コマンドを決定する前に画面に触れるのに使用された手の別の一部分を含むと決定するステップを含む。別の実施形態では、ポーズまたは動作を検出するステップはさらに、手の1つまたは複数の末端を特定するステップを含む。別の実施形態では、手は、画面に触れるのに使用される手とは異なる。別の実施形態では、動作はスワイプを含む。別の実施形態では、動作は回転またはスイープを含む。別の実施形態では、手の一部分は、画面と、画面に対し垂直である画面の垂直延長部とを含む体積の外側にある。別の実施形態では、タッチを検出するステップはさらに、画面上の複数のタッチを検出するステップを含む。別の実施形態では、画面上のタッチの位置により、調整すべき動作または対象を特定する。別の実施形態では、タッチを検出するステップがさらに、画面に沿ったタッチの動きを検出するステップを含み、コマンドを決定するステップは、検出されたタッチの動きと検出されたポーズまたは動作との組合せに少なくとも一部は基づいてコマンドを決定するステップを含む。別の実施形態では、検出されたポーズまたは動作は、検出されたポーズを含む。別の実施形態では、検出されたポーズまたは動作は、検出された動作を含む。別の実施形態では、検出されたポーズまたは動作は、検出されたポーズ内に手の一部分がある間に行われた、検出された動作を含む。
【図面の簡単な説明】
【０００７】
【図１Ａ】本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図１Ｂ】本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図１Ｃ】本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図２Ａ】本開示の別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。図は改訂されている。
【図２Ｂ】本開示の別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。図は改訂されている。
【図３Ａ】本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図３Ｂ】本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図３Ｃ】本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す図である。
【図４】本開示の実施形態による非タッチジェスチャによってタッチ入力を向上させる方法を示す流れ図である。
【図５】本開示の実施形態によるデバイスを実施するためのシステムのブロック図である。
【発明を実施するための形態】
【０００８】
たとえば同時マルチモーダルセンサ融合により、画面外非タッチ入力(たとえば、ジェスチャ)を用いてタッチ入力などの対話型入力を向上させるための、本開示の1つまたは複数の実施形態によるシステムおよび方法が提供される。非タッチ入力には、手、指などの制御物によって行われるポーズまたは動作などのジェスチャを含めることができ、このジェスチャは、超音波センサ、画像または映像取込み機能(たとえば、カメラ)、深度センサなどのセンサによって検出することができる。その関連で、非タッチ入力を検出するように構成されたセンサまたは技術を、ユーザデバイスまたはシステムに含めること、および/または、ユーザデバイスの様々な面に、たとえばユーザデバイスの上面、下面、左面、右面および/または後面に設置することができ、その結果、ジェスチャなどの非タッチデータを、これらがユーザデバイスのすぐ前で(画面上で(on-screen))、ならびにユーザデバイスの画面の一直線の見通し線を外れて(画面外で(off-screen))行われたときに、取り込むことができるようになる。一般に、画面外非タッチ入力はまた、以下で「画面外ジェスチャ」と呼ばれることもあり、ここで「画面外ジェスチャ」は、手、指、ペンなどの制御物の位置データまたは動作データを指すことができ、この場合、制御物はユーザデバイスに接触はしないが、ユーザデバイスに近接している。これらの「画面外」非タッチジェスチャは、ユーザデバイスの画面から移動させることができるだけでなく、デバイスの画面または表示装置に対してデバイスから横にオフセットされている制御物の一部分を含むこともできる。たとえば、デバイスの表示装置または画面から離れて、表示装置または画面の平面に対して実質的に垂直の方向に延びる体積を想定することができる。「画面外」ジェスチャは、ジェスチャを行う制御物の少なくとも一部分がこの体積の外側にあるジェスチャを含み得る。たとえば、図1A〜図1Cおよび図2A〜図2Bで、ユーザの指は「画面外」にある。
【０００９】
タッチ入力と画面外非タッチ入力(たとえば、ジェスチャ)などの同時対話型入力により、高度なコマンドを生成することができる。一実施形態では、ユーザが、ユーザデバイスの画面に表示されたターゲットアイテムに触れ、同時に画面外ジェスチャ(たとえば、同じ手または他方の手の指)を用いて、そのターゲットアイテムの態様(aspect)を調整することができる。
【００１０】
画面外非タッチジェスチャは、ターゲットアイテムの特定の態様を調整することに対応する適切な任意の所定のジェスチャを含むことができる。たとえば、設定を調整するために、特定の手の動作または位置を用いることができ、たとえば、下向きの手の動作が、画面の輝度設定を下げることに対応し得る。
【００１１】
タッチ入力検知データと、非タッチ、画面外入力検知データ(以下では「ジェスチャ入力検知データ」と呼ばれる)とは、実質的に同時に取り込むことができ、その結果、これらの入力検知データセットを一緒にして1つの入力コマンドを生成できるようになる。つまり、新規の複合コマンドを、入力ターゲットと入力ターゲットの可変量調整とを一緒にすることができるように有効にすることができる。様々な実施形態では、動作などのジェスチャが開始または終了したときと、タッチ入力が検出されたときとの間に最小限の、または無視できるほどのオフセットがあり得ることに留意されたい。本明細書のいくつかの実施形態では、タッチ入力検知データおよびジェスチャ入力検知データは、実質的に同時または同時期に取り込んで、たとえばタッチとジェスチャのタイミングの間の余裕が小さいことを許容することができる。
【００１２】
様々な実施形態では、ジェスチャ入力検知データは、物体の位置および動作を検出することによって取り込むことができる。たとえば、手または指などの物体の検出される動作は、ユーザデバイスの表示装置または画面などの表面と実質的に平行になっている、または同一平面内にあることができ、また画面の上ではなく画面外で行うことができる。そのため、表示装置または画面を遮ることが回避され、または削減され、それによって画面が見えるようになる。
【００１３】
入力ターゲットと可変量調整を一緒にすることができる多くの複合コマンドの例がある。そのような例には、次のものを含めて、1つまたは2つの手を用いることによって1つまたは複数の設定を調整することが含まれ得る。
【００１４】
カメラ:たとえば、フォーカス、絞り値、シーンモードなどを調整するために、ターゲットアイテムに影響を及ぼすタッチまたは非タッチジェスチャによって、ターゲットアイテムを選択すること。たとえば、カメラで写真を撮るとき、ユーザは、カメラの側面で取り込まれてフォーカスを調整することができる非タッチジェスチャを行いながら、(たとえば、指、ペンなどの物体を使用する)タッチによって焦点外れの写真を選択することができる。その関連で、非タッチジェスチャを画面外で(たとえば、カメラの側方、上方、下方または後方で)行うことができるので、表示される写真は、ユーザから見て遮られない。この例については、実施形態による図1A〜図1Cに関して以下でより詳細に説明される。
【００１５】
設定:タッチおよびジェスチャによって所望の設定領域またはアイコンを、その設定、またはそのアイコンと関連付けられた設定(たとえば音量、輝度など)を調整するために、選択すること。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、輝度などの設定を表す所望の設定またはアイコンをタッチによって選択することができる。非タッチジェスチャは、輝度を調整することに対応し得る。様々な実施形態では、可変制御と関係付けられた任意のコマンドアイコンに触れることができ、次いで、スイープや手の回転などのジェスチャによって変化性を調整することができる。したがって、輝度、音量などを調整するための、たとえばスライダバーを用いる第2のメニューが、いくつかの実施形態では必要とされなくなり得る。ジェスチャは画面外で行われ、取り込まれるので、表示装置または画面がユーザから見て遮られない。たとえば、ユーザデバイスは、ユーザデバイスの画面またはベゼルの側面の輝度調整を表すアイコンに触れるユーザの親指などのタッチ入力を検出することができる。同時に、ユーザデバイスは、(輝度アイコンに触れながら)回しているユーザの同じ手の指のようなジェスチャを検出して輝度を調整することができ、たとえば右に回転すると輝度が増大し、左に回転すると輝度が減少し得る。
【００１６】
ゲーム:相手に対し行う動作を設定するために、手の位置または動作などのタッチおよびジェスチャによって相手を選択すること。上述のカメラの例と同様に、ユーザデバイスでゲームをするユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、タッチによって相手を選択することができる。非タッチジェスチャは、相手に対し行われる動作を設定することに対応することができ、また非タッチジェスチャが画面外で行われ取り込まれるので、ユーザデバイスの表示装置または画面がユーザから見て遮られない。たとえば、ユーザデバイスは、ユーザデバイスの画面に表示されたチェスゲームの相手の駒を表すアイコンに触れるユーザの親指などのタッチ入力を検出することができる。同時に、ユーザデバイスは、(相手のチェス駒を表すアイコンに触れながら)ユーザの同じ手を閉じるようなジェスチャを検出して、ゲームルールに従ってチェス駒を取り出すことができる。
【００１７】
タイマ:継続時間を調整するためにタッチおよびジェスチャによってタイマ領域またはアイコンを選択すること。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、タイマ継続時間などの設定を表すタイマ領域またはアイコンをタッチによって選択することができる。非タッチジェスチャは、タイマ継続時間を調整することに対応することができ、また画面外で行われ取り込まれるので、表示装置または画面がユーザから見て遮られない。一例では、時計に触れ、次いで手を一方向または他方に回転することもまた用いて時間を設定することができる(たとえば、時間を前/後に動かすことは、時間または分を変えることを区別できる広げた指の数によって決定することができる)。別の例では、時間を調整する方法が1つだけあり、たとえば、手の回転すべてで分を調整することができる。
【００１８】
地図:ズームを調整するために、興味ある地点(POI: point of interest)をタッチおよびジェスチャによって、POIをユーザのタッチまたは手の下を中心に保ちながら選択すること。一実施形態では、ユーザはそのタッチを移動させて、POIを画面上のどこに表示させるかを調整することができる。上述のカメラの例と同様に、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、ユーザデバイス上に表示された地図上のPOIをタッチによって選択することができる。非タッチジェスチャは、ズーミングを調整することに対応することができ、また画面外で行われ取り込まれるので、表示装置または画面がユーザから見て遮られない。
【００１９】
異なるタイプの「クリック」を生成する:ユーザデバイスの画面上に表示された対象を、選択された対象をクリックするためのタッチおよびジェスチャによって選択すること(たとえば、選択された対象に対する動作を開始するために)。たとえば、ユーザは、画面外で取り込むことができる非タッチジェスチャを行いながら、ユーザデバイスの画面に表示されたファイルなどの対象をタッチによって選択することができる。非タッチジェスチャは、右マウスクリック(RMC)と同等であり得る閉じた手、または左マウスクリック(LMC)もしくは交互のクリックと同等であり得る開いた手を含み得る。いくつかの実施形態では、他の手のポーズが、RMCおよび/またはLMCを表すために使用され、または異なるタイプのクリックを表すために使用される。
【００２０】
本開示の実施形態は、可変量調整のために複合コマンドがタッチ入力と非タッチジェスチャを組み合わせ得る、他の多くの使用事例に、次のものを含めて適用することができる。
【００２１】
ユーザデバイスは、一方の手でアイテムに触れ(たとえば、手がユーザデバイスの後部周りで丸められてデバイスを保持している間に、親指で)、次いで、他方の手を画面外でスイープするユーザからのタッチ入力を検出することができる。「ライブタイル(live tile)」(または動的コンテンツがある他のアイテム)を有するシステムの実施形態では、スイープ動作により、コンテンツを(たとえば、電子メールを、またはリストを上方/下方へ)スクロールすることができる。逆に言えば、この対話は反対にも機能することができ、たとえば:ユーザデバイスはアイテムへの接触を検出することができ、これによりアイテムを所定の場所に固定しておくことができる一方で、他方の手をスイープジェスチャを検出することにより、「ホーム画面」をアイテムの後ろに切り換えることができる。ユーザが、アイテムを配置すべき正しいホーム画面の位置を特定すると、ユーザは、その親指を画面から移動させて、現在表示されているホーム画面上にアイテムを「ドロップする」ことによって、そのアイテムを解放することができる。
【００２２】
様々な実施形態では、タッチ入力は静的タッチ(または単一タッチ)である必要がない可能性がある。アイテムを1つの場所から別の場所へドラッグすることが、ドラッグしているときの検出ジェスチャ、たとえば手のポーズ、に基づいて異なる効果を及ぼし得る(たとえば、全部開いた手に対して1つの延ばされた指)。同様に、ピンチズームは、検出ジェスチャに応じて異なる効果を有することができ、たとえば、開いた手は、粗いズームに影響を及ぼすことができ、閉じた手は精密なズームに影響を及ぼすことができる。
【００２３】
上述のように、いくつかの使用事例または例には、1つまたは2つの手を用いたジェスチャによって1つまたは複数の設定を調整することが含まれ得る。いくつかの実施形態では、ジェスチャが同じ手で行われるか、または別の手で行われるかが重要になり得る。したがって、いくつかの実施形態では、ユーザデバイスは、同じ手がデバイスに触れているとともにジェスチャ(たとえば、ある動作)を行っているかどうかを判定するように構成することができる。
【００２４】
有利なことに、ターゲット入力と可変量調整の両方を含む新規の複合コマンド、たとえば新規の複合入力ジェスチャを有効にすることができる。そのようにして、ユーザデバイスの一次インターフェースを拡張することができる。
【００２５】
図1A〜図1Cを参照すると、図は、本開示の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す。詳細には、図1A〜図1Cは、カメラのタッチターゲットのフォーカスを非タッチジェスチャによって調整する一例を示す。
【００２６】
図1Aで、カメラでよい、またはユーザデバイスの一部としてカメラを有する、ユーザデバイス102は、ターゲットアイテムを見るための画面またはカメラビューファインダを含む。この場合には、ターゲットアイテムは焦点が外れているように見える。ユーザは、ユーザデバイス102の画面に、影響が及ぶターゲットアイテム上に参照数字101で示された点で、親指などの物体を用いて触れることができる。
【００２７】
図1Bでは、ユーザは画面外ジェスチャを行って、ターゲットアイテムに影響を及ぼす。図1Bでわかるように、ユーザの指は、デバイスの表示装置から横方向にオフセットされ、したがって、画面外ジェスチャを行っているものとして検出され得る。一例では、ターゲットアイテムに焦点を合わせるために、ユーザは、その親指をターゲットアイテム上の点101に維持しながら、その手をユーザデバイス102の画面に実質的に平行な平面上で回して、参照数字104で表示されたターゲットアイテムに焦点を合わせることができる。非タッチジェスチャは、ユーザデバイス102の1つまたは複数のセンサ(たとえば、超音波技術センサなど)が画面外ジェスチャを取り込むことができるように、画面外で行うことができる。ユーザは、ターゲットアイテムに焦点が適切に合ったと思うまで、回転する非タッチジェスチャを行うことができる。一実施形態では、ユーザは、焦点を変化させるためにユーザデバイス102の画面のどこにでも触れることができ、あるいは他の実施形態では、ユーザは、自動焦点を精緻なものにするために特定の対象に触れることができる。
【００２８】
一実施形態では、ユーザが表示装置の側部または角部周りの非タッチジェスチャによって焦点を合わせることができるように、ユーザは、カメラの縁部、たとえば右側縁部の近くまたは画面の隅部に近接して位置することができるボタン、領域またはアイコンに触れることができる。こうして表示装置は、見ることが妨げられない。
【００２９】
図1Cでは、ユーザは、ユーザデバイス102からタッチを解放して(たとえば、ユーザの親指を点101から解除して(disengage))、ターゲットアイテムから離れることができる。
【００３０】
様々な実施形態では、ジェスチャ入力検知データとタッチ入力検知データの両方を、タッチをユーザデバイスから解放することによって、たとえば、タッチをユーザデバイスの画面または表示装置から解放することによって、中断することができる。
【００３１】
そのようにして、本明細書の実施形態では、ユーザデバイス上のコマンドに関与(engage)し、かつ、コマンドを解除するための明瞭な方法(clean way)を提供することができる。
【００３２】
次に図2A〜図2Bを参照すると、図は、本開示の別の実施形態による非タッチ画面外ジェスチャによってタッチを向上させるための流れを示す。詳細には、図2A〜図2Bは、ユーザデバイスの画面でリストまたはページを更新またはスクロールするためのショートカットの一例を示す。
【００３３】
図2Aで、ユーザは、ユーザデバイス202の画面上のターゲットアイテムに対応する点201を指で長押しすることができる。図2Bでは、ユーザは、点201でターゲットアイテムを押す指を軸にして回しながら、非タッチ画面外ジェスチャ(たとえば参照数字207で示された下方に手を動かすこと)を行うことができる。こうして、ユーザデバイス上でリストまたはページを簡単に更新またはスクロールすることが、たとえば画面上の他のアイテムに影響を及ぼすことなくできる。非タッチジェスチャは、画面外で実質的にユーザデバイスの画面と同じ平面に沿って、つまり実質的に平行な平面内で、垂直平面内すなわちz方向の、ユーザデバイスから動作中の手までの近接性または距離にかかわらず、行うことができることに留意されたい。
【００３４】
様々な実施形態では、特定の非タッチジェスチャが特定のコマンドに対応することができる。図2A〜図2Bの例では、参照数字207で表示された手の下方の動作が、ページを更新するためなどの「更新」コマンドに対応することができる。他の実施形態では、図2A〜図2Bに示されたタッチ入力と非タッチジェスチャ入力の組合せをショートカットとして使用して、媒体をシャッフルすることができる。このようなコマンドは組込みとすることができ、いくつかの実施形態では、ルックアップテーブルにより、どのジェスチャがどのコマンドに対応するかを定義することができる。
【００３５】
次に図3A〜図3Cを参照すると、図は、本開示のさらに別の実施形態による非タッチジェスチャによってタッチを向上させるための流れを示す。詳細には、図3A〜図3Cは、アプリケーションなどのアイテムをファイルなどのターゲット宛先に編成するための一例を示す。
【００３６】
図3Aでは、ユーザは、ユーザデバイス302の画面上で、1つまたは複数の収集アイテムのターゲット宛先に対応する点301を指で長押しすることができる。
【００３７】
図3Bでは、ユーザは、ターゲット宛先に収集および配置されるべき1つまたは複数のアイテムの選択を開始することができる。この関連で、点301を指で長押ししながら、ユーザは、同じ手の他の指を使用して1つまたは複数のアイテム、たとえばアイテム302Bを選択することができる。あるいは、ユーザは、点301を指で長押ししながら、他の手の指を使用して1つまたは複数のアイテムを選択することができる。
【００３８】
図3Cでは、収集されるべき1つまたは複数のアイテムをユーザが選択し終えた後、ユーザは、スイープジェスチャ(たとえば、矢印316で示される)などのジェスチャを行って、選択された1つまたは複数の収集アイテムを、点301の長押ししている指で表示されたターゲット宛先の方へ動かすことができる。
【００３９】
そのようにして、1つまたは複数のアイテムは、ターゲット宛先に編成される。つまり、アイテムは、適切なファイルまたはフォルダに編成された。
【００４０】
本開示の1つまたは複数の実施形態によれば、非タッチ画面外ジェスチャを用いてタッチ入力を向上させるための様々な技術を使用することができる。この関連で、任意のジェスチャ検出技術をタッチ入力技術と組み合わせることができる。そのような技術には、たとえば:ハンドタッチ画面に超音波ジェスチャ検出を加えたもの、ハンドタッチ画面に視覚ベースのジェスチャ検出を加えたもの(たとえば、前向きおよび/または後向きカメラを使用すること、および/またはデバイスの側面または縁部に取り付けられた1つまたは複数のカメラを使用すること)、超音波ペンタッチ画面にハンド視覚検出を加えたもの(たとえば、超音波、視覚ベース、深度センサ、カメラベース、赤外線、など)、ハンドタッチ画面に超音波ペンジェスチャ検出を加えたもの、筋電図検査法(EMG)、および/または他の任意の適切な技術が含まれ得る。こうしてジェスチャは、デバイスの前、デバイスの後ろ、および/またはデバイスの1つまたは複数の側方で検出することができる。いくつかの実施形態では、末端を特定および/または追跡して、ポーズまたは動作を判定することができる。たとえば、様々な指のポーズおよび動作を特定することができ、また、特定のジェスチャモデルを使用することもできる。ユーザからのタッチ入力を検出するには、タッチ画面技術(たとえば、静電容量式タッチ画面および/または投影型静電容量技術)を使用することができる。様々な実施形態では、画面に触れることが必要ではない場合があることに留意されたい。たとえば、タッチ入力は、ユーザがベゼルに触れる、または単にデバイスの縁部に触れることからでも検出することができる。たとえば、ユーザは、たとえば音量を制御するために手を回転することができ、これは、たとえば、デバイスの側面、上面または底面に設置されたタッチセンサで、または電界センサで検出することができる。
【００４１】
次に、図4を参照すると、流れ図は、本開示の実施形態による非タッチジェスチャによってタッチ入力を向上させる方法を示す。図4に示された方法は、一実施形態による図5に示されたシステムによっても実施できることに留意されたい。
【００４２】
ブロック402で、図5に示されたシステム1500などのシステムは、ユーザデバイスの画面上のタッチ入力データと、ユーザデバイスの画面外の非タッチジェスチャ入力データとを同時に取り込むことができる。タッチ入力データおよび非タッチジェスチャ入力データは、たとえば、図5に示された入力構成要素1516によって取り込むことができる。この関連で、図1〜図3に示された実施形態を含む様々な実施形態に関して上述したように、ユーザは、ユーザデバイスの画面または表示装置上のターゲットアイテムに触れること、および非タッチジェスチャを使用すること(同じ手または他の手で)を同時にして、ターゲットアイテムの態様を調整することができる。たとえば、ユーザは、カメラの画面またはビューア上の画像に触れることによって、焦点を合わせるべき画像などの、カメラのターゲットアイテムを選択することができる。同時に、カメラの画面上の画像に触れながら、ユーザは、手の動作またはポーズなどの画面外非タッチジェスチャを行って、画像の焦点を合わせることができる。この関連で、画面外非タッチジェスチャは、たとえば、ユーザデバイスの画面に対して実質的に平行な平面内の手の動作またはポーズによって、行うことができる。また、画面外非タッチジェスチャは、ユーザデバイスに設置された、たとえば、ユーザデバイスの側面、上面、底面または後面に設置された、1つまたは複数のセンサによって取り込むこともできる。センサは、超音波技術、赤外線などの様々なジェスチャ検出技術を含むことができる。
【００４３】
ブロック404で、システムは、同時に取り込まれたタッチ入力データと非タッチジェスチャ入力データとの組合せに少なくとも一部は基づいて、入力コマンドを決定することができる。ブロック406で、決定された入力コマンドに基づいて、ユーザデバイスの動作に影響が及び得る。入力コマンドのそのような決定、およびユーザデバイスの動作に対するその作用は、たとえば、図5に示された処理構成要素1504によって行うことができる。一実施形態では、入力コマンドは、選択されたターゲットアイテムに、他の非選択アイテムにはどれも影響を及ぼすことなく、影響を及ぼすことができる。
【００４４】
様々な実施形態では、入力コマンドは、タッチ入力データが解除されたときに完了したと決定することができる。たとえば、図1A〜図1Cに示されたカメラ焦点実施形態では、焦点合わせが達成されると、ユーザは、ターゲットアイテムへのタッチを解放して、ターゲットアイテムから離れることができる。
【００４５】
本開示の1つまたは複数の実施形態によれば、画面タッチ検出により、画面外物体(たとえば、指)検出を可能にすることができる。その場合、画面外物体検出は制御操作に使用することができる。たとえば、画面外で検出される回転する指を用いて、アプリケーションの設定または動作を制御することができる。画面タッチ検出またはタッチ入力は、オン・オフスイッチのように使用することができる一方で、非タッチジェスチャは、動作制御とすることができる。つまり、タッチ入力部は、非タッチ画面外ジェスチャのアンカポイントとすることができる。
【００４６】
本開示の1つまたは複数の実施形態によれば、「ジェスチャ入力検知データ」、「非タッチジェスチャ」または「ジェスチャ」という用語は一般に、タッチ画面対話以外でデバイスのユーザセンサによって取り込まれた画面外非タッチのジェスチャまたは対話を含み、たとえば、非タッチの手の動作またはポーズを含み得ることに留意されたい。そのため、本明細書の実施形態では、非タッチジェスチャは、手のポーズなどのユーザの対話型入力を検出または認識することを含み得る。様々な実施形態では、「ジェスチャ入力検知データ」は、ユーザ動作を制御入力に翻訳するために、タッチセンサ以外の、デバイスの少なくとも1つまたは複数の点または領域(たとえば、側部、上部、下部、後部)に設置されたセンサからのデータの使用、またはタッチ画面の上、もしくはすぐ上方で行われるもの以外の対話からのデータの使用を含み得る。つまり、ジェスチャ入力データは、ユーザデバイスに触れることがないユーザの画面外ジェスチャを取り込むためのセンサまたは技術の使用を伴い得る。
【００４７】
一般に、ユーザデバイスは、ジェスチャ認識センサまたはジェスチャ入力データセンサを含む任意のデバイスを含むこと、またはその一部分とすることができ、そのセンサには、たとえば:超音波ジェスチャ検出センサ、カメラなどの画像または映像取込み構成要素(たとえば、可視光カメラ、飛行時間カメラなどの距離画像カメラ、構造光カメラ、立体カメラなど)、ハンド視覚検出(超音波、視覚ベース、赤外線など)センサ、超音波ペンジェスチャ検出センサなど、が含まれ得る。つまり、デバイスは、超音波、赤外線、視覚ベースのジェスチャ機能などを有して、デバイスに触れることがないユーザの画面外ジェスチャ(すなわち、手のポーズなどの非タッチジェスチャ)を取り込むことができる。
【００４８】
様々な実施形態では、タッチ入力は、他のセンサの動作に影響を及ぼすことができる。たとえば、タッチ入力は、他のセンサをオンにすること、または、そのような他のデバイスの、たとえばデューティサイクルを増大させることができる。また、タッチ入力は、検出するために他のセンサが構成されるジェスチャに適応することをもたらすことができる。たとえば、ジェスチャ制御を開始するために関与ポーズに感受的である代わりに、タッチ入力によりデバイスに、関与ポーズ以外の、スワイプ、スイープ、ポーズなどのジェスチャを探すように警告することができる。いくつかの実施形態では、これは、1つまたは複数のジェスチャモデルをロードすること、ジェスチャ語彙のサイズまたは範囲を増大させること、および/または他のいくつもの方法で行われ得る。
【００４９】
1つまたは複数の実施形態により画面外非タッチジェスチャを取り込むことに関して、ユーザデバイスの表面を越えた、たとえば画面を越えたユーザの動きまたは物体(たとえば、1つまたは複数の指、手、ペンなど)の向きは、ユーザデバイスの表面、たとえば画面または表示装置に実質的に平行でよい。様々な例では、デバイスの表面に平行な物体の動作は、デバイスの表示装置または画面と同じ平面での、画面または表示装置の境界を越えたスイープ動作、親指回転などを含むことができ、またいくつかの実施形態ではz方向の動きが考えられ得るが、これは、考えられる唯一の動きではなくてよく、またはいくつかの実施形態では考えられなくてよい。その関連で、z方向の動作は、たとえば、表示装置までの近接性を増大または低減させるために、画面または表示装置に向かう、または遠ざかる動作であり得る。つまり、物体の動作は、画面周辺の外側で行うことができ、画面と位置合わせすることができる。いくつかの実施形態では、ジェスチャは、画面と位置合わせされたときに検出することができる(たとえば、タブレット、またはより大きいフォームファクタを使用するとき)。
【００５０】
次に図5を参照すると、本開示の実施形態によるデバイスを実施するためのシステムのブロック図が示されている。
【００５１】
本明細書で開示された方法およびシステムは、多種多様な電子システムまたは電子デバイスによって実施すること、またはその中に組み込むことができることを理解されたい。たとえば、システム1500は、モバイルデバイス、スマートフォン、携帯情報端末(PDA)、タブレット、ラップトップ、パーソナルコンピュータ、テレビなど、有線デバイスまたは無線デバイスを含む任意のタイプのデバイスを実施するのに使用することができる。音楽プレーヤ、ビデオプレーヤ、通信デバイス、ネットワークサーバなど、他の例示的な電子システムもまた、本開示により構成することができる。さらに、他の電子システムには、ジェスチャまたは他の制御入力を検出し、次いでその入力を処理のために別のデバイスに渡す、たとえばユーザの腕に装着されるウェアラブルデバイスが含まれ得る。
【００５２】
システム1500は、図1、図2および図3にそれぞれ示されたユーザデバイス102、202、および302を含めて、本開示の実施形態を実施するのに適切であり得る。たとえばスマートフォン、タブレット、パーソナルコンピュータおよび/またはネットワークサーバであるデバイスの一部などのシステム1500は、情報を伝達するための、サブシステムと構成要素を相互接続するバス1502または他の通信機構を含み、この構成要素には、処理構成要素1504(たとえば、プロセッサ、マイクロコントローラ、1つまたは複数のデジタル信号プロセッサ(DSP)など)、システムメモリ構成要素1506(たとえばRAM)、スタティック記憶構成要素1508(たとえば、ROM)、ネットワークインターフェース構成要素1512、表示構成要素1514(または別法として、外部表示装置とのインターフェース)、入力構成要素1516(たとえば、キーパッドまたはキーボード、タッチ画面などの対話型入力構成要素、ジェスチャ認識など)、およびカーソル制御構成要素1518(たとえば、マウスパッド)が含まれる。様々な実施形態では、入力構成要素1516は、タッチ入力技術と一緒にすることができる1つまたは複数のジェスチャ検出技術を実施することができる。上述のように、そのような技術には、たとえば:ハンドタッチ画面に超音波ジェスチャ検出を加えたもの、ハンドタッチ画面に視覚ベースのジェスチャ検出を加えたもの(たとえば、前向きおよび/または後向きカメラを使用すること、および/またはデバイスの側面または縁部に取り付けられた1つまたは複数のカメラを使用すること)、超音波ペンタッチ画面にハンド視覚検出を加えたもの(たとえば、超音波、視覚ベース、深度センサ、カメラベース、赤外線、など)、ハンドタッチ画面に超音波ペンジェスチャ検出を加えたもの、筋電図検査法(EMG)、投影型静電容量、電界センサ、および/または他の任意の適切な技術が含まれ得る。
【００５３】
本開示の実施形態によれば、システム1500は、システムメモリ構成要素1506に収容された1つまたは複数の命令の1つまたは複数のシーケンスを実行する処理構成要素1504によって、特定の動作を行う。このような命令は、スタティック記憶構成要素1508などの別のコンピュータ可読媒体からシステムメモリ構成要素1506に読み込むことができる。これらは、同時マルチモーダルセンサ融合によって対話型入力を向上させる命令を含むことができる。他の実施形態では、本開示の1つまたは複数の実施形態の実施のために、ハードワイヤード回路をソフトウェア命令の代わりに、またはソフトウェア命令と一緒に使用することができる。
【００５４】
命令を処理構成要素1504に実行のために供給することに関与するあらゆる媒体を指し得るコンピュータ可読媒体中に、論理を符号化することができる。そのような媒体は、それだけには限らないが、不揮発性媒体、揮発性媒体、および伝達媒体を含めて、多くの形を取ることができる。様々な実施形態では、揮発性媒体は、システムメモリ構成要素1506などのダイナミックメモリを含み、また伝達媒体は、バス1502を構成する線を含めて、同軸ケーブル、銅線、光ファイバを含む。一実施形態では、伝達媒体は、電波および赤外線データ通信時に生成されるものなど、音波または光波の形を取り得る。コンピュータ可読媒体のいくつかの一般的な形には、たとえば、RAM、PROM、EPROM、FLASH-EPROM、他の任意のメモリチップもしくはメモリカートリッジ、搬送波、または、読み出すのにコンピュータが適合される他の任意の媒体が含まれる。コンピュータ可読媒体は持続性であり得る。
【００５５】
本開示の様々な実施形態では、本開示を実践するために命令シーケンスを実行することがシステム1500で行われてよい。様々な他の実施形態では、通信リンク1520(たとえば、WiFi、または様々な他の有線もしくは無線ネットワーク)で結合された複数のシステム1500が、互いに協働して本開示を実践するように命令シーケンスを実行することができる。システム1500は、通信リンク1520およびネットワークインターフェース構成要素1512を通して、1つまたは複数のプログラム(すなわち、アプリケーションコード)を含めて、入力、メッセージ、データ、情報および命令を受け取り、拡張することができる。受け取られたプログラムコードは、実行のためのディスクドライブ構成要素1510または何か他の不揮発性記憶構成要素で受け取られ、かつ/または保存されると、処理構成要素1504で実行することができる。
【００５６】
当業者にはこれまでに理解されるように、また手元の特定のアプリケーションによって、本開示のデバイスの材料、装置、構成、および使用法には、本開示の趣旨および範囲から逸脱することなく、多くの修正、置換えおよび変形を加えることができる。このことに照らし合わせて、本開示の範囲は、本明細書で図示され説明された特定の実施形態の範囲には、その実施形態が本開示のいくつか例示的なものにすぎないので、限定されるべきではなく、むしろ、添付の特許請求の範囲およびその機能的等価物の範囲と完全に相応すべきものである。
【符号の説明】
【００５７】
101  点
102  ユーザデバイス
104  ターゲットアイテム
201  点
202  ユーザデバイス
207  下方の動作
301  点
302  ユーザデバイス
302B  アイテム
316  矢印
1500  システム
1502  バス
1504  処理構成要素
1506  システムメモリ構成要素
1508  スタティック記憶構成要素
1510  ディスクドライブ構成要素
1512  ネットワークインターフェース構成要素
1514  表示構成要素
1516  入力構成要素
1518  カーソル制御構成要素
1520  通信リンク
【図１Ａ−１Ｃ】
0006464138.tif 000002
【図２Ａ−２Ｂ】
0006464138.tif 000003
【図３Ａ】
0006464138.tif 000004
【図３Ｂ】
0006464138.tif 000005
【図３Ｃ】
0006464138.tif 000006
【図４】
0006464138.tif 000007
【図５】
0006464138.tif 000008