(57)【特許請求の範囲】
【請求項１】
見通し外ジェスチャ認識を可能にするコンピュータ実装方法であって、
見通し外ジェスチャ認識システムへの見通しのない部屋のボリュームを判断することと、
前記見通し外ジェスチャ認識システムから前記部屋の中へレーダ伝送を行うことによって、反射レーダフィールドを前記ボリュームの少なくとも一部の中に提供するのに十分な伝送経路のセットを判断することと、を含み、
前記反射レーダフィールドが、前記反射レーダフィールドでジェスチャインタラクションのキャプチャを可能にする、コンピュータ実装方法。
【請求項２】
前記部屋の前記ボリュームを判断することが、
非レーダカメラを使用して画像をキャプチャし、前記見通し外ジェスチャ認識システムの視点からの前記部屋の画像を提供することと、
前記部屋の寸法を受信すること、または判断することと、
前記部屋の前記寸法および前記部屋の前記画像に基づいて、撮像されていないが存在する床、壁または天井の領域を判断することと、
前記撮像されていないが存在する床、壁または天井の領域に基づいて、前記見通し外ジェスチャ認識システムへの見通しのない前記部屋の前記ボリュームを判断することと、
を含む、請求項１に記載のコンピュータ実装方法。
【請求項３】
前記ボリューム内に、前記反射レーダフィールドを提供することと、
前記ボリューム内で行われたジェスチャインタラクションの反射を受信することと、
前記ジェスチャインタラクションの前記反射に基づいて、前記ボリューム内で行われたジェスチャを判断することと、
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項４】
見通し外ジェスチャ認識を可能にするコンピュータ実装方法であって、
見通し外ジェスチャ認識システムを通じて、部屋内にレーダフィールドを提供することであって、前記レーダフィールドが、直接レーダフィールドおよび反射レーダフィールドを含み、前記反射レーダフィールドが、非レーダカメラを使用してキャプチャされた画像から判断される、前記見通し外ジェスチャ認識システムからの直接の見通しが得られない前記部屋の１つまたは複数のボリュームに提供されることと、
前記部屋内の前記レーダフィールド内で行われるジェスチャインタラクションの反射を受信することであって、前記反射が、前記ジェスチャインタラクションについてのデータのキャプチャを可能にすることと、
前記ジェスチャインタラクションの前記反射に関連する、キャプチャされた前記データに基づいて、ジェスチャを判断することと、
デバイスまたはアプリケーションを制御するのに有効な前記デバイスまたはアプリケーションに前記ジェスチャを提供することと、
を含む、コンピュータ実装方法。
【請求項５】
前記ジェスチャインタラクションの前記反射が、前記反射レーダフィールドのうちの１つの中で行われる、請求項４に記載のコンピュータ実装方法。
【請求項６】
前記部屋内で前記レーダフィールドを提供することが、前記見通し外ジェスチャ認識システムからの前記直接の見通しが得られない、前記部屋の前記１つまたは複数のボリュームの一部の中に、貫通レーダフィールドをさらに提供する、請求項４に記載のコンピュータ実装方法。
【請求項７】
前記ジェスチャインタラクションの前記反射が、前記貫通レーダフィールドのうちの１つの中で行われる、請求項６に記載のコンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権出願
[0001]  本願は、その開示全体が参照により本明細書に組み込まれる、２０１４年１０月２日に出願された「Ｎｏｎ−Ｌｉｎｅ−ｏｆ−Ｓｉｇｈｔ  Ｒａｄａｒ−Ｂａｓｅｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ」と題する米国特許出願第６２／０５９，０９９号の本出願であり、米国特許法第１１９条（ｅ）により当該出願の優先権を主張する。
【背景技術】
【０００２】
[0002]  スマートデバイスが、家庭、自動車およびオフィスで急増するにつれて、これらのデバイスをシームレスかつ直観的に制御する必要性が益々重要となっている。例えば、ユーザは、ユーザが居合わせるどの場所からでも、メディアプレイヤー、テレビおよび空調デバイスを、素早くかつ容易に制御することを望んでいる。しかしながら、スマートデバイスを制御する現在の技術は、シームレスかつ直観的な制御を提供することができておらず、その代わりに、タッチスクリーン、手持ちのリモコン、および扱いにくい音声インターフェースに依存している。
【０００３】
[0003]  この背景の説明は、本開示の背景状況を全般的に提示する目的で提供されている。本明細書で別段の指示がない限り、本項に記載された資料は、本開示または添付の特許請求の範囲に対する先行技術であると、明示的にも黙示的にも認められない。
【発明の概要】
【０００４】
[0004]  本明細書は、見通し外レーダ型ジェスチャ認識についての技術およびデバイスについて説明する。本明細書で説明する技術およびデバイスの使用を通じて、ユーザは、空中でのジェスチャを通じて、そのジェスチャがデバイスのセンサの見通し内にないときであっても、デバイスを制御することができる。したがって、ユーザがサーモスタットのジェスチャセンサから見えないときに部屋の温度を下げる、ユーザがメディアプレイヤーとは異なる部屋にいるときにメディアプレイヤーの音量を上げる、または、ユーザのジェスチャが、椅子、ソファもしくは他の障害物で見えないときに、テレビ番組を一時停止する、などの、制御が望まれるが従来の技術では有効な制御ができなかった多くの状況で、本技術によって、ユーザがデバイスを制御することが可能となる。
【０００５】
[0005]  この概要は、以下の詳細な説明においてさらに説明される、見通し外レーダ型ジェスチャ認識に関する簡略的なコンセプトを紹介するために提供されている。この概要は、特許請求された主題の本質的特徴を特定することを意図するものではなく、特許請求された主題の範囲を判断する際に使用することを意図したものでもない。
【０００６】
[0006]  見通し外レーダ型ジェスチャ認識のための技術およびデバイスの実施形態について、以下の図面を参照して説明する。図面全体を通して類似の特徴および構成要素を参照するために、同一の番号が使用されている。
【図面の簡単な説明】
【０００７】
【図１】直接レーダフィールドおよび反射レーダフィールドの使用を含むが、見通し外レーダ型ジェスチャ認識が実装され得る環境の例を示す。
【図２】図１のスマートデバイスをより詳細に示す。
【図３】貫通レーダフィールドの例を示す。
【図４】反射レーダフィールドを使用して、見通し外レーダ型ジェスチャ認識を可能にする方法の例を示す。
【図５】レーダシステムへの見通しのないボリューム、および、そのボリューム内に反射レーダフィールドをもたらす伝送経路を含む、図１の部屋を示す。
【図６】ユーザに対する見通しのないスマートデバイスを制御し、またはそのスマートデバイスと通信するのに有効な、見通し外レーダ型ジェスチャ認識を可能にする方法の例を示す。
【図７】複数のレーダシステムを有し、そのうちのいくつかが、家の中にいるユーザに対する見通しがない、家の１階を示す。
【図８】見通し外レーダ型ジェスチャ認識を実現し、または見通し外レーダ型ジェスチャ認識の使用を可能にする技術が実装され得るデバイスの例を示す。
【発明を実施するための形態】
【０００８】
概要
[0007]  本明細書は、見通し外レーダ型ジェスチャ認識を可能にする技術およびデバイスについて説明する。これらの技術およびデバイスは、スマートデバイスのセンサの見通し内にいることなくジェスチャが行われるときに、ジェスチャを認識することを通じてスマートデバイスをより一層制御することを可能にする。
【０００９】
[0008]  例えば、ユーザが、家の中に多くのスマートデバイスを持っている場合を考えてみる。これらのデバイスを制御するために、ユーザは、各デバイスにつき１つ、多数の手持ちリモコンを持っていると仮定する。これらの様々なスマートデバイスを制御することは、必要なリモコンの数が原因で、実際的ではない。さらに、ユーザが、複数のスマートデバイスを制御できるリモコンを１つ持っていたとしても、ユーザが、これらの様々なデバイス全ての見通し内にいなければ、ユーザは、依然として、複数のデバイス全てを制御することができないであろう。また、稀に、同時に多くのデバイスの見通し内にいる場合であっても、ユーザは、やはりリモコンを持ち歩く必要がある。
【００１０】
[0009]  音声インターフェースおよび視線カメラなど、スマートデバイスを制御する他の従来の方法について考えてみる。音声インターフェースは、ユーザの意図を理解できずに、ユーザが進行中の会話を中断する必要があることが多い。視線カメラは、場合によってはユーザがリモコンを持ち運ばずに済ませることができる一方、視線を必要とし、強固でかつ一貫したジェスチャ認識を提供できない可能性もある。これらは、シームレスかつ直観的な制御を提供できないコントローラの多くの例のうちのほんの３つである。
【００１１】
[0010]  これに対して、キッチンに立っているユーザが、リビングルームにあるテレビを一時停止し、夕食が熱くなり過ぎているため電子レンジをオフにし、家の温度を上げたい場合を考えてみる。鉢や鍋がいくつか掛かっていて、電子レンジからユーザの手が遮断されており、サーモスタットおよびテレビは、別の部屋内にあると仮定する。本明細書で説明する技術によって、これらのデバイスの２つが別の部屋にあり、３つめが様々な物体によって覆い隠されていても、ユーザは、これらのデバイス３つ全てを制御することが可能となる。これらのうち、ユーザの見通し内にあるものはないが、ユーザは、ジェスチャを行って、これら３つの異なるデバイスのそれぞれをシームレスかつ直観的に制御することができる。
【００１２】
[0011]  これは、見通し外レーダ型ジェスチャ認識が実行可能なほんの１つの方法である。本明細書は、ここで、環境の例に移り、その後、見通し外ジェスチャ認識システム、方法の例、およびコンピューティングシステムの例について説明する。
【００１３】
環境の例
[0012]  図１は、見通し外レーダ型ジェスチャ認識を可能にする技術を実行することが可能な、例としての環境１００の図である。環境１００は、部屋１０２、スマートデバイス１０４、およびユーザ１０６を含む。部屋１０２はまた、障害物１０８、壁１１０、床１１２（四角で示されている）、および天井１１４（上から下に見て透過的に丸で示されている）を含む。これらについて、以下でより詳細に説明する。部屋１０２は、下記のように、一方が直接レーダフィールドを有し、もう一方が反射レーダフィールドを有することを除いて同一の、２つの図（１０２−１および１０２−２）に示されている。
【００１４】
[0013]  スマートデバイス１０４は、直接レーダフィールド１１８を提供する、見通し外ジェスチャ認識システム１１６（ＮＬＯＳシステム１１６）を含む。直接レーダフィールド１１８は、部屋１０２のいくつかの部分、ここではボリューム１２０に対する見通しがない。第１のボリューム１２０−１は、障害物１０８の１つであるソファ１０８−１のために、ＮＬＯＳシステム１１６に対する見通しがない。第２のボリューム１２０−２は、障害物１０８の別の１つであるプランタボックス１０８−２のために、ＮＬＯＳシステム１１６に対する見通しがない。
【００１５】
[0014]  ＮＬＯＳ認識システム１１６はまた、直接の見通しが得られないボリューム１２０のうちのいくつかまたは全ての中で、ジェスチャの認識を可能にするために有効な、反射レーダフィールド１２２を提供することができる。この反射レーダフィールド１２２は、レーダ伝送線１２４を通じて提供されて示されているが、伝送線の追加説明は、本明細書の他の場所で行われる。視覚的に明確にするために、レーダフィールド１１８および１２２は、別々に示されているが、両方のレーダフィールドを一緒に使用することも可能である。
【００１６】
[0015]  図１には示していないが、ＮＬＯＳシステム１１６は、貫通レーダフィールドも提供することができる。このフィールドは、ウール、綿、ナイロン、または皮などの様々な素材を貫通するが、人体組織から反射するように構成され、それによって、ＮＬＯＳシステム１１６から、部分的にもしくは完全に見通し内にないか、または見えないジェスチャの認識がさらに可能となる。
【００１７】
[0016]  より詳細には、スマートデバイス１０４が示されている図２を考えてみる。スマートデバイス１０４は、１つまたは複数のコンピュータプロセッサ２０２と、コンピュータ可読媒体２０４（例えば、メモリ媒体および記憶媒体）と、を含む。コンピュータ可読媒体２０４上のコンピュータ可読命令として実現されているアプリケーションおよび／またはオペレーティングシステム（不図示）は、プロセッサ２０２によって実行されて、本明細書で説明される機能のいくつかを提供することができる。コンピュータ可読媒体２０４はまた、フィールドマネージャ２０６（以下で説明する）を含む。
【００１８】
[0017]  スマートデバイス１０４はまた、有線、無線、または光ネットワークを介してデータを通信するためのネットワークインターフェース２０８を含んでもよい。限定ではなく例として、ネットワークインターフェース２０８は、ローカルエリアネットワーク（LAN）、無線ローカルエリアネットワーク（WLAN）、パーソナルエリアネットワーク（PAN）、広域エリアネットワーク（WAN）、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、メッシュネットワークなどを介して、データを通信してもよい。これは必須ではないが、スマートデバイス１０４は、ディスプレイ２１０も含んでもよい。
【００１９】
[0018]  スマートデバイス１０４はまた、上述のように、ＮＬＯＳシステム１１６を含むか、またはアクセスすることができる。ＮＬＯＳシステム１１６は、ジェスチャを感知するためのレーダフィールドを提供するように構成される。これを可能にするために、ＮＬＯＳシステム１１６は、マイクロ波無線素子２１２、アンテナ素子２１４、および信号プロセッサ２１６を含む。概して、マイクロ波無線素子２１２は、上述のように、直接レーダフィールドおよび反射レーダフィールドを有するレーダフィールドを提供するように構成される。貫通レーダフィールドも含まれてもよい。本明細書に示す例では、概して、デバイス毎に１つのＮＬＯＳシステム１１６が示されているが、複数使用されてもよく、それによって、ボリュームの適用範囲（例えば、部屋１０２）、ならびにジェスチャの数、複雑さ、正確性、解像度および強固な認識が向上する。
【００２０】
[0019]  マイクロ波無線素子２１２は、連続変調放射線、超広帯域放射線、またはサブミリ周波数放射線の１つまたは複数のセットを放射するように構成されることができる。マイクロ波無線素子２１２は、場合によっては放射線をビームに形成するように構成される。ビームは、どのビームが遮られているか、およびしたがって、レーダフィールド内のインタラクション（例えば、手による）の位置を、アンテナ素子２１４および信号プロセッサ２１６が判断する助けとなる。より詳細には、マイクロ波無線素子２１２は、５７ＧＨｚ〜６３ＧＨｚの範囲はもちろん、１ＧＨｚ〜３００ＧＨｚの範囲でマイクロ波放射線を放射して、レーダフィールドを提供するように構成されることができる。この範囲は、２つ以上の目標物の位置を約２〜約２５ミリメートルの解像度まで追跡するなど、アンテナ素子２１４のインタラクションを感知する能力に影響を及ぼす。マイクロ波無線素子２１２は、ＮＬＯＳシステム１１６の他の要素とともに、比較的早い更新レートを有するように構成されることができ、その更新レートがインタラクションの解像度の助けとなり得る。特定の周波数を選択することによって、ＮＬＯＳシステム１１６は、見通し内ジェスチャから反射させるための直接レーダフィールド、まず何らかの物体から反射させ、次いで見通し外ジェスチャから反射させるための反射レーダフィールド、および／または衣類もしくは類似の物質を貫通するが人体組織から反射させるための貫通レーダフィールドを提供するように動作することができる。
【００２１】
[0020]  アンテナ素子２１４は、レーダフィールドの反射を受け、またはレーダフィールド内のインタラクションを感知するように構成される。信号プロセッサ２１６は、感知されたインタラクションからジェスチャを判断するために使用できるジェスチャデータを提供するのに十分な、レーダフィールド内の反射または感知されたインタラクションを処理するように構成される。アンテナ素子２１４は、放射線センサアレイなどの１つまたは多数のセンサを含むことができる。アレイ内の数は、所望の解像度、およびレーダフィールドが直接、反射または貫通のいずれであるかに基づく。代替的または追加的に、アンテナ素子２１４は、放射線センサおよび／または信号プロセッサ２１６それぞれと連結された、指向性またはそれ以外のアンテナアレイなどの１つまたは多数のアンテナを含んでもよい。
【００２２】
[0021]  さらに、アンテナ素子２１４または信号プロセッサ２１６は、直接のレーダ伝送からのレーダフィールド内のインタラクション、物質を通したレーダ伝送からのレーダフィールド内のインタラクション、または反射後のレーダ伝送からのレーダフィールド内のインタラクションを区別するように構成されることができる。よって、ＮＬＯＳシステム１１６を有するメディアプレイヤーは、ユーザの手から直接反射したレーダと、まず天井（例えば、塗装した、石膏乾式天井）から跳ね返り、次いでユーザの手から反射したレーダとを区別してもよい。
【００２３】
[0022]  マイクロ波無線素子２１２によって提供されるレーダフィールドは、１つまたは複数の３次元（3D）ボリューム、平面、または表面（例えば、ユーザの手に適用した表面）を含むことができる。これらのそれぞれの場合に、アンテナ素子２１４は、１つまたは複数の目標物（例えば、両手、片手または両手の指など）のインタラクションを感知するように構成される。信号プロセッサ２１６は、ジェスチャを３次元で判断するために使用できるジェスチャデータを提供するのに十分な、感知されたインタラクションを処理するように構成される。
【００２４】
[0023]  図１の直接レーダフィールド１１８および反射レーダフィールド１２４などの提供されたレーダフィールドで、ユーザは、フィールドを遮る手やデバイス（例えば、スタイラス）を用いて、複雑な、または単純なジェスチャを行うことができる。ジェスチャの例には、スワイプ、ピンチインおよびピンチアウト、タップなど、現在のタッチ感知式ディスプレイで使用可能な多くのジェスチャが含まれる。複雑な、または単純であるが３次元的な他のジェスチャも可能であり、例には、多くの手話法のジェスチャ、例えば、アメリカ手話法（ASL）および他の世界中の手話法のジェスチャが含まれる。これらのうちのいくつかは、ＡＳＬで「はい」を意味する拳を上下させること、「いいえ」を意味する、開いた人差し指と中指を動かして開いた親指につなげること、「前進」を意味する、平手を一段上に動かすこと、「午後」を意味する、斜めにした平手を上下に動かすこと、「タクシー」を意味する、握った指と開いた親指を動かして開いた指と開いた親指にすること、「上へ」を意味する、人差し指をほぼ垂直方向に上げること、などを含む。見通し外のジェスチャを通じて、メディアプレイヤーが演奏している曲を別の曲へスキップするための「前進」のジェスチャなど、これらは、特定のデバイスまたはアプリケーションにマッピング可能な、多くのジェスチャのうちのほんの少しである。
【００２５】
[0024]  上述のように、ＮＬＯＳシステム１１６は、いくつかの物体および物質を貫通し、その後人体組織に反射させることが可能な、貫通レーダフィールドを提供することができる。これは、図３に示されており、図３は、手３０２の表面３０６に接触している貫通レーダフィールド３０４を有する手３０２を示している。この貫通レーダフィールド３０４は、椅子３０８を貫通し、その後、表面３０６から反射され、ＮＬＯＳシステム１１６のアンテナ素子２１４に戻って受信される。マイクロ波無線素子２１２（不図示）は、貫通レーダフィールド３０４を提供し、一方、アンテナ素子２１４は、椅子３０８を貫通し、その後反射する、手３０２の表面３０６上のインタラクションによって起こる反射を受信するように構成される。その時点で、信号プロセッサ２１６は、ジェスチャを判断するために使用できるジェスチャデータを提供するのに十分な、受信した反射を処理するように構成される。
【００２６】
[0025]  ジェスチャは、スマートデバイス１０４以外のデバイスなどの、様々なスマートデバイスに関連付けられることができる。そのために、ジェスチャは、これらのデバイスのいずれかに関連付けられたアプリケーションに対する制御入力に関連付けられた、予め構成済みの制御ジェスチャにマッピングすることができる。したがって、制御の対象とされているのがどのデバイスまたはアプリケーションかを最初に選択するのではなく、ジェスチャが、ジェスチャそれ自体に基づいて、アプリケーションおよび／またはデバイスを制御するように設定されることができる。例えば、多くの複雑かつ一意なジェスチャが、ＮＬＯＳシステム１１６によって認識されることができ、それによって、複数のアプリケーションに対してであっても、正確な、および／または単独のジェスチャ制御が可能となる。これらの多くのジェスチャを様々な異なるデバイスおよびアプリケーションにマッピングすることによって、どのデバイスが制御の対象とされているかを明示的に選択（通常はジェスチャを通じて）して、または選択することなく、制御することが可能となる。
【００２７】
[0026]  スマートデバイス１０４は、様々な非限定的なデバイスの例、スマートフォン１０４−１、冷蔵庫１０４−２、電子レンジ１０４−３、ラップトップ１０４−４、タブレット１０４−５、およびテレビ１０４−６で示されるが、温度調節デバイス（例えば、サーモスタットまたはシーリングファン）、ウェアラブルデバイス、デスクトップコンピュータ、ネットブック、ｅリーダ、カメラ、自動車用システムなどの、他のデバイスも使用されてもよい。
【００２８】
[0027]  ＮＬＯＳシステム１１６が、スマートデバイス１０４と一体ではない場合などに、ＮＬＯＳシステム１１６はまた、ジェスチャデータを遠隔デバイスに送信するように構成される、送受信機２１８を含む。ジェスチャデータは、ジェスチャデータを使用してジェスチャを認識するのに十分な、受信デバイスによって使用可能なフォーマットで提供されることができる。
【００２９】
[0028]  ＮＬＯＳシステム１１６はまた、１つまたは複数のシステムプロセッサ２２０と、システム媒体２２２（例えば、１つまたは複数のコンピュータ可読記憶媒体）と、を含んでもよい。システム媒体２２２は、システムマネージャ２２４を含み、システムマネージャ２２４は、信号プロセッサ２１６からのジェスチャデータに基づいて、ジェスチャを判断することと、遠隔スマートデバイスに関連付けられたアプリケーションに対する、制御入力に関連付けられた予め構成済みの制御ジェスチャに、判断されたジェスチャをマッピングすることと、送受信機２１８に、アプリケーションまたはデバイスの制御を可能にするために有効な遠隔スマートデバイスに制御入力を送信させることと、を含む様々な動作を実行することができる。これは、ＮＬＯＳシステム１１６を通じた上述の制御を可能にする方法のうちのほんの１つである。ＮＬＯＳシステム１１６は、スマートデバイス１０４と一体に示されているが、そうではなく、コンピューティング機能をほとんどまたは全く有していないデバイスの一部であるが、それでもなお、認識すべき、および／または制御入力にマッピングすべきジェスチャデータを提供することができるということにも留意されたい。ＮＬＯＳシステム１１６、システムマネージャ２２４、およびフィールドマネージャ２０６の動作は、以下の方法４００および６００の一部として、より詳細に提供される。
【００３０】
[0029]  これらの、および他の機能および構成について、図１〜３の要素が作用および相互作用する方法と同様に、以下でより詳細に説明する。これらの要素を、さらに分割、結合などしてもよい。図１の環境１００ならびに図２および図３の詳細な図示は、説明した技術を利用可能な、多くの考えられる環境およびデバイスのうちのいくつかを示している。
【００３１】
方法の例
[0030]  図４および図６は、方法４００および方法６００を示す。方法４００は、反射レーダフィールドを使用して見通し外レーダ型ジェスチャ認識を可能にし、方法６００と別々に、または方法６００の全体もしくは一部と統合されて実行されることができる。方法６００は、見通し外レーダ型ジェスチャ認識を可能にし、そこでは、１つのレーダシステムに対して直接の見通しが存在しないが、別のレーダシステムを通じてジェスチャが認識され、次いで、直接または間接のレーダフィールドを通じて別のレーダシステムに渡される。
【００３２】
[0031]  これらの方法は、動作（または、行為）のセットとして示されるが、本明細書で示される動作の順序または組み合わせに必ずしも限定されない。さらに、１つまたは複数の動作のうちのいずれかは、繰り返され、結合され、再構成され、またはリンクされて、幅広い追加の方法および／または代替の方法を提供してもよい。以下の説明の一部では、図１の環境１００、ならびに図２、３、５および７に詳細に示される要素および例が参照されることがあり、それらに対する参照は、単に例示のために行われる。本技術は、１つのデバイス上で動作する１つの要素または複数の要素による実行に限定されない。
【００３３】
[0032]  ４０２で、レーダシステムに対する見通しがない部屋のボリュームが判断される。本技術は、そのようなボリュームがあることを、動く要素を追跡すること、カメラ、跳ね返った（例えば、反射した）レーダ伝送などを通じて、様々な方法で判断することができる。
【００３４】
[0033]  例えば、フィールドマネージャ２０６は、レーダ伝送で、部屋の中の人または動物の動きを追跡してもよい。人の一部または動物が動いている間、フィールドマネージャ２０６が、人または動物からの反射を受信しない場合、フィールドマネージャ２０６は、人もしくは動物の投射経路、または、もはや追跡できない人もしくは動物の一部（例えば、ソファの後ろを歩いている人の足）に基づいて、部屋内のボリュームが、直接の見通しが得られない場所にあると判断してもよい。
【００３５】
[0034]  フィールドマネージャ２０６は、レーダまたはそれ以外を使用して、カメラまたは他の画像センサも使用してもよく、または代わりにそれらを使用してもよい。フィールドマネージャ２０６は、カメラを使用して画像をキャプチャし、ＮＬＯＳシステム１１６の視点からの部屋の画像を提供する。次いで、フィールドマネージャ２０６は、部屋の寸法（例えば、幅４メートル、奥行７メートル、高さ３メートル）を受信し、または（例えば、ソナーもしくはレーダ反射を通じて）判断する。これらの部屋の寸法および画像で、撮像されていないが存在する床、壁または天井の領域が判断され得る。このデータで、フィールドマネージャ２０６は、次いで、ＮＬＯＳシステム１１６に対する見通しがない、部屋のボリュームを判断し得る。
【００３６】
[0035]  さらに、フィールドマネージャ２０６は、障害物に基づいて、見通し外のボリュームを判断してもよい。したがって、部屋内の物体からの反射を受ける直接レーダフィールドを提供すると、フィールドマネージャ２０６は、障害物の後ろの領域がおそらく潜在的にジェスチャが行われる可能性のあるボリュームであり、いずれにせよ、これらが部屋の一部である可能性が高く、見通しがないと推測する。この判断の一部として、障害物は、部屋の床、壁または天井以外の物体である。物体には、レーダを反射するものもあれば、レーダが通過し得るものもある。このため、レーダフィールドによって貫通する物体の部分によって、ボリュームの大きさは減少され得る。
【００３７】
[0036]  ４０４で、反射レーダフィールドをボリュームの少なくとも一部の中に提供するのに十分な伝送経路のセットが、レーダシステムから部屋内にレーダ伝送を行うことによって、判断される。上記に一部記載されたように、見通しが得られないボリュームを判断することは、レーダの反射を含んでもよく、その場合に、いくつかの伝送経路が認識され得る。しかしながら、多くの場合、ボリュームは認識されるが、反射レーダフィールドをもたらす伝送経路はまだ認識されていない。
【００３８】
[0037]  これらの伝送経路を判断するために、フィールドマネージャ２０６は、レーダ伝送を繰り返し行い、行われたレーダ伝送からの反射を受信することができる。これらのレーダ伝送のいくつかは、判断されたボリュームを通過しない場合があり、したがって、必要ない。しかしながら、他のいくつかは、判断されたボリュームのうちの１つを通過し、次いで、そのボリュームと互いに関連付けられる。さらなる場合に、人または動物が、判断されたボリュームを通過し、レーダ伝送が繰り返し行われ、次いで、人または動物から反射されると、そのボリュームに互いに関連付けられる。そうすることで、様々な種類および周波数のレーダ伝送が、狭ビーム伝送および反射を含み使用可能である。
【００３９】
[0038]  例として、図１の部屋１０２が示されている図５を考えてみる。部屋１０２は、スマートデバイス１０４、ユーザ１０６、障害物１０８、壁１１０、床１１２、天井１１４、ＮＬＯＳシステム１１６、ならびにボリューム１２０−１および１２０−２を含む。２つの伝送経路、壁および物体間反射経路５０２と、天井および床間経路５０４とが示されている。これらは、反射レーダフィールド１２２（図１に示され、図５では、明確化のために省略した）を提供することが可能な、多くの異なる伝送経路のうちのほんの２つを示している。
【００４０】
[0039]  壁および物体間反射経路５０２は、８つの部分を含み、それぞれが、壁もしくは物体から反射され、または、壁もしくは物体からの反射から生じる。したがって、経路５０２は、ＮＬＯＳシステム１１６から壁１１０の１つへ進み、次いで、別の壁１１０から離れて再び進み、次いでソファ１０８−１の後ろから離れて進み、別の壁１１０に戻り、ソファ１０８−１へ、別の壁１１０へと進み、次いでプランタボックス１０８−２を離れてＮＬＯＳシステム１１６へ戻る。伝送経路には反射が戻ってこないものもあり、したがって、それなしで済ませることができる。一方、ＮＬＯＳシステム１１６の見通し内にあるボリューム内のみを通過する伝送経路もあり、これもまた、なしで済ませることができる。経路５０４は、ＮＬＯＳシステム１１６から天井１１４（丸の位置で反射されることが示される）に進み、次いで、壁１１０の１つに進み、床１１２（四角の位置で反射されることが示される）を離れて進み、天井１１４を離れて進み、次いで、ＮＬＯＳシステム１１６に戻る。これら２つの経路５０２、５０４は、ＮＬＯＳシステム１１６およびフィールドマネージャ２０６が、ＮＬＯＳシステム１１６への見通しが得られないボリューム内に反射レーダフィールド（例えば、図１の１２２）を提供し得る、伝送経路のほんの２つの例を提供している。上述のように、この反射レーダフィールドは、ボリューム１２０のうちのいくつかまたは全ての中で行われたジェスチャの排除を可能にする。
【００４１】
[0040]  ４０６で、レーダフィールドは、部屋内の１つまたは複数のボリューム内で提供される。レーダフィールドは、反射レーダフィールドを少なくとも含む。場合によって、レーダフィールドは、本明細書で述べたように、直接レーダフィールドまたは貫通レーダフィールドも含む。そうすることによって、ジェスチャを認識するのに使用可能なレーダフィールドが、レーダシステムからの直接の見通しがないジェスチャに提供されることができる。
【００４２】
[0041]  ４０８で、部屋内のレーダフィールド内で行われたジェスチャインタラクションの反射が、受信される。この反射によって、行われているジェスチャを判断するために後で使用できる、ジェスチャインタラクションに関するデータをキャプチャすることが可能となる。この反射は、上述のように、反射レーダフィールド、直接レーダフィールド、または貫通レーダフィールドの中にあることが可能である。
【００４３】
[0042]  ４１０で、ジェスチャインタラクションの反射に関連する、キャプチャされたデータに基づいて、ジェスチャが判断される。判断されたジェスチャは、上述の多くのジェスチャのうちの１つであることができ、デバイスまたはアプリケーション、およびテレビセットを消音するなどの制御コマンドに、それらを直接マッピングすることを含む。
【００４４】
[0043]  ４１２で、判断されたジェスチャは、デバイスまたはアプリケーションを制御するのに有効なデバイスまたはアプリケーションに提供される。この提供の一部として、フィールドマネージャ２０６は、様々なデバイスおよびアプリケーションへのジェスチャのマッピングを分析することなどによって、どのデバイスまたはアプリケーションに制御を送るかを判断してもよい。
【００４５】
[0044]  図６は、方法６００を示している。方法６００は、ユーザに対する見通しのないスマートデバイスを制御し、またはそのスマートデバイスと通信するのに有効な見通し外レーダ型ジェスチャ認識を可能にする。
【００４６】
[0045]  ６０２で、上述のように、直接レーダフィールド、反射レーダフィールド、または貫通レーダフィールドのうちの１つまたは複数を有するフィールドなどの、レーダフィールドが提供される。このレーダフィールドは、ジェスチャを行っているユーザに対する見通しを有するか、または有しないレーダシステムによって提供されることができる。
【００４７】
[0046]  ６０４で、レーダフィールド内でのインタラクションからの反射が、レーダシステムを通じて感知される。このレーダシステムは、見通しを有すると仮定され、または見通しを有しないことを補償することができ、ユーザからの反射を受信するのに有効である。しかしながら、レーダシステムを有する可能性がある、または可能性がない別のスマートデバイスは、ユーザに対する見通しがなく、かつ、補償することができない。したがって、双方のデバイスは、ユーザに対する見通しを有していない可能性があるが、これらのデバイスのうち１つは、貫通レーダフィールドまたは反射レーダフィールドを介するなどして、反射を感知することができる。
【００４８】
[0047]  例として、家の１階７０２を図示した図７を考えてみる。この家は、４つの部屋７０４、メディアルーム７０４−１、ピアノルーム７０４−２、リビングルーム７０４−３、およびキッチン／ダイニングルーム７０４−４を含む。図示するように、５つのレーダシステム７０６、メディアプレイヤー７０８のレーダシステム７０６−１、サーモスタット７１０のレーダシステム７０６−２、テレビ７１２のレーダシステム７０６−３、オーブン７１４のレーダシステム７０６−４、および電子レンジ７１６のレーダシステム７０６−５がある。ユーザ７１８が、キッチン７０４−４にいる間にテレビ７１２を制御したいときなど、制御の対象とされるスマートデバイスに対する見通しのないジェスチャ認識が、本技術によって可能となる複数のシナリオが、図７に示されている。そのために、フィールドマネージャ２０６は、ユーザ７１８と同じ部屋にないレーダシステム７０６のうちの１つのＮＬＯＳシステム１１６において、ユーザ７１８からの反射を受信する。
【００４９】
[0048]  特定の例として、ユーザ７１８が、キッチン／ダイニングルーム７０４−４にいて、ピアノルーム７０４−２にあるサーモスタット７１０を制御して家の温度を下げたいと仮定する。そのために、ユーザ７１８は、キッチン／ダイニングルーム７０４−４に立っていながら、温度を下げるジェスチャを行う。動作６０４で、オーブン７１４のレーダシステム７０６−４で動作しているＮＬＯＳシステム１１６がそれを受信する。レーダフィールド７２０内でのユーザ７１８の反射が、ＮＬＯＳシステム１１６のアンテナで受信されることによって、ジェスチャが受信される。
【００５０】
[0049]  ６０６で、受信された反射に基づいて、ジェスチャが認識される。これは、反射を受信するレーダシステムに関連付けられたスマートデバイスで実行されることができる。または、反射についてのジェスチャデータが、制御の対象とされるスマートデバイスで受信されることができる。したがって、フィールドマネージャ２０６またはシステムマネージャ２２４は、反射を受信し、反射についてのジェスチャデータを、家またはオフィス内の他のレーダシステムおよび／またはデバイス全てなどの、他のスマートデバイスに渡してもよい。そのような場合、スマートデバイスは、そのデバイスを制御することを選択するか、またはスマートデバイスに関連するジェスチャを受信する、前のジェスチャを受信したなどの、ジェスチャデータから判断されるジェスチャに基づいて、制御がそれらを対象とするものかどうかを判断することができる。
【００５１】
[0050]  ６０８で、ジェスチャは、見通し外のスマートデバイスに関連する（または関連しない）と判断される。概して、フィールドマネージャ２０６は、見通し外スマートデバイスと通信を確立することを意図する予め構成済みのジェスチャに、ジェスチャをマッピングすることによって、ジェスチャが見通し外スマートデバイスに関連すると判断してもよい。ある場合には、この予め構成済みのジェスチャは、スマートデバイスにおいて判断される将来のジェスチャが、見通し外スマートデバイスを制御できるようにするのに有効な、見通し外スマートデバイスとの通信を確立する。その他の場合には、フィールドマネージャ２０６は、ジェスチャを一意のジェスチャにマッピングすることによって、ジェスチャが見通し外のスマートデバイスに関連付けられることを判断してもよい。この一意のジェスチャは、図７の１階７０２にあるスマートデバイスなどの、あるグループ内のスマートデバイスのセットのそれぞれに一意にマッピングされる、一意なジェスチャのセットのものであってもよい。
【００５２】
[0051]  図７の進行中の例を続けると、オーブン７１４のレーダシステム７０６−４のＮＬＯＳシステム１１６で動作するフィールドマネージャ２０６が、ユーザ７１８によって行われるジェスチャを認識すると仮定する。このジェスチャは、次いで、サーモスタット７１０の制御を指示すると判断され得る。その後、別のジェスチャが認識され、次いでサーモスタット７１０の制御を意図することを示す、前のジェスチャに基づいて、サーモスタット７１０に関連すると判断される。例えば、上下に動かす閉じた手と出した親指を使った一意の複雑なジェスチャは、サーモスタット７１０に関連すると仮定する。ここでは、第２のジェスチャは、丸めた手を時計回りまたは反時計回りに動かす、一意でない大きなジェスチャであると仮定し、何かをそれぞれ上げるかまたは下げることを指示している。この第２のジェスチャは、サーモスタット７１０の制御を意図することを示す第１のジェスチャのすぐ後に受信されるため、方法６００のステップを繰り返すことによって認識され、次いで温度を上げるかまたは下げるのに有効なサーモスタット７１０に（動作６１０において）渡される。この繰り返しが、図６において破線矢印で示されている。
【００５３】
[0052]  同様に、第１のジェスチャが、メディアプレイヤー７０８の制御に関連する場合、上げることまたは下げることを指示する第２のジェスチャは、対象のスマートデバイスからの見通しが全くない、メディアプレイヤー７０８の音量を代わりに上げるかまたは下げるであろう。
【００５４】
[0053]  ６１０で、ジェスチャは、見通し外のスマートデバイスに渡される。したがって、ジェスチャは、１つのスマートデバイスから、ジェスチャが見通し外のスマートデバイスを制御するか、または見通し外のスマートデバイスとの通信を確立することを可能にするのに有効な別のスマートデバイスへ渡されることができる。
【００５５】
[0054]  上記説明では、見通し外レーダ型ジェスチャ認識に関する方法について説明した。これらの方法の態様は、ハードウェア（例えば、固定論理回路）、ファームウェア、ソフトウェア、手動の処理、またはそれらの任意の組み合わせで実装されてもよい。これらの技術は、図１〜３、５、７および８（コンピューティングシステム８００については、図８を参照して以下で説明する）に示す要素のうちの１つまたは複数において実現されてもよく、要素は、さらに分割、結合などされてもよい。したがって、これらの図面は、説明した技術を利用することが可能な、多くの考えられるシステムまたは装置のうちのいくつかを示している。これらの図面の要素は、概して、ソフトウェア、ファームウェア、ハードウェア、デバイスもしくはネットワーク全体、または、それらの組み合わせを表している。
【００５６】
コンピューティングシステムの例
[0055]  図８は、任意の種類のクライアント、サーバ、および／または、先の図１〜７を参照して説明した見通し外レーダ型ジェスチャ認識を実装するためのスマートデバイスとして実装されることが可能な、コンピューティングシステム８００の例の、様々な構成要素を示す。実施形態では、コンピューティングシステム８００は、有線および／もしくは無線ウェアラブルデバイス、システムオンチップ（SoC）のうちの１つもしくは組み合わせとして、ならびに／または、別の種類のデバイスもしくはその一部として、実装され得る。デバイスが、ユーザ、ソフトウェア、ファームウェア、および／またはデバイスの組み合わせを含む論理デバイスを表すように、コンピューティングシステム８００は、ユーザ（例えば、人）および／またはデバイスを操作する要素に関連付けられてもよい。
【００５７】
[0056]  コンピューティングシステム８００は、デバイスデータ８０４（例えば、受信済みのデータ、受信中のデータ、ブロードキャストが予定されたデータ、データのデータパケットなど）の有線通信および／または無線通信を可能にする、通信デバイス８０２を含む。デバイスデータ８０４または他のデバイスコンテンツは、デバイスの構成設定、デバイス上に記憶されているメディアコンテンツ、および／またはデバイスのユーザに関連付けられた情報を含むことができる。コンピューティングシステム８００上に記憶されたメディアコンテンツは、任意の種類の音声、ビデオおよび／または画像データを含むことができる。コンピューティングシステム８００は、１つまたは複数のデータ入力８０６を含む。データ入力８０６を介して、人間の発話、レーダフィールドを伴うインタラクション、ユーザが選択可能な入力（明示的または暗示的な）、メッセージ、音楽、テレビメディアコンテンツ、記録されたビデオコンテンツ、ならびに、任意のコンテンツソースおよび／またはデータソースから受信した任意の他の種類の音声、ビデオ、および／または画像データなどの、任意の種類のデータ、メディアコンテンツおよび／または入力が、受信され得る。
【００５８】
[0057]  コンピューティングシステム８００はまた、通信インターフェース８０８を含む。通信インターフェース８０８は、シリアルインターフェースおよび／またはパラレルインターフェース、無線インターフェース、任意の種類のネットワークインターフェース、モデムのうちの任意の１つまたは複数として、ならびに任意の他の種類の通信インターフェースとして、実装され得る。通信インターフェース８０８は、コンピューティングシステム８００と通信ネットワークとの間の接続および／または通信リンクを提供する。他の電子デバイス、コンピューティングデバイス、および通信デバイスは、通信ネットワークによって、コンピューティングシステム８００とデータを通信する。
【００５９】
[0058]  コンピューティングシステム８００は、１つまたは複数のプロセッサ８１０（例えば、マイクロプロセッサ、コントローラなどのうちのいずれか）を含む。プロセッサ８１０は、様々なコンピュータ実行可能な命令を処理して、コンピューティングシステム８００の動作を制御し、見通し外レーダ型ジェスチャ認識のための技術、または見通し外レーダ型ジェスチャ認識を実現することができる技術を可能にする。代替的または追加的に、コンピューティングシステム８００は、ハードウェア、ファームウェア、または概して８１２で識別される処理回路および制御回路に接続して実装される固定論理回路のうちの、任意の１つまたは組み合わせで実装され得る。図示していないが、コンピューティングシステム８００は、デバイス内の様々な構成要素を連結する、システムバスまたはデータ転送システムを含むことができる。システムバスは、メモリバスもしくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／または、様々なバスアーキテクチャのいずれかを利用するプロセッサもしくはローカルバスなどの、様々なバス構造のうちの任意の１つまたは組み合わせを含むことができる。
【００６０】
[0059]  コンピューティングシステム８００はまた、永続的および／または非一時的なデータ記憶を可能にする（即ち、単なる信号伝送とは対照的な）１つまたは複数のメモリデバイスなどのコンピュータ可読媒体８１４を含む。メモリデバイスの例には、ランダムアクセスメモリ（RAM）、不揮発性メモリ（例えば、読み取り専用メモリ（ROM）、フラッシュメモリ、EPROM、EEPROMなどのうちのいずれか１つまたは複数）、およびディスク記憶デバイスが含まれる。ディスク記憶デバイスは、ハードディスクドライブ、記録可能および／または書き換え可能なコンパクトディスク（CD）、任意の種類のデジタル多用途ディスク（DVD）などの任意の種類の磁気または光記憶デバイスとして実装されてもよい。コンピューティングシステム８００は、大容量記憶媒体デバイス８１６も含むことができる。
【００６１】
[0060]  コンピュータ可読媒体８１４は、デバイスデータ８０４と同様に、様々なデバイスアプリケーション８１８、ならびに任意の他の種類の情報および／またはコンピューティングシステム８００の動作態様に関するデータを記憶するためのデータ記憶メカニズムを提供する。例えば、オペレーティングシステム８２０は、コンピュータ可読媒体８１４を有するコンピュータアプリケーションとして維持され、プロセッサ８１０上で実行されることができる。デバイスアプリケーション８１８は、任意の形式の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイス固有のコード、特定のデバイス用のハードウェアアブストラクションレイヤなどのデバイスマネージャを含んでもよい。
【００６２】
[0061]  デバイスアプリケーション８１８はまた、見通し外レーダ型ジェスチャ認識を実装するための、任意のシステム構成要素、エンジン、またはマネージャを含む。この例では、デバイスアプリケーション８１８は、フィールドマネージャ２０６およびシステムマネージャ２２４を含む。
【００６３】
結論
[0062]  見通し外レーダ型ジェスチャ認識を用いる技術、および見通し外レーダ型ジェスチャ認識を可能にする装置の実施形態が、特徴および／または方法に特化した言葉で説明されてきたが、添付の特許請求の範囲の主題は、説明された特定の特徴または方法に必ずしも限定されないと理解されるべきである。むしろ、特定の特徴および方法は、見通し外レーダ型ジェスチャ認識を可能にする実装例として開示されている。
【図１】
0006291087.tif 000002
【図２】
0006291087.tif 000003
【図３】
0006291087.tif 000004
【図４】
0006291087.tif 000005
【図５】
0006291087.tif 000006
【図６】
0006291087.tif 000007
【図７】
0006291087.tif 000008
【図８】
0006291087.tif 000009