(57)【要約】  超音波ビームフォーミングを使用したジェスチャ検出のための方法、システム、コンピュータ可読媒体、および装置が提示される。いくつかの実施形態では、超音波ビームフォーミングを利用したジェスチャ検出のための方法は、面に平行に超音波を投射するステップを含み、超音波は超音波ビームフォーミングを利用して投射される。本方法は、面と接触した物体からの超音波エコーを受信するステップをさらに含む。本方法は、受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するステップをさらに含む。
2017501464.tif 000002
【特許請求の範囲】
【請求項１】
ジェスチャ検出のための方法であって、
超音波を面に平行に投射するステップであって、前記超音波は超音波ビームフォーミングを利用して投射される、投射するステップと、
前記面と接触した物体からの超音波エコーを受信するステップと、
前記受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するステップと
を含む、方法。
【請求項２】
前記解釈されたジェスチャをデジタル画像に変換するステップをさらに含み、前記デジタル画像は前記解釈されたジェスチャを表現したものである、請求項1に記載の方法。
【請求項３】
前記解釈するステップに少なくとも部分的に基づいて命令を実行するステップをさらに含む、請求項1に記載の方法。
【請求項４】
前記物体がユーザ四肢を含む、請求項1に記載の方法。
【請求項５】
前記投射するステップは、前記面上に2Dジェスチャスキャニング領域を生成するステップをさらに含む、請求項1に記載の方法。
【請求項６】
前記2Dジェスチャスキャニング領域は、前記投射された超音波の周波数または強度に少なくとも部分的に基づいて定義される、請求項5に記載の方法。
【請求項７】
前記投射するステップは、5mm以下の距離において前記面に平行に前記超音波を投射するステップをさらに含む、請求項1に記載の方法。
【請求項８】
ジェスチャ検出のための装置であって、
超音波を面に平行に投射することであって、前記超音波は超音波ビームフォーミングを利用して投射される、投射することと、
前記面と接触した物体からの超音波エコーを受信することと
を行うように構成される超音波トランスデューサアレイと、
前記受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するように構成される、前記超音波トランスデューサに結合されたプロセッサと
を含む、装置。
【請求項９】
前記プロセッサが、前記解釈されたジェスチャをデジタル画像に変換するようにさらに構成され、前記デジタル画像は前記解釈されたジェスチャを表現したものである、請求項8に記載の装置。
【請求項１０】
前記プロセッサが、前記解釈することに少なくとも部分的に基づいて命令を実行するようにさらに構成される、請求項8に記載の装置。
【請求項１１】
前記物体がユーザ四肢を含む、請求項8に記載の装置。
【請求項１２】
前記投射することは、前記面上に2Dジェスチャスキャニング領域を生成することをさらに含む、請求項8に記載の装置。
【請求項１３】
前記2Dジェスチャスキャニング領域は、前記投射された超音波の周波数または強度に少なくとも部分的に基づいて定義される、請求項12に記載の装置。
【請求項１４】
前記投射することは、5mm以下の距離において前記面に平行に前記超音波を投射することをさらに含む、請求項8に記載の装置。
【請求項１５】
ジェスチャ検出のための装置であって、
超音波を面に平行に投射するための手段であって、前記超音波は超音波ビームフォーミングを利用して投射される、投射するための手段と、
前記面と接触した物体からの超音波エコーを受信するための手段と、
前記受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するための手段と
を含む、装置。
【請求項１６】
前記解釈されたジェスチャをデジタル画像に変換するための手段をさらに含み、前記デジタル画像は前記解釈されたジェスチャを表現したものである、請求項15に記載の装置。
【請求項１７】
前記解釈することに少なくとも部分的に基づいて命令を実行することをさらに含む、請求項15に記載の装置。
【請求項１８】
前記物体がユーザ四肢を含む、請求項15に記載の装置。
【請求項１９】
前記投射することは、前記面上に2Dジェスチャスキャニング領域を生成することをさらに含む、請求項15に記載の装置。
【請求項２０】
前記2Dジェスチャスキャニング領域は、前記投射された超音波の周波数または強度に少なくとも部分的に基づいて定義される、請求項19に記載の装置。
【請求項２１】
前記投射することは、5mm以下の距離において前記面に平行に前記超音波を投射することをさらに含む、請求項15に記載の装置。
【請求項２２】
プロセッサに、
超音波を面に平行に投射することであって、前記超音波は超音波ビームフォーミングを利用して投射される、投射することと、
前記面と接触した物体からの超音波エコーを受信することと、
前記受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈することと
を行わせるように構成されるプロセッサ可読命令を含む、プロセッサ可読非一時的記録媒体。
【請求項２３】
前記命令が、前記プロセッサに、前記解釈されたジェスチャをデジタル画像に変換させるようにさらに構成され、前記デジタル画像は前記解釈されたジェスチャを表現したものである、請求項22に記載のプロセッサ可読非一時的記録媒体。
【請求項２４】
前記命令が、前記プロセッサに、前記解釈することに少なくとも部分的に基づいて命令を実行させるようにさらに構成される、請求項22に記載のプロセッサ可読非一時的記録媒体。
【請求項２５】
前記物体がユーザ四肢を含む、請求項22に記載のプロセッサ可読非一時的記録媒体。
【請求項２６】
前記投射することは、前記面上に2Dジェスチャスキャニング領域を生成することをさらに含む、請求項22に記載のプロセッサ可読非一時的記録媒体。
【請求項２７】
前記2Dジェスチャスキャニング領域は、前記投射された超音波の周波数または強度に少なくとも部分的に基づいて定義される、請求項26に記載のプロセッサ可読非一時的記録媒体。
【請求項２８】
前記投射することは、5mm以下の距離において前記面に平行に前記超音波を投射することをさらに含む、請求項22に記載のプロセッサ可読非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の態様は、ジェスチャ検出に関する。より詳細には、本開示の態様は、超音波ビームフォーミングを使用したマルチタッチジェスチャ検出に関する。
【背景技術】
【０００２】
現代のタッチスクリーンデバイスは、1つまたは複数の指でスクリーンをタッチすることによって簡単なジェスチャまたはマルチタッチジェスチャを使用したユーザ制御を可能にする。いくつかのタッチスクリーンデバイスは、スタイラス、または通常のコーティング手袋もしくは特別にコーティングされた手袋などの物体を検出する場合もある。タッチスクリーンにより、表示されるものとユーザが直接対話することが可能になる。最近は、タッチスクリーン機能を含む場合があるディスプレイデバイスは、サイズが大きくなってきている。たとえば、平均的なテレビサイズは、40インチの対角線長に急速に近づいている。これらの比較的大きいディスプレイにおけるタッチスクリーン機能を含むコストは、非常に高いものとなる。加えて、大きいサイズのタッチスクリーンは、ユーザによる四肢(extremity)の動きの増加を必要とし、ユーザエクスペリエンスの低下につながる。現在の解決策は、従来のタッチスクリーン、赤外線(IR)先導ベースのタッチフレーム、およびデュアルIRカメラタッチの解決策の形態で存在する。しかしながら、これらの解決策のすべては、様々なタッチサイズに対して専用の製品を必要とする。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、簡単なジェスチャまたはマルチタッチジェスチャを使用して比較的大きいディスプレイデバイスを制御するためのコスト効果が高く使いやすい方法が必要である。
【課題を解決するための手段】
【０００４】
いくつかの実施形態は、マルチタッチジェスチャ認識のために面に沿ったビームフォーミングを介して超音波を出力することが可能なポータブルデバイスについて説明する。
【０００５】
いくつかの実施形態では、ジェスチャ検出のための方法は、面に平行に超音波を投射するステップを含み、超音波は超音波ビームフォーミングを利用して投射される。本方法は、面と接触した物体からの超音波エコーを受信するステップをさらに含む。本方法は、受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するステップも含む。
【０００６】
いくつかの実施形態では、本方法は、解釈されたジェスチャをデジタル画像に変換するステップをさらに含み、このデジタル画像は解釈されたジェスチャを表現したものである。
【０００７】
いくつかの実施形態では、本方法は、解釈するステップに少なくとも部分的に基づいて命令を実行するステップをさらに含む。
【０００８】
いくつかの実施形態では、物体は、ユーザ四肢を含む。
【０００９】
いくつかの実施形態では、投射するステップは、面上に2Dジェスチャスキャニング領域を生成することをさらに含む。
【００１０】
いくつかの実施形態では、2Dジェスチャスキャニング領域は、投射された超音波の周波数または強度に少なくとも部分的に基づいて定義される。
【００１１】
いくつかの実施形態では、投射するステップは、5mm以下の距離において面に平行に超音波を投射するステップをさらに含む。
【００１２】
いくつかの実施形態では、ジェスチャ検出のための装置は、面に平行に超音波を投射するように構成される超音波トランスデューサアレイを含み、超音波は超音波ビームフォーミングを利用して投射される。超音波トランスデューサはまた、面と接触した物体からの超音波エコーを受信するように構成される。本装置は、受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するように構成される超音波トランスデューサに結合されたプロセッサも含む。
【００１３】
いくつかの実施形態では、ジェスチャ検出のための装置は、面に平行に超音波を投射するための手段を含み、超音波は超音波ビームフォーミングを利用して投射される。本装置は、面と接触した物体からの超音波エコーを受信するための手段をさらに含む。本装置は、受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈するための手段も含む。
【００１４】
いくつかの実施形態では、プロセッサ可読媒体は、プロセッサに、面に平行に超音波を投射させるように構成されるプロセッサ可読命令を含み、超音波は超音波ビームフォーミングを利用して投射される。プロセッサ可読命令は、プロセッサに、面と接触した物体からの超音波エコーを受信させるようにさらに構成される。プロセッサ可読命令はまた、プロセッサに、受信された超音波エコーに少なくとも部分的に基づいてジェスチャを解釈させるように構成される。
【００１５】
本開示の態様が例として示される。添付の図面において、同様の参照番号は類似の要素を示す。
【図面の簡単な説明】
【００１６】
【図１】1つまたは複数の実施形態を含む場合がある、超音波ビームフォーミングデバイスの簡略ブロック図である。
【図２Ａ】いくつかの実施形態による、超音波ビームフォーミングデバイスに結合された外部システムを含むジェスチャ環境を示す図である。
【図２Ｂ】いくつかの実施形態に従って、ジェスチャ環境においてマルチタッチジェスチャを行うことを示す図である。
【図３】いくつかの実施形態による、超音波ビームフォーミングデバイスの一実施形態を示す図である。
【図４】いくつかの実施形態による、ホワイトボードに沿った超音波の投射を示す図である。
【図５】超音波ビームフォーミングを使用したマルチタッチジェスチャ検出のための例示的な動作を示す例示的なフローチャートである。
【図６】1つまたは複数の実施形態を実装する場合があるコンピューティングシステムの一例を示す図である。
【発明を実施するための形態】
【００１７】
次に、いくつかの例示的な実施形態について、本明細書の一部を形成する添付の図面に関連して説明する。本開示の1つまたは複数の態様を実装する場合がある特定の実施形態について以下で説明するが、本開示の範囲または添付の特許請求の範囲の趣旨から逸脱することなく、他の実施形態を使用する場合があり、様々な修正を行う場合がある。
【００１８】
本実施形態によれば、超音波ビームフォーミングが可能な、小さいポータブルのスケーラブルなデバイスは、面に平行な超音波ビームを投射する場合がある。実質的に、この機能は、平面(たとえば、卓上など)を、ユーザ入力デバイスとして機能することが可能なマルチタッチ面に仮想的に変換する場合がある。マルチタッチ面のサイズは、用途のニーズに基づいて調整可能である場合がある。デバイスによって使用される超音波ビームフォーミング技法は、医療用途(たとえば、ソノグラム)にしばしば使用される超音波Bモード機器と同様である場合がある。本デバイスは、超音波を伝送および受信するように機能する超音波トランスデューサアレイと、受信された超音波信号をデジタル化するアナログ/デジタルコンバータ(ADC)チャネルと、超音波ビームの伝送タイミングを制御するビーマ(beamer)と、受信された超音波ビームを再構成するビームフォーマとを含む場合がある。
【００１９】
いくつかの実施形態では、本デバイスは、一般的なマッチ箱と同じほど小さい場合がある。他の実施形態では、本デバイスは、モバイルデバイス、たとえばスマートフォンに組み込まれる場合がある。したがって、本デバイスの最小サイズおよび重量は、現在の解決策を上回る利点を提供する。本デバイスは、面上に超音波ビームを投射し、ユーザがこの面とのタッチを開始したかどうかを判定するために投射ビームの差を検出する場合がある。ユーザは、任意のユーザ四肢を使用して面にタッチする場合がある。投射されるビームは、用途に応じてサイズが変化する場合があり、ビームのサイズは、投射された超音波ビームの波の周波数および強度に基づいてさらに微調整される場合がある。さらに、このビームは、医療用途に使用されるビームよりも低い解像度を有し、比較的低いコストのアプリケーションおよび/または比較的速い処理時間を可能にする場合がある。
【００２０】
超音波ビームフォーミングを使用したマルチタッチジェスチャ検出のための方法および装置が開示される。以下の説明では、本開示の完全な理解を与えるために具体的な構成要素、回路、および処理の例などの多数の具体的な詳細が記載される。また、以下の説明では、説明の目的で、本実施形態の完全な理解を与えるために具体的な名称が記載される。しかしながら、これらの具体的な詳細が本実施形態を実施するのに必要でなくてもよいことは当業者には明らかであろう。他の場合には、本開示が不明瞭になることを回避するために、周知の回路およびデバイスをブロック図形式で示す。本明細書で使用する「結合された」という用語は、回路の1つまたは複数の介在する構成要素に直接接続されるか、またはそれらを介して接続されることを意味する。本明細書で説明する様々なバスを介して与えられる信号のいずれも、他の信号で時分割多重化され、1つまたは複数の共通バスを介して与えられる場合がある。加えて、回路要素間またはソフトウェアブロック間の相互接続は、バスとしてまたは単一信号線として示される場合がある。バスの各々は代替として単一信号線であってもよく、単一信号線の各々は代替としてバスであってもよく、単一信号線またはバスは構成要素間の通信のための無数の物理的または論理的機構のうちの任意の1つまたは複数を表す場合がある。本実施形態は、本明細書に説明する具体的な例に限定されるものと見なしてはならず、むしろ、それらの範囲内に添付の特許請求の範囲によって定義されるすべての実施形態を含むものと見なすべきである。
【００２１】
図1は、1つまたは複数の実施形態を含む場合がある、超音波ビームフォーミングデバイス100の簡略ブロック図を示す。超音波ビームフォーミングデバイス100は、プロセッサ110、ディスプレイ130、入力デバイス140、スピーカ150、メモリ160、ADC120、DAC121、ビームフォーマ180、ビーマ181、超音波トランスデューサ170、およびコンピュータ可読媒体190を含む。
【００２２】
プロセッサ110は、超音波ビームフォーミングデバイス100上で命令を実行するように機能する任意の汎用プロセッサであってもよい。プロセッサ110は、ディスプレイ130、入力デバイス140、スピーカ150、メモリ160、ADC120、DAC121、ビームフォーマ180、ビーマ181、超音波トランスデューサ170、およびコンピュータ可読媒体190を含む、超音波ビームフォーミングデバイス100の他のユニットに結合される。
【００２３】
ディスプレイ130は、ユーザに情報を表示する任意のデバイスであってよい。例としては、LCDスクリーン、CRTモニタ、または7セグメントディスプレイを含んでもよい。
【００２４】
入力デバイス140は、ユーザからの入力を受け取る任意のデバイスであってもよい。例としては、キーボード、キーパッド、マウス、またはタッチ入力部を含んでもよい。
【００２５】
スピーカ150は、ユーザに音声を出力する任意のデバイスであってもよい。例としては、内蔵スピーカ、または電気音響信号に応答して音声を発生させる任意の他のデバイスを含んでもよい。
【００２６】
メモリ160は、任意の磁気的、電子的、または光学的なメモリであってもよい。メモリ160は、2つのメモリモジュール、すなわちモジュール1 162およびモジュール2 164を含む。メモリ160が任意の数のメモリモジュールを含んでもよいことが了解されよう。メモリ160の一例は、ダイナミックランダムアクセスメモリ(DRAM)であってもよい。
【００２７】
コンピュータ可読媒体190は、任意の磁気的、電子的、光学的な、または他のコンピュータ可読記憶媒体であってもよい。コンピュータ可読記憶媒体190は、超音波伝送モジュール192、エコー検出モジュール194、ジェスチャ解釈モジュール196、コマンド実行モジュール198、および画像変換モジュール199を含む。
【００２８】
DAC121は、振幅を表すデジタル数を連続的な物理量に変換するように構成される。より具体的には、本例では、DAC121は、超音波信号の伝送の前に、超音波信号のデジタル表現をアナログ量に変換するように構成される。DAC121は、(以下で説明する)超音波トランスデューサ170による伝送の前に、デジタル量の変換を実行する場合がある。
【００２９】
超音波トランスデューサ170は、電圧を超音波、または人の聴覚の正常範囲付近の音波に変換するように構成される。超音波トランスデューサ170は、超音波を電圧に変換する場合もある。超音波トランスデューサ170は、電圧が印加された際にサイズが変化する性質を有する圧電結晶を含む複数のトランスデューサを含み、したがって、圧電結晶に交流を印加し、圧電結晶を極めて高い周波数で振動させ、したがって、非常に高い周波数の音波を発生させる場合がある。超音波トランスデューサ170は、アレイ状に構成される場合がある。このアレイは、そこから伝送される超音波が特定の角度において強め合う干渉を受ける一方で他の超音波が弱め合う干渉を受けるように構成される場合がある。
【００３０】
超音波伝送モジュール192は、デバイス100上で超音波伝送を調整するように構成される。超音波伝送モジュール192は、超音波トランスデューサ170とインターフェースし、超音波伝送モジュール192を伝送モードまたは受信モードにする場合がある。超音波トランスデューサ170は、伝送モードにおいて超音波を伝送する場合がある。超音波トランスデューサ170は、受信モードにおいて超音波エコーを受信する場合がある。超音波伝送モジュール192は、超音波トランスデューサ170の受信モードと伝送モードとの間をオンザフライで変更する場合がある。超音波トランスデューサ170は、超音波エコーからのフィードバック電圧を(以下で説明する)ADCまで通過させる場合もある。
【００３１】
ビーマ181は、超音波を指向的に伝送するように構成される。いくつかの実施形態では、ビーマ180は、超音波トランスデューサ170のアレイに結合される場合がある。ビーマは、超音波伝送モジュール192に通信可能に結合される場合もある。ビーマ181は、超音波トランスデューサ170の制御タイミングを生成する場合がある。すなわち、超音波トランスデューサ170のトリガタイミングの各々が、ビーマ181によって制御される場合がある。ビーマは、各超音波トランスデューサ170からの出力の伝送強度を制御する場合もある。伝送される超音波は、各超音波トランスデューサ170のタイミングに基づいて、方向が制御される音声「ビーム」を形成する場合がある。伝送する際に超音波トランスデューサ170のアレイの指向性を変更するために、ビーマ181は、波面の強め合う干渉および弱め合う干渉のパターンを生成するように、各トランスデューサ170における信号の位相および相対振幅を制御する。ビーマ181は、超音波トランスデューサ170を介して面(たとえば、卓上)に沿って、または面に平行に波を伝送する場合があり、面検出のための論理を含む場合がある。ビーマ181は、超音波を変更する機能を含む場合もある。たとえば、超音波の波長または強度を変更する必要がある場合、ビーマ181は、超音波トランスデューサ170を制御する論理を含む場合がある。
【００３２】
ADC120は、連続的な物理量を、その量の振幅を表すデジタル数に変換するように構成される。より具体的には、本例では、ADC120は、受信された超音波エコーをデジタル表現に変換するように構成される。次いで、デジタル表現は、本明細書で説明するジェスチャ認識技法のために使用される場合がある。
【００３３】
ビームフォーマ180は、物体から反射された超音波から受信した超音波エコーを処理するように構成される。ビームフォーマは、ADC120によってデジタル表現に変換された後の超音波エコーを分析する場合がある。ここで、アレイ内の様々なトランスデューサからの情報は、超音波エコーの予測パターンが優先的に観測される方法で組み合わされる。ビームフォーマ180は、超音波エコーのデジタル表現を強度/周波数1Dアレイに再構成する場合がある。複数の1Dアレイの組合せが、デバイス100によって処理される2Dアレイを生成するために使用される場合がある。
【００３４】
エコー検出モジュール194は、超音波エコーを検出するように構成される。超音波エコーは、超音波伝送モジュール192によって生成された超音波のビームに入る物体からの反射によって生成される場合がある。物体は、指または腕などのユーザ四肢であってもよい。エコー検出モジュール194は、上述のように、受信された超音波エコーをデジタル表現に変換するためにADC120とインターフェースする場合がある。エコー検出モジュール194は、無関係な受信された超音波エコーをフィルター除去する場合もある。
【００３５】
ジェスチャ解釈モジュール196は、エコー検出モジュール194によって検出された受信超音波エコーからジェスチャを解釈するように構成される。エコー検出モジュール194が受信し次にADC120がデジタル表現に変換する超音波エコーに基づいて、ジェスチャ解釈モジュール196は、ユーザによって行われるジェスチャを再生する場合がある。たとえば、ユーザがその人さし指で「スワイプ」ジェスチャを行う場合、ジェスチャ解釈モジュール196は、超音波エコーのデジタル表現に基づいてスワイプを再生し解釈する場合がある。
【００３６】
コマンド実行モジュール198は、ジェスチャ解釈モジュール196によって解釈されたジェスチャに基づいてシステム上でコマンドを実行するように構成される。いくつかの実施形態では、デバイス100は、外部システム上でコマンドを実行するのに面上の(ジェスチャを行うことによって遂行される)ユーザ入力を変換するために外部システムに結合される場合がある。外部システムは、たとえば、テレビ受信機、ゲームコンソール、コンピュータシステム、またはユーザ入力を受信することが可能な任意の他のシステムであってもよい。非限定的な一例では、ユーザは、超音波ビームフォーミングデバイス100によって生成された仮想ジェスチャ面上で「スワイプ」を行う場合がある。ジェスチャ解釈モジュールによって「スワイプ」ジェスチャが認識され解釈されると、コマンド実行モジュール198は、認識され解釈されたスワイプを外部システム用のネイティブコマンドに変換する場合がある。たとえば、ユーザが左から右に「スワイプ」した場合、コマンド実行モジュール198は、このジェスチャをコンピューティングシステム内のウェブブラウザアプリケーション用のネクストページコマンドに変換する場合がある。いくつかの実施形態では、コマンド実行モジュール198は、外部システムに固有のコマンドの利用可能なリストを取り出すためにデータベース(図示せず)とインターフェースする場合がある。
【００３７】
画像変換モジュール199は、一連のジェスチャをデジタルファイルフォーマットに変換するように構成される。デジタルファイルフォーマットは、たとえば、ポータブルドキュメントフォーマット(PDF)、JPEG、PNGなどであってもよい。超音波ビームフォーミングデバイス100内のメモリ160は、デジタルファイルフォーマットに変換する前に一連のジェスチャを記憶するのに使用される場合がある。
【００３８】
図2Aは、超音波ビームフォーミングデバイス100に結合された外部システム210を含むジェスチャ環境200を示す。この特定の例では、外部システム210は、テレビまたは他のディスプレイデバイスである。超音波ビームフォーミングデバイス100は、有線接続またはワイヤレス接続のいずれかによって外部システム210に結合される場合がある。有線接続のいくつかの例としては、限定はしないが、ユニバーサルシリアルバス(USB)、FireWire、Thunderboltなどがある。ワイヤレス接続のいくつかの例としては、限定はしないが、Wi-Fi、Bluetooth(登録商標)、RFなどがある。図2Aは、面220も含む。面220は、限定はしないが、卓上、カウンター上、床、壁などを含む任意の平面であってもよい。面220は、マガジン、ノートパッド、または平面を有する任意の他の可動物体などの可動物体の面を含む場合もある。
【００３９】
上述のように、超音波ビームフォーミングデバイス100は、超音波240を投射し、超音波エコー250を受信するように構成される。超音波エコー250は、ユーザ四肢などの物体から反射される場合がある。この例では、ユーザ四肢は、ユーザの手260である。具体的には、超音波エコー250は、ユーザの手260の人さし指262から反射する。超音波エコー250は、上述のように、エコー検出モジュール194を使用して超音波ビームフォーミングデバイス100によって検出される場合がある。
【００４０】
超音波ビームフォーミングデバイス100は、面220に沿ってまたは面220に平行に超音波240を投射することによって仮想ジェスチャ面230を生成するように構成される場合がある。仮想ジェスチャ面230は、超音波が投射される方法に応じて面220全体の上または面220の特定の領域内に形成される場合がある。いくつかの実施形態では、超音波ビームフォーミングデバイス100は、ビームフォーミング技法を使用して超音波240を投射する場合がある。そのような技法により、超音波ビームフォーミングデバイス100は、面220に向かって投射された超音波240の方向を制御することが可能になる場合がある。いくつかの実施形態では、超音波ビームフォーミングデバイス100は、面220を自動的に検出し、いかなる手動の較正もなしにその面に向かって超音波240を投射する論理を含む場合がある。超音波ビームフォーミングデバイス100は、上述のように、超音波伝送モジュール192、超音波トランスデューサ170、およびビーマ181を使用して超音波を投射する場合がある。いくつかの実施形態では、投射された超音波240と面220との間の距離の差は、5mm以下であってもよい。
【００４１】
上述のように、超音波ビームフォーミングデバイス100は、ユーザ四肢によって行われるジェスチャを認識し解釈する場合がある。たとえば、超音波ビームフォーミングデバイス100は、ユーザの手260の指262によって行われるジェスチャを認識し解釈する場合がある。この認識および解釈は、上述のように、ジェスチャ解釈モジュール196を使用して遂行される場合がある。ジェスチャ解釈モジュール196は、超音波240が面220に沿って投射されたときと、超音波エコー250が超音波ビームフォーミングデバイス100によって受信されたときとの間の時間差を判定する場合がある。判定された時間差から、超音波ビームフォーミングデバイス100からのユーザの指262の距離が判定される場合がある。加えて、超音波エコー250の角度および方向が、ジェスチャ解釈モジュール196によって判定される場合もある。
【００４２】
いくつかの実施形態では、超音波240は、ビーム方向に沿って超音波トランスデューサ170から離れていく短時間パルスである。超音波240が物体と接触すると、超音波エコーが跳ね返り、超音波トランスデューサ170に向かって進む。超音波240からのエネルギーの一部は、物体を通過し、その径路をたどり続ける。これらの超音波240が別の物体と接触すると、追加の超音波エコーが跳ね返り、超音波トランスデューサ170に向かって進む。したがって、超音波の伝送と、超音波エコーのうちの受信された超音波エコーとの間の時間を測定することによって、デバイス100から物体までの距離が計算される場合がある。追加の超音波240は、別の方向(通常は最後の伝送信号から数度)に伝送される場合があり、これらの超音波240から超音波エコーがさらに受信される。いくつかの実施形態では、何百の超音波が伝送され、何百の超音波エコーが受信される場合があり、これらの超音波エコーが最後に2Dスキャニング領域を形成する場合がある。いくつかの実施形態では、複数の超音波240は、スキャニング速度を上げるために様々な方向に同時に伝送される場合がある。
【００４３】
ジェスチャがジェスチャ解釈モジュール196によって認識され解釈されると、超音波ビームフォーミングデバイス100は、外部システム210に実行用のコマンドを中継する場合がある。このコマンドは、認識され解釈されたジェスチャに基づく場合がある。たとえば、認識されたジェスチャが仮想ジェスチャ面230上で指262が左から右への動作でスワイプすることである場合、コマンドは、外部システム210がユーザインターフェース内のネクストページに移ることである場合がある。いくつかの実施形態では、ジェスチャ環境200は、コマンドデータベース270を含んでもよい。コマンドデータベース270は、ジェスチャを、外部システム210に固有のコマンドにマッピングする複数のコマンドマッピングを記憶する場合がある。超音波ビームフォーミングデバイス100は、ジェスチャを認識し解釈すると、ジェスチャによって表される、外部システム210に固有のコマンドを判定するために、認識され解釈されたジェスチャを用いてコマンドデータベース270に問い合わせてもよい。いくつかの実施形態では、ネイティブコマンドは、上述の有線接続またはワイヤレス接続のうちの1つを使用して超音波ビームフォーミングデバイス100から外部システム210に中継されてもよい。
【００４４】
仮想ジェスチャ面230上でジェスチャを行う1つの指262が示されているが、仮想ジェスチャ面230上でジェスチャを行うために任意の数の指または他のユーザ四肢が使用される場合があることが了解されよう。このマルチタッチ機能は、外部システム210上で多様なコマンドを実行するように機能する場合がある。
【００４５】
図2Bは、ジェスチャ環境200においてマルチタッチジェスチャを行うことを示す。このジェスチャ環境は、超音波ビームフォーミングデバイス100に結合された外部システム210を含む。図2Bは、ユーザの手260がその指262でマルチタッチ「ピンチ」ジェスチャを行っていることを除けば図2Aと同様である。ピンチジェスチャは、仮想ジェスチャ面230上でユーザがその2つの指262を共に動かすことを含む場合がある。ピンチジェスチャは、外部システム210上でコンテンツを拡大縮小するためのユーザコマンドを表す場合がある。
【００４６】
最初に、デバイス100は、ユーザの指262に向かって一連の超音波240を投射する場合がある。ユーザがその指でピンチ動作280を行うとき、デバイス100は、追加の超音波240を投射し続けながら、同時にユーザの指262から反射された超音波エコー250を受信することができる。上述のように、受信された超音波エコー250を分析することより、本デバイスは、ユーザの指262のピンチ動作280全体を認識する場合がある。
【００４７】
ジェスチャがジェスチャ解釈モジュール196によって認識され解釈されると、超音波ビームフォーミングデバイス100は、外部システム210に実行用のコマンドを中継する場合がある。このコマンドは、ピンチ動作280の認識され解釈されたジェスチャに基づく場合がある。
【００４８】
図3は、いくつかの実施形態による、超音波ビームフォーミングデバイス100の一実施形態を示す。図1を参照しながら説明するように、超音波ビームフォーミングデバイス100は、ビームフォーマ180、ビーマ181、1つまたは複数のアナログ/デジタルコンバータ120、超音波伝送モジュール192、および1つまたは複数の超音波トランスデューサ170を含む。
【００４９】
超音波ビームフォーミングデバイスは、超音波240を送信し、超音波エコー250を受信するように構成される。超音波エコー250は、物体からの超音波の反射である場合がある。いくつかの実施形態では、物体は、ユーザ四肢であってもよい。複数の超音波240は、超音波ビームフォーミングデバイス100の超音波トランスデューサ170によって投射される。超音波トランスデューサ170の構成は、超音波240の角度、周波数、および強度を部分的に判定する場合がある。いくつかの実施形態では、超音波240は、面220に沿って投射される。
【００５０】
複数の超音波240は、面220上に「仮想」ジェスチャ面230を形成する場合があり、ユーザは、たとえばユーザ四肢を使用してジェスチャを行う場合がある。いくつかの実施形態では、超音波240は、面から5mm以下の距離にある場合がある。
【００５１】
上述のように、超音波伝送モジュール192は、超音波トランスデューサアレイ170を介して超音波を伝送するように構成される。超音波トランスデューサアレイ170は、超音波エコー250を受信する場合もある。超音波伝送モジュール192は、1つまたは複数のADC120に結合される場合もあり、次に、ビームフォーマ180に結合される。1つまたは複数のADC120は、受信された超音波エコー250を取り込み、受信されたエコー250のアナログ信号表現をデジタル表現に変換する場合がある。ADCは、ビームフォーマ180に結合される場合があり、ビームフォーマ180は、1つまたは複数のADC120から、受信された超音波エコー250のデジタル表現を受け取るように構成される場合がある。受信するとき、アレイ内の様々なトランスデューサ170からの情報は、超音波の予測パターンが優先的に観測される方法で組み合わされる。
【００５２】
超音波は、上述のように、ビーマ181を使用して伝送される場合がある。超音波伝送モジュール192は、面(たとえば、卓上)に沿って波を伝送する場合があり、面検出のための論理を含む場合がある。ビーマ181は、超音波トランスデューサ170を介して伝送された超音波を変更する機能を含む場合もある。たとえば、超音波の波長または強度を変更する必要がある場合、ビーマ181は、超音波トランスデューサ170の挙動を制御する論理を含む場合がある。
【００５３】
いくつかの実施形態では、超音波240は、仮想ジェスチャ面230が超音波240の「スウィープスキャニング」によって生成されるように面220に沿って投射される場合がある。すなわち、各超音波トランスデューサ170は、1つ1つのシーケンスにおいて超音波240を投射する場合がある。言い換えれば、超音波トランスデューサ170のアレイは、一定のタイミングで、各超音波トランスデューサ170をトリガし、方向が制御された超音波(ビーム)を投射するように構成される。上述のように、ビーマ181は、超音波トランスデューサ170のタイミングを制御する場合がある。したがって、超音波240は、ユーザによって入力されたジェスチャを検出するために面220全体にわたって効果的にスキャニングする場合がある。
【００５４】
図4は、いくつかの実施形態による、ホワイトボード410に沿った超音波240の投射を示す。上述のように、画像変換モジュール199は、一連のジェスチャをデジタルファイルフォーマットに変換するように構成される。デジタルファイルフォーマットは、たとえば、ポータブルドキュメントフォーマット(PDF)、JPEG、PNGなどであってもよい。超音波ビームフォーミングデバイス100内のメモリ160は、デジタルファイルフォーマットに変換する前に一連のジェスチャを記憶するのに使用される場合がある。
【００５５】
超音波ビームフォーミングデバイス100は、ホワイトボード410に沿っていくつかの超音波240を投射する場合がある。いくつかの実施形態では、超音波ビームフォーミングデバイス100は、超音波240がホワイトボード410の面に沿って下方に投射できるようにホワイトボード410上に配置される場合がある。しかしながら、超音波ビームフォーミングデバイス100が、ホワイトボード410に対して任意の位置に配置される場合があることが了解されよう。
【００５６】
超音波240は、ホワイトボード410に沿って物体に反射し、超音波エコー250を再び超音波ビームフォーミングデバイス100に向かって反射させる場合がある。いくつかの実施形態では、物体は、筆記用具を握るユーザ四肢であってもよい。ユーザは、筆記用具を用いてホワイトボード410上に文字を描く場合があり、(ユーザ四肢または筆記用具からの反射波である)超音波ビームフォーミングデバイス100に戻る超音波エコー250は、上述の方法を使用して、ユーザによって行われる手の動きまたは筆記用具の動きを示す場合がある。ユーザがホワイトボード410から筆記用具を持ち上げると、超音波240は、いかなる物体にもブロックされず、ユーザがホワイトボード410上に任意の文字を描くプロセスでないことを示す。いくつかの実施形態では、超音波ビームフォーミングデバイス100は、一連の判定されたユーザの動きを、超音波ビームフォーミングデバイス100のローカルなメモリ160に記憶する場合がある。
【００５７】
記憶された一連の判定されたユーザの動きは、上記に例として与えたものと同様のデジタルファイルフォーマットに変換される場合がある。いくつかの実施形態では、一連の判定されたユーザの動きは、メモリ160内に検出されたユーザの動きを記憶することなく「オンザフライ」でデジタルファイルフォーマットに変換される場合がある。
【００５８】
たとえば、図4では、ユーザは、ペンを使用してホワイトボード410上にテキスト“The quick brown fox jumps over the lazy dog”(すばしっこい茶色のキツネがのんびりした犬の上を飛び越す)を書く場合がある。超音波ビームフォーミングデバイス100は、上述のように、超音波240を用いてホワイトボード410の面をスキャニングする場合がある。ユーザの手またはペンと接触する超音波240は、超音波エコー250を超音波ビームフォーミングデバイス100に反射させる場合がある。超音波ビームフォーミングデバイス100は、受信された超音波エコー250を記録し、ホワイトボード410上でそこからユーザによって行われる描線ストロークを判定する場合がある。超音波ビームフォーミングデバイス100は、“The quick brown fox jumps over the lazy dog”を表す、判定された描線ストロークをメモリ160内に記憶する場合がある。次いで、これらの描線ストロークは、PDFファイルなどのデジタルファイルフォーマットに変換される場合がある。
【００５９】
複数の筆記用具が、ホワイトボード410上に描くためにユーザによって使用される場合もあることが了解されよう。いくつかの実施形態では、ユーザは、ホワイトボードにいかなる種類のインクも実際には移すことなくホワイトボード410上で描線動作を行う任意の他の物体を使用する場合もある。たとえば、ユーザは、スタイラス、またはホワイトボード410上に描線を描く他の物体を使用してもよい。ユーザのストロークの動きは、超音波ビームフォーミングデバイス100によってキャプチャされ、デジタルフォーマットに変換される場合がある。
【００６０】
図5は、超音波ビームフォーミングを使用したマルチタッチジェスチャ検出のための例示的な動作を示す例示的なフローチャート500である。ブロック502では、超音波は面に平行に投射され、超音波は超音波ビームフォーミングを利用して投射される。いくつかの実施形態では、投射することは、面上に2Dジェスチャスキャニング領域を生成することをさらに含む。2Dジェスチャスキャニング領域は、超音波の周波数に少なくとも部分的に基づいて定義される場合がある。いくつかの実施形態では、超音波は、面に沿って5mm以下の距離に投射される。
【００６１】
たとえば、図2Aでは、超音波ビームフォーミングデバイスは、面に平行に複数の超音波を投射する。投射された超音波は、面上に仮想ジェスチャ面、たとえば2Dジェスチャスキャニング領域を生成する。仮想ジェスチャ面は、外部システムにジェスチャ入力を行うためにユーザによって使用される場合がある。
【００６２】
ブロック504では、超音波エコーが、面と接触した物体から受信される。いくつかの実施形態では、物体は、ユーザ四肢、たとえば手または腕を含んでもよい。たとえば、図2Aでは、ユーザの手のユーザの指が、仮想ジェスチャ面と接触する。面に沿って投射された超音波は、ユーザの指と接触し、超音波エコーを再び超音波ビームフォーミングデバイスに向かって反射させる場合がある。
【００６３】
ブロック506では、ジェスチャが、受信された超音波エコーに少なくとも部分的に基づいて解釈される。ジェスチャは、外部システムに中継するコマンドを判定するために解釈される場合がある。コマンドは、外部システムに固有のコマンドにジェスチャをマッピングすることを含むコマンドデータベースに問い合わせることによって判定される場合がある。たとえば、図2Aでは、超音波ビームフォーミングデバイスは、受信された超音波エコーに基づいてユーザの指によって行われるジェスチャを解釈する場合がある。次いで、超音波ビームフォーミングデバイスは、ジェスチャに関連するコマンドを判定するために解釈されたジェスチャを用いてコマンドデータベースに問い合わせる場合がある。次いで、コマンドは、実行のために外部システムに中継される場合がある。
【００６４】
いくつかの実施形態では、本方法は、解釈されたジェスチャをデジタル画像に変換することも含み、このデジタル画像は解釈されたジェスチャを表現したものである。たとえば、ユーザは、ホワイトボード上に描線するようにジェスチャを行う場合がある。超音波ビームフォーミングデバイスは、受信された超音波エコーに基づいてジェスチャ動作を記録し、これらの動作をメモリに記憶する場合がある。メモリ内に記録されたジェスチャ動作は、次いで、ジェスチャ動作を表すデジタルファイルフォーマット、たとえばPDFファイルに変換される場合がある。
【００６５】
図6は、1つまたは複数の実施形態を実装する場合があるコンピューティングシステムの一例を示す。図6に示すコンピュータシステムは、上述のコンピュータ化デバイスの一部として組み込まれる場合がある。たとえば、コンピュータシステム600は、テレビ、コンピューティングデバイス、サーバ、デスクトップ、ワークステーション、自動車の制御システムもしくは対話システム、タブレット、ネットブック、または任意の他の適切なコンピューティングシステムの構成要素のうちのいくつかを表示することができる。コンピューティングデバイスは、画像キャプチャデバイスまたは入力感知ユニットおよびユーザ出力デバイスを有する任意のコンピューティングデバイスであってもよい。画像キャプチャデバイスまたは入力感知ユニットは、カメラデバイスである可能性がある。ユーザ出力デバイスは、ディスプレイユニットである可能性がある。コンピューティングデバイスの例としては、限定はしないが、ビデオゲームコンソール、タブレット、スマートフォン、および任意の他のハンドヘルドデバイスがある。図6は、本明細書で説明したように、様々な他の実施形態によって提供される方法を実行することができる、かつ/またはホストコンピュータシステム、リモートキオスク/端末、販売時点情報管理デバイス、自動車の電話インターフェースもしくはナビゲーションインターフェースもしくはマルチメディアインターフェース、コンピューティングデバイス、セットトップボックス、テーブルコンピュータ、および/またはコンピュータシステムとして機能を果たすことができる、コンピュータシステム600の一実施形態の概略図を提供する。図6は、単に、様々な構成要素の一般化された図を提供することを意図しており、その一部または全部が適宜利用されてよい。したがって、図6は、どのようにすれば個々のシステム要素が比較的分離された状態でまたは比較的より一体的に実装され得るかを大まかに示している。いくつかの実施形態では、コンピュータシステム600は、図2Aの外部システム210の機能を実装する場合がある。
【００６６】
バス602を介して電気的に結合される場合がある(または適宜別の方法で通信する場合がある)ハードウェア要素を含むコンピュータシステム600が示されている。ハードウェア要素には、限定はしないが、1つもしくは複数の汎用プロセッサおよび/または1つもしくは複数の専用プロセッサ(デジタル信号処理チップ、グラフィックス高速化プロセッサなど)を含む1つまたは複数のプロセッサ604と、限定はしないが、1つまたは複数のカメラ、センサ、マウス、キーボード、超音波または他の音波などを検出するように構成されるマイクロフォンなどを含むことができる1つまたは複数の入力デバイス608と、限定はしないが、本発明の実施形態に使用されるデバイスなどのディスプレイユニット、プリンタなどを含むことができる1つまたは複数の出力デバイス610とが含まれる場合がある。
【００６７】
本発明の実施形態のいくつかの実装形態では、様々な入力デバイス608および出力デバイス610は、ディスプレイデバイス、テーブル、床、壁、およびウィンドウスクリーンなどのインターフェースに埋め込まれる場合がある。さらに、プロセッサに結合された入力デバイス608および出力デバイス610は、多次元追跡システムを形成する場合がある。
【００６８】
コンピュータシステム600は、1つまたは複数の非一時的記憶デバイス606をさらに含む(および/またはそれらと通信する)場合があり、非一時的記憶デバイス606は、限定はしないが、ローカルおよび/もしくはネットワークアクセス可能な記憶装置を含むことができ、ならびに/または、限定はしないが、プログラム可能、フラッシュ更新可能などとすることができる、ディスクドライブ、ドライブアレイ、光記憶デバイス、ランダムアクセスメモリ(“RAM”)および/もしくは読取り専用メモリ(“ROM”)などのソリッドステート記憶デバイスを含むことができる。そのような記憶デバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータ記憶装置を実装するように構成される場合がある。
【００６９】
コンピュータシステム600は、通信サブシステム612を含む場合もあり、通信サブシステム612は、限定はしないが、モデム、ネットワークカード(ワイヤレスもしくは有線)、赤外線通信デバイス、ワイヤレス通信デバイス、および/または(Bluetooth(登録商標)デバイス、802.11デバイス、Wi-Fiデバイス、WiMaxデバイス、セルラー通信設備などの)チップセットなどを含む場合がある。通信サブシステム612は、データが、ネットワーク、他のコンピュータシステム、および/または本明細書で説明する任意の他のデバイスと交換されることを可能にする場合がある。多くの実施形態では、コンピュータシステム600は、上述のように、RAMまたはROMのデバイスを含むことができる非一時的ワーキングメモリ618をさらに含む。
【００７０】
コンピュータシステム600は、オペレーティングシステム614、デバイスドライバ、実行可能ライブラリ、および/または1つもしくは複数のアプリケーションプログラム616などの他のコードを含む、現在、ワーキングメモリ618内に配置されたものとして示されている、ソフトウェア要素を含むこともでき、他のコードは、様々な実施形態によって提供されるコンピュータプログラムを含む場合があり、かつ/または本明細書で説明するように、他の実施形態によって提供される方法を実施するように、および/もしくはシステムを構成するように設計される場合がある。単に例として、上記で説明した方法に関して説明した1つまたは複数のプロシージャは、コンピュータ(および/またはコンピュータ内のプロセッサ)によって実行可能なコードおよび/または命令として実装される場合があり、次いで、一態様では、そのようなコードおよび/または命令は、説明した方法に従って1つまたは複数の動作を実行するように汎用コンピュータ(または他のデバイス)を構成するおよび/または適合させるために使用できる。
【００７１】
これらの命令および/またはコードのセットは、上述の記憶デバイス606などのコンピュータ可読記憶媒体上に記憶される場合がある。場合によっては、記憶媒体は、コンピュータシステム600などのコンピュータシステム内に組み込まれる場合がある。他の実施形態では、記憶媒体は、そこに記憶された命令/コードを用いて汎用コンピュータをプログラム、構成、および/または適合させるために使用することができるように、コンピュータシステムから分離され(たとえば、コンパクトディスクなどの取外し可能媒体)、かつ/またはインストールパッケージ内に設けられる場合がある。これらの命令は、コンピュータシステム600によって実行可能な実行可能コードの形態をとる場合があり、ならびに/または(たとえば、様々な一般に入手可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティなどのいずれかを使用して)コンピュータシステム600上でのコンパイル時および/またはインストール時に実行可能コードの形態をとるソースコードおよび/もしくはインストール可能なコードの形態をとる場合がある。
【００７２】
大幅な変形が、特定の要件に従って行われてもよい。たとえば、カスタマイズされたハードウェアが使用される場合もあり、かつ/または特定の要素がハードウェア、ソフトウェア(アプレットなどのポータブルソフトウェアを含む)、もしくは両方で実装される場合がある。さらに、ネットワーク入力/出力デバイスなどの他のコンピューティングデバイスへの接続が採用される場合がある。いくつかの実施形態では、コンピュータシステム600の1つまたは複数の要素は、省略されるか、または図示したシステムとは別個に実装される場合がある。たとえば、プロセッサ604および/または他の要素は、入力デバイス608とは別個に実装される場合がある。一実施形態では、プロセッサは、別個に実装される1つまたは複数のカメラから画像を受け取るように構成される。いくつかの実施形態では、図6に示した要素に加えた要素が、コンピュータシステム600に含まれる場合がある。
【００７３】
いくつかの実施形態は、本開示による方法を実施するために、(コンピュータシステム600などの)コンピュータシステムを採用する場合がある。たとえば、説明した方法の手順のうちのいくつかまたはすべては、ワーキングメモリ618に含まれる(オペレーティングシステム614、および/またはアプリケーションプログラム616などの他のコード内に組み込まれる場合がある)1つもしくは複数の命令の1つもしくは複数のシーケンスを実行しているプロセッサ604に応答して、コンピュータシステム600によって実行される場合がある。そのような命令は、記憶デバイス606のうちの1つまたは複数などの別のコンピュータ可読媒体からワーキングメモリ618に読み込まれる場合がある。単に例として、ワーキングメモリ618に含まれる命令のシーケンスの実行は、プロセッサ604に、本明細書で説明する方法の1つまたは複数の手順を実行させる場合がある。
【００７４】
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の方式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム600を使用して実装されるいくつかの実施形態では、様々なコンピュータ可読媒体が、実行のためにプロセッサ604に命令/コードを与えることに関与する場合があり、かつ/またはそのような命令/コードを(たとえば、信号として)記憶および/または搬送するために使用される場合がある。多くの実装形態では、コンピュータ可読媒体は、物理的なおよび/または有形の記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む多くの形態を取る場合がある。不揮発性媒体は、たとえば、記憶デバイス606などの光ディスクおよび/または磁気ディスクを含む。揮発性媒体は、限定はしないが、ワーキングメモリ618などのダイナミックメモリを含む。伝送媒体は、限定はしないが、バス602、ならびに通信サブシステム612(および/または通信サブシステム612が他のデバイスとの通信を提供する媒体)の様々な構成要素を含む電線を含めて、同軸ケーブル、銅線、および光ファイバを含む。したがって、伝送媒体は、(限定はしないが、無線波データ通信および赤外線データ通信中に生成されるものなどの無線波、音波、および/または光波を含む)波の形態をとることもできる。
【００７５】
物理的な、かつ/または有形のコンピュータ可読媒体の一般的な形態は、たとえば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、CD-ROM、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、RAM、PROM、EPROM、フラッシュEPROM、任意の他のメモリチップまたはカートリッジ、以下で説明されるような搬送波、あるいはコンピュータが命令および/またはコードを読み取ることのできる任意の他の媒体を含む。
【００７６】
様々な形態のコンピュータ可読媒体は、実行のために1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ604に搬送することに関与する場合がある。単に例として、命令は最初に、リモートコンピュータの磁気ディスクおよび/または光ディスク上で搬送される場合がある。リモートコンピュータは、そのダイナミックメモリ内に命令をロードし、コンピュータシステム600によって受信および/または実行されるべき送信媒体上の信号として命令を送信する場合がある。電磁信号、音響信号、光信号などの形態であってもよいこれらの信号はすべて、本発明の様々な実施形態による、命令を符号化することができる搬送波の例である。
【００７７】
通信サブシステム612(および/またはその構成要素)は、一般に信号を受信し、次いで、バス602は、信号(および/または、信号によって搬送されるデータ、命令など)をワーキングメモリ618に搬送する場合があり、プロセッサ604は、ワーキングメモリ618から命令を取り出し、実行する。ワーキングメモリ618によって受信された命令は、任意選択で、プロセッサ604による実行の前または後のいずれかに、非一時的記憶デバイス606上に記憶される場合がある。
【００７８】
上記で説明した方法、システム、およびデバイスは例である。様々な実施形態は、適宜に、様々な手順または構成要素を省略、置換、または追加してもよい。たとえば、代替構成では、説明する本方法は、説明する順序とは異なる順序で実施されてもよく、ならびに/または、様々なステージが追加され、省略され、および/もしくは組み合わされてもよい。さらに、特定の実施形態に関して説明した特徴は、様々な他の実施形態で組み合わされる場合がある。実施形態の異なる態様および要素は、同様にして組み合わされる場合がある。また、技術は発展し、したがって、要素の多くは、本開示の範囲をそれらの特定の例に限定しない例である。
【００７９】
実施形態の完全な理解を与えるために、説明に具体的な詳細が与えられている。しかしながら、実施形態は、これらの具体的な詳細なしに実施される場合がある。たとえば、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法は、不要な詳細なしに示してきた。この説明は、例示的な実施形態のみを提供し、本発明の範囲、適用可能性、または構成を限定するものではない。むしろ、実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に与える。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成に様々な変更を行う場合がある。
【００８０】
また、いくつかの実施形態は、フロー図またはブロック図として図示されているプロセスとして説明する。各々は動作を順次プロセスとして説明するが、動作の多くは、並列または同時に実施することができる。加えて、動作の順序は並べ替えてもよい。プロセスは、図に含まれていない追加のステップを有してもよい。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せによって実装されてもよい。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連するタスクを実施するプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶される場合がある。プロセッサは、関連するタスクを実施する場合がある。したがって、上記の説明では、コンピュータシステムによって実行されるものとして記述された機能または方法は、プロセッサ、たとえば、機能または方法を実行するように構成されるプロセッサ604によって実行される場合もある。さらに、そのような機能または方法は、1つまたは複数のコンピュータ可読媒体に記憶されたプロセッサ実行命令によって実行される場合がある。
【００８１】
いくつかの実施形態について説明してきたが、様々な変更、代替構造、および均等物は、本開示の趣旨から逸脱することなく使用される場合がある。たとえば、上記の要素は、単により大きいシステムの構成要素である場合があり、他のルールは、本発明の適用よりも優先するか、そうでなければ本発明の適用を修正する場合がある。また、上記の要素が考慮される前、考慮される間、または考慮された後に、いくつかのステップに着手してもよい。したがって、上記の説明は本開示の範囲を限定しない。
【００８２】
様々な例について説明してきた。これらおよび他の例は以下の特許請求の範囲内に入る。
【符号の説明】
【００８３】
100  デバイス
110  プロセッサ
120  ADC
121  DAC
130  ディスプレイ
140  入力デバイス
150  スピーカ
160  メモリ
162  モジュール1
164  モジュール2
170  超音波トランスデューサ
180  ビームフォーマ
181  ビーマ
190  コンピュータ可読記憶媒体
192  超音波伝送モジュール
194  エコー検出モジュール
196  ジェスチャ解釈モジュール
198  コマンド実行モジュール
199  画像変換モジュール
200  ジェスチャ環境
210  外部システム
220  面
230  仮想ジェスチャ面
240  超音波
250  超音波エコー
260  ユーザの手
262  指
270  コマンドデータベース
280  ピンチ動作
410  ホワイトボード
600  コンピュータシステム
602  バス
604  プロセッサ
606  記憶デバイス
608  入力デバイス
610  出力デバイス
612  通信サブシステム
614  オペレーティングシステム
616  アプリケーション
618  ワーキングメモリ
【図１】
2017501464.tif 000003
【図４】
2017501464.tif 000004
【図５】
2017501464.tif 000005
【図６】
2017501464.tif 000006
【図２Ａ】
2017501464.tif 000007
【図２Ｂ】
2017501464.tif 000008
【図３】
2017501464.tif 000009
【国際調査報告】
2017501464.tif 000010
2017501464.tif 000011
2017501464.tif 000012