(57)【特許請求の範囲】
【請求項１】
センサからのデータを用いて、超音波センシングをアクティブ化することを示す、ユーザの肢の特定の状態を識別することと、
前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を前記ユーザにより装着可能な装置によって行うことと、
前記センサからのデータに基づいて、前記肢の状態を判断することと、
前記装置によって、前記超音波信号の前記受信及び前記肢の状態に基づいて、入力を選択することと、を含み、
前記センサには、前記ユーザの筋振戦を検出する加速度計が含まれ、
前記肢の状態を判断することには、前記加速度計から受信した前記筋振戦のデータに基づいて、前記肢の状態が収縮状態にあるか又は弛緩状態にあるかどうかを判断することが含まれる、
方法。
【請求項２】
前記入力を第２の装置に送信することと、
前記第２の装置を介して、前記入力によって指定されるアクションを実行することと、をさらに含む、請求項１に記載の方法。
【請求項３】
前記入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つである、請求項１に記載の方法。
【請求項４】
受信した前記超音波信号の特性を分析することと、
前記分析することに基づいて、オンボディタッチの種類を識別することと、をさらに含み、
前記特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含む、
請求項１に記載の方法。
【請求項５】
前記入力は、アプリケーション固有である、請求項１に記載の方法。
【請求項６】
前記オンボディタッチは、タップ又はスライドジェスチャである、請求項１に記載の方法。
【請求項７】
超音波トランスデューサと、
加速度計と、
ソフトウェアを記憶するメモリと、
プロセッサと、を備える装置であって、
前記プロセッサは、
前記加速度計からのデータを用いて、超音波センシングをアクティブ化することを示す、前記装置が装着されているユーザの肢の特定の状態を識別し、
前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を、前記超音波トランスデューサを介して行い、
前記肢の状態及び収縮の度合いを検出し、
前記超音波信号の受信、前記肢の前記状態及び前記収縮の度合いに基づいて入力を選択する、前記ソフトウェアを実行し、
前記プロセッサは、
前記加速度計によって検出された前記ユーザの筋振戦に基づいて、前記オンボディタッチの時間の間、前記肢の状態が収縮状態であるか弛緩状態であるかどうかを判断する前記ソフトウェアを実行する、
装置。
【請求項８】
通信インタフェースをさらに備え、前記プロセッサは、前記通信インタフェースを介して別の装置に前記入力を送信する前記ソフトウェアをさらに実行する、請求項７に記載の装置。
【請求項９】
前記入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つである、請求項７に記載の装置。
【請求項１０】
前記プロセッサは、
受信した前記超音波信号の特性を分析し、
前記特性の分析に基づいて、前記オンボディタッチの種類を識別する、前記ソフトウェアをさらに実行し、
前記特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含む、
請求項７に記載の装置。
【請求項１１】
前記プロセッサは、
前記超音波信号のプロファイル、前記肢の状態、及び入力を含むデータベースを記憶し、
前記データベースを使用して前記入力を選択する、前記ソフトウェアをさらに実行する、請求項７に記載の装置。
【請求項１２】
前記ユーザによって実行される特定のオンボディタッチイベントを認識し、前記オンボディタッチイベントに対応する入力を選択するために、前記ユーザが前記装置を訓練することを可能にする、機械学習モジュールをさらに備える、請求項７に記載の装置。
【請求項１３】
ユーザによって装着される計算装置のプロセッサによって実行可能な命令であって、
実行時に、前記計算装置に、
加速度計を含むセンサからのデータを用いて、超音波センシングをアクティブ化することを示す、前記計算装置が装着される前記ユーザの肢の状態を識別することと、
前記ユーザの身体上を経皮的に伝播され、且つ、伝播した領域におけるオンボディタッチによってもたらされる超音波信号を受信することを含む、超音波イベントの検出を、超音波トランスデューサを介して行うことと、
前記加速度計によって検出された前記ユーザの筋振戦に基づいて、前記オンボディタッチの時間の間、前記肢の状態が収縮状態であるか弛緩状態であるかどうかを判断することと、
前記計算装置が装着された前記ユーザの肢の状態を検出することと、
前記超音波信号の受信及び前記肢の状態に基づいて入力を選択させることとをさせる、
前記命令を記憶する非一時的記憶媒体。

【発明の詳細な説明】
【背景技術】
【０００１】
スマートフォンなどのモバイル装置は、そのユーザに様々なサービスを提示する。ユーザは、タッチパネル及び／又はタッチレスパネルを介して、モバイル装置のディスプレイと対話することができる。タッチ及びタッチレス入力技術が、モバイル装置を操作する際に多大な柔軟性をユーザに与える一方で、設計者及び製造者は、モバイル装置とユーザとのインタオペラビリティを改善しようと絶えず努力している。
【発明の概要】
【課題を解決するための手段】
【０００２】
一態様によれば、方法は、ユーザにより装着可能な装置によって、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号の受信を含む、超音波イベントを検出することと、装置によって、装置が装着されたユーザの肢の状態を検出することであって、状態は、収縮状態又は弛緩状態であることと、装置によって、超音波信号の受信及び肢の状態に基づいて、入力を選択することと、を含み得る。
【０００３】
さらに、方法は、入力を別の装置に送信することと、他の装置による入力を実行することと、を含んでもよい。
【０００４】
さらに、方法は、ユーザの肢の運動を検出することと、肢の運動を検出することに基づいて、肢の状態が収縮状態にあるかどうかを判断することと、を含んでもよい。
【０００５】
さらに、入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つであってもよい。
【０００６】
さらに、方法は、受信した超音波信号の特性を分析することであって、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含むことと、分析することに基づいて、オンボディタッチの種類を識別することと、を含んでもよい。
【０００７】
さらに、入力は、アプリケーション固有であってもよい。
【０００８】
さらに、オンボディタッチは、タップ、又はスライドジェスチャであってもよい。
【０００９】
別の態様によれば、装置は、超音波トランスデューサと、加速度計と、ソフトウェアを記憶するメモリと、プロセッサと、を備えてもよく、プロセッサは、ソフトウェアを実行する。装置は、超音波トランスデューサを介して、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号を含む、超音波イベントを検出し、装置が装着されたユーザの肢の状態を検出し、状態は、収縮状態又は弛緩状態であり、超音波信号の受信及び肢の状態に基づいて入力を選択するように構成されてもよい。
【００１０】
さらに、装置は、通信インタフェースを備えてもよい。装置は、通信インタフェースを介して別の装置に入力を送信するように構成されてもよい。
【００１１】
さらに、加速度計は、肢の運動を検出してもよく、装置は、加速度計から受信するデータに基づいて、オンボディタッチの時間の間、肢の状態が、収縮状態であるか、それとも弛緩状態であるかを判断するように構成されてもよい。
【００１２】
さらに、入力は、マウス、キーボード、又はタッチディスプレイを介して行われ得る入力のうちの１つであってもよい。
【００１３】
さらに、装置は、受信した超音波信号の特性を分析し、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含み、特性の分析に基づいて、オンボディタッチの種類を識別するように構成されてもよい。
【００１４】
さらに、装置は、超音波信号のプロファイル、肢の状態、及び入力をマッピングするデータベースを記憶し、データベースを使用して入力を選択するように構成されてもよい。
【００１５】
さらに、装置は、超音波センシングをアクティブ化するように指示するオンボディタッチを識別するように構成されてもよい。
【００１６】
さらに、装置は、ユーザによって実行される特定のオンボディタッチイベントを認識し、オンボディタッチイベントに対応する入力を選択するために、ユーザが装置を訓練することを可能にする、機械学習モジュールを備えてもよい。
【００１７】
さらに別の態様によれば、非一時的記憶媒体は、計算装置のプロセッサによって実行可能な命令であって、実行時に、計算装置に、計算装置の超音波トランスデューサを介して、ユーザの身体上を経皮的に伝播され、超音波信号が伝播した領域におけるオンボディタッチによってもたらされる超音波信号を含む、超音波イベントを検出させ、計算装置が装着されたユーザの肢の状態を検出させ、状態は、収縮状態又は弛緩状態であり、超音波信号の受信及び肢の状態に基づいて入力を選択させる、命令を記憶してもよい。
【００１８】
さらに、命令は、受信した超音波信号の特性を分析し、特性は、周波数、振幅、又は伝播速度のうちの少なくとも１つを含み、特性の分析に基づいて、オンボディタッチの種類を識別する、命令を含んでもよい。
【００１９】
さらに、命令は、超音波信号のプロファイル、肢の状態、及び入力をマッピングするデータベースを記憶し、データベースを使用して入力を選択する、命令を含んでもよい。
【００２０】
さらに、命令は、超音波センシングをアクティブ化するように指示するオンボディタッチを識別する命令を含んでもよい。
【００２１】
さらに、命令は、加速度計から受信するデータに基づいて、オンボディタッチの時間の間、肢の状態が、収縮状態であるか、それとも弛緩状態であるかを判断する命令を含んでもよい。
【図面の簡単な説明】
【００２２】
【図１Ａ】モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る、例示的な環境を示す図である。
【図１Ｂ】モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る、別の例示的な環境を示す図である。
【図２Ａ】主装置の例示的なコンポーネントを示す図である。
【図２Ｂ】超音波装置の例示的なコンポーネントを示す図である。
【図２Ｃ】例示的なデータベースを示す図である。
【図３】モーダルボディタッチ超音波センシングの例示的な実施形態に関係する、例示的なシナリオを示す図である。
【図４】モーダルボディタッチ超音波センシングサービスを提供する、例示的なプロセスを示すフロー図である。
【発明を実施するための形態】
【００２３】
以下の詳細な説明は、添付の図面を参照する。異なる図面中の同一の参照番号は、同一又は類似の要素を識別し得る。
【００２４】
ユーザの身体を通じた超音波送信及びセンシングは、近年の研究領域となっている。例えば、ユーザは、ユーザの皮膚を介して超音波信号が送信及び伝播（例えば、経皮性超音波伝播）される、腕輪、アームバンド、又はその他の種類のウェアラブル装置（例えば、ヘッドウェアなど）を装着してもよい。ウェアラブル装置は、超音波信号を送信する送信機と、超音波信号を受信する受信機とを含む。例示的なユースケースによれば、ウェアラブル装置は、腕輪であり、ユーザは、自分の指で腕の皮膚にタッチしてもよく、腕を掴んでもよく、又は腕の上でスライド運動を行ってもよい。超音波信号は、受信機を介して、１つ又は複数の周波数及び／又は振幅において測定されてもよい。受信した値（複数可）及び記憶した信号プロファイルに基づいて、ユーザによって行われる入力の種類が判断できる。例えば、ユーザは、自分の前腕の特定位置をタップしてもよく、この情報（即ち、タップ及び位置）が判断されてもよい。この情報は、ウェアラブル装置以外の装置への入力として使用され得る。
【００２５】
残念ながら、超音波オンボディタッチセンシング技術では、センシング機器付近のタッチポイントの数に制限がある。さらに、ユーザが、「超音波センシングモード」に入る前にモバイル装置又はウェアラブル装置と対話しなければならない場合を除いて、この形態の入力方法は、誤って作動され易い。
【００２６】
筋組織を通じた超音波伝播は、人の筋肉がどのくらい緊張しているかに依存して、異なる速さで進む。例えば、筋肉の血液含有量に起因して、筋肉が収縮するときに超音波伝播の速度が増加（例えば、３ｍ／ｓまで）することがある。
【００２７】
例示的な実施形態によれば、超音波センシングに基づくモーダルインタフェースが提供される。例示的な実施形態によれば、ウェアラブル装置は、ユーザの筋肉が収縮しているか否かに基づいて、インタフェースの異なるモードを検出する。例えば、例示的な実施形態によれば、ある動作モードは、ユーザの筋肉が弛緩状態にあるときであり、別の動作モードは、ユーザの筋肉が収縮状態又は緊張状態にあるときである。さらに別の実施形態によれば、ある動作モードは、ユーザが、ある時間内に弛緩状態から収縮状態へ、又はその逆に移行するときである。例えば、ユーザが、１秒以内に拳を収縮させた後弛緩させるとき、ユーザのアクション（例えば、指を腕に沿ってスライドさせること）が、特定の入力として解釈される。さらに別の実施形態によれば、ユーザの筋肉の収縮の複数の度合い又はレベルに基づいて、複数の動作モードが提供される。異なる動作モードを考慮すると、異なる入力は、各モード、及び、より具体的には、ユーザによって行われる各種のアクション（例えば、タップ、肢を掴む、スライドジェスチャなど）、並びにその他の要素（例えば、位置、圧力、時間（例えば、アクションの始まりと終わり））にマッピングされてもよい。
【００２８】
例示的な実施形態によれば、ユーザの筋肉が収縮しているかどうか、又は収縮の度合いの検出は、加速度計からのデータを使用することを含む。例示的な実施形態によれば、ウェアラブル装置は、加速度計を含む。例示的な実施形態によれば、加速度計は、ユーザが筋肉を曲げたり収縮させたりするときに通常起こる、筋振戦を検出する。ユーザの筋肉が弛緩状態にあるときであっても、ある程度は筋振戦が起こることがあるが、加速度計は、曲げに関係する筋振戦の度合い、及び／又はその他の筋肉収縮の度合いを判断するためのデータを提供してもよい。このようにして、ユーザの筋肉が弛緩状態と比較して収縮状態にあるときの超音波の伝播の差に加えて、又はその代わりに、筋振戦情報が、ユーザの筋肉が収縮しているかどうかを判断するために使用される。さらに、筋振戦情報は、収縮の度合い（例えば、完全な緊張、部分的な緊張など）を判断するために使用されてもよい。
【００２９】
例示的な実施形態によれば、ウェアラブル装置は、主装置を構成する。例えば、ウェアラブル装置は、ディスプレイを含んでもよく、電話、ウェブアクセス、メディアプレーヤ、及び／又は様々な機能又はサービスを伴う別の種類の装置などの、様々なケイパビリティを有してもよい。別の実施形態によれば、主装置は、ウェアラブル装置を介して入力を受信する。例えば、主装置は、モバイル装置の形態を取ってもよい。入力は、超音波技術及びユーザアクションに基づいて解釈されるため、これらの入力は、ウェアラブル装置によって、主装置に送信される。主装置は、受信した入力に従って動作する。
【００３０】
例示的な実施形態によれば、ウェアラブル装置又は主装置は、ユーザが手動で特定のモードにロックすることを可能にする。例えば、ウェアラブル装置又は主装置は、ユーザが特定のセンシングモードに移行して動作させることを可能にする、ユーザインタフェース又はいくつかの他の種類の入力機構（例えば、ボタン、音声コマンドなど）を提供してもよい。別の例示的な実施形態によれば、ウェアラブル装置は、ユーザが特定のアクションを行うことによって、あるモードにロックすることを可能にする。例えば、ユーザの拳が固く握られる時、又はその他の故意のアクションが行われる時にのみ、タッチイベントが検出されるという点において、ユーザの腕が弛緩状態にあるときに、そのような状態が、「ロックされた」又は「休止した」状態を意味する。このように、ウェアラブル装置のセンシング機能は、ユーザが、ウェアラブル装置を手動でアクティブ化及び非アクティブ化する必要なしに、ユーザによって容易にアクティブ化及び非アクティブ化され得る。
【００３１】
図１Ａは、例示的な環境１００の図であり、例示的な環境１００では、モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る。図示するように、環境１００は、主装置１０５、超音波装置１１０、及びユーザ１１５を含む。図１Ｂは、別の例示的な環境１２０の図であり、例示的な環境１２０では、モーダルボディタッチ超音波センシングの例示的な実施形態が実装され得る。図示するように、環境１２０は、ユーザ１１５、及び超音波主装置１２５を含む。この環境では、前述したように、ウェアラブル装置は、超音波センシング及び主装置のケイパビリティを含んでもよい。
【００３２】
図１Ａ及び１Ｂはそれぞれ、腕輪タイプの超音波装置を示しているが、他の実施形態によれば、アームレット、ヘッドデバイス、ネックデバイス、アンクルデバイスなどの他の形態の超音波装置が実装されてもよい。さらに、超音波装置は、複数の装置を含んでもよい。例えば、１つの装置が超音波を送信し、別の装置が超音波を受信してもよい。そのような構成によれば、ユーザは、ユーザの身体の１つの位置に１つの装置、ユーザの身体の別の位置に他の装置を装着してもよい。
【００３３】
図１Ａを参照すると、主装置１０５は、ユーザ装置を含む。例えば、主装置１０５は、スマートフォン、携帯情報端末（ＰＤＡ：ｐｅｒｓｏｎａｌ  ｄｉｇｉｔａｌ  ａｓｓｉｓｔａｎｔ）、タブレット装置、パームトップ装置、ネットブック、音楽再生装置、ウェブ装置、又はその他の計算装置などの、モバイル装置の形態を取ってもよい。代替的に、主装置１０５は、スマートテレビ、又はその他の適当な装置などの非モバイル装置の形態を取ってもよい。主装置１０５は、超音波装置１１０から入力信号を受信し、入力信号に従って動作する。主装置１０５について、以下でさらに説明する。
【００３４】
超音波装置１１０は、超音波信号を送信及び受信する装置を含む。例えば、超音波装置１１０は、超音波トランスデューサを含む。超音波トランスデューサは、超音波の送信機の役割をするトランスデューサと、超音波の受信機の役割をする別のトランスデューサとを含む。ユーザのオンボディインタラクションに基づいて、超音波装置１１０は、超音波受信機を介して受信した信号の値に基づき、モード及びアクションを識別する。例示的な実施形態によれば、超音波装置１１０は、加速度計を含む。超音波装置１１０は、加速度計からのデータを使用して、オンボディタッチセンシングのモードを判断する。超音波装置１１０は、モード及びユーザアクション（例えば、タップ、スライドジェスチャなど）を特定の入力に相互に関連付ける。超音波装置１１０は、入力信号を生成し、主装置１０５に送信する。一方、主装置１０５は、入力を受信し、入力に従って動作する。超音波装置１１０について、以下でさらに説明する。
【００３５】
図１Ｂを参照すると、超音波主装置１２５は、超音波装置１１０を含む。さらに、超音波主装置１２５は、ユーザのオンボディインタラクションに応答する、１つ又は複数のエンドユーザアプリケーション及び／若しくはサービスを含む。
【００３６】
図２Ａは、主装置１０５の例示的なコンポーネントを示す図である。図示するように、例示的な実施形態によれば、主装置１０５は、プロセッサ２０５、メモリ／記憶装置２１０、ソフトウェア２１５、通信インタフェース２２０、入力２２５、及び出力２３０を含む。他の実施形態によれば、主装置１０５は、図２Ａに示し、かつ本明細書で説明したものより少ないコンポーネント、追加のコンポーネント、異なるコンポーネント、及び／又は異なる配置のコンポーネントを含んでもよい。
【００３７】
プロセッサ２０５は、１つ又は複数のプロセッサ、マイクロプロセッサ、データプロセッサ、コプロセッサ、並びに／又は、命令及び／若しくはデータを解釈及び／若しくは実行するいくつかの他の種類のコンポーネントを含む。プロセッサ２０５は、ハードウェア（例えば、マイクロプロセッサなど）又はハードウェア及びソフトウェアの組み合わせ（例えば、ＳｏＣ、ＡＳＩＣなど）として実装されてもよい。プロセッサ２０５は、オペレーティングシステム及び／又は様々なアプリケーション若しくはプログラム（例えば、ソフトウェア２１５）に基づいて、１つ又は複数の動作を実行する。
【００３８】
メモリ／記憶装置２１０は、１つ若しくは複数のメモリ、及び／又は１つ若しくは複数のその他の種類の記憶媒体を含む。例えば、メモリ／記憶装置２１０は、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＤＲＡＭ（ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、キャッシュ、ＲＯＭ（ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、及び／又はいくつかの他の種類のメモリを含んでもよい。メモリ／記憶装置２１０は、ハードディスク（例えば、磁気ディスク、光ディスク、光磁気ディスク、ソリッドステートディスクなど）を含んでもよい。
【００３９】
ソフトウェア２１５は、機能及び／又はプロセスを提供するアプリケーション又はプログラムを含む。ソフトウェア２１５は、ファームウェアを含んでもよい。例として、ソフトウェア２１５は、電話アプリケーション、マルチメディアアプリケーション、電子メールアプリケーション、連絡先アプリケーション、カレンダアプリケーション、インスタントメッセージアプリケーション、ウェブ閲覧アプリケーション、位置ベースアプリケーション（例えば、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）ベースのアプリケーションなど）、カメラアプリケーションなどを含んでもよい。ソフトウェア２１５は、オペレーティングシステム（ＯＳ：ｏｐｅｒａｔｉｎｇ  ｓｙｓｔｅｍ）を含む。例えば、主装置１０５の実装に依存して、オペレーティングシステムは、ｉＯＳ、Ａｎｄｒｏｉｄ、Ｗｉｎｄｏｗｓ  Ｐｈｏｎｅ、又は別の種類のオペレーティングシステム（例えば、専用品、ＢｌａｃｋＢｅｒｒｙ  ＯＳなど）に対応してもよい。
【００４０】
通信インタフェース２２０は、主装置１０５が他の装置、ネットワーク、システムなどと通信することを可能にする。通信インタフェース２２０は、１つ又は複数の無線インタフェース及び／若しくは有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ又は複数の送信機、受信機及び／若しくは送受信機を含んでもよい。通信インタフェース２２０は、１つ又は複数のプロトコル、通信標準及び／若しくはそれに類するものに従って動作する。通信インタフェース２２０は、超音波装置１１０との通信を可能にする。
【００４１】
入力２２５は、主装置１０５への入力を可能にする。例えば、入力２２５は、キーボード、マウス、ディスプレイ、タッチスクリーン、タッチレススクリーン、ボタン、スイッチ、入力ポート、音声認識ロジック、及び／又はいくつかの他の種類の視覚的、聴覚的、触覚的などの入力コンポーネントを含んでもよい。出力２３０は、主装置１０５からの出力を可能にする。例えば、出力２３０は、スピーカ、ディスプレイ、タッチスクリーン、タッチレススクリーン、ライト、出力ポート、及び／又はいくつかの他の種類の視覚的、聴覚的、触覚的などの出力コンポーネントを含んでもよい。
【００４２】
主装置１０５は、メモリ／記憶装置２１０によって記憶されているソフトウェア２１５をプロセッサ２０５が実行することに応答して、プロセス及び／又は機能を実行してもよい。例として、命令は、別のメモリ／記憶装置２１０からメモリ／記憶装置２１０に読み込まれ、又は別の装置から通信インタフェース２２０を介してメモリ／記憶装置２１０に読み込まれてもよい。メモリ／記憶装置２１０によって記憶されている命令は、プロセッサ２０５にプロセス又は機能を実行させる。代替的に、主装置１０５は、ハードウェア（プロセッサ２０５など）の動作に基づいて、プロセス又は機能を実行してもよい。前述したように、例示的な実施形態によれば、主装置１０５は、超音波装置１１０から受信する入力に基づいて動作する。
【００４３】
図２Ｂは、超音波装置１１０の例示的なコンポーネントを示す図である。図示するように、例示的な実施形態によれば、超音波装置１１０は、超音波送信機２３５、超音波受信機２４０、加速度計２４５、入力インタプリタ２５０、及び通信インタフェース２５５を含む。他の実施形態によれば、超音波装置１１０は、図２Ｂに示し、かつ本明細書で説明したものより少ないコンポーネント、追加のコンポーネント、異なるコンポーネント、及び／又は異なる配置のコンポーネントを含んでもよい。例えば、超音波装置１１０は、プロセッサ２０５、メモリ／記憶装置２１０、ソフトウェア２１５、入力２２５、及び／又は出力２３０などの、主装置１０５のコンポーネントを含んでもよい。さらに、他の実施形態によれば、超音波装置１１０は、あるウェアラブル部品が超音波送信機２３５を含み、別のウェアラブル部品が超音波受信機２４０を含むという構成を含んでもよい。コンポーネント間の接続は例示的なものである。
【００４４】
超音波送信機２３５は、超音波信号を送信する。例えば、超音波送信機２３５は、２０ｋＨｚ〜１００ｋＨｚの超音波信号を送信する。超音波送信機２３５は、特定の中心周波数で送信するように構成されてもよい。超音波送信機２３５は、超音波トランスデューサ、超音波センサ、又は音声信号発生器を使用して実装されてもよい。例えば、低コストの圧電性超音波トランスデューサが使用されてもよい。
【００４５】
超音波受信機２４０は、超音波信号を受信する。超音波受信機２４０は、周波数及び／又は振幅などの、超音波信号の特性を測定する。超音波受信機２４０は、また、位相を測定してもよい。超音波受信機２４０は、超音波トランスデューサ、超音波センサ、又は他のオーディオコーデックチップを使用して実装されてもよい。
【００４６】
加速度計２４５は、運動を検出するロジックを含む。加速度計２４５は、微小電気機械システム（ＭＥＭＳ：Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍ）センサの形態を取ってもよい。前述したように、加速度計２４５は、筋振戦から生じる運動の検出に基づいて、ユーザの筋肉が収縮しているかどうか、又は収縮の度合いを検出するために使用され得る。
【００４７】
入力インタプリタ２５０は、超音波受信機２４０によって受信される超音波信号の特性を判断するロジックを含む。例えば、前述したように、特性は、超音波信号の周波数、超音波信号の振幅、超音波信号の伝播（例えば、速度）、及び／又は超音波信号の位相であってもよい。超音波信号特性は、固定のままであってもよく、又は経時変化してもよい。入力インタプリタ２５０は、超音波受信機２４０によって受信された超音波信号特性を、送信された超音波信号と比較して、それらの差を識別し、伝播速度を判断してもよい。判断された超音波特性（複数可）に基づいて、入力インタプリタ２５０は、超音波信号プロファイル又は超音波信号シグニチャを生成してもよい。超音波信号プロファイルは、特定のユーザアクション（例えば、ユーザの腕の上でのジェスチャなど）と相互に関連する。
【００４８】
入力インタプリタ２５０は、主装置１０５に送信されるべき特定の入力を選択するための基礎として、超音波信号プロファイルを使用する。以下でさらに説明するように、例示的な実装によれば、入力インタプリタ２５０は、超音波信号プロファイルを、超音波信号プロファイルを記憶するデータベースと比較する。さらに、入力インタプリタ２５０は、加速度計２４５からデータを受信する。入力インタプリタ２５０は、ボディタッチユーザアクションのモード（例えば、ユーザの肢が弛緩状態である、収縮状態である、など）を判断するための基礎として、このデータを使用する。入力インタプリタ２５０は、以下でさらに説明するように、特定の入力を選択するための基礎としてモードを使用する。
【００４９】
例示的な実施形態によれば、入力インタプリタ２５０は、事前訓練される（ｐｒｅ−ｔｒａｉｎｅｄ）機械学習アルゴリズムを含む。例えば、事前訓練される機械学習アルゴリズムは、異なる筋肉量、ＢＭＩ（ｂｏｄｙ  ｍａｓｓ  ｉｎｄｅｘ）、年齢、身長、及び／又は他の身体的特性を有し得る、様々なユーザのサンプル空間に基づいてもよい。事前訓練される機械学習アルゴリズムは、受信した超音波信号プロファイルに基づいて、特定の入力を判断する。別の例示的な実施形態によれば、入力インタプリタ２５０は、ユーザ毎に、受信した超音波信号を調整し、識別し、特定の入力にマッピングするために訓練され得る、機械学習アルゴリズムを含む。前述したように、入力インタプリタ２５０は、受信した超音波信号及び加速度計の値を入力にマッピングするために、データベースを記憶し、使用してもよい。例示的なデータベースについては、以下で説明する。
【００５０】
図２Ｃは、例示的なデータベース２６０を示す図である。図示するように、データベース２６０は、信号値フィールド２６１、加速度計フィールド２６３、モードフィールド２６５、入力フィールド２６７、アプリケーションフィールド２６９を含む。超音波装置１１０のユーザが、訓練プロセスを受けているかどうか（超音波装置１１０が、事前訓練されているのに対して）に依存して、データベース２６０に記憶されたデータは、他のユーザから得られるデータなどの代わりに、超音波装置１１０の使用を通じて得られる実際の値及びユーザによって行われるアクションに対応してもよい。当然ながら、超音波装置１１０は、事前訓練された値を使用するが、カレントユーザが（例えば、性能を補い、又は微調整するために）訓練プロセスを受けることも可能にする、これらの方法の組み合わせが実行されてもよい。
【００５１】
信号値フィールド２６１は、超音波受信機２４０を介して受信した超音波信号の特性を示すデータを記憶する。例えば、信号値フィールド２６１は、超音波信号のシグニチャ又はプロファイルを示すデータを記憶する。シグニチャ又はプロファイルは、超音波信号の周波数、振幅、位相、持続時間、及び／又は伝播特性を示してもよい。信号値フィールド２６１は、また、ユーザアクションデータを示してもよい。例えば、ユーザアクションデータは、アクションの種類（例えば、タップ、ジェスチャなど）、アクションの位置、アクションの圧力、アクションの始まり、アクションの終わりなどの、ユーザによって行われるアクションの特性を示す。
【００５２】
加速度計フィールド２６３は、加速度計２４５から受信するデータを記憶する。例えば、加速度計フィールド２６３は、筋肉の収縮によって生じるモードのシグニチャ又はプロファイルを示すデータを記憶する。さらなる例として、ユーザが筋肉を収縮させるとき、筋振戦が発生する。筋振戦のシグニチャが、加速度計フィールド２６３内のデータによって示されてもよい。前述したように、ユーザの筋肉収縮の複数の度合い又はレベルがあってもよく、それが、弛緩状態に加えて複数の動作モードを可能にしてもよい。また、筋振戦は、超音波よりも非常に低い周波数帯（例えば、約１〜２０Ｈｚ）にあるため、例えばローパスフィルタを使用して、干渉を容易にフィルタリングすることができる。
【００５３】
モードフィールド２６５は、動作モードを示すデータを記憶する。例えば、モードは、弛緩状態又は収縮状態を示してもよい。代替的に、モードは、弛緩状態、又は複数の収縮状態のうちの１つを示してもよい。さらに、モードは、特定の時間内（例えば、１秒より短い間、１秒又は複数秒の間）の弛緩状態から収縮状態へ、又はその逆への移行を示してもよい。
【００５４】
入力フィールド２６７は、入力を示すデータを記憶する。入力は、主装置１０５の動作を制御するために使用され得る。即ち、入力は、主装置１０５上でユーザによって別の方法で実行され得る任意の入力に対応してもよい。幅広い種類の入力が利用可能な場合、入力は、マウス入力（例えば、シングルクリック、ダブルクリック、左ボタンクリック、右ボタンクリックなど）、キーボード入力（例えば、エンター、デリート、エスケープなど）、タッチディスプレイ上のジェスチャ（例えば、タップ、ドラッグなど）などに対応してもよい。入力は、アプリケーション固有又は大域的であってもよい。例えば、アプリケーション固有の入力は、メディアプレーヤの音量を変更する入力であってもよい。別の例によれば、大域的入力は、主装置１０５の様々なアプリケーションに適用し得る、マウスクリック又はエンターコマンドであってもよい。
【００５５】
アプリケーションフィールド２６９は、入力が関係するアプリケーションを示すデータを記憶する。例えば、入力は、電話アプリケーションの着信音の音量、又はメディアプレーヤアプリケーションの音量を制御するためであってもよい。
【００５６】
図２Ｂに戻って参照すると、通信インタフェース２５５は、超音波装置１１０が、他の装置、ネットワーク、システムなどと通信することを可能にする。例えば、通信インタフェース２５５は、主装置１０５との通信を可能にする。通信インタフェース２５５は、１つ又は複数の無線インタフェース及び有線インタフェースを含んでもよい。通信インタフェース２２０は、１つ又は複数の送信機、受信機及び／若しくは送受信機を含んでもよい。通信インタフェース２２０は、１つ又は複数のプロトコル、通信標準及び／若しくはそれに類するものに従って動作する。
【００５７】
他の実施形態によれば、超音波装置１１０は、図２Ｂに記載したものよりも少ないコンポーネントを含む。例えば、主装置１０５は、データベース２６０を記憶してもよく、及び／又は超音波装置１１０から主装置１０５に送信されたデータ（例えば、超音波データ、加速度計データ）に基づいて入力を判断してもよい。超音波主装置１２５は、図２Ａ及び図２Ｂに関連して説明したように、コンポーネントの組み合わせを含んでもよい。
【００５８】
図３は、超音波装置１１０を使用した例示的なシナリオを示す図である。記載したシナリオによれば、ユーザ１１５は、ケース３０５内で主装置１０５を持ち運んでいると仮定する。一方、他のシナリオによれば、ユーザ１１５は、（例えば、図１Ａに示すように）主装置１０５を手に持っていることもある。代替的に、ユーザ１１５は、主装置１０５を持ち運んでおらず、単に主装置１０５の近くにいてもよい。例えば、主装置１０５は、スマートテレビ、又は他の種類のユーザ装置に対応してもよい。
【００５９】
例示的なユースケースによれば、ユーザ１１５は、ジョギングしており、イヤーピースを介して主装置１０５で音楽を聴いていると仮定する。ジョギングの間、ユーザ１１５は、主装置１０５上で音楽を再生しているメディアプレーヤの音量を調節したいと考える。この状況によれば、ユーザ１１５は、拳を固く握り、スライドジェスチャを行うことを決定する。入力インタプリタ２５０は、超音波受信機２４０及び加速度計２４５から値を取得し、データベース２６０を使用して主装置１０５に送信されるべき入力を判断する。この場合、入力は、メディアプレーヤの音量を下げることである。超音波装置１１０は、通信インタフェース２５５を介した入力信号を、Ｂｌｕｅｔｏｏｔｈ又は他の適当な短距離若しくは近距離通信リンクを介して、主装置１０５に送信する。主装置１０５は、通信インタフェース２２０を介して入力信号を受信する。主装置１０５のメディアプレーヤは、超音波装置１１０から入力信号を受信することに基づいて、音量を下げる。
【００６０】
別の例示的なユースケースによれば、ユーザ１１５は、会議に入るところであり、電話着信を消音したいと考えると仮定する。この状況によれば、ユーザの左腕が弛緩状態にある間に、ユーザ１１５は、自分の左手をダブルタップする。前述したのと同様のやり方で、超音波装置１１０は、ユーザのアクション及びモードを解釈する。それに応じて、超音波装置１１０は、適切な入力を判断する。超音波装置１１０は、入力信号を生成し、通信インタフェース２５５を介して入力信号を主装置１０５に送信する。主装置１０５は、入力信号を受信し、入力信号は、主装置１０５に電話着信を消音させる。
【００６１】
前述したように、モーダルボディタッチセンシングは、ユーザが、従来の単一モードのボディタッチセンシングと比較して増加した数の入力を利用することを可能にする。例えば、弛緩モード、収縮モード（又はその度合い）、及びあるモードから別のモードへの移行は、各モードにおいてユーザが行い得る利用可能なアクションに結び付けられるインタラクションの様々なモダリティをユーザに提示する。さらに、前述したように、収縮モード又はその度合いは、超音波信号の伝播特性、及び／又は加速度計２４５に基づいて判断されてもよい。
【００６２】
さらに、ユーザは、使用する超音波装置１１０の扱いにくい「アクティブ化」フェーズをスキップしてもよい。その場合、ユーザは、主装置１０５及び／又は超音波装置１１０上の超音波センシングを、手動でアクティブ化及び非アクティブ化しなければならない。むしろ、ユーザは、ボディタッチセンシングを動作させる故意のアクションを行ってもよい。例えば、ユーザは、自分の腕を弛緩状態にしてもよく、弛緩状態は、「ロックされた」又は「休止した」ボディセンシング状態に対応する。ユーザは、拳を固く握ること、又はその他のアクションによって、ボディセンシングをアクティブ化してもよく、その結果、ユーザのアクションが解釈され得る。代替的に、図３のシナリオに記載したように、ボディセンシングは、常に「オン」状態にあってもよい。
【００６３】
図１Ｂに戻って参照すると、前述したように、超音波主装置１２５は、超音波装置１１０を含む。さらに、超音波主装置１２５は、ユーザのオンボディインタラクションに応答する、１つ又は複数のエンドユーザアプリケーション若しくはサービスを含む。例えば、主装置１２５は、電話アプリケーション、ウェブブラウザ、及び／又は主装置１０５上で動作し得るその他のアプリケーション若しくはサービスを含んでもよい。超音波主装置１２５が超音波信号を解釈し、モードなどを判断し、入力を判断するプロセスは、超音波装置１１０に関連して前述したのと同一であってもよい。この場合でも、超音波装置１１０について前述したように、通信インタフェース２５５を介して主装置１０５へ入力を送信する必要はない。
【００６４】
図４は、モーダルボディタッチセンシングを提供する、例示的なプロセス４００を示すフロー図である。プロセス４００に記載するステップ又は動作は、超音波装置１１０の１つ又は複数のコンポーネントによって実行されてもよい。例えば、プロセッサ２０５は、ソフトウェア２１５を実行して、記載されたステップを実行してもよい。プロセス４００によれば、超音波装置１１０は、訓練されており、超音波イベント及び加速度計データを受信することに基づいて、入力を選択することができると仮定する。さらに、プロセス４００によれば、超音波装置１１０が腕輪装置であると仮定する。
【００６５】
図４を参照すると、ブロック４０５で、超音波イベントが検出される。例えば、超音波受信機２４０は、超音波信号を受信する。
【００６６】
ブロック４１０で、モードが検出される。例えば、加速度計２４５は、運動を検出する。加速度計２４５からの運動データは、ユーザの肢の弛緩状態、ユーザの肢の収縮状態、収縮の度合い、又はある状態から別の状態への移行などの、特定のモードを示してもよい。
【００６７】
ブロック４１５で、超音波イベント及びモードに基づいて、入力が選択される。例えば、入力インタプリタ２５０は、超音波信号特性（複数可）及び加速度計２４５からの運動データを使用して、適切な入力を選択する。例えば、入力インタプリタ２５０は、データベース２６０を使用して、受信したデータに基づき入力を選択する。
【００６８】
ブロック４２０で、入力は、主装置に送信される。例えば、入力インタプリタ２５０は、入力信号を生成する。入力インタプリタ２５０は、通信インタフェース２５５を介して入力信号を主装置１０５に送信する。
【００６９】
ブロック４２５で、入力は、主装置によって受信される。例えば、主装置１０５は、通信インタフェース２２０を介して入力信号を受信する。
【００７０】
ブロック４３０で、主装置は、入力に応答する。例えば、主装置１０５は、入力に応答する。例えば、主装置１０５は、入力を実行し、入力は一方で、主装置１０５にいくつかのアクションを実行させる。
【００７１】
図４は、モーダルボディタッチセンシングを提供する例示的なプロセス４００を示しているが、プロセス４００は、図４に示し、かつ説明したものよりも、追加の動作、少ない動作、及び／又は異なる動作を含んでもよい。例えば、超音波主装置１２５は、入力信号が送信される必要がなくてもよいことなどを除く、プロセス４００を実行してもよい。
【００７２】
前述の実施形態の説明は、例示であり、網羅的であること又は開示された正確な形態に実施形態を限定することを意図するものではない。したがって、本明細書に記載する実施形態に対する修正が可能であってもよい。例えば、超音波装置１１０及び／又は超音波主装置１２５は、ジャイロスコープを含んでもよい。ジャイロスコープは、方位データを提供してもよい。このように、複数のモードに加えて、方位が、利用可能な入力に別の面を加えてもよい。例えば、超音波装置１１０は、ユーザの腕が、弛緩してユーザ側に下がっているか、弛緩して外側に伸びているかということを検出してもよい。これらの違いに基づいて、異なる種類の入力がマッピングされてもよい。
【００７３】
「ａ」、「ａｎ」、及び「ｔｈｅ」という用語は、１つ又は複数の項目を含むように解釈されることが意図される。さらに、「に基づく」という句は、明示的に特段の記載がない限り、「少なくとも部分的に基づく」と解釈されることが意図される。「及び／又は」という用語は、関連する項目のうち１つ又は複数の、いずれかの組み合わせ及び全ての組み合わせを含むように解釈されることが意図される。
【００７４】
加えて、一連のブロックは、図４に示すプロセスに関して説明されるが、ブロックの順序は、他の実施形態に従って修正されてもよい。さらに、非依存ブロックは、並列に実行されてもよい。さらに、本説明に記載された他のプロセスは、修正されてもよく、及び／又は非依存動作は、並列に実行されてもよい。
【００７５】
本明細書に記載した実施形態は、多くの異なる形態のソフトウェア、ファームウェア、及び／又はハードウェアにおいて実装されてもよい。例えば、プロセス又は機能は、「ロジック」又は「コンポーネント」として実装されてもよい。このロジック又はこのコンポーネントは、ハードウェア（例えば、プロセッサ２０５、専用プロセッサ（図示せず）など）、又はハードウェア及びソフトウェア（例えば、ソフトウェア２１５）の組み合わせを含んでもよい。ソフトウェアは、本明細書の説明及び添付図面に基づいて実施形態を実装するように設計され得るため、実施形態は、特定のソフトウェアコードを参照することなく説明されている。
【００７６】
さらに、本明細書に記載した実施形態は、命令、プログラムコード、データ構造、プログラムモジュール、アプリケーションなどの、データ及び／又は情報を記憶する非一時的記憶媒体として実装されてもよい。例えば、非一時的記憶媒体は、メモリ／記憶装置２１０に関連して説明した記憶媒体のうちの１つ又は複数を含む。
【００７７】
「備える（ｃｏｍｐｒｉｓｅ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、又は「備えている（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、それらの類義語（例えば、含む（ｉｎｃｌｕｄｅ）など）と同様、明細書で使用される際には、記載する特徴、整数、ステップ、又はコンポーネントの存在を特定することを意味するが、１つ又は複数の他の特徴、整数、ステップ、コンポーネント、又はそれらの群の存在又は追加を排除するものではない。言い換えると、これらの用語は、限定ではなく包含として解釈されるべきである。
【００７８】
上記明細書では、様々な実施形態について、添付図面を参照して説明した。しかしながら、以下に続く特許請求の範囲で述べる発明のより広い範囲から逸脱することなく、様々な修正及び変更がそれらに対して行われてもよく、追加の実施形態が、実装されてもよい。明細書及び図面は、それに応じて、限定的ではなく例示的であると見なされるものとする。
【００７９】
明細書及び図面による例示において、「例示的な実施形態」、「一実施形態」、「実施形態」などに対して参照が行われており、それは、実施形態（複数可）に関連する特定の特徴、構造又は特性を含んでもよい。しかしながら、明細書中の様々な場所での「一実施形態」、「実施形態」などの句又は用語の使用は、必ずしも記載した全ての実施形態を指すものではなく、必ずしも同一の実施形態を指すものでもなく、別々の又は代替の実施形態が、必ずしも他の実施形態（複数可）を相互に排除するものでもない。同じことが、「実装（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、「実装（ｉｍｐｌｅｍｅｎｔａｔｉｏｎｓ）」などの用語にも適用される。
【００８０】
本出願に記載されたいかなる要素、動作、又は命令も、明示的にそのように記載されない限り、明細書に記載された実施形態に対し重要なもの又は不可欠なものと解釈されるべきではない。
【図１Ａ】
0006353160.tif 000002
【図１Ｂ】
0006353160.tif 000003
【図２Ａ】
0006353160.tif 000004
【図２Ｂ】
0006353160.tif 000005
【図２Ｃ】
0006353160.tif 000006
【図３】
0006353160.tif 000007
【図４】
0006353160.tif 000008