(57)【要約】【課題】制御可能な接続装置とともに使用するための、ウェアラブル電子装置が開示される。【解決手段】このウェアラブル電子装置は、たとえばユーザの前腕に装着されたバンドを備え、このバンドは、少なくとも１つの筋活動センサ、少なくとも１つの慣性センサ、および各センサに通信するように結合されたプロセッサを備える。オンボードプロセッサが、筋活動センサによって検出される筋活動、および慣性センサによって検出される動きに基づいて、ユーザが実行する複数のジェスチャを識別するように動作可能である。ジェスチャを識別するのに応答して、ウェアラブル電子装置は、１つまたは複数の信号を無線で伝送して、制御可能な接続装置と対話する。【選択図】図３
2019023941.tif 000002
【特許請求の範囲】
【請求項１】
使用時にユーザが身につけるバンドと、
前記バンドによって保持される筋電図検査（ＥＭＧ）センサを含む少なくとも１つの筋活動センサであって、使用時に前記ユーザが第１の物理的なジェスチャを実行するのに応答して筋活動を検出し、前記検出された筋活動に応答して少なくとも１つの信号を供給するための少なくとも１つの筋活動センサと、
前記バンドによって保持される少なくとも１つの慣性センサであって、使用時に前記ユーザが前記第１の物理的なジェスチャとは異なる第２の物理的なジェスチャを実行するのに応答して動きを検出し、前記検出された動きに応答して少なくとも１つの信号を供給するための少なくとも１つの慣性センサと、
前記バンドによって保持されるプロセッサであって、前記少なくとも１つの筋活動センサおよび前記少なくとも１つの慣性センサと通信するように結合され、使用時に、前記少なくとも１つの筋活動センサが供給する少なくとも１つの信号のみに基づいて前記ユーザが実行する前記第１の物理的なジェスチャを識別し、前記少なくとも１つの慣性センサが供給する少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第２の物理的なジェスチャを識別するためのプロセッサと、
を備える、ウェアラブル電子装置。
【請求項２】
前記バンドによって保持され、かつ前記プロセッサに通信するように結合された非一時的なコンピュータ読取り可能記憶媒体をさらに含み、前記非一時的なコンピュータ読取り可能記憶媒体はプロセッサ実行可能な命令を記憶し、前記命令が前記プロセッサによって実行されるとき、前記命令は、
前記少なくとも１つの筋活動センサが供給する少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第１の物理的なジェスチャを前記プロセッサに識別させ、
前記少なくとも１つの慣性センサが供給する少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第２の物理的なジェスチャを前記プロセッサに識別させる、請求項１に記載のウェアラブル電子装置。
【請求項３】
前記非一時的なコンピュータ読取り可能記憶媒体がプロセッサ実行可能な命令を記憶し、前記命令が前記プロセッサによって実行されるとき、前記命令は、
前記少なくとも１つの筋活動センサが供給する少なくとも１つの前記信号のみに基づいて、前記ユーザが実行する前記第１の物理的なジェスチャを識別し、かつ、
前記少なくとも１つの慣性センサが供給する少なくとも１つの前記信号のみに基づいて、前記ユーザが実行する前記第２の物理的なジェスチャを識別するための機械知能法を前記プロセッサに実行させる、請求項２に記載のウェアラブル電子装置。
【請求項４】
前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能な命令には、前記プロセッサによって実行されるとき、前記ユーザによって実行される前記第１の物理的なジェスチャまたは前記ユーザによって実行される前記第２の物理的なジェスチャを、隠れマルコフモデル、および／または長短期ニューラルネットのうちの少なくとも１つに基づいて前記プロセッサに分類させるプロセッサ実行可能な命令が含まれる、請求項３に記載のウェアラブル電子装置。
【請求項５】
前記非一時的なコンピュータ読取り可能記憶媒体に記憶された前記プロセッサ実行可能な命令には、前記プロセッサによって実行されるとき、前記ユーザの腕に着用したウェアラブル電子装置の位置または方向にかかわらず、前記ユーザの前記腕の中の筋肉に対する前記少なくとも１つの筋活動センサの位置を識別するための較正ルーチンを、前記プロセッサに実行させるプロセッサ実行可能な命令が含まれる、請求項２に記載のウェアラブル電子装置。
【請求項６】
前記バンドによって保持される無線送信機であって、前記プロセッサと通信するように結合され、使用時に、前記ユーザが実行する前記第１の物理的ジェスチャまたは前記ユーザが実行する前記第２の物理的ジェスチャを前記プロセッサが識別するのに応答して、少なくとも１つの信号を無線で伝送する無線送信機をさらに備える、請求項１に記載のウェアラブル電子装置。
【請求項７】
前記少なくとも１つの筋活動センサが、機械式筋運動記録（ＭＭＧ）センサを備える、請求項１に記載のウェアラブル電子装置。
【請求項８】
前記少なくとも１つの筋活動センサが、複数の筋電図検査（ＥＭＧ）センサを備える、請求項１に記載のウェアラブル電子装置。
【請求項９】
前記バンドによって保持される触覚フィードバックモジュールであって、使用時に触覚フィードバックを前記ユーザに提示する触覚フィードバックモジュールをさらに備える、請求項１に記載のウェアラブル電子装置。
【請求項１０】
前記バンドが伸張可能である、請求項１に記載のウェアラブル電子装置。
【請求項１１】
前記バンドによって保持される少なくとも１つの追加構成部品であって、前記少なくとも１つの筋活動センサと通信するように結合された増幅回路、前記少なくとも１つの筋活動センサと通信するように結合されたフィルタリング回路、前記少なくとも１つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路、および前記プロセッサに電気的に結合された電池からなる群から選択される少なくとも１つの追加構成部品をさらに備える、請求項１に記載のウェアラブル電子装置。
【請求項１２】
前記少なくとも１つの慣性センサが、加速度計、ジャイロスコープ、および慣性測定ユニット（ＩＭＵ）からなる群から選択される少なくとも１つの慣性センサを備える、請求項１に記載のウェアラブル電子装置。
【請求項１３】
前記バンドによって保持される前記プロセッサが、使用中に、
前記ユーザによって実行される前記第１の物理的なジェスチャを、少なくとも前記第１の物理的なジェスチャの第１の解釈および前記第１の物理的なジェスチャの第２の解釈として解釈し、前記第１の物理的なジェスチャの前記第１の解釈および前記第１の物理的なジェスチャの前記第２の解釈は異なるジェスチャを表しており、
前記第１の物理的なジェスチャの前記第１の解釈および前記第１の物理的なジェスチャの前記第２の解釈の一方を選択するための前記ユーザからの入力を要求する、
請求項１に記載のウェアラブル電子装置。
【請求項１４】
前記バンドによって保持される前記プロセッサが、使用中に、
前記ユーザによって実行される前記第２の物理的なジェスチャを、少なくとも前記第２の物理的なジェスチャの第１の解釈および前記第２の物理的なジェスチャの第２の解釈として解釈し、前記第２の物理的なジェスチャの前記第１の解釈および前記第２の物理的なジェスチャの前記第２の解釈は異なるジェスチャを表しており、
前記第２の物理的なジェスチャの前記第１の解釈および前記第２の物理的なジェスチャの前記第２の解釈の一方を選択するための前記ユーザからの入力を要求する、
請求項１に記載のウェアラブル電子装置。
【請求項１５】
ウェアラブル電子装置を動作させる方法であって、前記ウェアラブル電子装置が、ユーザが装着するバンド、前記バンドによって保持される筋電図検査（ＥＭＧ）センサを含む少なくとも１つの筋活動センサ、前記バンドによって保持される少なくとも１つの慣性センサ、および、前記バンドによって保持されるプロセッサであって、前記少なくとも１つの筋活動センサおよび前記少なくとも１つの慣性センサと通信するように結合されたプロセッサを備え、前記方法が、
前記ウェアラブル電子装置の前記バンドによって保持される少なくとも１つの筋活動センサによって、前記ユーザが第１の物理的なジェスチャを実行するのに応答して筋活動を検出するステップと、
前記検出された筋活動に応答して、少なくとも１つの筋活動センサから前記プロセッサに少なくとも１つの信号を供給するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される少なくとも１つの慣性センサによって、前記ユーザが前記第１の物理的なジェスチャとは異なる第２の物理的なジェスチャを実行するのに応答して動きを検出するステップと、
前記検出された動きに応答して、少なくとも１つの慣性センサから前記プロセッサに少なくとも１つの信号を供給するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの筋活動センサによって供給される前記少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される前記少なくとも１つの信号を処理するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの筋活動センサによって供給される前記少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第１の物理的なジェスチャを識別するステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの慣性センサによって供給される前記少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第２の物理的なジェスチャを識別するステップと、
を含む、方法。
【請求項１６】
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの筋活動センサによって供給される前記少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される前記少なくとも１つの信号を処理するステップが、分類子、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの少なくとも１つまたは複数を利用して、少なくとも１つの筋活動センサによって供給される前記少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される前記少なくとも１つの信号を処理するステップを含む、請求項１５に記載の方法。
【請求項１７】
前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ前記プロセッサと通信するように結合された無線送信機を備え、前記方法がさらに、
前記ユーザが実行する前記第１の物理的ジェスチャまたは前記ユーザが実行する前記第２の物理的ジェスチャを前記プロセッサが識別するのに応答して、少なくとも１つの信号を無線で伝送するステップ
を含む、請求項１５に記載の方法。
【請求項１８】
前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合された増幅回路を備え、前記方法がさらに、
少なくとも１つの筋活動センサから前記プロセッサに、前記少なくとも１つの信号を供給する前に、前記増幅回路によって少なくとも１つの筋活動センサからの前記少なくとも１つの信号を増幅するステップ
を含む、請求項１５に記載の方法。
【請求項１９】
前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合されたフィルタリング回路を備え、前記方法がさらに、
少なくとも１つの筋活動センサから前記プロセッサに、前記少なくとも１つの信号を供給する前に、前記フィルタリング回路によって少なくとも１つの筋活動センサからの前記少なくとも１つの信号をフィルタリングするステップ
を含む、請求項１５に記載の方法。
【請求項２０】
前記ウェアラブル電子装置がさらに、前記バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路を備え、前記方法がさらに、
少なくとも１つの筋活動センサから前記プロセッサに、前記少なくとも１つの信号を供給する前に、前記アナログ・デジタル変換回路によって少なくとも１つの筋活動センサからの前記少なくとも１つの信号を、アナログ信号からデジタル信号に変換するステップ
を含む、請求項１５に記載の方法。
【請求項２１】
前記少なくとも１つの筋活動センサが、複数の筋電図検査（ＥＭＧ）センサを備える、請求項１５に記載の方法。
【請求項２２】
前記ウェアラブル電子装置がさらに、前記バンドによって保持される触覚フィードバックモジュールであって、前記プロセッサと通信するように結合された振動モータを含む触覚フィードバックモジュールを備え、前記方法がさらに、前記ユーザが実行する物理的なジェスチャを前記プロセッサが識別するのに応答して、前記振動モータによって触覚フィードバックを前記ユーザに提示するステップを含む、請求項１５に記載の方法。
【請求項２３】
前記ユーザの腕に着用した前記ウェアラブル電子装置の位置や方向に関係なく前記プロセッサによって、前記ユーザの腕の中の筋肉に対する前記少なくとも１つの筋活動センサの位置を識別するための較正ルーチンを実行するステップ、
をさらに含む、請求項１５に記載の方法。
【請求項２４】
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの筋活動センサによって供給される前記少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第１の物理的なジェスチャを識別するステップは、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、前記ユーザによって実行される前記第１の物理的ジェスチャを、少なくとも前記第１の物理的ジェスチャの第１の解釈および前記第１の物理的ジェスチャの第２の解釈として解釈するステップであって、前記第１の物理的ジェスチャの前記第１の解釈および前記第１の物理的ジェスチャの前記第２の解釈は異なるジェスチャを表す、ステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、前記第１の物理的ジェスチャの前記第１の解釈および前記第１の物理的ジェスチャの前記第２の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
を含む、請求項１５に記載の方法。
【請求項２５】
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、少なくとも１つの慣性センサによって供給される前記少なくとも１つの信号のみに基づいて、前記ユーザが実行する前記第２の物理的なジェスチャを識別するステップは、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、前記ユーザによって実行される前記第２の物理的ジェスチャを、少なくとも前記第２の物理的ジェスチャの第１の解釈および前記第２の物理的ジェスチャの第２の解釈として解釈するステップであって、前記第２の物理的ジェスチャの前記第１の解釈および前記第２の物理的ジェスチャの前記第２の解釈は異なるジェスチャを表す、ステップと、
前記ウェアラブル電子装置の前記バンドによって保持される前記プロセッサによって、前記第２の物理的ジェスチャの前記第１の解釈および前記第２の物理的ジェスチャの前記第２の解釈の一方を選択するための前記ユーザからの入力を要求するステップと、
を含む、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の方法および装置は概して、人間−エレクトロニクスインターフェースに関し、より詳細には、筋活動センサ信号と慣性センサ信号とを結合して、ジェスチャに基づいて電子装置を制御するウェアラブル電子装置に関する。
【背景技術】
【０００２】
ウェアラブル電子装置
現在では、世界中のほとんどで、電子装置が当たり前のものとなっている。集積回路技術の進歩によって、ユーザが身につけるのに十分小さくて軽量な電子装置の開発が可能になってきた。このような「携帯型」電子装置は、オンボード電源（電池または他の電源システムなど）を含んでもよく、他の電子システムとの有線接続なしで動作するよう設計してもよいが、小さくて軽量な電子装置は、他の電子システムとの有線接続を備えていても、やはり携帯型とみなしてもよい。たとえば、マイクロホンは、無線でまたは有線接続を介して動作しているかにかかわらず、携帯型電子装置とみなしてよい。
【０００３】
電子装置の携帯性によってもたらされる利便性が、巨大な産業を育成してきた。スマートフォン、オーディオプレーヤ、ラップトップコンピュータ、タブレットコンピュータ、ｅブックリーダは全て、携帯型電子装置の例である。しかし、携帯型電子装置を身につけることのできる利便性によって、その装置自体が人の手を煩わすという不都合も生じている。電子装置を携帯型だけでなくウェアラブルにすることによって、この問題に対処する。
【０００４】
ウェアラブル電子装置は、物理的に握ったり、掴んだり、または他に装置を自分の手に保持することなくユーザが身につけることのできる、任意の携帯型電子装置である。たとえば、ウェアラブル電子装置は、１つまたは複数のストラップ、１つまたは複数のバンド、１つまたは複数のクリップ、接着剤、ピンおよび留め具、衣類、張力支持体または弾性支持体、締まりばめ、人間工学的な形状などで、ユーザに装着または結合してもよい。ウェアラブル電子装置の例には、デジタル腕時計、電子アームバンド、電子リング、電子足首ブレスレットすなわち「アンクレット」、ヘッドマウント型電子表示装置、補聴器などが含まれる。
【０００５】
筋電図検査装置
筋電図検査（「ＥＭＧ」）は、筋活動によって生成された電気信号を検出し処理するためのプロセスである。ＥＭＧ装置は、筋活動に関わる電位の範囲（典型的にはμＶ〜ｍＶ）に応答するＥＭＧセンサを利用する。ＥＭＧ信号は、医療用の監視および診断、筋リハビリテーション、運動および訓練、人工装具の制御を含め、広範囲の用途で使用することができ、電子装置の機能を制御するのにも使用することができる。
【０００６】
人間−エレクトロニクスインターフェース
ウェアラブル電子装置は、（音声再生、データ表示、計算機能など）直接の機能をユーザに提供してもよく、またはユーザが、別の電子装置と対話し、そこから情報を受け取り、またはそれを制御することを可能にする人間−エレクトロニクスインターフェースを実現する電子装置を提供してもよい。本明細書および添付の特許請求の範囲全体を通して、人間−エレクトロニクスインターフェースの一例として、人間−コンピュータインターフェース（「ＨＣＩ」）が使用される。本発明の方法および装置は、ＨＣＩに適用してもよいが、人間−エレクトロニクスインターフェースの他の任意の形式に適用してもよい。
【０００７】
近年になって、様々な制御用途で使用するのに、人間−コンピュータインターフェース、すなわちＨＣＩの必要性が増してきた。これまで注目を集めてきたＨＣＩ向け技術の一例は、ｓＥＭＧ（表面筋電図検査）と呼ばれる、皮膚の表面を通して筋活動を検知して、ユーザが実行する手および／または腕のジェスチャを検出するものである。たとえば、ＥＭＧセンサを含む装置をユーザの手首または前腕に装着し、それを使用して、筋活動によって生成される電気信号を検出してもよい。パターン認識アルゴリズムを使用して、電気データを解析して、ユーザが実行した物理的なジェスチャを識別する。この技術の包括的概要およびその限界が、米国特許第８，１７０，６５６号明細書に示してある。
【０００８】
ジェスチャ検知装置が経済的に採算がとれるようにするためには、この装置は、ジェスチャ検出速度が非常に高く、製造コストが相対的に低くなければならない。１つの限界は、ｓＥＭＧベースのセンサが、動作状態の変動の影響を非常に受けやすく、ｓＥＭＧセンサが生成する信号が、皮膚の発汗、体毛の量、および皮膚の脂肪含有量などの変数に影響される可能性があることである。こうした理由のため、ただｓＥＭＧセンサのみを使用して、高いジェスチャ認識速度を実現することは非常に困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、必要なものは、従来技術でのこうした限界を克服する有効なＨＣＩ装置である。
【課題を解決するための手段】
【００１０】
本開示は、人間−コンピュータインターフェース装置に関し、より詳細には、ウェアラブル筋肉制御センサベースの人間−コンピュータインターフェース（ＨＣＩ）に関する。
【００１１】
一実施形態では、ウェアラブル筋肉制御装置は、ユーザの前腕に装着され、複数の容量性筋電図検査（ｃＥＭＧ）センサを備える。有利には、ｃＥＭＧセンサは、ユーザの皮膚との直接接触を必要とせず、したがって、従来技術で使用される表面筋電図検査（ｓＥＭＧ）センサに特徴的な信号変動の影響を受けない。筋肉制御装置はさらに、ユーザの腕の加速度を測定するための加速度計を有する慣性測定ユニット（ＩＭＵ）を備える。筋肉制御装置はさらに、センサから取得した信号をフィルタリングし、処理するためのフィルタリングモジュール、アナログ信号をデジタルに変換するためのアナログ・デジタル変換器、ならびに、処理されたｃＥＭＧ信号およびＩＭＵ信号から、ユーザが実行しているジェスチャを認識するように構成された処理ユニットを含む。
【００１２】
一実施形態では、この装置は、筋肉制御装置から制御入力を受信する接続装置に有線で接続してもよい。あるいは、筋肉制御装置は、１つまたは複数の電池、および接続装置に無線接続するための無線送受信機モジュールを含む。
【００１３】
この装置は、ユーザの前腕の適位置にとどまることができる、伸張可能なバンドの形式をとることが好ましい。この装置はまた、触覚フィードバックをユーザに与えて、事象を確認し、または入力を要求するために使用できる振動モータを含む。
【００１４】
別の実施形態では、ｃＥＭＧセンサとともに他の様々なタイプのセンサを使用して、ユーザが行うジェスチャを検出してもよい。これは、たとえば、収縮時に筋肉が生成する振動を検出するための機械式筋運動記録（ＭＭＧ）センサを備えてもよい。
【００１５】
別の実施形態では、筋肉インターフェース装置が、接続装置またはＨＣＩとともに使用するために、この筋肉インターフェース装置を較正するためのルーチンを有する較正モジュールを備える。
【００１６】
ウェアラブル電子装置は、使用時にユーザが身につけるバンドと、このバンドによって保持される少なくとも１つの筋活動センサであって、使用時にユーザが物理的なジェスチャを実行するのに応答して筋活動を検出し、この検出された筋活動に応答して少なくとも１つの信号を供給するための少なくとも１つの筋活動センサと、バンドによって保持される少なくとも１つの慣性センサであって、使用時にユーザが物理的なジェスチャを実行するのに応答して動きを検出し、この検出された動きに応答して少なくとも１つの信号を供給するための少なくとも１つの慣性センサと、バンドによって保持されるプロセッサであって、少なくとも１つの筋活動センサおよび少なくとも１つの慣性センサと通信するように結合され、使用時に、少なくとも１つの筋活動センサが供給する少なくとも１つの信号と、少なくとも１つの慣性センサが供給する少なくとも１つの信号とのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャを識別するためのプロセッサとを備えるものとして要約することができる。ウェアラブル電子装置は、バンドによって保持され、かつプロセッサと通信するように結合された非一時的なコンピュータ読取り可能記憶媒体をさらに含んでもよく、この非一時的なコンピュータ読取り可能記憶媒体は、プロセッサによって実行されるとき、少なくとも１つの筋活動センサが供給する少なくとも１つの信号と、少なくとも１つの慣性センサが供給する少なくとも１つの信号とのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャをこのプロセッサに識別させるプロセッサ実行可能な命令を記憶する。非一時的なコンピュータ読取り可能記憶媒体は、プロセッサによって実行されるとき、少なくとも１つの筋活動センサが供給する少なくとも１つの信号と、少なくとも１つの慣性センサが供給する少なくとも１つの信号とのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャを識別するための機械知能法をこのプロセッサに実行させるプロセッサ実行可能な命令を記憶してもよい。非一時的なコンピュータ読取り可能記憶媒体に記憶されたプロセッサ実行可能な命令には、プロセッサによって実行されるとき、分類子、隠れマルコフモデル、および／または長短期ニューラルネットのうちの少なくとも１つをこのプロセッサに実施させるプロセッサ実行可能な命令が含まれ得る。
【００１７】
ウェアラブル電子装置は、バンドによって保持される無線送信機であって、プロセッサと通信するように結合され、使用時に、ユーザが実行する物理的ジェスチャをプロセッサが識別するのに応答して、少なくとも１つの信号を無線で伝送する無線送信機をさらに備えてもよい。少なくとも１つの筋活動センサは、筋電図検査（ＥＭＧ）センサ、および機械式筋運動記録（ＭＭＧ）センサからなる群から選択される少なくとも１つの筋活動センサを備えてもよい。少なくとも１つの筋活動センサは、複数の筋電図検査（ＥＭＧ）センサを備えてもよい。
【００１８】
ウェアラブル電子装置は、バンドによって保持される触覚フィードバックモジュールであって、使用時に触覚フィードバックをユーザに提示する触覚フィードバックモジュールをさらに備えてもよい。この触覚フィードバックモジュールは振動モータを備えてもよい。
【００１９】
ウェアラブル電子装置のバンドは伸張可能でもよい。
【００２０】
ウェアラブル電子装置は、バンドによって保持される少なくとも１つの追加構成部品であって、少なくとも１つの筋活動センサと通信するように結合された増幅回路、少なくとも１つの筋活動センサと通信するように結合されたフィルタリング回路、少なくとも１つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路、およびプロセッサに電気的に結合された電池からなる群から選択される少なくとも１つの追加構成部品をさらに備えてもよい。少なくとも１つの慣性センサは、加速度計、ジャイロスコープ、および慣性測定ユニット（ＩＭＵ）からなる群から選択される少なくとも１つの慣性センサを備えてもよい。
【００２１】
ウェアラブル電子装置を動作させる方法であって、このウェアラブル電子装置が、ユーザが装着するバンド、このバンドによって保持される少なくとも１つの筋活動センサ、このバンドによって保持される少なくとも１つの慣性センサ、および、このバンドによって保持されるプロセッサであって、少なくとも１つの筋活動センサおよび少なくとも１つの慣性センサと通信するように結合されたプロセッサを備える方法は、ウェアラブル電子装置のバンドによって保持される少なくとも１つの筋活動センサによって、ユーザが物理的なジェスチャを実行するのに応答して筋活動を検出するステップと、検出された筋活動に応答して、少なくとも１つの筋活動センサからプロセッサに少なくとも１つの信号を供給するステップと、ウェアラブル電子装置のバンドによって保持される少なくとも１つの慣性センサによって、ユーザが物理的なジェスチャを実行するのに応答して動きを検出するステップと、検出された動きに応答して、少なくとも１つの慣性センサからプロセッサに少なくとも１つの信号を供給するステップと、ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される少なくとも１つの信号を処理するステップと、ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される少なくとも１つの信号のうちの少なくとも１つの信号に基づいて、ユーザが実行する物理的なジェスチャを識別するステップとを含むものとして要約することができる。
【００２２】
ウェアラブル電子装置のバンドによって保持されるプロセッサによって、ユーザが実行する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号と少なくとも１つの慣性センサによって供給される少なくとも１つの信号との両方に基づいて、ユーザが実行する物理的なジェスチャを識別するステップを含んでもよい。ウェアラブル電子装置のバンドによって保持されるプロセッサによって、ユーザが実行する物理的なジェスチャを識別するステップは、ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号に基づいて、ユーザが実行する第１の物理的なジェスチャを識別するステップと、ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの慣性センサによって供給される少なくとも１つの信号に基づいて、ユーザが実行する第２の物理的なジェスチャを識別するステップとを含んでもよい。
【００２３】
ウェアラブル電子装置のバンドによって保持されるプロセッサによって、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される少なくとも１つの信号を処理するステップは、分類子、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの少なくとも１つまたは複数を利用して、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される少なくとも１つの信号を処理するステップを含んでもよい。
【００２４】
ウェアラブル電子装置はさらに、バンドによって保持され、かつプロセッサと通信するように結合された無線送信機を備えてもよく、本方法はさらに、ユーザが実行する物理的ジェスチャをプロセッサが識別するのに応答して、少なくとも１つの信号を無線で伝送するステップを含んでもよい。
【００２５】
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合された増幅回路を備えてもよく、本方法はさらに、少なくとも１つの筋活動センサからプロセッサに、少なくとも１つの信号を供給する前に、増幅回路によって少なくとも１つの筋活動センサからの少なくとも１つの信号を増幅するステップを含んでもよい。
【００２６】
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合されたフィルタリング回路を備えてもよく、本方法はさらに、少なくとも１つの筋活動センサからプロセッサに、少なくとも１つの信号を供給する前に、フィルタリング回路によって少なくとも１つの筋活動センサからの少なくとも１つの信号をフィルタリングするステップを含んでもよい。
【００２７】
ウェアラブル電子装置はさらに、バンドによって保持され、かつ少なくとも１つの筋活動センサと通信するように結合されたアナログ・デジタル変換回路を備えてもよく、本方法はさらに、少なくとも１つの筋活動センサからプロセッサに、少なくとも１つの信号を供給する前に、アナログ・デジタル変換回路によって少なくとも１つの筋活動センサからの少なくとも１つの信号を、アナログ信号からデジタル信号に変換するステップを含んでもよい。
【００２８】
少なくとも１つの筋活動センサは、複数の筋電図検査（ＥＭＧ）センサを備えてもよく、ウェアラブル電子装置のバンドによって保持される少なくとも１つの筋活動センサによって、ユーザが物理的なジェスチャを実行するのに応答して筋活動を検出するステップが、ウェアラブル電子装置のバンドによって保持される複数のＥＭＧセンサ内の少なくとも１つのＥＭＧセンサによって、ユーザが物理的なジェスチャを実行するのに応答して筋活動を検出するステップを含んでもよく、検出された筋活動に応答して、少なくとも１つの筋活動センサからプロセッサに少なくとも１つの信号を供給するステップが、検出された筋活動に応答して、複数のＥＭＧセンサ内の少なくとも１つのＥＭＧセンサからプロセッサに少なくとも１つの信号を供給するステップを含んでもよい。
【００２９】
ウェアラブル電子装置はさらに、バンドによって保持される触覚フィードバックモジュールであって、プロセッサと通信するように結合された振動モータを含む触覚フィードバックモジュールを備えてもよく、本方法はさらに、ユーザが実行する物理的なジェスチャをプロセッサが識別するのに応答して、振動モータによって触覚フィードバックをユーザに提示するステップを含んでもよい。
【００３０】
これらの方法および装置の他の特徴ならびに利点は、以下の詳細な説明および添付図面から明らかになろう。しかし、この詳細説明および具体例は、例として提示されたものであり、限定するものではないことを理解されたい。これらの方法および装置の趣旨から逸脱することなく、その範囲内の数多くの修正形態および変更形態を行ってもよく、これらの方法および装置は、こうした修正形態を全て含む。
【００３１】
図面において、同一の参照番号は、同様の要素または動作を識別する。図面中の要素のサイズおよび相対位置は、必ずしも一定の縮尺で描かれてはいない。たとえば、様々な要素の形状および角度は一定の縮尺で描かれてはおらず、これらの要素の一部は、任意に拡大および配置して図面を分かりやすくするようにしている。さらに、描かれた各要素の具体的な形状は、具体的な要素の実際の形状についての情報を伝えるものではなく、もっぱら、図面において認識しやすいように選択されたものである。
【図面の簡単な説明】
【００３２】
【図１】ユーザが、接続装置、ならびに本発明の方法および装置によるウェアラブル電子装置を装着している様子を示す。
【図２Ａ】本発明の方法および装置によるウェアラブル電子装置の詳細図を示す。
【図２Ｂ】ＥＭＧセンサによって検出された電気信号に対応するデータのグラフを示す。
【図３】接続装置と、本発明の方法および装置によるウェアラブル電子装置との間の無線通信を示す。
【図４】ユーザの手および手首のジェスチャが、ウェアラブル電子装置によって制御信号として処理されて、接続装置上に表示されるコンテンツと対話する様子を示す。
【図５】本発明の方法および装置によるウェアラブル電子装置の概略的なシステムアーキテクチャを示す。
【図６】本発明の方法および装置による、オーバラップのあるスライディングウィンドウを有するサンプルを、ジェスチャトレーニングモジュールが利用する様子を示す。
【図７】本発明の方法および装置による、各ノードが互いに異なる分類子を表す階層化決定木を有するパターン認識システムを示す。
【図８】ある一定の閾値を超えるＲＭＳ値について信号チャネルを監視して、ジェスチャ認識を開始する様子を示す。
【図９】本発明の方法および装置によるウェアラブル電子装置を動作させる方法の概略的なフローチャートを示す。
【図１０】本発明の方法および装置によるウェアラブル電子装置を動作させる別の方法を示す流れ図である。
【発明を実施するための形態】
【００３３】
図面において、本発明の方法および装置の実施形態を一例として説明する。説明および図面は、単に説明するためのもの、および理解を促進するものに過ぎず、本発明の方法および装置の限定を規定するものではないことを明確に理解されたい。
【００３４】
以下の説明では、開示された様々な実施形態を完全に理解するため、ある程度の具体的な詳細について述べる。しかし、これら具体的な詳細のうちの１つまたは複数の詳細なしに、または他の方法、構成要素、材料などを用いて実施形態を実施してもよいことが、当業者には理解されよう。他の例では、実施形態の説明を必要以上に曖昧にしないよう、電子装置、具体的にはウェアラブル電子装置などの携帯型電子装置に関連するよく知られた構造は、図示しておらず、または説明していない。
【００３５】
文脈上別の意味に解釈すべき場合を除き、本明細書および以下の特許請求の範囲全体を通して、用語「含む（ｃｏｍｐｒｉｓｅ）」およびその変形形態、たとえば「含む（ｃｏｍｐｒｉｓｅｓ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」などは、「含むが限定されない」という開かれた包括的な意味で解釈すべきである。
【００３６】
本明細書全体を通して、「１つの実施形態（ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎ  ｅｍｂｏｄｉｍｅｎｔ）」と言及する場合、１つまたは複数の実施形態において任意の適切な方式で、具体的な特徴、構造、または特性を組み合わせてもよいことを意味する。
【００３７】
本明細書および添付の特許請求の範囲で使用されているように、単数形「１つの（ａ）」、「１つの（ａｎ）」および「その（ｔｈｅ）」は、文脈から明らかにそうでないことが示されていなければ、複数の参照先を含む。用語「または（ｏｒ）」は一般に、その最も広い意味、すなわち、文脈から明らかにそうでないことが示されていなければ「および／または」の意味として利用されることにも留意されたい。
【００３８】
本明細書において提示される見出しおよび開示内容の要約は、もっぱら便宜上のものであり、実施形態の範囲または意味を説明するものではない。
【００３９】
本発明の方法および装置は概して、人間−コンピュータインターフェース装置に関し、より詳細には、オンボード筋活動センサおよびオンボード慣性センサからの信号を結合して、ジェスチャベースの人間−コンピュータインターフェース（ＨＣＩ）を実現するウェアラブル電子装置に関する。
【００４０】
本明細書および添付の特許請求の範囲全体を通して、用語「ジェスチャ」は一般に、ユーザが実行するか、または他の方法で影響を及ぼす物理的な動作（たとえば、動き、伸び、曲げ、姿勢）に言及するために使用される。ユーザが実行するか、または他の方法で影響を及ぼす任意の物理的な動作であって、検出可能な筋活動（たとえば、少なくとも１つの適切に配置されたＥＭＧセンサによって検出可能）、および／または検出可能な動き（たとえば、少なくとも１つの適切に配置された慣性センサによって検出可能）を伴う物理的な動作が、本発明の方法および装置でのジェスチャを構成してもよい。
【００４１】
ウェアラブル電子装置は、ユーザの腕（たとえば前腕）に装着されるバンドを備える。このバンドは、筋電図検査（ＥＭＧ）センサ［ＴＭ１］など複数の筋活動センサを保持しており、このセンサは、米国仮特許出願第６１／７７１，５００号明細書、米国仮特許出願第６１／９０３，２３８号明細書、および／または米国仮特許出願第６１／９０９，７８６号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細書に援用される。
【００４２】
ＥＭＧ信号は、周波数と振幅の両方で変化する振動波形であり、信号情報の大部分が、たとえば５Ｈｚ〜２５０Ｈｚの周波数帯に含まれてもよい。有利には、本明細書に記載のウェアラブル電子装置で使用されるＥＭＧセンサは、センサボード自体に配置された増幅段を設ける増幅回路を有するという点において能動的である。したがって、ＥＭＧセンサからの信号は、ウェアラブル電子装置の主ロジックボードに（すなわちプロセッサに）送られる前に増幅されて、伝送線路での干渉を最小限に抑えてもよい。
【００４３】
用途によっては、ｃＥＭＧセンサ（すなわち容量性ＥＭＧセンサ）は、ｃＥＭＧ電極内に電荷を誘起する筋活動に容量性結合することによって筋活動を検知し、それによって、皮膚と直接電気接続せずに済むようにしてもよい。したがって、直接電気接続を避けることによって、信号は、直接接続から生じる変動の影響を受けにくくなる。
【００４４】
１つまたは複数の筋活動センサに加えて、本明細書に記載のウェアラブル電子装置はまた、ユーザの腕の動き（たとえば加速度）を測定するための、１つまたは複数の慣性センサ（たとえば、加速度計を含んでもよい）を備える。慣性センサは、３つの自由度（ｘ、ｙ、ｚ方向）での加速度を検知する１つまたは１組の加速度計を備えてもよく、また、ユーザの身体（たとえば前腕）でのウェアラブル電子装置の位置を検知してもよい。慣性センサによって供給される信号を、筋活動センサによって供給される信号と結合して、ウェアラブル電子装置が識別可能なジェスチャの質および／または量を改善してもよい。
【００４５】
本明細書に記載のウェアラブル電子装置はさらに、筋活動センサおよび／もしくは慣性センサによって供給される信号をフィルタリングし、処理するためのフィルタリング回路、ならびに／または筋活動センサおよび／もしくは慣性センサによって供給されるアナログ信号をデジタル信号に変換するためのアナログ・デジタル変換回路を備えてもよい。本明細書に記載のウェアラブル電子装置は、筋活動センサおよび慣性センサによって供給される信号を処理するための、かつ、少なくとも１つの筋活動センサによって供給される少なくとも１つの信号、および少なくとも１つの慣性センサによって供給される少なくとも１つの信号のうちのいずれか、またはその両方に基づいて、ユーザが実行する物理的なジェスチャを識別するためのプロセッサを備える。
【００４６】
本明細書に記載のウェアラブル電子装置は、そこから制御入力を受信する（すなわち、ユーザが実行し、ウェアラブル電子装置が識別する物理的なジェスチャに基づいて）接続装置に有線で接続してもよく、かつ／または本明細書に記載のウェアラブル電子装置は、１つまたは複数の電池、および接続装置に無線接続するための無線送受信機モジュール（たとえば無線送信機）を備えてもよい。
【００４７】
ＥＭＧセンサに加えて、またはそれに代えて、本明細書に記載のウェアラブル電子装置で利用される筋活動センサは、機械式筋運動記録（ＭＭＧ）センサを備えてもよい。
【００４８】
前述の通り、筋活動センサを利用して、ＨＣＩにおいてジェスチャベースの制御を実現する方法および装置は、当技術分野で（たとえば、前述の米国特許第８，１７０，６５６号明細書で）説明されてきた。しかし、筋活動センサには、ジェスチャ検出および識別のために単独で使用する場合、著しい制限および欠点がある。本発明の方法および装置によれば、少なくとも１つのオンボード筋活動センサからの信号と、少なくとも１つのオンボード慣性センサからの信号とを結合して、ユーザが実行している物理的なジェスチャについてのより詳細かつ／またはより区別可能な情報を取り込むウェアラブル電子装置を実装することによって、ＨＣＩでのジェスチャベースの制御を改善することができる。ここで、筋活動センサの制限および欠点のうちのいくつかを説明する。
【００４９】
たとえば、表面筋電図検査（ｓＥＭＧ）センサを使用して、前腕の筋活動を測定してもよい。ｓＥＭＧセンサは通常、ユーザの皮膚と直接接触して、脂肪および皮膚を通してその下にある筋肉から導かれる電気活動を測定し、または下にある筋肉に十分近接して、その筋肉に容量結合する必要がある。ｓＥＭＧには固有の制限がいくつかあり、なぜなら、取得した信号の質が、インピーダンス、発汗、腕の体毛の量、脂肪含有量、数多くの他の属性など、皮膚状態に直接関係するからである。保湿用導電性ゲルを使用すること、皮膚を剃ること、または他の皮膚前処理を実施することによって、皮膚状態が変化する影響を軽減して、このタイプのセンサから信頼性が高く再現性のある信号を得ることができるが、これらは典型的な消費者が使用するウェアラブル電子装置においては望ましくない。
【００５０】
本明細書に記載の様々な実施形態により、剃毛および導電性ゲルなど実用的ではない解決策に訴えることなく筋活動センサの制限に対応するために、１つまたは複数の慣性センサ（たとえば、１つまたは複数の加速度計センサ）をウェアラブル電子装置に内蔵し、これを使用して、たとえばユーザの肘または両肩まで用いて、たとえばユーザが行うさらに大きいジェスチャを表す信号を供給する。（たとえば、手および／または手首で行う）より微妙なジェスチャを検出するために、筋活動センサとともに使用するとき、慣性センサからの情報によって、ジェスチャ識別アルゴリズムの確度を著しく高め、ウェアラブル電子装置が識別できるジェスチャの数を増やすことができる。たとえば、慣性センサは、筋活動センサからの筋活動データとともに、相対的な速度および向きのデータを提供して、具体的な任意のジェスチャに関連するデータの量および多様性を増やすことができる。
【００５１】
たとえば、Ｘｉｏｎｇ  ｅｔ  ａｌ．，“Ａ  Ｎｏｖｅｌ  ＨＣＩ  Ｂａｓｅｄ  ｏｎ  ＥＭＧ  ａｎｄ  ＩＭＵ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２０１１  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｏｂｏｔｉｃｓ  ａｎｄ  Ｂｉｏｍｉｍｅｔｉｃｓ，Ｄｅｃｅｍｂｅｒ  ２０１１のように、筋活動センサによって供給される信号と、慣性センサによって供給される信号とを結合して、ジェスチャ識別を改善するシステムおよび方法が当技術分野で提案されている。しかし、こうした提案の全てが、物理的に全く異なるセンサシステム（たとえば、ユーザの身体上の第１の場所に装着される第１の機器内の１つまたは複数のＥＭＧセンサ、およびユーザの身体上の第２の場所に装着される第２の機器内の１つまたは複数の加速度計であり、ここで、第１の機器および第２の機器は、互いに物理的に、また通信上分離されている）からの信号を結合することを含んでおり、これらのセンサシステムは、共通のオフボードのコンピューティングシステム（すなわち、装着可能ではなく、またはユーザが装着しないコンピューティングシステム）に信号を別々に供給して処理する。オフボードシステムに数多くの別々の有線接続を実施し、またオフボード処理が物理的に全く異なるコンピューティングシステムによって提供される結果として、このような提案は、一般消費者が一般の人間−エレクトロニクスインターフェースとして使用するには嵩張っていて実用的ではないと同時に、制御動作可能な電子／コンピューティング装置の多様性が厳しく制限されるという欠点を有する。本発明の方法および装置は、ジェスチャを検出し、処理し、識別する単一のウェアラブル電子装置に、筋活動センサ、慣性センサ、およびプロセッサ全てを組み込むことによって、これらの欠点を克服し、これらのジェスチャは全て電子装置自体でオンボード処理される。
【００５２】
次に、図面を参照しながら、本発明の方法および装置の教示を組み込むウェアラブル電子装置の説明に役立つ実例を説明する。
【００５３】
本発明の方法および装置による、接続装置コントローラ３００を有する接続装置３１０、およびウェアラブル電子装置２００を着用する、例示的なユーザ１００が図１に示してある。この説明に役立つ実例では、ウェアラブル電子装置２００は、柔軟で、伸縮自在で、かつ／または弾性の（すなわち「伸張可能な」）バンドを備え、図に示すように、これをユーザ１００の前腕に着用してもよい。このバンドは、ウェアラブル電子装置２００のその他の構成部品を保持する（すなわち、それと物理的に結合する）。
【００５４】
図２Ａには、本発明の方法および装置による、図１のウェアラブル電子装置２００の詳細図が示してある。図に示すように、ウェアラブル電子装置２００は伸張可能なバンド２０１を備え、このバンドは、中央処理装置（すなわち「プロセッサ」）２１０と、再充電可能であり、従来通りに同時もしくは順次に利用してもよい１つまたは複数の電池２２０と、ユーザ１００が実行する物理的なジェスチャに応答して筋活動センサ２３０が筋活動を検出することができるよう、２つ以上のセンサ２３０が含まれるときにバンド２０１の周囲に沿って放射状に配置してもよい筋活動センサ２３０と、少なくとも１つの慣性センサ２６０と、無線送信機２５０とを備える。筋活動センサ２３０、慣性センサ２６０、および無線送信機２５０は全て、ウェアラブル電子装置２００に取り付けられたプロセッサ２１０と通信するように結合される。ウェアラブル電子装置２００はさらに、以下でさらに説明する触覚フィードバックを提供するための振動モータまたはアクチュエータ２４０などの触覚フィードバック機構を備えてもよい。
【００５５】
プロセッサ２１０は任意のタイプのプロセッサでもよく、これには、デジタルマイクロプロセッサまたはデジタルマイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、グラフィック処理ユニット（ＧＰＵ）、プログラマブルゲートアレイ（ＰＧＡ）、プログラマブル論理ユニット（ＰＬＵ）が含まれるが、それだけに限定されない。
【００５６】
本発明の方法および装置のウェアラブル電子装置（ここでのウェアラブル電子装置２００は説明に役立つ実例である）に含まれてもよい、さらなる特徴および詳細が、少なくとも以下の文献、すなわち、米国仮特許出願第６１／８５７，１０５号明細書、米国仮特許出願第６１／８６０，０６３号明細書、米国仮特許出願第６１／８２２，７４０号明細書、米国仮特許出願第６１／８６６，９６０号明細書、米国仮特許出願第６１／８６９，５２６号明細書、米国仮特許出願第６１／８７４，８４６号明細書、米国仮特許出願第６１／８８１，０６４号明細書、米国仮特許出願第６１／８９４，２６３号明細書、米国仮特許出願第６１／９１５，３３８号明細書、および／または米国仮特許出願第６１／９４０，０４８号明細書に記載されており、これらのそれぞれは、参照によりその全体が本明細書に援用される。
【００５７】
用途によっては、簡単にするために、ウェアラブル電子装置２００は、腕の適切な位置および向きで装着されるようにマーキングしてもよい。たとえば、ウェアラブル電子装置２００上のマーキングは、前腕の中央上部、およびウェアラブル電子装置２００を装着すべき向きを示してもよい。用途によっては、ウェアラブル電子装置２００は、筋活動センサ２３０の位置決めを特定し、前腕の特定の筋肉の位置に依存する必要がないよう、ジェスチャ識別ための動作に先立って最初に装着するときに較正ルーチンを実行してもよい。
【００５８】
一例として、筋活動センサ２３０は、制御信号を生成するためのユーザ１００の前腕内の電気信号を検出するように構成された、少なくとも１つの容量性ＥＭＧ（ｃＥＭＧ）センサを備えてもよい。ｃＥＭＧは通常、先に述べた他のｓＥＭＧセンサのような、皮膚との直接接触を必要としない。むしろ、ｃＥＭＧセンサは、収縮する筋肉によって生成される電気信号と容量結合しており、皮膚から３ｍｍまでの距離で動作することができる。一例として、ｃＥＭＧ信号は、周波数と振幅の両方で変化する振動波形とすることができ、信号情報の大部分が、たとえば５Ｈｚ〜２５０Ｈｚの周波数帯に含まれてもよい。ｃＥＭＧ信号の説明に役立つ実例が図２Ｂに示してある。
【００５９】
別の例では、筋活動センサ２３０は、下にある筋肉が収縮するときに生成する皮膚表面での振動を測定するための圧電センサを含む、１つまたは複数のＭＭＧセンサを備えてもよい。一例として、生成されるＭＭＧ信号は、周波数と振幅の両方で変化する振動波形でもよく、信号情報の大部分が、たとえば５Ｈｚ〜２５０Ｈｚの周波数帯に含まれてもよい。ＭＭＧ信号は、機械的手段を用いて取得されるため、皮膚のインピーダンスのような電気的な変動は、この信号に影響を及ぼさない。ＭＭＧ信号は、図２Ｂに示すｃＥＭＧ信号の説明に役立つ実例と非常に類似している。
【００６０】
用途によっては、通常、皮膚の発汗および保湿の変化は信号に影響を及ぼさないため、ｃＥＭＧまたはＭＭＧのいずれかまたはその両方が、全日の持続時間にわたって得ることのできる信頼性の高い信号を実現してもよい。
【００６１】
慣性センサ２６０は、ユーザ１００が実行するジェスチャの追加の側面を３つの自由度で検出するための、１つもしくは複数の加速度計センサ、および／または、１つもしくは複数のジャイロスコープセンサを備えてもよい。慣性センサ信号は、それぞれがｘ、ｙ、またはｚ方向いずれかでの加速度を表す、データの３つのデジタルチャネルから構成されてもよい。慣性センサ２６０は、ユーザの腕が曝される加速度の全てに曝されてもよく、全体として身体の動きをさらに組み込んでもよい。一例として、慣性センサ２６０は、複数の加速度計および複数のジャイロスコープを含む複数の慣性センサを備える、ＩｎｖｅｎＳｅｎｓｅ社の９軸ＭＥＭＳ  ＭｏｔｉｏｎＴｒａｃｋｉｎｇ（商標）デバイスであるＭＰＵ−９１５０などの慣性測定ユニット（ＩＭＵ）を備えてもよい。
【００６２】
次に図３を参照すると、ウェアラブル電子装置２００と接続装置３１０および接続装置コントローラ３００との間の無線通信（たとえばＢｌｕｅｔｏｏｔｈ（登録商標））の例が示してある。この例での例示的な接続装置は、ウェアラブルヘッドアップ表示装置である。しかし、この接続装置は、制御入力を受信できる任意の数の装置のうちの１つでもよく、これには、汎用コンピュータ、ロボット、民生用電子装置、携帯電話などが含まれるが、それだけに限定されないことが理解されよう。
【００６３】
ウェアラブル電子装置２００のプロセッサ２１０が、ユーザ１００の実行する物理的なジェスチャを識別するのに応答して、この無線通信を利用して、ウェアラブル電子装置２００から接続装置コントローラ３００に少なくとも１つの信号を伝送する。これが一例として図４に示してあり、ここで、ユーザ１００の手および手首のジェスチャが筋活動センサ２３０および／または慣性センサ２６０によって検出され、これらセンサのそれぞれまたは両方が、プロセッサ２１０によって処理されて、ユーザが実行するジェスチャを識別する少なくとも１つの信号を供給し、このジェスチャを識別するのに応答して、少なくとも１つの信号が送信機２５０によって無線で伝送されて、接続装置３１０上に表示されるコンテンツと対話する。
【００６４】
この具体的な例では、ユーザ１００が実行する物理的なジェスチャ４１０は、人さし指を伸ばすことを含み、これがウェアラブル電子装置２００の筋活動センサ２３０によって検出され、また、手首を曲げる動作４２０を実行することを含み、これがウェアラブル電子装置２００の慣性センサ２６０によって検出される。検出された筋活動および検出された動きに応答して、筋活動センサ２３０および慣性センサ２６０がそれぞれ、ウェアラブル電子装置２００のオンボードプロセッサ２１０に信号を供給する。プロセッサ２１０は、信号を両方とも処理し、その信号の両方に基づいて、ユーザ１００が実行する物理的なジェスチャを識別し、少なくとも１つの制御信号を無線送信機２５０に供給し、この送信機が、制御信号を接続装置３１０に伝送すると、メニューが表示装置３１０上に現れて、下向きにスクロールする。
【００６５】
別の例として、ユーザ１００が実行する同様のジェスチャは、人さし指を伸ばすことを含んでもよく、これがウェアラブル電子装置２００の筋活動センサ２３０によって検出され、また、手首を伸ばす動きを実行することを含んでもよく、これがウェアラブル電子装置２００の慣性センサ２６０によって検出される。検出された筋活動および検出された動きに応答して、筋活動センサ２３０および慣性センサ２６０がそれぞれ、ウェアラブル電子装置２００のオンボードプロセッサ２１０に信号を供給する。プロセッサ２１０は、信号を両方とも処理し、その信号の両方に基づいて、ユーザ１００が実行する物理的なジェスチャを識別し、少なくとも１つの制御信号を無線送信機２５０に供給し、この送信機が、制御信号を接続装置３１０に伝送すると、メニューが表示装置３１０上に現れて、上向きにスクロールする。
【００６６】
さらに別の例として、ユーザ１００が実行する別のジェスチャは、人さし指を伸ばすことを含んでもよく、これがウェアラブル電子装置２００の筋活動センサ２３０によって検出され、また、肘および肩のわずかな動きを有する、突き出す動きを実行することを含んでもよく、これがウェアラブル電子装置２００の慣性センサ２６０によって検出される。検出された筋活動および検出された動きに応答して、筋活動センサ２３０および慣性センサ２６０がそれぞれ、ウェアラブル電子装置２００のプロセッサ２１０に信号を供給する。プロセッサ２１０は、信号を両方とも処理し、その信号の両方に基づいて、ユーザ１００が実行する物理的なジェスチャを識別し、少なくとも１つの制御信号を無線送信機２５０に供給し、この送信機が、制御信号を接続装置３１０に伝送すると、強調表示されたメニュー項目が表示装置３１０上に現れて、選択されることになる。
【００６７】
前述の３つの例のそれぞれでは、少なくとも１つの筋活動センサ２３０によって供給される少なくとも１つの信号と、少なくとも１つの慣性センサ２６０によって供給される少なくとも１つの信号との両方が、プロセッサ２１０によって同時に処理されて、ユーザ１００が実行する物理的なジェスチャを識別する。それぞれの場合で、少なくとも１つの筋活動センサ２３０は、ユーザ１００の人さし指が伸びる動きを検出し、少なくとも１つの慣性センサ２６０は、固有の動き、すなわち手首を曲げる動き、手首を伸ばす動き、および突き出す動きを検出する。ユーザ１００が人さし指を伸ばすこと、および動き（すなわち、手首を曲げ、手首を伸ばし、または突き出す動作）は、単一の物理的なジェスチャの複数の構成要素として、または２つの別々のジェスチャとして処理してもよい。プロセッサ２１０によって、筋活動センサ２３０からの少なくとも１つの信号と、慣性センサ２６０からの少なくとも１つの信号との両方を同時に処理する代わりとして、各信号を順序通りにまたは連続して処理してもよい。たとえば、まず、筋活動センサ２３０からの少なくとも１つの信号がプロセッサ２１０によって処理されて、ユーザ１００が第１のジェスチャ（すなわち、人さし指を伸ばすこと）を実行したことを識別してもよく、次いで、慣性センサ２６０からの少なくとも１つの信号がプロセッサ２１０によって処理されて、ユーザ１００が第２のジェスチャ（すなわち、手首を曲げ、手首を伸ばし、または突き出す動作）を実行したことを識別してもよい。この場合、ユーザ１００がその人さし指を伸ばす動作を実行したと（筋活動センサ２３０からの少なくとも１つの信号に基づいて）プロセッサ２１０が識別すると、たとえばメニューナビゲーションコマンドが用意されていることを示すための第１の信号を、送信機２５０から接続装置３１０に伝送してもよい。次いで、ユーザ１００が、動き（すなわち、手首を曲げ、手首を伸ばし、または突き出す動作）を特徴とする第２のジェスチャを実行したと（慣性センサ２６０からの少なくとも１つの信号に基づいて）プロセッサ２１０が識別すると、対応する第２の信号を送信機２５０から送信して、対応するメニューナビゲーション動作を行ってもよい。
【００６８】
ユーザが、人さし指とは異なる指を伸ばす場合、筋活動センサ２３０は、これを検出し、異なるジェスチャとしてプロセッサ２１０に識別させるようにし、これによって、異なる制御信号が生成されてもよい。たとえば、人さし指の代わりに小指を伸ばすことにより、ウェアラブル電子装置２００が、ユーザのジェスチャを、従来のマウスユーザインターフェースでの左のマウスボタンではなく右のマウスボタンをクリックするのに類似した機能であると解釈してもよい。人さし指と小指の両方を同時に伸ばすことにより、ウェアラブル電子装置２００が、ユーザのジェスチャを、従来のマウスユーザインターフェースでの第３のマウスボタンをクリックするのに類似したさらに別の機能であると解釈してもよい。
【００６９】
本発明の方法および装置によれば、ウェアラブル電子装置２００は、筋活動センサ２３０と慣性センサ２６０の両方を組み込んで、筋活動センサ単独を使用して通常実現できる範囲よりも広い範囲のユーザジェスチャを認識する（かつ／または、ジェスチャを認識する際の確度を高める）。
【００７０】
有利には、ウェアラブル電子装置２００自体は、記述されているように、検出された信号からジェスチャを識別するように構成されている。しかし、一代替実装形態では、検出された信号は、接続装置３１０および接続装置コントローラ３００に伝送して、この接続装置コントローラ３００においてジェスチャとして解釈してもよい。検出された信号が装置２００で解釈されても、接続装置コントローラ３００で解釈されても、この検出信号は、まず認識されたジェスチャとして解釈されて、表示装置３１０上に表示されるコンテンツと対話する。
【００７１】
実装形態によっては、ジェスチャを解釈するとき、ウェアラブル電子装置２００は、ジェスチャが認識されるとユーザ１００にフィードバックを提示する触覚フィードバックモジュールを備えてもよい。この触覚フィードバックは、ユーザのジェスチャが認識され、制御信号に首尾よく変換されて、たとえば表示装置３１０上に表示されるコンテンツと対話するという確認をユーザに提示する。触覚フィードバックモジュールは、たとえば、ウェアラブル電子装置２００に組み込まれた振動モータ２４０またはアクチュエータなどの振動機構を備えてもよい。
【００７２】
あるいは、ウェアラブル電子装置２００が実現する触覚フィードバックではなく、ジェスチャを認識したことの確認を聴覚フィードバックで提示してもよく、この聴覚フィードバックは、ウェアラブル電子装置上か、または接続装置３１０に動作可能なように接続されたスピーカによって生成される。
【００７３】
さらに別の例では、ジェスチャを認識したことの確認は、表示装置３１０自体に視覚的に提示してもよい。検出された信号から解釈できるジェスチャが２つ以上考えられる場合、誤りのある信号を供給するのではなく、ウェアラブル電子装置２００および／または接続装置コントローラ３００は、２つ以上の考えられるジェスチャを可能性のある解釈として選択してもよく、ユーザは、（たとえば、選択ジェスチャを実行することによって）、考えられるジェスチャのうちから１つを選択して、意図したジェスチャおよび対応する制御を確認するよう求められることがある。
【００７４】
ここで図５を参照すると、本発明の方法および装置によるウェアラブル電子装置（たとえばウェアラブル電子装置２００）の例示的な概略システムアーキテクチャ５００が示してある。図に示すように、システムアーキテクチャ５００は、ＣＰＵすなわち「プロセッサ」５０２、非一時的なコンピュータ読取り可能記憶媒体すなわちメモリ５０４、システムクロック５０６、無線通信モジュール５０８（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）など）、および直接メモリアクセス（ＤＭＡ）コントローラ５１０を備える。図に示すように、ＤＭＡコントローラ５１０は、１つまたは複数のＥＭＧ（すなわち筋活動）センサ５２０、ＭＭＧセンサ５３０、および加速度計（すなわち慣性）センサ５４０を含め、様々なセンサからの入力を受信するように構成される。
【００７５】
アーキテクチャ５００の一例では、１つまたは複数のＥＭＧセンサ５２０からの検出されたアナログ信号が、信号フィルタリング回路５２２を用いて処理される。この信号は、たとえば１０Ｈｚ〜５００Ｈｚの間で帯域通過処理し、増幅回路によって、たとえば合計約１０００倍〜４０００倍だけ増幅してもよい。しかし、このフィルタリングおよび増幅は、ソフトウェアおよび／またはハードウェアにより、ＥＭＧセンサ５２０が生成するアナログ信号に基づいて、必要となるものに改変することができる。６０Ｈｚまたは他の任意の関連周波数でのノッチフィルタを使用して、電力線雑音を取り除くこともできる。
【００７６】
信号は、アナログ・デジタル変換回路（ＡＤＣ）５２４によって、たとえば１２ビットの解像度でアナログ信号からデジタル信号に変換し、次いで、ＤＭＡコントローラ５１０によってオンボードメモリ５０４にクロック同期して、後にＣＰＵ／プロセッサ５０２によって処理してもよい。データが蓄積されると、ＣＰＵ／プロセッサ５０２が起動し、メモリ５０４に記憶されたこのデータを処理する。ＣＰＵ５０２が起動する前に蓄積されるデータポイントの数は調整可能であり、本明細書においてフィーチャーウィンドウサイズと呼ばれる。
【００７７】
１つまたは複数のＭＭＧセンサ５３０も使用される場合、ＭＭＧセンサ５３０からの検出された信号が、信号フィルタ５３２を用いて処理され、ＡＤＣ５３４によってアナログ信号からデジタル信号に変換される。１つまたは複数の加速度計センサ５４０からのデジタル信号も、信号フィルタ５４２を用いて処理し、ＤＭＡコントローラ５１０によって受信してもよい。
【００７８】
ジェスチャトレーニング
用途によっては、ウェアラブル電子装置２００には、既にそのメモリに記憶された１組の既定ジェスチャを設けてもよく、装置２００は、この１組の既定ジェスチャから１つのジェスチャをユーザが実行するときを識別するよう動作可能である。既定ジェスチャの代わりに、またはそれに加えて、様々なユーザ定義ジェスチャを認識するよう、ウェアラブル電子装置２００をトレーニングしてもよい。たとえば、ユーザはまず、ユーザが装置２００に認識できて欲しいジェスチャに名前をつけてもよく、装置２００は、ジェスチャを記録する準備ができたら、ユーザにジェスチャするよう促すことになる。次いで、筋活動センサおよび／または慣性センサを使用して、ジェスチャが実行される持続時間をカバーするのに十分な長さの時間にわたって、ある帯域で（たとえば１０００Ｈｚにおいて）サンプリングされるデータチャネルを取得する。
【００７９】
次いで、取得されたデータは、所定の長さのウィンドウに分割してもよく、ここで、各ウィンドウは所定の長さ（所定の長さゼロを含む）だけ、その前のウィンドウとオーバラップする。筋活動信号および／または慣性センサ信号の特徴が、データの各チャネル上の各ウィンドウから計算される。生のセンサデータから最も関連のある情報を抽出してジェスチャを分類するように、これらの特徴が選ばれる。たとえば、８つのｃＥＭＧチャネルが存在し、ウィンドウサイズが１００サンプルである場合、生のウィンドウベクトルのサイズは１００×８である。たとえば、生のｃＥＭＧデータを表すために１５個の特徴が選ばれる場合、そのウィンドウから計算された結果として得られる特徴ベクトルは、１×（８×１５）すなわち１×１２０になるはずである。
【００８０】
説明に役立つ実例では、このウィンドウサイズに対して１００個のサンプルを使用してもよく、ジェスチャトレーニングモジュールは、オーバラップ（たとえば５０％）を有するスライディングウィンドウを利用してもよい。これが図６の例で示してあり、ここで、Ｗ１がウィンドウサイズを表し、Ｗ２が同じサイズの第２のウィンドウを表し、この２つの間にオーバラップが存在する。
【００８１】
したがって、ベクトル取得周波数は、たとえばサンプリング周波数／ウィンドウサイズでもよい。特徴は、ウェーブレット分解係数、ＲＭＳ値、スロープサインチェンジ、波長自己回帰係数などを含んでもよいが、それだけに限定されない。
【００８２】
ＥＭＧセンサから取得されたデータに加えて、ＩＭＵ（加速度計）から取得されたデータも、たとえば、同じ時点のＥＭＧデータに対応することがあるウィンドウに分割してもよい。ＩＭＵデータから抽出された特徴は、ＲＭＳ値、信号の平均偏差および標準偏差を含んでもよいが、それだけに限定されない。
【００８３】
パターン認識システムをトレーニングするために、ジェスチャトレーニングモジュールは、システムへの例示的な入力、およびこのシステムからの対応する出力を含め、２組のデータを使用してもよい。ジェスチャトレーニングおよびパターン認識のシステムへの入力は、生のＥＭＧデータならびにＩＭＵ（加速度計）データから分割された各ウィンドウから計算された特徴である。このシステムからの出力は、検出されたジェスチャである。
【００８４】
ユーザは、システムのジェスチャトレーニング段階にある間、どのジェスチャを実行しているのかシステムに知らせている。このユーザ定義ジェスチャは、システムがリアルタイム分類モードに入るときに、このシステムの出力になるものである。ここで、このシステムは、データのどのセグメントがどのジェスチャに対応するかを知っているが（なぜならば、ユーザがそれを定義したからである）、データのそのセグメント内で、ジェスチャがどこで開始し、どこで終了するのかをまだ知らない（なぜならば、ユーザは必ずしも、繰り返す毎に同じ時点でジェスチャを開始および終了するとは限らないからである）。したがって、ジェスチャの開始と終了を識別し、ユーザがジェスチャを実行していないときと区別しなければならない。
【００８５】
一例として、ジェスチャの開始と終了は、ＥＭＧデータを用いて決定してもよい。ユーザが、ウェアラブル電子装置２００をオンにするための「オン」ジェスチャを既に実行したと仮定すると、図８の例によって示すように、このシステムは、ある閾値を超える信号チャネルを、ＲＭＳ値を用いて監視してもよい。その閾値を超えると、システムは、データウィンドウから特徴を計算し始め、ジェスチャを分類しようとする。
【００８６】
一例として、ＥＭＧおよび／またはＩＭＵデータ信号のＲＭＳ値を解析することによって、特徴を計算してもよい。より具体的には、たとえばＥＭＧデータのチャネルのいずれかのＲＭＳ値が、ジェスチャが実行されていないときのチャネルの平均よりも大きくなり、さらには、ジェスチャが実行されていないときのデータの標準偏差の３倍になるとき、システムは、ジェスチャが実行されていると識別してもよい。ジェスチャについて記録されているデータと同期して、別々のラベルベクトルを作成してもよい。このラベルベクトルは、いつ特徴ベクトルがジェスチャを表すのか、それがどんなジェスチャなのか、いつ特徴ベクトルが入力なしを表すのかを、機械学習アルゴリズムに知らせるデータを含んでもよい。以下に述べる次の段階での、パターン認識アルゴリズムの教師あり学習にとって、この情報は有用である。
【００８７】
パターン認識エンジン
どれほど数多くのジェスチャを認識しようとしても、ユーザが各ジェスチャの繰返しを数多く記録し終えると、ウェアラブル電子装置はパターン認識段階を開始する。一例として、ウェアラブル電子装置は、記録された特徴ベクトル全て、およびその対応するラベルベクトルを収集して、ジェスチャの全ておよびその繰返しの全てを表す大きい行列に入れてもよい。
【００８８】
図７に示すように、説明に役立つ実例では、パターン認識システムの階層は、分類子（たとえば決定木）７００を含んでもよく、各ノードが互いに異なる分類子を表す。各分類子からの結果が、どちらの分岐が斜めに降りて、次のノードに移るかを決定することになる。
【００８９】
一例として、分類子７００の第１のノードは、ジェスチャが静的か動的か判定してもよい。加速度計信号の標準偏差から、これを判定してもよい。
【００９０】
分類子７００の第２のノードは、このジェスチャが持続時間の長いジェスチャなのか短いジェスチャなのか判定してもよい。ＥＭＧ信号のＲＭＳ値のアクティブにされたセグメントの長さから、これを判定してもよい。たとえば、指を鳴らすジェスチャ、またはフリックするジェスチャは、ほとんど瞬時の短いジェスチャである。長いジェスチャは、完了するのに短い場合よりも長い時間を要するジェスチャでよい。
【００９１】
分類子７００の第３のノードは、たとえば、加速度計の３軸からのデータを含むＩＭＵの平均値から、手のジェスチャの向きを決定してもよい。
【００９２】
分類子７００の最後のノードは、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法のいずれか１つを使用して、残りのジェスチャを分類してもよい。
【００９３】
トレーニングデータを使用して、この分類子７００のノードのそれぞれをトレーニングしてもよく、その結果、ウェアラブル電子装置は、そのセンサによって検出される未知のジェスチャデータを正確に識別することができるようになる。
【００９４】
リアルタイムの分類
ウェアラブル電子装置のトレーニングが終わると、パターン認識エンジンが確立され、この装置は、認識するためにトレーニングしてきたジェスチャのリアルタイムの分類および認識を行うように構成される。
【００９５】
一例として、ウェアラブル電子装置内の筋活動センサ、および慣性センサからデータが収集され、この装置のオンボードの非一時的なコンピュータ読取り可能メモリに記憶される。特徴ウィンドウサイズに従って所定の数のサンプルの記録が完了するまで、この装置は待ってもよい（すなわち、ユーザが実行したジェスチャを識別しようとすることなくデータを収集し続けてもよい）。所定の数のサンプルに達したら、ウェアラブル電子装置内のプロセッサが、そのデータブロックから特徴の全てを計算し、この特徴を含むベクトルを分類子に渡す。
【００９６】
前述の通り、データは、決定木の様々なノードを介して渡され、次いでジェスチャが認識／識別される最終分類子に渡されてよい。ジェスチャが認識されると、このジェスチャおよびその属性データが送受信機モジュール（たとえば無線送信機）に送られて、接続装置に向けて送信される。
【００９７】
認識されたジェスチャが、位置制御入力として腕の加速度を利用するジェスチャであると判定される場合、ＩＭＵが検出する加速度から腕の速度を計算してもよく、送受信機を介してこのデータが接続装置に送信される。
【００９８】
ジェスチャが首尾よく認識されると、ウェアラブル電子装置内の振動モータ／アクチュエータを起動して、一定の持続時間にわたって振動させて、ジェスチャが首尾よく認識／識別されたことをユーザに示すことができる。振動モータを他の方法で使用して、ユーザに情報を伝えることができる。たとえば、動的ジェスチャの過程で微妙な振動を始動してもよく、振動を使用して、装置が起動したことを示してもよく、振動を使用して、この装置を再較正する必要があるか、または問題があることなどを示してもよい。
【００９９】
例示的な方法
ここで図９を参照すると、本発明の方法および装置によるウェアラブル電子装置（たとえばウェアラブル電子装置２００）を動作させる例示的な方法９００の概略フローチャートが示してある。
【０１００】
図に示すように、方法９００がブロック９０２で開始し、ここで方法９００は、複数の筋活動（たとえばＥＭＧ）センサ、および少なくとも１つの慣性（たとえばＩＭＵ）センサから、信号（たとえば、あるウィンドウのデータ）を取得することによって開始する。
【０１０１】
次に、判定ブロック９０４において、方法９００は、信号のＲＭＳが所定の閾値を超えているかどうか判定して、ユーザが物理的なジェスチャを実行したかどうか、または実行しているかどうか判定する。「いいえ」の場合、方法９００はブロック９０２に戻る。「はい」の場合、方法９００はブロック９０６に進み、ここで方法９００は、取得されたデータから特徴を計算する。次いで、方法９００はブロック９０８に進み、ここで方法９００は、特徴ベクトルに対してパターン認識を実行して、実行された、または実行されているジェスチャを決定する。
【０１０２】
この例では、次いで、方法９００はブロック９１０に進み、ここで方法９００は、接続装置が位置データを必要としているかどうか判定する。「はい」の場合、方法９００はブロック９１２に進み、ここで方法９００は、位置のＩＭＵデータ（たとえば、相対的な速度および／または向き）とともに識別されたジェスチャを接続装置に送信する。「いいえ」の場合、方法９００はブロック９１４に進み、ここで方法９００は、位置のＩＭＵデータなしで、識別されたジェスチャを接続装置に送信する。識別されたジェスチャおよび位置のＩＭＵデータは、有線接続を介して、または代替的に無線通信プロトコルを介して接続装置に送信してもよい。
【０１０３】
図９に示した方法９００は、本発明の方法および装置による方法の一例である。別の例を図１０に示す。
【０１０４】
図１０は、本発明の方法および装置によるウェアラブル電子装置を動作させる方法１０００を示すフローチャートである。ウェアラブル電子装置（たとえば２００）は、ユーザが装着するバンド（たとえば２０１）、このバンド（たとえば２０１）によって保持される少なくとも１つの筋活動センサ（たとえば２３０）、このバンド（たとえば２０１）によって保持される少なくとも１つの慣性センサ（たとえば２６０）、ならびに、少なくとも１つの筋活動センサ（たとえば２３０）および少なくとも１つの慣性センサ（たとえば２６０）と通信するように結合された、このバンド（たとえば２０１）によって保持されるプロセッサ（たとえば２１０）を備える。方法１０００は、４つの工程１００１、１００２、１００３、および１００４を含み、工程１００１および１００２は両方とも、２つの並列部分１００１ａ／ｂおよび１００２ａｂ／ｓにそれぞれ分解される。しかし、代替実施形態では、ある種の動作を省いてもよく、かつ／または追加の動作を加えてもよいことが当業者には理解されよう。各動作の例示された順序は、もっぱら例示的な目的で示したものであって、代替実施形態では変更してよいことも当業者には理解されよう。本明細書に記載の方法１０００の各動作と、ウェアラブル電子装置の各要素との間の関係を例示するために、方法１０００の説明全体を通して括弧内に図２Ａからの装置２００の各要素への言及が含まれる。しかし、方法１０００は、装置２００とは異なるハードウェアを使用して同様に実施してもよいことが当業者には理解されよう。
【０１０５】
１００１ａにおいて、ユーザが物理的なジェスチャを実行するのに応答して、ユーザの（たとえばユーザの腕の）筋活動が、ウェアラブル電子装置（２００）のバンド（２０１）によって保持される少なくとも１つの筋活動センサ（２３０）によって検出される。この少なくとも１つの筋活動センサ（２３０）は、複数のＥＭＧセンサ、およびこの複数のＥＭＧセンサ内での任意の数のＥＭＧセンサが、ジェスチャを実行する際に能動的になる筋肉に対するそれぞれ特定のＥＭＧセンサの位置に応じた筋活動を検出してもよい。
【０１０６】
１００２ａにおいて、検出された筋活動に応答して、少なくとも１つの筋活動センサ（２３０）から、ウェアラブル電子装置（２００）のバンド（２０１）によって保持されるプロセッサ（２１０）に、少なくとも１つの信号が供給される。少なくとも１つの筋活動センサ（２３０）とプロセッサ（２１０）の中間の通信経路は、プロセッサ（２１０）に供給される少なくとも１つの信号をフィルタリングするためのフィルタリング回路、プロセッサ（２１０）に供給される少なくとも１つの信号を増幅するための増幅回路、および／もしくはプロセッサ（２１０）に供給される少なくとも１つの信号を、アナログ信号からデジタル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、またはその全てを備えてもよい。
【０１０７】
工程１００１ｂおよび１００２ｂは、工程１００１ａおよび１００２ａとそれぞれ実質的に並列に、工程１００１ａおよび１００２ａとそれぞれ少なくともほぼ同時か、または工程１００１ａおよび１００２ａと交互に／ずらして実行してもよい。
【０１０８】
１００１ｂにおいて、ユーザが物理的なジェスチャを実行するのに応答して、ユーザの（たとえばユーザの腕の）動きが、ウェアラブル電子装置（２００）のバンド（２０１）によって保持される少なくとも１つの慣性センサ（２６０）によって検出される。少なくとも１つの慣性センサ（２６０）は、少なくとも１つの加速度計および／または少なくとも１つのジャイロスコープを備えてもよく、これらをＩＭＵ内にひとまとめにしてもよい。以下で詳細に述べるように、少なくとも１つの慣性センサ（２６０）によって１００１ｂで検出される動きを含む物理的なジェスチャは、少なくとも１つの筋活動センサ（２３０）によって１００１ａで検出される筋活動を含む同じ物理的なジェスチャでもよく、または少なくとも１つの慣性センサ（２６０）によって１００１ｂで検出される動きを含む物理的なジェスチャは、少なくとも１つの筋活動センサ（２３０）によって１００１ａで検出される筋活動を含む物理的なジェスチャと異なる物理的なジェスチャでもよい。
【０１０９】
１００２ｂにおいて、検出された動きに応答して、少なくとも１つの慣性センサ（２６０）から、ウェアラブル電子装置（２００）のバンド（２０１）によって保持されるプロセッサ（２１０）に、少なくとも１つの信号が供給される。少なくとも１つの慣性センサ（２６０）とプロセッサ（２１０）の中間の通信経路は、プロセッサ（２１０）に供給される少なくとも１つの信号をフィルタリングするためのフィルタリング回路、プロセッサ（２１０）に供給される少なくとも１つの信号を増幅するための増幅回路、および／もしくはプロセッサ（２１０）に供給される少なくとも１つの信号を、アナログ信号からデジタル信号に変換するためのアナログ・デジタル変換回路のうちのいずれか、またはその全てを備えてもよい。
【０１１０】
１００３において、少なくとも１つの筋活動センサ（２３０）によって１００２ａで供給される少なくとも１つの信号と、少なくとも１つの慣性センサ（２６０）によって１００２ｂで供給される少なくとも１つの信号の両方とも、ウェアラブル電子装置（２００）のバンド（２０１）によって保持されるプロセッサ（２１０）によって処理される。用途に応じて、また少なくとも１つの筋活動センサ（２３０）によって供給される少なくとも１つの信号、および少なくとも１つの慣性センサ（２６０）によって供給される少なくとも１つの信号が同じ物理的なジェスチャに応答するのか、異なる物理的なジェスチャに応答するのかに応じて、少なくとも１つの筋活動センサ（２３０）によって１００２ａで供給される少なくとも１つの信号、および少なくとも１つの慣性センサ（２６０）によって１００２ｂで供給される少なくとも１つの信号は、プロセッサ（２１０）によって順序通りに／連続して処理してもよく、または、組み合わせてもしくは並列に、プロセッサ（２１０）によって同時に処理してもよい。たとえば、少なくとも１つの筋活動センサ（２３０）によって供給される少なくとも１つの信号と、少なくとも１つの慣性センサ（２６０）によって供給される少なくとも１つの信号が両方とも、ほぼ同時に、単一の物理的なジェスチャに応答して供給される場合、少なくとも１つの筋活動センサ（２３０）によって１００２ａで供給される少なくとも１つの信号、および少なくとも１つの慣性センサ（２６０）によって１００２ｂで供給される少なくとも１つの信号は、プロセッサ（２１０）によって一緒に組み合わせて処理して、物理的なジェスチャを識別してもよい。あるいは、少なくとも１つの筋活動センサ（２３０）によって供給される少なくとも１つの信号、および少なくとも１つの慣性センサ（２６０）によって供給される少なくとも１つの信号がそれぞれ、２つの別々の物理的なジェスチャに応答して別々に供給される（たとえば、連続して実行される）場合、少なくとも１つの筋活動センサ（２３０）によって１００２ａで供給される少なくとも１つの信号、および少なくとも１つの慣性センサ（２６０）によって１００２ｂで供給される少なくとも１つの信号は、プロセッサ（２１０）によって連続して処理して、２つの別々のジェスチャを識別してもよい。
【０１１１】
１００４において、ｉ）少なくとも１つの筋活動センサ（２３０）によって供給される少なくとも１つの信号、およびｉｉ）少なくとも１つの慣性センサ（２６０）によって供給される少なくとも１つの信号のうちの少なくとも１つに基づいて、ユーザが実行する物理的なジェスチャが、ウェアラブル電子装置（２００）のバンド（２０１）によって保持されるプロセッサ（２１０）によって識別される。バーチャルメニューのナビゲーションを制御するために（すなわち、図４に関連してこれまで説明した）、人さし指を伸ばす動き、および手首を曲げる動きを含むジェスチャの例に戻ると、人さし指を伸ばす動きは、筋活動センサ（２３０）によって工程１００１ａで検出される筋活動を含んでもよく、対応する信号を、工程１００２ａでオンボードプロセッサ（２１０）に供給してもよい。同時に、またはそのすぐ後に（ユーザがジェスチャをどのように実行するかによって）、手首の曲げは、慣性センサ（２６０）によって工程１００１ｂで検出される動きを含んでもよく、また対応する信号を、工程１００２ｂでオンボードプロセッサ（２１０）に供給してもよい。筋活動センサ（２３０）からの信号と、慣性センサ（２６０）からの信号の両方とも、工程１００３でプロセッサ（２１０）によって処理される。具体的な実装形態に応じて、人さし指を伸ばす動き、および手首を曲げる動きを含む単一のジェスチャとして物理的なジェスチャを定義してもよく、この場合、ジェスチャは、工程１００４で、（１つもしくは複数の）筋活動センサ（２３０）からの（１つもしくは複数の）信号と、（１つもしくは複数の）慣性センサ（２６０）からの（１つもしくは複数の）信号の両方に基づいて識別してもよく、または物理的なジェスチャは、別々に識別される２つの構成要素、すなわち、少なくとも１つの筋活動センサ（２３０）によって供給される信号に基づいてプロセッサ（２１０）によって工程１００４で識別される人さし指を伸ばす動きを含む第１のジェスチャ、および少なくとも１つの慣性センサ（２６０）によって供給される信号に基づいてプロセッサ（２１０）によって工程１００４で識別される手首を曲げる動きを含む第２のジェスチャを有するものとして定義してもよい。いずれの場合においても、ユーザが実行するジェスチャを識別するのに応答して、１つまたは複数の信号（たとえば制御信号）が、プロセッサ（２１０）によって、ウェアラブル電子装置（２００）のバンド（２０１）によって保持される無線送信機（２５０）に供給され、他の任意の電子装置に無線で伝送して、その電子装置の動作、機能、制御を実行し、またはその電子装置と対話してもよい。このようにして、ウェアラブル電子装置（２００）は、汎用の人間−エレクトロニクスインターフェースを実現する。
【０１１２】
接続装置の説明に役立つ実例として、ウェアラブルヘッドアップ表示装置が使用されてきたが、理解されるように、本開示のウェアラブル電子装置および方法は、数多くの他のタイプの接続装置と、それが企図されている事実上任意の用途で対話するために使用してもよい。
【０１１３】
したがって、例示的な態様［ＴＭ２］として、ジェスチャ制御用の信号を検出および解析するための装置であって、筋活動によってｃＥＭＧセンサの電極に誘起される電荷によって生成される電気信号を、各ｃＥＭＧセンサにおいて測定することによって、ジェスチャを検出するように構成された複数の容量性筋電図検査（ｃＥＭＧ）センサと、取得データとして複数のｃＥＭＧセンサから１つまたは複数の電気信号を受信し、取得データのウィンドウを表す特徴ベクトルを計算することによって取得データを処理し、結果として得られる特徴ベクトルを解析してパターンを認識することによってジェスチャを検出するように構成されたプロセッサとを備える装置が提供される。
【０１１４】
この例では、この装置はさらに、装置の相対的な速度および向きを測定することによって、ジェスチャの動きおよび向きを検出するように構成された１つまたは複数の慣性測定ユニット（ＩＭＵ）センサを備え、プロセッサはさらに、ＩＭＵから取得データを受信し、この取得したＩＭＵデータを処理して装置の位置および向きを確定し、解析された特徴ベクトルとともに装置の相対的な速度および向きを解析することによって、ジェスチャを検出するように構成される。
【０１１５】
この例では、プロセッサはさらに、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの１つまたは複数を利用して、各ジェスチャを分類するよう構成してもよい。
【０１１６】
この例では、プロセッサはさらに、解析された特徴ベクトルとともに取得したＩＭＵデータを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するよう構成してもよい。
【０１１７】
この例では、プロセッサはさらに、ｃＥＭＧ信号のＲＭＳ値のアクティブにされたセグメントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなのか短いジェスチャなのか判定するよう構成してもよい。
【０１１８】
この例では、プロセッサはさらに、結果として得られる特徴ベクトルを記録することによって１つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の位置および向きを記録するよう構成してもよい。
【０１１９】
この例では、この装置はさらに、筋活動によって生成される電気信号を各ＭＭＧセンサにおいて測定することにより、ジェスチャによって生成される筋活動を検出するように構成された１つまたは複数の機械式筋運動記録（ＭＭＧ）センサを備えてもよい。
【０１２０】
この例では、この装置はさらに、フィードバックをユーザに与えるための触覚フィードバックモジュールを備えてもよい。
【０１２１】
この例では、触覚フィードバックモジュールは、ジェスチャの認識を確認してもよい。
【０１２２】
この例では、触覚フィードバックモジュールは、振動モータおよび／または振動アクチュエータを備えてもよい。
【０１２３】
別の例示的な態様では、ジェスチャ制御用の信号を検出および解析するための方法であって、ｃＥＭＧセンサの電極に誘起される電荷によって生成される電気信号を、各ｃＥＭＧセンサにおいて測定することによって、ジェスチャによって生成される筋活動を検出するように構成された複数の容量性筋電図検査（ｃＥＭＧ）センサを装置上に設けるステップと、取得データとして複数のｃＥＭＧセンサから１つまたは複数の電気信号を受信するステップと、取得データのウィンドウを表す特徴ベクトルを計算することによって取得データを処理するステップと、結果として得られる特徴ベクトルを解析してパターンを認識するステップとを含む方法が提供される。
【０１２４】
この例では、この方法はさらに、１つまたは複数の慣性測定ユニット（ＩＭＵ）センサから取得データを受信するステップと、取得したＩＭＵデータを処理して、装置の相対的な速度および向きを確定するステップと、解析された特徴ベクトルとともに装置の位置および向きを解析することによってジェスチャを検出するステップとを含む。
【０１２５】
この例では、この方法はさらに、隠れマルコフモデル、長短期ニューラルネット、または他の機械知能法のうちの１つまたは複数を利用して、各ジェスチャを分類するステップを含んでもよい。
【０１２６】
この例では、この方法はさらに、解析された特徴ベクトルとともに取得したＩＭＵデータを解析することに応じて、静的ジェスチャまたは動的ジェスチャを検出するステップを含んでもよい。
【０１２７】
この例では、この方法はさらに、ｃＥＭＧ信号のＲＭＳ値のアクティブにされたセグメントの長さを測定することによって、このジェスチャが持続時間の長いジェスチャなのか短いジェスチャなのか判定するステップを含んでもよい。
【０１２８】
この例では、この方法はさらに、結果として得られる特徴ベクトルを記録することによって１つまたは複数のユーザ定義ジェスチャを記録し、ならびにジェスチャ中の装置の位置および向きを記録するステップを含んでもよい。
【０１２９】
この例では、この方法はさらに、筋活動によって生成される電気信号を各ＭＭＧセンサにおいて測定することにより、ジェスチャによって生成される筋活動を検出するように構成された１つまたは複数の機械式筋運動記録（ＭＭＧ）センサを設けるステップを含んでもよい。
【０１３０】
この例では、この方法はさらに、フィードバックをユーザに与えるための触覚フィードバックモジュールを設けるステップを含んでもよい。
【０１３１】
この例では、触覚フィードバックは、ジェスチャの認識を確認してもよい。
【０１３２】
この例では、触覚フィードバックは、振動モータおよび／または振動アクチュエータによってもたらされる振動フィードバックを含んでもよい。
【０１３３】
本明細書および添付の特許請求の範囲全体を通して、「通信経路」、「通信結合」、および「通信するように結合する」などの異形と同様に、用語「通信の（ｃｏｍｍｕｎｉｃａｔｉｖｅ）」は一般に、情報を伝送および／または交換するための任意の構成に言及するのに使用される。例示的な通信経路には、それだけには限定されないが、導電性経路（たとえば、導電性ワイヤ、導電性配線）、磁気経路（たとえば磁気媒体）、および／または光経路（たとえば光ファイバ）が含まれ、例示的な通信結合には、それだけには限定されないが、電気結合、磁気結合、および／または光結合が含まれる。
【０１３４】
本明細書および添付の特許請求の範囲全体を通して、用語「供給する（ｐｒｏｖｉｄｅ）」、ならびに「供給される（ｐｒｏｖｉｄｅｄ）」および「供給する（ｐｒｏｖｉｄｉｎｇ）」などの異形が、信号に関連してしばしば使用される。たとえば。筋活動センサは、「少なくとも１つの信号を供給する」ものとして説明されており、慣性センサは、「少なくとも１つの信号を供給する」ものとして説明されている。具体的な文脈上別の意味に解釈すべき場合を除き、用語「供給する（ｐｒｏｖｉｄｅ）」は、最も一般的な意味で使用されて、信号を中継すること、信号を出力すること、信号を生成すること、信号を経路指定すること、信号を生成すること、信号を変換することなどを含むが、それだけには限定されない、信号を供給する任意の形態を包含する。たとえば、表面ＥＭＧセンサは、筋活動からの電気信号に抵抗性または容量性で結合される、少なくとも１つの電極を備えてもよい。この結合により、少なくとも１つの電極の電荷または電位に変化が誘起され、次いでこれが、センサの回路および出力を介して中継され、すなわちセンサによって「供給される（ｐｒｏｖｉｄｅｄ）」。したがって、表面ＥＭＧセンサは、筋肉から出力まで電気信号を中継することによって、電気信号を「供給（ｐｒｏｖｉｄｅ）」してもよい。対照的に、慣性センサは、物理的な動きを電気信号に変換するのに使用される（たとえば、圧電性、圧電抵抗性、容量性などの）構成要素を備えてもよい。慣性センサは、動きを検出し、この動きに応答して電気信号を生成することによって、電気信号を「供給（ｐｒｏｖｉｄｅ）」してもよい。
【０１３５】
本明細書および添付の特許請求の範囲全体を通して、不定詞の動詞形がしばしば使用される。例として、それだけには限らないが、「検出する（ｔｏ  ｄｅｔｅｃｔ）」、「供給する（ｔｏ  ｐｒｏｖｉｄｅ）」、「伝送する（ｔｏ  ｔｒａｎｓｍｉｔ）」、「通信する（ｔｏ  ｃｏｍｍｕｎｉｃａｔｅ）」、「処理する（ｔｏ  ｐｒｏｃｅｓｓ）」、「経路指定する（ｔｏ  ｒｏｕｔｅ）」などが含まれる。具体的な文脈上別の意味に解釈すべき場合を除き、このような不定詞の動詞形は、オープンで包括的な意味において、すなわち「少なくとも検出する（ｔｏ，ａｔ  ｌｅａｓｔ，ｄｅｔｅｃｔ）」、「少なくとも供給する（ｔｏ，ａｔ  ｌｅａｓｔ，ｐｒｏｖｉｄｅ）」、「少なくとも伝送する（ｔｏ，ａｔ  ｌｅａｓｔ，ｔｒａｎｓｍｉｔ）」などとして使用される。
【０１３６】
例示された実施形態の上記説明は、要約書で説明されるものも含めて、網羅的なものではなく、または開示された厳密な形態に各実施形態を限定するものでもない。具体的な実施形態および例は、例示する目的で本明細書に説明してあるが、本開示の趣旨および範囲から逸脱することなく様々な均等な修正形態をなすこともでき、このことが当業者には理解されよう。様々な実施形態の本明細書に提示された教示は、他の携帯型電子装置および／またはウェアラブル電子装置に適用することができ、これは必ずしも、全体として先に述べた例示的なウェアラブル電子装置とは限らない。
【０１３７】
たとえば、前述の詳細な説明では、ブロック図、概略図、および例を用いて、装置および／またはプロセスの様々な実施形態について述べた。このようなブロック図、概略図、および例が、１つまたは複数の機能および／または動作を含む場合、このようなブロック図、フローチャート、または例の中の各機能および／または動作は、広範囲のハードウェア、ソフトウェア、または事実上その任意の組合せによって、個別に、かつ／またはひとまとめにして実施できることが当業者には理解されよう。一実施形態では、この主題を、特定用途向け集積回路（ＡＳＩＣ）を用いて実施してもよい。しかし、本発明に記載の実施形態は、全体としてまたは部分的に、１つもしくは複数のコンピュータが実行する１つもしくは複数のコンピュータプログラム（たとえば、１つもしくは複数のコンピュータシステム上で走っている１つもしくは複数のプログラム）として、１つもしくは複数のコントローラ（たとえばマイクロコントローラ）が実行する１つもしくは複数のプログラムとして、１つもしくは複数のプロセッサ（たとえば、マイクロプロセッサ、中央処理装置、グラフィック処理ユニット）が実行する１つもしくは複数のプログラムとして、ファームウェアとして、または事実上その任意の組合せとして、標準の集積回路において等しく実施できること、ならびに、回路を設計することならびに／またはソフトウェアおよびもしくはファームウェアのコードを書くことは、本開示の教示に照らして当業者の技量の範囲内に十分入るはずであることが当業者には理解されよう。
【０１３８】
論理をソフトウェアとして実装し、メモリ内に記憶するとき、論理または情報は、任意のプロセッサ関連のシステムもしくは方法によって使用するため、またはそれとともに使用するため、任意のコンピュータ読取り可能な媒体に記憶することができる。本開示との関連において、メモリは、コンピュータ読取り可能な媒体であり、電子、磁気、光、または、コンピュータおよび／もしくはプロセッサのプログラムを含む、すなわち記憶する、他の物理的な装置もしくは手段である。論理および／または情報は、コンピュータベースのシステム、プロセッサ内蔵システム、または、命令実行のシステム、装置、もしくはデバイスから命令をフェッチし、論理および／または情報に関連するその命令を実行することができる他のシステムなどの、命令実行のシステム、装置もしくはデバイスによって、またはそれらとともに使用するために、任意のコンピュータ読取り可能な媒体で実施することができる。
【０１３９】
本明細書との関連において、「非一時的なコンピュータ読取り可能媒体」は、命令実行のシステム、装置、および／もしくはデバイスによって、またはそれらとともに使用するために、論理および／または情報に関連するプログラムを記憶できる任意の要素とすることができる。コンピュータ読取り可能な媒体は、たとえば、電子、磁気、光学、電磁、赤外線、または半導体のシステム、装置、もしくはデバイスとすることができるが、それらだけには限定されない。コンピュータ読取り可能な記憶媒体のより具体的な例（非包括的なリスト）には、以下のもの、すなわち、携帯用コンピュータディスケット（磁気、コンパクトフラッシュ（登録商標）カード、セキュアデジタルなど）、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリ）、携帯用コンパクトディスクリードオンリーメモリ（ＣＤＲＯＭ）、デジタルテープ、および他の非一時的な媒体が含まれるであろう。
【０１４０】
前述の様々な実施形態を組み合わせて、さらなる実施形態を実現することができる。本明細書における具体的な教示および定義に矛盾しない限り、本明細書で参照され、かつ／または出願データシートのリストに記載された米国特許、米国特許出願公開、米国特許出願、外国特許、外国特許出願、および非特許文献の全て、すなわち、以下のものだけには限定されないが、２０１３年２月２２日出願の米国仮特許出願第６１／７６８，３２２号明細書、米国仮特許出願第６１／７７１，５００号明細書、米国仮特許出願第６１／９０３，２３８号明細書、米国仮特許出願第６１／９０９，７８６号明細書、米国仮特許出願第６１／８５７，１０５号明細書、米国仮特許出願第６１／８６０，０６３号明細書、米国仮特許出願第６１／８２２，７４０号明細書、米国仮特許出願第６１／８６６，９６０号明細書、米国仮特許出願第６１／８６９，５２６号明細書、米国仮特許出願第６１／８７４，８４６号明細書、米国仮特許出願第６１／８８１，０６４号明細書、米国仮特許出願第６１／８９４，２６３号明細書、米国仮特許出願第６１／９１５，３３８号明細書、および／または米国仮特許出願第６１／９４０，０４８号明細書は、参照によりそれらの全体が本明細書に援用される。必要であれば、様々な特許、出願、および文献の、システム、回路、および考え方を利用するよう実施形態の態様を修正して、さらに別の実施形態を実現することができる。
【０１４１】
上記詳細な説明に照らして、上記およびその他の変更形態をなすことができる。一般に、以下の特許請求の範囲において、使用される用語は、本明細書および特許請求の範囲に開示された特定の実施形態に特許請求の範囲を限定するものと解釈すべきではなく、こうした特許請求の範囲が権利を有する均等物の全範囲に加えて、実現可能な全ての実施形態を含むと解釈すべきである。したがって、特許請求の範囲は、本開示によって限定されない。
【０１４２】
様々な実施形態および説明に役立つ実例をこれまで説明してきたが、これらの実施形態および説明に役立つ実例は限定的なものではなく、本発明の範囲は、以下の特許請求の範囲によって定義されることが理解されよう。
【図１】
2019023941.tif 000003
【図２Ａ】
2019023941.tif 000004
【図２Ｂ】
2019023941.tif 000005
【図３】
2019023941.tif 000006
【図４】
2019023941.tif 000007
【図５】
2019023941.tif 000008
【図６】
2019023941.tif 000009
【図７】
2019023941.tif 000010
【図８】
2019023941.tif 000011
【図９】
2019023941.tif 000012
【図１０】
2019023941.tif 000013