(57)【要約】  エクステンデッド・リアリティ（ＸＲ）システムを制御するためのコンピュータシステム、方法、キット、およびその方法を実装するためのコードを保存するコンピュータ可読記憶媒体が提供される。このようなシステムには、ユーザからの神経筋信号を感知する１または複数の神経筋センサと、少なくとも１つのコンピュータプロセッサとが含まれる。神経筋センサ（複数可）は、神経筋信号を感知するためにユーザが着用する１または複数のウェアラブルデバイス上に配置される。上記少なくとも１つのコンピュータプロセッサは、神経筋信号に基づいてユーザの第１の筋肉活性化状態を特定するように；第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定するように；神経筋信号に基づいてユーザの第２の筋肉活性化状態を特定するように；かつ、第２の筋肉活性化状態に基づいてＸＲシステムの動作を制御するための制御信号をＸＲシステムに出力するように、プログラムされている。【選択図】図２
2022500729.tif 000002
【特許請求の範囲】
【請求項１】
神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するためのコンピュータシステムにおいて、
ユーザからの複数の神経筋信号を記録するように構成されている複数の神経筋センサであって、１または複数のウェアラブルデバイスに配置された複数の神経筋センサと、
少なくとも１つのコンピュータプロセッサであって、
前記複数の神経筋信号に基づいて前記ユーザの第１の筋肉活性化状態を特定する；
前記第１の筋肉活性化状態に基づいて、制御されるべき前記拡張現実システムの動作を決定する；
前記複数の神経筋信号に基づいて前記ユーザの第２の筋肉活性化状態を特定する；かつ、
前記第２の筋肉活性化状態に基づいて、前記ＡＲ現実システムの前記動作を制御するための制御信号を前記ＡＲシステムに提供する
ようにプログラムされている、少なくとも１つのコンピュータプロセッサと
を備える、コンピュータシステム。
【請求項２】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方は、前記ユーザによって実行される静的なジェスチャを含む、請求項１に記載のコンピュータシステム。
【請求項３】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方は、前記ユーザによって実行される動的なジェスチャを含む、請求項１に記載のコンピュータシステム。
【請求項４】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方は、筋肉下活性化状態を含む、請求項１に記載のコンピュータシステム。
【請求項５】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方は、前記ユーザによって実行される筋肉緊張を含む、請求項１に記載のコンピュータシステム。
【請求項６】
前記第１の筋肉活性化状態は前記第２の筋肉活性化状態と同じである、請求項１に記載のコンピュータシステム。
【請求項７】
前記制御信号は、前記ＡＲシステムに関連するディスプレイデバイスの輝度を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項８】
前記制御信号は、前記ＡＲシステムに関連するオーディオデバイスの属性を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項９】
前記制御信号は、前記ＡＲシステムに関連する１もしくは複数のデバイスのプライバシーモードまたはプライバシー設定を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１０】
前記制御信号は、前記ＡＲシステムの電力モードまたは電力設定を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１１】
前記制御信号は、前記ＡＲシステムに関連するカメラデバイスの属性を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１２】
前記制御信号は、前記ＡＲシステムによるコンテンツの表示を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１３】
前記制御信号は、前記ＡＲシステムによって提供される情報を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１４】
前記制御信号は、前記ＡＲシステムに関連する情報の第２のAＲシステムへの通信を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１５】
前記制御信号は、前記ＡＲシステムによって生成される前記ユーザの視覚化を制御するための信号を含む、請求項１に記載のコンピュータシステム。
【請求項１６】
前記制御信号は前記ユーザ以外のオブジェクトまたは人物の視覚化を制御するための信号を含み、前記視覚化は前記ＡＲシステムによって生成される、請求項１に記載のコンピュータシステム。
【請求項１７】
前記少なくとも１つのコンピュータプロセッサは、前記ＡＲシステムによって提供されるＡＲ環境で表示されるユーザインターフェースを介して前記ＡＲシステムの前記動作をどのように制御するかに関する１または複数の指示を前記ユーザに提示するように更にプログラムされている、請求項１に記載のコンピュータシステム。
【請求項１８】
前記１または複数の指示は、前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む、請求項１７に記載のコンピュータシステム。
【請求項１９】
前記少なくとも１つのコンピュータプロセッサは、前記ＡＲシステムの現在の状態を示す情報を前記ＡＲシステムから受信するように更にプログラムされており、前記複数の神経筋信号が、受信された前記情報に基づいて解釈される、請求項１に記載のコンピュータシステム。
【請求項２０】
前記ＡＲシステムが第１のモードで動作するように構成され、前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号に基づいて、前記第１および第２の筋肉活性化状態に先立って特定される、前記ユーザの第３の筋肉活性化状態を特定するように、かつ、
前記第３の筋肉活性化状態に基づいて、前記ＡＲシステムの動作モードを、前記第１のモードから、前記ＡＲシステムの動作を制御するためのモードである第２のモードへ変更するように
更にプログラムされている、請求項１に記載のコンピュータシステム。
【請求項２１】
前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号に基づいて、前記第２の筋肉活性化状態を含む、前記ユーザの複数の第２の筋肉活性化状態を特定し；かつ
前記複数の第２の筋肉活性化状態に基づいて、前記ＡＲシステムの前記動作を制御するための複数の制御信号を前記ＡＲシステムに提供する
ように更にプログラムされている、請求項１に記載のコンピュータシステム。
【請求項２２】
前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号に基づいて、前記ユーザの複数の第３の筋肉活性化状態を特定し；かつ、
前記複数の第２の筋肉活性化状態、または前記複数の第３の筋肉活性化状態、または前記複数の第２の筋肉活性化状態と前記複数の第３の筋肉活性化状態の両方に基づいて、前記ＡＲシステムの前記動作を制御するための前記複数の制御信号を前記ＡＲシステムに提供する
ように更にプログラムされている、請求項２１に記載のコンピュータシステム。
【請求項２３】
神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するための方法であって、
１または複数のウェアラブルデバイスに配置された複数の神経筋センサを使用して、ユーザからの複数の神経筋信号を記録すること；
前記複数の神経筋信号に基づいて、前記ユーザの第１の筋肉活性化状態を特定すること；
前記第１の筋肉活性化状態に基づいて、制御されるべき前記拡張現実システムの動作を決定すること；
前記複数の神経筋信号に基づいて、前記ユーザの第２の筋肉活性化状態を特定すること；および
前記第２の筋肉活性化状態に基づいて、前記ＡＲシステムの前記動作を制御するための制御信号を前記ＡＲシステムに提供すること
を含む、方法。
【請求項２４】
神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するためのコンピュータシステムにおいて、前記システムが、
ユーザからの複数の神経筋信号を記録するように構成されている複数の神経筋センサであって、１または複数のウェアラブルデバイスに配置された複数の神経筋センサと、
少なくとも１つのコンピュータプロセッサであって、
前記複数の神経筋信号に基づいて前記ユーザの筋肉活性化状態を特定する；
前記筋肉活性化状態に基づいて、制御されるべき前記ＡＲシステムの動作を決定する；かつ
前記筋肉活性化状態に基づいて、前記ＡＲ現実システムの前記動作を制御するための制御信号を前記ＡＲシステムに提供する
ようにプログラムされている、少なくとも１つのコンピュータプロセッサと
を備える、コンピュータシステム。
【請求項２５】
前記制御信号が、
前記ＡＲシステムに関連するディスプレイデバイスの輝度、
前記ＡＲシステムに関連するオーディオデバイスの属性、
前記ＡＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定
前記ＡＲシステムの電力モードまたは電力設定、および
前記ＡＲシステムに関連するカメラデバイスの属性
のいずれか１つまたは任意の組み合わせを制御するための信号を含む、請求項２４に記載のコンピュータシステム。
【請求項２６】
前記制御信号が、
前記ＡＲシステムによるコンテンツの表示、
前記ＡＲシステムによって提供されるべき情報、および
前記ＡＲシステムに関連する情報の第２のＡＲシステムへの通信
のいずれか１つまたは任意の組み合わせを制御するための信号を含む、請求項２４に記載のコンピュータシステム。
【請求項２７】
前記制御信号が、
前記ＡＲシステムによって生成される前記ユーザの視覚化と、
前記ＡＲシステムによって生成される、前記ユーザ以外のオブジェクトまたは人物の視覚化
のいずれか１つまたは任意の組み合わせを制御するための信号を含む、請求項２４に記載のコンピュータシステム。
【請求項２８】
前記少なくとも１つのコンピュータプロセッサは、前記ＡＲシステムによって提供されるＡＲ環境で表示されるユーザインターフェースを介して前記ＡＲシステムの前記動作をどのように制御するかに関する１または複数の指示を前記ユーザに提示するように更にプログラムされている、請求項２４に記載のコンピュータシステム。
【請求項２９】
前記１または複数の指示は、前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む、請求項２８に記載のコンピュータシステム。
【請求項３０】
前記少なくとも１つのコンピュータプロセッサは、前記ＡＲシステムの現在の状態を示す情報を前記ＡＲシステムから受信するように更にプログラムされており、前記複数の神経筋信号が、受信された前記情報に基づいて解釈される、請求項２４に記載のコンピュータシステム。
【請求項３１】
神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するためのコンピュータシステムにおいて、
ユーザからの神経筋信号を感知する１または複数の神経筋センサであって、前記神経筋信号を感知するために前記ユーザが着用するように構造化された１または複数のウェアラブルデバイスに配置されている、１または複数の神経筋センサと、
少なくとも１つのコンピュータプロセッサであって、
前記神経筋信号に基づいて前記ユーザの第１の筋肉活性化状態を特定する；
前記第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定する；
前記神経筋信号に基づいて前記ユーザの第２の筋肉活性化状態を特定する；かつ
前記第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための制御信号を前記ＸＲシステムに出力する
ようにプログラムされている、少なくとも１つのコンピュータプロセッサと
を備える、コンピュータシステム。
【請求項３２】
前記ＸＲシステムが拡張現実（ＡＲ）システムを含む、請求項３１に記載のコンピュータシステム。
【請求項３３】
前記ＸＲシステムが、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含む、請求項３１に記載のコンピュータシステム。
【請求項３４】
前記１または複数の神経筋センサが、少なくとも１の筋電（ＥＭＧ）センサを含む、請求項３１に記載のコンピュータシステム。
【請求項３５】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される静的なジェスチャを含む、請求項３１に記載のコンピュータシステム。
【請求項３６】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される動的なジェスチャを含む、請求項３１に記載のコンピュータシステム。
【請求項３７】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される筋肉下活性化状態を含む、請求項３１に記載のコンピュータシステム。
【請求項３８】
前記第１の筋肉活性化状態と前記第２の筋肉活性化状態が同じ活性化状態である、請求項３１に記載のコンピュータシステム。
【請求項３９】
前記第１の筋肉活性化状態に基づいて決定される、制御されるべき前記ＸＲシステムの前記動作が、前記ＸＲシステムのウェイクアップモードの動作を含む、請求項３１に記載のコンピュータシステム。
【請求項４０】
前記第２の筋肉活性化状態に基づいて前記少なくとも１つのコンピュータプロセッサによって出力される前記制御信号が、前記ＸＲシステムの初期化動作を制御する、請求項３９に記載のコンピュータシステム。
【請求項４１】
前記制御信号が、前記ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４２】
前記制御信号が、前記ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４３】
前記制御信号が、前記ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４４】
前記制御信号が、前記ＸＲシステムの電力モードまたは電力設定を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４５】
前記制御信号が、前記ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４６】
前記制御信号が、前記ＸＲシステムによるコンテンツの表示を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４７】
前記制御信号が、前記ＸＲシステムによって提供されるべき情報を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４８】
前記制御信号が、前記ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項４９】
前記制御信号が、前記ＸＲシステムによって生成される前記ユーザの視覚化を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項５０】
前記制御信号が、前記ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含む、請求項３１に記載のコンピュータシステム。
【請求項５１】
前記少なくとも１つのコンピュータプロセッサが、前記ＸＲシステムによって提供されるＸＲ環境で表示されるユーザインターフェースに、前記ＸＲシステムの前記動作をどのように制御するかに関する１または複数の指示を前記ユーザに提示させるように更にプログラムされている、請求項３１に記載のコンピュータシステム。
【請求項５２】
前記１または複数の指示は、前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む、請求項５１に記載のコンピュータシステム。
【請求項５３】
前記少なくとも１つのプロセッサは、前記神経筋信号に基づいて前記ユーザの筋肉活性化状態を決定するように、かつ、前記ユーザインターフェースを介して前記ユーザにフィードバックを提供するようにプログラムされており、
前記フィードバックは、
決定された前記筋肉活性化状態が前記ＸＲシステムを制御するために使用できるかどうかに関する情報、
前記決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、
前記決定された筋肉活性化状態に対応する制御動作に関する情報、および
前記ＸＲシステムが前記決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、前記ユーザに対するクエリ
のうちのいずれか１つまたは任意の組み合わせを含む、請求項５１に記載のコンピュータシステム。
【請求項５４】
前記ユーザインターフェースが、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気刺激インターフェース、のうちのいずれか１つまたは任意の組み合わせを含む、請求項５３に記載のコンピュータシステム。
【請求項５５】
前記少なくとも１つのコンピュータプロセッサが、前記ＸＲシステムの現在の状態を示す情報を前記ＸＲシステムから受信するように更にプログラムされており、前記神経筋信号が、受信された前記情報に基づいて解釈される、請求項３１に記載のコンピュータシステム。
【請求項５６】
前記ＸＲシステムが複数の動作モードを含み、かつ、
前記少なくとも１つのコンピュータプロセッサが、前記神経筋信号に基づいて前記ユーザの第３の筋肉活性化状態を特定し、前記第３の筋肉活性化状態に基づいて、前記ＸＲシステムの動作を第１のモードから、前記ＸＲシステムの動作を制御するためのモードである第２のモードに変更するように更にプログラムされている、
請求項３１に記載のコンピュータシステム。
【請求項５７】
前記少なくとも１つのコンピュータプロセッサが、
前記神経筋信号に基づいて、前記ユーザの複数の第２の筋肉活性化状態を特定し、かつ、
前記複数の第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための複数の制御信号を前記ＸＲシステムに出力する
ように更にプログラムされている、請求項３１に記載のコンピュータシステム。
【請求項５８】
前記少なくとも１つのコンピュータプロセッサが、
前記神経筋信号に基づいて、前記ユーザの複数の第３の筋肉活性化状態を特定し；かつ、
前記複数の第２の筋肉活性化状態、または前記複数の第３の筋肉活性化状態、または前記複数の第２の筋肉活性化状態と前記複数の第３の筋肉活性化状態の両方に基づいて、前記ＸＲシステムの動作を制御するための複数の制御信号を前記ＸＲシステムに出力する
ように更にプログラムされている、請求項５７に記載のコンピュータシステム。
【請求項５９】
神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するための方法であって、
少なくとも１つのコンピュータプロセッサによって、ユーザが着用する１または複数のウェアラブルデバイスに配置された１または複数の神経筋センサにより前記ユーザから感知された神経筋信号を受信することと；
前記少なくとも１つのコンピュータプロセッサによって、前記神経筋信号に基づいて、前記ユーザの第１の筋肉活性化状態を特定することと；
前記少なくとも１つのコンピュータプロセッサによって、前記第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定することと；
前記少なくとも１つのコンピュータプロセッサによって、前記神経筋信号に基づいて、前記ユーザの第２の筋肉活性化状態を特定することと；
前記少なくとも１つのコンピュータプロセッサによって、第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための制御信号を前記ＸＲシステムに出力することと
を含む、方法。
【請求項６０】
前記ＸＲシステムが拡張現実（ＡＲ）システムを含む、請求項５９に記載の方法。
【請求項６１】
前記ＸＲシステムが、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含む、請求項５９に記載の方法。
【請求項６２】
前記１または複数の神経筋センサが、少なくとも１の筋電（ＥＭＧ）センサを含む、請求項５９に記載の方法。
【請求項６３】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される静的なジェスチャを含む、請求項５９に記載の方法。
【請求項６４】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される動的なジェスチャを含む、請求項５９に記載の方法。
【請求項６５】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される筋肉下活性化状態を含む、請求項５９に記載の方法。
【請求項６６】
前記第１の筋肉活性化状態と前記第２の筋肉活性化状態が同じ活性化状態である、請求項５９に記載の方法。
【請求項６７】
前記第１の筋肉活性化状態に基づいて決定される、制御されるべき前記ＸＲシステムの前記動作が、前記ＸＲシステムのウェイクアップモードの動作を含む、請求項５９に記載の方法。
【請求項６８】
前記制御信号が、前記第２の筋肉活性化状態に基づく前記出力の際に、前記ＸＲシステムの初期化動作を制御する、請求項６７に記載の方法。
【請求項６９】
前記制御信号が、前記ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含む、請求項５９に記載の方法。
【請求項７０】
前記制御信号が、前記ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含む、請求項５９に記載の方法。
【請求項７１】
前記制御信号が、前記ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含む、請求項５９に記載の方法。
【請求項７２】
前記制御信号が、前記ＸＲシステムの電力モードまたは電力設定を制御する信号を含む、請求項５９に記載の方法。
【請求項７３】
前記制御信号が、前記ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含む、請求項５９に記載の方法。
【請求項７４】
前記制御信号が、前記ＸＲシステムによるコンテンツの表示を制御する信号を含む、請求項５９に記載の方法。
【請求項７５】
前記制御信号が、前記ＸＲシステムによって提供されるべき情報を制御する信号を含む、請求項５９に記載の方法。
【請求項７６】
前記制御信号が、前記ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含む、請求項５９に記載の方法。
【請求項７７】
前記制御信号が、前記ＸＲシステムによって生成される前記ユーザの視覚化を制御する信号を含む、請求項５９に記載の方法。
【請求項７８】
前記制御信号が、前記ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含む、請求項５９に記載の方法。
【請求項７９】
前記少なくとも１つのコンピュータプロセッサによって、前記ＸＲシステムが提供するＸＲ環境に表示されるユーザインターフェースに、前記ＸＲシステムの前記動作をどのように制御するかに関する１または複数の指示を提示させることを更に含む、請求項５９に記載の方法。
【請求項８０】
前記１または複数の指示は、前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む、請求項７９に記載の方法。
【請求項８１】
前記少なくとも１つのプロセッサによって、前記神経筋信号に基づいて、前記ユーザの筋肉活性化状態を決定することと、
前記少なくとも１つのプロセッサによって、前記ユーザインターフェースを介してフィードバックが前記ユーザに提供されるようにすることであって、前記フィードバックが、
決定された前記筋肉活性化状態が前記ＸＲシステムを制御するために使用できるかどうかに関する情報、
前記決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、
前記決定された筋肉活性化状態に対応する制御動作に関する情報、および
前記ＸＲシステムが前記決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、前記ユーザに対するクエリ、
のうちのいずれか１つまたは任意の組み合わせを含む、フィードバックが前記ユーザに提供されるようにすることと
を更に含む、請求項７９に記載の方法。
【請求項８２】
前記ユーザインターフェースが、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気刺激インターフェース、のうちのいずれか１つまたは任意の組み合わせを含む、請求項８１に記載の方法。
【請求項８３】
前記少なくとも１つのコンピュータプロセッサによって、前記ＸＲシステムの現在の状態を示す情報を前記ＸＲシステムから受信することを更に含み、前記神経筋信号が、受信された前記情報に基づいて解釈される、請求項５９に記載の方法。
【請求項８４】
前記ＸＲシステムが複数の動作モードを含む、請求項５９に記載の方法であって、
前記少なくとも１つのコンピュータプロセッサによって、前記神経筋信号に基づいて前記ユーザの第３の筋肉活性化状態を特定することと、
前記少なくとも１つのコンピュータプロセッサによって、前記第３の筋肉活性化状態に基づいて、前記ＸＲシステムの動作を第１のモードから、前記ＸＲシステムの動作を制御するためのモードである第２のモードに変更することと
を更に含む、方法。
【請求項８５】
前記少なくとも１つのコンピュータプロセッサによって、前記神経筋信号に基づいて、前記ユーザの複数の第２の筋肉活性化状態を特定することと、
前記少なくとも１つのコンピュータプロセッサによって、前記複数の第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための複数の制御信号を前記ＸＲシステムに出力することと
を更に含む、請求項５９に記載の方法。
【請求項８６】
前記少なくとも１つのコンピュータプロセッサによって、前記神経筋信号に基づいて、前記ユーザの複数の第３の筋肉活性化状態を特定することと、
前記複数の第２の筋肉活性化状態、または前記複数の第３の筋肉活性化状態、または前記複数の第２の筋肉活性化状態と前記複数の第３の筋肉活性化状態の両方に基づいて、前記ＸＲシステムの動作を制御するための複数の制御信号を前記ＸＲシステムに出力することと
を更に含む、請求項８５に記載の方法。
【請求項８７】
少なくとも１つのコンピュータプロセッサによって実行されると、前記少なくとも１つのコンピュータプロセッサに神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するための方法を実行させるコードを保存する、少なくとも１つの非一時的なコンピュータ可読記憶媒体であって、前記方法が、
ユーザが着用する１または複数のウェアラブルデバイスに配置された１または複数の神経筋センサにより前記ユーザから感知された神経筋信号を受信することと；
前記神経筋信号に基づいて、前記ユーザの第１の筋肉活性化状態を特定することと；
前記第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定することと；
前記神経筋信号に基づいて、前記ユーザの第２の筋肉活性化状態を特定することと；
前記第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための制御信号を前記ＸＲシステムに出力することと
を含む、
少なくとも１つの非一時的なコンピュータ可読記憶媒体。
【請求項８８】
前記ＸＲシステムが拡張現実（ＡＲ）システムを含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項８９】
前記ＸＲシステムが、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９０】
前記１または複数の神経筋センサが、少なくとも１の筋電（ＥＭＧ）センサを含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９１】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される静的なジェスチャを含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９２】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される動的なジェスチャを含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９３】
前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方が、前記ユーザから検出される筋肉下活性化状態を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９４】
前記第１の筋肉活性化状態と前記第２の筋肉活性化状態が同じ活性化状態である、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９５】
前記第１の筋肉活性化状態に基づいて決定される、制御されるべき前記ＸＲシステムの前記動作が、前記ＸＲシステムのウェイクアップモードの動作を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９６】
前記制御信号が、前記第２の筋肉活性化状態に基づく前記出力の際に、前記ＸＲシステムの初期化動作を制御する、請求項９５に記載の少なくとも１つの記憶媒体。
【請求項９７】
前記制御信号が、前記ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９８】
前記制御信号が、前記ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項９９】
前記制御信号が、前記ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１００】
前記制御信号が、前記ＸＲシステムの電力モードまたは電力設定を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０１】
前記制御信号が、前記ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０２】
前記制御信号が、前記ＸＲシステムによるコンテンツの表示を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０３】
前記制御信号が、前記ＸＲシステムによって提供されるべき情報を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０４】
前記制御信号が、前記ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０５】
前記制御信号が、前記ＸＲシステムによって生成される前記ユーザの視覚化を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０６】
前記制御信号が、前記ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０７】
前記方法が、前記ＸＲシステムによって提供されるＸＲ環境に表示されるユーザインターフェースに前記ＸＲシステムの前記動作をどのように制御するかに関する１または複数の指示を提示させることを更に含む、請求項８７に記載の少なくとも１つの記憶媒体。
【請求項１０８】
前記１または複数の指示が、前記第１の筋肉活性化状態、または前記第２の筋肉活性化状態、または前記第１の筋肉活性化状態と前記第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む、請求項１０７に記載の少なくとも１つの記憶媒体。
【請求項１０９】
前記方法が、
前記神経筋信号に基づいて前記ユーザの筋肉活性化状態を決定することと；
前記ユーザインターフェースを介してフィードバックが前記ユーザに提供されるようにすることであって、前記フィードバックが、
決定された前記筋肉活性化状態が前記ＸＲシステムを制御するために使用できるかどうかに関する情報、
前記決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、
前記決定された筋肉活性化状態に対応する制御動作に関する情報、および
前記ＸＲシステムが前記決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、前記ユーザに対するクエリ
のうちのいずれか１つまたは任意の組み合わせを含む、フィードバックが前記ユーザに提供されるようにすることと
を更に含む、請求項１０７に記載の少なくとも１つの記憶媒体。
【請求項１１０】
前記ユーザインターフェースが、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気刺激インターフェース、のうちのいずれか１つまたは任意の組み合わせを含む、請求項１０９に記載の少なくとも１つの記憶媒体。
【請求項１１１】
請求項８７に記載の少なくとも１つの記憶媒体であって、
前記方法が、前記ＸＲシステムの現在の状態を示す情報を前記ＸＲシステムから受信することを更に含み、
前記神経筋信号が、受信された前記情報に基づいて解釈される、
少なくとも１つの記憶媒体。
【請求項１１２】
請求項８７に記載の少なくとも１つの記憶媒体であって、
前記ＸＲシステムが複数の動作モードを含み、かつ
前記方法が、
前記神経筋信号に基づいて前記ユーザの第３の筋肉活性化状態を特定することと；
前記第３の筋肉活性化状態に基づいて、前記ＸＲシステムの動作を第１のモードから、前記ＸＲシステムの動作を制御するためのモードである第２のモードに変更することと
を更に含む、少なくとも１つの記憶媒体。
【請求項１１３】
請求項８７に記載の少なくとも１つの記憶媒体であって、
前記方法が、
前記神経筋信号に基づいて前記ユーザの複数の第２の筋肉活性化状態を特定することと；
前記複数の第２の筋肉活性化状態に基づいて、前記ＸＲシステムの前記動作を制御するための複数の制御信号を前記ＸＲシステムに出力することと
を更に含む、少なくとも１つの記憶媒体。
【請求項１１４】
前記方法が、
前記神経筋信号に基づいて前記ユーザの複数の第３の筋肉活性化状態を特定することと；
前記複数の第２の筋肉活性化状態、または前記複数の第３の筋肉活性化状態、または前記複数の第２の筋肉活性化状態と前記複数の第３の筋肉活性化状態の両方に基づいて、前記ＸＲシステムの動作を制御するための複数の制御信号を前記ＸＲシステムに出力することと
を更に含む、請求項１１３に記載の少なくとも１つの記憶媒体。
【請求項１１５】
神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するためのコンピュータシステムにおいて、前記システムが、
ユーザからの複数の神経筋信号を感知するように構成されている複数の神経筋センサであって、前記複数の神経筋信号を感知するために前記ユーザが着用する１または複数のウェアラブルデバイスに配置されている、複数の神経筋センサと；
少なくとも１つのコンピュータプロセッサであって、
前記複数の神経筋信号に基づいて前記ユーザの筋肉活性化状態を特定する、
前記筋肉活性化状態に基づいて、制御されるべき前記ＸＲシステムの動作を決定する、かつ
前記筋肉活性化状態に基づいて、前記ＸＲ現実システムの前記動作を制御するための制御信号を前記ＸＲシステムに出力する
ようにプログラムされている、少なくとも１つのコンピュータプロセッサと
を備える、コンピュータシステム。
【請求項１１６】
エクステンデッド・リアリティ（ＸＲ）システムを制御するためのキットにおいて、
ユーザからの複数の神経筋信号を検出するように構成された１または複数の神経筋センサを備えるウェアラブルデバイスと；
少なくとも１つのコンピュータプロセッサによって実行されると、前記少なくとも１つのコンピュータプロセッサに神経筋信号に基づいてＸＲシステムを制御するための方法を実行させるコードを保存する、少なくとも１つの非一時的なコンピュータ可読記憶媒体であって、前記方法が、
前記１または複数の神経筋センサによって前記ユーザから検出された、前記複数の神経筋信号を受信することと、
前記複数の神経筋信号に基づいて前記ユーザのｉ神経筋活性化状態を特定することと、
前記特定された神経筋活性化状態に基づいて、制御されるべき前記ＸＲシステムの動作を決定することと、
前記ＸＲシステムの前記動作を制御するための制御信号を前記ＸＲシステムに出力することと
を含む少なくとも１つの非一時的なコンピュータ可読記憶媒体と
を備えるキット。
【請求項１１７】
前記ウェアラブルデバイスが、前記ユーザの一部に巻きつけられるように構造化されたウェアラブルバンドを含む、請求項１１６に記載のキット。
【請求項１１８】
前記ウェアラブルデバイスが、前記ユーザの一部に巻きつけられるように構造化されたウェアラブルパッチを含む、請求項１１６に記載のキット。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
［０１］  本願は、米国特許法第１１９条（ｅ）の定めにより、２０１８年９月２０日に出願された「拡張現実システムの神経筋肉制御」と題された米国仮特許出願第６２／７３４１４５号（その内容全体が参照により本明細書に組み込まれる）の利益を主張する。
【０００２】
［０２］  本技術は、拡張現実（ＡＲ）環境において、かつ、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境などの他のタイプのエクステンデッド・リアリティ（ＸＲ）環境において機能を実行するための神経筋信号を検出し、解釈するシステムおよび方法に関するものである。
【背景技術】
【０００３】
［０３］  拡張現実（ＡＲ）システムは、コンピュータで生成された知覚情報または仮想情報を実世界環境の態様に重畳することにより、仮想情報で補完された実世界環境のインタラクティブな体験をユーザに提供する。ＡＲシステムの動作を制御するための様々な技術が存在する。典型的には、コントローラ、キーボード、マウス、カメラ、マイク等、ＡＲシステムの動作を制御するための１または複数の入力デバイスが使用されてもよい。例えば、ユーザは、コントローラまたはキーボードなどの入力デバイス上のいくつかのボタンを操作して、ＡＲシステムの制御を実施することができる。別の例では、ユーザは、ＡＲシステムの動作を制御するための音声コマンドを使用してもよい。ＡＲシステムの動作を制御するための現行の技術には、多くの欠陥があり、技術の改善が必要とされている。
【発明の概要】
【０００４】
［０４］  本明細書に記載の技術の態様によれば、神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するためのコンピュータシステムが提供される。本システムは、ユーザからの複数の神経筋信号を記録するように構成された複数の神経筋センサと、少なくとも１つのコンピュータプロセッサを備え得る。この複数の神経筋センサは、１または複数のウェアラブルデバイス上に配置されていてもよい。少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：複数の神経筋信号に基づいてユーザの第１の筋肉活性化状態を特定し、第１の筋肉活性化状態に基づいて、制御されるべき拡張現実システムの動作を決定する；複数の神経筋信号に基づいて、ユーザの第２の筋肉活性化状態を特定する；および第２の筋肉活性化状態に基づいて、ＡＲ現実システムの動作を制御するための制御信号をＡＲシステムに提供する。
【０００５】
［０５］  ある態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザによって実行される静的なジェスチャを含み得る。
【０００６】
［０６］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザによって実行される動的なジェスチャを含み得る。
【０００７】
［０７］  ある態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、筋肉下活性化状態を含み得る。
【０００８】
［０８］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザによって実行される筋肉緊張を含み得る。
【０００９】
［０９］  ある態様では、第１の筋肉活性化状態は、第２の筋肉活性化状態と同じである。
【００１０】
［００１０］  別の態様では、制御信号は、以下のうちのいずれか１つまたは任意の組み合わせを制御するための信号を含む：ＡＲシステムに関連するディスプレイデバイスの輝度、ＡＲシステムに関連するオーディオデバイスの属性、ＡＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定、ＡＲシステムの電力モードまたは電力設定、ＡＲシステムに関連するカメラデバイスの属性、ＡＲシステムによるコンテンツの表示、ＡＲシステムによって提供される情報、ＡＲシステムに関連する情報の第２のＡＲシステムへの通信、ＡＲシステムによって生成されるユーザの視覚化、およびＡＲシステムによって生成されるユーザ以外のオブジェクトまたは人物の視覚化。
【００１１】
［００１１］  ある態様において、少なくとも１つのコンピュータプロセッサは、ＡＲシステムによって提供されるＡＲ環境で表示されるユーザインターフェースを介して、ＡＲシステムの動作をどのように制御するかに関する１または複数の指示をユーザに提示するようにプログラムされてもよい。
【００１２】
［００１２］  この態様の変形例では、１または複数の指示は、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含んでもよい。
【００１３】
［００１３］  別の態様では、少なくとも１つのコンピュータプロセッサは、ＡＲシステムの現在の状態を示す情報をＡＲシステムから受信するようにプログラムされてもよく、複数の神経筋信号は、受信された情報に基づいて解釈される。
【００１４】
［００１４］  一態様では、ＡＲシステムは、第１のモードで動作するように構成され得る。少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：複数の神経筋信号に基づいてユーザの第３の筋肉活性化状態を特定し；第３の筋肉活性化状態に基づいて、ＡＲシステムの動作モードを第１のモードから第２のモードに変更する。第２のモードは、ＡＲシステムの動作を制御するためのモードであってもよい。第３の筋肉活性化状態は、第１の筋肉活性化状態及び第２の筋肉活性化状態に先立って特定されてもよい。
【００１５】
［００１５］  別の態様では、少なくとも１つのコンピュータプロセッサは、更に、次のようにプログラムされている：複数の神経筋信号に基づいて、ユーザの複数の第２の筋肉活性化状態を特定し；複数の第２の筋肉活性化状態に基づいて、ＡＲシステムの動作を制御するための複数の制御信号をＡＲシステムに提供する。複数の第２の筋肉活性化状態には、第２の筋肉活性化状態が含まれ得る。
【００１６】
［００１６］  本態様の変形例では、少なくとも１つのコンピュータプロセッサは、更に、次のようにプログラムされてもよい：複数の神経筋信号に基づいて、ユーザの複数の第３の筋肉活性化状態を特定し；複数の第２の筋肉活性化状態、または複数の第３の筋肉活性化状態、または複数の第２の筋肉活性化状態と複数の第３の筋肉活性化状態の両方に基づいて、ＡＲシステムの動作を制御するための複数の制御信号をＡＲシステムに提供する。
【００１７】
［００１７］  本明細書に記載の技術の態様によれば、神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するための方法が提供される。本方法は、１または複数のウェアラブルデバイスに配置された複数の神経筋センサを使用して、ユーザからの複数の神経筋信号を記録すること；複数の神経筋信号に基づいてユーザの第１の筋肉活性化状態を特定すること；第１の筋肉活性化状態に基づいて、制御されるべき拡張現実システムの動作を決定すること；複数の神経筋信号に基づいて、ユーザの第２の筋肉活性化状態を特定すること；および第２の筋肉活性化状態に基づいて、ＡＲシステムの動作を制御するための制御信号をＡＲシステムに提供することを含む。
【００１８】
［００１８］  本明細書に記載の技術の態様によれば、神経筋信号に基づいて拡張現実（ＡＲ）システムを制御するためのコンピュータシステムが提供される。本システムは、ユーザからの複数の神経筋信号を記録するように構成された複数の神経筋センサと、少なくとも１つのコンピュータプロセッサを備え得る。この複数の神経筋センサは、１または複数のウェアラブルデバイス上に配置されていてもよい。少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：複数の神経筋信号に基づいてユーザの筋肉活性化状態を特定し；筋肉活性化状態に基づいて、制御されるべきＡＲシステムの動作を決定し；筋肉活性化状態に基づいて、ＡＲシステムの動作を制御するための制御信号をＡＲシステムに提供する。
【００１９】
［００１９］  ある態様では、制御信号は、以下のうちのいずれか１つまたは任意の組み合わせを制御するための信号を含み得る：ＡＲシステムに関連するディスプレイデバイスの輝度、ＡＲシステムに関連するオーディオデバイスの属性、ＡＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定、ＡＲシステムの電力モードまたは電力設定、ＡＲシステムに関連するカメラデバイスの属性、ＡＲシステムによるコンテンツの表示、ＡＲシステムによって提供される情報、ＡＲシステムに関連する情報の第２のＡＲシステムへの通信、ＡＲシステムによって生成されるユーザの視覚化、およびＡＲシステムによって生成されるユーザ以外のオブジェクトまたは人物の視覚化。
【００２０】
［００２０］  別の態様において、少なくとも１つのコンピュータプロセッサは、ＡＲシステムによって提供されるＡＲ環境で表示されるユーザインターフェースを介して、ＡＲシステムの動作をどのように制御するかに関する１または複数の指示をユーザに提示するようにプログラムされてもよい。
【００２１】
［００２１］  この態様の変形例では、１または複数の命令は、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含んでもよい。
【００２２】
［００２２］  ある態様では、少なくとも１つのコンピュータプロセッサは、ＡＲシステムの現在の状態を示す情報をＡＲシステムから受信するようにプログラムされてもよく、複数の神経筋信号は、受信された情報に基づいて解釈される。
【００２３】
［００２３］  本明細書に記載の技術の態様によれば、神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するためのコンピュータシステムが提供される。本システムは、ユーザからの神経筋信号を感知する１または複数の神経筋センサであって、神経筋信号を感知するためにユーザが着用するように構造化された１または複数のウェアラブルデバイス上に配置されている、１または複数の神経筋センサ；および少なくとも１つのコンピュータプロセッサを備え得る。少なくともコンピュータプロセッサは、次のようにプログラムされてもよい：神経筋信号に基づいてユーザの第１の筋肉活性化状態を特定する；第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定する；神経筋信号に基づいて、ユーザの第２の筋肉活性化状態を特定する；および第２の筋肉活性化状態に基づいて、ＡＲシステムの動作を制御するための制御信号をＡＲシステムに出力する。
【００２４】
［００２４］  ある態様において、ＸＲシステムは、拡張現実（ＡＲ）システムを含み得る。
【００２５】
［００２５］  別の態様では、ＸＲシステムは、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含み得る。
【００２６】
［００２６］  ある態様において、１または複数の神経筋センサは、少なくとも１の筋電（ＥＭＧ）センサを含み得る。
【００２７】
［００２７］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された静的なジェスチャを含み得る。
【００２８】
［００２８］  ある態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された動的なジェスチャを含み得る。
【００２９】
［００２９］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された筋肉下活性化状態を含み得る。
【００３０】
［００３０］  ある態様では、第１の筋肉活性化状態と第２の筋肉活性化状態は、同じ活性化状態であってもよい。
【００３１】
［００３１］  ある態様では、第１の筋肉活性化状態に基づいて決定される、制御されるべきＸＲシステムの動作は、ＸＲシステムのウェイクアップモードの動作を含む。
【００３２】
［００３２］  この態様の変形例では、第２の筋肉活性化状態に基づいて少なくとも１つのコンピュータプロセッサによって出力される制御信号は、ＸＲシステムの初期化動作を制御する。
【００３３】
［００３３］  別の態様では、制御信号は、ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００３４】
［００３４］  ある態様では、制御信号は、ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００３５】
［００３５］  別の態様では、制御信号は、ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含み得る。
【００３６】
［００３６］  ある態様では、制御信号は、ＸＲシステムに関連する電力モードまたは電力設定を制御する信号を含み得る。
【００３７】
［００３７］  別の態様では、制御信号は、ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００３８】
［００３８］  ある態様では、制御信号は、ＸＲシステムによるコンテンツの表示を制御する信号を含み得る。
【００３９】
［００３９］  別の態様では、制御信号は、ＸＲシステムによって提供される情報を制御する信号を含み得る。
【００４０】
［００４０］  ある態様では、制御信号は、ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含み得る。
【００４１】
［００４１］  別の態様では、制御信号は、ＸＲシステムによって生成されるユーザの視覚化を制御する信号を含み得る。
【００４２】
［００４２］  ある態様では、制御信号は、ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含み得る。
【００４３】
［００４３］  別の態様において、少なくとも１つのコンピュータプロセッサは、ＸＲシステムによって提供されるＸＲ環境で表示されるユーザインターフェースに、ＸＲシステムの動作をどのように制御するかに関する１または複数の指示をユーザに提示させるようにプログラムされてもよい。
【００４４】
［００４４］  この態様の変形例では、１または複数の指示は、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含んでもよい。
【００４５】
［００４５］  本態様の変形例では、少なくとも１つのプロセッサは、神経筋信号に基づいてユーザの筋肉活性化状態を決定するように、かつ、ユーザインターフェースを介してユーザにフィードバックを提供するようにプログラムされてもよく、ここで、フィードバックは、決定された筋肉活性化状態がＸＲシステムを制御するために使用できるかどうかに関する情報、決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、決定された筋肉活性化状態に対応する制御動作に関する情報、およびＸＲシステムが決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、ユーザに対するクエリ、のうちのいずれか１つまたは任意の組み合わせを含む。ユーザインターフェースは、オーディオインターフェースと、ビデオインターフェースと、触覚インターフェースと、電気刺激インターフェースと、のいずれか１つまたは任意の組み合わせを含み得る。
【００４６】
［００４６］  別の態様では、少なくとも１つのコンピュータプロセッサは、ＸＲシステムの現在の状態を示す情報をＸＲシステムから受信するようにプログラムされてもよい。神経筋信号は、受信された情報に基づいて解釈され得る。
【００４７】
［００４７］  ある態様において、ＸＲシステムは、複数の動作モードを含み得る。少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：神経筋信号に基づいてユーザの第３の筋肉活性化状態を特定し；第３の筋肉活性化状態に基づいて、ＸＲシステムの動作を第１のモードから、ＸＲシステムの動作を制御するためのモードである第２のモードに変更する。
【００４８】
［００４８］  別の態様では、少なくとも１つのコンピュータプロセッサは、次のようにプログラムされていてもよい：神経筋信号に基づいて、ユーザの複数の第２の筋肉活性化状態を特定し；複数の第２の筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力する。
【００４９】
［００４９］  本態様の変形例では、少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：神経筋信号に基づいて、ユーザの複数の第３の筋肉活性化状態を特定し；複数の第２の筋肉活性化状態、または複数の第３の筋肉活性化状態、または複数の第２の筋肉活性化状態と複数の第３の筋肉活性化状態の両方に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力する。
【００５０】
［００５０］  本明細書に記載の技術の態様によれば、神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するための方法が提供される。本方法は、以下を含むことができる：少なくとも１つのコンピュータプロセッサによって、ユーザが着用する１または複数のウェアラブルデバイスに配置された１または複数の神経筋センサによりユーザから感知された神経筋信号を受信することと；少なくとも１つのコンピュータプロセッサによって、神経筋信号に基づいて、ユーザの第１の筋肉活性化状態を特定することと；少なくとも１つのコンピュータプロセッサによって、第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定することと；少なくとも１つのコンピュータプロセッサによって、神経筋信号に基づいて、ユーザの第２の筋肉活性化状態を特定することと；少なくとも１つのコンピュータプロセッサによって、第２の筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための制御信号をＸＲシステムに出力すること。
【００５１】
［００５１］  ある態様において、ＸＲシステムは、拡張現実（ＡＲ）システムを含み得る。
【００５２】
［００５２］  別の態様では、ＸＲシステムは、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含み得る。
【００５３】
［００５３］  ある態様において、１または複数の神経筋センサは、少なくとも１の筋電（ＥＭＧ）センサを含み得る。
【００５４】
［００５４］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された静的なジェスチャを含み得る。
【００５５】
［００５５］  ある態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された動的なジェスチャを含み得る。
【００５６】
［００５６］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された筋肉下活性化状態を含み得る。
【００５７】
［０３］  ある態様では、第１の筋肉活性化状態と第２の筋肉活性化状態は、同じ活性化状態であってもよい。
【００５８】
［０４］  ある態様では、第１の筋肉活性化状態に基づいて決定される、制御されるべきＸＲシステムの動作は、ＸＲシステムのウェイクアップモードの動作を含む。
【００５９】
［０５］  この態様の変形例では、第２の筋肉活性化状態に基づいて少なくとも１つのコンピュータプロセッサによって出力される制御信号は、ＸＲシステムの初期化動作を制御する。
【００６０】
［０６］  別の態様では、制御信号は、ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００６１】
［０７］  ある態様では、制御信号は、ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００６２】
［０８］  別の態様では、制御信号は、ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含み得る。
【００６３】
［０９］  ある態様では、制御信号は、ＸＲシステムに関連する電力モードまたは電力設定を制御する信号を含み得る。
【００６４】
［００１０］  別の態様では、制御信号は、ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００６５】
［００１１］  ある態様では、制御信号は、ＸＲシステムによるコンテンツの表示を制御する信号を含み得る。
【００６６】
［００１２］  別の態様では、制御信号は、ＸＲシステムによって提供される情報を制御する信号を含み得る。
【００６７】
［００１３］  ある態様では、制御信号は、ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含み得る。
【００６８】
［００１４］  別の態様では、制御信号は、ＸＲシステムによって生成されるユーザの視覚化を制御する信号を含み得る。
【００６９】
［００１５］  ある態様では、制御信号は、ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含み得る。
【００７０】
［００１２］  別の態様では、この方法は、少なくとも１つのコンピュータプロセッサによって、ＸＲシステムが提供するＸＲ環境に表示されるユーザインターフェースに、ＸＲシステムの動作をどのように制御するかに関する１または複数の指示を提示させることを含み得る。
【００７１】
［００１７］  この態様の変形例では、１または複数の指示は、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含んでもよい。
【００７２】
［００１８］  本態様の別の変形例では、本方法は、少なくとも１つのプロセッサによって、神経筋信号に基づいて、ユーザの筋肉活性化状態を決定することと、少なくとも１つのプロセッサによって、ユーザインターフェースを介してフィードバックがユーザに提供されるようにすることとを含み得、ここで、フィードバックは、決定された筋肉活性化状態がＸＲシステムを制御するために使用できるかどうかに関する情報、決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、決定された筋肉活性化状態に対応する制御動作に関する情報、およびＸＲシステムが決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、ユーザに対するクエリ、のうちのいずれか１つまたは任意の組み合わせを含む。ユーザインターフェースは、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気刺激インターフェース、のうちのいずれか１つまたは任意の組み合わせを含み得る。
【００７３】
［００１９］  別の態様では、本方法は、少なくとも１つのコンピュータプロセッサによって、ＸＲシステムの現在の状態を示す情報をＸＲシステムから受信することを含み得る。神経筋信号は、受信した情報に基づいて解釈され得る。
【００７４】
［００２０］  ある態様において、ＸＲシステムは、複数の動作モードを含み得る。本方法は、少なくとも１つのコンピュータプロセッサによって、神経筋信号に基づいてユーザの第３の筋肉活性化状態を特定することと、少なくとも１つのコンピュータプロセッサによって、第３の筋肉活性化状態に基づいて、ＸＲシステムの動作を第１のモードから、ＸＲシステムの動作を制御するためのモードである第２のモードに変更することとを含み得る。
【００７５】
［００２１］  別の態様では、本方法は、少なくとも１つのコンピュータプロセッサによって、神経筋信号に基づいて、ユーザの複数の第２の筋肉活性化状態を特定することと、少なくとも１つのコンピュータプロセッサによって、複数の第２の筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力することとを含み得る。
【００７６】
［００２２］  本態様の変形例では、本方法は、少なくとも１つのコンピュータプロセッサによって、神経筋信号に基づいて、ユーザの複数の第３の筋肉活性化状態を特定することと、複数の第２の筋肉活性化状態、または複数の第３の筋肉活性化状態、または複数の第２の筋肉活性化状態と複数の第３の筋肉活性化状態の両方に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力することとを含み得る。
【００７７】
［００２３］  本明細書に記載の技術の態様によれば、少なくとも１つの非一時的なコンピュータ可読記憶媒体が提供される。少なくとも１つの記憶媒体は、少なくとも１つのコンピュータプロセッサによって実行されると、少なくとも１つのコンピュータプロセッサに神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するための方法を実行させるコードを保存することができる。本方法は、以下を含むことができる：ユーザが着用する１または複数のウェアラブルデバイスに配置された１または複数の神経筋センサによりユーザから感知された神経筋信号を受信することと；神経筋信号に基づいて、ユーザの第１の筋肉活性化状態を特定することと；第１の筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定することと；神経筋信号に基づいて、ユーザの第２の筋肉活性化状態を特定することと；第２の筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための制御信号をＸＲシステムに出力すること。
【００７８】
［００２４］  ある態様において、ＸＲシステムは、拡張現実（ＡＲ）システムを含み得る。
【００７９】
［００２５］  別の態様では、ＸＲシステムは、拡張現実（ＡＲ）システムと、仮想現実（ＶＲ）システムと、複合現実（ＭＲ）システムと、のいずれか１つまたは任意の組み合わせを含み得る。
【００８０】
［００２６］  ある態様において、１または複数の神経筋センサは、少なくとも１の筋電（ＥＭＧ）センサを含み得る。
【００８１】
［００２７］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された静的なジェスチャを含み得る。
【００８２】
［００２８］  ある態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された動的なジェスチャを含み得る。
【００８３】
［００２９］  別の態様では、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方は、ユーザから検出された筋肉下活性化状態を含み得る。
【００８４】
［００３０］  ある態様では、第１の筋肉活性化状態と第２の筋肉活性化状態は、同じ活性化状態であってもよい。
【００８５】
［００３１］  ある態様では、第１の筋肉活性化状態に基づいて決定される、制御されるべきＸＲシステムの動作は、ＸＲシステムのウェイクアップモードの動作を含む。
【００８６】
［００３２］  この態様の変形例では、第２の筋肉活性化状態に基づいて少なくとも１つのコンピュータプロセッサによって出力される制御信号は、ＸＲシステムの初期化動作を制御する。
【００８７】
［００３３］  別の態様では、制御信号は、ＸＲシステムに関連するディスプレイデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００８８】
［００３４］  ある態様では、制御信号は、ＸＲシステムに関連するオーディオデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００８９】
［００３５］  別の態様では、制御信号は、ＸＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御する信号を含み得る。
【００９０】
［００３６］  ある態様では、制御信号は、ＸＲシステムに関連する電力モードまたは電力設定を制御する信号を含み得る。
【００９１】
［００３７］  別の態様では、制御信号は、ＸＲシステムに関連するカメラデバイスの属性および機能の一方または両方を制御する信号を含み得る。
【００９２】
［００３８］  ある態様では、制御信号は、ＸＲシステムによるコンテンツの表示を制御する信号を含み得る。
【００９３】
［００３９］  別の態様では、制御信号は、ＸＲシステムによって提供される情報を制御する信号を含み得る。
【００９４】
［００４０］  ある態様では、制御信号は、ＸＲシステムに関連する情報の第２のＸＲシステムへの通信を制御する信号を含み得る。
【００９５】
［００４１］  別の態様では、制御信号は、ＸＲシステムによって生成されるユーザの視覚化を制御する信号を含み得る。
【００９６】
［００４２］  ある態様では、制御信号は、ＸＲシステムによって生成されるオブジェクトの視覚化を制御する信号を含み得る。
【００９７】
［００４１］  別の態様では、本方法は、ＸＲシステムによって提供されるＸＲ環境に表示されるユーザインターフェースに、ＸＲシステムの動作をどのように制御するかに関する１または複数の指示を提示させることを含み得る。
【００９８】
［００４４］  この態様の変形例では、１または複数の指示は、第１の筋肉活性化状態、または第２の筋肉活性化状態、または第１の筋肉活性化状態と第２の筋肉活性化状態の両方をどのように達成するかの視覚的デモンストレーションを含む。
【００９９】
［００４５］  本態様の別の変形例では、本方法は、神経筋信号に基づいてユーザの筋肉活性化状態を決定することと、ユーザインターフェースを介してフィードバックがユーザに提供されるようにすることとを含み得、ここで、フィードバックは、決定された筋肉活性化状態がＸＲシステムを制御するために使用できるかどうかに関する情報、決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、決定された筋肉活性化状態に対応する制御動作に関する情報、およびＸＲシステムが決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、ユーザに対するクエリ、のうちのいずれか１つまたは任意の組み合わせを含む。ユーザインターフェースは、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気刺激インターフェース、のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１００】
［００４６］  別の態様では、本方法は、ＸＲシステムの現在の状態を示す情報をＸＲシステムから受信することを含み得る。神経筋信号は、受信した情報に基づいて解釈され得る。
【０１０１】
［００４７］  ある態様において、ＸＲシステムは、複数の動作モードを含み得る。本方法は、神経筋信号に基づいてユーザの第３の筋肉活性化状態を特定することと、第３の筋肉活性化状態に基づいて、ＸＲシステムの動作を第１のモードから、ＸＲシステムの動作を制御するためのモードである第２のモードに変更することとを含み得る。
【０１０２】
［００４８］  別の態様では、本方法は、神経筋信号に基づいてユーザの複数の第２の筋肉活性化状態を特定することと、複数の第２の筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力することとを含み得る。
【０１０３】
［００４９］  本態様の変形例では、本方法は、神経筋信号に基づいてユーザの複数の第３の筋肉活性化状態を特定することと、複数の第２の筋肉活性化状態、または複数の第３の筋肉活性化状態、または複数の第２の筋肉活性化状態と複数の第３の筋肉活性化状態の両方に基づいて、ＸＲシステムの動作を制御するための複数の制御信号をＸＲシステムに出力することとを含み得る。
【０１０４】
［００５０］  本明細書に記載の技術の態様によれば、神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するためのコンピュータシステムが提供される。本システムは、ユーザからの複数の神経筋信号を感知するように構成された複数の神経筋センサと、少なくとも１つのコンピュータプロセッサを備え得る。複数の神筋センサは、複数の神経筋信号を感知するためにユーザが着用する１または複数のウェアラブルデバイス上に配置されていてもよい。少なくとも１つのコンピュータプロセッサは、次のようにプログラムされてもよい：複数の神経筋信号に基づいてユーザの筋肉活性化状態を特定し；筋肉活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定し；筋肉活性化状態に基づいて、ＸＲシステムの動作を制御するための制御信号をＸＲシステムに出力する。
【０１０５】
［００５１］  本明細書に記載の技術の態様によれば、エクステンデッド・リアリティ（ＸＲ）システムを制御するためのキットが提供される。キットは、以下を含み得る：ユーザからの複数の神経筋信号を検出するように構成された１または複数の神経筋センサを含むウェアラブルデバイスと；少なくとも１つのコンピュータプロセッサによって実行されると、少なくとも１つのコンピュータプロセッサに神経筋信号に基づいてエクステンデッド・リアリティ（ＸＲ）システムを制御するための方法を実行させるコードを記憶する、少なくとも１つの非一時的なコンピュータ可読記憶媒体。本方法は、以下を含み得る：１または複数の神経筋センサによってユーザから検出される複数の神経筋信号を受信することと；；複数の神経筋信号に基づいてユーザの神経筋活性化状態を特定することと；特定された神経筋活性化状態に基づいて、制御されるべきＸＲシステムの動作を決定することと；ＸＲシステムの動作を制御するための制御信号をＸＲシステムに出力すること。
【０１０６】
［００５２］  ある態様では、ウェアラブルデバイスは、ユーザの一部に巻きつけられるように構造化されたウェアラブルバンドを含み得る。
【０１０７】
［００５３］  別の態様では、ウェアラブルデバイスは、ユーザの一部に巻きつけられるように構造化されたウェアラブルパッチを含み得る。
【０１０８】
［００５４］  前述の概念と以下でより詳細に論じられる追加の概念との全ての組み合わせは（これらの概念が相互に矛盾しないという条件で）、本明細書に開示される本発明の主題の一部であると考えられることを理解されたい。特に、本開示の終わりに現れるクレームされた主題の全ての組み合わせは、本明細書に開示された本発明の主題の一部であると考えられる。
【０１０９】
［００５５］  本技術の様々な非限定的な実施形態が、以下の図を参照して説明される。これらの図は必ずしも一定の縮尺で描かれているわけではないことを理解されたい。
【図面の簡単な説明】
【０１１０】
【図１】［００５６］  本明細書に記載の技術のいくつかの実施形態に従って、神経筋センサから得られた信号などの神経筋センサデータを処理するためのコンピュータベースのシステムの概略図である。
【図２】［００５７］  本明細書に記載の技術のいくつかの実施形態による、ＡＲシステムと神経筋活動システムとを統合する分散型コンピュータベースのシステムの概略図である。
【図３】［００５８］  本明細書に記載の技術のいくつかの実施形態による、ＡＲシステムを制御するためのプロセスのフローチャートである。
【図４】［００５９］  本明細書に記載の技術のいくつかの実施形態による、ユーザの１または複数の筋肉活性化状態に基づいてＡＲシステムを制御するためのプロセスのフローチャートである。
【図５】［００６０］  本明細書に記載の技術のいくつかの実施形態による、円周方向に配置されたＥＭＧセンサがついたリストバンドを示す。
【図６Ａ】［００６１］  本明細書に記載の技術のいくつかの実施形態による、ユーザの下腕または手首に巻きつけられるように構成されたバンドの周りに円周方向に配置された１６個のＥＭＧセンサを有するウェアラブルシステムを示す。
【図６Ｂ】［００６２］  図６Ｂは、図６Ａに示されている１６個のＥＭＧセンサのうちの１つを通る断面図である。
【図７Ａ−７Ｂ】［００６３］  図７Ａおよび７Ｂは、本明細書に記載の技術のいくつかの実施形態が実現されているコンピュータベースのシステムの構成要素を概略的に示している。図７Ａは、コンピュータベースのシステムのウェアラブル部分を示し、図７Ｂは、コンピュータに接続されたドングル部分を示す（ドングル部分は、ウェアラブル部分と通信するように構成されている）。
【図８Ａ−８Ｄ】［００６４］  図８Ａ、８Ｂ、８Ｃおよび８Ｄは、本明細書に記載の技術のいくつかの実施形態による、センサ電子機器が組み込まれたパッチタイプのウェアラブルシステムを概略的に示している。
【発明を実施するための形態】
【０１１１】
［００６５］  本発明者らは、ＡＲシステムを制御するための、ならびにＶＲシステムおよびＭＲシステムなどの他のタイプのＸＲシステムを制御するための、新しい技術を開発した。本明細書に提示された技術の様々な実施形態は、望ましくないまたは煩わしい物理的なキーボードまたはマイクの使用を回避すること；カメラによってキャプチャされたユーザの低品質な画像の、時間がかかりかつ／または高遅延の処理に関連する問題を克服することと；テキスト入力を決定するのに重要になり得る、微妙な、小さなまたは速い動きおよび／または圧力の変化（例えば、タッチペン、筆記具または指が表面に押し付けられることによって加えられる力の量の変化）を捉え、検出することを可能にすることと；特定プロセスを強化する、従来の入力デバイスでは容易に得られない様々な感覚情報を取得または収集および分析することと；ユーザの手が隠れているか、またはカメラの視野外にある場合（例えば、ユーザのポケットの中、またはユーザが手袋を着用している間など）を可能にすることと、を含むいくつかの利点を提供する。
【０１１２】
［００６６］  本明細書に記載の技術のいくつかの実施形態によれば、１または複数のウェアラブルセンサによって感知された信号を使用して、ＸＲシステムを制御することができる。本発明者らは、ＸＲシステムの改善された制御を可能にするために、ユーザの複数の筋肉活性化状態が、そのような感知され記録された信号から、ならびに／またはそのような感知され記録された信号に基づく信号から、またはそのような信号から得られた情報から、特定され得ることを認識した。神経筋信号は、ＸＲシステムへの入力として直接使用されてもよく（例えば、入力信号として運動単位の活動電位を使用することによって）、かつ／または神経筋信号は、ユーザの体の一部（例えば指、手、手首など）の動き、力および／もしくは位置を決定する目的で処理されてもよい（本明細書に記載されている推論モデルを使用することを含む）。ＸＲシステムの様々な動作は、特定された筋肉活性化状態に基づいて制御され得る。ＸＲシステムの動作は、ウェアラブルセンサからの感知され記録された信号に基づいてユーザが制御することができるＸＲシステムの任意の態様を含み得る。筋肉活性化状態には、ユーザによって実行される静的なジェスチャまたはポーズ、ユーザによって実行される動的なジェスチャまたは動き、ユーザの筋肉下活性化状態、ユーザによって実行される筋肉の緊張もしくは弛緩、または前記の任意の組み合わせを含まれ得るが、これらに限定されるものではない。例えば、ＸＲシステムの制御には、１または複数の個々の運動単位の活性化に基づく制御、例えば、感知された筋肉の緊張のような、ユーザの検出された筋肉下活性化状態に基づく制御が含まれ得る。１または複数の筋肉活性化状態（複数可）を特定することが、ＸＲシステムの動作を制御するための階層的なまたはマルチレベルのアプローチを可能にし得る。例えば、第１の階層／レベルでは、１つの筋肉活性化状態は、ＸＲシステムのモードを第１のモード（例えば、ＸＲ相互作用モード）から第２のモード（例えば、ＸＲシステムの動作を制御するための制御モード）に切り替えることを示してもよく、第２の階層／レベルにおいては、別の筋肉活性化状態が、制御されるべきＸＲシステムの動作を示してもよく、第３の階層／レベルでは、更に別の筋肉活性化状態が、ＸＲシステムの示された動作がどのように制御されるべきかを示し得る。本開示の範囲から逸脱することなく、任意の数の筋肉活性化状態および層が使用され得ることが理解されるであろう。例えば、いくつかの実施形態では、１または複数の筋肉活性化状態は、１または複数の運動単位の活性化に基づく同時ジェスチャ、例えば、人差し指を指しながら手首を曲げるユーザの手などに対応していてもよい。いくつかの実施形態では、１または複数の筋肉活性化状態は、１または複数の運動単位の活性化に基づく一連のジェスチャ、例えば、手首を上向きに、次に下向きに曲げるユーザの手に対応していてもよい。いくつかの実施形態では、単一の筋肉活性化状態は、制御モードに切り替えることを示すと同時に、制御されるべきＸＲシステムの動作を示すものであってもよい。理解されるように、「感知され記録された」、「感知され収集された」、「記録された」、「収���された」、「得られた」等の語句は、センサ信号と一緒に使用される場合、センサによって検出されたかまたは感知された信号を含む。理解されるように、信号は、不揮発性メモリに記憶せずに感知され記録されるかまたは収集されてもよく、あるいは信号は、不揮発性ローカルメモリまたは不揮発性外部メモリに記憶されて感知され記録されるかまたは収集されてのよい。例えば、検出または感知された後、信号は、「検出されたまま」（すなわち生のまま）センサに保存されてもよく、または信号は、センサに保存される前にセンサで処理を受けてもよく、または信号は、処理および／もしくは保存のために（例えばＢｌｕｅｔｏｏｔｈ技術などを介して）外部デバイスに通信されてもよく、または前記の任意の組み合わせであってもよい。
【０１１３】
［００６７］  一例として、センサ信号は、ユーザが第１のジェスチャを実行している間、感知され記録されてもよい。センサ信号に基づいて特定され得る第１のジェスチャは、ユーザがＸＲシステムに関連するディスプレイデバイスの動作および／または態様（例えば輝度）を制御したいということを示し得る。ＸＲシステムが第１のジェスチャを検出することに応答して、ディスプレイデバイスに関連する設定画面が、ＸＲシステムによって表示され得る。センサ信号は、ユーザが第２のジェスチャを実行している間、感知され記録され続けてもよい。第２のジェスチャの検出に応答して、ＸＲシステムは、例えば、設定画面上で輝度コントローラ（例えばスライダコントロールバー）を選択することがある。センサ信号は、例えば、輝度がどのように制御されるべきであるかを示す第３のジェスチャまたは一連のジェスチャをユーザが実行している間、感知され記録され続けてもよい。例えば、１または複数の上向きのスワイプジェスチャは、ユーザが輝度を上げたいということを示し、１または複数の上向きのスワイプジェスチャを検出すると、ＸＲシステムの設定画面上でスライダコディスプレイデバイスントロールバーがそれに応じて操作されるようになる。
【０１１４】
［００６８］  いくつかの実施形態によれば、筋肉活性化状態は、１または複数のウェアラブルセンサによって取得された（例えば感知され記録された）生の（例えば未処理の）センサ信号から、少なくとも部分的に特定され得る。いくつかの実施形態では、筋肉活性化状態は、生のセンサ信号に基づく情報から少なくとも部分的に特定されてもよく（例えば処理済みセンサ信号）、ここで、１または複数のウェアラブルセンサによって得られた生のセンサ信号は、例えば増幅、フィルタリング、整流、および／または他の形態の信号処理を実行するように処理され、その例は、以下でより詳細に説明される。いくつかの実施形態では、筋肉活性化状態は、入力としてセンサ信号（センサ信号の生のバージョンまたは処理されたバージョン）を受信する、訓練された推論モデルの出力から、少なくとも部分的に特定され得る。
【０１１５】
［００６９］  ＸＲシステムを制御するために使用され得るいくつかの従来技術とは対照的に、本明細書に記載された技術の１つ以上に従ってセンサ信号に基づいて決定される筋肉活性化状態を使用して、ＸＲシステムの様々な態様および／または動作を制御することができ、それにより、上述のように、煩雑かつ非効率的な入力デバイスに依存する必要性が減少する。例えば、センサデータ（例えば、神経筋センサから得られた信号またはそのような信号から得られたデータ）を記録することができ、ユーザがコントローラおよび／または他の入力デバイスを携帯必要なしに、かつ、ユーザに複雑なボタンまたはキー操作シーケンスを覚えさせることなく、記録されたセンサデータから筋肉活性化状態を特定することができる。また、記録されたセンサデータからの筋肉活性化状態（例えばポーズ、ジェスチャなど）の特定は、比較的速く実行され得るため、ＸＲシステムの制御に関連する応答時間および待ち時間を短縮する。更に、本明細書に記載の技術のいくつかの実施形態は、各ユーザがそのユーザに固有の、ＸＲシステムの１または複数の態様および／または動作を制御するための制御方式を定義できるように、ＸＲシステムのユーザカスタマイズ可能な制御を可能にする。
【０１１６】
［００７０］  ユーザの体の各所に配置されたウェアラブルセンサによって感知され記録された信号は、人体のマルチセグメント多関節剛体モデルの剛体セグメントの空間情報および／または力情報を生成するように訓練された推論モデルへの入力として提供されてもよい。空間情報には、例えば、１または複数のセグメントの位置情報、１または複数のセグメントの方位情報、セグメント間の関節角などが含まれ得る。入力に基づいて、かつ、訓練の結果として、この推論モデルは、定義された動きの制約下での多関節剛体の推論された動きを暗黙的に表すことができる。訓練された推論モデルは、ユーザが物理的なオブジェクトおよび／または仮想オブジェクトと相互作用するＸＲ環境におけるユーザの身体表現をレンダリングするためのアプリケーションおよび／またはユーザが身体活動を行う際にユーザの動きをモニタして、例えばユーザが所望の方法で身体活動を行っているかどうかを評価するためのアプリケーションなどのアプリケーションに有用なデータを出力してもよい。理解されるように、訓練された推論モデルからの出力データは、本明細書で具体的に特定されているもの以外のアプリケーションのために使用されてもよい。
【０１１７】
［００７１］  例えば、ユーザ（例えば、ユーザの手首または腕）に配置された単一の動きセンサによって取得された動きデータは、訓練された推論モデルへの入力データとして提供され得る。訓練された推論モデルによって生成された対応する出力データを使用して、ユーザのためのマルチセグメント多関節剛体モデルの１または複数のセグメントのための空間情報を決定することができる。例えば、出力データを使用して、マルチセグメント多関節剛体モデル内の１または複数のセグメントの位置および／または方位を決定することができる。別の例では、出力データを使用して、マルチセグメント多関節剛体モデル内の接続されたセグメント間の角度を決定することができる。
【０１１８】
［００７２］  以下で説明するように、様々なタイプのセンサを使用して、訓練された推論モデルへ入力データを提することができる。
【０１１９】
［００７３］  本明細書に記載されるように、本技術のいくつかの実施形態では、様々な筋肉活性化状態が、センサデータから直接特定され得る。他の実施形態では、手の状態、ジェスチャ、ポーズなど（本明細書では、個別に言及されているか、または筋肉活性化状態としてまとめて言及されている）は、少なくとも部分的に、訓練された推論モデルの出力に基づいて特定され得る。いくつかの実施形態では、訓練された推論モデルは、コンピュータ生成された筋骨格モデルのセグメントについて、運動単位または筋肉の活性化ならびに／または位置、方位および／もしくは力の推定値を出力することができる。一例では、人間の筋骨格系の全てまたは一部は、異なるセグメント間の境界面を形成する関節を備え、モデル内の接続されたセグメント間の空間的関係を定義する関節角を備えた、マルチセグメント多関節剛体系としてモデル化することができる。
【０１２０】
［００７４］  本明細書で使用される場合、「ジェスチャ」という用語は、１または複数の身体部分の静的または動的構成を指し、この構成に関連した力と１または複数の身体部分の位置とを含む。例えば、ジェスチャには、手掌を固体面に当てたり押したり、ボールを握ったりするような不連続のジェスチャ、指を前後に振ったり、ボールを握って投げるというような連続的なジェスチャ、または不連続のジェスチャと連続的なジェスチャとの組み合わせが含まれ得る。ジェスチャには、反対の筋肉を共収縮させることによって関節をわずかに緊張させたり、筋肉下の活性化を利用したりするなど、他人には気付かれない隠れジェスチャが含まれ得る。推論モデルを訓練する際、ジェスチャは、ユーザにジェスチャの実行を促すように構成されたアプリケーションを使用して定義できる。あるいは、ジェスチャは、ユーザが任意に定義することができる。ユーザによって実行されるジェスチャは、シンボリックジェスチャ（例えば、マッピングを指定するジェスチャ語彙に基づいて、他のジェスチャ、インタラクションまたはコマンドにマッピングされたジェスチャ）を含み得る。場合によっては、手と腕のジェスチャがシンボリックであり、文化的基準に従ってコミュニケーションをとるために使用されることがある。
【０１２１】
［００７５］  本明細書に記載された技術のいくつかの実施形態では、センサ信号は、ユーザの腕および／またはユーザの手の一部の位置および／または動きに関する情報を予測するために使用されてもよく、この情報は、剛体系の複数のセグメントを接続する関節を有するマルチセグメント多関節剛体系として表されてもよい。例えば、手の動きの場合、ユーザの体（例えば、ユーザの腕および／または手首）の各所に配置されたウェアラブル神経筋センサによって感知され記録された信号は、ユーザが１または複数の手の動きを実行するときに、手に関連するコンピュータベースの筋骨格表現における位置（例えば、絶対位置、相対位置、向き）および複数の剛体セグメントに関連する力の推定値を予測するように訓練された推論モデルへの入力として提供されてもよい。手に関連する筋骨格表現のセグメントに関連する位置情報と力情報との組み合わせは、本明細書では、筋骨格表現の「手の状態」という。ユーザが様々な動きを実行すると、訓練された推論モデルが、ウェアラブル神経筋センサによって感知され記録された神経筋信号を、筋骨格表現を更新するために使用される位置および力の推定値（手の状態情報）に解釈する場合がある。神経筋信号は継続的に感知され記録される可能性があるため、筋骨格表現はリアルタイムで更新され得、手の視覚的表現（例えばＸＲ環境内）は、手の状態の現在の推定に基づいてレンダリングされ得る。理解されるように、ユーザの手の状態の推定値を使用して、ユーザによって実行されているジェスチャを決定し、かつ／またはユーザが実行するであろうジェスチャを予測することができる。
【０１２２】
［００７６］  関節の動きに対する制約は、セグメントを接続する関節の種類と、関節の動きの範囲を制限する可能性のある生物学的構造（例えば筋肉、腱、靭帯）によって決まる。例えば、上腕を被験者の体の胴体に接続する肩関節、および上脚を胴体に接続する股関節は、回転運動だけでなく伸展および屈曲運動を可能にする球関節である。対照的に、被験者の上腕と下腕（または前腕）を接続する肘関節、および上肢と下肢を接続する膝関節は、より制限された可動域を可能にする。この例では、マルチセグメント多関節剛体系を使用して、人間の筋骨格系の一部をモデル化することができる。ただし、人間の筋骨格系のいくつかのセグメント（例えば前腕）は、多関節剛体系において剛体として近似され得るが、そのようなセグメントは、それぞれ複数の剛構造物を含んでもよく（例えば、前腕は、尺骨および橈骨を含んでもよい）、これにより、剛体モデルによって明示的に考慮されていない、セグメント内でのより複雑な動きが可能になる場合がある。したがって、本明細書に記載の技術のいくつかの実施形態で使用するための多関節剛体系のモデルは、厳密には剛体ではない身体部分の組み合わせを表すセグメントを含んでもよい。マルチセグメント多関節剛体系以外の物理的モデルを使用して、本開示の範囲から逸脱することなく、人間の筋骨格系の一部をモデル化できることが理解されよう。
【０１２３】
［００７７］  上記の例を続けると、運動学では、剛体は様々な動き属性（位置、方位、角運動速度、加速度など）を示すオブジェクトである。剛体の１つのセグメントのモーション属性を知ることにより、セグメントの接続方法の制約に基づいて、剛体の他のセグメントの動き属性を決定することができる。例えば、手は、手首の関節と各指がモデル内の複数のセグメント間のインターフェースを形成する、マルチセグメント多関節体としてモデル化され得る。いくつかの実施形態では、剛体モデル内のセグメントの動きは、以下でより詳細に説明するように、モデル内の他のセグメントに対するセグメントの位置（例えば、実際の位置、相対位置、または方位）情報が、訓練された推論モデルを使用して予測される多関節剛体系としてシミュレートされ得る。
【０１２４】
［００７８］  １つの非限定的な例として本明細書に記載されているような筋骨格表現によって近似される人体の部分は、手、または手と１もしくは複数の腕セグメントとの組み合わせである。筋骨格表現におけるセグメント間の位置関係、個々のセグメントまたはセグメントの組み合わせの力の関係、およびセグメント間の筋肉および運動単位の活性化関係の現在の状態を記述するために使用される情報は、本明細書では、筋骨格表現の手の状態という（上述の議論を参照）。ただし、本明細書に記載されている技術は、限定されないが腕、脚、足、胴体、首、またはこれらの任意の組み合わせを含む、手以外の体の部分の筋骨格表現にも適用可能であることが理解されるべきである。
【０１２５】
［００７９］  空間（例えば位置および／または方位）情報に加えて、いくつかの実施形態は、筋骨格表現の１または複数のセグメントに関連する力の情報の予測も可能にする。例えば、１または複数のセグメントによって及ぼされる直線力または回転（トルク）力が推定され得る。直線力の例には、テーブルなどの固体オブジェクトを押す指または手の力と、２つのセグメント（例えば２本の指）が一緒に抓まれたときに加わる力とが含まれるが、これらに限定されない。回転力の例には、手首や指などのセグメントが別のセグメントに対してねじれるかまたは曲げられたときに生まれる回転力が含まれるが、これらに限定されない。いくつかの実施形態では、現在の手の状態推定の一部として決定される力の情報には、挟持力情報、把持力情報、および筋骨格表現によって表される筋肉間の共収縮力に関する情報のうちの１つまたは複数が含まれる。
【０１２６】
［００８０］  ここで図に目を向けると、図１は、本明細書に記載の技術のいくつかの実施形態による、システム１００、例えば、神経筋活動システムを概略的に示している。システム１００には、人体の骨格筋における神経筋活動から生じる信号を感知して記録するように構成された１または複数のセンサ１０２（例えば、１または複数の神経筋センサ）が含まれる。本明細書で使用される「神経筋活動」という用語は、筋肉を神経支配する脊髄運動ニューロンまたは単位の神経活性化、筋肉活性化、筋肉収縮、または神経活性化、筋肉活性化および筋肉収縮の任意の組み合わせを指す。神経筋センサには、１または複数の筋電図（ＥＭＧ）センサ、１または複数のメカノミオグラフィー（ＭＭＧ）センサ、１または複数のソノミオグラフィー（ＳＭＧ）センサ、２タイプ以上のＥＭＧセンサ、ＭＭＧセンサおよびＳＭＧセンサの組み合わせ、ならびに／または神経筋信号を検出できる任意の適切なタイプの１または複数のセンサが含まれ得る。いくつかの実施形態では、複数の神経筋センサは、人体に対して配置されて使用され、筋肉によって制御される体の部分の動きに関連する筋肉活動を感知することができ、ここで、上記筋肉からの筋肉活動が１または複数の神経筋センサによって感知される。動きを説明する空間の情報（例えば位置および／または方位情報）および力の情報は、ユーザが時間とともに動くときに感知された神経筋信号に基づいて予測され得る。いくつかの実施形態では、１または複数の神経筋センサは、外部オブジェクトによって引き起こされる動き、例えば、外部オブジェクトによって押される手の動きに関連する筋肉活動を感知することができる。
【０１２７】
［００８１］  運動課題の実行中に筋肉の張力が増加すると、アクティブな神経細胞の発火頻度が上昇し、さらなる神経細胞がアクティブになることがあるが、これは運動単位の動員と呼ばれるプロセスである。神経細胞がアクティブになり、その発火頻度を上げるパターンはステレオタイプ化されているため、予想される運動単位の動員パターンは、標準または通常の動きに関連する活動多様体（ａｃｔｉｖｉｔｙ  ｍａｎｉｆｏｌｄ）を定義する可能性がある。いくつかの実施形態は、運動単位の活性化のパターンが、予想されるまたは典型的な運動単位の動員パターンとは異なるという点で「非多様体（ｏｆｆ−ｍａｎｉｆｏｌｄ）」である単一の運動単位または運動単位の集合の活性化を感知して記録し得る。このような多様体外活性化は、本明細書では「筋肉下活性化」または「筋肉下構造の活性化」と呼ばれ得、ここで、筋肉下構造は、多様体外活性化に関連する単一の運動単位または運動単位の集合を指す。多様体外運動単位の動員パターンの例には、限定されないが、通常は動員順序の早い段階で活性化される低閾値運動単位を活性化することなく、高閾値運動単位を選択的に活性化することと、通常は典型的な運動単位の動員パターンで共調節される他の神経細胞の活動を調節することなく、広い（ｓｕｂｓｔａｎｔｉａｌ）範囲で運動単位の発火頻度を調節することとが含まれる。いくつかの実施形態では、１または複数の神経筋センサは、人体に対して配置され、観察可能な動きなしに、すなわち、容易に観察できる身体の対応する動きなしに、筋肉下の活性化を感知するために使用され得る。本明細書に記載された技術のいくつかの実施形態に従って、ＸＲシステムを制御するために、少なくとも部分的に筋肉下の活性化を用いることができる。
【０１２８】
［００８２］  １または複数のセンサ１０２には、１または複数の慣性測定ユニットすなわちＩＭＵなどの１または複数の補助センサが含まれてもよく、これらは、例えば加速度計、ジャイロスコープ、磁力計、または１もしくは複数の加速度計、ジャイロスコープおよび磁力計の任意の組み合わせを使用して、動きの物理的態様の組み合わせを測定する。いくつかの実施形態では、１または複数のＩＭＵを使用して、ＩＭＵが取り付けられている身体の部分の動きに関する情報を感知することができ、感知されたデータから導出された情報（例えば、位置情報および／または方向情報）は、ユーザが経時的に移動する際に追跡される場合がある。例えば、１または複数のＩＭＵを使用して、ユーザが経時的に移動するとき、ＩＭＵよりもユーザの胴体の近位にあるユーザの体の部分（例えば、腕、脚）の動きを追跡することができる。
【０１２９】
［００８３］  少なくとも１のＩＭＵと１または複数の神経筋センサとを含む実施形態では、ＩＭＵと神経筋センサは、人体の異なる部分の動きを検出するように配置されてもよい。例えば、ＩＭＵは、胴体の近位にある１または複数の身体セグメントの動き（例えば上腕の動き）を検出するように配置されてもよく、一方、神経筋センサは、胴体の遠位にある１または複数の身体セグメントの動き（例えば下腕（前腕）または手首の動き）を検出するように配置されてもよい。しかし、センサ（すなわちＩＭＵ（複数可）および神経筋センサ）は、任意の適切な方法で配置することができ、本明細書に記載された技術の実施形態は、特定のセンサ配置に基づいて限定されるものではないことを理解されたい。例えば、いくつかの実施形態では、少なくとも１のＩＭＵおよび複数の神経筋センサを身体セグメント上の同じ場所に配置して、異なるタイプの測定値を使用して身体セグメントの動きを追跡することができる。一実施形態では、１つのＩＭＵと複数のＥＭＧセンサは、ユーザの下腕または手首に巻きつけられるように構成されたウェアラブルデバイス上に配置され得る。このような場合、ＩＭＵは、１または複数の腕のセグメントに関連する動き情報（例えば位置および／または方向）を経時的に追跡し、例えば、ユーザが腕を上げたか下げたかを決定するように構成されてもよく、一方、ＥＭＧセンサは、例えば、ユーザが開いた手の構成か閉じた手の構成かを決定したり、あるいは手首の筋肉および／または手の筋肉の筋肉下構造の活性化に関連する筋肉下情報を決定したりするために、手首および／または手のセグメントに関連する動き情報を決定するように構成されてもよい。
【０１３０】
［００８４］  いくつかまたは全てのセンサ１０２は、それぞれ、ユーザに関する情報を感知するように構成された１または複数のセンシングコンポーネントを含み得る。ＩＭＵの場合、ＩＭＵのセンシングコンポーネントは、加速度計、ジャイロスコープ、磁力計、またはこれらの任意の組み合わせのうちの１つ以上含み、体の動きの特性、例えば、限定されないが、体が動いている間の加速度、角運動速度、および体の周りの磁界を測定または感知する。神経筋センサの場合、センシングコンポーネントには、体表面の電位を検知する電極（例：ＥＭＧセンサの場合）、皮膚表面の振動を測定する振動センサ（例：ＭＭＧセンサの場合）、筋肉の活動から生じる超音波信号を測定する音響センシングコンポーネント（例：ＳＭＧセンサの場合）、またはこれらの任意の組み合わせ、のうちの１または複数が含まれ得るが、これらに限定されない。任意選択で、センサ１０２は、ユーザの皮膚温度を測定する熱センサ（例：サーミスタ）、ユーザの脈拍、心拍数を測定する心臓センサ、ユーザの発汗状態を測定する水分センサ等、のうちのいずれか１つまたはこれらの任意の組み合わせを含み得る。
【０１３１】
［００８５］  いくつかの実施形態では、１または複数のセンサ１０２は、複数のセンサ１０２で構成されてもよく、複数のセンサ１０２のうちの少なくともいくつかは、ユーザの体の一部に、またはその周囲に装着されるように構造化されたウェアラブルデバイスの一部として配置されてもよい。例えば、１つの非限定的な例として、ＩＭＵと複数の神経筋センサは、以下に詳述するように、ユーザの手首または腕に巻きつけられるように構造化されたリストバンドまたはアームバンドなどの調節可能かつ／または弾性のバンド上に円周方向に配置されていてもよい。いくつかの実施形態では、それぞれが１または複数のＩＭＵおよび／または神経筋センサを搭載した複数のウェアラブルデバイスを使用して、筋肉下構造の活性化に基づいて、および／または体の複数の部分が関与する動きに基づいて制御情報を生成することができる。あるいは、センサ１０２の少なくともいくつかは、ユーザの体の一部に取り付けられるように構造化されたウェアラブルパッチ上に配置されてもよい。図８Ａ〜８Ｄは、様々なタイプのウェアラブルパッチを示している。図８Ａは、電子センサ用の回路が、例えば、ユーザの血流を感知するため静脈の近く、または神経筋信号を感知するため筋肉の近くなど、腕に貼りつくように構造化されている、フレキシブル基板上にプリントすることができるウェアラブルパッチ８２を示している。ウェアラブルパッチ８２は、ＲＦＩＤタイプのパッチであってもよく、外部デバイスによる問い合わせに応じて感知した情報を無線で送信することができる。図８Ｂは、例えば、汗からの水分を測定するために、ユーザの額に装着するように構造化されている基板上に電子センサを組み込むことができるウェアラブルパッチ８４を示している。ウェアラブルパッチ８４は、無線通信のための回路を含んでもよく、または、ケーブル、例えばヘルメット、ヘッドマウントディスプレイ、もしくは他の外部デバイスに取り付けられたケーブルであるように構造化されたコネクタを含んでもよい。ウェアラブルパッチ８４は、例えば、ヘッドバンド、スカルキャップなどによって、ユーザの額に貼りつくように、またはユーザの額に当てられるように構造化されてもよい。図８Ｃは、ユーザの脳へのフラッディングの流れを感知するためにユーザの首、例えばユーザの頸動脈の近くに貼りつくように構造化されている、基板上に電子センサの回路をプリントすることができるウェアラブルパッチ８６を示す。ウェアラブルパッチ８６は、ＲＦＩＤタイプのパッチであってもよく、または外部電子機器に接続するように構造化されたコネクタを含んでもよい。図８Ｄは、例えばユーザの心拍数を測定するために、またはユーザの心臓に出入りする血流を測定するために、ユーザ心臓の近くに装着されるように構造化されている、基板上に電子センサが組み込まれているウェアラブルパッチ８８を示す。理解されるように、無線通信は、ＲＦＩＤ技術に限定されず、他の通信技術を使用することができる。また、理解されるように、センサ１０２は、図８Ａ〜８Ｄに示されるものとは異なる構造があり得る他のタイプのウェアラブルパッチに組み込まれてもよく、本明細書に記載のウェアラブルパッチセンサのいずれも、���または複数の神経筋センサを含み得る。
【０１３２】
［００８６］  一実施形態では、センサ１０２は、ユーザの下腕に巻きつけられる（例えば、ユーザの前腕を包囲する）ように構造化されたバンド（例えば弾性バンド）の周りに円周方向に配置された１６個の神経筋センサを含み得る。例えば、図５は、神経筋センサ５０４（例えばＥＭＧセンサ）が弾性バンド５０２の周りに円周方向に配置されているウェアラブルシステムの一実施形態を示している。任意の適切な数の神経筋センサを使用することができ、使用される神経筋センサの数と配置は、ウェアラブルシステムが使用される特定の用途に依存し得ることを理解されたい。例えば、ウェアラブルアームバンドまたはリストバンドを使用して、ＸＲシステムの制御、ロボットの制御、車両の制御、テキストのスクロール、仮想アバターの制御、または任意の他の適切な制御タスクのための制御情報を生成してもよい。いくつかの実施形態では、弾性バンド５０２は、上述したように、動き情報を感知して記録するように構成された１または複数のＩＭＵ（図示せず）を含んでもよい。
【０１３３】
［００８７］  図６Ａ〜６Ｂおよび７Ａ〜７Ｂは、本技術のウェアラブルシステムの他の実施形態を示している。特に、図６Ａは、ユーザの下腕または手首に巻きつけられるように構造化された弾性バンド６２０の周りに円周方向に配置された複数のセンサ６１０を備えたウェアラブルシステムを示している。センサ６１０は、神経筋センサ（例えばＥＭＧセンサ）であってもよい。示されるように、弾性バンド６２０の周りに円周方向に一定の間隔で配置された１６個のセンサ６１０の場合もある。任意の適切な数のセンサ６１０を使用することができ、間隔は規則的である必要はないことを理解されたい。センサ６１０の数および配置は、ウェアラブルシステムが使用される特定の用途に依存し得る。例えば、ウェアラブルシステムが手首に装着される場合、大腿部と比較してセンサ６１０の数および配置が異なる場合がある。ウェアラブルシステム（例えばアームバンド、リストバンドなど）を使用して、ＸＲシステムの制御、ロボットの制御、車両の制御、テキストのスクロール、仮想アバターの制御、および／または任意の他の適切な制御タスクの実行のための制御情報を生成することができる。
【０１３４】
［００８８］  いくつかの実施形態では、センサ６１０は、神経筋センサのセット（例えばＥＭＧセンサ）のみを含んでもよい。他の実施形態では、センサ６１０は、神経筋センサのセットおよび少なくとも１の補助デバイスを含んでもよい。補助デバイスは、１または複数の補助信号を連続的に感知して記録するように構成され得る。
【０１３５】
補助デバイスの例には、限定されないが、ＩＭＵ、マイク、撮像装置（カメラなど）、放射線発生装置（例：レーザースキャン装置）で使用するための放射線ベースのセンサ、心拍数モニタ、および他の種類のデバイスが含まれ、これらは、ユーザの状態またはその他の特性を捉えることができる。図６Ａに示されるように、センサ６１０は、ウェアラブルシステムに組み込まれたフレキシブル電子機器６３０を用いて連結させることができる。．図６Ｂは、図６Ａに示されるウェアラブルシステムのセンサ６１０のうちの１つを通る断面図を示す。
【０１３６】
［００８９］  いくつかの実施形態では、ハードウェア信号処理回路を使用して、センサ６１０の１または複数のセンシングコンポーネントの出力を、任意選択で（例えば増幅、フィルタリングおよび／または整流を実行するために）処理することができる。他の実施形態では、センシングコンポーネントの出力の少なくともいくつかの信号処理は、ソフトウェアを使用して実行することができる。このように、センサ６１０によってサンプリングされた信号の信号処理は、本明細書に記載の技術の態様がこの点で限定されないため、ハードウェアまたはソフトウェアによって、あるいはハードウェアとソフトウェアの任意の適切な組み合わせによって実行することができる。センサ６１０からの記録されたデータを処理するために使用される信号処理手順の非限定的な例は、図７Ａおよび７Ｂに関連して以下でより詳細に説明される。
【０１３７】
［００９０］  図７Ａおよび７Ｂは、本明細書に記載された技術のいくつかの実施形態に従った、１６個のセンサ（例えばＥＭＧセンサ）を備えたウェアラブルシステムの内部コンポーネントを備えた概略図である。図示されているように、ウェアラブルシステムには、ウェアラブル部分７１０（図７Ａ）およびドングル部分７２０（図７Ｂ）が含まれる。図示していないが、ドングル部７２０は、ウェアラブル部７１０と通信している（例えば、Ｂｌｕｅｔｏｏｔｈまたは別の適切な近距離無線通信技術を介して）。図７Ａに示されるように、ウェアラブル部分７１０には、センサ６１０を含み、その例は、図６Ａおよび６Ｂに関連して上で説明されている。センサ６１０は、アナログフロントエンド７３０に出力（例えば信号）を提供し、アナログフロントエンド７３０は、信号に対してアナログ処理（例えばノイズリダクション、フィルタリングなど）を実行する。その後、アナログフロントエンド７３０によって生成された、処理されたアナログ信号は、アナログ−デジタル変換器７３２に提供され、アナログ−デジタル変換器７３２は、処理されたアナログ信号を、１または複数のコンピュータプロセッサによって処理されることができるデジタル信号に変換する。いくつかの実施形態に従って使用することができるコンピュータプロセッサの例は、マイクロコントローラ（ＭＣＵ）７３４である。図７Ａに示されるように、ＭＣＵ７３４はまた、他のセンサ（例えばＩＭＵ７４０）から、ならびに電力およびバッテリモジュール７４２から入力を受信することができる。理解されるように、ＭＣＵ７３４は、具体的に示されていない他のデバイスからデータを受信することができる。図７Ｂに示されるように、ＭＣＵ７３４による処理出力は、ドングル部分７２０への送信のためにアンテナ７５０に提供され得る。
【０１３８】
［００９１］  ドングル部分７２０は、ウェアラブル部分７１０のアンテナ７５０と通信するアンテナ７５２を含む。アンテナ７５０と７５２との間の通信は、任意の適切な無線技術およびプロトコルを使用して生じてもよく、その非限定的な例には、高周波シグナリングおよびＢｌｕｅｔｏｏｔｈが含まれる。示されるように、ドングル部分７２０のアンテナ７５２によって受信された信号は、さらなる処理のために、表示のために、および／または特定の物理的もしくは仮想オブジェクト（複数可）の制御を行うために（例えば、ＡＲまたはＶＲ環境で制御動作を行うために）、ホストコンピュータに提供されてもよい。
【０１３９】
［００９２］  図６Ａ、図６Ｂ、図７Ａ、および図７Ｂを参照して提供される例は、ＥＭＧセンサとのインターフェースの文脈で説明されているが、本明細書に記載されているウェアラブルシステムは、メカノミオグラフィー（ＭＭＧ）センサ、ソノミオグラフィー（ＳＭＧ）センサ、および電気インピーダンス・トモグラフィー（ＥＩＴ）センサを含むがこれらに限定されない、他のタイプのセンサでも実装可能であることが理解されよう。
【０１４０】
［００９３］  図１に戻ると、いくつかの実施形態では、センサ１０２によって感知され記録されたセンサデータが任意選択で処理されて、追加の導出された測定値を計算することができ、これは、以下でより詳細に説明するように、推論モデルへの入力として後に提供され得る。例えば、ＩＭＵからの信号を処理して、時間の経過に伴う剛体のセグメントの方向を指定する方向信号を導出することができる。センサ（複数可）１０２は、センサ（複数可）１０２のセンシングコンポーネントと一体化されたコンポーネントを使用して信号処理を実装してもよく、または、信号処理の少なくとも一部は、センサ（複数可）１０２のセンシングコンポーネントと直接一体化されていないがそれと通信している１もしくは複数のコンポーネントによって実行されてもよい。
【０１４１】
［００９４］  システム１００はまた、センサ１０２と通信するようにプログラムされている１または複数のコンピュータプロセッサ１０４を含む。例えば、１または複数のセンサ１０２によって感知され記録された信号は、センサ１０２から出力され、プロセッサ１０４に提供されてもよく、プロセッサ１０４は、センサ１０２によって出力された信号を処理するために１または複数の機械学習アルゴリズムを実行するようにプログラムされてもよい。アルゴリズム（複数可）は、信号を処理して、１または複数の推論モデル（複数可）１０６を訓練（または再訓練）することができ、その訓練された（または再訓練された）推論モデル（複数可）１０６は、以下でより詳細に説明するように、制御信号の生成およびＸＲシステムの制御にｌおける後の使用のために保存され得る。理解されるように、いくつかの実施形態では、推論モデル（複数可）１０６は、少なくとも１の統計モデルを含んでもよい。
【０１４２】
［００９５］  いくつかの実施形態では、推論モデル（複数可）１０６は、ニューラルネットワークを含んでもよく、例えば、リカレントニューラルネットワークであってもよい。いくつかの実施形態では、リカレントニューラルネットワークは、長・短期記憶（ＬＳＴＭ）ニューラルネットワークであってもよい。しかし、リカレントニューラルネットワークは、ＬＳＴＭニューラルネットワークであることに限定されず、任意の他の適切なアーキテクチャを有していてもよいことを理解されたい。例えば、いくつかの実施形態では、リカレントニューラルネットワークは、完全リカレントニューラルネットワーク、ゲート付きリカレントニューラルネットワーク、再帰的ニューラルネットワーク、ホップフィールドニューラルネットワーク、連想記憶ニューラルネットワーク、エルマンニューラルネットワーク、ジョーダンニューラルネットワーク、エコー状態ニューラルネットワーク、および二次リカレントニューラルネットワーク、および／または任意の他の適切なタイプのリカレントニューラルネットワーク、のうちのいずれか１つまたはこれらの任意の組み合わせであってもよい。他の実施形態では、リカレントニューラルネットワークではないニューラルネットワークを使用することができる。例えば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、および／またはフィードフォワードニューラルネットワークを使用することができる。
【０１４３】
［００９６］  いくつかの実施形態では、推論モデル１０６は、１または複数の離散的な出力を生成することができる。離散的な出力（例：離散的な分類）は、例えば、所望の出力が、特定の活性化パターン（個々のニューラルスパイキングイベントを含む）が現在ユーザによって実行されているかどうかを知ることである場合に、使用され得る。例えば、推論モデル（複数可）１０６は、例えば、推論モデル１０６は、ユーザが特定の運動単位を活性化しているか、特定のタイミングで特定の運動単位を活性化しているか、特定の発火パターンで特定の運動単位を活性化しているか、または、運動単位の特定の組み合わせを活性化しているかを推定するように訓練されてもよい。より短いタイムスケールでは、離散的な分類をいくつかの実施形態で使用して、特定の運動単位が所与の時間内に活動電位を発火したかどうかを推定することができる。このようなシナリオでは、これらの推定値を蓄積して、その運動単位の推定発火率を取得することができる。
【０１４４】
［００９７］  推論モデルが、離散的な出力を出力するように構成されたニューラルネットワークとして実装される実施形態では、ニューラルネットワークは、ソフトマックス層である出力層を含んでもよく、ソフトマックス層の出力は合計が１になり、確率として解釈されてもよい。例えば、ソフトマックス層の出力は、制御信号のそれぞれのセットに対応する１組の値であってもよく、各値は、ユーザが特定の制御動作の実行を望んでいる確率を示す。１つの非限定的な例として、ソフトマックス層の出力は、検出された活動パターンが３つの既知のパターンのうちの１つであるそれぞれの確率を示す、３つの確率（例えば、０．９２、０．０５、および０．０３）からなる１つの組であり得る。
【０１４５】
［００９８］  推論モデルが離散的な出力（例えば、離散的な信号）を出力するように構成されたニューラルネットワークである場合、ニューラルネットワークは、合計が１になる出力を生成する必要がないことを理解されたい。例えば、いくつかの実施形態では、ソフトマックス層の代わりに、ニューラルネットワークの出力層は、出力を合計が１になる確率に制限しないシグモイド層であり得る。このような実施形態では、ニューラルネットワークは、シグモイド交差エントロピーコストで訓練され得る。このような実施形態は、複数の異なる制御動作が閾値の時間内に発生する可能性があり、これらの制御動作が発生する順序を区別することが重要ではない場合に有利であり得る（例えば、ユーザが閾値の時間内に２つのパターンの神経活動を活性化することがある）。いくつかの実施形態では、本明細書に記載の技術の態様はこの点で限定されないのため、任意の他の適切な非確率的多クラス分類器を使用することができる。
【０１４６】
［００９９］  いくつかの実施形態では、推論モデル（複数可）１０６の出力は、離散的信号ではなく連続的な信号であり得る。例えば、モデル（複数可）１０６は、各運動単位の発火率の推定値を出力することができ、またはモデル（複数可）１０６は、各運動単位または筋肉下構造に対応する時系列電気信号を出力することができる。
【０１４７】
［００１００］  本明細書で説明する技術の態様は、いくつかの実施形態では他のタイプの推論モデルが採用されることがあるため、ニューラルネットワークの使用に限定されないことを理解されたい。例えば、いくつかの実施形態では、推論モデル（複数可）１０６は、隠れマルコフモデル（ＨＭＭ）、スイッチングが異なる動的なシステム間のトグリングを可能にするスイッチングＨＭＭ、動的ベイジアンネットワーク、および／または、時間的コンポーネントを有する任意の他の適切なグラフィカルモデルを含み得る。このような推論モデルは、センサ信号を使用して訓練することができる。
【０１４８】
［００１０１］  別の例として、いくつかの実施形態では、推論モデル（複数可）１０６は、記録されたセンサ信号から導出された特徴を入力として受け取る分類器を含み得る。このような実施形態では、分類器は、センサ信号から抽出された特徴を使用して訓練され得る。本明細書に記載された技術の態様がこの点で限定されないため、分類器は、例えば、サポートベクターマシン、ガウス混合モデル、回帰ベースの分類器、決定木分類器、ベイズ分類器、および／または他の適切な分類器であってもよい。分類器に提供される入力特徴は、任意の適切な方法でセンサ信号から導出することができる。例えば、センサ信号は、ウェーブレット解析技術（例：連続ウェーブレット変換、離散時間ウェーブレット変換）、フーリエ解析技術（例：短時間フーリエ変換、フーリエ変換）、および／または任意の他の適切なタイプの時間周波数解析技術を用いて、時系列データとして解析され得る。１つの非限定的な例として、センサ信号は、ウェーブレット変換を使用して変換され得、結果として生じるウェーブレット係数は、分類器への入力として提供され得る。
【０１４９】
［００１０２］  いくつかの実施形態では、推論モデル（複数可）１０６のパラメータの値は、訓練データから推定することができる。例えば、推論モデル（複数可）１０６がニューラルネットワークを含む場合、ニューラルネットワークのパラメータ（例えば重み）は、訓練データから推定され得る。いくつかの実施形態では、推論モデル（複数可）１０６のパラメータは、勾配降下法、確率的勾配降下法、および／または任意の他の適切な反復最適化技術を使用して推定することができる。推論モデル（複数可）１０６がリカレントニューラルネットワーク（例：ＬＳＴＭ）を含む実施形態では、推論モデル（複数可）１０６は、確率的勾配降下法および経時的誤差逆伝播法を使用して訓練され得る。本明細書に記載の技術の態様はこの点で限定されないため、訓練は、クロスエントロピー損失関数および／または任意の他の適切な損失関数を用いることができる。
【０１５０】
［００１０３］  システム１００はまた、任意選択で、１または複数のコントローラ１０８を含み得る。例えば、コントローラ１０８は、視覚的表現（例えば手の表現）を表示するように構成されたディスプレイコントローラを含み得る。以下でより詳細に説明するように、１または複数のコンピュータプロセッサ１０４は、センサ１０２によって感知され記録された信号を入力として受信し、制御信号を生成してＸＲシステムを制御するために使用され得る情報（例えば、予測された手の状態情報）を出力として提供する、１または複数の訓練された推論モデルを実装してもよい。
【０１５１】
［００１０４］  システム１００はまた、任意選択で、ユーザインターフェース（図示せず）を含み得る。センサ（複数可）１０２によって感知され記録され、プロセッサ（複数可）１０４によって処理される信号に基づいて決定されたフィードバックは、システム１００がユーザの意図した活性化をどのように解釈しているかについてのユーザの理解を容易にするために、ユーザインターフェースを介して提供され得る。例えば、フィードバックは、決定された筋肉活性化状態がＸＲシステムを制御するために使用できるかどうかに関する情報、決定された筋肉活性化状態が対応する制御信号を有するかどうかに関する情報、決定された筋肉活性化状態に対応する制御動作に関する情報、およびＸＲシステムが決定された筋肉活性化状態に対応する動作を実行するように制御されるべきであることを確認するための、ユーザに対するクエリ、のうちのいずれか１つまたは任意の組み合わせを含み得る。ユーザインターフェースは、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、電気刺激インターフェース、またはこれらの任意の組み合わせを含むがこれらに限定されない、任意の適切な方法で実装され得る。例えば、検出された神経筋活性化状態は、ＸＲシステムのＸＲ環境を終了することに対応し得、クエリは、ＸＲ環境がユーザの右手で拳を作るか、「はい終了」と言うことによって終了する。
【０１５２】
［００１０５］  いくつかの実施形態では、ＸＲ環境をシミュレートするコンピュータアプリケーションは、アバターなどの視覚的キャラクターを表示することによって（例えばコントローラ（複数可）１０８を介して）視覚的表現を提供するように指示され得る。仮想現実環境内の視覚的キャラクターの部分によって適用される位置、動きおよび／または力は、訓練された推論モデル（複数可）１０６の出力に基づいて表示され得る。視覚的表現は、連続的な信号がセンサ（複数可）１０２によって感知されて記録され、訓練された推論モデル（複数可）１０６によって処理されて、リアルタイムで更新される、コンピュータによって生成されたキャラクターの動きの視覚的表現を提供するように、動的に更新されてもよい。
【０１５３】
［００１０６］  いずれかのシステムで生成された情報（ＸＲカメラ入力、センサ入力）を使用して、ユーザエクスペリエンス、精度、フィードバック、推論モデル、キャリブレーション機能、およびシステム全体の他の態様を改善できる。この目的のために、例えば、ＸＲ環境では、システム１００は、１または複数のプロセッサと、カメラと、ユーザの視野内でＸＲ情報を提供するディスプレイ（例えば、ＸＲグラスまたは他の視聴デバイスおよび／または別のユーザインターフェースを介する）を含むＸＲシステムを含み得る。システム１００はまた、ＸＲシステムと、センサデータに基づいて筋骨格表現を生成するコンピュータベースのシステムとを連結するシステム要素を含み得る。例えば、システムは、ＸＲシステムから入力を受信し、コンピュータベースの筋骨格表現を生成する特殊用途または他のタイプのコンピュータシステムを介して連結され得る。このようなシステムには、ゲームシステム、ロボット制御システム、パーソナルコンピュータ、またはＸＲおよび筋骨格情報を解釈することができる他のシステムが含まれ得る。ＸＲシステムとコンピュータベースの筋骨格表現を生成するシステムは、直接通信するようにプログラムすることもできる。該情報は、任意の数のインターフェース、プロトコルおよび／またはメディアを使用して通信され得る。
【０１５４】
［００１０７］  上記のように、いくつかの実施形態は、ウェアラブルセンサ（すなわちウェアラブルシステムまたはデバイスのセンサ）によって感知され記録された信号に基づいて筋骨格情報を予測するための１または複数の推論モデルを使用することに関する。人間の筋骨格系の一部をマルチセグメント多関節剛体システムとしてモデル化可能な例で簡単に説明したように、マルチセグメント多関節剛体モデルにおけるセグメント間の関節の種類は、剛体の動きを制約する制約として機能し得る。更に、様々な人間の個人が、個々のユーザの行動に一般的に適用できる統計的パターンでキャプチャできるタスクを実行するときに、特徴的な方法で移動する場合がある。いくつかの実施形態によれば、人体の動きに対するこれらの制約の少なくともいくつかは、ユーザの動きの予測のために使用される推論モデルに明示的に組み込まれ得る。追加的または代替的に、制約は、上で簡単に説明したように、センサデータに基づく訓練を通じて推論モデルによって学習され得る。
【０１５５】
［００１０８］  上記のように、いくつかの実施形態は、コンピュータベースの筋骨格表現の生成および／またはコンピュータベースの筋骨格表現のリアルタイム更新を可能にするための、手の状態情報を予測するための推論モデルを使用することに関する。推論モデルは、ユーザが１または複数の動きを行うときに検出される、ＩＭＵ信号、神経筋信号（例：ＥＭＧ、ＭＭＧおよび／またはＳＭＧ信号）、外部デバイスもしくは補助信号（例：カメラまたはレーザースキャン信号）またはＩＭＵ信号、神経筋信号、および外部デバイスもしくは補助信号の組み合わせに基づいて、手の状態の情報を予測するために使用され得る。例えば、上述したように、ＸＲシステムに関連するカメラを使用して、コンピュータベースの筋骨格表現の人間の被験者の実際の位置のデータをキャプチャすることができ、そのような実際の位置情報を使用して、表現の精度を向上させることが可能である。更に、推論モデル（複数可）の出力を使用して、ＸＲ環境におけるコンピュータベースの筋骨格表現の視覚的表現を生成することができる。例えば、発火する筋肉群、加えられる力、動きによって入力されるテキスト、またはコンピュータベースの筋骨格表現によって生み出される他の情報の視覚的表現を、ＡＲシステムの視覚デバイスでレンダリングすることができる。いくつかの実施形態では、他の入力／出力デバイス（例えば聴覚入力／出力、触覚デバイスなど）を使用して、システム全体の精度を更に改善し、かつ／またはユーザ体験を改善することができる。
【０１５６】
［００１０９］  本明細書に記載の技術のいくつかの実施形態は、少なくとも部分的に、神経筋センサによって感知され記録された神経筋信号から特定される情報である筋肉活性化状態情報を制御信号にマッピングするために推論モデルを使用することに関する。推論モデルは、入力として、ユーザが１もしくは複数の筋肉下活性化、１もしくは複数の動き、および／または１もしくは複数のジェスチャを行うときに検出される、ＩＭＵ信号、神経筋信号（例：ＥＭＧ、ＭＭＧおよび／またはＳＭＧ信号）、外部デバイス信号（例：カメラまたはレーザースキャン信号）またはＩＭＵ信号、神経筋信号、および外部デバイスもしくは補助信号の組み合わせを受信することができる。推論モデルを使用して、ユーザが識別できる動きをしなくても、制御情報を予測することができる。
【０１５７】
［００１１０］  図２は、ＡＲシステム２０１と神経筋活動システム２０２とを統合した分散型コンピュータベースのシステムであってもよい、ＡＲベースのシステム２００の概略図である。神経筋活動システム２０２は、図１に関して上述したシステム１００と同様である。
【０１５８】
［００１１１］  一般に、ＡＲシステム２０１は、一対のゴーグルもしくはグラスもしくはアイウェア、または、ユーザの「現実」に重ね合わせることができるディスプレイ要素をユーザに示す他のタイプのディスプレイデバイスの形態をとることができる。この現実は、場合によっては、環境に対するユーザのビュー（例えば、ユーザの目を通して見たもの）、または環境に対するユーザのビューのキャプチャバージョン（例えばカメラによる）であり得る。いくつかの実施形態では、ＡＲシステム２０１には、ユーザの環境でユーザが経験する１または複数の視界をキャプチャする、ユーザが着用するデバイス内に取り付けることができる１または複数のカメラ（例えばカメラ２０４）が含まれ得る。システム２０１は、ユーザが着用するデバイス内および／または周辺デバイスもしくはコンピュータシステム内で動作する１または複数のプロセッサ２０５を有し得、そのようなプロセッサ２０５は、ビデオ情報および他のタイプのデータ（例：センサデータ）を送受信することができる。
【０１５９】
［００１１２］  ＡＲシステム２０１はまた、マイク、ＧＰＳ要素、加速度計、赤外線検出器、触覚フィードバック要素、もしくは任意の他のタイプのセンサ、またはこれらの任意の組み合わせなど、１または複数のセンサ２０７を含み得る。いくつかの実施形態では、ＡＲシステム２０１は、オーディオベースまたは聴覚ＡＲシステムであり得、１または複数のセンサ２０７はまた、１または複数のヘッドホンまたはスピーカーを含み得る。更に、ＡＲシステム２０１はまた、ＡＲシステム２０１が、ＡＲシステム２０１によって提示されるユーザの環境のビューをユーザに提供することに加えて、情報をユーザに重畳し、かつ／または表示することを可能にする、１または複数のディスプレイ２０８を有し得る。また、ＡＲシステム２０１は、１または複数の通信インターフェース２０６を含んでもよく、これにより、１または複数のコンピュータシステム（例えば、ゲームシステム、異なるＡＲもしくは他のＸＲシステム、または、ＡＲデータをレンダリングもしくは受信することができる他のシステム）に情報を通信することができる。情報は、インターネット通信または当技術分野で知られている他の通信技術によって通信されてもよい。ＡＲシステムには様々な形態があり得、様々なメーカーから入手できる。例えば、マイクロソフト社（米国ワシントン州レドモンド）から入手可能なホログラフィックリアリティグラス、ＨｏｌｏＬｅｎｓ；Ｍａｇｉｃ  Ｌｅａｐ（米国フロリダ州プランテーション）からのＡＲヘッドセット、Ｌｉｇｈｔｗｅａｒ；Ａｌｐｈａｂｅｔ（米国カリフォルニア州マウンテンビュー）からのＡＲグラス、Ｇｏｏｇｌｅ  Ｇｌａｓｓ；Ｏｓｔｅｒｈｏｕｔ  Ｄｅｓｉｇｎ  Ｇｒｏｕｐ（ＯＤＧとしても知られる、米国カリフォルニア州サンフランシスコ）からのＲ−７  Ｓｍａｒｔｇｌａｓｓｅｓ  Ｓｙｓｔｅｍ等、１または複数のタイプのＡＲシステム、または任意の他のタイプのＡＲもしくは他のＸＲデバイスと関連して、様々な実施形態を実施できる。例としてＡＲを使用して説明されているが、１または複数の実施形態がＸＲシステム内で実施され得ることを理解されたい。
【０１６０】
［００１１３］  ＡＲシステム２０１は、Ｂｌｕｅｔｏｏｔｈプロトコル、Ｗｉ−Ｆｉ、イーサネット様プロトコル、または無線および／もしくは有線の多くの接続タイプを含むがこれらに限定されない、１または複数の通信スキームまたは方法論によって神経筋活動システム２０２に動作可能に連結され得る。例えば、システム２０１および２０２は、直接接続されてもよいし、１または複数の中間コンピュータシステムまたはネットワーク要素を介して連結されてもよい。図２の双頭の矢印は、システム２０１と２０２との間の通信可能な連結を表している。
【０１６１】
［００１１４］  前述のように、神経筋活動システム２０２は、図１を参照して上述したシステム１００と構造および機能が類似していてもよい。特に、システム２０２は、１または複数の神経筋センサ２０９、１または複数の推論モデル（複数可）２１０を含んでいてもよく、筋骨格表現２１１を作成し、維持し、保存してもよい。上述したものと同様の例示的な実施形態では、システム２０２は、ユーザからの神経筋信号を取得して分析するために、ユーザに装着可能なバンドなどのウェアラブルデバイスを含んでもよいし、ウェアラブルデバイスとして実装されてもよい。更に、システム２０２は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他の通信方法などによって、システム２０２がＡＲシステム２０１と通信することを可能にする１または複数の通信インターフェース２１２を含んでもよい。特に、ＡＲシステム２０１および神経筋活動システム２０２は、ユーザ体験を向上させるため、および／またはＡＲシステム２０１をより正確かつ効果的に機能させるために使用することができる情報を通信することができる。
【０１６２】
［００１１５］  図２は、ＡＲシステム２０１を神経筋活動システム２０２と統合する分散型コンピュータベースシステム２００を示しているが、これらのシステム２０１と２０２の統合は事実上、非分散型であってもよいことが理解されるであろう。いくつかの実施形態において、神経筋活動システム２０２は、神経筋活動システム２０２の様々な構成要素をＡＲシステム２０１の一部とみなすことができるように、ＡＲシステム２０１に統合されてもよい。例えば、神経筋センサ（複数可）２０９からの入力は、ＡＲシステム２０１への別の入力（例えば、カメラ（複数可）２０４から、センサ（複数可）２０７から）として扱われ得る。更に、神経筋センサ２０９から得られた入力（例えばセンサ信号）の処理は、ＡＲシステム２０１に組み込まれてもよい。
【０１６３】
［００１１６］  図３は、本明細書に記載の技術のいくつかの実施形態による、ＡＲシステム２０１と神経筋活動システム２０２とを含むＡＲベースのシステム２００のＡＲシステム２０１などのＡＲシステムを制御するためのプロセス３００を示す。プロセス３００は、ＡＲベースのシステム２００の神経筋活動システム２０２によって少なくとも部分的に実行され得る。行為３０２において、センサ信号（本明細書では「生のセンサ信号」とも呼ばれる）は、神経筋活動システム２０２の１または複数のセンサによって感知され記録され得る。いくつかの実施形態では、センサ（複数）は、ユーザが着用するウェアラブルデバイス上に配置された複数の神経筋センサ２０９（例えばＥＭＧセンサ）を含んでもよい。例えば、センサ２０９は、ユーザが様々な動きまたはジェスチャを行う際にユーザからの神経筋信号を記録するために、ユーザの手首または前腕に巻きつけられるように構成された弾性バンド上に配置された、ＥＭＧセンサであってもよい。いくつかの実施形態では、ＥＭＧセンサは、図５に示すように、バンド５０２上に配置されたセンサ５０４であってもよく、いくつかの実施形態では、ＥＭＧセンサは、図６Ａに示すように、バンド６２０上に配置されたセンサ６１０であってもよい。ユーザが行うジェスチャには、ユーザの手掌を下にしてテーブルの上に置くなどの静的なジェスチャ；指を前後に振るなどの動的なジェスチャ；および反対の筋肉を共収縮させることによって関節をわずかに緊張させるか、または筋肉下活性化を利用したりするなど、他人には気付かれない隠れジェスチャが含まれ得る。ユーザによって実行されるジェスチャは、シンボリックジェスチャ（例えば、マッピングを指定するジェスチャ語彙に基づいて、他のジェスチャ、インタラクションまたはコマンドにマッピングされたジェスチャ）を含み得る。
【０１６４】
［００１１７］  複数の神経筋センサに加えて、本明細書に記載された技術のいくつかの実施形態は、上述したように、１または複数の訓練された推論モデル（複数可）への入力としても提供され得る補助信号を感知して記録するように構成された１または複数の補助センサ（複数可）を含み得る。補助センサの例としては、ＩＭＵ、撮像装置、放射線検出デバイス（例：レーザースキャンデバイス）、心拍数モニタ、または１もしくは複数の動きもしくはジェスチャの実行中にユーザからの生物物理学的情報を感知して記録するように構成された任意の他のタイプのバイオセンサが含まれる。更に、いくつかの実施形態は、マイクロソフト社（米国ワシントン州レドモンド）から入手可能なＫｉｎｅｃｔシステムおよびＬｅａｐ  Ｍｏｔｉｏｎ社（米国カリフォルニア州サンフランシスコ）から入手可能なＬｅａｐＭｏｔｉｏｎシステムなどの骨格追跡を実行するカメラベースのシステムを使用して実現され得ることを理解されたい。本明細書に記載されている様々な実施形態を実現するために、ハードウェアおよび／またはソフトウェアの任意の組み合わせを使用することができることを理解されたい。
【０１６５】
［００１１８］  行為３０４では、１または複数のセンサ（例：ＥＭＧセンサ、補助センサなど）によって感知され記録された信号、および１または複数のカメラからの任意選択のカメラ入力信号を含み得る生のセンサ信号が、任意選択的に処理されてもよい。いくつかの実施形態では、生のセンサ信号は、ハードウェア信号処理回路を使用して処理されてもよい（例えば、増幅、フィルタリングおよび／または整流を実行するために）。他の実施形態では、生のセンサ信号の少なくとも一部の信号処理は、ソフトウェアを使用して実行されてもよい。したがって、１または複数のセンサによって感知され記録され、１または複数のカメラから任意選択的に得られる生のセンサ信号の信号処理は、ハードウェアまたはソフトウェアまたはハードウェアとソフトウェアとの任意の適切な組み合わせを使用して実行することができる。いくつかの実施態様では、生のセンサ信号は、他の信号データを導出するために処理されてもよい。例えば、１または複数のＩＭＵによって記録された加速度計データを統合および／またはフィルタリングして、筋肉の活性化またはジェスチャの実行時に、１または複数の筋肉に関連する、導出された信号データを決定してもよい。
【０１６６】
［００１１９］  その後、プロセス３００は行為３０６に進み、ここで、生のセンサ信号または行為３０４の処理されたセンサ信号が、訓練された推論モデル（複数可）への入力として任意選択的に提供され、この推論モデルは、上述のように、手の状態情報および／または筋肉活性化状態情報（例：ジェスチャ、ポーズ等）など、ユーザの活動を表す情報を決定して出力するように構成されている。
【０１６７】
［００１２０］  その後、プロセス３００は、行為３０８に進み、ここで、ＡＲシステム２０１の制御が、生のセンサ信号、処理されたセンサ信号、および／または訓練された推論モデル（複数可）の出力（複数可）（例：手の状態情報および／または訓練された推論モデル（複数可）の他のレンダリングされた出力等）に基づいて実行される。いくつかの実施形態では、ＡＲシステム２０１の制御は、生のセンサ信号、処理されたセンサ信号、および／または訓練された推論モデル（複数可）の出力（複数可）から特定される１または複数の筋肉活性化状態に基づいて実行され得る。いくつかの実施形態では、ＡＲシステム２０１は、ＡＲシステム２１０がレンダリングされたジェスチャとして表示するかまたは別のデバイス（例えばロボットデバイス）を模倣させることができる、レンダリングされた出力を受信することができる。
【０１６８】
［００１２１］  いくつかの実施形態によると、１または複数のコンピュータプロセッサ（例えば、システム１００のプロセッサ（複数可）１０４、またはＡＲベースのシステム２００のプロセッサ（複数可）２０５）は、生のセンサ信号（例えば、上述のカメラ入力信号を任意選択で含む、上述の１または複数のセンサ（複数可）によって感知され記録された信号）および／またはこれらの信号に基づく情報（例えば、生の信号の処理から導出された情報）から、ユーザの１または複数の筋肉活性化状態を特定して、ＡＲシステム（例えばＡＲシステム２０１）を制御するための１または複数の制御信号を出力するようにプログラムされてもよい。生のセンサ信号に基づく情報は、処理されたセンサ信号（例えば、処理されたＥＭＧ信号）に関連する情報および／または訓練された推論モデルの出力に関連する情報（例えば、手の状態情報）を含んでもよい。ユーザの１または複数の筋肉活性化状態は、ユーザによって実行される静的なジェスチャ（例えばポーズ）、ユーザによって実行される動的なジェスチャ（例えば動き）、ユーザの筋肉下活性化状態（例えば筋肉の緊張）を含んでもよい。ユーザの１または複数の筋肉活性化状態は、ユーザによって実行される様々な動きまたはジェスチャに関連する、生のセンサ信号および／または生のセンサ信号に基づく情報において検出される１もしくは複数の筋活動のパターンおよび／または１もしくは複数の運動単位の活性化によって定義されてもよい。
【０１６９】
［００１２２］  いくつかの実施形態では、１または複数の制御信号が生成され、特定された１または複数の筋肉活性化状態に基づいてＡＲシステム（例えばＡＲシステム２０１）に通信され得る。１または複数の制御信号は、ＡＲシステムの様々な態様および／または動作を制御することができる。１または複数の制御信号は、ＡＲシステムの制御を達成する１または複数のアクションまたは機能をトリガするか、さもなければ実行させることができる。
【０１７０】
［００１２３］  図４は、本明細書に記載の技術のいくつかの実施形態による、ＡＲシステム２０１と神経筋活動システム２０２とを含むＡＲベースのシステム２００のＡＲシステム２０１などのＡＲシステムを制御するためのプロセス４００を示す。プロセス４００は、ＡＲベースのシステム２００の神経筋活動システム２０２によって少なくとも部分的に実行され得る。行為４０２では、センサ信号が、神経筋活動システム２０２の神経筋センサ（例えばＥＭＧセンサ）および／または補助センサ（例えば、ＩＭＵ、撮像装置、放射線検出デバイス、心拍数モニタ、他のタイプのバイオセンサ等）などの１または複数のセンサ（複数可）によって、感知され記録される。
例えば、センサ信号は、１または複数のセンサ（複数可）が取り付けられているリストバンドを装着しているユーザから取得されてもよい。
【０１７１】
［００１２４］  行為４０４では、上述したように、生の信号および／もしくは処理された信号（総称して「センサ信号」）、ならびに／または生の信号および／もいくは処理された信号に基づくか、もしくはそれらから導出される情報（例えば、手の状態情報）に基づいて、ユーザの第１の筋活性化状態が特定されてもよい。いくつかの実施形態では、１または複数のコンピュータプロセッサ（例えば、システム１００のプロセッサ１０４またはＡＲベースのシステム２００のプロセッサ２０５）は、センサ信号、手の状態情報、静的なジェスチャ情報（例えばポーズ情報、方向情報）、動的なジェスチャ情報（動き情報）、運動単位の活動に関する情報（例えば、筋肉下の活性化に関する情報）等のいずれか１つまたは任意の組み合わせに基づいて第１の筋肉活性化状態を特定するようにプログラムされてもよい。
【０１７２】
［００１２５］  行為４０６では、ユーザの特定された第１の筋肉活性化状態に基づいて、制御されるべきＡＲシステムの動作が決定される。例えば、第１の筋肉活性化状態は、ユーザがＡＲシステムに関連するディスプレイデバイスの輝度を制御したいということを示し得る。いくつかの実施態様では、制御されるべきＡＲシステムの動作の決定に応答して、１または複数のコンピュータプロセッサ（例えば、システム１００の１０４またはシステム２００の２０５）が、第１の制御信号を生成してＡＲシステムに通信してもよい。第１の制御信号は、制御されるべき動作の特定を含み得る。第１の制御信号は、制御されるべきＡＲシステムの動作に関するＡＲシステムへの指示を含み得る。いくつかの実施態様では、第１の制御信号がＡＲシステムでアクションをトリガしてもよい。例えば、第１の制御信号の受信により、ＡＲシステムは、ディスプレイデバイスに関連する画面（例えば、輝度を制御することができる設定画面）を表示することができる。別の例では、第１の制御信号の受信により、ＡＲシステムは、（例えば、ＡＲシステムによって提供されるＡＲ環境内に表示することによって）神経筋活動システムによって感知された筋肉の活性化を利用して、ＡＲシステムの動作を制御する方法に関する１または複数の指示をユーザに通信することができる。例えば、１または複数の指示は、上向きのスワイプジェスチャを使用してディスプレイの輝度を上げることができ、かつ／または、下向きのスワイプジェスチャを使用してディスプレイの輝度を下げることができることを示し得る。いくつかの実施形態では、１または複数の指示は、ＡＲシステムの動作を制御するために１または複数のジェスチャがどのように実行できるかの視覚的デモンストレーションおよび／またはテキストによる説明を含んでもよい。いくつかの実施形態では、１または複数の指示は、例えば、上向きスワイプジェスチャを使用してディスプレイの輝度を上げることができることを暗黙的に指示する空間的に配置されたメニューによって、暗黙的にユーザに指示し得る。任意選択的に、第１の制御信号の受信により、ＡＲシステムは、神経筋活動システムによって感知された筋肉活性化を利用して、ＡＲシステムの動作を制御する方法についての１または複数の可聴指示を提供することができる。例えば、１または複数の音声による指示は、手の人差し指を親指に向かってつまむように動かすことで、ディスプレイの輝度を下げディスプレイの明るさを上げることができることができること、および／または人差し指と親指を互いに遠ざけることでディスプレイの輝度を上げることができることを指示することが可能である。
【０１７３】
［００１２６］  行為４０８では、センサ信号および／またはセンサ信号に基づく情報またはセンサ信号から導出された情報（例：手の状態情報）に基づいて、ユーザの第２の筋肉活性化状態が特定され得る。いくつかの実施形態では、１または複数のコンピュータプロセッサ（例えば、システム１００の１０４またはシステム２００の２０５）は、神経筋センサ信号、補助センサ信号、手の状態情報、静的なジェスチャ情報（例えばポーズ情報、方向情報）、動的なジェスチャ情報（動き情報）、運動単位の活動に関する情報（例えば、筋肉下の活性化に関する情報）等のいずれか１つまたは任意の組み合わせに基づいて第２の筋肉活性化状態を特定するようにプログラムされてもよい。
【０１７４】
［００１２７］  行為４１０では、特定された第２の筋肉活性化状態に基づいてＡＲシステムの動作を制御するために、制御信号がＡＲシステムに提供されてもよい。例えば、第２の筋肉活性化状態は、ユーザがＡＲシステムに関連するディスプレイデバイスの輝度を上げたいことを示す１もしくは複数の上向きスワイプジェスチャ、ユーザがディスプレイデバイスの輝度を下げたいことを示す１もしくは複数の下向きスワイプジェスチャ、ならびに／または、輝度を所望のレベルに調整する、上向きスワイプジェスチャと下向きスワイプジェスチャとの組み合わせなどの、１または複数の第２の筋肉活性化状態を含んでもよい。１または複数のコンピュータプロセッサは、１または複数の第２の制御信号を生成し、ＡＲシステムに通信することができる。いくつかの実施態様では、第２の制御信号（複数可）は、ＡＲシステムをトリガして、第２の筋肉活性化状態に基づいてディスプレイデバイスの輝度を上げることができる。例えば、第２の制御信号（複数可）の受信により、ＡＲシステムは、ディスプレイデバイスの輝度を上げるかまたは下げることができ、かつ、そのような上げ下げを示すために設定画面のスライダー制御を操作することができる。
【０１７５】
［００１２８］  いくつかの実施形態では、第１の筋肉活性化状態および／または第２の筋肉活性化状態は、ユーザによって実行される静的なジェスチャ（例：腕のポーズ）を含んでもよい。いくつかの実施形態では、第１の筋肉活性化状態および／または第２の筋肉活性化状態は、ユーザによって実行される動的なジェスチャ（例：腕の動き）を含んでもよい。他の実施形態では、第１の筋肉活性化状態および／または第２の筋肉活性化状態は、ユーザの筋肉下活性化状態を含んでもよい。更に他の実施形態では、第１の筋肉活性化状態および／または第２の筋肉活性化状態は、ユーザを観察している者が容易に見ることができない、ユーザによって行われる筋肉緊張を含んでもよい。
【０１７６】
［００１２９］  図４では、２つ（例：第１と第２）の筋肉活性化状態に基づいてディスプレイデバイスの輝度を制御することを説明しているが、そのような制御は、本開示の範囲を逸脱することなく、１つの筋肉活性化状態または複数の筋肉活性化状態に基づいて達成できることが理解されるであろう。筋肉活性化状態が１つしかない場合、その筋肉活性化状態を用いて、制御されるべきＡＲシステムの動作を決定または選択し、また、ＡＲシステムにその制御信号を提供して動作を制御することができる。例えば、ユーザがディスプレイの輝度を上げたいことを示す１つの筋肉活性化状態（例：上向きのスワイプジェスチャ）が特定されてもよく、その１つの筋肉活性化状態に基づいて輝度を上げるために、１つの制御信号がＡＲシステムに提供され得る。
【０１７７】
［００１３０］  図４では、ＡＲシステムに関連するディスプレイデバイスの輝度を制御するために生成され、ＡＲシステムに通信される制御信号に関して説明したが、１または複数の筋肉活性化状態が特定され、ＡＲシステムの異なる態様／動作を制御するために、適切な１または複数の制御信号が生成され、ＡＲシステムに通信されてもよいことが理解されよう。例えば、制御信号は、ＡＲシステムに関連するディスプレイデバイスをオンまたはオフにする信号を含み得る。
【０１７８】
［００１３１］  いくつかの実施形態では、制御信号は、例えば、オーディオデバイスをトリガして、オーディオの録音を開始もしくは停止する、音量を変更する、ミュートにする、一時停止する、スキップする、および／または、ＡＲシステムに関連するオーディオを変更すること等によってオーディオデバイスの属性を制御するための信号を含み得る。
【０１７９】
［００１３２］  いくつかの実施形態では、制御信号は、ＡＲシステムに関連する１または複数のデバイスのプライバシーモードまたはプライバシー設定を制御するための信号を含み得る。このような制御は、ＡＲシステムに関連する特定のデバイスまたは機能（例えば、カメラ、マイク、および他のデバイス）を有効もしくは無効にすること、および／または（例えば、１または複数のネットワークを介してＡＲシステムと通信している１または複数のサーバーによって）リモートで処理される情報に対してローカルで処理される情報対を制御することを含み得る。
【０１８０】
［００１３３］  いくつかの実施形態では、制御信号は、ＡＲシステムの電力モードまたは電力設定を制御するための信号を含み得る。
【０１８１】
［００１３４］  いくつかの実施形態では、制御信号は、例えば、カメラデバイス（例えばヘッドマウントカメラデバイス）をトリガして１または複数のフレームをキャプチャする、カメラデバイスをトリガしてビデオの録画を開始もしくは停止する、またはカメラデバイスのフォーカス、ズーム、露出もしくはその他の設定を変更することによってＡＲシステムに関連するカメラデバイスの属性を制御するための信号を含んでもよい。
【０１８２】
［００１３５］  いくつかの実施形態では、制御信号は、ナビゲーションメニューおよび／またはＡＲシステムによって提供されるＡＲ環境で表示されるユーザインターフェースに提示される他のコンテンツの表示を制御することなどによってＡＲシステムにより提供されるコンテンツの表示を制御するための信号を含み得る。
【０１８３】
［００１３６］  いくつかの実施形態では、制御信号は、ＡＲタスク（例えばＡＲ訓練）に関連する情報（例えばステップまたは指示）をスキップすることなどによってＡＲシステムにより提供される情報を制御するための信号を含み得る。一実施形態では、制御信号は、ＡＲシステムによって提供されるべき特定の情報のリクエストを含んでいてもよく、例えば、視野内にユーザまたは他の人の名前を表示してもよく、名前はプレーンテキスト、静止テキスト、または動画テキストとして表示されてもよい。
【０１８４】
［００１３７］  いくつかの実施形態では、制御信号は、ＡＲシステムに関連する情報の、ＡＲシステムのユーザとは異なるもう一人の別人に関連する第２のＡＲシステムへの通信、または別のコンピューティングデバイス（例：携帯電話、スマートウォッチ、コンピュータ等）への通信を制御するための信号を含んでもよい。一実施形態では、ＡＲシステムは、テキスト、オーディオおよびビデオ信号の任意のいずれか１つまたは任意の組み合わせを、第２のＡＲシステムまたは他のコンピューティングデバイスに送信することができる。別の実施形態では、ＡＲシステムは、秘密信号を第２のＡＲシステムまたは他のコンピューティングデバイスに通信することができる。第２のＡＲシステムまたは他のコンピューティングデバイスは、信号で送信された情報を解釈し、解釈された情報をパーソナライズされた方法で（すなわちその別人の好みに従ってパーソナライズされて）表示することができる。例えば、秘密信号は、解釈された情報が、例えば、ヘッドマウントディスプレイデバイス、イヤホンなどを介してその別人にのみ提供されるようにすることができる。
【０１８５】
［００１３８］  いくつかの実施形態では、制御信号は、ＡＲシステムによって生成されるユーザの視覚化を制御する（例えば、ユーザの外観を変更する）ための信号を含んでもよい。ある実施形態では、制御信号は、ユーザ以外のオブジェクトまたは人物の視覚化を制御するための信号を含んでもよく、その場合、視覚化はＡＲシステムによって生成される。
【０１８６】
［００１３９］  いくつかの実施形態では、ユーザから検出された第１の筋肉活性化状態を使用して、ＡＲシステムのウェイクアップモードが制御されるべきであることを決定することができる。ユーザから検出された第２の筋肉活性化状態を使用して、ＸＲシステムのウェイクアップモードの初期化動作を制御することができる。
【０１８７】
［００１４０］  図４では、第１の筋肉活性化状態と第２の筋肉の活性化状態を説明しているが、追加的または代替的な筋肉活性化状態（複数可）を特定して、ＡＲシステムの様々な態様／動作を制御するために使用し、ＡＲシステムを制御するための階層的なまたはマルチレベルのアプローチを可能にすることができることが理解されよう。例えば、ユーザがＡＲシステムの動作を制御するために第２のモード（例えば制御モード）への切り替えを望むとき、ＡＲシステムは、第１のモード（例えばゲームプレイモード）で動作していることがある。このシナリオでは、ユーザの第３の筋肉活性化状態が、生の信号および／または処理された信号（すなわちセンサ信号）および／またはセンサ信号に基づく情報もしくはセンサ信号から導出された情報（例えば手の状態情報）に基づいて特定されてもよく、ここで、第３の筋肉活性化状態は、第１および第２の筋肉活性化状態の前に特定され得る。また、特定された第３の筋肉の活性化状態に基づいて、ＡＲシステムの動作を第１のモードから第２のモードに切り替え／変更することもできる。別の例として、制御モードに入ると、センサ信号および／またはセンサ信号に基づく情報（例えば手の状態情報）に基づいて第４の筋肉活性化状態が特定されてもよく、第４の筋肉活性化状態は、第３の筋肉活性化状態の後、かつ、第１および第２の筋肉活性化状態の前に特定されてもよい。ＡＲシステムに関連する特定のデバイスまたは機能（例えばディスプレイデバイス、カメラデバイス、オーディオデバイス等）が、第４の筋肉活性化状態に基づいて制御のために選択されてもよい。
【０１８８】
［００１４１］  いくつかの実施形態では、複数の第１の（および／または複数の第２の、および／または複数の第３の）筋肉の活性化状態が、ユーザから検出または感知されてもよい。例えば、複数の第１の筋活性化状態は、ユーザの反復的な筋肉活動（例えば、ユーザの右手親指の反復的な緊張、ユーザの左手人差し指の反復的なカールなど）に対応していてもよい。このような反復的な活動は、ゲームをプレイするＡＲ環境に関連している可能性がある（例えば、スキート射撃ゲームで銃器の引き金を繰り返し引くことなど）。
【０１８９】
［００１４２］  いくつかの実施形態では、ＡＲシステムは、ウェイクアップもしくは初期化モードおよび／または終了もしくはシャットダウンモードを有し得る。ユーザから検出または感知された筋肉活性化状態は、ＡＲシステムを起動するため、および／またはＡＲシステムをシャットダウンするために使用され得る。
【０１９０】
［００１４３］  いくつかの実施形態によると、センサ信号および／またはセンサ信号に基づく情報は、ＡＲシステムから受信した情報に基づいて解釈されてもよい。例えば、ＡＲシステムの現在の状態を示す情報を受信することができ、ここで、受信した情報は、センサ信号および／またはセンサ信号に基づく情報から１または複数の筋肉活性化状態がどのように特定されるかを知らせるために使用されてもよい。一例として、ＡＲシステムが現在情報を表示している場合、ディスプレイデバイスの特定の態様は、１または複数の筋肉活性化状態を介して制御されてもよい。ＡＲシステムが現在ビデオを録画しているとき、カメラデバイスの特定の態様は、同じ１もしくは複数の筋肉活性化状態を介して、または１もしくは複数の異なる筋肉活性化状態を介して制御されてもよい。いくつかの実施形態では、１または複数の同じジェスチャを使用して、ＡＲシステムの現在の状態に基づいてＡＲシステムの異なる態様を制御することができる。
【０１９１】
［００１４４］  上記の実施形態は、多くの方法のいずれかで実施することができる。例えば、実施形態は、ハードウェアもしくはソフトウェア、またはそれらの組み合わせを使用して実施することができる。ソフトウェアを使用して実施する場合、ソフトウェアを構成するコードは、単一のコンピュータで提供されるか、複数のコンピュータに分散されるかにかかわらず、任意の適切なプロセッサまたはプロセッサの集合で実行することができる。上記の機能を実行する任意のコンポーネントまたはコンポーネントの集合は、一般に、上記の機能を制御する１または複数のコントローラとみなすことができることを理解されたい。１または複数のコントローラは、専用のハードウェア、またはマイクロコードまたはソフトウェアを使用してプログラムされている１もしくは複数のプロセッサを使用して上記の機能を実行するなど、様々な方法で実装できる。
【０１９２】
［００１４５］  この点に関して、本発明の実施形態の１つの実施態様は、コンピュータプログラム（すなわち複数の指示）でコードされた少なくとも１の非一時的なコンピュータ可読記憶媒体（例えばコンピュータメモリ、ポータブルメモリ、コンパクトディスク等）を含み、このプログラムがプロセッサ上で実行されると、本明細書に記載された技術の実施形態の上述の機能を実行することを理解されたい。少なくとも１のコンピュータ可読記憶媒体は、そこに記憶されたプログラムを任意のコンピュータリソースにロードして、本明細書で論じられる本発明の態様を実施することができるように、運搬可能であり得る。更に、実行されると上記の機能を実行するコンピュータプログラムへの言及は、ホストコンピュータ上で実行されるアプリケーションプログラムに限定されないことを理解されたい。むしろ、コンピュータプログラムという用語は、本発明の上述の態様を実装するようにプロセッサをプログラムするために採用できる任意のタイプのコンピュータコード（例：ソフトウェアまたはマイクロコード）を指すために一般的な意味で使用される。理解されるように、プログラムの第１の部分は、第１のコンピュータプロセッサ上で実行されてもよく、プログラムの第２の部分は、第１のコンピュータプロセッサとは異なる第２のコンピュータプロセッサ上で実行されてもよい。第１および第２のコンピュータプロセッサは、同じ場所に配置されていてもよいし、異なる場所に配置されていてもよい。各シナリオにおいて、第１および第２のコンピュータプロセッサは、例えば通信ネットワークを介して互いに通信していてもよい。
【０１９３】
［００１４６］  本明細書に提示された技術の様々な態様は、単独で、組み合わせて、または上述の実施形態で特に説明されていない様々な配置で使用することができ、したがって、前述の説明および／または図面に記載された構成要素の詳細および配置にそれらの適用が限定されるものではない。
【０１９４】
［００１４７］  また、上記の実施形態のいくつかは、１または複数の方法として実施することができ、そのいくつかの例が提供されている。方法の一部として実行される行為は、任意の適切な方法で順序付けられ得る。したがって、実施形態は、本明細書に例示または記載されたものとは異なる順序で行為が実行されるように構築されてもよく、これは、例示的な実施形態では連続した行為として示されていたとしても、いくつかの行為を同時に実行することを含み得る。
【０１９５】
［００１４８］  本明細書で使用されている表現および用語は、説明を目的としたものであり、限定するものとしてみなされるべきではない。「含む（ｉｎｃｌｕｄｉｎｇ／ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」、「伴う（ｉｎｖｏｌｖｉｎｇ）」、およびこれらの変化形の使用は、その後にリストされている項目および追加の項目を包含することを意味する。
【０１９６】
［００１４９］  本発明のいくつかの実施形態を詳細に説明してきたが、様々な修正や改良が当業者には容易に生じるであろう。そのような修正および改良は、本発明の主旨および範囲内にあることが意図されている。したがって、前述の説明は例示に過ぎず、限定することを意図していない。本発明は、以下の特許請求の範囲およびその均等物によって定義されるようにのみ限定される。
【０１９７】
［００１５０］  前述の特徴は、本明細書で論じられる実施形態のいずれかにおいて、別々にまたは任意の組み合わせで一緒に使用することができる。
【０１９８】
［００１５１］  更に、本明細書に記載の技術の利点が示され得るが、本発明の全ての実施形態が記載され全ての利点を含むわけではないことを理解されたい。いくつかの実施形態は、本明細書で有利であると記載された特徴を実施していない場合がある。したがって、前述の説明および添付の図面は、単なる例にすぎない。
【０１９９】
［００１５２］  開示された実施形態の変形例があり得る。例えば、本技術の様々な態様は、単独で、組み合わせて、または前述の実施形態で特に説明されていない様々な配置で使用することができ、したがって、前述の説明に記載された、または図面に示された構成要素の詳細および配置に適用が限定されるものではない。一実施形態で説明した態様は、他の実施形態で説明した態様と任意の方法で組み合わせることができる。
【０２００】
［００１５３］  本明細書および／または特許請求の範囲において、要素を修飾するために「第１」、「第２」、「第３」等の序数詞の使用は、それ自体、ある要素の別の要素に対する優先順位、先行順位、または順序、または方法の行為が実行される時間的順序を意味するものではなく、単に、ある名称を有する１つの要素または行為を、（序数詞の使用がなければ）同じ名称を有する別の要素または行為と区別するためのラベルとして使用されるものである。
【０２０１】
［００１５４］  本明細書および特許請求の範囲で使用されている不定冠詞「ａ」および「ａｎ」は、反対のことが明確に示されていない限り、「少なくとも１つ」を意味するものと理解されるべきである。
【０２０２】
［００１５５］  １または複数の要素のリストに関する「少なくとも１つの」という表現を使用する場合は、要素のリストの中の任意の１つ以上の要素から選択される少なくとも１つの要素を意味すると理解すべきであるが、必ずしも要素のリスト内に具体的にリストされている全ての要素のうちの少なくとも１つを含むわけではなく、要素のリスト内の要素の任意の組み合わせを除外するものではない。この定義はまた、「少なくとも１つの」という表現が示す要素のリスト内で具体的に特定された要素以外の要素が、具体的に特定された要素に関連するかどうかにかかわらず、任意選択で存在し得ることを可能にする。
【０２０３】
［００１５６］  ２つの値（距離、幅など）に関して「等しい」または「同じ」という表現を使用する場合は、製作公差内で２つの値が同じであることを意味する。したがって、２つの値が等しいか同じであるということは、２つの値が互いに±５％異なることを意味する場合がある。
【０２０４】
［００１５７］  本明細書および特許請求の範囲で使用されている「および／または」という表現は、そのように等位接続されている要素の「いずれかまたは両方」、すなわち、ある場合には接続的に存在し、他の場合には離接的に存在する要素を意味するものと理解されるべきである。また、「および／または」を用いてリストされている複数の要素は、同様に解釈されるべきであり、すなわち、そのように等位接続されている要素の「１つまたは複数」を意味する。また、「および／または」節で特定された要素以外にも、特定された要素に関連するか否かにかかわらず、他の要素が任意選択で存在してもよい。したがって、非限定的な例として、「Ａおよび／またはＢ」への言及は、「〜を含む」などのオープンエンドの表現と組み合わせて使用すると、ある実施形態では、Ａのみ（任意選択でＢ以外の要素を含む）；別の実施形態では、Ｂのみ（任意選択でＡ以外の要素を含む）；更に別の実施形態では、ＡおよびＢの両方（任意選択で他の要素を含む）等を指すことができる。
【０２０５】
［００１５８］  本明細書および特許請求の範囲で使用される場合、「または」は、上で定義されている「および／または」と同じ意味を有すると理解されるべきである。例えば、リストの項目を区切る場合、「または」または「および／または」は包括的である、つまり、要素の数またはリストのうちの、少なくとも１つを含むだけでなく、２つ以上を含み、任意選択で追加のリストされていない項目も含まれると解釈されるものとする。「〜のうち１つのみ」または「〜のうち正確に１つ」、または、特許請求の範囲で使用される場合、「からなる」など、反対のことが明確に示されている用語のみが、要素の数またはリストの正確に１つの要素を含むことを指す。一般に、本明細書で使用される「また」という用語は、「いずれか」、「〜のうち１つ」、「〜のうち１つのみ」または「〜のうち正確に１つ」といった排他的用語に先行されている場合は、排他的二者択一（すなわち「いずれか１つで、両方ではない」）を指すと解釈されるものとする。「本質的に〜からなる」は、特許請求の範囲で使用される場合、特許法の分野で使用される、その通常の意味を有するものとする。
【０２０６】
［００１５９］  また、本明細書で使用される表現および用語は、説明を目的とするものであって、限定と解釈されるべきではない。本明細書における「含む（ｉｎｃｌｕｄｉｎｇ／ｃｏｍｐｒｉｓｉｎｇ）、「〜から構成される（ｃｏｍｐｒｉｓｅｄ  ｏｆ）」、「有する（ｈａｖｉｎｇ）」、「含有する（ｃｏｎｔａｉｎｉｎｇ）」および「伴う（ｉｎｖｏｌｖｉｎｇ）」、ならびにこれらの変化形の使用は、その後にリストされている項目およびそれらの均等物だけでなく、追加の項目も包含することを意味する。
【０２０７】
［００１６０］  本明細書で使用される「およそ」および「約」という用語は、いくつかの実施形態では対象の値の±２０％以内、いくつかの実施形態では対象の値の±１０％以内、いくつかの実施形態では対象の値の±５％以内、およびいくつかの実施形態では対象の値の±２％以内を意味すると解釈することができる。「およそ」および「約」という用語が、対象の値と等しくてもよい。
【０２０８】
［００１６１］  本明細書で使用される「実質的に」という用語は、いくつかの実施形態では対象の値の９５％以内、９８％以内、いくつかの実施形態では対象の値の９９％以内、いくつかの実施形態では対象の値の９９．５％以内を意味すると解釈することができる。いくつかの実施形態では、「実質的に」という用語は、対象の値の１００％に等しくてもよい。
【図１】
2022500729.tif 000003
【図２】
2022500729.tif 000004
【図３】
2022500729.tif 000005
【図４】
2022500729.tif 000006
【図５】
2022500729.tif 000007
【図６Ａ】
2022500729.tif 000008
【図６Ｂ】
2022500729.tif 000009
【図７Ａ−７Ｂ】
2022500729.tif 000010
【図８Ａ−８Ｄ】
2022500729.tif 000011
【国際調査報告】
2022500729.tif 000012