(57)【要約】  筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報が使用される、コンピュータ化システム、方法、およびこれらの方法を実装するためのコードを記憶したコンピュータ可読記憶媒体が提供される。１つのそのようなシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記憶するように構成された複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを含む。複数の神経筋センサーは、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正するようにプログラムされる。【選択図】図１０
2021535465.tif 000002
【特許請求の範囲】
【請求項１】
筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムであって、
少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正するようにプログラムされた少なくとも１つのコンピュータプロセッサと
を備える、コンピュータ化システム。
【請求項２】
前記少なくとも１つのパラメータの前記更新が、
前記１つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１に記載のコンピュータ化システム。
【請求項３】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項１に記載のコンピュータ化システム。
【請求項４】
前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項１に記載のコンピュータ化システム。
【請求項５】
前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項１または４に記載のコンピュータ化システム。
【請求項６】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１に記載のコンピュータ化システム。
【請求項７】
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項１に記載のコンピュータ化システム。
【請求項８】
拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムをさらに備え、前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新する
ようにさらにプログラムされる、請求項１に記載のコンピュータ化システム。
【請求項９】
前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項８に記載のコンピュータ化システム。
【請求項１０】
前記少なくとも１つのコンピュータプロセッサが、
前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令する
ようにさらにプログラムされる、請求項８に記載のコンピュータ化システム。
【請求項１１】
前記少なくとも１つのコンピュータプロセッサが、
前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令する
ようにさらにプログラムされる、請求項８に記載のコンピュータ化システム。
【請求項１２】
前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項８に記載のコンピュータ化システム。
【請求項１３】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項８に記載のコンピュータ化システム。
【請求項１４】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項８に記載のコンピュータ化システム。
【請求項１５】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項８に記載のコンピュータ化システム。
【請求項１６】
前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項８に記載のコンピュータ化システム。
【請求項１７】
前記視覚表現が前記ＸＲ環境内にある、請求項１４から１６のいずれか一項に記載のコンピュータ化システム。
【請求項１８】
前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの１つである、請求項８に記載のコンピュータ化システム。
【請求項１９】
前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされ、
前記少なくとも１つのコンピュータプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させるようにさらにプログラムされる、
請求項８に記載のコンピュータ化システム。
【請求項２０】
前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項１９に記載のコンピュータ化システム。
【請求項２１】
前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるために必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項１９に記載のコンピュータ化システム。
【請求項２２】
前記少なくとも１つのコンピュータプロセッサが、前記フィードバックを前記ＸＲ環境内で提供するように前記ＸＲシステムに命令する、請求項１９に記載のコンピュータ化システム。
【請求項２３】
前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項１９に記載のコンピュータ化システム。
【請求項２４】
前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項２３に記載のコンピュータ化システム。
【請求項２５】
前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定するようにさらにプログラムされ、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
請求項１に記載のコンピュータ化システム。
【請求項２６】
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新する
ようにさらにプログラムされる、請求項１に記載のコンピュータ化システム。
【請求項２７】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項２６に記載のコンピュータ化システム。
【請求項２８】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項２６に記載のコンピュータ化システム。
【請求項２９】
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
請求項１に記載のコンピュータ化システム。
【請求項３０】
前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項２９に記載のコンピュータ化システム。
【請求項３１】
前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項１に記載のコンピュータ化システム。
【請求項３２】
筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法であって、
少なくとも１つのコンピュータプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および前記少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、
前記少なくとも１つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正することと
を含む、方法。
【請求項３３】
前記少なくとも１つのパラメータの前記更新が、
前記１つまたは複数の推論モデルを較正するために前記複数の神経筋信号を前処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新、
前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
のうちのいずれか１つまたは任意の組み合わせを含む、請求項３２に記載の方法。
【請求項３４】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項３２に記載の方法。
【請求項３５】
前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項３２に記載の方法。
【請求項３６】
前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項３２または３５に記載の方法。
【請求項３７】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項３２に記載の方法。
【請求項３８】
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項３２に記載の方法。
【請求項３９】
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
をさらに含み、
前記少なくとも１つのプロセッサが、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中である
請求項３２に記載の方法。
【請求項４０】
前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項３９に記載の方法。
【請求項４１】
前記少なくとも１つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令すること
をさらに含む、請求項３９に記載の方法。
【請求項４２】
前記少なくとも１つのプロセッサによって、前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令すること
をさらに含む、請求項３９に記載の方法。
【請求項４３】
前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項３９に記載の方法システム。
【請求項４４】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項３９に記載の方法。
【請求項４５】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を備える、請求項３９に記載の方法。
【請求項４６】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を備える、請求項３９に記載の方法。
【請求項４７】
前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項３９に記載の方法。
【請求項４８】
前記視覚表現が前記ＸＲ環境内にある、請求項４５から４７のいずれか一項に記載の方法。
【請求項４９】
前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの１つである、請求項３９に記載の方法。
【請求項５０】
前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされる、請求項３９に記載の方法であって、
前記少なくとも１つのプロセッサが、前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させることをさらに含む、前記方法。
【請求項５１】
前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項５０に記載の方法。
【請求項５２】
前記ユーザに提供されることになる前記フィードバックは、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項５０に記載の方法。
【請求項５３】
前記少なくとも１つのコンピュータプロセッサが、前記ＸＲシステムに前記フィードバックを前記ＸＲ環境内で提供させる、請求項５０に記載の方法。
【請求項５４】
前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項５０に記載の方法。
【請求項５５】
前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項５４に記載の方法。
【請求項５６】
前記少なくとも１つのコンピュータプロセッサによって、前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
請求項３２に記載の方法。
【請求項５７】
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも１つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
をさらに含む、
請求項３２に記載の方法。
【請求項５８】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項５７に記載の方法。
【請求項５９】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項５７に記載の方法。
【請求項６０】
前記少なくとも１つのコンピュータプロセッサによって、前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
をさらに含み、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
請求項３２に記載の方法。
【請求項６１】
前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項６０に記載の方法。
【請求項６２】
前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項３２に記載の方法。
【請求項６３】
コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させ、前記方法が、
少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および前記少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、
ユーザからの複数の神経筋信号、および前記複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、前記複数の神経筋信号が、前記ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、
前記複数の神経筋信号および前記少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、前記１つまたは複数の推論モデルを較正することと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項６４】
前記少なくとも１つのパラメータの前記更新が、
前記１つまたは複数の推論モデルを較正するために、前記複数の神経筋信号を前処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを較正するために前記少なくとも１つの画像に対応する画像信号が使用される前に、前記画像信号を前処理するためのルーチンの更新
前記１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、
前記１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、
前記１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および
前記１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新
のうちのいずれか１つまたは任意の組み合わせを含む、請求項６３に記載の記憶媒体。
【請求項６５】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能である、請求項６３に記載の記憶媒体。
【請求項６６】
前記少なくとも１つのカメラが、前記ユーザに対して固定されたロケーションに配設されたカメラを備える、請求項６３に記載の記憶媒体。
【請求項６７】
前記少なくとも１つのカメラが、前記ユーザの上に装着されるように構成されたカメラを備える、請求項６３または６６に記載の記憶媒体。
【請求項６８】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項６３に記載の記憶媒体方法。
【請求項６９】
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記複数の神経筋信号、または前記複数の神経筋信号から導出された情報、または前記複数の神経筋信号および前記複数の神経筋信号から導出された前記情報の両方が前記１つまたは複数の推論モデルに対する入力として提供されるとき、前記少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように前記１つまたは複数の推論モデルをトレーニングすることを含む、請求項６３に記載の記憶媒体。
【請求項７０】
前記少なくとも１つのコンピュータが、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり、
前記方法が、
前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記特定のジェスチャに整合すると検出された場合、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
をさらに含む、請求項６３に記載の記憶媒体。
【請求項７１】
前記少なくとも１つのカメラが、前記ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備える、請求項７０に記載の記憶媒体。
【請求項７２】
前記方法が、
前記特定のジェスチャを実行するための前記ユーザに対する可視プロンプトを提供するように前記ＸＲシステムに命令すること
をさらに含む、請求項７０に記載の記憶媒体。
【請求項７３】
前記方法が、
前記特定のジェスチャを実行するための前記ユーザに対する可聴プロンプトを提供するように前記ＸＲシステムに命令すること
をさらに含む、請求項７０に記載の記憶媒体。
【請求項７４】
前記ジェスチャが、外部ソースからの命令に基づいて前記ユーザによって実行される、請求項７０に記載の記憶媒体。
【請求項７５】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、前記特定のジェスチャに整合すると検出される、請求項７０に記載の記憶媒体。
【請求項７６】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、手の視覚表現を含む、請求項７０に記載の記憶媒体。
【請求項７７】
前記視覚表現が、前記ユーザが見ることができるディスプレイスクリーン上に表示され、前記ユーザに対する命令を含む、請求項７０に記載の記憶媒体。
【請求項７８】
前記特定のジェスチャを実行するための前記ユーザに対する前記プロンプトが、前記ユーザが見ることができるディスプレイスクリーン上に提供される前記特定のジェスチャの視覚表現である、請求項７０に記載の記憶媒体。
【請求項７９】
前記視覚表現が前記ＸＲ環境内にある、請求項７６から７８のいずれか一項に記載の記憶媒体。
【請求項８０】
前記特定のジェスチャが、
動きまたは動的ジェスチャ、および
姿勢または静止ジェスチャ
のうちの１つである、請求項７０に記載の記憶媒体。
【請求項８１】
前記少なくとも１つの画像が、前記ユーザによる前記ジェスチャの実行中に前記少なくとも１つのカメラによってキャプチャされ、
前記方法が、
前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックを前記ユーザに提供させること
をさらに含む、
請求項７０に記載の記憶媒体。
【請求項８２】
前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内に完全に含まれているかどうかを示す、請求項８１に記載の記憶媒体。
【請求項８３】
前記ユーザに提供されることになる前記フィードバックが、前記特定のジェスチャが実行されるのに必要な前記ユーザの身体部分が前記ユーザによる前記ジェスチャの前記実行中にキャプチャされた前記少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示す、請求項８１に記載の記憶媒体。
【請求項８４】
前記フィードバックが前記ＸＲ環境内で提供される、請求項８１に記載の記憶媒体。
【請求項８５】
前記フィードバックが、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含む、請求項８１に記載の記憶媒体。
【請求項８６】
前記可視フィードバックが、前記特定のジェスチャを実行するやり方を示す動画像または静止画像である、請求項８５に記載の記憶媒体。
【請求項８７】
前記方法が、
前記少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定すること
をさらに含み、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新は、前記少なくとも１つの画像が前記筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、前記複数の神経筋信号に対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することを含む、
請求項６３に記載の記憶媒体。
【請求項８８】
前記方法が、
前記少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するために前記ユーザによって実行されるジェスチャが前記タスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、
前記ユーザによって実行される前記ジェスチャが前記タスクを実行するための前記記憶されたジェスチャに整合する場合、前記少なくとも１つのプロセッサによって、前記ユーザによって実行される前記ジェスチャに対応する神経筋データを組み込むように前記１つまたは複数の推論モデルを更新することと
をさらに含む、請求項６３に記載の記憶媒体。
【請求項８９】
前記ユーザによって実行される前記ジェスチャは、前記ユーザによって実行される前記ジェスチャと前記記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、前記記憶されたジェスチャに整合すると検出される、請求項８８に記載の記憶媒体。
【請求項９０】
前記１つまたは複数の推論モデルが、
手の状態、
静止姿勢、および
動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせの表示を生成するために使用可能である、請求項８８に記載の記憶媒体。
【請求項９１】
前記方法が、
前記少なくとも１つの画像に基づいて、前記ユーザに対応するユーザ固有の骨格形状を判定すること
をさらに含み、
前記１つまたは複数の推論モデルに関連する前記少なくとも１つのパラメータの前記更新が、前記判定されたユーザ固有の骨格形状に基づいて、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータを更新することを含む、
請求項６３に記載の記憶媒体。
【請求項９２】
前記ユーザ固有の骨格形状が、前記ユーザの少なくとも１本の指の長さを含む、請求項９１に記載の記憶媒体。
【請求項９３】
前記少なくとも１つのカメラが、複数の画像を時系列でキャプチャするように構成され、前記１つまたは複数の推論モデルの前記少なくとも１つのパラメータの前記更新が、時系列でキャプチャされた前記複数の画像に少なくとも部分的にさらに基づく、請求項６３に記載の記憶媒体。
【請求項９４】
動的に更新された筋骨格情報を提供するためのコンピュータ化システムであって、
少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
少なくとも１つのコンピュータプロセッサであって、
トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供し、
前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定し、
前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力する
ようにプログラムされた、少なくとも１つのコンピュータプロセッサと
を備える、コンピュータ化システム。
【請求項９５】
前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度．
のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項９４に記載のコンピュータ化システム。
【請求項９６】
前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定し、
前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重する
ようにさらにプログラムされる、請求項９４に記載のコンピュータ化システム。
【請求項９７】
前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項９６に記載のコンピュータ化システム。
【請求項９８】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または、前記ユーザの前記手のうちの少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項９６に記載のコンピュータ化システム。
【請求項９９】
前記少なくとも１つのコンピュータプロセッサが、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定するようにさらにプログラムされる、請求項９６に記載のコンピュータ化システム。
【請求項１００】
前記２つ以上の接続された筋骨格セグメントが、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
前記少なくとも１つのコンピュータプロセッサが、
前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定し、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定する
ようにさらにプログラムされる、
請求項９４に記載のコンピュータ化システム。
【請求項１０１】
前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定する
ようにプログラムされる、
請求項９４に記載のコンピュータ化システム。
【請求項１０２】
前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕に着用され、
前記少なくとも１つのコンピュータプロセッサが、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定するようにプログラムされる、
請求項１０１に記載のコンピュータ化システム。
【請求項１０３】
少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え、
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定するようにさらにプログラムされる、
請求項１００に記載のコンピュータ化システム。
【請求項１０４】
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定し、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整する
ようにさらにプログラムされる、請求項１０３に記載のコンピュータ化システム。
【請求項１０５】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項９４に記載のコンピュータ化システム。
【請求項１０６】
前記トレーニングされた推論モデルが、
前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項９４に記載のコンピュータ化システム。
【請求項１０７】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１０６に記載のコンピュータ化システム。
【請求項１０８】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項１０６に記載のコンピュータ化システム。
【請求項１０９】
前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
請求項１０８に記載のコンピュータ化システム。
【請求項１１０】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１０９に記載のコンピュータ化システム。
【請求項１１１】
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定し、
前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定する
ようにさらにプログラムされる、請求項９４に記載のコンピュータ化システム。
【請求項１１２】
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像から、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定し、
前記複数の神経筋信号のみに基づいて、前記力情報を判定する
ようにプログラムされる、請求項１１１に記載のコンピュータ化システム。
【請求項１１３】
前記物理的オブジェクトが柔軟な面を有し、
前記少なくとも１つのコンピュータプロセッサが、
前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持していると判定し、
前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定する
ようにプログラムされる、
請求項１１１に記載のコンピュータ化システム。
【請求項１１４】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像．
のうちのいずれか１つまたは任意の組み合わせを含む、請求項９４または１１３に記載のコンピュータ化システム。
【請求項１１５】
前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項９４または１１１に記載のコンピュータ化システム。
【請求項１１６】
前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項９４または１１１に記載のコンピュータ化システム。
【請求項１１７】
前記物理的オブジェクトが面であり、
前記少なくとも１つのコンピュータプロセッサが、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定するようにさらにプログラムされる、
請求項１１１に記載のコンピュータ化システム。
【請求項１１８】
前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内に表示される仮想オブジェクトであり、
前記少なくとも１つのコンピュータプロセッサが、前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定するようにさらにプログラムされる、
請求項１１１に記載のコンピュータ化システム。
【請求項１１９】
動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法であって、
少なくとも１つのプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
前記少なくとも１つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
前記少なくとも１つのプロセッサによって、トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供することと、
前記少なくとも１つのプロセッサによって、前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
前記少なくとも１つのプロセッサによって、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
を含む、方法。
【請求項１２０】
前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度．
のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項１１９に記載の方法。
【請求項１２１】
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
をさらに含む、請求項１１９に記載の方法。
【請求項１２２】
前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１２１に記載の方法。
【請求項１２３】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１２１に記載の方法。
【請求項１２４】
前記少なくとも１つのプロセッサによって、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
をさらに含む、請求項１２１に記載の方法。
【請求項１２５】
前記２つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
前記少なくとも１つのプロセッサによって、前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項１１９に記載の方法。
【請求項１２６】
前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定すること
をさらに含む、請求項１１９に記載の方法。
【請求項１２７】
前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定すること
をさらに含む、請求項１２６に記載の方法。
【請求項１２８】
前記少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、
前記少なくとも１つのプロセッサによって、前記ＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項１２６に記載の方法。
【請求項１２９】
前記少なくとも１つのプロセッサによって、前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
をさらに含む、請求項１２８に記載の方法。
【請求項１３０】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項１１９に記載の方法。
【請求項１３１】
前記トレーニングされた推論モデルが、
前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項１１９に記載の方法。
【請求項１３２】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１３１に記載の方法。
【請求項１３３】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項１３１に記載の方法。
【請求項１３４】
前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
請求項１３３に記載の方法。
【請求項１３５】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１３４に記載の方法。
【請求項１３６】
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
前記少なくとも１つのプロセッサによって、前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
をさらに含む、請求項１１９に記載の方法。
【請求項１３７】
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
をさらに含む、請求項１３６に記載の方法。
【請求項１３８】
前記物理的オブジェクトが柔軟な面を有する、請求項１３６に記載の方法であって、
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
をさらに含む、前記方法。
【請求項１３９】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１１９または１３８に記載の方法。
【請求項１４０】
前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項１１９または１３６に記載の方法。
【請求項１４１】
前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項１１９または１３６に記載の方法。
【請求項１４２】
前記物理的オブジェクトが面である、請求項１３６に記載の方法であって、
前記少なくとも１つのプロセッサによって、前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
をさらに含む、前記方法。
【請求項１４３】
前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトである、請求項１３６に記載の方法であって、
前記少なくとも１つのプロセッサによって、前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
をさらに含む、前記方法。
【請求項１４４】
コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、前記複数の神経筋センサーが、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋信号を受信することと、
トレーニングされた推論モデルに対する入力として、前記複数の神経筋信号に基づく情報および前記少なくとも１つの画像に基づく情報を提供することと、
前記トレーニングされた推論モデルの出力に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、または前記ユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または前記位置情報および前記力情報の両方を判定することと、
前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を出力することと
を含む、非一時的コンピュータ可読記憶媒体。
【請求項１４５】
前記位置情報が、
手の状態、
手の状態の尤度、
静止姿勢、
静止姿勢の尤度、
動的ジェスチャ、および
動的ジェスチャの尤度．
のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報である、請求項１４４に記載の記憶媒体。
【請求項１４６】
前記方法が、
前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
前記複数の神経筋信号および前記少なくとも１つの画像に基づいて前記情報を判定するために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
をさらに含む、請求項１４４に記載の記憶媒体。
【請求項１４７】
前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１４６に記載の記憶媒体。
【請求項１４８】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１４６に記載の記憶媒体。
【請求項１４９】
前記方法が、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定することをさらに含む、請求項１４６に記載の記憶媒体。
【請求項１５０】
前記２つ以上の接続された筋骨格セグメントが、手首関節を介して手の複数の剛体セグメントに接続された前腕剛体セグメントを含み、
前記複数の神経筋センサーが、複数の筋電図（ＥＭＧ）センサーを含み、
前記方法が、
前記複数のＥＭＧセンサーから出力された前記複数の神経筋信号に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報を判定することと、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、
請求項１４４に記載の記憶媒体。
【請求項１５１】
前記ユーザの手首、前記手首に接続された手、および前記手の指が、前記少なくとも１つの画像によってキャプチャされ、
前記２つ以上の接続された筋骨格セグメントが、前記ユーザの前記手首、前記手、および前記指を含み、
前記方法が、
前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記手の中の前記複数の剛体セグメントに関する前記位置情報および前記力情報のうちの少なくとも１つを判定すること
をさらに含む、
請求項１４４に記載の記憶媒体。
【請求項１５２】
前記少なくとも１つのカメラが、前記複数の神経筋信号が感知され記録される間に、前記少なくとも１つの画像をキャプチャし、
前記１つまたは複数の着用可能デバイスが、前記複数の神経筋信号が感知され記録されるとき、前記ユーザの手首または前記ユーザの前腕の上に着用され、
前記方法が、
前記複数の神経筋信号および前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定すること
をさらに含む、
請求項１５１に記載の記憶媒体。
【請求項１５３】
前記方法が、
少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、
前記ＩＭＵ信号に少なくとも部分的にさらに基づいて、前記前腕剛体セグメントに関する前記位置情報を判定することと
をさらに含む、請求項１５０に記載の記憶媒体。
【請求項１５４】
前記方法が、
前記ＩＭＵ信号に少なくとも部分的に基づいて、前記前腕剛体セグメントの初期の位置を判定することと、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つの画像に少なくとも部分的に基づいて、前記前腕剛体セグメントに関する前記初期の位置情報を調整することと
をさらに含む、請求項１５３に記載の記憶媒体。
【請求項１５５】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項１４４に記載の記憶媒体。
【請求項１５６】
前記トレーニングされた推論モデルが、
前記少なくとも１つの画像に少なくとも部分的に基づいて前記位置情報を判定し、
前記複数の神経筋信号に基づいて前記力情報を判定する
ようにトレーニングされる、請求項１４４に記載の記憶媒体。
【請求項１５７】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像のみに基づいて、前記位置情報を判定するようにトレーニングされる、請求項１５６に記載の記憶媒体。
【請求項１５８】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、前記位置情報を判定し、
前記トレーニングされた推論モデルが、前記複数の神経筋信号に基づいて、接触している、前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つの間にかけられた力を判定することによって、前記力情報を判定する、
請求項１５６に記載の記憶媒体。
【請求項１５９】
前記ユーザの前記接続された筋骨格セグメントのうちの前記少なくとも２つが、前記ユーザの親指および前記ユーザの少なくとも１本の他の指を含み、
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指とが接触していると判定し、
前記トレーニングされた推論モデルが、前記ユーザの前記親指と前記ユーザの前記少なくとも１本の他の指との間にかけられた力を判定する、
請求項１５８に記載の記憶媒体。
【請求項１６０】
前記トレーニングされた推論モデルが、前記少なくとも１つの画像に基づいて、前記ユーザの前記親指の先と前記ユーザの前記少なくとも１本の他の指の先とが接触していると判定する、請求項１５９に記載の記憶媒体。
【請求項１６１】
前記方法が、
前記少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対する前記ユーザの手の位置を判定することと、
前記物理的オブジェクトまたは前記仮想オブジェクトに対する前記ユーザの前記手の前記位置に少なくとも部分的に基づいて、前記位置情報、または前記力情報、または前記位置情報および前記力情報の両方を判定することと
をさら含む、請求項１４４に記載の記憶媒体。
【請求項１６２】
前記方法が、
前記少なくとも１つの画像に基づいて、前記ユーザが前記物理的オブジェクトまたは前記仮想オブジェクトを把持していると判定することと、
前記複数の神経筋信号のみに基づいて、前記力情報を判定することと
をさらに含む、請求項１６１に記載の記憶媒体。
【請求項１６３】
前記物理的オブジェクトが柔軟な面を有し、
前記方法が、
前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における変形に基づいて、前記ユーザが前記物理的オブジェクトを把持しているかどうかを判定することと、
前記複数の神経筋信号、および前記少なくとも１つの画像内でキャプチャされた前記柔軟な面における前記変形のうちの一方または両方に基づいて、前記力情報を判定することと
をさらに含む、請求項１６１に記載の記憶媒体。
【請求項１６４】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１４４または１６３に記載の記憶媒体。
【請求項１６５】
前記複数の神経筋信号に基づく前記情報が、前記複数の神経筋信号および前記複数の神経筋信号から導出された情報のうちの一方または両方を含む、請求項１４４または１６１に記載の記憶媒体。
【請求項１６６】
前記少なくとも１つの画像に基づく前記情報が、前記少なくとも１つの画像の画像信号および前記少なくとも１つの画像の前記画像信号から導出された情報のうちの一方または両方を含む、請求項１４４または１６１に記載の記憶媒体。
【請求項１６７】
前記物理的オブジェクトが面であり、
前記方法が、
前記面に対する前記手の少なくとも一部分の位置に少なくとも部分的に基づいて、前記力情報を判定すること
をさらに含む、請求項１６１に記載の記憶媒体。
【請求項１６８】
前記仮想オブジェクトが、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであり、
前記方法が、
前記ユーザの前記手が前記ＸＲ環境内で前記仮想オブジェクトに接触しているかどうかに基づいて、前記位置情報を判定すること
をさらに含む、請求項１６１に記載の記憶媒体。
【請求項１６９】
筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムであって、
ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、前記複数の神経筋信号を取得するために前記ユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、
前記複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、
少なくとも１つのコンピュータプロセッサであって、
前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、
前記複数の神経筋信号に基づいて力情報を判定し、
前記位置情報を前記力情報に関連付け、
更新された推論モデルを生み出すために、前記推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、
前記更新された推論モデルをメモリ内に記憶させる
ようにプログラムされた
少なくとも１つのコンピュータプロセッサと
を備える、コンピュータ化システム。
【請求項１７０】
前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定する、請求項１６９に記載のコンピュータ化システム。
【請求項１７１】
前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１６９に記載のコンピュータ化システム。
【請求項１７２】
前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１６９または１７１に記載のコンピュータ化システム。
【請求項１７３】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１６９に記載のコンピュータ化システム。
【請求項１７４】
前記少なくとも１つのコンピュータプロセッサが、
前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定し、
前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重する
ようにプログラムされる、請求項１６９に記載のコンピュータ化システム。
【請求項１７５】
前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１７４に記載のコンピュータ化システム。
【請求項１７６】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１７４に記載のコンピュータ化システム。
【請求項１７７】
前記少なくとも１つのコンピュータプロセッサが、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定するようにさらにプログラムされる、請求項１７４に記載のコンピュータ化システム。
【請求項１７８】
前記少なくとも１つの所定の特性が、
前記神経筋入力信号の１つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１６９に記載のコンピュータ化システム。
【請求項１７９】
少なくとも１つの慣性計測装置（ＩＭＵ）センサー
をさらに備え、
前記少なくとも１つのコンピュータプロセッサが、前記少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定するようにさらにプログラムされる、
請求項１６９に記載のコンピュータ化システム。
【請求項１８０】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項１６９に記載のコンピュータ化システム。
【請求項１８１】
筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法であって、
少なくとも１つのプロセッサによって、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号に基づいて力情報を判定することと、
前記少なくとも１つのプロセッサによって、前記位置情報を前記力情報に関連付けることと、
前記少なくとも１つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
前記少なくとも１つのプロセッサによって、前記更新された推論モデルをメモリ内に記憶させることと
を含む、方法。
【請求項１８２】
前記少なくとも１つのプロセッサによって、前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定することをさらに含む、請求項１８１に記載の方法。
【請求項１８３】
前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１８１に記載の方法。
【請求項１８４】
前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１８１または１８３に記載の方法。
【請求項１８５】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像．
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１８１に記載の方法。
【請求項１８６】
前記少なくとも１つのプロセッサによって、前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
前記少なくとも１つのプロセッサによって、前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
をさらに含む、請求項１８１に記載の方法。
【請求項１８７】
前記複数の神経筋信号の前記第１の信号が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１８６に記載の方法。
【請求項１８８】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１８６に記載の方法。
【請求項１８９】
前記少なくとも１つのプロセッサによって、前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
をさらに含む、請求項１８６に記載の方法。
【請求項１９０】
前記少なくとも１つの所定の特性が、
前記神経筋入力信号の１つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１８１に記載の方法。
【請求項１９１】
前記少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、
前記少なくとも１つのプロセッサによって、前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定することと
をさらに含む、請求項１８１に記載の方法。
【請求項１９２】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項１８１に記載の方法。
【請求項１９３】
コードを記憶した非一時的コンピュータ可読記憶媒体であって、前記コードが、少なくとも１つのコンピュータによって実行されるとき、前記少なくとも１つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる非一時的コンピュータ可読記憶媒体において、前記方法が、
ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、前記ユーザの複数の神経筋信号を受信することと、
前記複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、
前記少なくとも１つの画像から取得された情報に基づいて、前記ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、
前記複数の神経筋信号に基づいて力情報を判定することと、
前記位置情報を前記力情報に関連付けることと、
更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、前記位置情報、または前記力情報、または前記位置情報および前記力情報に一致する筋骨格表現を出力するように前記推論モデルをトレーニングすることと、
前記更新された推論モデルをメモリ内に記憶させることと
を含む、
非一時的コンピュータ可読記憶媒体。
【請求項１９４】
前記方法が、
前記少なくとも１つの画像から取得された前記情報および前記複数の神経筋信号から取得された情報に基づいて、前記位置情報を判定すること
をさらに含む、請求項１９３に記載の記憶媒体。
【請求項１９５】
前記少なくとも１つの画像が、ビデオを形成する一連の時系列画像を含む、請求項１９３に記載の記憶媒体。
【請求項１９６】
前記筋骨格表現が、
前記ユーザの手の状態、
前記ユーザの静止姿勢、および
前記ユーザの動的ジェスチャ
のうちのいずれか１つまたは任意の組み合わせに対応する、請求項１９３または１９５に記載の記憶媒体。
【請求項１９７】
前記少なくとも１つの画像が、
可視光によって生み出された画像、
赤外光によって生み出された画像、
所定の波長範囲の光によって生み出された画像、および
２つ以上の異なる所定の波長範囲の光によって生み出された画像
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１９３に記載の記憶媒体。
【請求項１９８】
前記方法が、
前記複数の神経筋信号の第１の品質、または前記少なくとも１つの画像の第２の品質、または前記第１の品質および前記第２の品質の両方を判定することと、
前記推論モデルをトレーニングするために、前記第１の品質および前記第２の品質のうちの一方または両方に基づいて、前記複数の神経筋信号、または前記少なくとも１つの画像、または前記複数の神経筋信号および前記少なくとも１つの画像の両方に加重することと
をさらに含む、請求項１９３に記載の記憶媒体。
【請求項１９９】
前記複数の神経筋信号の前記第１の品質が、前記複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定される、請求項１９８に記載の記憶媒体。
【請求項２００】
前記少なくとも１つの画像の前記第２の品質が、前記ユーザの手が前記少なくとも１つのカメラの視野内に完全に含まれているかどうか、または前記手が前記少なくとも１つのカメラの前記視野から完全に遮蔽されているかどうか、または前記ユーザの前記手の少なくとも一部分が前記少なくとも１つのカメラの前記視野から遮蔽されているかどうかを判定することによって判定される、請求項１９８に記載の記憶媒体。
【請求項２０１】
前記方法が、
前記第２の品質がしきい値よりも高いとの判定に応じて、前記第１の品質を判定すること
をさらに含む、請求項１９８に記載の記憶媒体。
【請求項２０２】
前記少なくとも１つの所定の特性が、
前記神経筋入力信号の１つのアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの存在、
前記神経筋入力信号の複数のアーチファクトの相対的位置、
前記神経筋入力信号の振幅範囲、および
前記神経筋入力信号のアーチファクトの周期周波数
のうちのいずれか１つまたは任意の組み合わせを含む、請求項１９３に記載の記憶媒体。
【請求項２０３】
前記方法が、
少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、
前記少なくとも１つのＩＭＵセンサーから出力された前記ＩＭＵ信号に少なくとも部分的に基づいて、前記位置情報を判定することと
をさらに含む、請求項１９３に記載の記憶媒体。
【請求項２０４】
前記１つまたは複数の着用可能デバイスが、その上に含まれた少なくとも１つの位置マーカーを含み、
前記位置情報が、前記少なくとも１つの画像内でキャプチャされた前記少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定される、
請求項１９３に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、その内容全体が参照により本明細書に組み込まれる、「ＣＡＭＥＲＡ−ＧＵＩＤＥＤ  ＩＮＴＥＲＰＲＥＴＡＴＩＯＮ  ＯＦ  ＮＥＵＲＯＭＵＳＣＵＬＡＲ  ＳＩＧＮＡＬＳ」と題する２０１８年８月３１日に出願した、米国仮特許出願第６２／７２６、１５９号の米国特許法第１１９（ｅ）条による利益を主張するものである。
【０００２】
本技術は、拡張現実環境または仮想現実環境内で機能を実行する際に使用するための神経筋信号を検出および解釈し、神経筋信号を解釈するために使用されるモデルを較正する、システムおよび方法に関する。
【背景技術】
【０００３】
人体の筋骨格表現を生成するいくつかのコンピュータアプリケーションにおいて、アプリケーションが、ユーザの身体の空間的位置調整、方向、および動きを知り、身体の動きの写実的表現を提供することが望ましい。たとえば、拡張現実（ＡＲ）環境または仮想現実（ＶＲ）環境内で、ユーザの手の空間的位置を追跡することは、アプリケーションがＡＲ環境またはＶＲ環境内で手の動きを表すことを可能にし、これは、ユーザがＡＲ環境またはＶＲ環境内で仮想オブジェクトと（たとえば、把持することまたは操作することによって）対話することができるようにする。ユーザの身体の異なる部分に関する位置情報および／または方向情報を取得するために、ユーザの身体の異なる部分に貼り付けられた慣性計測装置（ＩＭＵ）など、着用可能センサーを使用して、ユーザの身体の動きを追跡するための技法が開発されている。
【発明の概要】
【０００４】
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムが提供される。このシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのプロセッサは、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正するようにプログラムされ得る。
【０００５】
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０００６】
別の態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【０００７】
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
【０００８】
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
【０００９】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【００１０】
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
【００１１】
一態様では、コンピュータ化システムは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
【００１２】
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
【００１３】
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令するようにさらにプログラムされ得る。
【００１４】
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令するようにさらにプログラムされ得る。
【００１５】
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
【００１６】
本態様の別の変形形態では、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、ユーザによって実行されるジェスチャは特定のジェスチャに整合すると検出され得る。
【００１７】
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
【００１８】
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
【００１９】
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
【００２０】
本態様の様々な変形形態では、視覚表現はＸＲ環境内にあり得る。
【００２１】
本態様の変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
【００２２】
本態様の変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に少なくとも１つのカメラによってキャプチャされ得、少なくとも１つのコンピュータプロセッサは、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させるようにさらにプログラムされ得る。一例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。別の例では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。別の例では、少なくとも１つのコンピュータプロセッサは、フィードバックをＸＲ環境内で提供するようにＸＲシステムに命令し得る。別の例では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を含み得る。たとえば、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
【００２３】
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメント（ｓｅｇｍｅｎｔ）に関する位置情報を含むかどうかを判定するようにさらにプログラムされ得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
【００２４】
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されるＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出し、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新するようにさらにプログラムされ得る。
【００２５】
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
【００２６】
本態様の別の変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【００２７】
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定するようにさらにプログラムされ得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
【００２８】
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
【００２９】
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
【００３０】
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、少なくとも１つのコンピュータプロセッサによって、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正することとを含み得る。
【００３１】
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新と、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含み得る。
【００３２】
一態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【００３３】
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
【００３４】
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
【００３５】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【００３６】
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
【００３７】
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。少なくとも１つのプロセッサは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり得る。
【００３８】
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
【００３９】
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
【００４０】
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
【００４１】
これらの態様のうちのいくつかの変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
【００４２】
これらの態様のうちのいくつかの変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
【００４３】
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
【００４４】
これらの態様のうちのいくつかの変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
【００４５】
これらの態様のうちのいくつかの変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
【００４６】
これらの態様のうちのいくつかの変形形態では、視覚表現はＸＲ環境内にあり得る。
【００４７】
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
【００４８】
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に、少なくとも１つのカメラによってキャプチャされ得る。この方法は、少なくとも１つのプロセッサが、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
【００４９】
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。
【００５０】
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全または部分的に遮蔽されているかどうかを示し得る。
【００５１】
これらの態様のうちのいくつかの変形形態では、少なくとも１つのコンピュータプロセッサは、ＸＲシステムにフィードバックをＸＲ環境内に提供させ得る。
【００５２】
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
【００５３】
一態様では、この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
【００５４】
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャに整合する場合、少なくとも１つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
【００５５】
本態様の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
【００５６】
本態様の別の変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【００５７】
一態様では、この方法は、少なくとも１つのコンピュータプロセッサによって、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
【００５８】
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
【００５９】
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
【００６０】
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、そのコードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに筋骨格表現を生成するために使用される１つまたは複数の推論モデルを較正するためにカメラ情報を使用するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像および少なくとも１つの画像から導出された情報のうちの一方または両方を受信することと、ユーザからの複数の神経筋信号、および複数の神経筋信号から導出された情報のうちの一方または両方を受信することであって、複数の神経筋信号が、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、一方または両方を受信することと、複数の神経筋信号および少なくとも１つの画像に少なくとも部分的に基づいて１つまたは複数の推論モデルに関連する少なくとも１つのパラメータを更新することによって、１つまたは複数の推論モデルを較正することとを含み得る。
【００６１】
一態様では、少なくとも１つのパラメータの更新は、１つまたは複数の推論モデルを較正するために、複数の神経筋信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルを較正するために少なくとも１つの画像に対応する画像信号が使用される前に、その画像信号を前処理するためのルーチンの更新、１つまたは複数の推論モデルの１つまたは複数のアーキテクチャの更新、１つまたは複数の推論モデルの出力を後処理するためのルーチンの更新、１つまたは複数の推論モデルを複数の推論モデルから選択するための選択ルーチンの更新、および１つまたは複数の推論モデルのうちの少なくとも１つに対して使用される重みの更新のうちのいずれか１つまたは任意の組み合わせを含む。
【００６２】
一態様では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【００６３】
一態様では、少なくとも１つのカメラは、ユーザに対して固定されたロケーションに配設されたカメラを備え得る。
【００６４】
一態様では、少なくとも１つのカメラは、ユーザの上に装着されるように構成されたカメラを備え得る。
【００６５】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【００６６】
一態様では、１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、複数の神経筋信号、または複数の神経筋信号から導出された情報、または複数の神経筋信号および複数の神経筋信号から導出された情報の両方が１つまたは複数の推論モデルに対する入力として提供されるとき、少なくとも１つの画像に少なくとも部分的に基づいて判定される出力を生み出すように１つまたは複数の推論モデルをトレーニングすることを含み得る。
【００６７】
一態様では、少なくとも１つのコンピュータは、拡大現実（ＸＲ）環境を生成し、視覚表現を表示するＸＲシステムと通信中であり得る。この方法は、少なくとも１つの画像に少なくとも部分的に基づいて、ユーザによって実行されるジェスチャが特定のジェスチャに整合するかどうかを検出することと、ユーザによって実行されるジェスチャが特定のジェスチャに整合すると検出された場合、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
【００６８】
本態様の変形形態では、少なくとも１つのカメラは、ＸＲシステムの頭部装着型ディスプレイに取り付けられたカメラを備え得る。
【００６９】
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可視プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
【００７０】
本態様の別の変形形態では、この方法は、特定のジェスチャを実行するためのユーザに対する可聴プロンプトを提供するようにＸＲシステムに命令することをさらに含み得る。
【００７１】
本態様の別の変形形態では、ジェスチャは、外部ソースからの命令に基づいてユーザによって実行され得る。
【００７２】
本態様の別の変形形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと特定のジェスチャとの間の類似性が所定のしきい値を上回るとき、特定のジェスチャに整合すると検出され得る。
【００７３】
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、手の視覚表現を備え得る。
【００７４】
本態様の別の変形形態では、視覚表現は、ユーザが見ることができるディスプレイスクリーン上に表示され得、ユーザに対する命令を備え得る。
【００７５】
本態様の別の変形形態では、特定のジェスチャを実行するためのユーザに対するプロンプトは、ユーザが見ることができるディスプレイスクリーン上に提供される特定のジェスチャの視覚表現であってよい。
【００７６】
これらの態様のうちのいくつかの変形形態では、視覚表現はＸＲ環境内にあり得る。
【００７７】
これらの態様のうちのいくつかの変形形態では、特定のジェスチャは、動きまたは動的ジェスチャ、および姿勢または静止ジェスチャのうちの１つであってよい。
【００７８】
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、ユーザによるジェスチャの実行中に少なくとも１つのカメラによってキャプチャされ得る。この方法は、ユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、フィードバックをユーザに提供させることをさらに含み得る。
【００７９】
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内に完全に含まれているかどうかを示し得る。
【００８０】
これらの態様のうちのいくつかの変形形態では、ユーザに提供されることになるフィードバックは、特定のジェスチャが実行されるために必要なユーザの身体部分がユーザによるジェスチャの実行中にキャプチャされた少なくとも１つの画像内で完全にまたは部分的に遮蔽されているかどうかを示し得る。
【００８１】
これらの態様のうちのいくつかの変形形態では、フィードバックはＸＲ環境内に提供させられ得る。
【００８２】
これらの態様のうちのいくつかの変形形態では、フィードバックは、可聴フィードバック、可視フィードバック、触覚フィードバック、および電気刺激フィードバックのうちの１つまたは複数を備え得る。さらなる変形形態では、可視フィードバックは、特定のジェスチャを実行するやり方を示す動画像または静止画像であってよい。
【００８３】
一態様では、この方法は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むかどうかを判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、少なくとも１つの画像が筋骨格表現の少なくとも２つのセグメントに関する位置情報を含むと判定されたとき、複数の神経筋信号に対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することを含み得る。
【００８４】
一態様では、この方法は、少なくとも１つの画像に少なくとも部分的に基づいて、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内でタスクを実行するためにユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合するかどうかを検出することと、ユーザによって実行されるジェスチャがタスクを実行するための記憶されたジェスチャと整合する場合、少なくとも１つのプロセッサによって、ユーザによって実行されるジェスチャに対応する神経筋データを組み込むように１つまたは複数の推論モデルを更新することとをさらに含み得る。
【００８５】
本態様の変更形態では、ユーザによって実行されるジェスチャは、ユーザによって実行されるジェスチャと記憶されたジェスチャとの間の類似性が所定のしきい値を上回るとき、記憶されたジェスチャに整合すると検出され得る。
【００８６】
これらの態様のうちのいくつかの変形形態では、１つまたは複数の推論モデルは、手の状態、静止姿勢、および動的ジェスチャのうちのいずれか１つまたは任意の組み合わせの表現を生成するために使用可能であり得る。
【００８７】
一態様では、この方法は、少なくとも１つの画像に基づいて、ユーザに対応するユーザ固有の骨格形状を判定することをさらに含み得る。１つまたは複数の推論モデルに関連する少なくとも１つのパラメータの更新は、判定されたユーザ固有の骨格形状に基づいて、１つまたは複数の推論モデルの少なくとも１つのパラメータを更新することを含み得る。
【００８８】
本態様の変形形態では、ユーザ固有の骨格形状は、ユーザの少なくとも１本の指の長さを備え得る。
【００８９】
一態様では、少なくとも１つのカメラは、複数の画像を時系列でキャプチャするように構成され得る。１つまたは複数の推論モデルの少なくとも１つのパラメータの更新は、時系列でキャプチャされた複数の画像に少なくとも部分的にさらに基づき得る。
【００９０】
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムが提供される。このシステムは、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのプロセッサは、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供し、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定し、位置情報、または力情報、または位置情報および力情報の両方を出力するようにプログラムされ得る。
【００９１】
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
【００９２】
一態様では、少なくとも１つのコンピュータプロセッサは、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定し、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重するようにさらにプログラムされ得る。
【００９３】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【００９４】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【００９５】
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定するようにさらにプログラムされ得る。
【００９６】
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。少なくとも１つのコンピュータプロセッサは、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定し、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。
【００９７】
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定するようにプログラムされ得る。
【００９８】
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。少なくとも１つのコンピュータプロセッサは、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定するようにプログラムされ得る。
【００９９】
これらの態様のうちのいくつかの変形形態では、コンピュータ化システムは、少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定するようにさらにプログラムされ得る。さらなる変形形態では、少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定し、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整するようにプログラムされ得る。
【０１００】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１０１】
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
【０１０２】
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
【０１０３】
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していることを判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
【０１０４】
様々なさらなる変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触しているとさらに判定し得る。
【０１０５】
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定し、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定するようにさらにプログラムされ得る。
【０１０６】
本態様の変形形態では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定し、複数の神経筋信号のみに基づいて、力情報を判定するようにプログラムされ得る。
【０１０７】
本態様の別の変形形態では、物理的オブジェクトは、柔軟な（ｐｌｉａｂｌｅ）面を有し得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持していると判定し、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定するようにプログラムされ得る。
【０１０８】
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１０９】
これらの態様のうちのいくつかの変形形態では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
【０１１０】
これらの態様のうちのいくつかの変形形態では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
【０１１１】
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。少なくとも１つのコンピュータプロセッサは、面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定するようにさらにプログラムされ得る。
【０１１２】
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内に表示される仮想オブジェクトであってよい。少なくとも１つのコンピュータプロセッサは、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定するようにさらにプログラムされ得る。
【０１１３】
本明細書で説明する技術の態様によれば、動的に更新された筋骨格情報を提供するためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのプロセッサによって、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つのプロセッサによって、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、少なくとも１つのプロセッサによって、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供することと、少なくとも１つのプロセッサによって、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、少なくとも１つのプロセッサによって、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
【０１１４】
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含む筋骨格位置情報であってよい。
【０１１５】
一態様では、この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
【０１１６】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【０１１７】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【０１１８】
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
【０１１９】
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。この方法は、少なくとも１つのプロセッサによって、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
【０１２０】
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定することをさらに含み得る。
【０１２１】
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首またはユーザの前腕の上に着用され得る。この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定することをさらに含み得る。
【０１２２】
本態様のうちのいくつかの変形形態では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、少なくとも１つのプロセッサによって、ＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、少なくとも１つのプロセッサによって、ＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
【０１２３】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１２４】
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
【０１２５】
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
【０１２６】
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
【０１２７】
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触していると判定し得る。
【０１２８】
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、少なくとも１つのプロセッサによって、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
【０１２９】
本態様の変形形態では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
【０１３０】
本態様の別の変形形態では、物理的オブジェクトは、柔軟な面を有し得る。この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
【０１３１】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１３２】
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を備え得る。
【０１３３】
一態様では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を備え得る。
【０１３４】
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であり得る。この方法は、少なくとも１つのプロセッサによって、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
【０１３５】
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであってよい。この方法は、少なくとも１つのプロセッサによって、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
【０１３６】
本明細書で説明する技術の態様によれば、コードを記憶した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに、動的に更新された筋骨格情報を提供するための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーによって感知され記録された複数の神経筋信号を受信することであって、複数の神経筋センサーが、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置される、複数の神経筋信号を受信することと、トレーニングされた推論モデルに対する入力として、複数の神経筋信号に基づく情報および少なくとも１つの画像に基づく情報を提供することと、トレーニングされた推論モデルの出力に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報、またはユーザの少なくとも１つの筋骨格セグメントによってもたらされる力を記述する力情報、または位置情報および力情報の両方を判定することと、位置情報、または力情報、または位置情報および力情報の両方を出力することとを含み得る。
【０１３７】
一態様では、位置情報は、手の状態、手の状態の尤度、静止姿勢、静止姿勢の尤度、動的ジェスチャ、および動的ジェスチャの尤度のうちのいずれか１つまたは任意の組み合わせを含み得る筋骨格位置情報であってよい。
【０１３８】
一態様では、この方法は、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、複数の神経筋信号および少なくとも１つの画像に基づいて情報を判定するために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
【０１３９】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【０１４０】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【０１４１】
本態様の別の変形形態では、この方法は、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
【０１４２】
一態様では、２つ以上の接続された筋骨格セグメントは、手首関節を介して、手の複数の剛体セグメントに接続された前腕剛体セグメントを含み得る。複数の神経筋センサーは、複数の筋電図（ＥＭＧ）センサーを含み得る。この方法は、複数のＥＭＧセンサーから出力された複数の神経筋信号に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。
【０１４３】
一態様では、ユーザの手首、手首に接続された手、および手の指は、少なくとも１つの画像によってキャプチャされ得る。２つ以上の接続された筋骨格セグメントは、ユーザの手首、手、および指を含み得る。この方法は、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、手の中の複数の剛体セグメントに関する位置情報および力情報のうちの少なくとも１つを判定することをさらに含み得る。
【０１４４】
本態様の変形形態では、少なくとも１つのカメラは、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャし得る。１つまたは複数の着用可能デバイスは、複数の神経筋信号が感知され記録されるとき、ユーザの手首の上またはユーザの前腕の上に着用され得る。この方法は、複数の神経筋信号および少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、ユーザの手の状態、動的ジェスチャ、および静止姿勢のうちのいずれか１つまたは任意の組み合わせを判定することをさらに含み得る。
【０１４５】
これらの態様のうちのいくつかの変形形態では、この方法は、少なくとも１つの慣性計測装置（ＩＭＵ）センサーによって感知され記録されたＩＭＵ信号を受信することと、ＩＭＵ信号に少なくとも部分的にさらに基づいて、前腕剛体セグメントに関する位置情報を判定することとをさらに含み得る。さらなる変形形態では、この方法は、ＩＭＵ信号に少なくとも部分的に基づいて、前腕剛体セグメントの初期の位置を判定することと、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて、前腕剛体セグメントに関する初期の位置情報を調整することとを含み得る。
【０１４６】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１４７】
一態様では、トレーニングされた推論モデルは、少なくとも１つの画像に少なくとも部分的に基づいて位置情報を判定し、複数の神経筋信号に基づいて力情報を判定するようにトレーニングされ得る。
【０１４８】
本態様の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像のみに基づいて、位置情報を判定するようにトレーニングされ得る。
【０１４９】
本態様の別の変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの接続された筋骨格セグメントのうちの少なくとも２つが接触していると判定することによって、位置情報を判定し得る。トレーニングされた推論モデルは、複数の神経筋信号に基づいて、接触している、ユーザの接続された筋骨格セグメントのうちの少なくとも２つの間にかけられた力を判定することによって、力情報を判定し得る。
【０１５０】
これらの態様のうちのいくつかの変形形態では、ユーザの接続された筋骨格セグメントのうちの少なくとも２つは、ユーザの親指およびユーザの少なくとも１本の他の指を含み得る。トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指とユーザの少なくとも１本の他の指とが接触していると判定し得る。トレーニングされた推論モデルは、ユーザの親指とユーザの少なくとも１本の他の指との間にかけられた力を判定し得る。さらなる変形形態では、トレーニングされた推論モデルは、少なくとも１つの画像に基づいて、ユーザの親指の先とユーザの少なくとも１本の他の指の先とが接触していると判定し得る。
【０１５１】
一態様では、この方法は、少なくとも１つの画像に基づいて、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置を判定することと、物理的オブジェクトまたは仮想オブジェクトに対するユーザの手の位置に少なくとも部分的に基づいて、位置情報、または力情報、または位置情報および力情報の両方を判定することとをさらに含み得る。
【０１５２】
本態様の変形形態では、この方法は、少なくとも１つの画像に基づいて、ユーザが物理的オブジェクトまたは仮想オブジェクトを把持していると判定することと、複数の神経筋信号のみに基づいて、力情報を判定することとをさらに含み得る。
【０１５３】
本態様の別の変形形態では、物理的オブジェクトは柔軟な面を有し得る。この方法は、少なくとも１つの画像内でキャプチャされた柔軟な面における変形に基づいて、ユーザが物理的オブジェクトを把持しているかどうかを判定することと、複数の神経筋信号、および少なくとも１つの画像内でキャプチャされた柔軟な面における変形のうちの一方または両方に基づいて、力情報を判定することとをさらに含み得る。
【０１５４】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１５５】
一態様では、複数の神経筋信号に基づく情報は、複数の神経筋信号および複数の神経筋信号から導出された情報のうちの一方または両方を含み得る。
【０１５６】
一態様では、少なくとも１つの画像に基づく情報は、少なくとも１つの画像の画像信号および少なくとも１つの画像の画像信号から導出された情報のうちの一方または両方を含み得る。
【０１５７】
これらの態様のうちのいくつかの変形形態では、物理的オブジェクトは面であってよい。この方法は、その面に対する手の少なくとも一部分の位置に少なくとも部分的に基づいて、力情報を判定することをさらに含み得る。
【０１５８】
これらの態様のうちのいくつかの変形形態では、仮想オブジェクトは、拡大現実（ＸＲ）システムによって生成されたＸＲ環境内で表示される仮想オブジェクトであってよい。この方法は、ユーザの手がＸＲ環境内で仮想オブジェクトに接触しているかどうかに基づいて、位置情報を判定することをさらに含み得る。
【０１５９】
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムが提供される。このシステムは、ユーザからの複数の神経筋信号を感知して記録するように構成された複数の神経筋センサーであって、複数の神経筋信号を取得するためにユーザによって着用されるように構築された１つまたは複数の着用可能デバイス上に配置された、複数の神経筋センサーと、複数の神経筋信号が感知され記録される間に、少なくとも１つの画像をキャプチャするように構成された、少なくとも１つのカメラと、少なくとも１つのコンピュータプロセッサとを備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定し、複数の神経筋信号に基づいて力情報を判定し、位置情報を力情報に関連付け、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングし、更新された推論モデルをメモリ内に記憶させるようにプログラムされ得る。
【０１６０】
一態様では、少なくとも１つのコンピュータプロセッサは、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定し得る。
【０１６１】
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
【０１６２】
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
【０１６３】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１６４】
一態様では、少なくとも１つのコンピュータプロセッサは、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定し、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重するようにプログラムされ得る。
【０１６５】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【０１６６】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【０１６７】
本態様の別の変形形態では、少なくとも１つのコンピュータプロセッサは、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定するようにさらにプログラムされ得る。
【０１６８】
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
【０１６９】
一態様では、コンピュータ化システムは、少なくとも１つの慣性計測装置（ＩＭＵ）センサーをさらに備え得る。少なくとも１つのコンピュータプロセッサは、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定するようにさらにプログラムされ得る。
【０１７０】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１７１】
本明細書で説明する技術の態様によれば、筋骨格表現を生成するために使用される推論モデルをトレーニングするためのコンピュータ化システムの方法が提供される。この方法は、少なくとも１つのプロセッサによって、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知され記録される、ユーザの複数の神経筋信号を受信することと、少なくとも１つのプロセッサによって、複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つのプロセッサによって、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、少なくとも１つのプロセッサによって、複数の神経筋信号に基づいて力情報を判定することと、少なくとも１つのプロセッサによって、位置情報を力情報に関連付けることと、少なくとも１つのプロセッサによって、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、少なくとも１つのプロセッサによって、更新された推論モデルをメモリ内に記憶させることとを含み得る。
【０１７２】
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
【０１７３】
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
【０１７４】
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
【０１７５】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１７６】
一態様では、この方法は、少なくとも１つのプロセッサによって、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、少なくとも１つのプロセッサによって、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
【０１７７】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【０１７８】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【０１７９】
本態様の別の変形形態では、この方法は、少なくとも１つのプロセッサによって、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
【０１８０】
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
【０１８１】
一態様では、この方法は、少なくとも１つのプロセッサによって、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、少なくとも１つのプロセッサによって、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
【０１８２】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１８３】
本明細書で説明する技術の態様によれば、コードを記録した非一時的コンピュータ可読記憶媒体であって、コードが、少なくとも１つのコンピュータによって実行されるとき、少なくとも１つのコンピュータに、筋骨格表現を生成するために使用される推論モデルをトレーニングするための方法を実行させる、非一時的コンピュータ可読記憶媒体が提供される。この方法は、ユーザによって着用される１つまたは複数の着用可能デバイス上に配置された複数の神経筋センサーによって感知および記録される、ユーザの複数の神経筋信号を受信することと、複数の神経筋信号が感知され記録される間に、少なくとも１つのカメラによってキャプチャされた少なくとも１つの画像を受信することと、少なくとも１つの画像から取得された情報に基づいて、ユーザの２つ以上の接続された筋骨格セグメント間の空間的関係を記述する位置情報を判定することと、複数の神経筋信号に基づいて力情報を判定することと、位置情報を力情報に関連付けることと、更新された推論モデルを生み出すために、推論モデルに提供された神経筋入力信号が少なくとも１つの所定の特性を有するとき、位置情報、または力情報、または位置情報および力情報に一致する筋骨格表現を出力するように推論モデルをトレーニングすることと、更新された推論モデルをメモリ内に記憶させることとを含み得る。
【０１８４】
一態様では、この方法は、少なくとも１つの画像から取得された情報および複数の神経筋信号から取得された情報に基づいて、位置情報を判定することをさらに含み得る。
【０１８５】
一態様では、少なくとも１つの画像は、ビデオを形成する一連の時系列画像を備え得る。
【０１８６】
一態様では、筋骨格表現は、ユーザの手の状態、ユーザの静止姿勢、およびユーザの動的ジェスチャのうちのいずれか１つまたは任意の組み合わせに対応し得る。
【０１８７】
一態様では、少なくとも１つの画像は、可視光によって生み出された画像、赤外光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせを含み得る。
【０１８８】
一態様では、この方法は、複数の神経筋信号の第１の品質、または少なくとも１つの画像の第２の品質、または第１の品質および第２の品質の両方を判定することと、推論モデルをトレーニングするために、第１の品質および第２の品質のうちの一方または両方に基づいて、複数の神経筋信号、または少なくとも１つの画像、または複数の神経筋信号および少なくとも１つの画像の両方に加重することとをさらに含み得る。
【０１８９】
本態様の変形形態では、複数の神経筋信号の第１の品質は、複数の神経筋信号のうちの少なくとも１つが少なくとも１つの信号アーチファクトを含むかどうかを判定することによって判定され得る。
【０１９０】
本態様の別の変形形態では、少なくとも１つの画像の第２の品質は、ユーザの手が少なくとも１つのカメラの視野内に完全に含まれているかどうか、または手が少なくとも１つのカメラの視野から完全に遮蔽されているかどうか、またはユーザの手の少なくとも一部分が少なくとも１つのカメラの視野から遮蔽されているかどうかを判定することによって判定され得る。
【０１９１】
本態様の別の変形形態では、この方法は、第２の品質がしきい値よりも高いとの判定に応じて、第１の品質を判定することをさらに含み得る。
【０１９２】
一態様では、少なくとも１つの所定の特性は、神経筋入力信号の１つのアーチファクトの存在、神経筋入力信号の複数のアーチファクトの存在、神経筋入力信号の複数のアーチファクトの相対的位置、神経筋入力信号の振幅範囲、および神経筋入力信号のアーチファクトの周期周波数のうちのいずれか１つまたは任意の組み合わせを備え得る。
【０１９３】
一態様では、この方法は、少なくとも１つの慣性計測装置（ＩＭＵ）センサーから出力されたＩＭＵ信号を受信することと、少なくとも１つのＩＭＵセンサーから出力されたＩＭＵ信号に少なくとも部分的に基づいて、位置情報を判定することとをさらに含み得る。
【０１９４】
一態様では、１つまたは複数の着用可能デバイスは、その上に含まれた少なくとも１つの位置マーカーを含み得る。位置情報は、少なくとも１つの画像内でキャプチャされた少なくとも１つの位置マーカーに少なくとも部分的に基づいて判定され得る。
【０１９５】
前述の概念および以下でより詳細に論じる追加の概念のすべての組み合わせは（そのような概念が相矛盾しないことを条件に）本明細書で開示する発明性のある主題の部分であると企図されることを諒解されたい。具体的には、本開示の最後に出現する、特許請求される主題のすべての組み合わせは、本明細書で開示する発明性のある主題の部分であることが企図される。
【０１９６】
本技術の様々な非限定的な実施形態は、以下の図面を参照しながら説明される。これらの図面は必ずしも一定の尺度で示されているとは限らないことを諒解されたい。
【図面の簡単な説明】
【０１９７】
【図１】本明細書で説明する技術のいくつかの実施形態による、神経筋センサーから取得された信号など、センサーデータを処理するためのコンピュータベースシステムの概略図である。
【図２】本明細書で説明する技術のいくつかの実施形態による、拡張現実（ＡＲ）システムを神経筋活動システムと統合する分散型コンピュータベースシステムの概略図である。
【図３】本明細書で説明する技術のいくつかの実施形態による、神経筋信号およびカメラデータを処理するためのプロセスのフローチャートである。
【図４】本明細書で説明する技術のいくつかの実施形態による、ＸＲシステム内でジェスチャ情報を処理するためのプロセスのフローチャートである。
【図５】本明細書で説明する技術のいくつかの実施形態による、神経筋信号とカメラデータとを統合し、フィードバックをユーザに提供するためのプロセスのフローチャートである。
【図６】本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセスのフローチャートである。
【図７】本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセスのフローチャートである。
【図８】本明細書で説明する技術のいくつかの実施形態による、位置情報および力情報を判定するためのプロセスのフローチャートである。
【図９】本明細書で説明する技術のいくつかの実施形態による、入力信号の品質を判定し、それらの品質に基づいてモデル関数を実行するためのプロセスのフローチャートである。
【図１０】本明細書で説明する技術のいくつかの実施形態による、ＥＭＧセンサーおよびカメラを使用する、１つの例示的な実装形態を示す図である。
【図１１】本明細書で説明する技術のいくつかの実施形態による、代表的な入力および出力を備えた、トレーニングされた推論モデルを示す図である。
【図１２】本明細書で説明する技術のいくつかの実施形態による、周辺にＥＭＧセンサーを配置したリストバンドを示す図である。
【図１３Ａ】本明細書で説明する技術のいくつかの実施形態による、ユーザの前腕または手首の周りに着用されるように構成されたバンドの周り周辺に配置された１６個のＥＭＧセンサーを備えた着用可能システムを示す図である。
【図１３Ｂ】図１３Ａに示した１６個のＥＭＧセンサーのうちの１つを通した断面図である。
【図１４Ａ−Ｂ】本明細書で説明する技術のいくつかの実施形態が実装されるコンピュータベースシステムの構成要素を概略的に示す図であり、図１４Ａは、コンピュータベースシステムの着用可能部分を示し、図１４Ｂは、着用可能部分と通信するように構成された、コンピュータに接続されたドングル部分を示す。
【発明を実施するための形態】
【０１９８】
いくつかの実施形態は、神経筋センサーを介して神経筋信号を感知するシステムを、拡大現実（ＸＲ）機能を実行するシステムに結合させることに関する。諒解されるように、ＸＲ機能は、拡張現実（ＡＲ）機能、仮想現実（ＶＲ）機能、複合現実（ＭＲ）機能、などを含み得る。具体的には、身体部分（たとえば、手、腕、など）の位置を判定するために神経筋信号を感知するシステムは、改善されたＸＲ体験をユーザに提供するためにＸＲシステムと併せて使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なＸＲ体験を改善するために使用され得る。身体部分に関連する筋骨格表現がセンサーデータに基づいて生成される実施形態では、ＸＲシステム内のカメラは、筋骨格表現のモデルの精度を改善するために使用される、および／またはモデルを較正するために使用され得るデータをキャプチャし得る。さらに、別の実装形態では、センサーデータは、ＸＲ環境内でユーザに対して可視化され表示され得る筋肉活性化情報を提供し得る。さらに別の実装形態では、ＸＲ環境内の表示情報は、ユーザがシステムに対するそのユーザの筋骨格入力（たとえば、動き入力）をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号が、ＸＲシステム自体の動作を含めて、ＸＲシステム要素を制御することを可能にする制御特徴が提供され得る。
【０１９９】
本発明者らは、カメラまたは神経筋センサーのいずれも、それ自体、理想的な入力システムではないことを認識している。ＸＲシステムによって提供されるカメラなどのカメラは、関節セグメントが明らかに視野内にあるとき、（他の骨格セグメントと外部オブジェクトの両方に対して）良好な位置情報を提供し得るが、視野の制約および遮蔽により限定される可能性があり、力の測定には不適切であり得る。同時に、神経筋センサー（たとえば、筋電図（ＥＭＧ）信号、または本明細書で説明するような神経筋信号の別のモダリティ）による信号の測定は、それ自体では、ユーザが自らにかけている力とユーザが外部オブジェクトにかけている力との間を区別するには不十分である可能性があり、そのような信号は、骨格形状、たとえば、指の長さに関して十分正確な情報を提供し得ない。いくつかの実施形態によれば、より正確かつより現実的なユーザ体験を提供するために、ＸＲシステムおよび神経筋センサーベースのシステムの精度を高めることは有益であることを諒解されたい。
【０２００】
諒解されるように、推論モデルは、ユーザのタイプ（たとえば、典型的な成人男性、典型的な子ども、典型的な成人女性）に対する一般化された骨格形状に関連し得るか、または特定のユーザ（たとえば、Ｊａｎｅ  Ｍｉｌｌｅｒ、Ｈｅｎｒｙ  Ｓｍｉｔｈ）に対するユーザ固有の骨格情報に関連し得る。
【０２０１】
いくつかの実施形態によれば、システムは、神経筋信号、および動きおよび力発生に対する神経筋信号の関係の解釈を改善するためにカメラ情報を使用するように構成される。たとえば、ユーザの身体のセグメントの位置、ユーザの身体の動き、および／またはユーザの身体のセグメントによってもたらされる力の表現をより正確に表すために、神経筋信号に関連して、インサイドアウトカメラ（ｉｎｓｉｄｅ−ｏｕｔ  ｃａｍｅｒａ）および／またはＸＲシステムに関連する他のカメラシステムが使用され得る。たとえば、画像、ビデオ、画像の時系列、など、カメラ情報が、神経筋信号からのデータに対してグラウンドトゥルースラベルを提供することによって神経筋系を較正するために使用され得る。一実装形態では、システムは、ＸＲディスプレイまたは他のスクリーン（スマートフォン、スマートウォッチ、タブレットコンピュータ、ラップトップ、デスクトップコンピュータ、ＡＲディスプレイ、ＶＲディスプレイ、などを含み得る）を通してユーザに提供されるプロンプト（たとえば、手のジェスチャ、視覚的または可聴的に提供される言語情報（たとえば、語（たとえば、「拳」）または句（たとえば、「親指を立てるジェスチャをする」））を使用して較正動作を実行することができ、ここで、ユーザは、整合がいつ生じるかを検出する際に、随意に、カメラの助けを得て、自らの手の姿勢をＸＲディスプレイ上に投影された手の姿勢と整合させるように求められる。さらに、カメラデータを使用して骨格形状の形状モデルを較正するなど、神経筋系を較正するために、他のタイプのカメラデータが使用され得る。たとえば、形状モデルの指の長さは、カメラデータを使用して検証および／または補正され得る。別の例では、ユーザの身体の２つ以上の部分が接触している（たとえば、親指の先と人差し指の先が「摘まむ」姿勢で接触している）と判定するためにカメラ情報が使用され得る。そのような場合、ユーザの身体の１つまたは複数の部分（すなわち、手、指、および／または手首）を自動的に識別し、ユーザの身体のそれらの部分の相対的位置を判定するために画像が処理され得る。たとえば、処理されたカメラ情報は、四元数、またはユーザの身体の一部分のセグメントおよび関節を表すための別の数学的枠組みに変換され得る。
【０２０２】
いくつかの実施形態では、神経筋信号、カメラデータ、または両方が、筋骨格表現またはジェスチャのリアルタイム判定を提供するために使用され得る。たとえば、神経筋（たとえば、ＥＭＧ）情報およびＩＭＵ情報はより正確な筋骨格表現を判定するために使用され得るため、さらにいっそう正確かつ一致した表現を作成するために、カメラデータなど、他のデータが使用され得る。さらに、リアルタイム筋骨格表現を判定するために、数あるセンサーデータの中でも、１つまたは複数のカメラからの信号、１つまたは複数のデバイスからの神経筋信号を含むが、これらに限定されない、複数の信号が使用され得ることを諒解されたい。ＩＭＵデータおよび／またはカメラデータなど、他のデータが、筋骨格表現に対する推論モデルをトレーニングし改善するために、ならびに骨格位置のリアルタイム表現を改善するために使用され得る。諒解されるように、推論モデルは、結果を推論するために確率分布に基づいて統計的推計を利用するモデルであり得、この点で、推論モデルは、統計モデルを備え得る。
【０２０３】
本明細書で使用される「ジェスチャ」という用語は、１つまたは複数の身体部分の位置を含む、１つまたは複数の身体部分およびその構成に関連する力の統計的または動的な構成を指す。たとえば、ジェスチャは、手のひらを固体面の上に置くかもしくは押し付ける、またはボールを把持するなど、離散的ジェスチャ、指を前後に振る、ボールを把持して投げるなど、連続ジェスチャ、または離散的ジェスチャと連続ジェスチャの組み合わせを含む。ジェスチャは、対立筋を共収縮することまたは筋肉下（ｓｕｂ−ｍｕｓｃｕｌａｒ）活性化を使用することによって、関節を若干緊張させるなど、別の人物には知覚できない、内密の（ｃｏｖｅｒｔ）ジェスチャを含み得る。ジェスチャは、ジェスチャを実行するようにユーザを促すように構成されたアプリケーションによって定義され得るか、または代替として、ジェスチャは、ユーザによって任意に定義され得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ（たとえば、他のジェスチャ、対話、またはコマンドへのマッピングを指定するジェスチャ語彙に基づいて、たとえば、他のジェスチャ、対話、またはコマンドにマッピングされたジェスチャ）を含み得る。場合によっては、手および腕のジェスチャは、象徴的であり得、文化的基準に従って通信するために使用され得る。
【０２０４】
いくつかの実施形態では、システムは、神経筋信号とカメラデータ（たとえば、カメラからのカメラ信号または画像信号）を組み合わせて、ユーザの身体のセグメント（すなわち、骨格セグメント）の位置を推論または再構築し得る。システムは、その信号の品質に基づいて、各信号に与えられた影響レベルを調整するように適合され得る。カメラ信号（たとえば、カメラからの画像信号）の場合、信号を信頼できないないものまたは不正確にさせる視野制限または遮蔽制限が存在し得る。ＥＭＧセンサーからの信号など、神経筋信号の場合、ＥＭＧ信号を信頼できないものにする、生み出されたＥＭＧアーチファクトが存在し得る（または、以下で説明するように、他のアーチファクトが神経筋信号の代替モダリティから導出された神経筋信号内に存在する）。そのような場合、システムは、（たとえば、手の状態またはジェスチャを判定するために）信号のうちのいずれかが使用されるべきか、または両方が使用されるべきかを判定するために、信号の各々の品質レベルを査定するように構成され得る。システムは、異なるタイプの信号源（たとえば、異なるセンサータイプ）の間で信号が使用される程度を調整するために、加重方法または別の組み合わせ方法を使用することもできる。また、特定の信号源に対する信頼性が高いとき、別のソースまたはモデルをトレーニングおよび／または補正するために、そのソースからの信号が使用され得る。たとえば、手がカメラの明瞭な視野内にある場合、神経筋信号の品質が評価され得、手の状態モデルの再トレーニングが実行され得る。
【０２０５】
いくつかの実施形態では、システムは、神経筋信号に基づいて筋骨格表現を生成するための第１の推論モデル、およびカメラ入力（すなわち、カメラから取得された入力）に基づいて筋骨格表現を生成するため第２の推論モデルを含み得る。システムは、ユーザの手のすべてまたは一部分がカメラの視野内にあるかどうかなど、カメラ入力に関連する情報に少なくとも部分的に基づいて、ユーザの手の状態を表すために、第１の推論モデルの使用と第２の推論モデルの使用との間を遷移するように構成され得る。たとえば、ユーザの手（または、ユーザの身体の別の部分）がカメラの視野の中にあるとき、ユーザの手のセグメントの位置を判定するために、第２の推論モデルが使用されてよく、ユーザの手が完全にまたは部分的にカメラの視野の外にあるとき（ユーザの身体が完全にまたは部分的に遮蔽されている場合を含めて）、手の状態を表すユーザの手のセグメントの部分を判定するために、第１の推論モデルが使用されてよい。代替実装形態として、神経筋信号およびカメラ入力の両方を受信する単一の推論モデルが使用されてよく、上記で説明したように、入力の寄与が加重され得る。ユーザの手がカメラの視野の外にある場合、ユーザの手がカメラの視野の外にあるとき、位置情報を推定するためのカメラ入力の信頼の欠如を反映するために、カメラ入力加重は、ゼロまたは何らかの他の小さな値に設定され得る。
【０２０６】
いくつかの実施形態では、１つまたは複数のカメラからのデータは、腕、手、前腕、またはユーザの身体の別の部分の位置を判定するために使用され得る。また、カメラデータは、前腕の方向を測定するためにＩＭＵ情報を使用し、手および手首の構成および力を判定するために神経筋信号を使用して、前腕位置のＩＭＵベースの推定におけるズレの除去に努めるために使用され得る。この実施形態では、特に、ＩＭＵベースのシステムを精錬して、多関節剛体（ａｒｔｉｃｕｌａｔｅｄ  ｒｉｇｉｄ  ｂｏｄｉｅｓ）の１つまたは複数の位置を追跡するためにカメラが使用されるとき、神経筋センサーの帯域（たとえば、ＥＭＧセンサーの帯域）に対する位置追跡基準マークが使用され得る。諒解されるように、単一のカメラからのデータが使用されてよく、または２つ以上のカメラからのデータが使用されてもよい。
【０２０７】
いくつかの実施形態によれば、カメラデータは、オブジェクト（たとえば、手、指、または別の物理的オブジェクト）が力を受けているかどうかを判定するために使用され得る。たとえば、カメラデータは、誰かが自由に移動しているかまたはオブジェクトおよび／または面（ユーザの身体の別の部分を含み得る）に押し付けているかを区別し、どのオブジェクトおよび／または面が対話の対象であるか、面および／またはオブジェクト上のどの位置が接触されているかを判定するために使用可能であり、骨格構成、位置、および／または力を推定するのに役立ち得る。カメラデータは力がかけられているかどうかを判定するために使用され得るが、カメラデータは、かけられている力の大きさを判定するためには特に適していないことを諒解されたい。このために、他の入力信号（たとえば、神経筋信号）が、かけられた力の量を判定するために使用されてよく、骨格構成および／または位置を判定するのに役立ち得る。
【０２０８】
ＸＲユーザがそのユーザの自らの身体に自己力をかけている（たとえば、ユーザが自らの腕を摘まんでいる）とき、カメラは、骨格構成および／または位置（たとえば、腕に接触する際にどの関節セグメントが関連するか）を判定するのに役立つことができ、神経筋センサーは、力の強度を判定するために使用され得る。このようにして、腕の位置および／または手の位置ならびに力のより正確な表現が構築され得る。さらに、カメラによって判定される物理的状況は、たとえば、ユーザが特定の環境で一定の動きを実行する可能性が高い場合、神経筋信号からの筋骨格表現を推定するための前例（ｐｒｉｏｒｓ）を知らせることができることをより一般に諒解されよう。
【０２０９】
いくつかの実施形態は、関節が剛体系の複数のセグメントを接続する、マルチセグメント多関節剛体系として表現され得る、ユーザの腕および／または手の部分の位置および動きに関する情報を予測することに関する。たとえば、手の動きの場合、ユーザの身体（たとえば、ユーザの腕および／または手首）上のロケーションに配置された着用可能な神経筋センサーによって感知され記録された信号は、ユーザが１つまたは複数の手の動きを実行するとき、位置（たとえば、絶対的位置、相対的位置、方向）および手に関連するコンピュータベースの筋骨格表現内の複数の剛体セグメントに関連する力の推定を予測するためにトレーニングされる推論モデルに対する入力として提供され得る。手に関連する筋骨格表現のセグメントに関連する位置情報および力情報の組み合わせは、本明細書において、口語で筋骨格表現の「手の状態」と呼ばれる。ユーザが異なる動きを実行するにつれて、トレーニングされた推論モデルは、着用可能な神経筋センサーによって記録された神経筋信号を、筋骨格表現を更新するために使用される位置および力の推定（手の状態情報）に解釈する。神経筋信号は、連続的に感知され記録されるため、筋骨格表現は、リアルタイムで更新され、現在の手の状態推定に基づいて（たとえば、拡大現実環境内で）手の視覚表現がレンダリングされ得る。諒解されるように、ユーザの手の状態の推定は、ユーザによって実行されているジェスチャを判定するために、かつ／またはユーザが実行することになるジェスチャを予測するために、使用され得る。
【０２１０】
いくつかの実施形態によれば、筋骨格表現（たとえば、手のレンダリング）は、生体模倣（現実的な）手、人工的（ロボットの）手の実際の視覚表現、ならびに（たとえば、他のアプリケーション、システム、などに対する）ジェスチャ制御のための入力としての役割を果たす抽象的な「内部表現」を含み得る。すなわち、手の位置および／または力は、ダウンストリームアルゴリズム（たとえば、ＸＲシステム内の制御アルゴリズム）に提供され得るが、直接的にレンダリングされ得ない。いくつかの実施形態では、カメラデータは、実際の視覚表現を作成する（たとえば、カメラデータに基づいて、ユーザの手のＸＲバージョンを改善する）際に役立つように使用され得る。
【０２１１】
いくつかの実施形態によれば、ＥＭＧの状況で受信される情報（たとえば、力）は、コンピュータシステム（たとえば、ＸＲシステム）のモードを制御するために使用され得る。たとえば、（たとえば、指または手によってかけられるような、しきい値量を超える）力の検出は、たとえば、対話支援インターフェースを開くため、グローバルシステムプロパティメニューを開くため、またはモデル切替え機能を実行するためなど、ＸＲシステムを制御するために使用され得る。システムは、位置関連、力関連、またはジェスチャ関連のイベントによりウェイクするか、またはユーザがシステムにそのイベントで従事していることに応じる（たとえば、ユーザが拳を握り締めることは、結果として、ウェイク信号をＸＲシステムに送らせる）ため、そのようなデュアルモード入力は、たとえば、「ウェイク」信号をＸＲシステムまたは重い計算コスト（たとえば、高い電力使用）を有する他のタイプのシステムに提出することをやはり含み得る。別の実装形態では、神経筋信号の任意の数の組み合わせが、コンピュータシステムを制御するためにカメラデータとともに使用され得る。たとえば、ユーザがＸＲ環境内でオブジェクトを選択しているシナリオにおいて、カメラデータは、ユーザの姿勢を判定するために使用され得、ＥＭＧ信号は、（たとえば、ＥＭＧ信号を通じてかけられた力を検出することによって）オブジェクトが活動のために選択されていることをＸＲシステムに知らせるために使用され得る。異なるタイプの入力データを使用した制御モードの任意の組み合わせが実行され得ることを諒解されたい。
【０２１２】
いくつかの実施形態は、神経筋信号を感知するシステムを、ＸＲ機能（たとえば、ＡＲ機能、ＶＲ機能、など）を実行するシステムに結合させることに関する。具体的には、身体部分（たとえば、手、腕、など）の位置を判定するために神経筋信号を感知するシステムは、改善されたＸＲ体験をユーザに提供するためにＸＲシステムとともに使用され得る。たとえば、両方のシステム内で得られた情報は、全体的なＸＲ体験を改善するために使用され得る。一例では、ＡＲシステム内のカメラは、筋骨格表現のモデルの精度を改善するため、モデルを較正するため、および／またはカメラ信号と神経筋信号の任意の組み合わせを使用してシステムを制御するために使用されるデータをキャプチャし得る。さらに、別の実装形態では、筋肉活性化データは、ＸＲ環境内でユーザに対して視覚化され表示され得る。さらに別の例では、ＸＲ環境内の表示情報は、ユーザがシステムに対するその筋骨格入力をより正確に制御することを可能にするためのユーザに対するフィードバックとして使用され得る。さらに、神経筋信号がＸＲシステム要素を制御することを可能にするための制御特徴が提供され得る。
【０２１３】
上記で論じたように、本技術のいくつかの実施形態によれば、システムは、神経筋信号、および動き、位置、および力生成に対するその関係の解釈を改善するためにカメラ情報を使用するように構成される。諒解されるように、カメラ情報は、たとえば、カメラによってキャプチャされた少なくとも１つの画像に対応する画像信号であり得、したがって、本明細書で使用される、カメラからの画像は、カメラからの画像信号を指すと理解され得る。カメラは、ユーザの画像をキャプチャまたは記録することが可能な、静止カメラ、ビデオカメラ、赤外線カメラ、などであってよい。カメラが光の特定の波長範囲内でのみ画像をキャプチャし得るように、１つまたは複数のフィルタがカメラ上で使用され得る。諒解されるように、画像は、信号としてキャプチャされ記録され得る、静止画像、一連の静止画像（または、画像シーケンス）、動画像（または、ビデオシーケンス）、などであってよい。「カメラ情報」、「カメラデータ」、および「カメラ信号」という用語は、本明細書において、カメラによってキャプチャされ得るユーザに関する情報を表すために使用され得る。様々な実施形態は、「ある（ａ）」カメラまたは「その（ｔｈｅ）」カメラを指すことがあるが、そのような実施形態は、１つのカメラの代わりに２つ以上のカメラを利用し得ることを理解されたい。さらに、カメラ情報は、可視光によって生み出された画像、無可視（たとえば、赤外線）光によって生み出された画像、所定の波長範囲の光によって生み出された画像、および２つ以上の異なる所定の波長範囲の光によって生み出された画像のうちのいずれか１つまたは任意の組み合わせに関係することがある。たとえば、無可視光は、ユーザ内の血流の指示を提供し得、ユーザの状態を推論するために使用され得る、ユーザの身体内の熱分布を示す画像をキャプチャするために使用され得る（たとえば、ユーザの指によってもたらされる力は、力をもたらしていない指とは異なる血流パターンを有し得る）。
【０２１４】
カメラは、ユーザの上に（たとえば、ユーザによって着用された頭部装着型ディスプレイ上に、またはユーザの手の上に着用された手袋の上に）装着されてよく、またはユーザおよび／またはユーザの環境をキャプチャするためにユーザの外部に装着されてもよい。カメラがユーザの上に装着されるとき、カメラは、ユーザの環境および／またはユーザの身体の部分をキャプチャするために使用され得る（たとえば、手に装着されたカメラは、ユーザの他の手の画像をキャプチャするために使用され得る）。
【０２１５】
ユーザの身体上のロケーションに配置された着用可能センサーによって感知され記録された信号は、人体のマルチセグメント多関節剛体モデルの剛体セグメントに関する空間情報を生成するようにトレーニングされた推論モデルに対する入力として提供され得る。空間情報は、たとえば、１つまたは複数のセグメントの位置情報、１つまたは複数のセグメントの方向情報、セグメント間の関節角度、などを含み得る。トレーニングの結果として、推論モデルは、定義された動き制約下の多関節剛体の推論される動きを暗示的に表し得る。トレーニングされた推論モデルは、ユーザが物理的オブジェクトまたは仮想オブジェクトと対話する仮想環境内でユーザの身体の表現をレンダリングする、および、たとえば、ユーザが所望の方法で身体活動を実行してるかどうかを査定するために、ユーザが身体活動を実行するにつれて、ユーザの動きを監視する、などの適用例に使用可能なデータを出力し得る。諒解されるように、トレーニングされた推論モデルからの出力データは、本明細書で具体的に識別される適用例以外の適用例に対して使用され得る。
【０２１６】
たとえば、ユーザの上に（たとえば、ユーザの手首または腕の上に）位置する単一の動きセンサーによって取得された動きデータは、入力データとしてトレーニングされた推論モデルに提供され得る。トレーニングされた推論モデルによって生成される、対応する出力データは、ユーザに対するマルチセグメント多関節剛体モデルの１つまたは複数のセグメントに関する空間情報を判定するために使用され得る。たとえば、出力データは、マルチセグメント多関節剛体モデル内の１つまたは複数のセグメントの位置および／または方向を判定するために使用され得る。別の例では、出力データは、マルチセグメント多関節剛体モデル内の接続されたセグメント間の角度を判定するために使用され得る。
【０２１７】
以下で論じるように、入力データをトレーニングされた推論モデルに提供するために、異なるタイプのセンサーが使用され得る。
【０２１８】
本明細書で説明するように、いくつかの実施形態では、様々な筋肉活性化状態は、記録されたセンサーデータから直接識別され得る。他の実施形態では、手の状態、ジェスチャ、姿勢、など（筋肉活性化状態と総称される）は、トレーニングされた推論モデルの出力に少なくとも部分的に基づいて識別され得る。いくつかの実施形態では、トレーニングされた推論モデルは、コンピュータ生成された筋骨格モデルのセグメントに対する運動単位、もしくは筋肉活性化および／または位置、方向、および／または力の推定を出力し得る。一例では、関節が異なるセグメント間のインターフェースを形成し、関節角度がモデル内の接続されたセグメント間の空間的関係を定義して、ヒト筋骨格系のすべてまたは部分がマルチセグメント多関節剛体系としてモデル形成され得る。
【０２１９】
関節における動きに対する制約は、関節における動きの範囲を制限し得る、セグメントおよび生物学的構造（たとえば、筋肉、腱、靱帯）を接続するタイプの関節によって規定される。たとえば、上腕をヒト被験者の身体の胴体に接続する肩関節、および上腿を胴体と接続する股関節は、伸長および屈曲の動き、ならびに回転運動を可能にする球関節および臼状関節である。対照的に、上腕および前腕（ｌｏｗｅｒ  ａｒｍ）（または、前腕（ｆｏｒｅａｒｍ））を接続する肘関節、および上腿および下腿またはヒト被験者を接続する膝関節は、より限定された範囲の動きができるようにする。この例では、マルチセグメント多関節剛体系は、ヒト筋骨格系の部分をモデル形成するために使用され得る。しかしながら、ヒト筋骨格系のいくつかのセグメント（たとえば、前腕）は多関節剛体系における剛体として近似し得るが、そのようなセグメントは、各々、剛体モデルによって明確に考慮されないセグメント内のより複雑な動きを可能にする複数の剛体構造を含み得る（たとえば、前腕は、尺骨および橈骨を含み得る）ことを諒解されたい。したがって、本明細書で説明する技術のいくつかの実施形態とともに使用するための多関節剛体系のモデルは、厳密には剛体ではない身体部分の組み合わせを表すセグメントを含んでよい。マルチセグメント多関節剛体系以外の物理的モデルは、本開示の範囲から逸脱せずに、ヒト筋骨格系の部分をモデル形成するために使用され得ることを諒解されよう。
【０２２０】
上記の例を続けると、運動学において、剛体は、動きの様々な属性（たとえば、位置、方向、角速度、加速）を示すオブジェクトである。剛体の１つのセグメントの動き属性を知ることは、剛体の他のセグメントに対する動き属性が、それらのセグメントがどのように接続されるかに対する制約に基づいて判定されることを可能にする。たとえば、手は、手首および各指の中の関節がモデル内で複数のセグメント間のインターフェースを形成する、マルチセグメント多関節体としてモデル形成され得る。いくつかの実施形態では、剛体モデル内のセグメントの動きは、以下でより詳細に説明するように、モデル内の他のセグメントに対するセグメントの位置（たとえば、実際の位置、相対的位置、または方向）情報がトレーニングされた推論モデルを使用して予測される、多関節剛体系としてシミュレートされ得る。
【０２２１】
１つの非限定的な例として本明細書で説明するような、筋骨格表現によって近似される人体の部分は、手、または手と１つまたは複数の腕セグメントの組み合わせである。筋骨格表現において、セグメント間の位置関係、個々のセグメントまたはセグメントの組み合わせに対する力関係、およびセグメント間の筋肉および運動単位の活性化関係の現在の状態を記述するために使用される情報は、本明細書において、筋骨格表現の手の状態と呼ばれる。しかしながら、本明細書で説明する技法は、腕、脚、足、胴体、首、または前述の任意の組み合わせを含むが、これらに限定されない、手以外の身体の部分の筋骨格表現にも適用可能であることを諒解されたい。
【０２２２】
空間（たとえば、位置および／または方向）情報に加えて、いくつかの実施形態は、筋骨格表現の１つまたは複数のセグメントに関連する力情報の予測を可能にする。たとえば、１つまたは複数のセグメントによってもたらされる直線力または回転（トルク）力が推定され得る。直線力の例は、テーブルなどの固体オブジェクトに対して指または手を押し付ける力、および２つのセグメント（たとえば、２本の指）が共に摘まんでいるときにもたらされる力、を含むが、これらに限定されない。回転力の例は、手首または指などのセグメントが別のセグメントに対してねじられているかまたは曲げられているときに起こされる回転力を含むが、これに限定されない。いくつかの実施形態では、現在の手の状態推定の一部分として判定される力情報は、摘まむ力情報、把持力情報、および筋骨格表現によって表される筋肉間の共収縮力に関する情報のうちの１つまたは複数を含む。
【０２２３】
次に図面を参照すると、図１は、本明細書で説明する技術のいくつかの実施形態によるシステム１００、たとえば、神経筋活動システムを概略的に示す。システム１００は、人体の骨格筋内の神経筋活動から起こる信号を感知して記録するように構成された複数のセンサー１１０（たとえば、神経筋センサー）を含む。本明細で使用される「神経筋活動」という用語は、筋肉、筋肉活性化、筋収縮、または神経活性化、筋肉活性化、および筋収縮の任意の組み合わせを刺激する脊髄運動ニューロンの神経活性化を指す。神経筋センサーは、１つまたは複数の筋電図（ＥＭＧ）センサー、１つまたは複数の筋音図法（ＭＭＧ）センサー、１つまたは複数のソノミオグラフィ（ｓｏｎｏｍｙｏｇｒａｐｈｙ）（ＳＭＧ）センサー、２つ以上のタイプのＥＭＧセンサー、ＭＭＧセンサー、およびＳＭＧセンサーの組み合わせ、および／または神経筋信号を検出することができる任意の好適なタイプの１つまたは複数のセンサーを含み得る。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、そこから神経筋センサーによって筋肉活性化が感知される筋肉によって制御される人体の部分の動きに関する筋肉活動を感知するために使用され得る。空間情報（たとえば、位置および／または方向情報）および動きを記述する力情報は、ユーザが経時的に移動するにつれて感知された神経筋信号に基づいて予測され得る。
【０２２４】
運動タスクの実行中に筋肉の緊張が高まるにつれて、活性ニューロンの発火率が高まり、追加のニューロンが活発になることがあり、これは、運動単位漸増（ｒｅｃｒｕｉｔｍｅｎｔ）と呼ばれるプロセスである。予想される運動単位漸増パターンが標準または通常の動きに関連する活性多様体（ａｃｔｉｖｉｔｙ  ｍａｎｉｆｏｌｄ）を定義し得るように、ニューロンが活発になりその発火率を高めるパターンは類型的である。いくつかの実施形態は、単一の運動単位、または、運動単位活性化のパターンが予想されるまたは典型的な運動単位漸増パターンとは異なる「非多様体（ｏｆｆ−ｍａｎｉｆｏｌｄ）」である運動単位のグループの活性化を記録し得る。そのような非多様体活性化は、本明細書において、「筋肉下活性化」または「筋肉下構造の活性化」と呼ばれることがあり、この場合、筋肉下構造は、単一の運動単位、または非多様体活性化に関連する運動単位のグループを指す。非多様体運動単位漸増パターンの例は、通常、漸増順序で早期に活性化されることになる低しきい値運動単位を活性化せずに高しきい値運動単位を選択的に活性化すること、および、通常、典型的な運動単位漸増パターンにおいて共変調されることになる他のニューロンの活動を変調せずにかなりの範囲にわたって運動単位の発火率を変調すること、を含むが、これらに限定されない。いくつかの実施形態では、複数の神経筋センサーは、人体に対して配置され、観察可能な動きなしに、すなわち、容易に観察され得る人体の対応する動きなしに、筋肉下活性化を感知するために使用され得る。筋肉下活性化は、本明細書で説明する技術のいくつかの実施形態による拡張現実システムを制御するために少なくとも部分的に使用され得る。
【０２２５】
センサー１１０は、たとえば、加速度計、ジャイロスコープ、磁力計、または１つまたは複数の加速度計、ジャイロスコープ、および磁力計の任意の組み合わせを使用して、動きの物理的側面の組み合わせを測定する、１つまたは複数の慣性計測装置（ＩＭＵ）を含み得る。いくつかの実施形態では、ＩＭＵは、ＩＭＵが取り付けられた身体の部分の動きに関する情報を感知するために使用可能であり、感知されたデータから導出される情報（たとえば、位置および／または方向情報）は、ユーザが経時的に移動するにつれて追跡され得る。たとえば、１つまたは複数のＩＭＵは、ユーザが経時的に移動するにつれて、ＩＭＵに対するユーザの胴体の近位にあるユーザの身体の部分（たとえば、腕、脚）の動きを追跡するために使用され得る。
【０２２６】
少なくとも１つのＩＭＵおよび複数の神経筋センサーを含む実施形態では、ＩＭＵおよび神経筋センサーは、人体の異なる部分の動きを検出するように配置され得る。たとえば、ＩＭＵは、胴体の近位にある１つまたは複数の身体セグメントの動き（たとえば、上腕の動き）を検出するように配置されてよく、神経筋センサーは、胴体に対して遠位の１つまたは複数の身体セグメントの動き（たとえば、前腕（ｌｏｗｅｒ  ａｒｍ）（前腕（ｆｏｒｅａｒｍ））または手首の動き）を検出するように配置されてよい。（「前腕（ｌｏｗｅｒ  ａｒｍ）」および「前腕（ｆｏｒｅａｒｍ）」という用語は、本明細書で互換的に使用され得る。）しかしながら、センサー（すなわち、ＩＭＵおよび神経筋センサー）は、任意の好適な方法で配置されてよく、本明細書で説明する技術の実施形態は、特定のセンサー配置に基づいて限定されないことを諒解されたい。たとえば、いくつかの実施形態では、少なくとも１つのＩＭＵおよび複数の神経筋センサーは、異なるタイプの測定を使用して、身体セグメントの動きを追跡するために身体セグメント上の同一場所に配置され得る。以下でより詳細に説明する一実装形態では、ＩＭＵおよび複数のＥＭＧセンサーは、ユーザの前腕または手首の周りに着用されるように構築された着用可能デバイス上に配置される。そのような配置では、ＩＭＵは、たとえば、ユーザがその腕を上げたかまたは下げたかを判定するために、１つまたは複数の腕セグメントに関連する動き情報（たとえば、位置調整および／または方向）を経時的に追跡するように構成され得、ＥＭＧセンサーは、たとえば、ユーザが開いた手の構成を有するかまたは閉じた手の構成を有するかを判定するために手首および／または手のセグメントに関連する動き情報を判定するように、または手首および／または手の筋肉の筋肉下構造の活性化に関連する筋肉下情報を判定するように、構成され得る。
【０２２７】
センサー１１０のうちのいくつかまたはすべては、ユーザに関する情報を感知するように構成された、１つまたは複数の感知構成要素を含み得る。ＩＭＵの場合、ＩＭＵの感知構成要素は、その例が、身体の動きの間の身体の周りの加速、角速度、および磁場を含むが、これらに限定されない、身体の動きの特性および／または身体の動きに関する特性を測定または感知するための、１つまたは複数の加速度計、ジャイロスコープ、磁力計、またはそれらの任意の組み合わせを含み得る。神経筋センサーの場合、感知構成要素は、１つまたは複数の身体の面上の電位を検出する電極棒（たとえば、ＥＭＧセンサー用）、皮膚表面振動を測定する振動センサー（たとえば、ＭＭＧセンサー用）、筋肉活動から起こる超音波信号を測定する音響感知構成要素（たとえば、ＳＭＧセンサー用）を含み得るが、これらに限定されない。
【０２２８】
いくつかの実施形態では、複数のセンサー１１０のうちの少なくともいくつかは、ユーザの身体の一部分の上にまたはその部分の周りに着用されるように構築された着用可能デバイスの一部分として配置され得る。たとえば、１つの非限定的な例では、ＩＭＵおよび複数の神経筋センサーは、ユーザの手首または腕の周りに着用されるように構成された、リストバンドまたはアームバンドなどの、調整可能なかつ／またはゴムのバンド上に、周辺に配置され得る。代替として、センサー１１０のうちの少なくともいくつかは、ユーザの身体の一部分に貼り付けられるように構築された着用可能パッチ上に配置され得る。いくつかの実施形態では、筋肉下構造からの活性化に基づいて、かつ／または身体の複数の部分に関連する動きに基づいて、制御情報を生成するために、各々がその上に１つまたは複数のＩＭＵおよび／または神経筋センサーを含めた複数の着用可能デバイスが使用され得る。
【０２２９】
一実装形態では、センサー１１０は、ユーザの前腕の周りに（たとえば、ユーザの前腕を取り囲むように）着用されるように構築されたバンド（たとえば、ゴムバンド）の周り周辺に配置された１６個の神経筋センサーを含み得る。たとえば、図１２は、神経筋センサー１２０４（たとえば、ＥＭＧセンサー）がゴムバンド１２０２の周り周辺に配置された着用可能システムの一実施形態を示す。任意の好適な数の神経筋センサーが使用されてよく、使用される神経筋センサーの数および配置は、着用可能システムが使用される特定の適用例に依存し得ることを諒解されたい。たとえば、着用可能なアームバンドまたはリストバンドは、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、または任意の他の好適な制御タスクのための制御情報を生成するために使用され得る。いくつかの実施形態では、ゴムバンド１２０２は、上記で論じたように、動き情報を感知して記録するように構成された、１つまたは複数のＩＭＵ（図示せず）を含んでもよい。
【０２３０】
図１３Ａ〜図１３Ｂおよび図１４Ａ〜図４Ｂは、本技術の着用可能システムの他の実施形態を示す。具体的には、図１３Ａは、ユーザの前腕または手首の周りに着用されるように構築されたゴムバンド１３２０の周り周辺に配置された複数のセンサー１３１０を備えた着用可能システムを示す。センサー１３１０は、神経筋センサー（たとえば、ＥＭＧセンサー）であってよい。示すように、規則的な間隔でゴムバンド１３２０の周り周辺に配置された１６個のセンサー１３１０が存在し得る。任意の好適な数のセンサー１３１０が使用されてよく、間隔は規則的でなくてもよいことを諒解されたい。センサー１３１０の数および配置は、着用可能システムが使用される特定の適用例に依存し得る。たとえば、着用可能システムが、腿と比較して、手首の上に着用されるとき、センサー１３１０の数および配置は異なり得る。着用可能システム（たとえば、アームバンド、リストバンド、腿バンド、など）は、拡張現実システムを制御するため、ロボットを制御するため、車両を制御するため、テキストに目を通すため、仮想アバターを制御するため、および／または任意の他の好適な制御タスクを実行するための制御情報を生成するために使用され得る。
【０２３１】
いくつかの実施形態では、センサー１３１０は、神経筋センサー（たとえば、ＥＭＧセンサー）のセットのみを含み得る。他の実施形態では、センサー１３１０は、神経筋センサーのセット、および少なくとも１つの補助デバイスを含み得る。補助デバイスは、１つまたは複数の補助信号を連続的に感知して記録するように構成され得る。補助デバイスの例は、ＩＭＵ、マイクロフォン、撮像デバイス（たとえば、カメラ）、放射線発生デバイス（たとえば、レーザー走査デバイス）とともに使用するための放射線ベースのセンサー、心拍数モニタ、およびユーザの状態またはユーザの他の特性をキャプチャし得る他のタイプのデバイスを含むが、これらに限定されない。図１３Ａに示すように、センサー１３１０は、着用可能システム内に組み込まれたフレキシブルエレクトロニクス１３３０を使用して共に結合され得る。図１３Ｂは、図１３Ａに示した着用可能システムのセンサー１３１０のうちの１つを通した断面図を示す。
【０２３２】
いくつかの実施形態では、センサー１３１０の感知構成要素のうちの１つまたは複数の出力は（たとえば、増幅、フィルタリング、および／または整流を実行するために）ハードウェア信号処理回路を使用して随意に処理され得る。他の実施形態では、感知構成要素の出力の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、本明細書で説明する技術の態様はこの点で限定されないため、センサー１３１０によってサンプリングされる信号の信号処理は、ハードウェアによって、またはソフトウェアによって、またはハードウェアとソフトウェアの任意の好適な組み合わせによって、実行され得る。センサー１３１０から記録されたデータを処理するために使用される信号処理手順の非限定的な例について、図１４Ａおよび図１４Ｂに関して以下でより詳細に論じる。
【０２３３】
図１４Ａおよび図１４Ｂは、本明細書で説明する技術のいくつかの実施形態による、１６個のセンサー（たとえば、ＥＭＧセンサー）を備えた着用可能システムの内部構成要素を備えた概略図を示す。示すように、着用可能システムは、着用可能部分１４１０（図１４Ａ）およびドングル部分１４２０（図１４Ｂ）を含む。示されていないが、ドングル部分１４２０は、（たとえば、Ｂｌｕｅｔｏｏｔｈまたは別の好適な短距離ワイヤレス通信技術を介して）着用可能部分１４１０と通信している。図１４Ａに示すように、着用可能部分１４１０は、その例が図１３Ａおよび１３Ｂに関して上記で説明されたセンサー１３１０を含む。センサー１３１０は、記録された信号に対してアナログ処理（たとえば、雑音低減、フィルタリング、など）を実行するアナログフロントエンド１４３０に出力（たとえば、記録された信号）を提供する。アナログフロントエンド１４３０によって生み出された、処理されたアナログ信号は、次いで、処理されたアナログ信号を１つまたは複数のコンピュータプロセッサによって処理され得るデジタル信号に変換するアナログ・デジタル変換機１４３２に提供される。いくつかの実施形態に従って使用され得るコンピュータプロセッサの一例は、マイクロコントローラ（ＭＣＵ）１４３４である、図１４Ａに示すように、ＭＣＵ１４３４は、他のセンサー（たとえば、ＩＭＵ１４４０）から、かつ電力およびバッテリーモジュール１４４２から、入力を受信することもできる。諒解されるように、ＭＣＵ１４３４は、具体的に示されていない他のデバイスからデータを受信し得る。ＭＣＵ１４３４による処理出力は、図１４Ｂに示すように、ドングル部分１４２０への送信のためにアンテナ１４５０に提供され得る。
【０２３４】
ドングル部分１４２０は、着用可能部分１４１０のアンテナ１４５０と通信するアンテナ１４５２を含む。アンテナ１４５０と１４５２との間の通信は、その非限定的な例が、無線周波数シグナリングおよびＢｌｕｅｔｏｏｔｈを含む、任意の好適なワイヤレス技術およびプロトコルを使用して生じ得る。示すように、ドングル部分１４２０のアンテナ１４５２によって受信された信号は、さらなる処理のために、表示のために、かつ／または特定の物理的なまたは仮想の１つまたは複数のオブジェクトの制御を実施するために（たとえば、ＡＲ環境またはＶＲ環境内の制御動作を実行するために）ホストコンピュータに提供され得る。
【０２３５】
図１３Ａ、図１３Ｂ、図１４Ａ、および図１４Ｂを参照して提供される例についてＥＭＧセンサーとのインターフェースの状況で論じるが、本明細書で説明する着用可能システムは、筋音図法（ＭＭＧ）センサー、ソノミオグラフィ（ＳＭＧ）センサー、および電気インピーダンストモグラフィー（ＥＩＴ）センサーを含むが、これらに限定されない、他のタイプのセンサーを用いて実装されてもよいことを理解されたい。
【０２３６】
図１を参照すると、いくつかの実施形態では、以下でより詳細に説明するように、センサー１１０によって記録されるセンサーデータは、次いで、推論モデルに対する入力として提供され得る追加の導出された測定値を計算するために随意に処理され得る。たとえば、ＩＭＵからの記憶された信号は、経時的に剛体のセグメントの方向を指定する方向信号を導出するために処理され得る。センサー１１０が、センサー１１０の感知構成要素と統合された構成要素を使用して信号処理を実装することができるか、または信号処理のうちの少なくとも一部分が、センサー１１０の感知構成要素と通信しているが、その感知構成要素と直接統合されていない、１つまたは複数の構成要素によって実行され得る。
【０２３７】
システム１００は、センサー１１０と通信するようにプログラムされた、１つまたは複数のコンピュータプロセッサ１１２をやはり含む。たとえば、センサー１１０のうちの１つまたは複数によって記録された信号は、センサー１１０から出力され、センサー１１０によって出力された信号を処理するために１つまたは複数の機械学習アルゴリズムを実行するようにプログラムされ得るプロセッサ１１２に提供され得る。以下でより詳細に説明するように、アルゴリズムは、１つまたは複数の推論モデル１１４をトレーニングする（または、再トレーニングする）ために信号を処理することができ、生じた、トレーニングされた（または、再トレーニングされた）推論モデル１１４は、制御信号を生成し、ＸＲシステムを制御する際に後で使用するために記憶され得る。
【０２３８】
いくつかの実施形態では、推論モデル１１４は、ニューラルネットワークを含み得、たとえば、再帰型ニューラルネットワークであってよい。いくつかの実施形態では、再帰型ニューラルネットワークは、長短期メモリ（ＬＳＴＭ）ニューラルネットワークであってよい。しかしながら、再帰型ニューラルネットワークは、ＬＳＴＭニューラルネットワークであると限定されず、任意の他の好適なアーキテクチャを有し得ることを諒解されたい。たとえば、いくつかの実施形態では、再帰型ニューラルネットワークは、完全な再帰型ニューラルネットワーク、ゲート付き再帰型ニューラルネットワーク、回帰的ニューラルネットワーク、Ｈｏｐｆｉｅｌｄニューラルネットワーク、連想記憶ニューラルネットワーク、Ｅｌｍａｎニューラルネットワーク、Ｊｏｒｄａｎニューラルネットワーク、エコーステート（ｅｃｈｏ  ｓｔａｔｅ）ニューラルネットワーク、および二次再帰型ニューラルネットワーク、ならびに／または任意の他の好適なタイプの再帰型ニューラルネットワークのうちのいずれか１つまたは任意の組み合わせであってよい。他の実施形態では、再帰型ニューラルネットワークではないニューラルネットワークが使用されてよい。たとえば、ディープニューラルネットワーク、畳み込みニューラルネットワーク、および／またはフィードフォーワードニューラルネットワークが使用されてよい。
【０２３９】
いくつかの実施形態では、推論モデル１１４は、離散的出力を生み出すことができる。離散的出力（たとえば、離散的分類）は、たとえば、所望の出力が活性化の特定のパターン（個々のニューラルスパイキング（ｎｅｕｒａｌ  ｓｐｉｋｉｎｇ）イベントを含めて）が現在ユーザによって実行されているかどうかを知るためであるときに使用され得る。たとえば、推論モデル１１４は、ユーザが特定の運動単位を活性化しているか、特定のタイミングで特定の運動単位を活性化しているか、特定の発火パターンで特定の運動単位を活性化しているか、または運動単位の特定の組み合わせを活性化しているかを推定するようにトレーニングされ得る。より短い時間規模で、離散的分類は、いくつかの実施形態では、特定の運動単位が所与の時間量内で活動電位を発火したかどうかを推定するために使用され得る。そのようなシナリオでは、これらの推定は、次いで、その運動単位に対して推定される発火率を取得するために蓄積され得る。
【０２４０】
推論モデルが離散的出力を出力するように構成されたニューラルネットワークとして実装される実装形態では、ニューラルネットワークは、推論モデルの出力の合計が１になり、確率として解釈され得るように、ソフトマックス層である出力層を含み得る。たとえば、ソフトマックス層の出力は、各値が、ユーザが特定の制御活動を実行することを望む確率を示す、制御信号のそれぞれのセットに対応する値のセットであり得る。１つの非限定的な例として、ソフトマックス層の出力は、活動の検出されたパターンが３つの知られているパターンのうちの１つであるそれぞれの確率を示す３つの確率（たとえば、０．９２、０．０５、および０．０３）のセットであってよい。
【０２４１】
推論モデルが離散的出力（たとえば、離散信号）を出力するように構成されたニューラルネットワークであるとき、ニューラルネットワークは、合計が１になる出力を生み出すことを要求されないことを諒解されたい。たとえば、いくつかの実施形態の場合、ソフトマックス層の代わりに、ニューラルネットワークの出力層は、合計が１になる確率に出力を限定しない、シグモイド層であり得る。そのような実施形態では、ニューラルネットワークは、シグモイド交差エントロピーコストを用いてトレーニングされ得る。そのような実装形態は、複数の異なる制御活動がしきい値時間量内に生じる可能性があり、これらの制御活動が生じる順序を区別することが重要ではない（たとえば、ユーザは２つのパターンの神経活動をしきい値時間量内で活性化し得る）場合、有利であり得る。いくつかの実施形態では、本明細書で説明する技法の態様はこの点で限定されないため、任意の他の好適な非確率的マルチクラス分類器が使用され得る。
【０２４２】
いくつかの実施形態では、推論モデル１１４の出力は、離散信号ではなく、連続信号であり得る。たとえば、モデル１１４は、各運動単位の発火率の推定を出力し得るか、またはモデル１１４は、各運動単位または筋肉下構造に対応する時系列電気信号を出力し得る。
【０２４３】
いくつかの実施形態では、他のタイプの推論モデルが採用され得るため、本明細書で説明する技法の態様は、ニューラルネットワークを使用することに限定されないことを諒解されたい。たとえば、いくつかの実施形態では、推論モデル１１４は、隠れマルコフモデル（ＨＭＭ）、切替えが、異なる動的システム、動的ベイジアンネットワーク間でトグルすることを可能にする、切替えＨＭＭ、および／または時間成分を有する任意の他の好適なグラフィカルモデルを備え得る。任意のそのような推論モデルは、記録されたセンサー信号を使用してトレーニングされ得る。
【０２４４】
別の例として、いくつかの実施形態では、推論モデル１１４は、記録されたセンサー信号から導出された特徴を入力として利用する分類器であり得る。そのような実施形態では、分類器は、センサー信号から抽出された特徴を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、分類器は、たとえば、サポートベクトルマシン、混合ガウスモデル、回帰ベースの分類器、決定木分類器、ベース分類器、および／または任意の他の好適な分類器であってよい。分類器に提供されることになる入力特徴は、任意の好適な方法でセンサー信号から導出され得る。たとえば、センサー信号は、ウェーブレット解析技法（たとえば、連続ウェーブレット変換、離散型時間ウェーブレット変換、など）、フーリエ解析技法（たとえば、短期フーリエ変換、フーリエ変換、など）、および／または任意の他の好適なタイプの時間周波数解析技法を使用して、時系列データとして解析され得る。１つの非限定的な例として、センサー信号は、ウェーブレット変換を使用して変換されてよく、生じるウェーブレット係数は、分類器に対する入力として提供され得る。
【０２４５】
いくつかの実施形態では、推論モデル１１４のパラメータに関する値は、トレーニングデータから推定され得る。たとえば、推論モデル１１４がニューラルネットワークであるとき、ニューラルネットワークのパラメータ（たとえば、重み）がトレーニングデータから推定され得る。いくつかの実施形態では、推論モデル１１４のパラメータは、勾配降下技法、確率的勾配降下技法、および／または任意の他の好適な反復最適化技法を使用して推定され得る。推論モデル１１４が再帰型ニューラルネットワーク（たとえば、ＬＳＴＭ）である実施形態では、推論モデル１１４は、確率的勾配降下および通時的逆伝搬を使用してトレーニングされ得る。本明細書で説明する技法の態様はこの点で限定されないため、トレーニングは、二乗誤差損失関数または交差エントロピー損失関数および／または任意の他の好適な損失関数を採用し得る。
【０２４６】
システム１００は、１つまたは複数のコントローラ１１６を随意に含んでもよい。たとえば、コントローラ１１６は、視覚表現（たとえば、手の表現）を表示するように構成されたディスプレイコントローラを含み得る。以下でより詳細に論じるように、１つまたは複数のコンピュータプロセッサ１１２は、センサー１１０によって感知され記録された信号を入力として受信し、制御信号を生成し、拡張現実システムを制御するために使用され得る情報（たとえば、予測された手の状態情報）を出力として提供する、１つまたは複数のトレーニングされた推論モデルを実装し得る。
【０２４７】
システム１００は、ユーザインターフェース１１８を随意に含んでもよい。システム１００がユーザの意図する活性化をどのように解釈するかをユーザが理解することを促すために、センサー１１０によって記録され、プロセッサ１１２によって処理される信号に基づいて判定されるフィードバックがユーザインターフェース１１８を介して提供され得る。ユーザインターフェース１１８は、オーディオインターフェース、ビデオインターフェース、触覚インターフェース、および電気的刺激インターフェース、または前述の任意の組み合わせを含むが、これらに限定されない、任意の好適な方法で実装され得る。
【０２４８】
いくつかの実施形態では、仮想現実（ＶＲ）環境または拡張現実（ＡＲ）環境をシミュレートするコンピュータアプリケーションは、（たとえば、コントローラ１１６を介して）アバターなどの視覚的キャラクターを表示することによって視覚表現を提供するように命令され得る。仮想現実環境内の視覚的キャラクターの部分によってかけられた位置調整、動き、および／または力は、トレーニングされた推論モデル１１４の出力に基づいて表示され得る。視覚表現は、リアルタイムで更新されるキャラクターの動きのコンピュータ生成された視覚表現を提供するために、センサー１１０によって感知され記録され、トレーニングされた推論モデル１１４によって処理される連続信号として動的に更新され得る。
【０２４９】
いずれかのシステム（ＡＲカメラ入力、センサー入力）内で生成された情報は、ユーザ体験、精度、フィードバック、推論モデル、較正関数、およびシステム全体における他の側面を改善するために使用され得る。このために、ＡＲ環境内で、たとえば、システム１００は、ユーザの視野内にＡＲ情報を提供する、１つまたは複数のプロセッサ、カメラ、およびディスプレイ（たとえば、ユーザインターフェース１１８、またはＡＲ眼鏡または他の視覚デバイスを介した他のインターフェース）を含むＡＲシステムを含み得る。システム１００は、ＡＲシステムをセンサーデータに基づいて筋骨格表現を生成するコンピュータベースシステムと結合させるシステム要素を含んでもよい。たとえば、システムは、専用コンピュータシステム、またはＡＲから入力を受信する他のタイプのコンピュータシステムおよびコンピュータベースの筋骨格表現を生成するシステムを介して結合され得る。そのようなシステムは、ゲームシステム、ロボット制御システム、パーソナルコンピュータ、またはＡＲおよび筋骨格情報を解釈することが可能な他のシステムを含み得る。ＡＲシステム、およびコンピュータベースの筋骨格表現を生成するシステムは、直接通信するようにプログラムされてもよい。そのような情報は、任意の数のインターフェース、プロトコル、または媒体を使用して通信され得る。
【０２５０】
上記で論じたように、いくつかの実施形態は、着用可能なセンサーによって感知され記録された信号に基づいて、筋骨格情報を予測するための推論モデルを使用することに関する。ヒト筋骨格系の部分がマルチセグメント多関節剛体系としてモデル形成され得る例において上記で短く論じたように、マルチセグメント多関節剛体モデル内のセグメント間の関節のタイプは、剛体の動きを制約する制約としての役割を果たし得る。加えて、異なる人間一人一人は、個々のユーザ行動に概して適用可能であり得る統計的パターンでキャプチャされ得るタスクを実行するとき、特徴的な方法で移動し得る。人体の動きに対するこれらの制約のうちの少なくともいくつかは、いくつかの実施形態によれば、ユーザの動きの予測のために使用される推論モデル内に明示的に組み込まれ得る。追加または代替として、上記で短く論じたように、これらの制約は、記録されたセンサーデータに基づくトレーニングを通じて推論モデルによって学習され得る。
【０２５１】
上記で論じたように、いくつかの実施形態は、手の状態情報を予測して、コンピュータベースの筋骨格表現の生成および／またはコンピュータベースの筋骨格表現のリアルタイム更新を可能にするために、推論モデルを使用することに関する。推論モデルは、ＩＭＵ信号、神経筋信号（たとえば、ＥＭＧ、ＭＭＧ、および／またはＳＭＧ信号）、外部デバイス信号（たとえば、カメラ信号またはレーザー走査信号）、またはＩＭＵ信号、神経筋信号、およびユーザが１つまたは複数の動きを実行するにつれて検出された外部デバイス信号の組み合わせに基づいて、手の状態情報を予測するために使用され得る。たとえば、上記で論じたように、ＡＲシステムに関連するカメラは、コンピュータベースの筋骨格表現のヒト被験者の実際の位置のデータをキャプチャするために使用可能であり、そのような実際の位置情報は、表現の精度を改善するために使用され得る。さらに、推論モデルの出力は、ＸＲ環境内でコンピュータベースの筋骨格表現の視覚表現を生成するために使用され得る。たとえば、筋肉群の発火、かけられた力、動きを介して入力されたテキスト、またはコンピュータベースの筋骨格表現によって生み出された他の情報の視覚表現は、ＸＲシステムの視覚的ディスプレイ内にレンダリングされ得る。いくつかの実施形態では、他の入力／出力デバイス（たとえば、聴覚入力／出力、触覚デバイス、など）が、システム全体の精度をさらに改善するために、かつ／またはユーザ体験を改善するために使用され得る。
【０２５２】
本明細書で説明する技法のいくつかの実施形態は、神経筋センサーによって感知され記録された神経筋信号から識別された情報である筋肉活性化状態情報をマッピングして信号を制御するために、少なくとも部分的に、推論モデル使用することに関する。推論モデルは、ＩＭＵ信号、神経筋信号（たとえば、ＥＭＧ、ＭＭＧ、および／またはＳＭＧ信号）、外部デバイス信号（たとえば、カメラ信号またはレーザー走査信号）、またはＩＭＵ信号、神経筋信号、およびユーザが１つまたは複数の筋肉下活性化、１つまたは複数の動き、および／または１つまたは複数のジェスチャを実行するにつれて検出された外部デバイス信号の組み合わせを入力として受信し得る。推論モデルは、ユーザが知覚可能な動きを行う必要なしに、制御情報を予測するために使用され得る。
【０２５３】
図２は、拡張現実（ＡＲ）システム２０１を神経筋活動システム２０２と統合する分散型コンピュータベースシステムであってよいＡＲベースのシステム２００の概略図を示す。神経筋活動システム２０２は、図１に関して上記で説明したシステム１００と同様である。
【０２５４】
概して、ＡＲシステム２０１など、拡張現実は、一対のゴーグルもしくは眼鏡、またはアイウェア、またはユーザの「現実」に重ね合わせることができる表示要素をユーザに示す、他のタイプの表示デバイスの形をとってよい。この現実は、場合によっては、（たとえば、ユーザの目を通して見た）環境のユーザの視野、または環境のユーザの視野の（たとえば、カメラによって）キャプチャされたバージョンであり得る。いくつかの実施形態では、ＡＲシステム２０１は、ユーザの環境内でユーザが体験する１つまたは複数の視野をキャプチャする、ユーザによって着用されるデバイス内に装着され得る、１つまたは複数のカメラ（たとえば、カメラ２０４）を含み得る。システム２０１は、ユーザによって着用されるデバイス内で、かつ／または周辺デバイスまたはコンピュータシステム内で動作する１つまたは複数のプロセッサ２０５を有してよく、そのようなプロセッサ２０５は、ビデオ情報および他のタイプのデータ（たとえば、センサーデータ）を送信および受信することが可能であり得る。
【０２５５】
ＡＲシステム２０１は、マイクロフォン、ＧＰＳ要素、加速度計、赤外線検出器、触覚フィードバック要素、もしくは任意の他のタイプのセンサー、またはそれらの任意の組み合わせなど、１つまたは複数のセンサー２０７を含んでもよい。いくつかの実施形態では、ＡＲシステム２０１は、オーディオベースのＡＲシステムまたは聴覚ＡＲシステムであってよく、１つまたは複数のセンサー２０７は、１つまたは複数のヘッドフォンまたはスピーカーを含んでもよい。さらに、ＡＲシステム２０１は、ＡＲシステム２０１が、ＡＲシステム２０１によって提示されるようなユーザの環境の視野をユーザに提供することに加えて、情報をオーバレイしかつ／またはユーザに表示することを可能にする、１つまたは複数のディスプレイ２０８を有し得る。ＡＲシステム２０１は、情報が１つまたは複数のコンピュータシステム（たとえば、ゲームシステム、またはＡＲデータをレンダリングまたは受信することが可能な他のシステム）に通信されることを可能にする、１つまたは複数の通信インターフェース２０６を含んでもよい。ＡＲシステムは、多くの形をとってよく、いくつかの異なる製造業者から入手可能である。たとえば、様々な実施形態は、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡ）から入手可能なＨｏｌｏＬｅｎｓホログラフィックリアリティ眼鏡、Ｍａｇｉｃ  Ｌｅａｐ（Ｐｌａｎｔａｔｉｏｎ、Ｆｌｏｒｉｄａ、ＵＳＡ）からのＬｉｇｈｔｗｅａｒ  ＡＲヘッドセット、Ａｌｐｈａｂｅｔ（Ｍｏｕｎｔａｉｎ  Ｖｉｅｗ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＧｏｏｇｌｅ  Ｇｌａｓｓ  ＡＲ眼鏡、Ｏｓｔｅｒｈｏｕｔ  Ｄｅｓｉｇｎ  Ｇｒｏｕｐ（ＯＤＧとも呼ばれる、Ｓａｎ  Ｆｒａｎｓｉｃｏ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＲ−７Ｓｍａｒｔｇｌａｓｓシステム、または任意の他のタイプのＡＲおよび／またはＶＲデバイスなど、１つまたは複数のタイプのＡＲシステムに関連して実装され得る。例として論じるが、１つまたは複数の実施形態は、ＶＲシステム内で実装され得ることを諒解されたい。
【０２５６】
ＡＲシステム２０１は、Ｂｌｕｅｔｏｏｔｈプロトコル、Ｗｉ−Ｆｉ、Ｅｔｈｅｒｎｅｔのようなプロトコル、または任意の数の接続タイプ、ワイヤレスおよび／またはワイヤードを含むが、これらに限定されない、１つまたは複数の通信方式または通信方法論によって神経筋活動システム２０２に動作可能に結合され得る。たとえば、システム２０１および２０２は、１つまたは複数の中間コンピュータシステムまたはネットワーク要素を通して直接接続または結合され得ることを諒解されたい。図２の両矢印は、システム２０１および２０２間の通信結合を表す。
【０２５７】
先に述べたように、神経筋活動システム２０２は、構造および機能の点で、図１を参照して上記で説明したシステム１００と同様であってよい。具体的には、システム２０２は、１つまたは複数の神経筋センサー２０９、１つまたは複数の推論モデル２１０を含んでよく、筋骨格表現２１１を作成し、保持し、記憶することができる。上記で論じた実施形態と同様の、１つの例示的な実施形態では、システム２０２は、ユーザから神経筋信号を集めて解析するためにユーザによって着用され得るバンドなど、着用可能なデバイスを含み得るか、または着用可能なデバイスとして実装され得る。さらに、システム２０２は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、または他の通信方法など、システム２０２がＡＲシステム２０１と通信することを可能にする１つまたは複数の通信インターフェース２１２を含み得る。とりわけ、ＡＲシステム２０１および神経筋活動システム２０２は、ユーザ体験を拡張するために、かつ／またはＡＲシステム２０１がより正確かつ効果的に機能することができるように、使用され得る情報を通信し得る。
【０２５８】
図２は、ＡＲシステム２０１を神経筋活動システム２０２と統合する分散型コンピュータベースシステム２００を示すが、これらのシステム２０１および２０２の統合は、本質的に非分散型であり得ることを理解されよう。いくつかの実施形態では、神経筋活動システム２０２は、神経筋活動システム２０２の様々な構成要素がＡＲシステム２０１の部分と見なされ得るように、ＡＲシステム２０１内に統合されてよい。たとえば、神経筋センサー２０９からの入力は、（たとえば、カメラ２０４からの、センサー２０７からの）ＡＲシステム２０１へのもう１つの入力として扱われてよい。加えて、神経筋センサー２０９から取得された入力（たとえば、センサー信号）の処理はＡＲシステム２０１内に統合されてよい。
【０２５９】
図３は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号、およびカメラまたは信号入力を処理するためのプロセス３００のフローチャートを示す。プロセス３００は、たとえば、ＡＲベースのシステム２００、ＡＲシステム２０１、神経筋活動システム２０２、および／またはシステム２０１、２０２が信号入力を提供する、別個のコンピュータシステムなど、システム上で実装され得る。一実装形態では、プロセス３００は、神経筋活動システム２０２によって実行され得る。活動３１０において、センサー信号は、神経筋活動システム２０２の１つまたは複数のセンサー（本明細書で「生センサー信号」と呼ばれることもある）によって感知および記録され得る。いくつかの実施形態では、センサーは、ユーザによって着用される着用可能なデバイス上に配置された複数の神経筋センサー２０９（たとえば、ＥＭＧセンサー）を含み得る。たとえば、センサー２０９は、ユーザが様々な動きまたはジェスチャを実行するにつれて、ユーザからの神経筋信号を記録するためにユーザの手首または前腕の周りに着用されるように構成されたゴムバンド上に配置されたＥＭＧセンサーであってよい。いくつかの実施形態では、ＥＭＧセンサーは、図１２に示すように、バンド１２０２上に配置されたセンサー１２０４であってよい。いくつかの実施形態では、ＥＭＧセンサーは、図１３Ａに示すように、ゴムバンド１３２０上に配置されたセンサー１３１０であってよい。ユーザによって実行されるジェスチャは、ユーザの手のひらをテーブルの上に載せるなどの静止ジェスチャ、指を前後に振るなどの動的ジェスチャ、および対立筋を共収縮することによって関節を若干緊張させる、オブジェクトまたは面の上を圧迫する、または筋肉下活性化を使用するなど、別の人物には知覚不可能な内密のジェスチャを含み得る。ユーザによって実行されるジェスチャは、象徴的なジェスチャ（たとえば、たとえば、他のジェスチャ、対話、またはコマンドに対するマッピングを指定するジェスチャ語彙に基づいて、他のジェスチャ、対話、またはコマンドにマッピングされるジェスチャ）を含み得る。
【０２６０】
複数の神経筋センサーに加えて、本明細書で説明する技法のいくつかの実施形態は、上記で論じたように、１つまたは複数のトレーニングされた推論モデルに対する入力として提供されてもよい補助信号を記録するように構成された、１つまたは複数の補助センサーを含み得る。補助センサーの例は、ＩＭＵ、撮像デバイス、放射線検知デバイス（たとえば、レーザー走査デバイス）、心拍数モニタ、または１つまたは複数の動きまたはジェスチャの実行中、ユーザからの生物物理学的情報を感知して記録するように構成された、任意の他のタイプのバイオセンサーを含む。一実施形態によれば、活動３２０において、図３のプロセス３００に示すように、システムは、１つまたは複数のカメラ入力を受信し処理する。そのような入力は、画像、ビデオ、ストリーム、などの信号など、１つまたは複数の生信号、もしくは検出されたオブジェクト、３Ｄモデル、などの表現の信号など、１つまたは複数の前処理された形態の信号、および／またはカメラ入力の状態を反映する情報など、他の情報を含み得る。さらに、いくつかの実施形態は、たとえば、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ（Ｒｅｄｍｏｎｄ、Ｗａｓｈｉｎｇｔｏｎ、ＵＳＡ）から入手可能なＫｉｎｅｃｔシステムおよびＬｅａｐ  Ｍｏｔｉｏｎ，Ｉｎｃ．（Ｓａｎ  Ｆｒａｎｓｉｃｓｏ、Ｃａｌｉｆｏｒｎｉａ、ＵＳＡ）から入手可能なＬｅａｐ  Ｍｏｔｉｏｎシステムなど、骨格追跡を実行するカメラベースのシステムを使用して実装され得ることを諒解されたい。本明細書で説明する様々な実施形態を実装するために、ハードウェアおよび／またはソフトウェアの任意の組み合わせが使用され得ることを諒解されたい。
【０２６１】
活動３１０および３２０は、１つまたは複数のセンサー（たとえば、ＥＭＧセンサー、ＩＭＵ）によって感知され記録された信号および／または１つまたは複数のカメラからのカメラ入力信号を含み得る生センサー信号が随意に処理される、処理活動自体を含んでもよい。いくつかの実施形態では、生センサー信号は、（たとえば、増幅、フィルタリング、および／または整流を実行するために）ハードウェア信号処理回路を使用して処理され得る。他の実施形態では、生センサー信号の少なくともいくつかの信号処理は、ソフトウェアを使用して実行され得る。したがって、１つまたは複数のセンサーによって感知され記録された、かつ／または１つまたは複数のカメラから取得された、生センサー信号の信号処理は、ハードウェア、またはソフトウェア、またはハードウェアとソフトウェアの任意の好適な組み合わせを使用して実行され得る。いくつかの実装形態では、生センサー信号は、他の信号データを導出するために処理され得る。たとえば、１つまたは複数のＩＭＵによって記録された加速度計データは、筋肉の活性化中またはジェスチャの実行中に、１つまたは複数の筋肉に関連して導出された信号データを判定するために統合および／またはフィルタリングされ得る。
【０２６２】
プロセス３００は、次いで、活動３３０に進み、ここで、生センサー信号（たとえば、神経筋信号およびカメラ入力信号）または生センサー信号の処理されたバージョンは、上記で説明したように、手の状態情報など、ユーザ動き情報を生み出すように構成された、トレーニングされた推論モデルに対する入力として随意に提供される。
【０２６３】
プロセス３００は、次いで、活動３４０に進み、ここで、トレーニングされた推論モデルの出力が提供される。たとえば、いくつかの実施形態では、生センサー信号、処理されたセンサー信号、および／またはトレーニングされた推論モデルの出力（たとえば、手の状態情報および／またはトレーニングされた推論モデルの他のレンダリングされた出力、など）に基づいて、システムの制御出力が提供される。たとえば、いくつかの実施形態では、ＡＲシステム２０１は、ＡＲシステム２０１（または、他のシステムディスプレイ）がレンダリングされたジェスチャとして表示され得る、レンダリングされた出力を受信し得る。
【０２６４】
いくつかの実施形態によれば、１つまたは複数のコンピュータプロセッサ（たとえば、システム１００のプロセッサ１１２、またはＡＲベースのシステム２００のプロセッサ２０５）は、生センサー信号（たとえば、上記で論じたセンサーによって感知され記録された信号および／またはカメラ入力信号）および／またはこれらの信号に基づく情報からユーザの１つまたは複数の筋肉活性化状態を識別するようにプログラムされ得る。信号  生センサー信号に基づく情報は、処理されたセンサー信号（たとえば、処理されたＥＭＧ信号）に関連する情報、および／またはトレーニングされた推論モデルの出力に関連する情報（たとえば、手の状態情報）を含み得る。ユーザの１つまたは複数の筋肉活性化状態は、ユーザによって実行される静止ジェスチャ、ユーザによって実行される動的ジェスチャ、ユーザの筋肉下活性化状態、および／またはユーザによって実行される筋肉の緊張を含み得る。ユーザの１つまたは複数の筋肉活性化状態は、生センサー信号内で検出された筋肉活動および／または１つまたは複数の運動単位活性化の１つまたは複数のパターン、および／またはユーザによって実行される様々な動きまたはジェスチャに関連する、生センサー信号に基づく情報によって定義され得る。
【０２６５】
図４は、本明細書で説明する技術のいくつかの実施形態による、ＡＲベースのシステム内でジェスチャ情報を処理するためのプロセス４００のフローチャートである。具体的には、ＡＲシステムがユーザ体験を提供するための神経筋活動システムに関連して使用され得る、いくつかの異なる使用シナリオが存在し得る。図４に示すように、プロセス４００に従って、活動４１０において、ＡＲベースのシステムは、ＡＲベースのシステムのディスプレイ内でモデルジェスチャをユーザに表示するように構成され得る。たとえば、ＡＲベースのシステムは、投げる動きまたはユーザが模倣するかまたは学習することを望む他のジェスチャタイプを表示するように適合され得る。このために、ＡＲベースのシステムは、ユーザが特定のジェスチャを真似ることを試みる間、ジェスチャの一例をユーザに表示し得る。活動４２０において、神経筋活動システムは、ジェスチャを真似る間に、ユーザによって生み出された神経筋信号を処理する。活動４３０において、神経筋活動システムは、真似されたジェスチャがそのジェスチャのモデルに整合するかどうかを判定する。そのような判定は、たとえば、１つまたは複数の３Ｄ基準モデルを使用して、ユーザが真似たジェスチャを測定するか、またはそのジェスチャをジェスチャの基準モデルと比較する推論モデルの出力を比較することによって行われ得る。許容可能な整合は、一定の事前定義された範囲または２つ以上の基準モデル間の誤差レベル内で生じ得る。整合が生じるかどうかを判定するために、カメラデータ（たとえば、カメラからの入力信号）が（単独で、または神経筋信号と組み合わせて）使用されてもよいことを諒解されたい。たとえば、神経筋信号（たとえば、ＥＭＧ信号）が入手可能でない場合、整合は、もっぱらカメラデータを使用して検出され得る。
【０２６６】
さらに、推論モデルは、モデル間の整合の指示を提供するようにトレーニングされてもよい。活動４４０において、ＡＲディスプレイ内の表示指示（たとえば、光、またはジェスチャが整合したかまたは整合しなかったかを識別する他のインジケータ）、オーディオ出力（たとえば、「よくできました」、「整合」、など、発話に対するオーディオ信号）、触覚フィードバック、電気的刺激、および／またはユーザが知覚可能な他の出力など、フィードバックがユーザに提供され得る（図５に関して以下で詳細に説明する）。そのような比較の一態様は、ジェスチャが正確に（または、不正確に）完了されることになるかどうかについての予測を含み得ることを諒解されたい。たとえば、ＡＲベースのシステム内のハードウェアおよび／またはソフトウェアは、ユーザがジェスチャを成功裏に完了する可能性があるかどうかを判定することが可能な予測測定のためのルーチンを実行し得る。１つの例示的な実装形態では、予測測定が、ユーザが成功しないことを示すとき、オーディオ出力がユーザに提示され得る。
【０２６７】
諒解されるように、ユーザに対するフィードバックは、カメラに対するユーザの位置に関係し得る。たとえば、ユーザがカメラの視野から完全にまたは部分的に遮蔽されている場合、フィードバックは、ユーザの身体の関連する部分がいつ視野内にあるかをユーザに知らせることができる。
【０２６８】
いくつかの実施形態では、ジェスチャの予測に基づいて、ジェスチャの完了前に、いくつかの出力がユーザに配信され得ることを諒解されたい（たとえば、ユーザがジェスチャを完了する前に、ユーザは、ジェスチャの実行に対するユーザの試行が成功しないことを示す電気的刺激を受けることができる）。また、整合動作は、推論モデルをトレーニングするため、ＡＲベースのシステムの較正のため、および／またはＡＲ状況におけるユーザのトレーニングのために実行され得るが、筋骨格推論モデルをリアルタイムでトレーニングおよび／または補正して、より正確な関節角度予測を作成するために、たとえば、ＥＭＧ信号と関節角度とを対にするデータが使用され得ることを諒解されたい。しかしながら、ジェスチャ分類器の場合、ユーザが所与のジェスチャを実行しているかどうかを具体的に判定することが望ましい場合がある。そのような場合、モデルを回帰させる対象である関節角度に対する整合を検出するか、またはその関節角度をターゲットにすることによって、ジェスチャラベルなど、トレーニングおよび／または分類データを提供するために使用可能な情報を取得するために、１つまたは複数のカメラ（たとえば、カメラ２０４）が使用され得る。
【０２６９】
図５は、本明細書で説明する技術のいくつかの実施形態による、神経筋信号とカメラ入力信号を統合し、フィードバックをユーザに提供するためのプロセス５００のフローチャートである。プロセス５００は、図２のＡＲベースのシステム２００によって実行され得る。活動５１０において、神経筋活動システム２０２は、図３を参照して上記で論じたのと同様の方法で信号を受信し処理する。さらに、活動５２０において、システム２００は、図３を参照して（たとえば、活動３２０において）上記で論じたのと同様の方法でカメラ入力を受信し処理する。活動５３０において、システム２００は、フィードバックをユーザに（たとえば、ＡＲベースのシステム２００のディスプレイ２０８のうちの１つまたは複数の中で）表示する。代替として、システム２００は、オーディオフィードバック、触覚フィードバック、またはユーザによって知覚可能な他の出力など、いくつかの異なる方法でフィードバックを提供し得る。このために、神経筋活動システム２０２は、フィードバック出力を表示または生成するために、ＡＲベースのシステム２００の他の部分に出力を提供することが可能であり得る。いくつかの実装形態では、ＡＲベースのシステム２００は、フィードバックをユーザに提供またはレンダリングすることができる、１つまたは複数のオーディオ出力、ディスプレイ、インジケータ、および／または他のタイプの出力デバイスを有し得る。代替として、システム２００は、出力信号（たとえば、制御信号）を１つまたは複数の第三者システム（たとえば、マネージャシステム、監視システム、監督システム、または他のタイプの第三者システム）に提供またはレンダリングするように構成され得る。
【０２７０】
図６は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス６００のフローチャートである。プロセス６００は、図２のＡＲベースのシステム２００によって実行され得る。活動６１０において、システム２００は、カメラ入力（たとえば、キャプチャされた画像の入力信号）を受信して処理する。一実施形態では、活動６２０において、システム２００は、キャプチャされた画像からまたは他の入力（たとえば、神経筋データ）から位置情報を判定する。活動６３０において、システム２００は、判定された位置情報に基づいて推論モデルのパラメータを更新し得る。たとえば、神経筋活動システム２０２が手の位置および／または腕の位置を判定する状況において、カメラ入力データ（たとえば、手および／または腕の画像）は、較正活動において特定の推論モデルに関する位置情報を補正するために、すなわち、推論モデルを較正するために、使用され得る。２つ以上のデータソース（たとえば、カメラデータおよびＥＭＧデータ）が存在する場合、推論モデルは、それらのソースからのデータが同時に取得されることを要求し得る。たとえば、ＥＭＧベースの位置情報に対応する信号に誤差またはズレが存在することがあり、カメラ入力信号から判定されたグラウンドトゥルース位置は、ＥＭＧベースの推論モデルのパラメータを調整するために使用され得る。このようにして、ＥＭＧベースの推論モデルの精度は、ＥＭＧベースの推論モデルを較正するために、ＥＭＧ信号およびカメラ入力信号の両方を使用することによって改善され得る。そのようなプロセスは、ユーザが離散的ジェスチャを実行する、かつ／または「通常の」動作においてリアルタイムでジェスチャを実行する較正動作の部分として使用されてよく、ジェスチャに対する推論モデルは、モデルに対する神経筋信号を提供するソース以外の信号源によって生成されたグラウンドトゥルースデータに基づいて調整される必要があり、他の信号源は、たとえば、カメラであってよい。いくつかの実施形態では、カメラデータは、（たとえば、回帰モデルに対する）連続関節角度を推定するために、または（たとえば、分類器に対する）離散的ジェスチャを識別するために、使用され得る。
【０２７１】
図７は、本明細書で説明する技術のいくつかの実施形態による、カメラデータに基づいて推論モデルを更新するためのプロセス７００のフローチャートである。プロセス７００は、図２のＡＲベースのシステム２００によって実行され得る。図６の活動６１０と同様に、活動７１０において、システム２００は、カメラ入力（たとえば、キャプチャされた画像の入力信号）を受信して処理する。活動７２０において、システム２００は、キャプチャされた画像から形状情報を判定する。たとえば、手の画像をキャプチャするとき、セグメントの長さ、関節の位置、および手の他の形状関係など、形状情報がキャプチャされ得る。活動７３０において、そのような形状情報は、推論モデルの１つまたは複数のパラメータを更新するために使用され得る。１つの例示的な実装形態では、システム２００は、手のＥＭＧモデルによって使用される形状を補正し得る。たとえば、カメラによってキャプチャされた画像は、ＥＭＧベースの信号を使用して生成された画像よりもユーザの手の形状を正確に描写し得ることを諒解されたい。たとえば、カメラによってキャプチャされるような指のセグメントの長さの画像は、手の形状のＥＭＧベースの推論モデルを更新するために使用され得る。これは、特に、ＥＭＧベースの推論モデルがその特定のユーザと使用するために補正または更新されるときに適切であり得る。
【０２７２】
図８は、本明細書で説明する技術のいくつかの実施形態による、位置情報および力情報を判定するためのプロセスのフローチャート８００である。具体的には、上記で論じたように、ＡＲ環境内の位置情報および力情報をより正確に判定するために神経筋情報およびカメラ入力情報の両方を使用することが有益であり得る。プロセス８００は、図２のＡＲベースのシステム２００によって実行され得る。活動８１０において、神経筋活動システム２０２は、神経筋入力信号を受信して処理する。さらに、活動８２０において、ＡＲシステム２０１は、少なくとも１つのカメラ入力信号を受信して処理する。活動８３０において、神経筋入力信号およびカメラ入力信号が推論モデルに提供される。両方の入力に基づいて、システム２００は、位置情報を（たとえば、活動８４０において）判定し得、力情報を（たとえば、活動８６０において）判定し得る。位置情報および力情報は、たとえば、ＡＲディスプレイ内にユーザの手の表現をレンダリングするために使用され得る。たとえば、この表現は、ユーザの手および指といった付属肢のより正確な位置、ならびに手および／または指といった付属肢のうちのいずれかにかけられ得る何らかの力を示し得る。１つの特定の例では、システム２００は、ユーザの親指が同じ手の人差し指を圧迫している、ユーザの手の位置をより正確にレンダリングし得る。カメラ入力は人差し指と親指とが接触している視覚指示を提供し得るが、神経筋信号は人差し指および親指によって同じ相対レベルで力が加えられていること（たとえば、人差し指および親指が軽量の力で共に圧迫されていること）を示し得るため、カメラ入力は特に有用であり得る。このように、システム２００は、ユーザの手の手の状態情報をより正確に表すことができる。随意に、システム２００は、活動８５０および８７０において、それぞれ位置情報および力情報を出力として提供し得る。そのような出力は、指示を提供し、出力または他の表現をレンダリングし、かつ／または他のシステムを制御するために、１つまたは複数の他のシステムによって使用され得る。
【０２７３】
いくつかの実装形態では、カメラ入力信号は、１つまたは複数の指がユーザの親指と接触しているかどうかを判定し、接触している場合、どの指が親指と接触しているかを判定するために処理され得る。一実施形態では、接触が存在する場合、次いで、神経筋入力信号を提供した神経筋センサーから記録された信号電力（たとえば、ＥＭＧ信号電力）の対数に応じて、または力の大きさを推論するための別の信号処理技法を用いて、アフィン変換として、親指と接触している指との間の力の大きさが推定され得る。アフィン変換関数の係数は、ユーザが最初にそれらの指に軽く触れ、次いで、後で、それらの指の間の摘まむ力に対応する最大随意収縮を生み出す較正段階によって判定され得る。この実装形態では、推論モデルは、わずかな最大随意収縮単位で力を出力し得る。いくつかの実装形態では、アフィン変換関数の係数は、親指に接触している指のセットに対して特定であり得る。同様に、ＥＭＧ信号電力のアフィン変換関数は、ユーザがオブジェクトまたは面に力をかけている場合、較正され得る。
【０２７４】
図９は、本明細書で説明する技術のいくつかの実施形態による、入力信号の品質を判定し、それらの品質に基づいてモデル関数を実行するためのプロセス９００のフローチャートである。プロセス９００は、図２のＡＲベースのシステム２００によって実行され得る。たとえば、一定の入力信号は一定の状況において他の入力信号よりも信頼できるものであり得ることを諒解されたい。たとえば、カメラ入力信号は、モデル形成されることになるオブジェクトが、カメラの視野から遮蔽されているか、またはカメラの視野内にまったくないとき、情報に対する信頼性はより低い可能性がある。同様に、神経筋信号は、変化する物理的条件、雑音、または他の干渉によって生成される誤差を含み得る。したがって、システムが、モデルが適切に更新され得るように、特定の入力信号の品質を適応的に判定することが有利であり得る。
【０２７５】
活動９１０において、システム２００は、（たとえば、神経筋活動システム２０２によって受信される）神経筋信号を受信して処理する。活動９２０において、ＡＲシステム２０１は、１つまたは複数のカメラ入力信号を受信して処理する。活動９３０において、システム２００は、神経筋信号の品質を判定する。たとえば、神経筋活動システム２０２または別の好適なシステムは、神経筋信号が使用されるべきであるかどうかを判定し、使用されるべきである場合、何のレベルで使用されるべきかを判定し得る。たとえば、神経筋信号の一定の部分は正確であり得る（たとえば、力測定）が、神経筋信号の他の部分は正確でない可能性がある（たとえば、絶対的な前腕位置）。神経筋信号の一定の部分は、一定の時間枠内で、変化する条件下で、信頼できるものであり得る。たとえば、低周波数（たとえば、２０Ｈｚ未満）または高周波数（たとえば、５００Ｈｚを超える）においてかなりの力（たとえば、所定のしきい値を上回る力）を有するＥＭＧ信号は、低品質のＥＭＧ信号を示し得る。
【０２７６】
活動９４０において、システム２００は、カメラ入力信号の品質を判定し得る。上記で論じたように、カメラ信号は、一定のオブジェクトが視野内にあるとき、特定の品質レベルのものであると判定されてよく、カメラ信号は、オブジェクトが遮蔽されているかまたは視野内にないとき、より低い品質レベルであると判定されてよい。活動９５０において、システム２００は、カメラ入力信号および神経筋信号の判定された品質に基づいて、信号を推論モデルに提供し得る。たとえば、１つまたは複数のカメラ入力信号または神経筋信号は、推論モデル内に入力されるのに先立って、フィルタリングまたは廃止され（ｄｅｐｒｅｃａｔｅｄ）得る。別の実装形態では、推論モデルは、変化する条件下でトレーニングされてよく、異なる品質の信号に応じてトレーニングされてよい。別の実装形態では、２つのタイプの入力の各々から別個のベイズ予測およびベイズ信頼性が判定されてよく、（たとえば、加重平均をとることによって）２つの予測を組み合わせるためにベイズ手法が使用され得る。活動９６０において、システム２００は、推論モデルの出力を提供する。
【０２７７】
図１０は、本明細書で説明する技術のいくつかの実施形態による、１つまたは複数のＥＭＧセンサー１０４０およびカメラ１０６０を利用するシステム１０００の１つの例示的な実装形態を示す図である。たとえば、図１０は、ユーザの腕、および、１つまたは複数の関節およびセグメントからなり、筋骨格表現として示され得る、付いた手（「腕／手」）１０１０を示す。より具体的には、ユーザの手のセグメント１０２０は、関節によって接続されている。腕および手の位置、および腕および手のセグメントの長さは、システム１０００によって判定され、モデル筋骨格表現の３次元空間内に位置し得る。さらに、ユーザの手は、補間された前腕セグメント１０３０をやはり含み得る。上記で論じたように、神経筋活動システムは、ユーザの手／腕の位置の１つまたは複数の表現を判定するために使用され得る。このために、ユーザは、筋骨格表現を判定するために使用される神経筋信号を感知して記録する、１つまたは複数のＥＭＧセンサー１０４０を備えるバンドを着用し得る。ＥＭＧセンサー１０４０が神経筋信号を感知して記録するのと同時に、カメラ１０６０は、カメラの視野１０５０内のオブジェクトをキャプチャするために使用され得る。たとえば、図１０において、カメラの視野１０５０は、ユーザの腕／手１０１０を含む。カメラデータは、ＥＭＧセンサー１０４０によって判定された神経筋活動信号に加えて、位置、形状、およびユーザの腕／手１０１０によってかけられている力を再構築するために使用され得る。さらに、システム１０００からの出力は、システム１０００がユーザの腕／手１０１０の表現をＡＲディスプレイまたは他のタイプのシステム内などにレンダリングすることができるように提供され得る。
【０２７８】
図１１は、本明細書で説明する技術のいくつかの実施形態による、トレーニングされた推論モデルに対する入力を処理するプロセス１１００を示す図である。たとえば、ＩＭＵ入力（１１０１）、ＥＭＧ入力（１１０２）、およびカメラ入力（１１０３）を使用することによって、筋骨格表現のより正確な表現が取得され得ることを諒解されたい。これらの入力１１０１、１１０２、１１０３の各々は、トレーニングされた推論モデル１１１０に提供され得る。推論モデル１１１０は、位置、力、および／または筋骨格状態の表現など、１つまたは複数の出力を提供するように構築され得る。そのような出力は、上記で論じたような、指示または表示のために、またはフィードバックをユーザに提供するために、ＡＲシステムなど、１つまたは複数のシステムに提供され得る。入力１１０１、１１０２、１１０３のうちのいずれも、トレーニングされた推論モデルから出力を導出するために任意の他の入力との任意の組み合わせで使用され得ることを諒解されたい。たとえば、前腕の位置情報は、ＩＭＵ入力１１０１およびカメラ入力１１０３の組み合わせに基づいて導出され得る。一実装形態では、前腕の位置の推定は、ＩＭＵ入力１１０１に基づいて生成され、カメラ入力１１０３から取得されたグラウンドトゥルースデータに基づいて調整され得る。また、前腕の位置および／または前腕の方向は、ＩＭＵ入力１１０１なしに、カメラ入力１１０３のみを使用して導出され得る。別のシナリオでは、ＥＭＧ入力１１０２（たとえば、ＥＭＧ信号）は、力専用情報を導出して、カメラモデルシステムによって提供された姿勢専用情報を拡張するために使用され得る。入力の他の組み合わせは、所望の出力を取得するために使用されてよく、本明細書で説明する様々な実施形態の範囲内である。
【０２７９】
いずれかの筋骨格表現の生成の有無にかかわらず、そのような出力が導出され得ることを諒解されたい。ＡＲシステムに提供される制御入力信号として使用される、ＥＭＧベースの制御信号の出力など、１つまたは複数の出力が、任意の他のシステムに対する制御入力として使用され得ることをやはり諒解されたい。
【０２８０】
本明細書で説明したいずれの実施形態も、単独で、または本明細書で説明したいずれかの他の実施形態と組み合わせて使用され得ることを諒解されたい。さらに、本明細書で説明した一実施形態の部分は、本明細書で説明した１つまたは複数の他の実施形態の部分と組み合わされてよい。加えて、本明細書で説明した実施形態は、全体または一部において、参照により本明細書に組み込まれる、２０１９年１月２５日に出願した、「ＣＡＬＩＢＲＡＴＩＯＮ  ＴＥＣＨＮＩＱＵＥＳ  ＦＯＲ  ＨＡＮＤＳＴＡＴＥ  ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ  ＭＯＤＥＬＩＮＧ  ＵＳＩＮＧ  ＮＥＵＲＯＭＵＳＣＵＬＡＲ  ＳＩＧＮＡＬＳ」と題する米国特許出願第１６／２５７，９７９号、および参照により本明細書に組み込まれる、２０１７年７月２５日に出願した、「ＳＹＳＴＥＭ  ＡＮＤ  ＭＥＴＨＯＤ  ＦＯＲ  ＭＥＡＳＵＲＩＮＧ  ＴＨＥ  ＭＯＶＥＭＥＮＴＳ  ＯＦ  ＡＲＴＩＣＵＬＡＴＥＤ  ＲＩＧＩＤ  ＢＯＤＩＥＳ」と題する米国特許出願第１５／６５９，５０４号において説明された実施形態とともに使用され得る。
【０２８１】
上記の実施形態は、多数の方法のうちのいずれかで実装され得る。たとえば、これらの実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせを使用して実装され得る。ソフトウェアを使用して実装されるとき、ソフトウェアを備えるコードは、単一のコンピュータ内に提供されるか、または複数のコンピュータにわたって分散されて提供されるかにかかわらず、任意の好適なプロセッサまたはプロセッサの収集物の上で実行され得る。上記で説明した機能を実行するいずれの構成要素または構成要素の収集物も、一般に、上記で論じた機能を制御する、１つまたは複数のコントローラと見なされ得ることを諒解されたい。１つまたは複数のコントローラは、専用ハードウェアとともに、または上記で列挙した機能を実行するためにマイクロコードまたはソフトウェアを使用してプログラムされた１つまたは複数のプロセッサとともになど、多数の方法で実装され得る。
【０２８２】
この点で、本発明の実施形態の一実装形態は、プロセッサ上で実行されるとき、本明細書で説明した技術の実施形態の上記で論じた機能を実行するコンピュータプログラム（すなわち、複数の命令）を用いて符号化された、少なくとも１つの非一時的コンピュータ可読記憶媒体（たとえば、コンピュータメモリ、ポータブルメモリ、コンパクトディスク、など）を備えることを諒解されたい。コンピュータ可読記憶媒体は、本明細書で論じた本発明の態様を実装するために、その上に記憶されたプログラムが任意のコンピュータリソース上にロードされ得るように、移送可能であり得る。加えて、実行されると、上記で論じた機能を実行するコンピュータプログラムの参照は、ホストコンピュータ上で実行するアプリケーションプログラムに限定されないことを諒解されたい。むしろ、コンピュータプログラムという用語は、本明細書において、本発明の上記で論じた態様を実装するようにプロセッサをプログラムするために採用され得る任意のタイプのコンピュータコード（たとえば、ソフトウェアまたはマイクロコード）を指すために一般的な意味で使用される。
【０２８３】
本明細書で提示した技術の様々な態様は、単独で、組み合わせて、または上記で説明した実施形態において具体的に論じられていない様々な配置で使用可能であり、したがって、その適用例を前述の説明および／または図面において記載された構成要素の詳細および配置に限定しない。
【０２８４】
また、上記で説明した実施形態のうちのいくつかは、そのうちのいくつかの例が提供されている、１つまたは複数の方法として実装され得る。方法の部分として実行される活動は、任意の好適な方法で順序付けられてよい。したがって、例示的な実施形態において連続的な活動として示されているとしても、いくつかの活動を同時に実行することを含み得る、本明細書で示した、または説明したのとは異なる順序で活動が実行される実施形態が構築され得る。本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「有する」、「包含する」、「関連する」、およびそれらの変形態の使用は、その後に列挙する項目および追加の項目を網羅することを意味する。
【０２８５】
本発明のいくつかの実施形態を詳細に説明してきたが、様々な修正および改善は、当業者に容易に浮かぶであろう。そのような修正および改善は、本発明の趣旨および範囲内であることが意図される。したがって、前述の説明は、単なる例であり、限定的であることは意図されない。本発明は、以下の特許請求の範囲およびその均等物によって定義されるようにのみ限定される。
【０２８６】
前述の特徴は、本明細書で論じた実施形態のうちのいずれかにおいて、別々に、または任意の組み合わせで一緒に使用され得る。
【０２８７】
さらに、本発明の利点が示されることがあるが、本発明のすべての実施形態がすべての説明した利点を含むことにはならないことを諒解されたい。いくつかの実施形態は、本明細書で利点として説明した任意の特徴を実装しないことがある。したがって、前述の説明および添付の図面は、単なる例示である。
【０２８８】
開示した実施形態に対する変形形態が可能である。たとえば、本技術の様々な態様は、単独で、組み合わせて、または前述で説明した実施形態において具体的に論じていない様々な配置で使用可能であり、したがって、これらの態様は、適用の際に、前述の説明で記載した、または図面に示した、構成要素の詳細および配置に限定されない。一実施形態において説明した態様は、他の実施形態において説明した態様といずれかの方法で組み合わされてよい。
【０２８９】
要素を修正するための、説明および／または請求項における「第１の」、「第２の」、および「第３の」、などの順序を示す用語の使用は、それ自体、別の要素に対する１つの要素の何らかの優先度、優位、または順序、または方法の活動が実行される時間的順序を含意せず、ある名称を有する１つの要素または活動を同じ名称を有する別の要素または活動と区別してそれらの要素または活動を区別するための（しかしながら、順序を示す用語を使用するための）標示として単に使用される。
【０２９０】
明細書および請求項において、本明細書において使用した不定冠詞「ａ」および「ａｎ」は、それと異なる明記がない限り、「少なくとも１つ」を意味すると理解すべきである。
【０２９１】
１つまたは複数の要素のリストを参照する際の「少なくとも１つ」という句のいずれの使用も、要素のリスト内の要素のうちのいずれか１つまたは複数から選択された少なくとも１つの要素を意味するが、要素のリスト内に具体的に列挙されたあらゆる要素のうちの少なくとも１つを必ずしも含むとは限らず、要素のリスト内の要素のいずれの組み合わせも排除しないことを理解されたい。この定義は、具体的に識別された要素に関係しようと、または無関係であろうと、「少なくとも１つ」という句が指す要素のリスト内で具体的に識別される要素以外の要素が随意に存在し得ることをやはり可能にする。
【０２９２】
２つの値（たとえば、距離、幅、など）を参照する際の「等しい」または「同じ」という句のいずれの使用も、２つの値が製造公差において同じであることを意味する。したがって、等しいまたは同じである２つの値は、これらの２つの値が±５％だけ互いと異なることを意味し得る。
【０２９３】
明細書および請求項において、本明細書において使用した「および／または」という句は、そのように結合された要素、すなわち、場合によっては、結合的に存在するか、または他の場合には、分離的に存在する要素の「いずれかまたは両方」を意味すると理解されたい。「および／または」とともに列挙された複数の要素は、同じように、すなわち、そのように結合された要素の「１つまたは複数の」と解釈されるべきである。具体的に識別された要素に関係しようと、または無関係であろうと、「および／または」節によって具体的に識別される要素以外の他の要素が随意に存在し得る。したがって、非限定的な例として、「Ａおよび／またはＢ」の参照は、「含む／備える」などのオープンエンド型（ｏｐｅｎ−ｅｎｄｅｄ）用語とともに使用されるとき、一実施形態において、Ａのみ（随意に、Ｂ以外の要素を含む）を指し得、別の実施形態において、Ｂのみ（随意に、Ａ以外の要素を含む）を指し得、さらに別の実施形態において、ＡとＢの両方（随意に、他の要素を含む）、などを指し得る。
【０２９４】
明細書および請求項において、本明細で使用される「または」は、上記で定義した「および／または」と同じ意味を有すると理解すべきである。たとえば、リスト内の項目を分離するとき、「または」または「および／または」は、包括的、すなわち、少なくとも１つを包括するが、いくつかの要素または要素のリストのうちの１つを超える要素も含み、また、随意に、追加の列挙されない項目も含むと解釈すべきである。「のうちの１つのみ」または「のうちのまさに１つ」など、その反対が明確に示されるか、または請求項において使用されるときのみ、「からなる」は、いくつかの要素または要素のリストのうちのまさに１つの要素の包括を指すことになる。概して、本明細で使用される「または」という用語は、「いずれか」、「のうちの１つ」、「のうちの１つのみ」、または「のうちのまさに１つ」など、排他性の用語が先行するときのみ、排他的な代替（すなわち、「両方ではなく、１つまたはもう１つの」）を示すと解釈するべきである。「本質的に〜からなる」は、請求項において使用されるとき、特許法の分野で使用されるその通常の意味を有するものとする。
【０２９５】
また、本明細で使用される表現および専門用語は、説明のためであり、限定的であると見なされるべきではない。「含む」、「備える」、「からなる」、「有する」、「包含する」、および「関連する」などの用語、ならびに本明細書におけるその変形態の使用は、その後に列挙する項目およびその均等物、ならびに追加の項目を網羅することを意味する。
【０２９６】
「およそ」および「約」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の±２０％内を意味し、いくつかの実施形態では、目標値の±１０％内を意味し、いくつかの実施形態では、目標値の±５％以内を意味し、いくつかの実施形態では、目標値の±２％以内を意味すると解釈され得る。「およそ」および「約」という用語は、目標値に等しくてよい。
【０２９７】
「実質的に」という用語は、本明細書で使用される場合、いくつかの実施形態では、目標値の９５％内を意味し、いくつかの実施形態では、目標値の９８％内を意味し、いくつかの実施形態では、目標値の９９％以内を意味し、いくつかの実施形態では、目標値の９９．５％以内を意味すると解釈され得る。いくつかの実施形態では、「実質的に」という用語は。目標値の１００％に等しくてよい。
【図１】
2021535465.tif 000003
【図２】
2021535465.tif 000004
【図３】
2021535465.tif 000005
【図４】
2021535465.tif 000006
【図５】
2021535465.tif 000007
【図６】
2021535465.tif 000008
【図７】
2021535465.tif 000009
【図８】
2021535465.tif 000010
【図９】
2021535465.tif 000011
【図１０】
2021535465.tif 000012
【図１１】
2021535465.tif 000013
【図１２】
2021535465.tif 000014
【図１３Ａ】
2021535465.tif 000015
【図１３Ｂ】
2021535465.tif 000016
【図１４Ａ−Ｂ】
2021535465.tif 000017
【国際調査報告】
2021535465.tif 000018
2021535465.tif 000019
2021535465.tif 000020
2021535465.tif 000021