(57)【要約】  本発明は、ユーザに触覚フィードバックを提供するバーチャルリアリティシステムに関する。特に、以下は、バーチャルオブジェクトによって及ぼされる力及び/又はバーチャルオブジェクトのテクスチャの指示をユーザに提供することができるシステムを説明する。バーチャルリアリティシステムは、ユーザに触覚フィードバックを提供するように構成され、コントローラと、ユーザの上腕の向き及び/又は速度及び/又は加速度、並びにユーザの前腕の向き及び/又は速度及び/又は加速度を表す出力データを生成する決定手段とを備え、決定手段は、コントローラに出力データを提供するためにコントローラと通信し、人体の肢に取り付けるための電極のセットをさらに備え、各電極は、刺激信号に基づいて電気刺激をユーザの筋肉に与えるためにコントローラから刺激信号を受信するためにコントローラと通信する。コントローラは、バーチャル環境を定義するように構成され、決定手段から出力データを受信し、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを決定し、バーチャル環境においてユーザのバーチャルハンドを表し、バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするために刺激信号を生成し、コントローラは、シミュレートされた力が第１及び第２の向きに基づいて決定されるように刺激信号を生成するように構成される。
2021514516.tif 000002
【特許請求の範囲】
【請求項１】
ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムであって、
コントローラと、
前記ユーザの上腕の向き及び／又は速度及び／又は加速度、並びに前記ユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する決定手段とを備え、
前記決定手段は、前記コントローラに出力データを提供するために前記コントローラと通信し、
人体の肢に取り付けるための電極のセットをさらに備え、
各電極は、前記コントローラから刺激信号を受信するために前記コントローラと通信し、前記刺激信号に基づいて電気刺激をユーザの筋肉に与え、
前記コントローラは、
バーチャル環境を定義し、
前記決定手段から出力データを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定し、
前記バーチャル環境において前記ユーザのバーチャルハンドを表し、
前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、
前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするための刺激信号を生成するように構成され、
前記コントローラは、前記シミュレートされた力が前記第１及び第２の向きに基づいて決定されるよう、前記刺激信号を生成するように構成される、バーチャルリアリティシステム。
【請求項２】
前記決定手段は、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するように構成され、
前記コントローラは、前記決定手段から出力データを受信し、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するように構成され、
前記コントローラは、前記第１及び前記第２の向き、前記第１及び第２の速度、並びに前記第１及び第２の加速度に基づいて前記刺激信号を生成するように構成される、請求項１に記載のバーチャルリアリティシステム。
【請求項３】
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットを含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。
【請求項４】
前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを含み、
前記コントローラは、前記ビデオカメラからビデオデータを受信し、前記ユーザの上腕の第１の向き及び前記ユーザの前腕の第２の向きを決定するために姿勢認識アルゴリズムを適用するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。
【請求項５】
前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを備え、
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットをさらに含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、前記ユーザの上腕の第１の公称方向及び前記ユーザの前腕の第２の公称方向を決定するように構成され、
前記コントローラは、ビデオカメラからビデオデータを受信し、姿勢認識アルゴリズムを適用して、前記ユーザの上腕の第３の公称方向及び前記ユーザの前腕の第４の公称方向を決定するように構成され、
前記コントローラは、前記第１及び第３の公称方向を用いて上腕の第１の向きを決定し、前記第２及び第４の公称方向を用いて第２の向きを決定するように構成される、請求項１又は請求項２に記載のバーチャルリアリティシステム。
【請求項６】
前記コントローラからタッチ信号を受信するように構成された１つ又は複数の触覚デバイスをさらに備え、
各触覚デバイスは手又は指に装着されるように構成され、それによって振動が指の先端に伝わることができ、
前記コントローラは、前記第１及び第２の向きに基づいて前記タッチ信号を生成するように構成される、請求項１〜請求項５のいずれか１項に記載のバーチャルリアリティシステム。
【請求項７】
前記コントローラは、前記第１及び第２の向き、並びに前記第１及び第２の加速度に基づいて前記タッチ信号を生成するように構成される、請求項６に記載のバーチャルリアリティシステム。
【請求項８】
前記バイブレータは、ソレノイドを備え、
前記コントローラは、前記ソレノイドの振動の周波数及び振幅を表すようにタッチ信号を決定する、請求項６又は請求項７に記載のバーチャルリアリティシステム。
【請求項９】
前記コントローラは、トレーニングモードを有し、
前記トレーニングモードにおいて、前記コントローラは、
複数のターゲットデータポイントを生成するために、１つ又は複数の電極から複数の筋電図データを受信し、
各ターゲットデータポイントについて、前記ユーザの上腕の第１の向き、前記ユーザの前腕の第２の向き、及び前記ユーザが保持する質量を示すデータを含むトレーニングデータを受信し、
機械学習アルゴリズムを前記トレーニングデータ及び前記ターゲットデータに適用して、前記上腕及び前腕の前記向き及び保持される質量から筋肉活動を予測するための予測アルゴリズムを提供するように構成され、
前記コントローラは、シミュレーションモードを有し、
前記シミュレーションモードにおいて、前記コントローラは、
バーチャル環境を定義し、
前記バーチャル環境において前記ユーザのバーチャルハンドを表し、
前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、
１または複数の前記電極から筋電図データを受信し、
前記予測アルゴリズムを用いて、前記上腕及び前腕の前記向き及び所定の質量から筋肉活動を予測し、
前記バーチャルハンドに与えられる力をシミュレートするために刺激信号を生成するステップを実行するように構成され、
前記ステップは、前記予測された筋肉活動から刺激信号を生成することを含む、請求項１〜請求項８のいずれか１項に記載のバーチャルリアリティシステム。
【請求項１０】
前記コントローラは、ユーザの肢のモデルを格納し、
前記バーチャルハンドに与えられる力をシミュレートするために刺激信号を生成する前記ステップは、前記第１及び第２の向き並びに前記所定の質量をモデルに適用することによって刺激信号を生成するステップを含む、請求項１〜請求項９のいずれか１項に記載のバーチャルリアリティシステム。
【請求項１１】
前記決定手段は、さらに、前記ユーザの手の向き及び／又は速度及び／又は加速度を表す出力データを生成するように構成され、
前記コントローラは、前記決定手段から出力データを受信し、前記ユーザの前記手の手の向きを決定するようにさらに構成され、
前記コントローラは、前記第１、第２、及び手の向きに基づいて前記刺激信号を生成するように構成される、請求項１〜請求項１０のいずれか１項に記載のバーチャルリアリティシステム。
【請求項１２】
前記決定手段は、さらに、前記ユーザの手の向き、速度、及び加速度を表す出力データを生成するように構成され、
前記コントローラは、さらに、前記決定手段から出力データを受信し、前記ユーザの手の手の向き、手の速度、及び手の加速度を決定するように構成され、
前記コントローラは、前記第１、第２、及び手の向き、前記第１、第２、及び手の速度、並びに前記第１、第２、及び手の加速度に基づいて前記刺激信号を生成するように構成される、請求項１〜請求項１０のいずれか１項に記載のバーチャルリアリティシステム。
【請求項１３】
ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムであって、
コントローラと、
人体の肢に取り付けるための電極のセットを備え、
各電極は、前記コントローラから刺激信号を受信するために前記コントローラと通信し、前記刺激信号に基づいて電気刺激をユーザの筋肉に与え、
前記電極のセットは、
ユーザの前腕に取り付けるための少なくとも１つの前腕電極と、
ユーザの上腕に取り付けるための少なくとも１つの上腕電極と、
ユーザの掌に取り付けるための少なくとも１つのパーム電極とを含み、
前記コントローラは、
バーチャル環境を定義し、
前記バーチャル環境において前記ユーザのバーチャルハンドを表し、
前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、
前記上腕電極を用いて前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするための上腕刺激信号を生成し、
前記前腕電極を用いて前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするための前腕刺激信号を生成し、
前記パーム電極を用いて前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするための皮膚刺激信号を生成するように構成され、
前記皮膚刺激信号は、周波数及び振幅に関して前記上腕及び前腕刺激信号と異なる、バーチャルリアリティシステム。
【請求項１４】
ユーザに触覚フィードバックを提供するための方法であって、
コントローラを用いてバーチャル環境を定義するステップと、
前記コントローラを用いて前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、
決定手段を用いて、前記ユーザの上腕の向き及び／又は速度及び／又は加速度、並びに前記ユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成し、それによって出力データを前記コントローラに提供するステップと、
前記コントローラを用いて前記ユーザの上腕の第１の向きと前記ユーザの前腕の第２の向きとを決定するステップと、
前記定義された第１及び第２の向きを用いて前記バーチャル環境において前記ユーザのバーチャルハンドを表すステップと、
前記コントローラを用いて刺激信号を生成し、前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするステップであって、前記コントローラが、前記第１及び第２の向きに基づいて前記刺激信号を生成するように構成されるステップと、
前記コントローラからの刺激信号に基づいて、前記刺激信号に基づく電気刺激を前記ユーザの前記筋肉に与えるステップとを備える、方法。
【請求項１５】
出力データを生成する前記ステップは、前記決定手段を用いて、前記ユーザの上腕の向き、速度及び加速度、並びに前記ユーザの前腕の向き、速度及び加速度を表す出力データを生成するステップを含み、
前記コントローラで決定する前記ステップは、前記ユーザの上腕の第１の向き、第１の速度及び第１の加速度、並びに前記ユーザの前腕の第２の向き、第２の速度及び第２の加速度を決定するステップを含み、
刺激信号を生成する前記ステップは、前記第１及び第２の向き、前記第１及び第２の速度、並びに前記第１及び第２の加速度に基づいて刺激信号を生成するステップを含む、請求項１４に記載の方法。
【請求項１６】
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットを含み、
各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、
各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記ユーザの上腕の前記第１の向き及び前記ユーザの前腕の前記第２の向きを決定するために前記センサユニットのうちの１つ又は複数からセンサデータを受信するように構成される、請求項１４又は請求項１５に記載の方法。
【請求項１７】
前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを備え、
前記コントローラを用いて決定する前記ステップは、
前記ビデオカメラからビデオデータを受信するステップと、
前記ユーザの上腕の前記第１の向き及び前記ユーザの前腕の前記第２の向きを決定するために姿勢認識アルゴリズムを適用するステップとを含む、請求項１４又は請求項１５に記載の方法。
【請求項１８】
前記決定手段は、ビデオデータを前記コントローラに提供するために前記コントローラと通信するビデオカメラを備え、
前記決定手段は、人体の腕に取り付けるためのセンサユニットのセットをさらに含み、各センサユニットは、前記センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、各センサは、前記コントローラにセンサデータを提供するために前記コントローラと通信し、
前記コントローラは、前記センサユニットのうちの１つ又は複数からセンサデータを受信し、前記ユーザの上腕の第１の公称方向及び前記ユーザの前腕の第２の公称方向を決定するように構成され、
前記コントローラは、前記ビデオカメラからビデオデータを受信し、姿勢認識アルゴリズムを適用して、前記ユーザの上腕の第３の公称方向及びユーザの前腕の第４の公称方向を決定するように構成され、
前記コントローラは、前記第１及び第３の公称方向を用いて上腕の第１の向きを決定し、前記第２及び第４の公称方向を用いて第２の向きを決定するように構成される、請求項１４又は請求項１５に記載の方法。
【請求項１９】
１つ又は複数の触覚デバイスが提供され、それぞれが手又は指に装着されるように構成され、
前記コントローラを用いて、前記第１及び第２の向きに基づいてタッチ信号を生成するステップと、
各触覚デバイスを作動させ、それによって振動を１つまたは複数の指の先端に伝達するステップとを備える、請求項１４〜請求項１８のいずれか１項に記載の方法。
【請求項２０】
前記コントローラは、前記第１及び第２の向き、並びに前記第１及び第２の加速度に基づいて前記タッチ信号を生成するように構成される、請求項１９に記載の方法。
【請求項２１】
前記バイブレータはソレノイドを備え、
前記コントローラは、前記ソレノイドの振動の周波数及び振幅を表すようにタッチ信号を決定する、請求項１９又は請求項２０に記載の方法。
【請求項２２】
前記コントローラは、トレーニングモードを有し、
前記コントローラは、前記トレーニングモードにおいて、
１つ又は複数の電極から複数の筋電図データを受信し、それによって、複数のターゲットデータポイントを生成するステップと、
各ターゲットデータポイントについて、前記ユーザの上腕の第１の向き、前記ユーザの前腕の第２の向き、及び前記ユーザが保持する質量を示すデータを含むトレーニングデータを受信するステップと、
機械学習アルゴリズムを前記トレーニングデータ及び前記ターゲットデータに適用して、前記上腕及び前腕の前記向き及び保持される質量から筋肉活動を予測するための予測アルゴリズムを提供するステップとを実行するように構成され、
前記コントローラは、シミュレーションモードを有し、
前記コントローラは、前記シミュレーションモードにおいて、
バーチャル環境を定義するステップと、
前記バーチャル環境において前記ユーザのバーチャルハンドを表すステップと、
前記バーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、
１または複数の前記電極から筋電図データを受信するステップと、
前記予測アルゴリズムを用いて、前記上腕及び前腕の前記向き及び所定の質量から筋肉活動を予測するステップと、
前記バーチャルハンドに与えられる力をシミュレートするために刺激信号を生成するステップとを実行するように構成され、
前記ステップは、前記予測された筋肉活動から刺激信号を生成することを含む、請求項１４〜請求項２１のいずれか１項に記載の方法。
【請求項２３】
前記コントローラは、前記ユーザの肢のモデルを格納し、
前記バーチャルハンドに与えられる力をシミュレートするために刺激信号を生成する前記ステップは、前記第１及び第２の向き並びに前記所定の質量を前記モデルに適用することによって刺激信号を生成するステップを含む、請求項１４〜請求項２２のいずれか１項に記載の方法。
【請求項２４】
前記決定手段を用いて前記ユーザの手の向き及び／又は速度及び／又は加速度を表す出力データを生成し、
前記決定手段から出力データを前記コントローラで受信し、前記ユーザの前記手の手の向きを決定し、
前記コントローラは、前記第１、第２、及び手の向きに基づいて前記刺激信号を生成する、請求項１４〜請求項２３のいずれか１項に記載のバーチャルリアリティシステム。
【請求項２５】
前記決定手段を用いて、前記ユーザの手の向き、速度及び加速度を表す出力データを生成し、
前記決定手段から出力データを前記コントローラで受信し、それによって前記ユーザの手の手の向き、手の速度、及び手の加速度を決定し、
前記コントローラは、前記第１、第２、及び手の向き、前記第１、第２、及び手の速度、並びに前記第１、第２、及び手の加速度に基づいて刺激信号を生成する、請求項１４〜請求項２３のいずれか１項に記載のバーチャルリアリティシステム。
【請求項２６】
ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムであって、
バーチャル環境を定義するステップと、
前記バーチャル環境において前記ユーザのバーチャルハンドを表すステップと、
前記バーチャル環境において所定の質量でバーチャルオブジェクトを表すステップと、
皮膚刺激信号を生成し、前記バーチャルオブジェクトによって前記バーチャルハンドに与えられる力をシミュレートするステップと、
前記刺激信号に基づいて電気刺激をユーザの前記筋肉に与えるステップとを備える、バーチャルリアリティシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザに触覚フィードバックを提供するバーチャルリアリティシステムに関する。特に、以下は、バーチャルオブジェクトによって加えられる力の表れ及び／又はバーチャルオブジェクトのテクスチャの表れをユーザに提供することができるシステムを説明する。
【０００２】
テクスチャの表れを提供するために振動信号を提供することは、この技術分野において知られている。
【０００３】
バーチャルリアリティシステムを使用する場合、ユーザによって操作される装置を介して力のフィードバックを提供することも知られている。
【０００４】
この技術分野では、バーチャルオブジェクトによって与えられるテクスチャ及び力のより正確な表現と、ユーザによって保持される装置の使用に依存しない表現とを提供することが依然として必要である。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明によれば、以下の特許請求の範囲によって定義されるシステム及び方法が提供される。
【０００６】
システムは、ユーザに触覚フィードバックを提供するように構成される。触覚フィードバックは、電極のセットによってユーザの筋肉に与えられる電気的刺激の形式であってもよい。このようにしてシミュレートされた重量を有するバーチャルオブジェクトは、ユーザの手に実際には加重されていないにもかかわらず、ユーザの手に「感じ」させることができる。
【０００７】
システムは、シミュレートされた力が、その力が加えられている肢の位置を考慮するよう、電気刺激を生成してもよい。荷重に抵抗するためのユーザの筋肉の活動が、肢の向きに依存するので、このことは都合がよい。
【０００８】
同様に、システムは、テクスチャをシミュレートする際に、肢の向きを考慮してもよい。
【０００９】
本発明によれば、特許請求の範囲で定義されるシステム及び方法が提供される。
本発明の第１の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、コントローラと、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する決定手段とを備え、決定手段は、コントローラに出力データを提供するためにコントローラと通信し、人体の肢に取り付けるための電極のセットをさらに備え、各電極は、コントローラから刺激信号を受信するためにコントローラと通信し、刺激信号に基づいて電気刺激をユーザの筋肉に与える。
【００１０】
コントローラは、バーチャル環境を定義し、決定手段から出力データを受信し、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを決定し、バーチャル環境においてユーザのバーチャルハンドを表し、バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための刺激信号を生成するように構成され、コントローラは、第１及び第２の向きに基づいて刺激信号を生成するように構成される。
【００１１】
本発明の第２の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、コントローラと、人体の肢に取り付けるための電極のセットを備え、各電極は、コントローラから刺激信号を受信するためにコントローラと通信し、刺激信号に基づいて電気刺激をユーザの筋肉に与え、電極のセットは、ユーザの前腕に取り付けるための少なくとも１つの前腕電極と、ユーザの上腕に取り付けるための少なくとも１つの上腕電極と、ユーザの掌に取り付けるための少なくとも１つのパーム電極とを含む。
【００１２】
コントローラは、バーチャル環境を定義し、バーチャル環境においてユーザのバーチャルハンドを表し、バーチャル環境において所定の質量を有するバーチャルオブジェクトを表し、上腕電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための上腕刺激信号を生成し、前腕電極を用いて、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための前腕刺激信号を生成し、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための皮膚刺激信号を生成するように構成され、皮膚刺激信号は、周波数及び振幅に関して上腕及び前腕刺激信号と異なる。皮膚刺激信号並びに上腕及び前腕刺激信号は、第１又は第３の態様と同様に生成され得る。
【００１３】
本発明の第３の態様によれば、ユーザに触覚フィードバックを提供するための方法は、コントローラを用いてバーチャル環境を定義するステップと、コントローラを用いてバーチャル環境において所定の質量を有するバーチャルオブジェクトを表すステップと、決定手段を用いて、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成し、それによって出力データをコントローラに提供するステップと、コントローラを用いてユーザの上腕の第１の向きとユーザの前腕の第２の向きとを決定するステップと、定義された第１及び第２の向きを用いてバーチャル環境においてユーザのバーチャルハンドを表すステップと、コントローラを用いて刺激信号を生成し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするステップであって、コントローラが、第１及び第２の向きに基づいて刺激信号を生成するように構成されるステップと、コントローラからの刺激信号に基づいて、刺激信号に基づく電気刺激をユーザの筋肉に与えるステップとを備える。
【００１４】
本発明の第４の態様によれば、ユーザに触覚フィードバックを提供するように構成されたバーチャルリアリティシステムは、バーチャル環境を定義するステップと、バーチャル環境においてユーザのバーチャルハンドを表すステップと、バーチャル環境において所定の質量でバーチャルオブジェクトを表すステップと、皮膚刺激信号を生成し、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするステップと、刺激信号に基づいて電気刺激をユーザの筋肉に与えるステップとを備える。皮膚刺激信号は、第１又は第３の態様のように生成されてもよい。
【００１５】
本発明のより良い理解のため、及びそれが如何に実施され得るかを示すため、あくまでも例として、添付の図面の参照はなされる。
【図面の簡単な説明】
【００１６】
【図１Ａ】本発明による刺激方法の一実施形態を示す図である。
【図１Ｂ】本発明による刺激方法の一実施形態を示す図である。
【図２】本発明による刺激信号を生成する方法の一実施形態を示す図である。
【図３】開示される方法を実施するための本発明によるシステムの概略図である。
【図４】開示される方法を実施するための本発明によるシステムの一実施形態を示す。
【図５】開示される方法を実施するための本発明によるシステムの一実施形態を示す。
【発明を実施するための形態】
【００１７】
この技術分野において知られているように、バーチャルリアリティシステムは、ディスプレイを含む少なくとも１つのヘッドマウントデバイス５を備える。ヘッドマウントデバイス５は、ユーザの頭の位置及び向きを検知するセンサを含む。バーチャル環境におけるアイテムの位置は、これに対して定義され得る。
【００１８】
図３の概略図から見て取れるように、本発明によるバーチャルリアリティシステムは、また、コントローラ１と、ユーザの肢の向きを表す出力データを生成する決定手段２と、肢に取り付けるセットの電極３とを備える。選択的に、触覚デバイス４が提供されてもよい（これらは以下で説明される）。
【００１９】
決定手段２及び各電極３は、コントローラ１と通信する。
各電極３は、刺激信号に基づいてユーザの筋肉に電気刺激を与えるためにコントローラ１から刺激信号を受信するように構成される。電気刺激は、筋肉が所定の張力で収縮するように刺激するように構成される。
【００２０】
電極３には共通の接地電極が設けられてもよい。しかしながら、電極３は、クロストーク（すなわち、ある信号が他の信号へ重ね合わさること）を避けるためにペアで設けられることが好ましい。ペアで提供される場合、刺激信号は、ペアの他方の電極が接地として働く状態で、ペアの一方の電極３に与えられるであろう。
【００２１】
以下で説明するように、コントローラ１は、ユーザの手に与えられる力をシミュレートするための刺激信号を生成する。
【００２２】
決定手段２は、ユーザの上腕の向き及び／又は速度及び／又は加速度、並びにユーザの前腕の向き及び／又は速度及び／又は加速度を表す出力データを生成する。決定手段２は、出力データをコントローラ１に提供する。
【００２３】
コントローラ１は、決定手段２から出力データを受け取り、その出力データを用いて、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを推定する。好ましくは、決定手段２はまた、ユーザの手の第３の向き、及び選択的には、ユーザの体の第４の向き（例えば、これは、ユーザの肩の位置の間に延びる線の向きの推定であってもよい。）を推定する。
【００２４】
好ましい一実施形態では、決定手段２ａは、人体の腕に取り付けるためのセンサユニットのセットを含み、各センサユニットは、センサユニットの向き及び／又は加速度を表す出力データを生成するように構成され、各センサユニットは、コントローラ１にセンサデータを提供するためにコントローラ１と通信する。
【００２５】
例えば、センサユニットのセットは、複数の三次元コンパスを含んでもよく、それらは、向きを表すデータを出力する。ユーザの少なくとも１つの腕（及び好ましくは各腕）のため、その上腕及び前腕の各々、並びに好ましくは手及び／又は肩に、三次元コンパスが設けられる。
【００２６】
これに替えて、又は加えて、センサユニットのセットは、複数の加速度計又は慣性測定ユニットを含んでもよい。ユーザの少なくとも１つの腕（及び好ましくは各腕）に対して、その上腕及び前腕の各々、並びに好ましくは手及び／又は肩に、慣性測定ユニットが設けられる。各慣性測定ユニットは、測定された向きを表すデータを出力するように構成される。最も好ましくは、ユーザの少なくとも１つの腕（及び好ましくは各腕）に対して、１つ又は複数の慣性測定ユニットがその上腕に対して設けられ、１つ又は複数の慣性測定ユニットがその前腕に対して設けられる。好ましくは、１つ又は複数の慣性測定ユニットが肩に設けられてもよい。選択的に、１つ又は複数の慣性測定ユニットが手に設けられてもよい（以下でさらに論じる）。
【００２７】
選択的に、指の向きは、監視対象の各指の上の慣性測定ユニットを用いて、同様の方法で監視されてもよい。
【００２８】
測定された加速度を使用すると、上腕及び前腕（一方又は両方の腕に対する）の向き、または、選択的に手及び／又は肩の向きを推定することが可能である。理想的には、加速度計又は慣性測定ユニットは、ユーザの身体に対して装着可能又はそうでなければ固定可能であるとよい。
【００２９】
上腕及び前腕（また、選択的に、手及び／又は肩も）の向きから、腕の関節の位置、体に対する腕の伸びなどの推定を導くことが可能である。
【００３０】
代替的な好ましい実施形態では、又は補足的な特徴として、決定手段２ｂは、ビデオデータをコントローラ１に提供するため、コントローラ１と通信するビデオカメラ（可視光及び／又は赤外線）を含む。この使用は、図２のステップ２０５に示されている。
【００３１】
コントローラ１は、ビデオカメラからビデオデータを受信し、一方又は両方の腕に姿勢認識アルゴリズム及び／又は姿勢追跡アルゴリズムを適用して、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを推定するように構成される。選択的に、決定手段２はまた、ユーザの手の第３の向き、及び、選択に、ユーザの体の第４の向きを推定する。
【００３２】
いくつかの実施形態では、決定手段２ａ、２ｂの両方のタイプが提供されてもよい。各決定手段２ａ、２ｂによって出力された、推定された第１及び第２の向きは、融合／合成され得る（例えば、各決定手段２ａ、２ｂによって導きかれた方向の平均化によって）。
【００３３】
ヘッドマウントデバイス５はまた、カメラ７を含んでもよい。カメラ７は、前方及び一般的に後方に向けることができ、広視野角を有してもよい。カメラは可視光カメラまたは赤外線カメラでもよい。
【００３４】
任意の実施形態では、バーチャルリアリティシステムは、片手又は各手用のグローブを含むことができ、グローブは、指の曲げ／伸ばしを検知するためのセンサを含む。例えば、各指の背側（掌側とは反対側）に沿って延びるように配置された歪みゲージがそこに存在してもよい。
【００３５】
好ましい実施形態では、触覚フィードバックは、テクスチャ及び／又はタッチフィードバックを含んでいてもよく、その場合、バーチャルリアリティシステムは、それぞれが指に取り付けられる１つ又は複数の触覚デバイス４も備えるであろう。触覚デバイス４は、タッチ信号に応答して振動を与え、及び／又はタッチ信号に応答して一定の圧力を与えるように構成されてもよい。したがって、各触覚デバイス４に対するタッチ信号は、バーチャル指先とバーチャルオブジェクトとの間の接触力、及び／又はバーチャルオブジェクトに沿って動くバーチャル指先によって感じられるであろうテクスチャを特徴付けることができる。
【００３６】
各触覚デバイス４は、振動を指の先端に伝達することができるように、手又は指に装着されるように構成される。例えば、１つ又は２つのグローブに、グローブの各指の先端に取り付けられた触覚デバイス４が提供されてもよい。
【００３７】
触覚デバイス４としては、偏心回転モータ、線形共振アクチュエータ、ボイスコイル、圧電アクチュエータ、又はソレノイドなど、任意の振動触覚デバイスが使用され得る。
【００３８】
好ましくは、触覚デバイス４は、圧電デバイス、又はより好ましくは、ソレノイド（例えば、プッシュープル型ソレノイド）であってもよい。ソレノイドが好ましく、その理由はそれらは、一定の力、より低い周波数におけるより強い振動、及び広い周波数帯域の振動を提供することができるからである。
【００３９】
触覚デバイス４は、コントローラ１からタッチ信号を受信するように構成される。
好ましい実施形態では、電極３は、図４に見られるように衣服に組み込まれる。同様に、決定手段２ａが使用される場合、これも衣服に組み込まれ得る。
【００４０】
コントローラ１は、以下に記載する方法の１つ又はすべてを実行するように構成してもよい。
【００４１】
ユーザの片腕に与える力をシミュレートする方法について以下に説明する。しかしながら、これは両方のアームに対して行われることが好ましい。また、これは、例えば、異なる重力を有する環境、又はおそらく水中環境をシミュレートするため、一方又は両方の脚（ここで、上腕の言及は上腿に対応し、前腕の言及は下腿に対応する）に対して行われ得ることも想定される。
【００４２】
図１Ａ、１Ｂに見られるように、力をシミュレートする方法の一実施形態は、バーチャル環境においてバーチャルオブジェクトを定義するステップ１００と、ユーザの対応する腕を表すためのバーチャルアームを生成するステップ２００と、バーチャルアームとバーチャルオブジェクトがいつ接触したかを識別するステップ３００と、そのような接触によってそのような物体がそのような腕に与えたであろう力を計算するステップ３３０，３４０と、バーチャルアームの向きに基づいて刺激信号を生成するステップ３５０とを備える。
【００４３】
バーチャル環境においてバーチャルオブジェクトを定義するステップ１００は、バーチャル環境におけるオブジェクトの質量及び位置を表すバーチャルオブジェクトデータを格納するステップ１５０を含んでもよい。バーチャルオブジェクトデータはまた、オブジェクトの表面上のテクスチャ（例えば、表面からの突起の高さを表す２次元アレイ）を定義するテクスチャデータを含んでもよい。選択的に、バーチャルオブジェクトデータはまた、速度、加速度、及び／又は振動特性のうちの１つ又は複数も含んでもよい。オブジェクトの振動特性は、オブジェクトがどのように接触に対して反応するかを表し得る。これらは、圧力の強度、振動の強度及び／又は周波数、振動の周波数スペクトル、オブジェクトへの指の貫通又はオブジェクトに沿った指の動きに対する振動の強度／振動の周波数の依存性のうちの１または複数を含み得る。
【００４４】
バーチャルアームを生成するステップ２００は、上腕及び前腕を含む２パートのバーチャルアームを生成すること、又は上腕及び前腕並びに肩及び／又は手を含む３パート又は４パートのバーチャルアームを生成することを含んでもよい。
【００４５】
バーチャルアーム２００を生成するステップは、ユーザの上腕及び前腕の長さを表す腕データを記憶することを含んでもよい（これは以下でさらに説明される）。選択的に、肩間の距離及び／又は手のサイズも格納される。
【００４６】
さらに、バーチャルアーム２００を生成するステップはまた、ステップ２１０において、コントローラ１が、決定手段２からユーザの上腕及び前腕の向きを表す出力データを取得し、それによって、ユーザの上腕の第１の向き及びユーザの前腕の第２の向きを決定することを含んでもよい。
【００４７】
選択的に、ステップ２１０はまた、コントローラ１が、決定手段２のセンサユニットのうちの１つ又は複数からセンサデータを受信し、ユーザの上腕の第１の速度及び／又は加速度と、ユーザの前腕の第２の速度及び／又は加速度とを決定することを含んでもよく、それによって、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を決定する。
【００４８】
ステップ２２０では、第１及び第２の向きから、ユーザの腕（肩、肘、手首）の関節の位置及び伸びが、腕データを用いて推定され得る（例えば、ヘッドマウントデバイスに関して）。したがって、ユーザの手の位置が決定され得る。
【００４９】
ステップ２１０及び２２０の代わりに、又はそれと組み合わせて、ステップ２０５は、姿勢認識アルゴリズム及び／又は姿勢追跡アルゴリズムを適用するためにビデオカメラ（好ましくは赤外線カメラ）を利用し、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を推定することができ、それによって、ユーザの上腕の第１の速度及び／又は加速度、並びにユーザの前腕の第２の速度及び／又は加速度を決定する。
【００５０】
選択的に、ユーザの手の指の位置は、任意選択のステップ２２５、２３０、２４０に関して以下で論じるように決定され得る。
【００５１】
さらに、好ましい実施形態では、これらの量のいずれかの第１の導関数及び第２の導関数が推定され得る（すなわち、アームセグメントの速度及び加速度、並びに関節の周りの角速度及び加速度）。
【００５２】
ステップ２２０は、インバースキネマティクスの周知の技術を用いて実行されてもよい。
【００５３】
ステップ２５０では、決定手段２を用いて導出された実世界におけるユーザの腕の対応する量に一致するように、バーチャルアームのバーチャル環境における位置及び角度が設定される。任意選択のステップ２３０及び２４０の一方又は両方が提供される場合、これらは、ステップ２５０において、ステップ２２０の結果と融合／結合される。
【００５４】
ステップ２００〜２５０は、上腕及び前腕のみを含む２パートのバーチャルアームに関して説明されているが、肩及び／又は手もバーチャルアームに含まれてもよい。
【００５５】
ステップ３００では、バーチャルアームとバーチャルオブジェクトとの間に接触があるかどうかが確認される。
【００５６】
ステップ３３０及び３４０は、電極３を用いてユーザの筋肉に電気刺激を与えるための適切な刺激信号を計算するための代替的な方法である。これらについては、後に詳述する。
【００５７】
ステップ３３０及び３４０の出力は、刺激信号のパラメータであってもよい。例えば、パラメータは、振幅（電力、電圧又は電流）、周波数、パルス形状（例えば、三角形、正方形、正弦波）、パルス極性、及び／又はパルス幅変調パラメータ（例えば、デューティサイクル）のうちの１つまたは複数を含んでもよい。
【００５８】
ステップ３３０及び３４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（出力は、例えば、平均化によって、融合／合成され得る）。
【００５９】
ステップ３５０において、コントローラ１は、ユーザに刺激を与えるように刺激信号を出力する。
【００６０】
具体的には、ステップ３５０は、電極３を用いてユーザの腕の筋肉に電気刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ａを含んでもよい。
【００６１】
ステップ３５０は、接触をシミュレートするために電極３を用いてユーザの掌に電気的刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ｂを含んでもよい。
【００６２】
ステップ３５０は、触覚デバイス４を用いてユーザの指の１つ又は複数に振動信号及び／又は圧力を与えるように、コントローラ１がタッチ信号を出力するステップ３５０ｃを含んでもよい。
【００６３】
したがって、実施形態は、ユーザの腕のより大きい筋肉、例えば、ユーザの手の指の曲げ又は伸びに使用される、二頭筋、三頭筋、及び前腕の筋肉、に与えられる荷重をシミュレートするために使用され得る。
【００６４】
指ごとに（もし、両方を監視する場合、腕ごとに）慣性測定ユニットを設けることが可能である。これは、図１Ａのステップ２２５によって示される。
【００６５】
しかしながら、好ましい実施形態では、指の位置は、上腕及び前腕の位置とは異なる方法で推定されてもよい。
【００６６】
バーチャルリアリティシステムは、カメラを含んでもよい。例えば、図５に示されるように、ヘッドマウントデバイス５は、カメラを含んでもよい。カメラは、前方及び一般的には下方に向けることができ、広視野角を有してもよい。カメラは可視光カメラでも赤外線カメラでもよい。
【００６７】
ステップ２３０では、カメラは、ユーザの手の画像を捕捉し、既知のマシンビジョン及びトラッキングアルゴリズムを適用して、カメラによって捕捉された１つ又は複数の画像を処理することによって指の位置を推定する。指の位置データは、コントローラ１に渡される。
【００６８】
あるいは、バーチャルリアリティシステムは、片手又は両手の手袋を含んでもよく、手袋は、指の曲げ／伸ばしを検知するためのフィンガーポジションセンサを含む。例えば、各指の背側（掌側とは反対側）に沿って延びるように配置された歪みゲージがそこにあってもよい。
【００６９】
ステップ２４０において、コントローラ１は、フィンガーポジションセンサから受信した信号を用いて指の位置を推定する。
【００７０】
ステップ２３０及び２４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（指の位置は、例えば、平均することによって融合／結合することができる）。
【００７１】
選択的に、ステップ３１０では、バーチャルアームとバーチャルオブジェクトとの間の接触が、バーチャルハンドがバーチャルオブジェクトをつかんでいるようなものであるかどうかが確認される。例えば、このような決定は、単に、接触があるかどうか（ステップ３００で決定される）、及び手の指がつかんだ形状を形成するかどうか（ステップ２３０及び／又は２４０で決定される）を識別することによって行うことができる。
【００７２】
バーチャルオブジェクトがつかまれた場合、ステップ３２０が実行される（ステップ３３０及び／又は３４０に加えて）。
【００７３】
ステップ３２０において、コントローラ１は、電極３を用いてユーザの前腕の筋肉に電気的刺激を与えるための適切な刺激信号を計算する。刺激信号は、隣接する肘関節の角度の関数として生成されてもよい（例えば、刺激信号の振幅は、隣接する肘関節の角度（上腕と前腕との間の角度）の関数であってもよい）。追加的に又は代替的に、刺激信号は、ユーザの手の幾何学的構成を考慮した現実的な負荷をシミュレートすることができるように、ユーザの指及び手の角度に基づいて計算されてもよい。
【００７４】
選択的に、以下に記載するように、ユーザの掌は、電極３によって刺激されてもよい。以下で説明するように、異なる刺激信号が掌に適切であろう。
【００７５】
ステップ３５０は、電極３を用いてユーザの腕の筋肉に電気刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ａを含んでもよい。
【００７６】
そのような実施形態では、ステップ３５０はまた、電極３を用いて接触をシミュレートするためにユーザの掌に電気的刺激を与えるように、コントローラ１が刺激信号を出力するステップ３５０ｂを含んでもよい。
【００７７】
バーチャルオブジェクトデータが、オブジェクトの表面上にテクスチャを定義するテクスチャデータを含み、バーチャルリアリティシステムが触覚デバイス４を含む実施形態では、ステップ３５０はまた、コントローラ１が触覚デバイス４を用いてユーザの指のうちの１つ又は複数に振動信号及び圧力を与えるようにタッチ信号を出力するステップ３５０ｃを含んでもよい。タッチ信号は、意図された振動の周波数及び振幅の両方をエンコードしてもよい。
【００７８】
たとえば、ユーザの指の１つ又は複数がオブジェクトに接触すると決定されるとき、接触点におけるオブジェクトのテクスチャに基づいてタッチ信号が生成されてもよい。指とオブジェクトとの相対運動は、例えば、振動の周波数又は圧力レベルを決定するために、タッチ信号の生成において使用されてもよい。有利な観点においては、振動の振幅は、バーチャルオブジェクトによってバーチャルハンドに加えられる力に基づいて（少なくとも部分的に）決定されてもよい。力は、オブジェクトの質量及びバーチャルハンドの向きに基づいて決定され得る。したがって、コントローラ１は、第１の方向及び第２の方向に基づいてタッチ信号を生成するように構成されてもよい。
【００７９】
腕の位置及び向きの第１の導関数及び第２の導関数（例えば、アームセグメントの速度及び加速度、並びに関節の周りの角速度及び加速度）が推定される実施形態では、これは、力を決定するために、バーチャルオブジェクトの位置、速度、加速度、及び質量パラメータと組み合わせて使用され得る。したがって、コントローラ１は、第１及び第２の向き、及び／又は第１及び第２の速度及び／もしくは加速度に基づいてタッチ信号を生成するように構成されてもよい。
【００８０】
２つのステップ３３０、３４０は、代替的に、又は組み合わせて、適切な刺激信号を計算する。これらは図２に並列に示されており、そこにおいて、ステップ３３０はオプション４００ａを含み、ステップ３４０はオプション４００ｂを含む点で異なる。２つのステップ４００ａ、４００ｂの出力は、２つの代替的に提案される筋肉活動を組み合わせることによって（例えば、平均化することによって）融合／結合されてもよい。
【００８１】
ステップ３３０は、腕のフィジカルモデルを利用し、そのモデルは、上腕及び前腕の位置及び角度を含み、選択的に手及び／又は肩の向きも含む。ステップ３３０は、予め定めた負荷（例えば、バーチャルオブジェクトの重み）によって与えられる力をシミュレートするために、各電極３に与える適切な筋肉活動を計算する。
【００８２】
フィジカルモデルは、以下を表すパラメータを含む。
・刺激される各筋肉の筋肉タイプ。
【００８３】
・刺激される筋肉の位置（例えば、筋肉がその周りに作用する関節）。
・刺激される筋肉の長さ（収縮した筋肉は、弛緩した筋肉とは異なる刺激を必要とする）。これは、関節角度から推定することができる。
【００８４】
・各筋肉に対する対応するアゴニスト／アンタゴニスト（反対の意識で作用する筋肉、例えば、二頭筋ＶＳ．三頭筋）。筋肉がその周りに作用する関節を安定化するため、筋肉が対で活動されることは普通のことである。
【００８５】
・共活動の時間。アゴニストは、所定の遅延の後に誘発され得る。
・ランダム性。筋肉刺激は、短時間（例えば、１００ｍｓ未満）で非活動化され得る。これは、システムの人工感を少なくし、疲労をシミュレートすることができる。
【００８６】
・疲労。これは、筋肉の刺激周波数及び振幅を調節すること（例えば、筋肉の特定の長い高レベルの活動化の後に、周波数及び振幅を減少させる）によってモデリングすることができる。
【００８７】
推定された上腕の向き及び前腕の向き（任意選択的に、手及び／又は肩の向き）並びにバーチャルオブジェクト質量を、瞬間的／静的な力を考慮するか、又は選択的に、モデルを上腕、前腕、及びバーチャルオブジェクトの速度及び加速度で補足するかのいずれかで、フィジカルモデルに適用することにより、実世界におけるそのようなオブジェクトにより各筋肉が受けるであろう力を計算することが可能である。
【００８８】
このようにして、ステップ４００ａでは、各電極３によって対応する筋肉に適用されるべき筋肉活動が、その後、フィジカルモデル並びに推定された上腕及び前腕の向き及びバーチャルオブジェクトの質量を用いて、計算される。
【００８９】
続いて、ステップ４２０では、各電極３に対する刺激信号のパラメータが計算されて、特定の筋肉活動を達成する。ステップ３３０及び３４０の出力は、刺激信号のパラメータであってもよい。パラメータは、振幅（電圧及び／又は電流）、周波数、及び／又はパルス幅変調パラメータ（例えばデューティサイクル）のうちの１つまたは複数を含んでもよい。好ましくは、パラメータは、異なる筋肉に応じて異なって計算される（例えば、２つの異なる筋肉によって与えられる同じ力は、異なる刺激信号をもたらす）。これは、力のより現実的なシミュレーションを提供することができる。
【００９０】
ステップ３４０は、推定された向き及びバーチャルオブジェクトの質量から適切な筋肉活動を予測するようにトレーニングされた予測アルゴリズムを利用する。
【００９１】
発明者らは、筋肉活動をモデリングするのに適したデータは、腕の筋肉の自然な活動を用いてトレーニングされる予測アルゴリズム（人工神経ネットワークなど）を用いて、腕の位置及びオブジェクトの質量から直接推定されるであろうことを理解した。好ましくは、これは、筋肉の刺激（あるいは、しかしあまり好ましくはないが、異なる電極を設けることができる）に使用される電極３を用いて測定され得る。言い換えれば、電極３は、それゆえに筋電図データを提供するために使用されることができ、上腕及び前腕の向き並びにユーザの手に保持された質量は、予測アルゴリズムを用いて筋電図データ上にマッピングされ得る。
【００９２】
具体的な例として、ニューラルネットワークなど、各筋肉に対する予測アルゴリズムは、上腕及び前腕の向き（並びに選択的に、速度及び加速度データ）の連結と、ユーザの手に保持された質量の値（様々な質量及び向きが使用される）と、測定された筋肉活動に対応するターゲットデータと、によって形成される複数の入力ベクトルを含むトレーニングデータによってトレーニング（たとえば、逆伝播を用いて）されてもよい。
【００９３】
好ましい実施形態では、ターゲットデータを生成するために使用される測定された筋肉活動は、刺激信号を定義する同じパラメータ（又はそのサブセット）によって特徴付けられてもよい。好ましくは、少なくとも振幅及び周波数は、ターゲットデータに含まれる。選択的に、ターゲットデータは、共活動化及び疲労をモデリングするための時間変数を含むことができる。
【００９４】
予測アルゴリズムは、一旦、トレーニングされると、入力ベクトル及び向きの連結（及び、選択的に、速度及び加速度データ）を提示され得、筋肉活動を特徴付ける対応するデータの予測（周波数及び振幅、及び選択的に、時間変数）を出力することができる。出力データは、電気刺激信号を生成するために使用することができる。
【００９５】
パルス幅変調など、刺激を特徴付けるために使用され得る他のパラメータは、異なる方法（たとえば、ルックアップテーブル）を用いて提供され得る。
【００９６】
他の実施形態のように、手及び／又は肩の向き（並びに選択的に、速度及び加速度データ）並びに測定された筋肉活動が考慮され得る。
【００９７】
したがって、ステップ４００ａの分析手法とは対照的に、ステップ４００ｂは、筋電図データを予測アルゴリズムへの入力として利用して、必要な筋肉活動に直接マッピングする。
【００９８】
ステップ３３０及び３４０は、代替的な方法であってもよく、又は組み合わせて使用されてもよい（出力は、例えば平均化によって融合／合成され得る）。
【００９９】
上記の説明では、各筋肉電極３は、コントローラ１から筋肉刺激信号を受信し、筋肉が収縮するように刺激するように構成されるが、発明者らは、電極が、圧力の感覚を提供するために皮膚にも刺激を与えることができることを理解した。したがって、皮膚刺激信号に基づいてユーザの手の皮膚に電気的刺激を与えるために、１つ又は各々の掌にパーム電極６を設けることも好ましい。皮膚刺激信号は、接触感を提供するために皮膚を刺激するように構成される。
【０１００】
内側にある筋肉を刺激することなく皮膚を刺激するために、パーム電極６によって与えられる電力及び／又は電圧及び／又は電流は、筋肉電極３によって与えられる電力及び／又は電圧及び／又は電流よりも低くなる。
【０１０１】
したがって、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするために皮膚刺激信号を生成するステップ３５０ｂが、好ましいものの、選択的なステップとして存在する。
【０１０２】
皮膚刺激信号は、オブジェクトと手の掌との間の接触力に応じて変えることができ、それゆえ、上述の方法及び装置を利用することができる。
【０１０３】
そのようなバーチャルリアリティシステムの一実施形態は、ユーザの片腕又は両腕に対して、ユーザの掌に取り付けるための少なくとも２つのパーム電極６を備える。好ましくは、電極は、ユーザの掌の両側（例えば、拇指球及び小指球の筋肉の上）に配置される。上記の実施形態のいずれかで与えられる機能に加えて、コントローラ１は、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための皮膚刺激信号を生成するように構成される。
【０１０４】
皮膚刺激信号は、振幅、並びに選択的に、パルス幅及び周波数に関して上腕及び前腕刺激信号と異なる。
【０１０５】
バーチャルリアリティシステムの好ましい実施形態は、ユーザの一方又は両方の腕に対して、ユーザの前腕に取り付けるための少なくとも１つ、好ましくは２つの前腕電極３と、ユーザの上腕に取り付けるための少なくとも１つ、好ましくは２つの上腕電極３と、ユーザの掌に取り付けるための少なくとも１つのパーム電極対６とを備える。コントローラ１は、上腕電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための上腕刺激信号を生成し、前腕電極を用いて、バーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための前腕刺激信号を生成し、パーム電極を用いてバーチャルオブジェクトによってバーチャルハンドに与えられる力をシミュレートするための掌刺激信号を生成するように構成されているであろう。
【０１０６】
いくつかの実施形態では、２つを超えるパーム電極が設けられる。例えば、複数のパーム電極６は、掌の周囲の周りに間隔を空けて配置されてもよい。１対のパーム電極６は、特定の位置（例えば、選択された一対のパーム電極６の間の点）における接触の指示を提供するように選択されてもよい。一対のパーム電極６は、バーチャルハンドとバーチャルオブジェクトとの接触位置に基づいて選択されてもよい。
【０１０７】
バーチャルアームを生成するステップ２００は、ユーザの上腕及び前腕の長さを表す腕データを格納するステップを含んでもよい。選択的に、肩間の距離及び手のサイズも格納される。
【０１０８】
いくつかの実施形態では、このデータは、手動で入力されてもよい。ただし、自動的にこのデータを得ることが好ましい。
【０１０９】
ヘッドマウントデバイス５に組み込まれたカメラ７を伴う実施形態では、これらの測定値は、ユーザに腕を直接前方に伸ばすように指示することによって推定されてもよい。画像認識アルゴリズム及びカメラパラメータの記憶された値は、腕の長さを計算するために使用されてもよい。
【０１１０】
上記の実施形態のいずれにおいても、コントローラ１は、単一のユニット（図４及び図５に示されるように）であってもよく、又は複数の場所に複数の構成要素を有する分散型コントローラ１であってもよい。
【図１Ａ】
2021514516.tif 000003
【図１Ｂ】
2021514516.tif 000004
【図２】
2021514516.tif 000005
【図３】
2021514516.tif 000006
【図４】
2021514516.tif 000007
【図５】
2021514516.tif 000008
【国際調査報告】
2021514516.tif 000009
2021514516.tif 000010
2021514516.tif 000011
2021514516.tif 000012
2021514516.tif 000013