(57)【要約】  本発明は、移動可能オブジェクトのインサイドアウト光学的慣性追跡のための方法及びシステムに関する。本方法は、以下のステップ、（ａ）複数のマーカーによって赤外光の発光を提供するステップと、（ｂ）移動可能オブジェクトに物理的に接続される光学センサから写真を読み取り、第１のデータ処理デバイスによって読み取られた写真の所定条件を満たす画素を検出するステップと、（ｃ）検出された画素に基づいて、マーカーブロブを検出し、第１のデータ処理デバイスによってマーカーブロブのパラメータを判定するステップと、（ｄ）第１のデータ処理デバイスによって、移動可能オブジェクトに物理的に接続される少なくとも１つの慣性センサからデータを読み取るステップと、（ｅ）マーカーブロブのパラメータ及び少なくとも１つの慣性センサのデータを含む統合データフローを第１のデータ処理デバイスによって生成し、統合データフローを第１の通信デバイスによって第２の通信デバイスに伝送するステップと、（ｆ）第２の通信デバイスによって統合データフローを受信し、統合データフローに基づいて、第２のデータ処理デバイスによって、移動可能オブジェクトの運動エリアの座標系におけるトラッカー位置データを判定するステップと、（ｇ）第２のデータ処理デバイスによって、トラッカー位置データに基づいて、トラッカー運動経路の数学モデルを検証するステップと、（ｈ）第２のデータ処理デバイスによって、トラッカー運動経路の検証された数学モデルに基づいて、トラッカー位置データを外挿範囲に外挿するステップと、を含む。【選択図】図２２
2021509214.tif 000002
【特許請求の範囲】
【請求項１】
移動可能オブジェクトを光学的慣性追跡する方法であって、前記方法は、
（ａ）複数のマーカーによって赤外光の発光を提供するステップと、
（ｂ）前記移動可能オブジェクトに物理的に接続される光学センサから写真を読み取り、第１のデータ処理デバイスによって読み取られた前記写真の所定条件を満たす画素を検出するステップと、
（ｃ）検出された前記画素に基づいて、マーカーブロブを検出し、前記第１のデータ処理デバイスによって前記マーカーブロブのパラメータを判定するステップと、
（ｄ）前記第１のデータ処理デバイスによって、前記移動可能オブジェクトに物理的に接続される少なくとも１つの慣性センサからデータを読み取るステップと、
（ｅ）前記マーカーブロブの前記パラメータ及び少なくとも１つの前記慣性センサの前記データを含む統合データフローを前記第１のデータ処理デバイスによって生成し、前記統合データフローを第１の通信デバイスによって第２の通信デバイスに伝送するステップと、
（ｆ）前記第２の通信デバイスによって前記統合データフローを受信し、前記統合データフローに基づいて、前記第２のデータ処理デバイスによって、前記移動可能オブジェクトの運動エリアの座標系におけるトラッカー位置データを判定するステップと、
（ｇ）前記第２のデータ処理デバイスによって、前記トラッカー位置データに基づいて、トラッカー運動経路の数学モデルを検証するステップと、
（ｈ）前記第２のデータ処理デバイスによって、前記トラッカー運動経路の検証された前記数学モデルに基づいて、前記トラッカー位置データを外挿範囲に外挿するステップと、
を含む、方法。
【請求項２】
ステップ（ｂ）で前記光学センサから得られた前記写真は前記光学センサの一部から読み取られ、前記光学センサの一部は前記光学センサの全体のフレームサイズよりも小さいことを特徴とする、請求項１に記載の方法。
【請求項３】
読み取られる前記光学センサ部はトレース窓であることを特徴とする、請求項２に記載の方法。
【請求項４】
ステップ（ｂ）の前記所定条件は前記画素の輝度の閾値を含むことを特徴とする、請求項１に記載の方法。
【請求項５】
前記所定条件は前記画素の集合に関連する要件を含むことを特徴とする、請求項４に記載の方法。
【請求項６】
ステップ（ｂ）の前記所定条件を満たす画素を検出するステップは、前記光学センサから得られた前記写真を読み取ることが終わる前に開始することを特徴とする、請求項１に記載の方法。
【請求項７】
前記ステップ（ｂ）はＦＰＧＡによって行われることを特徴とする、請求項１に記載の方法。
【請求項８】
ステップ（ｃ）の前記マーカーブロブのそれぞれの前記パラメータは、前記光学センサのフレームの座標系における中心の座標、有効半径、及び加重輝度を含むことを特徴とする、請求項１に記載の方法。
【請求項９】
前記マーカー中心の前記座標はサブピクセル精度で判定されることを特徴とする、請求項８に記載の方法。
【請求項１０】
前記マーカーブロブの前記パラメータは、適切なフレームがキャプチャされたときの時点を示すタイムスタンプを含むことを特徴とする、請求項８に記載の方法。
【請求項１１】
前記ステップ（ｃ）はマイクロコントローラによって行われることを特徴とする、請求項１に記載の方法。
【請求項１２】
ステップ（ｄ）の前記慣性センサはジャイロスコープであることを特徴とする、請求項１に記載の方法。
【請求項１３】
ステップ（ｄ）の前記慣性センサは加速度計であることを特徴とする、請求項１に記載の方法。
【請求項１４】
ステップ（ｄ）で前記慣性センサから読み取られた前記データは、前記データが読み取られたときの時点を示すタイムスタンプを含むことを特徴とする、請求項１に記載の方法。
【請求項１５】
ステップ（ｅ）で生成された前記統合データフローは複数のトラッカーのデータを含むことを特徴とする、請求項１に記載の方法。
【請求項１６】
ステップ（ｆ）で前記統合データフローは複数の統合データフローに分割され、前記統合データフローの数は前記トラッカーの数に一致することを特徴とする、請求項１５に記載の方法。
【請求項１７】
前記第１のデータ処理デバイス及び前記第１の通信デバイスは前記トラッカー内に位置し、前記第２のデータ処理デバイス及び前記第２の通信デバイスはホスト内に位置することを特徴とする、請求項１に記載の方法。
【請求項１８】
前記トラッカーは前記ホストと組み合わされることを特徴とする、請求項１７に記載の方法。
【請求項１９】
前記マーカーは、前記マーカーブロブの前記パラメータに基づいて、ステップ（ｆ）で前記トラッカー位置データを判定するように識別されることを特徴とする、請求項１に記載の方法。
【請求項２０】
前記マーカーの前記識別は、所定の光学的パターンを使用して行われることを特徴とする、請求項１９に記載の方法。
【請求項２１】
前記光学的パターンは線状光学的パターンであることを特徴とする、請求項２０に記載の方法。
【請求項２２】
前記線状光学的パターンは、一直線に整列される３つのマーカーのグループに対応するブロブを含み、第１のマーカーと第２のマーカーとの間の距離は、前記第２のマーカーと第３のマーカーとの間の距離の２倍であることを特徴とする、請求項２１に記載の方法。
【請求項２３】
異なる時点に関して、ステップ（ｆ）で判定された前記トラッカー位置データに基づいて、履歴追跡データのセットを生成することを特徴とする、請求項１に記載の方法。
【請求項２４】
ステップ（ｇ）における前記トラッカー運動経路の前記数学モデルの前記検証は、前記履歴追跡データのセットを使用して行われることを特徴とする、請求項２３に記載の方法。
【請求項２５】
前記履歴追跡データのセットは、前記トラッカーの位置及び配向を特徴付ける多次元ベクトルを含むデータＳのセットと、１つ以上の慣性センサのデータを含むデータＬのセットとを含むことを特徴とする、請求項２４に記載の方法。
【請求項２６】
前記履歴追跡データのセットは、前記トラッカーのローカル座標系における光線の情報を含むデータＯＦのセットを含み、前記光線は、マーカーのブロブがステップ（ｃ）で検出された前記マーカーに向かうことを特徴とする、請求項２５に記載の方法。
【請求項２７】
ステップ（ｇ）における前記トラッカー運動経路の前記数学モデルの前記検証は、前記履歴追跡データの全体深度を通して逆方向に前記データＳを計算することと、前記履歴の最初の時点で前記データＳを最適化することと、次に、前記履歴追跡データの前記全体深度を通して順方向に最適化されたデータＳを計算することと、を含むことを特徴とする、請求項２６に記載の方法。
【請求項２８】
前記トラッカー位置決め誤差のベクトルＥを計算し、前記ベクトルＥは、前記履歴追跡データの全体深度を通して逆方向に、前記データＯＦに基づいて計算された前記マーカー座標と、既定の実際のマーカー座標との比較によって判定され、前記履歴の前記最初の時点における前記データＳの前記最適化は、前記トラッカー位置決め誤差の前記ベクトルＥを使用して行われることを特徴とする、請求項２７に記載の方法。
【請求項２９】
前記データＯＦに基づいて計算された前記マーカー座標は極座標であることを特徴とする、請求項２８に記載の方法。
【請求項３０】
前記履歴の前記最初の点における前記データＳの前記最適化は、最小２乗法を使用して行われることを特徴とする、請求項２８に記載の方法。
【請求項３１】
前記履歴の前記最初の点における前記データＳの前記最適化は、レーベンバーグ・マルカートアルゴリズムを使用して行われることを特徴とする、請求項３０に記載の方法。
【請求項３２】
前記トラッカー位置決め誤差の前記ベクトルＥは、前記履歴追跡データの全体深度を通して順方向に計算され、前記トラッカー運動経路の前記数学モデルの前記検証は、前記順方向に計算された前記トラッカー位置決め誤差の前記ベクトルＥ及び前記逆方向に計算された前記トラッカー位置決め誤差の前記ベクトルＥを比較することと、さらに、目的関数を計算することとによって行われ、前記目的関数の値は、前記トラッカー運動経路の前記数学モデルの現実性を判断するために使用されることを特徴とする、請求項２８に記載の方法。
【請求項３３】
前記目的関数は重み関数であることを特徴とする、請求項３２に記載の方法。
【請求項３４】
前記トラッカー運動経路の前記数学モデルの前記検証は、前記トラッカー位置付けの最小エラーを確実にする最適化された前記データＳをもたらすことを特徴とする、請求項３２に記載の方法。
【請求項３５】
少なくとも１つの前記慣性センサの新しいデータが前記統合データフローで受信されるときに毎回、ステップ（ｆ）で前記トラッカー位置データの前記判定を行うことを特徴とする、請求項１に記載の方法。
【請求項３６】
前記マーカーブロブの新しいパラメータが前記統合データフローで受信されるときに毎回、ステップ（ｇ）で前記トラッカー運動経路の前記数学モデルの前記検証を行うことを特徴とする、請求項１に記載の方法。
【請求項３７】
ステップ（ｈ）における前記トラッカー位置データの前記外挿は、外挿範囲を定義することによって、外挿ベースを定義することによって、及びさらに前記トラッカー運動経路を前記外挿範囲に外挿することによって行われることを特徴とする、請求項１に記載の方法。
【請求項３８】
前記外挿範囲は、３Ｄシーンをレンダリングすることを提供する３Ｄエンジンから受信されたデータに基づいて定義されることを特徴とする、請求項３７に記載の方法。
【請求項３９】
加えて、外挿された前記トラッカー位置データに基づいて、３Ｄシーンをレンダリングし、さらに、前記３ＤシーンをＶＲ／ＡＲシステムのユーザのヘッドマウントディスプレイに出力するステップを含むことによって特徴付けられる、請求項１に記載の方法。
【請求項４０】
移動可能オブジェクトを光学的慣性追跡するためのシステムであって、前記システムは、
赤外光発光マーカーを含む、少なくとも１つの複数のマーカーと、
光学センサ、少なくとも１つの慣性センサ、第１のデータ処理デバイス、及び第１の通信デバイスを備える、前記移動可能オブジェクトに物理的に接続される少なくとも１つのトラッカーであって、前記トラッカーは、前記第１のデータ処理デバイスによって、前記光学センサから写真を読み取り、前記第１のデータ処理デバイスによって、読み取られた前記写真の所定条件を満たす画素を検出し、前記第１のデータ処理デバイスによって、検出された前記画素に基づいて、マーカーブロブを検出し、前記第１のデータ処理デバイスによって、前記マーカーブロブのパラメータを判定し、前記第１のデータ処理デバイスによって、データを少なくとも１つの前記慣性センサから読み取り、前記第１のデータ処理デバイスによって、前記マーカーブロブの前記パラメータ及び少なくとも１つの前記慣性センサの前記データを含む統合データフローを生成し、前記第１の通信デバイスによって、前記統合データフローをホストに伝送するように構成される、少なくとも１つのトラッカーと、
第２の通信デバイス及び第２のデータ処理デバイスを備える、少なくとも１つのホストであって、前記ホストは、前記第２の通信デバイスによって、前記統合データフローを受信し、前記第２のデータ処理デバイスによって、前記統合データフローに基づいて、前記移動可能オブジェクトの運動エリアの座標系のトラッカー位置データを判定し、前記第２のデータ処理デバイスによって、前記トラッカー位置データに基づいて、トラッカー運動経路の数学モデルを検証し、前記第２のデータ処理デバイスによって、前記トラッカー運動経路の検証された前記数学モデルに基づいて、前記トラッカー位置データを外挿範囲に外挿するように構成される、少なくとも１つのホストと、
を含む。
【請求項４１】
前記第１のデータ処理デバイスは前記写真を前記光学センサの一部から読み取るように構成され、前記光学センサの一部のサイズは前記光学センサの全体のフレームサイズよりも小さいことを特徴とする、請求項４０に記載のシステム。
【請求項４２】
読み取られる前記光学センサ部はトレース窓であることを特徴とする、請求項４１に記載のシステム。
【請求項４３】
前記所定条件は前記画素の輝度の閾値を含むことを特徴とする、請求項４０に記載のシステム。
【請求項４４】
前記所定条件は前記画素の集合に関連する要件を含むことを特徴とする、請求項４３に記載のシステム。
【請求項４５】
前記第１のデータ処理デバイスは、前記光学センサから前記写真を読み取ることが終了する前に、前記所定条件を満たす画素を検出することを開始するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項４６】
前記第１のデータ処理デバイスは、前記写真を前記光学センサから読み取り、読み取られた前記写真の前記所定条件を満たす画素を検出するように構成されるＦＰＧＡを備えることを特徴とする、請求項４０に記載のシステム。
【請求項４７】
前記マーカーブロブのそれぞれの前記パラメータは、前記光学センサのフレームの座標系における中心の座標、有効半径、及び加重輝度を含むことを特徴とする、請求項４０に記載のシステム。
【請求項４８】
前記第１のデータ処理デバイスは、前記マーカー中心の前記座標をサブピクセル精度で判定するように構成されることを特徴とする、請求項４７に記載のシステム。
【請求項４９】
前記マーカーブロブの前記パラメータは、適切なフレームがキャプチャされたときの時点を示すタイムスタンプを含むことを特徴とする、請求項４７に記載のシステム。
【請求項５０】
前記第１のデータ処理デバイスは、検出された前記画素に基づいて、前記マーカーブロブを検出し、前記マーカーブロブのパラメータを判定するように構成されるマイクロコントローラを備えることを特徴とする、請求項４０に記載のシステム。
【請求項５１】
前記慣性センサはジャイロスコープであることを特徴とする、請求項４０に記載のシステム。
【請求項５２】
前記慣性センサは加速度計であることを特徴とする、請求項４０に記載のシステム。
【請求項５３】
前記慣性センサから読み取られた前記データは、前記データが読み取られたときの時点を示すタイムスタンプを含むことを特徴とする、請求項４０に記載のシステム。
【請求項５４】
前記統合データフローは複数のトラッカーのデータを含むことを特徴とする、請求項４０に記載のシステム。
【請求項５５】
前記第２のデータ処理デバイスは、前記統合データフローを複数の統合データフローに分割するように構成され、前記統合データフローの数は前記トラッカーの数に一致することを特徴とする、請求項５４に記載のシステム。
【請求項５６】
前記トラッカーは前記ホストと組み合わされることを特徴とする、請求項４０に記載のシステム。
【請求項５７】
前記第２のデータ処理デバイスは、前記トラッカー位置データを判定するように、前記マーカーブロブの前記パラメータに基づいて前記マーカーを識別するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項５８】
前記第２のデータ処理デバイスは、所定の光学的パターンを使用して、前記マーカーを識別するように構成されることを特徴とする、請求項５７に記載のシステム。
【請求項５９】
前記所定の光学的パターンは線状光学的パターンであることを特徴とする、請求項５８に記載のシステム。
【請求項６０】
前記線状光学的パターンは、一直線に整列される３つのマーカーのグループに対応するブロブを含み、第１のマーカーと第２のマーカーとの間の距離は、前記第２のマーカーと第３のマーカーとの間の距離の２倍であることを特徴とする、請求項５９に記載のシステム。
【請求項６１】
前記第２のデータ処理デバイスは、異なる時点に関して判定された前記トラッカー位置データに基づいて、履歴追跡データのセットを生成するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項６２】
前記第２のデータ処理デバイスは、前記履歴追跡データのセットを使用して、前記トラッカー運動経路の前記数学モデルを検証するように構成されることを特徴とする、請求項６１に記載のシステム。
【請求項６３】
前記履歴追跡データのセットは、前記トラッカーの位置及び配向を特徴付ける多次元ベクトルを含むデータＳのセットと、１つ以上の慣性センサのデータを含むデータＬのセットとを含み、前記データＳ及び前記データＬは、前記トラッカー運動経路の前記数学モデルのパラメータに一致することを特徴とする、請求項６２に記載のシステム。
【請求項６４】
前記履歴追跡データのセットは、前記トラッカーのローカル座標系における光線の情報を含むデータＯＦのセットを含み、前記光線は、前回マーカーのブロブが検出された前記マーカーに向かうことを特徴とする、請求項６３に記載のシステム。
【請求項６５】
前記第２のデータ処理デバイスは、前記履歴追跡データの全体深度を通して逆方向に前記データＳを計算し、前記履歴の最初の時点で前記データＳを最適化し、次に、前記トラッカー運動経路の前記数学モデルの前記検証中、前記履歴追跡データの前記全体深度を通して順方向に最適化されたデータＳを計算するように構成されることを特徴とする、請求項６４に記載のシステム。
【請求項６６】
前記第２のデータ処理デバイスは、前記トラッカー位置決め誤差のベクトルＥを計算し、前記ベクトルＥは、前記履歴追跡データの全体深度を通して逆方向に、前記データＯＦに基づいて計算された前記マーカー座標と、既定の実際のマーカー座標との比較によって判定され、前記トラッカー位置決め誤差の前記ベクトルＥを使用して、前記履歴の最初の時点で前記データＳを最適化するように構成されることを特徴とする、請求項６４に記載のシステム。
【請求項６７】
前記データＯＦに基づいて計算された前記マーカー座標は極座標であることを特徴とする、請求項６６に記載のシステム。
【請求項６８】
前記履歴の前記最初の時点における前記データＳの前記最適化は、最小２乗法を使用して行われることを特徴とする、請求項６６に記載のシステム。
【請求項６９】
前記履歴の前記最初の時点における前記データＳの前記最適化は、レーベンバーグ・マルカートアルゴリズムを使用して行われることを特徴とする、請求項６８に記載のシステム。
【請求項７０】
前記第２のデータ処理デバイスは、前記履歴追跡データの全体深度を通して順方向に前記トラッカー位置決め誤差の前記ベクトルＥを計算し、前記順方向に計算された前記トラッカー位置決め誤差の前記ベクトルＥと前記逆方向に計算された前記トラッカー位置決め誤差の前記ベクトルＥとを比較することによって、さらに、目的関数を計算することによって前記トラッカー運動経路の前記数学モデルを検証し、前記目的関数の値は、前記トラッカー運動経路の前記数学モデルの現実性を判断するために使用されることを特徴とする、請求項６６に記載のシステム。
【請求項７１】
前記目的関数は重み関数であることを特徴とする、請求項７０に記載のシステム。
【請求項７２】
前記トラッカー運動経路の前記数学モデルの前記検証は、前記トラッカー位置付けの最小エラーを確実にする最適化された前記データＳをもたらすことを特徴とする、請求項７０に記載のシステム。
【請求項７３】
前記第２のデータ処理デバイスは、少なくとも１つの前記慣性センサの新しいデータが前記統合データフローで受信されるときに毎回、前記トラッカー位置データを判定するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項７４】
前記第２のデータ処理デバイスは、前記マーカーブロブの新しいパラメータが前記統合データフローで受信されるときに毎回、前記トラッカー運動経路の前記数学モデルを検証するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項７５】
前記第２のデータ処理デバイスは、外挿範囲及び外挿ベースを定義し、前記トラッカー運動経路を前記外挿範囲に外挿するように構成されることを特徴とする、請求項４０に記載のシステム。
【請求項７６】
前記外挿範囲は、３Ｄシーンをレンダリングするように構成される３Ｄエンジンから受信されたデータに基づいて定義され得ることを特徴とする、請求項７５に記載のシステム。
【請求項７７】
３ＤシーンをＶＲ／ＡＲシステムユーザに提示するように構成される少なくとも１つのヘッドマウントディスプレイをさらに備え、前記トラッカー位置データの前記外挿は、外挿された前記トラッカー位置データに基づいて前記３Ｄシーンをさらにレンダリングし、前記３Ｄシーンを前記ＶＲ／ＡＲシステムのユーザの前記ヘッドマウントディスプレイに出力するように行われることによって特徴付けられる、請求項４０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動可能オブジェクトをインサイドアウト光学的慣性追跡するための方法及びシステムに関し、本発明は、仮想現実システムまたは拡張現実システム、構内物流システム（工場物流、倉庫物流、または小売店物流を含む）、ロボットシステム、無人移動可能オブジェクト、及び他の種類の工業システム、科学システム、または訓練システムで使用され得る。
【背景技術】
【０００２】
仮想現実（ＶＲ）システムまたは拡張現実（ＡＲ）システムにおける移動可能オブジェクトを追跡することは、当該システムのユーザに表示された画像をレンダリングするために使用される移動可能オブジェクトの位置及び配向をトレースすることを意味する。
【０００３】
追跡システムは、センサもしくは複数のセンサが追跡オブジェクトの外側のエリア内に位置し、基準点もしくは複数の基準点が追跡オブジェクトに位置する、アウトサイドイン追跡システム、または、センサもしくは複数のセンサが追跡オブジェクト上に位置し、基準点もしくは複数の基準点が追跡オブジェクトの外側のエリア内に位置する、インサイドアウト追跡システムのいずれかとして構成され得る。
【０００４】
センサの種類と同様に、光学センサが使用される光学的追跡（例えば、可視光または赤外線光の範囲内で動作しているカメラ）と、慣性センサが使用される慣性追跡（例えば、ジャイロスコープ及び加速度計）とがある。さらに、磁場センサ（磁力計）、海水面を上回る高さのセンサ（高度計）、及びいくつかの他のセンサの種類は、また、追跡システムで使用され得る。
【０００５】
ローカルシステムまたはグローバルシステム、衛星利用システムまたは地上波システムであり得る集中型位置付けシステムを使用する、追跡システムがある。
【０００６】
ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムにおける使用を意図するほとんどの追跡システムは、追跡システムの組み合わせである。具体的には、光学センサ及び慣性センサの適用の組み合わせに基づいて、光学的慣性追跡システムは広範囲に使用され、センサは相互に補完し、その欠点を互いに補う。
【０００７】
インサイドアウト光学的慣性追跡アプローチを実施する追跡システムがあり、ビデオカメラが移動可能オブジェクト上に位置し、光学的追跡のための基準点として使用される光学的発光マーカーまたは逆反射マーカーは、所定の様式におけるシステム動作エリアのサイト上または構内に固定して設置される。ジャイロスコープ及び加速度計は、また、移動可能オブジェクト上に位置し、これらのセンサから獲得されたデータは、ビデオカメラから獲得されたデータと一緒に、追跡オブジェクトの位置、配向、移動の速さならびに方向、加速度、及び他のパラメータを判定するために使用される。データ外挿法は、アルゴリズムに依存する遅延及びハードウェアに依存する遅延を補償するように、上記に示したパラメータを予測するために採用される。
【０００８】
米国特許第９３５２２３０号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及される。しかしながら、係る実施態様の技術的詳細を開示しない。
【０００９】
米国特許出願公開第２０１７／１７７９３７号明細書はインサイドアウト光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムは、所定の様式におけるシステム動作エリアのサイト上または構内に固定して設置され、光学的追跡のための基準点として使用される、マーカーを採用していない。基準点としてアーキテクチャ環境または自然環境の特徴点を使用して、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００１０】
米国特許出願公開第２００８／３０００５５号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及され、追跡カメラはバングルに位置する。しかしながら、本実施態様のオプションの技術的詳細を開示しない。
【００１１】
米国特許出願公開第２０１６／２３２７１５号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及され、追跡カメラはモバイルデバイスに位置する。しかしながら、本実施態様のオプションの技術的詳細を開示しない。
【００１２】
米国特許出願公開第２０１２／１０５４７３号明細書はアウトサイドイン光学的慣性追跡システムを開示し、ヘルメットディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムは、アクティブマーカーを採用しておらず、この特徴は、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００１３】
米国特許出願公開第２０１５／０２９２１８号明細書はアウトサイドイン光学的慣性追跡システムを開示し、ヘルメットディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムは、アクティブマーカーを採用しておらず、したがって、当該システムの算出能力に関する要求が増加し、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００１４】
国際公開第２０１４／２１０３４２号はアウトサイドイン光学的慣性追跡システムを開示し、ヘルメットマウントディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムは、アクティブマーカーを採用しておらず、この特徴は、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００１５】
米国特許出願公開第２０１４／３５４５１５号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及され、追跡カメラはバングルに位置する。しかしながら、本実施態様のオプションの技術的詳細を開示しない。
【００１６】
米国特許出願公開第２０１７／１８５１７１号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及され、追跡カメラはユーザにかなり接近して位置する。しかしながら、本実施態様のオプションの技術的詳細を開示しない。
【００１７】
米国特許出願公開第２０１７／０１８１２１号明細書はアウトサイドイン光学的慣性追跡システムを開示し、カメラ、ジャイロスコープ、及び加速度計のデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムの欠点は、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムに十分な余地を提供する動作エリア全体に及ぶ複数の固定式カメラの適用が必要である。インサイドアウト光学的慣性追跡アプローチの実施態様の実現性は本書に言及され、追跡カメラはユーザにかなり接近して位置する。しかしながら、本実施態様のオプションの技術的詳細を開示しない。
【００１８】
米国特許出願公開第２０１４／０６２８８１号明細書はアウトサイドイン光学的慣性追跡システムを開示し、ヘルメットマウントディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。当該システムは、アクティブマーカーを採用しておらず、したがって、当該システムの算出能力に関する要求が増加し、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００１９】
非特許文献１（Ｈｏｇｕｅ他）はインサイドアウト光学的慣性追跡システムを開示し、ヘルメットマウントディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。レーザ光投影によって壁上に形成された画像は、アクティブマーカーの代わりに、光学的追跡の基準点として使用され、この特徴は、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００２０】
非特許文献２（Ｗｏｒｍｅｌｌ他）はインサイドアウト光学的慣性追跡システムを開示し、ヘルメットマウントディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。壁に適用された画像は、アクティブマーカーの代わりに、光学的追跡の基準点として使用され、この特徴は、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００２１】
非特許文献３、４（Ａｔａｃ他）はインサイドアウト光学的慣性追跡システムを開示し、ヘルメットマウントディスプレイに位置するカメラ、ジャイロスコープ、及び加速度計から獲得されたデータを使用して、移動可能オブジェクトのパラメータを予測するために、データ外挿法を採用している。壁に適用されたバーコードは、アクティブマーカーの代わりに、光学的追跡の基準点として使用され、この特徴は、当該システムの算出能力に関する要求を増加させ、算出リソースを制限するとき、このアプローチは、システム動作速度の減少が生じるのを避けられない。
【００２２】
モバイルＡＲシステムの実施態様に関するインサイドアウト光学的追跡及び慣性追跡の組み合わせは、非特許文献５（Ｐｉｎｚ他）で説明されている。しかしながら、この説明は、ほとんど理論的である。
【００２３】
光学的慣性追跡システムの慣性センサデータを補正するための光学センサデータを使用することは、非特許文献６（Ｙｏｕ他）に説明されている。しかしながら、この説明は、ほとんど理論的である。
【００２４】
非特許文献７（Ｍｉｅｚａｌ他）は、カメラの視程に位置する単一のパッシブマーカーを使用して、ユーザの頭部の位置をトレースするためのインサイドアウト光学的慣性追跡システムを開示している。係るアプローチ制限は、そのオプションへのこの解決策を制限し、ユーザは比較的座りがちであり、従って、ゲーム、娯楽、及び訓練に関するＶＲ／ＡＲシステムにおけるその実施態様は都合がよくない。
【００２５】
したがって、ＶＲ／ＡＲシステムでユーザを追跡する高速で、信頼性があり、精密な、及び比較的安価な方法が必要であり、ユーザの肢はピクピクし得、ユーザの体はかなり広範囲の動作エリアで高速で移動し得、動作エリアのサイズは、（シングルユーザシステムの）いくつかの平方メートルから、数十平方メートル、またはさらに、（マルチユーザシステムの）数百平方メートルの範囲であり得る。
【００２６】
移動可能オブジェクトを追跡することに関連する同様のタスクは他の分野に関し、具体的には、構内物流システム（工場物流、倉庫物流、または小売店物流を含む）、ロボットシステム、無人車両、及び他の種類の工業システム、科学システム、または訓練システムに関する。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】米国特許第９３５２２３０号明細書
【特許文献２】米国特許出願公開第２０１７／１７７９３７号明細書
【特許文献３】米国特許出願公開第２００８／３０００５５号明細書
【特許文献４】米国特許出願公開第２０１６／２３２７１５号明細書
【特許文献５】米国特許出願公開第２０１２／１０５４７３号明細書
【特許文献６】米国特許出願公開第２０１５／０２９２１８号明細書
【特許文献７】国際公開第２０１４／２１０３４２号
【特許文献８】米国特許出願公開第２０１４／３５４５１５号明細書
【特許文献９】米国特許出願公開第２０１７／１８５１７１号明細書
【特許文献１０】米国特許出願公開第２０１７／０１８１２１号明細書
【特許文献１１】米国特許出願公開第２０１４／０６２８８１号明細書
【特許文献１２】国際公開第２０１６／１０８７２０号
【非特許文献】
【００２８】
【非特許文献１】Ａ．Ｈｏｇｕｅ；Ｍ．Ｒ．Ｊｅｎｋｉｎ；Ｒ．Ｓ．Ａｌｌｉｓｏｎ，“Ａｎ  ｏｐｔｉｃａｌ−ｉｎｅｒｔｉａｌ  ｔｒａｃｋｉｎｇ  ｓｙｓｔｅｍ  ｆｏｒ  ｆｕｌｌｙ−ｅｎｃｌｏｓｅｄ  ＶＲ  ｄｉｓｐｌａｙｓ” ，２００８，ＤＯＩ：１０．１１０９／ＣＣＣＲＶ．２００４．１３０１４１７（ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１１０９／ＣＣＣＲＶ．２００４．１３０１４１７）
【非特許文献２】Ｄ．Ｗｏｒｍｅｌｌ；Ｅ．Ｆｏｘｌｉｎ；Ｐ．Ｋａｔｚｍａｎ，“Ａｄｖａｎｃｅｄ  ｉｎｅｒｔｉａｌ−ｏｐｔｉｃａｌ  ｔｒａｃｋｉｎｇ  ｓｙｓｔｅｍ  ｆｏｒ  ｗｉｄｅ  ａｒｅａ  ｍｉｘｅｄ  ａｎｄ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｓｙｓｔｅｍｓ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １０ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｉｍｍｅｒｓｉｖｅ  Ｐｒｏｊｅｃｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｉｅｓ  Ｗｏｒｋｓｈｏｐ，２００７
【非特許文献３】Ｒｏｂｅｒｔ  Ａｔａｃ；Ｅｒｉｃ  Ｆｏｘｌｉｎ，“Ｓｃｏｒｐｉｏｎ  ｈｙｂｒｉｄ  ｏｐｔｉｃａｌ−ｂａｓｅｄ  ｉｎｅｒｔｉａｌ  ｔｒａｃｋｅｒ（ＨＯｂＩＴ）”，２０１３，ＤＯＩ：１０．１１１７／１２．２０１２１９４（ｈｔｔｐ：／／ｄｘ．ｄｏｉ．ｏｒｇ／１０．１１１７／１２．２０１２１９４）
【非特許文献４】Ｒｏｂｅｒｔ  Ａｔａｃ；Ｓｃｏｔｔ  Ｓｐｉｎｋ；Ｔｏｍ  Ｃａｌｌｏｗａｙ；Ｅｒｉｃ  Ｆｏｘｌｉｎ，“Ｓｃｏｒｐｉｏｎ  ｈｙｂｒｉｄ  ｏｐｔｉｃａｌ−ｂａｓｅｄ  ｉｎｅｒｔｉａｌ  ｔｒａｃｋｅｒ（ＨＯｂＩＴ）Ｔｅｓｔ  Ｒｅｓｕｌｔｓ” ，２０１４，ＤＯＩ：１０．１１１７／１２．２０５０３６３（ｈｔｔｐ：／／ｄｘ．ｄｏｉ．ｏｒｇ／１０．１１１７／１２．２０５０３６３）
【非特許文献５】Ａｘｅｌ  Ｐｉｎｚ；Ｍａｒｋｕｓ  Ｂｒａｎｄｎｅｒ；Ｈａｒａｌｄ  Ｇａｎｓｔｅｒ；Ａｌｂｅｒｔ  Ｋｕｓｅｊ；Ｐｅｔｅｒ  Ｌａｎｇ；Ｍｉｇｕｅｌ  Ｒｉｂｏ，“Ｈｙｂｒｉｄ  Ｔｒａｃｋｉｎｇ  ｆｏｒ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ” ，OＧＡＩ  Ｊｏｕｒｎａｌ ，２００２，２１：１，１７−２４
【非特許文献６】Ｓｕｙａ  Ｙｏｕ；Ｕｌｒｉｃｈ  Ｎｅｕｍａｎｎ；Ｒｏｎａｌｄ  Ａｚｕｍａ，“Ｈｙｂｒｉｄ  Ｉｎｅｒｔｉａｌ  ａｎｄ  Ｖｉｓｉｏｎ  Ｔｒａｃｋｉｎｇ  ｆｏｒ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  Ｒｅｇｉｓｔｒａｔｉｏｎ” ，１９９９，Ｐｒｏｃｅｅｄｉｎｇ  ＶＲ’９９  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ，ｐ．２６０
【非特許文献７】Ｍａｒｋｕｓ  Ｍｉｅｚａｌ；Ｇａｂｒｉｅｌｅ  Ｂｌｅｓｅｒ；Ｄｉｄｉｅｒ  Ｓｔｒｉｃｋｅｒ；Ｊｏｈａｎｎｅｓ  Ｔｕｍｌｅｒ，“Ｔｏｗａｒｄｓ  ｐｒａｃｔｉｃａｌ  ｉｎｓｉｄｅ−ｏｕｔ  ｈｅａｄ  ｔｒａｃｋｉｎｇ  ｆｏｒ  ｍｏｂｉｌｅ  ｓｅａｔｉｎｇ  ｂｕｃｋｓ” ，２０１２，ＩＳＭＡＲ  ２０１２  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｔｒａｃｋｉｎｇ  Ｍｅｔｈｏｄｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｔｒａｃｋｉｎｇ  Ｍｅｔｈｏｄｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ（ＩＳＭＡＲ−１２），Ｎｏｖｅｍｂｅｒ５−８，Ａｔｌａｎｔａ，Ｇｅｏｒｇｉａ，ＵＳＡ
【非特許文献８】Ｊｏｈｎ  Ｃａｒｍａｃｋ．Ｌａｔｅｎｃｙ  Ｍｉｔｉｇａｔｉｏｎ  Ｓｔｒａｔｅｇｉｅｓ．（ｈｔｔｐｓ：／／ｗｅｂ．ａｒｃｈｉｖｅ．ｏｒｇ／ｗｅｂ／２０１４０７１９０８５１３５／ｈｔｔｐ：／／ｗｗｗ．ａｌｔｄｅｖ．ｃｏ／２０１３／０２／２２／ｌａｔｅｎｃｙ−ｍｉｔｉｇａｔｉｏｎ−ｓｔｒａｔｅｇｉｅｓ）
【非特許文献９】Ｍｉｃｈａｅｌ  Ａｂｒａｓｈ．Ｌａｔｅｎｃｙ−ｔｈｅ  ｓｉｎｅ  ｑｕａ  ｎｏｎ  ｏｆ  ＡＲ  ａｎｄ  ＶＲ．（ｈｔｔｐ：／／ｂｌｏｇｓ．ｖａｌｖｅｓｏｆｔｗａｒｅ．ｃｏｍ／ａｂｒａｓｈ／ｌａｔｅｎｃｙ−ｔｈｅ−ｓｉｎｅ−ｑｕａ−ｎｏｎ−ｏｆ−ａｒ−ａｎｄ−ｖｒ）
【発明の概要】
【発明が解決しようとする課題】
【００２９】
本発明は、高速に、信頼性があり、精密に、及び比較的安価に、様々なシステム（まずは、ＶＲ／ＡＲシステム、ただし、そのシステムに限定されない）で移動可能オブジェクトに関する問題を解決することを目的としている。
【課題を解決するための手段】
【００３０】
この目的は、移動可能オブジェクトを光学的慣性追跡する方法である本発明の第１の態様によって達成され、本方法は、以下の
（ａ）複数のマーカーによって赤外光の発光を提供するステップと、
（ｂ）移動可能オブジェクトに物理的に接続される光学センサから写真を読み取り、第１のデータ処理デバイスによって読み取られた写真の所定条件を満たす画素を検出するステップと、
（ｃ）検出された画素に基づいて、マーカーブロブを検出し、第１のデータ処理デバイスによってマーカーブロブのパラメータを判定するステップと、
（ｄ）第１のデータ処理デバイスによって、移動可能オブジェクトに物理的に接続される少なくとも１つの慣性センサからデータを読み取るステップと、
（ｅ）マーカーブロブのパラメータ及び少なくとも１つの慣性センサのデータを含む統合データフローを第１のデータ処理デバイスによって生成し、統合データフローを第１の通信デバイスによって第２の通信デバイスに伝送するステップと、
（ｆ）第２の通信デバイスによって統合データフローを受信し、統合データフローに基づいて、第２のデータ処理デバイスによって、移動可能オブジェクトの運動エリアの座標系におけるトラッカー位置データを判定するステップと、
（ｇ）第２のデータ処理デバイスによって、トラッカー位置データに基づいて、トラッカー運動経路の数学モデルを検証するステップと、
（ｈ）第２のデータ処理デバイスによって、トラッカー運動経路の検証された数学モデルに基づいて、トラッカー位置データを外挿範囲に外挿するステップと、
を含む。
【００３１】
本方法では、ステップ（ｂ）で光学センサから得られた写真は光学センサの一部から読み取られ得、光学センサの一部のサイズは光学センサの全体のフレームサイズよりも小さい。
【００３２】
本方法では、読み取られる光学センサ部はトレース窓であり得る。
【００３３】
本方法では、ステップ（ｂ）の所定条件は画素の輝度の閾値を含み得る。
【００３４】
本方法では、所定条件は画素の集合に関連する要件を含み得る。
【００３５】
本方法では、ステップ（ｂ）の所定条件を満たす画素を検出するステップは、光学センサから得られた写真を読み取ることが終わる前に開始し得る。
【００３６】
本方法では、ステップ（ｂ）はＦＰＧＡによって行われ得る。
【００３７】
本方法では、ステップ（ｃ）のマーカーブロブのそれぞれのパラメータは、光学センサのフレームの座標系における中心の座標、有効半径、及び加重輝度を含み得る。
【００３８】
本方法では、マーカー中心の座標はサブピクセル精度で判定され得る。
【００３９】
本方法では、マーカーブロブのパラメータは、適切なフレームがキャプチャされたときの時点を示すタイムスタンプを含み得る。
【００４０】
本方法では、ステップ（ｃ）はマイクロコントローラによって行われ得る。
【００４１】
本方法では、ステップ（ｄ）の慣性センサはジャイロスコープであり得る。
【００４２】
本方法では、ステップ（ｄ）の慣性センサは加速度計であり得る。
【００４３】
本方法では、ステップ（ｄ）で慣性センサから読み取られたデータは、データが読み取られたときの時点を示すタイムスタンプを含み得る。
【００４４】
本方法では、ステップ（ｅ）で生成された統合データフローは複数のトラッカーのデータを含み得る。
【００４５】
本方法では、ステップ（ｆ）の統合データフローは複数の統合データフローに分割され得、統合データフローの数はトラッカーの数に一致する。
【００４６】
本方法では、第１のデータ処理デバイス及び第１の通信デバイスはトラッカー内に位置し、第２のデータ処理デバイス及び第２の通信デバイスはホスト内に位置し得る。
【００４７】
本方法では、トラッカーはホストと組み合わされ得る。
【００４８】
本方法では、マーカーの識別は、マーカーブロブのパラメータに基づいて、ステップ（ｆ）でトラッカー位置データを判定するように行われ得る。
【００４９】
本方法では、マーカーの識別は、所定の光学的パターンを使用して行われ得る。
【００５０】
本方法では、光学的パターンは線状光学的パターンであり得る。
【００５１】
本方法では、線状光学的パターンは、一直線に整列される３つのマーカーのグループに対応するブロブを含み得、第１のマーカーと第２のマーカーとの間の距離は、第２のマーカーと第３のマーカーとの間の距離の２倍である。
【００５２】
本方法では、異なる時点に関して、ステップ（ｆ）で判定されたトラッカー位置データに基づいて、履歴追跡データのセットを生成し得る。
【００５３】
本方法では、ステップ（ｇ）のトラッカー運動経路の数学モデルの検証は、履歴追跡データのセットを使用して行われ得る。
【００５４】
本方法では、履歴追跡データのセットは、トラッカーの位置、配向、及び（随意に）動作パラメータを特徴付ける多次元ベクトルを含むデータＳのセットと、１つ以上の慣性センサのデータを含むデータＬのセットとを含み得る。
【００５５】
本方法では、履歴追跡データのセットは、トラッカーのローカル座標系における光線の情報を含むデータＯＦのセットを含み、光線は、マーカーのブロブがステップ（ｃ）で検出されたマーカーに向かう。
【００５６】
本方法では、ステップ（ｇ）におけるトラッカー運動経路の数学モデルの検証は、履歴追跡データの全体深度を通して逆方向にデータＳを計算することと、履歴の最初の時点でデータＳを最適化することと、次に、履歴追跡データの全体深度を通して順方向に最適化されたデータＳを計算することと、を含み得る。
【００５７】
本方法では、トラッカー位置決め誤差のベクトルＥを計算し得、ベクトルＥは、履歴追跡データの全体深度を通して逆方向に、データＯＦに基づいて計算されたマーカー座標と、既定の実際のマーカー座標との比較によって判定され、履歴の最初の時点におけるデータＳの最適化は、トラッカー位置決め誤差のベクトルＥを使用して行われ得る。
【００５８】
本方法では、データＯＦに基づいて計算されたマーカー座標は極座標であり得る。
【００５９】
本方法では、履歴の最初の点におけるデータＳの最適化は、最小２乗法を使用して行われ得る。
【００６０】
本方法では、履歴の最初の点におけるデータＳの最適化は、レーベンバーグ・マルカートアルゴリズムを使用して行われ得る。
【００６１】
本方法では、トラッカー位置決め誤差のベクトルＥは、履歴追跡データの全体深度を通して順方向に計算され得、トラッカー運動経路の数学モデルの検証は、順方向に計算されたトラッカー位置決め誤差のベクトルＥ及び逆方向に計算されたトラッカー位置決め誤差のベクトルＥを比較することと、目的関数を計算することとによって行われ得、目的関数の値は、トラッカー運動経路の数学モデルの現実性を判断するために使用される。
【００６２】
本方法では、目的関数は重み関数であり得る。
【００６３】
本方法では、トラッカー運動経路の数学モデルの検証の結果は、トラッカー位置付けの最小エラーを確実にする最適化されたデータＳであり得る。
【００６４】
本方法では、少なくとも１つの慣性センサの新しいデータが統合データフローで受信されるときに毎回、ステップ（ｆ）でトラッカー位置データの判定を行い得る。
【００６５】
本方法では、マーカーブロブの新しいパラメータが統合データフローで受信されるときに毎回、ステップ（ｇ）におけるトラッカー運動経路の数学モデルの検証を行い得る。
【００６６】
本方法では、ステップ（ｈ）におけるトラッカー位置データの外挿は、外挿範囲を定義することによって、外挿ベースを定義することによって、及びトラッカー運動経路を外挿範囲に外挿することによって行われ得る。
【００６７】
本方法では、外挿範囲は、３Ｄシーンをレンダリングすることを提供する３Ｄエンジンから受信されたデータに基づいて定義され得る。
【００６８】
本方法は、加えて、外挿されたトラッカー位置データに基づいて、３Ｄシーンをレンダリングし、３ＤシーンをＶＲ／ＡＲシステムのユーザのヘッドマウントディスプレイに出力するステップを含み得る。
【００６９】
本発明のこの目的は、また、移動可能オブジェクトを光学的慣性追跡するためのシステムである本発明の第２の態様によって達成され、本システムは、
赤外光発光マーカーを含む、少なくとも１つの複数のマーカーと、
光学センサ、少なくとも１つの慣性センサ、第１のデータ処理デバイス、及び第１の通信デバイスを備える、移動可能オブジェクトに物理的に接続される少なくとも１つのトラッカーであって、トラッカーは、第１のデータ処理デバイスによって、写真を光学センサから読み取り、第１のデータ処理デバイスによって、読み取られた写真の所定条件を満たす画素を検出し、第１のデータ処理デバイスによって、検出された画素に基づいて、マーカーブロブを検出し、第１のデータ処理デバイスによって、マーカーブロブのパラメータを判定し、第１のデータ処理デバイスによって、データを少なくとも１つの慣性センサから読み取り、第１のデータ処理デバイスによって、マーカーブロブのパラメータ及び少なくとも１つの慣性センサのデータを含む統合データフローを生成し、第１の通信デバイスによって、統合データフローをホストに伝送するように構成される、少なくとも１つのトラッカーと、
第２の通信デバイス及び第２のデータ処理デバイスを備える、少なくとも１つのホストであって、ホストは、第２の通信デバイスによって、統合データフローを受信し、第２のデータ処理デバイスによって、統合データフローに基づいて、移動可能オブジェクトの運動エリアの座標系のトラッカー位置データを判定し、第２のデータ処理デバイスによって、トラッカー位置データに基づいて、トラッカー運動経路の数学モデルを検証し、第２のデータ処理デバイスによって、トラッカー運動経路の検証された数学モデルに基づいて、トラッカー位置データを外挿範囲に外挿するように構成される、少なくとも１つのホストと、
を含む。
【００７０】
本システムでは、第１のデータ処理デバイスは、写真を光学センサの一部から読み取るように構成され得、光学センサの一部のサイズは光学センサの全体のフレームサイズよりも小さい。
【００７１】
本システムでは、読み取られる光学センサ部はトレース窓であり得る。
【００７２】
本システムでは、所定条件は画素の輝度の閾値を含み得る。
【００７３】
本システムでは、所定条件は画素の集合に関連する要件を含み得る。
【００７４】
本システムでは、第１のデータ処理デバイスは、光学センサから写真を読み取ることが終了する前に、所定条件を満たす画素を検出することを開始するように構成され得る。
【００７５】
本システムでは、第１のデータ処理デバイスは、写真を光学センサから読み取り、読み取られた写真の所定条件を満たす画素を検出するように構成されるＦＰＧＡを備え得る。
【００７６】
本システムでは、マーカーブロブのそれぞれのパラメータは、光学センサのフレームの座標系における中心の座標、有効半径、及び加重輝度を含み得る。
【００７７】
本システムでは、第１のデータ処理デバイスは、マーカー中心の座標をサブピクセル精度で判定するように構成され得る。
【００７８】
本システムでは、マーカーブロブのパラメータは、適切なフレームがキャプチャされたときの時点を示すタイムスタンプを含み得る。
【００７９】
本システムでは、第１のデータ処理デバイスは、検出された画素に基づいて、マーカーブロブを検出し、マーカーブロブのパラメータを判定するように構成されるマイクロコントローラを備え得る。
【００８０】
本システムでは、慣性センサはジャイロスコープであり得る。
【００８１】
本システムでは、慣性センサは加速度計であり得る。
【００８２】
本システムでは、慣性センサから読み取られたデータは、データが読み取られたときの時点を示すタイムスタンプを含み得る。
【００８３】
本システムでは、統合データフローは複数のトラッカーのデータを含み得る。
【００８４】
本システムでは、第２のデータ処理デバイスは、統合データフローを複数の統合データフローに分割するように構成され得、統合データフローの数はトラッカーの数に一致する。
【００８５】
本システムでは、トラッカーはホストと組み合わされ得る。
【００８６】
本システムでは、第２のデータ処理デバイスは、トラッカー位置データを判定するように、マーカーブロブのパラメータに基づいてマーカーを識別するように構成され得る。
【００８７】
本システムでは、第２のデータ処理デバイスは、所定の光学的パターンを使用して、マーカーを識別するように構成され得る。
【００８８】
本システムでは、所定の光学的パターンは線状光学的パターンであり得る。
【００８９】
本システムでは、線状光学的パターンは、一直線に整列される３つのマーカーのグループに対応するブロブを含み得、第１のマーカーと第２のマーカーとの間の距離は、第２のマーカーと第３のマーカーとの間の距離の２倍である。
【００９０】
本システムでは、第２のデータ処理デバイスは、異なる時点に関して判定されたトラッカー位置データに基づいて、履歴追跡データのセットを生成するように構成され得る。
【００９１】
本システムでは、第２のデータ処理デバイスは、履歴追跡データのセットを使用して、トラッカー運動経路の数学モデルを検証するように構成され得る。
【００９２】
本システムでは、履歴追跡データのセットは、位置、配向、及び（随意に）トラッカーの運動パラメータを特徴付ける多次元ベクトルを含むデータＳのセットと、１つ以上の慣性センサのデータを含むデータＬのセットとを含み得、データＳ及びデータＬは、トラッカー運動経路の数学モデルのパラメータに一致し得る。
【００９３】
本システムでは、履歴追跡データのセットは、トラッカーのローカル座標系における光線の情報を含むデータＯＦのセットを含み、光線は、マーカーのブロブが検出されたマーカーに向かう。
【００９４】
本システムでは、第２のデータ処理デバイスは、履歴追跡データの全体深度を通して逆方向にデータＳを計算し、履歴の最初の点でデータＳを最適化し、次に、トラッカー運動経路の数学モデルの検証中、履歴追跡データの全体深度を通して順方向に最適化されたデータＳを計算するように構成され得る。
【００９５】
本システムでは、第２のデータ処理デバイスは、トラッカー位置決め誤差のベクトルＥを計算し、ベクトルＥは、履歴追跡データの全体深度を通して逆方向に、データＯＦに基づいて計算されたマーカー座標と、既定の実際のマーカー座標との比較によって判定され、トラッカー位置決め誤差のベクトルＥを使用して、履歴の最初の時点でデータＳを最適化するように構成され得る。
【００９６】
本システムでは、データＯＦに基づいて計算されたマーカー座標は極座標であり得る。
【００９７】
本システムでは、履歴の最初の時点におけるデータＳの最適化は、最小２乗法を使用して行われ得る。
【００９８】
本システムでは、履歴の最初の時点におけるデータＳの最適化は、レーベンバーグ・マルカートアルゴリズムを使用して行われ得る。
【００９９】
本システムでは、第２のデータ処理デバイスは、履歴追跡データの全体深度を通して順方向にトラッカー位置決め誤差のベクトルＥを計算し、順方向に計算されたトラッカー位置決め誤差のベクトルＥと逆方向に計算されたトラッカー位置決め誤差のベクトルＥとを比較することによって、及び目的関数を計算することによって、トラッカー運動経路の数学モデルを検証するように構成され得、目的関数の値は、トラッカー運動経路の数学モデルの現実性を判断するために使用される。
【０１００】
本システムでは、目的関数は重み関数であり得る。
【０１０１】
本システムでは、トラッカー運動経路の数学モデルの検証の結果は、トラッカー位置付けの最小エラーを確実にする最適化されたデータＳであり得る。
【０１０２】
本システムでは、第２のデータ処理デバイスは、少なくとも１つの慣性センサの新しいデータが統合データフローで受信されるときに毎回、トラッカー位置データを判定するように構成され得る。
【０１０３】
本システムでは、第２のデータ処理デバイスは、マーカーブロブの新しいパラメータが統合データフローで受信されるときに毎回、トラッカー運動経路の数学モデルを検証するように構成され得る。
【０１０４】
本システムでは、第２のデータ処理デバイスは、外挿範囲及び外挿ベースを定義し、トラッカー運動経路を外挿範囲に外挿するように構成され得る。
【０１０５】
本システムでは、外挿範囲は、３Ｄシーンをレンダリングするように構成される３Ｄエンジンから受信されたデータに基づいて定義され得る。
【０１０６】
本システムは、さらに、３ＤシーンをＶＲ／ＡＲシステムユーザに提示するように構成される出力デバイス及び少なくとも１つのヘッドマウントディスプレイを備え得、トラッカー位置データの外挿は、外挿されたトラッカー位置データに基づいて３Ｄシーンをさらにレンダリングし、３ＤシーンをＶＲ／ＡＲシステムのユーザのヘッドマウントディスプレイに出力するように行われ得る。
【発明の効果】
【０１０７】
本発明は、移動可能オブジェクトを位置付ける精度を増加させることを可能にする。さらに、本発明は、追跡エリアを容易にスケーリングすることを可能にする。ＶＲ／ＡＲシステムでは、本発明は、ユーザの移動をトレースする精度を増加させ、ひいては、ユーザに提示される３Ｄシーンの品質を増加させることを可能にし、具体的には、本発明は、ユーザ及び／またはユーザの身体部分の移動に関する３Ｄシーンの表示の遅延をなくす、または知覚可能閾値まで減少することを可能にし、したがって、臨場感効果を提供し、ユーザの船酔い（いわゆる、ＶＲ酔い）の兆候を回避する。
【図面の簡単な説明】
【０１０８】
【図１】本発明による、ＶＲ／ＡＲシステムの実装例を示す。
【図２】本発明による、ユーザの体のＶＲ／ＡＲシステムデバイスの設置の例を示す。
【図３】本発明による、トラッカーのブロック図を示す。
【図４】統合データフローへのセンサデータを配列中のイベントの図を示す。
【図５】交換可能ユニットを使用する、ヘッドマウントディスプレイ上のトラッカーの設置の例を示す。
【図６】ベースユニット及び交換可能ユニットを備えるトラッカーの例を示す。
【図７】交換可能ユニットを使用する、ヘッドマウントディスプレイ上のトラッカーの設置の別の例を示す。
【図８】ベースユニット及び交換可能ユニットを備えるトラッカーの別の例を示す。
【図９】ゲームマニピュレータの形態のベースユニット及び交換可能ユニットを備えるトラッカーのさらに別の例を示す。
【図１０Ａ】展開状態のマーカーストリップを示す。
【図１０Ｂ】曲がりくねった状態のマーカーストリップを示す。
【図１１】弾性ユニット式フロアマット（いわゆる、パズル式フロアマット）を使用する、マーカーの設置の例を示す。
【図１２】床上のマーカーストリップの設置の例を示す。
【図１３】天井のマーカーストリップを搭載する例を示す。
【図１４】仮想実世界の境界が部屋の壁から安全距離に定義される、床上のマーカーストリップの設置の例を示す。
【図１５】本発明による、ホストのブロック図を示す。
【図１６】本発明による、ＶＲ／ＡＲシステムの動作概念を示すアルゴリズムのフローチャートを示す。
【図１７】本発明による、ＶＲ／ＡＲシステムの起動プロセスを示すアルゴリズムのフローチャートを示す。
【図１８】本発明による、トラッカーのデータを獲得及び処理する手順を示すアルゴリズムのフローチャートを示す。
【図１９】ホストのデータを獲得及び処理する手順を示すアルゴリズムのフローチャートを示す。
【図２０】位置データの更新概念を示す図を示す。
【図２１】マルチユーザＶＲ／ＡＲシステムのマーカーをシェーディングする例を示す。
【図２２】統合データフローのデータを処理する手順を示すアルゴリズムのフローチャートを示す。
【図２３】トラッカー運動経路の数学モデルを検証する手順を示すアルゴリズムのフローチャートを示す。
【図２４】位置データを外挿する手順を示すアルゴリズムのフローチャートを示す。
【発明を実施するための形態】
【０１０９】
本発明は、さらに、ＶＲ／ＡＲシステムのインサイドアウト光学的慣性追跡方法を使用する例によって下記に説明される。
【０１１０】
本発明は、インサイドアウト光学的慣性追跡方法を提供し、追跡（トラッカー）を提供するデバイスは、トレースする移動可能オブジェクト上に位置する一方、トラッカー（光学的パターン）によってキャプチャされた写真の特定の組み合わせを形成する光源（アクティブマーカー）はＶＲ／ＡＲシステムの動作エリアの範囲内で固定して位置する。ＶＲ／ＡＲシステムは１つ以上のトラッカーを備え得、各トラッカーは、他のトラッカーから独立して、対応する移動可能オブジェクト（またはその一部）の位置及び配向を判定することを可能にする。
【０１１１】
各トラッカーの現在の位置及び配向は、光学的及び慣性的な種類の追跡の組み合わせにより高精度で判定される一方、画像をディスプレイに出力する瞬間にトラッカーの位置及び配向の予測は、ＶＲ／ＡＲシステムで情報を処理及び出力することによって生じる遅延を補償することを可能にする。この遅延（全体的遅延）は、追跡遅延、３Ｄシーンレンダリング遅延、及び３Ｄシーンをディスプレイ上に表すための時間等のいくつかの成分を含む。
【０１１２】
既存のＶＲ／ＡＲシステムでは、追跡遅延は１〜２０ｍｓに推定される。３Ｄシーンレンダリングに要求される時間は、シーンのサイズ及びグラフィックスプロセスユニット（ＧＰＵ）の容量によって判定され、この時間は、約８ｍｓ（１２０Ｈｚのフレームレンダリングレート）〜約１６ｍｓ（６０Ｈｚのフレームレンダリングレート）の範囲であり得る。３Ｄシーンをスクリーン上に表すための時間は、フレーム期間、すなわち、約１１ｍｓ（９０Ｈｚのフレームリフレッシュレート）〜約１６ｍｓ（６０Ｈｚのフレームリフレッシュレート）に等しくなるように推定される。したがって、画像をスクリーンに伝送するための時間が考慮されない場合でさえも、全体的遅延は２０〜５２ｍｓであり得る。
【０１１３】
当業者によって行われる１つの推定に従って、ＶＲ／ＡＲシステムのビューアの並進運動したときに応じる容認可能全体的画像応答遅延は１６〜３２ｍｓを超えないはずである一方、ビューアのヘッドの回転に応じる全体的遅延は、６０Ｈｚのフレームリフレッシュレートで２〜１８ｍｓであるはずであり、３ｍｓ未満の遅延は、ほとんど感知できないと見なされる［８］。別の推定に従って、遅延のユーザの知覚の閾値は７〜１５ｍｓである［９］。
【０１１４】
上記に示した全体的遅延は、ビューアの位置の予測無しのシステム及びビューアの位置の予測ありのシステム（すなわち、ビューアの座標の時間外挿を含むシステム）の両方に有効である。後者（ビューアの位置の予測ありのシステム）では、有効な全体的遅延は、ビューアの位置の判定を開始する瞬間と、画像をスクリーンに出力する瞬間との間の期間と見なされ、遅延の補償を考慮する。この場合では、仮想現実システム品質の主要基準は、ビューアの位置予測の信頼性である。
【０１１５】
本発明の特徴は、画像をディスプレイに出力する将来の瞬間におけるビューアの位置の高精度な予測である。いわば、遅延補償を使用することは、位置の予測が事実上確率的であり、ひいては、不確実性の追加の源を構成するため、ビューアの空間位置及び配向の変化に応じる３Ｄシーンの展開の精度を保証しないことに留意されたい。
【０１１６】
予測は外挿アルゴリズムを使用することによって提供される。外挿アルゴリズムの成果物は、入力データの量及び品質にかなり敏感である。具体的には、以下のパラメータは、外挿精度に影響を与える。
【０１１７】
（ｉ）データ経過時間；データ経過時間が増加するにつれて、外挿精度は非線形に及び鋭く減少する。
（ｉｉ）外挿のベースとして使用されるサンプルセットサイズ；サンプルセットサイズが増加するにつれて、外挿精度は増加する。しかしながら、サンプリングレートが固定されるとき、いくつかの臨界値を超えるサンプルセットサイズの増加は、サンプルセットの開始における早いデータの経年劣化の原因になる外挿精度の減少を生じさせる。
（ｉｉｉ）データノイズ；データノイズが増加するにつれて、外挿精度は減少する。
（ｉｖ）外挿範囲；外挿範囲の幅が増加するにつれて、外挿精度は非線形に及び鋭く減少する。
【０１１８】
工学的な解決策の以下のセットは、本発明の高い外挿精度を確実にするために採用されていた。−ハイブリット式光学的慣性追跡アプローチを使用して、データを慣性センサから高速に読み取ることに起因して、サンプルセットサイズを増加させることを可能にすること。−アクティブマーカーを使用して、光学的データノイズを減少させること及び光学センサの露出時間を減少させ、したがって、光学データを生成しながら、ハードウェア遅延を減らすことを可能にすること。−随意に、光学センサの「トレース窓」を使用して、光学データを生成しながら、ハードウェア遅延をさらに減らすことを可能にすること。−マーカーがシェーディングされるときの追跡精度を増加させることと、予測されたデータの信頼性を失わず、外挿範囲を広げることとを可能にする、トラッカー運動経路の数学モデルの自動実現化。
【０１１９】
図１及び図２は本発明の実装例を示し、ＶＲ／ＡＲシステム１は、ヘッドマウントディスプレイ（ＨＭＤ）５、ＨＭＤ５上に位置するトラッカー１０、またＨＭＤ５上に位置する中央デバイス（ホスト）６、トラッカー２０、トラッカー３０、及びアクティブマーカー４０，４１，４２を備えるマーカーストリップ４を備える。ＨＭＤ５は、システム１によって生成された画像をユーザ７に提示することを提示することを提供し、トラッカー１０，２０，３０から獲得された追跡データに基づいて、画像を生成する。ユーザに提示された画像は、仮想現実３Ｄ画像または拡張現実３Ｄ画像であり得る。トラッカー１０，２０，３０によって生成された追跡データは、トラッカーの空間位置のデータ、ひいては、ユーザ７の対応する身体部分のデータ、トラッカーの配向及びその運動パラメータ（すなわち、方向、速度、及び加速度）のデータを含む。このデータは、システム１に記憶され、ユーザの身体部分の現在の位置、配向、及び運動パラメータ（適用できるとき）を判定するために、同様に、外挿範囲内における将来のその位置、配向、及び運動パラメータを予測するために使用される。追跡データは、ユーザ７の物理モデル及び運動モデルに基づいてシステム１によって処理され得、したがって、ユーザの体の位置（姿勢、ジェスチャ等を含む）の計算を提供し、適用できるとき、システム１及びスクリーンプレイまたはゲームプレイの目的に従って、仮想現実または拡張現実の臨場感効果を確実にするために及び船酔いの兆候をなくすために、要求される周期性及び精度で行われる。
【０１２０】
トラッカー１０は、光学センサ１０１、ジャイロスコープ１０２、及び加速度計１０３を備える。光学センサ１０１のデータは、本デバイスの空間位置及び配向の判定のために必要とされる高精度によって特徴付けられる。しかしながら、光学センサからのデータ獲得の速度は、慣性センサ、ジャイロスコープ、及び加速度計からのデータ獲得の速度よりもはるかに遅い。具体的には、光学センサからのデータ獲得の通常速度は６０フレーム／秒（フルフレーム動作）であり、その速度は、関心領域（ＲＯＩ）技術を使用し、フレームサイズが小さくなるとき（すなわち、トレース窓アプローチを採用するとき）、最大４００フレーム／秒まで増加し得る。その一方で、ジャイロスコープ及び加速度計からのデータ獲得の通常速度は、約２０００サンプル／秒である。しかしながら、ジャイロスコープ及び加速度計のデータを使用する場合だけ、絶対位置決め誤差は、データノイズ及びドリフトに起因してかなり高速に蓄積する。
【０１２１】
トラッカーは、本発明の例示的実施形態では、２つの慣性センサ、ジャイロスコープ、及び加速度計を備えることに留意されたい。しかしながら、慣性センサの数は、本発明の他の実施形態では、２つよりも少なくまたは２つよりも多くなり得、その動作原理は、また、異なり得る。
【０１２２】
本発明では、光学データの精度は、慣性センサデータが高速及び低遅延で組み合わされ、これにより、ユーザの位置、配向、及び移動パラメータに関連する現在の位置データ判定及び将来の位置データ予測のアルゴリズムの実施に適切な統合追跡データフローを提供することを可能にし、したがって、ＶＲ／ＡＲシステムの高い能力を確実にする。
【０１２３】
全体の光学センサからの写真の伝送は、トラッカーとホストとの間で広帯域幅チャンネルを要求し、不可避的に、写真の伝送に関連する追加遅延を伴う。写真伝送に関連する追跡データを処理する遅延を最小にするために、光学センサからの写真は、直接、トラッカーにおいて処理され、写真で検出されたマーカーブロブの座標及びサイズ値は計算され、ホストに伝送される。
【０１２４】
トラッカー１０は、追跡データを処理するためのデータ処理デバイス１０４を備える。データ処理デバイス１０４は、全てのセンサの同期化と、光学センサ、ジャイロスコープ、及び加速度計からのデータの獲得と、フレームで見られるマーカーの情報を形成するための光学センサのデータの処理と、ジャイロスコープデータ及び加速度計データ及びマーカーデータを含む統合追跡データフローの生成とを提供する。
【０１２５】
データ処理デバイス１０４は、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、縮小命令セット（ＲＩＳＣ）を伴うプロセッサ等に基づいて実装され得る。本発明の例示的実施形態では、データ処理デバイス１０４は、ＲＩＳＣマイクロコントローラＳＴＭ３２Ｆ４４６ＭＥＹ６（ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓ、Ｓｗｉｔｚｅｒｌａｎｄ）に基づいて実装される。
【０１２６】
データ処理デバイス１０４は、例えば、ＦＰＧＡに基づいて、写真線を並列処理するための及び写真のマーカーに対応する画素のグループを推定して検索するための高速アルゴリズムを使用することを可能にする、光学センサデータ前処理デバイス１０８を備え得る。この場合、ワンパス写真処理は、全体のフレームをトラッカーの記憶デバイス１０７内に記憶することを必要としないで、データを光学センサから読み取るステップ中に行われる。この解決策は、実質的に、データ処理デバイス１０４における後続の追跡データ処理の計算複雑性を減らし、さらに、ＶＲ／ＡＲシステムにおける遅延を減らすことを可能にする。さらに、この解決策は、記憶デバイス１０７の容量に関する要求を減少させることを可能にする。本発明の例示的実施形態では、光学センサデータ前処理デバイスは、ＦＰＧＡ  ＬＣＭＸＯ３ＬＦ−２１００Ｅ−５ＵＷＧ４９ＣＴＲ５０（Ｌａｔｔｉｃｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ  Ｃｏｒｐｏｒａｔｉｏｎ、米国）に基づいて実装される。
【０１２７】
トラッカー１０は、また、トラッカー１０とホスト６との間で情報交換を提供するための通信デバイス１０６を備える。統合追跡データフローは、約２０００〜約４０００サンプル／秒の速度でトラッカー１０からホスト６に伝送され、加速度計データ及びジャイロスコープデータは、それぞれ、２０００サンプル／秒の速度で更新される一方、光学センサデータは、約６０〜４００サンプル／秒の速度で更新される。制御信号は、ＶＲ／ＡＲシステム及びそのスクリーンまたはゲームプレイの目的に従って、ホスト６からトラッカー１０に伝送される。通信チャンネルは、光リンク、有線リンク、または無線リンクであり得る。例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のチャンネルは、無線リンクとしてシステム１で使用され得る。本発明の例示的実施形態では、通信デバイス１０６は、６Ｍｂｐｓ以上の伝送容量及び１ｍｓ以下のタイムラグを有するＵＳＢインターフェースに基づく有線通信リンクと、１Ｍｂｐｓ以上の伝送容量及び０．４ｍｓ以下のタイムラグを確実にする所有者のデータ交換プロトコルを伴う２．４ＧＨｚ無線リンクとを提供する。
【０１２８】
トラッカー１０は、また、電力をトラッカーに提供する電源１０５を備える。電源１０５は当業者に広範囲に既知である一般デバイスであり、従って、その詳細な説明を省略する。
【０１２９】
１つのデバイスの全てのセンサの装置は、センサの同期を提供する。このアーキテクチャのアプローチは、センサのそれぞれから獲得されたデータに関する精密なタイムスタンプを使用することを可能にする。加えて、光学センサのフレームをキャプチャし、その処理が順に環境条件（具体的には、動作エリアの照明）に依存する露出時間に応じて特定の時間がかかるので、フレームをキャプチャする開始時点、フレームを処理する終了の通知、及び新しい光学データの到着は統合データフローに提供される。
【０１３０】
図４は、センサのデータを統合データフローに含めるイベントを示す。イベントＡは加速度計データの供給である。イベントＧはジャイロスコープデータの供給である。イベントＦＳは、フレームをキャプチャすることを開始する。イベントＭは、光学フレームを処理した後のマーカーデータの供給である。
【０１３１】
マーカーデータは、２Ｄ座標（光学センサの座標系）と、写真で見られるマーカーブロブのそれぞれのサイズとを含む。
【０１３２】
各センサが適切な速度で動作し、したがって、以下のデータが図３に確認され得るように、統合データフローが１つのセンサ（例えば、加速度計データまたはジャイロスコープデータ）の連続データを含むときの状況が可能になる。
【０１３３】
統合データフローがホスト６に受信され、トラッカーの空間位置及び配向の３Ｄ座標（ＶＲ／ＡＲシステム動作エリアの座標系）及びその運動パラメータ（すなわち、方向、速さ、及び加速度）の計算は、マーカーデータに基づいて行われる。十分なプロセッサ性能を有するコンピュータまたはモバイルデバイスは、ホストとして使用され得る。例えば、ＶＲ／ＡＲシステムにおいてＨＭＤ５にさらに出力された３Ｄシーンをレンダリングすることを行うデバイスは、ホストとして使用され得る。いくつかの場合、十分な計算性能を有するＨＭＤ５自体は、ホストとして使用され得る。さらに、ホスト６のアクティビティは、複数のデバイスにわたって分散され得る。具体的には、空間位置の３Ｄ座標、トラッカーの配向、及びその運動パラメータの計算はこれらの複数のデバイスの１つによって行われ得る一方、３ＤシーンをＨＭＤにレンダリング及び出力することは、これらの複数のデバイスの別のものによって行われ得る。これらのデバイスは、同一場所に位置し得る、またはそれらのデバイスは、異なる場所に位置し、既知の通信手段によってリンクされ得、この目的のための適用は、当業者にとって課題にならなく、従って、簡潔にするために、これらの手段の説明を省略する。
【０１３４】
ホストの要求性能は、ＶＲ／ＡＲシステムの目的、ユーザの数、動作エリアのサイズ、ユーザの運動のダイナミズム等によって決まる。本発明の例示的実施形態では、スマートフォンＧａｌａｘｙＳ７（Ｓａｍｓｕｎｇ、韓国）は、ホストとして使用されている。トラッカーは、ＶＲ／ＡＲシステムを簡略化しそのコストを減らすために、ホストから構造的に分離され得、ホストから独立してユーザに利用可能であり得る。しかしながら、トラッカー及びホストの構造集合は、また、例えば、それらのＶＲ／ＡＲシステムで可能であり、第３者のデバイスを使用することを想定していない。この場合、トラッカーの通信デバイス１０６及びホストの通信デバイス６１は、内部通信インターフェース（例えば、ＵＳＢまたはＬＶＤＳ等のＩ２Ｃ通信インターフェースまたは高速通信インターフェース）を使用して実装され得る。さらに、トラッカー及びホストの構造集合に加えて、単一のデータ処理デバイスへのトラッカー及びホストのデータ処理デバイスの集合も可能であり、これは、データ処理デバイス間でデータ伝送のための通信デバイスを使用するいずれかの必要性を除外する。
【０１３５】
トラッカー１０は、モジュールアプローチに従って配列され得る。具体的には、トラッカー１０は、光学センサ１０１、ジャイロスコープ１０２、加速度計１０３、データ処理デバイス１０４、及び有線通信または無線通信を提供する通信デバイス１０６を備える、ベースユニット１１を備え得、トラッカー１０は、ＶＲ／ＡＲシステムの目的に従って、必要な機能を提供する追加デバイスを備える交換可能ユニットを備え得る。
【０１３６】
図５では、トラッカー１０が、ベースユニット１１と、ベースユニット１１のための搭載パッドの形態の交換可能ユニット１２とを備え、したがって、トラッカー１０をホスト６に付けることと、コネクタ１５によってそれらの間の電気接続とを提供する例を示す。トラッカー１０のレンズは、床上に配置されるマーカーストリップ４の使用に従って、前向き及び下向きに配向される。明らかに、マーカーストリップ４が異なる様式（例えば、天井上、マスト上等）で配置される場合、トラッカー１０は異なって配向され得る。
【０１３７】
ベースユニット１１及び交換可能ユニット１２は、図６に詳細に示される。ベースユニット１１と交換可能ユニット１２との間の接続は、機械的取り付け及び電気接続との両方を提供する磁石コネクタ１４を使用して実施される。
【０１３８】
図７は、トラッカー１０が、ベースユニット１１と、ホスト６に機械的取り付け及び標準コネクタによる有線接続を提供する交換可能ユニット１３とを備える例を示し、ホストは、スマートフォンであり得、ローエンドＶＲ／ＡＲシステムのＨＭＤとしての役割を果たし得る。図８は、詳細に、ベースユニット１１及び交換可能ユニット１３を示す。磁石コネクタ１４は、図７に示されるものと同様である。
【０１３９】
トラッカー２０及びトラッカー３０は、トラッカー１０と同一であり得る、または、それらは、対応するユーザの身体部分の移動の異なる様式によって生じるいくつかの相違点をもたらし得る。具体的には、ユーザの手のゲームコントローラに取り付けられるトラッカー２０及び３０は、ユーザの頭部に位置するトラッカー１０よりも高速でピクピクする動きをトレースすることが可能であり得る。しかしながら、追跡システム動作の一般概念は、いずれかのオプションで実質的に同じである。
【０１４０】
コントローラ２２，３２は、教育システムまたは娯楽システム用のゲームコントローラまたはマニピュレータであり得、係るデバイス、例えば、ボタン、キー、ジョイスティック、トラックボール等の典型的な制御手段を備え得る。トラッカーのモジュール概念に従って、コントローラ２２，３２は、ベースユニット２１，３１用の交換可能ユニットとして見なされ得る。コントローラ２２，３２の制御手段からホスト６へのデータ伝送は、例えば、トラッカー２０，３０からの統合データフローを伝送するために使用される同じ無線リンクを使用する無線方法によって行われ得る。図９は、図７及び図８に示されるものと同様の磁石コネクタを使用して実施され得る、それに対応するコントローラ２２，３２と、ベースユニット２１，３１との間の接続の例を示す。
【０１４１】
例えば、同じユーザに関連するトラッカー１０，２０，３０はトラッカーのグループであり得、それらのトラッカーの間の情報交換は無線リンクを介して提供される。具体的には、スレーブトラッカー２０，３０のデータは、無線リンクを介してマスタートラッカー１０に伝送され得、さらに、有線リンクまたは無線リンクを使用して、ホスト６に伝送される。これは、ユーザによってその構成の実現性を含むＶＲ／ＡＲシステムを構成する柔軟性を可能にすることをもたらす。構成柔軟性は、マルチユーザＶＲ／ＡＲシステムにとって特に重要である１人または別のユーザに関連するトラッカーのグループを定義する可能性を含む。その一方で、このアーキテクチャの解決策は、スレーブトラッカー（例えば、トラッカー２０，３０）から、マスタートラッカー（例えば、トラッカー１０）を経由して、ホスト６にデータを伝送するより容量が大きい通信チャンネルを必要とする。明らかに、通信チャンネル容量は供給されたトラッカーの数に比例して提供されるべきである。
【０１４２】
マーカーストリップ４（図１０Ａ）は、電力供給をアクティブマーカー４０，４１，４２に提供する可撓性導体を含む、ポリマー材料から作られた狭い可撓性ストリップの形態の基部を含む。基材は織布材料または不織布材料であり得る。基部及び導体の可撓性は、保管中及び輸送中にその曲がりくねった状態のコンパクトサイズのマーカーストリップを確実にする（図１０Ｂ）。その一方、この配列は、その十分な横剛性（その設置平面における）と、安定した光学的パターンを提供するために必要なマーカーの間の一定距離とを確実にする。導体は、約数ワットの電力消費の値における安全電圧の給電を提供するように、圧膜技術または薄膜技術に基づく、金属性、金属、酸化物、合成物であり得る。アクティブマーカー４０，４１，４２は、所定の場所へのそれらの信頼性のある取り付け及び供給電圧の給電を提供するように、任意の適切な方法によって基部に付けられ得る。本発明の例示的実施形態では、平坦なストリップ金属導体を使用し、アクティブマーカー４０，４１，４２は、マーカーを基部上に高速に搭載することと、そこから分解することとを提供する磁石コネクタによって基部に付けられる一方、マーカーを分解する容易性は、ユーザが非意図的に物理的にマーカーに接触するとき、マーカーストリップ４を損傷に対して保護する。電力は、ケーブル４４及び電気コネクタ４３を介して、電源４５からマーカー４０，４１，４２に供給される。
【０１４３】
電源４５は、必要な安全ＡＣまたはＤＣ電圧（例えば、５、６、１２、２４、３６、または４８Ｖ）を提供する任意の本管から接続された電源または非直結式電源であり得る。例えば、主要バッテリが放電するときに車のエンジンの開始を容易にすることを意図するブースタ等のモバイルデバイスまたは１２．６ＶＤＣバッテリを給電／充電するために多くの場合使用されるＰｏｗｅｒＢａｎｋ等の５ＶＤＣまたは１２ＶＤＣバッテリは、非直結式電源として採用され得る。システム１で複数のマーカーストリップ４を使用する場合、電力供給は、単一の電源によって、集中様式で提供され得る。代替として、電力供給は、各マーカーストリップ４が別個の電源によって給電されるとき、分散様式で提供され得る。具体的には、マーカーストリップ４が床内に内蔵されたとき、または部屋の壁上もしくは天井に位置するとき、集中型電力供給は永久的な商業用ＶＲ／ＡＲシステムに好ましくあり得る。分散型電力供給は、具体的には、屋外使用に適切であるモバイルのアマチュアなＶＲ／ＡＲシステムに好ましくあり得る。
【０１４４】
ケーブル４４及び電気コネクタ４３は、任意の適切な種類であり得る。その種類を選ぶことは当業者にとって平凡なタスクであり、従って、この点を省略する。
【０１４５】
マーカー４０，４１，４２のそれぞれは、ほぼ半球状方向特性を有する赤外線ＬＥＤエミッタである。要求された方向特性は、例えば、フレネルレンズに基づいて、１つ以上のＬＥＤチップの設置及び配向と、光拡散器の使用とによって確実にされる。マーカーは、広範囲の供給電圧のＬＥＤエミッタの動作能力を提供するドライバを含み得る。
【０１４６】
所定の様式に位置するマーカー４０，４１，４２の組み合わせは、光学的パターンを形成し、マーカーの存在及び空間位置は、トラッカー１０から統合データフローで利用可能であるマーカーデータに基づいて、ホスト６によって検出される。アクティブマーカーの使用は、インサイドアウト追跡概念で好ましい。これは、パッシブ（逆反射）マーカーの使用と比較していくつかの利点をもたらす。具体的には、アクティブマーカーを使用するとき、トラッカーのための追加電力供給部は、パッシブマーカーを照らすのに必要ではなく、これは、トラッカーが移動可能オブジェクト上に設置されるときに特に重要である。利用可能である追跡エリアサイズは、マーカーの寸法及びその輝度によって定義される。本管から接続された電源または非直結式電源によってマーカーを給電することは、マーカーの発光電力を数倍増加することを可能にし、したがって、追跡エリアサイズを拡大する一方、トラッカー自体の電力消費は変化しない。
【０１４７】
光学的パターンは、マーカーデータ処理アルゴリズムによって検出された線状パターンであり得る。線状パターンは、マーカーの間の距離の所定の比率によって特徴付けられる。具体的には、本発明の実施形態では、図１０Ａに示されるように、３つのマーカーは一直線に配置され、列４０−４１−４２を形成し、マーカー４０とマーカー４１との間の距離は、マーカー４１とマーカー４２との間の距離の２倍である。明らかに、光学的パターンの信頼性のある識別が本システムで維持される限り、距離比は異なり得る。
【０１４８】
動作エリアはマーカーストリップ４の長さを増加させることによってスケーリングされ得る一方、距離比は維持され、マーカーの発光表面及びその輝度は十分に大きい。これは、光学センサフレームの内部のマーカーブロブの角度パラメータ及び光度パラメータを維持する限り、実質的に動作エリアを拡大することを可能にし、さらに、高いトレースパラメータを提供する。
【０１４９】
明らかに、光学的パターンは、より多くのマーカー（例えば、４つ、５つ等）のマーカーを有する線状パターンであり得る。光学的パターンは、また、非線状パターンであり得、すなわち、マーカーは一直線に配置され得ない。
【０１５０】
動作エリアを増加させる上記の方法に加えて、マーカーストリップを加えることによって、動作エリアをほとんど無制限にスケーリングする可能性がある。この場合、線状パターンの組み合わせは、個々のマーカーの組み合わせの代わりに、全体のトレース写真に追加される。したがって、本システムは、フレームの所定の線状パターンの存在を検出し、次に、相互に対するパターンの配置を判定する。これは、追跡システムの較正中に開発した線状パターンのマップに基づいて動作エリアの範囲内の追跡システムによって、トラッカー位置の明白な判定を確実にするように、線状パターンの組み合わせを定義することを可能にする。このアプローチは、１つの部屋内に配置される単純形状の動作エリア、または複数の隣接部屋にわたって分配され得る複雑な形状の動作エリアのいずれかを配列するために使用され得る。
【０１５１】
したがって、本発明の利点の１つは、新しいマーカーストリップを加えることによって、追跡エリアを高速及び容易にスケーリングする。アウトサイドイン光学的追跡システムでは、マーカーは移動可能オブジェクト上に位置し、追加カメラは、通常複雑及び高価な方法である追跡エリアを拡大するために採用されるはずである。請求項に係る発明では、マーカーストリップのコストは安価であり、その設置の作業内容は無視できる。
【０１５２】
スクリーンまたはゲームプレイに応じて、マーカーストリップは、敷地の床、壁、または天井に配置され得る。組み合わせられたオプションは、また、マーカーストリップが壁上及び天井、または床及び壁上に配置されるときに可能である。本発明の永久的な実施形態では、マーカーは、フロア、壁、または天井に内蔵され得る。展示サンプル等の本発明の輸送可能な実施形態では、マーカーは展示設置セットの一部であるユニット式分解可能床に内蔵され得る。
【０１５３】
代替として、本発明の輸送可能な実施形態では、マーカーストリップは、動作位置にあるとき相互に係合する弾性ユニット式フロアマット（パズル式フロアマット、図１１参照）を使用して配列され得、したがって、動作エリアを配列する幾何学的精度、その形状及び寸法の安定性を確実にし、ひいては、ＶＲ／ＡＲシステムの設定及び調節を容易にする。マーカーは、フロアマットの所定の点に搭載され得る。所定の点はマーカーを受信する対応する形状の開口であり得る一方、未使用の開口はフロアマット自体と同じ材料から作られたプラグで閉鎖され得る。集中型電力供給を採用するとき、供給線は、フロアマットの下に配置され得る。供給線は平坦なストリップ形状であり得、その設計はフロアマットの作業面上で不規則なものとしてその外観がなくなる。図１０Ａ及び図１０Ｂに示されるマーカーストリップ及びユニット式フロアマットのパートナー化も可能である。
【０１５４】
アマチュア的使用に関して、高速な設置及び容易な適用は主要要因であり、床ベースオプションは好ましくあり得、ユーザは、マーカーストリップを床上に設置し、そのマーカーストリップをほぼ長方形状に配列し、そのマーカーストリップを１つ以上の電源に接続することが可能である（図１２）。係るシステムの設置は、通常、数分以内で行われる。
【０１５５】
商業用使用と同様に、具体的には、ＶＲパークに関して、ユーザの手に届かない所にマーカーストリップを配置することは重要であり、従って、そのアクションは、較正中に定義されるように及び／またはシステム設定パラメータによって規定されるように、動作エリアの特性を変え得ない。さらに、商業用ＶＲ／ＡＲシステムは、多くの場合、マルチユーザシステムであり、したがって、マーカーストリップの配置を選ぶとき、動作エリアの範囲内のそのマーカーの移動中に、ユーザによってマーカーをシェーディングする可能性を考慮することに好都合である。この場合、マーカーストリップを壁上または天井（図１３参照、天井は図示されない）に設置するオプションは、好ましくあり得る。マーカーストリップが天井に配置される場合、動作エリアサイズは、マーカーストリップによって輪郭が描かれる幾何学的図形の寸法よりも実質的に大きくなり得ることに留意されたい。
【０１５６】
壁、家具、家庭用品等の現実世界のアイテムとの衝突を回避する際にＶＲ／ＡＲシステムを容易にするように、ＶＲ／ＡＲシステムのユーザに仮想世界の境界を定義することが重要であり得る。請求項に係る発明は、具体的には、トラッカーに関する光学的マークを作成するその主要目的に加えて、フロア上または天井に設置されるとき、マーカーストリップが仮想世界の境界を定義し得る点で利点をもたらす。図１４では、仮想世界境界の定義は破線によって示され、その境界は、安全の理由のために壁からある程度の距離で定義される。ユーザが仮想世界境界に近づくとき、ＶＲ／ＡＲシステムは、視覚信号または音響信号を生成し、ユーザに現実世界のアイテムに安全ではない近さにいることに警告し得る。
【０１５７】
ホスト６（図１５）は、ホスト６とトラッカー１０との間のデータ交換を提供する通信デバイス６１、プログラム及びデータを記憶するための記憶デバイス６２、電力をホストハードウェアに提供する電源６３、ＨＭＤ５に出力された画像を提供する出力デバイス６４、及びトラッカー１０から受信された処理データを提供するデータ処理デバイス６５を備える。ホスト６がＨＭＤ５から構造的に分離され、それらが相互からある距離に位置するとき、出力デバイス６４は画像データをＨＭＤ５に伝送するための通信デバイスを備え得る。データ処理デバイス６５は、位置データの外挿を提供する外挿ユニット６６と、ＨＭＤ５に出力される３Ｄシーンの展開を提供するレンダリングユニット６７とを備える。
【０１５８】
本発明の別の実施形態では、ＨＭＤ５に出力される３Ｄシーンの展開を提供するレンダリングユニット６７は、ホスト６の一部になる代わりに、ホスト６の外部にあるデバイスの一部であり得る。具体的には、レンダリングユニット６７の機能は、別個のコンピュータまたはヘッドマウントディスプレイ自体に実装され得、データ外挿結果は、例えば、通信デバイス６１を介して、ホスト６から係るコンピュータにまたはヘッドマウントディスプレイに伝送され得る。
【０１５９】
ホスト６の通信デバイス６１は、トラッカー１０の通信デバイス１０６と互換性があるはずであり、トラッカー１０の通信デバイス１０６と同じ要件を満たすはずである。記憶デバイス６２、電源６３、及び出力デバイス６４は当業者に十分に既知である一般ユニットであり、従って、その詳細な説明を省略する。
【０１６０】
ＶＲ／ＡＲシステム１の一般的な動作概念は、図１６のアルゴリズムフローチャートによって示される。ステップＳ１では、システム１は動作の準備をしている。ステップＳ２では、追跡データはトラッカー１０で獲得及び処理される。ステップＳ３では、追跡データはホスト６で受信及び処理される。ステップＳ４では、３ＤシーンはＨＭＤ５によって表される。
【０１６１】
概して、システム１はその動作エリア内に複数のマーカーストリップ４を含む一方、動作エリアは新たに形成され、ステップ１はいくつかのステップを含む（図１７）。
【０１６２】
ステップＳ１１は動作エリアの構成を定義し、このステップでは、エリアの形状及び寸法を定義し、移動可能オブジェクトを追跡することは提供されるはずである。
【０１６３】
ステップＳ１２はマーカーストリップのレイアウトを生成することである。このステップでは、マーカーストリップを設置するオプションまたはいくつかの係るオプションは、動作エリアの範囲内のトラッカー位置のほとんどの信頼性のある判定を提供するように、ステップＳ１１に定義された動作エリアに関して計算される。このステップは、動作エリアが複雑な形状を有するときに要求される。そのステップは、動作エリアがかなり単純形状を有するときに選択式である。また、動作エリアが単純形状であるが大きいサイズのときに要求され、従って、マーカーストリップのレイアウトの複数の変形例が可能である。いくつかの特別なソフトウェアは、マーカーストリップのレイアウトを生成するために使用され得る。
【０１６４】
ステップＳ１３はマーカーストリップのレイアウトを選択することである。このステップでは、マーカーストリップのレイアウトは、本システムに既に存在しているレイアウトと、ステップ１２で生成したマーカーストリップのレイアウト（複数可）との中から選択される。
【０１６５】
ステップＳ１４は、マーカーストリップの実際の配列マップを生成する。このステップでは、本システムが選択されたレイアウトに従って全ての線状パターンを検出するまで、トラッカーは動作エリアの範囲内で移動するべきである。動作エリアが単純形状を有するとき、実際の配列の幾何学形状とマーカーストリップの選択されたレイアウトとの完全な一致が必要ではないことに留意されたい。例えば、長方形を使用する場合、マーカーストリップ間の角度は正確に９０°にする必要はなく、長方形と同様のものよりも大きいまたは小さい形状のマーカーストリップを設置するのに十分である。このステップでは、システム１は、選択されたレイアウトに従って、実際のマーカーストリップ配列及びマーカーストリップの位置を一致させることによって自動較正手順を行う。システム１のこの特徴は、室内オプション及び屋外オプションを含むユーザの使用事例に従って、本システムを使用する高い柔軟性を確実にするため、その設置の単純性を考慮すると重要である。
【０１６６】
固定構成を有するシステム１では、ステップＳ１は、新しい動作エリアを形成するために要求されたアクションを除外することによって効率化され得る。具体的には、固定構成を有する静止システム及びモバイルシステムでは、例えば、構成が内蔵されたアクティブマーカー４０，４１，４２を伴うパズル式フロアマットのセットによって判定されるとき、ステップＳ１４の自動較正手順を省略し得る、またはさらに、ステップＳ１４全体を省略し得る。
【０１６７】
ステップＳ２は、いくつかのステップを含む（図１８）。
【０１６８】
ステップＳ２１は光学センサのトレース窓を扱い、光学センサのトレース窓は、フレーム内のマーカーブロブの位置に応じて、光学センサのフレーム内部に移動し得る光学センサからデータを読み取るエリアである。トレース窓の使用は、光学センサからのデータの読み取りの加速を可能にし、ひいては、光学データの生成中のハードウェアの遅延を減らす。具体的には、トレース窓の使用は、６０サンプル／秒から最大４００サンプル／秒まで光学データ読取速度の増加を可能にする。光学センサに関するトレース窓を対処するアルゴリズムの例は、発明者の先願の特許出願に関連する公開文献の国際公開第２０１６／１０８７２０号に開示されており、したがって、その詳細な説明を省略する。このステップは選択式であり、すなわち、トレース窓の使用を要求しないとき、データを読み取るエリアは光学センサの全体フレームに等しく設定される。
【０１６９】
ステップＳ２２は、読取エリアの範囲内で、写真を光学センサから読み取る。データは、高速データ伝送標準的ＬＶＤＳ（低電圧差分信号伝送）によってデータ処理ユニット１０４に光学センサから伝送され、データ処理ユニット１０４は画素を検出し、その画素の輝度が、ある設定に設定された所定の閾値を超え、読み取られた写真の各線において、さらに、これらの画素のグループを認識し、認識されたグループの以下（ａ）〜（ｃ）の情報を交換バッファに記録する（（ａ）開始時のグループの座標、（ｂ）グループのサイズ（長さ）、及び（ｃ）グループを特性付ける３つのパラメータ（すなわち、グループの画素の輝度値の合計、線の画素の直線座標を掛けたグループの画素の輝度値の合計、及びグループの画素の輝度値の２乗の合計である）。所定の制限は認識グループのサイズに適用され得、例えば、その制限は、グループが少なくとも３つの明るい画素を含む必要があることが事前に定義され得、少なくとも１つのグループが認識されている線に関連する当該データだけが交換バッファに送られ得る。ＶＲ／ＡＲシステムの目的に応じて、交換バッファの情報内容は上記に示したものと異なり得る。しかしながら、その情報内容はアルゴリズムのさらなるステップを行うのに十分である必要がある。本発明の例示的実施形態では、ステップＳ２２は、ＦＰＧＡ  ＬＣＭＸＯ３ＬＦ−２１００Ｅ−５ＵＷＧ４９ＣＴＲ５０によって行われる。
【０１７０】
ステップＳ２３は、マーカーのブロブを検出し、そのパラメータを計算する。明るい画素のグループは、各線で分析され、その分析データは交換バッファから受信され、現在の分析された線の明るい画素のグループは事前に分析された線の明るい画素のグループと一致し、対応するグループはマーカーブロブを形成するように集合する。以下のパラメータは、検出されたマーカーブロブのそれぞれ（（ａ）光学センサフレームの座標系のその中心の２Ｄ座標、（ｂ）その有効半径、及び（ｃ）加重輝度）に対して判定される。マーカーブロブの中心座標は、サブピクセル精度で判定され得、マーカーブロブのパラメータは、対応するフレームをキャプチャする時点を示すタイムスタンプを含み得、このタイムスタンプは、さらに、ホスト６で統合データフローの処理中に使用される。ＶＲ／ＡＲシステムの目的に応じて、マーカーブロブパラメータの内容は上記に示したものと異なり得る。しかしながら、その内容はアルゴリズムのさらなるステップを行うのに十分である必要がある。本発明の例示的実施形態では、ステップＳ２３は、マイクロコントローラＳＴＭ３２Ｆ４４６ＭＥＹ６によって行われる。
【０１７１】
ステップＳ２４はジャイロスコープ及び加速度計からデータを読み取る。このステップでは、データは、所定速度においてジャイロスコープ及び加速度計から読み取られる。このデータは、データが読み取られたとき、時点を示すタイムスタンプを含み得、タイムスタンプは、さらに、ホスト６の統合データフローの処理中に使用される。慣性センサのデータの内容及びそのデータを獲得する方法は当業者に十分に既知であり、従って、本明細書では、簡潔にするために、そのデータを省略する。
【０１７２】
ステップＳ２５は統合データフローを生成する。このステップでは、ステップＳ２３で獲得されたデータは、統合データフローを形成するように、ステップＳ２４で獲得されたデータとマージされ、その例は図４に示される。
【０１７３】
ステップＳ２６は、さらに処理するために、統合データフローをホスト６に伝送する。
【０１７４】
ステップＳ３は、いくつかのステップ（図１９）を含む。
【０１７５】
ステップＳ３１は、統合データフローを受信することである。このステップでは、ホスト６は、トラッカー１０から統合データフローを受信する。トラッカー１０，２０，３０がグループにプールされ、トラッカー２０，３０のデータがトラッカー１０によって伝送される場合、このステップでは、ホスト６は、また、トラッカー１０を経由して受信された統合データフローをトラッカー１０、トラッカー２０、及びトラッカー３０の別個の統合データフローに分割し、さらに、統合データフローのそれぞれは、相互に独立して処理される。
【０１７６】
ステップＳ３２は、統合データフローを処理する。このステップでは、ホスト６は、トラッカー１０から統合データフローに含有されるデータを処理し、システム１の動作エリアの座標系の現在の位置データ（位置座標、配向、及び、随意に、運動パラメータ）を判定する。統合データフロー処理アルゴリズムは、さらに、図２２を参照して詳細に記載される。
【０１７７】
ステップＳ３３は、トラッカー運動経路の数学モデルを検証する。数学モデルの検証アルゴリズムは、さらに、図２３を参照して詳細に説明される。
【０１７８】
ステップＳ３４は位置データを外挿する。このステップでは、設定された外挿範囲内の特定の将来の時点のシステム１の動作エリア座標系におけるトラッカーの位置及び配向の予測を判定し、外挿アルゴリズムは、さらに、図２４を参照して詳細に説明される。
【０１７９】
ステップＳ３４は３Ｄシーンレンダリングである。このステップでは、システム１は、各トラッカーの現在及び予測された位置及び配向データに基づいて、ユーザ７のそれぞれの各眼に３Ｄシーンを形成する。
【０１８０】
ＶＲ／ＡＲシステム１及びいくつかのユーザの目的に応じて、ステップＳ３５のユーザ毎の３Ｄシーンレンダリングは、大きい計算容量を有する中央ホストによって、集中様式で行われ得、後に、３Ｄシーンは、対応するユーザに伝送され得る、または各ユーザに対する３Ｄシーンレンダリングは、ユーザの体（例えば、ＨＭＤ５）に設置されるローカルホストによって非集中様式で行われ得る。また、さまざまな暫定解決は可能であり、これらの解決策は、中央ホスト及びローカルホストの両方の存在を想到し、機能分散の点で、それに応じて、中央ホスト及びローカルホストにわたる計算負荷分散の点で異なる。
【０１８１】
ステップＳ３２では、現在の位置データは判定され、すなわち、システム１の動作エリアの座標系の座標、配向、及び、随意に、トラッカー運動パラメータを計算する。システム１の動作中、所定期間内の全てのセンサから獲得された履歴追跡データのセットを蓄積する。具体的には、ゲームアプリケーションのほとんどに最適である傾向がある４秒の期間内で、履歴データは、センサの約１７０００データの更新の情報を含む。履歴データは、ホスト６の記憶デバイス６２内に記憶される。履歴データは、トラッカーの運動経路と、所定期間内の過去の対応するユーザ身体部分とを判定し、外挿範囲内のそれらの将来の予測をすることを可能にする。
【０１８２】
図２０は、位置データの更新概念を示す図を示す。データＯＦ０は、光学センサデータに基づいて獲得された現在の光学位置データである。データＬ０は、データＯＦ０を獲得した後の慣性センサデータに基づいて獲得された現在の慣性位置データである。データＯＦ１は、光学センサデータに基づいて獲得された前の光学位置データである。データＬ１は、データＯＦ０とデータＯＦ１との間の慣性センサデータに基づいて獲得された前の慣性位置データである。データＯＦｎ，ＯＦｎ−１，ＯＦｎ−２，．．．，ＯＦ２は、所定の期間に関連するより長時間が経過した光学位置データを示し、データＬｎ，Ｌｎ−１，Ｌｎ−２，Ｌ２は、対応するより長時間が経過した慣性位置データを示す。所定期間に関連する光学位置データ及び光学位置データに対応する慣性位置データの集合は、一緒に、履歴追跡データのセットを形成する。
【０１８３】
データＯＦは各トラッカーのローカル座標系の光線の情報を含み、光線は、光学フレームで検出された特徴点であるマーカーブロブに向かう。特定の特徴点は各光線に対応する。各トラッカーによって検出された特徴点の数は、時間変化する傾向があり、トラッカー及びマーカーストリップの相互位置と、マルチユーザＶＲ／ＡＲシステムのユーザによって、マーカーのシェーディングとによって決まる（図２１）。データＯＦの更新速度は、光学センサの動作モードに応じて、６０〜４００サンプル／秒の範囲にあり得る。
【０１８４】
データＬは、データＯＦの到着の間の期間中にトラッカーの運動を表す加速度計及びジャイロスコープのデータシーケンスを含む。現在のデータＬ０のセットは、ジャイロスコープ及び加速度計から新しいデータを受信することに応じて更新され、データＬの更新速度は、ジャイロスコープデータ及び加速度計のデータのそれぞれの非同期の到着が約２０００サンプル／秒であると仮定すると、２０００〜４０００サンプル／秒の範囲であり得る。データＬの更新速度は、使用される種類の慣性センサに応じて、２０００サンプル／秒よりも遅い、または４０００サンプル／秒よりも速い速度であり得、これは、データＬの更新速度がデータＯＦの更新速度よりも実質的に速いことが重要であることに留意されたい。
【０１８５】
トラッカー位置データＳのセットは多次元ベクトルであり、本発明の例示的実施形態では、当該セットは、グローバル３Ｄベクトル（ＶＲ／ＡＲシステムの動作エリアの座標系）の形態のトラッカー座標と、グローバル四元数（ＶＲ／ＡＲシステムの動作エリアの座標系）の形態のトラッカー配向と、グローバル３Ｄベクトル（ＶＲ／ＡＲシステムの動作エリアの座標系のもの）の形態の運動速度と、ローカル３Ｄベクトル（トラッカーの座標系）の形態の１つ以上の慣性センサに関するデータ補正値（複数可）とを含む。本発明の例示的実施形態では、トラッカー位置データＳのセットは１３のパラメータを含み、１２のパラメータは独立している（トラッカー位置を表す四元数は１つの冗長パラメータを含む）。本発明の別の実施形態では、トラッカー位置データＳのセットは多数または少数のパラメータを含み得、具体的には、トラッカー運動速度データはトラッカー位置データＳのセットで省略され得る、またはトラッカー位置データＳのセットは、トラッカー運動速度データに加えて、トラッカー加速度データを含み得る。
【０１８６】
通常、本システムは、最新の光学フレーム（すなわち、光学データに基づく、実現化及び検証を終えた実際の位置）に対応する時点だけにトラッカー位置データＳのセットを記憶する。履歴記録深度の範囲内の他の時点に関する位置データは、慣性データＬに対応するインクリメント／デクリメントの加算または減算によって計算される。
【０１８７】
具体的には、フォワードパス中（すなわち、Ｓが正の時間軸方向に回転しているとき）、データＳｉの履歴値は、データＬｉ＋１を使用して、補正データＳｉ＋１によって計算され（式中、ｉ＝０…ｎ）、補正は、座標値を加算することによって行われる。具体的には、バックワードパス中（すなわち、Ｓが負の時間軸方向に回転しているとき）、データＳｉの履歴値は、データＬｉを使用して、補正データＳｉ−１によって計算され（式中、ｉ＝０…ｎ）、補正は、座標値を減算することによって行われる（図２０）。言い換えれば、位置データＳのセットは、現在の時点に関して及び履歴記録深度（通常、約４秒）の範囲内で過去のいずれかの時点に関して判定され得、判定の時間精度は慣性データ到着速度に対応する。
【０１８８】
所定の時点（ひいては、トラッカーの運動経路）におけるトラッカーの位置及び配向は、データＳ及びデータＬに基づいて判定され得る。言い換えれば、データＳ及びデータＬのセットは、トラッカー運動経路の数学モデルを構成し、数学モデルは、いずれかのセンサからの新しいデータのいずれかの到着に応じて変化し、外挿アルゴリズムによって所定の将来の時点におけるトラッカー位置を予測するために使用される。データＳに関連する数学モデルの検証（再計算）は新しい光学データの到着に応じて行われる一方、データＬのレジスタは新しい慣性データの到着に応じて実現する。前の光学データに基づく検証手順が完了する前に新しい光学データが到着する場合、前の検証手順が完了するとすぐに、次の検証手順は開始し、新たに到着した光学データはその検証手順で使用される。
【０１８９】
数学モデルの検証中、光学データから分かるトラッカー位置の基準点からのトラッカー運動経路のずれを計算する。運動経路の最適後（すなわち、数学モデルの実現後）、再度、そのずれを計算する。これらのずれに関する比較結果は、変化前のモデルがまだ実在するかどうか、またはそのモデルを変化したモデルと交換するべきかどうかを決定することを可能にする。データＳのセット及びデータＬのセットの内容を考慮して、全体運動経路を実現するように、ベクトルＳだけを最適化するのに十分であり、運動経路の全ての他の点は、慣性データＬに基づいて、インクリメント／デクリメントを使用して、計算され得ることに留意されたい。
【０１９０】
外挿範囲に対応する所定の将来の時点におけるトラッカーの位置及び配向は、実現された数学モデルに基づいて予測され得る。数学モデル検証及び位置データ外挿のアルゴリズムは、さらに、図２３及び図２４を参照して説明される。
【０１９１】
図２２は、ステップＳ３２の統合データフローのデータを処理するアルゴリズムのフローチャートを示す。
【０１９２】
アルゴリズムの入力データは、ステップＳ３１で獲得されたトラッカーからの統合データフローのデータである。
【０１９３】
ステップＳ３２０１は、慣性センサ、具体的には、ジャイロスコープ及び加速度計のデータを処理し、当該ステップは、新しい慣性データをトラッカーの慣性データＬのレジスタに加えることをもたらす。対応するフレームをキャプチャする時点を示すタイムスタンプがステップＳ３２０２の統合データフローに到達するとき、現在の慣性データレジスタは閉じられ、そこからのデータは、ステップＳ３２０３の慣性データのスタック内にデータＬ１として記録され、新しいレジスタは、新しい慣性データを受信するために開かれ、スタックの光学データ及び慣性データの列挙は、ステップＳ３２０４に下がってワンステップだけシフトする。
【０１９４】
ステップＳ３２０５は、データＳ１を補正するためのデータＬ１を適用することによって、トラッカーの現在の位置データ（すなわち、データＳ０）のセットを計算する。具体的には、データＳ１の座標値は、データＬ１の増分値と合計される。
【０１９５】
ステップＳ３２０６は、光学センサフレームの座標系において検出されたマーカーブロブの２Ｄ座標である光学データを処理し、マーカー識別を行う、すなわち、各マーカーがどのマーカーストリップに属するのかを判定する。マーカーストリップに対応する光学的パターンに基づいて、マーカー識別を行う。具体的には、線状光学的パターンは、マーカーストリップ４（図１０）に使用され、マーカー４０とマーカー４１との間の距離は、マーカー４１とマーカー４２との間の距離の２倍である。トラッカーのデータにおいて検出及び識別された各マーカーに対する方向（光線）は、このトラッカーの座標系において計算される。この方向は、極座標において判定され得る。複数の光線は、ステップＳ３２０７においてデータＯＦ０として記録されるこのトラッカーのデータＯＦのセットを構成する。
【０１９６】
したがって、ステップＳ３２は、データＳ０及びデータＯＦ０をもたらす。
【０１９７】
図２３は、ステップＳ３３において、トラッカー運動経路の数学モデルを検証するアルゴリズムのフローチャートを示す。
【０１９８】
ステップＳ３３０１は、現在のデータＳ０に含有される情報を使用して、トラッカーによって可視であるマーカーに向かうローカル２Ｄ光線に基づいて、グローバル３Ｄ光線を生成する。ＶＲ／ＡＲシステムのグローバル座標で判定された３Ｄ光線への特定のトラッカーのローカル座標で判定された３Ｄ光線の変換は、トラッカー位置エラーベクトルＥのさらなる判定に必要である。
【０１９９】
ステップＳ３３０２は、トラッカー位置エラーベクトルＥを計算し、トラッカー位置エラーベクトルＥは、多次元ベクトルであり、マーカー座標の残りのものと、データＳ０のセットの各成分に関連する残りのもの偏導関数とを含む。マーカー座標の残りのものは、光線ステップＳ３３０１で生成された３Ｄに基づいて計算されたマーカー座標と、マーカーストリップのレイアウトから分かるマーカー座標との比較によって判定される。
【０２００】
ステップＳ３３０３は、エラーベクトルＥのスタック内の計算された現在のベクトルＥを、ベクトルＥ０として記録する。
【０２０１】
ステップＳ３３０４は、履歴追跡データの全体深度を通して逆方向にデータＳ及び対応するエラーベクトルＥを計算し、データＳ０値（すなわち、ステップＳ３２０３で受信された最新の値）は最初のデータＳ値として使用され、履歴データＳ値は、バックワードパスの場合に関して上記に説明したように、対応する履歴データＬ値を適用することによって計算される。言い換えれば、データＯＦｉの時点に対応するデータＳｉを計算し、また、データＯＦｉの時点に対応するベクトルＥｉ（ｉ＝０…ｎ）を計算し、ベクトルＥｉの値をエラーベクトルＥのスタック内に記録する。
【０２０２】
履歴の前の時点の大部分に到達するとき、位置データＳｎのセットは、ステップＳ３３０５で最適化される。最適化は、例えば、レーベンバーグ・マルカートアルゴリズムを使用して、最小二乗法によって行われ得る。明らかに、当業者に十分に既知である他の最適化方法は、代わりに使用され得る。最適化するための入力データは、ステップＳ３３０４で計算されたベクトルＥである一方、ベクトルＥに含有される偏導関数は、最適化中、データＳを変化させる方向を定義する。ステップＳ３３０５は、最適化されたデータＳ′ｎのセットをもたらす。
【０２０３】
ステップＳ３３０６は、順方向にデータＳ′を計算し、データＳ′ｎ値（すなわち、ステップＳ３２０５で受信された最も長く時間が経過した値）は最初のデータＳ′値として使用され、履歴データＳ′値は、フォワードパスの場合に関して上記に説明したように、対応する履歴データＬ値を適用することによって計算される。この処理は、変化したトラッカー運動経路データを示すＳ′ｉ（ｉ＝０…ｎ）と、Ｓ′ｉの新しい値に関して計算され、エラーベクトルＥ′のスタックに記録されるベクトルＥ′ｉ（ｉ＝０…ｎ）とを示す。
【０２０４】
ステップＳ３３０７は、位置決め誤差を減らすかどうかを判定するように、変化した数学モデルを現在の数学モデルと比較するとき、ベクトルＥ′及びベクトルＥのスタックのベクトルを比較する。この比較は、ベクトルＥｉ及びＥ′ｉの各組に関して要素毎に行われ得（すなわち、ベクトルスタックＥｉ及びＥ′ｉに含有される多次元ベクトルの対応する成分を比較し得）、目的関数Ｆ’＝Ｆｉ（Ｅｉ−Ｅ′ｉ）（ｉ＝ｎ．．．０）を計算し得、その値を閾値εと比較し得る。Ｆ＞εである場合、新しいデータＳ′０のセットはステップＳ３３０８でＳ０として受け入れられ、すなわち、変化した数学モデルは、さらに、ＶＲ／ＡＲシステムで使用される。Ｆ≦εである場合、現在のデータＳ０のセットは実在のままであり、すなわち、現在の数学モデルは、さらに、ＶＲ／ＡＲシステムに使用される。新しい光学位置データを受信するまで、現在の数学モデルは実在するものと見なされる。
【０２０５】
目的関数Ｆは重み関数であり得る。具体的には、目的関数は、マーカーブロブのサイズ（より大きいマーカーブロブは、ノイズの少ないデータを提供し、従って、重み関数に対するその寄与はより高くなり得る）と、光学センサのアレイのマーカーブロブの位置（光学センサの幾何学的中心の近くに位置するマーカーブロブ、特に、光学センサに広角魚眼タイプのレンズが装備されるとき、幾何学的にゆがみが少ないデータを提供し、従って、重み関数へのその貢献はより高くなり得る）と、及び／またはデータ経過時間（現在の時点に関連するベクトルＥの成分は、ベクトルＥの履歴成分と比較して、重み関数により寄与し得る）とを考慮し得る。
【０２０６】
したがって、ステップＳ３３は、最小のトラッカー位置決め誤差を提供する最適化されたデータＳをもたらす。
【０２０７】
ステップＳ３３のアルゴリズムは、新しい光学データが統合データフローで受信するときに毎回起動する。発生するとき、データＯＦ及びデータＬの最も長く時間が経過した履歴値はＦＩＦＯ（先入れ先出し）ルールによってスタックから削除され、すなわち、データＯＦ及びデータＬは、より最新の位置データの方向に１ステップごとシフトする。
【０２０８】
上記に説明したアルゴリズムは、以下の利点をもたらす。
（ａ）高度な多様性；トラッカーの位置及び配向を調節することを可能にするいずれかのセンサデータの到着、すなわち、新しい光学データの到着は、トラッカー運動経路の数学モデルの実現を可能にし、新しい慣性データの到着は、光学データ到着の間で高精度の追跡を確実にする。
（ｂ）高いロバスト性；１つのマーカーに関連する光学データだけが到達する場合でさえ（これは、マルチユーザシステムでユーザによって、マーカーシェーディングによって生じ得、係るデータは、トラッカーを位置付けるために直接使用されることができない）、光学データは、さらに、数学モデルを実現するために使用され得る。
【０２０９】
トラッカー運動経路の実現された数学モデルを維持することは、所定の将来の時点でトラッカー位置の精密な予測を可能にする。外挿アルゴリズムを使用して、予測を行う。
【０２１０】
図２４は、ステップ３４で行われた位置データ外挿のフローチャートを示す。このアルゴリズムに関する入力データは、ステップＳ３３で獲得された最適化されたデータＳと、データＬのセットとである。
【０２１１】
ステップＳ３４０１は、外挿範囲を定義する。外挿範囲は、３Ｄシーンをレンダリングする３Ｄエンジンから要求に従って定義される。３Ｄエンジンは、ＶＲ／ＡＲシステムの特定のパラメータ（すなわち、その目的、ユーザの数、一般的なユーザのダイナミズム、ユーザの移動様式、システムの既知の遅延等）に基づいて、３ＤシーンをＨＭＤに出力する時点に対応する特定の将来の時点に関する位置データを要求する。外挿範囲の幅は、例えば、３Ｄエンジンが予測された位置データを要求しないとき、ゼロに設定され得る。外挿範囲の幅は、また、ＶＲ／ＡＲシステム設定に設定される制限によって定義され得る。発明者は、慣性センサの更新速度が４０００サンプル／秒であり、トラッカー位置及び配向の予測の高信頼性を維持するために、いずれかのデータの最長時間が４秒以内にある場合、外挿範囲の幅が３０ｍｓを超えるはずがないことを実験によって判定されている。
【０２１２】
ステップＳ３４０２は、データＬの履歴深度である外挿ベースを定義し、外挿ベースは、不確実な期間内で（すなわち、最新の慣性データの到着時点と、外挿範囲に対応する時点との間で）予測されたトラッカー運動経路を展開するための外挿アルゴリズムによって使用される。外挿ベースは、合計追跡履歴（例えば、約４秒以内）の範囲内に設定され得る。外挿ベース値は、利用可能である算出能力、ＶＲ／ＡＲシステムのトラッカーのトレースの数等に応じて、設定され得る。いくつかの場合、データＳの最適化は、データＬの１つまたは数個のサンプルを有する最小の外挿ベースを用いてさえも、容認可能な外挿精度を維持することを可能にする。外挿ベースは動的に定義され得、すなわち、外挿ベースはＶＲ／ＡＲシステムの現在の状況に応じて変わり得、また、異なるトラッカーによって異なり得ることに留意されたい。
【０２１３】
ステップＳ３４０３は、ステップＳ３４０２で定義された外挿ベースに基づいて、運動経路をステップＳ３４０１で定義した外挿範囲に外挿する。言い換えれば、運動経路は、３Ｄエンジンから受信された要求によって定義された将来の時点までに完全になる。最新のデータＬ０はデータＳ０に適用され、外挿範囲のトラッカーの物理座標を計算するように、取得された結果は、外挿アルゴリズムによって処理される。
【０２１４】
ＶＲ／ＡＲシステム及びその算出能力の目的に応じて、様々な外挿アルゴリズムは、予測されたトラッカー運動経路を展開するために使用され得、これらのアルゴリズムは当業者に既知であり、従って、簡潔にするために、その詳細な説明を省略する。外挿アルゴリズムは、異なるトラッカーによって異なり得、さらに、アルゴリズムは同じであり、その外挿パラメータは異なり得る。
【０２１５】
したがって、ステップＳ３４は、動作エリアの範囲内のトラッカーの予測位置及び配向データＳｅをもたらす。
【０２１６】
ステップＳ３１，Ｓ３２，Ｓ３３，Ｓ３４に対応するプロセスのそれぞれは、独立して、各トラッカーのデータに対して行われ、すなわち、これらの処理は、マルチストリームプロセスであり、いくつかのストリームは、ＶＲ／ＡＲシステムのいくつかのトラッカーによって分割可能であることに留意されたい。
【０２１７】
また、上記の説明は、本発明の目的を達成するために最も本質的なものであるそれらのアクションを対象とすることに留意されたい。また、他のアクションが、本システムの動作（例えば、機器を接続すること、その初期化、適切なソフトウェアの起動、命令及び肯定応答の伝送及び受信、補助データの交換、同期化等）を確実にするように行われるべきであることは、当業者に明らかであるはずであり、本明細書では、簡潔にするために、その説明を省略する。
【０２１８】
さらに、上記の説明は、本発明の目的を達成するために最も本質的なものであるそれらのデバイスの部分を対象とすることに留意されたい。これらのデバイスが、本システムの動作を確実にするように、他の部分または複数の部分を備える必要がある、または備え得ることは当業者に明らかであるはずであり、本明細書では、簡潔にするために、その説明を省略する。
【０２１９】
「発明を実施するための形態」に言及され及び図面に示されるデバイス及びその一部、方法及びその一部は、それらが数字指示子を参照して言及されるとき、本発明の１つ以上の特定の実施形態に関し、または、それらが数字指示子を参照しないで言及されるとき、本発明の全ての適用可能な実施形態に関する。
【０２２０】
「発明を実施するための形態」、図面、及び「特許請求の範囲」に言及されるデバイス及びその一部は、ハードウェア／ソフトウェア手段の組み合わせを構成し、いくつかのデバイスのハードウェアは、別に明示的に記述されない場合、異なり得る、または他のデバイスのハードウェアと部分的にもしくは十分に一致し得る。いくつかのデバイスのハードウェアは、別に明示的に記述されない場合、他のデバイスの異なる部分に位置し得る。ソフトウェアコンテンツは、記憶デバイス内に含有されるコンピュータコードの形式で実装され得る。
【０２２１】
本明細書に提供された方法の説明における一連のステップは例示的であり、それは、機能を維持し結果を達成する限り、本発明のいくつかの実施形態で異なり得る。
【０２２２】
本発明の一部及び特徴は、それらが相互に矛盾しない場合、本発明の異なる実施形態に組み合わせられ得る。上記に説明した本発明の実施形態は、例示だけとして提供され、それらは、「特許請求の範囲」に定義される本発明を限定することを意図しない。本発明の主旨に対応する設計、構成、及び動作モードにおける全て及びいずれかの合理的な修正、改変、及び均等物の交換は、本発明の範囲内に含まれる。
【０２２３】
さらに、上記の説明は、仮想現実システムまたは拡張現実システムの移動可能オブジェクトのインサイドアウト光学的慣性追跡の方法及び／またはシステムを使用することに関する一方、本方法及び／または本システムは、移動可能オブジェクトの判定位置及び／または配向及び／または運動パラメータの問題を解決するための任意の他の業界において十分に適用可能であることに留意されたい。
【０２２４】
具体的には、上記に説明した工学的解決策は、工場物流システム、倉庫物流システム、または店舗物流システムにおける貨物及び作業者をトレースするために、教育システムまたは訓練システムの参加者の運動をトレースするために、ロボットシステムのエンドポイントの位置及び配向を判定するために、無人航空機を含む無人移動可能オブジェクトを扱うために、及び現在存在している及び可能性として今後発表されるものを含む他のシステムの様々なタスクを達成するために採用され、利点をもたらし得る。
【図１】
2021509214.tif 000003
【図２】
2021509214.tif 000004
【図３】
2021509214.tif 000005
【図４】
2021509214.tif 000006
【図５】
2021509214.tif 000007
【図６】
2021509214.tif 000008
【図７】
2021509214.tif 000009
【図８】
2021509214.tif 000010
【図９】
2021509214.tif 000011
【図１０Ａ】
2021509214.tif 000012
【図１０Ｂ】
2021509214.tif 000013
【図１１】
2021509214.tif 000014
【図１２】
2021509214.tif 000015
【図１３】
2021509214.tif 000016
【図１４】
2021509214.tif 000017
【図１５】
2021509214.tif 000018
【図１６】
2021509214.tif 000019
【図１７】
2021509214.tif 000020
【図１８】
2021509214.tif 000021
【図１９】
2021509214.tif 000022
【図２０】
2021509214.tif 000023
【図２１】
2021509214.tif 000024
【図２２】
2021509214.tif 000025
【図２３】
2021509214.tif 000026
【図２４】
2021509214.tif 000027
【国際調査報告】
2021509214.tif 000028
2021509214.tif 000029