(57)【要約】      （修正有）【課題】３自由度（Ｄｏｆ）の足首情報と６自由度（Ｄｏｆ）の頭部情報に従って、足首の位置を追跡する。【解決手段】対話システムにおけるユーザの足首の追跡方法は、ユーザの第１足首情報及び頭部情報を取得するステップ２０２と、第１足首情報に従って第２足首情報を決定するステップ２０４と、第１足首情報及び頭部情報に従って第２足首情報を較正するステップ２０６とを備える。第１足首情報は３Ｄｏｆ情報であり、第２足首情報は６Ｄｏｆ情報であり、頭部情報は６Ｄｏｆ情報である。【選択図】図２Ａ
2020047235.tif 000002
【特許請求の範囲】
【請求項１】
対話システムにおけるユーザの足首の追跡方法であって：
前記ユーザの第１足首情報及び頭部情報を取得するステップと；
前記第１足首情報に従って第２足首情報を決定するステップと；
前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するステップと；
を備え、
前記第１足首情報は３自由度（Ｄｏｆ）情報であり、前記第２足首情報は６Ｄｏｆ情報であり、前記頭部情報は６Ｄｏｆ情報である、
追跡方法。
【請求項２】
前記第１足首情報に従って前記第２足首情報を決定するステップは、前記第１足首情報に積分演算を実行して前記第２足首情報を取得する、
請求項１に記載の追跡方法。
【請求項３】
前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するステップは、
前記第１足首情報及び前記頭部情報に従って前記足首のリセット位置を決定するステップ、
を更に備える、請求項１に記載の追跡方法。
【請求項４】
前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するステップは、
前記第２足首情報と前記足首の前記リセット位置との間の絶対差が予め設定された距離より小さいとき、前記第２足首情報を前記足首の前記リセット位置に等しく設定するステップ、
を備える、請求項３に記載の追跡方法。
【請求項５】
前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するステップは、
前記第２足首情報に従って前記ユーザの足の動きを決定するステップと、
前記足の動きが予め設定された動きに一致するとき、前記第１足首情報及び前記頭部情報に従って前記第２足首情報に対して較正を実行するステップと、
を更に備える、請求項１に記載の追跡方法。
【請求項６】
対話システムにおけるユーザの足首を追跡するための追跡システムであって、当該追跡システムは：
前記ユーザの頭部情報を取得するための第１センサと；
前記ユーザの第１足首情報を取得するための第２センサと；
処理ユニットと；
前記処理ユニットに、
前記第１足首情報に従って第２足首情報を決定するステップ、及び
前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するステップ、
を実行するよう指示するプログラムコードを記憶するための記憶ユニットと；
を備え、前記第１足首情報は３自由度（Ｄｏｆ）情報であり、前記第２足首情報は６Ｄｏｆ情報であり、前記頭部情報は６Ｄｏｆ情報である、
追跡システム。
【請求項７】
前記処理ユニットは、前記第１足首情報に従って前記第２足首情報を決定するために、前記第１足首情報に積分演算を実行して前記第２足首情報を取得する、
請求項６に記載の追跡システム。
【請求項８】
前記処理ユニットは、前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するために、
前記第１足首情報及び前記頭部情報に従って前記足首のリセット位置を決定するステップ、
を実行するよう構成される、
請求項６に記載の追跡システム。
【請求項９】
前記処理ユニットは、前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するために、
前記第２足首情報と前記足首の前記リセット位置との間の絶対差が予め設定された距離より小さいとき、前記第２足首情報を前記足首の前記リセット位置に等しく設定するステップ、
を実行するよう構成される、
請求項８に記載の追跡システム。
【請求項１０】
前記処理ユニットは、前記第１足首情報及び前記頭部情報に従って前記第２足首情報を較正するために、
前記第２足首情報に従って前記ユーザの足の動きを決定するステップと、
前記足の動きが予め設定された動きに一致するとき、前記第１足首情報及び前記頭部情報に従って前記第２足首情報に対して較正を実行するステップと、
を実行するよう更に構成される、
請求項６に記載の追跡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追跡方法及び追跡方法を使用する追跡システムに関し、より具体的には、６自由度（６Ｄｏｆ）の頭部情報及び３自由度（３Ｄｏｆ）の足首情報に従って６自由度の足首情報を取得することができる追跡方法及び追跡システムに関する。
【背景技術】
【０００２】
仮想現実（ＶＲ）及び拡張現実（ＡＲ）装置と対話システムの総数により、ユーザはＶＲ／ＡＲ装置の助けを借りて対話システムによって提供される仮想環境を容易に体験することができ、これにより、ユーザは自分自身を完全に仮想環境の中に出現させ得ることがある。ユーザ体験を向上するため、追跡システムは通常、ユーザの動きを捕捉して仮想環境において対応する応答を生成するために用いられる。したがって、ユーザは、様々な手のジェスチャ又は身体の動きを用いて対話システムを操作し、ユーザ体験を高めることができる。
【０００３】
従来技術において、ユーザの足首位置を追跡するためにセンサフュージョンが広く採用されている。詳細には、追跡システムは、少なくとも2つのセンサを使用してユーザの足首位置を追跡する。この場合、一方のセンサがユーザの一方の膝に装着され、もう一方が足首に装着される。各センサは、膝及び足首の３自由度（Ｄｏｆ：degrees  of  freedom）の情報を提供することができ、それにより、追跡システムは十分な脚情報を取得して脚の動きを決定することができる。しかしながら、センサフュージョンを用いる動き追跡は、追跡システムのハードウェア要件を増やし、追跡システムのコストを増やすことがある。別の態様では、センサフュージョンを用いない動き追跡は、足の動きを正確に決定するために十分な足首の情報を得ることができない。したがって、先行技術を改善する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、本発明の主な目的は、３Ｄｏｆの足首情報と６Ｄｏｆの頭部情報に従って、足首の位置を追跡することができる追跡方法及び追跡システムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明は、対話システムにおけるユーザの足首の追跡方法を開示する。当該方法は、ユーザの第１足首情報及び頭部情報を取得するステップと、第１足首情報に従って第２足首情報を決定するステップと、第１足首情報及び頭部情報に従って第２足首情報を較正するステップとを備え、第１足首情報は３自由度（Ｄｏｆ）情報であり、第２足首情報は６Ｄｏｆ情報であり、頭部情報は６Ｄｏｆ情報である。
【０００６】
本発明は更に、対話システムにおけるユーザの足首を追跡するための追跡システムを開示する。当該追跡システムは、ユーザの頭部情報を取得するための第１センサと、ユーザの第１足首情報を取得するための第２センサと、処理ユニットと、該処理ユニットに、第１足首情報に従って第２足首情報を決定するステップと、第１足首情報及び頭部情報に従って第２足首情報を較正するステップを実行するよう指示するプログラムコードを記憶するための記憶ユニットとを備え、第１足首情報は３自由度（Ｄｏｆ）情報であり、第２足首情報は６Ｄｏｆ情報であり、頭部情報は６Ｄｏｆ情報である。
【０００７】
本発明のこれらの目的及び他の目的はおそらく、様々な図及び図面に図示される好ましい実施形態についての以下の詳細な説明を読めば、当業者に明らかになるであろう。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態による追跡システムの概略図である。
【０００９】
【図２Ａ】本発明の一実施形態による処理の概略図である。
【００１０】
【図２Ｂ】本発明の一実施形態による別の処理の概略図である。
【発明を実施するための形態】
【００１１】
図１を参照されたい。図１は、本発明の一実施形態による追跡システム１０の概略図である。追跡システム１０は、ユーザＵ１の足首の動きを追跡して対話システムに対する６自由度（Ｄｏｆ）の足首情報Ｕ１＿ａ２を生成するために利用される。対話システムは、ユーザＵ１が熱中するようシミュレートされた仮想環境を提供する仮想現実（ＶＲ）又は拡張現実（ＡＲ）システムである。対話システムがユーザＵ１に対して現実的な応答を生成するためには、対話システムは、適切な応答を生成し、かつユーザ体験を向上させるよう、ユーザＵ１の動きを正確に読み取ることが期待される。したがって、追跡システム１０は、ユーザＵ１の足首の動きを正確に追跡し、それに応じて、対話システムに対してユーザＵ１の６Ｄｏｆの足首情報Ｕ１＿ａ２を生成するために利用される。
【００１２】
図１に図示されるように、追跡システム１０は、ユーザＵ１の足首位置を取得するように構成され、頭部センサ１００、足首センサ１０２、処理ユニット１０４及び記憶ユニット１０６を備える。頭部センサ１００は、ユーザＵ１によって頭部に装着され、頭部情報Ｕ１＿ｈを取得するように構成される。足首センサ１０２は、ユーザＵ１によって足首に装着され、足首情報Ｕ１＿ａを取得するように構成される。特に、頭部センサは、６Ｄｏｆの頭部情報Ｕ１＿ｈを取得するための６Ｄｏｆセンサであり、足首センサは、３Ｄｏｆの足首情報Ｕ１＿ａを取得するための３Ｄｏｆセンサである。処理ユニット１０４は、６Ｄｏｆの足首情報Ｕ１＿ａ２を決定して較正するために、足首情報Ｕ１＿ａ及び頭部情報Ｕ１＿ｈを取得することができる。記憶ユニット１０６に記憶されるプログラムコード１０６０は、処理ユニット１０４に処理のステップを実行するよう指示する。言い換えると、追跡システム１０は、６Ｄｏｆの頭部情報Ｕ１＿ｈ及び３Ｄｏｆの足首情報Ｕ１＿ａに従って６Ｄｏｆの正確な足首情報Ｕ１＿ａ２を決定して較正することができ、これは、ユーザＵ１に配置されるセンサの量を効率的に減少させることができる。
【００１３】
さらに、頭部センサ１００は、６Ｄｏｆの頭部情報Ｕ１＿ｈを取得するために、ユーザＵ１によって装着されて頭部の表面に取り付けられるよう利用される。頭部センサ１００は、慣性測定ユニット（ＩＭＵ）、加速度計、ジャイロスコープ、磁気センサ又はこれらの組合せであってよい。足首センサ１０２は、足首情報Ｕ１＿ａを取得するために、ユーザＵ１によって装着されて足首の表面に取り付けられる。足首センサ１０２は、ＩＭＵ、加速度計又はジャイロスコープであってよい。頭部センサ１００及び足首センサ１０２がそれぞれ頭部の６Ｄｏｆ運動情報及び足首の３Ｄｏｆ運動情報を取得することができる限り、頭部センサ１００及び足首センサ１０２は、他の種類のセンサによって実装されてもよい。加えて、処理ユニット１０４は、マイクロプロセッサ又は特定用途向け集積回路（ASIC）であってよい。記憶ユニット１０６は、読出専用メモリ（ROM）、ランダムアクセスメモリ（RAM）、不揮発性メモリ（例えば電気的消去可能プログラマブル読出専用メモリ（EEPROM）又はフラッシュメモリ）、CD-ROM、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置等であってよいが、これらに限定されない。
【００１４】
追跡システム１０の動作を、図２Ａに示されるように処理２０として要約することができ、処理２０は、以下のステップを含む：
【００１５】
ステップ２００：開始する。
【００１６】
ステップ２０２：足首センサ１０２が足首の足首情報Ｕ１＿ａを取得し、頭部センサ１００がユーザＵ１の頭部の頭部情報Ｕ１＿ｈを取得する。
【００１７】
ステップ２０４：処理ユニット１０４が、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って足首の足首情報Ｕ１＿ａ２を決定する。
【００１８】
ステップ２０６：処理ユニット１０４が、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って足首情報Ｕ１＿ａ２を較正する。
【００１９】
ステップ２０８：終了する。
【００２０】
処理２０によれば、ステップ２０２において、頭部センサ１００及び足首センサ１０２は、それぞれ、ユーザＵ１の６Ｄｏｆの頭部情報Ｕ１＿ｈ及び３Ｄｏｆの足首情報Ｕ１＿ａを取得することができる。ステップ２０４において、処理ユニット１０４は、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って足首位置を追跡することができる。より具体的には、３Ｄｏｆの足首情報Ｕ１＿ａは、足首の３軸加速度情報を含み、これにより、処理ユニット１０４は、足首情報Ｕ１＿ａに対する二重積分（double  integration）により足首の３軸変位情報（triaxial  displacement  information）を決定することができる。したがって、処理ユニット１０４によって３軸変位情報を足首情報Ｕ１＿ａとマージすることにより、６Ｄｏｆの第２足首情報Ｕ１＿ａ２を取得することができる。しかしながら、取得される足首の３軸加速度情報には誤差があり、これはユーザＵ１が歩を進める間、毎回繰り返し蓄積される。したがって、足首情報Ｕ１＿ａ２は、ユーザＵ１がより多くの歩数を歩くと、より不正確になり逸脱する。その結果、足首情報Ｕ１＿ａに対する二重積分により得られる３軸変位情報を含む足首情報Ｕ１＿ａ２は不正確であり、ユーザＵ１の正しい足首位置を示すために直接利用することができない。したがって、ステップ２０６において、処理ユニット１０４は、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って足首情報Ｕ１＿ａ２を較正し、足首情報Ｕ１＿ａ２の誤差を除去することで、生成される足首情報Ｕ１＿ａ２がユーザＵ１の正しい足首の位置を示すことを保証し、追跡システム１０のユーザ体験を更に向上させる。
【００２１】
具体的には、処理ユニット１０４は、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って、ユーザＵ１の身体に対応する、足首位置を示す足首座標を決定することができ、これにより、足首座標は、足首の変位情報だけでなく、ユーザＵ１に対応する絶対位置も示すことができる。例えば足首情報Ｕ１＿ａ２が、足首が上がっていることを示すとき、追跡システム１０は、ユーザＵ１が階段を利用しているのか、あるいは単に足を上げているのかを適切に見分けることができないことがある。したがって、追跡システム１０は更に頭部情報Ｕ１＿ｈを利用して、足首位置がユーザＵ１の身体に対応している場所を正確に示す足首座標を決定する。したがって、処理ユニット１０４は、足首座標を較正に利用することで、足首情報Ｕ１＿ａ２から誤差を取り除くことができる。
【００２２】
上述の追跡システム１０の詳細な動作を、図２Ｂに図示されるように別の処理２２として要約することができ、処理２２は以下のステップを含む：
【００２３】
ステップ２２０：開始する。
【００２４】
ステップ２２２：足首センサ１０２が足首の足首情報Ｕ１＿ａを取得し、頭部センサ１００がユーザＵ１の頭部の頭部情報Ｕ１＿ｈを取得する。
【００２５】
ステップ２２４：処理ユニット１０４が、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａに従って足首の足首情報Ｕ１＿ａ２を決定する。
【００２６】
ステップ２２６：処理ユニット１０４が、頭部情報Ｕ１＿ｈ及び足首情報Ｕ１＿ａ２に従って足首座標を決定する。
【００２７】
ステップ２２８：処理ユニット１０４が、足首座標に従って足首情報Ｕ１＿ａ２を較正する。
【００２８】
ステップ２３０：終了する。
【００２９】
ステップ２２０〜２２４は、ステップ２００〜２０４と同様であり、ここでは説明されない。
【００３０】
詳細には、足首情報Ｕ１＿ａ２の変位情報は、足首の動きのみを示し、ユーザＵ１の身体に対応する正しい足首位置は示さないことがある。したがって、ステップ２２６において、処理ユニット１０４は、頭部情報Ｕ１＿ｈをユーザＵ１の起点又は基準点として取り、ユーザＵ１の身体に対応する足首座標を決定することができる。そのような状況下では、頭部センサ１００及び足首センサ１０２によって測定される同じ量の変位情報が、それに応じて相殺されて、ユーザＵ１の身体に対応する足首の変位情報を保持し、したがって、ユーザＵ１の足首位置を正確に示すことができる。
【００３１】
処理ユニット１０４が足首情報Ｕ１＿ａに対して較正を行う前に、追跡システムは、足首座標を較正するためにユーザＵ１のリセット位置（reset  position）を決定しなければならない。ここで、リセット位置は、ユーザが何らかの特定の姿勢（postures）下にあるときの足首座標であってよい。例えばリセット位置の範囲は、ユーザＵ１が地面にしっかり立っている場合は、足首の最も低い座標であってよく、あるいはリセット位置は、ユーザが歩を進めるために膝を上げている場合は、足首の最も高い座標であってもよい。さらに、リセット位置は、ステップ２２２において頭部センサ１００及び足首センサ１０２を通して処理ユニット１０４によって取得されてよく、あるいはリセット位置は、追跡システムが処理２２を実行している間に処理ユニット１０４によってバックグラウンドで取得されてもよい。これも本発明の範囲内である。
【００３２】
足首座標及びリセット位置が処理ユニット１０４によって決定された後、追跡システム１０は、ステップ２２８において足首情報Ｕ１＿ａ２を較正することができる。より具体的には、処理ユニット１０４は、足首情報Ｕ１＿ａ２を較正するためにリセット位置と足首座標との間の絶対差を計算する。ここで、絶対差は、足首がリセット位置に戻されたか否かを示すことができる。絶対差が予め設定された距離よりも小さいとき、処理ユニット１０４は、足首センサ１０２の誤差を取り除くために、足首座標をリセット位置に等しく設定する。同じ方法で足首情報Ｕ１＿ａ２をそれに応じてリセットして、足首座標及び頭部情報Ｕ１＿ｈに従って同量の誤差を取り除くことができる。別の態様では、絶対差が予め設定された距離以上であるとき、処理ユニット１０４は、足首がリセット位置に戻されていないと決定し、足首座標の較正を行わないと決定する。簡潔に言うと、処理２２によれば、追跡システム１０は、足首がリセット位置に戻されるたびに足首座標をリセットして足首センサ１０２によって生じる誤差を足首情報Ｕ１＿ａ２から取り除くために、リセット位置及び足首座標を決定する。
【００３３】
処理２０及び処理２２によると、追跡システム１０は、６Ｄｏｆの頭部情報Ｕ１＿ｈ及び３Ｄｏｆの足首情報に従って、６Ｄｏｆの足首情報Ｕ１＿ａ２を決定して較正することができる。処理ユニット１０４は、足首がリセット位置に戻されるたびに誤差を取り除く。したがって、足首センサ１０２によって生じる誤差は蓄積されず、追跡システム１０は６Ｄｏｆの正確な足首情報Ｕ１＿ａ２を生成することができる。言い換えると、追跡システム１０は、頭部センサ１００及び足首センサ１０２を通して足首のリアルタイム動き追跡を行うことができ、更に追跡システム１０のハードウェア要件を軽減し、ユーザ体験を向上させることができる。
【００３４】
別の態様において、処理ユニット１０４は更に、処理ユニット１０４によってユーザＵ１の足の動きを決定するために、足首情報Ｕ１＿ａ２の追跡により膝座標を決定することができる。詳細には、足首座標が処理ユニット１０４によって決定された後、処理ユニット１０４は、ユーザＵ１の膝座標を決定するために足首座標の追跡を分析することができる。言い換えると、追跡システム１０は、ユーザＵ１の膝座標を直接的には感知し得ないが、処理ユニット１０４は、足首座標の完全かつ正確な追跡を通して膝座標を再生する（recover）ことができ、これにより、処理ユニット１０４は、膝座標及び足首座標に従ってユーザＵ１の足の動きを決定することができる。したがって、追跡システム１０は、足首情報Ｕ１＿ａ２及び膝座標に従って足首情報Ｕ１＿ａ２を較正することができる。詳細には、処理ユニット１０４が膝座標を取得した後、それに応じてユーザＵ１の足の動きが決定される。足首座標とリセット位置との間の絶対差が予め設定された距離の範囲内であるとき、処理ユニット１０４は更に、ユーザＵ１の足の動きが、足首情報Ｕ１＿ａ２を較正するために、予め設定された動きに整合しているかどうかを分析する。例えば記憶ユニット１０６は、歩行、ランニング又は階段の利用（taking  stairs）の予め設定された動きを記憶してよく、これにより、処理ユニット１０４は、足の動きを予め設定された動きと比較してユーザが予め設定された動きを行っているかどうかを判断することができる。足の動きが予め設定された動きに整合しない場合、処理ユニット１０４は、足首座標及び足首情報Ｕ１＿ａ２に対して較正を行わないことを決定する。足の動きが予め設定された動きに整合し、かつ足首座標とリセット位置との間の絶対差が予め設定された距離の範囲内であるときのみ、処理ユニット１０４は、足首座標及び足首情報Ｕ１＿ａ２に対して較正を行う。したがって、膝位置及び足の動きの追加の情報を用いて、処理ユニット１０４は、ユーザＵ１の異常シナリオを除外して、足首座標及び足首情報Ｕ１＿ａ２に対する較正をより正確に行うことができる。
【００３５】
加えて、追跡システム１０は更に、ユーザＵ１の高さ情報（height  information）を取得するために頭部センサ１００を利用することができる。そのような状況下では、処理ユニット１０４はユーザＵ１の頭部と足首との間の距離を決定することができ、それに応じて、頭部座標及び足首座標を備える座標系を決定することができる。頭部座標を用いて、処理ユニット１０４は、ユーザＵ１の膝座標及び予め設定された距離を、高さ情報に対応する大きさ（proportions）に従ってより良好に決定することができる。したがって、ユーザＵ１の高さ情報を用いて、処理ユニット１０４は、ユーザＵ１の大きさにより良好に適合させるため、更には追跡システム１０の性能を向上させるために、予め設定される動き、予め設定される距離及び膝座標を、ユーザＵ１の高さ情報に従ってより正確に決定することができる。
【００３６】
従来の追跡システムは、ユーザの足の動きを決定するために、ユーザによって膝及び足首に装着される複数のセンサを必要とし、これは、追跡システムのハードウェア要件を増加させる。別の態様では、ユーザによって足首に装着される１つのセンサのみを有する追跡システムは、足首位置及び足の動きを決定するために十分な情報を得ることができず、これは、追跡システムの不正確な動き追跡につながり、更にユーザ体験の品質を低下させる。これに対して、本発明の追跡システムは、６Ｄｏｆの頭部情報及び３Ｄｏｆの足首情報に従って足首座標を決定することができる。言い換えると、ユーザは１つのセンサを足首に装着するだけでよく、一方、追跡システムは依然として、６Ｄｏｆの足首情報を正確に生成することができる。加えて、追跡システムは更に、足首情報の誤差を取り除くために、足首がリセット位置に戻されるたびに足首情報を較正する。したがって、本発明の追跡システムは、較正を通して６Ｄｏｆの正しい足首情報を決定することができ、追跡システムのハードウェア要件を軽減し、かつユーザ体験を向上させることができる。
【００３７】
本技術分野の当業者は、本発明の教示を保持する間、装置及び方法の様々な修正及び変更がなされ得ることに容易に気づくであろう。したがって、上記開示は、添付の請求項の範囲及び境界のみによって限定されるように解釈されるべきである。
【図１】
2020047235.tif 000003
【図２Ａ】
2020047235.tif 000004
【図２Ｂ】
2020047235.tif 000005