【手続補正書】
【提出日】平成27年12月18日(2015.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群によって検知されたシーン内の特徴の３次元位置を識別するために使用される深度センサ装置、及び少なくとも１つの他のタイプのセンサを含むセンサ群と、
コンピューティング装置と、
前記コンピューティング装置によって実行されるプログラム・モジュールを含むコンピュータ・プログラムと
を備え、
前記コンピューティング装置は、
前記センサ群における各センサによって出力されるデータを周期的に入力し、
前記センサ群のうちの１つ又は複数のセンサからデータが入力される都度、前記の入力されたデータを使用して変換行列を計算し、ここで、前記変換行列は、最初のセンサ・データが入力された際に確立された先行して求められた頭部姿勢の位置及び向きに適用されると、現在の頭部姿勢の位置及び向きを識別し、
前記変換行列を、前記先行して求められた頭部姿勢の位置及び向きに適用して、前記現在の頭部姿勢の位置及び向きを識別する
よう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示される、
システム。
【請求項２】
頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群は、前記センサ群によって検知されたシーン内の点の３次元位置を識別するために使用される深度センサ装置、及びカラー・ビデオ・カメラを含み、前記深度センサ装置及び前記カラー・ビデオ・カメラは、深度フレーム及びカラー画像フレームの形式で同時シーン・データを周期的に生成するように同期化され、前記の同時に生成された深度フレーム内の対応する３次元シーン位置に各カラー画像フレーム内の各画素をマッピングするように校正される、センサ群と、
コンピューティング装置と、
前記コンピューティング装置によって実行されるプログラム・モジュールを含むコンピュータ・プログラムと
を備え、
前記コンピューティング装置は、
同時に生成された各深度フレーム及び各カラー画像フレームを入力し、
最初の深度フレーム及びカラー画像フレーム対の後に入力された、同時に生成された深度フレーム及びカラー画像フレーム対毎に、
最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別し、
前記の識別された一致特徴と、前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームの両方における一致特徴の対応する３次元位置とを使用して第１の変換行列を推定し、ここで、前記第１の変換行列は、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームへの点の平行移動及び回転を規定する先行して計算された変換行列、及び前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する前記第１の変換行列を累算することにより、前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する最後の変換行列を推定し、
前記最初に入力されたカラー画像フレーム内に表されたシーンにおける先行して求められた頭部姿勢の位置及び向きに、前記最後の変換行列を適用して、前記最後に入力されたカラー画像フレーム内に表されたシーンにおける現在の頭部姿勢の位置及び向きを識別する
よう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示される、
システム。
【請求項３】
請求項２記載のシステムであって、一致特徴を識別するための前記プログラム・モジュールは、オプティカル・フロー手法を使用して、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致点を識別するためのサブモジュールを含む、システム。
【請求項４】
請求項３記載のシステムであって、前記第１の変換行列を推定するための前記プログラム・モジュールを実行する前に実行される深度補正プログラム・モジュールを更に備え、前記深度補正プログラム・モジュールは、
識別された各一致点周りのウィンドウを規定するためのサブモジュールと、
各ウィンドウ内の、前記カメラに対する最近点を識別するためのサブモジュールと、
前記ウィンドウに関連付けられた先行して識別された一致点の代わりに、各ウィンドウ内の前記の識別された最近点を一致点として指定するためのサブモジュールと
を含む、システム。
【請求項５】
請求項３記載のシステムであって、前記第１の変換行列を推定するための前記プログラム・モジュールを実行する前に実行される一致点アウトライア指定解除プログラム・モジュールを更に備え、前記一致点アウトライア指定解除プログラム・モジュールは、所定の最小レベルを下回る一致品質レベルを有する識別された一致点の各対を一致点として指定解除することを含む、システム。
【請求項６】
請求項３記載のシステムであって、前記第１の変換行列を推定するための前記プログラム・モジュールを実行した後であって、前記最後の変換行列を推定するためのプログラム・モジュールを実行する前に実行される一致点アウトライア指定解除プログラム・モジュールを更に備え、前記一致点アウトライア指定解除プログラム・モジュールは、
(ａ）前記最後に入力されたカラー画像フレーム内の識別された一致点に、最後に推定された変換行列を適用して、前記最後に入力されたカラー画像フレーム内の一致点に対応する、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の一致点を確かめるためのサブモジュールと、
（ｂ）前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の先行して識別された一致点毎に、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の前記先行して識別された一致点に対応する、前記最後に入力されたカラー画像フレーム内の一致点に、前記最後に推定された変換行列を適用することによって確かめられた一致点の座標と、前記先行して識別された一致点の座標との間の差尺度を計算するためのサブモジュールと、
（ｃ）残りの一致点対の差尺度の平均を計算し、前記の計算された平均が所定の最小レベルを超えるか否かを判定するためのサブモジュールと、
（ｄ）前記の計算された平均が所定の最小レベルを超える場合には常に、
大きさにより、前記差尺度を順序付けし、最大のものから始まる大きさの降順に所定の割合の前記差尺度を識別し、
前記の識別された差尺度のうちの１つに関連付けられた一致点対それぞれの、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の前記先行して識別された一致点、及び前記最後に入力されたカラー画像フレーム内のその対応する一致点を、一致点として指定解除し、
残りの一致点を用いて前記変換行列を再推定する
ためのサブモジュールと、
（ｅ）所定の最大数の変換行列再推定反復に達したかを判定するためのサブモジュールと、
（ｆ）前記所定の最大数の変換行列再推定反復に達していない場合には常に、前記サブモジュール（ａ）乃至（ｅ）の実行を反復するためのサブモジュールと
を含む、システム。
【請求項７】
請求項３記載のシステムであって、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別するための前記プログラム・モジュールを実行する前に実行されるキーフレーム・プログラム・モジュールを更に備え、前記キーフレーム・プログラム・モジュールは、
新たなキーフレームを確立するかを判定するためのサブモジュールと、
新たなキーフレームを確立すると判定された場合には常に、前記最後に入力されたカラー画像フレームを記録し、前記の記録されたフレームをキーフレームとして指定するためのサブモジュールと
を含む、システム。
【請求項８】
請求項７記載のシステムであって、新たなキーフレームを確立するかを判定するための前記サブモジュールは、前記最後に入力されたカラー画像フレームが、最初のカラー画像フレームであり、かつ、前記最後に入力されたカラー画像フレームが表すのが、先行して確立されたキーフレーム内に表されたシーンの所定の部分よりも小さい場合には常に、新たなキーフレームを確立すると判定することを含む、システム。
【請求項９】
請求項７記載のシステムであって、前記キーフレーム・プログラム・モジュールは、更に、
新たなキーフレームを確立しないと判定された場合には常に、キーフレーム・マッチングを行うか否かを判定するためのサブモジュールと、
キーフレーム・マッチングを行うと判定された場合、又は、新たなキーフレームが確立された場合には常に、
前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す記録されたキーフレームとの間のキーフレーム一致点を識別し、
前記の識別されたキーフレーム一致点と、前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームの両方におけるキーフレーム一致特徴の対応する３次元位置とを用いて第２の変換行列を推定し、ここで、前記第２の変換行列は、前記最後に入力された画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームへの点の平行移動及び回転を規定する先行して計算されたキーフレーム変換行列、及び前記第２の変換行列を使用して第３の変換行列を推定し、ここで、前記第３の変換行列は、前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最後に入力されたカラー画像フレームが、新たに確立されたキーフレームである場合には常に、前記最初に入力されたカラー画像フレームから、前記新たに確立されたキーフレームへの点の平行移動及び回転を規定するキーフレーム変換行列として前記第３の変換行列を指定し、
前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームへの点の平行移動及び回転を規定する最後の変換行列、及び前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する前記第１の変換行列を累算することにより、前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する第４の変換行列を推定し、
前記第３の変換行列及び前記第４の変換行列を合併させて、前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成し、
前記最後に入力されたカラー画像フレームの前記最後の変換行列であるよう、前記結合変換行列を指定する
ためのサブモジュールと
を含む、システム。
【請求項１０】
請求項９記載のシステムであって、
キーフレーム一致点を識別するための前記サブモジュールを実行した後であって、前記第２の変換行列を推定するための前記サブモジュールを実行する前に実行される深度補正サブモジュールであって、
識別された各キーフレーム一致点周りのウィンドウを規定するためのサブモジュールと、
各ウィンドウ内の、前記カメラに対する最近点を識別するためのサブモジュールと、
前記ウィンドウに関連付けられた先行して識別されたキーフレーム一致点の代わりに、各ウィンドウ内の前記の識別された最近点をキーフレーム一致点として指定するためのサブモジュールと
を含む深度補正サブモジュールと、
深度を補正するための前記サブモジュールを実行した後であって、前記第２の変換行列を推定するための前記サブモジュールを実行する前に実行されるキーフレーム一致点アウトライア指定解除サブモジュールであって、所定の最小レベルを下回る一致品質レベルを有する識別されたキーフレーム一致点の各対を、キーフレーム一致点として指定解除することを含むキーフレーム一致点アウトライア指定解除サブモジュールと、
前記第２の変換行列を推定するための前記サブモジュールを実行した後であって、前記第３の変換行列を推定するための前記サブモジュールを実行する前に実行される第２のキーフレーム一致点アウトライア指定解除サブモジュールであって、
（ａ）前記最後に入力されたカラー画像フレーム内で識別されたキーフレーム一致点に前記第２の変換行列を適用して、前記最後に入力されたカラー画像フレーム内のキーフレーム一致点に対応する、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレーム内のキーフレーム一致点を確かめるためのサブモジュールと、
（ｂ）前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレーム内の先行して識別されたキーフレーム一致点毎に、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレーム内の前記先行して識別されたキーフレーム一致点に対応する、前記最後に入力されたカラー画像フレーム内のキーフレーム一致点に前記第２の変換行列を適用することによって確かめられたキーフレーム一致点の座標と、前記先行して識別されたキーフレーム一致点の座標との間の差尺度を計算するためのサブモジュールと、
（ｃ）残りのキーフレーム一致点対の差尺度の平均を計算し、前記の計算された平均が所定の最小レベルを超えるか否かを判定するためのサブモジュールと、
（ｄ）前記の計算された平均が所定の最小レベルを超える場合には常に、
大きさにより、前記差尺度を順序付けし、最大のものから始まる大きさの降順に所定の割合の前記差尺度を識別し、
前記の識別された差尺度のうちの１つに関連付けられたキーフレーム一致点対それぞれの、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレーム内の前記先行して識別されたキーフレーム一致点、及び前記最後に入力されたカラー画像フレーム内のその対応するキーフレーム一致点を、キーフレーム一致点として指定解除し、
残りのキーフレーム一致点を用いて前記第２の変換行列を再推定する
ためのサブモジュールと、
（ｅ）所定の最大数の変換行列再推定反復に達したかを判定するためのサブモジュールと、
（ｆ）前記所定の最大数の変換行列再推定反復に達していない場合には常に、前記サブモジュール（ａ）乃至（ｅ）の実行を反復するためのサブモジュールと
を含む第２のキーフレーム一致点アウトライア指定解除サブモジュールと
を更に備える、システム。
【請求項１１】
請求項９記載のシステムであって、前記キーフレーム・マッチングを行うか否かを判定するための前記サブモジュールは、
キーフレーム・マッチングが最後に行われてから、所定数のフレームが入力されているかを判定することと、
キーフレーム・マッチングが最後に行われてから、所定数のフレームが入力されていないと判定された場合には常に、キーフレーム・マッチングが行われる時点でないと指示することと、
キーフレーム・マッチングが最後に行われてから、所定数のフレームが入力されていると判定された場合には常に、キーフレーム・マッチングが行われる時点であると指示することと
を含む、システム。
【請求項１２】
頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群は、前記センサ群によって検知されたシーン内の点の３次元位置を識別するために使用される深度センサ装置と、カラー・ビデオ・カメラと、３軸周りの角速度、及び前記３軸に沿った線形加速度を測定する一式の慣性センサとを含み、前記深度センサ装置及び前記カラー・ビデオ・カメラは、深度フレーム及びカラー画像フレームの形式で同時シーン・データを周期的に生成するように同期化され、前記の同時に生成された深度フレーム内の対応する３次元シーン位置に各カラー画像フレーム内の各画素をマッピングするように校正され、前記一式の慣性センサは、前記深度フレーム及び前記カラー画像フレームが供給されるレート以上のレートで角速度データ及び線形加速度データのフレームを提供する、センサ群と、
コンピューティング装置と、
前記コンピューティング装置によって実行されるプログラム・モジュールを含むコンピュータ・プログラムと
を備え、
前記コンピューティング装置は、
生成された各慣性センサ・フレームを入力し、
最初の慣性センサ・フレームの後に入力された慣性センサ・フレーム毎に、
最後に入力された慣性センサ・フレームを使用して現在の慣性センサ・ベースの変換行列を推定し、ここで、前記現在の慣性センサ・ベースの変換行列は、前記最後に入力された慣性センサ・フレームの直前に入力された慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定し、
最初に入力された慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームの直前に入力された前記慣性センサ・フレームへの点の平行移動及び回転を規定する先行して計算された変換行列、及び前記最後に入力された慣性センサ・フレームの直前に入力された前記慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する前記現在の慣性センサ・ベースの変換行列を累算することにより、前記最初に入力された慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する最後の慣性センサ・ベースの変換行列を推定し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されているかを判定し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されていない場合には常に、前記最後の慣性センサ・ベースの変換行列を、前記最初に入力された慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに適用して、現在の頭部姿勢の位置及び向きを識別し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されている場合には常に、
新たな前記カラー画像フレーム及び前記深度フレームを入力し、
前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別し、
前記の識別された一致特徴と、前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームの両方における一致特徴の対応する３次元位置とを使用して、現在の画像ベースの変換行列を推定し、ここで、前記現在の画像ベースの変換行列は、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最初に入力された慣性センサ・フレームから、前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームへの点の平行移動及び回転を規定する先行して計算された変換行列、及び前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する前記現在の画像ベースの変換行列を累算することにより、前記最初に入力された慣性センサ・フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する最後の画像ベースの変換行列を推定し、
前記最後の画像ベースの変換行列及び前記最後の慣性センサ・ベースの変換行列を合併させて、前記最初に入力された慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成し、
前記結合変換行列を、前記最初に入力された慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに適用して、現在の頭部姿勢の位置及び向きを識別する
よう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示される、
システム。
【請求項１３】
請求項１２記載のシステムであって、新たな前記カラー画像フレーム及び前記深度フレームを入力するための前記プログラム・モジュールを実行した後であって、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別するための前記プログラム・モジュールを実行する前に実行されるキーフレーム・プログラム・モジュールを更に備え、前記キーフレーム・プログラム・モジュールは、
新たなキーフレームを確立するかを判定するためのサブモジュールと、
新たなキーフレームを確立すると判定された場合には常に、前記最後に入力されたカラー画像フレームを記録し、前記の記録されたフレームをキーフレームとして指定するためのサブモジュールと
を含む、システム。
【請求項１４】
請求項１３記載のシステムであって、新たなキーフレームを確立するかを判定するための前記サブモジュールは、前記最後に入力されたカラー画像フレームが、最初に入力されたカラー画像フレームであり、かつ、前記最後に入力されたカラー画像フレームが表すのが、先行して確立されたキーフレーム内に表されたシーンの所定の部分よりも小さい場合には常に、新たなキーフレームを確立すると判定することを含む、システム。
【請求項１５】
請求項１３記載のシステムであって、前記キーフレーム・プログラム・モジュールは、更に、
新たなキーフレームを確立しないと判定された場合には常に、キーフレーム・マッチングを行うかを判定するためのサブモジュールと、
キーフレーム・マッチングを行うと判定された場合、又は新たなキーフレームが確立された場合には常に、
前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す記録されたキーフレームとの間のキーフレーム一致点を識別し、
前記の識別されたキーフレーム一致点と、前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームの両方におけるキーフレーム一致特徴の対応する３次元位置とを用いて第２の変換行列を推定し、ここで、前記第２の変換行列は、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す前記記録されたキーフレームへの点の平行移動及び回転を規定する先行して計算されたキーフレーム変換行列、及び前記第２の変換行列を使用して第３の変換行列を推定し、ここで、前記第３の変換行列は、前記最初に入力されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最後に入力されたカラー画像フレームが、新たに確立されたキーフレームである場合には常に、前記最初に入力されたカラー画像フレームから、前記新たに確立されたキーフレームへの点の平行移動及び回転を規定するキーフレーム変換行列として前記第３の変換行列を指定し、
前記最初に入力された慣性センサ・フレームから、前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームへの点の平行移動及び回転を規定する先行して計算された変換行列、及び前記最後に入力されたカラー画像フレームの直前に入力された前記カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する前記現在の画像ベースの変換行列を累算することにより、前記最初に入力された慣性センサ・フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する第４の変換行列を推定し、
前記第３の変換行列及び前記第４の変換行列を合併させて、前記最初に入力された慣性センサ・フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する単一の結合画像ベースの変換行列を生成し、
前記最後の画像ベースの変換行列であるよう、前記結合画像ベースの変換行列を指定する
ためのサブモジュールと
を含む、システム。