(57)【特許請求の範囲】
【請求項１】
追跡対象のオブジェクトの位置データに基づいて表示画面上の表示を制御するためのシステムであって、
前記表示画面が配置された部屋の少なくとも１つの内面の既知の位置に識別可能な放射のパターンを投影するためのプロジェクタと、
前記少なくとも１つの内面から反射された前記識別可能な放射を収集するために前記オブジェクトに配置された第１の光学位置検出装置と、
前記第１の光学位置検出装置により収集された前記反射された放射に基づいて決定される前記放射のパターンと前記オブジェクトとの間の相対位置と、前記放射のパターンの既知の位置とに基づいて、前記オブジェクトの位置データを決定するプロセッサと、
前記オブジェクトの位置データに基づいて前記表示をレンダリングするためのグラフィックエンジンと、
を備え、
前記プロジェクタは、近赤外線を含む放射スペクトルを有する可動なレーザーを備え、
前記識別可能な放射のパターンは、少なくとも１つの内面上のマップされた位置に順次に投影された複数のビーコンを含み、
前記第１の光学位置検出装置は、前記反射された放射の中心を決定するためのフォトダイオードを含み、
前記プロセッサは、マップされた前記複数のビーコンの位置を決定し、前記プロジェクタに、複数のビーコンのうちの１以上の投影された放射を、前記内面の第１の位置から前記内面の第２の位置へ移動させ、前記プロジェクタと前記第１の位置との間の距離と、前記プロジェクタと前記第２の位置との間の距離とを比較して、前記第１及び第２の位置に関連付けられたビーコンの位置データを分析し、前記第１及び第２の位置の一方を、複数のマップされたビーコンの位置の一つとして選択する
ことを特徴とするシステム。
【請求項２】
前記少なくとも１つの内面は、前記部屋の天井を含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記少なくとも１つの内面は、天井を含み、
前記プロジェクタは、赤外線を含む固定された投影ビームを含み、
前記パターンは、相互に接続された繰り返される複数の単位を含み、
前記第１の光学位置検出装置は、前記投影されたパターンの画像を収集するビデオカメラを含む
ことを特徴とする請求項１に記載のシステム。
【請求項４】
前記投影されたパターンに対して既知の位置に、発光する投影されないビーコンを更に含み、
前記第１の光学位置検出装置は、前記投影されないビーコンから発せられた放射からビーコンの位置データを更に決定する
ことを特徴とする請求項１に記載のシステム。
【請求項５】
前記プロセッサは、前記第１及び第２の位置の反射された放射の強度を比較することにより、前記ビーコンの位置データを分析することを特徴とする請求項１に記載のシステム。
【請求項６】
前記プロセッサは、複数のビーコンの位置の１以上に関連付けられた強度分布の中心の移動を、前記第１の位置から前記第２の位置に対応する移動角度の関数として評価するために、前記ビーコンの位置データを分析することを特徴とする請求項１に記載のシステム。
【請求項７】
前記プロセッサは、前記ビームの移動により生じた投影方向の変化に伴う前記プロジェクタと前記第１及び第２の位置との間の距離の変化を比較することにより、前記ビーコンの位置データを分析することを特徴とする請求項１に記載のシステム。
【請求項８】
前記プロセッサは、同一の平面に存在する位置にマップされた複数のビーコンの数が最大になるように、前記ビーコンの位置データを分析することを特徴とする請求項１に記載のシステム。
【請求項９】
前記プロセッサは、前記ビーコンの間隔の均一性を最大にするためのアルゴリズムを実行することにより、前記ビーコンの位置データを分析することを特徴とする請求項１に記載のシステム。
【請求項１０】
前記プロセッサは、前記第１の光学位置検出装置に通信可能に結合され、
前記プロセッサは、前記複数のビーコンの１以上が前記第１の位置及び前記第２の位置にあるときに、前記光学位置検出装置から複数のビーコンの位置の１以上に関連付けられた強度分布の個々の中心を取得する
ことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記ビーコンのプロジェクタに対して既知の固定の位置及び方向で配置され、前記プロセッサに通信可能に結合された第２の光学位置検出装置を更に備え、
前記プロセッサは、前記第２の光学位置検出装置から前記第１及び第２に関連付けられた前記ビーコンの位置データを取得する
ことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記第２の光学位置検出装置は、前記複数のビーコンの１以上が前記第１の位置及び前記第２の位置から移動されるときに、前記複数のビーコンの位置の１以上に関連付けられた強度分布の中心を決定することを特徴とする請求項１１に記載のシステム。
【請求項１３】
前記オブジェクトと前記パターンの投影を共に撮像するビデオカメラと、
前記ビデオカメラにより生成された画像データから導出されたオブジェクトの位置データと、前記投影されたパターンから導出されたオブジェクトの位置データとを調整するプロセッサと、
を更に備えることを特徴とする請求項１に記載のシステム。
【請求項１４】
前記第１の光学位置検出装置は、前記オブジェクトの上面に配置され、
前記プロセッサは、前記投影されたパターンから導出されたオブジェクトの位置データのみに基づいて前記オブジェクトのヨーを決定する
ことを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記プロセッサは、前記ビデオカメラにより生成された画像データから導出されたオブジェクトの位置データに少なくとも部分的に基づいて前記オブジェクトのｘ及びｙ位置を決定し、前記投影されたパターンから導出されたオブジェクトの位置データに少なくとも部分的に基づいて前記オブジェクトのｚ位置を決定することを特徴とする請求項１４に記載のシステム。
【請求項１６】
前記プロジェクタは、固定された赤外線プロジェクタを備え、
前記第１の光学位置検出装置は、前記投影されたパターンの画像を収集するための第２のビデオカメラを備える
ことを特徴とする請求項１４に記載のシステム。
【請求項１７】
前記第１の光学位置検出装置は、前記オブジェクトに組み込まれた複数の光学位置検出装置のうちの１つであり、
前記複数の光学位置検出装置のそれぞれは、既知の相対位置及び方向を有し、
前記プロセッサは、前記複数の光学位置検出装置により収集された前記反射された放射に基づいて前記オブジェクトの位置データを決定する
ことを特徴とする請求項１に記載のシステム。
【請求項１８】
追跡対象のオブジェクトの決定された位置データに基づいて表示画面上の表示を制御するための方法であって、
前記表示画面が配置された部屋の少なくとも１つの内面の既知の位置に識別可能な放射のパターンを投影するステップと、
前記オブジェクトに配置された第１の光学位置検出装置により、前記少なくとも１つの内面から反射された前記識別可能な放射を収集するステップと、
前記第１の光学位置検出装置により収集された前記反射された放射に基づいて決定される前記放射のパターンと前記オブジェクトとの間の相対位置と、前記放射のパターンの既知の位置とに基づいて、前記オブジェクトの位置データを決定するステップと、
前記オブジェクトの位置データに基づいて前記表示の演出を制御するステップと、
を備え、
前記識別可能な放射パターンを投影するステップは、近赤外線を含む放射スペクトルを有する可動な少なくとも１つのレーザーを用いて、少なくとも１つの内面上のマップされた位置に複数のビーコンを順次に投影するステップを含み、
前記複数のビーコンの位置は、複数のビーコンのうちの１以上の投影された放射を、前記内面の第１の位置から前記内面の第２の位置へ移動させ、プロジェクタと前記第１の位置との間の距離と、前記プロジェクタと前記第２の位置との間の距離とを比較し、前記第１及び第２の位置の一方を、複数のマップされたビーコンの位置の一つとして選択することにより決定される
ことを特徴とする方法。
【請求項１９】
前記少なくとも１つの内面は、前記部屋の天井を含むことを特徴とする請求項１８に記載の方法。
【請求項２０】
前記投影されたパターンに対して既知の位置に発光する固定のビーコンとしてＬＥＤを起動するステップを更に備え、
前記識別可能な放射を収集するステップは、前記ＬＥＤにより発せられた放射を収集するステップを含む
ことを特徴とする請求項１８に記載の方法。
【請求項２１】
前記少なくとも１つの内面は、天井を含み、
前記識別可能な放射のパターンを投影するステップは、相互に接続された繰り返される複数の単位を含む固定のパターンを投影するステップを更に含む
ことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記第１の光学位置検出装置は、前記投影されたパターンの画像を収集するビデオカメラを含むことを特徴とする請求項１８に記載の方法。
【請求項２３】
前記識別可能な放射を収集するステップは、前記複数のビーコンの位置の１以上に関連付けられた強度分布の中心を決定するステップを更に含むことを特徴とする請求項１８に記載の方法。
【請求項２４】
前記複数のビーコンの位置は、前記第１及び第２の位置における前記反射された放射の強度を比較することにより決定されることを特徴とする請求項１８に記載の方法。
【請求項２５】
前記複数のビーコンの位置は、前記複数のビーコンの１以上が前記第１の位置から前記第２の位置へ移動されるときに、前記複数のビーコンの位置の１以上に関連付けられた強度分布の中心の移動を評価することにより決定されることを特徴とする請求項１８に記載の方法。
【請求項２６】
前記複数のビーコンの位置は、前記ビームの移動により生じた投影方向の変化に伴う前記プロジェクタと前記第１及び第２の位置との間の距離の変化を比較することにより決定されることを特徴とする請求項１８に記載の方法。
【請求項２７】
前記第１及び第２の位置の一方を選択することは、同一の平面に存在する位置にマップされた前記複数のビーコンの数を最大にすることであることを特徴とする請求項１８に記載の方法。
【請求項２８】
前記第１及び第２の位置を選択することは、同一の平面にわたって前記ビーコンの間隔の均一性を最大にすることであることを特徴とする請求項１８に記載の方法。
【請求項２９】
前記複数のビーコンの１以上がそれぞれ前記第１及び第２の位置にあるときに、前記複数のビーコンの位置の１以上に関連付けられた強度分布の個々の中心を生成するステップを更に備えることを特徴とする請求項１８に記載の方法。
【請求項３０】
前記個々の中心は、ビーコンのプロジェクタに対して既知の固定された位置及び方向で配置された第２の光学位置検出装置により提供されることを特徴とする請求項２９に記載の方法。
【請求項３１】
前記オブジェクトをカメラの視野に有するビデオカメラにより生成された画像データから前記オブジェクトの位置データを決定するステップと、
収集された前記画像データから導出されたオブジェクトの位置データと、前記投影されたパターンから導出されたオブジェクトの位置データとを調整するステップと、
を更に備えることを特徴とする請求項１８に記載の方法。
【請求項３２】
前記オブジェクトの位置データを調整するステップは、前記投影されたパターンから導出されたオブジェクトの位置データのみに基づいて前記オブジェクトのヨーを決定するステップを更に含むことを特徴とする請求項３１に記載の方法。
【請求項３３】
前記オブジェクトの位置データを調整するステップは、前記ビデオカメラにより生成された画像データから導出されたオブジェクトの位置データに少なくとも部分的に基づいて前記オブジェクトのｘ及びｙ位置を決定し、前記投影されたパターンから導出されたオブジェクトの位置データに少なくとも部分的に基づいて前記オブジェクトのｚ位置を決定するステップを更に含むことを特徴とする請求項３２に記載の方法。
【請求項３４】
処理システムにより実行されたときに、前記処理システムに請求項１８に記載の方法を実行させる命令を含むコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト追跡に関し、とくに、オブジェクトの投影された参照パターンの認知に基づいて、追跡されるオブジェクトの位置情報を決定することに関する。
【背景技術】
【０００２】
パフォーマンスキャプチャーを介して制御可能な表示により、よりリッチなインタラクティブ体験が可能となっている。一般に、パフォーマンスキャプチャーは、コンピュータシステム、ビデオゲームコンソール、スマート機器などの電子機器に、システムのユーザの動きの精確な相関的追跡を実行させ、表示に対応する効果を引き起こさせることである。例えば、システムにより実空間における三次元の動きが追跡されるオブジェクトは、ゲームプラットフォームで実行されるグラフィックエンジンによりゲーム空間においてレンダリングされたプレイヤーのアバター及び／又は他の表示に入力可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
システムのユーザの動作をキャプチャーするための様々な技術が実用されている。例えば、ソニープレイステーションムーブ（登録商標）は、実空間において追跡されるオブジェクトの位置情報を決定するためにビデオカメラを使用する。しかし、技術に関わらず、追跡の速度及び精度の向上は、キャプチャーされうる様々な動きやゲーム空間の現実性に関して、体験に有益である。例えば、あるオブジェクト追跡技術は、オブジェクトの位置の一つの要素を、別の要素よりも精確に決定しうるので、特定の動きのキャプチャーを全く排除したり、動きの近似における重大な誤差を欠点として有する。オブジェクトの追跡レートは、帯域の制限を有しうる。追跡のオーバーヘッドは、しばしば、ゲームコンソールで実行されるゲームエンジンなどのシステムのオーバーヘッドに匹敵するので、オブジェクト追跡の帯域を低減することにより、オブジェクト追跡の所与のオーバーヘッドのためのパフォーマンスを向上させることも有益である。
【課題を解決するための手段】
【０００４】
本発明の実施の形態は、明細書の最後の部分において、特に指摘され、明確に主張される。しかし、本発明の実施の形態は、機構及び動作の方法の双方について、その目的、特徴、効果とともに、下記の説明及び添付の図面を参照することにより、最も良く理解されうる。
【図面の簡単な説明】
【０００５】
【図１】図１は、実施の形態に係る、投影に基づくオブジェクト追跡システムの等軸測視図を示す。
【０００６】
【図２】図２は、実施の形態に係る、投影された参照パターンから決定されたオブジェクトの位置データに基づいて表示を制御する方法のブロック図を示す。
【０００７】
【図３】図３は、一つの実施の形態に係る、異なる複数のユーザに関連付けられたアバターの表示を制御するために、投影に基づく追跡システムが用いられる、マルチプレイヤー環境の等軸測視図を示す。
【０００８】
【図４】図４は、一つの実施の形態に係る、組み込まれた光学センサを有する投影に基づくオブジェクト追跡システムにおいて追跡されるオブジェクトの等軸測視図である。
【０００９】
【図５】図５は、本発明の一つの実施の形態に係る、投影に基づくオブジェクト追跡システムの部屋の側面図である。
【００１０】
【図６】図６は、実施の形態に係る、オブジェクトに組み込まれた複数のセンサに基づいてオブジェクトの位置を決定する方法の例のフロー図である。
【００１１】
【図７Ａ】図７Ａは、実施の形態に係る、部屋の内面に投影されたビーコンの配列からオブジェクトの位置を決定する方法の例のフロー図である。
【００１２】
【図７Ｂ】図７Ｂは、実施の形態に係る、部屋の内面に投影されたグリッドパターンからオブジェクトの位置を決定する方法の例のフロー図である。
【００１３】
【図８Ａ】図８Ａは、本発明の実施の形態に係る、ビーコンのパターンが部屋の内面に投影された部屋の透視図である。
【００１４】
【図８Ｂ】図８Ｂは、本発明の実施の形態に係る、線のパターンが部屋の天井に投影された部屋の透視図である。
【００１５】
【図９Ａ】図９Ａは、本発明の実施の形態に係る、ビーコンの投影が部屋の内面の障害物の周りで移動される部屋の透視図である。
【００１６】
【図９Ｂ】図９Ｂは、本発明の実施の形態に係る、線の投影が部屋の内面に参照パターンを形成するために移動される部屋の透視図である。
【００１７】
【図１０】図１０は、本発明の一つの実施の形態に係る、可動なプロジェクタを有する、投影に基づくオブジェクト追跡システムのモジュールの機能ブロック図である。
【００１８】
【図１１】図１１は、本発明の一つの実施の形態に係る、良好な位置参照を提供する投影されるビーコンの位置を決定する方法を示すフロー図である。
【００１９】
【図１２】図１２は、実施の形態に係る、良好な位置参照を提供する投影されたビーコンの位置を決定するためのシステムハードウェア構成を示す図５に示された領域１２００の拡大された側面図である。
【００２０】
【図１３】図１３は、実施の形態に係る、良好な位置参照を提供する投影されたビーコンの位置を決定するためのシステムのハードウェア構成を示す側面図である。
【００２１】
【図１４】図１４は、本発明の一つの実施の形態に係る、良好な位置参照を提供する投影されたビーコンの位置を決定する方法の例を示すフロー図である。
【００２２】
【図１５】図１５は、本発明の実施の形態に係る、投影されたパターンを時間的に監視し、参照パターンに生じる変化に対応する方法を示すフロー図である。
【００２３】
【図１６】図１６は、本発明の一つの実施の形態に係る、投影されたパターン、オブジェクトの画像、及び慣性に基づくオブジェクトの位置データを用いた複合型のオブジェクト追跡システムのモジュールの機能ブロック図である。
【００２４】
【図１７】図１７は、本発明の実施の形態に係る、投影されたパターン、オブジェクトの画像、及び慣性データに基づいてオブジェクトの位置データを決定する方法を示すフロー図である。
【００２５】
【図１８Ａ】図１８Ａは、本発明の一つの実施の形態に係る、複合型のオブジェクト追跡システムが投影されたパターンからオブジェクトのヨーを決定し、オブジェクトの位置の他の少なくとも１つの要素が画像データから導出される、部屋の側面図を示す。
【００２６】
【図１８Ｂ】図１８Ｂは、一つの実施の形態に係る、投影されたパターン及びオブジェクトの画像データからの位置情報を利用するオブジェクト追跡システムにおいて、追跡対象となるオブジェクトの等角図である。
【００２７】
【図１９】図１９は、一つの実施の形態に係る、投影されたパターン及びオブジェクトの画像データからの位置データを利用するオブジェクト追跡システムにおいて、オブジェクトの位置及び方向の別々の要素を決定する方法を示すフロー図である。
【００２８】
【図２０】図２０は、本発明の一つの実施の形態に係る、オブジェクトの位置情報を決定するために利用可能なハードウェア及びユーザインタフェースを示す。
【００２９】
【図２１】図２１は、本発明の一つの実施の形態に係る命令を処理するために利用可能な更なるハードウェアを示す。
【００３０】
図示の明確さのために、図に示された要素は必ずしも共通の尺度で描かれていない。さらに、適切であると考えられる場合、参照符号は、対応する又は類似する要素であることを示すために、図面間で繰り返される。
【発明を実施するための形態】
【００３１】
本明細書において、システムが配置された部屋の内壁面に投影された参照パターンに少なくとも部分的に基づいて、追跡対象のオブジェクトの位置情報を決定するための方法及びシステムについて説明する。システムは、オブジェクトの位置及び／又は方向が変化するときに、投影されたパターンの相対変化を検出するために、オブジェクトに組み込まれた少なくとも１つの光学位置検出装置を含む。特定のシステムにおいて、パターンは、１以上の可動なレーザーにより投影された複数のビーコンを含む。投影されたビーコンは、様々な部屋のトポロジーに適応するために、及び、障害物を避けるために、自動的に操縦されてもよい。投影されたパターンとオブジェクトの一方又は双方を検知するために、投影されたパターンに対する既知の物理的な位置に、更なる光学位置検出装置が配置されてもよい。オブジェクトの位置データの一部が、オブジェクトを検知するビデオカメラから導出され、オブジェクトの位置データの別の一部が、投影されたパターンから導出されてもよい。
【００３２】
下記の説明においては、本発明の実施の形態の深い理解を提供するために、特定の数値的な詳細が示される。しかしながら、本発明が、これらの特定の詳細なしに別の実施の形態が実施されることが可能であることは、当業者には明らかである。別の例において、本発明を不明瞭にするのを避けるために、既知の技術、ハードウェア構成、及びソフトウェアアルゴリズムは詳述されない。下記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算又はバイナリディジタル信号のアルゴリズム及び記号表現の観点から示される。
【００３３】
本明細書において提供される詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズム及び記号表現の観点から示される。以下の議論から明らかであるように、とくにそうではないと断らない限り、詳細な説明の全体にわたって、「計算」「決定」「推定」「格納」「制御」「表示」「受信」「集約」「生成」「更新」などの語を用いた議論は、物理的（電気的）な量としてコンピュータシステムのレジスタ及びメモリ内で表現されるデータを操作し、コンピュータシステムのメモリ又はレジスタ、又は、他の同様な情報ストレージ、通信又は表示装置の中で物理量として同様に表現される他のデータに変換するコンピュータシステム又は同様の電気的計算装置の動作及び処理のことを指すことが理解される。
【００３４】
以下の議論から明らかであるように、とくにそうではないと断らない限り、詳細な説明の全体にわたって、「処理」「計算」「算出」「決定」などの語を用いた議論は、物理的（例えば電気的）な量としてレジスタ及び／又はメモリ内で表現されるデータを操作し、及び／又は、メモリ及び／又はレジスタの中で物理量として同様に表現される他のデータに変換する回路、コンピュータシステム又は同様の電気的計算装置の動作及び／又は処理のことを指すことが理解される。
【００３５】
コンピュータプログラムは、例えば、フロッピー（登録商標）ディスクを含む任意の種類のディスク、光ディスク（例えば、コンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、ディジタルビデオディスク（ＤＶＤ）、ブルーレイディスク（登録商標）など）、及び磁気光学ディスク、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気又は光学カード、又は電気的命令を格納するために適した任意の種類の一時的でない媒体などのコンピュータ読み取り可能な記録媒体に格納されてもよい。
【００３６】
本明細書において、本明細書における手順を実行するための装置の構成要素の間の構造的な関係を説明するために、「結合される」及び「接続される」という語が、それらの派生語とともに使用される。これらの語は、互いに類義語として意図されるものではないことが理解されるべきである。特定の実施の形態において、「接続される」という語は、２以上の要素が物理的又は電気的に互いに直接接触する状態にあることを示すために用いられうる。「結合される」という語は、互いに物理的又は電気的に直接又は間接（それらの間に介在する別の要素を介して）に接触し、及び／又は、２以上の要素が互いに協働又は通信する（例えば効果的な関係の要因において）ことを示すために用いられうる。
【００３７】
図１は、追跡システム１００がゲームシステムの構成要素である一つの実施の形態に係る、投影に基づくオブジェクト追跡システム１００の等軸測視図を示す。追跡システム１００の構成要素の機能は、概して、投影された参照パターンから少なくとも部分的に決定されるオブジェクトの位置データに基づいて表示を制御するための方法を示す図２を更に参照して説明される。
【００３８】
図１をまず参照して、追跡システム１００は、例えば図２において手順２１０として更に示されるように、追跡システム１００が配置された部屋の１以上の内壁に、認識可能な参照パターンの放射を投影するためのプロジェクタ１２８を含む。図１は、表示装置１２０の背後に配置された後方壁面１６５にビーコン１６４を形成するためのビーム１６３の投影の例を示す。プロジェクタ１２８は、このようなビームを複数投影してもよい。例えば、ビーム１７３の投影は、表示装置１２０の上に配置された天井１７５にビーコン１７４を形成する。ビーコン１６４及び１６５は、投影された参照パターンの少なくとも一部を含む。
【００３９】
追跡システム１００は、計算装置１１５により追跡されるオブジェクト１１０を更に含む。例えば図２において手順２１２として更に示されるように、センサの表面が少なくとも一つの内壁面から反射された識別可能な放射の少なくともいくつかを収集するための光学視野（field of view：ＦＯＶ）１３２を有する位置検出装置（ＰＳＤ）１３１が、オブジェクト１１０に配置され、又は、オブジェクト１１０の内部に組み込まれる。ＰＳＤ１３１は、一般に、一次元又は二次元において入射光の位置を測定可能な任意の光学位置センサであってもよい。本明細書の別の部分において更に詳述されるある実施例において、ＰＳＤ１３１は、メガピクセル又はそれ以上の解像度を有し、視野１３２により提供される画像データのフレームを撮像可能な、ＣＭＯＳなどの高度集積センサ技術を用いたビデオカメラである。本明細書の別の部分において更に詳述される別の実施例において、ＰＳＤ１３１は、最新のＣＭＯＳ撮像センサよりも非常に少ないセンサ要素を有するマルチエレメントフォトダイオード（例えばＰＩＮダイオードスタックを用いたもの）である。例えば、実施の形態において、ＰＳＤ１３１は、４つの要素を有するので、ＣＭＯＳ撮像センサよりも低価格で高リフレッシュレートであるという利点を提供するクォードラント検出器である。いくつかの検出要素から、視野１３２内の投影された参照パターンに関連付けられた強度分布中心の測定値が、既知の技術を用いて決定されてもよい。
【００４０】
図１に示すように、追跡システム１００は、表示装置１２０に結合された計算装置１１５を更に含む。表示装置１２０は、従来の任意の表示装置（例えば、ＬＣＤ、ＯＬＥＤ、ＣＲＴなど）であってもよい。計算装置１１５は、必要な目的のために特別に構成されてもよいし、コンピュータに格納されたコンピュータプログラムにより選択的に起動又は再構成される汎用目的のコンピュータを備えてもよい。一つの実施の形態において、計算装置１１５は、ソニープレイステーション（登録商標）などのゲームコンソールである。計算装置１１５は、コンピュータプロセッサを含み、少なくとも表示装置１２０への出力の生成を担当する。
【００４１】
特定の実施の形態において、計算装置１１５は、ＰＳＤ１１１及びＰＳＤ１２１から受信したデータを処理する。ＰＳＤ１１１及びＰＳＤ１２１は、オブジェクト１１０とは別に設けられ、プロジェクタ１２８に対して既知の位置及び方向を有する。例示された実施の形態において、ＰＳＤ１１１、ＰＳＤ１２１、及びプロジェクタ１２８は、これらに共通する撮像装置参照フレーム１５０を定義する周辺撮像装置１０５の統合された構成要素として提供される。周辺撮像装置１０５は、例えば、ＩＥＥＥ１３９４（ファイアワイア）ケーブル、イーサネット（登録商標）ケーブル、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、高精細度マルチメディアインタフェース（ＨＤＭＩ（登録商標））、又は類似のリンクなどを介して、計算装置１１５に通信可能に結合される。図示されるように、撮像装置１０５は、表示装置１２０の上面に配置される。撮像装置１０５は、撮像装置参照フレーム１５０の水平軸ｘ１と重力１３５に垂直な平面との間の角を定義する、部屋の床１５１に対する公称傾斜角θと、ワールド参照フレーム１４０におけるｚ２方向に対する公称方位角φを有する。撮像装置参照フレーム１５０をワールド参照フレーム１４０に対して較正する技術は多数あり、それらのうちのいくつかは、本願と同一の者に譲渡された米国特許出願第１２／４３５，４８６号（２００９年５月４日出願）に詳述されているので、本明細書では繰り返さない。
【００４２】
例示された実施の形態において、ＰＳＤ１１１は、メガピクセル又はそれ以上の解像度を有し、視野１３２により提供される画像データのフレームを撮像可能な、ＣＭＯＳなどの高度集積センサ技術を用いた標準的なビデオカメラである。この実施の形態において、ＰＳＤ１１１は、光学視野１２５内のオブジェクト１１０の画像を撮像し、計算装置１１５に画像データを送信してもよい。別の実施の形態において、ＰＳＤ１１１は、Ｚカメラ（深さ情報付きで動画を撮像可能な単一レンズのビデオカメラ）であってもよいし、３次元の画像を撮像可能な２以上のレンズを有するステレオビデオカメラであってもよい。
【００４３】
ＰＳＤ１２１を含む実施の形態において、ＰＳＤ１２１は、ＰＳＤ１３１について説明された光学位置検出装置のいずれかであってもよい。本明細書の別の部分で更に説明されるように、ＰＳＤ１２１は、ＰＳＤ１３１に良好な位置の参照を提供するために、投影されたパターンがどのように動かされるべきかを決定するのに役立つ。実施例において、ＰＳＤ１２１は、メガピクセルのカメラ、又は、フルフレームの画像ではなく光の中心のみを検出可能な、より単純なセグメント化されたフォトダイオード検出器である。
【００４４】
図２の手順２１４を参照して、オブジェクト１１０の位置データは、投影された参照パターンに関連付けられた識別可能な放射から少なくとも部分的に決定される。本明細書では、「位置データ」は、オブジェクト１１０の参照位置からの変位、及び、ピッチ、ヨー、及びロールのオイラー角の任意の１以上の少なくとも１つを含む。オブジェクト１１０の変位は、球座標における傾斜角θ、方位角φ、及び半径により特徴付けられてもよいし、撮像装置参照フレーム１５０の直交座標ｘ１、ｙ１、ｚ１により特徴付けられてもよい。後者の場合、ｚはオブジェクトとＰＳＤ１１１との間の距離である。ＰＳＤ１３１がＣＭＯＳカメラである実施の形態において、ＰＳＤ１３１により収集された画像は、オブジェクト１１０の位置及び方向を決定するための既知の技術を用いて、例えば計算装置１１５により分析されてもよい。このように、投影されたパターンから導かれる視覚的な画像データに基づいて、オブジェクト１１０の位置が時間（例えば実時間）の関数として決定されてもよい。ＰＳＤ１３１がフォトダイオードである実施の形態において、ＰＳＤ１３１により収集された中心の情報は、中心の変位を示すこれらのｘ−ｙセンサの測定値の変化がオブジェクト１１０の相対変位に関連付けられるように分析される。本明細書の別の部分で説明されるように、オブジェクトの位置データがＰＳＤ１１１及びＰＳＤ１３１の双方から導かれる特定の実施の形態において、投影されたパターンからオブジェクトの位置データの１以上の要素を導出し、オブジェクト１１０の画像の処理から別の位置データの要素を導出することにより、精確さの向上とロバスト性のある演算が達成されうる。または、単一のセンサに比べてＳＮＲを向上させるために、ＰＳＤ１１１及びＰＳＤ１３１の双方から導かれた冗長な情報を調和させてもよい。最後に、オブジェクト１１０の位置が決定されると、手順２１６において、表示装置１２０に表示された１以上のオブジェクトの表示が、既知の任意の技術を用いて制御されてもよい。
【００４５】
図３は、一つの実施の形態に係る、異なる複数のユーザに関連付けられたアバターの表示を制御するために、投影に基づいた追跡システムが用いられる、マルチプレイヤー環境３００の等軸測視図を示す。マルチプレイヤー環境３００において、図１において説明した追跡システム１００と同様の構成要素が、二つのオブジェクト１１０Ａ及び１１０Ｂを追跡するために使用される。図３に示すように、プレイヤーＡは、表示装置１２０上のアバター３１２ａを制御するオブジェクト１１０Ａに関連付けられ、プレイヤーＢは、アバター３１２ｂを制御するオブジェクト１１０Ｂに関連付けられる。例示された実施の形態において、追跡システムは、オブジェクト１１０Ａ及び１１０Ｂのそれぞれの位置データを決定するために、それぞれの視野３１９、３２０内で参照パターンの十分な部分を収集するために、追跡対象のオブジェクト内のＰＳＤ１３１Ａ、１３１Ｂの少なくとも１つのために十分な大きさの領域をカバーするために、例えば天井に投影されたビーコン１７４Ａ及び１７４Ｂを含む参照パターンを含む。ＰＳＤ１３１Ａ及び１３１Ｂが同一の投影されたパターンを参照することができるので、２つのオブジェクト１１０Ａ及び１１０Ｂの間の相対的な位置及び方向を迅速に算出することができる。したがって、ある実施の形態において、投影に基づく位置追跡システム１００は、複数の追跡対象のオブジェクトの間の相互作用を向上させることができる。
【００４６】
図４は、携帯型ゲームコントローラの形式のオブジェクト１１０の例を示す。オブジェクト１１０の部分は、ＰＳＤ１１１により収集される視覚的な画像データに基づく追跡を向上させるための視覚的な寄与を有するセクション４０３を含んでもよい。セクション４０３は、ソニープレイステーションムーブにおいて商業的に利用可能であるように、球形及び／又は有色の照明などであってもよい。更なる実施の形態において、オブジェクト１１０は、１以上の慣性センサを含む、又は、１以上の慣性センサに接続された電子機器である。実施例において、オブジェクト１１０は携帯型コントローラであるが、本明細書においてオブジェクト１１０について説明される主要な特徴は、事実上任意の既知の他のコントローラ、携帯型又は着用可能な装置、例えば、ヘッドギア、フットギア、衣服などにも容易に適用可能である。
【００４７】
図４に示した実施の形態において、オブジェクト１１０は、オブジェクトの中心４１０から所定の変位を有し、互いに対して所定の方向に向いた、複数のＰＳＤ１３１を含む。複数のＰＳＤ１３１は、複合位置センサを形成する。ゲームコントローラの場合、オブジェクトの表面に配置された多数のＰＳＤ１３１は、人間工学的ハンドリング機能と大差ない機能であるコントローラの表面の領域を有効に利用することができる。一般に、任意の数のＰＳＤ１３１がオブジェクト１１０の表面に配置され又は組み込まれてもよく、図５に更に示すように、投影されたパターンの放射の、オブジェクトの有効な視野を増加させるために、複合センサとして集合的に動作されてもよい。
【００４８】
複合センサのそれぞれのＰＳＤ１３１は、センサの表面に特定の視野を提供するレンズを含み、又は、接続される。例えば、図４及び５に示すように、ＰＳＤ１３１Ａ、１３１Ｂ、及び１３１Ｃは、それぞれ、視野１３２Ａ、１３２Ｂ、及び１３２Ｃを有する。例示された実施の形態において、それぞれのＰＳＤの視野角は、どの特定のＰＳＤ１３１の感度も低減させることなく、ＰＳＤ１３１の集合の有効な視野を広角レンズのように向上させるように、最も近接するＰＳＤと重なっている。
【００４９】
図５に更に示すように、オブジェクト１１０上のそれぞれのＰＳＤの予め定義された位置は、ゲームコントローラに典型的なオブジェクトの方向の広い範囲にわたって、投影されたビーコン１７４Ａ、１７４Ｂなどを検知するための十分な方向においてセンサの表面を設けるために、使用中に少なくともいくつかのＰＳＤがユーザの手又はオブジェクトの本体によりふさがれないことが保証されるように選択される。図４及び５に示した実施例において、視野角の重なりを設ける一方、オブジェクトの長手方向軸４２０の周りの３６０度にわたるＰＳＤの有効な視野を提供するために、隣接するＰＳＤ１３１は、３０度から６０度離れた視野角の中心を有する。オブジェクトの長手方向軸は、表示されたターゲットを狙うときにユーザ（例えば図５のユーザ５０１）により表示装置１２０に向けられるべき方向として定義される。オブジェクト１１０のヨーは、しばしばオブジェクトの位置データの重要な要素であり、とくに、長手方向軸４２０の方向の決定における小さな誤差がユーザにより知覚され、リアルなゲームプレーの妨げになるようなゲームの状況では重要である。ＰＳＤの長手方向軸４２０の周りの３６０度の視野を提供することにより、投影に基づく追跡は、オブジェクトのピッチ又はロールに関わらず、オブジェクトのヨーを精確に決定することができる。
【００５０】
図６は、実施の形態に係る、オブジェクトに組み込まれた複数のセンサに基づいてオブジェクトの位置を決定する方法６１６の例のフロー図である。オブジェクト１１０の方向によっては、１以上のＰＳＤ１３１が、センサの視野の外部に投影されたパターンの影になりうる。手順６１７において、システムがデフォルトのスキャン状態にある間、複数のＰＳＤ１３１のそれぞれは、例えばラウンドロビン方式でサンプルされてもよい。スキャン手順６１７は、ＰＳＤ１３１がシンプルな分割されたフォトダイオード検出器である実施の形態においては、センサが、環境よりも高い強度の閾値を超えており、投影された参照パターンから反射された放射に関連付けた中心を検出することを条件としてもよく、ＰＳＤ１３１がビデオカメラである実施の形態においては、センサが、投影されたパターン認識可能な特徴を出力することを条件としてもよい。
【００５１】
いずれの場合においても、手順６１８において、第１のＰＳＤ１３１（例えば図４及び５のＰＳＤ１３１Ａ）から位置データが収集される。収集された位置データ（例えば中心のｘ−ｙ）は、オブジェクトの位置データを決定するために処理される。手順６１９において、複数のＰＳＤ１３１は、第１の位置データを提供するＰＳＤに最も近い方向及び／又は位置を有する１以上のＰＳＤ１３１をより重く重み付けするアルゴリズムを介して読み出されてもよい。例示された実施の形態において、手順６１９において使用されるサンプリングアルゴリズムは、手順６１８において収集された位置データに基づいた個々のセンサのサンプリングレートで、複数のＰＳＤ１３１から位置データを読み出してもよい。例えば、ＰＳＤ１３１Ａが、ＰＳＤ１３１Ｂの視野に最も近い遠端において中心を検出した場合、ＰＳＤ１３１Ｂ及び１３１Ａは、より高いレート（例えば５００Ｈｚ又はそれ以上）で読み出され、ＰＳＤ１３１Ｃは、より低いレート（例えば１００Ｈｚ）で読み出される。収集された位置データ（例えば中心のｘ−ｙ）は、中心４１０などの参照点に対するオブジェクト１１０の内部の第２のセンサの既知の位置に基づいてオブジェクトの位置データを決定するための処理のために再び転送される。つづいて、方法６１６はループし、様々なＰＳＤ１３１の間で受け渡しを実行しつつ、投影されたパターンの特徴を追跡する。最も近接するＰＳＤ１３１が視野の重なりを有している実施の形態において、ＳＮＲを向上させるために、複数のセンサは、単一のＰＳＤ（所定のフォトダイオードの能力を有する）について可能であるよりも高い有効な中心のサンプリングレートでサンプリングし、及び／又は、センサ間で中心の出力を平均化することを可能とするように、中心を出力してもよい。
【００５２】
図７Ａは、実施の形態に係る、投影されたビーコンの配列を含む投影された参照パターンからオブジェクトの位置を決定する方法７０１の例を示すフロー図である。方法７０１において、ＰＳＤ１３１は、高いピクセル数（例えば数千から数百万）を有するフルフレームカメラセンサよりも高い中心出力帯域を可能とするシンプルな多分割フォトダイオード（例えば４分割デバイス）であることが好ましい。一般に、ワールド参照フレーム１４０内でのオブジェクトの位置及び方向を完全に決定するためには、複数のビーコンの位置と中心の相関関係が必要である。オブジェクト１１０が３次元的に移動しうるゲームの状況において、４つの中心の位置に関連付けられた４つのビーコンの位置が、位置追跡の精確さ、範囲、方向の不変性に十分である。これらは全て、ビーコンの数を増加させると向上される。
【００５３】
方法７００の始めに、手順７１０において、プロジェクタ１２８から部屋の内壁面に１以上の複数のビーコンが投影される。少なくともいくつかのビーコンの投影は、オブジェクト１１０が表示装置１２０から８−１０フィート又はそれ以上離れた位置にあるゲームの環境と同等の大きな参照空間の利点を提供する。投影は、ＬＥＤなどの発光するビーコンの取り付けではやりにくい、様々な室内環境内でも、柔軟にビーコンを配置することができるという利点も有する。
【００５４】
図８Ａは、少なくとも１つのビーコン１７４Ａが部屋の天井１７５に投影される本発明の実施の形態に係る、ビーコンのパターンが部屋の内壁面に投影された部屋の透視図である。天井への投影は多くの利点を提供する。例えば、投影される放射は、通常、システムのユーザには掛からない。また、天井の面は、多くの場合、ゲーム空間（すなわち、表示装置から８−１０フィート）の範囲にわたって平坦である広がりを提供する。また、天井の面は、通常、部屋の他の内壁面には一般に存在する家具又は装飾などの、ビーコンの視線の投影を妨げ、又は、そうでなくても、ビーコンの位置の決定を歪曲させうる重大な障害物がない。
【００５５】
図８Ａに示すように、複数のビーコン１７４Ａ、１７４Ｂ、１７４Ｃ、・・・、１７４Ｎは、広い領域（例えば、１０×１０フィート又はそれ以上）をカバーし、既知のトポロジーを有する配列を形成するために、プロジェクタ１２８から天井１７５へ投影される。配列は規則正しく配置されてもよいが、ビーコンは、任意の軸に沿って整列され、又は、グリッドの頂点に配置される必要はない。それぞれのビーコンは、最良の２次元の中心の解像度を有するために、ＰＳＤ１２１の光源の点に接近させることが好ましい。図８Ａに更に示されるように、更なる実施の形態において、追加のビーコン１６４Ａ、１６４Ｂ、及び１６４Ｎが背後壁面１６５に投影される。同様に、追加のビーコン１８４Ａ及び１８４Ｂが側壁面１８５に投影される。壁面投影、とくに背後壁面１６５への投影は、様々な位置の要素の決定を向上させることが可能な２次元のビーコンの配列空間を提供する。更なる実施の形態において、図７にオプションの手順７１１として示されるように、ＬＥＤなどの１以上の投影ではなく放射可能なビーコンが、投影されるビーコンとともに起動される。図８Ａに示された例の実施の形態において、ＬＥＤビーコン１２９Ａ、１２９Ｂ、及び１２９Ｃは、撮像装置１０５の前面に（すなわち、オブジェクト１１０に向かうように）配置される。このような実施の形態において、撮像装置１０５に近接したビーコンのかなり高い密度の存在は、２次元のビーコン配列空間を提供し、及び／又は、ＰＳＤ１１１に近接するホーム参照点の較正又は識別を支援することができる。
【００５６】
一般に、それぞれのビーコンは、他のビーコンから識別可能である。実施の形態によっては、この区別は、時間領域又は周波数領域でなされてもよい。例えば、周波数領域において、投影されるそれぞれのビーコンは、他とは異なる波長（例えば、λ１７４Ａなど）を有する放射のビームにより形成されてもよい。または、全てのビーコンが、部屋の環境に典型的な背景ノイズから最も良く区別可能であり、好ましくは、赤外線（例えば０．７μｍから０．９μｍ）又は遠赤外線（例えば０．９μｍから１．０μｍ）などの可視光の外部である、同一の波長の放射により投影されることを可能とするために、時間領域の区別が使用されてもよい。時間領域の区別のためには、一般に、手順７１０におけるビーコンの投影と、手順７１１におけるビーコンの振幅の変調とを、時間分割方式で行う必要がある。この場合、それぞれのビーコンの照射時間は、ＰＳＤ１３１により実行される収集手順７１６に同期（すなわちストローブ）される。ＰＬＬ又は他の既知のタイミング回路が、ビーコンのビームの投影のタイミングをＰＳＤの中心のサンプリングに合わせる目的で使用されてもよい。
【００５７】
ビーコンが１以上の部屋の内壁面に投影されるとき、手順７１３において、ビーコンの位置が、例えば、撮像装置１０５又はその任意の構成要素（例えば、ＬＥＤビーコン１２９、ＰＳＤ１１１、又はＰＳＤ１１１）に対してマップされる。手順７１３は、例えば、追跡システム１００がゲームプレーのために使用される前に実行されてもよい。ビーコンの投影を遮蔽する部屋の内壁面は平面であり、垂直な壁と交差するとの仮定の下に、参照ポイントに対するプロジェクタの予め定義された位置及び方向を前提として、相対的な投影角に基づいて排他的に推定されてもよい。または、ビーコンの座標はユーザにより手動で入力されてもよい。しかし、好ましい実施の形態において、１以上のＰＳＤ１３１、１２１、又は１１１は、例えば三角測量アルゴリズムを実行することにより、投影されたビーコンの位置を自動的にマップするために、較正段階において用いられる。このような一つの実施の形態において、プロジェクタ１２８の近傍に設けられたＰＳＤ１２１（図１）は、所定のビーコン（ＰＳＤ１２１の実施の形態に基づいてフォトダイオードの中心を出力する）又はパターン（視野１２２内のビーコンの位置を決定するために処理される画像を出力する）を検知する。画像処理が使用されない場合、ＰＳＤ１２１の相対位置と、既知の投影ビーム角に沿ったプロジェクタ１２８との間の相関関係が、投影されたビーコンの位置の三角測量を可能とする。平面を遮蔽するビーコンにおける非平面性を更に適合させるために、実施の形態は、ＰＳＤ１２１及びプロジェクタ１２８を用いた飛行時間測定を更に使用してもよい。この場合、投影されるビームは、例えば赤外線を放射するレーザーからのコヒーレント光である。更に別の実施の形態において、それぞれのビーコンの位置は、投影されたパターンの特徴／ビーコンの位置とオブジェクト１１０の位置／方向とを関連付けるために、ＰＳＤ１３１によりビーコンをマップすることにより、オブジェクトの位置及び方向を決定することにより推定される。
【００５８】
手順７１６において、１以上の投影ビーム１６３、１７３、１８３（及び／又はＬＥＤビーコン１２９）が所定のタイミングでトリガされ、所定のＰＳＤ１３１のセンサの表面の特定の位置にＰＳＤにより撮像されるとき、関連付けられたＰＳＤのサンプリングは、ビーコン１６４、１７４、１８４（又はＬＥＤビーコン１２９から発光された）のマップされた対応する位置から反射された放射の中心を収集する。ＰＳＤは既知であるから、光のスポットの位置情報が特定のＰＳＤの実装から取得可能である多数の方法の詳細は、本明細書では提供しない。収集技術に関わらず、ビーコンの位置データは、例えば無線によりオブジェクト１１０からプロセッサに送信される。プロセッサは、手順７１９において、所定の参照フレーム（例えば、ワールド参照フレーム１４０）内でオブジェクト１１０の位置／方向を記述する位置データとビーコンの位置データを関連付ける。
【００５９】
図７Ｂは、実施の形態に係る、部屋の内壁面に投影されたグリッドパターンからオブジェクトの位置を決定する方法７５０の例のフロー図である。方法７５０において、ＰＳＤ１３１は、ピクセル数の多い（例えば、数千から数百万）センサを組み込んだ標準的なビデオカメラであることが好ましい。
【００６０】
方法７５０は、手順７６０から始まる。手順７６０において、パターン認識アルゴリズムにより容易に識別可能であり、オブジェクトの方向を参照可能とする方向の列を提供する特徴を有するパターンを部屋の内壁面に投影する。実施の形態において、投影されたパターンは、好ましくは直交する辺を定義する、相互に連結した複数の繰り返される単位を含む。例示された実施の形態において、図８Ｂに示すように、手順７６０においてグリッドパターンが投影される。図８Ｂは、グリッドパターン８７４Ａ、８７４Ｎが部屋の天井１７５に投影された、部屋の透視図を示す。パターンは、チェッカー盤パターン及び他の多角形のメッシュであってもよい。実施の形態において、ＰＳＤ１２１はカメラであり、グリッドは検知パターンというよりは参照パターンであるので、手順７６０において投影されたグリッドパターンは、配列又は走査されるのではなく、固定されたパターンである。手順７６６においてＰＳＤ１２１により収集される画像の時間変化は、手順７７５において画像の処理により識別され、オブジェクトの方向の変化の起因となる。手順７９０において、既知の画像処理技術を用いて、所定の参照フレーム（例えばワールド参照フレーム１４０）におけるオブジェクト１１０の位置情報が決定され、方法７５０は終了する。
【００６１】
実施の形態において、投影された参照パターンは、障害物がない及び／又は平坦でない場所ではない部屋の内壁面の位置に１以上の特徴／ビーコンを配置させるために、可動である。図９Ａは、実施の形態に係る、ビーコンが部屋の内壁面上の障害物を避けるために移動される、部屋の透視図を示す。図示されるように、任意の内壁面は、部屋の天井１７５ですら、ＨＶＡＣダクト９４１、照明固定具９４２、天窓／窓９４３など、投影されたビーコンをふさぎ、又は変形させる可能性のある障害物を含みうる。このような閉塞又は変形は、投影されたビーコンのパターンに基づく位置データの決定を妨げ、又は、少なくとも決定の精度を低減させうる。例示された実施の形態において、それぞれのビーコンの位置は、良好なビーコンの信号をＰＳＤ１２１に提供する位置を探すために移動される。例えば、一つの実施の形態において、投影領域は複数のビーコンゾーンに分割される。投影されたビーム１７３Ａ及び１７３Ｃは、ビーコン１７４Ａ及び１７４Ｃのデフォルトの位置よりも適切な参照ポイントを提供するビーコンの位置を識別するために、それぞれ、ビーコンゾーン９７４Ａ及び９７４Ｃの内部で移動可能である。壁に投影されたビーコンも同様に移動可能であってもよい。例えば、ビーコン位置１６４Ｂは、ゾーン９６１Ｂの内部の任意の位置に配置されてもよい。ビーコンゾーンは、デフォルトの位置の周りの任意の形状を形成してもよい。例えば、デフォルトのビーコン位置のピッチの半分にわたってもよいし、それ以上であってもよい。
【００６２】
図１０は、一つの実施の形態に係る、図９Ａに示した部屋の障害物を避けるために、図１１に示した移動及びマップ方法１１００を自動的にプロセッサ１０１０が実行する、投影に基づくオブジェクト追跡システムのモジュールの機能ブロック図である。一般に、方法１１００の目標は、投影に基づくオブジェクト１１０の追跡を容易にするために、部屋の内壁面のどこにビーコンが投影されればよいかを自動的に決定することである。方法１１００は、例えば図８Ｂに示されるように、相互に接続された繰り返し単位を含むパターンを投影する位置に適用されてもよい。しかし、このようなパターンを用いる実施の形態において、障害物の回避は画像処理の追加的な機能のためにあまり重要ではないので、一般的には、固定された可動ではない投影システムで十分である。
【００６３】
手順１１０５において、ビーコンビーム（ｉ）が、角度又は操縦装置のｘ−ｙ座標により定義される方向に投影される。図１０を参照して、撮像装置１０５は、ビーコンビーム源１０３０をプロジェクタ１２８として含む。ビーコンビーム源１０３０は、好ましくは、赤外線の放射スペクトルを有するレーザーである。レーザーは、追跡システム１００における投影に典型的な距離にわたって焦点を容易に維持する光学的な単純さの利点を有しているが、レーザーではない放電及び従来のＬＥＤ光源も、結合された焦点用の光学系とともにビーム源１０３０として機能しうる。プロジェクタ１２８は、ビーコン操縦装置１０４０を更に含む。操縦装置１０４０は、選択されたビーム源１０３０の分野において既知の任意のものであってもよい。例えば、レンズ、回折格子、鏡などを含む、圧電効果により駆動される透過型及び反射型の光路変調器であってもよい。一つの実施の形態において、操縦装置１０４０は、ｘ−ｙの傾斜角の範囲にわたって制御可能な１以上の鏡を有するＭＥＭｓ微小鏡面である。このような微小鏡面サブシステムは、特定のピコプロジェクタの実装において商業的に利用可能である。別の実施の形態は、ＤＬＰ（登録商標）（digital light processing）又はＬＣＯＳ（登録商標）（liquid crystal on silicon）などの投影技術を使用してもよい。複数のビーコンを連続的に投影するために、ビーム源１０３０は、操縦装置により定義されたビーム角の制御と連動して、所定の回数のパルスを放射するように、制御部１０２０により制御されてもよい。時刻を決められたバーストが、マップされた離散したビーコンの位置に連続的に配列されてもよい。
【００６４】
別の実施の形態において、複数のビーム源（例えば１０３０Ｂ及び１０３０Ｃ）が、連続して又は同時に複数のビーコンを投影してもよい。ビーム源１０３０、１０３０Ｂ、及び１０３０Ｃのそれぞれは、同一の操縦装置１０３０に光学的に結合されてもよい（例えば、それぞれのビームが単一のＭＥＭｓ鏡面配列において１以上の鏡面に影響を与える）し、単純に異なる複数の操縦装置（１０４０、１０４０Ｂ、及び１０４０Ｃに結合されてもよい。更に別の実施の形態において、回折格子又は他の既知の分散的な要素が、単一のビームを複数の既知のパターン配列（例えば、グリッドの点、スポーク線パターンなど）を有するビームに分割するために用いられてもよい。
【００６５】
図１１に戻り、手順１１０７において、ビーコンビーム（ｉ）についてデータが収集される。投影システムは一度に一つのビーコンしかキャストしない場合、手順１１０７において収集されるデータは、一つのビーコンのみに対応する。手順１１０７において収集されたデータは、ＰＳＤ１２１又は１３１が手順１１０７において収集を実行したか、及び、ＰＳＤがどの技術により実装されたか（例えば、ＰＩＮフォトダイオード、ＣＭＯＳ画像センサなど）だけでなく、どの投影方法が適用されたかの関数である。例えば、図９Ｂに示されるように、回折型のプロジェクタ１２８が同時に、固定された相対角αＡ及びαＢを有する複数のビームを投影する場合、手順１１０７におけるデータ種集は、ビームによりキャストされた複数の線に対応する。投影されたパターン８７４Ａ、８７４Ｂ、・・・、８７４Ｎは、障害物９４１、９４２を避けるために、単位長ＬＡ、ＬＢだけ移動されてもよい。
【００６６】
実施の形態において、少なくとも強度及び位置データが、手順１１０７において収集される。手順１１０７におけるセンサの収集は、プロジェクタと共通する参照ポイントに対して既知の位置及び方向を有する。このような一つの実施の形態において、図１２（図５に示した領域１２００の拡大された側面図を示す）に更に示すように、撮像装置１０５に統合されたＰＳＤ１２１は、手順１１０７においてビーコンデータを収集する。図１０に更に示されるように、ＰＳＤ１２１は、投影可動範囲にわたる視野１２２を有するパターン空間光学素子１００８に結合される。ＰＳＤ１２１は、投影されたパターンのフィードバック制御のためのピックアップとして、投影されたパターンを監視する目的で排他的に用いられてもよい。ＰＳＤ１２１は、追跡システムが使用される間（例えばゲームプレー中）、継続的なパターン監視の利点を提供する。
【００６７】
別の実施の形態において、図１３に更に示されるように、オブジェクト１１０に統合されたＰＳＤ１３１が、手順１１０７においてビーコンのデータを収集する。図１０に更に示されるように、オブジェクト１１０内のＰＳＤ１３１は、プロセッサ１０１０に通信可能に結合される。まず、第１の較正段階の間に、ＰＳＤ１３１の方向を決定し、後に続く、１以上の視野１３２Ａ、１３２Ｂ、１３２Ｃなどの内部に投影されたパターンを配置することにＰＳＤ１３１を使用可能とするために、様々な技術が用いられてもよい。例えば、まず、ＰＳＤ１３１の方向が、オブジェクト空間光学素子１００７により提供される視野１２２の内部のオブジェクト１１０を含む、ＰＳＤ１１１により収集された画像データから決定されてもよい。ＰＳＤ１３１は、図１３に示されるビーコンビーム１７３Ａ、１７３Ｂ、１６３が移動されるときに、複数のビーコンの１以上の位置に関連付けられた個々の強度部分の中心を送信してもよい。ＰＳＤ１３１に基づいて投影されたビーコンの位置を確立する実施の形態は、部屋の内部のオブジェクトの位置に近接するセンサに基づいて投影されたビーコンを配置し、それと同一のセンサが、その後のオブジェクト追跡中に、投影されたパターンからオブジェクトの位置を決定する（例えば、図２の手順２１２）ために用いられる利点を有する。
【００６８】
図１１に戻り、手順１１０７の後に、予め定義されたサンプルの予定における全ての位置がテストされていなければ、手順１１１１において、ビーム（ｉ）が次の方向（Ｘｍ，Ｙｎ）に移動される。例えば、図１２に示されるように、ビーム１７３Ａは、第１のビーコン位置１７４Ａ１から第２のビーコン位置１７４Ａ２に、ランダムに、又は、ビーコンゾーン（例えば図９Ａの９７４Ａ）内のメッシュの予め定義されたサンプル点の方式で、移動されてもよい。サンプル予定の全てのデータが収集されていた場合、手順１１２５において、収集された移動方向（Ｘｍ，Ｙｎ）にわたってビームデータが分析され、探索基準を満たす方向が識別される。手順１１３０において、ビーコンの位置をマップするために、適した方向が選択される。
【００６９】
実施の形態において、収集されたビームのデータは、手順１１２５において比較され、ビーコンの視感度の基準及び／又は複数のビーコンの間の空間的関係に基づいて、手順１１３０において位置が選択される。第１の実施の形態において、プロセッサ１０１０は、可動な方向（Ｘｍ，Ｙｎ）にわたって反射された放射の強度を比較することにより、収集されたデータを分析する。強度のレベルの閾値を満たすビーコンの位置を識別するために、強度又は出力により投影方向がソートされてもよい。強度の低いビーム方向の位置は、ふさがれているか、そうでなくても不適切であるとして除外される。
【００７０】
更なる実施の形態において、プロセッサ１０１０は、ビーコンの間隔の一様性又は間隔を最大化させるアルゴリズムを実行することにより、収集されたデータを分析する。ビーム（ｉ）の様々な投影方向が強度の閾値を満たすと仮定すると、別のビーコンビーム（ｉ＋１）、例えば、図１２のビーム１７３Ｂは、方法１１００の別の繰り返しにおける手順１１０５において選択され投影される。投影方向の別のセット、例えば、ビーコンゾーン９７４Ｂが、強度の閾値を満たす場合、それぞれのビーコンゾーン１７４Ａ及び１７４Ｂの位置が空間的考慮に基づいて選択されてもよい。一つの実施の形態において、１７４Ａ及び１７４Ｂの位置は、ビーコン１７４Ａ及び１７４Ｂの間の間隔を最大にするために、適した位置のセットから選択される。別の実施の形態において、１７４Ａ及び１７４Ｂの位置は、投影されるべき複数のビーコンの間の間隔の均一性を最大にするために、適した位置のセットから選択される。すなわち、例えば、均一なビーコンの面密度を達成するための一つの基準関数により、全てのビーコン位置について、適した位置が選択される。
【００７１】
ローカル領域に、適したビーコン位置に対応するビーム方向が１つも識別されない場合、ローカル領域は無効とされ、手順１１２５において、ビーコンの総数は１つ減らされる。この場合、例えば、デフォルトで１０個のビーコン配列だった場合は９個に減らされる。または、ビーコンは、適した位置を複数有する別のローカル領域に統合される。この場合、例えば、デフォルトで１０個の配列は１０個のまま維持される。
【００７２】
更なる実施の形態において、プロセッサ１０１０は、投影面の３次元測定を実行するために、ビームを移動又は走査する。多くの３次元測定アルゴリズムが知られており、本明細書で説明するプロジェクタ１２８及びＰＳＤ１２１又は１３１の特定の実施の形態において、いずれが実行されてもよい。可能性のある様々な部屋の内壁面に適応するように、投影されるビーコンをどこに配置すべきかを自動的に決定するという目的を認識しつつ、様々な単純化が実行されてもよい。一つの実施の形態において、収集されたデータは、手順１１２５において、同一の平面に存在する位置にマップされる複数のビーコンの数が最大になるように分析される。平坦なビーコン空間を有する場合は、投影されたビーコンの位置に基づいてオブジェクトの位置を決定するために用いられるアルゴリズムを単純化するために有利である。
【００７３】
実施の形態において、ビーコン（ｉ）が方向（Ｘｍ，Ｙｎ）に移動されるときに、複数のビーコン位置のうちの１以上に関連付けられた強度分布の中心の移動を評価するための３次元測定アルゴリズムの適用により、ビーコン空間の平面性が最適化されてもよい。中心の移動は、関連付けられたビーム方向の変化及び／又はビーム長（距離）の変化の関数として、中心の移動を決定するために、ビーム移動パラメータ（例えば、微小鏡面のｘ−ｙにおける変化）と比較されてもよい。プロジェクタ１２８と所定の方向に対応する位置との間の距離を決定するために、一般に知られた三角測量の原理が用いられてもよいし、既知の飛行時間アルゴリズムが用いられてもよい。別の実施の形態は、投影されたビーコンとＬＥＤビーコン１２９との間の距離を決定するために、ＰＳＤ１３１を使用する。いずれの実施の形態においても、天井１７５と壁面１６５、１７５、又は照明器具９４２などの地理的特徴が配置されたところとの間の継ぎ目の位置の推定は、任意の要求される解像度において容易に識別可能である。手順１１３０において、ビーコンの位置は、例えば、天井１７５の平坦な表面におけるビーコン位置の数が最大になるように選択されてもよいし、投影されたパターンの領域が最大になるように選択されてもよい。
【００７４】
図１４は、一つの実施の形態に係る、オブジェクト１１０の追跡のための良好な位置参照を提供する、投影されたビーコンの位置を決定する方法１４００を示すフロー図である。方法１４００は、一般に、ユーザによるビーコンの位置のフィードバックに頼っており、可視の波長で発光するビーム源によりデフォルトの初期位置に可視のビーム（ｉ）のマーカを投影することから始まる。このため、図１０に示したビーム源１０３０Ｂ又は１０３０Ｃは、異なる波長において動作可能である。すなわち、ビーム源１０３０は、ビーコン投影システムの初期セットアップに専用の可視のビーム源と、方法１４００により決定されたビーコンの位置を用いて参照パターンを確立するための赤外線で動作するビーム源を有する。
【００７５】
可視のビーコンマーカが投影され、ユーザが、例えばオブジェクト１１０又は他の入力インタフェースを介して、ビーコンの位置の変更を要求すると（例えば、デフォルト位置における閉塞などにより）、手順１４１１において、本明細書の別の部分で手順１１１１について説明された方式のいずれかにより、ビーム（ｉ）が移動される。ビームの移動は、ユーザから現在の位置に対して移動させる方向の更なる指示を受け付けて行われてもよいし、予め定義された代替の方向が自動的に選択されてもよい。ユーザが指定した位置にそれぞれのビーコンを配置するために、同様にして、複数のビーコンが繰り返し循環される。手順１４３０において、例えば図２の手順２００における、赤外線による後続の使用のために、オブジェクト１１０の追跡のための参照ビーコンの位置として、ユーザが指定した位置がマップされる。
【００７６】
図１５は、実施の形態に係る、投影されたパターンを時間にわたって監視し、参照パターンに発生する変化に応答する方法１５００を示すフロー図である。撮像装置１０５がＰＳＤ１２１を含む場合、ＰＳＤ１２１は、本明細書の別の部分で説明されるビーコンを配置する機能に加えて、投影されたパターンの時間変化を監視するために用いられてもよい。このような監視により、追跡システム１００は、ビーコンの位置が直近に選択されてから、プロジェクタの視線に配置された新たな任意の障害物に自動的に対処することができる。図２の方法２００が、ＰＳＤ１３１により収集されたパターンの位置データに基づいて実行されるとき、方法１５００は、ＰＳＤ１２１により収集されたパターンの位置データに基づいて実行される。方法１５００は、手順３１０において、前回選択されたパターンを投影することから始まる。手順１５１２において、ＰＳＤ１２１は、例えば撮像装置１０５の視点（vantage）から、パターンの位置データを収集する。手順１５１５において、収集されたパターンの位置データは、例えばプロセッサ１０１０により、前回収集されたパターンの位置データと比較される。方法１５００のそれぞれのサイクルで、パターンの位置データの時間偏差が１以上の閾値の基準（例えば、ビーコンの中心の強度又はビーコンの中心の位置の閾値）を超えた場合、手順１５２１において、１以上のビームが、代替の位置（例えば、方法１１００により識別された代替のビーコンの位置の集合）に移動されるか、又は、手順１５２２において、シャットオフする。
【００７７】
図１６は、図１７に示した、投影されたパターンの位置データ、オブジェクトの画像データ、及びオブジェクトの慣性データのうちの少なくとも２つに基づいてオブジェクトの位置データを決定する複合型の方法１７００を実行する、実施の形態に係るオブジェクト追跡システム１００のモジュールの機能ブロック図である。図１６に示されるように、オブジェクト１１０は、少なくとも１つの慣性センサ１６４０を更に含む。慣性センサ１６４０は、単一又は複数の軸に沿った加速度を測定する。慣性センサ１６４０は、直線的な加速度だけでなく角加速度を測定してもよい。それぞれの慣性センサ１６４０及びＰＳＤ１３１は、それぞれ、位置エンジン１６６０及び１６６５に通信可能に結合される。更なる実施の形態において、撮像装置１０５に取り付けられたＰＳＤ１１１は、第３の位置エンジン１６７０に結合される。図１７に示すように、手順１７１０において部屋の内壁面にパターンが投影され、手順１７１６においてＰＳＤ１２１がパターンの位置データを収集する。同時に、手順１７１７において、ＰＳＤ１１１（例えば標準的なビデオカメラ）はオブジェクト１１０を撮像し、手順１７１８において、慣性センサ１６４０はオブジェクトの慣性データを収集する。
【００７８】
オブジェクト１１０の別々の位置データが、慣性データ、投影されたパターンデータ、及びオブジェクトの画像から、それぞれ、エンジン１６６０、１６６５、及び１６７０（図１６）により生成される。異なるピックアップから導出された様々な位置データの要素は、調整ロジック１６７５により調整され、手順１７２０においてオブジェクトの位置データが出力される。例えば、位置エンジン１６６０及び１６７５はオブジェクト１１０のヨーを出力し、位置エンジン１６６５及び１６７５はＸ、Ｙ、及びＺの位置データの要素を出力してもよい。それぞれのエンジン１６６０、１６６５、及び１６７０は、例えば、計算装置１１５の同一のプロセッサにより実行されるソフトウェアモジュールであってもよいし、それぞれのエンジンが別々の論理回路において実装されてもよい。調整ロジック１６７５は、櫛形フィルタ又は他の既知の信号プロセッサ／フィルタを備え、実施例において、グラフィックエンジンに出力するためのオブジェクトの位置を記述する要素の１つのセットを決定する。
【００７９】
ＰＳＤ１３１及びＰＳＤ１１１の双方からオブジェクトの位置を決定する実施の形態は、システム全体の設計を効果的に単純化することができ、ＰＳＤ１３１又はＰＳＤ１１１のいすれかを単独で用いる別の実施の形態に比べて、追跡の能力を向上させることができる。例えば、位置のＸ及びＹ成分の決定が、ＰＳＤ１１１により、Ｚ成分に比べてより精確に決定できる場合、Ｚ成分の決定を補助するために、ＰＳＤ１３１によりパターンが投影され、監視されてもよい。別の実施例において、図１８Ａは、複合型のオブジェクト追跡システムが投影されたパターンからオブジェクトのヨーを決定し、オブジェクトの位置の他の少なくとも１つの要素が画像データから導出される、部屋の側面図を示す。例えば、あるアプリケーションのためのオブジェクトのヨーは比較的重要ではなく、慣性センサ１６４０のみにより十分精確に推定できる。しかし、別のアプリケーションにおいて、例えば、ユーザ１０１が照準を合わせる間、オブジェクト１１０の長手方向を表示装置１２０の領域に向けるとき、ヨーはオブジェクトの位置データのうち最も重要な成分である。例えば、ＰＳＤ１３１からパターンの位置データが利用可能ではないときは、慣性センサ１６４０から決定されてもよく、パターンの位置データが利用可能であるときは、ＰＳＤ１３１から決定されてもよい。
【００８０】
プロジェクタ１２８が天井１７５にビーム１７３Ａ、１７３Ｂ、及び１７３Ｃを放射するとき、照準を合わせる間に、予測されるオブジェクトの方向に基づいて、低減された数のＰＳＤ１３１によりヨーが決定されうる。図１８Ａ及び１８Ｂ（図１８Ａに示したオブジェクト１１０の拡大された等角図）に示すように、視野１３２を有する上面のＰＳＤ１３１は、照準を合わせる間、天井のビーコン１７４Ａ、１７４Ｂ、及び１７４Ｃの中心を出力し、それらからヨー角γを決定することができる。
【００８１】
図１９は、手順１９１０において部屋の天井に投影されたパターンがオブジェクト１１０内のパターンセンサにより検知される方法１９００を示すフロー図である。手順１９１６において、第１のオブジェクト位置データセットが決定される。同時に、手順１９５０において、第２のオブジェクト位置データセットが、オブジェクト１１０を含む視野を有する画像データを提供するＰＳＤ１１１などの、オブジェクトの外部のオブジェクトセンサから生成される。手順１９２０において、少なくともオブジェクトのヨー及び／又はＺ位置が第１のオブジェクト位置データセットから決定され、手順１９８０において、少なくともオブジェクトの位置のＸ、Ｙ成分が第２のオブジェクト位置データセットから決定される。これらの成分は結合され、任意の冗長な情報は調整される。最後に、手順１９９０において、表示されたグラフィックが、追跡されたオブジェクトの位置に基づいて、生成され、変形され、又は制御される。
【００８２】
図２０は、本発明の一つの実施の形態に係る、オブジェクトの追跡に基づいて表示を適合させるために用いられうるハードウェア及びユーザインタフェースを示す。図２０は、本明細書で説明したオブジェクト追跡方法を実装するためにの実装に互換性のあるコンソールであるソニープレイステーション３（登録商標）エンタテインメント装置の全体システム構成を概略的に示す。プラットフォームユニット２０００とともに、プラットフォームユニット２０００に接続可能な種々の周辺装置が設けられる。プラットフォームユニット２０００は、セルプロセッサ２０２８、ランバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット２０２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１４３２とともに設けられたリアリティシミュレータグラフィックスユニット２０３０、及び入出力ブリッジ２０３４を備える。プラットフォームユニット２０００は、さらに、入出力ブリッジ２０３４を介してアクセス可能な、ディスク２０４０Ａから読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ光ディスクリーダ２０４０及び脱着可能なスロットインハードディスクドライブ（ＨＤＤ）２０３６を備える。プラットフォームユニット１４００は、オプションで、入出力ブリッジ２０３４を介して同様にアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリスティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ２０３８をさらに備える。
【００８３】
入出力ブリッジ２０３４は、さらに、複数のユニバーサルシリアルバス（ＵＳＢ）２．０ポート２０２４、ギガビットイーサネット（登録商標）ポート２０２２、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート２０２０、７つのブルートゥース（登録商標）接続までサポート可能なブルートゥース無線リンクポート２０１８に接続する。
【００８４】
動作中、入出力ブリッジ２０３４は、１以上のゲームコントローラ２００２からのデータを含む全ての無線、ＵＳＢ及びイーサネット（登録商標）データを扱う。例えば、ユーザがゲームをプレーするとき、入出力ブリッジ２０３４は、ブルートゥースリンクを介してゲーム（モーション）コントローラ２００２からデータを受信し、セルプロセッサ２０２８に伝える。セルプロセッサ２０２８は、ゲームの現在の状態をそのように更新する。
【００８５】
無線、ＵＳＢ及びイーサネット（登録商標）ポートは、ゲームコントローラ２００２に加えて、リモートコントローラ２００４、キーボード２００６、マウス２００８、ソニープレイステーションポータブル（登録商標）エンタテインメント装置などの携帯型エンタテインメント装置２０１０、プレイステーションアイ（登録商標）ビデオ画像センサ２０１２などのビデオ画像センサ、マイクロフォンヘッドセット２０１４、及びマイクロフォンアレイ２０１５などの他の周辺装置との接続も提供する。これらの周辺装置は、原則として、システムユニット２０００に無線で接続されてもよい。例えば、携帯型エンタテインメント装置２０１０は、Ｗｉ−Ｆｉアドホック接続を介して通信してもよいし、マイクロフォンヘッドセット２０１４は、ブルートゥースリンクを介して通信してもよい。
【００８６】
これらのインタフェースの提供は、プレイステーション３装置が、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルビデオ画像センサ、携帯型メディアプレーヤ、ボイスオーバーＩＰ電話、携帯電話、プリンタ、及びスキャナなどの他の周辺装置との互換性をも潜在的に有することを意味する。
【００８７】
ゲームコントローラ２００２は、ブルートゥースリンクを介してプラットフォームユニット２０００と無線通信可能であるか、ＵＳＢポートを介して接続して、ゲームコントローラ２００２のバッテリを充電するための電源も提供可能である。ゲームコントローラ２００２は、メモリ、プロセッサ、メモリカードリーダ、フラッシュメモリなどの永続メモリ、ＬＥＤ又は赤外光などの光照射部、マイクロフォン及びスピーカ、ディジタルビデオ画像センサ、セクタ化されたフォトダイオード、内部クロック、ゲームコンソールに向けられた球などの認識／識別可能な形状を含んでもよい。
【００８８】
ゲームコントローラ２００２は、本明細書において説明したように、３次元の位置決定のために構成される。したがって、ゲームコントローラ２００２のユーザによるジェスチャー及び動きが、従来のボタン又はジョイスティックのコマンドに加えて、又はそれに代えて、ゲームに対する入力として翻訳されてもよい。プレイステーションポータブル装置の場合、装置の画面に、更なるゲーム又は制御情報（例えば、制御命令又はライフの数）が提供されてもよい。ダンスマット（図示せず）、光線銃（図示せず）、ステアリングホイール及びペダル（図示せず）などの他の代替又は追加の制御装置が用いられてもよい。
【００８９】
リモートコントローラ２００４は、ブルートゥースリンクを介してプラットフォームユニット２０００と無線通信可能である。リモートコントローラ２００４は、ブルーレイディスクＢＤ−ＲＯＭリーダ２０４０の動作及びディスク内容のナビゲーションのために適した制御を備える。
【００９０】
ブルーレイディスクＢＤ−ＲＯＭリーダ２０４０は、従来の記録済み及び記録可能なＣＤ及びいわゆるスーパーオーディオＣＤに加えて、プレイステーション及びプレイステーション２装置に互換なＣＤ−ＲＯＭを読み出し可能である。リーダ２０４０は、従来の記録済み及び記録可能なＤＶＤに加えて、プレイステーション２及びプレイステーション３装置に互換なＤＶＤ−ＲＯＭを更に読み出し可能である。リーダ２０４０は、さらに、従来の記録済み及び記録可能なブルーレイディスクだけでなく、プレイステーション３装置に互換なＢＤ−ＲＯＭを読み出し可能である。
【００９１】
プラットフォームユニット２０００は、生成された、又は、リアリティシミュレータグラフィックスユニット２０３０を介してプレイステーション３装置によりデコードされた音声及び映像を、音声及び映像コネクタを介して、表示装置１２０などの表示及び音声出力装置に対して供給可能である。音声コネクタ２０５０は、従来のアナログ及びディジタル出力を含んでもよく、映像コネクタ２０５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、及び１以上の高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））出力などを含んでもよい。結果として、映像出力は、ＰＡＬ又はＮＴＳＣ、又は、７２０ｐ、１０８０ｉ又は１０８０ｐ高解像度の形式であってもよい。
【００９２】
一つの実施の形態において、ビデオ画像センサ２０１２は、単一の電荷結合素子（ＣＣＤ）及びＬＥＤインジケータを備える。ある実施の形態において、画像センサ２０１２は、ソフトウェア及びハードウェアベースのリアルタイムデータ圧縮エンコード装置を備え、圧縮されたビデオデータは、プラットフォームユニット２０００によりデコードするために、画像間ベースのＭＰＥＧ（motion picture expert group）スタンダードなどの適当な形式で送信されてもよい。ビデオ画像センサＬＥＤインジケータは、例えば逆光条件を知らせるなどのプラットフォームユニット２０００からの適切な制御データに応答して光るように構成される。ビデオ画像センサ２０１２の実施の形態は、ＨＤＭＩ（登録商標）、ＵＳＢ、ブルートゥース、又はＷｉ−Ｆｉの通信ポートを介してプラットフォームユニット２０００に接続してもよい。ビデオ画像センサの実施の形態は、１以上の結合されたマイクロフォンを含み、音声データを送信可能であってもよい。ビデオ画像センサの実施の形態において、ＣＣＤは、高精細ビデオキャプチャに適した解像度を有してもよい。使用中、ビデオ画像センサにより撮像された画像は、例えば、ゲーム内に組み込まれてもよいし、ゲーム制御入力として解釈されてもよい。別の実施の形態において、ビデオ画像センサは、赤外光を検出するのに適した赤外線画像センサである。
【００９３】
図２１は、本発明の一つの実施の形態における、命令の処理に利用可能な追加のハードウェアを示す。図２０の、図２１において更に示されるセルプロセッサ２０２８は、メモリコントローラ２１６０及びデュアルバスインタフェースコントローラ２１７０Ａ、Ｂを備える外部入出力構成、パワープロセッシングエレメント（ＰＰＥ）２１５０と呼ばれるメインプロセッサ、シナジスティックプロセッシングエレメント（ＳＰＥ）２１１０Ａ〜Ｈと呼ばれる８個のコプロセッサ、要素相互接続バス２１８０と呼ばれる、上記の要素を接続する環状データバスの４つの基本要素を備えた構成を有する。
【００９４】
パワープロセッシングエレメント（ＰＰＥ）２１５０は、３．２ＧＨｚの内部クロックで動作するパワーＰＣ（PowerPC）コア（ＰＰＵ）２１５５に互換な、双方向平行マルチスレッドパワー２０７０に基づいている。これは、５１２ｋＢのレベル２（Ｌ２）キャッシュ２１５２及び３２ｋＢのレベル１（Ｌ１）キャッシュ２１５１を備える。ＰＰＥ２１５０は、クロックサイクルごとに８つの単精度演算を行うことができ、これは３．２ＧＨｚにおいて２５．６ギガフロップスにあたる。ＰＰＥ２１５０の主要な役割は、ほとんどの計算作業負荷を扱うＳＰＥ２１１０Ａ〜Ｈのためのコントローラとして機能することである。動作において、ＰＰＥ２１５０は、ジョブのキューを保持し、ＳＰＥ２１１０Ａ〜Ｈのジョブをスケジューリングし、それらの進行を監視する。それぞれのＳＰＥ２１１０Ａ〜Ｈは、ジョブを取ってきて実行するのが役割であるカーネルを実行し、ＰＰＥ２１５０に同期される。
【００９５】
それぞれのＳＰＥ２１１０Ａ〜Ｈは、シナジスティックプロセッシングユニット（ＳＰＵ）２１２０Ａ〜Ｈを備え、それぞれのメモリフローコントローラ（ＭＦＣ：Memory Flow Controller）２１４０Ａ〜Ｈは、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ：Dynamic Memory Access Controller）２１４２Ａ〜Ｈ、メモリ管理ユニット（ＭＭＵ）２１４４Ａ〜Ｈ、及びバスインタフェース（図示せず）を備える。それぞれのＳＰＵ２１２０Ａ〜Ｈは、ローカルＲＡＭ２１３０Ａ〜Ｈを備える、ＲＩＳＣプロセッサである。
【００９６】
要素相互接続バス（ＥＩＢ）２１８０は、セルプロセッサ２０２８の内部の論理的に巡回した通信バスである。ＥＩＢは、上述のプロセッサエレメント、すなわち、ＰＰＥ２１５０、メモリコントローラ２１６０、デュアルバスインタフェース１５７０Ａ、Ｂ、及び８つのＳＰＥ２１１０Ａ〜Ｈの、合計１２の要素を接続する。要素は、クロックサイクルごとに８バイトの速度でバスを同時に読み、及び書き込むことができる。前述したように、それぞれのＳＰＥ２１１０Ａ〜Ｈは、より長いリード又はライトシーケンスをスケジュールするためのＤＭＡＣ２１４２Ａ〜Ｈを備える。ＥＩＢは４つのチャンネルを備え、２つは時計回りで、２つは反時計回りの方向である。１２の要素の間で、任意の２つの要素の間のうち最も長いデータフローは、適切な方向に６ステップとなる。
【００９７】
メモリコントローラ２１６０は、メモリコントローラがＸＤＲＡＭと通信するためのＸＤＲＡＭインタフェース２１２６を備える。デュアルバスインタフェースコントローラ２１７０Ａ、Ｂは、システムインタフェース２１７２Ａ、Ｂを備える。
【００９８】
上述の説明は、例示を意図しており、制限を意図していないことが理解されるべきである。例えば、図面中のフロー図は、本発明の特定の実施の形態により実行される特定の手順の順序を示しているが、このような順序は必要ではない（例えば、別の実施の形態は、特定の手順を結合し、特定の手順を重複させるなど、異なる順序で手順を実行しうる）ことが理解されるべきである。上述の説明を読み、理解した当業者には、多数の別の実施の形態が明らかとなろう。本発明が、いくつかの特定の実施の形態に関して説明されたが、本発明は説明された実施の形態に限られず、添付された特許請求の範囲の精神及び範囲内で変更及び代替が可能であることは、当業者に認識されるところである。本発明の範囲は、特許請求の範囲に与えられる全ての範囲の均等物とともに、特許請求の範囲を参照して決定されるべきである。
【図１】
0005972966.tif 000002
【図２】
0005972966.tif 000003
【図３】
0005972966.tif 000004
【図４】
0005972966.tif 000005
【図５】
0005972966.tif 000006
【図６】
0005972966.tif 000007
【図７Ａ】
0005972966.tif 000008
【図７Ｂ】
0005972966.tif 000009
【図８Ａ】
0005972966.tif 000010
【図８Ｂ】
0005972966.tif 000011
【図９Ａ】
0005972966.tif 000012
【図９Ｂ】
0005972966.tif 000013
【図１０】
0005972966.tif 000014
【図１１】
0005972966.tif 000015
【図１２】
0005972966.tif 000016
【図１３】
0005972966.tif 000017
【図１４】
0005972966.tif 000018
【図１５】
0005972966.tif 000019
【図１６】
0005972966.tif 000020
【図１７】
0005972966.tif 000021
【図１８Ａ】
0005972966.tif 000022
【図１８Ｂ】
0005972966.tif 000023
【図１９】
0005972966.tif 000024
【図２０】
0005972966.tif 000025
【図２１】
0005972966.tif 000026