(57)【特許請求の範囲】
【請求項１】
コンピュータシステム用の制御デバイスとする、ユーザによって持たれる三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法であって、
（ａ）前記三次元オブジェクトの深度データをキャプチャするステップであって、前記三次元オブジェクトを異なる方向に回転させることを要求し、前記三次元オブジェクトを認識するのに充分なキャプチャがなされたときに、ユーザにその旨を通知することを含むステップと、
（ｂ）前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理するステップと、
（ｃ）前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップと、
（ｄ）前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる前記特定のアクションと、前記特定のアクションを認識したときに前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存するステップと、
（ｅ）前記コンピュータシステムによって処理されるインタラクティブなセッションを始動させるステップを更に有し、前記インタラクティブなセッションは、
（ｉ）深度データをキャプチャし、前記深度データを、前記認識オブジェクトデータベースに記憶されている前記幾何学的定義パラメータと比較して分析するステップと、
（ｉｉ）前記インタラクティブなセッション中に前記三次元オブジェクトを使用して、前記分析により特定されるアクションが実行されると、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクションの間の前記相関によって定義されるアクションの始動をトリガするステップと、を有し、
前記コンピュータシステムが、前記深度データを処理して、前記三次元オブジェクトの前記幾何学的パラメータを生成できるようになる複数の角度から、前記三次元オブジェクトの深度データがキャプチャされる請求項１に記載のコンピュータによって実施する、コンピュータによって実施する方法。
【請求項２】
前記相関は、前記三次元オブジェクトを使用して行われる特定のアクションを、前記コンピュータシステムが実行する事前定義された特定のアクションに割り当てることによって定義される請求項１に記載のコンピュータによって実施する方法。
【請求項３】
事前定義された特定のアクションを求めるプロンプトに応えて、前記ユーザに、前記三次元オブジェクトをインタラクティブに動かさせることによって前記相関を定義するステップを有する請求項１に記載のコンピュータによって実施する方法。
【請求項４】
新しい三次元オブジェクトの定義時に、基本的な動きが同じ効果を奏するようなリモート制御用のマクロ相関を作成するステップを有する請求項１に記載のコンピュータによって実施する方法。
【請求項５】
それぞれに制御がカスタマイズされている複数の三次元オブジェクトを前記認識オブジェクトデータベースに保存し、前記三次元オブジェクトをリアルタイムで切り替えるステップを有する請求項１に記載のコンピュータによって実施する方法。
【請求項６】
前記三次元オブジェクトを使用して行われる前記アクションは、前記三次元オブジェクトを動かす、前記三次元オブジェクトを回す、前記三次元オブジェクトを振る、前記三次元オブジェクトをタップする、前記三次元オブジェクトを揺する、前記三次元オブジェクトで指し示す、あるいはこれらの組み合わせを含む請求項１に記載のコンピュータによって実施する方法。
【請求項７】
コンピュータシステム用の制御デバイスとする、ユーザによって持たれる三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法であって、
（ａ）前記三次元オブジェクトを識別するステップであって、前記識別するステップは、
（ｉ）前記三次元オブジェクトの深度データをキャプチャするステップであって、前記三次元オブジェクトを異なる方向に回転させることを要求し、前記三次元オブジェクトを認識するのに充分なキャプチャがなされたときに、ユーザにその旨を通知することを含むステップと、
（ｉｉ）前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理するステップと、
（ｉｉｉ）前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップと、
（ｉｖ）前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる、前記幾何学的定義パラメータとの比較及び深度データの分析により特定される特定のアクションと、前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存するステップと、を有する識別するステップと、
（ｂ）カメラに前記三次元オブジェクトを提示するステップと、
（ｃ）前記コンピュータシステムが実行する前記特定のアクションの１つ以上をトリガするように、前記カメラの前で前記提示した三次元オブジェクトを動かすステップと、
（ｄ）前記コンピュータシステムによって処理されるインタラクティブなセッションを始動させるステップと、を有し、前記インタラクティブなセッションは、前記インタラクティブなセッション中の特定の時点で（ｂ）〜（ｃ）の処理を有し、
前記コンピュータシステムが、前記深度データを処理して、前記三次元オブジェクトの前記幾何学的パラメータを生成できるようになる複数の角度から、１台のカメラである前記カメラによって前記三次元オブジェクトの深度データがキャプチャされる、方法。
【請求項８】
前記（ｄ）のインタラクティブなセッション中に前記方法は、
（ｉ）前記カメラを使用して深度データをキャプチャし、前記深度データを、前記認識オブジェクトデータベースに記憶されている前記幾何学的定義パラメータと比較して分析するステップと、
（ｉｉ）前記インタラクティブなセッション中に、前記三次元オブジェクトを使用してアクションが実行されると、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクションの間の前記相関によって定義されるアクションの始動をトリガするステップと、を有する請求項７に記載のコンピュータによって実施する方法。
【請求項９】
前記相関は、前記三次元オブジェクトを使用して行われる特定のアクションを、前記コンピュータシステムが実行する事前定義された特定のアクションに割り当てることによって定義される請求項７に記載のコンピュータによって実施する方法。
【請求項１０】
事前定義された特定のアクションを求めるプロンプトに応えて、前記ユーザに、前記三次元オブジェクトをインタラクティブに動かさせることによって前記相関を定義するステップを有する請求項７に記載のコンピュータによって実施する方法。
【請求項１１】
新しい三次元オブジェクトの定義時に、基本的な動きが同じ効果を奏するようなリモート制御用のマクロ相関を作成するステップを有する請求項７に記載のコンピュータによって実施する方法。
【請求項１２】
それぞれに制御がカスタマイズされている複数の三次元オブジェクトを前記認識オブジェクトデータベースに保存し、前記三次元オブジェクトをリアルタイムで切り替えるステップを有する請求項７に記載のコンピュータによって実施する方法。
【請求項１３】
前記三次元オブジェクトを使用して行われる前記アクションは、前記三次元オブジェクトを動かす、前記三次元オブジェクトを回す、前記三次元オブジェクトを振る、前記三次元オブジェクトをタップする、前記三次元オブジェクトを揺する、前記三次元オブジェクトで指し示す、あるいはこれらの組み合わせを含む請求項７に記載のコンピュータによって実施する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。
【背景技術】
【０００２】
このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしている。
ゲームプラットホームの例に、ソニープレイステーション、ソニープレイステーション２（ＰＳ２）およびソニープレイステーション３（ＰＳ３）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトルユニットなどの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ゲームの複雑さがプレーヤの興味を引き続けていることから、ゲームおよびハードウェアのメーカは更なるインタラクティブ機能（インタラクティビティ）およびコンピュータプログラムを実現するために革新を続けてきている。処理能力が大幅な進歩を遂げているにも関わらず、コンピュータプログラムまたはインタラクティブゲームとインタラクトする従来の方法は比較的変わっていない。例えば、コンピュータシステムは、未だに、コンピュータマウス、キーボード、場合によっては特製のオブジェクト／デバイスなどの基本的な入力物を必要としている。同様に、コンピュータゲームコンソールは、通常、ゲームおよび／またはコンソールとのインタラクションを可能にするために、何らかのタイプのコントローラを必要とする。しかし、このような入力物は全て、用途が事前に決められて専用に作製されており、特別なボタン、構成、および事前に決められた機能を有する。したがって、従来のインタフェースデバイスを購入して、製造業者が定めた用途に用いる必要がある。
【課題を解決するための手段】
【０００４】
本発明の実施形態は、この状況においてなされたものである。
【０００５】
一実施形態では、コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法が開示される。前記方法の１つの操作は、前記三次元オブジェクトの深度データをキャプチャする。別の操作では、前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記三次元オブジェクトのキャプチャされた深度データが処理される。また、前記方法は、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義するステップも有する。また、前記方法は、前記三次元オブジェクトの前記幾何学的定義パラメータを認識オブジェクトデータベースに保存する操作も有する。別の操作では、前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる前記特定のアクションと、前記特定のアクションを認識したときに前記コンピュータシステムによって実行する特定のアクション間の相関とも、前記認識オブジェクトデータベースに保存される。
【０００６】
別の実施形態では、コンピュータシステム用の制御デバイスとする三次元オブジェクトをインタラクティブにキャプチャして使用するためのコンピュータによって実施する方法が開示される。前記方法は、前記三次元オブジェクトを特定する操作を有する。前記三次元オブジェクトを特定するために、前記三次元オブジェクトの深度データをキャプチャする操作と、前記三次元オブジェクトの幾何学的定義パラメータを生成するために、前記キャプチャした前記三次元オブジェクトの深度データを処理する操作が行われる。また、前記三次元オブジェクトを使用して行われる特定のアクションと前記コンピュータシステムによって実行する特定のアクション間の相関を定義する操作も含まれる。また、前記三次元オブジェクトの前記幾何学的定義パラメータと、前記三次元オブジェクトを使用して行われる特定のアクションと、前記コンピュータシステムによって実行する特定のアクション間の相関とを、認識オブジェクトデータベースに保存する操作も含まれる。また、前記方法は、カメラに前記三次元オブジェクトを提示する操作と、前記コンピュータシステムが実行する前記特定のアクションの１つ以上をトリガするように、前記カメラの前で前記提示した三次元オブジェクトを動かす操作も有する。
【０００７】
更に別の実施形態では、コンピュータシステムとのインタフェース時に、三次元オブジェクトを制御デバイスとして使用するためのシステムも開示される。前記システムは、前記コンピュータシステムとインタフェースされ、三次元空間からデータをキャプチャするように構成されている。また、前記システムには、前記コンピュータシステムにリンクされているストレージも含まれる。また、前記システムは、前記コンピュータシステムに結合されうるディスプレイも備えうる。前記ディスプレイは、オブジェクトの幾何学的パラメータを取得するためのキャプチャセッションの始動が可能となるように構成されうる。また、前記キャプチャセッションは、前記オブジェクトがインタラクティブなセッション中に前記カメラの前で動かされたときに、前記オブジェクトを使用して行われるアクションを割り当てるためにも使用されうる。前記インタラクティブなセッション中に、前記幾何学的パラメータと前記割り当てられたアクションとが、前記コンピュータシステムにリンクされた前記ストレージ内のアクセス用のデータベースに保存されうる。前記割り当てられたアクションが、ユーザが前記カメラの前で前記オブジェクトを持って行った特定の動きに対して前記ユーザによってカスタム定義されうる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態による、コンピュータシステム１０８とインタラクトするための一般的な三次元オブジェクト１０２を、ユーザ１０１が操作している場面１００を示す。
【図２Ａ】本発明の一実施形態による、コンピュータシステム１０８が三次元オブジェクト１０２を認識できるようにするために実行されうる各操作を示す例示的なフローチャートである。
【図２Ｂ】本発明の一実施形態による、コンピュータシステムを制御するために三次元オブジェクトを定義および使用するための手順を示す別の例示的なフローチャートである。
【図３Ａ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｂ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｃ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｄ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｅ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｆ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図３Ｇ】本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。
【図４Ａ】本発明の一実施形態による、さまざまな三次元オブジェクトが認識され、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、各種の仮想デバイスの制御に使用される例である。
【図４Ｂ】本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
【図４Ｃ】本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
【図４Ｄ】本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想デバイスの制御に使用される例である。
【図５Ａ】本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクトの動きを示す。
【図５Ｂ】本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクトの動きを示す。
【図６Ａ】本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
【図６Ｂ】本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
【図６Ｃ】本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
【図６Ｄ】本発明の一実施形態による、さまざまな変形の状態の三次元オブジェクトのキャプチャを示す。
【図７】本発明の一実施形態による、三次元オブジェクトの幾何学的定義パラメータをマップするための操作を示す例示的なフローチャートである。
【図８】本発明の一実施形態による、仮想要素またはコンピュータシステムのグラフィカルユーザインタフェースを制御するためにオブジェクトを構成するための一方法を示す例示的なフローチャートである。
【図９】本発明の一実施形態による、マップおよび構成されたオブジェクトを使用するための操作を示す例示的なフローチャートである。
【図１０】本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション（登録商標）３エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。
【発明を実施するための形態】
【０００９】
本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【００１０】
本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。
【００１１】
日常的なオブジェクトの幾何学的識別データをキャプチャし、コンピュータシステムを制御するために、この日常的なオブジェクトに制御をマップするための発明が開示される。概して、コンピュータシステムは、ユーザから入力を取得するものであれば、汎用コンピュータ（例えば、デスクトップ、ラップトップ、ポータブルデバイス、電話など）、ゲームコンソールのような専用コンピュータを問わず、どのようなタイプのシステムであってもよい。深度データを測定可能なカメラを使用して、アクションと共に、幾何学的データがキャプチャされ、これらが、プログラムの各種制御に相関されうる。一実施形態では、１台のカメラが使用されても、別の実施形態では、さまざまな位置または視点から画像をキャプチャするために複数のカメラが使用されてもよい。相関された制御は、コンピュータシステムによって実行されるプログラムによって定義される仮想オブジェクトの態様を制御するために使用されうる。オブジェクトを使用して行われるアクションと仮想世界の要素の制御間の相関が、キャプチャされたオブジェクトの幾何学的識別データと共に保存されうる。カメラに提示されたオブジェクトを認識するために、カメラによってキャプチャされたリアルタイム画像データが、保存されている幾何学的識別データに対して比較されうる。認識されると、保存された相関が読み出されて、ユーザがオブジェクトを操作して、仮想オブジェクトのさまざまな態様を制御できるようになる。したがって、キャプチャシーケンス、方法、およびシステムは、現実世界のオブジェクトのキャプチャを可能にし、その幾何学的識別データを判別し、現実世界のオブジェクトにさまざまな制御をマッピング可能にすると概して理解すべきである。オブジェクトの認識と、プログラムの制御に相関されたアクションの認識とにより、コンピュータシステムとのユーザインタラクションを向上させることができる。
【００１２】
本明細書に使用される「三次元オブジェクト」とは、接触、保持、移動、画像へのキャプチャ、ビデオへのキャプチャ、そのサイズまたは相対サイズを判別するための他の物との比較、または高さ、幅、長さまたは深度などに基づく識別が可能な物理的または材料的なオブジェクトを含むとする。仮想世界オブジェクトは、広く、画面上に表示可能なコンピュータによって生成された１つ以上の画像を含むとする。画面は、仮想世界オブジェクトを、二次元または三次元のオブジェクトとして提示でき、ユーザのインタラクティビティに基づいて、移動、配置、インタラクトまたは変更されるようにアニメーション表示させることができる。インタラクティビティとしては、三次元オブジェクト、あるいはキーボード、コンピュータマウス、タッチスクリーン、ゲームコントローラ、モーションセンサなどの他のインタフェースデバイスを使用して、ユーザによって提供されるコマンド、音響または可聴音声、およびこれらの組み合わせが挙げられる。以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【００１３】
図１は、本発明の一実施形態による、コンピュータシステム１０８とインタラクトするための一般的な三次元オブジェクト１０２を、ユーザ１０１が操作している場面１００を示す。コンピュータシステム１０８は、ディスプレイ１０６にビデオを出力することができる。一部の実施形態では、ディスプレイ１０６がコンピュータモニタであり、別の実施形態ではディスプレイ１０６がテレビジョンでもよい。場面１００には図示されていないが、コンピュータシステム１０８は音声を出力することもできる。コンピュータシステム１０８にカメラ１０４が関連している。カメラ１０４は、画像とビデオをキャプチャすることができ、これらがコンピュータシステム１０８によって処理されうる。コンピュータシステム１０８はカメラ１０４と無線通信しているように図示されているが、有線接続を使用してもよい。
【００１４】
カメラ１０４は、深度検知ライン１０４ａで示すように、深度データをキャプチャするように構成されうる。一部の実施形態では、カメラ１０４からの深度データがコンピュータシステム１０８に送信されて、コンピュータシステム１０８によって処理される。また、コントローラ１１０からのユーザ入力も、コンピュータシステム１０８に送信される。各種実施形態では、コントローラ１１０は、限定的ではないがブルートゥース、ＷｉＦｉなどの無線プロトコルを使用してユーザ入力を送信する。このため、コンピュータシステム１０８に有線接続しているコントローラが使用されてもよい。下で詳細に説明するように、カメラ１０４からキャプチャされた画像を介して、コンピュータシステム１０８によって認識される一般的な三次元オブジェクト１０２を使用しても、コンピュータシステム１０８にユーザ入力を提供することができる。三次元オブジェクト１０２がＵ字形状であるのは、図示がわかりやすく簡単であることから選んだため、限定するものと解釈すべきではない。「三次元オブジェクト」との用語は、ユーザが持てるものであれば、どのような物理的なオブジェクトも指すものとする。このように、三次元オブジェクト１０２は、コンピュータシステム１０８のインタフェース用に特別に作られたものである必要はなく、ユーザ１０１の自宅にある任意のオブジェクトでもよい。
【００１５】
図２Ａは、本発明の一実施形態による、コンピュータシステム１０８が三次元オブジェクト１０２を認識できるようにするために実行されうる各操作を示す例示的なフローチャートである。このフローチャートには、ユーザの視点からユーザに対して表示される代表的な画像も添付されている。操作２００において、ユーザが、オブジェクトキャプチャ手順を開始するための例示的なグラフィカルユーザインタフェースを操作する。各種のメニューを含む多様なユーザインタフェースを使用して、コンピュータシステムを表示し、これとインタラクトすることができる。別の実施形態では、可聴音コマンド、ジェスチャ、あるいはコントローラまたは事前キャプチャ済みの三次元オブジェクトへのユーザ入力が認識され、操作２００に示すキャプチャプロセスが開始されうる。
【００１６】
操作２０２において、ユーザがカメラに三次元オブジェクト１０２を向ける。説明を簡単にするために、三次元オブジェクト１０２を、ブロック状のＵ字状のオブジェクトとして示す。しかし、三次元オブジェクト１０２は、人が操作でき、カメラが感知可能なものであれば、どのような現実世界のオブジェクトでもよい。代表的な三次元オブジェクトとしては、コーヒーマグ、コップ、本、瓶などのオブジェクトが挙げられる。上に挙げた三次元オブジェクトは例示として挙げたに過ぎず、限定するものとして解釈すべきではない点に留意されたい。
【００１７】
操作２０４において、ユーザが、カメラの前で三次元オブジェクト１０２を回転させるように求められる。図２に示すように、カメラが、三次元オブジェクト１０２を認識するのに必要な像をキャプチャできるように、ユーザは、三次元オブジェクト１０２を異なる方向に回転させるように求められうる。ユーザが三次元オブジェクト１０２を回転させると、カメラとコンピュータシステムは、三次元オブジェクト１０２に関連する幾何学的定義パラメータをキャプチャして、これを処理しうる。別の実施形態では、複数台のカメラが使用され、さまざまな位置に配置された場合、空間のさまざまな角度からの画像マッピングが可能となる。一実施形態では、コンピュータシステムは、カメラから取得した深度データを使用して、三次元オブジェクトの各種幾何学的定義パラメータ同士の比率を測定する。幾何学的定義パラメータには、点、面、遷移面（transitional surface：ＴＳ）、面取りされた角、強調された線などの三次元オブジェクトの認識可能な特徴などがあるが、これらに限定されない。このような実施形態では、認識させようとしている三次元オブジェクトを、キャプチャされた時とは異なる距離でカメラに提示している場合でも、コンピュータシステムが、幾何学的定義パラメータ同士の比率を認識することにより、三次元オブジェクトをより容易に認識可能となる。操作２０６は、コンピュータシステムが定義済みの幾何学的パラメータに基づいて三次元オブジェクト１０２を認識するのに十分な三次元オブジェクト１０２の像が提示された時点で、ユーザにその旨を通知する。
【００１８】
一実施形態では、操作２０６は、コンピュータ生成の三次元オブジェクト１０２のモデルを、コンピュータシステムによってキャプチャされ、モデリングされた状態で表示する。別の実施形態では、操作２０６は、三次元オブジェクト１０２を持っているユーザのリアルタイムのビデオを表示する。操作２０６において、ユーザは、構成を行わずに三次元オブジェクト２０６を保存するか、続いて三次元オブジェクト２０６の構成を行うかを選択することができる。
【００１９】
図２Ａを引き続き参照すると、操作２０８は、ユーザに三次元オブジェクト１０２に関連する幾何学的パラメータを保存するように促す画面の例示的な図である。操作２０８は、三次元オブジェクト１０２の幾何学的パラメータを保存するか、または保存手順をキャンセルするかをユーザが選択可能な例示的な画面である。ユーザが三次元オブジェクトを構成するように選択すると、操作２１０において、ユーザは、事前に設定された構成かカスタム構成かを選択できる。いずれの場合も、三次元オブジェクト１０２を構成することにより、ユーザは、三次元オブジェクト１０２を使用して行う特定のアクションと、コンピュータシステムによって実行される特定のアクション間の相関を定義することができる。一実施形態では、三次元オブジェクト１０２を使用してユーザが実行するアクションにより、ユーザがインタフェースしているコンピュータシステムを制御可能な、事前に構成済みの設定をユーザが選択することができる。例えば、事前に構成済みの設定は、三次元オブジェクトを使用してユーザが実行するアクションを、グラフィカルユーザインタフェースのメニューの操作および選択と相関させうる。別の実施形態では、コンピュータシステムによって実行されているゲームの形態を制御するために、ユーザが三次元オブジェクトをカスタム構成することができ、これについては後述する。
【００２０】
図２Ｂは、本発明の一実施形態による、コンピュータシステムを制御するために三次元オブジェクトを定義および使用するための手順を示す別の例示的なフローチャートである。この手順は、開始操作２２０から開始する。操作２２２において、ユーザは三次元オブジェクトを提示し、三次元オブジェクトの深度データがキャプチャされる。上で説明したように、三次元オブジェクトの深度データをキャプチャするために、１台の深度カメラが使用されても、複数台の深度カメラが使用されてもよい。操作２２４は、キャプチャされた三次元オブジェクトの深度データを処理して、幾何学的定義パラメータを生成する。一実施形態では、深度データを使用して、三次元オブジェクトのワイヤフレームモデルが生成されうる。別の実施形態では、三次元オブジェクトの深度データが処理され、限定的ではないが、長さ、高さおよび幅などの特定の特徴が定義されてもよい。
【００２１】
操作２２６において、ユーザは、三次元オブジェクトを使用して実行するアクションと、コンピュータによって実行する特定のアクション間の相関を定義しうる。三次元オブジェクトを使用して行うアクションとしては、三次元オブジェクトを動かしたり、コンピュータシステムに関連する深度カメラまたは他のセンサが検出可能なように操作することが挙げられる。コンピュータシステムは、三次元オブジェクトを使用してアクションを行っているユーザの画像と深度データのシーケンスをキャプチャして、アクション全体での三次元オブジェクトの相対位置を決定しうる。例えば、一実施形態では、ユーザが、１つの面で三次元オブジェクトを振ったり、複数の面で三次元オブジェクトを振ったりしうる。同様に、別の実施形態では、ユーザが、三次元オブジェクトを持ちながら、現実世界の三次元空間で複雑なジェスチャまたは簡単なジェスチャを行ってもよい。
【００２２】
ユーザは、三次元オブジェクトを使用して行う現実世界の特定のアクションまたはジェスチャを、コンピュータによって実行する仮想世界のアクションに関連または相関させることができる。このため、ユーザが、三次元オブジェクトを持ちながら特定のジェスチャを行うと、コンピュータシステムが特定のタスクを実行するか、特定の命令を実行しうる。一部の実施形態では、三次元オブジェクトを使用して行う現実世界のアクションが、仮想世界のゴルフクラブまたはテニスラケットを振るなどの、特定の仮想世界の動きと関連付けられうる。別の実施形態では、現実世界のアクションが、ユーザインタフェースのメニュー操作に関連付けられうる。
【００２３】
操作２２８は、三次元オブジェクトの幾何学的定義パラメータを、三次元オブジェクトを使用するユーザのアクションとコンピュータによって実行する仮想世界のアクションの相関と共に、データベースに保存する。データベースへの保存を行ったら、コンピュータシステムは、深度データのリアルタイム解析を実行して、データベース内で幾何学的定義パラメータを認識し、ユーザが、対応する現実世界の三次元オブジェクトを持ったかどうかを特定しうる。更に、コンピュータシステムは、ユーザが認識済みの三次元オブジェクトを持って行っているアクションのリアルタイム解析を実行して、ユーザが、仮想世界のアクションまたはコンピュータシステム用のコマンドに相関しているアクションを行ったときを特定する。手順は、終了操作２３０で終了する。
【００２４】
図３Ａ〜３Ｇは、本発明の各種実施形態による、ユーザが、三次元オブジェクト１０２を持ちながら行うさまざまなアクションの現実世界と仮想世界の図を示す。以下の実施形態では、三次元オブジェクト１０２が、各種のゲーム内アクションに関連する特定の機能を実行するように構成されているとする。以下の例は、例示的であり、限定することを意図するものではない。更に、三次元オブジェクトが、複数の異なるゲームの複数の機能を実行するように認識および構成することができる点に留意すべきである。
【００２５】
図３Ａは、本発明の一実施形態による、三次元オブジェクト１０２を、野球バットのように使用するように構成する方法を示す。現実世界（REAL-WORLD）の図では、ユーザ１０１ａが、三次元オブジェクト１０２を持ち、野球バットのように振っている。したがって、図３Ａのゲーム内（IN-GAME）の図に示すように、三次元オブジェクト１０２が現実世界で振られると、ユーザ１０１ａを表わすゲーム内キャラクタ１０１ｂが仮想野球バット３００を振る。一実施形態では、ゲーム内キャラクタ１０１ｂは、現実世界のプロ野球選手のコンピュータ生成キャラクタであり、ユーザ１０１ａが三次元オブジェクト１０２を振ると、仮想野球バット３００を振る。別の実施形態では、ゲーム内キャラクタ１０１ｂは、ユーザが作成したアバターであり、仮想球場に組み込まれて表示される。別の実施形態では、ゲーム内キャラクタ１０１ｂは、コンピュータが生成する現実世界のキャラクタとユーザが作成したアバターを合成したキャラクタであり、三次元オブジェクト１０２を現実世界で振ると、仮想野球バット３００を振る。
【００２６】
図３Ｂは、本発明の一実施形態による、三次元オブジェクト１０２の向きの変化を、仮想世界の光の剣３０２ａ，３０２ｂの異なるアクションに構成する方法を示す。現実世界の図に示すように、ユーザ１０１は三次元オブジェクト１０２ａを第１の向きで持っている。一実施形態では、この第１の向き１０２ａが、図３Ｂのゲーム内の図に示すように、「オフ」状態の仮想世界の光の剣３０２ａに相関される。逆に、現実世界の図に示すように、ユーザ１０１が三次元オブジェクト１０２ｂを第２の向きで持つと、仮想世界の光の剣３０２ｂが、ゲーム内の図に示す「オン」位置になる。このため、ユーザ１０１が三次元オブジェクトを向き１０２ｂに示すように持っている場合、コンピュータは、延びた状態の光の剣を持っているゲーム内キャラクタを表示する。また、三次元オブジェクト１０２ｂを「オン」位置で持っている状態で、カメラとコンピュータシステムは、三次元オブジェクト１０２ｂの移動を認識し、これに応じてゲーム内光の剣３０２ｂを移動させうる。
【００２７】
図３Ｃ〜３Ｇは、本発明の他の実施形態による、三次元オブジェクト１０２を使用して制御可能な別の仮想世界オブジェクトを示す。例えば、図３Ｃでは、三次元オブジェクト１０２が、仮想ゴルフクラブ３０４のスイングの制御に使用されてもよい。同様に、図３Ｄでは、仮想テニスラケット３０６が、ユーザが三次元オブジェクト１０２を振ることで制御されてもよい。図３Ｅでは、三次元オブジェクト１０２が、ユーザが仮想ボウリングボール３０８を制御できるように使用されうる。図３Ｆでは、三次元オブジェクト１０２が、仮想のプールまたはビリヤードのゲームで、仮想キュー３１０の制御に使用されてもよい。三次元オブジェクトの向きの検出が必要となりうる別の例が図３Ｇに示されており、この図では、三次元オブジェクト１０２が、仮想ハンドル３１２の制御に使用される。三次元オブジェクトの向き１０２が、仮想ハンドル３１２が中心位置に戻った時点を決定するために使用され、この場合、仮想の車が実質的に直線方向に走行されうる。したがって、ユーザが持っている三次元オブジェクト１０２の向きを、ほかの仮想世界オブジェクトの制御や、コンピュータシステムのインタフェースの制御にも適用することもできる。
【００２８】
図４Ａ〜４Ｄは、本発明の一実施形態による、三次元オブジェクトの構成とコンピュータシステムによって実行中のソフトウェアとに基づいて、さまざまな三次元オブジェクトが認識され、各種の仮想世界デバイスの制御に使用される例である。図４Ａは、ユーザ１０１の前に三次元オブジェクト１０２，４０２，４０４が置かれている場面４００を示す。この例では、三次元オブジェクト１０２，４０２，４０４は、コンピュータシステムによって既にキャプチャされており、カメラ１０４に提示したときにコンピュータシステムが認識可能である。
【００２９】
図４Ｂにおいて、ユーザ１００が、三次元オブジェクト１０２を取り、コンピュータシステムで実行中のソフトウェアは、この三次元オブジェクトが、野球のバット４０６、ハンドル４０８またはリモコン４１０のいずれを制御するかを決定する。一実施形態では、コンピュータシステムが野球シミュレーションプログラムを実行中の場合、三次元オブジェクト１０２は仮想世界の野球バット４０６として認識され、レンダリングされる。このため、コンピュータシステムは、三次元オブジェクト１０２を持ってユーザ１００が行うバットのスイング動作を認識しようとすることができる。同様に、コンピュータシステムがテニスシミュレーションをシミュレーションするソフトウェアを実行中の場合、ユーザ１００は、現実世界における三次元オブジェクト１０２の動きに基づいて仮想世界のテニスラケット４０８を制御することができる。別の実施形態では、三次元オブジェクト１０２の動きと三次元オブジェクト１０２のインタラクションが、リモコン４１０の機能として構成および認識されうる。これにより、ユーザは、三次元オブジェクト１０２を動かすことで、音量の上げ下げや、チャンネルガイドの呼び出し、チャンネルガイドのページ移動などを行うことができるが、これらに限定されない。
【００３０】
図４Ｃでは、ユーザが三次元オブジェクト４０２を取っている。三次元オブジェクト４０２は、リモコン４１０として使用することができる。あるいは、三次元オブジェクト４０２が、仮想テニスラケット４１２または仮想ボウリングボール４１４の制御に使用されてもよい。同様に、図４Ｄでは、コンピュータシステムで実行中のソフトウェアの種類に応じて、三次元オブジェクト４０４が、仮想野球バット４０６、仮想ゴルフクラブ４１６またはリモコン４１０として認識されうる。コンピュータシステムで実行中のソフトウェアが、三次元オブジェクトに関連する複数の仮想世界相対物を認識することができる一部の実施形態では、コンピュータシステムが、どの仮想世界オブジェクトを制御するかをユーザに選択させてもよい。別の実施形態では、ユーザが三次元オブジェクトを手に取ったときに、コンピュータシステムが三次元オブジェクトを、ユーザ定義のデフォルトの仮想オブジェクトとして自動的に認識する。このため、適切なソフトウェアの実行中に、ユーザは、三次元オブジェクト１０２，４０２，４０４を、それぞれ仮想野球バット、仮想ボウリングボール、および仮想ゴルフクラブに関連付けて構成することができる。このため、オブジェクト１０２を取ると、直ちに、スクリーン上のキャラクタが野球バットを持って表示される。同様に、ユーザが三次元オブジェクト４０２を取ると、スクリーン上のキャラクタが仮想ボウリングボールを持ち、仮想ボウリングボールを制御している。同様に、ユーザが三次元オブジェクト４０４を取ると、スクリーン上のキャラクタによって仮想ゴルフクラブ４１６が制御される。別の実施形態では、各三次元オブジェクト１０２，４０２，４０４が、ファーストパーソンシューティングゲームのキャラクタが使用可能な異なる武器を表わしてもよい。例えば、オブジェクト１０２はナイフに対応し、オブジェクト４０２はピストルに対応し、オブジェクト４０４はアサルトライフルに対応してもよい。現実世界の三次元オブジェクトを物理的に交換することにより、ユーザのインタラクションと、ファーストパーソンシューティングゲームの楽しさを向上させることができる。
【００３１】
図５Ａ，図５Ｂは、本発明の一実施形態による、事前に構成済みのリモート制御操作を実行するための三次元オブジェクト１０２の動きまたは変形を示す。三次元オブジェクト１０２の非変形時と変形時の幾何学的定義パラメータをキャプチャし、基本的なテレビジョン機能にマップした後に、コンピュータシステムは、音量の変更やチャンネルの変更などのテレビジョン機能を制御するために行う三次元オブジェクト１０２の変化を認識しうる。図５Ａに示す実施形態では、Ｙ軸を中心に三次元オブジェクト１０２を回転させると、チャンネルを昇順または降順（図中のchannel+, channel-）に変更することができる。同様に、図５Ｂに示す実施形態では、Ｘ軸を中心に三次元オブジェクトを回転させると音量を上下(図中のvolume+, volume-)させることができる。
【００３２】
図６Ａ〜６Ｄは、本発明の一実施形態による、さまざまな変形状態の三次元オブジェクトのキャプチャを示す。例えば、コンピュータシステムで実行中のソフトウェアの各種態様を制御するために、三次元オブジェクトが捻られたり曲げられうる。一実施形態では、三次元オブジェクトを図６Ａに示す元の形状を捻って図６Ｂの歪んだ形状にすると、テレビの番組表を表示させることができる。同様に、三次元オブジェクトの図６Ｃに示す変形が、コンピュータシステムにテレビ番組表の次ページを表示させることに相関されうる。逆に、三次元オブジェクトを図６Ｄに示すように変形させると、コンピュータシステムにテレビ番組表の前ページを表示させるように指示することができる。
【００３３】
図６Ａ〜６Ｄで使用する変形と対応するアクションは、例示を目的としており、限定であるとみなすべきではない。別の実施形態では、仮想世界の機械、仮想世界のオブジェクトまたはグラフィカルユーザインタフェースの各種態様を制御するために、三次元の機械的なオブジェクトが、さまざまな状態でキャプチャされてもよい。例えば、はさみやホチキスが、開位置と閉位置でキャプチャされうる。一実施形態では、ホチキスまたははさみが閉じているときは、仮想世界のキャラクタが立ち、開いているときはキャラクタが屈んでもよい。あるいは、ステープラまたははさみの開閉により、ゲーム内キャラクタをジャンプさせてもよい。
【００３４】
図７は、本発明の一実施形態による、コンピュータシステムを制御するために使用する三次元オブジェクトの幾何学的定義パラメータをマップするための操作を示す例示的なフローチャートである。操作７００において、ユーザが、オブジェクトキャプチャシステムを始動する。操作７０２において、ユーザは、深度カメラにオブジェクトを提示する。オブジェクトは深度カメラが識別可能などのようなオブジェクトでもよく、オブジェクトは、コンピュータシステムとのインタフェース用に特別に構成されている必要はない。操作７０４において、深度カメラとコンピュータシステムが、複数の視野角から深度データをキャプチャして、幾何学的定義パラメータによってオブジェクトを定義する。一部の実施形態では、幾何学的定義パラメータは、高さ、深度、幅などの寸法に関連してもよい。別の実施形態では、オブジェクトの特定の特徴同士の比率が使用されてもよい。更に別の実施形態では、寸法と特徴の比率との組み合わせが、幾何学的定義パラメータとして使用されてもよい。
【００３５】
操作７０６において、オブジェクトを異なる形または別の形に変形または操作できるかどうかが判定される。一実施形態では、この操作は、オブジェクトが変形可能であるか、または別の構成を有することができるかを示すように、ユーザに促すことによって行われうる。更に別の実施形態では、コンピュータシステムが、変形可能であると認識できる基本的な汎用のオブジェクト形状を有してもよい。例えば、コンピュータシステムは、一般的なはさみまたはホチキスを認識可能であってもよい。このように、ユーザがはさみまたはホチキスを提示すると、コンピュータシステムは、自動的に、歪んだ構成または別の構成の深度データをキャプチャするようにユーザを促す。操作７０８は、操作または変形されたオブジェクトの深度データをキャプチャする。一部の実施形態では、操作７０８が、ユーザに、操作７０４の視野角と同じ複数の視野角から、オブジェクトを、別の形状で深度カメラに提示するように要求してもよい。操作７１０は、オブジェクトの別の形状または操作された形状を含む、オブジェクトに関連する全ての深度データを保存する。
【００３６】
図８は、本発明の一実施形態による、仮想要素またはコンピュータシステムのグラフィカルユーザインタフェースを制御するためにオブジェクトを構成するための一方法を示す例示的なフローチャートである。操作８００は、オブジェクトに関連する保存済みの深度データを呼び出す。一部の実施形態では、呼び出される深度データが、ローカルハードディスクドライブまたはフラッシュメモリなどの、コンピュータシステムに関連するローカルストレージに記憶されている。別の実施形態では、深度データが、ローカルネットワークに記憶されても、更に別の実施形態ではインターネットを介してアクセス可能なリモートストレージに記憶されてもよい。操作８０２は、オブジェクトの動きを、コンピュータシステムによって実行するアクションと関連させる。別の実施形態では、操作８０２が、オブジェクトを振る、揺する、変形させるなど、オブジェクトを使用して行うアクションを、コンピュータシステムが実行するアクションに関連させてもよい。操作８０４では、関連させた動きおよびアクションを、オブジェクトに関連する深度データと共に保存する。関連させた動きおよびアクションが、ハードディスクドライブまたは他の不揮発性メモリなどのローカルストレージ要素に保存されうる。別の実施形態では、関連させた動きおよびアクションが、インターネットを介してネットワークストレージにアップロードされ、友人との間で公に共有されてもよい。
【００３７】
図９は、本発明の一実施形態による、マップおよび構成されたオブジェクトを使用するための操作を示す例示的なフローチャートである。操作９００において、ユーザが、オブジェクトを認識させるために深度カメラに提示する。操作９０２において、コンピュータシステムは、深度カメラデータのリアルタイム解析を実行し、記憶されている幾何学的パラメータからオブジェクトを認識する。また、操作９０２は、オブジェクトに関連する深度データと共に保存されている関連する動きおよびアクションも読み出す。操作９０４において、カメラとコンピュータシステムは、オブジェクトを操作し動かしているユーザのリアルタイム画像処理を実行して、オブジェクトを使用するアクションが認識されると、所期のアクションを実行する。ユーザが複数のオブジェクトをマップおよび構成させることも可能であり、コンピュータシステムは、深度カメラに別のオブジェクトが提示されると、構成を認識して構成同士を切り替えることができる。更に、１つのオブジェクトが複数の構成を有することもあり、認識時にはデフォルトの構成が読み込まれる。一実施形態では、ユーザが、別の構成を選択的に読み込ませることができる。別の実施形態では、１つのオブジェクトに対して複数の構成が存在する場合、ユーザに対して、デフォルトの構成の読み込みの確認を求められてもよい。
【００３８】
図１０は、本発明の一実施形態による、ユーザ定義コントローラを作成するために動的三次元オブジェクトマッピングを使用可能なコンピュータシステムである、ソニー（登録商標）プレイステーション（登録商標）３エンターテイメントデバイスの全体的なシステムアーキテクチャを模式的に示す。システムユニット１０００は、システムユニット１０００に接続可能なさまざまな周辺機器を備える。システムユニット１０００は、Cellプロセッサ１０２８、Rambus（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１０２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１０３２を有するReality Synthesizerグラフィックユニット１０３０、およびＩ／Ｏブリッジ１０３４を備える。また、システムユニット１０００は、Ｉ／Ｏブリッジ１０３４を介してアクセス可能な、ディスク１０４０ａおよび着脱可能なスロットインハードディスクドライブ（ＨＤＤ）１０３６から読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ１０４０も備える。任意選択で、システムユニット１０００は、同様にＩ／Ｏブリッジ１０３４を介してアクセス可能な、コンパクトフラッシュ（登録商標）メモリカード、メモリースティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ１０３８も備える。
【００３９】
また、Ｉ／Ｏブリッジ１０３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１０２４、ギガビットイーサネット（登録商標）ポート１０２２、ＩＥＥＥ  ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート１０２０、および最大７つのブルートゥース接続に対応可能なブルートゥース（登録商標）無線リンクポート１０１８にも接続している。
【００４０】
動作時に、Ｉ／Ｏブリッジ１０３４は、１つ以上のゲームコントローラ１００２からのデータを含む、全ての無線、ＵＳＢ、およびイーサネット（登録商標）のデータを処理する。例えば、ユーザがゲームをプレイ中に、Ｉ／Ｏブリッジ１０３４はブルートゥースリンクを介してゲームコントローラ１００２からデータを受信して、これをＣｅｌｌプロセッサ１０２８に転送し、Ｃｅｌｌプロセッサ１０２８が適宜ゲームの現在の状態を更新する。
【００４１】
また、無線、ＵＳＢ、およびイーサネット（登録商標）の各ポートを介して、ゲームコントローラ１００２のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン１００４、キーボード１００６、マウス１００８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス１０１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ１０１２などのビデオカメラ、マイクロフォンヘッドセット１０１４などがある。このため、これらの周辺機器は、原則としてシステムユニット１０００に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス１０１０はＷｉ−Ｆｉアドホック接続を介して通信し、マイクロフォンヘッドセット１０１４はブルートゥースリンクを介して通信しうる。
【００４２】
これらのインタフェースを提供することにより、プレイステーション３デバイスは、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、VoIP電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。
【００４３】
更に、ＵＳＢポート１０２４を介して旧式メモリカードリーダ１０１６をシステムユニットに接続することができ、プレイステーション（登録商標）デバイスまたはプレイステーション２（登録商標）で用いられていたタイプのメモリカード１０４８の読み出しが可能となる。
【００４４】
本実施形態では、ゲームコントローラ１００２は、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ１００２が、ＵＳＢポートに接続されてもよく、これにより、ゲームコントローラ１００２のバッテリに充電するための電力も供給する。ゲームコントローラは、１つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する６自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報（例えば制御命令またはライブの数）が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルおよびペダル（図示せず）、あるいは、即答クイズゲームのための１つまたは複数の大型のボタン（これも図示なし）などの特注品のコントローラなどがある。
【００４５】
また、リモコン１００４も、ブルートゥースリンクを介してシステムユニット１０００と無線通信するように動作可能である。リモコン１００４は、ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０の操作、およびディスクの内容の閲覧のために適した制御を備える。
【００４６】
ブルーレイディスクＢＤ−ＲＯＭリーダ１０４０は、従来の記録済みＣＤ、記録可能ＣＤ、およびいわゆるスーパーオーディオＣＤのほか、プレイステーションデバイスおよびプレイステーション２デバイスと互換のＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ１０４０は、従来の記録済みＤＶＤおよび記録可能ＤＶＤのほか、プレイステーション２デバイスおよびプレイステーション３デバイスと互換のＤＶＤ−ＲＯＭを読み出すように動作可能である。更に、リーダ１０４０は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション３デバイスと互換のＢＤ−ＲＯＭを読み出すように動作可能である。
【００４７】
システムユニット１０００は、Reality Synthesizerグラフィックユニット１０３０を介して、プレイステーション３デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ１０４４および１つ以上のスピーカ１０４６を備えた表示および音声出力装置１０４２（モニタまたはテレビ受像機など）に提供するように動作可能である。音声コネクタ１０５０は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ１０５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、および１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ）の出力などを種々備えうる。したがって、ビデオ出力は、ＰＡＬまたはＮＴＳＣ、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐの高解像度などのフォーマットであってもよい。
【００４８】
音声処理（生成、デコードなど）はCellプロセッサ１０２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイディスクからの７．１サラウンドサウンドのデコードに対応している。
【００４９】
本実施形態では、ビデオカメラ１０１２は、１つの電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット１０００によるデコードのために、イントラ画像ベースのＭＰＥＧ（motion picture expert group）標準などの適切なフォーマットで送信されるようになる。カメラのＬＥＤインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット１０００から受け取ると、発光するように配置されている。ビデオカメラ１０１２の実施形態は、ＵＳＢ、ブルートゥースまたはＷｉ−Ｆｉの通信ポートを介して、システムユニット１０００にさまざまな方法で接続しうる。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。
【００５０】
一般に、システムユニット１０００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。
【００５１】
実施形態には、現実世界のユーザをより正確に特定し、アバターまたはシーンのアクティビティを案内するために深度データをキャプチャが含まれてもよい。オブジェクトは、人物が保持しているオブジェクトであっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【００５２】
三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、第３の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。
【００５３】
更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。
【００５４】
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
【００５５】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【００５６】
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースのプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
【００５７】
また、本発明は、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、電磁搬送波（electromagnetic wave carrier:EWC）を含め、コンピュータシステムによって後から読み取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【００５８】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【図１】
0005416714.tif 000002
【図２Ａ】
0005416714.tif 000003
【図２Ｂ】
0005416714.tif 000004
【図３Ａ】
0005416714.tif 000005
【図３Ｂ】
0005416714.tif 000006
【図３Ｃ】
0005416714.tif 000007
【図３Ｄ】
0005416714.tif 000008
【図３Ｅ】
0005416714.tif 000009
【図３Ｆ】
0005416714.tif 000010
【図３Ｇ】
0005416714.tif 000011
【図４Ａ】
0005416714.tif 000012
【図４Ｂ】
0005416714.tif 000013
【図４Ｃ】
0005416714.tif 000014
【図４Ｄ】
0005416714.tif 000015
【図５Ａ】
0005416714.tif 000016
【図５Ｂ】
0005416714.tif 000017
【図６Ａ】
0005416714.tif 000018
【図６Ｂ】
0005416714.tif 000019
【図６Ｃ】
0005416714.tif 000020
【図６Ｄ】
0005416714.tif 000021
【図７】
0005416714.tif 000022
【図８】
0005416714.tif 000023
【図９】
0005416714.tif 000024
【図１０】
0005416714.tif 000025