(57)【要約】コンピュータプログラムとのインタフェース時に方向を検出するための方法が提供される。この方法は、画像キャプチャ装置の前に提示される画像をキャプチャするステップを有する。キャプチャ装置は、座標空間のキャプチャ位置を有する。前記方法は、前記画像中に人物がキャプチャされた場合に、前記画像内で人の頭部を識別し、前記人の頭部に、前記座標空間の頭部位置を割り当てるステップを有する。また、前記方法は、前記画像内で、前記人物が保持しているオブジェクトを識別し、前記オブジェクトに、前記座標空間のオブジェクト位置を割り当てるステップも有する。前記方法は、前記キャプチャ位置からみた、前記頭部位置と前記オブジェクト位置間の座標空間での相対位置を特定するステップと、を更に有する。前記相対位置は、前記画像キャプチャ装置からみた、前記オブジェクトの照準方向を定義している。前記方法は、ゲーム分野で使用されるようなコンピュータシステム上で実行することができる。
2009519105.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータプログラムとのインタフェース時に方向を検出するための方法であって、
（ａ）画像キャプチャ装置の前に提示される画像をキャプチャするステップを有し、前記画像キャプチャ装置は、座標空間内にキャプチャ位置を設定するものであり、
前記画像中に人物がキャプチャされた場合に、
（ｂ）前記画像内で人の頭部を識別し、前記人の頭部に、前記座標空間の頭部位置を割り当てるステップを有し、
（ｃ）前記画像内で、前記人物が保持しているオブジェクトを識別し、前記オブジェクトに、前記座標空間のオブジェクト位置を割り当てるステップを有し、
（ｄ）前記キャプチャ位置からみた、前記頭部位置と前記オブジェクト位置間の座標空間での相対位置を特定するステップを有し、前記相対位置は、前記画像キャプチャ装置からみた、前記オブジェクトの照準方向を定義するものである、方法。
【請求項２】
前記相対位置は、前記キャプチャ位置に対する、前記頭部位置と前記オブジェクト位置間の方位角および高度角を計算することによって識別される、請求項１に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項３】
前記キャプチャ位置は、ディスプレイ画面に近い位置にあり、前記ディスプレイ画面はインタラクティブなグラフィックを表現することが可能である、請求項１に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項４】
前記照準方向は前記ディスプレイ画面のほうである、請求項３に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項５】
前記照準方向を更新するためにステップ（ａ）〜（ｄ）を連続して繰り返すステップと、
前記連続して更新された照準方向を前記ディスプレイ画面に表示するステップと、
を更に有する、請求項３に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項６】
前記表示された照準方向を使用して、特定のインタラクティブなグラフィックを選択できるようにするステップを更に有する、請求項５に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項７】
前記選択は、検出されたトリガイベントに応えて行われる、請求項６に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項８】
前記検出されたトリガイベントは前記画像内で識別され、前記識別には、
第１の時点で、前記人物が保持している前記オブジェクトの第１の特性を識別するステップと、
第２の時点で、前記人物が保持している前記オブジェクトの第２の特性を識別するステップと、を有し、
前記第１の時点と前記第２の時点の間に、第１の特性と前記第２の特性間にある程度の差があると決定されると、前記トリガイベントが起動される、請求項７に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項９】
前記トリガイベントの起動は、前記インタラクティブなグラフィックとのインタラクティビティを示している、請求項８に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１０】
前記インタラクティビティには、グラフィックの選択、グラフィックへの発砲、グラフィックへの接触、グラフィックの移動、グラフィックのアクティブ化、グラフィックのトリガ、およびグラフィックへの操作またはグラフィックとの操作の１つ以上が含まれうる、請求項９に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１１】
前記人の頭部の識別は、顔検出コードと組み合わせたテンプレートマッチングを使用して処理される、請求項１に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１２】
前記人物が保持している前記オブジェクトの識別は、前記オブジェクトの一部分の色のトラッキングによって容易に行うことができる、請求項１に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１３】
色のトラッキングには、色の違いの識別と、色のオン／オフ動作の状態の識別とのいずれか、またはこれらの組合せが含まれる、請求項１２に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１４】
前記人物が保持している前記オブジェクトの識別は、（ａ）〜（ｄ）の繰り返し時に、前記オブジェクトの位置の変化の特定によって容易に行うことができる、請求項５に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１５】
前記コンピュータプログラムはビデオゲームである、請求項に記載のコンピュータプログラムとのインタフェース時に方向を検出するための方法。
【請求項１６】
コンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法であって、
（ａ）画像キャプチャ装置の前に提示される画像をキャプチャするステップを有し、前記画像キャプチャ装置は、前記ディスプレイ画面の近傍に座標空間のキャプチャ位置を設定するものであり、
前記画像中に人物がキャプチャされた場合に、
（ｂ）前記画像内で前記人物の第１の体の部分を識別し、前記第１の体の部分に、前記座標空間の第１の位置を割り当てるステップを有し、
（ｃ）前記画像内で前記人物の第２の体の部分を識別し、前記第２の体の部分に、前記座標空間の第２の位置を割り当てるステップを有し、
（ｄ）前記キャプチャ位置からみた、座標空間での前記第１の位置と前記第２の位置間の相対位置を特定するステップを有し、前記相対位置は、前記ディスプレイ画面の近くの前記キャプチャ位置において、前記画像キャプチャ装置からみた、前記第２の体の部分の照準方向を定義している方法。
【請求項１７】
前記第１の部位は人の頭部であり、前記第２の部位は人の手である、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項１８】
前記コンピュータプログラムの実行中に連続して（ａ）〜（ｄ）が繰り返され、
前記（ａ）〜（ｄ）の繰り返し中に、特定の形の変化を決定するために前記人の手の形を検査する、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項１９】
特定の形の変化が前記コンピュータプログラムのインタラクティブなグラフィックとのインタラクティビティを起動する、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２０】
前記インタラクティビティには、グラフィックの選択、グラフィックへの発砲、グラフィックへの接触、グラフィックの移動、グラフィックのアクティブ化、グラフィックのトリガ、およびグラフィックへの操作またはグラフィックとの操作の１つ以上が含まれうる、請求項１９に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２１】
前記第２の体の部分は、前記人の手が保持するオブジェクトによって識別される、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２２】
前記オブジェクトは色を有する、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２３】
前記色は、前記コンピュータプログラムのインタラクティブなグラフィックとのインタラクティビティを起動するために状態を切り替えることができる、請求項２２に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２４】
前記オブジェクトに更に色が存在し、前記色は、前記コンピュータプログラムのインタラクティブなグラフィックとのインタラクティビティを起動するために状態を切り替えられる、請求項２３に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２５】
前記色は、前記コンピュータプログラムのインタラクティブなグラフィックとのインタラクティビティを起動するためにオン／オフ状態から切り替えることができる、請求項２２に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２６】
前記コンピュータプログラムはビデオゲームである、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【請求項２７】
前記相対位置は、前記キャプチャ位置に対する、前記頭部位置と前記オブジェクト位置間の方位角および高度角を計算することによって識別される、請求項１６に記載のコンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲーム開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。
【背景技術】
【０００２】
ゲームプラットホームの例に、ソニープレイステーションまたはソニープレイステーション２（ＰＳ２）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。
【０００３】
ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ゲームが複合的なものであることがプレーヤの興味を引き続けていることから、ゲームのソフトウェアおよびハードウェアのメーカは更なるインタラクティブ機能（インタラクティビティ）を実現するために革新を続けてきている。しかし、実際は、ユーザがゲームとインタラクトする手法は、長年にわたって劇的には変わることはなかった。一般に、ユーザは、未だに、手持ち式のコントローラを使用してコンピュータゲームをプレイしたり、マウスポインティングデバイスを使用してプログラムとのインタラクションを行っている。
【０００５】
前述を鑑みて、ゲームのプレイとのより高度なユーザインタラクティビティを可能にする方法およびシステムが求められている。
【課題を解決するための手段】
【０００６】
概して、本発明は、コンピュータプログラムとのインタラクティビティを容易にする装置および方法を提供することによって、これらのニーズを満たす。一実施形態では、上記コンピュータプログラムはゲームプログラムである。しかし、限定ではないが、上記装置および方法は、ユーザがインタラクトする必要があるどのような家電機器にも利用可能である。本発明により、インタフェースのポイント（照準）に基づき、かつユーザの制御下でのトリガキューおよび手またはオブジェクトの位置決定を含むファクタに基づいてコマンドを識別することによって、機械認識可能なジェスチャによるユーザのインタラクションの体験を簡単にすることができる。
【０００７】
一実施形態では、コンピュータプログラムとのインタフェース時に方向を検出するための方法が記載される。前記方法は、画像キャプチャ装置の前に提示される画像をキャプチャするステップを有する。前記キャプチャ装置は、座標空間のキャプチャ位置を有する。前記方法は、前記画像中に人物がキャプチャされた場合に、前記画像内で人の頭部を識別し、前記人の頭部に、前記座標空間の頭部位置を割り当てるステップを有する。また、前記方法は、前記画像内で、前記人物が保持しているオブジェクトを識別し、前記オブジェクトに、前記座標空間のオブジェクト位置を割り当てるステップも有する。前記方法は、前記キャプチャ位置からみた、前記頭部位置と前記オブジェクト位置間の座標空間での相対位置を特定するステップと、を更に有する。前記相対位置は、前記画像キャプチャ装置からみた、前記オブジェクトの照準方向を定義している。
【０００８】
別の方法では、コンピュータプログラムのグラフィックを表現することができるディスプレイ画面に向いたオブジェクトの照準方向を検出するための方法が提供される。この方法は、画像キャプチャ装置の前に提示される画像をキャプチャするステップを有する。前記画像キャプチャ装置は、前記ディスプレイ画面の近くに、座標空間のキャプチャ位置を有する。前記方法は、前記画像中に人物がキャプチャされた場合に、前記画像内で前記人物の第１の体の部分を識別し、前記第１の体の部分に、前記座標空間の第１の位置を割り当てるステップを有する。次に、前記方法は、前記画像内で前記人物の第２の体の部分を識別し、前記第２の体の部分に、前記座標空間の第２の位置を割り当てるステップを有する。前記第１の体の部分と前記第２の体の部分が識別されると、前記方法は、前記キャプチャ位置からみた、座標空間での前記第１の位置と前記第２の位置間の相対位置を特定するステップに移る。前記相対位置は、前記ディスプレイ画面の近くの前記キャプチャ位置において、前記画像キャプチャ装置からみた、前記第２の体の部分の照準方向を定義している
【０００９】
一実施形態では、コンピュータプログラムとのインタラクティビティ中に画像および音をキャプチャする装置が提供される。この装置は、１つ以上の画像フレームをキャプチャするように構成された画像キャプチャユニットを有する。人物の頭部と人物の手を識別するために、これらの画像フレームが解析される。前記装置は、手と頭部の相対位置に基づいて照準方向を確認することができ、この照準方向が、ディスプレイ画面上の照準位置として変換されうる。
【００１０】
本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。
【００１１】
本発明とその更なる利点とは、添付の図面を参照して以下の記載をよめば、よりよく理解できるであろう。
【発明を実施するための最良の形態】
【００１２】
以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施し得ることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。
【００１３】
図１Ａは、本発明の一実施形態によるインタラクティブ（対話型）ゲーム構成１００を示す。インタラクティブゲーム構成１００は、コンピュータ１０２を有し、これは、ディスプレイ画面１１０と接続されうる。ディスプレイ画面１１０の上には画像キャプチャ装置１０５が置かれ、コンピュータ１０２と接続されている。一実施形態では、コンピュータ１０２は、ユーザが、コントローラ１０８によってゲームをプレイしたり、ビデオゲームとインタフェースすることができるゲームシステムのコンソールである。画像キャプチャ装置１０５は、ディスプレイ画面１１０の上に置かれて示されているが、画像キャプチャ装置１０５が、ディスプレイ画面１１０のほぼ前方にある画像をキャプチャできれば、ほかに近い位置に置かれていてもよいことが理解されよう。これらの移動およびインタラクションをキャプチャするための技術は変更し得るが、例示的な技術は、それぞれ２００３年２月２１日に出願された英国特許出願第０３０４０２４．３号明細書（ＰＣＴ／ＧＢ２００４／０００６９３号）および英国特許出願第０３０４０２２．７号明細書（ＰＣＴ／ＧＢ２００４／０００７０３号）に記載されている。
【００１４】
具体例としては、ゲームコンソールは、ソニーコンピュータエンターテインメント社、任天堂、マイクロソフト社または他の任意のメーカによって製造されたものなどがあるが、任意のブランドに限定されない。画像キャプチャ装置１０５は、標準的なウェブカムのように単純なものであっても、あるいは高度な技術を備えたものであってもよい。一実施形態では、画像キャプチャ装置は、画像をキャプチャし、この画像をデジタル化して、画像データをコンピュータ１０２に送信することができる。一部の実施形態では、デジタル化を実行するための論理回路が、画像キャプチャ装置の内部に組み込まれていてもよく、別の実施形態では、画像キャプチャ装置１０５は、デジタル化のために、キャプチャしたデータを単にコンピュータ１０２に戻してもよい。いずれの場合も、画像キャプチャ装置１０５は、画像キャプチャ装置１０５の前方にある任意のオブジェクトの、カラー画像または白黒画像をキャプチャすることができる。
【００１５】
図１Ｂは、コンピュータ１０２が、画像キャプチャ装置１０５の前方にあるオブジェクトの照準方向を確認するために、画像キャプチャ装置１０５によって提供される画像データを処理する、本発明の例示的な実施形態を示している。図に示すように、コンピュータ１０２は、画像キャプチャ装置１０５に接続されている。画像キャプチャ装置１０５は、キャプチャ領域１０５ａに焦点を合わせるように設計されている。この例では、人物１１２が、コンピュータ１０２によって実行中のコンピュータプログラムとインタラクト（対話処理）しようとしている。この例では、コンピュータプログラムは、ディスプレイ画面１１０によって表現され表示されるビデオゲームである。
【００１６】
例えば、ビデオゲームは、標的シューティングゲームであり、人物１１２は標的を狙い、その人物の能力に相当する点数を稼ごうとしているが、これは例示に過ぎない。ディスプレイ画面１１０に示されるように、ゲームのプレイ中に、人物１１２の画像１１２’が、ディスプレイ画面１１０にも表示されうる。別の実施形態では、制御されている特定の装置やプレイ中のゲームによっては、ディスプレイ画面に人物の画像１１２’が表示されないこともある。この例では、ゲームプレイ中に、現実により近づけるために、標的を撃つ間に人物１１２の画像１１２’を表示することによって、ユーザの体験を改善することができる。この標的シューティングゲームの特徴は、人物１１２が、オブジェクト１２４をディスプレイ画面１１０上の特定のインタラクティブなグラフィックのほうに向けるかポイントすることができることにある。
【００１７】
人物１１２は、オブジェクト１２４（この場合の例では銃である）の照準方向を正確に定めるために、オブジェクト１２４を手１２２で保持している。手１２２は、ディスプレイ画面１１０の方向に向けられる。画像キャプチャ装置１０５は、この時点で、人物１１２のデジタル画像のキャプチャを分析して、人物の１１２の頭部１２０の位置と、人物の１１２の手１２２の位置を決定する。図に示すように、人物１１２の手は体の前で伸ばされており、画像キャプチャ装置は、キャプチャされたデジタル画像を解析してオブジェクト１２４を特定する。キャプチャされたデジタル画像は、コンピュータ１０２で実行されているコードによっても解析され、人物の１１２の頭部１２０の位置が確認される。一実施形態では、頭部のトラッキングは、顔検出コードと併用したテンプレートマッチングの組合せによって完了させる（速度性能のため）。顔検出コードは、本質的には、ユーザの目やその他の顔の特徴の位置を特定することによって、ユーザの顔の位置を特定する。頭部および顔の検出に関する更に詳しい情報については、２００３年９月１５日出願の同時係属中の米国特許出願第１０／６６３,２３６号明細書「トラッキングされた頭部の移動によって表示中のシーンのビューを調整するための方法および装置（METHOD AND APPARATUS FOR ADJUSTING VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION）」を参照されたい。
【００１８】
一実施形態では、オブジェクト１２４は、キャプチャされたデジタル画像を分析するプログラムが、オブジェクト１２４の位置を容易に特定できるように、オブジェクトに結び付けられた色または光などの識別体（発光ダイオード（ＬＥＤ）等）を有する。コンピュータプログラムが、人物の頭部１２０（Ｈ）の位置と、人物の手１２２（ｈ）の位置を特定すると、コンピュータプログラムは、計算を実行して、画像キャプチャ装置の位置からみた、検出されたオブジェクト１２４と頭部１２０の間の相対角度を決定する。
【００１９】
図１Ｂに示すように、オブジェクト１２４と頭部１２０の相対位置は、画像キャプチャ装置１０５に対して計算される。これにより、２つの角度パラメータ（シータΘとファイΦ）が得られる。方位角Θは、Ｘ軸上の、頭部１２０とオブジェクト１２４間の水平の位置関係を定義している。角度φから、頭部１２０の高さと手１２２の高さの間の相対角度である高度角が得られる。一実施形態では、ディスプレイ画面１１０上のオブジェクトの照準位置の較正がゲームの操作により開始される前に、初期の較正操作を実行することができる。例えば、ユーザに、ディスプレイ画面１１０の特定の位置にオブジェクト１２４を向けさせることによって、ユーザに対して、照準アルゴリズムの較正を促すことができる。較正が完了すると、画像キャプチャ装置１０５によってキャプチャされている連続する各フレームについて、コンピュータ１０２が、人物の頭部１２０と人物の手１２２の相対位置を定義する方位角と高度角（ΘとΦ）を計算可能となる。頭部と手の相対位置の決定は、要求される照準操作の精度に応じて、キャプチャした各フレームごとに計算されても、一フレームおきにキャプチャされても、あるいは、多くのフレームをキャプチャした後に計算されてもよい。例えば、ゲームが射撃場ゲームの場合には、人物１１２がビデオゲームの競争で高いスコアを確実に稼ごうとしている場合に、正確に照準を定めて引金を引けるように、頭部１２０と手１２２の相対位置をフレームごとに計算することが重要となりうる。
【００２０】
図２は、本発明の一実施形態による、ディスプレイ画面１１０の前にいる人物１１２の上面図を示す。この例では、初期方位角（Θ１）は、手１２２（オブジェクト１２４を保持している）の位置と頭部１２０の相対角度として決定される。人物１１２は、コンピュータプログラムとのインタラクティブなプレイ中に、ディスプレイ画面１１０と向き合っており、おそらく、体をディスプレイ画面１１０とほぼ平行にしている。人物１１２が、体をディスプレイ画面１１０とほぼ平行にしているときに、手１２２を方向１２３のほうに移動すると、方位角が再計算され、新しい方位角Θ２が求められる。
【００２１】
この例では、人物１１２は、オブジェクト１２４を、ほぼ腕の長さだけ伸ばして体の前に保持している。この距離は、画像キャプチャ装置１０５が、手１２２および関連するオブジェクト１２４の位置をキャプチャしようとするおおよその場所の位置を定義する概算腕長検出（ＡＬＤ：approximate arm’s length detect）である。
【００２２】
概算腕長検出（ＡＬＤ）は、ユーザの腕の長さによって変わりうるが、一般に、頭部１２０と手１２２の位置間の距離関係を与えるように提供されなければならない。例えば、ディスプレイ画面１１０の別の位置をポイントするために、人物の体の前に、少なくともわずかでも、手１２２の突出部分（projection）がなければならない。
【００２３】
図３は人物１１２の正面図を示しており、キャプチャされたデジタル画像から、頭部１２０が識別され、手１２２が識別される。この例では、破線は、ディスプレイ画面１１０と、人物１１２の方向に向けられている画像キャプチャ装置１０５を示している。この例では、画像キャプチャ装置１０５は座標空間（０，０，０）にあり、この点は、画像キャプチャ装置１０５の基準点であり、座標空間でのその位置を示している。頭部１２０の概算位置も、関連する座標空間（ｘＨ，ｙＨ，ｚＨ）を有する。同様に、手１２２と、手１２２が保持している関連するオブジェクト１２４も、画像キャプチャ装置１０５に対しての座標空間（ｘｈ，ｙｈ，ｚｈ）を有する。
【００２４】
図４は、オブジェクト１２４をディスプレイ画面１１０に向けている人物１１２を示す。この例では、頭部１２０の座標空間が、キャプチャ装置１０５によってキャプチャされるデジタル画像内で識別される。人物１１２がディスプレイ画面１１０をポイントしている場合、手１２２の座標空間の位置も、画像キャプチャ装置１０５によってキャプチャされるデジタル画像内でキャプチャされる。画像キャプチャ装置１０５は、基準点であり、座標空間（０，０，０）にある。このため、高度角Φは、手１２２の位置に対する頭部１２０の位置で計算される。一例では、この角度は以下のように計算される。
【００２５】
高度角＝ａｒｃｔａｎ（（ｙｈ−ｙＨ）／（ｚｈ−ｚＨ））
【００２６】
同様に、図２の方位角Θは以下のように計算される。
方位角＝ａｒｃｔａｎ（（ｘｈ−ｘＨ）／（ｚｈ−ｚＨ））
【００２７】
図４に示すように、ユーザが手を下に降ろす（例えば、後のフレームにキャプチャされる）と、人物１１２の手１２２と頭部１２０の新しい相対位置を定義する新しい角度Φ２が求められる。この頭部と手の新しい相対位置に基づいて、コンピュータ１０２は、ディスプレイ画面上の照準方向を再度変更する。
【００２８】
図５Ａは、オブジェクト１２４が銃である実施形態を示す。この銃は、ディスプレイ画面１１０に向けて、ディスプレイ画面１１０上の特定のオブジェクトを撃つか、またはこのオブジェクトとのインタラクションを行うように構成された単純な銃のオブジェクトであってよい。この例では、銃１２４は、検出領域１２４ａを有する。検出領域１２４ａは、ディスプレイ画面１１０の方向に向けられている領域である。また、検出領域１２４ａは、コンピュータ１０２がデジタル画像を解析するために、画像キャプチャ装置１０５によってキャプチャされる領域でもある。一実施形態では、検出領域１２４ａは、コンピュータ１０２によって実行され、ディスプレイ画面１１０に表示されているコンピュータプログラムとのインタラクティビティを補助する照明オブジェクトの組を備えるように構成されている。この例では、検出領域１２４ａに存在する光または色のオブジェクトとして、トラッキングインジケータ１３０が設けられている。画像キャプチャ装置１０５は、トラッキングインジケータ１３０に基づいてデジタル画像を生成し、この画像が、コンピュータ１０２によって解析されて、オブジェクト１２４の座標空間での位置が特定される。この例では、トラッキングインジケータ１３０を設けることによって、コンピュータ１０２で実行されているコンピュータプログラムが、コンピュータプログラムとのインタラクションを行っている人物の頭部１２０に対する、オブジェクト１２４の位置を迅速に特定することができる。
【００２９】
トラッキングインジケータ１３０は、多数の形態によって提供することができる。一形態では、キャプチャされたデジタル画像を解析するコンピュータプログラムがトラッキングできる光インジケータであっても、キャプチャされたデジタル画像からコンピュータが迅速に特定することができる色インジケータの形をとってもよい。手そのものが、トラッキングインジケータ１３０であってもよい。更に別の実施形態では、トレーシングインジケータ１３０は、画像キャプチャ装置１０５に提示される際に提示される角度に応じて、色または強さが変わる反射テープとして設けられてもよい。この例では、ユーザがディスプレイ画面１１０上で別の領域を指すように手１２２を動かすと、オブジェクト１０４がトラッキングされる。
【００３０】
一実施形態では、ユーザが頭部１２０に対して手１２２を動かしている間に、トラッキングインジケータ１３０によって、コンピュータプログラムは、ディスプレイ画面１１０上に視覚インジケータを提供することができる。ディスプレイ画面１１０上のこの視覚インジケータによって、ユーザは、オブジェクトが、現在、ディスプレイ画面１１０のどこをポイントしているのかを認識できるようになる。
【００３１】
別の実施形態では、検出領域１２４ａはトリガインジケータ１３２も備える。トリガインジケータ１３２は、ユーザがオブジェクト１２４のトリガを引くと、ＯＮ、ＯＦＦとなる光の形をとってもよい。例えば、トリガが引かれ、トリガインジケータ１３２が点灯したときの検出領域１２４ａが図５Ｂに示されている。トリガインジケータ１３２が図５Ｂに示すように点灯すると、コンピュータ１０２上で実行中のコンピュータプログラムは、ユーザがコンピュータゲームのオブジェクトに正確に命中させたかどうかをユーザが認識することができるインジケータを、ディスプレイ画面１１０上に提供する。図５Ｃでは、トリガインジケータ１３２はＯＦＦ位置である。このとき、オブジェクト１２４は、能動的にトラッキングされているが、ユーザがオブジェクト１２４のトリガから指を離すと、発砲（連続発砲でも断続発砲でもよい）を中断できることを示している。トリガインジケータ１３２は、音波、超音波、可視光波、赤外線、無線など、どのような周波数範囲であってもよい。受動トリガインジケータ１３２は機械的音声によって実現されてもよく、この音声は、トリガが起動され、装置への音声入力を受信および復号化し、トリガが起動されたかどうかを判定すると生成される。
【００３２】
図６Ａは、トラッキングインジケータ１３０ａとトリガインジケータ１３２ａを提供する本発明の別の実施形態を示す。この例では、トラックインジケータ／トリガインジケータ１３０ａ，１３２ａは、距離（ｄ１）として示すように、この２つのインジケータ間の相対距離が決定されるように提供される。一例では、オブジェクトは、画像キャプチャ装置１０５に向けられているときに、コンピュータ１０２上で実行されているコンピュータプログラムに、距離ｄ１を確認させ、ディスプレイ画面上でインタラクティブなアクションを実行させることによって応答しうる。オブジェクト１２４ｂが図６Ａの初期位置に対して傾けられると、第２の距離（ｄ２）が計算される。この距離は、トラックインジケータ／トリガインジケータ１３０ａ，１３２ａ間の新しい距離である。図６Ｃに示すように、ユーザがオブジェクト１２４ｂを傾け続けると、距離（ｄ３）に示すように距離が縮まり続ける。オブジェクト１２４ｂが、図６Ａの垂直位置に対して水平位置に置かれると、トラックインジケータ１３０ａとトリガインジケータ１３２ａ間の距離がほぼゼロとなる。この時点で、プログラムは、ユーザが所定のトリガ動作、またはｄ１〜ｄ４の被検出距離検出時にトリガされうる他の動作をしようとしていると認識する。
【００３３】
別の実施形態では、コンピュータプログラムによる応答が、検出領域１２４ｂの傾斜角度に応じて徐々に変わってもよい。例えば、傾きが始まるとユーザがすぐに銃を発砲し始めて（または銃の発砲をトリガし始め）、図６Ｂの傾きから図６Ｄの傾きの間、行われてもよい。ユーザが銃を元の位置に立て直す、銃は発砲動作を中止しうる。このため、トラッキングインジケータおよびトリガインジケータ１３０ａ，１３２ｂのパターンまたは色を解析することによって生じた起動動作によって、さまざまなインタラクティブな方法で、コンピュータプログラムを応答させることができる。
【００３４】
このインタラクティビティの例として、ビデオゲームで使用中の銃の再充填操作の起動や、ビデオゲームプログラムで使用中の銃の種類の変更がある。これらの変更が処理されると、ビデオディスプレイ画面１１０は、提供され、画像キャプチャ装置によって検出されている制御に応じて、ユーザ向けに、さまざまなグラフィカルなアニメーションを生成する。
【００３５】
コマンドおよびトリガの状態は、ＯＮとＯＦＦのパラメータに限定されず、相対状態の位置、およびトリガインジケータとトラッキングインジケータの角度によって応じて段階的に変わってもよい。例えば、トリガの状態が、ＯＮまたはＯＦＦではなく、線形または可変の状態で判定されてもよい。相対トリガ位置を定義するために、遠隔制御レーストラックの加速度の制御に使用される抵抗タイプなど、どのような技術でも使用することができる。装置（この例では銃）は、当業界で公知の多くの技術によって、そのトリガの状態を符号化して伝送することによって、この値を伝達することができる。トリガの状態および装置の位置に基づいて、機械認識可能ジェスチャの全てに基づいたものなど、さまざまなコマンドおよびジェスチャを作り出すことができる。
【００３６】
図６Ｅ，６Ｆは、互いに異なる色を使用して、検出領域１２４ｃの位置間の傾きまたは相対傾きをトラッキングすることができる更に別の実施形態を示す。この例では、トラックインジケータおよびトリガインジケータ１３０ｂ，１３２ｂは、形が正方形または長方形であり、色付きのテープ、バーコード、光表示器、ＬＥＤ等によって定義することができる。例えば、ユーザが図６Ｅの位置から図６Ｆに検出領域１２４ｃをひっくり返すか傾けると、コンピュータディスプレイ画面に表示されるコンピュータゲームの反応が変わる。
【００３７】
図７は、ディスプレイ画面上のインタラクティビティの制御に手１２２を使用する本発明の別の実施形態を示す。ユーザは画像キャプチャ装置１０５の前に手１２２を出しており、この手が人物１１２の頭部に対してトラッキングされる。この例では、ユーザは手を伸ばしており、人差し指１４０がディスプレイ画面１１０を指している。ユーザの親指１４２は上を向いており、コンピュータ１０２上で実行中のコンピュータプログラムに対して、トリガ装置が起動されていないことを示している。ユーザの親指１４２が、人差し指１４０に向かって、方向１２２ａに下に動くと、コンピュータ１０２上で実行中のコンピュータプログラムは、キャプチャされたデジタル画像から、ユーザが、発砲しようとしているか、トリガしようとしているか、またはディスプレイ画面１１０上の特定の領域をインタラクティブにポイントしようとしていることを検出しうる。このため、ユーザの手の位置を変えることで、イベントを起動したり、実行されてディスプレイ画面１１０に表示されているコンピュータプログラムと、コマンドのインタラクティビティを行うことができる。例えば、ユーザが特定のゲームプログラムとのインタラクションを行っているときに、ユーザが、別の手のジェスチャによって発砲できたり、別のジェスチャによって銃に再装填できたり、ユーザの手を別の位置に動かしたり向きを変えると、ディスプレイ画面上のユーザまたは銃のグラフィカルな描画がさまざまに変わりうる。この実施形態では、トリガの状態が前述のようにＯＮまたはＯＦＦで判定されても、トリガが可変状態であると判定されてもよい。後者の場合、例えば、ユーザの親指の相対位置は、ポイントしている指と親指がほぼ直交する位置から、ポイントしている指と親指がほぼ平行となる位置までの範囲をとることができ、システムが、手の画像解析を実行して、親指の相対状態を求める。この状態が、マウスのスクロール−ホイールに関する方式などのさまざまな制御方式にマッピングされうる。
【００３８】
図８Ａ，８Ｂは、ユーザの手１２２を使用して、ディスプレイ画面での別の活動を識別または起動する別例を示す。この例では、図８Ａは、ユーザがディスプレイ画面１１０を直接ポイントしている状態を示しており、実行中のコンピュータプログラムが、キャプチャ装置によってキャプチャされたデジタル画像でこの手の向きを特定する。別の時点の後続のキャプチャ期間において、図８Ｂの像がキャプチャされて、コンピュータプログラムによって解析されうる。この例では、ユーザの手が、親指１４２が上を向いている状態から、親指１４２が横を向いている状態に倒されている。この向きでは、ユーザが、ディスプレイ画面上の銃の発砲またはグラフィックディスプレイ上のアイコンの選択を起動することができる。
【００３９】
このため、ユーザの手とユーザの手の向きの検出を使用して、ユーザの頭部に対するユーザの手と、ディスプレイ画面上の照準活動の位置の解析時に必要なインタラクティビティを提供することができる。照準活動によって、ユーザは、アイコンの選択、操作下での装置の制御、グラフィカルオブジェクトへの発砲、グラフィカルオブジェクトの選択またはスクロール、グラフィカルオブジェクトの選択解除、グラフィカルオブジェクトのオン／オフ、グラフィカルオブジェクトの散布（disperse）、または単に、ディスプレイ画面１１０に表示中のコンピュータプログラムのグラフィックアイコンおよび機能とのインタフェースを行うことができる。しかし、特定の構成では、本発明を使用しているシステムが、ディスプレイ画面上に、最小個数のアイコンしかないか、アイコンを使用せずに機能できることが望ましいことがある。アイコンに代わり、システムは、単にユーザのジェスチャを認識して、操作下で装置への制御入力を提供しうる。例えば、本発明と共に構成されるか、またはこれと一体化されるテレビ受像機または関連の周辺機器が、本発明によって制御されてもよい。例えば、チャネルの変更には、本発明で提案している方法に従ったジェスチャコマンドの認識とは異なり、アイコンとのインタラクションが必要とは限らない。
【００４０】
図９は、本発明の一実施形態による、照準方向を識別するためのプロセスを記載しているフローチャート図２００を示す。この方法は操作２０２において始まり、画像フレームをキャプチャするためのキャプチャ装置が提供される。フレームのキャプチャ速度は、特定の実装に応じて決まり、本明細書に記載する本発明を限定しない。一実施形態では、キャプチャ装置は、座標空間のキャプチャ位置を有する。図４に示すように、画像キャプチャ装置の座標空間は、（０，０，０）である。操作２０４において、コンピュータプログラムのインタラクティブなグラフィックを表現および表示するためのディスプレイ画面が提供される。
【００４１】
コンピュータプログラムのインタラクティブなグラフィックは、コンピュータゲームに関連していても、ユーザによるインタラクティビティを必要とするほかのどのようなプログラムまたはインタフェースに関連していてもよい。例えば、インタラクティビティには、オブジェクトの選択または選択解除、ファイルのオープン、チャネルの変更、テレビ番組の録画、ファイルのクローズ、ネットワークを介したファイルへのアクセス、インターネット、電子メールまたは電子ビデオメールによるユーザとのインタラクティブな通信、家電機器の選択、装置のオン／オフなどがある。次に、操作２０６において、画像キャプチャ装置のほぼ前に提示される画像がキャプチャされる。一実施形態では、この画像には、キャプチャされた空間の一部であり、ディスプレイ画面およびキャプチャ装置の前にいる人物が含まれている。
【００４２】
操作２０６において画像がキャプチャされると、操作２０８において、キャプチャされた画像内でみつかった人物の頭部の識別が行われる。このため、識別された人の頭部が解析されて、座標空間での、キャプチャ位置に対する頭部の位置が確認される。次に、方法は操作２１０に移り、画像内の人物が保持しているオブジェクトが識別される。オブジェクトの位置は、キャプチャ位置の座標空間に対して、オブジェクトの座標空間が特定されるように識別される。特定した頭部位置と特定したオブジェクト位置をメモリに記憶すると、操作２１２において、コンピュータプログラムが、キャプチャ位置の基準点（座標（０，０，０）など）からみた、座標空間での頭部位置とオブジェクト位置間の相対位置を特定しうる。上で説明したように、画像キャプチャ装置に対し、頭部および手の相対位置について、方位角と高度角が計算されうる。座標空間のこの相対位置が、キャプチャされたフレームについて計算される。
【００４３】
操作２１４において、特定したオブジェクト位置と頭部位置間の相対位置を使用して、オブジェクトの照準方向が決定される。コンピュータプログラムによって提供され、ディスプレイ画面に表示されるインタラクティブなグラフィックとインタラクションできるように、この照準方向がディスプレイ画面に表示される。
【００４４】
図１０は、コンピュータプログラムとのインタラクティビティ中にディスプレイ画面の方向に向けられているオブジェクトの照準方向を決定する際に実装されうる、より詳細なプロセス図２５０を示す。方法は操作２５２で始まり、画像フレームをキャプチャするためのキャプチャ装置が提供される。キャプチャ装置は、座標空間のキャプチャ位置を有する。キャプチャ位置の座標空間は、照準方向を識別するプロセスにおいて相対位置を決定する操作を実行するための基準点である。
【００４５】
方法は操作２５４に進み、コンピュータプログラムのインタラクティブなグラフィックを表現するためのディスプレイ画面が提供される。インタラクティブなグラフィックは、コンピュータゲームであっても、上で説明した他のどのようなプログラムでもあってもよい。操作２５６において、画像キャプチャ装置の前の画像がキャプチャされ、画像中に人物がキャプチャされる。キャプチャされた画像は、ビデオのデジタルフレームの画像などである。一実施形態では、ビデオのデジタルフレームは、ＪＰＥＧフレームであっても、圧縮ビデオフレームの一部（例えばＭＰＥＧなど）であってもよい。
【００４６】
次に、操作は操作２５８に進み、キャプチャされた画像内で人物の頭部が識別される。キャプチャされた画像で人の頭部が解析されて、画像キャプチャ装置に対する頭部位置とその座標空間が決定される。方法は操作２６０に移り、画像内の人物が保持しているオブジェクトが識別され、座標空間のオブジェクト位置が決定される。操作２６２において、キャプチャ装置のキャプチャ位置からみた、座標空間での頭部位置とオブジェクト位置間の相対位置が特定される。相対位置には、画像キャプチャ装置に対する方位角および高度角の計算が含まれる。
【００４７】
操作２６４において、コンピュータプログラムの実行中に、操作２５６，２５８，２６０，２６２に対応する、Ａ，Ｂ，Ｃ，Ｄの操作が、コンピュータプログラムの性能に望ましい速度に応じて、反復的かつ連続して実行される。例えば、操作Ａ〜Ｄの実行は、キャプチャされるフレームごとに実行されても、所定の数のフレームがキャプチャされたあとに実行されてもよい。このため、操作Ａ〜Ｄが実行される速度は、特定の環境、ポインタ位置の正確な検出の要否、およびディスプレイ画面上でのインタラクティブなオブジェクトの選択能力に応じて決まる。ディスプレイ画面が、オブジェクトが高速で移動するビデオゲームを処理している場合には、トラッキング操作は、ビデオディスプレイ画面に表示されるフレームごとに操作Ａ〜Ｄを実行する必要がありうる。
【００４８】
操作２６６において、方法は、相対位置を使用して、オブジェクトの照準および位置を連続して更新する。コンピュータプログラムのインタラクティブなグラフィックとのインタラクションが行えるように、照準方向がディスプレイ画面に表示される。この場合も、照準方向により、ユーザは、アイコンの選択、アイコンの選択解除、アイコンの移動、オブジェクトのオープン、ファイルのオープン、ファイルの保存、ファイルの移動、およびファイルデータベースの一部またはコンピュータデスクトップ上のグラフィカルなユーザインタフェースの一部でありうるファイルとのインタラクションなどを行うことができることを理解すべきである。
【００４９】
図１１は、本発明の実施形態を実装するために使用できる、グラフィックディスプレイ上のオブジェクトのインタラクト処理を行うための例示的なユーザ入力システムのブロック図である。図１１に示すように、ユーザ入力システムは、ビデオキャプチャ装置３００、入力画像プロセッサ３０２、出力画像プロセッサ３０４、およびビデオ表示装置３０６から構成される。ビデオキャプチャ装置３００は、ビデオ画像のシーケンスをキャプチャすることができる装置であればどのようなものでもよく、一実施形態では、デジタルビデオカメラ（ウェブカメラなど）や同様の画像キャプチャ装置である。前述のように、ビデオキャプチャ装置は、深度画像を提供するように構成されうる。入力画像プロセッサ３０２は、キャプチャされた制御オブジェクトのビデオ画像を信号に変換し、この信号が出力画像プロセッサに送られる。一実施形態では、入力画像プロセッサ３０２は、キャプチャされたビデオ画像の背景から、深度情報によって制御オブジェクトを分離し、制御オブジェクトの位置および／または移動に応じた出力信号を発生させるようにプログラムされる。出力画像プロセッサ３０４は、入力画像プロセッサ３０２から受け取った信号に応じて、ビデオ表示装置３０６に表示したオブジェクトの並進移動および／または回転移動を変更するようにプログラムされる。
【００５０】
本発明のこれらの態様やその他の態様は、ソフトウェア命令を実行する１つ以上のプロセッサによって実装されうる。本発明の一実施形態によれば、１つのプロセッサが入力画像処理と出力画像処理の両方を実行する。しかし、図に示すように、説明を容易にするために、処理操作が、入力画像プロセッサ３０２と出力画像プロセッサ３０４に分けられるものとして説明する。本発明が、特定のプロセッサの構成（複数プロセッサなど）に限定されると解釈すべきではないことを留意すべきである。図１１の複数の処理ブロックは、説明の便宜上、示したに過ぎない。
【００５１】
図１２は、本明細書に記載した本発明の各種実施形態を実装するように構成されたコンピュータ処理システムの簡略ブロック図である。この処理システムは、メインメモリ４２０とグラフィック処理ユニット（ＧＰＵ）４２６に結合された中央処理装置（ＣＰＵ）４２４を備えた、コンピュータベースのエンターテイメントシステムの実施形態であってもよい。ＣＰＵ４２４は、入出力プロセッサ（Input/Output Processor：ＩＯＰ）バス４２８にも結合されている。一実施形態では、ＧＰＵ４２６は、ピクセルベースのグラフィックデータを高速に処理するために内部バッファを備える。更に、ＧＰＵ４２６は、エンターテイメントシステムまたはその構成要素の外部に接続された表示装置４２７に送信するために、画像データを処理して、例えばＮＴＳＣやＰＡＬなどの標準のテレビジョン信号に変換する出力処理部またはその機能を備えうる。別の実施形態では、データ出力信号が、コンピュータモニタ、ＬＣＤ（液晶ディスプレイ）装置やその他のタイプの表示装置などのテレビジョンモニタ以外の表示装置に供給されてもよい。
【００５２】
ＩＯＰバス４２８は、ＣＰＵ４２４を、各種の入出力装置、または他のバスやデバイスに接続している。ＩＯＰバス４２８は、入出力プロセッサメモリ４３０、コントローラ４３２、メモリカード４３４、ユニバーサルシリアルバス（ＵＳＢ）ポート４３６、ＩＥＥＥ１３９４（Ｆｉｒｅｗｉｒｅインタフェースとも呼ばれる）ポート４３８、およびバス４５０に接続されている。バス４５０は、システムの他のいくつかの構成要素をＣＰＵ４２４に接続しており、このような構成要素には、オペレーティングシステム（ＯＳ）ＲＯＭ４４０、フラッシュメモリ４４２、音声処理ユニット（ＳＰＵ）４４４、光ディスク制御４、ハードディスクドライブ（ＨＤＤ）４４８がある。この実施形態の一態様では、ビデオキャプチャ装置は、ＩＯＰバス４２８に直結されていてもよく、これを介してＣＰＵ４２４に送信を行っており、ＣＰＵ４２４では、ビデオキャプチャ装置からのデータを使用して、ＧＰＵ４２６でグラフィック画像の生成に使用される値が変更または更新される。更に、本発明の各種実施形態は、画像処理のさまざまな構成および技術を使用することができ、これには、２００３年２月１１日出願の米国特許出願第１０／３６５,１２０号明細書「リアルタイムのモーションキャプチャのための方法および装置（METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE）」に記載されたものなどがある。コンピュータ処理システムは、ＣＥＬＬ（登録商標）プロセッサで実行されうる。
【００５３】
本発明の態様を実施するプログラムまたはコンピュータ命令は、複数の異なる方法で提供することができる。例えば、グラフィックイメージとのインタラクションのためのユーザ入力の方法は、ＨＤＤ４４８、フラッシュメモリ４４２、ＯＳ  ＲＯＭ２４０またはオンメモリカード４３２に格納されているプログラムの形で提供することができる。別の実施形態では、プログラムが、ＣＰＵ４２４に接続された１つ以上の入力ポートを介して、処理ユニットにダウンロードされてもよい。入力方法を定義しているプログラムモジュールは、ＣＰＵ４２４によって実行され、ディスプレイ装置４２７に表示されるゲームまたはアプリケーションのプログラムと一緒に提供されても、または、例えばローカルメインメモリ４２０から実行するために、アプリケーションプログラムとは別に提供されてもよい。
【００５４】
更に別の実施形態では、プログラムは、インターネットに接続されたサーバで一部実行され、ローカルコンピュータ（ゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータまたは無線携帯装置など）で一部実行されてもよい。更に、実行が、リモートサーバまたは処理装置で完全に行われ、この処理装置が、ローカルのディスプレイ画面に実行結果を提供してもよい。この場合、ローカルのディスプレイまたはシステムは、ネットワーク（インターネットなど）を介してデータを受け取り、グラフィックデータを画面に表現するための最小限の処理機能を備える必要がある。キャプチャ装置を介したユーザの入力がサーバに送信されて、その後、応答が画面に表現されうる。
【００５５】
図１３Ａ〜１３Ｃは、方向照準（directional pointing）の実行に使用するオブジェクトをより正確に識別するために、深度データが考慮される実施形態を示す。オブジェクトは、人物が保持している物体であっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との文言は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との文言は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。
【００５６】
三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。
【００５７】
さらに、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。
【００５８】
図１３Ａは、本発明の一実施形態による、リアルタイムの三次元のインタラクティブな環境を提供するための例示的なシステム５００のブロック図である。図１３Ａに示すように、システム５００は、深度カメラ５０２、入力画像プロセッサ５０４、出力画像プロセッサ５０６、およびビデオ表示装置５０８を有する。
【００５９】
上で説明したように、深度カメラ５０２は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供する。図１３Ｂ，１３Ｃは、代表的な深度カメラ５０２が生成する画像を示す。より詳細には、図１３Ｂは、代表的な深度カメラを使用してキャプチャされた二次元データ５２０を示す図である。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。例えば、図１３Ｂにおいて、例示的なシーンには、丘陵５２８の間に置いたテーブル５２６の上に配置された円筒形のオブジェクト５２２と球体のオブジェクト５２４が含まれる。
【００６０】
しかし、従来のカメラとは異なり、深度カメラは、シーンの深度値もキャプチャする。図１３Ｃは、代表的な深度カメラを使用してキャプチャされた深度データ５５０を示す図である。図１３Ｂに示すように、深度カメラは、シーン内の各ピクセルについて、ＲＧＢ値を使用してシーンのｘ成分とｙ成分をキャプチャする。しかし、図１３Ｃに示すように、深度カメラは、シーンの深度値を表すシーンのｚ成分もキャプチャする。深度値はｚ軸に対応しているため、深度値は、「ｚ値」と呼ばれることも多い。
【００６１】
動作時に、シーンの各ピクセルについてｚ値がキャプチャされる。各ｚ値は、カメラから、シーン内の関連するピクセルに対応するオブジェクトまでの距離を表している。例えば、図１３Ｃでは、円筒形のオブジェクト５５２、球体のオブジェクト５５４、およびテーブル５５６の一部についてｚ値が示されている。
【００６２】
また、最大検出範囲が、深度値が検出されなくなる境界を定義している。例えば、図１３Ｃでは、最大深度範囲５５８は垂直面として図示され、ここでは全てのピクセルが同じ深度値を与えられる。以下で詳しく説明するように、本発明の各種実施形態では、この最大範囲面を使用して、ユーザ定義のオブジェクトのトラッキングを提供することができる。このため、深度カメラを使用することで、それぞれのオブジェクトを三次元でトラッキングすることができる。この結果、本発明の実施形態のコンピュータシステムは、二次元のピクセルデータと合わせてｚ値を利用して、強化された三次元のインタラクティブ環境をユーザのために作成することができる。深度分析の詳細については、２００３年５月２９日出願の米国特許出願第１０／４４８,６１４号明細書「リアルタイムの三次元インタラクティブ環境を提供するためのシステムおよび方法（System and Method for Providing a Real-time three dimensional interactive environment）」を参照されたい。
【００６３】
また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。
【００６４】
上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。
【００６５】
上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。
【００６６】
本発明は、また、計算機可読媒体上の計算機可読コードとして実施されてもよい。計算機可読媒体は、電磁搬送波（electromagnetic wave carrier）を含め、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読媒体の例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。
【００６７】
上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。
【図面の簡単な説明】
【００６８】
【図１Ａ】本明細書に記載の照準方向決定を利用する本発明の一実施形態の環境を示す説明図。
【図１Ｂ】本明細書に記載の照準方向決定を利用する本発明の一実施形態の環境を示す説明図。
【図２】照準方向の決定時の、人物の頭部と人物の手（または人物が保持しているオブジェクト）間の相対位置の解析を示す説明図。
【図３】照準方向の決定時の、人物の頭部と人物の手（または人物が保持しているオブジェクト）間の相対位置の解析を示す説明図。
【図４】照準方向の決定時の、人物の頭部と人物の手（または人物が保持しているオブジェクト）間の相対位置の解析を示す説明図。
【図５Ａ】本発明の一実施形態による、キャプチャされた画像データの解析により、コンピュータプログラムが識別することができるトラッキングおよびトリガの実施形態を示す説明図。
【図５Ｂ】本発明の一実施形態による、キャプチャされた画像データの解析により、コンピュータプログラムが識別することができるトラッキングおよびトリガの実施形態を示す説明図。
【図５Ｃ】本発明の一実施形態による、キャプチャされた画像データの解析により、コンピュータプログラムが識別することができるトラッキングおよびトリガの実施形態を示す説明図。
【図６Ａ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図６Ｂ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図６Ｃ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図６Ｄ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図６Ｅ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図６Ｆ】本発明の一実施形態による、オブジェクトを検出し、オブジェクト自体の相対向きに基づいてオブジェクトの変化を検出する別の実施形態を示す説明図。
【図７】本発明の一実施形態による手の位置の例を示す説明図であり、この場合、手の位置と形を解析して、コンピュータプログラムによる所望のトリガやトラッキングの応答を決定するものである。
【図８Ａ】本発明の一実施形態による手の位置の例を示す説明図であり、この場合、手の位置と形を解析して、コンピュータプログラムによる所望のトリガやトラッキングの応答を決定するものである。
【図８Ｂ】本発明の一実施形態による手の位置の例を示す説明図であり、この場合、手の位置と形を解析して、コンピュータプログラムによる所望のトリガやトラッキングの応答を決定するものである。
【図９】本発明の一実施形態による、照準方向の決定時に実行することができる操作の例示的なフローチャートである。
【図１０】本発明の一実施形態による、照準方向の決定時に実行することができる操作の例示的なフローチャートである。
【図１１】本発明の一実施形態による、請求の範囲に記載の操作の実行に必要なコンピュータコードの処理に使用することができるハードウェアの例示的な実施形態を示す説明図。
【図１２】本発明の一実施形態による、請求の範囲に記載の操作の実行に必要なコンピュータコードの処理に使用することができるハードウェアの例示的な実施形態を示す説明図。
【図１３Ａ】本発明の一実施形態による、照準方向を確認する必要があるシステムとインタフェースするときに、トラッキングするオブジェクトの識別時に深度情報が考慮される場合の、例示的な実施形態を示す説明図。
【図１３Ｂ】本発明の一実施形態による、照準方向を確認する必要があるシステムとインタフェースするときに、トラッキングするオブジェクトの識別時に深度情報が考慮される場合の、例示的な実施形態を示す説明図。
【図１３Ｃ】本発明の一実施形態による、照準方向を確認する必要があるシステムとインタフェースするときに、トラッキングするオブジェクトの識別時に深度情報が考慮される場合の、例示的な実施形態を示す説明図。
【図１Ａ】
2009519105.tif 000003
【図１Ｂ】
2009519105.tif 000004
【図２】
2009519105.tif 000005
【図３】
2009519105.tif 000006
【図４】
2009519105.tif 000007
【図５Ａ】
2009519105.tif 000008
【図５Ｂ】
2009519105.tif 000009
【図５Ｃ】
2009519105.tif 000010
【図６Ａ】
2009519105.tif 000011
【図６Ｂ】
2009519105.tif 000012
【図６Ｃ】
2009519105.tif 000013
【図６Ｄ】
2009519105.tif 000014
【図６Ｅ】
2009519105.tif 000015
【図６Ｆ】
2009519105.tif 000016
【図７】
2009519105.tif 000017
【図８Ａ】
2009519105.tif 000018
【図８Ｂ】
2009519105.tif 000019
【図９】
2009519105.tif 000020
【図１０】
2009519105.tif 000021
【図１１】
2009519105.tif 000022
【図１２】
2009519105.tif 000023
【図１３Ａ】
2009519105.tif 000024
【図１３Ｂ】
2009519105.tif 000025
【図１３Ｃ】
2009519105.tif 000026
【国際調査報告】
2009519105.tif 000027
2009519105.tif 000028
2009519105.tif 000029