(57)【特許請求の範囲】
【請求項１】
ゲーム機との対話方法であって、
環境の実質的に半球形である広角画像をキャプチャするステップと、
前記広角画像から画像特徴を取得するステップと、
前記広角画像から取得したそれら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対するユーザ入力として解釈するステップと、
を有し、
更に、広角画像から画像特徴を取得する前記ステップは、
前記広角画像の複数の領域を、対応する複数の平坦な画像平面（以後、ファセットと称する）であって共になってキューブの５つの平面を形成する５つのファセットにマッピングするステップと、
マッピングされた広角画像の前記ファセットの１つあるいはそれ以上から画像特徴を取得するステップと、
前記ファセットの１つあるいはそれ以上から取得された画像特徴から、複数のユーザのそれぞれの身体の少なくとも一部の位置を推定するステップと、
を有し、
前記広角画像は、前記広角画像内の複数のユーザの各々がそれぞれ別個のファセットにマッピングされるように、前記ファセットにマッピングされる、
ことを特徴とする対話方法。
【請求項２】
請求項１に記載の方法であって、更に、
前記ファセットの１つあるいはそれ以上においてエッジ検出を行なうことにより前記画像特徴を取得するステップ
を有することを特徴とする方法。
【請求項３】
請求項２に記載の方法であって、更に、
次のエッジタイプ、すなわち、
ｉ．実質的に線形なエッジ、
ｉｉ．２以上の線形エッジが交差する点、
ｉｉｉ．エッジの組によって形成される所定の形状
のいずれかあるいはすべてを選択するステップ、
を有することを特徴とする方法。
【請求項４】
請求項１〜３いずれか一項に記載の方法であって、更に、
継続的な画像の前記ファセットの少なくとも１つあるいはそれ以上からの画像特徴を比較することにより少なくとも第１のユーザの動きを追跡するステップ
を有することを特徴とする方法。
【請求項５】
請求項１〜４いずれか一項に記載の方法であって、
それぞれ別個のファセットに画像がマッピングされる複数のユーザの１人あるいはそれ以上がゲーム内に表示される
ことを特徴とする方法。
【請求項６】
請求項１〜５いずれか一項に記載の方法であって、
ｉ．広角画像の１つあるいはそれ以上のファセットへのマッピング、
ｉｉ．１つあるいはそれ以上のファセットから画像特徴の取得、
ｉｉｉ．前記画像特徴に関する現行方位および／または位置の推定
を含む処理シーケンスが、ホストデータ処理装置がコントロール手段から伝送された広角画像を受信するとホストデータ処理装置の画像処理手段により実行される
ことを特徴とする方法。
【請求項７】
請求項１〜５いずれか一項に記載の方法であって、
ｉ．広角画像の１つあるいはそれ以上のファセットへのマッピング、
ｉｉ．１つあるいはそれ以上のファセットから画像特徴の取得、
ｉｉｉ．前記画像特徴に関する現行方位および／または位置の推定
を含む処理シーケンスが、前記処理シーケンスの任意の点において、第一にコントロール手段そして第二にホストデータ処理装置において分担される
ことを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、
前記処理シーケンスの次のステップに関連する情報が前記コントロール手段から前記ホストデータ処理装置に伝送される
ことを特徴とする方法。
【請求項９】
請求項１〜８いずれか一項に記載の方法のステップをコンピュータに実行させるコンピュータソフトウェア。
【請求項１０】
ゲームシステムであって、
広角画像をキャプチャできるように実質的に半球形の視野を提供する広角レンズ手段が接続された撮像手段を有するコントロール手段と、
前記コントロール手段に機能的に接続できるゲーム機と、
を有し、
前記広角画像の複数の領域を、対応する複数の平坦な画像平面（以後、ファセットと称する）であって共になってキューブの５つの平面を形成する５つのファセットにマッピングし、
マッピングされた広角画像の前記ファセットの１つあるいはそれ以上から画像特徴を取得し、
前記ファセットの１つあるいはそれ以上から取得された画像特徴から、複数のユーザのそれぞれの身体の少なくとも一部の位置を推定する、
ように動作する画像処理手段を有し、
前記広角画像は、前記広角画像内の複数のユーザの各々がそれぞれ別個のファセットにマッピングされるように、前記ファセットにマッピングされる、
ことを特徴とするゲームシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゲーム機などのデータ処理装置との対話装置および方法に関し、特に、画像解析に基づいた対話装置および方法に関する。
【背景技術】
【０００２】
ビデオゲーム機などの多くの娯楽装置は様々な周辺コントロール手段を有している。その中には、ジョイスティック、キーパッド、ジョイパッドや、さらにはゲームに特有のコントローラ、例えば、ステアリングホイール、ライトガン、ゴルフクラブなどが含まれる。
【０００３】
しかし、そのようなコントローラの物理的な操作は、それが提供できる対話（インタラクション）のタイプを本質的に限定することになる。通常、それはボタンを押すことや前もって約束された特定のアクション、例えばゴルフスウィングなど、に限定される。
【０００４】
ソニー（登録商標）のプレイステーション２（登録商標）ビデオゲーム機やプレイステーション３（登録商標）ビデオゲーム機など、最近のビデオゲーム機は、アイトイ（登録商標）などの光学的な周辺コントローラも呼び物にしている。アイトイは、ユーザの身体の動き（モーション）によってゲームのコントロールを可能にし、それによってゲームとの新しい対話手段を提供している。そのようなコントローラは、典型的には、ゲームを表示するテレビの上に置かれる構成とされており、その位置でコントローラはプレイヤーをいわば観察することができる。それで、プレイヤーの画像がゲームの環境内に組み込まれ、その環境に対して動くことによりゲームと対話することができるようになっている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、ゲーム機などの娯楽装置と対話する更なる手段を提供する。
【課題を解決するための手段】
【０００６】
本発明の第１の側面によれば、ゲーム機との対話方法であって、
環境の広角画像をキャプチャするステップと、
前記広角画像から画像特徴を取得するステップと、
それら画像特徴を、前記ゲーム機上で実行されるソフトウェアに対する入力として解釈するステップと、
を有し、
更に、広角画像から画像特徴を取得する前記ステップは、
前記広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面（以後、ファセットと称する）にマッピングするステップと、
マッピングされた広角画像の前記１つあるいはそれ以上のファセットから画像特徴を取得するステップと、
を有する、
ことを特徴とする対話方法が提供される。
【０００７】
これらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができ、画像モーションを整合的に解析することができ、その結果ゲームなどのプロセスにモーションを入力することができるのは都合が良い。
【０００８】
本発明の第２の側面によれば、コントロール装置であって、広角画像をキャプチャできるように広角レンズ手段が接続された撮像手段を有し、前記広角レンズ手段は実質的に半球形の視野を提供し、前記広角画像から取得された画像特徴はゲーム機上で実行されるソフトウェアに対する入力として解釈できることを特徴とするコントロール装置が提供される。
【０００９】
特徴をこのように組み合わせることにより、対話方法によって利用される環境の広角画像が提供される。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態によるコントローラとデータ処理装置を示すブロック図である。
【図２】本発明の一実施形態による広角画像の光景とその光景の画像キューブの５つの側面へのマッピングとを比較するブロック図である。
【図３】本発明の一実施形態による画像処理方法を示すフローチャートである。
【図４】本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。
【図５】本発明の一実施形態による、画像キューブの面上における画像モーションの軸を示すブロック図である。
【図６】本発明の一実施形態による、環境の画像キューブへのマッピングを示す三つのブロック図の組である。
【図７】本発明の一実施形態による画像処理方法を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照しながら、本発明の実施形態を例として説明する。
【００１２】
ゲーム機との対話方法およびそれに対応するコントローラ装置を開示する。以下の説明においては本発明の実施形態を十分に理解してもらうために多くの特定の詳細が示される。しかし、本発明を実施するためにこれら特定の詳細の採用が必須でないことは当業者には明らかであろう。一方、実施形態を明瞭に示すという目的のために、当業者に既知の特定の詳細は省かれている。
【００１３】
図１を参照すると、本発明の一実施形態において、ゲーム機などのホストデータ処理装置１１０に対して周辺コントロール手段１００が提供されている。
【００１４】
周辺コントロール手段１００（以下、「コントローラ」と称する）は、広角レンズ１０１と、電荷結合素子（ＣＣＤ）などの撮像手段１０２と、撮像手段１０２に対して動作可能に接続された画像処理プロセッサ１０３と、データをデータ処理装置１１０に伝送するために画像処理プロセッサ１０３に対して動作可能に接続されたワイファイ（ｗｉ−ｆｉ）やブルートゥース（登録商標）などの伝送手段１０４とを有している。
【００１５】
広角レンズ１０１は、撮像手段１０２に軸心合わせされたほぼ半球形の視野を提供することが好ましい。広角レンズは、例えば、魚眼レンズ、あるいは先端を切断したピラミッド型などの多面レンズ、あるいは適切な形状の同心フレネルレンズあるいはレンチキュラーレンズなど、任意の適切なレンズ、あるいは複数レンズの配列とすることができる。
【００１６】
本発明の一実施形態においては、ゲーム機などのデータ処理装置との対話方法は、ＣＣＤから広角画像を得る第一ステップを有している。この目的のためにＣＣＤは広角レンズと組み合わせて配列され、広角画像がＣＣＤに入射されてキャプチャされるようになっている。
【００１７】
次いで、この画像が処理される。
【００１８】
本発明の一実施形態においては、撮像手段１０２によりキャプチャされた広角画像は、更に処理されないで（あるいは、任意の選択として、図示されていない既知の圧縮手段により圧縮された後）、まずデータ処理装置１１０に伝送される。それに続いて、受信データ手段１１４によるデータの受信に引き続いて、処理装置１１０の画像処理プロセッサ１１３により画像処理が行なわれる。そのような実施形態の場合には、コントローラは画像処理プロセッサ１０３を必ずしも必要としない。
【００１９】
本発明の別の実施形態では、撮像手段１０２によりキャプチャされた広角画像はコントローラ１００において画像処理プロセッサ１０３により処理され、この処理の出力がデータ処理装置１１０に伝送される。
【００２０】
本発明の更に別の実施形態では、画像処理タスクはコントローラ１００とデータ処理装置１１０の画像処理プロセッサ（１０３，１１３）間で引き渡され、その処理の第一部はコントローラ１００の画像処理プロセッサ１０３により実行され、第二部はデータ処理装置１１０の画像処理プロセッサ１１３によって実行される。
【００２１】
従って、以下の説明における画像処理プロセッサへの言及は、どちらかの画像処理プロセッサ（１０３，１１３）に対するものであり、そのようなプロセッサの動作方法への言及は、適用できるどちらかあるいは両方の画像処理プロセッサの動作に対して、全面的にあるいは部分的に当てはめ可能であることは明らかであろう。
【００２２】
さて、図２および図３を参照すると、本発明の一実施形態において、画像処理プロセッサ（１０３，１１３）は、図２に示されているような広角画像を図３に列挙される以下の方法ステップによって処理するように、その動作が構成されている。
【００２３】
広角画像２１０のそれぞれの領域は、コントローラ１００がトーチのように手に保持されている状況を考えて、概念的に次のように名前が付けられている：（Ｆ）正面あるいは中心軸ビュー、（Ｔ）頂部の天井ビュー、（Ｂ）底面の床ビュー、（Ｌ）左ビュー、（Ｒ）右ビュー。
【００２４】
次いで、図３のステップｓ１で、これらの領域を平面にマッピングすることにより、広角レンズに起因する画像のゆがみを減少する。ディジタル画像の有効投影を変換する画像変換は既知であり、例えば環境マッピングがそうである。従来の環境マッピングでは、平坦なテクスチャ上の点のアレイを任意の形状の対応する点にマッピングすることにより、そのテクスチャをその形状の周りに「ラッピング」することができる。ステップｓ１では逆の処理が適用され、ゆがんだ画像内の一組の点が平面へと変形される（例えば、http://www.worldserver.com/turk/quicktimevr/fisheye.htmlおよびNed Greene, Environment Mapping and Other Applications of World Projections（ネッド・グリーン、環境マッピングおよび世界投影の他の応用）, IEEE Computer Graphics and Applications, November 1986, vol. 6, no.11, pp. 21-29を参照）。図２では、歪んだ画像の５つの領域に対し５つの平面が用いられている。
【００２５】
先に言及したレンズ配列のどれから得られた画像であっても、それらの画像をマッピングするための変換を生成できることは、当業者には明らかであろう。
【００２６】
デフォルトでは、先に言及した５つの領域は、５つの平面、すなわち、画像キューブ２２０の５つの面すなわちファセットを構成し又それぞれの領域に対応している５つの平面にマッピングされるのが好ましい。
【００２７】
このようにマッピングされた領域がキューブの各頂点において正確に接続している必要はなく、オーバーラップしてもよいし、ギャップがあってもよいことは明らかであろう。
【００２８】
又、すべての領域を処理する必要はなく、例えば、天井ビューに本質的に特徴のない場合などはすべての領域を処理する必要がないことも明らかであろう。同様に、アプリケーションにとって正面領域だけが関係している場合、他のすべての領域は無視してもよい。
【００２９】
又、ファセットが部屋の正面、頂部面、底部面、左面、あるいは右面に一致することが必要条件でないことも明らかであろうが、これについては更に説明することにする。
【００３０】
さて、図４を参照すると、あるゲーム用シナリオに関してマッピング処理の効果が示されている。
【００３１】
図４において、コントローラ１００はユーザの手中にトーチのように保持されており、典型どおりユーザはゲーム（感嘆符によって表わされている）を表示しているＴＶ画面に向かい合っている。その結果得られる広角画像４１０は、ユーザ前方の部屋の特徴を実質的にすべてキャプチャしている。領域Ｆ、Ｂ、Ｔ、Ｌ、Ｒを対応する平面にマッピングすることによって画像の歪みが除去され、部屋の各特徴が画像キューブ４２０のファセット内に配置される。それらのファセットは、通常、壁や天井や床などの、部屋の適切な部分に近似的に対応している。
【００３２】
４つの領域を三角プリズムへマッピングするなど、他の領域や形状が可能であることは明らかであろう。しかし、キューブ（立方体）は部屋の典型的な形状に対して一層容易に一致するので好ましい。
【００３３】
ステップｓ２では、画像キューブ４２０の１つあるいはそれ以上のファセットが解析され、画像の特徴が抽出される。
【００３４】
本発明の一実施形態においては、サブステップｓ２．１において、ファセットにマッピングされた画像領域に対して、その画像領域内の輝度および／またはクロミナンスの変化に基づいてエッジ検出処理を行なう。業界では多くのエッジ検出アルゴリズムが知られており、例えば、ソーベル演算子（オペレータ）、キャニー演算子、ピラミッド演算子、ラプラス演算子などを挙げることができる。
【００３５】
短いエッジあるいは断片的なエッジよりもむしろ意味のあるエッジを強める演算子、例えばピラミッド演算子など、が好ましい。この演算子は（キャニー演算子あるいはソーベル演算子など任意の他の適切なエッジ検出手段を用いて）エッジ検出する前に画像のデシメーションを行ない、それにより比較的大きなエッジ特徴のみを検出する。これらの特徴の識別が完了すると、より正確なエッジ評価を本来のスケールの画像に対して行なうという目的で、検出された大きなエッジ特徴に対応する領域においてのみ本来のスケールの画像にエッジ検出を適用する。
【００３６】
オプションとして、画像に見られる大きなエッジ特徴の数が非常に少ない場合に少なくとも最小限の数のエッジを検出できるように、デシメーションの度合いを調整可能としてもよい。
【００３７】
このようにして得られたエッジに対して、サブステップｓ２．２において、画像特徴として次のいずれかあるいはすべてが選択される。
ｉ．実質的に線形なエッジ
ｉｉ．２あるいはそれ以上の線形エッジが交わる点
ｉｉｉ．エッジの組により形成される所定の形状
【００３８】
実質的に線形なエッジは、実質的に同一直線上にある少なくとも３つのエッジ点（即ち、エッジ検出アルゴリズムによってエッジに対応すると識別される点）を有するものと定義される。このような３点は、直線当てはめ（ラインフィッティング）アルゴリズムを用いて評価することができ、所定の許容誤差内の適合度であれば、それらの点は同一直線上にある（共線）と見なされる。次いで、隣接した点を、確立された共線点である２点あるいはそれ以上の点との関連で、あるいは推定された直線に対して、評価することができ、そのようにして線形エッジを大きくし、完成することができる。
【００３９】
オプションとして、線形エッジを選択するために、画像寸法に対して最小の長さのしきい値を設けることもできる。やはりオプションとして、モーションを評価する際に（下記参照）、線形エッジに寄与するエッジ点の数を、比較特徴としてそれに付与する重みあるいは重要さの指標と見なすこともできる。
【００４０】
エッジの組み合わせにより形成される所定の形状は、スケールに依存しないテンプレートマッチングなど任意の適切な画像マッチング手段により識別することができ、あるいは、ハフ（Hough）変換やブレセンハム（Bresenham）変換などの一般化したラインフィッティング手段を用いて識別することもできる。
【００４１】
あるいは、直線、直線の交点および／または形状の認識は、訓練可能な発見的手法によって行なうこともできるし、あるいは製造時に画像プロセッサに組み込まれる人工神経回路網などのアルゴリズムかゲーム機上で現在動作しているアプリケーションにより使用時に構成されるアルゴリズムによって行なうことができる。
【００４２】
次に図５を参照すると、本発明の一実施形態において、ステップｓ３では、解析された各ファセットに関して結果として得られた特徴を用いて、コントローラ１００の位置および方位に関する基準が提供される。
【００４３】
図５に示されているように、解析されたそれぞれのファセットは、環境（例えば、部屋）の幾つかの特徴を二次元に位置決めする手段を提供する。
【００４４】
従って、例えば、画像キューブ４２０の５つのファセットが利用できる場合の運用では、各ファセットの特徴の初期分析を用いて、部屋の環境の中の画像特徴の初期位置が決定され、また、それらの特徴を参照基準とする初期位置および／または方位が確立される。このような初期処理は、例えば、ゲームのキャリブレーション段階あるいはセットアップ段階で実行することができる。
【００４５】
その後の使用において、コントローラ１００のモーションを追跡するために、ステップｓ４で、コントローラ１００の現行（現在の）位置および／または方位を、それらの特徴を参照して再評価することができる。
【００４６】
本発明の一実施形態においては、これを達成するために、所定のファセットに関する方位および位置をそれぞれ決定するために、画像を回転および／または平行移動できる機能のある適用可能な画像変換を用いることができる。
【００４７】
所定のファセット上に連続的に（継続的に）マッピングされる画像に関して、先行する画像をその画像変換によって変形することにより推定（予測）画像を生成し、次いで、その画像を現行（現在の）画像と比較する。次に、推定画像と現行画像との誤差を、画像変換の回転および／または平行移動モデルを制御するパラメータを調整することによって最小化する（勿論、現実問題として、この表現は「減少させる」ことを含んでいる）。これは、傾斜降下法などの誤差最小化法によって行なわれる。
【００４８】
誤差最小化処理が終了する時、回転および／平行移動のパラメータの値が、連続する画像間の区間（インターバル）におけるそのファセット上の特徴に関するコントローラ１００のモーションの指標となる。
【００４９】
次いで、このモーションを複数のファセットにわたって、また、複数の連続する画像フレームにわたって組み合わせることにより、コントローラ１００がどのように使用されているかを解釈する。
【００５０】
例えば、コントローラ１００はゲーム内で仮想的なトーチとして用いられているかもしれず、その場合、コントローラの方位は画面上のキャラクタにより使用されるトーチの方向を知らせるために使用される。同様に、コントローラ１００は銃として用いられているかもしれない。
【００５１】
より一般的には、コントローラ１００をコンピュータのマウスなどのような指示器として用いることができ、異なる方向あるいは方位への動きを、風景をパンするコマンド、あるいはあるテキストをスクロールするコマンド、あるいはゲームパラメータを調整するコマンドなどのコマンドとして解釈することができる。
【００５２】
同様に、コントローラ１００を、特定のアクションとして認識されるモーションパターンを用いて身振り（ジェスチャー）コマンドを与えるために用いることができ、例えば、コントローラ１００をゲームで魔法をかけるための仮想的な魔法の杖として用いることを可能にしたり、ユーザの名前やイニシャルを空中に書いてゲームに組み込むことを可能にしたりする。
【００５３】
コントローラ１００のモーションを利用して、またオプションとしてコントローラ１００の算定速度あるいは加速度を利用することにより、仮想的なゴルフクラブや釣竿、あるいは剣や斧のような戦闘兵器の役割をコントローラ１００が果たすようにすることもできる。
【００５４】
最後の点として、コントローラ１００によって、ゲーム機とのこの対話モードに特有の新しいゲームが可能になる。例えば、狭い径路に沿ったユーザの動きを追跡するために３Ｄ空間におけるコントローラ１００の軌跡を利用する「ワイヤに沿って触らずに進む」仮想ゲームなどである。
【００５５】
察知されるであろうが、上記の利用のあるものの場合、コントローラ１００の動きが９０度もの回転となり、それによって環境の特徴が画像キューブ４２０の異なるファセットにマッピングされる場合があり得る。しかし、画像取得速度が回転速度に比べて速ければ、先に説明したモーションの情報を提供するために依然として画像ごとに追跡できるファセット上の画像領域で特徴が旋回することができ、問題となりそうにない。
【００５６】
あるいは、参照基準である特徴要素のしきい値を超える割合（部分）が現行ファセットの縁に達した場合、マッピングそれ自体を特徴の平行移動の方向に９０度回転することもできる。
【００５７】
更に、このことは、そのような平行移動が平行移動の方向と合致するすべてのファセット上に見いだされ、単にコントローラ１００に関する１つの環境的特徴のモーションではなく、環境内のコントローラ１００のモーションを示している場合にのみ生じ得る。
【００５８】
都合の良いことに、一般的に、多数のファセットによる冗長性によって、コントローラ１００は室内を動く他の人々の存在に対してより頑強となる。
【００５９】
従って、ゲームのコンフィギュレーションセッションの際に、あるいは、コントローラが有意な動きをしていない時に、Ｂファセット、Ｔファセット、ＬファセットおよびＲファセットの概念上の方位をレンズの軸の周りに回転して、部屋などの環境の特徴を、各画像領域の中心に置くことができることが、当業者には明らかであろう。従って、例えば、ユーザがレンズの軸に対して任意の回転方向にコントローラを持ち上げ、窓などの輝度の強い特徴が２つのファセットにより二分されると、それらのファセットを回転してその窓が１つのファセットの中心となるようにすることができ、それによって、画像ファセットと部屋の壁との間にふさわしい相関関係を確立し、以後のモーションの追跡を単純化することができる。
【００６０】
本発明の別の実施形態では、コントローラ１００の広角レンズ１０１と反対の端部にある固定手段（図示されていない）に、ゲーム内の使用物（魔法の杖や、剣や、ゴルフクラブなど）を表わす装飾的な要素を付着することができる。この実施形態では、ユーザが装飾要素がユーザから離れる方を向くようにコントローラを保持する場合、識別されるエッジ特徴がユーザを含んだり、時々ユーザによって不明瞭となったりすることは明らかである。しかし、先に注目したように、ファセットを画像キューブ２２０として配列することは、利用できる特徴の数に冗長性があることを意味し、時々不明瞭になるエッジに対して位置および／または方位の決定を頑強なものとする。
【００６１】
更に別の実施形態では、ゲームに適切な使用モード（例えば、１つのファセットを無視するモードや生ビデオデータを伝送するモードなど）を決定するためのスイッチ手段を固定手段が有しており、装置が適切に構成されるように装飾要素はそのスイッチ手段に係合する形状とされている。
【００６２】
それと異なり、あるいはそれに加えて、本発明の一実施形態では、伝送手段１０４が受信手段をも有しており、ホストデータ処理装置からコンフィギュレーションデータを受信して、補足的なビデオデータを伝送すべきかどうかやあるファセットだけを処理すべきかどうかなどといった、使用モードを決定するように動作することができる。
【００６３】
次に、図６を参照すると、本発明の一実施形態では、コントローラ１００が第２のモードで使用することができ、その第２モードでは手に保持される代わりに、１人のプレイヤーの前の床、あるいは２人以上のプレイヤー間の中心の床などの面に置かれる。この動作モードで得られる広角画像は、画像の中心点の周りに歪んだプレイヤーを示す。領域Ｆ、Ｂ、Ｔ、ＬおよびＲを対応する平面にマッピングすることにより歪みが除去され、各プレイヤーが画像キューブ６２０の別個のファセットに配置される。
【００６４】
プレイヤーがコントローラの周りに均等に配置されていない場合、先に説明されたような画像特徴の検出を利用して各プレイヤーを取り囲む領域を決定し、対応するファセットにマッピングすることができることは、明らかであろう。
【００６５】
同様に、４人以上のプレイヤーの場合、オプションとして、キューブに代えてプレイヤーと同じ数の側面を有する多角柱を用いることができることも明らかであろう。４人より少ないプレイヤーの場合は未使用の領域は無視することができ、３人の場合はオプションとして三角柱を用いることができる。
【００６６】
この動作モードにおいて、先に説明された方法を用いて得られる画像特徴は、各プレイヤーの輪郭のすべてあるいは一部を含んでいる。これらの特徴を追跡することにより、プレイヤーの動きが明らかにされる。次いで、これらの動きは、例えばダンスの動きやスパーリングの動きなど、ゲームに関連したアクションとして解釈することができる。
【００６７】
それで、図７を参照して、この実施形態における動作方法次のように要約することができる。画像をマッピングし、画像特徴を得るステップは、手に保持するモード（ハンドヘルドモード）の場合のコントローラについて先に説明したものと実質的に同じである。
【００６８】
次に、ステップｓ３Ａで、プレイヤーあるいは複数のプレイヤーに関連した画像特徴が識別される。例えば、ゲームのコンフィギュレーションセッションの際に、あるいはウォームアップ段階の一部として、各プレイヤーに手足の各々を順に動かすように要請することにより、当該の手足に対応する有意なエッジの識別が可能となる。代わりに、あるいはそれに加えて、骨格モデルに最も一致するエッジを、基準画像特徴として選択する。このようにして、プレイヤーの身体のすべてあるいは一部をゲームの目的のために識別することができる。
【００６９】
ステップｓ４Ａでは、プレイヤーあるいは複数のプレイヤーの動きが追跡される。これは、コントローラに関して全体的な動きを決定するためのハンドヘルドモードのステップｓ４の場合のように行なうことができ、および／または、各プレイヤーの画像特徴（例えば、１つあるいはそれ以上の肢体の中心線の推定値など）をそのエッジに基づいてパラメータ記述することによって行なうことができる。ラインモーションを特徴付けるための他の方法は当業者には明らかであろう。
【００７０】
ステップｓ５Ａでは、プレイヤーの動きの情報がホストデータ処理装置、今の場合はゲーム機、に伝送される。
【００７１】
オプションとして、プレイヤーを描写した画像データも伝送することができ、それによってプレイヤーをゲーム内に組み込むことが可能となる。プレイヤーを別々のファセットにマッピングすることにより、部屋におけるプレイヤーの物理的な配置にかかわらず、プレイヤーを側面ごとに表示すること、あるいは任意の画面上の配列で表示することが容易となる。
【００７２】
各プレイヤーに関して十分な解像度の画像データを提供するために、撮像手段１０２が高解像度ＣＣＤであることが好ましいことは明らかであろう。例えば、現行のアイトイ（登録商標）装置のＣＣＤの場合の６４０×４８０ピクセルの解像度に対し少なくとも５倍の解像度であることが好ましく、その場合、好ましいＣＣＤ解像度は少なくとも１．５メガピクセルとなる。そこで本発明の一実施形態では互換モードも利用でき、その場合、アイトイ（登録商標）装置の出力に対して互換の（すなわち、下位互換の）データを提供するために、１つのファセットだけが処理される。
【００７３】
ハンドヘルド動作モードあるいは中央設置動作モードのどちらに関しても、処理方法がコントローラの画像処理プロセッサとホストデータ処理装置の画像処理プロセッサで共通である場合、コントローラによって伝送されるデータは、ホストデータ処理装置上で実行されている方法の次のステップに対する入力として十分に役立つデータである。生画像データや処理されたモーションデータのほかに、中間データもそのようなデータとなり得る。
【００７４】
従って、本発明の実施形態において、任意の適切な仕方で画像処理およびそれに必要な手段をコントローラ１００内に置くこともできればホストデータ処理装置１１０内に置くこともでき、あるいはそれら２つの間に分散できることは明らかであろう。同様に、コントローラ１００およびホストデータ処理装置１１０の両方が完全な画像処理プロセッサ（１０３，１１３）を有することができるが、ここに説明された画像処理方法はもっぱらプロセッサのどちらかによって実行することもできるし、２つのプロセッサで分担することもできる。例えば、コントローラの画像処理プロセッサ１０３が広角画像を５つのファセットにマッピングし、次にそれらをホストデータ処理装置の画像処理プロセッサに伝送して更に処理することができる。
【００７５】
このように、本発明は任意の適切な仕方で実行して、コントローラとホスト処理装置との間に適切な装置あるいは動作を提供することができる。特に、コントローラという形態の単一個別要素として構成することができ、あるいは従来のホストデータ処理装置に追加される１つあるいはそれ以上の付加的要素に接続することもできる。あるいは、従来のホストデータ処理装置の既存部品を更に適応させることによって、例えば画像処理プロセッサ１１３に関するソフトウェアの再構成などによって、実現することもできる。
【００７６】
このように、従来のホストデータ処理装置の既存部品を適応させることには、その中の１つあるいはそれ以上のプロセッサの再プログラミングを含めることができる。そのような場合、必要とされる適応はコンピュータプログラム製品の形態で実現することができ、その製品は、フロッピー（登録商標）ディスク、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、あるいはこれらあるいは他の記憶媒体の任意の組み合わせなどのデータ媒体に記憶されたプロセッサ実行可能命令、あるいはイーサネット（登録商標）、無線ネットワーク、インターネットあるいはこれらあるいは他のネットワークの任意の組み合わせによるネットワーク上のデータ信号によって伝送されたプロセッサ実行可能命令を含むものである。
【００７７】
最後に、本発明のそれぞれの実施形態によれば次の利点の幾つかあるいはすべてを実現できることが明らかであろう。
ｉ．  ゲーム機などのデータ処理装置との対話方法であって、広角画像の１つあるいはそれ以上の領域を対応する１つあるいはそれ以上の平坦な画像平面にマッピングすることにより、それらの平面を部屋のトポロジーあるいはプレイヤーの位置を反映するように配列することができる対話方法。
ｉｉ．  広角画像に特有な位置に依存する歪みを減少させることにより、平坦な画像平面によって画像特徴の整合的な解析が可能となり、そしてその結果ゲームなどのプロセスへのモーションの入力が可能である対話方法。
ｉｉｉ．  環境の画像を解析することにより環境内の自由な動きを検出することが可能なハンドヘルドコントローラ。
ｉｖ．  使用される環境特徴の冗長性のゆえに環境内の閉鎖状態および局所的なモーションに対して頑強なコントローラ。
ｖ．広角画像を作り出すコントローラであって、その広角画像をマッピングして、ゲーム内に典型的には複数のプレイヤーを再生するために環境の別々の光景を提供することができ、ゲーム内に複数のプレイヤーを歪み無く表示することができるコントローラ。
【図１】
0005508007.tif 000002
【図２】
0005508007.tif 000003
【図３】
0005508007.tif 000004
【図４】
0005508007.tif 000005
【図５】
0005508007.tif 000006
【図６】
0005508007.tif 000007
【図７】
0005508007.tif 000008