(57)【要約】  対話型娯楽システムは、周囲環境を提供する複数の装置と、ユーザのジェスチャを検出するジェスチャ検出手段と、ジェスチャ検出手段からの出力を受信し少なくとも１つの装置と通信する制御手段とを有する。制御手段は、その出力から周囲環境の位置を得てジェスチャ検出手段の出力に応じてその判定した位置における１つ又は複数の装置の動作を変更するよう構成される。
2009505207.tif 000002
【特許請求の範囲】
【請求項１】
周囲環境を提供する複数の装置と、ユーザのジェスチャを検出するジェスチャ検出手段と、前記ジェスチャ検出手段からの出力を受信し少なくとも１つの装置と通信する制御手段とを有する対話型娯楽システムであって、前記制御手段は、前記出力から前記周囲環境の位置を得て前記ジェスチャ検出手段の出力に応じてその判定した位置における１つ又は複数の装置の動作を変更するよう構成される、システム。
【請求項２】
請求項１に記載のシステムであって、前記ジェスチャ検出手段は、前記ユーザのジェスチャの方向成分を検出するよう構成される、システム。
【請求項３】
請求項２に記載のシステムであって、前記ユーザのジェスチャの前記方向成分は、前記複数の装置のうちのどの装置が動作を変更するかを決める、システム。
【請求項４】
請求項１，２又は３に記載のシステムであって、前記ジェスチャ検出手段は、前記ユーザのジェスチャの動き成分を検出するよう構成される、システム。
【請求項５】
請求項４に記載のシステムであって、前記ユーザのジェスチャの前記動き成分は、前記装置の動作の変化の性質を決める、システム。
【請求項６】
請求項１ないし５のうちいずれか１つに記載のシステムであって、前記装置は、規定位置においてイベントを演出するよう構成され、前記制御手段は、前記規定位置が前記ジェスチャ検出手段の出力から得られる位置に合致しているかどうかを確認するよう構成される、システム。
【請求項７】
請求項１ないし６のうちいずれか１つに記載のシステムであって、前記ジェスチャ検出手段は、１つ又は複数のウェラブル検出構成部を有する、システム。
【請求項８】
周囲環境を提供するよう複数の装置を動作させること、ユーザのジェスチャを検出すること、前記周囲環境における位置を検出すること、及び当該検出されたジェスチャに応じて当該判定位置における１つ又は複数の装置の動作を変更することを有する、対話型娯楽システムを動作させる方法。
【請求項９】
請求項８に記載の方法であって、前記ユーザのジェスチャの検出は、前記ユーザのジェスチャの方向成分を検出することを有する、方法。
【請求項１０】
請求項９に記載の方法であって、前記ユーザのジェスチャの前記方向成分は、前記複数の装置のうちのどの装置が動作を変更するかを決める、方法。
【請求項１１】
請求項８，９又は１０に記載の方法であって、前記ユーザのジェスチャの検出は、前記ユーザのジェスチャの動き成分を検出することを有する、方法。
【請求項１２】
請求項１１に記載の方法であって、前記ユーザのジェスチャの前記動き成分は、前記装置の動作の変化の性質を決める、方法。
【請求項１３】
請求項８ないし１２のうちいずれか１つに記載の方法であって、規定位置においてイベントを演出すること、及び前記規定位置が当該判定された位置と合致するかどうかを確認することをさらに有する方法。
【請求項１４】
請求項８ないし１３のうちいずれか１つに記載の方法であって、前記ユーザのジェスチャの検出は、１つ又は複数のウェラブル検出構成部から読み取り値を得ることを有する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対話型娯楽システム及び対話型娯楽システムを動作する方法に関する。
【背景技術】
【０００２】
数多くの様々なタイプの娯楽システムが知られている。従来のテレビからパーソナルコンピュータ及びゲーム盤まで、このような装置において対話型ゲームが利用可能である。こうしたシステム及びこうしたシステムと相互動作するユニットの開発は進展中である。例えば、Marie-Louise Rinman氏らによるProceedings of the Stockholm Music Acoustics Conference, August 6-9, 2003 (SMAC 03), Stockholm, Swedenの「EPS - an interactive collaborative game using non-verbal communication」は、ＥＰＳ（expressive performance space）と呼ばれている対話型ゲーム環境を記述しており、ＥＰＳは、非言語感情表現を用いた活動の参加者を含む。２つのチームは、競い合うために音声か又は身体の動きによる表現ジェスチャを用いる。各チームは、マイクに向かって歌を歌うか又はビデオカメラの前で動くことにより制御されるアバタを有する。参加者／プレーヤは、音響又はモーションキューを用いることによりそれらのアバタを制御する。このアバタは、３次元分布された仮想環境において誘導／運動させられる。音声入力は、テンポ、音声レベル及びアーティキュレーションのような性能変数や感情予測をもたらす音楽キュー分析モジュールを用いて処理される。同様に、ビデオカメラから取り込まれた動きは、種々の動きのキューに関して分析される。
【０００３】
このシステム及びソニーのＥｙｅｔｏｙ製品のような同様のシステムは、参加者の動きに応じてユーザを表すアバタの表示画面を変更するために１つ又は複数の個人の動きを検出する。ユーザの動きは、対話動作しているゲームにより提供される仮想世界に影響を及ぼすことに限定されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、本発明の目的は、既知の技術を改良することである。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によれば、周囲環境を提供する複数の装置と、ユーザのジェスチャを検出するジェスチャ検出手段と、前記ジェスチャ検出手段からの出力を受信し少なくとも１つの装置と通信する制御手段とを有する対話型娯楽システムであって、前記制御手段は、前記出力から前記周囲環境の位置を得て前記ジェスチャ検出手段の出力に応じてその判定した位置における１つ又は複数の装置の動作を変更するよう構成され、前記装置（１２）は、規定位置におけるイベントを演出するよう構成され、前記制御手段（１８）は、前記規定位置が前記ジェスチャ検出手段（１６）の出力から得られる位置と合致するかどうかを確認するよう構成される、システムが提供される。
【０００６】
本発明の第２の態様によれば、周囲環境を提供するよう複数の装置を動作させること、規定位置におけるイベントを演出すること、ユーザのジェスチャを検出すること、前記周囲環境における位置を検出すること、前記規定位置がその判定された位置と合致するかどうかを確認すること、及び当該検出されたジェスチャに応じて当該判定位置における１つ又は複数の装置の動作を変更することを有する、対話型娯楽システムを動作させる方法が提供される。
【０００７】
本発明により、ユーザによりなされるジェスチャが周囲環境における特定の箇所に関係するものと解釈されることになるユーザを取り巻く周囲環境を提供する装置のセットを提供することができ、これに従ってこの特定の箇所における装置が変更される。ユーザに対してかなり没入した経験が与えられ、例えばゲームの仮想世界がユーザの実世界へと拡張される。
【０００８】
ジェスチャ認識及び演出エンジンの組み合わせは、周囲環境周辺におけるトリガ効果に基づいて創造的ゲーム又はエンターテイメントの形態を形成するために用いられる。例えばユーザに対して手の動きを検出することにより、当該空間における適切な箇所に差し向けられた効果の演出を始動させるためにアクションを作ることができる。これらは、それら箇所において又は単にそれら自体で生じるイベントに応答するものとすることができる。
【０００９】
身体上の（又はプレーヤにより保持された装置における）多数のセンサは、ジェスチャマップ化器（gesture mapper）にフィードバックを提供する。これは、プレーヤ又はリモートホストマシン上にあるようにすることができる。これは、例えば、重力加速度、基準のポイントに対する位置、接合の角度などのセンサ入力を、プレーヤ動作のモデルを形成するために用いる。したがって、例えばこれは、ステレオタイプの値のセットに対して整合可能なプレーヤの現在のスタンスを動かすことができる。
【００１０】
そして、プレーヤが存在することのできるこれら状態の各々は、内容の特定の断片のためのトリガとして演出すべき内容の箇所を示すために用いることができる。必須ではないが、ゲームは、プレーヤの動作に反応するシステムの一部として動作するものとすることができる。このゲームはまた、トリガイベントを提供することもでき、これらはまた、例えばイベントのレートを変更したり或いはスコアを計算するゲーム状態により変更可能である。
【００１１】
有利なのは、前記ジェスチャ検出手段は、前記ユーザのジェスチャの方向成分を検出するよう構成され、前記ユーザのジェスチャの前記方向成分は、前記複数の装置のうちのどの装置が動作を変更するかを決めることである。ユーザのジェスチャの支配的な方向を検出しユーザのジェスチャの方向に対応する領域に位置する装置又は複数の装置を識別することによって、対話型の経験は容易に演出される。
【００１２】
好ましくは、前記ジェスチャ検出手段は、前記ユーザのジェスチャの動き成分を検出するよう構成され、前記ユーザのジェスチャの前記動き成分は、前記装置の動作の変化の性質を決めるのが良い。
【００１３】
ユーザの動作は、制御手段のロケーションモデル（例えばコンパスポイントを用いたもの）において用いられる周囲環境の領域にマップ化され、イベントが発生されそれらロケーションにおいて実行される。例えば、これにより、ユーザは、魔法使いの配役のひと仕事の役目を担うことができる。これらは、それら周辺の空間においる様々な効果をもたらす。種々の仕事は、例えばジェスチャを異ならせること、メニューから選択し又は代替えのボタンを押すことを用いる或る範囲の手段により選択可能である。兵器を発射すること又は軟らかい物体を投げることをも含む同様のゲームを想定することができる。
【００１４】
一実施例において、前記ジェスチャ検出手段は、１つ又は複数のウェラブル検出構成部を有する。ユーザの動きは、例えば、手袋内の加速度計又は制御装置を用いて又はウェブカムからの視覚的追跡により、多くの手法により検出可能である。また、センサジャケットのようなウェラブル動きセンサ装置もこのような動きを検出するために用いることができる。
【００１５】
以下、本発明の実施例を添付図面を参照しつつ専ら例示により説明する。
【発明を実施するための最良の形態】
【００１６】
図１及び図２に示される対話型娯楽システム１０は、ユーザ１４を取り巻く周囲環境を提供する複数の装置１２を有する。装置１２の各々は、当該環境の１つ又は複数の様相を提供することができ、ライト、ディスプレイ、スピーカ、ヒータ、ファン、備品アクチュエータ、プロジェクタなどのような電子的、機械的かつ機構の装置により作ることができる。図１には、星の集まりを示す投射光ディスプレイ１２ａが描かれている。図２には、ヒータ１２ｂ及びランプ１２ｃが示される。
【００１７】
システム１０はまた、ユーザ１４のジェスチャを検出するためのジェスチャ検出手段１６と、ジェスチャ検出手段（ＧＤＭ）１６からの出力を受信する制御手段１８とを含む。ジェスチャ検出手段１６はまた、ウェアラブル検出部２０も含む。ジェスチャ検出手段１６は、ユーザの動きを識別するためにカメラ及び画像検出ソフトウェアを用いて単独で機能することができ、或いは特定の構成部２０を持つユーザの手足の動きを監視することのできるウェアラブル構成部２０から無線リンクを介して受信されるデータに基づくものとすることができる。ジェスチャの検出はまた、画像形成と構成部２０からのフィードバックとの組み合わせによるものとすることができる。
【００１８】
制御手段１８は、周囲環境を発生している装置１２と通信するためのものであり、この環境における装置１２の制御は、多くの異なる方法により構成可能であり、例えば、コマンド命令により直接的に、或いは受信装置により解釈される総称により間接的に可能である。
【００１９】
制御手段１８は、ジェスチャ検出手段１６の出力から周囲環境における位置を得るように構成される。図１に示される例では、ユーザ１４は、自分の腕により特定のジェスチャをなしており、これは、当該環境の領域ＮＥにおける星の所望に対応するものとして識別される。
【００２０】
これは、星構成部にリンクされる検出されるユーザジェスチャに関する記憶データ１１に対応する。これは、エンジン１８に通る「星ＮＥ」により構成されるイベント１３を導く。これは、ジェスチャ検出手段１６の出力に応じて、判定された位置において１つ又は複数の装置の動作を変更するために用いられる。かかる変更が行われるためのメカニズムは、システム１０のセットアップに応じて、多数の異なる方法のうちの１つとすることができる。エンジン１８は、システム１０における装置の詳細パラメータ命令を発生することができ、或いは可能な程度において受信装置により演出されるべき１つ又は複数の装置に通される新しいオブジェクト（又はエンジン１８により変更された現行のもの）が形成可能である。後者のシステムの例は、例えば、国際特許出願に係る文献のＷＯ０２／０９２１８３から知られている。
【００２１】
２つのさらに記憶されるビットのデータは、異なるユーザジェスチャに対応する音声構成部のブーム音及びさらに第３のジェスチャに対応する第３の構成部のフラッシュとともに示される。
【００２２】
ジェスチャ検出手段１６は、ユーザジェスチャの方向成分２２（図２に示される）を検出するよう構成可能である。ユーザジェスチャの方向成分２２は、周囲環境を発生する装置のうちどの装置１２が動作を変更するかを決める。ジェスチャ検出手段１６はまた、ユーザジェスチャの動き成分２４を検出することもできる。ユーザジェスチャの動き成分２４は、当該装置の動作の変化の性質を判定するために用いることができる。
【００２３】
図２において、ユーザ１４は、自分の右手により螺旋状のジェスチャをなし、そしてランプ１２ｃの方向に指し示している。この螺旋状のジェスチャは、ジェスチャの動き成分２４であり、その指向は、ジェスチャの方向成分２２である。方向成分２２は、ジェスチャ検出手段１６により検出されることになり、制御手段はこれを装置１２ｃの動作の変更に変換し、方向成分２２は、変更すべき装置の位置を示すものとなっている。動き成分２４は、ユーザがなした動作のタイプを示し、この例では螺旋状のジェスチャが発射の仕草の配役に対応するものとすることができ、ランプ１２ｃの動作の変更は、その発射の仕草を反映するよう赤及びオレンジに光るようにすることができる。
【００２４】
本システムは、プレーヤの動作により打ち返され又は変更される必要のある位置に効果を形成することによりプレーヤ動作のキューを形成することができる。これは、どちらかと言えば３次元形態の「モグラ叩き」のようなものである。システム１０における装置１２は、規定される位置においてイベントを演出するように構成され、制御手段１８は、当該規定された位置がジェスチャ検出手段１６の出力から得られた位置と合致するかどうかを確認するように構成される。
【００２５】
本システムは、実世界空間に位置付けられる物理的経験に基づいて娯楽の創作を可能とする。これは、必ずしも常にではないが、概して表示内容の近辺に基づいて、娯楽体験の新しい形態の機会を解放するものである。本システムは、ユーザが空間に立ち爆発や稲妻、緑のスライムを投げることを可能にすることをサポートするものである。
【００２６】
また、この形態のインターフェースは、当該体験（指揮者のようなもの）の部分を調整するためにジェスチャを用いて創造システムに作用させるための創始環境において用いることができることも可能性としてある。また、他の装置の制御のための新規な対話動作メタファのための可能性を広げるものである。
【００２７】
図３は、各装置の動作の方法を要約して示している。この方法は、周囲環境を提供するよう複数の装置を動作すること（ステップ３１０）、当該ジェスチャの方向及び動き成分をオプションとして含むユーザのジェスチャを検出すること（ステップ３１４）、周囲環境の位置を判定すること（ステップ３１６）、及び検出したジェスチャに応じて判定した位置の１つ又は複数の装置の動作を変更すること（ステップ３１８）を有する。本方法はまた、規定された位置におけるイベントを演出すること、及び当該規定位置が判定された位置と合致するかどうかを確認すること（ステップ３１２）を含むことができる。
【図面の簡単な説明】
【００２８】
【図１】対話型娯楽システムの概略図。
【図２】対話型娯楽システムの図１と同様の図。
【図３】対話型娯楽システムを動作する方法のフローチャート。
【図１】
2009505207.tif 000003
【図２】
2009505207.tif 000004
【図３】
2009505207.tif 000005
【国際調査報告】
2009505207.tif 000006
2009505207.tif 000007
2009505207.tif 000008