(57)【要約】  タッチ画面及び動作センサ（１０１）を有する制御機器（３００）は、画面がユーザーに向いている状態で一方の手において保持される。好ましくは、制御機器（３００）のタッチ画面センサ（１０２）上での、制御機器（３００）を保持する手の親指動作は、アバターの動作及びアニメーションを制御する入力であり、アバターの動作は、制御機器のタッチ画面又は一実施形態では外部表示機器（３５０）に表示される。本発明の重要な態様は、制御機器（３００）を傾斜させ、角回転速度を生じさせることであり、これは、ゲームのスローイング、キック、シュート又は他の動作等のゲームイベントをトリガすることができる。
2019535347.tif 000002
【特許請求の範囲】
【請求項１】
ゲームを制御するシステムであって、
動作センサ及びタッチ画面を有する制御機器と、
ゲームプロセッサと、
表示機器と
を含み、前記ゲームプロセッサは、前記ゲームを、ゲームイベントをシミュレート及びアニメートするために前記動作センサから取得された傾斜ジェスチャに関する動作センサデータと、前記表示機器上でのアバターの配置を提供するために前記タッチ画面から取得されたタッチセンサデータとに少なくとも部分的に基づいて描画する、システム。
【請求項２】
前記ゲームプロセッサは、モバイル機器から分離されている、請求項１に記載のシステム。
【請求項３】
前記制御機器は、スマートフォンである、請求項１に記載のシステム。
【請求項４】
前記表示機器は、前記モバイル機器の外部にある、請求項１に記載のシステム。
【請求項５】
前記動作センサは、前記制御機器の外部にある動作センサを含む、請求項１に記載のシステム。
【請求項６】
前記制御機器は、ポートレートモードで保持される、請求項１に記載のシステム。
【請求項７】
前記制御機器は、一方の手で保持される、請求項１に記載のシステム。
【請求項８】
前記動作センサは、ジャイロスコープ及び加速度計を含む、請求項１に記載のシステム。
【請求項９】
傾斜ジェスチャに関する動作センサデータは、計算された角速度を含む、請求項１に記載のシステム。
【請求項１０】
前記ゲームプロセッサは、前記計算された角速度が所定の閾値を超えるか否かを判定することにより、前記ゲームイベントをシミュレート及びアニメートし、且つ超える場合に前記ゲームイベントを選択する、請求項９に記載のシステム。
【請求項１１】
前記計算された角速度は、計算された最大角速度を含む、請求項９に記載のシステム。
【請求項１２】
前記シミュレート及びアニメートされたゲームイベントは、バスケットボールをシュートすること、アメリカンフットボールをスローイングすること及びボウリングボールを投球することの１つのアニメーションをもたらす、請求項１に記載のシステム。
【請求項１３】
前記ゲームプロセッサは、物理エンジンを含み、及び前記計算された最大角速度は、前記物理エンジンに入力される、請求項１１に記載のシステム。
【請求項１４】
前記シミュレート及びアニメートされたゲームイベントは、前記計算された最大角速度に比例する初速を有する仮想オブジェクト軌道の描画を含む、請求項１１に記載のシステム。
【請求項１５】
前記シミュレート及びアニメートされた所定のゲームイベントは、ゴルフボールを打つこと、テニスボールを打つこと、野球ボールを投球すること、野球ボールを打つこと、ホッケーパックを打つこと、サッカーボールを蹴ること、釣り竿をキャスティングすること及びボクシングのパンチの１つのアニメーションをもたらす、請求項１に記載のシステム。
【請求項１６】
動作センサは、重力センサを含む、請求項１に記載のシステム。
【請求項１７】
傾斜ジェスチャに関する動作センサデータは、前記制御機器のＸ軸に対する計算された回転角度を含む、請求項１に記載のシステム。
【請求項１８】
前記シミュレート及びアニメートされたゲームイベントは、計算された回転角度に比例する方向を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項１７に記載のシステム。
【請求項１９】
前記表示機器上でのアバターの前記配置は、前記タッチ画面上でのタッチの相対位置の変化に少なくとも部分的に対応する、請求項１に記載のシステム。
【請求項２０】
前記ゲームプロセッサは、前記傾斜ジェスチャの強度の指示を提供するフィードバックメーターを更に表示する、請求項１に記載のシステム。
【請求項２１】
前記ゲームプロセッサは、前記傾斜ジェスチャの方向の指示を提供するフィードバックメーターを更に表示する、請求項１に記載のシステム。
【請求項２２】
ゲームを制御する方法であって、
ゲーム制御機器から動作センサデータ及びタッチセンサデータを取得することと、
前記取得された動作センサデータ及び前記タッチセンサデータに少なくとも部分的に基づいて前記ゲームを制御することと
を含み、前記タッチセンサデータは、表示機器上でのアバターの配置を制御し、及び前記動作センサデータは、ゲームイベントを制御する、方法。
【請求項２３】
前記取得された動作センサデータは、傾斜ジェスチャに関する、前記ゲーム制御機器のジャイロスコープ及び加速度計から取得されたデータを含む、請求項２２に記載の方法。
【請求項２４】
前記取得されたタッチセンサデータは、前記ゲーム制御機器のタッチ画面から取得されたデータを含む、請求項２２に記載の方法。
【請求項２５】
前記取得された動作センサデータは、前記ゲーム制御機器のジャイロスコープ及び加速度計から取得されたデータを含み、及び前記取得されたタッチセンサデータは、前記ゲーム制御機器のタッチ画面から取得されたデータを含み、前記データは、前記制御機器がユーザーの単一の手で保持されている間に取得される、請求項２２に記載の方法。
【請求項２６】
前記制御機器は、ポートレートモードで保持される、請求項２５に記載の方法。
【請求項２７】
前記タッチセンサデータは、保持している手の親指タッチに対応する、請求項２２に記載の方法。
【請求項２８】
前記動作センサデータを取得する前に、前記ゲーム制御機器のジェスチャについて前記制御機器の角速度データを計算することを更に含み、前記取得された動作センサデータは、前記制御機器の前記計算された角速度データを含む、請求項２２に記載の方法。
【請求項２９】
計算された角速度は、計算された最大角速度を含む、請求項２８に記載の方法。
【請求項３０】
前記計算された最大角速度は、物理エンジンに入力される、請求項２９に記載の方法。
【請求項３１】
前記イベントは、バスケットボールをシュートすること、アメリカンフットボールをスローイングすること及びボウリングボールを投球することの１つである、請求項２２に記載の方法。
【請求項３２】
前記ゲームを制御することは、前記取得されたタッチセンサデータ及び前記動作センサデータを用いて、ゲームプレイの異なる側面を同時に制御することを含む、請求項２２に記載の方法。
【請求項３３】
前記ゲームを制御することは、計算された最大角速度に比例する初速を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項３１に記載の方法。
【請求項３４】
前記イベントは、ゴルフボールを打つこと、テニスボールを打つこと、野球ボールを投球すること、野球ボールを打つこと、ホッケーパックを打つこと、サッカーボールを蹴ること、釣り竿をキャスティングすること及びボクシングのパンチの１つである、請求項２２に記載の方法。
【請求項３５】
動作センサデータは、重力センサデータを含む、請求項２２に記載の方法。
【請求項３６】
傾斜ジェスチャに関する動作センサデータは、前記制御機器のＸ軸に対する計算された回転角度を含む、請求項２３に記載の方法。
【請求項３７】
前記ゲームを制御することは、計算された回転角度に比例する方向を有する仮想オブジェクト軌道を描画することを含む、請求項２３に記載の方法。
【請求項３８】
前記タッチセンサデータは、前記タッチ画面の連続的なタッチに対応し、それにより、前記アバターの前記配置は、前記連続的なタッチの持続時間にわたる前記タッチ画面上での前記タッチの相対位置の変化に比例する、請求項２２に記載の方法。
【請求項３９】
前記ゲームを制御することは、ジェスチャの強度に関する視覚的フィードバックをユーザーに提供するグラフィックを描画することを含む、請求項２２に記載の方法。
【請求項４０】
前記ゲームを制御することは、ジェスチャの方向に関する視覚的フィードバックをユーザーに提供するグラフィックを描画することを含む、請求項２２に記載の方法。
【請求項４１】
前記ゲームは、格闘ゲームである、請求項２２に記載の方法。
【請求項４２】
前記ゲームは、仮想現実ゲームである、請求項２２に記載の方法。
【請求項４３】
ゲームを制御する方法であって、
傾斜ジェスチャに関する動作センサデータをゲーム制御機器から取得することと、
前記取得された動作センサデータから前記制御機器の最大角速度を計算することと、
前記計算された最大角速度に少なくとも部分的に基づいて前記ゲームを制御することと
を含む方法。
【請求項４４】
前記ゲームを制御することは、前記計算された最大角速度が所定の閾値を超えるか否かを判定し、且つ超える場合に所定のゲームイベントを選択することを含む、請求項４３に記載の方法。
【請求項４５】
前記ゲームを制御することは、バスケットボールをシュートすること、アメリカンフットボールをスローイングすること及びボウリングボールを投球することの１つのアニメーションをもたらす、請求項４３に記載の方法。
【請求項４６】
前記計算された最大角速度は、物理エンジンに入力される、請求項４３に記載の方法。
【請求項４７】
前記ゲームを制御することは、前記計算された最大角速度に比例する初速を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項４３に記載の方法。
【請求項４８】
前記取得された動作センサデータは、前記ゲーム制御機器のジャイロスコープ及び加速度計から取得されたデータを含む、請求項４３に記載の方法。
【請求項４９】
前記取得された動作センサデータは、加速度計データに低域通過フィルタを適用することによって取得されたデータを含む、請求項４８に記載の方法。
【請求項５０】
前記動作センサデータを取得する前に、前記ゲーム制御機器のジェスチャについて、Ｘ軸に対する前記制御機器の回転角度を計算することを更に含み、前記取得された動作センサデータは、前記制御機器の計算された回転角度データを含む、請求項４３に記載の方法。
【請求項５１】
前記イベントは、前記計算された回転角度データに比例する方向を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項５０に記載の方法。
【請求項５２】
前記ゲームを前記制御することは、テニスボールを打つこと、野球ボールを投球すること、野球ボールを打つこと、ホッケーパックを打つこと、サッカーボールを蹴ること、釣り竿をキャスティングすること及びボクシングのパンチの１つのアニメーションをもたらす、請求項４３に記載の方法。
【請求項５３】
描写されたグラフィックは、ジェスチャの強度に関する視覚的フィードバックをユーザーに提供する、請求項４３に記載の方法。
【請求項５４】
描写されたグラフィックは、ジェスチャの方向に関する視覚的フィードバックをユーザーに提供する、請求項５０に記載の方法。
【請求項５５】
前記ゲームは、格闘ゲームである、請求項４３に記載の方法。
【請求項５６】
前記ゲームは、仮想現実ゲームである、請求項４３に記載の方法。
【請求項５７】
ゲームを制御する方法であって、
傾斜ジェスチャに関する動作センサデータをゲーム制御機器から取得することと、
前記取得された動作センサデータから前記制御機器の最大角速度を計算することと、
前記計算された最大角速度に少なくとも部分的に基づいて前記ゲームを制御することと、
前記傾斜ジェスチャの強度の指示を提供するフィードバックメーターを表示することと
を含む方法。
【請求項５８】
前記ゲームを制御することは、前記計算された最大角速度が所定の閾値を超えるか否かを判定し、且つ超える場合に所定のゲームイベントを選択することを含む、請求項５６に記載の方法。
【請求項５９】
前記ゲームを制御することは、バスケットボールをシュートすること、アメリカンフットボールをスローイングすること及びボウリングボールを投球することの１つのアニメーションをもたらす、請求項５６に記載の方法。
【請求項６０】
前記ゲームを制御することは、前記計算された最大角速度に比例する初速を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項５６に記載の方法。
【請求項６１】
前記取得された動作センサデータは、前記ゲーム制御機器のジャイロスコープ及び加速度計から取得されたデータを含む、請求項５６に記載の方法。
【請求項６２】
前記動作センサデータを取得する前に、前記ゲーム制御機器のジェスチャについて、Ｘ軸に対する前記制御機器の回転角度を計算することを更に含み、前記取得された動作センサデータは、前記制御機器の計算された回転角度データを含む、請求項５６に記載の方法。
【請求項６３】
イベントは、前記計算された回転角度データに比例する方向を有する仮想オブジェクト軌道を描画することを少なくとも部分的に含む、請求項６１に記載の方法。
【請求項６４】
前記ゲームを前記制御することは、テニスボールを打つこと、野球ボールを投球すること、野球ボールを打つこと、ホッケーパックを打つこと、サッカーボールを蹴ること、釣り竿をキャスティングすること及びボクシングのパンチの１つのアニメーションをもたらす、請求項５６に記載の方法。
【請求項６５】
クラウドベースのゲームシステムであって、
それぞれ動作センサ及びタッチ画面を有する複数の制御機器と、
ゲームルールエンジンを含むゲームサーバと、
複数の表示機器と
を含み、前記複数の制御機器及び表示機器は、インターネットを介して前記ゲームサーバに接続され、
前記ゲームルールエンジンは、並行してプレイされる複数のゲームについて、複数のユーザーのためのゲームプレイを管理し、各ユーザーは、各ゲームのプレイを制御する制御機器の１つを使用し、
前記ゲームサーバは、プレイされている各ゲームを制御するために前記制御機器の各々から動作センサデータセンサデータを受信し、前記動作センサデータは、各ゲームについてゲームイベントを制御する傾斜ジェスチャに関する、クラウドベースのゲームシステム。
【請求項６６】
前記動作センサデータは、ジャイロスコープ及び加速度計からのデータを含む、請求項６４に記載の方法。
【請求項６７】
前記ゲームサーバによる前記ゲームの制御は、計算された最大角速度が所定の閾値を超えるか否かを判定し、且つ超える場合に所定のゲームイベントを選択することを含む、請求項６４に記載の方法。
【請求項６８】
前記ゲームサーバによる前記ゲームの制御は、バスケットボールをシュートすること、アメリカンフットボールをスローイングすること及びボウリングボールを投球することの１つのアニメーションを含む、請求項６４に記載の方法。
【請求項６９】
前記ゲームサーバによる前記ゲームの制御は、前記計算された最大角速度に比例する初速を有する仮想オブジェクト軌道を描画することを含む、請求項６６に記載の方法。
【請求項７０】
前記ゲームサーバによる前記ゲームの制御は、テニスボールを打つこと、野球ボールを投球すること、野球ボールを打つこと、ホッケーパックを打つこと、サッカーボールを蹴ること、釣り竿をキャスティングすること及びボクシングのパンチの１つのアニメーションを含む、請求項６４に記載の方法。
【請求項７１】
前記ゲームサーバによる前記ゲームの制御は、ジェスチャの強度に関する視覚的フィードバックをユーザーに提供するグラフィックを描写することを含む、請求項６４に記載の方法。
【請求項７２】
前記描写されたグラフィックは、前記制御機器の１つに表示される、請求項７０に記載の方法。
【請求項７３】
前記ゲームは、仮想現実ゲームである、請求項６４に記載の方法。
【請求項７４】
前記複数の制御機器は、スタジアムにある、請求項６４に記載の方法。
【請求項７５】
少なくとも１つの表示機器は、スタジアムのデジタルボードである、請求項６４に記載の方法。
【請求項７６】
前記ゲームは、仮想現実ゲームである、請求項６４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
１．発明の分野
本発明は、ゲームの制御のために制御機器のセンサを用いる方法及びシステムに関する。
【背景技術】
【０００２】
２．関連する技術分野の説明
ビデオゲームシステムの制御に関するかなりの従来技術が存在する。ビデオゲームを制御する一般的な方式は、対話型ゲームコントローラを用いることである。対話型のゲームコントローラは、典型的に、ビデオゲームのプレイを制御するための複数のボタン、方向パッド、アナログスティック等を含む。この従来技術の方法では、ユーザーが両手でゲームコントローラを保持し、両方の親指及び指で左右のボタン及びアクチュエータ／アナログスティックをそれぞれ操作する必要がある。このような対話型のゲームコントローラの一例は、株式会社ソニーコンピュータエンタテインメントに譲渡されたOgataによる「Actuating Device for Game Machine」という名称の米国特許第６，３９４，９０６号に開示されている。
【０００３】
Howardによる「Touch Screen with Virtual Joystick and Methods for Use Therewith」という名称の米国特許第９，２６２，０７３号は、ゲーム制御機構をスマートフォンの画面上のソフトウェアジョイスティックに拡張する。Electronic Arts（Madden Mobile NFL 17）及び2K（NBA 2K 16）は、画面の左右にソフトウェアボタンを配置することにより、この種のソフトウェア制御機構をそのモバイル製品で使用しており、ゲームは、スマートフォン上においてランドスケープ形式でプレイされる。ここでも、左右の親指で仮想ジョイスティック及び制御ボタンを介してゲームプレイを制御しながら両手でゲームをプレイする必要がある。
【０００４】
他の方式は、センサ駆動ゲームである。任天堂株式会社は、他に先駆けてゲームにセンサを利用し始め、その特定のシステムは、３軸加速度計を有するマルチボタンコントローラを利用する。任天堂Wiiシステムは、赤外線バーで機能強化されている。SONY PlayStation Move及びMicrosoft Xbox Kinect等の他のセンサ駆動システムは、光学カメラを用いて時間及び空間における動作を検出する。
【０００５】
更に別のシステム制御方式としては、ジェスチャに基づくシステムがある。例えば、Wangによる「Gesture-Based Control System」という名称の米国特許出願公開第２０１３／０２４９７８６号は、カメラがユーザーの手の画像を観察及び記録する制御方法を開示している。それぞれの観察された動作又はジェスチャは、コマンドと解釈される。ジェスチャに基づくシステムは、人間−コンピュータインターフェースを実現するためにも用いられる。例えば、Vonogらによる「Identifying Gestures Using Multiple Sensors」という名称の米国特許第９，０６３，７０４号は、主として、適応センサ又はモバイルセンサを用いて、ゲーム又はシステム制御とは無関係な人間の一連のジェスチャを認識することに焦点を当てている。別の例として、Bonnetによる「Systems and Methods for Comprehensive Human Movement Analysis」という名称の国際公開第２０１１０５３８３９号は、デュアル３Ｄカメラ撮像を用いる動作解析を開示しており、これは、神経学の研究及び理解を目的として音声及び人間の動作に組み込まれる。
【０００６】
動作センサが組み込まれたApple iPhoneが２００７年に登場して以降、多くのゲームは、ユーザーの入力動作を取り込むためにこれらのセンサを用いてきた。Allenらによる「System and Method for Two Way Communication and Controlling Content in a Game」という名称の米国特許第８，１７１，１４５号は、同じ無線ネットワークにあるウェブ対応ディスプレイへの接続方法と、スマートフォンを用いてディスプレイ上でプレイされるビデオゲームを制御する方法とを開示している。しかし、これらのゲーム制御動作は、Wiiと同様であるが、比較的単純に動作する。
【０００７】
インドのRolocule Gamesは、ユーザーがスマートフォンを振って（１）サーブを打ち、（２）バックハンドで打ち、及び（３）フォアハンドで打つ、双方向テニス試合を行うスマートフォン上のテニスゲームを開発した。Roloculeは、スマートフォンが手で保持され、動作が、ダンスをするアバターに動作に変換されるダンスゲームも有する。その方法は、いずれの場合も、スマートフォンの画面をApple TV又はGoogle Chromecastを介して表示機器に投射することである。いずれの場合も、ゲームプレイは、任天堂Wiiのための従来技術のゲームと類似している。
【０００８】
Jefferyらによる「Method and System to Analyze Sports Motions Using Motion Sensors of a Mobile Device」という名称の米国特許第９，１０１，８１２号は、制御機器のセンサを用いてスポーツ動作を解析する技術が記述されている。Jefferyらは、ジャイロスコープを用いて較正点を画定し、この点に対するスポーツ動作の仮想衝突位置又はリリース位置が計算される。
【０００９】
スマートフォンは、無人航空機（ＵＡＶ）等の複雑なシステムの制御にも利用できる。Callouらによる「Method for the Intuitive Piloting of a Drone by Means of a Remote Control」という名称の米国特許第８，５９４，８６２号は、ユーザーの制御機器の動作及び方位がドローンの飛行方向及び方位に向けられるようにドローンを制御する方法を開示している。しかし、制御機器の動作は制限される。
【００１０】
まとめると、マルチボタンのマルチアクチュエータ対話型ゲームコントローラは、コントローラが多次元のデータ入力を可能にするため、現時点で複雑なゲームを制御する最良の機器である。しかし、顕著な学習曲線があり、制御コマンドが決して直観的でない。例えば、コントローラは、実際のスポーツ動作をシミュレートするものではなく、仮想世界でアバターを移動させ、且つ／又はバスケットボール若しくはフットボール等のスポーツゲームを行うには、一連の複雑なボタン及びアクチュエータ操作が必要である。更に、コントローラは、ゲームコンソールに無線接続されることにより動作するように設計され、ユーザーの両手で保持される必要がある。
【００１１】
Wiiリモコンは、より現実的な使用感を与えるが、このリモコンは、複数のボタン制御を有し、３軸加速度計を介してユーザーの目立つ動作のみを取得する。このリモコンを用いてプレイする典型的なゲームは、単純化されたスポーツゲームである。バット又はラケットの動作を除き、ユーザーのアバターは、プレイヤーの目立つスポーツ動作に応じて事前にプログラムされた方式で応答する。
【００１２】
現在のスマートフォン上でのスポーツゲームは、Wiiと類似しており、アバターの位置は、スイング動作に基づく少数（典型的には最大３つ）の所定の動作から選択される。テニスが典型的な例であり、３つの可能な動作は、サーブ、フォアハンド及びバックハンドである。これらの動作の結果、アバターは、スイング動作に応答してボールをサーブするか、又はボールを打つためにコート上を左右に移動するが、プレイヤーは、例えば、アバターをネットに向かって移動させるか、後方に移動させるか、斜めに走らせるか、又はロブショットを打たせることができない。更に、これらの方法は、多くの場合、スマートフォンの画面がユーザーの視界から外れることを必要とするため、モバイルゲームの設計に最適ではない。
【００１３】
Lutnickらによる米国特許第９，３１７，１１０号は、手のジェスチャを入力することにより、カードゲーム又は他のカジノゲームをプレイする方法を開示している。好ましい実施形態は、ノイズが多く、スポーツゲームの制御に必要な微細な動作解析が行えないモバイル機器の加速度計の使用に基づく。
【００１４】
モバイルゲームを制御する１つの方法は、ユーザーが画面をスワイプする、タッチセンサを介するものである。Imanji StudioのTemple Run 1及び2は、ユーザーにスワイプさせて、ターン、ジャンプ、スライド、コイン収集及び前進を行わせる。Halfbrick StudiosのFruit Ninjaでは、ユーザーがスワイプすることで果物を切り、ポイントを収集してレベルアップする。更に別の例として、Electronic ArtsのBejeweledでは、ユーザーがスワイプすることで宝石を収集し、購入のためにポイントを獲得して新たなステージを解放する。スワイプ機構は、多くの場合、更なる制御機能を加えるために画面上のボタンと対になっている。この制御機構は、両手を必要とする。すなわち、一方の手でスマートフォンを保持し、他方の手でスワイプする。いくつかのモバイルゲームでは、ジャイロスコープを用いてゲームを部分的に制御する。Battery Acid GamesのHighway Riderでは、ユーザーは、モバイル機器を傾斜させて仮想オートバイを運転し、Polar BitのRaging Thunder 2では、ユーザーは、機器を傾斜させて仮想自動車を運転する。Natural MotionのBackbreaker Footballは、傾斜−前進動作を用いてランニングバックアバターにフットボール場を走らせる。しかし、これらのゲームの全ては、追加的な親指制御を行うために両手で保持するようにランドスケープを想定して設計されている。
【００１５】
Komorous-Kingらによる「Method of using Motion States of a Control Device for Control of a System」という名称の米国特許出願公開第２０１６／００５９１２０号は、従来技術の多くの制約を克服している。しかし、この方法は、外付け表示機器を使用しないモバイルゲームに最適ではない。
【発明の概要】
【課題を解決するための手段】
【００１６】
発明の概要
本発明は、制御機器を用いてゲームを制御するためのものである。本発明の方法及びシステムは、典型的には、複雑なコントローラによりゲームの制御を可能にするが、好ましい実施形態において、本発明は、ボタン若しくはアクチュエータ又は身体動作若しくはジェスチャのビデオキャプチャを一切必要としない。本発明の各種の実施形態は、スマートフォン、スマートウォッチ、フィットネスバンド等の制御機器のジャイロスコープ、加速度計及びタッチ画面等のセンサ又はプロセッサに有線若しくは無線接続された動作センサを有する他の機器を用いて解析及び変換を行う。
【００１７】
スポーツゲームの好ましい実施形態において、タッチ画面及び動作センサを有する制御機器は、画面がユーザーに向いている状態で一方の手において保持される。好ましくは、制御機器のタッチ画面センサ上での、制御機器を保持する手の親指動作は、アバターの動作及びアニメーションを制御する入力であり、アバターの動作は、制御機器のタッチ画面又は一実施形態では外部表示機器に表示される。本発明の重要な態様は、制御機器を傾斜させ、角回転速度を生じさせることであり、これは、ゲームのスローイング、キック、シュート又は他の動作をトリガすることができる。
【００１８】
バスケットボールゲームの一実施形態を説明する非限定的な例として、ジャイロスコープセンサからのデータを解析することによって検出された角回転速度（具体的には、単位時間当たりの制御機器のピッチ変化）により、バスケットに対してロング又はショート及びミドルシュートを放つ微細な運動制御が可能になる。追加的なセンサデータ（制御機器のヨー方向のジャイロスコープ回転等）と組み合わせて、シュートの忠実性は、フープまでの距離及びバックボードの左又は右側からのバンクシュートを含み得る。更に、バスケットボールゲームを説明する実施形態において、タッチ画面上での親指動作により、仮想バスケットボールコート上でのアバターの連続的な動作が可能になり、角度を付けたジェスチャにより同時に制御機器を傾斜させることで、任意の瞬間に高い忠実性でシュートを放つことが可能になる。
【００１９】
本発明の一態様は、実施形態において、好ましくは、複数の次元におけるジェスチャの強さに関する実時間バイオフィードバックをユーザーに提供する表示機器上のフィードバックメーターである。フィードバックメーターにより、ユーザーへのバイオフィードバックが可能になるため、ジェスチャを介したスポーツゲームの制御は、練習により学習可能なスキルを必要とする。
【００２０】
ゲーム又はシステムの制御の上述の忠実性は、加速度計センサ又はタッチセンサ上のスワイプに依存する従来技術の方法では不可能である。更に、好ましい実施形態において、開示する制御方法は、制御機器をポートレートモードにおいて一方の手で保持することにより可能になるため、ゲームの制御に両手を必要としない。この実施形態は、スマートフォン等のモバイル機器上でのゲームの制御に応用できる。
【００２１】
具体的には、タッチ画面及び動作センサを有する制御機器の好ましい実施形態において、従来技術で開示されていないゲームの制御に際してタッチ及び傾斜ジェスチャを組み合わせることに顕著なシナジーがある。ゲーム出力がスマートフォンのタッチ画面ディスプレイ上に描画される実施形態において、説明目的の非限定的な例として、画面がユーザーに向いている状態でポートレートモードにおいてスマートフォンを一方の手で保持することができ、ユーザーの保持している手の親指動作により画面上でアバターを制御する。従って、この制御方法は、モバイルゲームを制御する従来技術の制御方法よりもユーザーにとって人間工学的に良好な体験を与える。更に、説明目的の非限定的な例として、バスケットボール、フットボール、サッカー又は他のボールのシュート等、描画された追加的なグラフィック出力を制御するためにスマートフォンを傾斜させるジェスチャにより、ボタンを押す従来技術の方法と比較して極めて自然な高忠実性のゲーム制御が可能になる。本明細書に開示するタッチ及び傾斜ジェスチャ制御方法の組み合わせは、ゲームを制御する新規で革新的な方法であり、ユーザーにとって直観的であると共に、従来技術の方法と比較して制御の忠実性が向上する。
【００２２】
本発明の少なくとも５つの重要な利点がある：
・本方法は、ボタン及び／若しくはアクチュエータ又はビデオ／赤外線モーションキャプチャを有する複雑なコントローラを使用しない。
・本制御方法は、人間にとって直観的であり、従って従来技術のゲーム制御システムよりも学習が容易であり、従ってゲームのプレイが容易になり、且つ／又は複雑なシステムの制御が容易になる。
・本方法は、時間経過に伴う加速度計のノイズ及びジャイロスコープのドリフトの制約を克服し、ゲーム又は他のシステムを高い忠実性で制御可能にする。
・本方法の一実施形態は、スキルを要するスポーツゲームを可能にするバイオフィードバックを有する。
・好ましい一実施形態において、制御機器は、ポートレートモードにおいて画面がユーザーに向いている状態で一方の手で保持される。従って、制御のために両手を必要としない。
【００２３】
本方法及びシステムは、複数のゲーム、システム及び技術を制御するために拡張可能である。本発明の上述の及び他の態様、特徴及び利点は、添付の図面と合わせて読まれる以下の好ましい実施形態の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００２４】
図面の簡単な説明
【図１（ａ）】制御機器のアーキテクチャの一例を示す。
【図１（ｂ）】外付けセンサのアーキテクチャの一例を示す。
【図２】本発明のシステムの実施形態の一例を示す。
【図３】一方の手で同時にジェスチャ及びタッチ入力を行う本発明のスポーツゲーム向けシステムの実施形態の一例を示す。
【図４（ａ）】ジェスチャの強さ及び方向に関するフィードバックをユーザーに提供するフィードバックメーターの一例と共に、制御機器を用いた直線傾斜ジェスチャの一例を示す。
【図４（ｂ）】ジェスチャの強さ及び方向に関するフィードバックをユーザーに提供するフィードバックメーターの一例と共に、制御機器を用いて左方、右方又は直線傾斜ジェスチャの一例を示す。
【図５】ジャイロスコープセンサデータから取得された、図４（ａ）に示すジェスチャに対応する角速度データの一例を示す。
【図６】加速度計センサデータから取得された、図４（ｂ）に示すジェスチャに対応する角度回転データの一例を示す。
【図７（ａ）】制御機器が一方の手で保持され、図３に示すように制御機器の傾斜ジェスチャによりトリガされる、コートの平面上でのアバターの走行動作及び跳躍を行わせるために制御機器のタッチセンサ上での親指動作によりアバターが制御される、単一プレイヤーバスケットボールゲームの第１の例示的実施形態を示す。
【図７（ｂ）】制御機器が一方の手で保持され、図３に示すように制御機器の傾斜ジェスチャによりトリガされる、シュート及び跳躍を行わせるために制御機器のタッチセンサ上での親指動作によりアバターが制御される、単一プレイヤーバスケットボールゲームの第２の例示的実施形態を示す。
【図８】短い、長い及び平均傾斜ジェスチャに対応する角速度の大きさに関するフィードバックを提供するフィードバックメーターを示す。
【図９】本発明を用いる複数プレイヤー向けの一対一バスケットボールゲームの制御の一例における攻撃及び防御制御の両方を示す。
【図１０】制御機器が、その制御機器とは別個の表示機器上でアバターを制御するバスケットボールゲームの実施形態の一例を示す。
【図１１】各制御機器から複数のセンサ入力がある、複数プレイヤー向けの制御機器及び表示機器が組み込まれたクラウドベースの複数プレイヤーゲームプラットフォームの一実施形態を示す。
【図１２】複数ユーザーのゲーム出力がスタジアムのデジタルボード上に同時に表示される、複数プレイヤースポーツゲーム向けの図１０の方法及びシステムの一実施形態を示す。
【図１３（ａ）】制御機器の手動動作を含むアメリカンフットボールのゲームでの使用例を示す。
【図１３（ｂ）】制御機器の手動動作を含むアメリカンフットボールのゲームでの使用例を示す。
【図１３（ｃ）】制御機器の手動動作を含むアメリカンフットボールのゲームでの使用例を示す。
【図１３（ｄ）】制御機器の手動動作を含むアメリカンフットボールのゲームでの使用例を示す。
【図１４（ａ）】ボールを転がすために制御機器を前方に、及び回転を加えるために左又は右に傾斜させることが組み込まれたボウリングゲームでの使用例を示す。
【図１４（ｂ）】ボールを転がすために制御機器を前方に、及び回転を加えるために左又は右に傾斜させることが組み込まれたボウリングゲームでの使用例を示す。
【図１４（ｃ）】ボールを転がすために制御機器を前方に、及び回転を加えるために左又は右に傾斜させることが組み込まれたボウリングゲームでの使用例を示す。
【図１４（ｄ）】ボールを転がすために制御機器を前方に、及び回転を加えるために左又は右に傾斜させることが組み込まれたボウリングゲームでの使用例を示す。
【図１５（ａ）】制御機器の手動動作を含むゴルフゲームでの使用例を示す。
【図１５（ｂ）】制御機器の手動動作を含むゴルフゲームでの使用例を示す。
【図１６（ａ）】制御機器の手動動作を含むテニスゲームでの使用例を示す。
【図１６（ｂ）】制御機器の手動動作を含むテニスゲームでの使用例を示す。
【図１７（ａ）】制御機器の手動動作を含む野球ゲームでの使用例を示す。
【図１７（ｂ）】制御機器の手動動作を含む野球ゲームでの使用例を示す。
【図１７（ｃ）】制御機器の手動動作を含む野球ゲームでの使用例を示す。
【図１８（ａ）】制御機器の手動動作を含むホッケーゲームでの使用例を示す。
【図１８（ｂ）】制御機器の手動動作を含むホッケーゲームでの使用例を示す。
【図１９（ａ）】制御機器の手動動作を含むサッカーゲームでの使用例を示す。
【図１９（ｂ）】制御機器の手動動作を含むサッカーゲームでの使用例を示す。
【図２０（ａ）】制御機器の手動動作を含む釣りゲームでの使用例を示す。
【図２０（ｂ）】制御機器の手動動作を含む釣りゲームでの使用例を示す。
【図２０（ｃ）】制御機器の手動動作を含む釣りゲームでの使用例を示す。
【図２１（ａ）】制御機器の手動動作を含むボクシングゲームでの使用例を示す。
【図２１（ｂ）】制御機器の手動動作を含むボクシングゲームでの使用例を示す。
【図２２（ａ）】アバターがタッチセンサを介して任意の方向に移動可能であり、制御機器の傾斜ジェスチャが防御姿勢及び混戦又は投げ技を起動させる三人称格闘ゲームでの使用例を示す。
【図２２（ｂ）】アバターがタッチセンサを介して任意の方向に移動可能であり、制御機器の傾斜ジェスチャが防御姿勢及び混戦又は投げ技を起動させる三人称格闘ゲームでの使用例を示す。
【図２２（ｃ）】アバターがタッチセンサを介して任意の方向に移動可能であり、制御機器の傾斜ジェスチャが防御姿勢及び混戦又は投げ技を起動させる三人称格闘ゲームでの使用例を示す。
【図２３（ａ）】仮想現実戦車ゲームシミュレーションの制御での使用例を示す。
【図２３（ｂ）】仮想現実戦車ゲームシミュレーションの制御での使用例を示す。
【図２３（ｃ）】仮想現実戦車ゲームシミュレーションの制御での使用例を示す。
【発明を実施するための形態】
【００２５】
発明の詳細な説明
明確且つ一貫性のある説明のため、本明細書で用いる以下の定義を与える。
【００２６】
本明細書で用いる制御機器は、ジャイロスコープ、加速度計及びタッチセンサを含むが、これらに限定されないセンサを有する携帯機器を指す。特定の実施形態において、センサは、制御機器と一体化される。しかし、他の実施形態において、センサは、外部センサを含み得る。特定の実施形態において、制御機器は、メモリ及びプロセッサと一体化され得、他の実施形態において、処理は、コンソール若しくはＰＣ上のシステム又は制御機器に有線若しくは無線接続された他のモバイル機器で実行可能であり得る。
【００２７】
本明細書で用いる表示機器は、ウェブページ、３次元グラフィックエンジンの出力又は他の任意のダウンロード可能なアプリケーションを表示する能力を備えた任意のディスプレイである。表示機器は、制御機器への接続機能を有する仮想現実ヘッドセットも含む。
【００２８】
本明細書で用いるセンサは、データを収集する任意の機器である。センサの非限定的な例として、ジャイロスコープ、タッチセンサ、加速度計、カメラ、音声入力、ドップラー深度センサ、赤外線動作センサ又は熱撮像カメラがあり得る。
【００２９】
本明細書で用いるアニメーションは、表示機器のために適切なフレームレートでグラフィック描画された、典型的にはグラフィックエンジンにより描画されたゲームの任意の出力である。アニメーションを説明する非限定的な例には、画像、線、形状、テクスチャ、ビデオ、動くボール等の３Ｄ描画されたデータ又は３Ｄ描画されたアバターの動作が含まれる。
【００３０】
図１（ａ）は、Apple iPhone 7及び7+である、本発明の実施形態に適した例示的なモバイル機器３２５を示す。制御機器３００は、ディスプレイ３０８、センサ１００、通信インターフェース３０１、プロセッサ３０３、メモリ３０５及び電源３０７を含む。通信インターフェース３０１は、ディスプレイ３０８と一体化されたタッチセンサ１０２、加速度計及びジャイロスコープ動作センサ１０１、デジタルカメラ１０３並びにマイクロホンを含む各種の入力センサ１００を接続する。通信インターフェース３０１の出力は、ディスプレイ３０８、内蔵スピーカ、ＬＥＤフラッシュ及び照明ドックコネクタポートを含む。プロセッサ３０３は、主プロセッサ、専用グラフィックＧＰＵコントローラ及びメモリコントローラ等の他の機能を統合するM10 Motionコプロセッサ（ＳＯＣ）アーキテクチャを備えたApple A10 Fusion APL1W24である。動作センサ１０１は、特定の軸の周りの回転速度を測定するために、３軸ジャイロスコープ並びに物体座標系Ｘ、Ｙ及びＺの３方向における加速度を測定する加速度計を含み得る。メモリ３０５は、３２ＧＢ、１２８ＧＢ又は２４６ＧＢのフラッシュメモリ（モデルに依存する）を含む。メモリ３０５は、本発明のソフトウェアを含むアプリケーション３０６（「アプリ」）のためのストレージを含む。電源３０７は、再充電可能なリチウムポリマー電池及び充電器を含む。
【００３１】
本発明と合わせて使用可能な代表的ディスプレイ３０８は、１０２で示すタッチセンサである一体化容量３Ｄタッチ画面を備えた７５０×１３３４ピクセル１６Ｍ色のＬＥＤバックライト付ＩＰＳＬＣＤである。本発明と合わせて使用可能な代表的動作センサ１０１は、M10 Motionコプロセッサジャイロスコープであり、代表的加速度計は、M10 Motionコプロセッサである。しかし、本発明は、動作若しくはタッチセンサ又は現在利用可能な技術に限定されないことを理解されたい。図示するように、制御機器３００に追加的センサ３１０を（無線又は有線）接続３０８することができる。
【００３２】
図１に示す例示的なモバイル機器３２５は、Apple iPhone 7及び7+に限定されない。別の適当な制御機器３００を用い得ることを理解されたい。例えば、制御機器３００は、代替的に、Samsung Galaxy Series（Noteシリーズを含む）のスマートフォンであり得る。これらの機器も同様に通信インターフェース３０１、プロセッサ３０３、センサ１００、メモリ３０５及び電源３０７を含む。通信インターフェース３０１は、Galaxy Seriesの機器上でもiPhoneとほぼ同様に機能するのに対し、１２メガピクセルＨＤＲデジタルカメラ、心拍数センサ及びデュアルノイズ解消マイクロホンを備えた内蔵スピーカを含む複数の入力センサ１００も使用可能である。出力機器は、ＵＳＢ／２．０接続ポート、Type C接続ポート及びヘッドホンジャックを含む。通信インターフェース３０１は、機能及び感度が強化され、操作のために画面への物理的接触を必要としない、ディスプレイ３０６と一体化されたタッチセンサ１０２も制御する。プロセッサ３０３は、Qualcomm Snapdragon 820上にオーバーレイされたSamsung K3RG2G20CMMGCJ 4 GB LPDDR4 SDRAMであり、メモリコントローラ等の他の機能と一体化するためにプログラム可能なシステムオンチップ（ＰＳＯＣ）アーキテクチャ上にAdreno 530ＧＰＵを備えている。動作センサ１００は、オンボードデジタルモーションプロセッサ（ＤＭＰ）と共に同一シリコンダイ上に６軸（３軸ジャイロスコープ及び３軸加速度計）を含み、Ｘ、Ｙ及びＺの３方向における加速度を測定するLSM6DS2（STMicroelectronics製）ジャイロスコープ／加速度計を含む。メモリ３０５は、内部ＳＤカードスロットが拡張された３２ＧＢ及び６４ＧＢのフラッシュモデルを含み、メモリを追加の２５６ＧＢで拡張することができる。メモリ３０５は、本発明のソフトウェアを含むアプリケーション３０６（「アプリ」）のためのストレージを含む。電源３０７は、取り外し及び／又は拡張可能なリチウムポリマー電池及び充電器を含む。
【００３３】
図１（ｂ）は、例示的な外部センサ機器３１０を示す。説明目的の例において、外部センサ機器３１０は、手首に装着した動作トラッカであり、ユーザーの物理的動作の追跡に用いられる。外部センサ機器３１０に使用可能なこのような動作トラッカの一例は、Apple, Inc.製のApple Watch 2動作トラッカである。Apple Watch 2は、金、皮革、ポリウレタン及び他のプラスチックにわたる材料で作られたリストバンドを含む。外部センサ機器３１０は、直接Bluetooth接続３０９を含み得る無線通信器３１３を介してモバイル機器３２５に接続することができる。ＳＯＣチップセット内の外部センサ１００は、３軸（３Ｄデジタルジャイロスコープ及び加速度計を特徴とするSTMicroelectronicsの３ｍｍ×３ｍｍランドグリッドアレイ（ＬＧＡ）パッケージ）を含み、内部プロセッサ３１２は、超低電力デュアルコアＳ２チッププロセッサである。電源３１４は、再充電可能なリチウムポリマー電池を含み、機器のバックカバーでもある内蔵磁気ドックポートを介して充電される。外部センサ機器３１０は、スマートウォッチ、フィットネスバンド、Oculus Rift仮想現実ヘッドセット等のモバイル機器３２５にセンサデータを提供する別の機器であり得ることを理解されたい。更に、モバイル機器３２５及びセンサ機器３１０を含むシステムは、特定の実施形態において制御機器３００を含むことを理解されたい。
【００３４】
本明細書に記述する方法及びシステムは、Apple及びAndroidスマートフォン等のモバイル機器に限定されず、制御機器は、インターネットに接続される必要がない。機器内蔵又は外部センサのための開示される技術は、非限定的であることが理解され、センサ出力の品質が時間経過に伴って向上することが期待される。説明目的の例として、本発明と合わせて使用可能なタッチ画面センサは、抵抗性、容量性、光学的結像等の各種の方法又はパーソナルコンピュータマウス等の他のタッチ検出方法のいずれかに基づき得る。
【００３５】
図２を参照すると、本発明のシステムの実施形態の一例が示されている。以下に詳述するように、本発明の重要な態様は、ゲームを制御するための同時センサ入力である。図２は、センサ１００への複数の入力００１の一実施形態であり、特定のセンサ１０４は、コントローラ１５０に入力されるセンサデータ１２０を生成する。コントローラ１５０は、論理エンジン１３０、イベントマネージャ１３５及びコンテンツデータベース１４５を機能的に組み込むプロセッサ（ゲームプロセッサ）である。センサデータ入力は、イベント１４０をトリガし、このイベントは、次いで、コントローラ１５０及び論理エンジン１３０を介してコンテンツデータベース１４５からの各種のコンテンツの表示及び／又は説明目的の例として環境物理に基づく動的描画のための解析エンジン１７５による計算をトリガする。コントローラ１５０及び解析エンジン１７５の両方は、ユーザー向けに描画するためにゲームディスプレイ２００に出力する。
【００３６】
複数の制御機器センサが存在し得ることが理解され、従って使用する特定のセンサ及び使用したセンサの特定の出力は、非限定的であることを理解されたい。更に、複数のセンサを同時に使用でき、本発明について単一の制御機器３００を用いる例を挙げて説明するが、本方法は、複数のセンサ又は制御機器に拡張可能であることを理解されたい。説明目的の非限定的な例として、（１）制御機器３００を片手で保持し、追加的センサ３１０を手首に装着することができ、又は（２）制御機器３００を両手で保持し、センサ３１０を仮想現実表示機器ヘッドセットに搭載することができる。これらの例は、非限定的な方法であり、本発明のシステムは、身体の異なる部分、例えば足首、肘、膝及び頭部に取り付けられた任意の個数のセンサに拡張可能であることを理解されたい。
【００３７】
本発明の一実施形態は、スポーツゲームを制御するためにモバイル機器３２５への同時タッチ及びジェスチャ入力を行うものである。従来技術では、ゲームを制御するために（１）タッチ入力及び（２）動作ジェスチャ入力を個別に開示しているのに対し、これらの２つの予め独立したモードを組み合わせることに顕著なシナジーがある。好ましくは、画面３０８がユーザーに向いている状態でポートレートモードにおいてモバイル機器３２５を一方の手で保持する。好ましくは、説明目的の実施形態において、タッチ画面３０８へのタッチ入力は、保持している手の親指により行われてゲームアバターの任意の方向での動作を制御し、傾斜ジェスチャによりモバイル機器３０８又は他の外部表示機器３５０の画面上に表示２００される物体、例えばバスケットボール、サッカーボール又は他の物体のシュートをトリガする。更に、ここで開示しているジェスチャ解析方法は、バスケットボールゲームを説明する例として、ロング又はショート、バックボードの左右からシュートを放つゲームのスキルを可能にする。開示する発明は、従って、高い忠実性でゲームを一方の手で制御する方法及びシステムであり、ランドスケープモードにおいて両手で保持するモバイル機器又はコントローラへのボタン及びジョイスティック入力を典型的に必要とする従来技術の顕著な制約を克服する。
【００３８】
本発明の上述の及び他の新規な要素は、バスケットボールのスポーツゲームの制御関連における、従ってフットボール、ボウリング、サッカー、野球及びテニスを含む他のスポーツゲームに関する本発明の以下の詳細な説明から明らかになるであろう。しかし、以下の例は、限定的ではないことを理解されたい。
【００３９】
バスケットボールゲームの実施形態
図３を参照すると、バスケットボールゲーム向けの本発明の実施形態の一例４００が示されている。この場合、「入力００１」は、各動作センサ１０１及びタッチセンサ１０２により検出された同時に入力可能なジェスチャ００２及びタッチ００３である。「センサデータ１２０」（それぞれ動作データ１２１及びタッチデータ１２２）は、次いで、好ましい実施形態ではUnity 5.3.4等のグラフィックエンジンのアニメーションコントローラ１５０である「アニメーションコントローラ１５０」に入力される。好ましくは、論理エンジン１３０は、分岐アニメーションコントローラの層化された論理木を用いる。図示するように、「コンテンツデータベース１４５」は、アニメーション１４５のデータベースであり、ビデオ又はグラフィック要素を含み得る。
【００４０】
アニメーションコントローラ１５０は、センサ入力００２及び００３、論理エンジン１３０が用いる階層化論理木の論理及びイベントマネージャ１３５が用いるリスナープロトコルに部分的に基づき、ドリブルしながらのコート横断、腕の動作、ボールのシュート又はショットをブロックする試み（イベント１４０）等、特定のバスケットボール関連のイベントを検出する。一例として、コート上のプレイヤーを動かす画面スワイプ等の親指入力００３をタッチセンサ００２が検出すると、アニメーションコントローラ１５０内でイベント１４０がトリガされて、３Ｄグラフィック表示エンジン２１０による描画及び表示２００のためデータベース１４５から特定のアニメーションを取り出す。ジェスチャ入力００２の場合、論理エンジン１３０は、物理エンジン１７５をトリガするイベント１４０を生成して、イベント１４０（例えば、バスケットボールのシュート）に関して飛ぶボールのシミュレーション及びアニメーション１４５’を描画させる。本発明の重要な態様は、センサ１００の複数の同時並行入力を用いて、ゲーム及び結果的に取得されるゲームディスプレイ２００上で描画された融合ゲーム出力２１５から生じる融合アニメーションデータ１８０を制御する。
【００４１】
本発明の方法を、各種の例を挙げて更に詳細に説明する。図４〜７は、滑らかで高い忠実性を有する連続的なバスケットボールゲームのプレイを行うようにアバターを制御する一実施形態のジェスチャ及び動作入力の詳細を示す。好ましい実施形態において、制御機器３００をポートレートモードにおいてユーザー０１０の一方の手で保持しながら、保持している手の親指によりタッチ入力が可能であり、保持している手の手首によりジェスチャ入力が可能である。しかし、制御機器を保持する方法は、限定的ではなく、タブレットコンピュータ（例えば、Apple iPad）等のより大きい制御機器を両手で保持しながら、一方の親指又は指でタッチ入力を行い、両手でジェスチャ入力を行うことができる。
【００４２】
図４（ａ）〜（ｂ）は、例示的な実施形態のバスケットボールをシュートするジェスチャを示す。図４（ａ）は、制御機器３００をθと表記する角度００５だけ傾斜させるジェスチャを示す。一実施形態において、ジャイロスコープセンサ出力の時間経過に伴うピッチの変化は、角速度、すなわち角度θの時間に関する導関数であり、
【数１】
2019535347.tif 000003
と表記される。本発明の方法の顕著な態様は、仮想オブジェクト、すなわち説明目的の例としてシュートされたバスケットボール又は投げられたフットボールの初速に比例するジェスチャから最大角速度
【数２】
2019535347.tif 000004
を得ることである。
【００４３】
図４（ｂ）は、制御機器３００をαと表記する角度００８だけ左／右に傾斜させるジェスチャを示す。図４（ａ）及び（ｂ）に示すジェスチャの組み合わせ及びその各センサ入力により、物理エンジンに入力されるシュートを高い忠実性で制御できるようにし、
【数３】
2019535347.tif 000005
に比例する深さ及びα００８に比例する左／右方向を有する仮想３Ｄ空間内で飛ぶボールの軌道を描画することができる。
【００４４】
本発明の追加的な特徴は、図４（ａ）〜（ｂ）の実施形態に示すフィードバックメーター１５５である。角速度００６の大きさは、シュート０５０に対する視覚的バイオフィードバックをユーザー０１０に与えるために動的に描画される。好ましい実施形態において、良いシュートの速度を示す範囲００７がフィードバックメーター１５５上に描かれている。ユーザー０１０は、フィードバックメーター１５５が理想的な範囲００７で角速度００６と整合するようにシュートジェスチャの角速度を決定する。これらのジェスチャは、より高いパーセンテージでバスケットに入る。図４（ｂ）は、アイコンで示す角度α００８を有するフィードバックメーターを示す。従って、フィードバックメーター１５５は、説明目的の非限定的且つ例示的な実施形態において、２つの次元、シュート速度及び角度のバイオフィードバックを与える。当業者は、フィードバックメーター１５５に対する多くの異なる実施形態が可能であり、フィードバックメーター１５５の形状又は示されるフィードバック表示の他の設計特徴は、非限定的であることを理解するであろう。
【００４５】
図５は、iPhone 6ジャイロスコープセンサからの角速度
【数４】
2019535347.tif 000006
データ（時間経過に伴うピッチの変化）を、図４（ａ）のシュートジェスチャの実施形態に対応する時間の関数として示す。人間の運動機能は、自然に、前方に動作する僅かに前に制御機器を戻す。本方法の一実施形態は、角速度００６が所定の閾値、図５に示す実施形態では−３ラジアン／秒よりも遅い場合、シュートのイベント１４０を検出する。ジェスチャの最大速度に対応する最大負回転速度００６が縮尺されて、飛ぶボールの軌道の弧０５０を描画するために物理エンジン１７５に入力される。
【００４６】
制御機器３００に直交座標系（Ｘ，Ｙ，Ｚ）を、Ｙが機器の長軸に沿い、ＸがＹに垂直で短軸上にあり、ＺがＸ及びＹの両方に垂直であるように設けることは、当技術分野で慣習的である。次いで、この物体座標系に関して動作センサ１０１の出力を参照する。
【００４７】
図６は、ソフトウェア低域通過フィルタにより平滑化されたＸ方向加速度動作センサデータを用いて制御機器３００の左／右の動きを測定する好ましい実施形態を示す。Ｘ方向加速度を用いる利点は、機器が較正を必要としない点である。
【００４８】
Innoventions, Inc.のSensor Kineticsは、図６に示すものと同様のデータ出力を生成するセンサ融合重力センサを有する。重力データは、典型的に、低域通過若しくはカルマンフィルタ又はInvenSenseらにより開発されたセンサ融合アルゴリズムを用いて「ユーザー加速」成分（又はユーザーにより装置に加えられた加速）を除去することにより、未処理の加速度計データから分離される。低域通過フィルタを介して平滑化されたＸ方向加速度センサデータを用いる好ましい実施形態は、従って、Ｘ方向重力センサと同様である。重力データは、常に地球の中心を向くという利点があり、従って、重力データを利用する動作の空間内での向きは、先験的に設定される。
【００４９】
制御機器３００が空間内で回転する際、この回転は、Ｘ，Ｙ，Ｚ重力データ（ｇＸ，ｇＹ，ｇＺ）から検出することができる。動作センサ１０１の典型的な重力データ出力は、＋９．８ｍ／秒２〜−９．８ｍ／秒２の範囲に最大値を有する。Ｘ方向地球重力ベクトルｇＸの大きさは、次式に従って角度α００８に関係する。
ｇＸ＝ｇｓｉｎ（α）、従って、
【数５】
2019535347.tif 000007
である。
【００５０】
１次テイラー級数近似において、ｓｉｎ（α）≒αであり、従って、
ｇＸ＝ｇｓｉｎ（α）≒ｇα
である。
【００５１】
そのため、ｇＸ／ｇ≒αである。従って、重力センサデータｇＸ／ｇは、ラジアン単位で角度α００８にほぼ等しい。従って、図６は、低域通過フィルタを適用してＸ方向加速度計データを平滑化し、次いでｇＸ／ｇ≒α（ここで、ｇ＝１である）を設定することにより、ｇＸ重力データを合成する好ましい実施形態を示す。好ましい実施形態は、多くの種類のゲームにおいて正確であり、最小限の計算のみを必要とするが、より高い忠実性を得るためは式（１）から角度αを計算することができる。これらの例は、説明目的に過ぎず、例示する動作センサ自体又は融合動作センサ出力の組み合わせに限定されないことを理解されたい。
【００５２】
図６は、直立−左傾斜−直立−右傾斜−直立のジェスチャに対する平滑化されたiPhone 6からのＸ方向加速度データを時間の関数としてｇ（９．８ｍ／秒２）単位で示す。一実施形態において、図６に破線で示す角度αは、ゲームディスプレイ２００上で物理エンジン１７５により描画されたバスケットボールシュートの角度に比例するように設定される。
【００５３】
図７（ａ）は、センサ１００入力と制御機器３００に対するタッチ０７０及びジェスチャ０７５との組み合わせを示す。好ましい一実施形態において、タッチ０７０を用いて、表示機器の画面上でのアバターの配置を指示する。タッチ動作０７０は、連続的であり得、任意の方向に行うことができる。同様に、シュートジェスチャ０７５を任意の時点で行うことができる。この例示的な説明において、対応する融合ゲーム出力２１５は、仮想バスケットボールコートで左へ移動し０７９、次いで静止し、次いで対応するタッチ入力０７０により制御されて右へ移動し、次いでジェスチャ０７５によりトリガされて右へ傾いたジャンプシュート０８０を実行するバスケットボール選手を表すものである。コンテンツデータベースから描画されるアニメーション１４５は、センサデータ１２０の入力を与えられた論理エンジン１３０ルールに基づいて選択される。図７（ａ）は、右側での親指動作０７０とシュートジェスチャ０７５とが同時に行われた場合、システム４００が、図７（ａ）に０８０で示すように対応する右側ランニングジャンプシュートアニメーションを描画する本発明の特徴を示す。追加的な例として、図７（ｂ）は、親指を回すジェスチャで停止させること０７１、続いてシュートジェスチャ０７５を行う状況を示す。一実施形態において、システム４００は、図７（ｂ）に０８５で示す対応する周回ランニングアニメーション０８１、次いで直立姿勢でのシュートを描画する。
【００５４】
図示するように、タッチ及びジェスチャ制御は、仮想バスケットボールゲーム中にランニング及びシュートを行うようにアバターを同時に制御することができる。好ましい一実施形態において、タッチ入力は、連続的であり、シュートジェスチャ０７５がユーザー０１０により任意の時点で生起することが理解される。本発明の一態様は、制御機器３００のディスプレイ３０８上に仮想ジョイスティックが一切描画されないものである。代わりに、タッチ動作は、制御機器のタッチセンサ上に指又は親指が置かれた最後の位置付近に中心を有する。更に、好ましい一実施形態は、コンテンツデータベースに数百個のアニメーションを有し、ジェスチャ及びタッチセンサへの同時入力は、融合ゲーム出力として描画された複数のアニメーションをトリガし、説明目的の非限定的な例は、ダンキング、クロスオーバー及び回転運動を含む。従って、例示的な説明は、実際の仮想バスケットボールゲームで可能なジェスチャ、動作及びイベントの極めて小さいサブセットを示すに過ぎないことを理解されたい。
【００５５】
本発明の追加的且つ重要な態様は、センサ１００入力の大きさに比例して周期的に更新されるグラフィックフィードバックメーター１５５である。好ましくは、更新は、システム４００のフレームレートで生起し、フィードバックメーターがジェスチャ０７５の強度を効果的且つ動的に記録する。図８は、フィードバックメーター１５５の一実施形態を３つの異なる強度のシュートジェスチャ０７５について示し、フィードバックメーター１５５に描画された０１３、０１４及び０１５で示す最大角速度は、短い０１３、良い０１４及び長い０１５シュートに対応する。従って、フィードバックメーター１５５は、ジェスチャ０７５の強度に対応する視覚的フィードバックをユーザー０１０に提供する。好ましい一実施形態において、フィードバックメーター１５５は、制御機器３００のディスプレイ３０８に描画される。スポーツゲームの実施形態において、フィードバックメーター１５５の視覚的バイオフィードバックにより、ジェスチャ動作０７５がゲームのスキルとして訓練可能であり、所与の入力００１について、本明細書に開示する方法及びシステム４００の忠実性によって駆動されて、出力されるゲームディスプレイ２００上で反復される。
【００５６】
方法及びシステム４００は、単一プレイヤーによるバスケットボールシューティングゲームに限定されない。図９は、二人のユーザー０１０で一対一バスケットボールゲームをプレイする例示的な実施形態を示す。説明目的の実施形態において、ユーザー１は、防御を行う一方、ユーザー２は、攻撃を行っている。一実施形態において、ユーザー２の制御方法は、既に述べた通りである。ユーザー１は、アバター０１５の動作がタッチ制御を介して行われ、ブロッキングがジェスチャ０７５を介して行われる同様の制御方法を用い得る。しかし、本例は、非限定的であり、一実施形態において、防御側プレイヤーは、例示的な説明図６と同様の左への直角傾斜を用いてボールを奪う能力を有し得る。
【００５７】
図９の実施形態に示す本発明の一特徴は、フィードバックメーター１５５であり、一実施形態において各ユーザー表示機器の各々に描画可能である。フィードバックメーター１５５は、攻撃側アバターによるバスケットボールシュートの強度及び方向に対するフィードバックをユーザー２に提供する。フィードバックメーターは、ブロックの強度に関するフィードバックをユーザー１に提供する。一実施形態において、説明目的の例として、攻撃及び防御アバター同士がコート上において距離０６０で示すように離れている場合、シュートをブロックするためにより速い（又はより強い）ジェスチャ０７５が必要とされるため、一実施形態において、アバターのより高い跳躍アニメーションがトリガされる。
【００５８】
融合ゲーム出力２１５及びフィードバックメーター１５５は、制御機器３００のディスプレイ３０８上での描画に限定されない。図１０は、制御機器３００がその制御機器とは別個の表示機器３５０上のアバター０１５を制御するバスケットボールゲームの代替的な実施形態を示し、アバターの動作、シュートの物理的描画０５０及びフィードバックメーター１５５は、制御機器３００とは別個に表示２００される。
【００５９】
本発明は、制御機器３００及び表示機器２００が組み込まれた少なくとも３つの実施形態を有する。すなわち、（１）モバイルスマートフォンのように制御機器３００が表示機器２００を兼ねており、（２）制御機器３００がケーブル、Bluetooth又は他のローカルエリアネットワークを介して外部表示機器２００に接続され、及び（３）制御機器３００が、クラウドベースのゲームプラットフォーム５００を介して表示機器２００に接続される。実施形態（２）において、表示機器は、プレイステーション４若しくはXbox One又はパーソナルコンピュータ（ＰＣ）等のゲームコンソールに接続され得る。第３の実施形態（３）では、表示機器及び制御機器がインターネット対応であるのに対し、他の２つの実施形態（１）及び（２）では、表示及び制御機器がインターネットに接続されなくてもよいことを理解されたい。従って、制御機器の表示機器への接続方法は、非限定的であることを理解されたい。
【００６０】
クラウドベースのゲームプラットフォームの実施形態
図１１は、本発明の一実施形態による動作状態制御方法２５０が組み込まれたゲームプラットフォーム５００の例示的なアーキテクチャを示す。ゲームプラットフォーム５００は、Jefferyらによる「Web-Based Game Platform with Mobile Device Motion Sensor Input」という名称の米国特許第９，０２２，８７０号に開示されており、参照によりその全体が本明細書に援用される。
【００６１】
図示するように、ゲームプラットフォーム５００の３つの主な要素は、制御機器３００、ゲームサーバ４５０及び表示機器３５０である。ゲームサーバ４００は、プレイする複数のゲームを管理するゲームルールエンジン４５１を含む。図示するように、ゲームルールエンジン４５１は、ユーザーデータベース４５５及びゲームリソースデータベース４６０へのアクセスを有する。ユーザーデータベース４５５は、ログイン情報及びゲーム情報を保存する。バスケットボールの場合、ゲーム情報は、ゲーム中に放たれた各シュートのデータ、プレイヤーの現在のスコア、現在のレベル番号等が含まれ得る。ゲームリソースデータベース４６０は、表示機器３５０上でゲームをシミュレートするためのグラフィックコンテンツを含み得る。
【００６２】
説明目的の実施形態において、ゲームサーバ４５０は、クラウドベースであり、インターネット４７５を介してグローバルな接続を可能にする。各ユーザーに対して、ユーザーの制御機器３００及び表示機器３５０は、別個のインターネット接続４２５を介してゲームサーバ５００に同時に接続され得る。好ましくは、図１１のインターネット接続４２５は、ウェブソケットプロトコルを介して行われる。制御機器３００は、センサ１００データ１２０及び他のデータを含むデータをゲームサーバ５００に送信する。次いで、ゲームサーバ５００は、別々のインターネット接続を介したディスプレイ３５０でのゲームメディアの表示を容易にする。一実施形態において、ゲームグラフィックエンジン４２０は、ソフトウェアアプリケーションの形式で適当なウェブ対応表示機器３５０にプッシュ又はダウンロードすることができ、ゲームルールエンジン４５０の相当量の論理がコード化され、次いでゲーム論理エンジン４２０は、別途、ゲームサーバ４５０で直接実行される作業の多くを実行することができる。代替的な実施形態において、ゲームグラフィックエンジン４２０は、表示機器３５０にダウンロード可能なアプリケーション（アプリ）であり、アプリケーションは、インターネット４７５を介してゲームサーバ４５０と通信することができる。
【００６３】
説明目的の好ましい実施形態
本発明の記述において、本発明の各種の態様を実行する例示的な方法を開示する。本明細書に開示する本発明の方法及びシステムは、C、C++、C#、Objective-C、Visual Basic及びJava等の各種の適当なプログラミング言語で記述されたコンピュータプログラムコードを実行することにより実現できることを理解されたい。いくつかの実施形態において、アプリケーションロジックの相当な部分は、例えば、ＡＪＡＸ（非同期JavaScript及びＸＭＬ）パラダイムを用いて表示機器上で実行されて非同期ウェブアプリケーションを生成できることを理解されたい。更に、いくつかの実施形態において、アプリケーションのソフトウェアは、複数の異なるサーバにわたり分散できることを理解されたい。
【００６４】
また、本発明のソフトウェアは、好ましくは、適当なブラウザ（例えば、Safari、Microsoft Edge、Internet Explorer、Mozilla Firefox、Google Chrome、Opera）を用いるクライアントによりアクセス可能であるか、又はスタンドアロンアプリケーションとして適切に設定された表示機器にダウンロード可能且つ実行可能であるＨＴＭＬ、ＰＨＰ、Javascript、ＸＭＬ及びＡＪＡＸで記述された各種のウェブ上のアプリケーションを更に含むことを理解されたい。更に、グラフィックエンジンソフトウェアは、Unreal、Unity、GameMaker又は表示機器３５０上で２Ｄ及び／又は３Ｄグラフィックを描画可能な他のソフトウェアシステムの１つであり得る。
【００６５】
表示機器３５０が制御機器３００である好ましい一実施形態において、Unity 3Dゲームエンジンを主としてシステム４００の実装に用いる。クラウドベースのシステム５００の代替的且つ好ましい実施形態の場合、好ましくは、制御機器３００及び表示機器３５０の両方にUnityをインストールし、ウェブソケットプロトコルを用いてゲームサーバ４５０を介して通信する。
【００６６】
好ましくは、システム４００が３３ミリ秒毎に更新されるように、毎秒３０フレームのフレームレートのUnity 5を用いる。しかし、フレームレートは、制御機器３００及び表示機器３５０の計算能力により制約されるため、将来的にはより高いフレームレートが期待される。
【００６７】
ジェスチャ検出
図４（ａ）に対応する種類のジェスチャの場合、好ましくは、制御機器３００のジャイロスコープセンサ１０１により測定されたバイアスが掛かっていない回転速度を返すUnityコール「Input.gyro.rotationRateUnbiased」を用いる。回転速度は、３つの軸のそれぞれの周りの回転速度を毎秒ラジアン単位で表すベクトル３として与えられる。
【００６８】
図４（ｂ）に対応する種類のジェスチャの場合、好ましくは、３次元空間内での装置の最後に測定された線形加速度を返すUnityコール「Input.acceleration」を用いる。値は、各軸におけるｇ単位（１ｇの値は９．８ｍ／秒２に対応）の加速度を表すベクトル３として与えられる。
【００６９】
バスケットボールゲームの実施形態におけるジェスチャ認識及び解析は、以下のように実行される。
【００７０】
１）ジェスチャ図４（ａ）に対して、入力ジャイロスコープデータを、コールInput.gyro.rotationRateUnbiasedを介して測定して保存する。
【００７１】
２）ジェスチャ図４（ｂ）に対して、入力加速度データを、コールInput.accelerationを介して測定する。以前に保存された値及び現在の測定値から線形補間を実行することにより、調整された加速度のＸ軸値を保存する。使用する補間値は、先行フレームからの経過時間に縮尺率「accelerometerX=Mathf.Lerp(accelerometerX,Input.acceleration.x,accelerometerLerpSpeed*Time.deltaTime)」を乗算した値である。
【００７２】
３）ジャイロスコープ測定値が最小瞬間回転閾値、例えばバスケットボールの実施形態では−３．５ｒａｄ／秒を満たすか否かを調べ、結果がイエスであればジェスチャコルーチンを開始する。
【００７３】
４）ジェスチャコルーチンは、フレーム毎にそのタスクを以下のように実行する。
（ａ）上述のシュートジェスチャ実行中のピーク回転速度の新たな変数を保存する。最初に、コルーチンが開始されたフレームにおける瞬間センサ測定値をこの変数に設定する。
（ｂ）バスケットボールの実施形態において好ましくは２５０ｍｓであるコルーチンの持続時間内に、瞬間ジャイロスコープ測定値と保存されたピーク値とを比較し、瞬間測定値の方が大きければピーク値を瞬間測定値で代替する。
（ｃ）上述のシュートジェスチャ実行中のピークｘ軸加速度の新たな変数を保存する。最初に、コルーチンが開始されたフレームにおける瞬間センサ測定値をこの変数に設定する。
（ｄ）バスケットボールの実施形態において好ましくは２５０ｍｓであるコルーチンの持続時間内に、瞬間加速度測定値の絶対値と保存されたピーク値の絶対値とを比較し、瞬間測定値の方が大きければピーク値を瞬間測定値で代替する。
（ｅ）最大値が得られるとコルーチンを終了し、保存されたピーク値を最終値としてPlayerShotCalculatorクラスに渡して、シュートの目標位置及び軌道を生成する。保存されたピークジャイロ値を用いて目標位置を前方／後方に調整し、ボールが飛ぶ時間を延長／短縮する。保存されたピークｘ軸加速度を用いて目標位置を左右方向に調整する。
【００７４】
タッチ検出
制御機器へのタッチ入力は、直接的であり、好ましくは、UnityのＡＰＩ、Input.GetMouseButtonDown、GetMouseButton及びInput.mousePositionを用いる。GetMouseButtonDownは、ユーザーが最初にマウスボタンを押したか又は画面をタッチしたフレームのみに真値を返し、GetMouseButtonは、ボタンが押下されている間又は画面がタッチされ続けている間、全てのフレームで真値を返し、Input.mousePositionは、タッチ又はマウス位置のピクセル座標を返す。
【００７５】
フレーム毎にタッチ動作を取得するため、GetMouseButtonDown(0)によりユーザーがタッチを開始するか否かを調べる。結果がイエスであれば、Input.mousePositionによりタッチ位置を保存する。次いで、GetMouseButton(O)によりユーザーが画面をタッチし続けているか否かを調べる。次いで、現在のタッチ位置と、最初にタッチが開始された時点で保存されたタッチ位置とを比較する。ユーザーがもはや画面をタッチしていなければ、関連する値を０にリセットする。本方法の利点は、仮想ジョイスティックが、常に、ユーザーが最初に画面をタッチした箇所を中心とすることである。ユーザーがもはや画面をタッチしていなければ、ジョイスティックは、ユーザーが再びタッチを開始した任意の箇所に再度中心が合わされる。
【００７６】
アニメーションデータベース
システム４００のデータベース１４５は、好ましくは、各種のグラフィック及びアニメーションファイルを含む。好ましくは、アニメーションは、ＦＢＸ（filmbox）にコード化されて、テクスチャ、メッシュ、骨格及びアニメーションデータをコード化する。アニメーションは、モーションキャプチャ（ＭＯＣＡＰ）スタジオを介して人間の動作から取得される。代表的なＭＯＣＡＰシステムは、VICON、QUALISIS、Xsens、Optitrack及びIPIを含む。
【００７７】
ＭＯＣＡＰ  ＦＢＸファイルを取得、洗浄してUnity 5等のグラフィックエンジンにインポートする方法は、当業者に公知である。更に、融合論理木を介したアニメーション制御方法も当業者に公知である。しかし、本明細書の好ましい実施形態に開示する本発明の方法は、複数のセンサ入力１００を用いてアニメーション１４５を制御するものであり、入力制御は、タッチ及びジェスチャの両方を同時に含む。
【００７８】
しかし、開示する方法の説明目的の実施形態は、Unityを必要としない。Android機器の説明目的の例として、ジャイロスコープへのアクセスは、ＳＤＫにおいてSensorManagerのgetDefaultSensor（Sensor.TYPE_GYROSCOPE）で行われる。タッチは、MainActivityによりonTouchEvent（MotionEventイベント）メソッドをオーバーライドすることによりアクセスされ、タッチはビューにより、ビューのsetOnTouchListener()によってView.OnTouchListenerを登録することによりアクセスされる。従って、プラットフォーム（IOS／Android）、ＳＤＫ、コール及びグラフィックエンジンは、本明細書に開示する方法に限定されない。
【００７９】
ゲームプラットフォーム
クラウドベースのゲームプラットフォーム５００の実施形態の場合、Apple IOS及びAndroid制御機器３００の両方にネイティブアプリケーション３０６として方法２５０を実装する。Apple Deviceにおけるデータ取得は、AppleiOS CMMotionManagerオブジェクトを介して有効にされて、機器の動作データ、姿勢、加速度計及び重力を取得する。CMDeviceMotionオブジェクトのCMAccelerationサブクラスのGravityメソッドを用いて重力センサデータを取得する。CMDeviceMotionオブジェクトのCMAttitudeサブクラスのAttitudeメソッドを用いて姿勢センサデータを取得する。CMMotionManagerオブジェクトのstartDeviceMotionUpdatesToQueue:withHandlerメソッドを呼び出してデータ収集を開始する。データは、（１／１００）秒間隔で取得される。deviceMotionUpdateIntervalプロパティを用いてデータ取得間隔を設定する。
【００８０】
好ましい一実施形態５００において、ゲームエンジン４５０は、Amazonウェブサービス及び全ての主要な市販の互換ウェブブラウザ（Firefox及びSafari）をウェブ対応ディスプレイ３５０で使用して実装する。好ましくは、アプリケーション３０６から呼び出されたUnity 5グラフィックエンジンを用いて、一実施形態においてUnity 3D 5を表示機器３５０の適当なHTML 5.0ウェブページにインストールする。代替的で好ましい一実施形態において、Unity 5グラフィックエンジンは、スタンドアロンネイティブアプリケーションとしてコンパイルされて表示機器にダウンロードされ、このアプリケーションは、ウェブソケットプロトコルを介してインターネットに接続して、制御機器３００からゲームサーバ４５０を介して入力データを受け取る能力を有する。
【００８１】
ウェブソケット接続を用いてプラットフォーム５００上でデータを交換する。制御機器３００は、WebSocketのＡＰＩを用いて、ゲームサーバ４５０及びUnity 3Dグラフィックエンジンが制御機器３００及びウェブ対応ディスプレイ３５０にインストールされているブラウザ３５０にデータを送信する。ブラウザとのウェブソケット接続は、プレイされているゲーム中に継続される。
【００８２】
WebSocketのＡＰＩを用いて制御機器３００からデータを受信し、Unityゲームエンジンと通信する。一例として、Unity Androidが完全にロードされると、ネイティブアプリ「gameLoadedOnDevice()」にコールバックを送信する。UnityWebの場合、ネイティブブラウザアプリにソケットコールを送り返す。ネイティブブラウザアプリは、unity.sendMessage（「unity関数」）を呼び出すことにより、プレイ結果の詳細をUnityWebに送り返す。ウェブ対応ディスプレイ３５０上での機器の動作を再現するため、UnityAndroid又はUnityiOSはネイティブアプリのみを介してサーバと全てのソケット通信を行う。適切な方法がソケットコールを扱うネイティブアプリ３０６に規定される。Unityは、必要なときに常に各メソッドを呼び出すのみである。ネットワークコールへの応答もネイティブアプリによりリスニングされ、Unity.sendMessage（「unity関数」）を介してこれらのデータをUnityに伝送する。
【００８３】
方法４００のアルゴリズムは、ユーザー０１０がUnityAndroid又はUnityiOSを開始した場合にバックグラウンドで動作し続ける。方法４００がセンサ１００入力を検出してロジック１３０に渡すときには常に、方法４００は、トリガイベント１４０をUnityAndroid又はUnityiOSに送信し、ウェブソケットコールをUnityWebに送る。この好ましい実施形態に開示するソフトウェア及びシステムコールは、将来的に変化し、従って、本実施形態は、非限定的であることを理解されたい。
【００８４】
バスケットボールの例を明確にするため、センサ１００が一体化された単一の制御機器３００を用いる方法を説明した。しかし、本例は、非限定的である。
【００８５】
スタジアム内ゲームの実施形態
参照によりその全体が本明細書に援用される、Jefferyらによる「Method and System for a Control Device to Connect and Control a Display Device」という名称の米国特許出願公開第２０１６／０２６０３１９号は、既に、スタジアムのデジタルボード上で複数のユーザーがスポーツゲームを同時にプレイする状況を開示している。図１２は、多数（例えば、数千人）のユーザー０１０が同一の表示機器３５０を同時に利用し、制御機器が、本明細書に開示する本発明の制御方法４００を利用する実施形態を例示している。図示するように、表示機器３５０は、バスケットボールスタジアムのデジタルボード、例えばJumboTron（商標）等の極めて巨大なディスプレイである。デジタルボードは、スタジアム、マーケティング画面、スコアボード及び大規模なイベントで一般的に用いられる最大の非投影ビデオディスプレイとして知られる。
【００８６】
上述の画面は、元々１６個以上の小型フラッドビームＣＲＴ（陰極線管）で作られ、２〜１６ピクセルの範囲であった。最新モデルJumboTron及びJumbovision画面は、現在、大規模なＬＥＤディスプレイである。新旧バージョンの両方は、複数機器の接続を可能にし、各種の音声及びビデオ形式に接続され得る。これらのシステムは、最新のシステムにＶＧＡ、ＤＶＩ、ＨＤＭＩ及びＵＳＢ接続可能な同軸方式のいずれにも接続可能なほぼ全ての種類のデータ形式を表示することができる。すなわち、JumboTronsは、コンピュータ、スマートフォン、Blu-rayプレイヤー及び他のデジタル機器を投影することができる。従って、本発明のゲーム出力２００、例えば一実施形態ではウェブページをJumboTron上に表示して、１０００人の同時ユーザーに表示機器３５０を作り出すことが容易である。しかし、本例は、説明目的であり、非限定的であることを理解されたい。
【００８７】
図１２に示す実施形態におけるプレイのモードは、ユーザー０１０が巨大なディスプレイ３５０上で同時にプレイするものであり、説明目的の例として図４に示すジェスチャ０７５及び方法４００を用いて、各自の制御機器３００によりバスケットボールのフリースローシュートを行っている。ゲームサーバ５００は、各ユーザーシュートを追跡し、例えば６０秒間で続けてバスケットに入った回数であり得るゲームのルールに従って「勝者」を決定する。表示機器３５０上でのゲームプレイがスタジアム内のユーザー０１０に限定されないことに留意されたい。既にJefferyにより開示された実況中継イベントの一実施形態において、自宅、バー、レストラン、ホテル又は他の任意の場所にいるユーザーが各自の地理的位置からスタジアムの表示機器３５０上で同時にプレイすることができ、新たな実施形態における制御方法は、本明細書に開示する本発明の方法４００である。従って、本実施形態において、本発明の方法及びシステム５００は、異なる地理的位置にいる数百万人のユーザーに同時に適用可能である。
【００８８】
説明目的のスポーツゲームの実施形態
以下の記述において、フットボール、ボウリング、テニス、野球、ホッケー、サッカー、釣り及び三人称格闘ゲーム等のビデオ及びモバイルゲームへの本発明の複数の可能な変型形態を示す。これらの例は、説明目的であり、非限定的であることを理解されたい。簡潔のため、それぞれの例について各タッチ及びジェスチャ入力並びに対応するアバター０１５ゲーム出力２００を介して実施形態を開示し、なぜなら、センサ入力１００及び方法４００によりゲーム出力２００が可能になるためである。適切な場合、特定の実施形態で説明する本発明の独自の特徴を指摘する。
【００８９】
図１３（ａ）〜（ｄ）は、フットボールゲームにおいてアバタークォーターバック（ＱＢ）を制御する一実施形態を示す。図１３（ａ）は、最初に仮想ランニングレシーバー（左側レシーバー、右側レシーバー及び中間レシーバー）を選択するタッチ動作を示す。図１３（ｂ）は、レシーバーへのパスを表すジェスチャ動作を示し、図示するジェスチャ０７５の角速度００６は、パスの長さに比例する。フットボールゲームの実施形態の特徴は、フィードバックメーター１５５であり、選択されたレシーバーは、フィードバックメーター１５５上での理想的なスローの範囲００７に対応する。図１３（ｂ）に示すフィードバックメーター１５５の実施形態において、レシーバーがフィールドを走るにつれて、理想的なスロー範囲００７は、ＱＢからのレシーバーの距離に比例するようにフィードバックメーター上で移動００９する。従って、本実施形態において、理想的なジェスチャは、ＱＢの近くにいるレシーバーには小さい角速度を有し、フィールド上のレシーバーの動作に比例して、時間経過に伴ってフィードバックメーター１５５上で変化するフィードバックメーター００７にはより大きい角速度００６及び理想的なパスが示されている。図１３（ｃ）は、タッチセンサ入力を介してランニングを連続的に制御しながら、ＱＢ、レシーバー又は他のプレイヤーの動作を示す。図３（ｄ）は、ジャンプ、フェイント、タックル又は他のアニメーションイベントをトリガするジェスチャ入力０７５である。
【００９０】
図１４（ａ）〜（ｄ）は、ボウリングゲームを制御する本発明の一実施形態を示す。図１４（ａ）は、ボウリングレーン上にアバター０１５を配置するタッチ動作を示す。図１４（ｂ）は、制御機器３００の左右への傾斜（ヨー）により、各グラフィック線０５２、０５３及び０５４で示す左方、右方又は中央をボウリングボール０９２で狙うボウリングの実施形態における本発明の態様を示す。しかし、好ましくは、表示機器３００のヨー角に比例する角度をなす１本の線として描画され、応答的に表示機器３５０上に描画される。代替的な実施形態において、照準線０６０の方向もタッチ入力により選択することができる。図１４（ｃ）は、照準線０５３で示す方向にボールを投げるジェスチャ０７５を示し、角速度００６は、ボールの速度に比例する。図１４（ｃ）は、ボウリングゲーム向けのフィードバックメーター１５５の一実施形態も示し、理想的な投球速度は、００７で示す範囲である。図１４（ｄ）は、ボウリングゲームの好ましい実施形態の２つの例示的な態様を示し、投げた後のボールの回転は、制御機器３００のヨー角度に比例して制御される。例示的な実施形態は、３つの異なる回転０５５、０５５及び０５７のグラフィック線を示す。ボウリングの好ましい一実施形態において、１本のグラフィック線００８が表示機器３５０に描画され、制御機器３００のヨー角に応答して動的に更新される。このグラフィック線は、視覚的フィードバックメーター１５５の代替的な実施形態であることに留意されたい。
【００９１】
図１５（ａ）〜（ｂ）は、ゴルフゲームを制御する本発明の一実施形態を示す。図１５（ａ）は、仮想ゴルフホール上にアバター０１５を配置するタッチ動作を示し、制御機器３００への連続的なタッチ入力により、各グラフィック線０５９で示す左方、右方又は中央を連続的に狙う。しかし、好ましくは、表示機器３００へのタッチセンサ入力に比例する方向の１本の線０５９として描画され、応答的に表示機器３５０上に描画される。図１５（ｂ）は、図４（ｂ）に示すジェスチャ０７５により制御されるゴルフスイングを示し、角速度００６は、ゴルフクラブの速度に比例し、角加速度００８は、描画されたゴルフボール０９４のストレート０５９、フック０５８及びスライス０６０軌道に比例する。１５（ｂ）の実施形態において、理想的なゴルフショットの速度を視覚的フィードバックメーター１５５の範囲００７で示す。
【００９２】
図１６（ａ）〜（ｂ）は、テニスゲームを制御する本発明の一実施形態を示す。図１６（ａ）は、仮想テニスコート上でアバター０１５を動かすタッチ動作を示し、制御機器３００への連続的なタッチ入力により仮想コート上の任意の方向へのアバターの移動を制御し、好ましくは、タッチ動作入力の大きさは、アバターのランニング速度に比例する。図１６（ｂ）は、図４（ｂ）に示すジェスチャ０７５により制御されるテニススイングを示し、角速度００６は、ラケットの速度に比例し、角加速度００８は、描画されたテニスボール０９５のストレート、フック及びスライス軌道に比例する。図１６（ｂ）の実施形態において、理想的なテニスショットの速度を視覚的フィードバックメーター１５５の範囲００７で示し、好ましくは、範囲００７は、コート上での位置に基づいて動的に変化する。
【００９３】
図１７（ａ）〜（ｃ）は、野球のゲームを制御する本発明の一実施形態を示す。図１７（ａ）は、仮想野球場上でアバター０１５を動かすタッチ動作を示し、制御機器３００への連続的なタッチ入力により仮想野球場上での任意の方向へのアバターの移動を制御し、好ましくは、タッチ動作入力の大きさは、アバターのランニング速度に比例する。図１７（ｂ）は、図４（ｂ）に示すジェスチャ０７５により制御されるアバター０１５の野球スイングの一実施形態を示し、角速度００６は、野球のバットに比例し、角加速度００８は、それぞれセンター、レフト又はライトフィールドへの描画された野球ボール０９６のストレート、フック及びスライス軌道に比例する。図１７（ｃ）は、ジェスチャ０７５により制御されるアバター０１５ピッチングを示し、制御機器３００の角速度００６は、投球速度に比例し、角加速度００８は、ボール０９６の様々な球種：説明目的の非限定的な例としてのナックルボール、速球及びカーブボールに対応する。
【００９４】
図１８（ａ）〜（ｂ）は、ホッケーゲームを制御する本発明の一実施形態を示す。図１８（ａ）は、仮想ホッケーリンク上でアバター０１５を動かすタッチ動作を示し、制御機器３００への連続的なタッチ入力により氷上での任意の方向へのアバターの移動を制御し、好ましくは、タッチ動作入力の大きさは、アバターのスケーティング速度に比例する。図１８（ｂ）は、ジェスチャ０７５により制御されるアバター０１５ホッケーシュートの一実施形態を示し、角速度００６は、ホッケースティックのヘッド速度に比例し、角加速度００８は、それぞれ説明目的の非限定的な例としてのバックハンド、スナップ及びスラップシュートとして描画されたホッケーパック０９７のストレート、フック及びスライス軌道に比例する。
【００９５】
図１９（ａ）〜（ｂ）は、サッカーゲームを制御する本発明の一実施形態を示す。図１９（ａ）は、サッカーフィールド上でのアバター０１５を動かすタッチ動作を示し、制御機器３００への連続的なタッチ入力によりフィールド上での任意の方向へのアバターの移動を制御し、好ましくは、タッチ動作入力の大きさは、アバターのランニング速度に比例する。図１９（ｂ）は、ジェスチャ０７５により制御されるアバター０１５のサッカーキックの一実施形態を示し、角速度００６は、サッカーボール０９８の初期速度に比例し、角加速度００８は、それぞれ説明目的の非限定的な実施形態としての外側、直線及び標準シュートとして描画されたサッカーボール０９８のストレート、フック及びスライス軌道に比例する。
【００９６】
図２０（ａ）〜（ｃ）は、釣りゲームを制御する本発明の一実施形態を示す。図２０（ａ）は、アバター０１５により魚をリールで釣り上げるタッチ動作を示し、制御機器３００への連続的に丸を描くタッチ入力は、釣り用リールの巻き取りをシミュレートする。図２０（ｂ）は、ジェスチャ０７５により制御されるアバター０１５による釣り竿のキャスティングの一実施形態を示し、角加速度００８は、図２０（ｂ）に示す釣り竿の左右への又は真っ直ぐなキャスティングに比例する。
【００９７】
図２１（ａ）〜（ｂ）は、ボクシングゲームを制御する本発明の一実施形態を示す。図２１（ａ）は、ボクシングリング内でアバター０１５を動かすタッチ動作を示し、制御機器３００への連続的なタッチ入力によりリングでの任意の方向へのアバターの移動を制御し、好ましくは、タッチ動作入力の大きさは、アバターのステッピング速度に比例する。図２１（ｂ）は、ジェスチャ０７５により制御されるアバター０１５のパンチの一実施形態を示し、角速度００６は、ボクシンググローブの速度に比例し、角加速度００８は、説明目的の非限定的な実施形態としての左、右又はジャブ／アッパーカットパンチをトリガする。
【００９８】
図２２（ａ）〜（ｃ）は、三人称格闘ゲームを制御する本発明の一実施形態を示し、アバターは、図２２（ａ）のようにタッチセンサ入力を介して任意の方向に移動可能であり、図２２（ｂ）に示す制御機器の左右へのジェスチャにより防御アニメーションを起動し、図２２（ｃ）に示すように左方−直線−右方シュートジェスチャ０７５により攻撃アニメーションを起動する。説明目的の実施形態は、非限定的であることを理解されたい。代替的な実施形態において、アバターは、兵士、ロボット、怪物又は他の任意のアバターの１つであり得、代替的なゲームの実施形態は、アーチェリー、射撃又は他のアクションゲームを含む。
【００９９】
多くの追加的なゲームが、図７、９及び１３〜２０に示すタッチ及びジェスチャ制御方法から派生し得ることを理解されたい。具体的には、バドミントン、スカッシュ及びハンドボールは、テニスの説明目的の例（図１５）から派生し、ラウンダー及びクリケットは、野球の説明（図１６）から派生する。更に、例えば図４（ｂ）に示すジェスチャを介した各種の他の投げるゲーム、例えばタッチジェスチャにより狙いを定めて物体（お手玉、蹄鉄、ダーツ等）を投げる玉入れ及びダーツゲームが直接派生し得る。
【０１００】
仮想現実ゲームの制御
開示する本発明の方法及びシステムは、仮想現実（ＶＲ）ゲーム用途にも適用可能である。代表的なＶＲヘッドセットとして、機械式レンズ、トラックパッド及び２つの特製ボタン（集合的にセンサ１００）を含むヘッドセットであるSamsung Gear VRがある。Androidモバイルフォン３００がGear VRヘッドセットに装着され、図１に示すディスプレイ３０８及びプロセッサ３０３を提供する。コンテンツ視認機能のためにのみ設計されたＶＲ視認機器の別の例は、Google Cardboardである。この設計において、iPhone又はAndroidであるモバイルフォン３００は、制御機器３００のディスプレイ３０６からの焦点距離が４５ｍｍである２つのレンズを備えた厚紙のヘッドセット内に保持される。
【０１０１】
Oculus Rift（Oculus VR）は、外部パーソナルコンピュータ（ＰＣ）から電力供給される説明目的のＶＲシステムである。Oculusは、通信インターフェース３０１、両眼ディスプレイ３０８のためのＯＬＥＤパネル、ＲＡＭメモリコントローラ３０５及び電源３０７を有する、制御機器３００と同様のアーキテクチャを有するヘッドセットを含む。通信インターフェース３０１は、ヘッドホンジャック、XBOX Oneコントローラ、動作センサ１０１入力、ＨＤＭＩ、ＵＳＢ３．０及びＵＳＢ２．０並びに「コンステレーション」カメラシステムを介して入力された３Ｄマッピングされた空間を含む各種の入力を制御する。両眼のためのＯＬＥＤパネルは、ＨＤ又は任意選択的なＵＨＤであり、各フレームで２ミリ秒相当の画像を描画する低持続性表示技術を用いる。ＲＡＭメモリコントローラ３０５は、「コンステレーション」方法を介して追跡を行うＵＳＢ接続された赤外ＬＥＤセンサを介した６ＤＯＦ（３軸回転追跡＋３軸位置追跡）の入力を用いて３Ｄ音声を生成する。電源３０７は、「コンステレーションカメラ」に接続されたＰＣへのＵＳＢ接続を介してオンにされる。Oculusを動作させることを要求されたＰＣは、以下の必要最小限の仕様：Windows 8以降を前提としてIntel Core i5-4590と均等なＣＰＵ、少なくとも８ＧＢのＲＡＭ、少なくともAMD Radeon R9 290又はNvidia GeForce GTX 970グラフィックカード、ＨＤＭＩ１．３出力、３つのＵＳＢ３．０ポート及び１つのＵＳＢ２．０ポートを有する。Oculusは、Oculus Touchと呼ばれる片手に１つで２つの追加的な外部センサ機器３１０をサポートし、各々が２つのボタン、１つのタッチ感応ジョイスティック及び動作センサを備えている。説明目的の従来技術として、Oculusゲームにおける射撃ゲームは、典型的に、外部センサ機器３１０のボタンの押圧により制御される。
【０１０２】
図２３（ａ）〜（ｂ）は、ＶＲ戦車ゲーム向けの本発明の例示的な一実施形態を示す。図２３（ａ）は、ユーザー０１５及びＶＲシステム６００を示し、本明細書に記述する代表的なシステムのいずれでもあり得、ヘッドセットは、制御機器３２５と同様のアーキテクチャを有し、処理のために外付けされたＰＣを含み得る。システム６００は、システム６００に無線又は有線接続されたタッチ１０２及び動作１０１センサ１００を備えた少なくとも１つの外部制御機器３１０を含む。外部制御機器３１０は、スマートフォン、スマートウォッチ、Oculus Touchであり得、又はセンサ１００を介してシステム６００へのタッチ及び動作入力を可能にする他の任意の外部制御機器３１０であり得る。
【０１０３】
図２３（ｂ）の説明目的の実施形態において、タッチセンサ１０２は、３Ｄ仮想世界における戦車６５０の動作を制御し、図２３（ｃ）に示すように、動作センサ１０１に入力された左−右方へのジェスチャ及びトリガジェスチャ０７５により戦車砲塔の旋回及び戦車砲の射撃を制御する。従って、図２３の本発明の方法の例示的な実施形態において、説明目的のＶＲゲームの制御にはボタンを一切必要としない。
【０１０４】
本発明について、上で概説した各種の例示的な実施形態と合わせて記述しているが、多くの代替形態、変更形態及び変形形態が当業者に明らかであろう。従って、上述のように、本発明の例示的な実施形態は、説明目的であり、限定を意図していない。様々な変更形態は、本発明の趣旨及び範囲から逸脱することなくなされ、本発明の趣旨及び範囲から逸脱することなくなされ得る。
【図１（ａ）】
2019535347.tif 000008
【図１（ｂ）】
2019535347.tif 000009
【図２】
2019535347.tif 000010
【図３】
2019535347.tif 000011
【図４（ａ）】
2019535347.tif 000012
【図４（ｂ）】
2019535347.tif 000013
【図５】
2019535347.tif 000014
【図６】
2019535347.tif 000015
【図７（ａ）】
2019535347.tif 000016
【図７（ｂ）】
2019535347.tif 000017
【図８】
2019535347.tif 000018
【図９】
2019535347.tif 000019
【図１０】
2019535347.tif 000020
【図１１】
2019535347.tif 000021
【図１２】
2019535347.tif 000022
【図１３（ａ）】
2019535347.tif 000023
【図１３（ｂ）】
2019535347.tif 000024
【図１３（ｃ）】
2019535347.tif 000025
【図１３（ｄ）】
2019535347.tif 000026
【図１４（ａ）】
2019535347.tif 000027
【図１４（ｂ）】
2019535347.tif 000028
【図１４（ｃ）】
2019535347.tif 000029
【図１４（ｄ）】
2019535347.tif 000030
【図１５（ａ）】
2019535347.tif 000031
【図１５（ｂ）】
2019535347.tif 000032
【図１６（ａ）】
2019535347.tif 000033
【図１６（ｂ）】
2019535347.tif 000034
【図１７（ａ）】
2019535347.tif 000035
【図１７（ｂ）】
2019535347.tif 000036
【図１７（ｃ）】
2019535347.tif 000037
【図１８（ａ）】
2019535347.tif 000038
【図１８（ｂ）】
2019535347.tif 000039
【図１９（ａ）】
2019535347.tif 000040
【図１９（ｂ）】
2019535347.tif 000041
【図２０（ａ）】
2019535347.tif 000042
【図２０（ｂ）】
2019535347.tif 000043
【図２０（ｃ）】
2019535347.tif 000044
【図２１（ａ）】
2019535347.tif 000045
【図２１（ｂ）】
2019535347.tif 000046
【図２２（ａ）】
2019535347.tif 000047
【図２２（ｂ）】
2019535347.tif 000048
【図２２（ｃ）】
2019535347.tif 000049
【図２３（ａ）】
2019535347.tif 000050
【図２３（ｂ）】
2019535347.tif 000051
【図２３（ｃ）】
2019535347.tif 000052
【国際調査報告】
2019535347.tif 000053
2019535347.tif 000054
2019535347.tif 000055