(57)【要約】  ＨＭＤ装着者のジェスチャーをＶＲ画面内のプレーヤーの動きに反映させ、装着者の意図した方向、速度でＶＲの展開させてＶＲ酔いを防止する。  ＨＭＤ１を装着している装着者の頭部と手の動きを監視し、移動方向、移動距離、移動速度、加速度を検出し、ＨＭＤ１内に表示される３Ｄ動画内でのプレーヤーから見える景色の変化に反映させることによって、ＨＭＤ装着者の自律的な動きを３Ｄ動画中でのプレーヤーから見た景色の変化に反映させ、ＶＲ酔いを防止できるＶＲ装置。
2020017440.tif 000002
【特許請求の範囲】
【請求項１】
ＨＭＤと、
前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、
前記ＨＭＤ装着者の少なくとも片手の位置、移動速度・加速度を検出する手の位置・速度・加速度検出器と、
前記ＨＭＤ装着者の移動方向と移動速度を演算するＨＭＤ移動方向・速度演算器と、
前記ＨＭＤ装着者の移動方向と移動速度の演算結果を入力し、ＶＲ空間内におけるプレーヤーの移動方向と移動速度を演算するプレーヤー移動方向・速度演算器と、
前記プレーヤーの移動方向と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたことを特徴とするＶＲ装置。
【請求項２】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出するステップと、
前記ＨＭＤ装着者の少なくとも片手の位置、移動速度・加速度を検出するステップと、
前記ＨＭＤ装着者の移動方向と移動速度を演算するステップと、
前記ＨＭＤ装着者の移動方向と移動速度の演算結果を入力し、ＶＲ空間内におけるプレーヤーの移動方向と移動速度を演算するステップと、
前記プレーヤーの移動方向と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるステップとを有することを特徴とする
ＶＲ方法。
【請求項３】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する処理ステップと、
前記ＨＭＤ装着者の少なくとも片手の位置、移動速度・加速度を検出する処理ステップと、
前記ＨＭＤ装着者の移動方向と移動速度を演算する処理ステップと、
前記ＨＭＤ装着者の移動方向と移動速度の演算結果を入力し、ＶＲ空間内におけるプレーヤーの移動方向と移動速度を演算する処理ステップと、
前記プレーヤーの移動方向と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させる処理ステップとをコンピュータに実行させることを特徴とするＶＲプログラム。
【請求項４】
請求項３に記載のＶＲプログラムを記憶した記憶媒体。
【請求項５】
ＨＭＤと、
前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、
前記ＨＭＤ装着者の少なくとも片手の位置を検出する手の位置検出器と、
前記ＨＭＤ装着者の任意の点を決定する任意点決定器と、
前記ＨＭＤ装着者の前記手の位置と前記任意の点との間の距離を演算する実空間２点間距離演算器と、
前記手の位置と前記任意の点との距離の演算結果に基づいて、ＶＲ空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、
前記プレーヤーの位置と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたことを特徴とするＶＲ装置。
【請求項６】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出するステップと、
前記ＨＭＤ装着者の少なくとも片手の位置を検出するステップと、
前記ＨＭＤ装着者の任意の点を決定するステップと、
前記ＨＭＤ装着者の前記手の位置と前記任意の点との間の距離を演算するステップと、
前記手の位置と前記任意の点との距離の演算結果に基づいて、ＶＲ空間内におけるプレーヤーの位置と移動速度とを演算するステップと、
前記プレーヤーの位置と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるステップとを有することを特徴とするＶＲ方法。
【請求項７】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する処理ステップと、
前記ＨＭＤ装着者の少なくとも片手の位置を検出する処理ステップと、
前記ＨＭＤ装着者の任意の点を決定する処理ステップと、
前記ＨＭＤ装着者の前記手の位置と前記任意の点との距離を演算する処理ステップと、
前記手の位置と前記任意の点との距離の演算結果に基づいて、ＶＲ空間内におけるプレーヤーの位置と移動速度とを演算する処理ステップと、
前記プレーヤーの位置と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させる処理ステップとをコンピュータに実行させることを特徴とするＶＲプログラム。
【請求項８】
請求項７に記載のＶＲプログラムを記憶した記憶媒体。
【請求項９】
ＨＭＤと、
前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、
前記ＨＭＤ装着者のシューティング操作を検出するシューティング操作検出器と、
前記シューティング操作を検出して、ＶＲ空間内でのシューティングターゲットを決定するターゲット検出器と、
前記ＨＭＤ装着者の手の引き戻し動作と引き戻し距離を検出する引き戻し操作検出器と、
前記ＨＭＤ装着者の引き戻し動作と引き戻し距離の検出結果に基づき、ＶＲ空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する引き寄せ距離演算器と、
前記ＶＲ空間内で、前記引き寄せた距離に応じて前記シューティングターゲットが前記プレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたことを特徴とするＶＲ装置。
【請求項１０】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出するステップと、
前記ＨＭＤ装着者のシューティング操作を検出するステップと、
前記シューティング操作を検出して、ＶＲ空間内でのシューティングターゲットを決定するステップと、
前記ＨＭＤ装着者の手の引き戻し動作と引き戻し距離を検出するステップと、
前記ＨＭＤ装着者の引き戻し動作と引き戻し距離の検出結果に基づき、ＶＲ空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算するステップと、
前記ＶＲ空間内で、前記引き寄せた距離に応じて前記シューティングターゲットが前記プレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるステップとを有することを特徴とするＶＲ方法。
【請求項１１】
ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する処理ステップと、
前記ＨＭＤ装着者のシューティング操作を検出する処理ステップと、
前記シューティング操作を検出して、ＶＲ空間内でのシューティングターゲットを決定する処理ステップと、
前記ＨＭＤ装着者の手の引き戻し動作と引き戻し距離を検出する処理ステップと、
前記ＨＭＤ装着者の引き戻し動作と引き戻し距離の検出結果に基づき、ＶＲ空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する処理ステップと、
前記ＶＲ空間内で、前記引き寄せた距離に応じて前記シューティングターゲットが前記プレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させる処理ステップとをコンピュータに実行させることを特徴とするＶＲプログラム。
【請求項１２】
請求項１１に記載のＶＲプログラムを記憶した記憶媒体。
【請求項１３】
ＨＭＤと、
前記ＨＭＤを装着している装着者の頭部の位置と向きを検出する頭部姿勢検出器と、
前記ＨＭＤ装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する入力検出器と、
前記ＨＭＤ装着者の向きと前記片手のボタンやジェスチャー等の入力時間を検出し、ＶＲ空間内においてプレーヤーの上昇方向と上昇速度を演算する上昇動作演算部と、
前記ＶＲ空間内で、前記プレーヤーの上昇方向と上昇速度に応じて当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたことを特徴とするＶＲ装置。
【請求項１４】
ＨＭＤを装着している装着者の頭部の位置と向きを検出するステップと、
前記ＨＭＤ装着者の少なくとも片手のボタンやジェスチャー等の入力を検出するステップと、
前記ＨＭＤ装着者の向きと前記片手のボタンやジェスチャー等の入力時間を検出し、ＶＲ空間内においてプレーヤーの移動方向と移動速度を演算するステップと、
前記ＶＲ空間内で、前記プレーヤーの移動方向と移動速度に応じて当該プレーヤーの視野内の景色を変化させるステップとを有することを特徴とするＶＲ方法。
【請求項１５】
ＨＭＤを装着している装着者の頭部の位置と向きを検出する処理ステップと、
前記ＨＭＤ装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する処理ステップと、
前記ＨＭＤ装着者の向きと前記片手のボタンやジェスチャー等の入力時間を検出し、ＶＲ空間内においてプレーヤーの移動方向と移動速度を演算する処理ステップと、
前記ＶＲ空間内で、前記プレーヤーの移動方向と移動速度に応じて当該プレーヤーの視野内の景色を変化させる処理ステップとをコンピュータに実行させることを特徴とするＶＲプログラム。
【請求項１６】
請求項１５に記載のＶＲプログラムを記憶した記憶媒体。
【請求項１７】
スピード感を表現する効果線を前記ＶＲ空間内に重畳して表示することを特徴とする請求項１〜１５のいずれかに記載のＶＲ装置、方法又はプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＶＲ酔いを防止できるＶＲ装置、方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、ＨＭＤ（ヘッド・マウント・ディスプレイ）をユーザーに装着させ、３Ｄ画像を見せることによって臨場感に優れ、没入感を増すＶＲゲームが開発され市場に提供されている。【０００３】
ところが、ＨＭＤの装着によりユーザーが現実の周囲の様子を見ることができなくなり、ディスプレイ内の３Ｄ画像に没入しその映像の中に自分も存在するような錯覚を起こし、ユーザーの体や頭は現実には傾いたり高速で動いたりはしていないのに脳は高速で動いたり傾いたりしていると認識し、その感覚の開離によっていわゆるＶＲ酔いをもたらすことが問題点として指摘されている。このＶＲ酔いの問題は、ＶＲゲームだけでなく、ＨＭＤを装着してインタラクティブなＶＲ動画を視聴するＶＲ装置全般において広く指摘されている。【０００４】
このＶＲ酔いに関しては、
・視覚と体感の不一致により引き起こされる、
・おもな症状は胃のむかつき、吐き気、頭痛などが挙げられる、
・船酔いや車酔いなどの乗り物酔いに近い症状である、
・ＶＲ酔い対策にはソフトウェア側での対応が必要である、
等が指摘されている。【０００５】
そこで、ＶＲ酔いの防止に関して、例えば、特開２０１８−０８５１３７号公報（特許文献１）、特開２０１８−０７２９９２号公報（特許文献２）、特開２０１６−０３１４３９号公報（特許文献３）、再表２０１６／０１７２４５号公報（特許文献４）、再表２０１５／１０７８１７号公報（特許文献５）、特開平１２−３３９４９０号公報がある。【０００６】
これらは、ＶＲ酔い防止また軽減のために種々の対策を提案しているが、ＨＭＤを装着しているユーザーの頭部と手の座標を監視し、その動く速さや加速度、向き、また移動距離を求めてＨＭＤ内の３Ｄ動画内でのプレーヤーの動きに反映させる技術を開示しているものはない。【０００７】
近年、ＶＲゲームにおいてＶＲ酔いを防ぐために、ある地点からある地点へワープする移動方法が多く採用されている。このワープ移動を採用すれば、ある地点から別のある地点までの空間を自由自在に空を飛んだり、自由に走り回ったりできず、ＨＭＤ装着者にとって空間移動を体感できず、現実感が損なわれる問題点もあった。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１８−０８５１３７号公報
【特許文献２】特開２０１８−０７２９９２号公報
【特許文献３】特開２０１６−０３１４３９号公報
【特許文献４】再表２０１６／０１７２４５号公報
【特許文献５】再表２０１５／１０７８１７号公報
【特許文献６】特開平１２−３３９４９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上記従来技術の課題に鑑みてなされたもので、ＨＭＤを装着しているユーザーの少なくとも頭部と手の動きを監視し、移動方向、移動距離、移動速度、加速度を検出し、ＨＭＤ内に表示される３Ｄ動画内でのプレーヤーから見える景色の変化に反映させることによって、ＨＭＤを装着しているユーザーの自律的な動きを３Ｄ動画中でのプレーヤーから見た景色の変化と連動させ、ＶＲ酔いを防止できるＶＲ装置、方法、プログラム及びそれを記憶した記憶媒体を提供することを目的とする。【００１０】
より具体的に例示して説明すれば、ヘッドトラッキングとハンドトラッキングをフルに使い、ＨＭＤを装着しているユーザーの実際のジェスチャーを最大限に活用し、そのユーザー（ＨＭＤ装着者）が腕を振って前に進むジェスチャーをすればそのジェスチャーを認識して３Ｄ動画内のプレーヤーが前に進むようにＶＲ動画を展開させることにより、ＶＲ動画でありながらユーザーの現実のジェスチャーとＶＲ動画の展開とをマッチさせ、ユーザーのＶＲ酔いを防止できるＶＲ装置、方法、プログラム及びそれを記憶した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、ＨＭＤと、前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記ＨＭＤ装着者の少なくとも片手の位置、移動速度・加速度を検出する手の位置・速度・加速度検出器と、前記ＨＭＤ装着者の移動方向と移動速度を演算するＨＭＤ移動方向・速度演算器と、前記ＨＭＤ装着者の移動方向と移動速度の演算結果を入力し、ＶＲ空間内におけるプレーヤーの移動方向と移動速度を演算するプレーヤー移動方向・速度演算器と、前記プレーヤーの移動方向と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置を特徴とし、またこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体を特徴とする。【００１２】
また本発明は、ＨＭＤと、前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記ＨＭＤ装着者の少なくとも片手の位置を検出する手の位置検出器と、前記ＨＭＤ装着者の任意の点を決定する任意点決定器と、前記ＨＭＤ装着者の前記手の位置と前記任意の点との間の距離を演算する実空間２点間距離演算器と、前記手の位置と前記任意の点との距離の演算結果に基づいて、ＶＲ空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、前記プレーヤーの位置と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置を特徴とし、またこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体を特徴とする。【００１３】
また本発明は、ＨＭＤと、前記ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、前記ＨＭＤ装着者のシューティング操作を検出するシューティング操作検出器と、前記シューティング操作を検出して、ＶＲ空間内でのシューティングターゲットを決定するターゲット検出器と、前記ＨＭＤ装着者の手の引き戻し動作と引き戻し距離を検出する引き戻し操作検出器と、前記ＨＭＤ装着者の引き戻し動作と引き戻し距離の検出結果に基づき、ＶＲ空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する引き寄せ距離演算器と、前記ＶＲ空間内で、前記引き寄せた距離に応じて前記シューティングターゲットが前記プレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置を特徴とし、またこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体を特徴とする。【００１４】
さらに本発明は、ＨＭＤと、前記ＨＭＤを装着している装着者の頭部の位置と向きを検出する頭部姿勢検出器と、前記ＨＭＤ装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する入力検出器と、前記ＨＭＤ装着者の向きと前記片手のボタンやジェスチャー等の入力時間を検出し、ＶＲ空間内においてプレーヤーの上昇方向と上昇速度を演算する上昇動作演算部と、前記ＶＲ空間内で、前記プレーヤーの上昇方向と上昇速度に応じて当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置を特徴とし、またこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体を特徴とする。【００１５】
さらに、上記ＶＲ装置、方法及びプログラムの発明においては、スピード感を表現する効果線を前記ＶＲ空間内に重畳して表示させることができる。
【発明の効果】
【００１６】
本発明によれば、ＨＭＤ装着者の手の振りと振る速度でＶＲ動画中のプレーヤーの移動方向と速度を決め、ＶＲ動画内でプレーヤーがその移動方向にその速度で移動しているように表現することができ、これによってＨＭＤ装着者の意思と動作に対応してＶＲ動画を展開、進行させることができ、ＶＲ酔いを効果的に予防できる。【００１７】
また本発明によれば、ＨＭＤの装着者が頭を低くして手に近づけるとＶＲ動画中の景色が速く進み、頭から手を離して両者間の距離を離すとＶＲ動画中の景色の進みが遅くなり、乗馬中の騎手やオートバイ、自転車を運転しているライダー、スキーヤー、スノーボーダー、サーファーらの実際の運転、運動感覚に近い感覚をＨＭＤ装着者に与えることができ、ＶＲ酔いを効果的に防止できる。【００１８】
また本発明によれば、コントローラでシュートして動画内のターゲットを定め、その状態で装着者がその手で引き戻す動作をすることで、ＶＲ動画内でプレーヤーは特定されたターゲットを手を動かした距離に応じた速さで引き寄せることができ、ＨＭＤ装着者の意図や動作に応じた動きをＶＲ動画内のプレーヤーに行わせることができ、ＶＲ酔いを効果的に防止できる。【００１９】
また本発明によれば、ＨＭＤ装着者がボタンなどの任意のトリガーを入力し、その入力の持続時間によってＶＲ動画内での空中を飛んでいるプレーヤーから見える景色の移動を速くさせたりゆっくりさせたりでき、ＨＭＤ装着者の動作や意思に応じてＶＲ動画内のプレーヤーから見える景色を変化させることができ、ＶＲ酔いを効果的に防止できる。【００２０】
さらに本発明によれば、ＶＲ動画内でプレーヤーの視点から見た変化の速さと方向、向きに応じた移動速度と方向、向きにスピード感を表示する効果線を表示させることにより、装着者にリアルなスピード感や方向感覚を与えることができ、ＶＲ酔いをいっそう効果的に防止できる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１〜第４の実施の形態のＶＲゲーム装置のハードウェア構成を示すブロック図。
【図２】本発明の第１の実施の形態のＶＲゲーム装置の機能構成を示すブロック図。
【図３】上記実施の形態のＶＲゲーム装置におけるゲームエンジンの機能構成を示すブロック図。
【図４】上記実施の形態のＶＲゲーム装置の処理手順のフローチャート。
【図５】上記実施の形態のＶＲゲーム装置によりＨＭＤ内に表示される３Ｄ画面の一例を示す説明図。
【図６】本発明の第２の実施の形態のＶＲゲーム装置の機能構成を示すブロック図。
【図７】上記実施の形態のＶＲゲーム装置の処理手順のフローチャート。
【図８】本発明の第３の実施の形態のＶＲゲーム装置の機能構成を示すブロック図。
【図９】上記実施の形態のＶＲゲーム装置におけるゲームエンジンの機能構成を示すブロック図。
【図１０】上記実施の形態のＶＲゲーム装置の処理手順のフローチャート。
【図１１】上記実施の形態のＶＲゲーム装置によりＨＭＤ内に表示される３Ｄ画面の一例を示す説明図。
【図１２】本発明の第４の実施の形態のＶＲゲーム装置の機能構成を示すブロック図。
【図１３】上記実施の形態のＶＲゲーム装置におけるゲームエンジンの機能構成を示すブロック図。
【図１４】上記実施の形態のＶＲゲーム装置の処理手順のフローチャート。
【図１５】上記実施の形態のＶＲゲーム装置によりＨＭＤ内に表示される３Ｄ画面の一例を示す説明図。
【図１６】本発明の第５の実施の形態のＶＲゲーム装置のブロック図。
【図１７】上記第５の実施の形態のＶＲゲーム装置の機能構成を示すブロック図。
【図１８】上記第５の実施の形態のＶＲゲーム装置の処理手順のフローチャート。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態を図に基づいて詳説する。なお、本明細書中では、「プレーヤー」とはＨＭＤ内のディスプレイに投影されている３Ｄ動画中で仮想のプレー主体であり、その主体から見える景色の変化がＶＲゲーム動画に反映される。通常はプレーヤーの目線は画面中央に設定される。また「ユーザー」とはＨＭＤを装着してＶＲゲーム動画を楽しむ人であり、「ＨＭＤ装着者」または「装着者」と称することもある。その装着者が行うジェスチャーはＶＲゲーム動画中でのプレーヤーの動作に反映される。「ＨＭＤ」とは正式には「ヘッド・マウンテッド・ディスプレイ」であり、「ヘッド・マウント・ディスプレイ」と呼ばれることもあるデバイスであり、内部に立体視ディスプレイを備え、装着者にＶＲゲームを立体視させることができる。さらに、本明細書中で「ＶＲゲーム」と称するソフトウェアは、３ＤＶＲゲームだけではなく、ＨＭＤ装着者に動画を立体的に見せることができるユーザーインタラプティブなすべての３Ｄコンテンツを包含するものとする。
【００２３】
さらに、以下ではＶＲゲーム装置、方法、プログラムの実施の形態について説明するが、本発明はＶＲゲーム装置等に限定されるものではなく、広くＶＲ装置、方法、プログラムに適用することができる。例えば、ＨＭＤを装着しているユーザーの少なくとも頭部と手の動きを監視し、移動方向、移動距離、移動速度、加速度等を検出し、ＨＭＤ内に表示される３Ｄ動画内でのプレーヤーから見える景色の変化に反映させる機能を備えたＶＲ装置、方法、プログラムによれば、ＨＭＤを装着しているユーザーの自律的な動きを３Ｄ動画中でのプレーヤーから見た景色の変化と連動させることができ、ＨＭＤ装着者の自律的な動きが３Ｄ動画中でのプレーヤーから見た景色の変化と連動するようになれば、ＶＲ動画でありながらユーザーの現実のジェスチャーがＶＲ動画の展開にマッチし、車を運転しているドライバーは車酔いをしにくいように、ＶＲ動画を操作しているＨＭＤ装着者がＶＲ酔いしにくくなるのである。
【００２４】
［第１の実施の形態］
本発明の第１の実施の形態は、ＨＭＤ装着者の手の振りと振る速度で動画中のプレーヤーの移動方向と速度を計算し、ＨＭＤに表示されるＶＲゲーム動画内でプレーヤーがその移動方向にその速度で移動しているように当該ＶＲゲーム動画を展開、進行させることができ、これによってＨＭＤ装着者の意思と動作にＶＲゲーム動画の展開、進行をマッチさせ、ＶＲ酔いを効果的に予防できるＶＲゲーム装置、方法及びプログラムである。
【００２５】
図１は第１の実施の形態のＶＲゲーム装置のブロック図を示し、本ＶＲゲーム装置は、インサイドアウト方式で自身の位置、姿勢、向きをトラッキングするカメラを備え、また加速度、角速度、地磁気の９軸センサを内蔵したＨＭＤ１と、ＨＭＤ装着者が左右の手それぞれに持ってＶＲゲーム動画の進行、展開を操作する、６軸センサを内蔵したコントローラ２Ｒ、２Ｌと、ＶＲゲームを実行したりＶＲ映像を再生したりするＶＲゲーム実行装置３とで構成される。このＶＲゲーム実行装置３は、ＶＲゲームに特化されたＶＲゲーム機、種々のＶＲゲームソフトを実行するＰＣ、特定のＶＲゲーム専用のゲームマシンなど、ＶＲゲームやＶＲゲーム動画を再生しＨＭＤ１に出力できるスタンドアローン、汎用のすべてのＶＲ画像処理機能を備えたコンピュータ機器を含むものである。
【００２６】
ＨＭＤ１については、現在市販されているＶＲゲーム動画表示ができる複数種の機器のいずれをも採用することもできる。この明細書では、Ｗｉｎｄｏｗｓ  Ｍｉｘｅｄ  ＲｅａｌｉｔｙのＨＭＤ１を例示して説明する。コントローラ２Ｌ，２Ｒも同様であり、タッチパット、アナログスティック、トリガーボタンを装備し、リング状のトラッキングＬＥＤマーカーを備えている。そしてＨＭＤ１には装着者の頭部の三次元空間座標（前後、左右、上下の３方向）を検出できるインサイドアウト方式の６ＤＯＦトラッキングシステム１０１が内蔵されている。また３軸加速度センサーと頭部の方位角度、上下角度、傾き角度を検出できる３軸ジャイロセンサーと地磁気センサーからなる９軸センサー１０２も備えている。６ＤＯＦトラッキングシステム１０１及び９軸センサー１０２の検出信号はＶＲゲーム実行装置３に出力する。コントローラ２Ｒ，２Ｌも６軸センサ２Ｒ１，２Ｌ１を備えている。そしてコントローラ２Ｒ，２Ｌの操作信号、またそれらの６軸センサ２Ｒ１，２Ｌ１の検出信号はＢｌｕｅｔｏｏｔｈ（登録商標）通信にてＶＲゲーム実行装置３のＢｌｕｅｔｏｏｔｈ（登録商標）受信器（図示せず）に送信される。なお、コントローラ２Ｒ，２ＬとＶＲゲーム実行装置３との信号通信はＢｌｕｅｔｏｏｔｈ（登録商標）に限るものではなく、他の有線通信や無線通信技術を採用してもよい。またＨＭＤ１の６ＤＯＦトラッキングシステム１０１はコントローラ２Ｒ，２Ｌの位置をトラッキングＬＥＤマーカーを認識して、コントローラ２Ｒ，２Ｌの三次元空間座標（前後、左右、上下の３方向）を検出できる。
【００２７】
図２に本実施の形態のＶＲゲーム装置の機能構成を示している。これは主にゲーム実行装置３の内部での処理機能を示したものである。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１、また９軸センサ１０２からのセンサ信号を入力するＨＭＤセンサ信号受信部１１、ＨＭＤ装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するＨＭＤ位置・方位角・上下角計算部１２を備えている。
【００２８】
また、コントローラ２Ｒ，２Ｌからの操作信号と６軸センサ信号を受信するコントローラ信号受信部１３、コントローラ２Ｒ，２ＬそれぞれのトラッキングＬＥＤマーカー情報、６軸センサ信号を用いてコントローラの位置を演算するコントローラ位置演算部１４、コントローラ加速度を演算するコントローラ加速度演算部１５、コントローラ加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部１６、コントローラ２Ｒ，２Ｌの６軸センサ信号からＨＭＤ装着者の腕振り持続時間を計算する腕振り持続時間計算部１７、ＨＭＤ装着者の腕振り速度を計算する腕振り速度計算部１８を備えている。
【００２９】
さらに、これらＨＭＤ位置・方位角・上下角計算部１２、腕振り持続時間計算部１７、腕振り速度計算部１８の計算結果を入力し、ＶＲゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部１９、そしてプレーヤー位置・移動方向・移動距離・速度計算部１９の計算した移動速度を入力し、その移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部１１０を備えており、このプレーヤー位置・移動方向・移動距離・速度計算部１９の計算結果とスピード線作成部１１０の作成したスピード線とはＶＲゲームを実行しているゲームエンジン２０に出力される。
【００３０】
このゲームエンジン２０はＶＲゲームを進行・展開させるコンピュータであり、プレーヤーの位置・移動方向・移動距離・速度計算部１９の計算結果を入力してＶＲゲームを進行させ、ＶＲゲームの３Ｄ動画をＨＭＤ１に出力して表示させる。
【００３１】
さらに説明すれば、図３のブロック図に示すように、ゲームエンジン２０はプレーヤー位置、姿勢、向き設定部２１、ＶＲ映像生成部２２、スピード線描画部２３、画像重畳部２４そして立体映像を作成する描画エンジン２５を備え、描画エンジン２５の映像信号をＨＭＤ１に出力して３Ｄ表示させる構成である。
【００３２】
次に、図４のフローチャートを用いて、第１の実施の形態のＶＲゲーム装置の処理手順を説明する。この処理手順はそれを実現するＶＲゲーム方法及びプログラムの説明でもある。この図４のフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１はコントローラ２Ｒ，２Ｌの位置をトラッキングし、コントローラ２Ｒ，２Ｌの座標を決定する（ステップＳＴ１，ＳＴ３）。
【００３３】
ＨＭＤ装着者がコントローラ２Ｒ，２Ｌを握っている手を前後に振ることで、そのジェスチャーで発生するコントローラ２Ｒ，２Ｌの加速度を計算し、その加速度をあらかじめ登録している閾値と比較する（ステップＳＴ５，ＳＴ７）。この比較においてＮＯであるならば何もしないでリターンする。
【００３４】
計算した加速度が閾値よりも大きくてＹＥＳである場合には加速度値を保持し、また腕振り持続時間を計時して保持する（ステップＳＴ９）。続いてＨＭＤ１の正面の向きを求め（ステップＳＴ１１）、またプレーヤーの移動速度を計算し（ステップＳＴ１３）、ＶＲゲーム動画内でのプレーヤーの移動方向と移動距離を計算する（ステップＳＴ１５）。そしてプレーヤーの移動速度に応じたスピード線を作成し（ステップＳＴ１７）、これら移動方向、移動距離、移動速度に基づいてＶＲゲーム動画を展開させ、同時に動画中にスピード感を示すスピード線を重畳し、これをＨＭＤ１に３Ｄ表示する（ステップＳＴ１９）。
【００３５】
こうして本実施の形態のＶＲゲーム装置、方法及びプログラムによれば、ゲームエンジン２０によるＶＲゲームの展開時に、ＨＭＤ１の方位や上下方向の角度と、ＨＭＤ装着者の手の動きから当該装着者の意図する移動方向、移動距離、移動速度を読み取り、それらをＶＲゲーム内のプレーヤーから見たＶＲゲーム動画の展開に反映させる。すなわち、装着者が腕を長い時間に渡り速く振り続けるならばプレーヤー視点から見たＶＲゲーム動画中の景色の変化も速くしてプレーヤーがＨＭＤ装着者の意図した方向に意図した速さで走ったり飛んだりするように見せることができ、これによって、ＨＭＤ１の装着者自身の意図した動きにマッチしてＶＲゲーム動画を展開させることができ、例えば自動車を運転しているドライバーは車酔いをしないのと同様に、ＨＭＤ装着者の意図した動きにマッチしてＶＲゲーム中のプレーヤーが動いているように当該ＶＲゲームを展開させることができ、ＶＲ酔いを防止することができる。
【００３６】
図５にはＶＲゲームの一画面３０を示している。ＨＭＤ装着者の人物像３１は説明のために重畳したものであり、この場合、ＨＭＤ装着者がコントローラ２Ｒ，２Ｌを持って速く走るジェスチャーをしているところである。しかし、この人物像３１は実際のＶＲゲームの画面３０に表示されるものではない。ＨＭＤ装着者がコントローラ２Ｒ，２Ｌを持って速く走るジェスチャーをしているとき、ＶＲゲーム画面３０ではプレーヤーの移動速度に変換し、その移動速度でプレーヤーが前方に進んでいるように見せるため、画面３０内の景色３２がプレーヤーの方に速く近づいてくるように展開される。同時に、この実施の形態ではその移動スピードをより実感させるための効果線としてスピード線３３を表示させ、このスピード線３３が画面３０の中央に立っている想定のプレーヤーに向かって来るように移動させる。そしてそのスピード線３３の移動速度はプレーヤーの移動速度を反映させた速度になる。これは、例えば降雪中や降雨中に列車に乗って外を見ている乗客を想定すれば、列車速度が速ければ雪片や雨滴は移動方向の後方斜め下に落ちてゆき、さらに速くなれば水平後方近くに飛んでゆくように見えるが、列車速度が遅ければ雪片や雨滴は真下近くに落ちてゆくように見える状況と共通する。
【００３７】
なお、本実施の形態において、プレーヤーの動く速さを反映させた効果線としてスピード線をＶＲゲーム動画中に表示させることにより、ＶＲゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
【００３８】
また、ＨＭＤ１やコントローラ２Ｒ，２Ｌについては、本実施の形態ではＷｉｎｄｏｗｓ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ準拠のデバイスを例示したが、現在入手できる他のＨＭＤやコントローラを利用することもでき、ＰＣやゲーム機、スマートフォンをＶＲゲーム実行機として必要としない、いわゆるスタンドアロン型また一体型のＨＭＤを利用することもできる。さらに、手持ちのコントローラ２Ｒ，２Ｌについては、ＨＭＤ装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはＨＭＤ装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、ＨＭＤ装着者の手そのものの前後、左右、上下方向の動き、また動く速度を検出して、装着者の意図するジェスチャーとしてＶＲゲームエンジンに取り込み、上記実施の形態のようにＶＲゲーム内のプレーヤーから見たＶＲゲーム空間の変化に反映させることができる。
【００３９】
上記第１の実施の形態はＶＲゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くＶＲ技術に採用できるものである。すなわち、ＨＭＤと、ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、ＨＭＤ装着者の少なくとも片手の位置、移動速度・加速度を検出する手の位置・速度・加速度検出器と、ＨＭＤ装着者の移動方向と移動速度を演算するＨＭＤ移動方向・速度演算器と、ＨＭＤ装着者の移動方向と移動速度の演算結果を入力し、ＶＲ空間内におけるプレーヤーの移動方向と移動速度を演算するプレーヤー移動方向・速度演算器と、プレーヤーの移動方向と移動速度との演算結果に基づき、ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置、そしてこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体に適用できる。
【００４０】
［第２の実施の形態］
次に、本発明の第２の実施の形態のＶＲゲーム装置、方法及びプログラムについて説明する。第２の実施の形態は、ＨＭＤ１の装着者が頭を低くして手に近づけるジェスチャーをすればＶＲゲーム動画中のプレーヤーの移動速度を速くなり、逆に頭を手から離すジェスチャーをすれば遅くなる動画展開をさせることを特徴とする。つまり、ＨＭＤ１と任意の基準点（例えばコントローラ２Ｒ．２Ｌの位置や乗り物オブジェクトなど）との距離を検出し、両者間の距離が近づけばＶＲゲーム中のプレーヤーの移動速度を速くし、逆にＨＭＤ１と任意の基準点（例えばコントローラ２Ｒ．２Ｌや乗り物オブジェクトなど）との距離が遠くなればＶＲゲーム中のプレーヤーの移動速度を遅くする点に特徴がある。この実施の形態は、ＶＲゲームとして馬、オートバイ、自転車等のレーシングゲーム、スキー、スノーボード、サーフィン等の乗り物ゲーム等のＶＲのＶＲ酔い防止に有効である。
【００４１】
第２の実施の形態のシステム構成は図１に示した第１の実施の形態と同様であり、ＨＭＤ１と、コントローラ２Ｒ、２Ｌと、ＶＲゲームを実行したりＶＲ映像を再生したりするＶＲゲーム実行装置３とで構成される。
【００４２】
図６に本実施の形態のＶＲゲーム装置の機能構成を示している。これは主にＶＲゲーム実行装置３の内部での処理機能を示したものである。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１、また９軸センサー１０２からのセンサ信号を入力するＨＭＤセンサ信号受信部１１、ＨＭＤ装着者の頭部の座標と顔の向いている方位角とを計算するＨＭＤ座標・方位角計算部１２１を備えている。
【００４３】
また、コントローラ２Ｒ，２Ｌからの操作信号と６軸センサ２Ｒ１，２Ｌ１のセンサ信号を受信するコントローラ信号受信部１３、コントローラ２Ｒ，２ＬそれぞれのトラッキングＬＥＤマーカー情報、６軸センサ２Ｒ１，２Ｌ１のセンサ信号を用いてコントローラの位置を演算するコントローラ位置演算部１４、これらＨＭＤ位置・方位角計算部１２１とコントローラ位置演算部１４の計算結果を入力し、ＶＲゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部１９１、そしてプレーヤー位置・移動方向・移動距離・速度計算部１９１の計算した移動速度を入力し、移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部１１０を備えており、このプレーヤー位置・移動方向・速度・距離計算部１９１の計算結果とスピード線作成部１１０の作成したスピード線とを、ＶＲゲームを実行しているゲームエンジン２０に出力する。
【００４４】
図７にプレーヤー位置・移動方向・移動距離・速度計算部１９１とスピード線作成部１１０との処理手順を示す。この処理手順はそれを実現するＶＲゲーム方法及びプログラムの説明でもある。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１はコントローラ２Ｒ，２Ｌの位置をトラッキングしてコントローラの位置座標を決定する等により、任意の基準座標を決定する（ステップＳＴ１０１）。またＨＭＤ１の位置座標、方位角を入力し（ステップＳＴ１０３）、ＨＭＤ１とステップＳＴ１０１で決定した基準座標との距離を計算する（ステップＳＴ１０５）。そしてこのＨＭＤ１と基準座標との距離の計算結果に基づき、ゲーム主体であるプレーヤーの乗っている馬、オートバイ、スキー等のスピードを計算し（ステップＳＴ１０７）、さらにプレーヤーの現在位置、移動方向も求める（ステップＳＴ１０９）。続いて、これらの演算結果を用いてプレーヤーの移動速度を表現する効果線としてのスピード線を作成し（ステップＳＴ１１１）、これらの演算結果を用いてＶＲゲームを展開させる（ステップＳＴ１１３）。
【００４５】
こうして第２の実施の形態のＶＲゲーム装置、方法及びプログラムによれば、ゲームエンジン２０によるＶＲゲームの展開時に、ＨＭＤ１と例えばコントローラ２Ｒ，２Ｌの位置のような基準座標との距離の遠近に応じてプレーヤーの移動速度を決定し、両者の距離が近くなればプレーヤーひいてはそれに乗っている馬、オートバイ、スキー等のスピードを速くし、距離が遠くなればスピードを遅くするようにＶＲゲームを展開させることができる。同時に、この実施の形態でもその移動スピードをより実感させるための効果線としてスピード線を表示させ、このスピード線が画面の中央にいるプレーヤーに向かって来るように移動させる。実際のＶＲゲーム展開の様子は図５に示した第１の実施の形態の画面３０とほぼ共通である。
【００４６】
これにより、ＨＭＤ装着者が前屈みになるジェスチャー、すなわちスピードをどんどん上げるジェスチャーをすればＶＲゲーム内のプレーヤーの周囲の景色や路面のプレーヤーに近づいてくるスピードが速くなり、逆にＨＭＤ装着者が体を起こすジェスチャーをすればＶＲゲーム内のプレーヤーの周囲の景色や路面のプレーヤーに近づいてくるスピードが遅くなり、ＨＭＤ装着者の意図した動作とＶＲゲームの展開スピードとを一致させることができてＶＲ酔いを防止でき、かつ臨場感のあるＶＲゲーム展開を楽しませることができる。またＶＲゲーム内の景色や路面のプレーヤーに向かってくるスピードに応じたスピード線も表示することにより、一層現実感のあるゲーム展開をＨＭＤ装着者に楽しませることができる。
【００４７】
なお、本実施の形態においても、プレーヤーの動く速さを反映させた効果線としてスピード線をＶＲゲーム動画中に表示させることにより、ＶＲゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
【００４８】
また、第１の実施の形態でも述べたように、ＨＭＤ１やコントローラ２Ｒ，２Ｌについては、本実施の形態でもＷｉｎｄｏｗｓ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ準拠のデバイスを例示したが、現在入手できる他のＨＭＤやコントローラ、スタンドアロン型また一体型のＨＭＤを利用することもできる。さらに、手持ちのコントローラ２Ｒ，２Ｌについては、ＨＭＤ装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはＨＭＤ装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、ＨＭＤ装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてＶＲゲームエンジンに取り込み、上記実施の形態のようにＶＲゲーム内のプレーヤーから見たＶＲゲーム空間の変化に反映させることができる。
【００４９】
上記第２の実施の形態はＶＲゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くＶＲ技術に採用できるものである。すなわちＨＭＤと、ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、ＨＭＤ装着者の少なくとも片手の位置を検出する手の位置検出器と、ＨＭＤ装着者の任意の点を決定する任意点決定器と、ＨＭＤ装着者の前記手の位置と前記任意の点との間の距離を演算する実空間２点間距離演算器と、手の位置と前記任意の点との距離の演算結果に基づいて、ＶＲ空間内におけるプレーヤーの位置と移動速度とを演算するプレーヤー位置・移動速度演算器と、プレーヤーの位置と移動速度との演算結果に基づき、前記ＶＲ空間内における当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置、そしてこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をＶＲ動画中に表示させることにより、ＶＲ動画の展開に現実感を増加させることができる。
【００５０】
［第３の実施の形態］
次に、第３の実施の形態のＶＲゲーム装置、方法及びプログラムについて以下に説明する。第３の実施の形態では、ＨＭＤ装着者がコントローラを操作してＶＲゲーム内のプレーヤーにＶＲゲーム内の複数のターゲットのいずれかを狙ってレーザー光や銃を撃たせてターゲットを特定し、あるいは釣り竿で釣り針を遠くに投げて魚釣りをする釣りゲームなど、ＨＭＤ装着者が手に持っているコントローラを引き戻すジェスチャーをすることで、コントローラを引き戻す距離に応じた速さでＶＲゲーム内のターゲットを引き寄せるようなＶＲゲームコンテンツに適用できる。
【００５１】
本実施の形態のＶＲゲーム装置も第１、第２の実施の形態と同様に、図１に示すハードウェア構成であり、ＨＭＤ１と、コントローラ２Ｒ、２Ｌと、ＶＲゲームを実行したりＶＲ映像を再生したりするＶＲゲーム実行装置３とで構成される。
図８に本実施の形態のＶＲゲーム装置の機能構成を示している。これは主にＶＲゲーム実行装置３の内部での処理機能を示したものである。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１、また９軸センサ１０２からのセンサ信号を入力するＨＭＤセンサ信号受信部１１、ＨＭＤ装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するＨＭＤ位置・方位角・上下角計算部１２を備えている。
【００５２】
また、コントローラ２Ｒ，２Ｌからの操作信号と６軸センサ信号を受信するコントローラ信号受信部１３、コントローラ２Ｒ，２ＬそれぞれのトラッキングＬＥＤマーカー情報、６軸センサ信号を用いてコントローラの位置を演算するコントローラ位置演算部１４、コントローラ加速度を演算するコントローラ加速度演算部１５、コントローラ加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部１６、コントローラ２Ｒ，２Ｌの６軸センサ信号からＨＭＤ装着者の腕の引き戻し持続時間を計算する引き戻し持続時間計算部１７１、ＨＭＤ装着者の腕の引き戻し距離を計算する引き戻し距離計算部１８１を備えている。
【００５３】
さらに、これらＨＭＤ位置・方位角・上下角計算部１２、引き戻し持続時間計算部１７１、引き戻し速度計算部１８１の計算結果を入力し、ＶＲゲーム内のプレーヤーの現在位置を計算するプレーヤー位置計算部１９２、そしてプレーヤー位置、引き戻し速度を入力し、引き戻し速度に対応した長さと太さの引き寄せ効果線を作成する引き寄せ効果線作成部１１０１を備えており、このプレーヤー位置計算部１９２の計算結果と引き寄せ効果線作成部１１０１の作成した引き寄せ効果線とはＶＲゲームを実行しているゲームエンジン２０に出力される。
【００５４】
このゲームエンジン２０はＶＲゲームを進行・展開させるコンピュータであり、プレーヤーの位置計算部１９２の計算結果を入力してＶＲゲームを進行させ、ＶＲゲームの３Ｄ動画をＨＭＤ１に出力して表示させる。さらに説明すれば、図９のブロック図に示すように、ゲームエンジン２０はプレーヤー位置・向き設定部２１１、ＶＲ映像生成部２２、引き寄せ効果線描画部２３１、画像重畳部２４そして立体映像を作成する描画エンジン２５を備え、描画エンジン２５の映像信号をＨＭＤ１に出力して３Ｄ表示させる構成である。
【００５５】
次に、図１０のフローチャートを用いて、第３の実施の形態のＶＲゲーム装置の処理手順を説明する。この処理手順はそれを実現するＶＲゲーム方法及びプログラムの説明でもある。このフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１はコントローラ２Ｒ，２Ｌの位置をトラッキングしコントローラ２Ｒ，２Ｌの基準座標を決定する（ステップＳＴ１２１，ＳＴ１２３）。
【００５６】
ＨＭＤ装着者がコントローラ２Ｒ，２Ｌのコントロールボタンを操作してＶＲゲーム中のターゲットにレーザー光線を照射したり銃を撃ったり、釣り竿で釣り針を投げたりしてターゲットが特定されると、コントローラ２Ｒ，２Ｌを握っている手（ここでは右手とする）を引き戻すジェスチャーをすることで基準座標から引き戻し動作後のコントローラの位置までの距離の差をを計算し、その距離の差分をあらかじめ登録している閾値と比較する（ステップＳＴ１２５，ＳＴ１２７）。この比較においてＮＯであるならば何もしないでリターンする。
【００５７】
計算した距離の差分が閾値よりも大きくてＹＥＳである場合には引き戻し距離の差分量、また引き戻し持続時間を計時して保持する（ステップＳＴ１２９）。
続いてＨＭＤ位置、向き情報からＶＲゲーム空間上のプレーヤーの位置、向きを計算する（ステップＳＴ１３１）。そしてＨＭＤ装着者のコントローラ引き戻し距離の差分量に応じたターゲット引き寄せ効果線を作成し（ステップＳＴ１３３）、ＶＲゲーム空間上の特定したターゲットをその引き寄せ距離だけプレーヤー側に引き寄せ、同時に引き寄せ効果線を重畳し、これをＨＭＤ１に３Ｄ表示させる（ステップＳＴ１３５）。
【００５８】
図１１には第３の実施の形態によるＶＲゲームの一画面３０１を示している。ＨＭＤ装着者の人物像３１０は説明のために重畳したものであり、この場合、ＨＭＤ装着者がコントローラ２Ｒ，２Ｌを持ち、コントロールボタンの操作でＶＲゲーム空間上のターゲットを定めてシューティングし、例えば右手のコントローラ２Ｒのコントロールボタンでターゲットを掴み、さらにコントローラ２Ｒを自身の方に引き戻すジェスチャーをすれば、ＶＲゲーム空間３１１内のターケッド３１２をプレーヤーの方に引き寄せることができる。同時にその際の引き寄せ方向を引き寄せ効果線３１３によって実感させることができる。なお、右手左手の使い方は特に限定されるものではない。
【００５９】
こうして第３の実施の形態のＶＲゲーム装置、方法、プログラム及び記憶媒体によれば、ゲームエンジン２０によるＶＲゲームの展開時に、ＨＭＤ１の方位や上下方向の角度と、ＨＭＤ装着者の手の動きから当該装着者の意図する引き寄せ方向を読み取り、それをＶＲゲーム内のプレーヤーから見たＶＲゲーム動画の展開に反映させる。すなわち、装着者があるターゲットに対して手を引き戻すジェスチャーをするとプレーヤー視点から見たＶＲゲーム動画中のターゲットをプレーヤーの手元に引き寄せているように見せることができ、これによって、ＨＭＤ装着者の意図した動きにマッチしてＶＲゲームを展開させることができ、ＶＲ酔いを防止することができる。
【００６０】
なお、本実施の形態においても、プレーヤーの動きを反映させた引き寄せ効果線をＶＲゲーム動画中に表示させることにより、ＶＲゲーム展開に現実感を増加させることができるが、この引き寄せ効果線は必要でなければ表示せず、プログラムをシンプル化してもよい。
【００６１】
また、ＨＭＤ１やコントローラ２Ｒ，２Ｌについては、本実施の形態でもＷｉｎｄｏｗｓ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ準拠のデバイスを例示したが、現在入手できる他のＨＭＤやコントローラを利用することもでき、またスタンドアロン型または一体型のＨＭＤを利用することもできる。さらに、手持ちのコントローラ２Ｒ，２Ｌについては、ＨＭＤ装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはＨＭＤ装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、ＨＭＤ装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてＶＲゲームエンジンに取り込み、上記実施の形態のようにＶＲゲーム内のプレーヤーから見たＶＲゲーム空間の変化に反映させることができる。
【００６２】
上記第３の実施の形態はＶＲゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くＶＲ技術に採用できるものである。すなわちＨＭＤと、ＨＭＤを装着している装着者の頭部の位置、向き及び傾きを検出する頭部姿勢検出器と、ＨＭＤ装着者のシューティング操作を検出するシューティング操作検出器と、シューティング操作を検出して、ＶＲ空間内でのシューティングターゲットを決定するターゲット検出器と、ＨＭＤ装着者の手の引き戻し動作と引き戻し距離を検出する引き戻し操作検出器と、ＨＭＤ装着者の引き戻し動作と引き戻し距離の検出結果に基づき、ＶＲ空間内で前記シューティングターゲットをプレーヤー側に引き寄せた距離を演算する引き寄せ距離演算器と、ＶＲ空間内で、引き寄せた距離に応じてシューティングターゲットがプレーヤー側に近づくように当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置、そしてこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をＶＲ動画中に表示させることにより、ＶＲ動画の展開に現実感を増加させることができる。
【００６３】
［第４の実施の形態］
本発明の第４の実施の形態のＶＲゲーム装置、方法、プログラム及び記憶媒体について以下に説明する。この第４の実施の形態は、ＨＭＤ装着者が手に持つコントローラのボタンなどの任意のトリガーを入力し、その入力の持続時間によってプレーヤーが空中を飛ぶ移動速度、コントローラ２Ｒ，２Ｌの向きによってＶＲゲーム内のプレーヤーが空中を飛ぶ移動方向に反映させ、ＨＭＤ装着者のジェスチャーとＶＲゲーム内でのプレーヤーの視線から見えるＶＲゲーム空間の変化に連動させ、ＨＭＤ装着者自身の意図した動きにマッチしてＶＲゲーム動画を展開させることにより、ＶＲ酔いを防止するＶＲゲーム装置、方法、プログラム及び記憶媒体を特徴とする。
【００６４】
第４の実施の形態のＶＲゲーム装置のハードウェア構成は図１に示した第１の実施の形態のものと共通であり、ＨＭＤ１と、コントローラ２Ｒ、２Ｌと、ＶＲゲームを実行したりＶＲ映像を再生したりするＶＲゲーム実行装置３とで構成される。
【００６５】
図１２に本実施の形態のＶＲゲーム装置の機能構成を示している。これは主にＶＲゲーム実行装置３の内部での処理機能を示したものである。ＨＭＤ１の６ＤＯＦトラッキングシステム１０１、また９軸センサ１０２からのセンサ信号を入力するＨＭＤセンサ信号受信部１１、ＨＭＤ装着者の頭部の座標、装着者の顔の向いている方位角、上下角を計算するＨＭＤ位置・方位角・上下角計算部１２を備えている。
【００６６】
また、コントローラ２Ｒ，２Ｌからの操作信号と６軸センサ２Ｒ１，２Ｌ１のセンサ信号を受信するコントローラ信号受信部１３、コントローラ２Ｒ，２ＬそれぞれのトラッキングＬＥＤマーカー情報、６軸センサ信号を用いてコントローラの垂直座標位置を演算するコントローラ位置演算部１４１、コントローラの垂直加速度を演算するコントローラ垂直加速度演算部１５１、コントローラの垂直加速度をあらかじめ与えてある閾値と比較する加速度・閾値比較部１６１、コントローラ２Ｒ，２Ｌの６軸センサ２Ｒ１，２Ｌ１からのセンサ信号に対してＨＭＤ装着者の入力持続時間を計算する腕振り持続時間計算部１７２を備えている。
【００６７】
さらに、これらＨＭＤ位置・方位角・上下角計算部１２、入力持続時間計算部１７２の計算結果を入力し、ＶＲゲーム内のプレーヤーの現在位置、移動方向、移動速度、移動距離を計算するプレーヤー位置・移動方向・移動距離・速度計算部１９２、そしてプレーヤー位置・移動方向・移動距離・速度計算部１９２の計算した移動速度を入力し、その移動速度に対応した長さや速さ、出現密度を変えたスピード線を作成するスピード線作成部１１０２を備えており、このプレーヤー位置・移動方向・移動距離・速度計算部１９３の計算結果とスピード線作成部１１０２の作成したスピード線とはＶＲゲームを実行しているゲームエンジン２０に出力される。
【００６８】
このゲームエンジン２０はＶＲゲームを進行・展開させるコンピュータであり、プレーヤーの位置・移動方向・移動距離・速度計算部１９３の計算結果を入力してＶＲゲームを進行させ、ＶＲゲームの３Ｄ動画をＨＭＤ１に出力して表示させる。
【００６９】
さらに説明すれば、図１３のブロック図に示すように、ゲームエンジン２０はプレーヤー位置・向き設定部２１１、ＶＲ映像生成部２２、スピード線描画部２３１、画像重畳部２４、そして立体映像を作成する描画エンジン２５を備え、描画エンジン２５の映像信号をＨＭＤ１に出力して３Ｄ表示させる構成である。
【００７０】
次に、図１４のフローチャートを用いて、第４の実施の形態のＶＲゲーム装置の処理手順を説明する。この処理手順はそれを実現するＶＲゲーム方法及びプログラムの説明でもある。またこのフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。
【００７１】
コントローラ２Ｒ，２Ｌの６軸センサ２Ｒ１，２Ｌ１からセンサ信号を取り込み、コントローラ２Ｒ，２Ｌの向きを決定する（ステップＳＴ１４１，ＳＴ１４３）。
【００７２】
ＨＭＤ装着者がコントローラ２Ｒ，２Ｌに対して任意の操作、例えばボタン操作をすれば、これをトリガー入力とし、入力時間を計測する（ステップＳＴ１４５）。そしてその入力時間をあらかじめ登録している閾値と比較する（ステップＳＴ１４７）。この比較においてＮＯであるならば何もしないでリターンする。
【００７３】
入力の継続時間が閾値よりも大きくてＹＥＳである場合には入力の持続時間を計時して保持する（ステップＳＴ１４９）。続いてＨＭＤ１の位置座標と正面の向きを求め（ステップＳＴ１５１）、またプレーヤーの移動速度を計算し（ステップＳＴ１５３）、ＶＲゲーム動画内でのプレーヤーの移動方向と移動距離を計算する（ステップＳＴ１５５）。そして入力の持続時間に応じたスピード線を作成し（ステップＳＴ１５７）、これら移動方向、移動距離、移動速度に基づいてＶＲゲーム動画を展開させ、同時に動画中にスピード感を示すスピード線を重畳し、これをＨＭＤ１に３Ｄ表示する（ステップＳＴ１５９）。
【００７４】
図１５はＶＲゲームの表示例である。本実施の形態により作成されたＶＲゲームでは、説明上、画面３０２上に重畳表示させている人物像（ＨＭＤ装着者像）３２０が左右の手に持つコントローラを下向きに繰り返し動かすことにより、ＶＲゲーム画面３０２内でプレーヤーから見た周囲の景色３２１が画面中央のプレーヤーに向かって落ちてくるように動き、同時にスピード線３２２も移動速度に応じた速さで画面３０２の中央奥側から手前外側に通り過ぎてゆくように表示される。これによりＨＭＤ装着者３０２には、自分のコントローラを持つ手を下側に押し下げる動作を繰り返すことによってＶＲゲーム中ではプレーヤーがＶＲゲーム空間を上昇してゆくように景色３２１を動かせて見せることができ、またコントローラを押し下げる動作を速めることでプレーヤーの上昇速度も速くなるように見せることができる。
【００７５】
こうして本実施の形態のＶＲゲーム装置によれば、ゲームエンジン２０によるＶＲゲームの展開時に、ＨＭＤ１の方位や上下方向の角度と、ＨＭＤ装着者の手の動きから当該装着者の意図する移動方向、移動距離、移動速度を読み取り、それらをＶＲゲーム内のプレーヤーから見たＶＲゲーム動画の展開に反映させることができ、ＨＭＤ１の装着者自身の意図した動きにマッチしてＶＲゲーム動画を展開させることができ、ＶＲ酔いを防止することができる。
【００７６】
なお、本実施の形態においても、プレーヤーの動きを反映させたスピード線をＶＲゲーム動画中に表示させることにより、ＶＲゲーム展開に現実感を増加させることができるが、このスピード線は必要でなければ表示せず、プログラムをシンプル化してもよい。
【００７７】
また、ＨＭＤ１やコントローラ２Ｒ，２Ｌについては、本実施の形態でもＷｉｎｄｏｗｓ  Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ準拠のデバイスを例示したが、現在入手できる他のＨＭＤやコントローラを利用することもでき、またスタンドアロン型または一体型のＨＭＤを利用することもできる。さらに、手持ちのコントローラ２Ｒ，２Ｌについては、ＨＭＤ装着者の手にはめるグローブ型のコントローラを採用することもでき、さらにはＨＭＤ装着者の手そのものの動きをセンシングする手段を採用することもできる。これらグローブ型コントローラや実際の手の動きをセンシングする手段を採用した場合、ＨＭＤ装着者の手そのものの動きを検出して、装着者の意図するジェスチャーとしてＶＲゲームエンジンに取り込み、上記実施の形態のようにＶＲゲーム内のプレーヤーから見たＶＲゲーム空間の変化に反映させることができる。
【００７８】
さらに本発明において、ＨＭＤ１の６軸ＤＯＦセンサ１０１、コントローラ２Ｒ，２Ｌの６軸ＤＯＦセンサ２Ｒ１，２Ｌ１については必ずしもそれらにハードウェアセンサとして実装されているものに限らず、ＨＭＤ１からの映像信号やコントローラと無線通信してコントローラ２Ｒ，２Ｌの位置、傾き、向き等を検出する外部設置のセンサ、さらにはコントローラ２Ｒ，２Ｌの位置、動き、向き、傾き等を撮影して映像信号をＶＲゲーム実行装置３に入力し、このＶＲゲーム実行装置３側の映像処理によってコントローラ２Ｒ，２Ｌの位置、速度、向き、加速度等を算出するソフトウェア検出手段等にて代替することができる。つまり、ＨＭＤ１の位置、傾き、向き、上下角等のセンシング手段、コントローラ２Ｒ，２Ｌの同情報のセンシング手段はハードウェアセンサに限定されるものではない。さらに加えて、本発明においては、上記各実施の形態のＶＲゲームプログラムを記憶した記憶媒体も技術的範囲とする。
【００７９】
上記第４の実施の形態はＶＲゲーム装置、方法、プログラム及び記憶媒体に関連して説明したが、本実施の形態に適用している技術的思想は、広くＶＲ技術に採用できるものである。すなわちＨＭＤと、ＨＭＤを装着している装着者の頭部の位置と向きを検出する頭部姿勢検出器と、ＨＭＤ装着者の少なくとも片手のボタンやジェスチャー等の入力を検出する入力検出器と、ＨＭＤ装着者の向きと片手のボタンやジェスチャー等の入力時間を検出し、ＶＲ空間内においてプレーヤーの上昇方向と上昇速度を演算する上昇動作演算部と、ＶＲ空間内で、プレーヤーの上昇方向と上昇速度に応じて当該プレーヤーの視野内の景色を変化させるＶＲ景色変化器とを備えたＶＲ装置、またこのＶＲ装置によるＶＲ方法、このＶＲ装置が実行するＶＲプログラム及びその記憶媒体に適用できる。さらにプレーヤーの動く速さを反映させた効果線としてスピード線をＶＲ動画中に表示させることにより、ＶＲ動画の展開に現実感を増加させることができる。
【００８０】
［第５の実施の形態］
次の本発明の第５の実施の形態のゲーム装置、方法及びプログラムについて説明する。本実施の形態の特徴は、ＦＰＳ（一人称型シューティング）ゲームやその他のゲームにおいて、プレーヤーの移動速度とベクトルを測定して、自動的に速度とベクトルに合わせたスピード線をゲーム画面中に重畳して表示することによりユーザーに臨場感を味合わせると共にゲームとの一体感をも与え、しかもいわゆるゲーム酔いを防止しつつ、没入感を高めることができるゲーム装置、方法及びプログラムにある。
ゲームプレイ中のゲーム酔いの原因として、自分の体の実際の動きと目で見た映像の動きとのズレがあげられている。通常は体感や平衡感覚から得られる情報と、視覚からの情報は一致するが、ゲームプレイ中は体は動いていないのに目や耳から入ってくる情報では動いていると脳が錯覚してしまい、脳が混乱することによって気分が悪くなってしまうと言われている。このゲーム酔いはゲーム内でのキャラクターの動きの大きさによって差がでて、特に動きの激しいゲームではゲーム酔いしやすくなる。本実施の形態はそのようなゲーム酔いを防止できるゲーム装置、方法及びプログラムを特徴とする。
【００８１】
本実施の形態のシステム構成は図１６に示している。上記の第１〜第４の実施の形態で説明したようなＨＭＤ１を利用するＶＲゲームであってもゲーム機やＰＣとコントローラを利用するＦＰＳゲームであっても適用できるが、本実施の形態では図１６に示すようにＰＣ５０とコントローラ５１としてのキーボード、マウスを利用するＦＳＰゲームを実行するゲーム装置について説明する。
【００８２】
本実施の形態のゲーム装置の機能構成は図１７に示しており、種々のコンピュータゲームを実行するゲームエンジン６０に対して、そのゲームエンジン６０から現在実行中のゲームにおけるプレーヤーの位置座標を入力するプレーヤーの座標入力部６１、入力したプレーヤーの座標の単位時間の変位を求めて移動速度を計算し、また移動方向のベクトルも計算するプレーヤーの移動速度・ベクトル計算部６２、このプレーヤーの移動速度・ベクトル計算部６２の求めたプレーヤーの移動速度とベクトルの大きさに応じてプレーヤーの移動速度、移動ベクトルを表現する効果線としてスピード線を作成するスピード線作成部６３、そしてゲームエンジンの出力するゲーム動画の画面中にこのスピード線作成部６３の作成したスピード線を重畳させるスピード線重畳部６４を備えている。ディスプレイ６５はゲームエンジンの出力するゲーム動画にスピード線重畳部６４からのスピード線を重畳して表示する。
【００８３】
次に、上記の第５の実施の形態のゲーム装置による処理手順を図１８のフローチャートを用いて説明する。この処理手順はそれを実現するゲーム方法及びプログラムの説明でもある。またこのフローチャートの処理はシステムの処理速度に応じ、所定の周期で繰り返し実行される。まずプレーヤーの現在位置の座標を決定し（ステップＳＴ２０１）、前回処理からの座標変位を求めてプレーヤーの移動速度と移動方向のベクトルを計算する（ステップＳＴ２０３）。
【００８４】
続いて、求めたプレーヤーの移動速度があらかじめ設定した閾値よりも大きいかどうかを判断し、ＮＯであればプレーヤーはほぼ停止しているものとみなしてスピード線を作成せずに次の処理を待つ（ステップＳＴ２０５でＮＯに分岐）。他方、ステップＳＴ２０５でＹＥＳであれば、スピード線を作成する処理に移行し、ステップＳ２０３で求めたプレーヤーの移動速度とベクトルを記憶装置に保持し、そのプレーヤーの移動速度とベクトルの大きさに応じたスピード線を作成し（ステップＳＴ２０９）、これをディスプレイのゲーム動画上に表示させる（ステップＳＴ２１１）。
【００８５】
スピード線は、例示すれば、第１の実施の形態における図５に示したスピード線３３、また第３の実施の形態における図１５に示したスピード線３２２が採用できるが、ゲーム動画に応じて別の形態にすることもできる。
【００８６】
なお、上記第５の実施の形態ではゲーム装置、方法及びプログラムについて説明したが、本発明は広くＶＲ動画、あるいは通常の動画をインタラクティブに展開させ、動画内のプレーヤーから見た視界内の景色を変化させる動画操作技術に広く適用することができる。
【符号の説明】
【００８７】
１  ＨＭＤ
２Ｒ，２Ｌ  コントローラ
２Ｒ１，２Ｌ１  ６軸センサ
３  ＶＲゲーム実行装置
１０１  ６ＤＯＦトラッキングシステム
１０２  ９軸センサ
１１  ＨＭＤセンサ信号受信部
１２  ＨＭＤの位置・方位角・上下角計算部
１２１  ＬＥＤの位置・方位角計算部
１３  コントローラ信号受信部
１４  コントローラ位置演算部
１４１  コントローラ位置演算部
１５  コントローラ加速度演算部
１５１  コントローラ垂直加速度演算部
１６  加速度・閾値比較部
１６１加速度・閾値比較部
１７  腕振り持続時間計算部
１７１  引き戻し持続時間計算部
１７２  入力持続時間計算部
１８  腕振り速度計算部
１８１  引き戻し距離計算部
１９  プレーヤー位置・移動方向・移動距離・速度計算部
１９１  プレーヤー位置・移動方向・移動距離・速度計算部
１９２  プレーヤー位置計算部
１９３  プレーヤー位置・移動方向・移動距離・速度計算部
１１０  スピード線作成部
１１０１  引き寄せ効果線作成部
１１０２  スピード線作成部
２０  ゲームエンジン
２１１  プレーヤー位置・向き設定部
２１  プレーヤー位置・姿勢・向き設定部
２２  ＶＲ映像生成部
２３  スピード線描画部
２３１  引き寄せ効果線描画部
２４  画像重畳部
２５  描画エンジン
３０  ＶＲゲーム画面
５０  ゲーム装置
５１  コントローラとしてのキーボード及びマウス
６０  ゲームエンジン
６１  プレーヤーの座標入力部
６２  プレーヤーの移動速度・ベクトル計算部
６３  スピード線作成部
６４  スピード線重畳部
６５  ディスプレイ
３０１  ＶＲゲーム画面
３０２  ＶＲゲーム画面
３１  ＨＭＤ装着者
３２  ＶＲゲーム空間内の景色
３３  スピード線
３１０  ＨＭＤ装着者
３１１  ＶＲゲーム空間内の景色
３１２  ターゲット
３１３  引き寄せ効果線
３２０  ＨＭＤ装着者の人物像
３２１  ＶＲゲーム空間内の景色
３２２  スピード線
【図１】
2020017440.tif 000003
【図２】
2020017440.tif 000004
【図３】
2020017440.tif 000005
【図４】
2020017440.tif 000006
【図５】
2020017440.tif 000007
【図６】
2020017440.tif 000008
【図７】
2020017440.tif 000009
【図８】
2020017440.tif 000010
【図９】
2020017440.tif 000011
【図１０】
2020017440.tif 000012
【図１１】
2020017440.tif 000013
【図１２】
2020017440.tif 000014
【図１３】
2020017440.tif 000015
【図１４】
2020017440.tif 000016
【図１５】
2020017440.tif 000017
【図１６】
2020017440.tif 000018
【図１７】
2020017440.tif 000019
【図１８】
2020017440.tif 000020
【国際調査報告】
2020017440.tif 000021
2020017440.tif 000022
2020017440.tif 000023
2020017440.tif 000024