(57)【要約】      （修正有）【課題】映像への没入感と映像操作の利便性を向上させる、ヘッドマウントディスプレイおよび入力装置を備える表示制御装置及び表示制御方法を提供する。【解決手段】表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部と、ヘッドマウントディスプレイを装着したユーザの周囲の空間に存在する物体の位置に関する情報を取得する空間情報取得部と、ヘッドマウントディスプレイと物体との間の距離が所定値未満になった場合に、物体がユーザの周囲に存在することをユーザに報知する報知部とを備える。【選択図】図１
2017102298.tif 000002
【特許請求の範囲】
【請求項１】
視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部と、
前記ヘッドマウントディスプレイを装着したユーザの周囲の空間に存在する物体の位置に関する情報を取得する空間情報取得部と、
前記ヘッドマウントディスプレイと前記物体との間の距離が所定値未満になった場合に、前記物体がユーザの周囲に存在することをユーザに報知する報知部と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記報知部は、前記ヘッドマウントディスプレイに表示される前記仮想空間の画像の、前記ヘッドマウントディスプレイと前記物体との間の相対位置に基づいて決定される位置に、前記物体に対応する仮想オブジェクトの画像を重畳して表示させることを特徴とする請求項１に記載の表示制御装置。
【請求項３】
前記報知部は、前記仮想オブジェクトをワイヤーフレーム又は半透明で表示することを特徴とする請求項２に記載の表示制御装置。
【請求項４】
表示制御部が、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させるステップと、
空間情報取得部が、前記ヘッドマウントディスプレイを装着したユーザの周囲の空間に存在する物体の位置に関する情報を取得するステップと、
報知部が、前記ヘッドマウントディスプレイと前記物体との間の距離が所定値未満になった場合に、前記物体がユーザの周囲に存在することをユーザに報知するステップと、
を備えることを特徴とする表示制御方法。
【請求項５】
コンピュータを、
視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部、
前記ヘッドマウントディスプレイを装着したユーザの周囲の空間に存在する物体の位置に関する情報を取得する空間情報取得部、
前記ヘッドマウントディスプレイと前記物体との間の距離が所定値未満になった場合に、前記物体がユーザの周囲に存在することをユーザに報知する報知部、
として機能させるための表示制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御技術に関し、とくに、ヘッドマウントディスプレイへの表示を制御する表示制御装置及び表示制御方法に関する。
【背景技術】
【０００２】
ゲーム機に接続されたヘッドマウントディスプレイを頭部に装着して、ヘッドマウントディスプレイに表示された画面を見ながら、コントローラなどを操作してゲームプレイすることが行われている。ゲーム機に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けたりすることがある。その点、ヘッドマウントディスプレイを装着すると、ヘッドマウントディスプレイに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明者は、より多くのユーザ層がヘッドマウントディスプレイを用いたゲームを楽しむことができるようにするためには、より利便性の高い表示制御技術が必要であると認識した。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明のある態様の表示制御装置は、視点位置及び視線方向を設定して仮想空間の画像を生成し、ヘッドマウントディスプレイに表示させる表示制御部と、ヘッドマウントディスプレイを装着したユーザの周囲の空間に存在する物体の位置に関する情報を取得する空間情報取得部と、ヘッドマウントディスプレイと物体との間の距離が所定値未満になった場合に、物体がユーザの周囲に存在することをユーザに報知する報知部と、を備える。
【０００５】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、プログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００６】
本発明によれば、ヘッドマウントディスプレイのユーザの利便性を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】実施の形態に係るゲームシステムの使用環境を示す図である。
【図２】実施の形態に係るヘッドマウントディスプレイの外観図である。
【図３】ヘッドマウントディスプレイの機能構成図である。
【図４】入力装置の外観構成を示す図である。
【図５】入力装置の内部構成を示す図である。
【図６】ゲーム装置の構成を示す図である。
【図７】ゲーム装置の機能構成図である。
【図８】ヘッドマウントディスプレイに表示される画像の例を示す図である。
【図９】ユーザの周囲の空間に存在する物体の例を示す図である。
【図１０】図１０（ａ）〜（ｄ）は、ヘッドマウントディスプレイに表示される画像の例を示す図である。
【発明を実施するための形態】
【０００８】
本実施の形態では、ヘッドマウントディスプレイ（ＨＭＤ）を用いた表示技術について説明する。ヘッドマウントディスプレイは、ユーザの両眼を覆うようにユーザの頭部に装着して、ユーザの眼前に設けられた表示画面に表示される静止画や動画などを鑑賞するための表示装置である。ヘッドマウントディスプレイに表示される対象は、映画やテレビ番組などのコンテンツであってもよいが、本実施の形態では、ゲームの画像を表示するための表示装置としてヘッドマウントディスプレイが用いられる例について説明する。
【０００９】
図１は、実施の形態に係るゲームシステム１の使用環境を示す。ゲームシステム１は、ゲームプログラムを実行するゲーム装置１０と、ユーザの指示をゲーム装置１０に入力するための入力装置２０と、ユーザの周囲の実空間を撮像する撮像装置１４と、ゲーム装置１０により生成される第１ゲーム画像を表示するヘッドマウントディスプレイ１００と、ゲーム装置１０により生成される第２ゲーム画像を表示する表示装置１２とを備える。
【００１０】
ゲーム装置１０は、入力装置２０又はヘッドマウントディスプレイ１００により入力される指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢などに基づいてゲームプログラムを実行し、第１ゲーム画像を生成してヘッドマウントディスプレイ１００に伝送し、第２ゲーム画像を生成して表示装置１２に伝送する。
【００１１】
ヘッドマウントディスプレイ１００は、ゲーム装置１０において生成された第１ゲーム画像を表示する。また、ヘッドマウントディスプレイ１００に設けられた入力装置に対するユーザの入力に関する情報をゲーム装置１０へ伝送する。ヘッドマウントディスプレイ１００は、ゲーム装置１０に有線ケーブルで接続されてもよく、また無線ＬＡＮなどにより無線接続されてもよい。
【００１２】
表示装置１２は、ゲーム装置１０において生成された第２ゲーム画像を表示する。表示装置１２は、ディスプレイおよびスピーカを有するテレビであってもよいし、コンピュータディスプレイなどであってもよい。
【００１３】
入力装置２０は、ユーザによる指示入力をゲーム装置１０に伝送する機能をもち、本実施の形態ではゲーム装置１０との間で無線通信可能な無線コントローラとして構成される。入力装置２０とゲーム装置１０は、Bluetooth（登録商標）プロトコルを用いて無線接続を確立してもよい。なお入力装置２０は、無線コントローラに限らず、ゲーム装置１０とケーブルを介して接続される有線コントローラであってもよい。
【００１４】
入力装置２０はバッテリにより駆動され、ゲームを進行させる指示入力を行うための複数のボタンを有して構成される。ユーザが入力装置２０のボタンを操作すると、その操作による指示入力が無線通信によりゲーム装置１０に送信される。
【００１５】
撮像装置１４は、ＣＣＤ撮像素子またはＣＭＯＳ撮像素子などから構成されるビデオカメラであり、実空間を所定の周期で撮像して、周期ごとのフレーム画像を生成する。撮像装置１４は、ＵＳＢ（Universal Serial Bus）あるいはその他のインタフェースを介してゲーム装置１０と接続する。撮像装置１４により撮像された画像は、ゲーム装置１０において、入力装置２０及びヘッドマウントディスプレイ１００の位置及び姿勢を導出するために用いられる。撮像装置１４は、距離を取得可能な測距カメラ又はステレオカメラであってもよい。この場合、撮像装置１４により、撮像装置１４と入力装置２０又はヘッドマウントディスプレイ１００などとの間の距離を取得することができる。
【００１６】
本実施例のゲームシステム１において、入力装置２０及びヘッドマウントディスプレイ１００は、複数色で発光可能に構成された発光部を有する。ゲーム中、発光部はゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される。撮像装置１４は入力装置２０を撮像し、フレーム画像を生成してゲーム装置１０に供給する。ゲーム装置１０はフレーム画像を取得して、フレーム画像における発光部の画像の位置及び大きさから、実空間における発光部の位置情報を導出する。ゲーム装置１０は、位置情報をゲームの操作指示として取り扱い、プレイヤーズキャラクタの動作を制御するなど、ゲームの処理に反映させる。
【００１７】
また、入力装置２０及びヘッドマウントディスプレイ１００は、加速度センサ及びジャイロセンサを有する。センサの検出値は、所定周期でゲーム装置１０に送信され、ゲーム装置１０は、センサの検出値を取得して、実空間における入力装置２０及びヘッドマウントディスプレイ１００の姿勢情報を取得する。ゲーム装置１０は、姿勢情報をゲームの操作指示として取り扱い、ゲームの処理に反映させる。
【００１８】
図２は、実施の形態に係るヘッドマウントディスプレイ１００の外観図である。ヘッドマウントディスプレイ１００は、本体部１１０、頭部接触部１１２、及び発光部１１４を備える。
【００１９】
本体部１１０には、ディスプレイ、位置情報を取得するためのＧＰＳユニット、姿勢センサ、通信装置などが備えられる。頭部接触部１１２には、ユーザの体温、脈拍、血液成分、発汗、脳波、脳血流などの生体情報を計測することのできる生体情報取得センサが備えられてもよい。発光部１１４は、上述したように、ゲーム装置１０から指示された色で発光し、撮像装置１４により撮像される画像においてヘッドマウントディスプレイ１００の位置を算出するための基準として機能する。
【００２０】
ヘッドマウントディスプレイ１００には、さらに、ユーザの目を撮影するカメラが設けられてもよい。ヘッドマウントディスプレイ１００に搭載されたカメラにより、ユーザの視線、瞳孔の動き、瞬きなどを検出することができる。
【００２１】
本実施の形態においては、ヘッドマウントディスプレイ１００について説明するが、本実施の形態の表示制御技術は、狭義のヘッドマウントディスプレイ１００に限らず、めがね、めがね型ディスプレイ、めがね型カメラ、ヘッドフォン、ヘッドセット（マイクつきヘッドフォン）、イヤホン、イヤリング、耳かけカメラ、帽子、カメラつき帽子、ヘアバンドなどを装着した場合にも適用することができる。
【００２２】
図３は、ヘッドマウントディスプレイ１００の機能構成図である。ヘッドマウントディスプレイ１００は、入力インタフェース１２２、出力インタフェース１３０、バックライト１３２、通信制御部１４０、ネットワークアダプタ１４２、アンテナ１４４、記憶部１５０、ＧＰＳユニット１６１、無線ユニット１６２、姿勢センサ１６４、外部入出力端子インタフェース１７０、外部メモリ１７２、時計部１８０、表示装置１９０、及び制御部１６０を備える。これらの機能ブロックも、ハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できる。
【００２３】
制御部１６０は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサである。入力インタフェース１２２は、入力ボタンなどから操作信号や設定信号を受け付け、制御部１６０に供給する。出力インタフェース１３０は、制御部１６０から画像信号を受け取り、表示装置１９０に表示させる。バックライト１３２は、表示装置１９０を構成する液晶ディスプレイにバックライトを供給する。
【００２４】
通信制御部１４０は、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、制御部１６０から入力されるデータを外部に送信する。通信制御部１４０は、また、ネットワークアダプタ１４２またはアンテナ１４４を介して、有線または無線通信により、外部からデータを受信し、制御部１６０に出力する。
【００２５】
記憶部１５０は、制御部１６０が処理するデータやパラメータ、操作信号などを一時的に記憶する。
【００２６】
ＧＰＳユニット１６１は、制御部１６０からの操作信号にしたがって、ＧＰＳ衛星から位置情報を受信して制御部１６０に供給する。無線ユニット１６２は、制御部１６０からの操作信号にしたがって、無線基地局から位置情報を受信して制御部１６０に供給する。
【００２７】
姿勢センサ１６４は、ヘッドマウントディスプレイ１００の本体部１１０の向きや傾きなどの姿勢情報を検出する。姿勢センサ１６４は、ジャイロセンサ、加速度センサ、角加速度センサなどを適宜組み合わせて実現される。
【００２８】
外部入出力端子インタフェース１７０は、ＵＳＢ（Universal Serial Bus）コントローラなどの周辺機器を接続するためのインタフェースである。外部メモリ１７２は、フラッシュメモリなどの外部メモリである。
【００２９】
時計部１８０は、制御部１６０からの設定信号によって時間情報を設定し、時間データを制御部１６０に供給する。
【００３０】
図４は、入力装置２０の外観構成を示す。図４（ａ）は、入力装置２０の上面構成を示し、図４（ｂ）は、入力装置２０の下面構成を示す。入力装置２０は、発光体２２およびハンドル２４を有する。発光体２２は、その外側を光透過性を有する樹脂で球体に形成され、内側に発光ダイオードや電球などの発光素子を有する。内側の発光素子が発光すると、外側の球体全体が光る。ハンドル２４の上面には、操作ボタン３０、３２、３４、３６、３８が設けられ、下面には操作ボタン４０が設けられる。ユーザはハンドル２４の端部を手で把持した状態で、操作ボタン３０、３２、３４、３６、３８を親指で操作し、操作ボタン４０を人差し指で操作する。操作ボタン３０、３２、３４、３６、３８は、押下式に構成され、ユーザは押下することで操作する。操作ボタン４０は、アナログ量を入力できるものであってよい。
【００３１】
ユーザは表示装置１２に表示されるゲーム画面を見ながらゲームを行う。撮像装置１４は、ゲームアプリケーションの実行中に発光体２２を撮像する必要があるため、その撮像範囲が表示装置１２と同じ方向を向くように配置されることが好ましい。一般にユーザは表示装置１２の正面でゲームをプレイすることが多いため、撮像装置１４は、その光軸の方向が表示装置１２の正面方向と一致するように配置される。具体的に、撮像装置１４は、表示装置１２の近傍において、表示装置１２の表示画面をユーザが視認可能な位置を撮像範囲に含むように配置されることが好ましい。これにより、撮像装置１４は、入力装置２０を撮像できる。
【００３２】
図５は、入力装置２０の内部構成を示す。入力装置２０は、無線通信モジュール４８、処理部５０、発光部６２および操作ボタン３０、３２、３４、３６、３８、４０を備える。無線通信モジュール４８は、ゲーム装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部５０は、入力装置２０における所期の処理を実行する。
【００３３】
処理部５０は、メイン制御部５２、入力受付部５４、３軸加速度センサ５６、３軸ジャイロセンサ５８および発光制御部６０を有する。メイン制御部５２は、無線通信モジュール４８との間で必要なデータの送受を行う。
【００３４】
入力受付部５４は、操作ボタン３０、３２、３４、３６、３８、４０からの入力情報を受け付け、メイン制御部５２に送る。３軸加速度センサ５６は、ＸＹＺの３軸方向の加速度成分を検出する。３軸ジャイロセンサ５８は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。なお、ここでは、入力装置２０の幅方向をＸ軸、高さ方向をＹ軸、長手方向をＺ軸と設定する。３軸加速度センサ５６および３軸ジャイロセンサ５８は、入力装置２０のハンドル２４内に配置され、ハンドル２４内の中心近傍に配置されることが好ましい。無線通信モジュール４８は、操作ボタンからの入力情報とともに、３軸加速度センサ５６による検出値情報、および３軸ジャイロセンサ５８による検出値情報を、所定の周期でゲーム装置１０の無線通信モジュールに送信する。この送信周期は、たとえば１１．２５ｍ秒に設定される。
【００３５】
発光制御部６０は、発光部６２の発光を制御する。発光部６２は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃを有し、複数色の発光を可能とする。発光制御部６０は、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を調整して、発光部６２を所望の色に発光させる。
【００３６】
無線通信モジュール４８はゲーム装置１０から発光指示を受け取ると、メイン制御部５２に供給し、メイン制御部５２は、発光制御部６０に発光指示を供給する。発光制御部６０は、発光部６２が発光指示により指定された色で発光するように、赤色ＬＥＤ６４ａ、緑色ＬＥＤ６４ｂ、青色ＬＥＤ６４ｃの発光を制御する。たとえば発光制御部６０は、各ＬＥＤをＰＷＭ（パルス幅変調）制御で点灯制御してもよい。
【００３７】
図６は、ゲーム装置１０の構成を示す。ゲーム装置１０は、フレーム画像取得部８０、画像処理部８２、デバイス情報導出部８４、無線通信モジュール８６、入力受付部８８、出力部９０およびアプリケーション処理部３００を備える。本実施例におけるゲーム装置１０の処理機能は、ＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現され、ここではそれらの連携によって実現される構成を描いている。プログラムは、ゲーム装置１０に内蔵されていてもよく、また記録媒体に格納された形態で外部から供給されるものであってもよい。したがってこれらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者に理解されるところである。なおハードウェアの構成上、ゲーム装置１０は複数のＣＰＵを有してもよい。
【００３８】
無線通信モジュール８６は、入力装置２０の無線通信モジュール４８との間で無線通信を確立する。これにより入力装置２０は、操作ボタンの状態情報、３軸加速度センサ５６および３軸ジャイロセンサ５８の検出値情報を、ゲーム装置１０に所定の周期で送信できるようになる。
【００３９】
無線通信モジュール８６は、入力装置２０から送信される操作ボタンの状態情報、およびセンサ検出値情報を受信し、入力受付部８８に供給する。入力受付部８８は、ボタン状態情報およびセンサ検出値情報を分離し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、ボタン状態情報およびセンサ検出値情報を、ゲームの操作指示として受け取る。アプリケーション処理部３００は、センサ検出値情報を、入力装置２０の姿勢情報として取り扱う。
【００４０】
フレーム画像取得部８０はＵＳＢインタフェースとして構成され、撮像装置１４から所定の撮像速度（たとえば３０フレーム／秒）でフレーム画像を取得する。画像処理部８２は、フレーム画像から発光体画像を抽出する。画像処理部８２は、フレーム画像中の発光体画像の位置、および大きさを特定する。入力装置２０の発光体２２が、たとえばユーザ環境内で使われそうにない色で点灯することで、画像処理部８２は、フレーム画像から高精度に発光体画像を抽出できる。画像処理部８２は、フレーム画像データを所定の閾値を用いて２値化処理し、２値化された画像を生成してもよい。この２値化処理により、所定の閾値より大きい輝度を保持する画素の画素値が“１”に符号化され、所定の閾値以下の輝度を保持する画素の画素値が“０”に符号化される。この所定の閾値を超える輝度で発光体２２を点灯させることで、画像処理部８２は、２値化された画像から、発光体画像の位置および大きさを特定できる。たとえば画像処理部８２は、フレーム画像における発光体画像の重心座標と、発光体画像の半径を特定する。
【００４１】
デバイス情報導出部８４は、画像処理部８２で特定された発光体画像の位置および大きさから、撮像装置１４からみた入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出する。デバイス情報導出部８４は、発光体画像の重心座標からカメラ座標における位置座標を導出し、また発光体画像の半径から、撮像装置１４からの距離情報を導出する。この位置座標および距離情報は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を構成する。デバイス情報導出部８４は、フレーム画像ごとに入力装置２０およびヘッドマウントディスプレイ１００の位置情報を導出し、アプリケーション処理部３００に引き渡す。アプリケーション処理部３００は、入力装置２０およびヘッドマウントディスプレイ１００の位置情報を、ゲームの操作指示として受け取る。
【００４２】
アプリケーション処理部３００は、入力装置２０の位置情報および姿勢情報と、ボタン状態情報とからゲームを進行させて、ゲームアプリケーションの処理結果を示す画像信号を生成する。画像信号は出力部９０から表示装置１２に送られ、表示画像として出力される。
【００４３】
図７は、ゲーム装置１０の機能構成図である。ゲーム装置１０のアプリケーション処理部３００は、制御部３１０及びデータ保持部３６０を備える。制御部３１０は、ゲーム制御部３１１、指示入力取得部３１２、ＨＭＤ情報取得部３１４、入力装置情報取得部３１５、第１画像生成部３１６、及び第２画像生成部３１７を備える。
【００４４】
データ保持部３６０は、ゲーム装置１０において実行されるゲームのプログラムデータや、ゲームプログラムが使用する各種のデータなどを保持する。
【００４５】
指示入力取得部３１２は、入力装置２０又はヘッドマウントディスプレイ１００が受け付けたユーザによる指示入力に関する情報を入力装置２０又はヘッドマウントディスプレイ１００から取得する。
【００４６】
ＨＭＤ情報取得部３１４は、ヘッドマウントディスプレイ１００から、ヘッドマウントディスプレイの姿勢に関する情報を取得する。また、ＨＭＤ情報取得部３１４は、デバイス情報導出部８４から、ヘッドマウントディスプレイ１００の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。ヘッドマウントディスプレイ１００の姿勢に関する情報は、デバイス情報導出部８４がヘッドマウントディスプレイ１００の撮像画像を解析することにより取得されてもよい。
【００４７】
入力装置情報取得部３１５は、入力装置２０から、入力装置２０の姿勢に関する情報を取得する。また、入力装置情報取得部３１５は、デバイス情報導出部８４から、入力装置２０の位置に関する情報を取得する。これらの情報は、ゲーム制御部３１１へ伝達される。入力装置２０の姿勢に関する情報は、デバイス情報導出部８４が入力装置２０の撮像画像を解析することにより取得されてもよい。
【００４８】
入力装置２０が撮像装置１４の撮像範囲から外れたり、ユーザの体や障害物などに隠されたりして、撮像装置１４により撮像されなかった場合、入力装置情報取得部３１５は、前回取得された入力装置２０の位置と、その時点以降に取得された入力装置２０の姿勢に関する情報に基づいて、入力装置２０の位置を算出する。例えば、入力装置２０の加速度センサから取得される並進加速度のデータに基づいて、前回取得された入力装置２０の位置からのずれを算出することにより、現在の入力装置２０の位置を算出してもよい。入力装置２０が撮像装置１４により撮像されない間は、同様にして入力装置２０の位置を逐次算出する。入力装置２０が撮像装置１４により再度撮像された場合、加速度データにより逐次算出された入力装置２０の位置は、ドリフト誤差の累積により正確な位置を示していない可能性があるので、デバイス情報導出部８４により新たに算出された入力装置２０の位置を現在の入力装置２０の位置としてもよい。ヘッドマウントディスプレイ１００についても同様である。
【００４９】
ゲーム制御部３１１は、ゲームプログラムを実行し、指示入力取得部３１２が取得したユーザによる指示入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置又は姿勢に関する情報に基づいてゲームを進行させる。ゲーム制御部３１１は、仮想的な三次元空間により構成されるゲームフィールドにおいて、入力装置２０の方向キーやアナログスティックなどによる入力や、入力装置２０又はヘッドマウントディスプレイ１００の位置の変化などに基づいて、操作対象であるプレイヤーズキャラクタなどの位置を変更する。
【００５０】
第１画像生成部３１６は、ヘッドマウントディスプレイ１００に表示すべき画像を生成する。第１画像生成部３１６は、ゲーム制御部３１１により制御される操作対象の位置に基づいて視点位置を設定し、ヘッドマウントディスプレイ１００の姿勢に基づいて視線方向を設定して、仮想三次元空間をレンダリングすることにより、ゲームフィールドの画像を生成する。第１画像生成部３１６は、所定のタイミングでヘッドマウントディスプレイ１００の姿勢とゲームフィールドにおける視線方向とを対応づけ、以降、ヘッドマウントディスプレイ１００の姿勢の変化に伴って、視線方向を変化させる。これにより、ユーザは、実際に頭を動かすことにより、ゲームフィールド内を見渡すことができるので、ゲームフィールド内に現実に存在しているかのような体験をすることができる。第１画像生成部３１６は、生成したゲームフィールドの画像に、ゲームに関する情報やヘッドマウントディスプレイ１００に表示すべき画像などを追加して、第１画像を生成する。第１画像生成部３１６により生成された第１画像は、無線通信モジュール又は有線通信モジュールを介してヘッドマウントディスプレイ１００に送信される。
【００５１】
第２画像生成部３１７は、表示装置１２に表示すべき画像を生成する。ヘッドマウントディスプレイ１００に表示される画像と同じ画像を表示装置１２に表示する場合は、第１画像生成部３１６により生成された第１画像が表示装置１２にも送信される。ヘッドマウントディスプレイ１００に表示される画像とは異なる画像を表示装置１２に表示する場合、例えば、ヘッドマウントディスプレイ１００を装着したユーザと、表示装置１２を視聴しているユーザとが、対戦ゲームを実行する場合などは、第２画像生成部３１７は、第１画像生成部３１６とは異なる視点位置及び視線方向を設定して仮想三次元空間をレンダリングすることによりゲームフィールドの画像を生成する。第２画像生成部３１７は、生成したゲームフィールドの画像に、ゲームに関する情報や表示装置１２に表示すべき画像などを追加して、第２画像を生成する。第２画像生成部３１７により生成された第２画像は、無線通信モジュール又は有線通信モジュールを介して表示装置１２に送信される。
【００５２】
図８は、ヘッドマウントディスプレイに表示される画像の例を示す。ゲーム制御部３１１は、ユーザが仮想的なボールを用いてジャグリングをするゲームを提供する。図８に示す表示画面においては、ユーザが装着するヘッドマウントディスプレイ１００と、ユーザが把持する入力装置２０との間の相対位置に応じた位置に、仮想ユーザの手５００が表示される。ユーザがゲームを開始するための指示入力を行うと、ゲーム制御部３１１は、ゲームフィールドにボール５０２を出現させ、ボール５０２を落下させる。ゲームを開始するための指示入力は、入力装置２０のボタンの入力であってもよいし、入力装置２０又はヘッドマウントディスプレイ１００を所定の態様で移動又は姿勢変化させるジェスチャーなどであってもよい。例えば、入力装置２０を把持している手を回転させるジェスチャーにより、ゲームを開始するための指示を入力してもよい。ゲーム制御部３１１は、ボール５０２に下向きの重力を作用させて、物理計算によりボール５０２を落下させてもよいし、現実世界における物理法則とは異なる法則によりボール５０２を落下させてもよい。ユーザは、入力装置２０を移動させることにより仮想ユーザの手５００を移動させ、仮想ユーザの手５００でボール５０２を上向きに跳ね返して、床に落下させないようにする。
【００５３】
ゲーム制御部３１１は、ボール５０２が落下しているときに、ボール５０２の落下位置を示すマーカー５０４をゲーム画面に表示させる。また、ゲーム制御部３１１は、ボール５０２の軌跡５０６をゲーム画面に表示させる。軌跡５０６は、所定時間表示された後に消去される。
【００５４】
ゲーム制御部３１１は、入力装置２０又はヘッドマウントディスプレイ１００からの指示入力などに応じて、ボール５０２の移動速度を増減したり、ボール５０２を空中で停止させたりする機能を提供する。
【００５５】
図９は、ユーザの周囲の空間に存在する物体の例を示す。ユーザは、通常、室内でゲームを実行するので、ユーザの周囲には机５１０などの物体が存在する。ユーザがヘッドマウントディスプレイ１００を装着すると、現実世界におけるユーザの周囲を視認することができなくなるので、ユーザが移動したり、入力装置２０を手に把持して移動させたりすると、周囲の物体と接触する可能性がある。このような危険な事態を低減させるために、本実施の形態では、報知部としても機能するゲーム制御部３１１が、ヘッドマウントディスプレイ１００とユーザの周囲の物体との間の距離が所定値未満になった場合に、物体がユーザの周囲に存在することをユーザに報知する。これにより、ユーザが物体に接触しそうになったときに、ユーザにその旨を報知し、危険を回避させることができる。
【００５６】
ゲーム制御部３１１は、ユーザの周囲の空間に存在する物体の位置に関する情報を取得する空間情報取得部としても機能する。ゲーム制御部３１１は、撮像装置１４により撮像された画像を解析することにより、ユーザの周囲の空間に存在する物体の位置、大きさ、形状などの情報を取得してもよいし、ユーザや他の装置などからそれらの情報を受け付けてもよい。ゲーム制御部３１１は、所定のタイミング、例えば、第１画像生成部３１６が画像を生成するごとに、ヘッドマウントディスプレイ１００又は入力装置２０の位置と物体の位置との間の距離を算出し、算出された距離が所定値未満になったか否かを判定する。
【００５７】
ゲーム制御部３１１は、ヘッドマウントディスプレイ１００又は入力装置２０の位置と物体の位置との間の距離が所定値未満になった場合に、ヘッドマウントディスプレイ１００に表示される仮想空間の画像の、ヘッドマウントディスプレイ１００又は入力装置２０と物体との間の相対位置に基づいて決定される位置に、物体に対応する仮想オブジェクトの画像を重畳して表示させる。
【００５８】
図１０は、ヘッドマウントディスプレイに表示される画像の例を示す。図１０（ａ）（ｂ）（ｃ）（ｄ）は、いずれも、報知部としてのゲーム制御部３１１が、ユーザの近傍に机５１０が存在することをユーザに報知するために、机５１０に対応する仮想オブジェクト５１２を重畳させて表示したゲーム画面の例を示す。図１０（ａ）においては、ユーザがヘッドマウントディスプレイ１００を装着していなかった場合にユーザから見えるであろう位置に、机の形状の仮想オブジェクト５１２が表示される。図１０（ｂ）においては、ユーザが机５１０の方に近づかないようにするために、机５１０が存在する方向の机５１０よりも手前の位置にフェンス５１４が表示される。図１０（ｃ）においては、机５１０に対応する仮想オブジェクト５１６として、机の形状のワイヤーフレームが表示される。このとき、机のワイヤーフレーム以外の部分は表示されない。図１０（ｄ）においては、机５１０に対応する仮想オブジェクト５１８として、半透明のフィルム状のオブジェクトが表示される。仮想オブジェクトは、レーダー画面やスカウター画面のような態様で表示されてもよい。このように、現実世界において机５１０が存在する位置に対応する位置に、机５１０に対応する仮想オブジェクトを表示するので、接触しそうな物体が存在する位置をユーザが容易に把握することが可能となる。また、仮想オブジェクトをワイヤーフレーム又は半透明などの態様で表示することにより、仮想世界の世界観や仮想世界に対する没入感を損なうことなく、現実世界の情報をゲーム画面上に表示し、ユーザに危険を知らせることができる。
【００５９】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、その各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６０】
上記の例では、ヘッドマウントディスプレイ１００の表示装置１９０に両眼立体視用の画像が表示されたが、別の例では、単眼立体視用の画像が表示されてもよい。
【００６１】
上記の例では、ゲームシステムにおいてヘッドマウントディスプレイ１００が利用されたが、実施の形態で説明した技術は、ゲーム以外のコンテンツなどを表示する場合にも利用可能である。
【符号の説明】
【００６２】
１０  ゲーム装置、２０  入力装置、１００  ヘッドマウントディスプレイ、１９０  表示装置、３１１  ゲーム制御部、３１２  指示入力取得部、３１４  ＨＭＤ情報取得部、３１５  入力装置情報取得部、３１６  第１画像生成部、３１７  第２画像生成部。
【図１】
2017102298.tif 000003
【図２】
2017102298.tif 000004
【図３】
2017102298.tif 000005
【図４】
2017102298.tif 000006
【図５】
2017102298.tif 000007
【図６】
2017102298.tif 000008
【図７】
2017102298.tif 000009
【図８】
2017102298.tif 000010
【図９】
2017102298.tif 000011
【図１０】
2017102298.tif 000012