(57)【要約】【課題】ユーザの頭部の動きによる操作でメニューを表示／非表示操作可能なヘッドマウントディスプレイシステム、方法、及びプログラムを提供する。【解決手段】アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、検出された傾きに応じて、仮想空間に進行中のアプリケーション画像を生成しヘッドマウントディスプレイへ出力する表示制御部と、を備え、表示制御部は、検出された傾きが第１の閾値よりも大きい場合に、傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、ヘッドマウントディスプレイへ出力することを特徴とする、仮想空間における画像を表示するヘッドマウントディスプレイシステム。【選択図】図２
2020013589.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、
アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、
前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御部と、を備え、
前記表示制御部は、前記検出された傾きが第１の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力することを特徴とする、ヘッドマウントディスプレイシステム。
【請求項２】
前記表示制御部は、前記検出された傾きが第１の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止することを特徴とする、請求項１に記載のヘッドマウントディスプレイシステム。
【請求項３】
前記検出された傾きは前記ヘッドマウントディスプレイのピッチ角であることを特徴とする、請求項１に記載のヘッドマウントディスプレイシステム。
【請求項４】
前記メニュー画像が前記ヘッドマウントディスプレイに出力されている場合に、前記傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、前記表示制御部は、前記傾きに応じて、前記仮想空間上に前記メニュー画像を重ねないアプリケーション画像を生成して前記ヘッドマウントディスプレイへ出力する、請求項１に記載のヘッドマウントディスプレイシステム。
【請求項５】
前記アプリケーションの進行が一時停止されている場合に、前記傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、前記表示制御部は、アプリケーションの進行を再開することを特徴とする、請求項２に記載のヘッドマウントディスプレイシステム。
【請求項６】
前記第１の閾値は、前記第２の閾値以下であることを特徴とする、請求項４に記載のヘッドマウントディスプレイシステム。
【請求項７】
仮想空間における画像をヘッドマウントディスプレイへ表示する方法であって、
アプリケーション進行中のユーザが装着する前記ヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出ステップと、
前記検出された傾きに応じて、前記仮想空間に進行中のアプリケーション画像を生成し前記ヘッドマウントディスプレイへ出力する表示制御ステップと、を備え、
前記表示制御ステップは、前記検出された傾きが第１の閾値よりも大きい場合に、前記傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、前記ヘッドマウントディスプレイへ出力することを特徴とする、方法。
【請求項８】
前記表示制御ステップは、前記検出された傾きが第１の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止することを特徴とする、請求項７に記載の方法。
【請求項９】
前記傾きは前記ヘッドマウントディスプレイのピッチ角であることを特徴とする、請求項７に記載の方法。
【請求項１０】
前記メニュー画像が前記ヘッドマウントディスプレイに出力されている場合に、前記傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、前記表示制御ステップは、前記傾きに応じて、前記仮想空間上に前記メニュー画像を重ねないアプリケーション画像を生成して前記ヘッドマウントディスプレイへ出力する、請求項７に記載の方法。
【請求項１１】
前記アプリケーションの進行が一時停止されている場合に、前記傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、前記表示制御ステップは、アプリケーションの進行を再開することを特徴とする、請求項８に記載の方法。
【請求項１２】
前記第１の閾値は、前記第２の閾値以下であることを特徴とする、請求項１０に記載の方法。
【請求項１３】
請求項７から１２に記載の仮想空間における画像をヘッドマウントディスプレイへ表示する方法を、プロセッサに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの頭部に装着して、ユーザ視野内に仮想空間における画像を表示し、頭部を動かすことによる簡単な操作で該画像においてメニューを表示／非表示操作可能なヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法及びプログラムに関する。
【背景技術】
【０００２】
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想得空間における画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。そして、従来、ＨＭＤでアプリケーション進行中にメニュー表示／非表示の切換は、例えばＨＭＤに接続されたコントローラによるボタン操作を用いていた。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記背景技術に係るシステムにおいては、ＨＭＤを装着しているユーザは仮想空間に没入しているため、ユーザは手元を観察することができず、コントローラから指が一旦外れてしまうと、誤ったボタン操作を行うことがあった。特に、非透過型のＨＭＤによりユーザが全視界を覆われている場合、ユーザは外界を全く観察することができない。  また、メニュー画像を操作画面中の所定の場所、例えば操作中の現在表示されているアプリケーション画面の上方に表示する場合には、ユーザは頭部を動かさずに眼球のみを動かして画面情報に表示されたメニュー画像を観察する必要がある。特に仮想得空間が３次元空間である場合、ユーザはさらにメニューに目の焦点を合わせるよう調節する必要があり、このようなメニュー表示はユーザに無理な視点調整を強いていた。
【課題を解決するための手段】
【０００４】
（１）本発明は、仮想空間における画像を表示するヘッドマウントディスプレイシステムであって、アプリケーション進行中のユーザが装着するヘッドマウントディスプレイの初期角度からの傾きを検出する傾き検出部と、検出された傾きに応じて、仮想空間に進行中のアプリケーション画像を生成しヘッドマウントディスプレイへ出力する表示制御部と、を備え、表示制御部は、検出された傾きが第１の閾値よりも大きい場合に、傾きに応じて生成されたアプリケーション画像にメニュー画像を重ねた画像を生成して、ヘッドマウントディスプレイへ出力することを特徴とする、ヘッドマウントディスプレイシステムに関する。
【０００５】
さらに本発明は、メニュー画像がヘッドマウントディスプレイに出力されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、表示制御部は、前記傾きに応じて、仮想空間上にメニュー画像を重ねないアプリケーション画像を生成してヘッドマウントディスプレイへ出力する、ヘッドマウントディスプレイシステムに関する。
【０００６】
本発明によれば、仮想空間に没入しているユーザが頭部の動きにより、仮想空間におけるアプリケーションの所定の操作、例えばメニューの表示／非表示操作を行うことができる。仮想空間に没入しているユーザにとって、仮想空間内でメニューを観察するために眼球のみによる無理な視点／焦点調整を行う必要が無いため操作性がよい。
（２）  また、本発明は、検出された傾きが第１の閾値よりも大きい場合に、さらにアプリケーションの進行を一時停止することを特徴とする。
【０００７】
さらに、本発明は、アプリケーションの進行が一時停止されている場合に、傾き検出部が検出する傾きが負であり、かつその絶対値が第２の閾値よりも大きい場合に、アプリケーションの進行を再開することを特徴とする。
【０００８】
本発明によれば、仮想空間に没入しているユーザが頭部の動きによる操作により、仮想空間におけるアプリケーションの一時停止／再開操作を行うことができる。すなわち、本発明によれば仮想空間に没入しているユーザの頭部の簡易な動作により、仮想空間におけるアプリケーションの所定の操作行うことができる。
【０００９】
この発明の上記の、及び他の特徴及び利点は、この発明の実施例の以下のより特定的な説明、添付の図面、及び請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１Ａ】本発明の一実施例に従った、ＨＭＤシステム１００の概略図を示す。
【図１Ｂ】本発明の一実施例に従った、赤外線センサと接続されたＨＭＤ１１０の概略図を示す。
【図２】本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。
【図３Ａ】本発明の一実施例に従った、３次元空間上の直交座標系における第１の閾値θｔｈ１と、第２の閾値θｔｈ２を示す。
【図３Ｂ】本発明の一実施例に従った、３次元空間上の直交座標系におけるＨＭＤ１１０を装着しているユーザを示す。
【図４Ａ】本発明の一実施例に従った、ユーザが水平方向を眺めたときの、ＨＭＤ１１０のディスプレイに表示される画面を示す。
【図４Ｂ】本発明の一実施例に従った、ユーザが上方向を眺めたときのＨＭＤ１１０のディスプレイに表示される画面を示す。
【図５】本発明の一実施例に従った、ＨＭＤシステムにおける表示を制御するための処理の流れを示す。
【図６】本発明の一実施例に従った、赤外線センサにより検知されるＨＭＤ上に仮想的に設けられた複数の検知点を示す。
【発明を実施するための形態】
【００１１】
以下、本実施形態について説明する。図１Ａは、本発明の一実施例に従った、ＨＭＤシステム１００の概略図である。図１Ａに示すようにＨＭＤシステム１００は、ディスプレイ１１２と、角速度センサ１１４とを備えるＨＭＤ１１０と、制御回路部１２０とを備えることができる。ＨＭＤ１１０のディスプレイ１１２はユーザの視界を完全に覆うよう構成された非透過型表示装置であり、ユーザはディスプレイ１１２に表示される画面のみを観察することができる。該ＨＭＤ１１０を装着したユーザは外界の視界を全て失うため、制御回路部１２０において実行されるアプリケーションにより表示される仮想空間に完全に没入することができる。制御回路部１２０は、ユーザの頭部に装着されるＨＭＤ１１０に搭載することもできるし、ＨＭＤ１１０に搭載せずに別のＨＷ、例えば公知のパーソナルコンピュータにより構成することができる。角速度センサ１１４はディスプレイ１１２近辺に固定されており、ユーザの頭部に装着されたＨＭＤ１１０（ディスプレイ１１２）の動きに応じて、ＨＭＤ１１０のＸ、Ｙ、Ｚ軸回りの角速度を経時的に検出することができる。傾き検出部２１０は角速度センサ１１４により経時的に検出されたＸ、Ｙ、Ｚ軸回りの角速度に基づいて、各軸回りの角度（傾き）の時間変化を求めることができる。なお、図３Ｂに示すようにユーザが直立する方向である垂直方向をＹ軸とし、Ｙ軸と直交しディスプレイ１１２とユーザを結ぶ方向の軸をＺ軸、Ｙ、Ｚ軸と直交する方向の軸をＸ軸とする。
【００１２】
図１Ｂは、本発明の他の一実施例に従った、ＨＭＤシステム１００の概略図である。図１Ｂにおいて、赤外線センサ１３０が制御回路部１２０に通信可能に接続されている。図１ＢにおいてＨＭＤ１１０は角速度センサ１１４を備えていない。図６に例示的に示すように、赤外線センサ１３０はＨＭＤ１１０上に仮想的に設けられた赤外線を発信する複数の検知点の３次元の実空間内の位置をユーザの動きに対応して経時的に検出する。傾き検出部２１０は、赤外線センサ１３０により経時的に検出された複数の検知点の３次元の実空間内の位置の時間変化に基づいて、ＨＭＤ１１０の動きに応じた各軸回りの角度の時間変化を求めることができる。
【００１３】
なお、図１Ａ、図１Ｂには図示されていないが、ユーザにより保持される公知のスマートフォン、携帯端末をＨＭＤのコントローラとして使用することができる。コントローラは制御回路部１２０に通信可能に接続されることができる。
【００１４】
図２は、本発明の一実施例に従った、ＨＭＤシステム１００の表示処理を実現するための機能的構成を示す。
傾き検出部２１０は、センサ１１４／１３０からの出力に基づいて、ユーザの頭部に装着されたＨＭＤ１１０の各軸方向の傾き（図３Ａ，Ｂに示すようにＨＭＤのＹ軸を軸とした回転を示すヨー角、Ｘ軸を軸とした回転を示すピッチ角、Ｚ軸を軸とした回転を示すロール角）を検出することができる。
【００１５】
表示制御部２２０は、センサにより検出されたＨＭＤの傾き、例えば、ＨＭＤのＹ軸とした左右の傾き（いわゆるヨー角）に応じて、ディスプレイ１１２に表示される進行中のアプリケーション画像を生成し、ディスプレイ１１２へ出力する。この場合、例えば、ユーザが左９０°方向を向くと、表示制御部２２０は、ユーザの９０°左方向に存在する仮想空間画像を生成する。表示制御部２２０は、図４Ａに示すようにＨＭＤ１１０を装着したユーザの頭部の動きに連動して、その動きに対応した仮想空間画像を生成し、ディスプレイ１１２へ出力する。
【００１６】
また、表示制御部２２０は、判定部２２２、メニュー画像合成部２２４を備えることができる。判定部２２２は、検出されたＨＭＤ１１０の傾きのうち１つ、例えば図３Ａに示すようにＸ軸を中心として上下の傾きを示すピッチ角θが所定の方向に第１の閾値θｔｈ１よりも大きいか否か判定する。検出された傾きが第１の閾値θｔｈ１よりも大きい場合に、表示制御部２２０はアプリケーションの進行を一時停止（ポーズ）する。そして、メニュー画像合成部２２４は、仮想空間内の画像に、メニュー画像を合成した画像を生成する。表示制御部２２０は、メニュー画像合成部２２４により生成された合成画像をディスプレイ１１２へ出力する。ユーザは、制御回路部１２０と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニューを選択することができる。
【００１７】
メニュー画像を表示するエリアはアプリケーション毎に事前に定めることができる。例えばユーザにより操作されるアプリケーションが、３次元空間内の水平平面上でゲームキャラクタの動作の操作を行うものである場合に、ゲーム中には使用しない空間内の左右を軸として回転して得られる仮想空間内の上方エリアを、メニュー画像を表示するエリアとすることができる。
【００１８】
また、第１の閾値θｔｈ１は、アプリケーション毎に事前に定めることができる。ユーザがアプリケーション操作中に頭部を動かすことによって通常推移するＨＭＤのピッチ角が例えば±１０°程度であるとき、アプリケーション操作中のユーザ動作と、メニュー画像を表示させるために意識的にアプリケーションの進行中には通常使用しないエリアを向く動作とを明確に区別するために、第１の閾値θｔｈ１は、例えば＋３０°と設定することができる。アプリケーション操作中の通常の動作範囲よりも一定角度（例えば２０°）以上大きい角度を設定することで、誤作動をなくすことができる。なお、本実施形態では、メニュー画像を表示するエリアが、アプリケーションの進行上仮想空間内の上方エリアにあることが好ましいことから、ＨＭＤのピッチ角を用いて閾値を設定しているが、メニュー画像を表示するエリアが、例えば、アプリケーションの進行上Ｙ軸を中心とした左右方向エリアにあることが好ましい場合には、ヨー角を用いて閾値を設定することができる。
【００１９】
さらに、判定部２２２は、検出されたＨＭＤ１１０の傾きのうち１つが、前記所定の方向とは逆方向に第２の閾値θｔｈ２（図３Ａ）を超えたか否か判定する。例えば負の方向に、ピッチ角θが第２の閾値θｔｈ２を超えた場合に、表示制御部２２０は一時停止していたアプリケーションの進行を再開する。そして、表示制御部２２０は、メニュー画像を重ねない仮想空間画像をディスプレイへ出力する。なお、第２の閾値θｔｈ２は第１の閾値θｔｈ１以上の大きさを有し、無意識にアプリケーション画像の切り換え操作、すなわちメニュー画像の表示／非表示操作の誤作動を行わないようにすることができる。ユーザは一定時間に亘って上方向を向いていると首が疲れ無意識に頭を徐々に下へ降ろしてしまうことがあるため、ＨＭＤを装着したユーザがメニュー表示、アプリケーションの一時停止のために上方向に意識して首を動かすときよりも、アプリケーションの再開のために下方向に首を動かすときの傾きを大きくする。
【００２０】
本発明によると、ユーザは、コントローラ等を用いたボタン操作、及び無理な視点／焦点調整をすることなく、頭部の動きのみでアプリケーション上の所定の操作、例えばメニュー画像を表示／非表示等させることができる。特にＨＭＤを装着して立体的な映像を観察するユーザは、その映像の奥行きに応じて目の焦点を調整する必要があり、さらにメニュー画像を表示する位置によってはユーザに無理な視点の調整を強いることになる。例えばメニュー画像をユーザが操作中の現在表示されているアプリケーション画面の上方に表示すると、ユーザは眼球の運動のみによって画面上方に表示されたメニュー画像を観察する必要がある。しかしながら、ユーザにとって眼球のみを動かすことは難しく、ユーザは無意識に頭部全体を上方へ向けてしまう。本発明においては、ユーザは頭部を上方へ向けるのみでアプリケーションの進行を一時停止し、さらにメニュー画像を表示させることができるため操作性が良い。
【００２１】
なお、図２において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることは当業者に理解されるであろう。
【００２２】
図４Ａは、ＨＭＤ１１０を装着したユーザが初期角度である水平方向から例えば±１０°程度の領域を観察するときに仮想的にディスプレイ１１２に表示される３次元の仮想空間内のアプリケーション進行中の画像を示す。また、図４Ａは、図４Ｂに示す状態から、ユーザが実空間内の左右を軸として第２の閾値θｔｈ２よりも大きい傾きで下方に頭を傾けたときに、仮想的に表示される３次元の仮想空間内の画像を示す。±１０°程度の領域とは、前述したように、ユーザがアプリケーション操作中に頭部を動かすことによって推移するピッチ角の範囲である。
【００２３】
図４Ｂは、ＨＭＤシステム１００を装着したユーザが、図４Ａの状態から実空間内の左右を軸として第１の閾値θｔｈ１よりも大きい傾きで上方に頭を傾けたときに、仮想的に表示されるメニュー画像が合成された仮想得空間内の画像を示す。本実施例では、ユーザが上方向を眺めると、ユーザが向いた方向に連動してアプリケーション画像が変化して表示される画像（図４Ｂにおいては「空」の画像）にメニュー画像が浮かぶように合成されている。図４Ｂにおいて、メニュー画像は進行中のアプリケーションにおいて使用される３つのゲームキャラクタ、及びそのうち１つのゲームキャラクタのステータスが詳細表示されている。ユーザは、制御回路部１２０と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニュー、例えば図４Ｂに示される「リタイア」を選択することができる。
【００２４】
次に、図５を参照してＨＭＤシステムの表示を制御するための処理の流れを説明する。
角速度センサ１１４により検出される角度は相対的であるため、まず、ユーザの頭部に装着されたＨＭＤ１１０の初期設定を行う。ＨＭＤ１１０を装着しているユーザが水平方向を観察しているときに角速度センサ１１４より取得されるピッチ角を初期値として設定する（ステップ５０２）。ただし、赤外線センサ１３０によりＨＭＤ１１０の各軸方向の角速度を取得する場合には、ＨＭＤの水平方向の検出が可能であるため初期設定は不要である。
【００２５】
さらに、ステップ５０２において第１の閾値θｔｈ１、第２の閾値θｔｈ２を初期設定することができる。ユーザによるアプリケーション操作の誤動作をなくすために、第１の閾値θｔｈ１は第２の閾値θｔｈ２以下に設定することができる。
【００２６】
次に、ユーザによりアプリケーションが開始／進行されると、表示制御部２２０はＨＭＤ１１０のディスプレイ１１２にアプリケーション画像を表示する（ステップ５０４）。ユーザはディスプレイ１１２に表示された仮想空間画像のみを観察することができる。
【００２７】
次に、傾き検出部２１０は、ユーザの頭部の動きに応じて得られるセンサ１１４／１３０の出力に基づいて各軸周りの角速度から、図３Ａに示すＨＭＤのＸ軸を中心として上下の傾きを示すピッチ角θを検出する（ステップ５０６）。
【００２８】
次に、表示制御部２２０の判定部２２２は、検出されたＨＭＤの左右を軸とした上下の傾きθ（いわゆるピッチ角）が正であり、かつ第１の閾値θｔｈ１よりも大きいか否かを判定する（ステップ５０８）。θが正でありかつ第１の閾値θｔｈ１より大きい場合、表示制御部２２０はアプリケーションの進行を一時停止し、θに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を生成する。そして、表示制御部２２０は生成された合成画像をディスプレイ１１２へ出力する（ステップ５１０）。例えば、ＨＭＤを装着したユーザが頭部を動かして第１の閾値θｔｈ１よりも大きく首を傾けて上方向を観察すると、ユーザは、アプリケーションを一時停止すると共に、該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。このように、ユーザは頭部の動きのみでアプリケーションを一時停止させ、かつメニュー画像を表示させることができる。
【００２９】
次に、傾き検出部２１０は、ユーザの頭部の動きに応じて得られるセンサ１１４／１３０の出力に基づいて各軸周りの角速度から傾きθを検出する（ステップ５１２）。
次に、表示制御部２２０の判定部２２２は検出された傾きθが負であり、かつθの絶対値が第２の閾値θｔｈ２よりも大きいか否かを判定する（ステップ５１４）。ステップ５１４においてθが負であり、θの絶対値が第２の閾値θｔｈ２よりも大きい場合、表示制御部２２０はアプリケーションの一時停止を解除しアプリケーションの進行を再開する。さらに表示制御部２２０は、アプリケーション画像からメニュー画像を消去して、検出された傾きθに対応する仮想空間内のアプリケーション画像をディスプレイ１１２へ出力し（ステップ５１６）、ステップ５０６へ戻る。
【００３０】
一方、ステップ５０８及びステップ５１４において「いいえ」の場合、表示制御部２２０は、アプリケーションの一時停止を継続する。そして、表示制御部２２０は生成されたメニュー画像を重ねた合成画像を継続してディスプレイ１１２へ出力する（ステップ５２０）。例えば、ＨＭＤを装着したユーザが第２の閾値を超えない範囲で頭部を動かして所定の方向θを観察しても、アプリケーションの進行の一時停止は継続され、ユーザは該傾けた傾きθに対応する仮想空間内のアプリケーション画像にメニュー画像を重ねた合成画像を観察することができる。θが負であり、第２の閾値θｔｈ２よりも大きいことが検出されて初めて、ポーズ解除し、ユーザは進行中のアプリケーションに戻ることができる。そして、ステップ５１２へ戻る。
【００３１】
本実施形態では、ユーザの頭部の動作のみでアプリケーション操作を行う為のＨＭＤシステム、ヘッドマウントディスプレイへ表示するためのプログラム、及び方法について説明した。特に、ＨＭＤを装着しているユーザの頭部の動作のみでＨＭＤに表示されるアプリケーション画像上のメニュー画像の表示／非表示の切り換え操作、アプリケーションの一時停止／再開の切り換え操作を行う為のシステム、プログラム、及び方法ついて説明した。さらに、他の実施形態では、ＨＭＤを装着しているユーザの頭部の動作を、アプリケーションの進行の際に確認が必要とされる所定の他の操作、例えばゲームに参加している他のプレイヤーの状況の確認に対応付けることも可能である。さらに、他の実施形態では、ＨＭＤを装着しているユーザの頭部の動作を複数取得し、アプリケーションの進行の際に確認が必要な所定の他の複数の操作にそれぞれ対応付けることも可能である。例えば、ＨＭＤを装着しているユーザの頭部の動作のピッチ角、ヨー角を、アプリケーションの進行に必要な従来はコントローラで行っていた所定の複数の操作にそれぞれ対応付けることができる。
【００３２】
以上、本発明の一実施形態に付き説明したが、本発明は上記実施形態に限定されるものではない。前述の請求項に記載されるこの発明の精神及び範囲から逸脱することなく、様々な実施形態の変更がなされうることを当業者は理解するであろう。
【図１Ａ】
2020013589.tif 000003
【図１Ｂ】
2020013589.tif 000004
【図２】
2020013589.tif 000005
【図３Ａ】
2020013589.tif 000006
【図３Ｂ】
2020013589.tif 000007
【図４Ａ】
2020013589.tif 000008
【図４Ｂ】
2020013589.tif 000009
【図５】
2020013589.tif 000010
【図６】
2020013589.tif 000011
【手続補正書】
【提出日】令和1年8月21日(2019.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示するためのプログラムであって、
前記プログラムは、コンピュータに、
アプリケーションを進行させるステップと、
前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
前記ヘッドマウントディスプレイの傾きを検出するステップと、
前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を実行させ、
前記検出された傾きが第１の閾値よりも大きい場合、更新された前記仮想空間の画像は、さらにメニュー画像を含む、プログラム。
【請求項２】
前記進行させるステップは、前記検出された傾きが第１の閾値よりも大きい場合に、さらに前記アプリケーションの進行を一時停止する、請求項１に記載のプログラム。
【請求項３】
前記傾きは前記ヘッドマウントディスプレイのピッチ角である、請求項１又は２に記載のプログラム。
【請求項４】
仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示するための方法であって、
アプリケーションを進行させるステップと、
前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
前記ヘッドマウントディスプレイの傾きを検出するステップと、
前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を備え、
前記検出された傾きが第１の閾値よりも大きい場合、更新された前記仮想空間の画像は、さらにメニュー画像を含む、方法。
【請求項５】
仮想空間における画像を非透過型のヘッドマウントディスプレイへ表示する情報処理装置であって、
プログラムを格納したメモリと、
前記プログラムを実行するプロセッサと、を備え、
前記プログラムは、前記プロセッサに、
アプリケーションを進行させるステップと、
前記アプリケーションの進行中に、ユーザが装着する前記ヘッドマウントディスプレイに、前記仮想空間の画像を表示させるステップと、
前記ヘッドマウントディスプレイの傾きを検出するステップと、
前記検出された傾きに応じて、前記ヘッドマウントディスプレイに表示されている前記仮想空間の画像を更新するステップと、を実行させ、
前記検出された傾きが第１の閾値よりも大きい場合、更新された前記仮想空間の画像は、さらにメニュー画像を含む、情報処理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに仮想空間における画像を提示することが可能なヘッドマウントディスプレイ（ＨＭＤ）が知られている。そして、従来、ＨＭＤでアプリケーション進行中にメニュー表示／非表示の切換は、例えばＨＭＤに接続されたコントローラによるボタン操作を用いていた。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
上記背景技術に係るシステムにおいては、ＨＭＤを装着しているユーザは仮想空間に没入しているため、ユーザは手元を観察することができず、コントローラから指が一旦外れてしまうと、誤ったボタン操作を行うことがあった。特に、非透過型のＨＭＤによりユーザが全視界を覆われている場合、ユーザは外界を全く観察することができない。  また、メニュー画像を操作画面中の所定の場所、例えば操作中の現在表示されているアプリケーション画面の上方に表示する場合には、ユーザは頭部を動かさずに眼球のみを動かして画面情報に表示されたメニュー画像を観察する必要がある。特に仮想空間が３次元空間である場合、ユーザはさらにメニューに目の焦点を合わせるよう調節する必要があり、このようなメニュー表示はユーザに無理な視点調整を強いていた。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
図４Ｂは、ＨＭＤシステム１００を装着したユーザが、図４Ａの状態から実空間内の左右を軸として第１の閾値θｔｈ１よりも大きい傾きで上方に頭を傾けたときに、仮想的に表示されるメニュー画像が合成された仮想空間内の画像を示す。本実施例では、ユーザが上方向を眺めると、ユーザが向いた方向に連動してアプリケーション画像が変化して表示される画像（図４Ｂにおいては「空」の画像）にメニュー画像が浮かぶように合成されている。図４Ｂにおいて、メニュー画像は進行中のアプリケーションにおいて使用される３つのゲームキャラクタ、及びそのうち１つのゲームキャラクタのステータスが詳細表示されている。ユーザは、制御回路部１２０と通信可能に接続されたコントローラを用いてメニュー画像に表示されるメニュー、例えば図４Ｂに示される「リタイア」を選択することができる。