(57)【特許請求の範囲】
【請求項１】
ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、
前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、
算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、
前記所定の処理の画像の表示を開始したときの前記ユーザの頭、顔又は首の位置及び向きを基準位置及び基準姿勢として取得し、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが前記基準位置及び基準姿勢の少なくともいずれかから所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、
前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、
情報処理プログラム。
【請求項２】
算出した前記ユーザの頭、顔又は首の位置が、設定した基準位置から所定距離以上下にある状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項１に記載の情報処理プログラム。
【請求項３】
算出した前記ユーザの頭又は顔の向きが、設定した基準姿勢から所定角度以上下に向いている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項１又は２に記載の情報処理プログラム。
【請求項４】
前記ユーザが睡眠状態であると判定した場合に実行する所定の処理は、前記ユーザが実行する処理の内容を示す情報を記憶部に格納する、前記ユーザが実行する処理を終了する、前記表示装置の電源をオフする、睡眠状態であることを前記ユーザに警告する、前記ユーザが実行する処理を一時停止する、前記ユーザが実行する処理を前記ユーザの指示に基づく制御から前記ユーザの指示に基づかない自動制御に切り替える、及び前記ユーザが睡眠状態にあることを通知する、の少なくともいずれかの処理である、
請求項１〜３のいずれか一項に記載の情報処理プログラム。
【請求項５】
算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態であって、かつ前記ユーザが目を閉じている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する、
請求項１〜４のいずれか一項に記載の情報処理プログラム。
【請求項６】
ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる情報処理装置であって、
前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出する位置姿勢算出部と、
算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させる表示制御部と、
前記所定の処理の画像の表示を開始したときの前記ユーザの頭、顔又は首の位置及び向きを基準位置及び基準姿勢として取得し、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが前記基準位置及び基準姿勢の少なくともいずれかから所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する判定部と、
前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する処理実行部と、
を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
ゲーム機器に接続されたヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）等の装着型の表示装置を装着して、ＨＭＤに表示されている画面を見ながらコントローラなどを操作してゲームをプレイすることが行われている。
【０００３】
ゲーム機器に接続された通常の据え置き型のディスプレイでは、ディスプレイの画面の外側にもユーザの視野範囲が広がっているため、ディスプレイの画面に集中できなかったり、ゲームへの没入感に欠けることがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像以外はユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
【０００４】
しかしながら、ＨＭＤを装着したユーザが寝てしまった状態でゲームが進行すると、ユーザにとって不利なゲーム展開となったり、寝る直前のゲーム内容をセーブしたいにもかかわらず直前のデータがセーブできなかったりする。その結果、ユーザが起きたときには、意図しないゲームの結果となり得る。
【０００５】
そこで、ユーザの目の開閉状態に基づき、ユーザの睡眠状態を判定し、判定結果に応じて所定の処理を行う技術が知られている（例えば、特許文献１及び特許文献２参照）。例えば、特許文献１では、目の開閉情報から睡眠状態か否かを検知し、睡眠状態を検知したときから起床時までの画像を起床後に再表示させる。特許文献２では、視聴者の目に非可視光ビームを照射し、目が閉じているか否かで睡眠状態か注視状態かの判定を行う。睡眠状態であると判定された場合、警報を表示したりして電源を落とす。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５２１２１５５号明細書
【特許文献２】特開平１１−２４９０６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、ユーザは、目が疲れた場合等にも目を閉じて所定時間過ごすことがある。よって、ユーザの目をトラッキングした結果のみからユーザが睡眠状態か否かを判定すると、誤判定が生じる可能性がある。
【０００８】
他方、ＨＭＤに表示される仮想空間の座標系と、ＨＤＭを装着するユーザの実空間の座標系とを一対一に対応付けて、ユーザの頭や顔の位置や姿勢を、ＨＭＤの仮想空間のキャラクタの位置や姿勢に連動させて表示する仮想現実（バーチャルリアリティ）の技術が知られている。これによれば、ＨＤＭを装着するユーザの頭等の位置や向きをトラッキングすることによって、ＨＭＤ内に表示するキャラクタの位置等をユーザＵの位置等に合わせてキャラクタを動かすことができる。
【０００９】
そこで、一側面では、本発明は、仮想現実空間を用いて、装着型の表示装置を装着するユーザの睡眠状態を精度良く判定することを目的とする。
【課題を解決するための手段】
【００１０】
一つの案では、ユーザが装着する装着型の表示装置に、所定の処理の画像を表示させる処理をコンピュータに実行させるための情報処理プログラムであって、前記ユーザの頭、顔又は首をトラッキングし、前記ユーザの頭、顔又は首の位置及び向きを算出し、算出した前記ユーザの頭、顔又は首の位置及び向きに対応する前記表示装置の仮想空間上の位置及び向きの、前記所定の処理の画像を表示させ、前記所定の処理の画像の表示を開始したときの前記ユーザの頭、顔又は首の位置及び向きを基準位置及び基準姿勢として取得し、算出した前記ユーザの頭、顔又は首の位置及び向きの少なくともいずれかが前記基準位置及び基準姿勢の少なくともいずれかから所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定し、前記ユーザが睡眠状態であると判定した場合、所定の処理を実行する、情報処理プログラムが提供される。
【発明の効果】
【００１１】
一側面によれば、仮想現実空間を用いて、装着型の表示装置を装着するユーザの睡眠状態を精度良く判定することができる。
【図面の簡単な説明】
【００１２】
【図１】一実施形態にかかる情報処理システムの全体構成の一例を示す図。
【図２】一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。
【図３】一実施形態に係る情報処理装置の機能構成の一例を示す図。
【図４】一実施形態に係る仮想現実空間を実現する仮想カメラの一例を示す図。
【図５】一実施形態に係るゲーム処理の一例を示すフローチャート。
【図６】第１実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。
【図７】第１実施形態に係るＨＭＤに表示される画面の一例を示す図。
【図８】第１実施形態に係るＨＭＤに表示される画面の一例を示す図。
【図９】第２実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。
【図１０】第２実施形態に係るＨＭＤに表示される画面の一例を示す図。
【図１１】第３実施形態に係るゲーム処理中の睡眠判定処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１４】
［情報処理システムの全体構成］
まず、本発明の一実施形態に係る情報処理システムの全体構成の一例について、図１を参照しながら説明する。本実施形態に係る情報処理システムは、ＨＭＤ（Head Mounted Display）１０及び情報処理装置２０を有する。本実施形態に係る情報処理システムでは、情報処理装置２０により実行される所定のゲームの画像がＨＭＤ１０に表示される。ユーザＵは、情報処理装置２０に接続されたＨＭＤ１０を頭に装着して、ＨＭＤ１０に表示される画像を見ながら、コントローラ４０を操作してゲームをプレイする。ユーザＵは、コントローラ４０を用いて、ゲームの開始や終了、項目の選択、ゲーム実行時におけるプレイヤーキャラクタＰＣ（Player Character）の操作を行う。ただし、情報処理装置２０により実行される所定の処理は、ゲーム処理に限らず、番組や映画の映像を再生する処理等であってもよい。
【００１５】
ユーザＵがＨＭＤ１０を装着すると、例えば、図１に示すようなＨＭＤ１０に表示される映像のみがユーザＵの視界に入り、その他の外界は視界に入らない。このため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高めることができる。
【００１６】
ＨＭＤ１０には、赤外線照射器１１、カラーイメージセンサ１２、６軸センサ１３、通信モジュール１４及びプロセッサ１５が内蔵または外付けされている。赤外線照射器１１は、赤外線（ＩＲ）をユーザＵ側に照射する。カラーイメージセンサ１２は、ユーザＵ側の頭等の物体からの赤外線反射画像を撮影する。プロセッサ１５は、赤外線反射画像を解析して物体までの画像認識処理を行う。例えば、プロセッサ１５は、ユーザＵの頭や顔の赤外線反射画像を解析して、ユーザＵの頭や顔までの画像認識処理を行う。カラーイメージセンサ１２は、赤外線を利用しているが、これに替えて又はこれに加えてカメラを使用してもよい。
【００１７】
カラーイメージセンサ１２で撮影した赤外線反射画像から、ユーザＵの頭等の身体の各部を画像認識して画像内のユーザＵの頭の位置、顔の位置、又は首の位置を判定する。これにより、実空間におけるユーザＵの頭等の位置からＨＭＤ１０の位置を特定することができる。カラーイメージセンサ１２やカメラで撮影したユーザＵの目の画像に基づき、ユーザＵの目をトラッキングし、ユーザの目の開閉を判定してもよい。
【００１８】
６軸センサ１３は、カラーイメージセンサ１２の光軸方向・左右・上下の３軸方向の移動や各軸周りの回転を検出するトラッキング（モーショントレース）のための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。情報処理装置２０は、６軸センサ１３による検出結果から、実空間におけるユーザＵの動きを算出する。情報処理装置２０は、トラッキングしている実空間におけるユーザＵの頭や顔等の位置及び向きと、仮想カメラが描画するＨＭＤ１０の画像におけるプレイヤーキャラクタＰＣの位置及び姿勢とを一致させるように仮想カメラを制御する。これにより、ユーザＵの頭等の位置及び向きに対応するＨＭＤ１０の仮想空間上の位置及び向きのゲーム画像を表示させることができる。
通信モジュール１４は、ゲーム処理等の所定の処理を実行する情報処理装置２０との無線通信接続を行う。情報処理装置２０は、例えばインターネットやＬＡＮ（Local Area Network）等のネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザＵがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２０に提供してもよい。
【００１９】
本実施形態に係る情報処理システムでは、上記センサ群により検出したセンサ値によってコントローラを操作せずにゲームプレイすることもできる。この場合、情報処理システムにコントローラを設けなくてもよい。
【００２０】
ＨＭＤ１０は、装着型の表示装置の一例である。装着型の表示装置の他の例としては、例えばＦＭＤ（Face Mounted Display）のように目鏡やゴーグル型やヘルメット型の、ユーザの頭や顔に装着可能な表示装置が挙げられる。
【００２１】
情報処理装置２０は、ゲームや映画の再生等の所定の処理を実行し、装着型の表示装置にて実行中の処理に関する画像の表示を制御する。情報処理装置２０は、ゲーム機器に限らず、例えば、ＰＣ（Personal Computer）、スマートフォン、ビデオカメラ、デジタルカメラ、ＰＤＡ（Personal Digital Assistants）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置等であってもよい。また、所定の処理は、ゲームや映画の再生処理に限られず、画像を表示するいずれの処理であってもよい。
【００２２】
また、本実施形態にかかる情報処理システムでは、ＨＭＤ１０と情報処理装置２０とが別体として構成されているが、これに限定されない。本実施形態に係る情報処理装置２０は、ＨＭＤ１０と一体となっていてもよい。この場合、情報処理装置２０は、進行中のゲームの画像等を表示するＨＭＤ１０として構成される。
【００２３】
［情報処理装置のハードウェア構成］
次に、本実施形態に係る情報処理装置２０のハードウェア構成の一例について、図２を参照しながら説明する。情報処理装置２０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Central Processing Unit）３６と、通信制御装置３７とを有する。各部は、システムバスＢで相互に接続されている。
【００２４】
入力装置３１は、キーボード、マウス等の操作デバイスを有し、操作デバイスのユーザＵによる操作に従い、ゲームの実行指示、設定画面の立上げ指示、その他の各種の入力を受け付ける。入力装置３１は、コントローラ４０を有してもよい。
【００２５】
出力装置３２は、ディスプレイを有し、ゲーム進行に応じた画像や設定画面を表示する。ＨＭＤ１０は、出力装置３２の一例である。
【００２６】
補助記憶装置３４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により実現される。補助記憶装置３４は、プログラムやデータを格納する。格納されるプログラムやデータには、情報処理装置２０の全体を制御するためのプログラムや所定のアプリケーションを実行するためのプログラムがある。
【００２７】
主記憶装置３５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）により構成されてもよい。ＣＰＵ３６は、補助記憶装置３４から、プログラムやデータを主記憶装置３５に読み出し、ゲームを実行することで、ゲームの進行を制御したり、情報処理装置２０に搭載されたその他の機能を実現する。
【００２８】
通信制御装置３７は、ＨＭＤ１０との無線通信や、ネットワークを介してサーバや他の外部装置との通信を行う。
【００２９】
情報処理装置２０は、ドライブ装置３３を介して記録媒体３８の読み取り及び書き込みを行うことができる。記録媒体３８には、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。
【００３０】
［情報処理装置の機能構成］
次に、本実施形態に係る情報処理装置２０の機能構成の一例について、図３を参照しながら説明する。情報処理装置２０は、通信部２１、記憶部２２、ＨＭＤ位置姿勢算出部２３、表示制御部２４、処理実行部２５、画像生成部２６及び睡眠状態判定部２７を有する。
【００３１】
通信部２１は、ネットワークを介して接続されるＨＭＤ１０及びコントローラ４０とデータを送受信する。また、例えば、通信部２１は、外部装置からゲームプログラムをダウンロードする際に使用する各種データを送受信する。
【００３２】
記憶部２２は、ゲームプログラム２２１、情報処理プログラム２２２及び各種データを記憶する。
【００３３】
ＨＭＤ位置姿勢算出部２３は、カラーイメージセンサ１２により撮影した画像を用いてＨＭＤ１０をトラッキングし、ユーザＵの頭、顔又は首の位置及び向き（角度）を算出する。ＨＭＤ位置姿勢算出部２３は、カラーイメージセンサ１２により撮影した画像を用いてユーザＵの目をトラッキングしてもよい。ユーザＵの目を、カラーイメージセンサ１２とは異なるカメラが撮影した画像を用いてトラッキングしてもよい。
【００３４】
画像生成部２６は、ＨＭＤ１０に表示するゲーム画像を生成する。画像生成部２６は、算出したユーザの頭又は顔の位置及び向きに対応したゲーム画像を生成する。表示制御部２４は、ＨＭＤ１０の仮想空間上に画像生成部２６が生成した画像を、ゲーム進行に応じて表示させる。
【００３５】
処理実行部２５は、所望のゲームを実行する。処理実行部２５は、ユーザが睡眠状態であると判定した結果に応じて、ゲームを一時停止したり、再開したりする。睡眠状態判定部２７は、算出したユーザの頭、顔又は首の位置及び向きの少なくともいずれかが所定以上ずれている状態が所定時間以上続いた場合、前記ユーザは睡眠状態であると判定する。
【００３６】
なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。
【００３７】
かかる構成により、本実施形態に係る情報処理装置２０では、ＣＰＵ３６が、主記憶装置３５又は補助記憶装置３４に格納されたゲームプログラム、情報処理プログラム及び各種データを用いてゲーム処理及び睡眠判定処理を実行する。
【００３８】
［仮想現実空間（バーチャルリアリティ）］
実空間にあるユーザＵの頭等の位置や向きの座標系は、カラーイメージセンサ１２が撮像した画像から測定される。ＨＭＤ１０にて表示される仮想空間は、実空間の水平方向及び鉛直方向に沿って座標軸方向を定めた座標系で定義され、スケールも実空間と同様に設定される。
【００３９】
図４は、ＨＭＤ１０にて表示される仮想現実空間ＶＲ（バーチャルリアリティ）の一例を示す。仮想現実空間ＶＲに表示される画像は、仮想カメラＶＣにより撮影されている。仮想カメラＶＣは、実空間の座標系から仮想空間の座標系に適宜座標変換されたＨＭＤ１０の仮想空間の位置に配置される。仮想カメラＶＣの光軸Ｏ方向は、ＨＭＤ１０の６軸センサ１３にて検出されたユーザＵの頭の位置からユーザＵの正面方向に制御される。仮想カメラＶＣの光軸Ｏ周りの回転は、６軸センサ１３にて検出されたユーザＵの姿勢からユーザＵの頭の向きが光軸周りに回転する角度θに制御される。つまり、実空間におけるユーザＵの位置が移動すれば、これに従い、仮想空間における仮想カメラＶＣの位置が同じスケールで移動する。また。実空間におけるユーザＵの頭や首が所定の向きに傾けば、これに従い、仮想空間における仮想カメラＶＣの姿勢が所定の向きに傾く。このようにして仮想カメラＶＣは、ユーザＵの頭、顔又は首の動きをトレースするように制御される。本機能は、公知のＨＭＤに係るヘッドトラッキング技術を利用することができる。
【００４０】
＜第１実施形態＞
［ゲーム処理］
次に、第１実施形態に係るゲーム処理について図５を参照して説明する。図５は、第１実施形態に係るゲーム処理の一例を示したフローチャートである。本実施形態に係るゲーム処理は、主に処理実行部２５が、ゲームプログラム２２１を実行することにより実現される。また、ゲーム実行中に行われる睡眠状態判定処理（図６参照）は、主に睡眠状態判定部２７が、情報処理プログラム２２２を実行することにより実現される。
【００４１】
本処理が開始されると、処理実行部２５は、周辺機器（例えば、ＨＭＤ１０及びコントローラ４０）の認証を行う（ステップＳ１０）。機器認証が完了すると、通信部２１は、所定時間毎にカラーイメージセンサ１２が撮影した画像のデータを受信する。ＨＭＤ位置姿勢算出部２３は、受信した画像のデータに基づき、ＨＭＤ１０の位置及び姿勢のトラッキングを開始する（ステップＳ１２）。
【００４２】
次に、処理実行部２５は、コントローラ４０から所定のゲーム開始の操作が入力されると、これを検知し（ステップＳ１４）、ゲーム開始の意思確認の受け付けを開始する（ステップＳ１６）。処理実行部２５は、コントローラ４０からゲーム開始の意思確認を受け付けると、画像生成部２６は、仮想カメラＶＣを仮想現実空間ＶＲの初期位置に配置し、仮想カメラ１０で撮影した仮想現実空間ＶＲの画像を生成する。表示制御部２４は、生成した画像をＨＭＤ１０に表示させる制御を開始する（ステップＳ１８）。
【００４３】
次に、表示制御部２４は、ＨＭＤ１０のトラッキングに応じて、仮想カメラＶＣの位置及び姿勢を制御する（ステップＳ２０）。次に、処理実行部２５は、ゲームを開始するか否かを判定する（ステップＳ２２）。ユーザからゲーム開始の意思確認を受け付けると、処理実行部２５は、ゲームを開始すると判定し、図６のゲーム処理中の睡眠状態判定処理を実行し（ステップＳ２４）、実行後、本処理を終了する。
【００４４】
（ゲーム処理中の睡眠状態判定処理）
図６のゲーム処理中の睡眠状態判定処理が開始されると、ＨＭＤ位置姿勢算出部２３は、ＨＭＤ１０から受信した画像データに基づき、所定時間毎にＨＭＤ１０の位置及び向きを算出する（ステップＳ３０）。次に、睡眠状態判定部２７は、算出したＨＭＤ１０の位置をユーザＵの基準位置に設定し、算出したＨＭＤ１０の向き（角度）を、ユーザＵの基準姿勢に設定する（ステップＳ３２）。少なくともゲームの開始時にはユーザＵは寝ていないことを前提に、ゲームの開始時の頭の位置及び向きが、起きているときのユーザＵの基準位置及び基準姿勢として設定される。基準位置又は基準姿勢は、ゲームの途中にユーザＵが睡眠状態にあるか否かの判定の基準に用いられる。
【００４５】
画像生成部２６は、ＨＭＤ１０の位置及び向きに合わせて仮想カメラＶＣを制御し、仮想カメラＶＣが撮影した画像を生成する。表示制御部２４は、生成した画像を仮想現実空間ＶＲ上に表示する（ステップＳ３４）。
【００４６】
次に、睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態であって、その状態が所定時間以上続いたかを判定する（ステップＳ３６）。例えば、図７（ａ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ａ）に示すような画像になる。このとき、ユーザＵが操作するプレイヤーキャラクタＰＣは、馬に乗っている高さに位置する。これにより、ユーザＵは、ゲームのプレイヤーキャラクタＰＣと一体化して、仮想現実空間ＶＲでのホースレースに参加しているような気分でゲームへ没入することができる。図７（ａ）及び図８（ａ）に示すプレイヤーキャラクタＰＣの位置は、ユーザＵが起きているときの基準位置から所定範囲内であり、ユーザＵが起きている状態を示す。
【００４７】
この場合、図６に戻り、睡眠状態判定部２７は、ＨＭＤ１０の位置（つまり、算出したユーザの頭の位置）が基準位置から所定距離以上、下にある状態ではないと判定し、ステップＳ３８に進む。ＨＭＤ位置姿勢算出部２３は、ＨＭＤ１０から受信した画像データに基づき、ＨＭＤ１０の位置及び向きを算出する（ステップＳ３８）。画像生成部２６は、ＨＭＤ１０の位置及び向きに合わせて仮想カメラＶＣを制御し、仮想カメラＶＣが撮影した画像を生成する。表示制御部２４は、生成した画像を仮想現実空間ＶＲ上に表示する（ステップＳ４０）。次に、処理実行部２５は、ゲームを終了するかを判定する（ステップＳ４２）。処理実行部２５は、ゲームを終了しないと判定した場合、ステップＳ３６に戻り、ステップＳ３６以降の処理を実行する。
【００４８】
例えば、図７（ｂ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ｂ）に示すような画像になる。このとき、ユーザＵが操作するプレイヤーキャラクタＰＣは、馬に乗っている高さではなく、地面に近い高さに位置する。
【００４９】
この場合、図６のステップ３６において、睡眠状態判定部２７は、ＨＭＤ１０の位置（つまり、算出したユーザの頭の位置）が基準位置から所定距離以上、下にある状態であると判定し、この状態が所定時間以上続いているか否かを判定する(ステップＳ３６)。所定時間以上続いていると判定された場合、処理実行部２５は、ゲームの進行を一時停止する（ステップＳ４６）。ゲームの進行を一時停止後、睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離内にあるかを判定する（ステップＳ４８）。処理実行部２５は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態が続いていると判定している間、ゲームの進行を停止し、ＨＭＤ１０の位置が基準位置から所定距離内にあると判定したとき、ステップＳ３８に進み、ステップＳ３８以降の処理を実行してゲームを再開する。
【００５０】
以上に説明した第１実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０をトラッキングし、ユーザＵの頭の位置及び向きを算出する。そして、算出したユーザＵの頭の位置に対応するＨＭＤ１０の仮想現実空間ＶＲ上の位置に応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の位置が所定以上ずれている状態が所定時間以上続いているかを判定する。そして、ユーザの頭の位置が所定以上ずれている状態が所定時間以上続いていると判定された場合、ユーザは睡眠状態であると判定され、ゲームの進行を一時停止し、ユーザＵが起きたとき、ゲームの進行を再開する。以上により、仮想現実空間を用いてＨＭＤ１０を装着するユーザＵの睡眠状態を精度良く判定することができる。
【００５１】
＜第２実施形態＞
（ゲーム処理中の睡眠状態判定処理）
次に、第２実施形態に係るゲーム処理中の睡眠状態判定処理について図９を参照して説明する。第２実施形態に係るゲーム処理は、第１実施形態に係る図５のゲーム処理と同一であるため、ここでは省略する。
【００５２】
図９の第２実施形態に係るゲーム処理中の睡眠状態判定処理は、図６の第１実施形態に係るゲーム処理中の睡眠状態判定処理と比較すると、図６のステップＳ３６がステップＳ５０に変更され、図６のステップＳ４８がステップＳ５２に変更されている点で異なる。残りのステップは同一であるため、第１実施形態と異なるステップＳ５０及びステップＳ５２の処理のみ説明する。
【００５３】
ステップＳ５０において、睡眠状態判定部２７は、ＨＭＤ１０の向きが、標準姿勢から所定角度以上下に向いている状態が所定時間以上続いたかを判定する。例えば、図１０（ａ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ａ）に示すような画像になる。
【００５４】
この場合、図９に戻り、睡眠状態判定部２７は、ＨＭＤ１０の向き（つまり、算出したユーザの頭の向き）が基準姿勢から所定角度以上、下に向いている状態ではないと判定し、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
【００５５】
一方、図１０（ｂ）に模式的に示すように、ゲーム画像と仮想カメラＶＣとＨＭＤ１０との関係がある場合、ユーザＵの位置及び向きに合わせて仮想カメラＶＣが撮影したときの画像は、図８（ｂ）に示すような画像になる。
【００５６】
この場合、図９に戻り、睡眠状態判定部２７は、ＨＭＤ１０の向き（つまり、算出したユーザの頭の向き）が基準姿勢から所定角度以上、下に向いている状態であると判定し、ユーザＵは睡眠状態にあると判定する（ステップＳ４４）。この結果、処理実行部２５は、ゲームの進行を一時停止する（ステップＳ４６）。
【００５７】
その後、睡眠状態判定部２７は、ＨＭＤ１０の向きが基準姿勢から所定角度内であるかを判定し（ステップＳ５２）、所定角度内であると判定した場合、ＨＭＤ位置姿勢算出部２３は、ステップＳ３８以降の処理を実行し、ゲームを再開する。
【００５８】
以上に説明した第２実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０をトラッキングし、ユーザＵの頭の位置及び向きを算出する。そして、算出したユーザＵの頭の向きに対応するＨＭＤ１０の仮想現実空間ＶＲ上の向きに応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の向きが所定角度以上、下に向いている状態が所定時間以上続いた場合、ユーザは睡眠状態であると判定される。そして、ユーザＵが睡眠状態にあると判定された場合、ゲームの進行を一時停止し、ユーザＵが起きたとき、ゲームの進行を再開する。これにより、第１実施形態と同様に、仮想現実空間ＶＲを用いて、ＨＭＤ１０を装着するユーザＵの睡眠状態を精度良く判定することができる。
【００５９】
＜第３実施形態＞
（ゲーム処理中の睡眠状態判定処理）
次に、第３実施形態に係るゲーム処理中の睡眠状態判定処理について図１１を参照して説明する。第３実施形態に係るゲーム処理は、第１実施形態に係る図５のゲーム処理と同一であるため、ここでは省略する。
【００６０】
図１１の第３実施形態に係るゲーム処理中の睡眠状態判定処理は、図６の第１実施形態に係るゲーム処理中の睡眠状態判定処理と比較すると、ステップＳ６０が追加されている点で異なり、残りのステップは同一である。よって、ステップＳ６０及びその前後処理についてのみ説明する。
【００６１】
ステップＳ３６では、ＨＭＤ１０の位置が、標準位置から所定距離以上、下にある状態が所定時間以上続いたかを判定する。睡眠状態判定部２７は、ＨＭＤ１０の位置が基準位置から所定距離以上、下にある状態ではないと判定した場合、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
【００６２】
一方、睡眠状態判定部２７は、ＨＭＤ１０の位置が、所定距離以上、下にある状態が所定時間以上続いたと判定した場合、ユーザＵの目が所定時間以上閉じているかを判定する（ステップＳ６０）。睡眠状態判定部２７は、ユーザＵの目が開いていると判定した場合、ユーザＵは寝ていないと判定し、ステップＳ３８に進み、ステップＳ３８以降の処理を実行する。
【００６３】
他方、睡眠状態判定部２７は、ユーザＵの目が閉じていると判定した場合、ユーザＵは睡眠状態にあると判定し（ステップＳ４４）、ゲームの進行を一時停止する（ステップＳ４６）。
【００６４】
以上に説明した第３実施形態に係るゲーム処理及び睡眠状態判定処理によれば、ＨＭＤ１０の頭と目とをトラッキングする。ユーザＵの頭の位置に対応するＨＭＤ１０の仮想現実空間ＶＲ上の位置に応じてゲーム処理の画像を表示させたとき、算出したユーザの頭の位置が所定距離以上ずれている状態が所定時間以上続いた場合であって、かつ、ユーザの目が閉じている場合、ユーザは睡眠状態であると判定される。本実施形態では、頭のトラッキング結果と目のトラッキング結果に基づき、ＨＭＤ１０を装着するユーザＵの睡眠状態をさらに精度良く判定することができる。
【００６５】
（変形例）
以上、ゲーム処理中に実行する各実施形態の睡眠状態判定処理について説明した。第１〜第３実施形態に係る睡眠状態判定処理は、仮想空間上の仮想カメラＶＣと実空間上のカラーイメージセンサ１２との動きを一致させ、ＨＭＤ１０に仮想現実空間ＶＲを形成する。各実施形態では、カラーイメージセンサ１２で取得した画像の頭の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させることで、ユーザＵが実際に仮想空間内に入ったような感覚（バーチャルリアリティ）でゲームをプレイできる。
【００６６】
各実施形態では、主にユーザＵの頭の動きをＨＭＤ１０の動きとしたが、これに限らず、例えば、ユーザＵの顔の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させ、仮想現実空間ＶＲを実現してもよい。また、ユーザＵの首の動きをＨＭＤ１０の動きとし、仮想カメラＶＣとＨＭＤ１０の動きとを一致させ、仮想現実空間ＶＲを実現してもよい。
【００６７】
上記仮想現実空間ＶＲを実現する本実施形態に係る情報処理装置２０では、仮想空間上のプレイヤーキャラクタＰＣの位置及び姿勢は、ゲームを操作するユーザＵの位置及び姿勢と同一又は近似する。この原則を利用して、第１実施形態に係る睡眠状態判定処理は、ヘッドトラッキングに基づきＨＭＤ１０の位置（ユーザＵの頭の位置）を算出し、ユーザＵが起きているときの位置を示す基準位置と比較してユーザＵが睡眠状態にあるかを判定した。第２実施形態に係る睡眠状態判定処理は、ヘッドトラッキングに基づきＨＭＤ１０の向きを算出し、ユーザＵが起きているときの姿勢を示す基準姿勢と比較してユーザＵが睡眠状態にあるかを判定した。第３実施形態に係る睡眠状態判定処理は、第１実施形態に係るＨＭＤ１０の位置に基づく睡眠状態の判定と、ユーザＵの目の開閉に基づく睡眠状態の判定との両方を用いてユーザＵが睡眠状態にあるかを判定した。
【００６８】
しかしながら、睡眠状態判定処理は、これに限らず、例えば、ＨＭＤ１０の位置とＨＭＤ１０の姿勢とに基づきユーザＵの睡眠状態を判定してもよい。また、ＨＭＤ１０の姿勢と目の開閉とに基づきユーザＵの睡眠状態を判定してもよい。また、ＨＭＤ１０の位置とＨＭＤ１０の姿勢と目の開閉とに基づきユーザＵの睡眠状態を判定してもよい。
【００６９】
また、第１〜第３実施形態に係る睡眠状態判定処理では、ユーザＵが睡眠状態にあると判定した場合、ゲームの進行を一時停止させた。しかしながら、ユーザＵが睡眠状態にあると判定した場合に実行する所定の処理はこれに限らない。例えば、ユーザＵが睡眠状態にあると判定した場合、ゲームの内容をオートセーブし、ＨＭＤ１０の電源をオフしてもよい。これにより、ユーザは、睡眠状態になった直前の状態からゲームを再開することができる。
【００７０】
また、ユーザＵが睡眠状態にあると判定した場合、ＨＭＤ１０に設けられたスピーカ等から目覚まし音を鳴らしてユーザＵを起こすようにしてもよいし、ゲーム内のキャラクタが起こす言葉を発するようにしてもよい。
【００７１】
また、ユーザＵが睡眠状態にあると判定した場合、ユーザＵの操作に応じて動作していたプレイヤーキャラクタＰＣを情報処理装置２０が自動操作するノンプレイヤーキャラクタＮＰＣに切り替えてもよい。この場合、ユーザＵが起きたとき、再び、ノンプレイヤーキャラクタＮＰＣからプレイヤーキャラクタＰＣに切り替えて、ゲームを停止せずに続行することができる。これにより、特に、通信ゲーム等複数のユーザＵが通信を行いながら共にゲームを行っている等のマルチプレイ時にユーザＵの一人が睡眠状態になることでゲーム全体の進行を妨げることを回避できる。また、マルチプレイ時にユーザＵが睡眠状態にあると判定した場合、ユーザＵが睡眠状態にあることを、他ユーザＵに通知してもよい。
【００７２】
なお、ユーザＵが睡眠状態にあると判定する所定距離（ステップＳ３６）には、一般的な大きさ及び体格のユーザＵが起きている状態（例えば、座っている状態）と睡眠状態（例えば、寝ている状態）との位置の差異として５０ｃｍ以上の値が予め設定されていてもよい。
【００７３】
また、ユーザＵが睡眠状態にあると判定する所定角度（ステップＳ５０）には、一般的な大きさ及び体格のユーザＵが起きている状態（例えば、座っている状態）と睡眠状態（例えば、寝ている状態）との頭、顔、首等の角度の差異として３０度以上の値が予め設定されていてもよい。
【００７４】
また、ユーザＵが睡眠状態にあると判定する所定時間（ステップＳ３６、Ｓ５０）には、ユーザが目が疲れた場合等に目を閉じる時間よりも長い時間に設定される。例えば、ユーザＵが睡眠状態にあると判定する所定時間は、ユーザＵが睡眠状態であると判定されてから、１分〜５分程度の時間が予め設定されてもよい。
【００７５】
また、第１〜第３実施形態に係る睡眠状態判定処理は、ゲーム処理中に行われることに限らず、番組や映画の映像の再生処理やその他の画像を表示するいずれの処理においても、装着型の表示装置にて画像を表示する際に実行することができる。
【００７６】
以上、情報処理プログラム及び情報処理装置を上記実施形態により説明したが、本発明にかかる情報処理プログラム及び情報処理装置は上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
【符号の説明】
【００７７】
１０  ＨＭＤ
１１  赤外線照射器
１２  カラーイメージセンサ
１３  ６軸センサ
１４  通信モジュール
１５  プロセッサ
２０  情報処理装置
２１  通信部
２２  記憶部
２３  ＨＭＤ位置姿勢算出部
２４  表示制御部
２５  処理実行部
２６  画像生成部
２７  睡眠状態判定部
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  主記憶装置
３６  ＣＰＵ
３７  通信制御装置
３８  記録媒体
Ｕ    ユーザ
ＶＲ  仮想空間
ＶＣ  仮想カメラ
【図１】
0006322659.tif 000002
【図２】
0006322659.tif 000003
【図３】
0006322659.tif 000004
【図４】
0006322659.tif 000005
【図５】
0006322659.tif 000006
【図６】
0006322659.tif 000007
【図７】
0006322659.tif 000008
【図８】
0006322659.tif 000009
【図９】
0006322659.tif 000010
【図１０】
0006322659.tif 000011
【図１１】
0006322659.tif 000012