(57)【特許請求の範囲】
【請求項１】
第１ユーザの頭部に装着される情報表示装置を装着した前記第１ユーザの頭部及び目の動作情報から計測された視線方向に対応させて、ゲームにおける仮想空間上で前記第１ユーザの操作によって動作する第１オブジェクトの視線方向を制御し、前記ゲームにおける当該仮想空間上で第２ユーザの操作によって動作する第２オブジェクトの視線方向を制御する手段と、
前記第１オブジェクトの前記ゲームにおける当該仮想空間上での視線方向と、前記第２オブジェクトの前記ゲームにおける当該仮想空間上での視線方向とに基づいたオブジェクトを、前記情報表示装置に表示させる手段とを有することを特徴とする情報処理装置。
【請求項２】
前記頭部及び目の黒目の向きの動作情報に基づいて計測された焦点距離を用いて、前記第１オブジェクトの焦点距離を制御することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
情報処理装置が、
第１ユーザの頭部に装着される情報表示装置を装着した前記第１ユーザの頭部及び目の動作情報から計測された視線方向に対応させて、ゲームにおける仮想空間上で前記第１ユーザの操作によって動作する第１オブジェクトの視線方向を制御し、前記ゲームにおける当該仮想空間上で第２ユーザの操作によって動作する第２オブジェクトの視線方向を制御するステップと、
前記第１オブジェクトの前記ゲームにおける当該仮想空間上での視線方向と、前記第２オブジェクトの前記ゲームにおける当該仮想空間上での視線方向とに基づいたオブジェクトを、前記情報表示装置に表示させるステップとを実行する表示制御方法。
【請求項４】
コンピュータに、
第１ユーザの頭部に装着される情報表示装置を装着した前記第１ユーザの頭部及び目の動作情報から計測された視線方向に対応させて、ゲームにおける仮想空間上で前記第１ユーザの操作によって動作する第１オブジェクトの視線方向を制御し、前記ゲームにおける当該仮想空間上で第２ユーザの操作によって動作する第２オブジェクトの視線方向を制御し、
前記第１オブジェクトの前記ゲームにおける当該仮想空間上での視線方向と、前記第２オブジェクトの前記ゲームにおける当該仮想空間上での視線方向とに基づいたオブジェクトを、前記情報表示装置に表示させる処理を実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【０００２】
従来では、ＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）やＦＭＤ（Ｆａｃｅ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）等の装着型の情報表示装置が普及し始めている。このような情報表示装置を装着することで、拡大光学系により視界全体に画像や映像を表示したり、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、仮想現実）技術により、仮想空間上にいるような視界を提供することができる。
【０００３】
また、近年では、上述した情報表示装置を、ゲーム機器等にも装備し、仮想空間上でのゲームに参加しているような感覚をユーザに与えることで、ゲームへの没入感を向上させることで、娯楽性を向上させる方向で検討されている。例えば、操作対象のキャラクタの移動については、コントローラによる移動だけでなく、ユーザ（プレイヤー）のモーションを検出するモーション検出部が検出したモーション検出情報に基づき、画像生成に用いるモーション入力情報を演算し、モーション入力情報を、キャラクタの移動動作制御及び仮想カメラの制御の少なくとも一方に作用させる手法が存在する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−２１２２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来手法では、カメラによって、ユーザの頭部の動きを検出し、その検出結果に応じて仮想空間映像を移動させたり、キャラクタの体全体を動作させるものであり、ユーザの顔の向きや目の動きに応じて、仮想空間上のキャラクタの顔の向きや目の動きを動作させるものではなかった。また、上記のような仮想空間上のキャラクタの顔の向きや目の動きを、同じ仮想空間上に存在する他のキャラクタを操作する他のユーザに通知する手法も存在していなかった。そのため、お互いの頭部の動きや視線によるコミュニケーションが取れず、現実世界に近い体験をすることができなかった。
【０００６】
本発明は、上述した課題に鑑みてなされたものであって、ユーザの実際の動作に対応させて仮想空間上のキャラクタを適切に動作させることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一つの態様として、情報処理装置が、第１ユーザの頭部に装着される情報表示装置を装着した前記第１ユーザの頭部及び目の動作情報から計測された視線方向に対応させて、ゲームにおける仮想空間上で前記第１ユーザの操作によって動作する第１オブジェクトの視線方向を制御し、前記ゲームにおける当該仮想空間上で第２ユーザの操作によって動作する第２オブジェクトの視線方向を制御する手段と、
前記第１オブジェクトの前記ゲームにおける当該仮想空間上での視線方向と、前記第２オブジェクトの前記ゲームにおける当該仮想空間上での視線方向とに基づいたオブジェクトを、前記情報表示装置に表示させる手段とを有する。
【発明の効果】
【０００８】
本発明によれば、ユーザの実際の動作に対応させて仮想空間上のキャラクタを適切に動作させることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態における情報処理装置の機能構成の一例を示す図である。
【図２】第１の実施形態における情報処理装置のハードウェア構成の一例を示す図である。
【図３】第１の実施形態における表示制御処理の一例を示すフローチャートである。
【図４】第１の実施形態における表示制御された画面例を示す図である。
【図５】第２の実施形態における情報処理システムの機能構成の一例を示す図である。
【図６】第２の実施形態におけるサーバの機能構成の一例を示す図である。
【図７】第２の実施形態における情報処理装置側の表示制御処理の一例を示すフローチャートである。
【図８】第２の実施形態におけるサーバ側の表示制御処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面に基づいて実施形態を説明する。なお、以下の説明では、本実施形態の一態様として、所定のゲームプログラム（コンテンツの一例）等により提供される同一の仮想空間上に複数のユーザ（プレイヤー）がそれぞれ操作する複数のキャラクタが存在する場合の例について説明するが、仮想空間は、ゲームプログラムにより提供されるものに限定されるものではなく、また同一仮想空間上に一人のキャラクタのみが存在する場合にも適用することができる。
【００１１】
＜第１の実施形態＞
＜情報処理装置の機能構成例＞
図１は、第１の実施形態における情報処理装置の機能構成の一例を示す図である。図１に示す情報処理装置１０は、通信手段１１と、記憶手段１２と、視線方向計測手段１３と、焦点距離計測手段１４と、オブジェクト表示制御手段１５と、画面生成手段１６と、制御手段１７とを有する。なお、情報処理装置１０は、例えばゲーム機器やＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、タブレット端末等であるが、これに限定されるものではない。
【００１２】
通信手段１１は、外部装置と有線又は無線により接続され、データの送受信を行う。通信手段１１には、図１に示すように、情報表示装置（情報表示手段）の一例としての複数のＨＭＤ２１−１，２１−２（以下、必要に応じて「ＨＭＤ２１」という）と、操作装置（操作手段）の一例としての複数のコントローラ２２−１，２２−２（以下、必要に応じて「コントローラ２２」という）とが接続されている。つまり、第１の実施形態は、１台の情報処理装置に複数のＨＭＤ２１及びコントローラ２２が接続され、それぞれを複数のユーザに割り当てることで、いわゆる「２人同時プレイ（２Ｐプレイ）」、「３人同時プレイ（３Ｐプレイ）」等を実現するものである。
【００１３】
なお、通信手段１１に接続されるＨＭＤ２１及びコントローラ２２の数については、１以上であればよく、これに限定されるものではない。各ユーザは、１つのＨＭＤ２１を頭部に装着し、１つのコントローラ２２等を用いて各種指示、操作等を行う。
【００１４】
ＨＭＤ２１は、例えば、眼鏡やゴーグル、ヘルメットのように、ユーザの頭部に装着可能な形状をした表示装置（装着型の情報提示装置）である。頭部に装着すると左右の目のすぐ前に画面が一つずつセットされる。単に画像を表示するだけでなく、左右のディスプレイに少しずつ違った映像を表示することで立体感を表現することができる。また、ＨＭＤ２１は、装着者の頭部の移動に応じて画面を変化させることで、仮想空間上の視界を提供することができる。
【００１５】
また、ＨＭＤ２１は、単位時間毎に頭部の位置、顔の向き、加速度（速度も含む）に関する情報を検知し、その内容を情報処理装置１０に送信してもよい。また、ＨＭＤ２１は、目の位置を検出する内向きのカメラ（撮像手段）等を設け、単位時間毎にユーザの目（黒目）の位置、方向から視点（注視点）を検出し、その内容を情報処理装置１０に送信してもよい。
【００１６】
また、ＨＭＤ２１は、ユーザの発汗量を検知するセンサや体温を検知する体温センサ、心拍数を検知する心拍数検知センサを有していてもよく、これらの各センサから得られた情報のうち、少なくとも１つを情報処理装置１０に送信してもよい。
【００１７】
コントローラ２２は、ＨＭＤ２１に表示する映像の設定や、本実施形態における表示制御処理における各種設定を行う。また、情報処理装置１０がゲーム機器である場合には、コントローラ２２は、ゲームの開始や終了、項目の選択、ゲーム実行時における動作制御等を行う。
【００１８】
また、通信手段１１は、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークにより接続される外部装置とデータの送受信が可能な状態で接続され、例えば外部装置からゲームプログラムをダウンロードしたり、本実施形態における表示制御プログラムに関する各種データを受信したり、送信したりすることができる。
【００１９】
記憶手段１２は、本実施形態における表示制御処理に必要な各種データを記憶する。例えば記憶手段１２は、本実施形態におけるゲームプログラム等を実行するための各種設定情報や、ＨＭＤ２１から取得したユーザの頭部の位置、顔の向き、視点等の情報等を記憶するが、記憶する内容については、これに限定されるものではない。
【００２０】
視線方向計測手段１３は、ＨＭＤ２１から得られる単位時間毎のユーザの頭部又は目の動作等の情報から、ＨＭＤ２１の画面に表示されている仮想空間に対する視線方向を計測する。
【００２１】
例えば、視線方向計測手段１３は、各ＨＭＤ２１に設けられた位置センサ、姿勢センサ、加速度センサにより、ユーザの頭部（顔）の位置、姿勢（向き）、加速度等を取得し、現時点における各ユーザの頭部の位置、顔の向きはどこにあるか、又は頭部がどの方向にどの程度の速度で移動中であるか等の情報を、現時点において、各ＨＭＤ２１の画面に表示している仮想空間に対応付けた動作情報（頭部動作情報）として取得する。また、視線方向計測手段１３は、各ＨＭＤ２１に設けらた内向きのカメラ（撮像手段）等から撮影されたユーザの左右の目付近の画像を解析し、その左右の黒目の位置、向き、大きさ等から得られる視点（注視点）情報（目動作情報）を、仮想空間に対応付けた情報として取得する。視線方向計測手段１３は、上述した頭部動作情報及び目動作情報に基づいて、視線方向を計測する。視線方向とは、例えば各ユーザがＨＭＤ２１の画面に表示された仮想空間上のどこに視線を向けているかの情報であるが、これに限定されるものではなく、例えば仮想空間に対応付けていない現時点での視線方向であってもよい。
【００２２】
焦点距離計測手段１４は、各ＨＭＤ２１から得られる視点（注視点）から、各ＨＭＤ２１の画面に表示されている仮想空間に対する焦点距離を計測する。例えば、焦点距離計測手段１４は、例えば、ＨＭＤ２１から得られる頭部動作情報及び目動作情報等に基づいて、仮想空間上における焦点距離を計測する。例えば、頭部の向き及び黒目の位置の先（視線先）に建物等のオブジェクトがあれば、操作対象のキャラクタからその建物までの距離が焦点距離となる。また、上記の視線先に他のキャラクタがいれば、その他のキャラクタまでの距離が焦点距離となる。
【００２３】
ここで、焦点距離とは、例えば数値（例えば、焦点距離３ｍ、１５ｍ等）の情報であってもよく、また「近くを見ている（近距離）」、「遠くを見ている（遠距離）」等の大まかな遠近情報であってもよい。また、焦点距離計測手段１４は、例えば顔の向きが、基準位置より上を向いている場合には、遠くの方を見ている可能性が高いと判断し、焦点距離を「遠距離」として計測してもよい。
【００２４】
オブジェクト表示制御手段１５は、視線方向計測手段１３及び焦点距離計測手段１４のうち、少なくとも１つにより得られた各種情報に基づいて、ＨＭＤ２１の画面に表示された仮想空間上に存在する操作対象のオブジェクトの顔の向き及び視線方向を調整する。ここで、オブジェクトとは、キャラクタ、アバター等であるが、これに限定されるものではない。また、オブジェクトは、人物のキャラクタ等に限定されず、例えば動物、魚、花、虫、妖怪、モンスター、ロボット等、仮想空間上で動作可能な物体であればよい。
【００２５】
オブジェクト表示制御手段１５は、例えば各ユーザそれぞれが操作する対象のキャラクタ（オブジェクトの一例）に対する現在の頭部（顔）の向き及び視点の中心に対し、視線方向計測手段１３及び焦点距離計測手段１４から得られる視線方向及び焦点方向のうち、少なくとも１つに対するずれの情報を検出し、ずれがなくなるようにキャラクタの顔の向き、視線、焦点のうち、少なくとも１つの情報を反映させた表示制御を行う。
【００２６】
なお、オブジェクト表示制御手段１５は、焦点距離計測手段１４により得られる焦点距離に基づく各キャラクタの表示制御を行わなくてもよく、その場合には、情報処理装置１０から焦点距離計測手段１４の構成を除いてもよい。
【００２７】
画面生成手段１６は、例えばＨＭＤ２１の画面に表示する内容を生成する。例えば、画面生成手段１６は、ユーザが実行指示したゲームプログラムが提供する仮想空間を表示し、その仮想空間上に、各ユーザが操作するそれぞれのキャラクタを合成した映像を生成する。各キャラクタは、オブジェクト表示制御手段１５から得られる表示制御情報に基づいて、頭部（顔）の向き、視線、焦点等を変更する。
【００２８】
また、画面生成手段１６は、視線方向計測手段１３及び焦点距離計測手段１４により得られた各種情報（視点方向、焦点距離等）に基づいて、仮想空間の映像の位置、向き（方向）等を移動させてもよい。画面生成手段１６により生成された映像は、ＨＭＤ２１により各ユーザに提供される。これにより、第１の実施形態では、仮想空間上で２人以上のプレイヤーが出会った際に、お互いの頭部又は目の動きや、視線によるコミュニケーションが可能になり、より現実世界に近い体験をすることができる。
【００２９】
制御手段１７は、情報処理装置１０の各構成全体を制御する。制御手段１７は、例えば通信手段１１による各種装置とのデータの送受信、視線方向計測手段１３による視線方向の計測、焦点距離計測手段１４による焦点距離の計測、オブジェクト表示制御手段１５によるオブジェクト表示制御、画面生成手段１６による画面生成等を制御するが、制御内容については、これに限定されるものではない。
【００３０】
例えば、制御手段１７は、ゲーム処理の実行の開始や終了を制御したり、ユーザ認証時の処理、エラー発生時の処理等を制御する。また、制御手段１７は、ユーザ毎にログイン認証時の処理を行い、認証成功時に、ユーザに対応するゲームの実行や表示制御処理等を行ってもよい。
【００３１】
なお、上述の例では、ＨＭＤ２１と、情報処理装置１０とが別体として構成されているが、これに限定されるものではなく、それぞれのＨＭＤ２１に対して情報処理装置１０が一体に構成されていてもよい。その場合、それぞれのＨＭＤ２１が、情報処理装置１０に相当する。また、第１の実施形態では、コントローラ２２を設けない構成であってもよい。
【００３２】
＜情報処理装置１０のハードウェア構成例＞
次に、情報処理装置１０のハードウェア構成例について、図を用いて説明する。図２は、第１の実施形態における情報処理装置のハードウェア構成の一例を示す図である。図２の例において、情報処理装置（コンピュータ）１０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３６と、通信制御装置３７とを有し、これらはシステムバスＢで相互に接続されている。
【００３３】
入力装置３１は、例えばユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置３１は、上述したコントローラ２２等の操作デバイスでもよい。
【００３４】
出力装置３２は、本実施形態における処理を行うためのコンピュータ本体（情報処理装置１０）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置３２は、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。出力装置３２は、上述したＨＭＤ２１等の情報表示装置でもよい。
【００３５】
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体３８等により提供される。記録媒体３８は、ドライブ装置３３にセット可能である。ＣＰＵ３６からの制御信号に基づき、記録媒体３８に格納された実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。
【００３６】
補助記憶装置３４は、例えばＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等のストレージ手段等である。補助記憶装置３４は、ＣＰＵ３６からの制御信号に基づき、本実施形態における実行プログラム（表示制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置３４は、ＣＰＵ３６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
【００３７】
主記憶装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。主記憶装置３５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。
【００３８】
ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及び主記憶装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。
【００３９】
具体的には、ＣＰＵ３６は、例えば入力装置３１から得られるプログラムの実行指示等に基づき、補助記憶装置３４にインストールされたプログラムを実行させることにより、主記憶装置３５上でプログラムに対応する処理を行う。例えば、ＣＰＵ３６は、表示制御プログラムを実行させることで、通信手段１１による各種装置とのデータの送受信、視線方向計測手段１３による視線方向の計測、焦点距離計測手段１４による焦点距離の計測、オブジェクト表示制御手段１５によるオブジェクト表示制御、画面生成手段１６による画面生成等の処理を行う。ＣＰＵ３６における処理内容は、これに限定されるものではない。ＣＰＵ３６により実行された内容は、必要に応じて補助記憶装置３４等に記憶される。
【００４０】
通信制御装置３７は、上述した通信ネットワークを介して、他の外部装置との通信を行う。通信制御装置３７は、ＣＰＵ３６からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、通信制御装置３７は、プログラムを実行することで得られた実行結果を外部装置等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
【００４１】
記録媒体３８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体３８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。
【００４２】
図２に示すハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における各種ゲーム処理、表示制御処理等を実現することができる。また、記録媒体３８にインストールされているゲームプログラムを実行させることで、ＨＭＤ２１にゲーム画面を表示させて、ユーザの操作によりゲームを実行することができる。
【００４３】
＜第１の実施形態における表示制御処理＞
次に、第１の実施形態における表示制御処理について説明する。図３は、第１の実施形態における表示制御処理の一例を示すフローチャートである。図３の例において、情報処理装置１０の通信手段１１は、ゲーム実行指示を受け付ける（Ｓ０１）。次に、画面生成手段１６は、仮想空間上に各ユーザが操作する対象のキャラクタを表示する（Ｓ０２）。
【００４４】
次に、情報処理装置１０は、ＨＭＤ２１により各ユーザの頭部の位置や向き等の頭部動作情報、及びユーザの黒目の向き等の目動作情報を取得する（Ｓ０３）。次に、視線方向計測手段１３は、取得した頭部動作情報及び目動作情報から仮想空間上における視線方向を計測する（Ｓ０４）。また、焦点距離計測手段１４は、取得した頭部動作情報及び目動作情報から仮想空間上における焦点距離を計測する（Ｓ０５）。なお、上述したＳ０４及びＳ０５の処理は、必要に応じて何れかを省略してもよい。
【００４５】
次に、オブジェクト表示制御手段１５は、計測した計測方向及び焦点距離のうち、少なくとも１つに基づき、それぞれのキャラクタの視線（顔の向き、焦点距離等）を調整する制御を行う（Ｓ０６）。次に、画面生成手段１６は、Ｓ０６の処理により調整した各キャラクタを仮想空間上に合成して画面を生成し（Ｓ０７）、各ユーザが装着するＨＭＤ２１に生成画面を表示する（Ｓ０８）。この処理により、各ユーザは、自己が操作するキャラクタの顔の向きや焦点距離だけでなく、他のユーザが操作するキャラクタの顔の向きや焦点距離も映像に反映されるため、キャラクタの視線をより現実的に把握することできる。
【００４６】
次に、情報処理装置１０の制御手段１７は、処理を終了するか否かを判断し（Ｓ０９）、処理を終了しない場合（Ｓ０９において、ＮＯ）、Ｓ０３の処理に戻る。また、制御手段１７は、ユーザ指示やゲームの終了等によりゲームを終了する場合（Ｓ０９において、ＹＥＳ）、処理を終了する。
【００４７】
上述したように、第１の実施形態では、仮想空間上で２人以上のユーザ（プレイヤー）が出会った際に、お互いの頭の動きや視線によるコミュニケーションが可能になり、より現実世界に近い体験をすることができる。
【００４８】
＜表示制御された画面例＞
図４は、第１の実施形態における表示制御された画面例を示す図である。図４（Ａ），（Ｂ）の例では、２人のユーザ４０−１，４０−２が、それぞれＨＭＤ２１−１，２１−２を装着している。同一のゲームプログラムの実行により、ＨＭＤ２１−１，２１−２の画面５０−１，５０−２には、同一の仮想空間６０が存在している。それぞれの仮想空間６０には、ユーザ４０−１が操作する対象のキャラクタ（オブジェクトの一例）６１と、ユーザ４０−２が操作する対象のキャラクタ（オブジェクトの一例）６２とが、仮想空間６０上に合成表示されている。
【００４９】
ここで、第１の実施形態において、図４（Ａ）に示すように、ユーザ４０−１が操作するキャラクタ６１の前に、他のユーザ（ユーザ４０−２）が操作するキャラクタ６２と、扉等のオブジェクト６３が表示されている。このような場合、ユーザ４０−１が、頭部をキャラクタ６２側に向けると、その頭の向き（頭部動作情報）、目（黒目）の向き（目動作情報）等をＨＭＤ２１が検出し、キャラクタ６１の頭部（視線）が矢印Ａ方向に向く。
【００５０】
これにより、ユーザ４０−２は、図４（Ｂ）に示すように、画面５０−２に表示される仮想空間６０上にいる他のキャラクタ６１が、自己が操作するキャラクタ６２を向いていることを知ることができ、キャラクタ６１に対し、「向き合う」、「うなずく」、「話かける」、「攻撃を加える」、「逃げる」等の動作又は音声等を用いた各種コミュニケーションを取ることができる。
【００５１】
つまり、第１の実施形態によれば、共通の仮想空間上で、それぞれのユーザの顔の向き、目の動きをキャラクタで再現することによって、より現実に近いコミュニケーションを行うことができる。
【００５２】
また、キャラクタに視線方向を反映させることで、例えば美術館、博物館等のような仮想空間上で、周りから人の視線の集まり具合を見ることができ、人気のある作品等を把握することができる。また、２人以上のグループで一緒に見て回ることで、実際に博物館にいるような楽しみが生まれる。
【００５３】
また、スポーツの観戦席、対戦型ゲームの観戦席、ライブの観覧席等の仮想空間では、それぞれのユーザの注目している選手がキャラクタの視線等から明確になる。
【００５４】
また、第１の実施形態によれば、他のユーザが見ている視線方向が明確になることにより、例えば対戦型ゲーム等で、キャラクタ同士が遭遇した際に、視線による駆け引きを行うことができる。例えば、対戦型ゲームにおいては、あえて相手に視線を合わせていない状態を再現できる。相手には視線を向けられていない状態が見えるため、相手プレイヤーの油断を誘う戦略を取ることができる。
【００５５】
また、キャラクタの視点に基づいて画像を生成するＦＰＳ（Ｆｉｒｓｔ  Ｐｅｒｓｏｎ  Ｓｈｏｏｔｉｎｇ）ゲームの場合に、持っている武器とは、別の方向を見ている状態を再現できる。例えば、多人数プレイにおいて、他人のキャラクタを攻撃しながら、次に攻撃するキャラクタの方向を見た場合に、相手に威圧感（プレッシャー）を与えることができる。また、見られた側も明確に「見つかった」という体感を得ることができ、「逃げる」又は「先に攻撃を仕掛ける」といった戦略を取ることができる。
【００５６】
また、チーム協力型ゲーム等においては、キャラクタ同士で、首を上下して頷いたり、目線を合わせることでアイコンタクトを取ることができる。
【００５７】
また、顔の向きだけでなく、その見ている距離（焦点距離）の情報もキャラクタに反映させることで、例えば、複数のキャラクタが視線上に直線に並んでいる場合に、どのキャラクタを対象にしているか等を判別することができる。また、ＦＰＳゲーム等では、金網や窓の向こう側の景色、物体等を見ていることを判別することができる。なお、仮想空間上に鏡等のオブジェクトが存在し、その鏡に物体が写っていたとしても、焦点距離と鏡までの距離との差が、予め設定された閾値以上であれば、注視している対象が、鏡ではなく、その鏡に映っている物体であるこを判別することができる。
【００５８】
＜第２の実施形態＞
次に、第２の実施形態について説明する。第２の実施形態では、複数の情報処理装置１０が通信ネットワークを介して、サーバ等にアクセスし、サーバが提供する仮想空間を複数の情報処理装置１０間で共有する場合（いわゆる、多人数同時プレイ）について説明する。
【００５９】
＜情報処理システムの機能構成例＞
図５は、第２の実施形態における情報処理システムの機能構成の一例を示す図である。図５に示す情報処理システム１００は、サーバ１１０と、１又は複数の情報処理装置１０−１〜１０−ｎ（以下、必要に応じて「情報処理装置１０」という）とを有し、サーバ１１０と、情報処理装置１０とは、インターネットやＬＡＮ等に代表される通信ネットワーク１２０により、データの送受信が可能が状態で接続されている。
【００６０】
サーバ１１０は、接続された１又は複数の情報処理装置１０に対して、認証処理を行い、認証に成功した情報処理装置１０に対して所定のゲームプログラムに基づく仮想空間用情報を提供する。このとき、サーバ１１０は、認証に成功したユーザが操作する対象のキャラクタ及び他のキャラクタによって操作されるキャラクタを仮想空間上に合成し、合成した画像（映像）を接続中の情報処理装置１０に提供する。サーバ１１０は、例えば汎用のＰＣやサーバ等であるが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバであってもよい。
【００６１】
情報処理装置１０は、上述した第１の実施形態における情報処理装置と同様の構成を有するため、ここでの具体的な説明は省略する。情報処理装置１０は、ＨＭＤ２１を装着し、コントローラ２２を操作する１又は複数のユーザに、サーバ１１０から取得した仮想空間及び操作する対象のキャラクタの動き等をＨＭＤ２１の画面に表示する。
【００６２】
＜サーバ１１０の機能構成例＞
ここで、上述したサーバ１１０の機能構成について、図を用いて説明する。図６は、第２の実施形態におけるサーバの機能構成の一例を示す図である。図６の例において、サーバ１１０は、認証手段１１１と、仮想空間用情報提供手段１１２と、合成手段１１３と、記憶手段１１４とを有する。記憶手段１１４は、コンテンツ格納手段１１４−１と、管理情報格納手段１１４−２とを有するが、記憶する内容については、これに限定されるものではない。
【００６３】
認証手段１１１は、通信ネットワーク１２０を介してアクセスしてきた情報処理装置１０に対するユーザ認証を行う。認証手段１１１は、例えば予め設定されたユーザ情報（例えば、ユーザＩＤ、パスワード）と、情報処理装置１０から入力されたユーザ情報とを照合し、一致するユーザ情報がある場合には、その後のアクセス（例えば、ゲーム実行等）を許可し、一致するユーザがない場合には、その旨のメッセージを情報処理装置１０に出力する。なお、認証手段１１１は、新規ユーザ登録の実行を促す情報を情報処理装置１０に出力してもよく、再度ユーザ情報の入力を促す情報を情報処理装置１０に出力してもよい。
【００６４】
仮想空間用情報提供手段１１２は、認証手段１１１により認証が許可された情報処理装置１０を使用する各ユーザが互いにコミュニケーションを行う仮想空間用情報を提供する。仮想空間用情報は、コンテンツ格納手段１１４−１に格納された１又は複数のゲームプログラムのうち、ユーザが指定したゲームプログラムに対応して生成される仮想空間等の情報であり、ＨＭＤ２１の画面に上述した仮想空間を表示させるための情報である。なお、仮想空間用情報提供手段１１２は、最初にユーザ認証等を行い、認証に成功したユーザ（情報処理装置１０）に対してのみ、仮想空間用情報の提供を行う。なお、同一（共通）の仮想空間を提供するユーザや各ユーザ毎のログ情報等については、管理情報格納手段１１４−２により管理され、各ユーザの現時点での同一のゲームに対するログイン状態に応じて、同期させた仮想空間を提供する。
【００６５】
合成手段１１３は、仮想空間用情報提供手段１１２により提供される仮想空間上にユーザが操作する対象のキャラクタを合成する。このとき、合成手段１１３は、各情報処理装置１０から得られる各ユーザの視線方向、焦点距離等基づいて、提供する仮想空間上における各キャラクタの視線（顔の位置、向き）や焦点等を変更する。
【００６６】
合成手段１１３は、合成された画像を各情報処理装置１０に送信し、各ユーザが装着したＨＭＤ２１により、合成画像を表示させる。
【００６７】
なお、上述した第２の実施形態におけるサーバ１１０及び情報処理装置１０のハードウェア構成については、上述した図２に示す構成と同様の構成を用いることができるため、ここでの具体的な説明は省略する。また、第２の実施形態においてもサーバ１１０又は情報処理装置１０のハードウェア構成に実行プログラム（例えば、表示制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して第２の実施形態における各種ゲーム処理、表示制御処理等を実現することができる。
【００６８】
＜第２の実施形態における表示制御処理＞
次に、第２の実施形態における表示制御処理について説明する。なお、第２の実施形態における表示制御処理は、情報処理装置１０側の処理と、サーバ１１０の処理とに分かれるため、それぞれ分けて説明する。
【００６９】
＜情報処理装置１０側の処理＞
図７は、第２の実施形態における情報処理装置側の表示制御処理の一例を示すフローチャートである。図７の例において、情報処理装置１０は、サーバ１１０へユーザ認証を行う（Ｓ１１）。ここで、制御手段１７は、認証が成功したか否かを判断し（Ｓ１２）、認証が成功した場合（Ｓ１２において、ＹＥＳ）、後述するＳ１３〜Ｓ１９の処理を行う。
【００７０】
具体的には、ＨＭＤ２１によりユーザの頭部動作情報及び目動作情報を取得し（Ｓ１３）、視線方向計測手段１３は、取得した頭部動作情報及び目動作情報から視線方向を計測する（Ｓ１４）。また、焦点距離計測手段１４は、取得した頭部動作情報及び目動作情報から仮想空間上における焦点距離を計測する（Ｓ１５）。なお、Ｓ１４及びＳ１５の処理は、必要に応じて何れかを省略してもよい。
【００７１】
次に、通信手段１１は、計測した計測方向及び焦点距離のうち少なくとも１つを送信対象とし、ユーザ情報に関連付けてサーバ１１０に送信する（Ｓ１６）。また、通信手段１１は、サーバ１１０から仮想空間の情報と、自己のキャラクタと、他ユーザのキャラクタの情報とを合成した合成画像を取得する（Ｓ１７）。また、画面生成手段１６は、取得した画像をＨＭＤ２１の画面に表示する（Ｓ１８）。
【００７２】
ここで、制御手段１７は、処理を終了するか否かを判断し（Ｓ１９）、処理を終了しない場合（Ｓ１９において、ＮＯ）、Ｓ１３の処理に戻る。また、制御手段１７は、ユーザ指示やゲームの終了等によりゲームを終了する場合（Ｓ１９において、ＹＥＳ）、処理を終了する。また、制御手段１７は、Ｓ１２の処理において、認証に失敗した場合（Ｓ１２において、ＮＯ）、認証エラーメッセージを画面等に出力し（Ｓ２０）、処理を終了する。
【００７３】
＜サーバ１１０側の処理＞
次に、サーバ１１０側における表示制御処理について、図を用いて説明する。図８は、第２の実施形態におけるサーバ側の表示制御処理の一例を示すフローチャートである。図８の例において、サーバ１１０の認証手段１１１は、情報処理装置１０からのユーザ認証要求を受け付け（Ｓ２１）、受け付けに対応してユーザ認証を行う（Ｓ２２）。Ｓ２２の処理では、予め登録されたユーザ情報（例えば、ユーザＩＤ、パスワード）と、情報処理装置１０を介して入力されたユーザ情報とを照合して、一致するユーザ情報がある場合に、認証成功と判断し、同一のユーザ情報がない場合に認証失敗と判断する。認証手段１１１は、認証に成功したか否かを判断し（Ｓ２３）、認証に成功した場合（Ｓ２３において、ＹＥＳ）、後述するＳ２４〜Ｓ２８の処理を行う。
【００７４】
具体的には、仮想空間用情報提供手段１１２は、認証されたユーザが指示したゲームに参加している他のユーザの情報を取得し（Ｓ２４）、取得した各ユーザの視線方向及び焦点距離を取得する（Ｓ２５）。なお、Ｓ２５の処理では、視線方向及び焦点距離の一方のみを取得してもよい。次に、仮想空間用情報提供手段１１２は、例えば取得した視線方向及び焦点距離に基づき、各ユーザが操作するキャラクタの視線、焦点を調整する（Ｓ２６）。次に、合成手段１１３は、ゲーム上の仮想空間に各キャラクタを合成し（Ｓ２７）、合成した画像を対象の情報処理装置に送信する（Ｓ２８）。
【００７５】
ここで、仮想空間用情報提供手段１１２は、ユーザからゲーム等を終了する指示を受け付けたか否かを判断し（Ｓ２９）、終了指示を受け付けてない場合（Ｓ２８において、ＮＯ）、Ｓ２４の処理に戻る。また、仮想空間用情報提供手段１１２は、Ｓ２３の処理において、終了指示を受け付けた場合（Ｓ２９において、ＹＥＳ）、処理を終了する。また、認証手段１１１は、Ｓ２３の処理において、認証に失敗した場合（Ｓ２３において、ＮＯ）、認証エラーを情報処理装置１０に通知し（Ｓ３０）、処理を終了する。
【００７６】
上述したように、第２の実施形態によれば、サーバクライアントシステム（サーバ１１０と情報処理装置１０）等のようなオンラインシステムにおいても、仮想空間上で２人以上のユーザ（プレイヤー）が出会った際に、お互いの頭の動きや視線によるコミュニケーションが可能になる。したがって、各ユーザは、より現実世界に近い体験をすることができる。
【００７７】
＜まとめ＞
上述したように、本発明によれば、ユーザの実際の動作に対応させて仮想空間上のキャラクタを適切に動作させることができる。本実施形態によれば、各ユーザは、自己の視線方向及び焦点距離のうち、少なくとも１つの情報から得られる頭部又は目の動作と、画面上に表示されるゲーム上のキャラクタ（自己が操作するキャラクタ等）の頭部又は目の動作とを連動させることができる。また、本実施形態では、同一のゲームに参加している他のユーザが操作しているキャラクタの頭部や目の動作も他のユーザの動作と連動して画面に表示される。そのため、本実施形態では、仮想空間上で、自分の動きを相手に伝えることができ、他人と容易にコミュニケーションを取ることができる。したがって、より現実世界に近い体験をすることができる。
【００７８】
また、本実施形態によれば、例えば仮想空間上で二人のキャラクタが見つめ合った場合に、ハートマーク（例えば、相手が異性の場合）や火花が散る（例えば、相手が同性又はライバル関係にある場合）ような画像、図柄等を表示させる等の各種のエフェクト効果による演出を行うことができる。また、本実施形態によれば、視線の先にある建物やモンスター等の物体を強調表示させるといった演出を行い、注視しているものを他のプレイヤーと共有化させることができる。なお、本実施形態では、情報表示装置の画面に自己のキャラクタが表示されていなくてもよく、また他人が操作するキャラクタが表示されていなくてもよい。
【００７９】
なお、上述した各実施形態におけるゲームの種類については、レーシングゲームやシューティングゲーム、格闘ゲーム、飛行機シミュレータ、恋愛ゲーム等の多種のゲームにおいて適用することができる。また、ゲームのカテゴリに属しないアプリケーション（プログラム）においても、本実施形態における画像や映像の表示制御処理を適用することができる。
【００８０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
【符号の説明】
【００８１】
１０  情報処理装置
１１  通信手段
１２，１１４  記憶手段
１３  視線方向計測手段
１４  焦点距離計測手段
１５  オブジェクト表示制御手段
１６  画面生成手段
１７  制御手段
２１  ＨＭＤ（情報表示手段の一例）
２２  コントローラ（操作手段の一例）
３１  入力装置
３２  出力装置
３３  ドライブ装置
３４  補助記憶装置
３５  主記憶装置
３６  ＣＰＵ
３７  通信制御装置
３８  記録媒体
４０  ユーザ
５０  画面
６０  仮想空間
６１〜６３  オブジェクト
１００  情報処理システム
１１０  サーバ
１１１  認証手段
１１２  仮想空間用情報提供手段
１１３  合成手段
【図１】
0006706473.tif 000002
【図２】
0006706473.tif 000003
【図３】
0006706473.tif 000004
【図４】
0006706473.tif 000005
【図５】
0006706473.tif 000006
【図６】
0006706473.tif 000007
【図７】
0006706473.tif 000008
【図８】
0006706473.tif 000009