(57)【要約】【課題】ヘッドマウントデバイスを装着しているユーザに、入力装置の位置を提示する。【解決手段】入力装置１７０の基準部位の位置（以下、基準位置と記載）を示す情報が特定される。すると、このコンピュータは、この基準位置に対応する仮想空間上の位置（以下、仮想基準位置と記載）に、入力装置オブジェクト１０００の、基準部位に対応する部位（以下、仮想基準部位と記載）が位置するよう、入力装置オブジェクト１０００を配置する。【選択図】図１
2019040326.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法であって、
仮想空間を定義するステップと、
トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップと、
トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップと、
を含む方法。
【請求項２】
請求項１に記載の方法において、
トラッキング対象物の位置は、トラッキング対象物のトラッキングされる部位の位置であり、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、当該トラッキング対象物の位置と入力装置に対して入力を行うトラッキング対象物の部位の位置との差分を定めた第１オフセットと、を用いて、仮想基準位置を特定する、方法。
【請求項３】
請求項１又は２に記載の方法において、
入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有しており、
複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含み、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置を用いて、仮想基準位置を特定するとともに、特定された入力部位を用いて、仮想基準部位を特定する、方法。
【請求項４】
請求項１又は２に記載の方法において、
入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有しており、
複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含み、
入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、特定された入力部位と、基準部位との位置の差分を定めた第２オフセットと、を用いて、仮想基準位置を特定する、方法。
【請求項５】
請求項４に記載の方法において、
２つ以上の入力部位に対して、１以上のトラッキング対象物を用いて入力が行われるとともに、入力部位を特定するステップ及びトラッキング対象物の位置を特定するステップが行われ、
入力装置オブジェクトを配置するステップにおいて、特定された２つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置と、特定された２つ以上の入力部位のそれぞれの第２オフセットとを用いて、仮想基準位置を特定する方法。
【請求項６】
請求項５に記載の方法において、
入力装置オブジェクトを配置するステップにおいて、
特定された２つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置を、位置関係を保ちつつ、特定された２つ以上の入力部位上の所定位置の位置関係に近づけるよう補正し、
補正されたトラッキング対象物の位置毎に、当該トラッキング対象物の位置の特定時に特定された入力部位の第２オフセットを用いて、仮の仮想基準位置である暫定基準位置を求め、当該暫定基準位置に基づいて、仮想基準位置を特定する、方法。
【請求項７】
請求項１〜６のいずれか一項に記載の方法において、
入力装置への入力に基づいて、入力装置オブジェクトを仮想空間内に配置する第１モードと、
入力装置への入力に基づいて、第１モード以外の処理を行う第２モードと、
を有し、
第１モードにおいて、少なくとも、トラッキング対象物の位置を特定するステップ及び入力装置オブジェクトを配置するステップを行う方法。
【請求項８】
請求項２〜７のいずれか一項に記載の方法において、
入力装置に対して入力を行うトラッキング対象物の部位の位置が定められている方法。
【請求項９】
請求項１〜８のいずれか一項に記載の方法において、
トラッキング対象物は、ヘッドマウントデバイスを装着しているユーザの手、又は当該手に装着された物であり、
トラッキング対象物の位置に対応する仮想空間上の位置に、ユーザの手に対応するハンドオブジェクトを配置するステップを
をさらに含む方法。
【請求項１０】
請求項１〜９のいずれか一項に記載の方法において、
ヘッドマウントデバイスの動きに基づいて、仮想カメラを移動させるステップと、
仮想空間を仮想カメラの視界の範囲で表す視界画像をヘッドマウントデバイスに表示させるステップと、
を更に含む方法。
【請求項１１】
請求項１〜１０のいずれか１項に記載の方法をコンピュータに実行させるための、プログラム。
【請求項１２】
請求項１１に記載のプログラムを格納したメモリと、
プログラムを実行するためのプロセッサと、
を備える、仮想空間における画像の提供を制御するためのコンピュータ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この開示は仮想空間を提供する技術に関する。
【背景技術】
【０００２】
ヘッドマウントデバイス（ＨＭＤ：Head-Mounted Device）装置を用いて仮想空間を提供する技術が知られている。たとえば、特許文献１は、ＨＭＤに仮想の入力装置を表示することが記載されている。具体的には、現実空間において、ユーザが入力装置としてのキーボードのいずれかのキーに触れると、それに対応した仮想キーボードのキーの色が変わることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−９１３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
入力装置を操作する場合、意図した入力を行うためには、その入力装置の位置を把握することが好ましい。一方、ヘッドマウントデバイスを装着して仮想体験をしながら、現実空間の入力装置を操作したいことがある。この場合、ヘッドマウントデバイスを装着して仮想体験をしながら、現実空間の入力装置入力装置の位置を把握して入力できれば仮想体験を向上できる。
【０００５】
本開示は上記事情に鑑みてなされたものであり、ある局面における目的は、ユーザの仮想体験の質を向上させることである。
【課題を解決するための手段】
【０００６】
ある実施の形態に従うと、ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行される方法が提供される。当該方法は、仮想空間を定義するステップと、トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップと、トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップと、を含む。
【図面の簡単な説明】
【０００７】
【図１】本開示に従ったコンピュータによる入力装置オブジェクトの配置方法の一例を模式的に示す図である。
【図２】ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。
【図３】一局面に従うコンピュータのハードウェア構成の一例を表すブロック図である。
【図４】ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。
【図５】ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。
【図６】ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。
【図７】仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。
【図８】仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。
【図９】ある実施の形態に従うコントローラの概略構成を表す図である。
【図１０】ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。
【図１１】ある実施の形態に従うＨＭＤシステムにおいて実行される処理の一部を表わすシーケンスチャートである。
【図１２】仮想カメラの移動前の状態を説明する図である。
【図１３】仮想カメラの移動後の状態を説明する図である。
【図１４】ある実施の形態における、コンピュータが仮想空間に入力装置オブジェクトを配置するときのユーザの動作を示す図である。
【図１５】ある実施の形態における、入力装置オブジェクトを配置するための処理を示すフローチャートである。
【図１６】ある実施の形態における、図１５のステップＳ４０の詳細の一例を示すフローチャートである。
【図１７】ある実施の形態における、図１５のステップＳ４０の詳細の一例を説明するための図である。
【図１８】ある変形例における、コンピュータが仮想空間に入力装置オブジェクトを配置するときのユーザの動作を示す図である。
【図１９】ある変形例における、図１５のステップＳ４０の詳細の一例を示すフローチャートである。
【図２０】ある変形例における、コンピュータが仮想空間に入力装置オブジェクトを配置するときのユーザの動作を示す図である。
【図２１】ある変形例における、図１５のステップＳ４０の詳細の一例を示すフローチャートである。
【図２２】ある変形例における、コンピュータが仮想空間に入力装置オブジェクトを配置するときのユーザの動作を示す図である。
【図２３】ある変形例における、図１５のステップＳ４０の詳細の一例を示すフローチャートである。
【図２４】ある変形例における、入力装置オブジェクトの配置例を示す図である。
【図２５】ある変形例における、図１５のステップＳ４０の詳細の一例を示すフローチャートである。
【図２６】ある変形例における、図２５のステップＳ４３２の詳細の一例を示すフローチャートである。
【図２７】ある変形例における、図２６のステップＳ４４２の詳細の一例を示すフローチャートである。
【図２８】ある変形例における、図２６のステップＳ４４４の詳細の一例を示すフローチャートである。
【図２９】ある変形例における、図２６のステップＳ４４６の詳細の一例を示すフローチャートである。
【図３０】ある変形例における、図２５のステップＳ４３４の詳細の一例を示すフローチャートである。
【図３１】ある変形例における、図２５のステップＳ４３８の詳細の一例を示すフローチャートである。
【図３２】ある変形例における、入力装置及びトラッキング対象物の例を示す図である。
【図３３】図１５に示した処理の変形例の一例を示すフローチャートである。
【図３４】図１５に示した処理の変形例の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下に、図面を参照しつつ、仮想空間を提供するコンピュータの実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらの説明は繰り返さない。
【０００９】
［ＨＭＤシステムの構成］
この実施の形態及び変形例において、ユーザに仮想空間を提供するためのシステムを、「ＨＭＤ（Head  Mount  Device）システム」と称する。ＨＭＤとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を頭部装着用の専用の筐体に装着させることでＶＲ体験を提供するもののいずれをも含み得る。ＨＭＤシステムは、ヘッドマウントデバイスを含む。ユーザは、ヘッドマウントデバイスを使用することにより仮想空間を提供される。図２を参照して、ＨＭＤシステム１００の構成について説明する。
【００１０】
図２は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。
【００１１】
図２に示されるように、ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、スピーカ２１０と、コンピュータ２００とを備える。コンピュータ２００は、本開示におけるヘッドマウントデバイスを介して仮想空間を提供するためのコンピュータの一例である。ＨＭＤ１１０は、モニタ１１２と、注視センサ１４０とを含む。ある局面において、コンピュータ２００は、ネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０と通信可能である。別の局面において、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、センサ１１４を含み得る。
【００１２】
ある実施の形態に従うＨＭＤ１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。
【００１３】
モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro  Luminescence）モニタとして実現され得る。
【００１４】
ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【００１５】
ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light  Emitting  Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。
【００１６】
別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。
【００１７】
別の局面において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。
【００１８】
注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。
【００１９】
スピーカ２１０は、コンピュータ２００に接続され、コンピュータ２００から出力される信号に従って音声を出力する。スピーカ２１０は、ユーザが装着可能なデバイス（例えば、ヘッドホン、イヤホンなど）であってもよい。
【００２０】
サーバ１５０は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤに仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加するゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号を他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
【００２１】
ある実施の形態に従うと、ＨＭＤシステム１００は、コントローラ１６０をさらに備えてもよい。コントローラ１６０はモーションセンサ１３０を含み得る。
【００２２】
コントローラ１６０は、ユーザ１９０からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、コンピュータ２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。
【００２３】
モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ１３０とコンピュータ２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
【００２４】
ある実施の形態に従うと、ＨＭＤシステム１００は、入力装置１７０をさらに備えている。入力装置１７０は、キーボード、マウス、又はタッチパネルなどの入力デバイスである。ある局面において、入力装置１７０は、コンピュータ２００に対して入力を行う。ただし、入力装置１７０は、ＨＭＤシステム１００に含まれていなくてもよい。この場合、入力装置１７０は、コンピュータ２００とは異なるコンピュータに対して入力を行う。
【００２５】
［コンピュータのハードウェア構成］
図３を参照して、本実施の形態に係るコンピュータ２００について説明する。図３は、一局面に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４とを備える。各構成要素は、それぞれ、バス１５に接続されている。
【００２６】
プロセッサ１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processor  Unit）、ＦＰＧＡ（Field-Programmable  Gate  Array）その他のデバイスとして実現される。
【００２７】
メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random  Access  Memory）その他の揮発メモリとして実現される。
【００２８】
ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only  Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【００２９】
別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
【００３０】
ある実施の形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０、モーションセンサ１３０、コントローラ１６０、および、スピーカ２１０との間で信号を通信する。ある実施の形態において、入出力インターフェイス１３は、さらに入力装置１７０との間で信号を通信する。ある局面において、入出力インターフェイス１３は、ＵＳＢ（Universal  Serial  Bus）インターフェイス、ＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。
【００３１】
ある実施の形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェイス１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【００３２】
通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェイス１４は、例えば、ＬＡＮ（Local  Area  Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless  Fidelity）（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。
【００３３】
ある局面において、プロセッサ１０は、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。
【００３４】
図３に示される例では、コンピュータ２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。
【００３５】
また、コンピュータ２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
【００３６】
ある実施の形態において、複数のコンピュータ２００がネットワーク１９上のサーバ１５０を介してデータを共有することにより、当該複数のコンピュータ２００のそれぞれのユーザに同一の仮想空間を提供することができてもよい。
【００３７】
ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
【００３８】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。
【００３９】
グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。
【００４０】
［ｕｖｗ視野座標系］
図４を参照して、ｕｖｗ視野座標系について説明する。図４は、ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。
【００４１】
図４に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。
【００４２】
ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。
【００４３】
ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。
【００４４】
ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。
【００４５】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。
【００４６】
［仮想空間］
図５を参照して、仮想空間についてさらに説明する。図５は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図５では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。
【００４７】
ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。
【００４８】
ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現される。
【００４９】
仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラのｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。
【００５０】
仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。コンピュータ２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する。
【００５１】
注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。
【００５２】
［ユーザの視線］
図６を参照して、ユーザの視線方向の決定について説明する。図６は、ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。
【００５３】
ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。
【００５４】
コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。
【００５５】
別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。
【００５６】
また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。
【００５７】
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
【００５８】
［視界領域］
図７および図８を参照して、視界領域２３について説明する。図７は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図８は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。
【００５９】
図７に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間における基準視線５を中心として極角αを含む範囲を、領域２４として規定する。
【００６０】
図８に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。
【００６１】
ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像２６は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。
【００６２】
ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。
【００６３】
ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。
【００６４】
ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
【００６５】
［コントローラ］
図９を参照して、コントローラ１６０の一例について説明する。図９は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。
【００６６】
図９の分図（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。
【００６７】
右コントローラ８００は、グリップ３０と、プレート３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
【００６８】
グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。
【００６９】
プレート３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図９に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図９に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
【００７０】
天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。
【００７１】
ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ８００と左コントローラは、例えば、コンピュータ２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、電池を必要としない。
【００７２】
図９の分図（Ｂ）は、右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト８１０の一例を示す。例えば、ユーザ１９０の右手に対応するハンドオブジェクト８１０に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、ユーザが右コントローラ８００のボタン３４に対して入力操作を行なっている場合には、ハンドオブジェクト８１０は人差し指を握りこんだ状態となり、ユーザがボタン３４に対して入力操作を行っていない場合には、分図（Ｂ）に示すようにハンドオブジェクト８１０の人差し指は伸ばした状態となる。例えば、分図（Ｂ）に示すようにハンドオブジェクト８１０において親指と人差し指とが伸びている場合、親指の伸びる方向がヨー方向として規定され、人差し指の伸びる方向がロール方向として規定され、ヨー方向に沿う軸とロール方向に沿う軸とによって規定される平面に垂直な方向がピッチ方向として規定される。
【００７３】
［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１１０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。
【００７４】
図１０に示されるように、コンピュータ２００は、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０と、音声制御モジュール２１１とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、手オブジェクト制御モジュール２３３とを含む。
【００７５】
ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。
【００７６】
ある局面において、表示制御モジュール２２０は、ＨＭＤ１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像２６を生成する。
【００７７】
基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。
【００７８】
仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表わす仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。
【００７９】
仮想オブジェクト生成モジュール２３２は、仮想空間２に表示される対象物を生成する。対象物は、一例では、ネットワーク１９上の他のＨＭＤシステム１００のユーザのアバター、ならびに、イベント会場におけるステージおよびスクリーン等の設置物を含む。他の例では、対象物は、ゲームのストーリーの進行に従って表示される森、山その他を含む風景、動物等を含む。さらに他の例では、対象物は、戦闘ゲームにおいて表示される、味方および敵の戦士のアバター、建造物、陣営に設置された屏風および椅子などのオブジェクト、ならびに、戦闘に利用される馬および戦車を含む。さらに他の例では、対象物は、ユーザが操作可能なアバターオブジェクトおよび／またはハンドオブジェクトなどが衝突することによって移動（落下）するように設定された花瓶などのオブジェクト、ならびに、ユーザが操作可能なアバターオブジェクトに向かって移動する敵オブジェクトを含む。ある実施の形態では、当該花瓶などのオブジェクトの移動（落下）態様は、物理演算に従う。さらに他の例では、対象物は、ユーザの入力操作によって仮想空間で投擲されることによって床オブジェクトに衝突し、さらに、当該衝突によって音を発生させるように設定された、オブジェクトを含む。さらに他の例では、対象物は、床オブジェクトとオブジェクトとの衝突によって発生した音に向かって移動するように設定された敵オブジェクトを含む。対象物は、ホラー作品を題材とする仮想空間において比較的光量を抑えられた光源とともに配置される場合、暗闇を移動する恐怖感をユーザに提供することができる。
【００８０】
手オブジェクト制御モジュール２３３は、手オブジェクト（ハンドオブジェクト）を仮想空間２に配置する。以下の説明において、仮想空間２に配置された手オブジェクトは、「仮想手」とも称する。手オブジェクトは、例えば、コントローラ１６０を保持したユーザ１９０の右手あるいは左手に対応する。ある局面において、手オブジェクト制御モジュール２３３は、左手オブジェクトまたは右手オブジェクトを仮想空間２に配置するためのデータを生成する。別の局面において、手オブジェクト制御モジュール２３３は、ユーザ１９０によるコントローラ１６０の操作に応じて、左手オブジェクトまたは右手オブジェクトが他のオブジェクト（例えば、オブジェクト９００またはオブジェクト１０００）を回転させる動作を示すためのデータを生成する。当該動作は、例えば、オブジェクト９００として示されるハンドルを握る手が、当該ハンドルを回転させることを含む。
【００８１】
メモリモジュール２４０は、コンピュータ２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、空間情報２４１と、オブジェクト情報２４２（コンテンツ情報）と、ユーザ情報２４３とを保持している。
【００８２】
空間情報２４１は、仮想空間２を提供するために規定された１つ以上のテンプレートを保持している。
【００８３】
オブジェクト情報２４２は、仮想空間２において再生されるコンテンツ、当該コンテンツで使用されるオブジェクトを表示するための情報、当該コンテンツにおいて出力される音声データを保持している。当該コンテンツは、例えば、ゲーム、現実社会と同様の風景を表したコンテンツ等を含み得る。
【００８４】
ユーザ情報２４３は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム、オブジェクト情報２４２に保持される各コンテンツを使用するアプリケーションプログラム等を保持している。メモリモジュール２４０に格納されているデータおよびプログラムは、ＨＭＤ１１０のユーザによって入力される。あるいは、プロセッサ１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ１５０）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール２４０に格納する。
【００８５】
通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。
【００８６】
音声制御モジュール２１１は、スピーカ２１０による音声の出力を制御する。例えば、音声制御モジュール２１１は、オブジェクト情報２４２によって保持される音声データに従った音声をスピーカ２１０に出力させる。
【００８７】
ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。
【００８８】
［制御構造］
図１１を参照して、ＨＭＤシステム１００の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表わすシーケンスチャートである。
【００８９】
ステップＳ１１１０にて、コンピュータ２００のプロセッサ１０は、仮想空間定義モジュール２３１として、仮想空間画像データを特定する。
【００９０】
ステップＳ１１１０では、プロセッサ１０は、たとえば、サーバ１５０に対し、イベントへの参加を申請する情報を送信してもよい。これに応じて、サーバ１５０は、コンピュータ２００に、当該イベントの会場を表わす仮想空間の画像データ（仮想空間画像データ）を送信してもよい。
【００９１】
ステップＳ１１２０にて、プロセッサ１０は、仮想カメラ１を初期化する。例えば、プロセッサ１０は、仮想カメラ１を仮想空間２において予め規定された中心点に配置し、仮想カメラ１の視線をユーザ１９０が向いている方向に向ける。
【００９２】
ステップＳ１１３０にて、プロセッサ１０は、視界画像生成モジュール２２３として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、視界画像生成モジュール２２３を介して通信制御モジュール２５０によってＨＭＤ１１０に送られる。
【００９３】
ステップＳ１１３２にて、ＨＭＤ１１０のモニタ１１２は、コンピュータ２００から受信した信号に基づいて、初期の視界画像を表示する。ＨＭＤ１１０を装着したユーザ１９０は、視界画像を視認すると仮想空間２を認識し得る。
【００９４】
ステップＳ１１３４にて、ＨＭＤセンサ１２０は、ＨＭＤ１１０から発信される複数の赤外線光に基づいて、ＨＭＤ１１０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に送られる。
【００９５】
ステップＳ１１４０にて、プロセッサ１０は、ＨＭＤ１１０の位置と傾きとに基づいて、ＨＭＤ１１０を装着したユーザ１９０の視界方向を特定する。プロセッサ１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間２においてオブジェクトを表示させる。ユーザ１９０は、そのアプリケーションプログラムの実行により仮想空間２において視認可能なコンテンツを楽しむ。
【００９６】
ある局面において、当該コンテンツは、ユーザにイベント会場を体感させるためのアプリケーション（以下、「イベントアプリケーション」ともいう）を含む。イベントアプリケーションは、ユーザに、仮想空間として、イベント会場内の風景を提供する。プロセッサ１０は、ＨＭＤ１１０の位置と傾きに応じて、ユーザに視認させる仮想空間画像を変更する。
【００９７】
ステップＳ１１５０にて、コントローラ１６０は、ユーザ１９０の操作を検出し、検出された操作を示す信号をコンピュータ２００に送信する。当該信号は、表示された２つ以上のオブジェクトのうち１つ以上のオブジェクトを指定する操作を含む。より具体的には、当該信号は、仮想手を表示させ、当該仮想手で、表示された２つ以上のオブジェクトのうち１つ以上のオブジェクトに触れる動作を示す操作を示す信号を含む。当該信号は、選択された２以上のメニューから１以上のメニューを選択する操作を示す信号を含む。
【００９８】
ステップＳ１１５２にて、プロセッサ１０は、コントローラ１６０から受信した信号に基づいて、ユーザの状態（アプリケーションの状態）を判断する。
【００９９】
ステップＳ１１６０にて、プロセッサ１０は、ＨＭＤ１１０の位置および傾き、ユーザ１９０の操作、ならびに／または、各オブジェクトの設定に従って、視界画像を更新し、更新された視界画像を表示するためのデータ（視界画像データ）をＨＭＤ１１０に送信する。視界画像の更新は、仮想空間内のオブジェクトの透過度の変更、オブジェクトの消去、および、オブジェクトの移動の中のいずれかを含んでもよい。
【０１００】
ステップＳ１１６２にて、ＨＭＤ１１０のモニタ１１２は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像を表示する。ステップＳ１１６２における視界画像の更新は、図１２および図１３を参照して後述する。
【０１０１】
ステップＳ１１７０にて、プロセッサ１０は、ＨＭＤ１１０の位置および傾き、ユーザ１９０の操作、ならびに／または、各オブジェクトの設定に従って、音声データを更新し、更新された音声データをＨＭＤ１１０に送信する。
【０１０２】
ステップＳ１１６２にて、ＨＭＤ１１０のモニタ１１２は、受信した音声データに基づいて音声を出力する。
【０１０３】
［視界画像の更新］
次に、図１２および図１３を参照して、ステップＳ１１６２における視界画像の更新について説明する。図１２は、仮想カメラ１の移動前の状態を説明する図である。分図（Ａ）に示されるように、ある局面において、ＨＭＤ１１０を装着したユーザ１９０は、仮想空間２における視界画像１１００を視認している。視界画像１１００には、木オブジェクト１１１０と山オブジェクト１１２０とが含まれる。このとき、分図（Ｂ）に示されるように、仮想カメラ１は、視界画像１１００に対応する視界領域２３を撮影している。
【０１０４】
図１２に示される状態において、ユーザ１９０は、コントローラ１６０に移動指示を与える。一例として、ユーザ１９０は、コントローラ１６０に含まれるアナログスティックを前方に倒す。これにより、図１２に示される状態から図１３に示される状態へと移行する。
【０１０５】
図１３は、仮想カメラ１の移動後の状態を説明する図である。プロセッサ１０は、コントローラ１６０から入力される検出信号に応じて、仮想カメラ１を移動させる。より具体的には、プロセッサ１０は、移動前の仮想カメラ１の基準視線５を移動方向として特定し、特定した移動方向に、仮想カメラ１を移動させる。
【０１０６】
図１３の分図（Ｂ）において、仮想カメラ１の配置位置（すなわち、ユーザ１９０の視点）は、図１２の分図（Ｂ）に示される状態よりも前方に移動している。ユーザは、移動後の仮想カメラ１が撮影する視界画像１２００を視認する。
【０１０７】
［開示の概要］
本開示に従ったコンピュータは、ユーザが利用するヘッドマウントディスプレイなどのヘッドマウントデバイス（以下、ＨＭＤと記載）に入力装置オブジェクトを表示させる際に、現実空間における入力装置の基準部位の位置を特定し、この特定した位置を用いて入力装置オブジェクトを配置する。図１は、本開示に従ったコンピュータによる入力装置オブジェクトの配置方法の一例を模式的に示している。
【０１０８】
図１の分図（Ａ）及び（Ｂ）のそれぞれにおいて、上側の図は仮想空間において規定された視界領域２３を示しており、下側の図は、視界領域２３に対応する現実空間を示している。視界領域２３は、仮想空間のうち、ＨＭＤ１１０を装着したユーザの視界に対応する。
【０１０９】
図１の分図（Ａ）に示す例において、現実空間には入力装置１７０が配置されている。入力装置１７０は、コンピュータに入力を行うためのデバイスである。このコンピュータは、仮想空間及び視界領域２３をユーザに提供しているコンピュータであってもよいし、他のコンピュータであってもよい。入力装置１７０は、例えばキーボードであるが、マウスやタッチパネルなどの他の入力デバイスであってもよい。一方、視界領域２３には、入力装置１７０に対応する入力装置オブジェクト１０００が配置されている。ただし、仮想空間を提供しているコンピュータは、入力装置１７０の位置を認識していない。このため、入力装置オブジェクト１０００の位置は、入力装置１７０の位置に対応していない可能性がある。
【０１１０】
そこで、詳細を後述するように、ある実施の形態では、入力装置１７０の基準部位の位置（以下、基準位置と記載）を示す情報が特定される。すると、このコンピュータは、この基準位置に対応する仮想空間上の位置（以下、仮想基準位置と記載）に、入力装置オブジェクト１０００の、基準部位に対応する部位（以下、仮想基準部位と記載）が位置するよう、入力装置オブジェクト１０００を配置する。これにより、図１の分図（Ｂ）に示すように、視界領域２３における入力装置オブジェクト１０００の位置は、現実空間における入力装置１７０の位置に対応する。これにより、コンピュータは、ＨＭＤを装着しているユーザに、入力装置オブジェクト１０００の位置を提示することにより、間接的に入力装置１７０の位置を提示することができる。
【０１１１】
［仮想入力オブジェクトの配置］
コンピュータ２００が行う、仮想空間２に入力装置オブジェクト１０００を配置する処理について、説明する。なお、以下に説明する処理は、仮想空間２にすでに配置されている入力装置オブジェクト１０００の位置を調整する場合にも適用できる。
【０１１２】
図１４は、ある実施の形態における、コンピュータ２００が仮想空間２に入力装置オブジェクト１０００を配置するときの、現実空間におけるユーザの動作を示す。ユーザは、トラッキング対象物１８０を手に保持している。ユーザは、トラッキング対象物１８０で入力装置１７０の入力部位を操作する。入力装置１７０がキーボードである場合、入力装置１７０は複数の入力部位（入力キー）を有している。これらの入力部位が操作された際、入力装置１７０は操作された入力部位毎に異なる出力を行う。ユーザが操作する入力部位はいずれの入力部位であってもよいが、ここでは、ユーザが入力部位１７２を操作する場合について説明する。入力装置１７０がマウスである場合、入力部位１７２は、クリック用のボタンである。このボタンが複数ある場合、これらのボタンが操作された際、入力装置１７０は互いに異なる出力を行う。
【０１１３】
トラッキング対象物１８０は、例えばコントローラ１６０である。プロセッサ１０は、トラッキング対象物１８０の特定の部位の、グローバル座標系における位置や姿勢（傾き、向き）を特定できる。以下、上記した特定の部位を、トラッキング部位１８２と記載する。この位置や姿勢の検出方法は様々である。ある例において、トラッキング対象物１８０に複数の赤外線センサを設け、ベースステーションから照射された赤外線をこれら赤外線センサが検知し、この検知結果を処理することにより、トラッキング部位１８２の位置や姿勢が特定される。また、他の例において、トラッキング対象物１８０を撮影するカメラを設け、このカメラが生成した動画を処理することにより、トラッキング部位１８２の位置や姿勢が特定される。この場合、トラッキング部位１８２にマーカが設定されていてもよい。ある例において、トラッキング部位１８２は、入力部位１７２に直接触れる部位であるが、これに限定されない。
【０１１４】
ある例において、プロセッサ１０が仮想入力オブジェクト１０００の配置の処理を行うための条件には、ユーザが、トラッキング対象物１８０のうち所定の部位を用いて入力部位の操作を行うことが含まれる。この場合、ユーザが、トラッキング対象物１８０の他の部位を用いて入力装置１７０の入力部位を操作しても、プロセッサ１０は、入力装置オブジェクト１０００の配置の処理を行わない。ある例において、プロセッサ１０は、トラッキング対象物１８０のトラッキング部位１８２の位置及びトラッキング対象物１８０の姿勢を用いて、トラッキング対象物１８０のうち入力装置１７０の入力部位に接触した部位を特定する。
【０１１５】
図１４に示したトラッキング対象物１８０において、上記した所定の部位の一例は、下端部である。ただし、トラッキング対象物１８０が手袋型のコントローラ１６０であり、コントローラ１６０のうち各指の先端に対応する部位の特定が可能な場合、上記した所定の部位の一例は、いずれかの指の先端である。例えば、上記した所定の部位の一例は、小指の先端である。
【０１１６】
ある例において、トラッキング対象物１８０のトラッキング部位１８２の位置やトラッキング対象物１８０の姿勢を特定するための処理は、コンピュータ２００のプロセッサ１０によって行われる。ただし、この処理は、ＨＭＤシステム１００を構成する他のパーツによって行われてもよい。
【０１１７】
図１４に示す例において、トラッキング部位１８２は、入力部位１７２に直接触れる部位である。そして、プロセッサ１０は、トラッキング部位１８２によって入力部位１７２が押下されたときのトラッキング部位１８２の位置を、入力部位１７２の位置と特定する。そして、プロセッサ１０は、仮想空間２のうちこの特定された位置、すなわち基準位置に対応する位置に、入力装置オブジェクト１０００のうち入力部位１７２に対応する部位が位置するように、入力装置オブジェクト１０００を配置する。
【０１１８】
この処理の詳細を、図１５のフローチャートを用いて説明する。ステップＳ１０において、プロセッサ１０は、仮想空間定義モジュール２３１を用いて、仮想空間２を定義する。そして、図５〜図８を用いて説明した処理を行うことにより、視界画像２６を特定し、特定した視界画像２６をＨＭＤ１１０のモニタ１１２に表示する。ある例において、視界画像２６には、図１の分図（Ａ）のように、入力装置オブジェクト１０００が表示されている。ただし、この状態において入力装置オブジェクト１０００の位置は、暫定的な位置であるため、現実空間における入力装置１７０の位置に対応していない可能性が高い。
【０１１９】
現実空間において、ユーザは、トラッキング対象物１８０を用いて、入力装置１７０の入力部位１７２を操作する。一例として、トラッキング対象物１８０のトラッキング部位１８２が、入力部位１７２に接触する。すると、入力装置１７０は、入力部位１７２を特定する信号を外部に出力する。この信号、又はこの信号を処理することによって生成された信号は、コンピュータ２００に入力される。
【０１２０】
ステップＳ２０において、コンピュータ２００のプロセッサ１０は、上記した信号の入力がある（ステップＳ２０でＹｅｓ）と、ステップＳ３０に制御を進める。
【０１２１】
ステップＳ３０において、プロセッサ１０は、トラッキング対象物１８０のトラッキング部位１８２の位置を特定する。そして、ステップＳ４０において、プロセッサ１０は、特定したトラッキング部位１８２の位置を用いて、仮想空間２に入力装置オブジェクト１０００を配置する。
【０１２２】
次に、ステップＳ４０の処理の詳細の一例を、図１６のフローチャート、図１７を用いて説明する。図１７の分図（Ａ）は、現実空間における入力装置１７０及びトラッキング部位１８２の位置を示す図である。図１７の分図（Ｂ）は、仮想空間２における入力装置オブジェクト１０００の位置を示す図である。ステップＳ４０２において、プロセッサ１０は、入力された信号を用いて、入力装置１７０が有する複数の入力部位のうち、トラッキング対象物１８０によって操作された入力部位１７２を特定する。ステップＳ４０４において、プロセッサ１０は、入力部位１７２が操作されたタイミングにおけるトラッキング部位１８２の位置を、入力部位１７２の位置として特定し、この位置、すなわち基準位置に対応する、仮想空間２の位置を特定する。以下、この仮想空間２における位置を仮想基準位置と記載する。ステップＳ４０６において、プロセッサ１０は、入力装置オブジェクト１０００が有する複数の仮想入力部位から、ステップＳ４０２において特定された入力部位１７２に対応する仮想入力部位１０７２を特定する。そして、プロセッサ１０は、図１７の分図（Ａ）及び分図（Ｂ）に示すように、仮想空間２における入力装置オブジェクト１０００の位置を特定する際、この仮想入力部位１０７２が上述した仮想基準位置と重なるようにする。仮想入力部位１０７２がある程度の大きさを有している場合、プロセッサ１０は、仮想入力部位１０７２の中心が仮想基準位置に位置するように、入力装置オブジェクト１０００を配置する。
【０１２３】
これにより、入力装置１７０の位置と、仮想空間２における入力装置オブジェクト１０００の位置が、互いに対応する。このため、仮想空間２における入力装置オブジェクト１０００の位置を、現実空間における入力装置１７０の位置に対応させることができる。従って、ＨＭＤ１１０を装着しているユーザは、視界画像２６に含まれる入力装置オブジェクト１０００の位置を介して、入力装置１７０の位置を認識し、入力装置１７０を操作することができる。
【０１２４】
（変形例１）
次に、図１８及び図１９を用いて、図１４〜図１７を用いて説明した処理の変形例について説明する。図１８は、この変形例における、コンピュータ２００が仮想空間２に入力装置オブジェクト１０００を配置するときの、ユーザの動作を示す。図１４に示す例において、トラッキング対象物１８０のうち、コンピュータ２００が位置を特定できるトラッキング部位１８２と、入力部位１７２に接触してこれを操作する操作部位１８４とは一致していた。これに対し、図１８に示す例では、ユーザが行う動作は図１４に示した動作と同様であるが、トラッキング部位１８２と操作部位１８４は互いに異なっている。
【０１２５】
一例として、トラッキング部位１８２は、トラッキング対象物１８０のうちユーザの手で覆われる可能性が低い部位、例えば上端部の少なくとも一部、例えば上面の中心である。そしてコンピュータ２００のプロセッサ１０は、トラッキング部位１８２と操作部位１８４の位置の差分である第１オフセットを用いて、操作部位１８４の位置を特定する。第１オフセットは、例えばトラッキング対象物１８０のローカル座標系において、座標軸別に定められている。具体的には、第１オフセットは、トラッキング部位１８２の値と操作部位１８４の値の差分を示す値である。この差分は、座標軸別に定められている。第１オフセットは、例えばコンピュータ２００のメモリ１１又はストレージ１２に格納されている。
【０１２６】
ただし、プロセッサ１０は、トラッキング部位１８２の位置に対応する仮想空間２の位置を特定した後に、この仮想空間２の位置と第１オフセットとを用いて、操作部位１８４の位置に対応する仮想空間２の位置を特定してもよい。
【０１２７】
本変形例における図１５のステップＳ４０の詳細の一例を、図１９を用いて説明する。ステップＳ４０１において、プロセッサ１０は、図１５のステップＳ３０において特定されたトラッキング部位１８２の位置に、第１オフセットを加えることにより、操作部位１８４の位置を特定する。その後の処理（ステップＳ４０２〜Ｓ４０６）は、図１６を用いて説明した通りである。
【０１２８】
なお、後述する他の変形例では、トラッキング部位１８２と操作部位１８４が一致している場合について説明する。ただし、これらの変形例において、トラッキング部位１８２と操作部位１８４が異なっている場合についても、同様の処理が可能である。
【０１２９】
（変形例２）
次に、図２０及び図２１を用いて、図１４〜図１７を用いて説明した処理の他の変形例について説明する。図２０は、この変形例における、コンピュータ２００が仮想空間２に入力装置オブジェクト１０００を配置するときの、ユーザの動作を示す。
【０１３０】
図１４に示す例において、入力装置１７０のうち、仮想空間２において入力装置オブジェクト１０００の位置を特定する際に用いられる部位（基準部位）は、入力部位１７２と一致していた。これに対し、図２０に示す例では、基準部位１７１は、入力部位１７２とは異なっている。一例として、基準部位１７１は、平面視における入力装置１７０の中心である。そしてコンピュータ２００のプロセッサ１０は、入力部位１７２の位置と、基準部位１７１の位置の差分、すなわち第２オフセットを用いて、基準部位１７１の位置を特定する。第２オフセットは、例えば入力装置１７０のローカル座標系において、座標軸別に定められている。具体的には、第２オフセットは、入力部位１７２の値と基準部位１７１の値の差分を示す値である。この差分は、座標軸別に定められている。第２オフセットは、例えば入力部位別に、コンピュータ２００の１１又はストレージ１２に格納されている。
【０１３１】
本変形例における図１５のステップＳ４０の詳細の一例を、図２１を用いて説明する。ステップＳ４０２において、プロセッサ１０は、トラッキング対象物１８０によって操作された入力部位１７２を特定する。ステップＳ４１２において、プロセッサ１０は、ステップＳ３０において特定された入力部位１７２の位置（すなわちトラッキング部位１８２の位置）と、第２オフセットとを用いることにより、基準部位１７１の位置を特定する。例えばプロセッサ１０は、トラッキング部位１８２の位置に第２オフセットを加えることにより、基準部位１７１の位置を特定する。そして、プロセッサ１０は、特定された基準部位１７１の位置（基準位置）に対応する、仮想空間２の位置（仮想基準位置）を特定する。ステップＳ４１４において、プロセッサ１０は入力装置オブジェクト１０００のうち、ステップＳ４１２において特定された基準部位１７１に対応する部位（仮想基準部位）が、仮想基準位置に位置するように、入力装置オブジェクト１０００を配置する。
【０１３２】
図２１に示す例において、プロセッサ１０は、基準部位１７１の位置を特定してから仮想基準位置を特定している。ただし、プロセッサ１０は、入力部位１７２の位置に対応する仮想空間２の位置を特定した後に、この仮想空間２の位置と第２オフセットとを用いて、仮想基準位置を特定してもよい。
【０１３３】
ステップＳ４１４において、入力装置オブジェクト１０００内における仮想基準部位の位置は、予め定義されていてもよいし、入力部位１７２に対応する仮想入力部位の位置と第２オフセットとを用いることにより、特定されてもよい。
【０１３４】
（変形例３）
次に、図２２、図２３、及び図２４を用いて、図１４〜図１７を用いて説明した処理の他の変形例について説明する。図２２は、この変形例における、コンピュータ２００が仮想空間２に入力装置オブジェクト１０００を配置するときの、ユーザの動作を示す。
【０１３５】
図１４〜１７を用いて説明した例において、入力装置１７０のうち、ユーザがトラッキング対象物１８０を用いて操作する入力部位は一つであった。これに対し、図２２に示す例において、ユーザが操作する入力部位は複数である。一例として、ユーザは、２つのトラッキング対象物１８０を用いて複数の入力部位を操作する。他の例として、ユーザは、一つのトラッキング対象物１８０を用いて複数回入力装置１７０を操作することにより、複数の入力部位を操作する。これら複数の入力部位それぞれについて、その入力部位が操作されたときのトラッキング部位１８２の位置が特定される。そして、コンピュータ２００のプロセッサ１０は、これら複数のトラッキング部位１８２の位置を用いて、仮想空間２における入力装置オブジェクト１０００の配置位置を特定する。
【０１３６】
本変形例における図１５のステップＳ４０の詳細の一例を、図２３を用いて説明する。まず、図２３に示した処理に入る前に、ユーザは、トラッキング対象物１８０を用いて互いに異なる複数の入力部位を操作する。この複数の入力部位の一例は、入力部位１７２，１７４である。図１５のステップＳ３０において、入力装置１７０から、操作された各入力部位を特定する信号が出力されると、コンピュータ２００のプロセッサ１０は、これら信号毎に、その信号が出力されたタイミングにおけるトラッキング部位１８２の位置を特定する。
【０１３７】
図２３のステップＳ４２２において、プロセッサ１０は、各トラッキング部位１８２の位置に、入力装置１７０から出力された信号を用いて、その位置に対応する入力部位（例えば入力部位１７２，１７４）を特定する。
【０１３８】
図２３のステップＳ４２４において、プロセッサ１０は、入力部位が操作されると、その操作されたタイミングにおけるトラッキング部位１８２の位置を特定する。そして、プロセッサ１０は、入力部位別に、その入力部位を押下したときのトラッキング部位１８２の位置、すなわち基準位置に対応する、仮想空間２の位置、すなわち仮想基準位置を特定する。例えばプロセッサ１０は、入力部位１７２が操作されたときのトラッキング部位１８２の位置に対応する仮想基準位置を特定するとともに、入力部位１７４が操作されたときのトラッキング部位１８２の位置に対応する仮想基準位置を特定する。
【０１３９】
図２３のステップＳ４２６において、プロセッサ１０は、ステップＳ４２２において特定された複数の入力部位（基準部位）それぞれに対応する仮想入力部位が、その入力部位に対応する仮想基準位置に位置するように、入力装置オブジェクト１０００を配置する。例えば図２４に示すように、入力部位１７２は仮想入力部位１０７２に対応しており、入力部位１７４は仮想入力部位１０７４に対応しているとする。この場合、プロセッサ１０は、入力部位１７２に対応する仮想基準位置に仮想入力部位１０７２が重なり、かつ、入力部位１７４に対応する仮想基準位置に仮想入力部位１０７４が重なるように、入力装置オブジェクト１０００を配置する。
【０１４０】
次に、図２５〜図３１を用いて、図２２〜図２４を用いて説明した処理の変形例について説明する。本変形例において、入力装置１７０の基準部位は、例えば入力装置１７０の中心であり、トラッキング対象物１８０を用いて操作された複数の入力部位のいずれとも異なる。このため、図２０及び図２１を用いて説明した、第２オフセットが用いられる。
【０１４１】
本変形例における図１５のステップＳ４０の詳細の一例を、図２５を用いて説明する。ユーザが行う動作、図１５のステップＳ３０、及びステップＳ４２２に示した処理は、図２２〜図２４を用いて説明した通りである。
【０１４２】
図２５のステップＳ４３２において、コンピュータ２００のプロセッサ１０は、図１５のステップＳ３０において特定された複数のトラッキング部位１８２の位置を補正する。この補正の詳細については、図２６〜図３０を用いて後述する。
【０１４３】
ステップＳ４３４において、プロセッサ１０は、トラッキング部位１８２の位置別に、補正後のトラッキング部位１８２の位置と、そのトラッキング部位１８２の位置に対応する入力部位に対応する第２オフセットとを用いて、仮の仮想基準位置である暫定基準位置）を特定する。ここで、操作された入力部位は複数あるため、暫定基準位置も複数特定される。暫定基準位置の特定方法については、図３０を用いて後述する。
【０１４４】
ステップＳ４３６において、プロセッサ１０は、複数の暫定基準位置を用いて、仮想基準位置を特定する。一例として、プロセッサ１０は、複数の暫定基準位置の平均の位置を、仮想基準位置とする。ここで平均の位置を特定する方法の一例は、座標軸ごとに、その軸の値の平均値を算出することである。例えば入力部位１７２を用いて算出された暫定基準位置が（ｘ１、ｙ１、ｚ１）であり、入力部位１７４を用いて算出された暫定基準位置が（ｘ２、ｙ２、ｚ２）である場合、仮想基準位置は、（（ｘ１＋ｘ２）／２、（ｙ１＋ｙ２）／２、（ｚ１＋ｚ２）／２）となる。
【０１４５】
ステップＳ４３８において、プロセッサ１０は、入力装置オブジェクト１０００の仮想基準部位が、ステップＳ４３６で特定した仮想基準位置に位置するように、入力装置オブジェクト１０００を配置する。
【０１４６】
次に、図２５のステップＳ４３２の詳細の一例を、図２６のフローチャート及び図２７〜図２９を用いて説明する。この例において、ユーザは、２つの入力部位１７２，１７４を操作する。プロセッサ１０は、入力部位１７２への入力時に特定されたトラッキング部位１８２の位置と、入力部位１７４への入力時に特定されたトラッキング部位１８２の位置を、これら２つの位置関係を保ちつつ、これら２つの入力部位上の所定位置の位置関係に近づけるよう補正する。
【０１４７】
まず、プロセッサ１０は、ステップＳ４４２において、図２７の分図（Ａ）に示すように、入力部位１７２の中心と入力部位１７４の中心を結ぶ線分を特定する。この線分を、理想線分Ａ１とする。一例として、理想線分Ａ１を特定する情報は、予めメモリ１１又はストレージ１２に格納されている。なお、入力部位１７２，１７４の組み合わせは複数あり得る。このため、メモリ１１又はストレージ１２には、この組み合わせ毎に、理想線分Ａ１を特定する情報を記憶している。
【０１４８】
また、プロセッサ１０は、同じくステップＳ４４２において、図２７の分図（Ｂ）に示すように、入力部位１７２が押下されたときのトラッキング部位１８２の位置と、入力部位１７４が押下されたときのトラッキング部位１８２の位置と、を結ぶ線分を特定する。この線分を、実線分Ａ２とする。トラッキング部位１８２が入力部位の中心を押下する場合、トラッキング部位１８２の位置と入力部位の位置の差はなくなる。しかし、ユーザは入力装置１７０の位置を把握できていないため、トラッキング対象物１８０を用いて入力部位を操作する際、トラッキング部位１８２が入力部位の中心からずれることがある。分図（Ｂ）における入力部位１７４は、その例である。このため、トラッキング部位１８２の補正が必要になる。
【０１４９】
プロセッサ１０は、ステップＳ４４４において、図２８の分図（Ａ）に示すように、実線分Ａ２のうち入力部位１７２側の端部と、理想線分Ａ１のうち入力部位１７２側の端部のそれぞれを、入力部位１７２に対応するトラッキング部位１８２の位置に重ねる。例えば、プロセッサ１０は、理想線分Ａ１を移動させ、理想線分Ａ１の入力部位１７２側の端部を、実線分Ａ２の入力部位１７２側の端部に重ねる。このとき、理想線分Ａ１及び実線分Ａ２の傾きは維持される。そして、この状態において、理想線分Ａ１と実線分Ａ２とが成す角度θ１を特定する。またプロセッサ１０は、図２８の分図（Ｂ）に示すように、実線分Ａ２のうち入力部位１７４側の端部と、理想線分Ａ１のうち入力部位１７４側の端部のそれぞれを、入力部位１７４に対応するトラッキング部位１８２の位置に重ねる。例えば、プロセッサ１０は、理想線分Ａ１を移動させ、理想線分Ａ１の入力部位１７４側の端部を、実線分Ａ２の入力部位１７４側の端部に重ねる。このときも、理想線分Ａ１及び実線分Ａ２の傾きは維持される。そして、この状態において、理想線分Ａ１と実線分Ａ２とが成す角度θ２を特定する。
【０１５０】
プロセッサ１０は、ステップＳ４４６において、図２９の分図（Ａ）に示すように、角度θ１，θ２を用いて実線分Ａ２の傾きを補正する。一例として、プロセッサ１０は、入力部位１７２側の端を中心として、実線分Ａ２を、角度θ１／２、理想線分Ａ１に近づける方向に回転させる。さらにプロセッサ１０は、入力部位１７４側の端を中心として、実線分Ａ２を、角度θ２／２、理想線分Ａ１に近づける方向に回転させる。なお、回転の順序は逆であってもよい。
【０１５１】
これにより、図２９の分図（Ｂ）に示すように、実線分Ａ２（実線で示す）の傾きは、図３０を用いて説明する、入力装置オブジェクト１０００の位置を特定する処理において問題が生じないレベルに補正される。
【０１５２】
図３０は、図２５のステップＳ４３４の詳細例を示す。プロセッサ１０は、ステップＳ４３４において、図３０の分図（Ａ）に示すように、補正後の実線分Ａ２´の入力部位１７２側の端に、入力装置オブジェクト１０００のうち入力装置１７０の入力部位１７２の所定位置１７３に対応する部位が重なるように、入力装置オブジェクト１０００を仮配置する。一例として、所定位置１７３は入力部位１７２の中心である。この際、プロセッサ１０は、補正後の実線分Ａ２´の傾きを用いて、入力装置オブジェクト１０００の向きを特定する。例えば入力装置オブジェクト１０００がキーボードオブジェクトである場合、プロセッサ１０は、補正後の実線分Ａ２´上又はその延長線上に入力部位１７４の中心が位置するように、入力装置オブジェクト１０００の向きを特定する。
【０１５３】
そしてプロセッサ１０は、仮配置した入力装置オブジェクト１０００における仮想基準部位の位置を、暫定基準位置と特定する。一例として、プロセッサ１０は、入力部位１７２に対応するトラッキング部位１８２の補正後の位置と、入力部位１７２に対応する第２オフセットＯＦ１とを用いて、暫定基準位置Ｂ１を特定する。
【０１５４】
また図３０の分図（Ｂ）に示すように、補正後の実線分Ａ２´の入力部位１７４側の端に、入力装置オブジェクト１０００のうち入力装置１７０の入力部位１７４の所定位置１７５に対応する部位が重なるように、入力装置オブジェクト１０００を仮配置する。一例として、所定位置１７５は入力部位１７４の中心である。この際、プロセッサ１０は、図３０の分図（Ａ）で説明した方法と同様の方法を用いて、入力装置オブジェクト１０００の向きを特定する。なお、分図（Ｂ）において、入力部位１７４に対応する第２オフセットには符号ＯＦ２を付している。そしてプロセッサ１０は、仮配置した入力装置オブジェクト１０００における仮想基準部位の位置を、暫定基準位置Ｂ２と特定する。この特定方法は、図３０の分図（Ａ）で説明した方法と同様である。
【０１５５】
なお、ユーザが３つ以上の入力部位を操作した場合、プロセッサ１０は、例えば、これら３つ以上の入力部位から２つの入力部位を選択し、上述した処理を行う。
【０１５６】
図３１は、図２５のステップＳ４３８の詳細例を示す。図２５のステップＳ４３６において、プロセッサ１０は、暫定基準位置Ｂ１，Ｂ２を用いて、仮想基準位置Ｂ３を特定する。一例として、上述したように、プロセッサ１０は、暫定基準位置Ｂ１，Ｂ２の平均の位置を、仮想基準位置Ｂ３とする。そして、プロセッサ１０は、入力装置オブジェクト１０００の仮想基準部位が仮想基準位置Ｂ３に重なるように、入力装置オブジェクト１０００を配置する。仮想基準部位の特定方法は、図２０〜図２２を用いて説明した通りである。この際、プロセッサ１０は、補正後の実線分Ａ２´の傾きを用いて入力装置オブジェクト１０００の傾きを特定する。この傾きの特定方法は、図３０を用いて説明した、入力装置オブジェクト１０００を仮配置する際に用いた方法と同様である。
【０１５７】
上述した各例において、入力装置１７０の一例としてはキーボードを示し、また入力装置オブジェクト１０００の例としてはキーボードオブジェクトを示した。ただし、図３２に示すように、トラッキング対象物１８０が手袋型のコントローラ１６０であり、コントローラ１６０のうち各指の先端に対応する部位の特定が可能な場合、入力装置１７０がタッチパネルであり、入力装置オブジェクト１０００がタッチパネルオブジェクトであってもよい。
【０１５８】
（変形例４）
次に、図３３を用いて、図１５に示した処理の変形例の一例を示す。この変形例において、ＨＭＤシステム１００は、第１モードと第２モードを有している。第１モードにおいて、プロセッサ１０は、入力装置１７０への入力に基づいて、入力装置オブジェクト１０００を仮想空間２に配置する。第２モードにおいて、プロセッサ１０は、第１モード以外の処理、例えば仮想空間２に含まれる他のオブジェクトを操作するための処理や、入力装置１７０を用いた入力処理を行う。プロセッサ１０は、例えばコントローラ１６０を用いた入力に従って、ＨＭＤシステム１００のモードを決定する。
【０１５９】
ステップＳ１０において、プロセッサ１０は、仮想空間２を定義するとともに、視界画像２６をＨＭＤ１１０のモニタ１１２に表示する。この処理の詳細は、図１５を用いて説明した通りである。ステップＳ１５において、プロセッサ１０は、ＨＭＤシステム１００のモードを判断する。モードが第１モードではなかった場合（ステップＳ１５でＮｏ）、プロセッサ１０は、ステップＳ２０に移行しない。モードが第１モードだった場合（ステップＳ１５でＹｅｓ）、プロセッサ１０は、ステップＳ２０に移行する。プロセッサ１０が行うこれ以降の処理（ステップＳ２０〜Ｓ４０）は、上記した例（変形例を含む）のいずれかに示した通りである。
【０１６０】
このようにすると、ユーザが入力装置オブジェクト１０００の配置を意図していないときには、プロセッサ１０が入力装置オブジェクト１０００を配置する処理を行わないようにすることができる。
【０１６１】
（変形例５）
次に、図３４を用いて、図１５に示した処理の変形例の他の例を示す。この変形例において、トラッキング対象物１８０は、ＨＭＤ１１０を装着しているユーザの手、又は当該手に装着された物（例えば手袋型のコントローラ１６０）である。そして、プロセッサ１０は、ステップＳ１０〜ステップＳ４０に示した処理を行う。この処理は、上記した例（変形例を含む）のいずれかに示した通りである。プロセッサ１０は、ステップＳ４０において仮想空間２に入力装置オブジェクト１０００を配置した後に、ステップＳ５０において、仮想空間２にハンドオブジェクトを配置する。プロセッサ１０は、ステップＳ５０において、ハンドオブジェクトを配置する位置を、トラッキング対象物１８０の位置の特定結果を用いて特定する。そして、プロセッサ１０は、特定した位置にハンドオブジェクトを配置する。
【０１６２】
このようにすると、仮想空間２のうち、現実空間におけるユーザの手に対応する位置に、ハンドオブジェクトを配置することができる。従って、ユーザは、ＨＭＤ１１０のモニタ１１２を見ることにより、入力装置１７０と自分の手の位置関係を把握することができる。このため、ユーザは、入力装置１７０に入力を行いやすくなる。
【０１６３】
［開示の要約］
以上開示された技術的特徴は、例えば、以下のように要約され得る。
【０１６４】
（１）ある実施の形態によれば、ヘッドマウントデバイス（ＨＭＤ１１０）を介して仮想空間を提供するためにコンピュータ（コンピュータ２００）で実行される方法が提供される。コンピュータ２００が実行する制御は、仮想空間を定義するステップ（図１５のステップＳ１０）と、トラッキング対象物のトラッキング結果に基づいて、当該トラッキング対象物を用いて入力装置に入力を行った際の当該トラッキング対象物の位置を特定するステップ（図１５のステップＳ３０）と、トラッキング対象物の位置から特定可能な、入力装置上の基準部位の位置に対応する仮想空間上の位置である仮想基準位置に、入力装置に対応する入力装置オブジェクト上の、基準部位に対応する仮想基準部位が位置するよう、入力装置オブジェクトを配置するステップ（図１５のステップＳ４０）と、を含む。
【０１６５】
（２）一例において、トラッキング対象物の位置は、トラッキング対象物のトラッキングされる部位の位置である。コンピュータ２００は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、当該トラッキング対象物の位置と入力装置に対して入力を行うトラッキング対象物の部位の位置との差分を定めた第１オフセットと、を用いて、仮想基準位置を特定してもよい。
【０１６６】
（３）一例において、入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有していてもよい。この場合、コンピュータ２００が実行する制御は、複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップ（図１９のステップＳ４０２）を更に含んでいてもよい。この場合、コンピュータ２００は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置を用いて、仮想基準位置を特定するとともに、特定された入力部位を用いて、仮想基準部位を特定してもよい。
【０１６７】
（４）一例において、入力装置は、入力が行われると、コンピュータに対して互いに異なる出力を行う複数の入力部位を有していてもよい。この場合、コンピュータ２００が実行する制御は、複数の入力部位のうちのトラッキング対象物を用いて入力が行われた入力部位からの出力に基づいて、当該入力部位を特定するステップを更に含んでいてもよい。この場合、コンピュータ２００は、入力装置オブジェクトを配置するステップにおいて、トラッキング対象物の位置と、特定された入力部位と、基準部位との位置の差分を定めた第２オフセットと、を用いて、仮想基準位置を特定してもよい。
【０１６８】
この場合、２つ以上の入力部位に対して、１以上のトラッキング対象物を用いて入力が行われるとともに、入力部位を特定するステップ及びトラッキング対象物の位置を特定するステップが行われてもよい。この場合、コンピュータ２００は、入力装置オブジェクトを配置するステップにおいて、特定された２つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置と、特定された２つ以上の入力部位のそれぞれの第２オフセットとを用いて、仮想基準位置を特定してもよい。
【０１６９】
この場合、入力装置オブジェクトを配置するステップにおいて、コンピュータ２００は、特定された２つ以上の入力部位のそれぞれへの入力時に特定されたトラッキング対象物の位置を、位置関係を保ちつつ、特定された２つ以上の入力部位上の所定位置の位置関係に近づけるよう補正してもよい。そして、コンピュータ２００は、補正されたトラッキング対象物の位置毎に、当該トラッキング対象物の位置の特定時に特定された入力部位の第２オフセットを用いて、暫定基準位置を求め、当該暫定基準位置に基づいて、仮想基準位置を特定してもよい。
【０１７０】
（５）一例として、ＨＭＤシステム１００は、入力装置への入力に基づいて、入力装置オブジェクトを仮想空間内に配置する第１モードと、入力装置への入力に基づいて、第１モード以外の処理を行う第２モードと、を有している。そして、コンピュータ２００は、第１モードにおいて、少なくとも、トラッキング対象物の位置を特定するステップ及び入力装置オブジェクトを配置するステップを行う。
【０１７１】
（６）一例として、入力装置に対して入力を行うトラッキング対象物の部位の位置が定められている。
【０１７２】
（７）一例として、トラッキング対象物は、ヘッドマウントデバイスを装着しているユーザの手、又は当該手に装着された物である。この場合、コンピュータ２００が実行する制御は、トラッキング対象物の位置に対応する仮想空間上の位置に、ユーザの手に対応するハンドオブジェクトを配置するステップ（図３４のステップＳ５０）をさらに含んでいてもよい。
【０１７３】
（８）一例として、コンピュータ２００が実行する制御は、ヘッドマウントデバイスの動きに基づいて、仮想カメラを移動させるステップ（図８）と、仮想空間を仮想カメラの視界の範囲で表す視界画像をヘッドマウントデバイスに表示させるステップ（図８）と、を更に含む。
【０１７４】
（９）ある実施の形態によれば、上記したいずれかの方法をコンピュータに実行させるための、プログラムが提供される。
【０１７５】
（１０）ある実施の形態によれば、上記したプログラムを格納したメモリと、このプログラムを実行するためのプロセッサと、を備える、仮想空間における画像の提供を制御するためのコンピュータ装置（コンピュータ２００）が提供される。
【０１７６】
今回開示された各実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。また、実施の形態および各変形例において説明された発明は、可能な限り、単独でも、組み合わせても、実施することが意図される。
【符号の説明】
【０１７７】
１  仮想カメラ、２  仮想空間、５  基準視線、１０  プロセッサ、１１  メモリ、１２  ストレージ、１３  入出力インターフェイス、１４  通信インターフェイス、１９  ネットワーク、２１  中心、２２  仮想空間画像、２３  視界領域、２４，２５  領域、２６，１１００，１２００  視界画像、３０  グリップ、３１  プレート、３２  天面、１００  ＨＭＤシステム、１１２  モニタ、１１４，１６１  センサ、１２０  ＨＭＤセンサ、１３０  モーションセンサ、１４０  注視センサ、１５０  サーバ、１６０  コントローラ、１７０  入力装置、１７２，１７４  入力部位、１８０  トラッキング対象物、１８２  トラッキング部位、１８４  操作部位、２００  コンピュータ、１０００  入力装置オブジェクト、  １０７２，１０７４  仮想入力部位
【図１】
2019040326.tif 000003
【図２】
2019040326.tif 000004
【図３】
2019040326.tif 000005
【図４】
2019040326.tif 000006
【図５】
2019040326.tif 000007
【図６】
2019040326.tif 000008
【図７】
2019040326.tif 000009
【図８】
2019040326.tif 000010
【図９】
2019040326.tif 000011
【図１０】
2019040326.tif 000012
【図１１】
2019040326.tif 000013
【図１２】
2019040326.tif 000014
【図１３】
2019040326.tif 000015
【図１４】
2019040326.tif 000016
【図１５】
2019040326.tif 000017
【図１６】
2019040326.tif 000018
【図１７】
2019040326.tif 000019
【図１８】
2019040326.tif 000020
【図１９】
2019040326.tif 000021
【図２０】
2019040326.tif 000022
【図２１】
2019040326.tif 000023
【図２２】
2019040326.tif 000024
【図２３】
2019040326.tif 000025
【図２４】
2019040326.tif 000026
【図２５】
2019040326.tif 000027
【図２６】
2019040326.tif 000028
【図２７】
2019040326.tif 000029
【図２８】
2019040326.tif 000030
【図２９】
2019040326.tif 000031
【図３０】
2019040326.tif 000032
【図３１】
2019040326.tif 000033
【図３２】
2019040326.tif 000034
【図３３】
2019040326.tif 000035
【図３４】
2019040326.tif 000036