(57)【要約】【課題】ＨＭＤ（ヘッドマウントデバイス）が使用されない場合でも仮想現実用または３６０度動画のコンテンツであることを容易に認識させる。【解決手段】端末が実行する処理は、コンテンツの配信要求をサーバに送信するステップ（Ｓ１０１０）と、サーバからコンテンツのデータを受信するステップ（Ｓ１０４０）と、マスク画像をオーバーレイする指示を検出した場合に（ステップＳ１０５０にてＹＥＳ）、マスク画像がコンテンツにオーバーレイされたデータを生成するステップ（Ｓ１０６０）と、生成したデータをモニタに出力するステップ（Ｓ１０８０）と、マスク画像がコンテンツにオーバーレイする指示を検出しない場合に（ステップＳ１０５０にてＮＯ）、受信したデータをモニタに出力するステップ（Ｓ１０７０）とを含む。【選択図】図１０
2018098697.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを提示するためにコンピュータで実行される方法であって、
ディスプレイにコンテンツを提示可能なコンテンツデータを、前記コンピュータのメモリにロードするステップと、
ヘッドマウントデバイスを装着するユーザに対し２次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイする指示を検出するステップと、
前記指示が検出されたことに基づいて、前記マスク画像がオーバーレイされた状態で、前記２次元表示以外の視聴態様が想定されるコンテンツをモニタに表示するステップとを含む、方法。
【請求項２】
前記指示を検出するステップは、ユーザによる入力に基づいて、前記２次元表示以外の視聴態様が想定されるコンテンツに前記マスク画像オーバーレイする指示を検出することを含み、
前記表示するステップは、
前記２次元表示以外の視聴態様が想定されるコンテンツに前記マスク画像オーバーレイすることと、
前記マスク画像がオーバーレイされたコンテンツを表示するためのデータを前記ディスプレイに送信することとを含む、請求項１に記載の方法。
【請求項３】
前記コンピュータに接続されたサーバから前記コンテンツデータを受信するステップをさらに含み、前記コンテンツデータはフラグを有しており、前記フラグは、当該コンテンツデータに基づいて提示されるコンテンツが、前記２次元表示以外の視聴態様が想定されるコンテンツであるか否かを表しており、
前記指示を検出するステップは、当該コンテンツは２次元表示以外の視聴態様が想定されているということが前記フラグによって示されていることを検出するステップを含み、
前記表示するステップは、
前記２次元表示以外の視聴態様が想定されるコンテンツに前記マスク画像をオーバーレイすることと、
前記マスク画像がオーバーレイされたコンテンツを表示するためのデータを前記モニタに送信することとを含む、請求項１に記載の方法。
【請求項４】
前記マスク画像がオーバーレイされたコンテンツのコンテンツデータを、前記コンピュータに接続されたサーバから受信するステップをさらに含み、
前記表示するステップは、前記受信されたコンテンツデータを前記モニタに送信することを含む、請求項１〜３のいずれかに記載の方法。
【請求項５】
前記２次元表示以外の視聴態様が想定されるコンテンツデータは、仮想現実コンテンツデータ、または、３６０度動画コンテンツデータの少なくともいずれかを含む、請求項１〜４のいずれかに記載の方法。
【請求項６】
請求項１〜５のいずれかに記載の方法をコンピュータに実行させる、プログラム。
【請求項７】
請求項６に記載のプログラムを格納するためのメモリと、
前記メモリに接続され、前記プログラムを実行するためのプロセッサと、
前記プログラムの実行に基づくコンテンツを表示するためのモニタとを備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は画像データの配信に関し、より特定的には、ヘッドマウントデバイス（Head  Mounted  Device：ＨＭＤ）を介して提供可能な画像データの配信に関する。
【背景技術】
【０００２】
ＨＭＤを装着したユーザに画像データを提供し、３次元画像あるいは３６０度画像を仮想空間において提供する技術が知られている。ＨＭＤを装着したユーザは、端末に表示される画像を３次元画像あるいは３６０度画像として視認できる。一方、ＨＭＤを装着していないユーザの場合は、例えば、３次元画像あるいは３６０度画像を、平面ディスプレイに２次元の態様で表示させ、表示されている画像が３次元画像あるいは３６０度画像である旨を示す文字またはアイコン等を表示させることにより、これら画像をユーザに対し平面画像として認識させることができる。非特許文献１は、ＶＲ（Virtual  Reality：仮想現実）において提供される画像をキャプチャしたものを、２次元のデモ動画として表示している。そして、このデモ動画が、もともとは仮想現実（ＶＲ（Virtual  Reality））に対応することを表わす文言「VR  Demo」を当該デモ動画のタイトルに表示している。非特許文献２は、端末のモニター画面において、左目用の画像と、右目用の画像とを共に画面内に配置する技術を開示している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】https://www.youtube.com/watch?v=D3OrjgAjSFA
【非特許文献２】https://www.youtube.com/watch?v=F_3XPE0_oe8
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１に開示された動画は、２次元のデモ動画としてキャプチャされる前は、ＨＭＤを装着したユーザの頭部の動きに連動して視野画像が更新されるものでユーザの没入感が高いものである。しかし、動画配信サイトで２次元のデモ動画を閲覧するユーザは、ディスプレイに表示される動画が、もともとはＶＲに対応したものをキャプチャしたデモ動画であることを一見して判別しづらい。また、非特許文献２に開示された動画は、一画面に左目用の画像と右目用の画像とが表示されるため、各画像が小さくなる。したがって、ＨＭＤを装着していない状態で視認される画像が立体視可能な画像であることが容易に分かる技術が必要とされている。
【０００５】
本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、２次元の画像が表示されている状態で当該画像が立体視可能な画像であることをユーザが容易に認識できる技術を提供することである。
【課題を解決するための手段】
【０００６】
ある実施の形態に従うと、コンテンツを提示するためにコンピュータで実行される方法が提供される。この方法は、ディスプレイにコンテンツを提示可能なコンテンツデータを、コンピュータのメモリにロードするステップと、ヘッドマウントデバイスを装着するユーザに対し２次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、２次元表示以外の視聴態様が想定されるコンテンツ以外のコンテンツをモニタに表示するステップとを含む。
【０００７】
ある局面において、２次元の画像が表示されている状態で当該画像が立体視可能な画像であることをユーザが容易に認識できる。
【０００８】
この開示の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解されるこの開示に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【０００９】
【図１】ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。
【図２】一局面に従う端末２００のハードウェア構成の一例を表すブロック図である。
【図３】ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。
【図４】ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。
【図５】ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。
【図６】仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。
【図７】仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。
【図８】ある実施の形態に従うコントローラ１６０の概略構成を表す図である。
【図９】ある実施の形態に従う端末２００をモジュール構成として表わすブロック図である。
【図１０】ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。
【図１１】ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。
【図１２】ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。
【図１３】ある実施の形態に従ってモニタ１６に表示される画面の推移を表わす図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。
【００１１】
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head  Mounted  Device）システム１００の構成について説明する。図１は、ある実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ある局面において、ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。なお、本実施の形態において、ＨＭＤとは、モニタを備える所謂ヘッドマウントディスプレイと、スマートホンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。
【００１２】
ＨＭＤシステム１００は、ＨＭＤ１１０と、ＨＭＤセンサ１２０と、コントローラ１６０と、端末２００とを備える。ＨＭＤ１１０は、モニタ１１２と、注視センサ１４０とを含む。コントローラ１６０は、モーションセンサ１３０を含み得る。
【００１３】
ある局面において、端末２００は、インターネットその他のネットワーク１９に接続可能であり、ネットワーク１９に接続されているサーバ１５０その他のコンピュータと通信可能である。端末２００は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等の情報処理機器であって、少なくとも、プロセッサとモニタと通信インターフェイスとを備える。
【００１４】
別の局面において、ＨＭＤシステム１００がＨＭＤセンサ１２０を備える代わりに、ＨＭＤ１１０がセンサ１１４を含んでもよい。
【００１５】
サーバ１５０は、プロセッサ１５１と、メモリ１５２と、通信インターフェイス１５３とを含む。サーバ１５０は、周知の構成を有するコンピュータによって実現される。
【００１６】
ＨＭＤ１１０は、ユーザの頭部に装着され、動作中に仮想空間をユーザに提供し得る。より具体的には、ＨＭＤ１１０は、右目用の画像および左目用の画像をモニタ１１２にそれぞれ表示する。ユーザの各目がそれぞれの画像を視認すると、ユーザは、両目の視差に基づき当該画像を３次元の画像として認識し得る。
【００１７】
モニタ１１２は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１１２は、ユーザの両目の前方に位置するようにＨＭＤ１１０の本体に配置されている。したがって、ユーザは、モニタ１１２に表示される３次元画像を視認すると、仮想空間に没入することができる。ある実施の形態において、仮想空間は、例えば、背景、ユーザが操作可能なオブジェクト、ユーザが選択可能なメニューの画像を含む。ある実施の形態において、モニタ１１２は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro  Luminescence）モニタとして実現され得る。
【００１８】
ある局面において、モニタ１１２は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１１２は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１１２は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。
【００１９】
ＨＭＤセンサ１２０は、複数の光源（図示しない）を含む。各光源は例えば、赤外線を発するＬＥＤ（Light  Emitting  Diode）により実現される。ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きを検出するためのポジショントラッキング機能を有する。ＨＭＤセンサ１２０は、この機能を用いて、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。
【００２０】
なお、別の局面において、ＨＭＤセンサ１２０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ１２０は、カメラから出力されるＨＭＤ１１０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１１０の位置および傾きを検出することができる。
【００２１】
別の局面において、ＨＭＤ１１０は、位置検出器として、ＨＭＤセンサ１２０の代わりに、センサ１１４を備えてもよい。ＨＭＤ１１０は、センサ１１４を用いて、ＨＭＤ１１０自身の位置および傾きを検出し得る。例えば、センサ１１４が角速度センサ、地磁気センサ、加速度センサ、あるいはジャイロセンサ等である場合、ＨＭＤ１１０は、ＨＭＤセンサ１２０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１１４が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１１０の３軸周りの角速度を経時的に検出する。ＨＭＤ１１０は、各角速度に基づいて、ＨＭＤ１１０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１１０の傾きを算出する。また、ＨＭＤ１１０は、透過型表示装置を備えていても良い。この場合、当該透過型表示装置は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。また、視野画像は仮想空間を構成する画像の一部に、現実空間を提示する構成を含んでいてもよい。例えば、ＨＭＤ１１０に搭載されたカメラで撮影した画像を視野画像の一部に重畳して表示させてもよいし、当該透過型表示装置の一部の透過率を高く設定することにより、視野画像の一部から現実空間を視認可能にしてもよい。
【００２２】
注視センサ１４０は、ユーザ１９０の右目および左目の視線が向けられる方向（視線方向）を検出する。当該方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ１９０の右目および左目に赤外光を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ１９０の視線方向を検知することができる。
【００２３】
サーバ１５０は、端末２００にプログラムを送信し得る。別の局面において、サーバ１５０は、他のユーザによって使用されるＨＭＤに仮想現実を提供するための他の端末２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各端末２００は、各ユーザの動作に基づく信号を他のコンピュータと通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。
【００２４】
コントローラ１６０は、ユーザ１９０から端末２００への命令の入力を受け付ける。ある局面において、コントローラ１６０は、ユーザ１９０によって把持可能に構成される。別の局面において、コントローラ１６０は、ユーザ１９０の身体あるいは衣類の一部に装着可能に構成される。別の局面において、コントローラ１６０は、端末２００から送られる信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。別の局面において、コントローラ１６０は、仮想現実を提供する空間に配置されるオブジェクトの位置や動きを制御するためにユーザ１９０によって与えられる操作を受け付ける。
【００２５】
モーションセンサ１３０は、ある局面において、ユーザの手に取り付けられて、ユーザの手の動きを検出する。例えば、モーションセンサ１３０は、手の回転速度、回転数等を検出する。検出された信号は、端末２００に送られる。モーションセンサ１３０は、例えば、手袋型のコントローラ１６０に設けられている。ある実施の形態において、現実空間における安全のため、コントローラ１６０は、手袋型のようにユーザ１９０の手に装着されることにより容易に飛んで行かないものに装着されるのが望ましい。別の局面において、ユーザ１９０に装着されないセンサがユーザ１９０の手の動きを検出してもよい。例えば、ユーザ１９０を撮影するカメラの信号が、ユーザ１９０の動作を表わす信号として、端末２００に入力されてもよい。モーションセンサ１３０と端末２００とは、有線により、または無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。
【００２６】
［ハードウェア構成］
図２を参照して、本実施の形態に係る端末２００について説明する。図２は、一局面に従う端末２００のハードウェア構成の一例を表すブロック図である。端末２００は、主たる構成要素として、プロセッサ１０と、メモリ１１と、ストレージ１２と、入出力インターフェイス１３と、通信インターフェイス１４と、モニタ１６とを備える。各構成要素は、それぞれ、バス１５に接続されている。
【００２７】
プロセッサ１０は、端末２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１１またはストレージ１２に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１０は、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processor  Unit）、ＦＰＧＡ（Field-Programmable  Gate  Array）その他のデバイスとして実現される。
【００２８】
メモリ１１は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１２からロードされる。データは、端末２００に入力されたデータと、プロセッサ１０によって生成されたデータとを含む。ある局面において、メモリ１１は、ＲＡＭ（Random  Access  Memory）その他の揮発メモリとして実現される。
【００２９】
ストレージ１２は、プログラムおよびデータを永続的に保持する。ストレージ１２は、例えば、ＲＯＭ（Read-Only  Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１２に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他の端末２００との通信を実現するためのプログラムを含む。ストレージ１２に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。
【００３０】
なお、別の局面において、ストレージ１２は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、端末２００に内蔵されたストレージ１２の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。
【００３１】
ある実施の形態において、入出力インターフェイス１３は、ＨＭＤ１１０、ＨＭＤセンサ１２０またはモーションセンサ１３０との間で信号を通信する。ある局面において、入出力インターフェイス１３は、ＵＳＢ（Universal  Serial  Bus）インターフェイス、ＤＶＩ（Digital  Visual  Interface）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）その他の端子を用いて実現される。なお、入出力インターフェイス１３は上述のものに限られない。
【００３２】
ある実施の形態において、入出力インターフェイス１３は、さらに、コントローラ１６０と通信し得る。例えば、入出力インターフェイス１３は、モーションセンサ１３０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス１３は、プロセッサ１０から出力された命令を、コントローラ１６０に送る。当該命令は、振動、音声出力、発光等をコントローラ１６０に指示する。コントローラ１６０は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。
【００３３】
通信インターフェイス１４は、ネットワーク１９に接続されて、ネットワーク１９に接続されている他のコンピュータ（例えば、サーバ１５０）と通信する。ある局面において、通信インターフェイス１４は、例えば、ＬＡＮ（Local  Area  Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless  Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）その他の無線通信インターフェイスとして実現される。なお、通信インターフェイス１４は上述のものに限られない。
【００３４】
モニタ１６は、例えば液晶モニタ、有機ＥＬモニタを含み得る。別の局面において、モニタ１６は、端末２００に接続可能な外部モニタであってもよい。
【００３５】
ある局面において、プロセッサ１０は、ストレージ１２にアクセスし、ストレージ１２に格納されている１つ以上のプログラムをメモリ１１にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、端末２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、コントローラ１６０を用いて仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ１０は、入出力インターフェイス１３を介して、仮想空間を提供するための信号をＨＭＤ１１０に送る。ＨＭＤ１１０は、その信号に基づいてモニタ１１２に映像を表示する。
【００３６】
なお、図２に示される例では、端末２００は、ＨＭＤ１１０の外部に設けられる構成が示されているが、別の局面において、端末２００は、ＨＭＤ１１０に内蔵されてもよい。一例として、モニタ１１２を含む携帯型の情報通信端末（例えば、スマートフォン）が端末２００として機能してもよい。
【００３７】
また、端末２００は、複数のＨＭＤ１１０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。
【００３８】
ある実施の形態において、ＨＭＤシステム１００では、グローバル座標系が予め設定されている。グローバル座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、ならびに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。本実施の形態では、グローバル座標系は視点座標系の一つである。そこで、グローバル座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、グローバル座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。
【００３９】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１１０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１１０の存在を検出する。ＨＭＤセンサ１２０は、さらに、各点の値（グローバル座標系における各座標値）に基づいて、ＨＭＤ１１０を装着したユーザ１９０の動きに応じた、現実空間内におけるＨＭＤ１１０の位置および傾きを検出する。より詳しくは、ＨＭＤセンサ１２０は、経時的に検出された各値を用いて、ＨＭＤ１１０の位置および傾きの時間的変化を検出できる。
【００４０】
グローバル座標系は現実空間の座標系と平行である。したがって、ＨＭＤセンサ１２０によって検出されたＨＭＤ１１０の各傾きは、グローバル座標系におけるＨＭＤ１１０の３軸周りの各傾きに相当する。ＨＭＤセンサ１２０は、グローバル座標系におけるＨＭＤ１１０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。ＨＭＤ１１０に設定されるｕｖｗ視野座標系は、ＨＭＤ１１０を装着したユーザ１９０が仮想空間において物体を見る際の視点座標系に対応する。
【００４１】
［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１１０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ１２０は、ＨＭＤ１１０の起動時に、グローバル座標系におけるＨＭＤ１１０の位置および傾きを検出する。プロセッサ１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１１０に設定する。
【００４２】
図３に示されるように、ＨＭＤ１１０は、ＨＭＤ１１０を装着したユーザの頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１１０は、グローバル座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、グローバル座標系内においてＨＭＤ１１０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）として設定する。
【００４３】
ある局面において、ＨＭＤ１１０を装着したユーザ１９０が直立し、かつ、正面を視認している場合、プロセッサ１０は、グローバル座標系に平行なｕｖｗ視野座標系をＨＭＤ１１０に設定する。この場合、グローバル座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１１０におけるｕｖｗ視野座標系のピッチ方向（ｕ軸）、ヨー方向（ｖ軸）、およびロール方向（ｗ軸）に一致する。
【００４４】
ｕｖｗ視野座標系がＨＭＤ１１０に設定された後、ＨＭＤセンサ１２０は、ＨＭＤ１１０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１１０の傾き（傾きの変化量）を検出できる。この場合、ＨＭＤセンサ１２０は、ＨＭＤ１１０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１１０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ方向周りのＨＭＤ１１０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー方向周りのＨＭＤ１１０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール方向周りのＨＭＤ１１０の傾き角度を表す。
【００４５】
ＨＭＤセンサ１２０は、検出されたＨＭＤ１１０の傾き角度に基づいて、ＨＭＤ１１０が動いた後のＨＭＤ１１０におけるｕｖｗ視野座標系を、ＨＭＤ１１０に設定する。ＨＭＤ１１０と、ＨＭＤ１１０のｕｖｗ視野座標系との関係は、ＨＭＤ１１０の位置および傾きに関わらず、常に一定である。ＨＭＤ１１０の位置および傾きが変わると、当該位置および傾きの変化に連動して、グローバル座標系におけるＨＭＤ１１０のｕｖｗ視野座標系の位置および傾きが変化する。
【００４６】
ある局面において、ＨＭＤセンサ１２０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１１０の現実空間内における位置を、ＨＭＤセンサ１２０に対する相対位置として特定してもよい。また、プロセッサ１０は、特定された相対位置に基づいて、現実空間内（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系の原点を決定してもよい。
【００４７】
［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間２を表現する一態様を概念的に表す図である。仮想空間２は、中心２１の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間２のうちの上半分の天球が例示されている。仮想空間２では各メッシュが規定される。各メッシュの位置は、仮想空間２に規定されるＸＹＺ座標系における座標値として予め規定されている。端末２００は、仮想空間２に展開可能なコンテンツ（静止画、動画等）を構成する各部分画像を、仮想空間２において対応する各メッシュにそれぞれ対応付けて、ユーザによって視認可能な仮想空間画像２２が展開される仮想空間２をユーザに提供する。
【００４８】
ある局面において、仮想空間２では、中心２１を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、グローバル座標系に平行である。ＸＹＺ座標系は視点座標系の一種であるため、ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）がグローバル座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）がグローバル座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）がグローバル座標系のｚ軸と平行である。
【００４９】
ＨＭＤ１１０の起動時、すなわちＨＭＤ１１０の初期状態において、仮想カメラ１が、仮想空間２の中心２１に配置される。仮想カメラ１は、現実空間におけるＨＭＤ１１０の動きに連動して、仮想空間２を同様に移動する。これにより、現実空間におけるＨＭＤ１１０の位置および向きの変化が、仮想空間２において同様に再現される。
【００５０】
仮想カメラ１には、ＨＭＤ１１０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間２における仮想カメラのｕｖｗ視野座標系は、現実空間（グローバル座標系）におけるＨＭＤ１１０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１１０の傾きが変化すると、それに応じて、仮想カメラ１の傾きも変化する。また、仮想カメラ１は、ＨＭＤ１１０を装着したユーザの現実空間における移動に連動して、仮想空間２において移動することもできる。
【００５１】
仮想カメラ１の向きは、仮想カメラ１の位置および傾きに応じて決まるので、ユーザが仮想空間画像２２を視認する際に基準となる視線（基準視線５）は、仮想カメラ１の向きに応じて決まる。端末２００のプロセッサ１０は、基準視線５に基づいて、仮想空間２における視界領域２３を規定する。視界領域２３は、仮想空間２のうち、ＨＭＤ１１０を装着したユーザの視界に対応する。
【００５２】
注視センサ１４０によって検出されるユーザ１９０の視線方向は、ユーザ１９０が物体を視認する際の視点座標系における方向である。ＨＭＤ１１０のｕｖｗ視野座標系は、ユーザ１９０がモニタ１１２を視認する際の視点座標系に等しい。また、仮想カメラ１のｕｖｗ視野座標系は、ＨＭＤ１１０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ１９０の視線方向を、仮想カメラ１のｕｖｗ視野座標系におけるユーザの視線方向とみなすことができる。
【００５３】
［ユーザの視線］
図５を参照して、ユーザの視線方向の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１１０を装着するユーザ１９０の頭部を上から表した図である。
【００５４】
ある局面において、注視センサ１４０は、ユーザ１９０の右目および左目の各視線を検出する。ある局面において、ユーザ１９０が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ１９０が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール方向ｗに対して視線Ｒ２およびＬ２がなす角度は、ロール方向ｗに対して視線Ｒ１およびＬ１がなす角度よりも小さい。注視センサ１４０は、検出結果を端末２００に送信する。
【００５５】
端末２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、端末２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。端末２００は、特定した注視点Ｎ１の位置に基づき、ユーザ１９０の視線方向Ｎ０を特定する。端末２００は、例えば、ユーザ１９０の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線方向Ｎ０として検出する。視線方向Ｎ０は、ユーザ１９０が両目により実際に視線を向けている方向である。また、視線方向Ｎ０は、視界領域２３に対してユーザ１９０が実際に視線を向けている方向に相当する。
【００５６】
別の局面において、ＨＭＤシステム１００は、ＨＭＤシステム１００を構成するいずれかのパーツに、マイクおよびスピーカを備えてもよい。ユーザは、マイクに発話することにより、仮想空間２に対して、音声による指示を与えることができる。
【００５７】
また、別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間２においてテレビ番組を表示することができる。
【００５８】
さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。
【００５９】
［視界領域］
図６および図７を参照して、視界領域２３について説明する。図６は、仮想空間２において視界領域２３をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間２において視界領域２３をＹ方向から見たＸＺ断面を表す図である。
【００６０】
図６に示されるように、ＹＺ断面における視界領域２３は、領域２４を含む。領域２４は、仮想カメラ１の基準視線５と仮想空間２のＹＺ断面とによって定義される。プロセッサ１０は、仮想空間おける基準視線５を中心として極角αを含む範囲を、領域２４として規定する。
【００６１】
図７に示されるように、ＸＺ断面における視界領域２３は、領域２５を含む。領域２５は、基準視線５と仮想空間２のＸＺ断面とによって定義される。プロセッサ１０は、仮想空間２における基準視線５を中心とした方位角βを含む範囲を、領域２５として規定する。
【００６２】
ある局面において、ＨＭＤシステム１００は、端末２００からの信号に基づいて、視界画像２６をモニタ１１２に表示させることにより、ユーザ１９０に仮想空間を提供する。視界画像２６は、仮想空間画像２２のうち視界領域２３に重畳する部分に相当する。ユーザ１９０が、頭に装着したＨＭＤ１１０を動かすと、その動きに連動して仮想カメラ１も動く。その結果、仮想空間２における視界領域２３の位置が変化する。これにより、モニタ１１２に表示される視界画像２６は、仮想空間画像２２のうち、仮想空間２においてユーザが向いた方向の視界領域２３に重畳する画像に更新される。ユーザは、仮想空間２における所望の方向を視認することができる。
【００６３】
ユーザ１９０は、ＨＭＤ１１０を装着している間、現実世界を視認することなく、仮想空間２に展開される仮想空間画像２２のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間２への高い没入感覚をユーザに与えることができる。
【００６４】
ある局面において、プロセッサ１０は、ＨＭＤ１１０を装着したユーザ１９０の現実空間における移動に連動して、仮想空間２において仮想カメラ１を移動し得る。この場合、プロセッサ１０は、仮想空間２における仮想カメラ１の位置および向きに基づいて、ＨＭＤ１１０のモニタ１１２に投影される画像領域（すなわち、仮想空間２における視界領域２３）を特定する。
【００６５】
ある実施の形態に従うと、仮想カメラ１は、二つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含むことが望ましい。また、ユーザ１９０が３次元の仮想空間２を認識できるように、適切な視差が、二つの仮想カメラに設定されていることが好ましい。本実施の形態においては、仮想カメラ１が二つの仮想カメラを含み、二つの仮想カメラのロール方向が合成されることによって生成されるロール方向（ｗ）がＨＭＤ１１０のロール方向（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。
【００６６】
［コントローラ］
図８を参照して、コントローラ１６０の一例について説明する。図８は、ある実施の形態に従うコントローラ１６０の概略構成を表す図である。
【００６７】
図８の分図（Ａ）に示されるように、ある局面において、コントローラ１６０は、右コントローラ８００と左コントローラとを含み得る。右コントローラ８００は、ユーザ１９０の右手で操作される。左コントローラは、ユーザ１９０の左手で操作される。ある局面において、右コントローラ８００と左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ１９０は、右コントローラ８００を把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ１６０は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ８００について説明する。
【００６８】
右コントローラ８００は、グリップ３０と、フレーム３１と、天面３２とを備える。グリップ３０は、ユーザ１９０の右手によって把持されるように構成されている。例えば、グリップ３０は、ユーザ１９０の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。
【００６９】
グリップ３０は、ボタン３３，３４と、モーションセンサ１３０とを含む。ボタン３３は、グリップ３０の側面に配置され、右手の中指による操作を受け付ける。ボタン３４は、グリップ３０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３３，３４は、トリガー式のボタンとして構成される。モーションセンサ１３０は、グリップ３０の筐体に内蔵されている。なお、ユーザ１９０の動作がカメラその他の装置によってユーザ１９０の周りから検出可能である場合には、グリップ３０は、モーションセンサ１３０を備えなくてもよい。
【００７０】
フレーム３１は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３５を含む。赤外線ＬＥＤ３５は、コントローラ１６０を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３５から発せられた赤外線は、右コントローラ８００と左コントローラ（図示しない）との各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３５が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。
【００７１】
天面３２は、ボタン３６，３７と、アナログスティック３８とを備える。ボタン３６，３７は、プッシュ式ボタンとして構成される。ボタン３６，３７は、ユーザ１９０の右手の親指による操作を受け付ける。アナログスティック３８は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、例えば、仮想空間２に配置されるオブジェクトを移動するための操作を含む。
【００７２】
ある局面において、右コントローラ８００および左コントローラは、赤外線ＬＥＤ３５その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型等を含むが、これらに限定されない。別の局面において、右コントローラ８００と左コントローラは、例えば、端末２００のＵＳＢインターフェイスに接続され得る。この場合、右コントローラ８００および左コントローラは、電池を必要としない。
【００７３】
図８の分図（Ｂ）は、右コントローラ８００を把持するユーザ１９０の右手に対応して仮想空間に配置されるハンドオブジェクト８１０の一例を示す。例えば、ユーザ１９０の右手に対応するハンドオブジェクト８１０に対して、ヨー、ロール、ピッチの各方向が規定される。例えば、入力操作が、右コントローラ８００のボタン３４に対して行なわれると、ハンドオブジェクト８１０の人差し指を握りこんだ状態とし、入力操作がボタン３４に対して行なわれていない場合には、分図（Ｂ）に示すように、ハンドオブジェクト８１０の人差し指を伸ばした状態とすることもできる。例えば、ハンドオブジェクト８１０において親指と人差し指とが伸びている場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向としてハンドオブジェクト８１０に規定される。
【００７４】
［ＨＭＤ１１０の制御装置］
図９を参照して、ＨＭＤ１１０の制御装置について説明する。図９は、ある実施の形態に従う端末２００をモジュール構成として表わすブロック図である。ある実施の形態において、制御装置は周知の構成を有するコンピュータによって実現される。例えば、コンピュータの一例が端末２００である場合、端末２００が制御装置として機能する。
【００７５】
図９に示されるように、端末２００は、モニタ１６と、表示制御モジュール２２０と、仮想空間制御モジュール２３０と、メモリモジュール２４０と、通信制御モジュール２５０とを備える。表示制御モジュール２２０は、サブモジュールとして、仮想カメラ制御モジュール２２１と、視界領域決定モジュール２２２と、視界画像生成モジュール２２３と、基準視線特定モジュール２２４とを含む。仮想空間制御モジュール２３０は、サブモジュールとして、仮想空間定義モジュール２３１と、仮想オブジェクト生成モジュール２３２と、オーバーレイ指示検出モジュール２３３と、マスクオーバーレイモジュール２３４とを含む。
【００７６】
ある実施の形態において、表示制御モジュール２２０と仮想空間制御モジュール２３０とは、プロセッサ１０によって実現される。別の実施の形態において、複数のプロセッサ１０が表示制御モジュール２２０と仮想空間制御モジュール２３０として作動してもよい。メモリモジュール２４０は、メモリ１１またはストレージ１２によって実現される。通信制御モジュール２５０は、通信インターフェイス１４によって実現される。
【００７７】
ある局面において、表示制御モジュール２２０は、ＨＭＤ１１０のモニタ１１２における画像表示を制御する。仮想カメラ制御モジュール２２１は、仮想空間２に仮想カメラ１を配置し、仮想カメラ１の挙動、向き等を制御する。視界領域決定モジュール２２２は、ＨＭＤ１１０を装着したユーザの頭の向きに応じて、視界領域２３を規定する。視界画像生成モジュール２２３は、決定された視界領域２３に基づいて、モニタ１１２に表示される視界画像２６を生成する。
【００７８】
基準視線特定モジュール２２４は、注視センサ１４０からの信号に基づいて、ユーザ１９０の視線を特定する。
【００７９】
仮想空間制御モジュール２３０は、ユーザ１９０に提供される仮想空間２を制御する。仮想空間定義モジュール２３１は、仮想空間２を表わす仮想空間データを生成することにより、ＨＭＤシステム１００における仮想空間２を規定する。
【００８０】
仮想オブジェクト生成モジュール２３２は、仮想空間２に配置される対象物を生成する。ある局面において、仮想オブジェクト生成モジュール２３２は、３６０度動画のコンテンツに加えて、例えば、ユーザ１９０に対応する仮想ユーザのオブジェクトを生成する。
【００８１】
オーバーレイ指示検出モジュール２３３は、サーバ１５０から受信した画像データに、マスク画像を重ねる指示を検出する。例えば、ある局面において、オーバーレイ指示検出モジュール２３３は、サーバ１５０から受信した信号から、当該指示を検出する。別の局面において、オーバーレイ指示検出モジュール２３３は、コントローラ１３３に対して与えられる操作に基づいて、あるいは、端末２００が備えるキーボードまたはタッチパネル（図示しない）に対する操作に基づいて、当該指示を検出する。
【００８２】
マスクオーバーレイモジュール２３４は、オーバーレイ指示検出モジュール２３３による指示が検出されたことに基づいて、サーバ１５０から受信した画像データにマスク画像が重ねられた画像データを生成する。マスク画像は、ある局面において、端末２００に予め保存されている。別の局面において、マスク画像は、サーバ１５０から画像データと共に、あるいは、画像データとは別に受信され得る。マスク画像が重ねられた画像データは、デモ画像として、モニタ１１２に出力される。さらに別の局面において、マスク画像は、サーバ１５０から配信される画像データの一部として組み込まれていてもよい。
【００８３】
メモリモジュール２４０は、端末２００が仮想空間２をユーザ１９０に提供するために使用されるデータを保持している。ある局面において、メモリモジュール２４０は、コンテンツデータ２４１と、マスク画像データ２４２と、ユーザ情報２４３とを保持している。
【００８４】
コンテンツデータ２４１は、画像データを含む。画像データは、例えば、２次元の画像に加えて、３次元表示用の画像データ、３６０度表示可能な画像データ（仮想空間を定義した、仮想現実をユーザに提供するためのデータを含む）を含む。２次元の画像には、もともと仮想現実を提供するためのシステムにおいて、ＨＭＤ１１０などのディスプレイに表示される画像をキャプチャする等により２次元画像として保存したものも含まれる。これらの画像データは、例えば、サーバ１５０から受信される。
【００８５】
マスク画像データ２４２は、ＨＭＤ１１０の輪郭を模したマスクを表わす。マスク画像データ２４２は、３次元表示用の画像データ、あるいは、３６０度表示可能な画像データに基づく画像に重ねられる。ユーザ１９０は、モニタ１１２が、マスク付きの画像を表示すると、ユーザ１９０は、その画像がＨＭＤ１１０を使用して視聴するためのコンテンツを２次元で表示したもの（例えば、仮想現実において提供される画像をキャプチャしたデモ画像）であることを認識できる。
【００８６】
ユーザ情報２４３は、ＨＭＤ１１０のユーザ１９０の識別情報、ユーザ１９０に関連付けられている権限等を含む。
【００８７】
通信制御モジュール２５０は、ネットワーク１９を介して、サーバ１５０その他の情報通信装置と通信し得る。
【００８８】
ある局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、表示制御モジュール２２０および仮想空間制御モジュール２３０は、各処理を実現する回路素子の組み合わせとしても実現され得る。
【００８９】
端末２００における処理は、ハードウェアと、プロセッサ１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール２４０に予め格納されている場合がある。また、ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール２５０を介してサーバ１５０その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ１０は、そのプログラムを実行する。
【００９０】
端末２００を構成するハードウェアは、一般的なものである。したがって、本実施の形態に係る最も本質的な部分は、端末２００に格納されたプログラムであるともいえる。なお、端末２００のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
【００９１】
なお、データ記録媒体としては、ＣＤ−ＲＯＭ、ＦＤ（Flexible  Disk）、ハードディスクに限られず、磁気テープ、カセットテープ、光ディスク（ＭＯ（Magnetic  Optical  Disc）／ＭＤ（Mini  Disc）／ＤＶＤ（Digital  Versatile  Disc））、ＩＣ（Integrated  Circuit）カード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Electronically  Programmable  Read-Only  Memory）、ＥＥＰＲＯＭ（Electronically  Erasable  Programmable  Read-Only  Memory）、フラッシュＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する不揮発性のデータ記録媒体でもよい。
【００９２】
ここでいうプログラムとは、プロセッサ１０により直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含み得る。
【００９３】
図１０を参照して、ＨＭＤシステムの制御構造について説明する。図１０は、ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。図１０に示される例は、マスク画像を付加する指示が端末２００によって検出され、その指示に基づいてマスク画像が端末２００において付加される場合の処理を表わす。
【００９４】
ステップＳ１０１０にて、端末２００のプロセッサ１０は、ユーザ１９０がコンテンツを選択したことに基づいて、コンテンツの配信要求をサーバ１５０に送信する。配信要求は、ネットワーク１９を介してサーバ１５０に送られる。
【００９５】
ステップＳ１０２０にて、サーバ１５０は、通信インターフェイス１５３を介して、端末２００から送信された配信要求を受信する。サーバ１５０のプロセッサ１５１は、配信要求により特定されるコンテンツのデータをメモリ１５２または外部の記憶装置から読み出す。ある局面において、このコンテンツが、もともとは仮想現実を提供するためのデータ（仮想空間を定義したデータなどを含む）に基づき画像のキャプチャ等により２次元画像として生成されたコンテンツデータ、あるいは３６０度動画のコンテンツである場合、そのことを示す情報がコンテンツの管理情報に含まれる。この情報は、ＨＭＤ１１０が使用されない場合には、マスクオーバーレイの指示として使用される。プロセッサ１５１は、ユーザ１９０の識別情報と、配信が要求されたコンテンツの識別情報とを関連付けて、メモリ１５２に保存する。
【００９６】
ステップＳ１０３０にて、プロセッサ１５１は、通信インターフェイス１５３を介して、その読み出したコンテンツのデータと、管理情報とを端末２００に送信する。
【００９７】
ステップＳ１０４０にて、端末２００は、サーバ１５０から送信されたコンテンツのデータと管理情報とを受信する。
【００９８】
ステップＳ１０５０にて、端末２００のプロセッサ１０は、マスク画像をオーバーレイする指示を検出したか否かを判断する。ある局面において、この判断は、サーバ１５０から受信した管理情報に当該指示が含まれているか否かに基づいて行なわれる。別の局面において、この判断は、当該コンテンツが、もともとは仮想現実を提供するためのデータに基づき２次元画像として生成されたコンテンツまたは３６０度動画コンテンツであるか否か（コンテンツがヘッドマウントデバイスによる視聴にかかわるものであるか否か）に基づいて行なわれる。例えば、もともと仮想現実を提供するためのデータ、あるいは３６０度動画コンテンツではない場合、コンテンツの制作者は、コンテンツが２次元で視聴されることを念頭に置いている。そのため、コンテンツが、もともと仮想現実を提供するデータであるとか、３６０度動画コンテンツであることを示唆する必要もないためマスク画像の付加は不要になる。さらに別の局面において、この判断は、ユーザ１９０によって端末２００に与えられた操作が当該指示であるか否かに基づいて行なわれる。プロセッサ１０は、当該指示を検出したと判断すると（ステップＳ１０５０にてＹＥＳ）、制御をステップＳ１０６０に切り換える。そうでない場合には（ステップＳ１０５０にてＮＯ）、プロセッサ１０は、制御をステップＳ１０７０に切り換える。
【００９９】
ステップＳ１０６０にて、プロセッサ１０は、マスク画像がコンテンツにオーバーレイされたデータを生成する。ある局面において、マスク画像を表示するためのデータは、例えば、当該コンテンツを配信するサービスから予め受信したデータとして、端末２００に保存されている。別の局面において、マスク画像を表示するためのデータは、サーバ１５０から受信するデータに含まれていてもよい。
【０１００】
ステップＳ１０７０にて、プロセッサ１０は、受信したコンテンツのデータをモニタ１６に出力する。ユーザ１９０が、端末２００が組み込まれたＨＭＤ１１０を装着していない場合、モニタ１６は、そのデータに基づいて、コンテンツを通常の態様で（マスク画像を付加することなく）表示する。別の局面において、仮に、ユーザ１９０が端末２００が組み込まれたＨＭＤ１１０を装着している場合、あるいは、モニタが内蔵されたＨＭＤ１１０を装着している場合、仮想現実用のコンテンツまたは３６０度動画を楽しむことができる。
【０１０１】
ステップＳ１０８０にて、プロセッサ１０は、生成したデータをモニタ１６に出力する。モニタ１６は、マスク画像が付加されたコンテンツを表示する。コンテンツを視聴するユーザ１９０が、ＨＭＤ１１０を使用しない状態でこのマスク画像を視認しても、当該コンテンツがＨＭＤ１１０を用いて仮想空間２において提示されるコンテンツであることを容易に理解することができる。
【０１０２】
［サーバがマスク画像を付加する指示を検出］
図１１を参照して、ＨＭＤシステムの制御構造について説明する。図１１は、ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。図１１に示される例は、マスク画像を付加する指示がサーバ１５０から端末２００に与えられ、その指示に基づいてマスク画像が端末２００において付加される場合を表わす。なお、前述の処理と同一の処理には同一のステップ番号が付してある。したがって、同一の処理の説明は繰り返さない。
【０１０３】
ステップＳ１１１０にて、サーバ１５０のプロセッサ１５１は、端末２００によって要求されたコンテンツが、２次元表示以外の視聴態様がコンテンツ制作者によって想定されているものであるか否かを判断する。すなわちサーバ１５０のプロセッサ１５１は、端末２００によって要求されたコンテンツが、もともとは仮想現実を提供するためのデータに基づき２次元画像として生成されたコンテンツまたは３６０度動画コンテンツであるかを判断する。ある実施の形態において２次元表示以外の視聴態様が想定されているコンテンツとは、例えば、仮想現実用のコンテンツ、３６０度動画コンテンツ等を含み得る。プロセッサ１５１は、当該コンテンツが２次元表示以外の視聴態様が想定されているコンテンツ（コンテンツが「２次元表示用以外のコンテンツ」）であると判断すると（ステップＳ１１１０にてＹＥＳ）、制御をステップ１１２０に切り換える。そうでない場合には（ステップＳ１１１０にてＮＯ）、プロセッサ１５１は、制御をステップＳ１１３０に切り換える。
【０１０４】
ステップＳ１１２０にて、プロセッサ１５１は、マスク画像を合成する指示を端末２００に送信する。
【０１０５】
ステップＳ１１３０にて、プロセッサ１５１は、要求されたコンテンツのデータを端末２００に送信する。端末２００はこのデータを受信する（ステップＳ１０４０）。
【０１０６】
ステップＳ１１４０にて、端末２００のプロセッサ１０は、サーバ１５０から受信したデータが、マスク画像を合成する指示を含むか否かを判断する。プロセッサ１０は、当該データが当該指示を含むと判断すると（ステップＳ１１４０にてＹＥＳ）、制御をステップＳ１０６０に切り換える。端末２００は、マスク画像がオーバーレイされたデータを生成し（ステップＳ１０６０）、そのデータをモニタ１６に出力する（ステップＳ１０８０）。ユーザ１９０は、モニタ１６に出力される画像を視認することにより、当該コンテンツが本来は仮想現実用のコンテンツを２次元表示したものあるいは３６０度動画であることを認識できる。そうでない場合には（ステップＳ１１４０にてＮＯ）、プロセッサ１０は、制御をステップＳ１０７０に切り換える。端末２００は、マスク画像が付加されていない画像をモニタ１６に表示する（ステップＳ１０７０）。ユーザ１９０は、２次元表示用のコンテンツを通常の態様で視認できる。
【０１０７】
［サーバがマスク画像を付加］
図１２を参照して、ＨＭＤシステム１００の制御構造についてさらに説明する。図１２は、ある実施の形態に従う端末２００とサーバ１５０とが実行する処理の一部を表わすフローチャートである。図１２に示される例は、マスク画像がサーバ１５０によってオーバーレイされる場合を表わす。なお、前述の処理と同一の処理には同一のステップ番号が付してある。したがって、同じ処理の説明は、繰り返さない。
【０１０８】
ステップＳ１２１０にて、サーバ１５０のプロセッサ１５１は、端末２００から、コンテンツの配信要求と属性情報とを受信する。ある局面において、属性情報は、端末２００がＨＭＤ１１０に装着されていないことを示す情報、端末２００がＨＭＤ１１０であることを示す情報、あるいは、端末２００がＨＭＤ１１０に装着されていることを示す情報等を含む。
【０１０９】
ステップＳ１２２０にて、プロセッサ１５１は、端末２００がＨＭＤ１１０であるか否かを判断する。この判断は、例えば、属性情報に基づいて行なわれる。プロセッサ１５１は、端末２００がＨＭＤ１１０である又はＨＭＤ１１０に装着されていると判断すると（ステップＳ１２２０にてＹＥＳ）、制御をステップＳ１２３０に移される。そうでない場合には、制御はステップＳ１１１０に移される。
【０１１０】
ステップＳ１２３０にて、プロセッサ１５１は、メモリ１５２または外部の記憶装置から配信が要求されたコンテンツを読み出し、マスク用の画像を付加することなく当該コンテンツを端末２００に送信する。端末２００がこのコンテンツを受信すると（ステップＳ１０４０）、ＨＭＤ１１０に画像が出力される（ステップＳ１０７０）。ＨＭＤ１１０を装着したユーザ１９０は、３６０度動画などを楽しむことができる。端末２００から送信されたデータが２次元用のコンテンツのデータである場合には、ユーザ１９０は、ＨＭＤ１１０を装着した状態で、２次元用のコンテンツを視聴できる。
【０１１１】
ステップＳ１２４０にて、プロセッサ１５１は、マスク画像がオーバーレイされたコンテンツを生成する。このとき、プロセッサ１５１は、ＨＭＤ１１０の仕様に応じてマスク画像を調整する。プロセッサ１５１は、生成したデータを端末２００に送信する。
【０１１２】
ステップＳ１０４０にて、端末２００は、サーバ１５０から、マスク画像が付加されていないデータ（ステップＳ１２３０）、または、マスク画像が付加されたコンテンツのデータ（ステップＳ１２４０）を受信する。
【０１１３】
ステップＳ１１４０にて、端末２００のプロセッサ１０は、サーバ１５０から受信したデータが、マスク画像を合成する指示を含むか否かを判断する。プロセッサ１０は、当該データが当該指示を含むと判断すると（ステップＳ１１４０にてＹＥＳ）、制御をステップＳ１０６０に切り換える。プロセッサ１０は、マスク画像がコンテンツにオーバーレイされたデータを生成し（ステップＳ１０６０）、生成したデータをモニタ１６に出力する（ステップＳ１０８０）。ユーザ１９０は、マスク画像が付された画面を見ると、その画面が仮想現実用または３６０度動画のコンテンツのデモ画面であることを容易に認識できる。そうでない場合には（ステップＳ１１４０にてＮＯ）、プロセッサ１０は、制御をステップＳ１２７０に切り換える。なお、マスク画像を合成する指示は、コンテンツの制作者がサーバ１５０にコンテンツをアップロードする際に指定することとしてもよい。すなわちコンテンツ制作者は、サーバ１５０にアップロードする動画が、もともとは仮想現実を提供するためのデータをキャプチャして動画データとしたものであること等を、当該マスク画像を合成する指示により、ユーザに容易に通知することができる。
【０１１４】
ステップＳ１２７０にて、プロセッサ１０は、受信したデータをモニタ１６又はＨＭＤ１１０に出力する。例えば、端末２００がＨＭＤ１１０に装着されている場合において仮想現実用のコンテンツデータまたは３６０動画用のコンテンツデータを受信したとき、プロセッサ１０は、サーバ１５０から受信したデータをＨＭＤ１１０に出力する。ユーザ１９０は、ＨＭＤ１１０を通じて、仮想空間２に提示されるコンテンツを楽しむことができる。一方、端末２００がＨＭＤ１１０に装着されていない場合において、２次元表示用のコンテンツデータ（仮想現実を提供するためのデータを２次元データとしてキャプチャしたものでもないデータ）を受信したとき、端末２００は、サーバから受信したデータをモニタ１６に出力する。モニタ１６は、２次元表示用のコンテンツを通常の態様で表示する。
【０１１５】
図１３を参照して、画面の表示態様について説明する。図１３は、ある実施の形態に従ってモニタ１６に表示される画面の推移を表わす図である。このとき、端末２００はＨＭＤ１１０に装着されていない状態とする。
【０１１６】
画面（Ａ）に示されるように、ユーザ１９０が端末２００を操作してコンテンツを配信するサービスのサイトにアクセスすると、モニタ１６は、コンテンツの選択を促す画面を表示する。端末２００は、ユーザ１９０によって選択されたコンテンツを識別するデータと、当該コンテンツの配信要求をサーバ１５０に送信する。サーバ１５０は、その要求に応じて、コンテンツのデータを端末２００に送信する。
【０１１７】
画面（Ｂ）に示されるように、モニタ１６は、当該コンテンツが、もともと仮想現実用のコンテンツであることまたは３６０度動画コンテンツであることを表示し、マスク画像の使用の要否を問い合わせるメッセージを表示する。
【０１１８】
画面（Ｃ）に示されるように、上記問合わせに対してユーザ１９０が「はい」を選択すると、端末２００は、マスク画像がコンテンツに付加されたデータを生成する。モニタ１６は、そのデータに基づいて、マスク画像１３００とコンテンツの画像１３１０とを表示する。マスク画像１３００はＨＭＤ１１０のゴーグルの輪郭を想起させるため、ユーザ１９０は、マスク画像１３００を視認すると、当該コンテンツの画像１３１０が、もともと仮想現実用のコンテンツであることまたは３６０動画のコンテンツであることを容易に認識できる。
【０１１９】
画面（Ｄ）に示されるように、別の局面において、ユーザ１９０の指示を待つことなく、モニタ１６は、マスク画像付きのコンテンツを表示する旨を示してもよい。
【０１２０】
なお、別の局面において、端末２００は、画面（Ｂ）または画面（Ｄ）のようなメッセージを示すことなく、マスク画像が付加されたコンテンツを表示してもよい（画面（Ｃ））。
【０１２１】
その後、ユーザ１９０が、端末２００をＨＭＤ１１０に装着し、あるいは、仮想現実用のコンテンツまたは３６０度動画のコンテンツの視聴が可能なデバイスに当該コンテンツを表示させると、画面（Ｅ）に示されるように、マスク画像１３００は表示されなくなり、当該コンテンツの画像１３１０が仮想空間２に提示される。
【０１２２】
上記の技術的特徴は、例えば、以下のように要約され得る。
（構成１）  ある実施の形態に従うと、コンテンツを提示するためにコンピュータ（例えば、端末２００、サーバ１５０）で実行される方法が提供される。この方法は、コンピュータのプロセッサが、コンピュータに接続されるモニタ１６にコンテンツを提示するためのコンテンツデータをメモリ（例えば、メモリ１１，１５２等）にロードするステップと、ヘッドマウントデバイスを装着するユーザに対し２次元表示以外の視聴態様が想定されるコンテンツにマスク画像１３００をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、２次元表示以外の視聴態様が想定されるコンテンツを、モニタ１６に表示するステップとを含む。
【０１２３】
（構成２）  指示を検出するステップは、モニタ１６のユーザによる入力に基づいて、２次元表示以外の視聴態様が想定されるコンテンツにマスク画像オーバーレイする指示を検出することを含む。表示するステップは、２次元表示以外の視聴態様が想定されるコンテンツにマスク画像オーバーレイすることと、マスク画像がオーバーレイされたコンテンツを表示するためのデータをモニタ１６に送信することとを含む。
【０１２４】
（構成３）  方法は、コンピュータに接続されたサーバ１５０からコンテンツデータを受信するステップをさらに含む。コンテンツデータはフラグを有している。フラグは、当該コンテンツデータに基づいて提示されるコンテンツが、２次元表示以外の視聴態様が想定されるコンテンツであるか否かを表している。指示を検出するステップは、当該コンテンツは２次元表示以外の視聴態様が想定されるということがフラグによって示されていることを検出するステップを含む。表示するステップは、２次元表示以外の視聴態様が想定されるコンテンツにマスク画像をオーバーレイすることと、マスク画像がオーバーレイされたコンテンツを表示するためのデータをモニタ１６に送信することとを含む。
【０１２５】
（構成４）  方法は、マスク画像がオーバーレイされたコンテンツのコンテンツデータを、コンピュータに接続されたサーバから受信するステップをさらに含む。表示するステップは、受信されたコンテンツデータをモニタ１６に送信することを含む。
【０１２６】
（構成５）  ２次元表示以外の視聴態様が想定されるコンテンツデータは、仮想現実コンテンツデータ、または、３６０度動画コンテンツデータの少なくともいずれかを含む。
【０１２７】
（構成６）  ある実施の形態に従うと、上記のいずれかの方法をコンピュータに実行させるプログラムが提供される。
【０１２８】
（構成７）  ある実施の形態に従うと、情報処理装置が提供される。この情報処理装置は、上記のプログラムを格納するためのメモリと、メモリに接続され、プログラムを実行するためのプロセッサと、当該プログラムの実行結果に基づく画像を表示するためのメモリとを備える。
【０１２９】
（構成８）  ある実施の形態に従うと、コンテンツを提示するためにコンピュータ（例えば、端末２００、サーバ１５０）で実行される方法を実現するための命令を格納した一時的でないデータ記録媒体が提供される。この方法は、コンピュータのプロセッサが、コンピュータに接続されるモニタ１６にコンテンツを提示するためのコンテンツデータをメモリ（例えば、メモリ１１，１５２等）にロードするステップと、ヘッドマウントデバイスを装着するユーザに対し２次元表示以外の視聴態様が想定されているコンテンツにマスク画像１３００をオーバーレイする指示を検出するステップと、指示が検出されたことに基づいて、マスク画像がオーバーレイされた状態で、２次元表示以外の視聴態様が想定されているコンテンツを、モニタ１６に表示するステップとを含む。
【０１３０】
以上詳述したように、本実施の形態によれば、仮想現実空間で提示されるコンテンツや３６０度動画のコンテンツの画像（例えば、デモ画面）のように２次元表示以外の視聴態様が想定されているコンテンツが、通常の端末２００（例えば、スマートフォン、パーソナルコンピュータ等）に表示される場合、マスク画像１３００も表示される。そのため、ユーザ１９０は、これらのコンテンツが、２次元表示以外の視聴態様が想定されているコンテンツ、例えば、ＨＭＤ１１０において体験できる仮想現実用のコンテンツあるいは３６０度動画のコンテンツであることを容易に認識することができる。
【０１３１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３２】
１  仮想カメラ、２  仮想空間、５  基準視線、１０，１５１  プロセッサ、１１，１５２  メモリ、１２  ストレージ、１３  入出力インターフェイス、１４，１５３  通信インターフェイス、１５  バス、１６，１１２  モニタ、１９  ネットワーク、２１  中心、２２  仮想空間画像、２３  視界領域、２４，２５  領域、２６  視界画像、３０  グリップ、３１  フレーム、３２  天面、３３，３４，３６，３７  ボタン、３８  アナログスティック、１００  システム、１１４，１２０  センサ、１３０  モーションセンサ、１３３，１６０  コントローラ、１４０  注視センサ、１５０  サーバ、１９０  ユーザ、２００  端末、２２０  表示制御モジュール、２２１  仮想カメラ制御モジュール、２２２  視界領域決定モジュール、２２３  視界画像生成モジュール、２２４  基準視線特定モジュール、２３０  仮想空間制御モジュール、２３１  仮想空間定義モジュール、２３２  仮想オブジェクト生成モジュール、２３３  オーバーレイ指示検出モジュール、２３４  マスクオーバーレイモジュール、２４０  メモリモジュール、２４１  コンテンツデータ、２４２  マスク画像データ、２４３  ユーザ情報、２５０  通信制御モジュール、８００  右コントローラ、８１０  ハンドオブジェクト、１３００  マスク画像、１３１０  画像。
【図１】
2018098697.tif 000003
【図２】
2018098697.tif 000004
【図３】
2018098697.tif 000005
【図４】
2018098697.tif 000006
【図５】
2018098697.tif 000007
【図６】
2018098697.tif 000008
【図７】
2018098697.tif 000009
【図８】
2018098697.tif 000010
【図９】
2018098697.tif 000011
【図１０】
2018098697.tif 000012
【図１１】
2018098697.tif 000013
【図１２】
2018098697.tif 000014
【図１３】
2018098697.tif 000015