(57)【要約】【課題】過去に体験した仮想現実の世界が、現実の世界ではなかったと言う事実をユーザに受容させることを担保する仮想現実提示システムが求められていた。【解決手段】本発明の仮想現実提示システムは、仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して仮想現実提示装置へ送信する仮想現実サービス提供サーバと、仮想現実提示装置がユーザに提示した仮想現実の世界を再現可能な状態で、仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、を具備する。【選択図】図３
2014187559.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、
前記仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して前記仮想現実提示装置へ送信する仮想現実サービス提供サーバと、
前記仮想現実提示装置が前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、
を具備する仮想現実提示システム。
【請求項２】
少なくとも前記仮想現実サービスに係る仮想現実オブジェクトを含む前記仮想現実の世界の構築に使用する仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベースを更に具備し、
前記仮想現実サービス提供サーバは、
仮想空間を生成する仮想空間生成手段と、
前記仮想現実サービスに係る前記仮想現実オブジェクトを前記仮想空間に配置する仮想現実オブジェクト配置手段と、
前記仮想空間に配置されている仮想現実オブジェクトをリアルタイムに描画して前記仮想現実提示用映像データを順次生成する映像生成手段と、
を少なくとも具備し、
前記仮想現実提示装置は、前記生成された仮想現実提示用映像データに基づいて前記仮想現実オブジェクトを含む仮想現実提示用映像を表示することで前記仮想現実の世界をユーザに提示する、
請求項に記載の仮想現実提示システム。
【請求項３】
前記仮想現実提示装置は、
ユーザの状態を検知するユーザ状態検知手段と、
前記検知されたユーザの状態を示すユーザ状態情報を無線送信する無線送信手段と、
前記仮想現実提示用映像データを無線受信する無線受信手段と、
前記無線受信された仮想現実提示用映像データに基づいて、前記仮想現実提示用映像を表示する表示手段と、
を具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ状態情報を受信する受信手段と、
前記映像生成手段で順次生成される前記仮想現実提示用映像データを送信する送信手段と、
を更に具備し、
前記映像生成手段は、前記ユーザ状態情報に基づいて特定される視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
請求項２に記載の仮想現実提示システム。
【請求項４】
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実サービスに係る音声データを記憶し、
前記仮想現実サービス提供サーバは、前記仮想現実コンテンツ記憶データベースに記憶されている前記仮想現実サービスに係る音声データに基づいて、仮想現実提示用音声データを生成する音声生成処理手段を更に具備し、
前記仮想現実提示装置は、前記仮想現実提示用音声データをアナログ電気信号に変換して仮想現実提示用音声を外部へ出力する音声出力手段を更に具備する、
請求項３に記載の仮想現実提示システム。
【請求項５】
前記仮想現実提示装置は、
ユーザが発する音声を集音してユーザ音声データを取得する音声入力手段と、
少なくともユーザの前方方向を撮影して前方景色画像を取得する画像撮影手段と、
を更に具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ音声データに含まれる音声コンテキストを抽出する音声コンテキスト抽出手段と、
前記前方景色画像から照度又は輝度に関する光学情報を抽出し、光源の位置座標及び前記光源の照度又は輝度を更新する光源制御手段と、
前記ユーザ状態情報に基づいて前記視点位置座標及び視線方向を更新する視点制御手段と、
を更に具備し、
前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向と、前記光源制御手段によって更新される前記光源位置座標及び前記光源の照度又は輝度に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
請求項４に記載の仮想現実提示システム。
【請求項６】
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを更に記憶し、
前記仮想現実サービス提供サーバは、
前記仮想現実コンテンツ記憶データベースから読み出した前記仮想現実オブジェクト挙動制御プログラムを実行することで、前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備する、
請求項５に記載の仮想現実提示システム。
【請求項７】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実サービス提供サーバから前記仮想現実提示装置へ送信される前記仮想現実提示用映像データと前記仮想現実提示用音声データとを記憶する、
請求項６に記載の仮想現実提示システム。
【請求項８】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から仮想現実サービス提供サーバへ送信される前記前方景色画像を記憶する、
請求項７に記載の仮想現実提示システム。
【請求項９】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から前記仮想現実サービス提供サーバへ送信される前記ユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する、
請求項７又は８に記載の仮想現実提示システム。
【請求項１０】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置で入力される前記ユーザ音声データを時系列に纏めたユーザ音声履歴情報を記憶する、
請求項７乃至９のいずれか１項に記載の仮想現実提示システム。
【請求項１１】
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する、
請求項６に記載の仮想現実提示システム。
【請求項１２】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実オブジェクトの前記仮想空間内での位置座標と、前記仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた前記仮想現実オブジェクト履歴情報を記憶する、
請求項１１記載の仮想現実提示システム。
【請求項１３】
（仮想現実関連データの種類：制御プログラム実行履歴）
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想現実コンテンツ記憶データベースに対する前記仮想現実サービス提供サーバからのアクセス履歴を時系列に纏めたアクセス履歴情報を記憶する、
請求項６に記載の仮想現実提示システム。
【請求項１４】
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実コンテンツ記憶データベースから読み出された制御プログラムの実行履歴を更に記憶する、
請求項１３に記載の仮想現実提示システム。
【請求項１５】
仮想現実サービスに係る仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成する生成ステップと、
前記生成された仮想現実提示用映像データを表示することで前記仮想現実の世界をユーザに提示する提示ステップと、
前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶ステップと、
を有する仮想現実提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実提示システム、仮想現実提示装置、仮想現実提示方法、仮想現実サービス提供システム、仮想現実サービス提供サーバ、仮想現実サービス提供方法、情報処理システム、情報処理サーバ、情報処理方法、情報処理プログラム、ヘッドマウントディスプレイ装置、に関する。
【背景技術】
【０００２】
近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。
【０００３】
先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実感提示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３８１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
人間は、五感、すなわち、味覚、触覚、視覚、聴覚、嗅覚によって自身の周囲で生じる事象を感知し、感知した情報を脳で処理して未来の行動を行う生物である。従って、仮想現実感提示装置を用いて人間が備えるこれらの感覚を欺き、錯覚を起こさせることで、ユーザを現実の世界から仮想現実の世界へ導くことができる。
【０００６】
しかしながら、人為的に創り出される仮想現実の世界と現実の世界との境界が狭まれば狭まるほど、ユーザは、仮想現実の世界から現実の世界に戻った後でも、今まで自分が体感していた世界が仮想現実の世界であるということを認識できないことになる。
【０００７】
例えば、ユーザが気に入っているアイドルＸを仮想空間に配置し、現実の世界に連動した状態で当該仮想空間内のアイドルＸの挙動を制御することでアイドルＸと交流ができる仮想現実の世界を提示する場合について検討してみる。
【０００８】
当該サービスは、現実の世界ではユーザが合うことも話すことも叶わないアイドルＸを仮想現実の世界に配置し、ユーザと触れ合う機会を提供するものである。従って、仮想現実サービス提供システムは、基本的にはユーザが喜ぶことをするように、仮想空間内に配置したアイドルＸの挙動を制御する。例えば、仮想空間内のアイドルＸが、当該ユーザに告白すると言った挙動を取ることでユーザは夢のような時間を過ごすことができる。
【０００９】
当然のことながら、当該アイドルは、仮想空間内に配置されたバーチャルなアイドルＸであって、現実の世界におけるアイドルＸがこのユーザに告白をしているわけではない。しかし、高度に制御された仮想現実の世界に入り込んでいるユーザは、現実のアイドルＸが自分に告白してくれたものとして疑わない。
【００１０】
後日、現実の世界で友人に「俺、あのアイドルＸから告白されて付き合うことになったんだ。」なんてうっかり喋ってしまっては目も当てられない。また、告白してくれたのに一向に会いに来てくれない当該アイドルＸの現実の事務所にこのユーザが押し掛けると言った事態が発生する可能性がある。ユーザが「あの時付き合ってくれるって言ったじゃないか！」と問うたところで、ユーザに告白したのは仮想現実の世界の中に創られたアイドルＸであり、現実のアイドルＸではない。「何を仰っているのか私にはわからないのですが・・。」となることは明白である。
【００１１】
仮想現実感提示装置は、現実の世界では物理的制約や社会的制約で実現できない事象を仮想現実の世界に創り出してユーザを引き込むことにその最大の意義がある。従って、現実の世界よりも素晴らしい世界として創り出された仮想現実の世界に入り込んでいるユーザの感情は高揚しており、現実の世界に戻った後であっても自分が感知していた世界が仮想現実であったという事実を受け入れることを拒む場合が想定される。上記ケースでは、自分が憧れていたアイドルＸが告白してくれたと言う最高の体験がバーチャルであったと言う残酷な現実のギャップが大きすぎるために、第三者がそのことを説明してもユーザは心理的に拒絶する場合がある。
【００１２】
このように、ユーザに提示する仮想現実の世界をより素晴らしいものとするためには、現実の世界との境界を無くす方向に技術開発を行う必要があると言う一方で、仮想現実の世界と現実の世界との境界が無くなれば無くなるほど、仮想現実の素晴らしい世界と現実の世界とのギャップを心理的に受け入れることができず、その後の現実の世界の生活に支障をきたす可能性があると言った二律背反の課題が発生していた。
【００１３】
本発明は、上記課題を鑑み、過去に体験した仮想現実の世界が、現実の世界ではなかったと言う事実をユーザが心理的に受容できない場合に、当該受容させることを担保する仮想現実提示システム及び仮想現実提示方法としたものである。
【課題を解決するための手段】
【００１４】
本発明の一態様である仮想現実サービス提供システムは、仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、前記仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して前記仮想現実提示装置へ送信する仮想現実サービス提供サーバと、前記仮想現実提示装置が前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、を具備する。
【００１５】
本発明の一態様である仮想現実提示方法は、仮想現実サービスに係る仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成する生成ステップと、前記生成された仮想現実提示用映像データを表示することで前記仮想現実の世界をユーザに提示する提示ステップと、前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶ステップと、を有する。
【発明の効果】
【００１６】
本発明によれば、仮想現実を体験した後に、仮想現実と現実との境界に錯誤を生じた場合であっても、データベースに記憶している仮想現実関連データに基づいてユーザが当時見ていた仮想現実の世界をユーザに明示的に再度提示することで、現実と信じていた世界が仮想現実の世界であったと言う事実を受け入れさせることができる。
【図面の簡単な説明】
【００１７】
【図１】実施形態１に係る仮想現実サービスに関連する人物・組織の全体構成を模式的に示した概念図である。
【図２】仮想現実サービス提供会社が管理するユーザ登録情報の一例を示す図である。
【図３】実施の形態１に係る仮想現実提示システムの構成を示すブロック図である。
【図４】現実の世界と仮想現実の世界との違いを説明する図である。
【図５】仮想現実コンテンツの構造を説明する図である。
【図６】仮想現実オブジェクトを管理する管理ファイルの一例である。
【図７】仮想現実オブジェクトのモデルデータの一例である。
【図８】仮想現実オブジェクト制御プログラムの分類を説明する図である。
【図９】実施の形態１に係る仮想現実提示システムの変形例の構成を示すブロック図である。
【図１０】仮想現実サービス履歴情報の一例である。
【図１１】仮想現実履歴情報の一例である。
【図１２】実施の形態２に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。。
【図１３】実施の形態２に係る仮想現実提示装置の表示パネル付近での断面図である。
【図１４】実施の形態２に係る仮想現実提示システムの構成を示すブロック図である。
【図１５】実施の形態３に係る仮想現実提示システムの構成を示すブロック図である。
【図１６】仮想現実サービス提供開始通知情報の一例である。
【図１７】レイヤー毎に生成されるレイヤー別仮想現実提示用映像の一例である。
【図１８】レイヤー順序の変更を説明する図である。
【図１９】映像補正処理前後で仮想現実オブジェクトの表示位置が変更されたレイヤー毎の仮想現実提示用映像を説明する図である。
【図２０】データベースに記憶保管される仮想現実関連データの組み合わせを示す図である。
【図２１】仮想現実提示システムの全体構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
【００１９】
＜実施形態１＞
図１は、本発明の実施形態１に係る仮想現実サービスに係わる人物や組織の関係を示した概念図である。仮想現実サービスを提供する仮想現実サービス提供会社と、当該仮想現実サービスを使用（利用）するユーザとの間には、予め仮想現実サービス使用契約が結ばれている。ユーザは、仮想現実サービスを利用する場合に、仮想現実サービス提供会社との間で仮想現実サービス使用契約を結び、サービス使用に伴う対価として定額制又は従量制で料金を支払う。
【００２０】
ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer
Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言い、仮想現実サービスとは、このような仮想現実の世界をユーザに体験させるサービスである。人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりことで、仮想現実の世界を創り出すことができる。仮想現実の世界は、仮想現実提示用の映像を表示したり仮想現実提示用の音声を出力したりすることで人工的に創り出される世界であるため、様々な形態の仮想現実サービスが存在する。
【００２１】
図２は、仮想現実サービス提供会社が管理する契約者情報（ユーザ情報）の一例である。仮想現実サービス提供会社は、仮想現実サービス使用契約を締結しているユーザの個人情報（契約者個人情報）や、当該ユーザが契約しているプランやそのプランに含まれるサービス内容などを纏めた契約者情報をデータベースに記憶して管理している。また、ユーザを一意に識別するユーザＩＤや、ユーザ認証に用いる接続パスワードなども当該契約者情報に含まれている。
【００２２】
仮想現実サービス提供会社は、予め複数のプランを用意しており、プラン毎に料金や仮想現実サービスの内容が異なる。例えば、図２において、ユーザＡは、「アイドルＸとお喋りができるサービス」という内容のプランに契約を行っている。
【００２３】
なお、このプランのサービス内容は、現実の世界でアイドルＸとお喋りができると言う内容のサービスではなく、このアイドルＸを仮想現実の世界の中に創り出し、当該仮想現実の世界の中に創り出された当該アイドルＸと仮想現実の世界の中でお喋りができるという内容のサービスである。
【００２４】
当然のことながら、現実の世界のアイドルＸは、時間的・物理的制約等から現実の世界の中でユーザとお喋りを行うことは困難である。しかしながら、当該アイドルＸと会話を楽しむという体験をしたいファンは多数存在する。そこで、仮想現実サービス提供会社は、アイドルＸが現れる仮想現実の世界を創り出し、当該仮想現実の世界内でユーザに現実感を持たせた状態で、仮想現実の世界内でのアイドルＸとユーザがお喋りをできる機会を提供する。
【００２５】
このようなサービスを提供するためには、アイドルＸの仮想現実オブジェクトを作成しておく必要がある。仮想現実オブジェクトについては後述する。アイドルＸは肖像権を有するため、仮想現実サービス提供会社が勝手にアイドルＸの仮想現実オブジェクトを作成して使用することは肖像権違反となる。従って、仮想現実サービス提供会社は、アイドルＸと直接又はアイドルＸが所属する事務所と人物データ使用許可契約を結ぶ。当該契約を結んだうえで、仮想現実サービス提供会社は、自社又は外部の仮想現実コンテンツ制作会社を用いて、当該アイドルＸの仮想現実オブジェクトを構成するデータを作成し、使用可能な状態でデータベースに格納しておく。
【００２６】
ユーザＢは、仮想現実サービス提供会社が提供する「仮想空間の世界における家庭教師サービス」と言うサービス内容のプランに契約している。当該プランに含まれるサービスは、歴史上の人物が現れる仮想現実の世界を創り出し、当該歴史上の人物に当該人物が偉業を残した分野の授業をユーザに行うと言う内容のサービスである。
【００２７】
仮想現実の世界に現れた歴史上の人物が授業を行ってくれることで、現実の世界にいる教師が授業を行う場合と比較して、ユーザはより高揚した状態で授業を受けることができるため、より高い学習効率で学ぶことが可能となる。
【００２８】
また、ユーザＣは、仮想現実サービス提供会社が提供する「花瓶によって装飾された仮想空間の世界を創り出す」といったサービス内容のプランに契約している。当該プランに含まれるサービスは、ユーザが自宅にいている場合に、所定の位置に花瓶を配置した仮想現実の世界を創り出すと言ったサービスである。花の手入れ等を行う時間が取れないユーザが、当該サービスを受けることで、ユーザには、棚の上に花瓶が置かれている風景が見えているため、現実の世界で花を買わなくても彩り溢れた部屋で過ごすという体験が可能となる。
【００２９】
また、ユーザＤは、仮想現実サービス提供会社が提供する「ペットを飼える」といったサービス内容のプランに契約している。当該プランに含まれるサービスは、ユーザが自宅にいている場合に、ペットのいる仮想現実の世界を創り出すと言ったサービスである。住宅の規則や世話の時間等の関係で実際にペットを飼うことができないユーザが、当該サービスを受けることで、ユーザには、部屋の中で動き回るペットが見えているため、現実の世界でペットを飼うことができなくても、ペットのいる空間を体験することが可能となる。また、当該ペットは現実のペットではなく、仮想現実の世界に創り出されたペットである。従って、ライオンや恐竜、その他ユニコーンなど架空上の動物をペットとして飼うと言った体験が可能となる。
【００３０】
図３は、本実施形態１に係る仮想現実提示システム１０００の構成を示すブロック図である。仮想現実提示システム１０００は、仮想現実提示装置１００と、仮想現実サービス提供サーバ２００と、契約者情報データベース３００と、仮想現実コンテンツ記憶部４００と、提供済仮想現実関連データ記憶データベース５００と、を備える。本明細書では、仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）装置であるとして説明する。仮想現実サービス提供サーバ２００は、ユーザが装着する仮想現実提示装置１００（１００ａ〜１００ｃ）と、インターネット等の通信網１０を介して接続されている。
【００３１】
仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ装置であって、少なくとも仮想現実オブジェクトの映像を表示する表示パネルと、仮想現実サービス提供サーバ２００と通信を行う通信部と、を備える。仮想現実提示装置１００は、仮想現実サービス提供サーバ２００から送信された仮想現実提示用の映像データに基づいて、仮想現実オブジェクトを含む映像を表示パネルに表示することで、ユーザに仮想現実の世界を提示する。
【００３２】
図４は、仮想現実提示装置１００を装着しているユーザがいる現実の世界と、仮想現実提示装置１００の表示パネルに表示されている仮想現実提示用映像と、ユーザに提示される仮想現実の世界、すなわちユーザが感知している仮想現実の世界とを示している。
【００３３】
ユーザは、現実には犬のいない部屋に立って前方のソファーを見ている。ここで、仮想現実提示装置１００の表示パネルには仮想現実オブジェクトである犬の映像が表示されている。ユーザの目には、現実の世界であるソファーの風景と表示パネルに表示されている犬の映像が融合した犬がソファーに座っているという仮想現実の世界が見えている。
【００３４】
この犬は、仮想現実提示装置１００を装着しているユーザにしか見えていない。従って、他人は、犬のいない現実の世界の中で生きているのに対し、このユーザは、犬のいる創り出された仮想現実の世界の中で生きていることになる。
【００３５】
なお、仮想現実提示装置１００は、音声再生機能を備えており、当該仮想現実オブジェクトである犬の鳴き声を再生することで、視覚と聴覚とを刺激してユーザに仮想現実の世界を提示する構成とすることが、仮想現実の世界における現実感を高めることができるため好ましい。この場合、当該仮想現実オブジェクトを含む仮想現実提示用映像データに加えて、仮想現実の世界を形作るための音声データである仮想現実提示用音声データが仮想現実サービス提供サーバ２００より送信されてくる。
【００３６】
仮想現実サービス提供サーバ２００は、仮想現実提示装置１００の表示パネルに仮想現実オブジェクトの映像を表示させることで、仮想現実サービスを提供する。なお、仮想現実サービス提供サーバ２００は、当該仮想現実オブジェクトを描画して仮想現実提示用映像データを作成し、当該仮想現実提示用映像データを仮想現実提示装置１００に送信する構成としても良いし、当該仮想現実オブジェクトのモデルデータを仮想現実提示装置１００に送信し、仮想現実提示装置１００側で当該モデルデータを描画した上で表示パネルに当該仮想現実オブジェクトの映像を表示させる構成としても良い。
【００３７】
仮想現実コンテンツ記憶データベース４００は、仮想現実コンテンツを記憶するデータベースである。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、少なくとも仮想現実オブジェクト（データ）と、仮想現実オブジェクト制御プログラムとを含む。図５は、仮想現実コンテンツの構造を示している。
【００３８】
仮想現実オブジェクトとは、仮想現実の世界に配置される仮想的な人物や建築物などを指す。仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類される。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤ（仮想現実オブジェクト識別番号）が割り当てられている。
【００３９】
人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。
【００４０】
動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。
【００４１】
非動物オブジェクトは、植物や、家具、建物などのオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。
【００４２】
その他のオブジェクトは、例えば映像エフェクトや音響効果などであり仮想現実の世界にリアリティーを持たせるためのオブジェクトである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。
【００４３】
各種の仮想現実オブジェクトは、モデルデータや基礎音声データなどから構成される。モデルデータは、仮想現実オブジェクトの外観形状を規定するポリゴンデータや、ポリゴン表面に張り付けられるテキスチャーデータなどから構成される。
【００４４】
図６は、仮想現実オブジェクトを管理する管理ファイルの一例である。各仮想現実オブジェクトには一意に識別する識別番号が割り当てられており、複数の種別によって分類されている。例えば、種別１は、仮想現実オブジェクトの大まかな区分けを示しており、種別２は、現実のもの（人物）か空想上のもの（人物）であるかを示しており、種別３はオブジェクトに含まれる人物等の性別を示している。例えば、管理番号Ｎｏ００００１２の格納アドレスｘｘ０１０１１０１０１・・・には、寝ている雌のライオンの映像データが記憶されている。
【００４５】
図７は、仮想現実オブジェクトの一種であるオブジェクトＩＤナンバー：Ｎｏ０００００９の動物オブジェクトのモデルデータの一例を示している。モデル映像データは、当該仮想現実オブジェクトの外観形状を規定する３Ｄポリゴンデータと、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータと、を含む。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイント同士は、骨格で結合されており、各関節ポイントは、いくつかのポリゴン頂点と連結されている。関節ポイントの位置座標や角度は制御可能であって、当該関節ポイントを変化させることで仮想現実オブジェクトの外観形状が変化する。
【００４６】
仮想現実オブジェクトを構成する音声基礎データは、当該仮想現実オブジェクトが発する音声の基礎となるデータである。例えば、仮想現実オブジェクトが実在の人間を元にして創り出された人物オブジェクトである場合、当該実在の人物の肉声より抽出した声質、ピッチ、音声波形、音素等のデータである。これらの音声基礎データが音声合成処理によって合成されてユーザに提示されることで、当該人物オブジェクトが実際に喋っているようにユーザに感知される。なお、音声基礎データの抽出方法（収録方法）は、様々な切り口で抽出することが可能であり、音声発音データと音声表情データとに分類する形で抽出しても良いし、他の分類方法で抽出しても良い。当該抽出方法は、実施される音声合成処理のアルゴリズムによって決定される。
【００４７】
仮想現実コンテンツに含まれる仮想現実オブジェクト制御プログラムは、上述した仮想現実オブジェクトの制御に関連するプログラムであって、図８に示すように複数のレベルのプログラムに分類される。
【００４８】
メイン制御プログラムは、仮想現実サービスの全体の流れを制御する。図２に示した仮想現実サービスのサービス内容に対応しており、仮想現実サービスの提供を開始する場合に、ユーザの契約内容に対応するメイン制御プログラムを読み出して実行することで仮想現実サービスの提供を開始する。
【００４９】
サブ制御プログラムは、メイン制御プログラムから適宜読み出されて仮想現実の世界に配置される仮想現実オブジェクトの選択や配置位置、配置構成等を制御する。
【００５０】
オブジェクト挙動制御プログラムは、サブ制御プログラムによって読み出されて仮想現実の世界に配置されているオブジェクトの挙動を制御する。例えば、オブジェクトが人物オブジェクトである場合は、腕を上げる、笑ったり泣いたりと表情を変える、ジャンプすると言った各動作に対応するオブジェクト挙動制御プログラムが用意されている。仮想現実の世界の状況に合わせてサブ制御プログラムが適当なオブジェクト挙動制御プログラムを選択し、当該オブジェクト挙動制御プログラムが実行されることで、仮想現実の世界に配置されている仮想現実オブジェクトが、当該選択されたオブジェクト挙動制御プログラムに対応した動作を行う。
【００５１】
一例として、ユーザが「アイドルＸと１時間お喋りコース」と言うプランの契約を行っていたとする。仮想現実サービス提供サーバ２００は、当該ユーザに仮想現実サービスの提供を開始すると判断した場合に、当該ユーザの契約している当該プランに対応するメイン制御プログラムを仮想現実コンテンツ記憶データベース４００より読み出して実行する。このように、メイン制御プログラムは、提供する仮想現実サービスの全体の流れを制御するプログラムである。
【００５２】
当該メイン制御プログラムによって、関連する複数のサブ制御プログラムが読み出され、仮想現実オブジェクト選択に関するサブ制御プログラムが実行されることで仮想現実オブジェクトが選択される。ここでは、アイドルＸの仮想現実オブジェクトが選択され、仮想現実コンテンツ記憶データベース４００の中から読み出される。
【００５３】
サブ制御プログラムは、仮想現実コンテンツ記憶データベース４００の中から読み出された仮想現実オブジェクトであるアイドルＸの仮想空間内での初期配置位置や配置角度を決定し、仮想空間内に当該アイドルＸを配置する。仮想現実サービス提供サーバ２００は、サブ制御プログラムによって仮想空間内に配置された仮想現実オブジェクトであるアイドルＸを描画して二次元の映像データを生成し、所定の符号化処理を行った上で仮想現実提示装置１００に送信する。仮想現実提示装置１００は、当該符号化された映像データを復号して映像を表示パネルに表示することで、アイドルＸの映像が表示パネルに表示される。
【００５４】
サブ制御プログラムは、仮想現実提示装置１００を装着しているユーザの状態等に基づいて、当該仮想現実オブジェクトの挙動を制御するオブジェクト挙動制御プログラムを適宜読み出して実行する。読み出されたオブジェクト挙動制御プログラムが実行されることで、仮想現実オブジェクトが動作し、仮想現実提示装置１００の表示パネルには、当該オブジェクト挙動制御プログラムによって動作制御されている仮想現実オブジェクトの映像が表示される。
【００５５】
また、サブ制御プログラムの中には、仮想現実オブジェクトの人格に関連するプログラムが設けられている。当該人格に関連するサブ制御プログラムを特に人格制御プログラムと称することがある。仮想現実提示装置１００からのフィードバック等に基づいて異なる人格制御プログラムが読み出され、当該人格制御プログラムに応じて仮想現実オブジェクト挙動制御プログラムが選択され、当該選択された仮想現実オブジェクト挙動制御プログラムが実行されることで仮想現実オブジェクトが動作する。
【００５６】
例えば、上述のアイドルＸの仮想現実オブジェクトの人格制御プログラムとして、「通常状態１〜１０」、「怒り状態１〜５」、「喜び状態１〜５」、「哀しみ状態１〜５」、「楽しみ状態１〜５」、「ツンデレ状態１〜３」の３３種類の人格制御プログラムが仮想現実コンテンツとして仮想現実コンテンツ記憶データベース４００に記憶されているとする。
【００５７】
現在の仮想現実オブジェクトであるアイドルＸの人格を制御する人格制御プログラムとして、「通常状態１」の人格制御プログラムが選択されているとする。この状態で、ユーザが仮想現実提示装置１００を介して「Ｘ、おはよう！」と声をかけたとき、人格制御プログラムは対応する仮想現実オブジェクト挙動プログラムを読み出して実行することで、仮想現実の世界の中のアイドルＸはにっこり笑って「おはよう。」と音声を発する挙動を示す。
【００５８】
一方、ツンデレ状態２の人格制御プログラムが選択されている場合、ユーザが仮想現実提示装置１００を介して「Ｘ、おはよう！」と声をかけたときは、当該ツンデレ状態２の人格制御プログラムによって、異なる仮想現実オブジェクト挙動制御プログラムが読み出され、少し焦った表情で「あ、挨拶なんてしないんだからね、バカ！」という音声を発する挙動を示す。
【００５９】
このように、人格制御プログラムによって、入力に対するレスポンスが決定され、仮想現実オブジェクト挙動制御プログラムによって、仮想現実オブジェクトの挙動が制御される。仮想現実提示装置１００を装着したユーザには、これらの制御が行われた仮想現実オブジェクトの映像や音声が提示される。
【００６０】
提示済仮想現実関連データ記憶データベース５００は、仮想現実提示装置１００がユーザに提示した仮想現実の世界を再現可能な状態で、当該仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する。より具体的には、提示済仮想現実関連データ記憶データベース５００は、仮想現実提示装置１００の表示パネルに表示された仮想現実オブジェクトの映像を再現可能な状態で、当該映像に関連するデータを記憶する。提示済仮想現実関連データ記憶データベース５００は、当該映像に関連するデータとして、表示パネルに表示された映像をＭＰＥＧ２やＨ．２６４と言った動画像符号方式で符号化したデータを記憶しても良い。また、提示済仮想現実関連データ記憶データベース５００は、仮想現実オブジェクト制御プログラムの実行履歴を当該映像に関連するデータとして記憶しても良い。当該実行履歴に従って、再度仮想現実オブジェクト制御プログラムを再度実行することで、仮想現実提示装置１００の表示パネルに表示された仮想現実提示用映像を再現することができるためである。
【００６１】
以上説明したように、本実施形態１に係る仮想現実提示システム１０００は、仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置１００と、当該仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して仮想現実提示装置１００へ送信する仮想現実サービス提供サーバ２００と、仮想現実提示装置１００がユーザに提示した仮想現実の世界を再現可能な状態で、当該仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済仮想現実関連データ記憶データベース５００とを少なくとも具備する。
【００６２】
当該構成とすることで、仮想現実の世界を体験した後に現実の世界に戻ってきたユーザが、現実の世界と仮想現実の世界との境界を認識することができず、自分が体験した世界は、現実の世界ではなく仮想現実の世界であったと認めることができない場合に、改めてユーザが体験した仮想現実の世界を再現することでユーザを適切に現実の世界に戻すことができる。
【００６３】
より具体的には、本実施形態１において、仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ装置の形態を取る。当該ヘッドマウントディスプレイ装置は、少なくとも映像を表示する表示パネルが配置され、ユーザの視覚を欺くことでユーザを仮想現実の世界に引き込むことを可能とする。本実施形態１に係る仮想現実サービス提供システムは、当該ヘッドマウントディスプレイ装置１００の表示パネルに仮想現実オブジェクトの映像を表示させる仮想現実サービス提供サーバ２００と、ヘッドマウントディスプレイ装置１００の表示パネルに表示された仮想現実オブジェクトの映像を再現可能な状態で、当該映像に関連するデータを記憶する提供済仮想現実関連データ記憶データベース５００と、を備える。
【００６４】
当該構成によれば、仮想現実を体験した後に、仮想現実と現実との境界に錯誤を生じた場合であっても、データベースに記憶している関連データに基づいてユーザが当時見ていた仮想現実オブジェクトの映像をユーザに明示的に再度提示することで、現実と信じていた世界が仮想現実の世界であったと言う事実を受け入れさせることができる。
【００６５】
なお、仮想現実提示システム１０００は、図９に示すように履歴情報記憶サーバ６００と、仮想現実再現処理サーバ７００とを備える構成とすると更に好ましい。
【００６６】
履歴情報記憶サーバ６００は、ユーザが使用した仮想現実サービス、すなわち、ユーザに提供された仮想現実サービスの履歴を仮想現実サービス履歴情報として記憶する。ここで、履歴情報記憶サーバ６００に記憶される仮想現実サービス履歴情報は、所謂ログである。
【００６７】
仮想現実コンテンツ記憶データベース４００には、複数種類の仮想現実サービスに係る仮想現実コンテンツが記憶されており、仮想現実サービス提供サーバ２００は、仮想現実コンテンツ記憶データベース４００より提供する仮想現実サービスに係る各種データを読み出して所定の加工処理を行い、仮想現実提示用の映像データや音声データを順次生成する。履歴情報記憶サーバ６００は、ユーザを識別する識別情報（ユーザＩＤ）と当該ユーザに仮想現実サービス提供サーバ２００が提供した仮想現実サービスを識別する仮想現実サービス識別情報との対応関係を時系列に纏めた提供済み仮想現実サービス履歴情報を記憶する。
【００６８】
図１０は、履歴情報記憶サーバ６００が記憶する仮想現実サービス履歴情報の一例を示している。仮想現実サービス履歴情報には、仮想現実サービスの提供を受けたユーザを識別するユーザ識別情報と、当該ユーザに提供した仮想現実サービスを識別する仮想現実サービス識別情報と、当該仮想現実サービスを提供した日時を示す日時情報と、が関連付けられた状態で時系列に纏められている。
【００６９】
仮想現実サービス提供サーバ２００には、仮想現実絵サービスを提供するユーザを識別するユーザ識別情報と、当該ユーザに提供した仮想現実サービスを識別する仮想現実サービス識別情報とを少なくとも対応付けて時系列に記録した仮想現実サービス履歴情報の生成処理及び更新処理を行う仮想現実サービス履歴情報更新処理部を備える。
【００７０】
当該履歴情報記憶サーバ６００に記憶される仮想現実サービス履歴情報だけでは、ユーザに提示された仮想現実の世界を再現することはできない。仮想現実サービスに係る仮想現実オブジェクトは複数存在するため、どの種類の仮想現実オブジェクトをどのように用いて仮想現実の世界を構築したかを特定できないためである。
【００７１】
仮想現実再現処理サーバ７００は、通常のパーソナルコンピュータ２０や仮想現実提示装置１００よりインターネット等の通信網１０を介して履歴開示要求を受信する。当該履歴開示要求は、ユーザがこれまでに使用した仮想現実サービスのログ（使用履歴）の開示を要求するパケットであり、少なくともユーザＩＤと、認証用のパスワードが含まれる。
【００７２】
当該履歴開示要求を受信した場合、仮想現実再現処理サーバ７００は、契約者情報記憶データベース３００に記憶されているユーザＩＤとパスワードの組が当該履歴開示要求に含まれるユーザＩＤとパスワードの組と一致しているかの認証処理を行う。
【００７３】
認証が取れた場合、仮想現実再現処理サーバ７００は、履歴情報記憶サーバ６００より上記仮想現実サービス履歴情報を読み出して履歴開示要求の送信元端末へ返信する。当該返信後に、再現を要求する仮想現実の世界に係る提供済み仮想現実サービスを指定する情報を含む提示済み仮想現実再現要求を受信した場合、仮想現再現処理サーバ７００は、当該要求で指定されている提供済み仮想現実サービスに係る仮想現実関連データを提示済仮想現実関連データ記憶データベース５００より読み出し、仮想現実提示装置１００の表示パネルに表示していた仮想現実提示用映像を再現して要求元端末に送信する。
【００７４】
ユーザは、コンピュータ２０等の端末を介して、当時自身が目にしていた映像をそのまま確認することができるため、自身が体験した世界は仮想現実の世界であったと言うことを認識せざるを得ないことになる。従って、第３者がユーザを単に説得する場合と比較して、より確実に仮想現実であったことを認識させることが可能となる。
【００７５】
なお、仮想現実サービスの中には、ストーリー性を有し、１つの仮想現実サービスを複数回に渡って体験するタイプの仮想現実サービスがある。従って、再現を要求する仮想現実の世界を指定するためには、提供済み仮想現実サービスを指定するだけでは不十分な場合があり、仮想現実サービスの提供を受けた時間帯を指定するなどより詳細に指定する必要がある。
【００７６】
そこで履歴情報記憶サーバ６００は、ユーザに提示された仮想現実の世界を時系列に纏めた仮想現実履歴情報を記憶する構成とすると更に良好である。この場合、仮想現実サービス提供サーバ２００は、ユーザに提示する仮想現実の世界を識別する仮想現実識別番号（仮想現実識別情報）を割り当てる仮想現実識別番号割当部（仮想現実識別情報割当部）を具備する。
【００７７】
仮想現実サービス提供サーバ２００は、ユーザに仮想現実サービスを提供する場合に、当該仮想現実サービスに係る仮想現実の世界に対して当該仮想現実の世界を一意に識別する仮想現実識別番号を割り当てる。すなわち、仮想現実サービス提供サーバ２００が提供可能な各仮想現実サービスは、当該仮想現実サービスに一意に割り当てられている仮想現実サービス識別情報で識別され、当該仮想現実サービスの提供に際し、ユーザに提示される仮想現実の世界毎に当該仮想現実の世界を識別する仮想現実識別番号が仮想現実識別番号割当部によって割り当てられる。
【００７８】
各仮想現実サービスは、当該仮想現実サービスを利用したい各ユーザに対して提供可能であり、また、同一の仮想現実サービスを複数回に渡って利用可能である。一方、同一の仮想現実サービスであったとしても、当該仮想現実サービスに係る仮想現実の世界がどのような仮想現実の世界となるかはすべて異なる。例えば、「アイドルＸとお喋りをしよう」という仮想現実サービスを使用する場合、ユーザの目の前には仮想現実オブジェクトであるアイドルＸの姿が映し出されるが、ユーザが当該アイドルＸにかける音声のコンテキストのよってアイドルＸからの反応が変化するため、アイドルＸに告白しと付き合うことになった仮想現実の世界となる場合もあれば、アイドルＸとケンカ別れをした仮想現実の世界となる場合もあるためである。
【００７９】
そこで、ユーザからの仮想現実サービス利用要求などに基づいて、当該ユーザに仮想現実サービスの提供を開始すると判断した場合に、仮想現実識別番号割当部は、当該提供する仮想現実サービスによって創り出される仮想現実の世界に対して、当該仮想現実の世界を一意に識別する仮想現実識別番号を予め割り当てる。
【００８０】
仮想現実関連データ記憶データベース５００は、当該仮想現実の世界の構築に使用される各種データが仮想現実関連データとして記憶するが、上記仮想現実識別番号と対応付けた状態で当該仮想現実関連データを記憶しておく。当該構成とすることで、後日仮想現実識別番号を指定することで、当該仮想現実識別番号に対応付けられた仮想現実関連データが読み出されて、仮想現実の世界を再現することができる。
【００８１】
履歴情報記憶サーバ６００は、ユーザを識別する識別情報と、ユーザに提示された仮想現実の世界に割り当てられた仮想現実識別情報との対応関係を時系列に纏めた仮想現実履歴情報を記憶する。図１１は、仮想現実履歴情報の一例を示している。仮想現実履歴情報には、ユーザに提示される仮想現実の世界を識別する仮想現実識別番号と、当該仮想現実識別番号で識別される仮想現実の世界の提示を受けるユーザを識別するユーザＩＤと、当該仮想現実の世界に係る仮想現実サービスを識別する仮想現実サービス識別番号と、当該仮想現実の世界が当該仮想現実サービスのどの章（チャプター）に係る仮想現実の世界であるかを示すチャプター情報と、当該仮想現実の世界の提示を受けるユーザの位置及び時刻（時間帯）をそれぞれ示す位置情報や時刻情報などが纏められている。
【００８２】
なお、この場合も当該履歴情報記憶サーバ６００に記憶される仮想現実履歴情報だけでは、ユーザに提示された仮想現実の世界を再現することはできない。ユーザに対して仮想現実の世界を再現するためには、当該仮想現実履歴情報に含まれる仮想現実識別番号を指定して、仮想現実関連データ記憶データベース５００より当該仮想現実識別番号に対応付けられた仮想現実関連データを読み出して仮想現実提示用映像や仮想現実提示用音声を再生成する必要がある。
【００８３】
（実施形態２）
図１２は、本実施形態２に係る仮想現実提示装置１００の斜め前方と斜め後方からの外観斜視図である。ヘッドマウントディスプレイ装置である仮想現実提示装置１００は、フレーム１０１と、フロントパネル１０２と、を少なくとも備える。
【００８４】
フレーム１０１は、仮想現実提示装置１００の筐体であり、内部には、情報処理プロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム１０１は、大きく分けてライトフレーム１０１ａ、レフトフレーム１０１ｂ、センターフレーム１０１ｃから構成される。
【００８５】
ライトフレーム１０１ａ及び１０１ｂは、左右の耳にそれぞれ接続する部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ１７１ａ、１７１ｂが配置され、他端がセンターフレーム１０１ｃと接続されている。
【００８６】
また、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの一端の外側に周囲の音声を集音する周辺マイクロフォン１３２ａ、１３２ｂが配置されている。また、ライトフレーム１０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン１３１を備える。ユーザマイクロフォン１３１や周辺マイクロフォン１３２ａ、１３２ｂで集音された音声は、ＡＤ変換でデジタル信号に変換され、情報処理プロセッサに出力される。
【００８７】
ライトフレーム１０１ａ及び１０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１１ａ、１１１ｂと、加速度を検知する加速度センサ１１２ａ、１１２ｂが配置されている。また、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの外側には、周囲の景色を撮影する周辺カメラ１２２ａ、１２２ｂがそれぞれ配置されている。
【００８８】
センターフレーム１０１ｃは、両端がそれぞれライトフレーム１０１ａ、レフトフレーム１０１ｂに接続されており、センターフレーム１０１ｃの下方にフロントパネル１０２が接続されている。
【００８９】
センターフレーム１０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１ｃ、１１１ｄ、１１１ｅと、加速度を検知する加速度センサ１１２ｃ、１１２ｄ、１１２ｅがそれぞれ配置されている。また、センターフレーム１０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ１２１ａ、１２２ｂが配置されている。視線カメラ１２１ａ、１２１ｂは、センターフレーム１０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
【００９０】
フロントパネル１０２は、仮想現実提示装置１００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。本実施形態２に係る仮想現実提示装置１００において、フロントパネル１０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル（第１映像表示部）１５１ａとレフト表示パネル（第２映像表示部）１５１ｂとが配置される。
【００９１】
ライト表示パネル１５１ａとレフト表示パネル１５１ｂは、導光板と液晶パネル（ＬＣＤ）が重ね合わされた構造を取る。液晶パネルは、透明電極（透明導電膜）、偏光板（偏光フィルム）、液晶層、ガラス基板、カラーフィルタ等が積層された構造をとる。
【００９２】
図１３は、仮想現実提示装置１００のライト表示パネル１５１ａ付近の断面図を示している。センターフレーム１０１ｃの下方には、フロントパネル１０２が配置されており、センターフレーム１０１ｃの下部には光源１５２が配置されている。
【００９３】
光源１５２より放射された可視光はフロントパネル１０２側へ照射される。フロントパネル１０２は、導光板１５３とＬＣＤ１５４とが合わさった構成であり、光源１５２より放射された可視光が導光板１５３でユーザ側へ反射され、表示制御されたＬＣＤ１５４を透過することで映像が表示される。
【００９４】
図１４は、本実施形態２に係る仮想現実提示システム２０００の機能構成を示すブロック図である。仮想現実提示システム２０００は、仮想現実提示装置１００と、仮想現実サービス提供サーバ２００と、契約者情報記憶ＤＢ３００と、仮想現実コンテンツ記憶ＤＢ４００と、提示済仮想現実関連データ記憶データベース５００と、を備え、仮想現実提示装置１００と仮想現実サービス提供サーバ２００はインターネット等の通信網を介して相互に接続されている。
【００９５】
仮想現実提示装置１００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、音声入力部１３０と、表示制御部１４０と、表示部１５０と、音声再生制御部１６０と、音声出力部１７０と、仮想現実提示制御部１８０と、通信部１９０と、を備える。
【００９６】
ユーザ状態検知部１１０は、仮想現実提示装置である仮想現実提示装置１００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０として、仮想現実提示装置１００は、傾きを検知する傾きセンサ１１１と、加速度を検知する加速度センサ１１２と、を備える。傾きセンサ１１１で生成された傾き情報や加速度センサ１１２で生成された加速度情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１９０より仮想現実サービス提供サーバ２００へ送信される。
【００９７】
周囲状況検知部１２０は、仮想現実提示装置１００を使用しているユーザの周囲の状況を検知する。具体的には、周囲状況検知部１２０は、外部環境の映像を取得することで周囲の状況を検知する。周囲状況検知部１２０として、仮想現実提示装置１００は、ユーザの視線と対応した景色を撮影する視線カメラ１２１と、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影する周辺カメラ１２２と、を備える。視線カメラ１２１で撮影されたユーザ前方の景色の映像や周辺カメラ１２２で撮影されたユーザの周囲の映像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１９０より仮想現実サービス提供サーバ２００へ送信される。
【００９８】
音声入力部１３０は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行って音声デジタル信号に変換することで音声を入力する。音声入力部１３０として、仮想現実提示装置１００は、ユーザが発した音声を集音するユーザマイクロフォン１３１と、周辺の音声を集音する周辺マイクロフォン１３２とを備える。
【００９９】
ユーザの音声を効率良く集音できるよう、ユーザマイクロフォン１３１は、仮想現実提示装置１００の内側（ユーザ側）に配置され、一方、周辺マイクロフォン１３２は、ユーザの外部環境からの音声を効率良く集音できるよう、仮想現実提示装置１００の外側に配置される。周辺マイクロフォン１３２は、ユーザが仮想現実提示装置１００を装着していない状態で聞こえる音声を集音できるよう、仮想現実提示装置１００における耳の位置付近に配置されていることが好ましい。ユーザマイクロフォン１３１や周辺マイクロフォン１３２は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行って音声デジタル信号に変換することで音声を入力する。当該入力された音声は、必要に応じて音声符号化が行われた後、それぞれユーザ音声情報及び周囲音声情報として通信部１９０より仮想現実サービス提供サーバ２００に送信される。
【０１００】
表示制御部１４０は、通信部１９０で受信される各種データのうち、仮想現実サービス提供サーバ２００で生成された仮想現実提示映像データを入力し、当該入力した仮想現実提示用映像データに基づいて仮想現実オブジェクトの映像を仮想現実提示用映像として表示部１５０に表示する制御を行う。
【０１０１】
表示部１５０は、表示制御部１４０からの制御に基づいて仮想現実提示用映像を表示する。表示部１５０に表示される仮想現実提示用映像は、仮想現実感をユーザに感じさせるための仮想現実オブジェクトの静止画像や動画像などの映像である。表示部１５０として、仮想現実提示装置１００には、ライト表示パネル１５１ａとレフト表示パネル１５１ｂが設けられており、それぞれ視差が加えられた仮想現実提示用映像を表示する。
【０１０２】
音声再生制御部１６０は、通信部１９０で受信される各種データのうち、仮想現実サービス提供サーバ２００で生成された仮想現実提示用音声データを入力し、当該入力した仮想現実提示用音声データに基づいて仮想現実オブジェクトが発する音声や仮想現実の世界を構築するための背景音楽などを音声出力部１７０より出力する制御を行う。
【０１０３】
ここで、バーチャルな現象が引き起こす音声をリアルな現象が引き起こしている音声としてユーザに認識させるためには、音声発生源である仮想現実オブジェクトの位置から音声が伝達されているようにユーザに認識させることが仮想現実の世界にユーザを引き込むうえで好ましい。そこで、音声再生制御部１６０は、５．１Ｃｈや６．１Ｃｈ、７．１Ｃｈと言った立体音響に対応する形で音声データを再生することが好ましい。
【０１０４】
音声出力部１７０は、音声再生制御部１６０からの再生制御に従って音声を出力する。音声出力部１７０として、仮想現実提示装置１００は、ライトフレーム１０１ａ及びレフトフレーム１０１ｂの後端付近に配置されるスピーカ１７１ａ、１７１ｂを備えており、音声再生制御部１６０で再生された音声データにＤＡ変換を行い、アナログ電気信号に変換し、更に空気振動に変換して外部へ放音する。
【０１０５】
仮想現実提示制御部１８０は、仮想現実提示装置１００でユーザに仮想現実を提示する処理を制御する。仮想現実提示制御部１８０は、通信部１９０で仮想現実サービスの開始を指示する仮想現実サービス提供開始通知情報が受信された場合に、仮想現実を提示するための制御を開始する。
【０１０６】
具体的に、仮想現実提示制御部１８０は、当該仮想現実サービス提供開始通知情報に基づいて、ユーザ状態検知部１１０、周囲状況検知部１２０、音声入力部１３０にそれぞれユーザ状態情報、周囲状況情報、音声情報の取得開始を指示すると共に通信部１９０に当該情報を仮想現実サービス提供サーバ２００に定期的に送信するよう指示する。また、仮想現実提示制御部１８０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示し、音声再生制御部１６０に音声出力部１７０より出力する音声の再生制御の開始を指示する。
【０１０７】
通信部１９０は、仮想現実提示制御部１８０からの制御に従って、ユーザ状態検知部１１０で検知されたユーザ状態を示すユーザ状態情報、周囲状況検知部１２０で検知されたユーザの周囲の状況を示す周囲状況情報、音声入力部１３０で入力された音声を示す音声情報、をそれぞれ仮想現実サービス提供サーバ２００に送信する。また、通信部１９０は、仮想現実サービス提供サーバ２００より受信した仮想現実提示用映像データと仮想現実提示用音声データをそれぞれ表示制御部１４０と音声再生処理部１６０へ出力する。
【０１０８】
次に、仮想現実サービス提供サーバ２００について説明する。仮想現実サービス提供サーバ２００は、通信部２１０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、再生音声生成処理部２７０と、を備える。
【０１０９】
通信部２１０は、インターネット等の通信網を介して各ユーザが装着している仮想現実提示装置１００と通信を行う。通信部２１０は、仮想現実提示装置１００より、ユーザの状態を示すユーザ状態情報、ユーザの周囲の状況を示す周囲状況情報、ユーザが発した音声や周囲の音声を示す音声情報を受信する。通信部２１０は、音声情報を音声解析処理部２２０に出力し、周囲状況情報を画像解析処理部２３０に出力し、ユーザ状態情報を表示映像再生処理部２６０及び再生音声生成処理部２７０へそれぞれ出力する。
【０１１０】
音声解析処理部２２０は、通信部２１０で受信された音声情報を入力し、当該音声情報に含まれる音声を解析することでユーザが発した音声のコンテキストや感情要素を抽出する処理を行う。音声解析処理部２２０は、抽出した音声のコンテキストや感情要素に関する情報を仮想現実サービス提供制御部２４０と仮想現実オブジェクト挙動制御部２５０にそれぞれ出力する。また、音声解析処理部２２０は、仮想現実提示装置１００の音声入力部１３０で入力された周囲の音声の音声レベルやユーザの音声の音声レベルを特定し、再生音声生成処理部２７０に出力する。
【０１１１】
画像解析処理部２３０は、通信部２１０で受信された周囲状況情報を入力し、当該周囲状況情報に含まれる画像（映像）を解析することでユーザの周囲にある物体の位置関係や周囲の明るさなどの情報を抽出する。画像解析処理部２３０は、抽出した物体の位置関係や明るさなどの情報を仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０にそれぞれ出力する。
【０１１２】
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を開始する処理や終了する処理を行う。仮想現実サービス提供制御部２４０は、自サーバ２００のリソース等を考慮に入れながら仮想現実サービスに関するスケジューリングを行っており、契約者情報記憶データベース３００に記憶されている契約者情報を参照してユーザに仮想現実サービスの提供を開始するかどうかを決定する。また、当該契約者情報で示されるユーザが契約しているプランに基づいて、現在提供中の仮想現実サービスを終了するかどうかを決定する。
【０１１３】
仮想現実サービス提供制御部２４０は、ユーザに仮想現実サービスを提供するかどうかを決定するに当たり、通信部２１０を介して仮想現実提示装置１００に仮想現実サービスの開始を指示する。当該指示に基づいて仮想現実提示装置１００より受信した音声情報や周囲状況情報に基づいて、ユーザが仮想現実サービスを享受できる状況にいるかを判定し、当該判定結果に基づいて仮想現実サービスの提供の開始を決定する。
【０１１４】
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供の開始を決定した場合に、仮想現実コンテンツ記憶データベース４００より当該提供する仮想現実サービスに係る仮想現実コンテンツを読み出し、仮想空間に仮想現実オブジェクトを配置する。
【０１１５】
仮想空間は、例えばユーザの位置を原点とするＸＹＺの直交座標かＲθＺの極座標で表される仮想上の空間であり、画像解析処理部２３０における解析処理で把握された周囲の物体の位置関係に合わせて仮想現実オブジェクトを位置する。
【０１１６】
仮想現実オブジェクト挙動制御部２５０は、音声解析処理部２２０で抽出された音声のコンテキストや感情情報、また、画像解析処理部２３０で抽出された物体の動き等に基づいて仮想現実オブジェクトの挙動を制御する。具体的には、仮想現実オブジェクトの形状を変形させる制御を行ったり、仮想現実オブジェクトから発する音声を制御したりする。
【０１１７】
具体的には、仮想現実オブジェクト挙動制御部２５０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する挙動制御プログラムを、音声解析処理部２２０や画像解析処理部２３０における解析結果に基づいて仮想現実コンテンツ記憶データベース４００の中から選択し、当該選択した挙動制御プログラムを実行することで仮想現実オブジェクトの形状を順次変形させていく。
【０１１８】
表示映像生成処理部２６０は、仮想現実提示装置１００の表示部１５０で表示される映像を生成する。具体的に、表示映像生成処理部２６０は、仮想現実オブジェクト挙動制御部２５０で制御される仮想現実オブジェクトの表示パネル上での表示位置をユーザ状態情報に基づいて決定し、当該決定した表示位置に仮想現実オブジェクトが表示されている映像を生成する。また、表示映像生成処理部２６０は、画像解析処理部２３０で抽出されたユーザの周囲の明るさ又は仮想現実オブジェクトが配置される位置における明るさ（照度）に基づいて、仮想現実オブジェクトの明るさ（照度）を補正する光学補正処理を行い、当該補正処理後の仮想現実オブジェクトを上記決定した表示位置に表示する映像を生成する。表示映像生成処理部２６０は、生成した映像をＭＰＥＧ２やＨ．２６４/ＡＶＣ等の所定の符号化方式で符号化を行った上で通信部２１０に出力する。
【０１１９】
再生音声生成処理部２７０は、仮想現実提示装置１００の音声出力部１７０より出力される音声を生成する。再生音声生成処理部２７０は、仮想現実オブジェクト挙動制御部２５０で制御された仮想現実オブジェクトが発する音声を、ユーザと仮想現実オブジェクトとの間の位置関係から各チャンネルで出力される音声を生成する。また、再生音声生成処理部２７０は、音声解析処理部２２０で得られた周囲の音声レベルに合わせて、生成する音声の音声レベルを補正する音声レベル補正処理を行う構成とすると更にリアリティーが高まるため好ましい。再生音声生成処理部２７０は、仮想現実オブジェクト挙動制御部２５０で制御された仮想現実オブジェクトが発する音声に、当該音声レベル補正処理を行うことで、仮想現実提示装置１００の音声出力部１７０より出力する音声を生成する。再生音声生成処理部２７０は、生成した音声をＭＰＥＧ３やＣＥＬＰ等の所定の符号化方式で符号化を行った上で通信部２１０に出力する。
【０１２０】
通信部２１０は、仮想現実サービス提供制御部２４０から仮想現実提示装置１００における仮想現実の提示を指示する各種制御情報（通知情報）を入力し、仮想現実提示装置１００に送信する。また、通信部２１０は、表示映像生成処理部２６０と再生音声生成処理部２７０よりそれぞれ入力した仮想現実提示用の映像データと音声データを仮想現実提示装置１００に送信する。また、通信部２１０は、仮想現実提示装置１００より受信したユーザ状態情報、周囲状況情報、音声情報をそれぞれ対応する各部に出力する。
【０１２１】
提示済み仮想現実関連データ記憶データベース５００は、表示映像生成処理部２６０で生成される映像データと再生音声生成処理部２７０で生成される音声データとを当該仮想現実サービスの提示に係るユーザと対応付けて記憶する。これらの生成される映像データと音声データがユーザに対して表示又は出力されることでユーザは仮想現実の世界を感知することになるため、これらのデータを保管しておくことで、後日これらのデータにアクセスして読み出すことで、当時体験していた仮想現実の世界を再現することが可能となる。
【０１２２】
＜実施形態３＞
図１５は、本実施形態３に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、仮想現実提示装置１００と、契約者情報記憶ＤＢ３００と、仮想現実コンテンツ記憶ＤＢ４００と、提示済み仮想現実関連データ記憶ＤＢ５００と、仮想現実サービス提供サーバ８００を備える。
【０１２３】
仮想現実サービス提供サーバ８００は、通信部２１０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、音声生成処理部２７０と、仮想空間生成処理部８１０と、仮想現実オブジェクト配置処理部８２０と、視点制御部８３０と、光源制御部８４０と、モデルデータ配置処理部８５０と、レイヤー順序更新処理部８６０と、レイヤー情報生成処理部８７０と、を備える。
【０１２４】
通信部２１０は、インターネット等の通信網を介して仮想現実提示装置１００と通信を行う。通信部２１０は、少なくともユーザの状態を示すユーザ状態情報を受信する受信部と、仮想現実提示用の映像データを送信する送信部とを備える。
【０１２５】
通信部２１０は、ユーザの状態を示すユーザ状態情報と、ユーザの周囲を撮影した周囲景色画像と、ユーザが発した音声であるユーザ音声情報やユーザの周囲の音声である周囲音声情報などを受信する。また、通信部２１０は、仮想現実提示装置１００における仮想現実の提示の制御に用いる各種情報を必要に応じて受信する。このような情報としては、仮想現実提示装置１００のバッテリー残量やリソース消費量、回線速度などに関するレポート情報などが含まれる。
【０１２６】
通信部２１０で受信されるユーザ状態情報や周囲景色画像には、それぞれ当該ユーザ状態が検知されたタイミングを示すユーザ状態検知時刻情報（ユーザ状態検知タイミング情報）や、周囲景色画像が撮影されたタイミングを示す周囲景色画像撮影時刻情報（周囲状況検知タイミング情報）が含まれている。
【０１２７】
通信部２１０は、仮想現実提示用の映像符号化データや仮想現実提示用の音声符号化データ、レイヤー情報、各種通知情報などを送信する。
【０１２８】
音声解析処理部２２０は、通信部２１０で受信されたユーザ音声情報に対する音声解析処理を行うことで、ユーザが発した音声のコンテキストや感情要素を示す感情情報などを取得する。また、必要に応じて通信部２１０で受信された周囲音声情報に対する音声解析処理を行い、ユーザの周囲の状況を特定する。
【０１２９】
画像解析処理部２３０は、通信部２１０で受信されたユーザの周囲の景色を撮影した周囲景色画像に対する画像解析処理を行うことで所定の情報を抽出する。周囲景色画像は、仮想現実提示装置１００が備える複数の視線カメラ１２１や周辺カメラ１２２で撮影された画像である。
【０１３０】
例えば、画像解析処理部２３０は、当該周囲景色画像の中から光学成分を抽出し、ユーザの周囲の平均照度や光源の位置及び方向などの情報を光学成分情報として抽出する。
【０１３１】
また、画像解析処理部２３０は、複数の周囲景色画像に含まれる各物体の位置の比較処理や、同一の周囲景色画像の隣接画素を比較する比較処理によって、周囲景色画像に含まれる各物体の位置や形状を特定する。画像解析処理部２３０は、ユーザの周囲の現実世界に存在するこれらの物体等の位置や形状に基づいて、当該物体等の外観形状をモデル化してモデルデータを生成する。
【０１３２】
また、画像解析処理部２３０は、一連の周囲景色画像に含まれるユーザの動作に基づいてユーザからの指示操作を検出する。例えば、仮想現実サービスの提供中断を示す操作として、視線カメラ１２１の前方で人差し指と小指を立てると言ったジェスチャーが予め割り当てられている。画像解析処理部２３０は、通信部２１０で受信された周囲景色画像に含まれるユーザの動作を予め定められた動作映像とのマッチング処理を行うことで特定し、ユーザからの指示操作を示す操作情報を抽出する。
【０１３３】
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を制御する。具体的に仮想現実サービス提供制御部２４０は、仮想現実コンテンツ記憶ＤＢ４００に記憶されている仮想現実コンテンツの中から、提供する仮想現実サービスに係る制御プログラムを読み出して実行することで当該仮想現実サービスの提供を開始する。
【０１３４】
仮想現実サービス提供制御部２４０は、音声解析処理部２２０で抽出された音声コンテキストや、画像解析処理部２３０で抽出された操作情報で示される内容が、仮想現実サービスの提供開始を要求するものであった場合に、当該ユーザに対する仮想現実サービスの提供開始処理を行う。
【０１３５】
仮想現実サービス提供制御部２４０は、契約者情報記憶ＤＢ３００に記憶されている当該ユーザの契約者情報を参照し、当該ユーザに対して要求されている仮想現実サービスの提供を行うことができるかどうか、すなわち、当該ユーザは当該仮想現実サービスに対する正当な使用権限を有しているかを判定する。
【０１３６】
契約者情報記憶ＤＢ３００には、各ユーザが利用可能な仮想現実サービスが契約者情報として記録されている。また、当該契約者情報には、各ユーザを識別するユーザＩＤと認証用パスワード、その他当該ユーザの個人情報などが合わせて記録されていると良い。仮想現実サービス提供制御部２４０は、音声解析処理部２２０や画像解析処理部２３０で抽出された情報で示されるユーザＩＤやパスワードが契約者情報に記憶されているユーザＩＤとパスワードとの組み合わせと一致するかの認証処理等を行うことで、要求されている仮想現実サービスの提供を行うことができるかどうかを判定する構成とすると秘匿性が上がるため更に良好である。
【０１３７】
当該判定の結果、要求されている仮想現実サービスの提供を行うことができる場合に、仮想現実サービス提供制御部２４０は、仮想現実サービスの提供開始を通知する仮想現実サービス提供開始通知情報を生成する。通信部２１０は、当該仮想現実サービス提供開始通知情報を仮想現実提示装置１００に送信する。
【０１３８】
図１６は、当該仮想現実サービス提供開始通知情報の一例を示す図である。仮想現実サービス提供開始通知情報は、自サーバ８００のアドレスである送信元アドレスと、送信先の仮想現実提示装置１００のアドレスである送信先アドレスと、当該情報が仮想現実サービス提供開始通知情報であることを示す情報種別と、仮想現実提示装置１００と仮想現実サービス提供サーバ８００の間において当該仮想現実サービスに関連して発生する通信を他の通信と識別するために各パケットに付与する番号である通信識別番号と、提供する仮想現実サービスを識別する仮想現実サービス識別情報と、仮想現実サービスの提供において必要となる制御や処理で用いる仮想現実制御パラメータ情報などを含む。
【０１３９】
仮想現実制御パラメータ情報としては、ユーザ状態としてどのような種類のユーザ状態を検知させるかを指定する検知ユーザ状態指定情報、検知されたユーザの状態を示すユーザ状態情報の送信頻度を示すユーザ状態送信頻度、撮影されたユーザの周囲の景色の画像である周囲景色画像の送信頻度、周囲景色画像の画像圧縮符号化形式を示す周囲景色画像符号化形式、表示する映像のフレームレートを示す映像フレームレート、仮想現実サービス提供サーバ８００から適宜送信される仮想現実提示用映像データの符号化形式を示す仮想現実提示用映像データ符号化形式、などの情報が含まれる。仮想現実サービス提供制御部２４０は、提供する仮想現実サービスの種類やユーザが装着している仮想現実提示装置１００の処理能力やリソース、通信回線速度などのレポート情報などに基づいて、これらのパラメータを決定し、当該決定したパラメータの値を仮想現実制御パラメータ情報として上記仮想現実サービス提供開始通知情報を生成する。
【０１４０】
その他、仮想現実サービス提供制御部２４０は、必要に応じて現在提供中の仮想現実サービスの提供の終了を通知する仮想現実サービス提供終了通知情報や当該仮想現実サービスにおける制御パラメータの変更を通知する制御パラメータ変更通知情報、などの各種情報を生成する。仮想現実サービス提供制御部２４０で生成されたこれらの情報は、通信部２１０より仮想現実提示装置１００へ送信される。
【０１４１】
なお、上述した仮想現実識別番号割当部の機能は当該仮想現実サービス提供制御部２４０の一機能として設定されていると良い。また、上述の通信識別番号を仮想現実識別番号として用いても良い。仮想現実提示装置１００と仮想現実サービス提供サーバ７００との間において当該仮想現実サービスに係る仮想現実の世界を構築するために送受信される各パケットに当該仮想現実識別番号が含まれているため、後述の仮想現実関連データ取得部８８０は、当該仮想現実識別番号毎に各仮想現実の世界の構築に用いられる各データを仮想現実関連データとして取得して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。
【０１４２】
仮想現実サービス提供制御部２４０は、仮想現実サービスの提供を開始する場合に、仮想空間生成処理部８１０と仮想現実オブジェクト配置処理部８２０にそれぞれ仮想空間の生成指示及び仮想現実オブジェクトの配置指示を出す。
【０１４３】
また、仮想現実サービス提供制御部２４０は、仮想現実提示用の映像データの生成指示と仮想現実提示用の音声データの生成指示を表示映像生成処理部２６０と再生音声生成処理部２７０にそれぞれ出す。
【０１４４】
また、仮想現実サービス提供制御部２４０は、仮想現実関連データ取得部８８０に、ユーザに提供される仮想現実サービスに係る仮想現実の世界の構築に用いられるデータの取得指示を出す。
【０１４５】
仮想現実コンテンツ記憶ＤＢ４００は、仮想現実サービスを実現するためのデータである仮想現実コンテンツを記憶している。仮想現実コンテンツには、仮想現実オブジェクトの他、仮想現実サービスの進行を制御する仮想現実サービス制御プログラムや仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラム、仮想現実提示用の音声データである仮想現実提示用音声データなどを記憶している。
【０１４６】
仮想現実サービス提供制御部２４０は、仮想現実コンテンツ記憶ＤＢ４００に記憶されている仮想現実サービス制御プログラムを実行することで、仮想現実サービスの開始や終了などの各種制御を行う。
【０１４７】
仮想空間生成処理部８１０は、仮想現実サービス提供制御部２４０からの仮想空間生成指示に基づいて、当該仮想現実サービスに使用する仮想空間を生成する。仮想空間は、所定の広さを有する座標空間であって、現実の世界の空間と対応するように人工的に創り出される情報処理上の空間である。
【０１４８】
仮想現実サービス提供制御部２４０は、開始する仮想現実サービスに対応する広さの仮想空間の生成指示を仮想空間生成処理部８１０に出し、仮想空間生成処理部８１０は、当該仮想空間生成指示で示される広さの仮想空間を生成する。
【０１４９】
仮想現実オブジェクト配置処理部８２０は、仮想現実サービス提供制御部２４０からの仮想現実オブジェクト配置指示に基づいて、当該仮想現実サービスに係る仮想現実オブジェクトを仮想現実コンテンツ記憶ＤＢ４００より読み出して仮想空間生成処理部８１０が生成した仮想空間に配置する。
【０１５０】
ここで、仮想現実オブジェクト配置処理部８２０は、配置する仮想現実オブジェクトが複数になる場合は、読み出した仮想現実オブジェクトを異なるレイヤーの仮想空間に配置する。
【０１５１】
すなわち、仮想空間生成処理部８１０は、原点を共通とする複数のレイヤーの仮想空間を生成し、仮想現実オブジェクト配置処理部８２０は、仮想現実コンテンツ記憶ＤＢ４００より読み出した複数の仮想現実オブジェクトをそれぞれ異なるレイヤーの仮想空間に配置する。
【０１５２】
図１７は、当該複数の仮想現実オブジェクトを仮想空間の異なるレイヤーにそれぞれ配置する場合を示している。象と犬とライオンの３つの仮想現実オブジェクトがそれぞれ原点を共通とする３つの異なるレイヤーの仮想空間に分けて配置されている。
【０１５３】
視点制御部８３０は、通信部２１０で受信されたユーザ状態情報に基づいて、仮想空間生成処理部８１０が生成した仮想空間において、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とを制御する。視点制御部８３０は、ユーザ状態情報に含まれる傾き情報や加速度情報に基づいて特定されるユーザ頭部の傾きの変化や加速度の変化から、ユーザの目の位置及び視線方向に対応する視点位置座標と視線方向とをそれぞれ算出して更新する。ここで、ユーザ状態情報には、対応するユーザ状態が検知されたタイミングを示すタイムスタンプであるユーザ状態検知時刻情報が含まれているため、視点制御部８３０は、現在の視点位置座標及び視線方向が、どの時刻に検知されたユーザ状態に基づいて設定されている視点位置座標及び視線方向であるかを管理する。
【０１５４】
光源制御部８４０は、画像解析処理部２３０で抽出された光学成分情報に基づいて、仮想空間生成処理部８１０が生成する上記仮想空間における光源の位置座標や光源の照度又は輝度を更新する。例えば、光源制御部８４０は、画像解析処理部２３０によって求められた周囲景色画像における平均輝度に基づいて、無限遠方の光源の照度又は輝度を設定する。また、画像解析処理部２３０において周囲景色画像で現れる影の位置等に基づいて抽出された光学成分情報に基づいて、局所的な光源を新たに仮想空間内の対応する位置に配置する。その他、光源制御部８４０は、画像解析処理部２３０で抽出された光学成分情報に基づいて光源の色（色差情報）を設定しても良い。
【０１５５】
モデルデータ配置処理部８５０は、画像解析処理部２３０において生成されたユーザの周囲の現実世界に存在する物体等のモデルデータを仮想空間に配置する。モデルデータ配置処理部８５０は、視点制御部８３０で制御される視点位置及び視線方向に基づいて、周囲景色画像がどの位置からどの方向に向かって撮影された映像であるかを特定し、画像解析処理部２３０で生成された各物体のモデルデータを仮想空間に配置する。
【０１５６】
ここで、仮想空間生成処理部８１０は、当該現実の世界に存在する物体のモデルデータを配置するモデルデータ専用レイヤーの仮想空間を生成することが好ましい。モデルデータ配置処理部８５０は、画像解析処理部２３０で生成された現実の世界の物体のモデルデータを当該モデルデータ専用レイヤーの仮想空間に配置する。
【０１５７】
仮想現実オブジェクト挙動制御部２５０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト配置処理部８２０によって仮想空間の各レイヤーにそれぞれ配置されている仮想現実オブジェクトの中には、例えば人間や動物の仮想現実オブジェクトのように動作可能なように構成されているものがある。仮想現実オブジェクト挙動制御部２５０は、仮想現実コンテンツ記憶ＤＢ４００の中から当該仮想現実オブジェクトの挙動制御プログラムを読み出して実行することで、仮想空間に配置されている仮想現実オブジェクトの外観形状を変化させたり、仮想現実オブジェクトを仮想空間内で移動させたりする。
【０１５８】
表示映像生成処理部２６０は、仮想現実提示用の映像を生成する。表示映像生成処理部２６０は、描画処理部２６１と、映像符号化処理部２６２とを備える。
【０１５９】
描画処理部２６１は、仮想現実サービス提供制御部２４０からの仮想現実提示用映像生成指示に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画することで仮想現実提示用の映像を生成する。ここで、描画処理部２６１は、仮想現実のレイヤー毎にそれぞれ描画処理を行うことでレイヤー毎の仮想現実提示用の映像を生成する。
【０１６０】
描画処理部２６１は、仮想空間のレイヤーの一つとモデルデータ専用レイヤーを選択し、視点制御部８３０で設定される現在の視点位置座標及び視線方向に基づいて、当該選択したレイヤーの仮想空間にそれぞれ配置されている仮想現実オブジェクトと現実の世界の物体のモデルとを、当該視点位置座標から視線方向前方に配置したイメージプレーンへ投影する投影処理を行う。描画処理部２６１は、当該投影処理によって得られた２次元投影画像の中から現実の世界の物体のモデル部分を消去することで、選択したレイヤーに配置された仮想現実オブジェクトの２次元投影画像を取得する。
【０１６１】
描画処理部２６１は、上記投影処理で得られた２次元投影画像を所定の大きさに切り取るクリッピング処理を行う。ここで、描画処理部２６１は、仮想現実提示装置１００の表示パネルにおける解像度を上回る範囲で切り取ることを特徴とする。例えば、仮想現実提示装置１００の表示パネルが１０８０画素×１９２０画素の解像度を有する場合、描画処理部２６１は、２次元投影画像を１割増しの１１８８×２１１２で切り取るクリッピング処理を行う。なお、どの程度サイズを大きくして切り取るかはユーザ状態の変化の大きさに基づいて決定されていても良い。ユーザが静止している場合は、後続の補正処理が必要ではなく、大き目に切り取る必要がないためである。
【０１６２】
次に、描画処理部２６１は、当該仮想現実オブジェクトのテキスチャーマッピングデータをクリッピング処理後の２次元投影画像に張り付けるテキスチャーマッピング処理を行う。
【０１６３】
次に、描画処理部２６１は、光源制御部８４０で設定される光源に基づいて、上記２次元投影画像に陰影をつけるシェーディング処理を行う。描画処理部２６１は、必要に応じてアンチエリアシング処理を行い、当該レイヤーの仮想現実提示用映像とする。
【０１６４】
ここで、描画処理部２６１は、当該描画して生成したレイヤーの仮想現実提示用映像が、どの時刻のユーザ状態に基づいて描画された映像であるかを示す情報を付与して当該レイヤーの仮想現実提示用映像を生成する。描画処理に使用する視点位置座標及び視線方向は、視点制御部８３０によって更新・設定されるが、現在使用する視点位置座標及び視線方向を設定する際に用いられたユーザ状態が検知された時刻を示すタイムスタンプであるユーザ状態検知時刻情報を付与して当該レイヤーの仮想現実提示用映像を生成する。
【０１６５】
描画処理部２６１は、仮想空間生成処理部８１０で生成されている各レイヤーの仮想空間を並列処理で描画することで、レイヤー毎の仮想現実提示用映像を生成する。
【０１６６】
映像符号化処理部２６２は、描画処理部２６１で生成された各レイヤーの仮想現実提示用映像を符号化してレイヤー別仮想現実提示用符号化映像データを生成する。当該レイヤー別仮想現実提示用符号化映像データは、通信部２１０より仮想現実提示装置１００に送信される。
【０１６７】
レイヤー順序更新処理部８６０は、仮想空間生成処理部８１０が生成する仮想空間の各レイヤーの順序を更新する。描画処理部２６１でレイヤー毎に描画が行われてレイヤー別の仮想現実提示用映像が生成されるため、最終的に仮想現実提示装置１００において複数のレイヤー別仮想現実提示用映像を合成する必要がある。そのため、レイヤー順序更新処理部８６０は、各仮想空間のレイヤーに順序を設定しておき、当該レイヤーの順序を更新する。
【０１６８】
レイヤーの順序は、ユーザの位置と仮想現実オブジェクトの位置との関係で決定される。すなわち、ユーザから近い方の仮想現実オブジェクトが配置されているレイヤーから順番にレイヤー順序が決定される。ユーザの位置は、適宜変化していくし、仮想現実オブジェクトの位置も仮想現実オブジェクト挙動制御部２５０が行う挙動制御によって変化していく。そこで、レイヤー順序更新処理部８６０は、通信部２１０で受信されたユーザ状態情報に基づいて視点制御部８３０によって制御されるユーザの視点位置座標（又はユーザ位置座標）と、仮想空間の各レイヤーにそれぞれ配置されている各仮想現実オブジェクトの位置座標とに基づいて、レイヤー順序を更新する。
【０１６９】
例えば、図１８のように仮想空間のレイヤー１〜３に仮想現実オブジェクトＡ〜Ｃがそれぞれ配置されている場合において、状態１ではユーザに近い方から仮想現実オブジェクトＡ、Ｂ、Ｃの順番である。従って、レイヤー順序更新処理部８６０は、レイヤー１，２，３の順序とする。ここで、ユーザが現実の世界で移動したことによって状態２の位置関係となった場合、ユーザに近い方から仮想現実オブジェクトはＢ，Ｃ、Ａの順番である。従って、レイヤー順序更新処理部８６０は、レイヤー順序をレイヤー２、３、１に変更することでレイヤー順序を管理する。
【０１７０】
レイヤー情報生成処理部８７０は、レイヤー順序更新処理部８６０における更新処理に基づいて現在のレイヤー順序を示すレイヤー情報を生成する。レイヤー情報生成処理部８７０は、レイヤーの順序を示すレイヤー順序情報の他、ユーザと各レイヤーとの位置関係を示す位置関係情報、各レイヤーに含まれる仮想現実オブジェクトの種類や数、各レイヤーの重要度などの情報を含めてレイヤー情報を生成することが好ましい。なお、位置関係情報は、ユーザの位置から各レイヤーにそれぞれ含まれる仮想現実オブジェクトまでの距離やベクトルを示す情報である。当該レイヤー情報は、レイヤー別の仮想現実提示用映像符号化データと共に通信部２１０より仮想現実提示装置１００に送信される。
【０１７１】
再生音声生成処理部２７０は、仮想現実サービス提供制御部２４０からの仮想現実提示用音声生成指示に基づいて、仮想現実コンテンツ記憶ＤＢ４００より提供する仮想現実サービスに係る仮想現実提示用音声データを読み出し、チャンネル別の仮想現実提示用音声データを生成する。
【０１７２】
例えば、再生音声生成処理部２７０は、視点制御部８３０で設定される視点位置と、仮想現実オブジェクト配置処理部８２０が配置する仮想現実オブジェクトの位置との相対関係に基づいて、仮想現実コンテンツ記憶ＤＢ４００より読み出した仮想現実提示用の音声データを複数のチャンネルに分配することでチャンネル別仮想現実提示用音声データを生成する。
【０１７３】
ここで、再生音声生成処理部２７０は、仮想現実コンテンツ記憶ＤＢ４００より複数の仮想現実提示用音声データを読み出し、それぞれ各チャンネルの音声データに分配した上で合成することでチャンネル別仮想現実提示用音声データを生成する。ここで、チャンネルとしては、５．１Ｃｈ、６．１Ｃｈ、７．１Ｃｈなど複数チャンネルの音声出力部５３０を仮想現実提示装置１００側に設け、立体音響を実現できるようにしておくことが好ましい。
【０１７４】
また、再生音声生成処理部２７０は、音声解析処理部２２０で解析される周囲音声情報からユーザの周囲環境の雑音レベルを抽出し、当該抽出した雑音レベルに基づいて、読み出した仮想現実提示用音声データに対して増幅処理を行う構成とすると更に良好である。
【０１７５】
また、再生音声生成処理部２７０は、当該生成したチャンネル別仮想現実提示用音声データを所定の符号化形式で符号化することでチャンネル別仮想現実提示用音声符号化データを生成する。当該チャンネル別仮想現実提示用音声符号化データは、通信部２１０より仮想現実提示装置１００に送信される。
【０１７６】
また、再生音声生成処理部２７０は、音声合成処理によって人工音声を生成し、当該音声データを符号化することで仮想現実提示用音声符号化データを生成しても良い。この場合、再生音声生成処理部２７０は、応答音声コンテキスト生成処理部と、音声合成処理部と、音声符号化処理部とを具備する。
【０１７７】
応答音声コンテキスト生成処理部は、通信部２１０で受信されたユーザ状態情報や、音声解析処理部２２０で抽出される音声コンテキストや感情要素に関する情報、画像解析処理部２３０による画像解析処理で抽出される各種情報に基づいて、現在仮想空間に配置されている仮想現実オブジェクトが発する応答音声の音声コンテキストを生成する。音声合成処理部は、仮想現実コンテンツ記憶データベース４００に記憶されている当該仮想現実オブジェクトに関連付けられている音声基礎データ（音素データ）を上記生成された音声コンテキストに従って繋ぎ合わせた後に、所定のフィルタリング処理を行うことで、応答音声データを生成する。なお、応答コンテキスト生成処理部は、当該入力したユーザ状態情報や音声コンテキスト、感情要素の情報に基づいて、応答音声に係る感情要素に係る情報を更に生成し、音声合成処理部は、当該感情要素に係る情報に基づくフィルタ係数でフィルタリング処理を実行することでピッチや音声レベル、会話速度などを変化させた合成音声データを生成する構成とすると更に良好である。音声符号化処理部は、当該生成された合成音声データを仮想現実提示用音声データとし、ＣＥＬＰなどの符号化形式で音声符号化を行うことで仮想現実提示用音声符号化データを生成する。当該構成としても良い。
【０１７８】
仮想現実関連データ取得部８８０は、仮想現実提示装置１００を装着しているユーザに提示される仮想現実の世界を実現するために用いられる各種データを仮想現実関連データとして取得する。
【０１７９】
例えば、仮想現実関連データ取得部８８０は、通信部２１０より仮想現実提示装置１００へ送信される各種情報を監視しており、仮想現実提示用映像データや仮想現実提示用音声データと言った当該仮想現実提示装置１００へ送信されるデータを取得する。
【０１８０】
仮想現実関連データ取得部８８０は、取得した仮想現実関連データを、提示済み仮想現実関連データ記憶ＤＢ５００に格納する。提示済み仮想現実関連データ記憶ＤＢ５００は、ユーザに提示された仮想現実の世界を実現するために用いられた各種情報を提示済み仮想現実関連データとして記憶・保管する。例えば、ユーザに提示された仮想現実サービスが「アイドルＸと１時間デート」という仮想現実提示サービスであった場合、仮想現実関連データ記憶ＤＢ５００には、当該アイドルＸの仮想現実オブジェクトの映像や当該アイドルＸの仮想現実オブジェクトより発せられた音声などのデータが仮想現実関連データとして記憶・保管される。提示済み仮想現実関連データ記憶ＤＢ５００は、仮想現実関連データ取得部８８０で取得された仮想現実関連データを、提示済みの仮想現実の世界を再現するために用いるデータとして記憶・保管する。
【０１８１】
仮想現実関連データ取得部８８０で取得される仮想現実提示用映像データや仮想現実提示用音声データは、仮想現実提示装置でそれぞれ表示及び出力されるデータであり、仮想現実の世界を提示するために用いられる。従って、これらのデータを記憶保管しておくことで、後日、提示済み仮想現実関連データ記憶ＤＢ５００よりこれらのデータを読み出して再生することで、同一の仮想現実の世界を再現することが可能である。
【０１８２】
仮想現実関連データ取得部８８０は、取得した各仮想現実の世界に係る各仮想現実関連データ毎に仮想現実識別情報と対応付けた状態で当該仮想現実関連データをデータベース５００に格納する。
【０１８３】
仮想現実提示装置１００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、音声入力部１３０と、表示制御部１４０と、表示部１５０と、音声再生制御部１６０と、音声出力部１７０と、仮想現実提示制御部１８０と、通信部１９０とを備える。
【０１８４】
ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知する傾きセンサ１１１と、ユーザの頭部の加速度を検知する加速度センサ１１２とを備える。なお、ユーザ状態検知部１１０としては、ユーザの方位を検知する方位センサや、ユーザの位置を検知する位置センサ、ユーザの体温や血圧、脈拍、脳波などの生体反応を検知する生体反応センサ、ユーザの表情を撮影する内部カメラなどで構成されていても良い。これらのセンサ等における検知結果は、検知時刻を示すタイムスタンプであるユーザ状態検知時刻情報と共にユーザ状態情報として纏められ、通信部１９０より仮想現実サービス提供サーバ８００に送信される。また、ユーザ状態情報の一部の情報は、表示制御部１４０における映像補正処理に用いられる。
【０１８５】
周囲状況検知部１２０は、ユーザの視線に対応するユーザ前方を撮影する視線カメラ１２１と、ユーザの両側や後方などユーザ周辺を撮影する周辺カメラ１２２とを備える。視線カメラ１２１はユーザの左目と右目の位置にそれぞれ配置される。これらのカメラで撮影されて取得される周囲景色画像は、撮影時刻を示すタイムスタンプである周囲状況検知時刻情報と共に周囲状況情報として纏められ、通信部１９０より仮想現実サービス提供サーバ８００に送信される。
【０１８６】
音声入力部１３０は、ユーザの口元付近に設置され、ユーザが発する音声を集音してユーザ音声情報を入力するユーザマイク１３１と、ユーザの周囲である外部環境からの音声を集音して周囲音声情報を入力する周辺マイク１３２と、を備える。音声入力部１３０で入力される各音声情報は通信部１９０より仮想現実サービス提供サーバ８００に送信される。
【０１８７】
通信部１９０は、仮想現実サービス提供サーバ８００とインターネット等の通信網を介して通信を行う。通信部１９０は、ユーザ状態検知部１１０で検知されたユーザ状態情報や周囲状況検知部１２０で検知された周囲状況情報、その他、音声入力部１３０で入力された音声情報を無線送信する無線送信部と、仮想現実サービス提供サーバ８００より送信される仮想現実提示用映像符号化データやレイヤー情報、仮想現実提示用音声符号化データ、各種通知情報などを無線受信する無線受信部を備える。
【０１８８】
表示制御部１４０は、映像復号化処理部１４１と、映像補正処理部１４２と、映像合成処理部１４３と、表示領域選択部１４４と、を備える。
【０１８９】
映像復号化処理部１４１は、通信部１９０で受信されたレイヤー毎の仮想現実提示用映像符号化データに復号化処理を行い、レイヤー毎の仮想現実提示用映像データを取得する。
【０１９０】
映像補正処理部１４２は、復号化されたレイヤー毎の仮想現実提示用映像データの位置補正をユーザ状態検知部１１０で検知されたユーザ状態と通信部１９０で受信されたレイヤー情報に含まれる位置関係情報とに基づいて行う。
【０１９１】
表示映像生成処理部２６０で生成される各仮想現実提示用映像データは、視点制御部８３０がユーザ状態に基づいて制御する視点位置及び視線方向に基づいて生成されている。ここで、ユーザの視点位置や視線方向は、仮想現実提示装置１００と仮想現実サービス提供サーバ８００との間の通信ラグや描画処理や符号化処理、復号化処理等に要する時間の間に変化している可能性がある。そのため、映像補正処理部１４２は、生成された仮想現実提示用映像に所定の補正を行うことで、現在のユーザ状態に適合した映像となるように補正する。
【０１９２】
例えば、図１９に示すようにレイヤー１とレイヤー２の２枚の仮想現実提示用映像があり、各レイヤーの位置関係情報で示される各レイヤーに含まれる仮想現実オブジェクトまでの相対位置ベクトル（ｘ、ｙ、ｚ）は、それぞれ（＋０．３、＋２．２、−０．４）と（＋２．１、＋２１．４、＋０．６）であるとする。ここで、ユーザが−Ｘ方向に移動している場合、当該映像生成時と現在とでは視点位置及び視線方向が相違している。そこで、映像補正処理部１４２は、仮想現実提示用映像に付与されているユーザ状態検知時刻情報と現在の時刻との間で変化したユーザ状態に基づいて、映像に含まれる仮想現実オブジェクトの位置や大きさなどを補正する。視点位置及び視線方向の変化に伴って、仮想現実オブジェクトの映像をどの様に補正するかは、視点位置及び視線方向と仮想現実オブジェクトとの間の相対位置関係によって定まるため、映像補正処理部１４２は、レイヤー毎に仮想現実提示用映像に対して補正量を算出した上で補正処理を行う。
【０１９３】
映像合成処理部１４３は、補正処理後の各レイヤーの仮想現実提示用映像を、レイヤー情報に含まれるレイヤー順序情報に従って重ね合わせることで合成する処理を行う。後方のレイヤーに含まれる仮想現実オブジェクトの映像は、前方のレイヤーに含まれる仮想現実オブジェクトによって重なり部分が隠される。
【０１９４】
表示領域選択部１４４は、合成処理後の仮想現実提示用映像の中から表示パネル１５１で表示する領域を選択する。各仮想現実提示用映像は、上記補正処理に対応できるように表示パネル１５１の解像度よりも大きい解像度の映像であるため、補正処理及び合成処理後の仮想現実提示用映像の中から表示パネル１５１で表示する範囲を選択する。
【０１９５】
表示部１５０は、表示制御部１４０からの制御に従って仮想現実提示用の映像を表示する。表示部１５０は、具体的にユーザの左右の目の前方位置に配置される２つの表示パネル１５１ａ、１５１ｂであって、表示制御部１４０の表示領域選択部１４４で選択された各仮想現実提示用の映像を表示する。視点制御部８３０は、ユーザの左目と右目に対応する２つの視点位置座標及び視線方向を設定し、表示映像生成処理部２６０は、これら２つの視点からそれぞれ描画して右目用の仮想現実提示用映像と左目用の仮想現実提示用映像を生成する。ライト表示パネル１５１ａとレフト表示パネル１５１ｂには、これらの生成された仮想現実提示用映像が補正処理やレイヤー合成処理を経て表示される。
【０１９６】
再生音声制御部１６０は、通信部１９０で受信された仮想現実提示用音声符号化データに対して復号化処理を行い、必要に応じて復号化処理後の音声データを各チャンネルに分配する分配処理や、音声レベルを調整する増幅処理を行う。
【０１９７】
音声出力部１７０は、再生音声制御部１６０からの制御に従って、各チャンネルの仮想現実提示用の音声を出力する。具体的に、音声出力部１７０は、複数のスピーカ１７１ａ１７１ｂで構成され、再生音声制御部１６０で再生される仮想現実提示用の音声データにＤＡ変換処理を行ってアナログ電気信号に変換し、更に空気振動に変換して外部へ放音することで音声を出力する。
【０１９８】
仮想現実提示制御部１８０は、仮想現実提示装置１００側の仮想現実提示用の各処理を制御する。仮想現実提示制御部１８０は、通信部１９０で受信された各種通知情報やパラメータ変更情報などに基づいて、ユーザ状態や周囲状況の検知周期や映像表示のフレームレート、送受信におけるデータの符号化・復号化形式等を設定する。例えば、仮想現実提示制御部１８０は、仮想現実サービス提供開始情報に含まれる仮想現実制御パラメータ情報の検知ユーザ状態指定情報に基づいてユーザ状態検知部１１０で検知させるユーザ状態の種類を設定したり、ユーザ状態検知頻度に基づいて、ユーザ状態検知部１１０で検知させるユーザ状態の検知頻度を設定したりする。
【０１９９】
また、仮想現実提示制御部１８０は、仮想現実提示装置１００のバッテリー残量や温度、リソース消費量や無線通信速度などの状態を監視し、これらの情報をレポートに纏めて仮想現実サービス提供サーバ８００に送信する。当該レポートは仮想現実サービス提供制御部２４０に送られて、各種制御に利用される。
【０２００】
通信部１９０は、装置１００内で生成されるユーザ状態情報、周囲状況情報、音声情報、各種制御情報を仮想現実サービス提供サーバ８００に送信し、仮想現実サービス提供サーバ８００より送信される仮想現実提示用映像符号化データ、仮想現実提示用音声符号化データ、各種制御情報や通知情報を受信する。
【０２０１】
以上のように、本実施形態３に係る仮想現実提示システムでは、ユーザに提示された仮想現実の世界を再現可能な状態で当該仮想現実の世界に係る関連データを記憶・保管する。従って、自身が体験した世界が仮想現実の世界であったか現実の世界であったか判断がつかなくなった場合に、当該記憶保管されている関連データに基づいて、同一の仮想現実の世界を再現することでユーザは、適切に仮想現実の世界であったと言うことを判断することができる。
【０２０２】
なお、上記説明では仮想現実関連データ取得部８８０は、仮想現実提示装置１００に送信される仮想現実提示用映像データと仮想現実提示用音声データとを取得してデータベース５００に格納する場合について説明したが、更に周囲状況情報を合わせて取得し、データベース５００へ格納する構成とすると更に良好である。
【０２０３】
ユーザは、仮想現実提示用映像と外界の景色とを同時に視ることで仮想現実の世界を感知している。ここで、後日仮想現実の世界を再現する場合に、外界の景色が異なっていることがある。例えば、ユーザは公園にいる時に「アイドルＸと一時間デート」と言う仮想現実サービスを受けていた場合には、ユーザにはアイドルＸと公園で１時間デートをしていたと言う体験が残るのに対し、後日自宅で再現する場合は、外界の景色が自宅の景色であるため、同一の映像や音声を再生したとしても、当時感じていた仮想現実の世界とは異なる印象を受ける。
【０２０４】
そこで、周囲状況検知部１２０で検知された周囲状況情報である周囲景色画像を合わせて記憶しておき、再現時には、視線カメラ１２１で撮影された視線景色画像と、仮想現実提示用映像とを合成して表示することで、当時の仮想現実の世界と同様の世界を再現することが可能となる。視線景色画像には、当時ユーザが見ていた外界の景色と同等の景色である公園の景色が含まれているためであり、その画像に仮想現実提示用映像であるアイドルＸの仮想現実オブジェクトの映像を多重合成することで、当時ユーザが感知していた光景が再現される。
【０２０５】
なお、仮想現実関連データ取得部８８０は、仮想現実提示装置１００で入力される音声情報を更に取得し、データベース５００へ格納する構成とすると更に良好である。ユーザ自身がどのような言葉を発していたかや、周囲でどのような雑音等が聞こえていたかまで再現できるため、仮想現実の世界の再現度合いを高めることができる。
【０２０６】
なお、上記説明では、通信部２１０より送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データとを仮想現実関連データとして記憶する場合について説明したが、当該映像データは容量が大きいため、データベース５００に十分のスペースを確保しておかなければならないと言った問題が発生する。また、当該仮想現実提示用映像は当時のユーザ状態に基づいて制御された映像であるが、再現時のユーザ状態は当時のユーザ状態とは異なっているため、再現時に表示パネル内で仮想現実オブジェクトが勝手に動いてしまうことになる。
【０２０７】
そこで、仮想現実関連データ取得部８８０は、別の情報を仮想現実関連データとして取得する構成とすることも可能である。図２０は、仮想現実関連データ取得部８８０が、後日再現可能なように取得する仮想現実関連データの組み合わせの一例を示す図である。
【０２０８】
パターン０１では、仮想現実関連データ取得部８８０は、上述したように仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データとを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。この場合における取得されたこれらの仮想現実関連データに基づいてユーザに提示された仮想現実の世界を再現する場合の再現度は１０段階評価で５となる。ユーザが感知する仮想現実の世界は、周囲の雑音や周囲の景色の要素もあるが、これらの情報だけではこれらの要素部分については再現することができないためである。
【０２０９】
パターン０２では、仮想現実関連データ取得部８８０は、仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データに加えて通信部２１０で受信される視線景色画像を順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。視線景色画像を取得して時系列に纏めて保管しておくことで、当該視線景色画像に仮想現実提示用映像符号化データを復号化した仮想現実提示用映像を多重合成することで、当時ユーザが見ていた光景を高いレベルで再現することが可能となる。従って、この場合の再現度は、より高い６に設定されている。
【０２１０】
パターン０３では、仮想現実関連データ取得部８８０は、通信部２１０より仮想現実提示装置１００へ送信される仮想現実提示用映像符号化データと仮想現実提示用音声符号化データと、通信部２１０で受信される視線景色画像とユーザ音声情報とを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。ユーザ音声情報を合わせて取得及び保管しておくことで、当時ユーザが仮想現実オブジェクトに対してどのような言葉をかけていたかを再現できるため、その当時の状況をより高いレベルで再現可能となる。従って、この場合の再現度は、更に高い６に設定されている。なお、仮想現実関連データ取得部８８０は、周辺音声情報を更に取得してデータベース５００に格納する構成とすると更に再現度は高くなる。
【０２１１】
パターン０４では、仮想現実関連データ取得部８８０は、通信部２１０で受信されるユーザ状態情報と、周囲状況情報と、音声情報（ユーザ音声情報及び周辺音声情報）と、制御プログラム実行履歴を示す制御プログラム実行履歴情報とを順次取得・収集して提示済み仮想現実関連データ記憶ＤＢ５００に格納する。
【０２１２】
仮想現実の世界を再現するために必要となる情報は仮想現実サービス提供サーバ８００からのアウトプットであるが、当該アウトプットである仮想現実提示用映像と仮想現実提示用音声は、サーバ８００に対するインプットと、そのインプットによって実行されるプログラムによって生成される。従って、当該インプットと、実行されたプログラムの履歴を順次取得・保管しておくことで、これらの情報に基づいてシミュレーションすることでアウトプットを再び得ることが可能となり、仮想現実の世界を再現することができる。
【０２１３】
ここで、制御プログラム実行履歴情報は、仮想現実サービス提供制御部２４０が仮想現実コンテンツ記憶ＤＢ４００より読み込んで実行する制御プログラムの種類と時刻との関係を纏めた情報である。仮想現実関連データ取得部８８０は、仮想現実サービス提供制御部２４０を監視しておき、当該仮想現実サービス提供制御部２４０で実行される制御プログラムの種類と時刻とを纏めた制御プログラム実行履歴情報を取得する。なお、仮想現実関連データ取得部８８０は、仮想現実オブジェクト挙動制御部２５０で実行される仮想現実オブジェクト挙動制御プログラムの種類と時刻と更に纏めて上記制御プログラム実行歴情報を取得する構成とすると更に良好である。このパターン０４における再現度は５となる。
【０２１４】
パターン０５では、仮想現実関連データ取得部８８０は、視点制御部８３０で制御される視点位置座標及び視線方向に関する視点情報と、光源制御部８４０で制御される光源の位置座標や光源照度、光源の色などに関する光源情報と、モデルデータ配置処理部８５０が配置する現実の世界の物体のモデルデータに関するモデルデータ情報と、仮想空間に配置されている仮想現実オブジェクトの履歴を示す仮想現実オブジェクト履歴情報と、を順次取得してデータベース５００に格納する。
【０２１５】
通信部２１０で受信されるユーザ状態情報や周囲状況情報は、座標情報や光源情報などを求めるために使用するための情報である。従って、ユーザ状態情報や周囲状況情報ではなく、これらの情報を処理することで得られる結果である座標情報や光源情報を仮想現実関連データとして取得する。当該構成とすることで、記憶する情報量を更に圧縮することができる。座標情報は、仮想空間における視点位置座標及び視線方向の時間的推移を纏めた履歴情報であり、光源情報は仮想空間における光源位置座標及び光源照度、光源の色などに関する情報の時間推移を纏めた履歴情報である。
【０２１６】
仮想現実オブジェクト履歴情報は、仮想空間に配置されている仮想現実オブジェクトを識別する識別情報（識別番号）と、仮想現実オブジェクトの仮想空間内での位置座標、仮想現実オブジェクトの挙動に係る情報などを時系列で纏めた履歴情報である。仮想現実オブジェクトは、仮想現実オブジェクト挙動制御プログラムによって、関節データや骨格データなどのポイントを変化させたり、表面に張り付けられるテキスチャーデータの種類を変更したりすることで外観が変化する。仮想現実オブジェクトの挙動に係る情報とは、例えば仮想現実オブジェクトにおける可動部分である関節ポイントの位置座標や角度を規定する関節データや表面に張り付けられるテキスチャーの種類や表情を規定するパラメータ値などが含まれる。仮想現実関連データ取得部８８０は、仮想現実オブジェクト配置処理部８２０によって仮想空間に配置される仮想現実オブジェクトを監視したり、仮想現実オブジェクトにおける関節データや骨格データやテキスチャーデータの時間変化を監視することで、仮想現実オブジェクト履歴情報を取得する。
【０２１７】
仮想現実オブジェクト履歴情報に従って仮想現実コンテンツ記憶ＤＢ４００より仮想現実オブジェクトを読み出して仮想空間に再度配置及び挙動を制御し、視点情報で示される視点位置からイメージプレーンに投影すると共に光源情報に基づいてシェーディング処理を行うことで、当時生成された映像を再度生成することが可能となる。従って、当時の仮想現実の世界を再現することが可能となる。この場合の再現度は３となる。
【０２１８】
パターン０６では、仮想現実関連データ取得部８８０は、視点情報と、光源情報と、仮想現実オブジェクト履歴情報と、視線景色画像とユーザ音声情報と、を取得してデータベース５００に格納する。ここで、パターン０５のモデルデータは、当時における陰面処理に用いられるデータであるが、再現時とではユーザの周囲の環境が変わっているため当該処理は、仮想現実提示用映像を再生成する過程で殆ど意味をなさないため仮想現実関連データとしては取得していない。代わりに、視線景色画像とユーザ音声情報とを記憶しておくことで、当時の光景や自身が発した音声を再現することができる。この場合は、仮想現実の世界の再現度が比較的高いため、再現度は８に設定されている。
【０２１９】
パターン０７では、仮想現実関連データ取得部８８０は、光源情報と、仮想現実オブジェクト履歴情報と、再生音声生成履歴情報と、を取得してデータベース５００に格納する。仮想現実提示用音声は、再生音声生成処理部２７０が仮想現実コンテンツ記憶ＤＢ４００より関連する音声データを適宜読み出して生成するが、どの音声データをどの時刻に読み出したかの履歴がわかれば仮想現実提示用音声を再現することができる。そこで、仮想現実関連データ取得部８８０は、再生音声生成処理部２７０を監視し、再生音声生成処理部２７０が読み出す音声データの履歴を再生音声生成履歴情報として取得する。
【０２２０】
パターン０５と比較して視点情報が取得されていないため、当時と同じ角度や距離から仮想現実オブジェクトを観察することはできないが第３者の立場から仮想現実オブジェクトを観察することができるため、当時の仮想現実の世界を再現することができる。但し、この場合の再現度は比較的低く、再現度は４である。
【０２２１】
パターン０８では、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報を仮想現実関連データとして取得し、データベース５００に格納する。
【０２２２】
仮想現実サービス提供サーバ８００から仮想現実提示装置１００へのアウトプットは、仮想現実コンテンツ記憶ＤＢ４００から読み出した各種データやプログラムを実行することで得られるため、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴を抑えておくことで、仮想現実の世界を再現することが可能である。
【０２２３】
パターン０９では、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報と、通信部２１０で受信されたユーザ状態情報と、音声解析処理部２２０における音声解析結果である音声コンテキスト情報と、画像解析処理部２３０における画像解析結果とを仮想現実関連データとして取得し、データベース５００に格納する。
【０２２４】
以上のように、仮想現実関連データ取得部８８０は、仮想現実提示装置１００がユーザに提示した仮想現実の世界を構築するために用いるデータを仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶ＤＢ５００は、当該仮想現実関連データを記憶しておく。どのような種類のデータを仮想現実関連データとして取得及び記憶するかによって、再現する仮想現実の世界の再現度（再現レベル）が変化する。
【０２２５】
一般的に、記憶する仮想現実関連データのデータ量が多いほど、仮想現実の世界の再現度が上昇する一方で、使用されるかわからない大量のデータ記憶してくことはデータベースの使用効率を落とすことになるため、仮想現実の世界の再現度とデータ量との関係を考慮しながら、適宜選択することになる。
【０２２６】
ここで、仮想現実の世界を再現するためには、当該仮想現実の世界に表される仮想現実オブジェクトの映像が必要となる。そのため、当該仮想現実オブジェクトを描画済みの仮想現実提示用映像データか、又は、仮想空間に配置されていた当該仮想現実オブジェクトを導くための情報が最低限必要となる。これらの情報を記憶してくことで再現度１のレベルの仮想現実の世界を再現することが可能となる。
【０２２７】
ここで、仮想現実の世界の中では、当該仮想現実オブジェクトが動作する。従って、提示済みの仮想現実の世界に表されていた仮想現実オブジェクトが特定できたとしても、それだけでは当時ユーザが感じていた仮想現実の世界からは乖離がある。そのため、上記仮想現実提示用映像データを記憶しておくか、当該仮想現実オブジェクトの動作履歴を導くための情報を更に記憶しておくと再現度が上昇するため好ましい。
【０２２８】
また、仮想現実の世界の中では、当該仮想現実オブジェクトが音声を発する。この音声に心を打たれたユーザは、もう一度その音声を聞かなければ、それがバーチャルであったと信じられない可能性がある。そのため、仮想現実提示用音声データか、又は仮想現実オブジェクトが発した音声を導くための情報を更に記憶しておくと再現度が上昇するため好ましい。
【０２２９】
また、上述したように、ユーザは人工的に創り出された仮想現実提示用映像及び仮想現実提示用音声と、現実の世界からの景色や音声とを合わせて感知することで、仮想現実の世界を感知する。従って、当時の現実の世界における景色や現実の世界における周辺音声を記憶してくことが、ユーザが感知していた仮想現実の世界を高いレベルで再現するために好ましい。
【０２３０】
このように、一例としては、仮想現実関連データ取得部８８０は、仮想現実サービス提供サーバ８００から仮想現実提示装置１００へ送信される仮想現実提示用映像データと仮想現実提示用音声データとを仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想現実提示用映像データと仮想現実提示用音声データとを記憶する。
【０２３１】
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００から仮想現実サービス提供サーバ８００へ順次送信される前方景色画像を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された前方景色画像を仮想現実関連データとして記憶する。なお、仮想現実関連データ取得部８８０は、周辺景色画像を合わせて取得し、提示済み仮想現実関連データ記憶データベース５００が当該周辺景色画像を記憶すると更に良好である。
【０２３２】
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００から仮想現実サービス提供サーバ８００へ送信されるユーザ状態情報を順次取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得されたユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する。ユーザ状態情報として、ユーザの表情を撮影した内部カメラで撮影された画像などが含まれている場合には、ユーザが仮想現実の世界に夢中になっている表情が写っているため、当時の状況をより客観的に見直すことができる。
【０２３３】
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００で入力されるユーザ音声データや周辺音声データなどの各種音声データを取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された音声データを時系列に纏めた音声履歴情報を記憶する。仮想現実の世界に嵌まっているユーザは、仮想現実オブジェクトとの間で双方向に会話を行っているため、ユーザ側から発した音声や外部環境の音声などを合わせて記憶しておくことで、仮想現実の世界の再現度を高めることができる。
【０２３４】
また、別の形態として、仮想現実関連データ取得部８８０は、少なくとも仮想空間生成処理部８１０が生成する仮想空間に配置されていく仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を順次取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想空間に配置される仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する。当該構成によれば、仮想現実オブジェクト履歴情報に従って、仮想空間に再度仮想現実オブジェクト識別情報で識別される仮想現実オブジェクトを仮想現実コンテンツ記憶データベース４００より読み出して配置していくことで仮想現実の世界を一定レベルで再現することができる。
【０２３５】
ここで、仮想現実関連データ取得部８８０は、仮想現実オブジェクトの仮想空間内での位置座標と、仮想現実オブジェクトの挙動に係る情報とを仮想現実関連データとして取得すると更に良好である。提示済み仮想現実関連データ記憶データベース５００は、当該取得された仮想現実オブジェクトの仮想空間内での位置座標と、仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた仮想現実オブジェクト履歴情報を記憶する。当該構成とすることで、複数の仮想現実オブジェクトが同時に仮想空間に配置される場合は、仮想現実オブジェクトの相対的な位置関係が仮想現実の世界を再現する上で重要な要素となるが、この相対位置関係まで再現することが可能となる。また、仮想現実オブジェクトが動作可能なオブジェクトである場合は、その動作まで再現できることで、当時の仮想現実の世界を再現することができる。
【０２３６】
また、仮想現実関連データ取得部８８０は、少なくとも仮想空間生成処理部８１０が生成する仮想空間に配置されている仮想現実オブジェクトの挙動を制御する挙動制御プログラムの実行履歴を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該取得された共同制御プログラム実行履歴を時系列に纏めた挙動制御プログラム実行履歴情報を記憶する構成とすると良い。
【０２３７】
更に好ましくは、仮想現実関連データ取得部８８０は、仮想現実提示装置１００のユーザマイク１３１で入力されたユーザ音声の中から音声解析処理部２２０（音声コンテキスト抽出部）で順次抽出された音声コンテキストや感情要素に関する情報を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、順次取得された音声コンテキストや感情要素を時系列に纏めた音声コンテキスト履歴情報を記憶する。
【０２３８】
また、仮想現実関連データ取得部８８０は、仮想現実コンテンツ記憶データベース５００に対するアクセス履歴を仮想現実関連データとして取得し、提示済み仮想現実関連データ記憶データベース５００は、当該仮想現実コンテンツ記憶データベース５００に対するアクセス履歴を時系列に纏めたアクセス履歴情報を記憶する構成とすると良い。
【０２３９】
提示済み仮想現実関連データ記憶データベース５００は、上記の各種データを、仮想現実の世界を識別する仮想現実識別情報毎に対応付けて記憶すると、再現したい仮想現実の世界に係るデータ纏めて読み出せるため好ましい。
【０２４０】
図２１は、提示済みの仮想現実の世界を再現する仮想現実再現要求処理サーバ９００を含むシステム全体のブロック図である。仮想現実再現要求処理サーバ９００は、通信部９１０と、再現要求処理部９２０と、仮想現実関連データ読み出し部９３０と、音声解析処理部２２０と、画像解析処理部２３０と、仮想現実サービス提供制御部２４０と、仮想現実オブジェクト挙動制御部２５０と、表示映像生成処理部２６０と、再生音声生成処理部２７０と、仮想空間生成処理部８１０と、仮想現実オブジェクト配置処理部８２０と、視点制御部８３０と、光源制御部８４０と、を備える。
【０２４１】
通信部９１０は、仮想現実の再現を要求する仮想現実提示装置１００ｎやＰＣ２０との間で通信を行う。通信部９１０は、仮想現実の世界の再現を要求する仮想現実再現要求を受信する再現要求受信部９１１と、再現する仮想現実の世界を構築するための仮想現実提示用データを送信する再現仮想現実提示用データ送信部９１２とを備える。
【０２４２】
再現要求処理部９２０は、再現要求受信部９１１で受信された再現要求に基づいて仮想現実の世界を再現するための処理を実行するかを判定する。再現要求には、ユーザを識別するユーザＩＤとユーザのパスワードと、再現を要求する仮想現実の世界を特定する提示済み仮想現実識別情報が少なくとも含まれる。再現要求処理部９２０は、当該再現要求に含まれるユーザＩＤとパスワードとの組が一致するかを契約者情報記憶ＤＢ３００に記憶している契約者情報を参照して認証処理を行う。再現要求が適切であった場合は、再現要求処理部９２０は、仮想現実関連データ読み出し部９３０に、再現要求に含まれる仮想現実識別情報で指定される仮想現実の世界に係る仮想現実関連データの読み出し指示を出す。
【０２４３】
仮想現実関連データ読み出し部９３０は、当該指示に基づいて、仮想現実識別情報で識別される各仮想現実関連データを提示済み仮想現実関連データ記憶ＤＢ５００より順次読み出して、対応する各部に出力する。
【０２４４】
例えば、提示済み仮想現実関連データ記憶ＤＢ５００に仮想現実関連データとして、仮想現実提示用映像データや仮想現実提示用音声データがそのままの形式で記憶されている場合は、仮想現実関連データ読み出し部９３０は、当該データを読み出して再現仮想現実提示用データ送信部９１２に出力する。再現仮想現実提示用データ送信部９１２は、仮想現実関連データ読み出し部９３０で読み出された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置に送信する。
【０２４５】
また、仮想現実関連データに視線景色画像が含まれている場合、当該視線景色画像を合わせて要求元の装置に送信する構成としても良いし、仮想現実再現要求処理サーバ９００内に映像合成処理部を設けておき、仮想現実提示用映像データと周囲景色画像とを合成した合成後仮想現実提示用映像データを再現要求元の装置へ送信する構成としても良い。
【０２４６】
上述の形式で仮想現実関連データが記憶されている場合は、その他の機能ブロックは必要ないが、仮想現実関連データとして制御プログラム実行履歴情報と言う形式で記憶されている場合などには、別途仮想現実再現処理サーバ９００で仮想現実提示用の映像等を再生成する必要がある。この場合、仮想現実関連データ読み出し部９３０は読み出した制御プログラム実行履歴情報を仮想現実サービス提供制御部２４０に出力する。仮想現実サービス提供制御部２４０は、当該制御プログラム実行履歴情報に示されるタイミング毎に、対応する制御プログラムを仮想現実コンテンツ記憶ＤＢ４００より読み出して実行することで、表示映像生成処理部２６０や再生音声生成処理部２７０で提示済みの仮想現実の世界に係る仮想現実提示用映像データや仮想現実提示用音声データが再生成される。再現仮想現実提示用データ送信部９１２は、これらの再生成された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置へ送信する。
【０２４７】
また、仮想現実関連データとして仮想現実コンテンツ記憶ＤＢ４００へのアクセス履歴情報と言う形式で記憶されている場合、仮想現実関連データ読み出し部９３０は、読み出したアクセス履歴情報を仮想現実サービス提供制御部２４０、仮想現実オブジェクト挙動制御部２５０、仮想現実オブジェクト配置処理部８２０、再生音声生成処理部２７０、など仮想現実コンテンツ記憶ＤＢ４００より対応するデータやプログラムを読み出す各部に出力する。これら各部は、アクセス履歴情報で示されるタイミングで、それぞれ指定されているデータやプログラムを読み出して処理していくことで、提示済みの仮想現実の世界に係る仮想現実提示用映像データや仮想現実提示用音声データが表示映像生成処理部２６０や再生音声生成処理部２７０で再生成される。再現仮想現実提示用データ送信部９１２は、これらの再生成された仮想現実提示用映像データや仮想現実提示用音声データを再現要求元の装置へ送信する。
【０２４８】
以上各実施形態で説明したように、本発明によれば仮想現実の世界を体験したユーザは、再度同一の仮想現実の世界を再現することを要求できる。
【０２４９】
ユーザの視点位置及び視線方向の変化に従って表示される映像が変化することで、表示パネルに表示されている映像上の物体や人物などが現実の世界に実在するようにユーザに提示されることにより、仮想現実の世界が構築される。ここで、仮想現実提示装置は、透過型ヘッドマウントディスプレイ装置に限定されるものではない。例えば、ユーザの左右の目の位置にそれぞれ配置された視線カメラでそれぞれ撮影される映像に、仮想現実オブジェクトを描画した仮想現実提示用映像を合成して表示することで、ユーザに仮想現実の世界を提示する構成とすることができる。
【０２５０】
なお、上記説明した音声解析処理部や画像解析処理部は、それぞれ専用の音声解析サーバや画像解析サーバを別途設け、仮想現実サービス提供サーバと通信を行う構成と良好である。その他、上述した各処理部は１台の情報処理サーバに含まれていても良いし、複数台の情報処理サーバが連動する構成としても良い。
【０２５１】
また、上記説明では、仮想現実サービス提供サーバが備える再生音声生成処理部が仮想現実提示用の音声データを生成する場合について説明したが、仮想現実コンテンツ記憶ＤＢ４００に予め再生可能な状態で仮想現実提示用音声データが記憶されている場合は、再生音声生成処理部は、当該仮想現実提示用音声データを読み出して仮想現実提示装置に送信する構成としても良い。
【０２５２】
また、視線カメラや周辺カメラは、静止画像を撮影して仮想現実サービス提供サーバに送信する構成としても良いし、動画像を撮影して仮想現実サービス提供サーバに送信する構成としても良い。
【０２５３】
なお、仮想現実関連データ取得部８８０は、仮想現実提示装置１００に送信される仮想現実提示用映像データの解像度を下げてデータを小さくした上で記憶する構成としても良い。
【０２５４】
なお、上述の仮想現実コンテンツには、雪や後光、雨、雷などの特殊映像エフェクトのデータが含まれていると更に良好である。表示映像生成処理部は、仮想現実オブジェクトを描画した映像に当該特殊映像エフェクトのレイヤーを重ねた合成映像を仮想現実提示用映像として生成する構成とすると更に良好である。
【０２５５】
なお、上述した仮想現実関連データの取り方は一例であり、仮想現実サービスを提供する会社が適宜選択して記憶保管しておくことが可能である。一般的に、仮想の世界を高い再現度で再現できるようにするためには、仮想現実関連データのデータ量が多くなるため、容量の大きなデータベースを用意する必要がある。そのため、再現度を落としてでも仮想現実関連データのデータ量を抑えるように構成しても良い。また、一定期日が経過した場合に、提示済み仮想現実関連データ記憶ＤＢ５００に記憶されている仮想現実関連データを消去していく消去手段を上記仮想現実再現要求処理サーバが備えていても良い。
【０２５６】
また、上述した仮想現実再現要求処理サーバと仮想現実サービス提供サーバは、共通の処理部が多数存在するため一体として構成されていても良い。
【０２５７】
また、上述した各処理部は、ＣＰＵ等の情報処理装置にハードウェアに所定のプログラムを実行させることで実現可能である。
【０２５８】
また、上述した各実施形態の構成を適宜組み合わせることも可能である。また、上記仮想現実サービス提供システムの一部は、ホームサーバと言う形で自宅内に配置されていても良い。
【０２５９】
また、仮想現実は拡張現実と称されることがある。また、ユーザに提示される映像の一部はリアルタイムに描画される映像ではなく、背景画像として予め生成された画像からユーザ状態に基づいて定まる領域を表示する構成としても良い。
【０２６０】
また、本発明は以下の形態を取ることが可能である。
（付記１）（システム基本設計）
仮想現実サービスに係る仮想現実の世界をユーザに提示する仮想現実提示装置と、
前記仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成して前記仮想現実提示装置へ送信する仮想現実サービス提供サーバと、
前記仮想現実提示装置が前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶データベースと、
を具備する仮想現実提示システム。
（付記２）（提示済み仮想現実履歴情報）
前記仮想現実サービス提供サーバは、前記提示する仮想現実の世界を識別する仮想現実識別情報を割り当てる仮想現実識別情報割当手段を具備し、
ユーザを識別する識別情報と、前記ユーザに提示された前記仮想現実の世界に割り当てられた前記仮想現実識別情報との対応関係を時系列に纏めた提供済み仮想現実履歴情報を記憶する仮想現実サービス履歴情報記憶データベースを更に具備する、
付記１に記載の仮想現実提示システム。
（付記３）（提供済み仮想現実サービス履歴情報）
ユーザを識別する識別情報と前記ユーザに提供された前記仮想現実サービスを識別する仮想現実サービス識別情報との対応関係を時系列に纏めた提供済み仮想現実サービス履歴情報を記憶する仮想現実サービス履歴情報記憶データベースを更に具備する、
付記１に記載の仮想現実提示システム。
（付記４）（仮想現実オブジェクト）
少なくとも前記仮想現実サービスに係る仮想現実オブジェクトを含む前記仮想現実の世界の構築に使用する仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベースを更に具備し、
前記仮想現実サービス提供サーバは、
仮想空間を生成する仮想空間生成手段と、
前記仮想現実サービスに係る前記仮想現実オブジェクトを前記仮想空間に配置する仮想現実オブジェクト配置手段と、
前記仮想空間に配置されている仮想現実オブジェクトをリアルタイムに描画して前記仮想現実提示用映像データを順次生成する映像生成手段と、
を少なくとも具備し、
前記仮想現実提示装置は、前記生成された仮想現実提示用映像データに基づいて前記仮想現実オブジェクトを含む映像を表示することで前記仮想現実の世界をユーザに提示する、
付記１〜３に記載の仮想現実提示システム。
（付記５）（ユーザ状態に基づく描画）
前記仮想現実提示装置は、
ユーザの状態を検知するユーザ状態検知手段と、
前記検知されたユーザの状態を示すユーザ状態情報を無線送信する無線送信手段と、
前記仮想現実提示用映像データを無線受信する無線受信手段と、
前記無線受信された仮想現実提示用映像データに基づいて、仮想現実提示用映像を表示する表示手段と、
を具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ状態情報を受信する受信手段と、
前記映像生成手段で順次生成される前記仮想現実提示用映像データを送信する送信手段と、
を更に具備し、
前記映像生成手段は、前記ユーザ状態情報に基づいて特定される視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
付記４に記載の仮想現実提示システム。
（付記６）（仮想現実提示用音声）
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実サービスに係る音声データを記憶し、
前記仮想現実サービス提供サーバは、前記仮想現実コンテンツ記憶データベースに記憶されている前記仮想現実サービスに係る音声データに基づいて、仮想現実提示用音声データを生成する音声生成処理手段を更に具備し、
前記仮想現実提示装置は、前記仮想現実提示用音声データをアナログ電気信号に変換して仮想現実提示用音声を外部へ出力する音声出力手段を更に具備する、
付記５に記載の仮想現実提示システム。
（付記７）（視線景色画像）
前記仮想現実提示装置は、
ユーザが発する音声を集音してユーザ音声データを取得する音声入力手段と、
少なくともユーザの前方方向を撮影して前方景色画像を取得する画像撮影手段と、
を更に具備し、
前記仮想現実サービス提供サーバは、
前記ユーザ音声データに含まれる音声コンテキストを抽出する音声コンテキスト抽出手段と、
前記前方景色画像から照度又は輝度に関する光学情報を抽出し、光源の位置座標及び前記光源の照度又は輝度を更新する光源制御手段と、
前記ユーザ状態情報に基づいて前記視点位置座標及び視線方向を更新する視点制御手段と、
を更に具備し、
前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向と、前記光源制御手段によって更新される前記光源位置座標及び前記光源の照度又は輝度に基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトをリアルタイムに描画することで前記仮想現実提示用映像データを順次生成する、
付記６に記載の仮想現実提示システム。
（付記８）（シェーディング）
前記映像生成手段は、前記視点制御手段によって更新される前記視点位置座標及び視線方向に基づいて前記仮想空間に配置されている前記仮想現実オブジェクトを投影して投影画像を生成し、前記光源制御手段によって更新される前記光源の位置座標及び前記光源の照度又は輝度に基づいて前記投影画像における前記仮想現実オブジェクトの輝度又は照度を算出することで前記仮想現実提示用映像を生成する、
付記７に記載の仮想現実提示システム。
（付記９）（仮想現実オブジェクト挙動制御）
前記仮想現実コンテンツ記憶データベースは、前記仮想現実コンテンツとして、前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを更に記憶し、
前記仮想現実サービス提供サーバは、
前記仮想現実コンテンツ記憶データベースから読み出した前記仮想現実オブジェクト挙動制御プログラムを実行することで、前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御手段を更に具備する、
付記７又は８に記載の仮想現実提示システム。
（付記１０）（仮想現実関連データの種類：仮想現実提示用データ）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実サービス提供サーバから前記仮想現実提示装置へ送信される前記仮想現実提示用映像データと前記仮想現実提示用音声データとを記憶する、
付記９に記載の仮想現実提示システム。
（付記１１）（仮想現実関連データの種類：周囲景色画像）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から仮想現実サービス提供サーバへ送信される前記前方景色画像を記憶する、
付記１０に記載の仮想現実提示システム。
（付記１２）（仮想現実関連データの種類：ユーザ状態情報）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置から前記仮想現実サービス提供サーバへ送信される前記ユーザ状態情報を時系列に纏めたユーザ状態履歴情報を記憶する、
付記１０又は１１に記載の仮想現実提示システム。
（付記１３）（仮想現実関連データの種類：ユーザ音声データ）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実提示装置で入力される前記ユーザ音声データを時系列に纏めたユーザ音声履歴情報を記憶する、
付記１０〜１２のいずれか１項に記載の仮想現実提示システム。
（付記１４）（仮想現実関連データの種類：仮想現実オブジェクト履歴）
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトを識別する仮想現実オブジェクト識別情報を時系列に纏めた仮想現実オブジェクト履歴情報を記憶する、
付記９に記載の仮想現実提示システム。
（付記１５）（仮想現実関連データの種類：仮想現実オブジェクト履歴）
前記提示済み仮想現実関連データ記憶データベースは、前記仮想現実オブジェクトの前記仮想空間内での位置座標と、前記仮想現実オブジェクトの挙動に係る情報とを更に時系列で纏めた前記仮想現実オブジェクト履歴情報を記憶する、
付記１４に記載の仮想現実提示システム。
（付記１６）（仮想現実関連データの種類：制御プログラム実行履歴）
前記提示済み仮想現実関連データ記憶データベースは、少なくとも前記仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する挙動制御プログラムの実行履歴を時系列に纏めた挙動制御プログラム実行履歴情報を記憶する、
付記９に記載の仮想現実提示システム。
（付記１７）（仮想現実関連データの種類：制御プログラム実行履歴）
前記提示済み仮想現実関連データ記憶データベースは、前記音声コンテキスト抽出手段で抽出された前記音声コンテキストを時系列に纏めた音声コンテキスト履歴情報を記憶する、
付記１６に記載の仮想現実提示システム。
（付記１８）（方法）
仮想現実サービスに係る仮想現実の世界の構築に使用する仮想現実提示用映像データを少なくとも生成する生成ステップと、
前記生成された仮想現実提示用映像データを表示することで前記仮想現実の世界をユーザに提示する提示ステップと、
前記ユーザに提示した前記仮想現実の世界を再現可能な状態で、前記仮想現実の世界の構築に係るデータを仮想現実関連データとして記憶する提示済み仮想現実関連データ記憶ステップと、
を有する仮想現実提示方法。
【産業上の利用可能性】
【０２６１】
本発明は、現実の世界を拡張した仮想現実の世界の提供などに幅広く利用可能である。
【符号の説明】
【０２６２】
１０  通信網                         ２０  ＰＣ
１００  仮想現実提示装置             １１０  ユーザ状態検知部
１１１  傾きセンサ                   １１２  加速度センサ
１２０  周囲状況検知部               １２１  視線カメラ
１２２  周辺カメラ                   １３０  音声入力部
１３１  ユーザマイク                 １３２  周辺マイク
１４０  表示制御部                   １４１  映像復号化処理部
１４２  映像補正処理部               １４３  映像合成処理部
１４４  表示領域選択部               １５０  表示部
１５１ａ  ライト表示パネル           １５１ｂ  レフト表示パネル
１６０  音声再生制御部               １７０  音声出力部
１７１ａ  ライトスピーカ             １７１ｂ  レフトスピーカ
１８０  仮想現実提示制御部           １９０  通信部
２００  仮想現実サービス提供サーバ   ２１０  通信部
２２０  音声解析処理部               ２３０  画像解析処理部
２４０  仮想現実サービス提供サーバ   ２５０  仮想現実オブジェクト挙動制御部
２６０  表示映像生成処理部           ２６１  描画処理部
２６２  映像復号化処理部             ２７０  再生音声生成処理部
３００  契約者情報記憶ＤＢ           ４００  仮想現実コンテンツ記憶ＤＢ
５００  提示済み仮想現実関連データ記憶ＤＢ
６００  履歴情報記憶ＤＢ             ７００  仮想現実再現要求処理サーバ
８００  仮想現実サービス提供サーバ   ８１０  仮想空間生成処理部
８２０  仮想現実オブジェクト配置処理部
８３０  視点制御部                   ８４０  光源制御部
８５０  モデルデータ配置処理部       ８６０  レイヤー順序更新処理部
８７０  レイヤー情報生成処理部       ９００  仮想現実再現要求処理サーバ
９１０  通信部                       ９１１  再現要求受信部
９１２  再現仮想現実提示用データ送信部
９２０  再現要求処理部               ９３０  仮想現実関連データ読み出し部
【図１】
2014187559.tif 000003
【図２】
2014187559.tif 000004
【図３】
2014187559.tif 000005
【図４】
2014187559.tif 000006
【図５】
2014187559.tif 000007
【図６】
2014187559.tif 000008
【図７】
2014187559.tif 000009
【図８】
2014187559.tif 000010
【図９】
2014187559.tif 000011
【図１０】
2014187559.tif 000012
【図１１】
2014187559.tif 000013
【図１２】
2014187559.tif 000014
【図１３】
2014187559.tif 000015
【図１４】
2014187559.tif 000016
【図１５】
2014187559.tif 000017
【図１６】
2014187559.tif 000018
【図１７】
2014187559.tif 000019
【図１８】
2014187559.tif 000020
【図１９】
2014187559.tif 000021
【図２０】
2014187559.tif 000022
【図２１】
2014187559.tif 000023