(57)【要約】【課題】現実の世界と融合した仮想現実の世界で提示することを可能とする仮想現実サービス提供システムが求められていた。【解決手段】本発明の仮想現実サービス提示システムは、複数の仮想現実オブジェクトを記憶するオブジェクト記憶手段、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能サービス情報記憶手段、ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトをオブジェクト記憶手段より読み出すオブジェクト読み出し手段、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定するオブジェクト配置位置決定手段、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するＨＭＤ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成手段、を備える。【選択図】図１
2016045814.tif 000002
【特許請求の範囲】
【請求項１】
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、
前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、
ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想現実空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成手段と、
を備える仮想現実サービス提供システム。
【請求項２】
前記ヘッドマウントディスプレイ装置より前記周囲状況情報と前記ユーザ状態情報を受信する受信手段と、
前記表示映像生成手段で生成された映像を符号化する映像符号化手段と、
前記符号化された映像を前記ヘッドマウントディスプレイ装置へ送信する送信手段と、
を更に備える請求項１に記載の仮想現実サービス提供システム。
【請求項３】
前記ユーザに仮想現実サービスの提供を開始することを決定する仮想現実サービス開始決定手段を備え、
前記仮想現実サービス開始決定手段で仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザに提供する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする請求項又は２に記載の仮想現実サービス提供システム。
【請求項４】
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス開始決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの開始を要求するものである場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項３に記載の仮想現実サービス提供システム。
【請求項５】
前記仮想現実サービスの提供を開始するための条件となるサービス提供開始条件を記憶するサービス提供開始条件記憶手段を備え、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供開始条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項３又は４に記載の仮想現実サービス提供システム。
【請求項６】
前記サービス提供開始条件記憶手段は、前記仮想現実サービスの提供を開始するための条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス提供可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス提供可能位置範囲内である場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
請求項５に記載の仮想現実サービス提供システム。
【請求項７】
（動的仮想現実オブジェクト）
仮想空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト制御手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記仮想現実オブジェクト制御手段によって挙動が制御される前記仮想現実オブジェクトが表示される映像を生成する、
請求項１乃至６のいずれか１項に記載の仮想現実サービス提供システム。
【請求項８】
（音声による挙動制御）
前記受信手段は、ヘッドマウントディスプレイ装置で入力された音声を含む音声情報を受信し、
前記音声情報に含まれる音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実オブジェクト制御手段は、前記コンテキスト取得手段で取得されたコンテキストに基づいて、前記仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する、
請求項７に記載の仮想現実サービス提供システム。
【請求項９】
（方法基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法であって、
前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、
ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想現実空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成ステップと、を備える仮想現実サービス提供方法。
【請求項１０】
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、
前記生成された映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
少なくとも前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示システム。
【請求項１１】
注意喚起を行う条件である注意喚起条件を記憶する注意喚起条件記憶手段を更に備え、
前記注意喚起手段は、
前記検知されたユーザの周囲の状況が前記注意喚起条件を満たしているかを判定する注意喚起判定手段と、
前記判定結果に基づいて、前記映像表示手段に注意喚起用の映像を表示させる制御又は前記音声出力手段に注意喚起用の音声を出力させる指示を行う注意喚起指示手段と、
を備える請求項１０に記載の仮想現実提示システム。
【請求項１２】
前記注意喚起条件記憶手段は、複数の注意喚起条件を記憶し、
前記注意喚起判定手段は、前記検知されたユーザの周囲の状況が前記複数の注意喚起条件のいずれかを満たしているかを判定し、
前記注意喚起指示手段は、前記注意喚起条件を満たしたと判定された場合に、前記注意喚起条件に対応付けられている注意喚起用の映像を前記表示手段に表示させる指示又は前記注意喚起条件に対応付けられている注意喚起用の音声を前記音声出力手段に出力させる指示を行う、
請求項１１に記載の仮想現実提示システム。
【請求項１３】
前記注意喚起指示手段は、前記判定結果に基づいて、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる指示を行う、
請求項１１又は１２に記載の仮想現実提示システム。
【請求項１４】
前記注意喚起手段は、前記表示されている仮想現実オブジェクトがユーザに対して注意喚起を行うように前記仮想現実オブジェクトの挙動を制御することを特徴とする、
請求項１０乃至１３のいずれか１項に記載の仮想現実提示システム。
【請求項１５】
前記注意喚起手段は、映像生成手段で生成される仮想現実オブジェクトの映像の輝度又は明度を下げる補正を行うことで前記注意喚起を行う、
請求項１０乃至１３のいずれか１項に記載の仮想現実システム。
【請求項１６】
前記注意喚起手段は、前記映像表示手段における前記仮想現実オブジェクトの表示位置に対応する位置から透過する光量を増加させる制御を行うことで前記注意喚起を行う、
請求項１０乃至１３のいずれか１項に記載の仮想現実システム。
【請求項１７】
前記周囲状況検知手段は、前記ユーザの少なくとも前方を撮影して前方景色画像を取得し、
前記注意喚起手段は、前記周囲状況検知手段で取得された前方景色画像に基づいて、ユーザの前方に障害物が存在するかを判定し、前記判定の結果、障害物が存在すると判定された場合にユーザに対する注意喚起を行う、
請求項１０乃至１６のいずれか１項に記載の仮想現実提示システム。
【請求項１８】
前記周囲状況検知手段は、前記ユーザの周囲を撮影して周囲景色画像を取得し、
前記注意喚起手段は、前記周囲状況検知手段で取得された周囲景色画像に基づいて、ユーザから所定の距離以内に人間が存在するかを判定し、前記判定の結果、人間が存在すると判定された場合にユーザに対する注意喚起を行う、
請求項１０乃至１６のいずれか１項に記載の仮想現実提示システム。
【請求項１９】
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて生成される仮想現実オブジェクトの映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
少なくとも前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示装置。
【請求項２０】
ユーザの周囲の状況を検知する周囲状況検知ステップと、
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて仮想現実オブジェクトの映像を生成する映像生成ステップと、
前記生成された映像を表示する映像表示ステップと、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力ステップと、
少なくとも前記検知されたユーザの周囲の状況に基づいて、注意喚起を行う注意喚起ステップと、
を備える仮想現実提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実サービス提供システム、仮想現実サービス提供方法、仮想現実サービス提供サーバ、情報処理システム、情報処理方法、情報処理サーバ、情報処理プログラム、仮想現実提示装置、ヘッドマウントディスプレイ装置、仮想現実提示システム、仮想現実提示方法に関する。
【背景技術】
【０００２】
近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。
【０００３】
先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実感提示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３８１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
私達人間が生きる現実の世界は、物理的、社会的制約を受けている。例えば、質量のある物質は光速を超えることができないという物理的制約から惑星間旅行は実現が困難であるし、エネルギー保存の法則が支配すると言った物理的制約から生身の体で空を自由に飛び回ることはできない。
【０００６】
また、物理的には可能な事象であっても、現実の人間社会に平穏と秩序を与えるために設定されている倫理規範や各種法律などにより、人間の行動は社会的な制約を受けている。このように、人間は自由を謳歌する立場でありながら、現実の世界では様々な制約を受ける条件的自由を享受しているに過ぎない。
【０００７】
現実の世界は様々な制約が課せられるが、人間が想像する世界はこれらの制約に縛られず、無限の自由度を有している。想像の世界では光速を超えることも、空を飛び回ることも可能である。世界中に散らばるクリエータはのうち、ある者は映画と言う形態で架空の世界を創り出し、ある者は小説や漫画、アニメーション、ゲームと言う形態で架空の世界を構築する。一般需要者は、映画を見たり小説を読んだりすることで、クリエータが創り出した架空の世界を自身の脳内に再構築し、その世界を疑似的に体験している。
【０００８】
映画や小説など、クリエータが創り出すこれらのコンテンツは、想像力溢れる世界を一般需要者が各々自身の脳内に構築できるようにするための補助材料と見ることができる。小説、映画、アニメ、漫画、ゲームと言った各コンテンツの違いは、各コンテンツに表される架空の世界をユーザが自ら脳内に構築するために用いられる表現形態の違いに他ならない。例えば、映画は、クリエータであるシナリオライタが想像した世界をそのまま表現する形態であるのに対し、小説は、クリエータである小説家が想像した世界を、消費者が自らの想像で補完する自由度を与えた表現形態であると言える。
【０００９】
各需要者は、自らが有する視覚や聴覚を介してこの補助材料にリンクし、クリエータが創り出した架空の世界を自身の脳内に再構築する。従って、例えば漫画を読み終えた後でも、その漫画で表される世界を需要者は脳内で想像することができ、唯一そのクリエータだけが無から構築した架空の世界と同一の世界の片鱗を、需要者も脳内に構築することができる。
【００１０】
ここで、需要者は、現実の世界と、当該コンテンツを介して自身が脳内に創り出す想像の世界とを、明確に分離された２つの異なる世界であることを認識している。このことは、どれだけ既存のコンテンツが示す創り出された世界が現実的なものであったとしても変わることはない。
【００１１】
一方、私達は、現実の世界と想像の世界とを日頃の生活の中で同一視する経験をしばしば体験する。それは夢である。私達は夢を見ている間、それが現実の世界とは異なる想像上の世界であることを認識できてはいない。夢の世界は時として素晴らしいものであり、夢から覚めたときに、それが現実ではなく夢であったことを残念に感じることを私達人間はしばしば体験する。
【００１２】
言葉通り、夢のような時間を過ごすためには、現実の世界と想像の世界との境界とを明確に認識できない状態にユーザが置かれる必要がある。現実の世界と分離した想像の世界よりも現実と融合した想像の世界の方が、人間にとって親近感が強く、より素晴らしいものとして認識される。既存のコンテンツの最終的な表現形態は、クリエータが創造する架空の世界を需要者の現実の世界と融合した状態で表現する形態に集約されるものと考える。
【００１３】
絵画、彫刻、映画、アニメーション、漫画、ゲーム、小説、などいずれの表現形態を取るにせよ、創造性溢れるクリエータが創り出す世界とリンクすることで、創造性の乏しい需要者が自身の脳内に同一の世界を構築できるようにすることが芸術に対する消費の主目的であるのならば、現実の世界と融合した状態で表現する形態を取る場合において、クリエータが創り出す世界感を需要者に適切に提示できるようなシステムを構築する必要がある。これは、映画であれば映画館の音響環境を整えると言ったことや、ゲームであればプラットフォームを整えると言ったことに近い。従来の技術では、このような観点に対する十分な検討が加えられておらず、限定的な仮想現実を提示するものでしかなかった。
【００１４】
本発明は、上記課題を鑑み、創造力溢れるクリエータが創り出す想像上の世界をユーザが生きる現実の世界と融合した状態で提示することを可能とする仮想現実サービス提供システム及び仮想現実サービス提供方法としたものである。
【課題を解決するための手段】
【００１５】
本発明の一態様である仮想現実サービス提供システムは、複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、前記ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成手段と、を備える。
【００１６】
本発明の一態様である仮想現実サービス提供方法は、複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法である。当該仮想現実サービス提供方法は、前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像の符号化データを生成する表示映像生成ステップと、を有する。
【発明の効果】
【００１７】
本発明によれば、クリエータが創り出す想像上の世界をユーザが生きる現実の世界と融合した状態で適切に提示することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態１に係る仮想現実サービス提供システムの機能構成を示すブロック図である。
【図２】仮想現実提示装置を装着しているユーザの周囲の現実の世界の景色と、表示部に表示される映像と、ユーザが感知する仮想現実の世界とをそれぞれ示す図である。
【図３】利用可能仮想現実サービス情報の一例を示す図である。
【図４】仮想現実オブジェクト記憶ＤＢに記憶されている仮想現実オブジェクトを管理する管理ファイルの一例である。
【図５】仮想現実オブジェクトのモデル映像データの一例を説明する図である。
【図６】実施形態２に係る仮想現実サービス提供システムの機能構成を示すブロック図である。
【図７】実施形態２に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。
【図８】実施形態３に係る仮想現実サービス提供システムの機能構成を示すブロック図である。
【図９】実施形態３に係るＨＭＤ装置の斜め前方と斜め後方からの外観斜視図である。
【図１０】実施形態３に係るＨＭＤ装置の断面図である。
【図１１】契約者情報の一例である。
【図１２】仮想現実コンテンツの構造を説明する図である。
【図１３】仮想現実制御プログラムの分類を説明する図である。
【図１４】セーブデータ管理ファイルの一例である。
【図１５】実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービス開始処理の流れを示すフローチャート図である。
【図１６】実施形態３に係る仮想現実サービス提供システムにおける仮想空間の制御処理の流れを示すフローチャート図である。
【図１７】実施形態３に係る仮想現実サービス提供システムにおける仮想現実オブジェクトの映像生成処理の流れを示すフローチャート図である。
【図１８】実施形態３に係る仮想現実サービス提供システムにおける仮想現実オブジェクトの音声生成処理の流れを示すフローチャート図である。
【図１９】実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービスの中断・再開処理の流れを示すフローチャート図である。
【図２０】実施形態３に係る仮想現実サービス提供システムにおける仮想現実サービスの終了処理の流れを示すフローチャート図である。
【図２１】実施形態３に係るＨＭＤ装置から仮想現実サービス提供サーバに出される各種要求（パケット）のデータ構造の一例を示す図である。
【図２２】実施形態３に係る仮想現実サービス提供サーバからＨＭＤ装置に出される各種通知情報（パケット）のデータ構造の一例を示す図である。
【図２３】実施形態３に係るＨＭＤ装置の変形例の断面図である。
【図２４】実施形態３に係るＨＭＤ装置の変形例の斜め前方と斜め後方からの外観斜視図である。
【図２５】実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。
【図２６】実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。
【図２７】実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。
【図２８】実施形態３に係る仮想現実サービス提供システムの変形例の機能構成を示すブロック図である。
【図２９】実施形態４に係る仮想現実提示システムの機能構成を示すブロック図である。
【図３０】実施形態４に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。
【図３１】実施形態５に係る仮想現実提示システムの機能構成を示すブロック図である。
【図３２】実施形態５に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。
【図３３】実施形態６に係る仮想現実提示システムの機能構成を示すブロック図である。
【図３４】実施形態６に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。
【図３５】実施形態７に係る仮想現実提示システムの機能構成を示すブロック図である。
【図３６】実施形態７に係る仮想現実提示システムの動作の流れを示すフローチャート図図である。
【図３７】本発明の仮想現実提示装置における仮想現実の世界の提示方法を説明する図である。
【図３８】本発明の仮想現実提示装置がユーザに提示する仮想現実の世界と、ユーザが存在する現実の世界との係わり方を説明する図である。
【図３９】理想的な仮想現実提示装置がユーザに提示する仮想現実の世界と、ユーザが存在する現実の世界との係わり方を説明する図である。
【図４０】実施形態８に係る仮想現実提示システムの機能構成を示すブロック図である。
【図４１】仮想現実提示装置を装着しているユーザの周囲の現実の世界の景色と、ユーザに提示される映像と、ユーザが感知する仮想現実の世界とをそれぞれ示す図である。
【図４２】仮想現実オブジェクトのモデル映像データの一例を説明する図である。
【図４３】実施形態９に係る仮想現実提示システムの機能構成を示すブロック図である。
【図４４】実施形態９に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図４５】実施形態９に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図４６】中断用映像が表示される場合の様子を説明する図である。
【図４７】仮想現実の提示時において、ユーザの状態が変化する場合において表示される映像とユーザが感知する映像の時間経過を説明する図である。
【図４８】仮想現実の提示中断時において、ユーザの状態が変化する場合において表示される映像とユーザが感知する映像の時間経過を説明する図である。
【図４９】仮想現実オブジェクトと、当該仮想現実オブジェクトに関連付けられた仮想現実提示用音声データとを管理する管理ファイルの一例である。
【図５０】実施形態９に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図５１】実施形態９に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図５２】中断用映像データ管理ファイル及び中断用音声データ管理ファイルの一例を示す図である。
【図５３】実施形態１０に係る仮想現実提示システムの機能構成を示すブロック図である。
【図５４】中断条件管理ファイルの一例を示す図である。
【図５５】実施形態１０に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図５６】実施形態１０に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図５７】実施形態１０に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図５８】適用する中断条件を管理する適用中断条件管理ファイルの一例を示す図である。
【図５９】ユーザの錯覚度を説明する図である。
【図６０】ユーザの錯覚度の時間経過を示す図である。
【図６１】実施形態１１に係る仮想現実提示システムの機能構成を示すブロック図である。
【図６２】注意喚起が行われる場合において表示される映像とユーザが感知する景色を時系列状に表した図である。
【図６３】実施形態１１に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図６４】実施形態１１に係る仮想現実提示システムにおける仮想現実提示部周辺の機能構成を示すブロック図である。
【図６５】実施形態１２に係る仮想現実提示システムの機能構成を示すブロック図である。
【図６６】注意喚起条件管理ファイルの一例を示す図である。
【図６７】実施形態１２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図６８】実施形態１２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図６９】実施形態１２に係る仮想現実提示システムの変形例の機能構成を示すブロック図である。
【図７０】注意喚起用映像データと注意喚起用音声データを管理する注意喚起用データ管理ファイルの一例である。
【図７１】実施形態１３に係る仮想現実提示システムの機能構成を示すブロック図である。
【図７２】仮想現実コンテンツの階層構成を説明する図である。
【図７３】仮想現実制御プログラムの階層構成を説明する図である。
【図７４】実施形態１３に係る仮想現実提示システムにおける注意喚起決定処理の流れを示すフローチャート図である。
【図７５】実施形態１３に係る仮想現実提示システムにおける仮想現実オブジェクトの配置・更新処理の流れを示すフローチャート図である。
【図７６】実施形態１３に係る仮想現実提示システムにおける注意喚起処理の流れを示すフローチャート図である。
【図７７】仮想現実提示システムが提供する仮想現実の世界の仮想現実度を説明する図である。
【図７８】実施形態１４に係る仮想現実提示システムの機能構成を示すブロック図である。
【図７９】実施形態１４に係る仮想現実提示システムの変形例に係る機能構成を示すブロック図である。
【図８０】実施形態１４に係る仮想現実提示システムの変形例に係る機能構成を示すブロック図である。
【図８１】映像補正処理が行われた場合に表示される映像と、ユーザが感知する景色とを説明する図である。
【図８２】領域別の提示可能仮想現実度と、仮想現実オブジェクトを含む映像における仮想現実度と、仮想現実度補正処理後の映像における仮想現実度と、の関係を説明する図である。
【図８３】実施形態１５に係る仮想現実提示システムの機能構成を示すブロック図である。
【図８４】変形例に係る仮想現実提示装置で生成される仮想現実オブジェクトの映像と、注意喚起のレベル毎に応じた表示パネルに表示される合成映像とを説明する図である。
【図８５】実施形態１６の仮想現実提示システムの機能構成を示すブロック図である。
【図８６】仮想現実体験ドームによるユーザ状態の検知方法を説明する図である。
【発明を実施するための形態】
【００１９】
以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
【００２０】
＜実施形態１＞
図１は、本発明の実施形態１に係る仮想現実サービス提供システム１０００の構成を示すブロック図である。仮想現実サービス提供システム１０００は、仮想現実提示装置１００を装着しているユーザに仮想現実サービスを提供するシステムであって、利用可能仮想現実サービス情報記憶データベース１１００と、仮想現実オブジェクト記憶データベース１２００と、仮想現実サービス提供サーバ１３００と、を備える。仮想現実サービス提供サーバ１３００は、ユーザが装着する仮想現実提示装置１００と、インターネット等の通信網１０を介して接続されている。
【００２１】
ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言い、仮想現実サービスとは、このような仮想現実の世界をユーザに体験させるサービスである。
【００２２】
人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりすることで、仮想現実の世界を創り出すことができる。仮想現実の世界は、人工的に創り出される世界であるため、様々な形態の仮想現実サービスが存在する。
【００２３】
図２は、現実の世界と、表示される映像と、仮想現実の世界との対応関係を示している。ソファーが置かれている部屋にいるユーザに対して仮想現実提示装置１００が仮想現実オブジェクトである犬の映像を表示することで、ユーザが見る世界（ユーザが感知する世界）は、ソファーの上に犬が寝ているという現実の世界とは異なる仮想現実の世界となる。
【００２４】
本実施形態１において仮想現実提示装置１００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）装置であるとして説明する。仮想現実提示装置１００は、ユーザに仮想現実の世界を提示する装置であって、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、を備える。
【００２５】
ユーザ状態検知部１１０は、仮想現実提示装置１００を使用しているユーザの状態を検知し、ユーザの状態を示すユーザ状態情報を生成する。例えば、ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知する傾きセンサや、ユーザの頭部の加速度を検知する加速度センサなどで構成される。例えば、ユーザ状態検知部１１０は、ユーザの状態として、ユーザの頭部の傾き、ユーザ頭部の加速度、ユーザの血圧、ユーザの心拍数、ユーザの心拍波形、ユーザの発汗量、ユーザの姿勢、ユーザの体温、ユーザの脳波、などを検知し、検知結果に基づいてユーザ状態情報を生成する。
【００２６】
周囲状況検知部１２０は、仮想現実提示装置１００を使用しているユーザの周囲の状況を検知し、ユーザの周囲の状況を示す周囲状況情報を生成する。例えば、周囲状況検知部１２０は、ユーザの視線と対応した景色を撮影する視線カメラや、ユーザの両側や後方など視線カメラでは撮影できない範囲の景色を撮影する周囲カメラなどで構成される。例えば、周囲状況検知部１２０は、周囲の画像データ、ユーザと周囲に存在する物体までの位置関係、ユーザの周囲に存在する物体の移動速度や移動方向、周囲の明るさ（照度）、周囲に他人が存在しているかどうかといった状況などを検知し、検知結果に基づいて周囲状況情報を生成する。
【００２７】
通信部１３０は、インターネット等の通信網１０を介して仮想現実サービス提供サーバ１３００と通信を行う。通信部１３０は、仮想現実提示装置１００で生成された各種情報を無線で送信する無線送信部１３１と、仮想現実サービス提供サーバ１３００より送信された各種情報を無線で受信する無線受信部１３２と、を備える。
【００２８】
無線送信部１３１は、仮想現実提示装置１００で生成される各種情報を無線信号に変換して仮想現実サービス提供サーバ１３００に送信する。無線送信部１３１は、少なくともユーザ状態検知部１１０で生成されるユーザ状態情報と、周囲状況検知部１２０で生成される周囲状況情報とを、仮想現実サービス提供サーバ１３００に送信する。
【００２９】
無線受信部１３２は、仮想現実サービス提供サーバ１３００より送信される各種情報を無線で受信し、当該受信した情報に対応する仮想現実提示装置１００の各部へ出力する。無線受信部１３２は、少なくとも仮想現実サービス提供サーバ１３００で生成された映像の符号化データを無線で受信し、当該符号化データを表示制御部１４０に出力する。
【００３０】
表示制御部１４０は、無線受信部１３２で受信された符号化データを復号化して、仮想現実オブジェクトの映像を表示部１５０に表示する制御を行う。
【００３１】
表示部１５０は、表示制御部１４０の表示制御に基づいて、仮想現実オブジェクトの映像を表示する。
【００３２】
次に、仮想現実サービス提供システム１０００を構成する各装置ついて詳細に説明する。利用可能仮想現実サービス情報記憶データベース１１００は、ユーザが利用可能な仮想現実サービスを示す情報である利用可能仮想現実サービス情報（利用可能サービス識別情報）を記憶する。
【００３３】
仮想現実サービス提供システム１０００は、様々な種類の仮想現実サービスを提供可能なように構成されており、各ユーザは、それらの仮想現実サービスの中から自身が利用したい一部の仮想現実サービスを予め選択している。
【００３４】
図３は、利用可能仮想現実サービス情報の一例を示している。各ユーザと、当該ユーザが利用可能な仮想現実サービスとが対応付けられた状態で記憶されている。例えば、ユーザＢは、Ｓ０２４で識別される仮想現実サービスが利用可能な状態であることを示している。ここでは、Ｓ０２４で識別される仮想現実サービスは、例えば仮想空間に犬の仮想現実オブジェクトを配置することで、ペットがいる仮想現実の世界をユーザに提示するというサービスであるとする。
【００３５】
仮想現実オブジェクト記憶データベース１２００は、複数の仮想現実オブジェクトを記憶する。仮想現実オブジェクトとは、仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。仮想現実サービス提供サーバ１３００が設定する仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。
【００３６】
各種の仮想現実オブジェクトは、３Ｄコンピュータグラフィックスで外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどから構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。このように、各種仮想現実オブジェクトは、その種類に応じた属性が設定されている。属性の一つである関節ポイントの位置座標や角度をメソッドによって変化させることにより、ポリゴンデータの各種頂点の位置座標が変化し、当該仮想現実オブジェクトの外観形状が変化する。
【００３７】
仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類することができる。具体的には、人物クラス、動物クラス、非動物クラスなどの複数のクラスに分類されており、各クラスのインスタンスとして人物オブジェクト、動物オブジェクト、非動物オブジェクトなどの各種仮想現実オブジェクトが生成される。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤが割り当てられている。
【００３８】
人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。すなわち、当該人物オブジェクトに対して所定のメソッドを実行することで当該人物オブジェクトの外観形状を変化させたり、当該人物オブジェクトに設定されている音声データを再生させたりすることで、当該人物オブジェクトを動作させたり喋らせたりすることが可能となる。
【００３９】
動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。
【００４０】
非動物オブジェクトは、植物や、家具、建物などの静的なオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。
【００４１】
その他のオブジェクトは、例えば背景のオブジェクトなどである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。
【００４２】
図４は、仮想現実オブジェクト記憶データベース１２００に記憶される仮想現実オブジェクトを管理する管理ファイルを示す。各仮想現実オブジェクトは、複数の種別によって分類分けされている。例えば、種別１は、オブジェクトの大まかな区分けを示しており、種別２は、現実のもの（人物）か空想上のもの（人物）であるかを示しており、種別３はオブジェクトに含まれる人物等の性別を示している。例えば、管理番号Ｎｏ００００１２の格納アドレスｘｘ０１０１１０１０１・・・には、寝ている雌のライオンの仮想現実オブジェクトのデータが記憶されている。ここでは、管理番号Ｎｏ００００１２の仮想現実オブジェクトは、HumanクラスのサブクラスであるRealクラスとfemaleクラスとをそれぞれスーパークラスとして多重継承しているlionクラスのインスタンスとなる。
【００４３】
図５は、仮想現実オブジェクトの一種であるオブジェクトＩＤナンバー：Ｎｏ０００００９の仮想現実オブジェクトと当該仮想現実オブジェクトを構成する３Ｄポリゴンデータと、を示している。ここでは、オブジェクトＩＤナンバー：Ｎｏ０００００９の仮想現実オブジェクトには、外観形状の頂点の位置座標の集合であるポリゴンデータとポリゴンデータの各位置座標を結んだ各領域の表面に割り当てられるテキスチャーデータが属性データとして定義されている。
【００４４】
次に、仮想現実サービス提供サーバ１３００について説明する。仮想現実サービス提供サーバ１３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、仮想現実オブジェクト読み出し部１３３０と、仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０と、を備える。
【００４５】
通信部１３１０は、インターネット等の通信網１０を介して、各ユーザがそれぞれ装着している仮想現実提示装置１００と通信を行う。通信部１３１０は、仮想現実提示装置１００より送信される各種情報を受信する受信部１３１１と、仮想現実提示装置１００に各種情報を送信する送信部１３１２とを備える。
【００４６】
受信部１３１１は、少なくともユーザの状態を示すユーザ状態情報と、ユーザの周囲の状況を示す周囲状況情報とを受信する。受信部１３１１は、受信した周囲状況情報を仮想現実オブジェクト配置位置決定部１３４０へ、ユーザ状態情報を表示映像生成部１３５０へそれぞれ出力する。
【００４７】
仮想現実サービス提供管理部１３２０は、利用可能仮想現実サービス情報記憶データベース１１００に記憶されている利用可能仮想現実サービス情報を参照し、ユーザが利用可能な仮想現実サービスの中からユーザに提供する仮想現実サービスを決定する処理を行う。仮想現実サービス提供管理部１３２０は、定期的に仮想現実サービスの提供に関するスケジューリングを行うことでユーザに提供する仮想現実サービスを決定しても良いし、ユーザからの要求に基づいて決定しても良い。
【００４８】
仮想現実オブジェクト読み出し部１３３０は、仮想現実サービス提供管理部１３２０で決定されたユーザに提供する仮想現実サービスに用いられる仮想現実オブジェクトを仮想現実オブジェクト記憶データベース１３００より読み出す。
【００４９】
仮想現実オブジェクト配置位置決定部１３４０は、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における前記仮想現実オブジェクトの配置位置を決定する。仮想現実オブジェクト配置位置決定部１３４０は、仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間に配置する。
【００５０】
表示映像生成処理部１３５０は、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着する仮想現実提示装置１００の表示パネルに表示される映像を生成する。具体的には、表示映像生成処理部１３５０は、ユーザ状態情報に基づいて決定される仮想空間における視点と、前記仮想現実オブジェクトとの間に置かれたイメージプレーン上に前記仮想現実オブジェクトを投影することで映像を生成する。
【００５１】
仮想空間における視点は、現実空間におけるユーザの目の位置に対応しており、ユーザの頭部の動きが逐次ユーザ状態情報として表示映像生成処理部１３５０に入力され、仮想空間における視点が制御される。表示映像生成処理部１３５０は、ユーザ状態情報で示される前記ユーザの目の位置に対応した視点に基づいて、仮想空間に配置されている各仮想現実オブジェクトをイメージプレーンに投影する座標変換処理を行い、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理、アンチエリアシング処理等を行うことで、仮想現実提示装置１００の表示部１５０に表示される映像を生成し、更に当該映像をＭＰＥＧ２やＨ．２６４／ＡＶＣと言った所定の符号化方式で符号化を行うことで、当該映像の符号化データを生成する。表示映像生成処理部１３５０で生成された映像の符号化データは、送信部１３１２に出力される。
【００５２】
送信部１３１２は、表示映像生成処理部１３５０で生成された映像の符号化データを仮想現実提示装置１００に送信する。当該映像の符号化データを受信した仮想現実提示装置１００の表示制御部１４０において復号処理が行われ、表示部１５０に仮想現実オブジェクトの映像が表示される。
【００５３】
以上のように、本実施形態１に係る仮想現実サービス提供システムによれば、クリエータが創り出す想像の世界を現実の世界と融合した仮想現実の世界の中で表現することが可能となる。すなわち、各クリエータは、自身の想像する世界を仮想現実オブジェクトと言う表現形態で創造し、創造した仮想現実オブジェクトを仮想現実オブジェクト記憶ＤＢ１２００に格納しておくことができる。当該クリエータが創り出す仮想現実の世界を享受したいユーザには、仮想現実サービスとして仮想現実サービス提供サーバ１３００が、当該仮想現実オブジェクトを当該ユーザの現実の世界と融合するように配置することで、適切に仮想現実の世界をユーザに提示することができる。
【００５４】
（実施形態２）
図６は、本実施形態２に係る仮想現実サービス提供システム２０００の構成を示すブロック図である。仮想現実サービス提供システム２０００は、利用可能仮想現実サービス情報記憶ＤＢ１１００と、仮想現実オブジェクト記憶ＤＢ１２００と、仮想現実サービス提供サーバ２３００と、仮想現実サービス利用条件記憶ＤＢ２４００と、を備える。仮想現実サービス提供サーバ２３００は、インターネット等の通信網を介して仮想現実提示装置２００と通信可能な状態で接続されている。
【００５５】
仮想現実提示装置２００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、仮想現実提示制御部２６０と、を備える。
【００５６】
ユーザ状態検知部１１０は、ユーザの状態を検知してユーザ状態情報を生成する。仮想現実提示装置２００において、ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知して傾き情報を生成する傾きセンサ１１１と、ユーザの頭部の加速度を検知して加速度情報を生成する加速度センサ１１２と、ユーザの現在位置を検出して位置情報を生成する現在位置検出部１１３と、を備える。各部で定期的に生成される傾き情報、加速度情報、位置情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１３０に出力される。ユーザ状態情報には、当該ユーザ状態情報に含まれる各情報が生成された時刻を示す時刻情報（タイムスタンプ）が含まれる構成とすることが好ましい。
【００５７】
周囲状況検知部１２０は、ユーザの周囲の状況を検知して周囲状況情報を生成する。仮想現実提示装置２００において、周囲状況検知部１２０は、視線カメラ（視線映像撮影部）１２１と、周囲カメラ（周囲映像撮影部）１２２とを備える。視線カメラ１２１は、ユーザの視線に対応するユーザ前方の景色を撮影して前方景色画像を取得する。周囲カメラ１２２は、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影すして周囲景色画像を取得する。視線カメラ１２１で撮影された前方景色画像や周囲カメラ１２２で定期的に撮影された周囲景色画像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１３０に出力される。
【００５８】
周囲状況情報には、当該周囲状況情報に含まれる各画像が撮影された時刻を示す時刻情報（タイムスタンプ）や、当該画像を撮影したカメラを識別するカメラ識別情報が合わせて含まれる構成とすることが好ましい。周囲状況検知部１２０を、本明細書では周囲映像撮影部と称することがある。
【００５９】
通信部１３０は、ユーザ状態検知部１１０より出力された傾き情報、加速度情報、位置情報など、ユーザの現在の状態を示すユーザ状態情報を入力し、仮想現実サービス提供サーバ２３００へ送信する。また、通信部１３０は、周囲状況検知部１２０より出力された前方景色画像や周囲景色画像など、ユーザの周囲の状況を示す周囲状況情報を入力し、仮想現実サービス提供サーバ２３００へ送信する。また、通信部１３０は、仮想現実サービス提供サーバ２３００より送信されてくる映像の符号化データを受信し、表示制御部１４０に出力する。
【００６０】
表示制御部１４０は、通信部１３０で受信された映像の符号化データに復号化処理を行い、復号された映像を表示部１５０に表示する制御を行う。表示部１５０は、表示制御部１４０からの表示制御に従って映像を表示する。
【００６１】
仮想現実提示制御部２６０は、ユーザに仮想現実を提示するための全体制御を実行する。仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの提供開始を通知する仮想現実サービス開始通知情報が受信された場合に、仮想現実をユーザに提示するための制御を開始する。
【００６２】
具体的に、仮想現実提示制御部２６０は、当該仮想現実サービス開始通知情報に基づいて、ユーザ状態検知部１１０及び周囲状況検知部１２０に、それぞれユーザ状態情報と周囲状況情報の生成開始を指示する。また仮想現実提示制御部２６０は、通信部１３０に当該ユーザ状態情報と周囲状況情報を仮想現実サービス提供サーバ２３００に定期的に送信するよう指示する。また、仮想現実提示制御部２６０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示する。
【００６３】
また、仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの提供終了を通知する仮想現実サービス終了通知情報が受信された場合に、仮想現実の提示を終了するための制御を行う。具体的に、仮想現実提示制御部２６０は、ユーザ状態検知部１１０と周囲状況検知部１２０に検知処理の終了を指示する。また、表示制御部１４０に表示制御処理の終了を指示する。
【００６４】
仮想現実サービス提供サーバ２３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、仮想現実オブジェクト１３３０と、仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０と、画像解析処理部２３６０と、を備える。
【００６５】
画像解析処理部２３６０は、周囲状況情報として通信部１３１０が仮想現実提示装置２００より受信した前方景色画像や周辺景色画像を解析し、画像の中から所定の成分を抽出する処理を行う。
【００６６】
画像解析処理部２３６０は、物体の位置関係に関する情報を抽出する物体位置特定部２３６１と、明るさなど光学成分を抽出する光学抽出部２３６２と、を備える。
【００６７】
物体位置特定部２３６１は、左目と右目の位置に対応する場所に配置された複数の視線カメラで取得された前方景色画像や、複数の周囲カメラで撮影された周囲景色画像を入力し、各画像において、隣接する画素やブロックとの間で色差信号や輝度信号との差分を算出することで境界判定処理を行う。物体位置特定部２３６１は、当該境界判定処理に基づいて、当該画像に写っている各物体や壁、床、空などを特定し、特定した各物体等をラべリングする。物体位置特定部２３６１は、各カメラで取得された画像においてそれぞれ同一のラべルが張られた各物体の画素位置を比較することで、当該物体までの距離を求め、ユーザの周囲に存在する物体等の位置関係を特定する。
【００６８】
物体位置特定部２３６１は、特定したユーザの周囲に存在する物体の位置関係を示す情報を仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０の描画処理部１３５３にそれぞれ出力する。また、必要に応じて、特定したユーザの周囲に存在する物体の位置関係を示す情報を仮想現実サービス提供開始処理部１３２１と仮想現実サービス提供終了処理部１３２２にそれぞれ出力する構成としても良い。
【００６９】
好ましくは、物体位置特定部２３６１は、入力した画像から大きさやユーザまでの距離を特定した各物体をモデリングすることで、ユーザの周囲の物理的環境を示すモデルデータを生成すると良い。すなわち、物体位置特定部２３６１は、現実の世界におけるユーザの周囲の物理的環境を３Ｄポリゴンデータでモデル化する。物体位置特定部２３６１は、生成したモデルデータを仮想現実オブジェクト配置位置決定部１３４０と、表示映像生成処理部１３５０の描画処理部１３５３にそれぞれ出力する。
【００７０】
光学成分抽出部２３６２は、入力した前方景色画像の中から光学成分を抽出する。例えば、光学成分抽出部２３６２は、前方景色画像の各画素における輝度信号の平均値を算出することで、ユーザの周囲の全体的な明るさ（照度）を示す情報を取得する。また、光学成分抽出部２３６２は、各画素の色差信号の平均値を求めることで、ユーザの周囲の全体的な色を示す情報を取得する。これらの情報は、後述する光源制御部１３５２で制御される無限遠方光源の明るさ（照度）や色に対応する。
【００７１】
また、光学成分抽出部２３６２は、前方景色画像の各画素又はブロックにおける明るさを比較する比較処理や、影となる部分を特定することで、ユーザの周囲にある光源の位置や光源の明るさに関する情報を取得する。
【００７２】
光学成分抽出部２３６２は、周囲状況情報として入力された前方景色画像の中から抽出した光学成分に関する情報を光源制御部１３５２に出力する。なお、光学成分抽出部２３６２は、周囲状況情報として入力される周囲景色画像に対して同様の処理を行い、仮想空間における光源の位置や強さに関連する光学成分の情報を抽出し、光源制御部１３５２に出力する構成としても良い。
【００７３】
仮想現実サービス提供サーバ２３００において、仮想現実サービス提供管理部１３２０は、仮想現実サービス提供開始処理部１３２１と、仮想現実サービス提供終了処理部１３２２と、を備える。
【００７４】
仮想現実サービス提供開始処理部１３２１は、利用可能仮想現実サービス情報記憶ＤＢ１１００に記憶されている利用可能サービス情報を参照して、ユーザが利用可能な仮想現実サービスの中から当該ユーザに提供する仮想現実サービスを選択する。
【００７５】
例えば、仮想現実サービス提供開始処理部１３２１は、仮想現実サービスの開始を要求する仮想現実サービス開始要求が通信部１３１０で受信された場合に、当該仮想現実サービス開始要求で指定されている仮想現実サービスを、提供する仮想現実サービスとして選択する。また、仮想現実サービス提供開始処理部１３２１は、定期的に仮想現実サービスの提供に関するスケジューリングを行っており、利用可能サービス情報を参照して、ユーザが利用可能な仮想現実サービスの中から提供する仮想現実サービスを能動的に選択しても良い。
【００７６】
仮想現実サービス提供開始処理部１３２１は、選択した仮想現実サービスを提供可能であるかを、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている仮想現実サービス利用条件を参照して判定する。
【００７７】
仮想現実サービス利用条件記憶ＤＢ２４００は、仮想現実サービスを利用するための条件である仮想現実サービス利用条件を記憶する。当該仮想現実サービス利用条件としては、仮想現実サービス毎に異なる設定されていても良いし、各仮想現実サービスに共通の条件が設定されていても良い。
【００７８】
例えば、サービスＮｏ：Ｓ００１で識別される仮想現実サービスは、０９：００〜１７：００の間の時間帯でのみ利用可能であると言ったように、仮想現実サービスが利用可能な時間帯が仮想現実サービス利用条件として設定されていても良い。例えば、公共サービスと連動した仮想現実サービスである場合は、公共サービスの時間帯と連動するように、仮想現実サービスの利用が可能な時間帯を設定する。この場合、仮想現実サービス提供開始処理部１３２１は、現在の時刻が、仮想現実サービス利用条件である利用可能時間帯であるかを判定する。同様に、仮想現実サービス利用条件として、仮想現実サービスが利用できない時間帯が設定されていても良い。
【００７９】
また、例えば、サービスＮｏ：Ｓ００２で識別される仮想現実サービスは、所定の位置範囲内でのみ利用可能であると言ったように、仮想現実サービスが利用可能な位置範囲が仮想現実サービス利用条件として設定されていても良い。例えば、特定のイベント会場でのみ、Ｎｏ：Ｓ００２で識別される仮想現実サービスの利用を可能とする場合に、位置範囲に関する条件を設定する。この場合、仮想現実サービス提供開始処理部１３２１は、通信部１３１０で受信される位置情報で示されるユーザの現在位置が、仮想現実サービス利用条件である位置範囲の中であるかを判定する。同様に、仮想現実サービス利用条件として、仮想現実サービスが利用できない位置範囲が設定されていても良い。
【００８０】
また、仮想現実サービス利用条件は、仮想現実サービスを提供するユーザ毎に異なる条件が設定されていても良い。ユーザは、予め自ら仮想現実サービスを利用する条件を仮想現実サービス利用条件として設定する。例えば、ユーザは自宅でのみ仮想現実サービスを利用したい場合は、自宅の位置範囲を仮想現実サービス利用条件として設定しておく。当該設定された仮想現実サービス利用条件が仮想現実サービス利用条件記憶ＤＢ２４００に格納され、仮想現実サービスの提供を行うかどうかの判定処理に利用される。仮想現実サービス提供開始処理部１３２１は、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている当該ユーザに対して設定されている仮想現実サービス利用条件を参照し、通信部１３１０が受信した位置情報が示す当該ユーザの現在の位置が、仮想現実サービス利用条件として設定されている自宅の位置範囲の中であるかを判定する。
【００８１】
なお、仮想現実サービス提供開始処理部１３２１は、画像解析処理部２３６０の物体位置特定部２３６１より、ユーザの周囲にある物体の位置関係に関する情報を入力し、仮想現実サービスをユーザが利用可能であるかを判定しても良い。例えば、ユーザから所定の距離以内の場所に干渉となる物体が無いことが、選択された仮想現実サービスにおける仮想現実サービス利用条件として設定されている場合に、物体位置特定部２３６１で特定されるユーザの周囲の物体の位置関係に基づいて当該条件を満たしているかを判定する。その他、ユーザの周囲に所定の高さ以上の段差がないことを仮想現実サービスの利用を開始するための仮想現実サービス利用条件として設定されていても良い。仮想現実サービス提供開始処理部１３２１は上述した複数の種類の仮想現実サービス利用条件に対して判定処理を行い、仮想現実サービスの提供を開始するかどうかを決定する。
【００８２】
仮想現実サービス提供開始処理部１３２１は、上記判定処理の結果、選択した仮想現実サービスを提供可能であると判定した場合、すなわち選択された仮想現実サービスをユーザは利用可能であると判定した場合に、仮想現実オブジェクト読み出し部１３３０に、当該仮想現実サービスに用いる仮想現実オブジェクトの読み出しを指示する。
【００８３】
また、仮想現実サービス提供開始処理部１３２１は、仮想現実サービスの提供を開始することを通知する仮想現実サービス開始通知情報を生成し、通信部１３１０に出力する。当該仮想現実サービス開始通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０における各種制御が開始される。
【００８４】
仮想現実サービス提供終了処理部１３２２は、ユーザに提供中の仮想現実サービスを終了する処理を行う。仮想現実サービス提供終了処理部１３２２は、現在提供中の仮想現実サービスの終了を要求する仮想現実サービス終了要求が通信部１３１０で受信された場合に、仮想現実サービスを終了する処理を行う。
【００８５】
また、仮想現実サービス提供終了処理部１３２２は、仮想現実サービス利用条件記憶ＤＢ２４００に記憶されている仮想現実サービス利用条件を参照し、当該仮想現実サービス利用条件を満たさなくなった場合に、仮想現実サービス終了処理を実行する。例えば、位置範囲が仮想現実サービス利用条件に設定されている場合は、当該条件として指定されている位置範囲からユーザの現在位置が外れた場合に、現在提供中の仮想現実サービスを終了する処理を行う。また、例えば、時間帯が仮想現実サービス利用条件として設定されている場合は、当該条件として指定されている時間帯を現在の時刻が過ぎた場合に、現在提供中の仮想現実サービスを終了する処理を行う。
【００８６】
また、例えば、仮想現実サービスの一回における提供時間が２時間として仮想現実サービス利用条件に設定されている場合に、仮想現実サービス提供終了処理部１３２２は、仮想現実サービス提供開始処理部１３２１において仮想現実サービスの提供が開始された時点で上記仮想現実サービス利用条件として指定されている時間のタイマをセットして時間計測を開始する。仮想現実サービス提供終了処理部１３２２は、当該時間計測が完了した時点で、提供中の仮想現実サービスの終了処理を行う。
【００８７】
仮想現実サービス提供終了処理部１３２２は、表示映像生成処理部１３５０の描画処理部１３５３に描画処理の終了を指示することで仮想現実サービスの提供を終了する。また、仮想現実サービス提供終了処理部１３２２は、仮想現実サービスの提供を終了することを通知する仮想現実サービス終了通知情報を生成し、通信部１３１０に出力する。当該仮想現実サービス終了通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０によって仮想現実の提示を終了する制御が行われる。
【００８８】
仮想現実オブジェクト読み出し部１３３０は、仮想現実サービス提供開始処理部１３２１においてユーザへの提供を開始すると決定された仮想現実サービスに用いられる仮想現実オブジェクトを仮想現実オブジェクト記憶ＤＢ１２００より読み出す。
【００８９】
仮想現実オブジェクト配置位置決定部１３４０は、ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定する。仮想現実オブジェクト配置位置決定部１３４０は、周囲状況情報として入力された各カメラで取得された画像に基づいて、物体位置特定部２３６１で特定されたユーザの周囲の物体の位置関係に基づいて、仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを、当該ユーザの周囲の物体と干渉しない位置に配置する。
【００９０】
好ましくは、物体位置特定部２３６１が生成した現実の世界におけるユーザの周囲の物理的環境が３Ｄポリゴンデータでモデル化されている仮想空間において、３Ｄポリゴンデータでモデリングされているユーザの周囲の物体と干渉を起こさない位置（例えば、現実空間に存在する物体と仮想現実オブジェクトが所定量以上重ならず、所定量以上の面積で接する位置）に仮想現実オブジェクト読み出し部１３３０で読み出された仮想現実オブジェクトを配置する。
【００９１】
表示映像生成処理部１３５０は、ユーザの状態を示すユーザ状態情報と仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着する仮想現実提示装置２００の表示部１５０に表示される映像を生成する。仮想現実サービス提供サーバ２３００において、表示映像生成処理部１３５０は、視点制御部１３５１と、光源制御部１３５２と、描画処理部１３５３と、映像符号化処理部１３５４と、を備える。
【００９２】
視点制御部１３５１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向と対応している。
【００９３】
なお、ユーザ状態情報の中にはユーザの方向を示す方位情報やユーザの移動速度を示す移動速度情報などが含まれていると更に好ましい。視点制御部１３５１は、ユーザ状態情報に含まれるこれら各情報に基づいてユーザの頭部の姿勢を算出し、ユーザの左目と右目の位置及びユーザの頭部が向いている方向を特定する。視点制御部１３５１は、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置及び視線の方向を算出する。
【００９４】
光源制御部１３５２は、画像解析処理部２３６０の光学成分抽出部２３６２で抽出された光学成分に基づいて、仮想空間における光源の位置及び光源の強さ（明るさ）を算出する。例えば、光源制御部１３５２は、光学成分抽出部２３６２で抽出された画像の各画素の輝度の平均値を算出することで、無限遠方の光源の強さを算出し、当該画像の画素間の輝度の差分に基づいて、他の光源の位置及び強さを算出する。また、光源制御部１３５２は、解析処理が行われた画像における画素の色差信号に基づいて光源の色を算出しても良い。
【００９５】
描画処理部１３５３は、仮想現実オブジェクトをリアルタイムにレンダリングして２次元画像を生成する。一例として、描画処理部１３５３は、以下に示す投影処理、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理等の一部又は複数の処理を組み合わせてレンダリングを行い、仮想現実オブジェクトの映像を生成する。
【００９６】
描画処理部１３５３は、視点制御部１３５１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置にイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部１３５３は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、仮想現実提示装置２００における表示部１５０で表示される範囲を選択する。
【００９７】
描画処理部１３５３は、物体位置特定部２３６１で特定された現実の世界の物体のモデルに基づいて隠面処理を行う。描画処理部１３５３は、イメージプレーンに投影された仮想現実オブジェクトの画像を構成する画素の中から、視点制御部１３５１で算出された視点位置と仮想現実オブジェクトの間に位置している現実の世界の物体のモデルの投影画像と重複する画素のデータを消去することで隠面処理を行う。
【００９８】
描画処理部１３５３は、光源制御部１３５２で算出された光源の位置及び強さに基づいてシェーディング処理を行い、仮想現実オブジェクトの表面の輝度や光の上がり具合、光の透過の状態を調整する。描画処理部１３５３は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に仮想現実提示装置２００の表示部１５０で表示する映像を生成する。
【００９９】
なお、描画処理部１３５３は、視点制御部１３５１が制御する左目に対応する視点と右目に対応する視点に基づいて、左目用の映像と右目用の映像の２枚の映像を生成する。描画処理部１３５３は、生成した映像を映像符号化処理部１３５４に出力する。
【０１００】
映像符号化処理部１３５４は、描画処理部１３５３におけるリアルタイムレンダリング処理で順次生成される映像を所定の符号化方式に基づいて圧縮符号化処理を行う。映像符号化処理部１３５４符号化処理後の映像符号化データを通信部１３１０に出力する。通信部１３１０は、映像符号化処理部１３５４より出力される映像符号化データを仮想現実提示装置２００に送信し、仮想現実提示装置２００の表示制御部１４０で復号処理が行われ、復号処理後の映像が表示部１５０に表示される。
【０１０１】
以上説明したように、本実施形態２に係る仮想現実サービス提供システム２０００によれば、サービス利用条件を満たしているかの判定結果に基づいて、仮想現実サービスが提供されるため、現実の世界との関係で適切でない場合のサービス提供を防ぐことができる。
【０１０２】
なお、仮想現実サービス提示サーバ２３００は、図７に示す構成とすると更に好ましい。図７に示す仮想現実サービス提供サーバ２３００において、仮想現実サービス提供管理部１３２０は、仮想現実サービス中断処理部１３２３を備え、画像解析処理部２３６０は、移動速度算出部２３６３を備える。
【０１０３】
移動速度算出部２３６３は、物体位置特定部２３６１で特定されるユーザの周囲に存在する各物体の位置の時間的変化に基づいて、各物体の移動速度を算出する。移動速度算出部２３６３は、算出した各物体の移動速度を仮想現実サービス中断処理部１３２３に出力する。また、物体位置特定部２３６１は、算出した各物体の距離を仮想現実サービス中断処理部１３２３に出力する。
【０１０４】
仮想現実サービス中断処理部１３２３は、仮想現実サービスをユーザに提供している場合であって、所定の中断条件を満たした場合に仮想現実サービスの提供を強制的に中断する処理を行う。仮想現実サービス利用条件記憶ＤＢ２４００は、仮想現実サービスの提供を中断する条件である仮想現実サービス提供中断条件を更に記憶しており、仮想現実サービス中断処理部１３２３は、当該仮想現実サービス提供中断条件を参照して、仮想現実サービスの提供を中断するかどうかを判断する。
【０１０５】
例えば、仮想現実サービス中断処理部１３２３は、ユーザより仮想現実サービスの利用中断を要求する仮想現実サービス中断要求が通信部１３１０で受信された場合に、提供中の仮想現実サービスの提供を中断する処理を行う。
【０１０６】
また、例えば、仮想現実サービス中断処理部１３２３は、物体位置特定部２３６１で特定された物体の中で、当該物体までの距離Ｌが所定の範囲内であって、当該物体の移動速度Ｖが所定の速度以上である物体がある場合に、仮想現実サービスの中断処理を行う。例えば、仮想現実サービス提供中断条件として、０ｍ＜Ｌ≦２０ｍ、５ｍ／ｓ≦Ｖ≦２００ｍ／ｓと言った条件が設定されていても良いし、０＜Ｌ／Ｖ≦４と言った条件が設定されていても良い。
【０１０７】
また、例えば、仮想現実サービス中断処理部１３２３は、ユーザが移動している場合であって、ユーザの移動方向の所定の距離以内に障害となる物体が物体位置特定部２３６１で特定された場合に、仮想現実サービスの中断処理を行う。
【０１０８】
仮想現実サービス中断処理部１３２３は、仮想現実サービスの提供を中断することを通知する仮想現実サービス中断通知情報を生成し、通信部１３１０に当該生成した仮想現実サービス中断通知情報を出力する。当該仮想現実サービス中断通知情報は、通信部１３１０より仮想現実提示装置２００に送信され、仮想現実提示装置２００の仮想現実提示制御部２６０は、当該仮想現実サービス中断通知情報を受け取った場合に、表示制御部１４０に、表示部１５０に表示中の映像の表示を中断する指示を出す。表示制御部１４０は、当該中断指示に基づいて、表示部１５０に表示している仮想現実オブジェクトの映像の表示を中断する制御を行う。なお、この場合、表示制御部１４０は、仮想現実オブジェクトの表示を強制的に中断することを示す画像を表示部１５０に表示する構成とすると、障害等の発生により仮想現実サービスの提供が強制的に中断されたことをユーザに適切に認識させることができるため好ましい。
【０１０９】
仮想現実サービス中断処理部１３２３は、中断した仮想現実サービスを再開する場合に、仮想現実サービス再開通知情報を生成して通信部１３１０より仮想現実提示装置２００に送信する。当該仮想現実サービス再開通知情報を受け取った仮想現実提示制御部２６０は、表示制御部１４０に、通信部１３０で受信される映像符号化データを復号して映像を表示部１５０に表示する制御を再開させる。
【０１１０】
なお、仮想現実サービス中断処理部１３２３は、仮想現実サービスの中断中は、描画処理部１３５３にレンダリング処理の中断を指示して、レンダリング処理を止めておいても良い。
【０１１１】
なお、上述した仮想現実サービス中断処理部１３２３や画像解析処理部２３６０を、仮想現実提示装置２００が具備する構成としても良い。この場合、画像解析処理部２３６０は、周囲状況検知部１２０で撮影された映像に対して上述した所定の解析処理を行うことでユーザ周囲の物体の位置関係や各物体とユーザ間の相対的な移動速度などを検出する。仮想現実サービス中断処理部１３２３は、当該画像解析処理部２３６０における解析処理に基づいて取得された物体の位置関係に関する情報や移動速度に関する情報、その他ユーザ状態検知部１１０で検知されたユーザの状態に基づいて、現在当該ユーザに対して提示している仮想現実サービスの提示を中断するかを判断する処理を行う。具体的には、表示部１５０で行われている仮想現実オブジェクトの映像の表示を中断する指示を表示制御部１４０に出力する。表示制御部１４０は、仮想現実サービス中断処理部１３２３からの中断指示に基づいて、表示部１５０における仮想現実オブジェクトの映像の表示処理を中断する制御を行う。この場合、表示制御部１４０は、中断した仮想現実オブジェクトの映像の代わりに、ユーザの周囲の状況等が中断条件に該当したことで仮想現実サービスを中断することを当該ユーザに警告する画面を表示部１５０に表示する制御を行う構成としても良い。
【０１１２】
（実施形態３）
図８は、本実施形態３に係る仮想現実提示装置であるヘッドマウントディスプレイ（ＨＭＤ）装置３００の斜め前方と斜め後方からの外観斜視図である。ＨＭＤ装置３００は、フレーム３０１と、フロントパネル３０２と、を少なくとも備える。
【０１１３】
フレーム３０１は、ＨＭＤ装置３００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム３０１は、大きく分けてライトフレーム３０１ａ、レフトフレーム３０１ｂ、センターフレーム３０１ｃから構成される。
【０１１４】
ライトフレーム３０１ａ及び３０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ３９１ａ、３９１ｂが配置され、他端がセンターフレーム３０１ｃと接続されている。
【０１１５】
また、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの一端の外側に周囲の音声を集音する周囲マイクロフォン３７２ａ、３７２ｂが配置されている。また、ライトフレーム３０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン３７１を備える。ユーザマイクロフォン３７１や周囲マイクロフォン３７２ａ、３７２ｂで集音された音声は、ＡＤ変換でデジタル音声信号に変換され、情報処理プロセッサに出力される。
【０１１６】
ライトフレーム３０１ａ及び３０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１１ａ、１１１ｂと、加速度を検知する加速度センサ１１２ａ、１１２ｂが配置されている。また、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの外側には、周囲の景色を撮影する周囲カメラ１２２ａ、１２２ｂがそれぞれ配置されている。
【０１１７】
センターフレーム３０１ｃは、両端がそれぞれライトフレーム３０１ａ、レフトフレーム３０１ｂに接続されており、センターフレーム３０１ｃの下方にフロントパネル３０２が接続されている。
【０１１８】
センターフレーム３０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１ｃ、１１１ｄ、１１１ｅと、加速度を検知する加速度センサ１１２ｃ、１１２ｄ、１１２ｅがそれぞれ配置されている。また、センターフレーム３０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ１２１ａ、１２１ｂが配置されている。視線カメラ１２１ａ、１２１ｂは、センターフレーム３０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
【０１１９】
フロントパネル３０２は、ＨＭＤ装置３００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。本実施形態３に係るＨＭＤ装置３００において、フロントパネル３０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル（第１映像表示部）１５１ａとレフト表示パネル（第２映像表示部）１５１ｂとが配置される。
【０１２０】
図８に示すＨＭＤ装置３００では、ライト表示パネル１５１ａとレフト表示パネル１５１ｂは、導光板と液晶パネル（ＬＣＤ）が重ね合わされた構造を取る。液晶パネルは、透明電極（透明導電膜）、偏光板（偏光フィルム）、液晶層、ガラス基板、カラーフィルタ等が積層された構造をとる。
【０１２１】
図９は、ＨＭＤ装置３００のライト表示パネル１５１ａ付近の断面図を示している。センターフレーム３０１ｃの下方には、フロントパネル３０２が配置されており、センターフレーム３０１ｃの下部には光源３５２が配置されている。
【０１２２】
光源３５２より放射された可視光はフロントパネル３０２側へ照射される。フロントパネル３０２は、導光板３５３とＬＣＤ３５４とが合わさった構成であり、光源３５２より放射された可視光が導光板３５３でユーザ側へ反射され、表示制御されたＬＣＤ３５４を透過することで映像が表示される。
【０１２３】
図１０は、本実施形態３に係る仮想現実サービス提供システム３０００の機能構成を示すブロック図である。仮想現実サービス提供システム３０００は、契約者情報記憶ＤＢ３１００と、仮想現実コンテンツ記憶ＤＢ３２００と、仮想現実サービス提供サーバ３３００と、セーブデータ記憶ＤＢ３５００と、を備え、仮想現実提示装置であるＨＭＤ装置３００とインターネット等の通信網を介して接続されている。
【０１２４】
ＨＭＤ装置３００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、表示部１５０と、仮想現実提示制御部２６０と、音声入力部３７０と、音声再生制御部３８０と、音声出力部３９０と、を備える。
【０１２５】
ユーザ状態検知部１１０は、仮想現実提示装置であるＨＭＤ装置３００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０として、ＨＭＤ装置３００は、傾きを検知する傾きセンサ１１１と、加速度を検知する加速度センサ１１２と、を備える。傾きセンサ１１１で生成された傾き情報や加速度センサ１１２で生成された加速度情報は、それぞれユーザの状態を示すユーザ状態情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。
【０１２６】
周囲状況検知部１２０は、ＨＭＤ装置３００を使用しているユーザの周囲の状況を検知する。具体的には、周囲状況検知部１２０は、外部環境の映像を取得することで周囲の状況を検知する。周囲状況検知部１２０として、ＨＭＤ装置３００は、ユーザの視線と対応した景色を撮影する視線カメラ１２１と、ユーザの両側や後方など視線カメラ１２１では撮影できない範囲の景色を撮影する周囲カメラ１２２と、を備える。視線カメラ１２１で撮影されたユーザ前方の景色の映像や周囲カメラ１２２で撮影されたユーザの周囲の映像は、それぞれ適宜圧縮等の符号化が行われた上で、周囲状況情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。
【０１２７】
通信部１３０は、仮想現実提示制御部２６０からの制御に従って、ユーザ状態検知部１１０で検知されたユーザ状態を示すユーザ状態情報、周囲状況検知部１２０で検知されたユーザの周囲の状況を示す周囲状況情報、音声入力部３７０で入力された音声を示す音声情報、をそれぞれ仮想現実サービス提供サーバ３３００に送信する。また、通信部１３０は、仮想現実サービス提供サーバ３３００より受信した映像データと音声データをそれぞれ表示制御部１４０と音声再生処理部３８０へ出力する。
【０１２８】
表示制御部１４０は、通信部１３０で受信される各種データのうち、仮想現実サービス提供サーバ３３００で生成された映像の符号化データを入力し、当該入力した符号化データを復号して得た仮想現実オブジェクトの映像を表示部１５０に表示する制御を行う。
【０１２９】
表示部１５０は、表示制御部１４０からの制御に基づいて所定の映像を表示する。表示部１５０に表示される映像は、仮想現実感を提供するための仮想現実オブジェクトの静止画像や動画像などの映像である。表示部１５０として、ＨＭＤ装置１００には、ライト表示パネル１５１ａとレフト表示パネル１５１ｂが設けられており、それぞれ視差が加えられた映像を表示する。
【０１３０】
仮想現実提示制御部２６０は、ＨＭＤ装置３００でユーザに仮想現実を提示する処理を制御する。仮想現実提示制御部２６０は、通信部１３０で仮想現実サービスの開始を指示する仮想現実サービス開始通知情報が受信された場合に、仮想現実を提示するための制御を開始する。
【０１３１】
具体的に、仮想現実提示制御部２６０は、当該開始通知情報に基づいて、ユーザ状態検知部１１０、周囲状況検知部１２０、音声入力部３７０にそれぞれユーザ状態情報、周囲状況情報、音声情報の取得開始を指示すると共に通信部１３０に当該情報を仮想現実サービス提供サーバ２１００に定期的に送信するよう指示する。また、仮想現実提示制御部２６０は、表示制御部１４０に表示部１５０に映像を表示する制御の開始を指示し、音声再生制御部３８０に音声出力部３９０より出力する音声の再生制御の開始を指示する。
【０１３２】
音声入力部３７０は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行ってデジタル音声信号に変換することで音声を入力する。音声入力部３７０として、ＨＭＤ装置３００は、ユーザが発した音声を集音するユーザマイクロフォン３７１と、周囲の音声を集音する周囲マイクロフォン３７２とを備える。
【０１３３】
ユーザの音声を効率良く集音できるよう、ユーザマイクロフォン３７１は、ＨＭＤ装置３００の内側（ユーザ側）に配置され、一方、周囲マイクロフォン３７２は、ユーザの外部環境からの音声を効率良く集音できるよう、ＨＭＤ装置３００の外側に配置される。周囲マイクロフォン３７２は、ユーザがＨＭＤ装置３００を装着していない状態でユーザの耳に直接聞こえる音声を集音できるよう、ＨＭＤ装置３００における耳の位置付近に配置されていることが好ましい。ユーザマイクロフォン３７１や周囲マイクロフォン３７２は、音声を集音してアナログ電気信号に変換し、ＡＤ変換処理を行ってデジタル音声信号に変換することで音声を入力する。当該入力された音声は、必要に応じて音声符号化が行われた後、それぞれユーザ音声情報及び周囲音声情報として通信部１３０より仮想現実サービス提供サーバ３３００に送信される。
【０１３４】
音声再生制御部３８０は、通信部１３０で受信される各種データのうち、仮想現実サービス提供サーバ３３００で生成された音声データを入力し、当該入力した音声データに基づいて仮想現実オブジェクトが発する音声を音声出力部３９０より出力する制御を行う。
【０１３５】
ここで、バーチャルな現象が引き起こす音声をリアルな現象が引き起こしている音声としてユーザに認識させるためには、音声発生源である仮想現実オブジェクトの位置から音声が伝達されているようにユーザに認識させることが仮想現実の世界にユーザを引き込むうえで好ましい。そこで、音声再生制御部３８０は、５．１Ｃｈや６．１Ｃｈ、７．１Ｃｈと言った立体音響に対応する形で音声データを再生することが好ましい。
【０１３６】
音声出力部３９０は、音声再生制御部３７０からの再生制御に従って音声を出力する。音声出力部３９０として、ＨＭＤ装置３００は、ライトフレーム３０１ａ及びレフトフレーム３０１ｂの後端付近に配置されるスピーカ３９１ａ、３９１ｂを備えており、音声再生制御部３８０で再生された各チャンネルの音声データにＤＡ変換を行い、アナログ電気信号に変換し、更に空気振動に変換して外部へ放音する。
【０１３７】
次に、仮想現実サービス提供システム３０００について説明する。契約者情報記憶データベース部３１００は、仮想現実サービスを利用するユーザである契約者を管理する契約者情報を記憶する。各ユーザは、仮想現実サービスを利用するにあたり、仮想現実サービス提供会社との間で、仮想現実サービス利用契約を締結している。
【０１３８】
図１１は、契約者情報記憶データベース部３１００に記憶される契約者情報の一例を示している。図１１において、契約者情報には、仮想現実サービス利用契約を締結しているユーザの個人情報（契約者個人情報）や、当該ユーザが契約しているプランやそのプランに含まれるサービス内容などが含まれている。
【０１３９】
仮想現実コンテンツ記憶データベース３２００は、仮想現実コンテンツを記憶する。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、仮想現実オブジェクトの外観を規定するモデルデータと、当該仮想現実オブジェクトが発する音声データと、仮想現実サービスを制御する仮想現実サービス制御プログラムとを含む。図１２は、仮想現実コンテンツの構造を示している。
【０１４０】
仮想現実オブジェクトのモデルデータは、当該仮想現実オブジェクトの形状を規定するポリゴンデータと、当該ポリゴンデータで規定される形状の表面に張り付けられるテキスチャーデータと、を含む。
【０１４１】
仮想現実オブジェクトの音声データは、当該仮想現実オブジェクトで表される人物等が読み上げる所定の文章の音声を予め収録した文章音声データや、当該仮想現実オブジェクトが発する音声の元となる音声基礎データと、を含む。音声基礎データは、例えば、仮想現実オブジェクトが実在の人間を元にして創り出された人物オブジェクトである場合、当該実在の人物の肉声より抽出した声質、ピッチ、音声波形、音素等のデータである。これらの音声基礎データが音声合成処理によって合成されてユーザに提示されることで、当該人物オブジェクトが実際に喋っているようにユーザに感知される。なお、音声基礎データの抽出方法（収録方法）は、様々な切り口で抽出することが可能であり、音声発音データと音声表情データとに分類する形で抽出しても良いし、他の分類方法で抽出しても良い。当該抽出方法は、実施される音声合成処理のアルゴリズムによって決定される。
【０１４２】
仮想現実制御プログラムは、ユーザに提供される仮想現実サービスを制御するために実行されるプログラムであって、大きく仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図１３は、仮想現実制御プログラムの階層構造を示している。
【０１４３】
仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。
【０１４４】
仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。
【０１４５】
例えば、音声解析部３３８０のコンテキスト取得部３３８１で「おはよう」と言うコンテキストが取得されたとする。この場合、仮想現実オブジェクト人格制御プログラムＸが実行されている場合、当該「おはよう」と言う入力に対して仮想現実オブジェクト挙動制御プログラムＡを読み出して実行する。一方、仮想現実オブジェクト人格制御プログラムＺが実行されている場合、同一の「おはよう」と言う入力が行われたとしても、仮想現実オブジェクト挙動制御プログラムＡではなく、仮想現実オブジェクト挙動制御プログラムＮが読み出されて実行される。このように、仮想空間に配置されている各仮想現実オブジェクトに対してぞれぞれ実行されている仮想現実オブジェクト人格制御プログラムによって、外界からの入力と、当該仮想現実オブジェクトからの出力との対応関係が異なる。従って、仮想現実オブジェクトを実在する人間として見立てた場合に、仮想現実オブジェクト人格制御プログラムは、当該仮想現実オブジェクトの人格を表しているとみることができる。
【０１４６】
仮想現実オブジェクト挙動制御プログラムや仮想現実オブジェクト人格制御プログラムは、対応する仮想現実オブジェクトに対するメッソドとしてプログラミングすることができる。
【０１４７】
仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。
【０１４８】
仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。ＨＭＤ装置３００より適宜送信されるユーザ状態情報や周囲状況情報、音声情報等の情報に基づいて、仮想現実メイン制御プログラムが、適切な仮想現実サブ制御プログラムを読み出し、当該仮想現実サブ制御プログラムによって実行される内容に従って仮想現実の世界がＨＭＤ装置３００を介してユーザに提示される。
【０１４９】
セーブデータ記憶データベース３５００は、ユーザのセーブデータを記憶する。セーブデータとは、仮想現実サービスを途中から開始するためのデータである。仮想現実サービスの中には、ストーリー性があるものや、仮想現実サービスを利用するに従ってサービス内容が変化するものや、仮想現実サービスの中でアイテムや経験値等を取得できるものがある。そこで、ユーザがこれまでに利用済みの部分を記憶し、仮想現実サービスを前回終了した途中地点から再開できるようにセーブデータが記憶される。
【０１５０】
図１４は、セーブデータ記憶データベース３５００に記憶されているセーブデータ管理ファイルの一例である。セーブデータ管理ファイルには、各セーブデータに一意に割り当てられたセーブデータ管理番号、当該セーブデータに係るユーザ名、当該ユーザを識別するユーザ識別番号、当該セーブデータに係る仮想現実サービス名、当該仮想現実サービスを一意に識別する仮想現実サービス識別番号、当該セーブデータの格納アドレス、などが対応付けられた状態で記憶されている。
【０１５１】
仮想現実サービス提供サーバ３３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、表示映像生成処理部１３５０と、画像解析処理部２３６０と、仮想現実サービス制御部３３３０と、仮想現実オブジェクト挙動制御部３３７０と、音声解析処理部３３８０と、再生音声生成処理部３３９０と、を備える。
【０１５２】
仮想現実サービス提供管理部１３２０は、契約者情報記憶ＤＢ３１００に記憶されている契約者情報を参照して、ユーザに提供する仮想現実サービスの管理を行う。例えば、仮想現実サービス提供管理部１３２０は、ユーザから出された仮想現実サービス開始要求や仮想現実サービス終了要求等に基づいて仮想現実仮想現実サービスの開始処理や終了処理を行う。
【０１５３】
契約者情報には、ユーザが仮想現実サービスを利用する条件やユーザが利用可能な仮想現実サービスに関する情報等が含まれる。すなわち、契約者情報には、仮想現実サービス利用条件が含まれている。仮想現実サービス提供管理部１３２０は、これらの情報に基づいて、仮想現実サービスを提供可能であるかを判定し、また、提供する仮想現実サービスを決定する処理を行う。
【０１５４】
仮想現実サービス提供管理部１３２０は、提供を開始する仮想現実サービスと、当該仮想現実サービスを利用するユーザをそれぞれ識別する情報を仮想現実サービス制御部３３３０に出力する。また、仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供を開始することを当該ユーザに通知する。
【０１５５】
仮想現実サービス制御部３３３０は、仮想現実サービスを制御する。具体的には、仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で仮想現実サービスの提供を開始すると決定された場合に、当該仮想現実サービスに用いる仮想現実コンテンツを仮想現実コンテンツ記憶データベース３２００より読み出す。
【０１５６】
なお、当該仮想現実サービスのセーブデータがセーブデータ記憶データベース３５００に記憶されている場合は、仮想現実サービス制御部３３３０は、当該仮想現実サービスを提供するユーザのセーブデータを読み出し、当該セーブデータで示されるサービス再開位置に係る部分の仮想現実コンテンツを読み出す。
【０１５７】
具体的に、仮想現実サービス制御部３３３０は、当該仮想現実サービスの全体を制御する仮想現実メイン制御プログラムを読み出して実行することで、仮想空間を設定し、当該仮想現実サービスを提供するユーザのＨＭＤ装置３００との間の通信で使用するポート番号等の設定などを行う。
【０１５８】
また、仮想現実サービス制御部３３３０は、仮想現実サブ制御プログラムを読み出して実行することで、仮想現実オブジェクトを仮想現実コンテンツ記憶データベース３２００より読み出し、仮想空間の所定の位置に当該読み出した仮想現実オブジェクトを配置する。
【０１５９】
ここで、仮想現実サービス制御部３３３０は、仮想空間内において、予め定められている位置に仮想現実オブジェクトを配置しても良いし、画像解析処理部２３６０で得られた現実空間におけるユーザ周辺の物体の配置関係を考慮して仮想現実オブジェクトを干渉が生じない位置に配置する構成としても良い。この場合、仮想現実サービス制御部３３３０は、画像解析処理部２３６０におけるモデル化処理によって生成されたユーザの周囲に存在する物体等のモデルデータを仮想空間に配置し、当該モデルデータで示される物体と重なることで干渉が起きないように、仮想現実オブジェクトの配置位置を決定する。仮想現実サービス制御部３３３０は、仮想空間における当該決定した配置位置に仮想現実オブジェクトを配置する。
【０１６０】
仮想現実オブジェクト挙動制御部３３７０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想空間に配置されている仮想現実オブジェクトが動作可能なオブジェクトである場合は、仮想現実オブジェクト挙動制御部３３７０は、当該仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御プログラムを実行することで、仮想現実オブジェクトに当該プログラムに対応した挙動を行わせる。
【０１６１】
また、仮想現実サービス制御部３３３０は、当該仮想空間に配置している仮想現実オブジェクトが音声等の入力に対して所定の出力を返す動的な仮想現実オブジェクトである場合は、当該仮想現実オブジェクトに対する入力と、当該入力に基づく仮想現実オブジェクトの挙動との因果関係を規定している仮想現実オブジェクト人格制御プログラムを仮想現実オブジェクト挙動制御部３３７０に実行させる。仮想現実オブジェクト挙動制御部３３７０は、画像解析処理部２３６０や音声解析処理部３３８０における解析結果を入力として仮想現実オブジェクト人格制御プログラムを実行することで、当該入力に対応する仮想現実オブジェクト挙動制御プログラムを特定する。仮想現実オブジェクト挙動制御部３３７０は、当該特定した仮想現実オブジェクト挙動制御プログラムを仮想現実コンテンツ記憶ＤＢ３２００より読み出して実行することで、仮想現実オブジェクトの挙動を制御する。すなわち、仮想現実オブジェクト挙動制御部３３７０は、実行する仮想現実オブジェクトに従って、仮想空間に配置されている各仮想現実オブジェクトの形状を変形させる。
【０１６２】
表示映像生成処理部１３５０は、ユーザ状態情報で示される視点位置からの仮想空間に配置されている仮想現実オブジェクトの映像を生成する。仮想現実オブジェクトが動的な仮想現実オブジェクトである場合は、表示映像生成処理部１３５０は、仮想現実オブジェクト挙動制御部３３７０における制御に従って順次外観形状が変化していく仮想現実オブジェクトの各フレームタイミングにおける上記視点位置からの映像を順次生成する。なお、仮想現実オブジェクトが静的な仮想現実オブジェクトである場合は、表示映像生成処理部１３５０は、仮想現実サービス制御部３３３０が仮想現実サブ制御プログラムを実行することで仮想空間に配置する仮想現実オブジェクトの各フレームタイミングにおける上記視点位置からの映像を順次生成する。なお、この場合は、ユーザの視点に変化が無ければ、ＨＭＤ装置３００の表示パネル１５１ａ、１５１ｂでそれぞれ表示される映像に変化は無いため、以前のフレームタイミングで生成した映像を複製して現タイミングにおける映像とすることができる。
【０１６３】
音声解析処理部３３８０は、ＨＭＤ装置３００の音声入力部３７０で入力された音声を解析する処理を行う。音声解析処理部３３８０は、音声レベル抽出部３３８１と、感情要素抽出部３３８２と、コンテキスト取得部３３８３と、を備える。
【０１６４】
音声レベル抽出部３３８１は、入力した周囲音声情報に基づいて、ユーザの外部環境で生じている雑音の音声レベル（音量レベル）を特定する。音声レベル抽出部３３８１は、入力したユーザ音声情報に基づいて、ユーザが発した音声の音声レベルを特定する。音声レベル抽出部３３８１は、周囲音声情報から抽出した外部環境の音声の音声レベルを再生音声生成処理部３３９０に出力し、ユーザ音声情報から抽出したユーザの音声レベルを感情要素抽出部３３８２とコンテキスト取得部３３８３にそれぞれ出力する。
【０１６５】
感情要素抽出部３３８２は、入力したユーザ音声情報に基づいて、ユーザの感情要素を抽出する。具体的には、感情要素抽出部３３８２は、予め登録しているユーザの音声波形とマッチング処理を行うことで、ユーザの喜怒哀楽などの状態を特定し、感情要素として抽出する。ここで、感情要素抽出部３３８２は、音声レベル抽出部３３８１で抽出されるユーザの音声レベルに基づいて入力するユーザ音声情報に含まれる音声に増幅処理等を行った上で感情要素を抽出しても良い。感情要素抽出部３３８２は、抽出した感情要素データを仮想現実オブジェクト挙動制御部３３７０に出力する。
【０１６６】
コンテキスト取得部３３８３は、入力したユーザ音声情報に基づいて、ユーザが発した音声のコンテキストを取得する。コンテキスト取得部３３８３は、入力したユーザ音声情報に含まれる音声データに対して、音声レベル抽出部３３８１で抽出された音声レベルに基づく増幅処理を行った後、所定の音声解析アルゴリズムに従って当該音声データが示すコンテキストを取り出す処理を行う。
【０１６７】
例えば、コンテキスト取得部３３８３は、複数の音声単位を記憶する音声データベースに含まれる音声単位データと、入力した音声データとのマッチング処理を行うことで、音声データを単位音声に分割する。当該音声データベースに含まれる音声単位データは、例えば「い」の単位音声がコードＮｏ００４、「こ」の単位音声がコードＮｏ０２１というように、コードが割り当てられている。コンテキスト取得部３３８３は、入力した音声データを単位音声に分割することで、当該入力した音声データをコードの羅列に変換する。なお、上記音声データベースの図示は省略している。
【０１６８】
コンテキスト取得部３３８３は、複数の単語データや文法構造を規定する文法データを記憶している単語・文法データベースにアクセスし、音声解析処理で得られた一連のコードのいくつかと、上記データベースに記憶される単語データとのマッチングを行うことで、意味のある部分を抽出していく。コンテキスト取得部３３８３は、当該一連の処理に基づいて、入力された音声データが示すコンテキストを取得する。
【０１６９】
例えば、入力された音声データが「ねことたわむれたいな」と言う音声であった場合、コンテキスト取得部３３８３は、「ね」、「こ」、「と」、「た」、「わ」、「む」、「れ」、「た」、「い」、「な」と単位音声に分割する。各単位音声にはコードが割り当てられているため、コンテキスト取得部３３８３は、当該音声データを「０７２／０２１／０４１／０３６／１２４／０８５／０９９／０３６／００４／０４３」といったコードの羅列に変換する。
【０１７０】
コンテキスト取得部３３８３は、入力された音声データから変換された当該コードと単語・文法データベースの単語を示すコードとのマッチング処理を行うことで単語の羅列に変換する。例えば、コンテキスト取得部３３８３は、当該マッチング処理を行うことで、「０７２０２１」、「０３４」、「０３６１２４０８５０９９」、「０３６００４０４３」と纏まり毎に抽出し、「Ｏｂ：ねこ、Ｏｆ：と、Ｖａ：たわむれ、Ｖｃ：たいな」と言う形で主語、目的語、述語、助詞、などに整理する。コンテキスト取得部３３８３は、当該処理により、入力された音声は、「猫と戯れたい」というコンテキストを示していると判定する。
【０１７１】
このようにコンテキスト取得部３３８３で取得されたコンテキストは、仮想現実サービス提供管理部１３２０、仮想現実サービス制御部３３３０、仮想現実オブジェクト挙動制御部３３７０にそれぞれ出力される。
【０１７２】
仮想現実サービス提供管理部１３２０は、コンテキスト取得部３３８３で取得された音声データのコンテキストが「ガガフロンティアを開始したい」と言った仮想現実サービスの開始を要求するコンテキストであった場合、当該コンテキストで示されている仮想現実サービスの提供開始を決定する。このように、仮想現実サービス提供管理部１３２０は、仮想現実サービス開始要求、仮想現実サービス終了要求、仮想現実サービス中断要求など、ユーザからの要求を音声データと言った形式で入力する。
【０１７３】
仮想現実サービス制御部３３３０は、コンテキスト取得部３３８３で取得された音声データのコンテキストに基づいて、当該音声入力に対応する仮想現実サービス制御プログラムを仮想現実コンテンツ記憶ＤＢ３２００より読み出して実行する。
【０１７４】
仮想現実オブジェクト挙動制御部３３７０は、コンテキスト取得部３３８３で取得された音声データのコンテキストや、感情要素抽出部３３８２で抽出された感情要素データに基づいて、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。
【０１７５】
再生音声生成処理部３３９０は、ＨＭＤ装置３００の音声再生制御部３８０より再生される音声データを生成する。再生音声生成処理部３３９０は、仮想現実サービス制御部３３３０によって仮想現実コンテンツ記憶ＤＢ３２００より読み出された音声データや、仮想現実オブジェクト挙動制御部３３７０で制御された仮想現実オブジェクトが発する音声データに対して、音声レベル抽出部３３８１で抽出された音声レベルに基づく利得調整処理を行う。再生音声生成処理部３３９０は、通信部１３１０で受信されたユーザ状態情報で示されるユーザの頭部の姿勢に基づいて、ユーザの左右の耳の位置を特定し、入力した上記音声データを複数のチャンネルに分割して各チャンネルの音声データを生成する。再生音声生成処理部３３９０は、当該複数のチャンネルに分割した音声データを、ＣＥＬＰ等の符号化方式で符号化して音声符号化データを生成し、通信部１３１０に出力する。当該再生音声生成処理部３３９０で生成された音声符号化データは、通信部１３１０よりＨＭＤ装置３００に送信され、ＨＭＤ装置３００の音声再生制御部３８０で音声復号処理が行われた後、音声出力部１７０である各スピーカより音声が出力される。
【０１７６】
次に、仮想現実サービス提供システム３０００の動作について説明する。図１５は、仮想現実サービスの提供開始処理の流れの一例を示すフローチャート図である。
【０１７７】
仮想現実サービス提供管理部１３２０は、ユーザに対して仮想現実サービスを提供することを決定する決定処理を行う（ステップＳ３０１〜Ｓ３０４）。具体的には、通信部１３１０で仮想現実サービス開始要求が受信されたかを判定する（ステップＳ３０１）。通信部１３２０で仮想現実サービス開始要求が受信されていない場合は、当該サービス開始要求が受信されるまで待機する。
【０１７８】
通信部１３１０で仮想現実サービス開始要求が受信された場合、仮想現実サービス提供管理部１３２０は、当該仮想現実サービス開始要求に基づいて、要求元のユーザに当該仮想現実サービス開始要求で指定されている仮想現実サービスの提供を開始することが可能であるかを判定する（ステップＳ３０２）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービス利用条件記憶ＤＢ２４００や契約者情報記憶ＤＢ３１００に記憶されている当該仮想現実サービスを利用するための条件である仮想現実サービス利用条件を参照して、当該仮想現実サービス開始要求で指定されている仮想現実サービスの提供を開始することが可能であるかを判定する。
【０１７９】
ステップＳ３０２における判定の結果、当該仮想現実サービス利用条件を満たさないと判定された場合、仮想現実サービス提供管理部１３２０は、上記仮想現実サービス開始要求で開始が要求されている仮想現実サービスを提供することを拒絶する通知を行う（ステップＳ３０３）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供の開始を拒絶することを示す仮想現実サービス開始拒絶通知情報を生成し、通信部１３１０より仮想現実サービス開始要求の要求元ユーザに送信する。当該仮想現実サービス開始拒絶通知情報には、仮想現実サービスの提供を開始できない理由を示す仮想現実サービス提供拒絶理由を含める構成とすることが好ましい。
【０１８０】
一方、ステップＳ３０２における判定の結果、当該仮想現実サービス利用条件を満たすと判定された場合、仮想現実サービス提供管理部１３２０は、当該要求に基づく仮想現実サービスの提供開始を決定する（ステップＳ３０４）。具体的には、仮想現実サービス提供管理部１３２０は、仮想現実サービス制御部３３３０に、要求されている仮想現実サービスの制御開始を指示する。
【０１８１】
仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で仮想現実サービスの提供開始が決定された場合、当該仮想現実サービスに係る仮想現実コンテンツを、仮想現実コンテンツ記憶ＤＢ３２００より読み出す（ステップＳ３０５）。
【０１８２】
仮想現実サービス制御部３３３０は、提供する仮想現実サービス用に、仮想空間を設定する（ステップＳ３０６）。通常、ユーザに提示される仮想現実の世界は、ユーザの視界に収まる範囲であるため、１０ｍ四方程度の大きさに設定することが好ましい。但し、ユーザが移動しながら仮想現実の世界を鑑賞したりする場合は、１００ｍｍ四方程度の大きさの仮想空間を予め確保しておくことが好ましい。このように、仮想現実サービスの内容に従って、必要となる仮想空間の大きさも異なってくる。従って、仮想現実サービス制御部３３３０は、仮想現実サービス提供管理部１３２０で決定された仮想現実サービスに基づいて、仮想空間を設定する構成とすることが好ましい。例えば、Ｓ００１の仮想現実サービスを提供する場合は、５０ｍ四方の仮想空間を、Ｓ０２５の仮想現実サービスを提供する場合は、Ｘ方向が１ｋｍ、Ｙ方向が１ｋｍ、Ｚ方向が２０ｍの仮想空間を設定する構成とすることができる。どの程度の大きさの仮想空間を必要とするかは、仮想現実コンテンツの一部の制御データとして、仮想現実コンテンツ記憶ＤＢ３２００に記憶されていると良い。仮想現実サービス制御部３３３０は、仮想現実コンテンツを読み出し、仮想現実コンテンツに含まれる当該制御データを参照して仮想空間を設定する。不必要に大きすぎる仮想空間を設定すると不要なリソース消費が発生する一方、仮想現実サービスと比較して小さすぎる仮想空間では、仮想現実サービスの提供に用いられる仮想現実オブジェクトを適切に配置できない可能性が残る。このような観点から、予め記憶されている制御データを参照して、仮想空間の大きさが決定される構成とすることが好ましい。
【０１８３】
次に、仮想現実サービス制御部３３３０は、仮想現実サービスの提供に用いられる環境パラメータの設定を行う（ステップＳ３０７）。環境パラメータとは、仮想現実の世界をユーザに提示するために、ＨＭＤ装置（仮想現実提示装置）３００と、仮想現実サービス提供サーバ３３００との間で行われる通信の制御を規定する情報である。
【０１８４】
例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００との間の通信を暗号化する暗号鍵を設定する。ＨＭＤ装置３００では、周囲状況情報にはユーザの周囲の景色を撮影した画像データが含まれるため、プライバシーに係るものが写っている可能性がある。そこで、当該２つの装置間での通信を暗号化するために、仮想現実サービス制御部３３３０は、通信用の暗号鍵を生成又は仮想現実コンテンツ記憶ＤＢ３２００より読み出す。当該暗号鍵は、共通鍵であっても良いし、公開鍵であっても良い。
【０１８５】
また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００との間の通信で使用するポートを設定する。当該ポートは、送受信される情報に応じて複数の異なるポートが割り当てられていても良いし、１つのポートを共通して用いる構成としても良い。
【０１８６】
また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、ＨＭＤ装置３００から仮想現実サービス提供サーバ３３００へ定期的に送信されるユーザ状態情報や周囲状況情報の送信間隔やデータ形式などを設定する。仮想空間内で仮想現実オブジェクトが大きく移動するような仮想現実サービスでは、当該移動する仮想現実オブジェクトが現実の世界の物体と重なり合わないよう、現実の世界の状況を高い頻度で更新する必要がある。また、ユーザの頭部の動きが小さい場合は、ユーザ状態情報や周囲状況情報は、過去の情報を再利用することができる。このように、ＨＭＤ装置３００から仮想現実サービス提示サーバ３３００へ定期的に送信される情報の取得間隔（生成間隔）、送信間隔、データ形式、などを環境パラメータとして設定する。
【０１８７】
また、例えば、仮想現実サービス制御部３３３０は、環境パラメータとして、仮想現実サービス提供サーバ３３００で生成される映像のフレームレートや、映像符号化処理で用いられる符号化方式を識別する情報、また、生成される音声のチャンネル数や、音声符号化方式を識別する情報などを設定する。このように、仮想現実サービス制御部３３３０は、仮想現実サービス提供サーバ３３００からＨＭＤ装置３００へ定期的に送信される情報に関するパラメータを、環境パラメータとして設定する。
【０１８８】
仮想現実サービス制御部３３３０は、映像生成処理部１３５０、画像解析処理部２３６０、音声解析処理部３３８０、音声再生処理部３３９０、と言った仮想現実サービスを提供するために行われる各処理部に対して、上記設定した環境パラメータに従って担当処理を実行させる制御を行う（ステップＳ３０８）。例えば、当該制御に基づいて、映像生成処理部１３５０は、仮想現実サービス制御部３３３０が設定したフレームレートに従って、仮想空間に配置されている仮想現実オブジェクトをレンダリングして２次元画像を取得する。
【０１８９】
当該環境パラメータの設定が完了した場合、仮想現実サービス提供管理部１３２０は、仮想現実サービス開始通知情報を生成し、通信部１３２０よりＨＭＤ装置３００に送信することで、仮想現実サービスの開始を通知する（ステップＳ３０９）。当該仮想現実サービス開始通知情報には、上記設定された環境パラメータが含まれている。
【０１９０】
なお、上記サービス開始決定処理は、サービス開始要求が受信されたことをトリガーとする場合に限られるものではなく、現在サービスを利用可能なユーザの中から自サーバが使用可能なリソースに基づいてスケジューリングを行う構成とすることも可能である。また、ステップＳ３０６とＳ３０７は順不同であっても良い。
【０１９１】
図１６は、仮想現実サービス提供管理部１３２０において、仮想現実サービスの提供が決定された場合における当該仮想現実サービスのメイン制御処理を示している。仮想現実サービス提供管理部１３２０において仮想現実サービスの開始がＨＭＤ装置３００に通知されることで、ＨＭＤ装置３００より環境パラメータに従ってユーザ状態情報及び周囲状況情報が定期的に送信されてくることになる。通信部１３１０は、当該ユーザ状態情報及び周囲状況情報を受信する（ステップＳ３１０）。通常、ユーザ状態情報の受信頻度は周囲状況情報の受信頻度よりも高くなるように環境パラメータによって設定されている。また、ＨＭＤ装置３００の音声入力部３７０で入力される音声も定期的に、又は、所定の音声レベル以上の音声が入力された場合に音声情報として送信され、通信部１３１０は、当該音声情報を受信する。
【０１９２】
画像解析処理部２３６０は、周囲状況情報として送信されてくる前方景色画像や周囲景色画像の画像データに基づいて所定の解析処理を行うことでユーザの周囲にある現実の物体の位置関係を特定し、特定した物体をモデリングしてモデルデータを生成するモデリング処理を行う（ステップＳ３１１）。例えば、前方景色画像を取得する視線カメラは左目と右目に対応する位置に配置されているため、これら２つのカメラで撮影される画像を比較することで物体までの距離を特定することが可能となる。当該モデルデータは、現実の物体の外観形状を規定するポリゴンデータと当該物体の位置を示す座標データとを含み、更に好ましくは、当該モデルデータを識別するモデルラベル情報、当該モデルデータで表される現実の物体を識別する物体ラベル情報、当該現実の物体の種類を示す物体種類情報、などを含んでいる。画像解析処理部２３６０で生成される現実の物体のモデルデータは、仮想現実サービス制御部３３３０に出力される。
【０１９３】
仮想現実サービス制御部３３３０は、画像解析処理部２３６０より出力されるユーザの周囲にある現実物体のモデルデータをステップＳ３０６で設定した仮想空間に配置する（ステップＳ３１２）。モデルデータは、ユーザの位置からの相対位置を示す座標データが含まれているため、仮想空間におけるユーザの位置を示すユーザ位置座標に当該座標データを加算して求まる位置に画像解析処理部２３６０におけるモデリング処理で得られた現実の物体のモデルデータを配置する。なお、仮想空間におけるユーザ位置座標は、ユーザ状態情報に基づいて適宜変更されていく。また、ユーザの移動に伴い、画像解析処理部２３６０に入力される画像の撮影範囲が変化するため、今まで画像に写っていなかった範囲にある現実の物体のモデルデータが順次生成されていく。仮想現実サービス制御部３３３０は、画像解析処理部２３６０で順次生成されるモデルデータに基づいて、仮想空間に配置する現実の物体のモデルデータを順次更新していく。
【０１９４】
仮想現実サービス制御部３３３０は、新たな仮想現実オブジェクトを仮想空間に配置するかを判定する（ステップＳ３１３）。仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より読み出す仮想現実コンテンツに含まれる各種制御プログラムに基づいて、仮想現実オブジェクトを仮想空間に配置するかを判定する。
【０１９５】
新たな仮想現実オブジェクトを配置すると決定した場合、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より仮想現実オブジェクトを読み出して仮想空間に配置する（ステップＳ３１４）。ここで、仮想現実サービス制御部３３３０は、仮想空間に配置されている現実の物体のモデルデータと仮想空間内で重なり合わない位置に仮想現実オブジェクトを配置する。より好ましくは、仮想現実オブジェクトに対して配置条件が設定されており、仮想現実サービス制御部３３３０は、当該配置条件に従がって仮想現実オブジェクトを仮想空間に配置する。例えば、仮想現実オブジェクトが人間オブジェクトであり、「配置条件１：他の物体と重なる領域が１%以下であること、配置条件２：床の上に接触した状態で配置すること」と言う配置条件が設定されている場合、仮想現実サービス制御部３３３０は、仮想空間に配置している現実の物体のモデルデータのうち、床のモデルデータの上部に、１％以下の重なり状態を持って接触した状態で仮想現実オブジェクトを配置する。
【０１９６】
一方、ステップＳ３１３で新たな仮想現実オブジェクトを配置しないと決定された場合、ステップＳ３１４を飛ばして次のステップＳ３１５に進む。
【０１９７】
仮想現実サービス制御部３３３０は、仮想空間に配置している仮想現実オブジェクトの挙動を制御するかを判定する（ステップＳ３１５）。仮想現実サービス制御部３３３０は、仮想現実サブ制御プログラムを実行しており、画像解析処理部２３６０や音声解析処理部３３８０における処理結果を入力し、当該処理結果に基づいて配置中の仮想現実オブジェクトの挙動を制御するかを判定する処理を行う。なお、仮想現実サービス制御部３３３０は、上記処理結果の入力に依らず、現在実行中の仮想現実サブ制御プログラムに従って順次仮想現実オブジェクトの挙動を制御していく場合もある。
【０１９８】
ステップＳ３１５で仮想現実オブジェクトの挙動を制御すると判定された場合、仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクトの挙動を制御する（ステップＳ３１６）。具体的には、ステップＳ３１６において、仮想現実オブジェクトの挙動を制御すると仮想現実サービス制御部３３３０が判定した場合、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００より仮想現実オブジェクト人格制御プログラムと、当該仮想現実オブジェクト人格制御プログラムで読み出される仮想現実オブジェクト挙動制御プログラムとを読み出して仮想現実オブジェクト制御部３３７０に送る。仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクト人格制御プログラムを実行し、画像解析処理部２３６０や音声解析処理部３３８０における処理結果を入力として、実行する仮想現実オブジェクト挙動制御プログラムを選択する。仮想現実オブジェクト制御部３３７０は、選択した仮想現実オブジェクト挙動制御プログラムを実行することで、仮想現実オブジェクトの仮想空間内での位置や仮想現実オブジェクトの関節ポイントの位置や角度、仮想現実オブジェクトの表面に張り付けられるテキスチャーを変更する。このように、仮想現実オブジェクト制御部３３７０は、仮想現実オブジェクト挙動制御プログラムに従って仮想現実オブジェクトの挙動を制御する。
【０１９９】
なお、ステップＳ３１５で仮想現実オブジェクトの挙動を制御しないと判定された場合は、上記ステップＳ３１６の挙動制御処理を行うことなく、次のステップＳ３１７に移行する。
【０２００】
次に、仮想現実サービス制御部３３３０は、仮想空間に配置中の現実の物体のモデルデータを仮想空間の中から削除するかを判定する（ステップＳ３１７）。仮想現実サービス制御部３３３０は、ユーザとの相対距離が所定の基準値以上離れたことにより、仮想現実の提示に影響を与えなくなった物体のモデルデータや、他の物体のモデルデータとの間で干渉を生じるようになったモデルデータや、移動したことによってユーザの周囲からいなくなった物体のモデルデータなど、所定の削除基準を満たしたモデルデータがあるかを判定する。
【０２０１】
仮想現実サービス制御部３３３０は、所定の削除基準を満たしたと判定した現実の物体のモデルデータを仮想空間の中から削除する（ステップＳ３１８）。一方、所定の削除基準を持たすと判定した現実の物体のモデルデータが無い場合は、当該削除処理を行うことなく次のステップＳ３１９に進む。
【０２０２】
次に、仮想現実サービス制御部３３３０は、仮想空間に配置中の仮想現実オブジェクトを仮想空間の中から削除するかを判定する（ステップＳ３１９）。仮想現実サービス制御部３３３０は、仮想現実サービスの進行に従って、不必要となった仮想現実オブジェクトや、ユーザとの相対距離が所定の基準値以上離れたことにより、仮想現実の提示に影響を与えなくなった仮想現実オブジェクトや、現実の物体のモデルデータや他の仮想現実オブジェクトとの干渉を生じるようになった仮想現実オブジェクトなど、所定の削除基準を満たした仮想現実オブジェクトがあるかを判定する。
【０２０３】
仮想現実サービス制御部３３３０は、所定の削除基準を満たしたと判定した仮想現実オブジェクトを仮想空間の中から削除し、ステップＳ３１０に戻る（ステップＳ３２０）。一方、所定の削除基準を持たすと判定した仮想現実オブジェクトが無い場合は、当該削除処理を行うことなく次のステップＳ３１０に戻る。
【０２０４】
このように、仮想現実サービス制御部３３３０は、設定した仮想空間に配置する仮想現実オブジェクトや現実の物体のモデルデータを適宜追加、変形、削除を繰り返し行うことで仮想空間を更新する。
【０２０５】
次に、ＨＭＤ装置３００で表示される映像の生成処理について説明する。図１７は、当該映像生成処理の流れを示すフローチャート図である。
【０２０６】
ユーザ状態情報が通信部１３１０で新たに受信された場合（ステップＳ３２１）、表示映像生成処理部１３５０は、当該受信された最新のユーザ状態情報に基づいて仮想空間における視点を制御する（ステップＳ３２２）。具体的には、表示映像生成処理部１３５０は、ユーザ状態情報に含まれる加速度情報や傾き情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間上の座標を視点の位置として求め、また、ユーザの頭部が向いている方向を視線方向として求める。一方、ユーザ状態情報が受信されていない場合は、このタイミングにおける視点制御はスキップする。
【０２０７】
一方、周囲状況情報が通信部１３１０で新たに受信された場合（ステップＳ３２３）、表示映像生成処理部１３５０は、当該受信された最新の周囲状況情報に基づいて仮想空間における光源を制御する（ステップＳ３２４）。具体的には、表示映像生成処理部１３５０は、仮想空間に配置する光源の位置及び光の強さを設定する。一方、周囲状況情報が受信されていない場合は、このタイミングにおける光源制御はスキップする。
【０２０８】
次に、表示映像生成処理部１３５０は、ステップＳ３２３で制御された光源からの照射環境における仮想空間に配置されている仮想現実オブジェクトの、ステップＳ３２１で制御された視点からの映像を生成する（ステップＳ３２５）。具体的には、表示映像生成処理部１３５０は、ステップＳ３２１で制御された視点位置の視線方向前方に配置したイメージプレーンに仮想空間内の仮想現実オブジェクトを投影する。ここで、表示映像生成処理部１３５０は、イメージプレーンには現実の物体のモデルデータは投影せず、仮想現実オブジェクトだけを投影する。ここで、表示映像生成処理部１３５０は、仮想現実オブジェクトと視点位置との間に現実の物体のモデルデータがある場合は、仮想現実オブジェクトの中で当該モデルデータに隠される部分は投影しない隠面処理を行う。また、表示映像生成処理部１３５０は、ステップＳ３２４で制御された光源からの照射環境に基づいて、投影された仮想現実オブジェクトに対するシェーディング処理を行う。これら、各処理を行うことで、表示映像生成処理部１３５０は、ＨＭＤ装置３００の表示パネル１５１ａ、１５１ｂで表示される２つの映像を生成する。
【０２０９】
次に、表示映像生成処理部１３５０は、生成した映像を所定の圧縮符号化方式で符号化することで映像符号化データを生成し（ステップＳ３２６）、通信部１３１０は、当該生成された映像符号化データをＨＭＤ装置３００へ送信する（ステップＳ３２７）。なお、ＨＭＤ装置３００と仮想現実サービス提供サーバ３３００の間の通信を暗号化する場合は、ステップＳ３２６で生成された映像符号化データを暗号化した上で送信する。
【０２１０】
当該ステップＳ３２１〜Ｓ３２７の処理を一つのフレーム処理として、繰り返すことにより、表示パネル１５１ａ、１５１ｂで順次仮想現実オブジェクトの映像が表示される。
【０２１１】
次に、ＨＭＤ装置３００で再生される音声の生成処理について説明する。図１８は、当該音声生成処理の流れを示すフローチャート図である。
【０２１２】
ユーザ状態情報が通信部１３１０で新たに受信された場合（ステップＳ３３１）、再生音声生成処理部３３９０は、当該受信された最新のユーザ状態情報に基づいて仮想空間における耳の位置を制御する（ステップＳ３３２）。具体的には、再生音声生成処理部３３９０は、ユーザ状態情報に含まれる加速度情報や傾き情報に基づいて、ユーザの耳の位置に対応する仮想空間における音声集音位置（音声集音位置座標）を求める。一方、ユーザ状態情報が受信されていない場合は、このタイミングにおける耳の位置（音声集音位置）の制御はスキップする。
【０２１３】
一方、周囲音声情報が通信部１３１０で新たに受信された場合（ステップＳ３３３）、再生音声生成処理部３３９０は、当該受信された最新の周囲音声情報に基づいてユーザの周囲における雑音等の音声レベルを算出し、ＨＭＤ装置３００の音声再生制御部３８０で再生する音声における音声レベルを設定する（ステップＳ３３４）。一方、周囲音声情報が受信されていない場合は、このタイミングにおける音声レベル設定はスキップする。
【０２１４】
仮想現実サービス制御部３３３０は、画像解析処理部２３６０や音声解析処理部３３８０における処理結果に基づいて、音声を再生するかを判定する（ステップＳ３３５）。このタイミングでは再生しないと判定した場合、ステップＳ３３１に戻って次の音声再生判定タイミングまで待機する。
【０２１５】
一方、音声を再生すると判定した場合、仮想現実サービス制御部３３３０は、再生する音声を音声合成によって生成するかを判定する（ステップＳ３３６）。音声合成を行わない場合は、仮想現実サービス制御部３３３０は、予め仮想現実コンテンツの一部として仮想現実コンテンツ記憶ＤＢ３２００に記憶されている音声データを読み出して再生音声生成処理部３３９０へ出力する（ステップＳ３３７）。
【０２１６】
一方、音声を合成すると判定した場合は、仮想現実サービス制御部３３３０は、仮想現実コンテンツ記憶ＤＢ３２００に予め仮想現実コンテンツの一部として記憶されている音声基礎データを読み出して再生音声生成処理部３３９０に送り、再生音声生成処理部３３９おは、自ら求めたコンテキスト又は他のコンテキスト生成処理部で生成されたコンテキストに従って音声基礎データを合成することで、合成音声データを生成する（ステップＳ３３８）。
【０２１７】
再生音声生成処理部３３９０は、仮想現実サービス制御部３３３０より出力された音声データ又は音声合成処理によって生成した音声データに対して、ステップＳ３３４で設定された音声レベルに基づいて利得調整処理を行う（ステップＳ３３９）。
【０２１８】
再生音声生成処理部３３９０は、利得調整された音声データを、ステップＳ３３２で制御された耳の位置（音声集音位置）に基づいて複数のチャンネルに分配する分配処理を行う（ステップＳ３４０）。当該分配処理により、再生音声生成処理部３３９０は、ＨＭＤ装置３００が備える複数の音声チャンネルでそれぞれ再生されるチャンネル別音声データを生成する。
【０２１９】
再生音声生成処理部３３９０は、各チャンネルへ分配した音声データをＨ．７２９等の音声符号化方式に従って符号化処理を行い、音声符号化データを生成し、通信部１３１０へ出力する（ステップＳ３４１）。
【０２２０】
通信部１３１０は、再生音声生成処理部３３９０より出力された音声符号化データをＨＭＤ装置３００に送信し、ステップＳ３３１に戻る（ステップＳ３４２）。当該送信された音声符号化データは、ＨＭＤ装置３００の音声再生制御部３８０で復号され、音声出力部３９０において各チャンネルの音声データがＤＡ変換処理でアナログ音声信号に変換された後、空気振動に変換されて外部へ音声として出力される。
【０２２１】
次に、仮想現実サービスの中断処理の流れについて説明する。図１９は、仮想現実サービス中断処理の流れを示すフローチャート図である。
【０２２２】
仮想現実サービス提供管理部１３２０は、現在提供中の仮想現実サービスを中断するかを判定する（ステップＳ３５１）。例えば、仮想現実サービス提供管理部１３２０は、仮想現実サービス中断要求が受信された場合や、仮想現実サービスを中断する条件として予め設定されている仮想現実サービス提供中断条件を満たした場合に、現在提供中の仮想現実サービスを中断すると判定する。
【０２２３】
仮想現実サービス提供管理部１３２０は、ステップＳ３５１で仮想現実サービスの提供を中断すると判定した場合、仮想現実サービスの提供を中断することを通知する仮想現実サービス中断通知情報を生成し、通信部１３１０へ出力する（ステップＳ３５２）。
【０２２４】
通信部１３１０は、当該仮想現実サービス中断通知情報をＨＭＤ装置３００へ送信する（ステップＳ３５３）。該仮想現実サービス中断通知情報はＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該中断通知情報に基づいて、各部の機能を停止する制御を行う。例えば、表示制御部１４０に映像の表示制御を中断させ、音声再生制御部３８０に音声の再生制御を中断させる。但し、仮想現実サービス提供サーバ３３００が、サービス中断中のユーザの状態や周囲の状況を追跡できるよう、仮想現実提示制御部２６０は、ユーザ状態検知部１１０と周囲状況検知部１２０の機能は中断しない構成とすることが好ましい。仮想現実サービスの提供が中断されている場合であっても、ＨＭＤ装置３００において、ユーザ状態検知部１１０はユーザの状態を検知してユーザ状態情報を生成し、通信部１３０より仮想現実サービス提供サーバ３３００に送信される。また、仮想現実サービスの提供が中断されている場合であっても、ＨＭＤ装置３００において、周囲状況検知部１２０は、ユーザの周囲の状況を検知して周囲状況情報を生成し、通信部１３０より仮想現実サービス提供サーバ３３００に送信される。
【０２２５】
仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理中断指示を送る（ステップＳ３５４）。当該指示に基づいて表示映像生成処理や再生音声生成処理が停止されることで自サーバのリソースの消費を抑える。但し、後続における仮想現実サービス再開時にタイムラグを生じさせず再開できるよう、当該ステップＳ３５４はスキップし、各処理を継続する構成としても良い。この場合、映像データや音声データはＨＭＤ装置３００に送信されるものの、ＨＭＤ装置３００の仮想現実提示制御部２６０がサービス中断通知情報に基づいて行う制御によって、映像の表示や音声の再生は行われず、従って仮想現実の世界がユーザに提示されることはない。
【０２２６】
仮想現実サービスの提供を中断している状態において、仮想現実サービス提供管理部１３２０は、中断中の仮想現実サービスの提供を再開するかを判定する（ステップＳ３５５）。仮想現実サービス提供管理部１３２０は、仮想現実サービス再開要求が通信部１３１０で受信された場合や、仮想現実サービス提供中断条件が解消された場合に、仮想現実サービスの提供を再開すると判定する。
【０２２７】
仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理の再開を指示することで、ステップＳ３５４で停止させた処理を再開させる（ステップＳ３５６）。
【０２２８】
仮想現実サービス提供管理部１３２０は、仮想現実サービスの提供を再開することを示す仮想現実サービス再開通知情報を生成し、通信部１３１０へ出力する（ステップＳ３５７）。
【０２２９】
通信部１３１０は、当該仮想現実サービス再開通知情報をＨＭＤ装置３００へ送信し、ステップＳ３５１へ戻る（ステップＳ３５８）。当該仮想現実サービス再開通知情報はＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該再開通知情報に基づいて、各部の機能を再開させる。例えば、表示制御部１４０に映像の表示制御を再開させ、音声再生制御部３８０に音声の再生制御を再開させる。
【０２３０】
次に、仮想現実サービスの終了処理の流れについて説明する。図２０は、仮想現実サービス終了処理の流れを示すフローチャート図である。
【０２３１】
仮想現実サービス提供管理部１３２０は、現在提供中の仮想現実サービスを終了するかを判定する（ステップＳ３６１）。例えば、仮想現実サービス提供管理部１３２０は、仮想現実サービス終了要求が受信された場合や、ユーザの現在の状態が仮想現実サービス利用条件を満たさなくなった場合に、現在提供中の仮想現実サービスを終了すると判定する。
【０２３２】
仮想現実サービス提供管理部１３２０は、ステップＳ３６１で仮想現実サービスの提供を終了すると判定した場合、仮想現実サービスの提供を終了することを通知する仮想現実サービス終了通知情報を生成し、通信部１３１０へ出力する（ステップＳ３６２）。
【０２３３】
通信部１３１０は、当該仮想現実サービス終了通知情報をＨＭＤ装置３００へ送信する（ステップＳ３６３）。当該仮想現実サービス終了通知情報は、ＨＭＤ装置３００の通信部１３０で受信されて仮想現実提示制御部２６０に送られる。仮想現実提示制御部２６０は、当該終了通知情報に基づいて、仮想現実の提示に関連する各部の機能を停止し、仮想現実の提示を終了する制御を行う。例えば、表示制御部１４０に映像の表示制御を中断させ、音声再生制御部３８０に音声の再生制御を終了させる。また、仮想現実提示制御部２６０は、ユーザ状態検知部１１０にユーザ状態の検知処理を終了させ、周囲状況検知部１２０に周囲状況の検知処理を終了させる。具体的には、傾きセンサ１１１や加速度センサ１１２への給電を遮断し、前方カメラ１２１や周囲カメラ１２２への給電を遮断する。
【０２３４】
仮想現実サービス提供管理部１３２０は、自サーバにおける各処理部に処理終了指示を送る（ステップＳ３６４）。当該終了指示に基づいて仮想現実サービスの提供に関連する各部の処理が終了され、自サーバのリソースが解放される。また、当該仮想現実サービス用に設定されている仮想空間も解放される。
【０２３５】
仮想現実サービス提供管理部１３２０は、これまでの仮想現実サービスの経過状況等をセーブデータとしてセーブデータ記憶ＤＢ３５００に格納し、仮想現実サービスの提供を終了する（ステップＳ３６５）。例えば、ユーザが仮想現実の世界で獲得した仮想的なアイテムや経験値に関する情報、仮想現実サービスのストーリー上の進行状況などをセーブデータとして格納する。
【０２３６】
図２１は、ＨＭＤ装置３００より仮想現実サービス提供サーバ３３００へ送信される各種要求のデータ構造を、図２２は、仮想現実サービス提供サーバ３３００よりＨＭＤ装置３００へ送信される各種通知情報のデータ構造をそれぞれ示している。
【０２３７】
各要求（情報）には、送信元アドレスとして自装置３００のアドレスが、送信先アドレスとして仮想現実サービス提供サーバ３３００のアドレスが含まれる。一方、各通知情報には、送信元アドレスとして自サーバ３３００のアドレスが、送信先アドレスとしてＨＭＤ装置３００のアドレスがそれぞれ含まれる。
【０２３８】
各要求には要求内容を示す要求種別情報と、当該要求を識別するために割り当てた管理用の番号である要求識別情報と、が含まれる。例えば要求種別情報は２ビットの情報であり、“００”が仮想現実サービス開始要求を、“０１”が仮想現実サービス中断要求を、“１０”が仮想現実サービス再開要求を、“１１”が仮想現実サービス終了要求をそれぞれ表している。
【０２３９】
一方、各通知情報には、通知内容を示す通知種別情報と、どの要求に対する応答であるかを識別するために上記要求識別情報とが含まれる。例えば、通知種別情報は３ビットの上方であり、“０００”が仮想現実サービス開始通知情報を、“００１”が仮想現実サービス開始拒絶通知情報を、“０１０”が仮想現実サービス中断通知情報を、“０１１”が仮想現実サービス再開通知情報を、“１００”が仮想現実サービス終了通知情報を、それぞれ表している。なお、ＨＭＤ装置３００より送られてくる要求に対する応答として通知される情報ではなく、自発的に仮想現実サービス提供サーバ３３００が送信する場合は、各通知情報には要求識別情報は含まれない。
【０２４０】
仮想現実サービス開始要求には、当該要求に係るユーザを識別するユーザＩＤと、仮想現実サービスを開始するためのパスワード、開始を要求する仮想現実サービスを識別する仮想現実サービス識別情報が含まれる。当該サービス開始要求を受け取った仮想現実サービス提供管理部１３２０は、契約者情報記憶ＤＢ３１００に記憶される契約者情報に含まれるユーザＩＤとパスワードの組と比較することで、適切なユーザからの要求であるかを判定する。また、仮想現実サービス提供管理部１３２０は、当該サービス開始要求に含まれる仮想現実サービス識別情報で識別される仮想現実サービスを当該ユーザが利用可能であるかを判定する。これらの判定を適切に通過した場合に、仮想現実サービスの提供開始処理が進められる。
【０２４１】
仮想現実サービス開始通知情報には、提供を開始する仮想現実サービスを識別する仮想現実サービス識別情報と、当該仮想現実サービスにおいて自サーバ３３００とＨＭＤ装置３００との間で発生する各通信を他の通信と区別するために用いる提供中仮想現実サービス管理番号と、各種環境パラメータを設定するための環境設定情報と、が含まれる。環境設定情報には、自サーバ３３００とＨＭＤ装置３００との間の通信を暗号化するための暗号鍵と、当該通信で用いるポート番号を指定する使用ポート番号と、自サーバ３３００からＨＭＤ装置３００へ送信される映像データのフレームレートを指定するフレームレート情報と、ＨＭＤ装置３００より自サーバ３３００へ送信させるユーザ状態情報や周囲状況情報の送信頻度を指定するＨＭＤ側情報送信頻度指定情報と、自サーバ３３００からＨＭＤ装置３００へ送信する映像及び音声の符号化方式をそれぞれ指定する映像符号化方式指定情報と音声符号化方式指定情報などが含まれる。
【０２４２】
当該仮想現実サービス開始通知情報を受信したＨＭＤ装置３００において、仮想現実提示制御部２６０は、当該サービス開始通知情報に含まれる環境設定情報に基づいて、各パラメータを設定し、ＨＭＤ装置３００側での各処理を開始させる。
【０２４３】
仮想現実サービス開始拒絶通知情報には、上述した送信元アドレス、送信先アドレス、通知種別情報、要求識別情報に加えて、仮想現実サービスの提供開始を拒絶する理由が付加情報として含まれる構成としても良い。
【０２４４】
仮想現実サービス中断要求、仮想現実サービス再開要求、仮想現実サービス終了要求には、それぞれ中断、再開、終了に係る仮想現実サービスに割り当てられている上述の提供中仮想現実サービス管理番号が含まれる。当該仮想現実サービス中断要求、仮想現実サービス再開要求、仮想現実サービス終了要求をそれぞれ受け取った仮想現実サービス提供管理部１３２０は、当該要求に含まれる提供中仮想現実サービス管理番号で管理されている仮想現実サービスの中断処理、再開処理、終了処理を実行する。
【０２４５】
仮想現実サービス中断通知情報、仮想現実サービス再開通知情報、仮想現実サービス終了通知情報には、それぞれ中断、再開、終了に係る仮想現実サービスを識別する提供仮想現実サービス識別情報と、当該仮想現実サービス用に割り当てられている提供中仮想現実サービス管理番号とが含まれる。当該サービス中断通知情報、サービス再開通知情報、サービス終了通知情報を受信したＨＭＤ装置３００において、仮想現実提示制御部２６０は、指定される仮想現実サービスに係る仮想現実の提示の中断、再開、終了を制御する。
【０２４６】
以上説明したように、本実施形態３に係る仮想現実サービス提供システム３０００によれば、仮想空間に配置された仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト挙動制御部を備えることで、ユーザに提示される仮想現実の世界に表される仮想現実オブジェクトが動作するため、より豊かな仮想現実の世界をユーザに提示することができる。
【０２４７】
なお、上記説明では、ＨＭＤ装置３００は、光源３５２から照射された光がユーザ側へ反射され、ＬＣＤ等のディスプレイを通過することで映像が表示される構成について説明したが、本発明のＨＭＤ装置は当該構成に限定されるものではない。例えば、表示部１５０として、ＬＣＤ１５４の代わりにプロジェクション機構を備える構成としても良い。
【０２４８】
図２３は、プロジェクション機構の表示部１５０を有するＨＭＤ装置３００におけるフロントパネル１０２の断面図を示している。フロントパネル１０２の上部に位置するセンターフレーム１０１ｃの内部にプロジェクション機構が表示部１５０として配置されている。
【０２４９】
センターフレーム１０１ｃの内部上方に配置されている光源１５２より照射された白色光は、レンズ群１５５ａによって集光された後、ポラライジングコンバータ（ＰＬＣ）１５５ｂによって偏光成分が一方向に整えられたのち、第１反射ミラー１５５ｃによって垂直方向に反射される。第１反射ミラー１５５ｃで反射された白色光は、Ｒ反射ダイクロイックミラー１５５ｄによって赤色の光成分（Ｒ成分）だけが水平方向へ反射され、他の成分の光は、Ｒ反射ダイクロイックミラー１５５ｄを透過する。
【０２５０】
Ｒ反射ダイクロイックミラー１５５ｄを透過した光は、Ｇ反射ダイクロイックミラー１５５ｅで緑色の光成分（Ｇ成分）だけが水平方向に反射され、残りの青色の光成分（Ｂ成分）はＧ反射ダイクロイックミラー１５５ｅを透過する。
【０２５１】
Ｇ反射ダイクロイックミラー１５５ｅを透過したＢ成分の光は、第２反射ミラー１５５ｆで水平方向に反射され、更に第３反射ミラー１５５ｇで垂直上方へ反射され、第１液晶パネル１５５ｈを透過した後にクロスダイクロプリズム１５５ｊに入射される。
【０２５２】
一方、Ｒ反射ダイクロイックミラー１５５ｄで反射されたＲ成分の光は、第４反射ミラー１５５ｋによって垂直方向に反射され、第２液晶パネル１５５ｍを透過した後にクロスダイクロプリズム１５５ｊに入射される。また、Ｇ反射ダイクロイックミラー１５５ｅで反射されたＧ成分の光は、第３液晶パネル１５５ｎを透過した後にクロスダイクロプリズム１５５ｊに入射される。
【０２５３】
クロスダイクロプリズム１５５ｊは、分離されてそれぞれ液晶パネルを通過したＲ成分、Ｇ成分、Ｂ成分の３つの光を合成して水平方向に反射する。クロスダイクロプリズム１５５ｊより出力された合成光は、ガルバノミラー１５５ｐによって垂直方向に反射され、照射窓１５５ｑよりフロントパネル１０２へ照射される。ガルバノミラー１５５ｐは、クロスダイクロプリズム１５５ｊより出力された合成光を水平方向（ｙ方向）に走査しながら反射する。
【０２５４】
フロントパネル１０２のうち、照射窓１５５ｑの下方には透過型導光板１５３が配置されており、当該導光板１５３によって再度水平方向に反射された光がユーザの目の中へ入射される。ガルバノミラー１５５ｐによって水平方向に光が操作されているため、導光板１５３で反射される光は垂直方向（ｚ方向）に走査される。
【０２５５】
なお、図２３における各部材は、ｘ方向すなわち紙面垂直方向に長細い構成をとっており、右目用の映像におけるｘ方向の一列を纏めて表示する。当該一列の映像がガルバノミラー１５５ｐによってｙ方向に走査されて順次表示されることで、ｘｚ平面の２次元画像がフロントパネル１０２の導光板１５３に映し出されることになる。同様に、左目の上部にも同一のプロジェクション機構が配置されており、導光板１５３に左目用の映像が映し出される。このように、導光板１５３及びセンターフレーム１０１ｃ内に格納されている右目用プロジェクション機構と左目用プロジェクション機構によって表示部が形成され、導光板１５３が表示パネルとして機能する。なお、左目用プロジェクション機構と右目用プロジェクション機構は共通化されていても良い。
【０２５６】
また、センターフレーム１０１ｃには、視線カメラ１２１ａ、１２１ｂが配置されている。視線カメラ１２１ａは、外部の光を集光するレンズ群１２１ａ−１と、集光した光を絞る絞り機構１２１ａ−２と、ＣＣＤやＣＭＯＳ等の固体撮像素子１２１ａ−３などで構成される。固体撮像素子１２１ａ−３で光からアナログ電気信号に変換された後、ＡＤ変換器でデジタル信号に変換され、後続のＤＳＰ（Degital Signal Processor）で所定の補正処理及び符号化処理が行われた後、周囲状況情報として通信部１３０より仮想現実サービス提供サーバ３３００へ送信される。
【０２５７】
なお、上記説明ではＨＭＤ装置３００が透過型ディスプレイを備える仮想現実提示装置である場合について説明したがこれに限定されるものではない。例えば、図２４に示すＨＭＤ装置３００ｂのように、フロントパネル１０２は、遮蔽型のパネルであって外側に視線カメラ１２１ａ、１２１ｂが、内側に表示パネル１５１ａ、１５１ｂがそれぞれ配置される構成であっても良い。但し、この場合、フロントパネル３０２によってユーザの視界は遮蔽されているため、視線カメラ１２１ａ、１２１ｂでそれぞれ撮影された映像が表示パネル１５１ａ、１５１ｂに表示されることでユーザは前方の様子を見ることができる構成を取る。
【０２５８】
図２５は、図２４に示したＨＭＤ装置３００ｂの構成を示すブロック図である。ＨＭＤ装置３００ｂにおいて、表示制御部１４０は、映像復号処理部１４１と、映像合成処理部１４２とを備える。
【０２５９】
映像復号処理部１４１は、仮想現実サービス提供サーバ３３００で生成された映像の符号化データに対して復号処理を行うことで、仮想現実オブジェクトの映像を取得する。
【０２６０】
映像合成処理部１４２は、視線カメラ１２１で撮影された前方景色画像に映像復号処理部１４１で取得された仮想現実オブジェクトの映像を合成することで、仮想現実の映像を生成する。具体的には、映像合成処理部１４２は、右視線カメラ１２１ａで撮影された前方景色画像と右視点で生成された仮想現実オブジェクトの映像とを合成し、左視線カメラ１２１ｂで撮影された前方景色画像と左視点で生成された仮想現実オブジェクトの映像とを合成することで２つの映像を生成する。映像合成処理部１４２は、生成した２つの映像をそれぞれライト表示パネル１５１ａとレフト表示パネル１５１ｂとにそれぞれ表示する。
【０２６１】
なお、当該形態を取る場合は、周囲状況情報は仮想現実サービス提供サーバ３３００へ送信されない構成としても良い。この場合、ＨＭＤ装置３００ｂは、図２６に示すように構成されていても良い。図２６に示すＨＭＤ装置３００ｂにおいて、周囲状況検知部１２０は、視線カメラ１２１と視線補助カメラ１２３とを備える。
【０２６２】
フロントパネル１０２の厚みを増やすと装着性が低下するため、フロントパネル１０２はできるだけ薄いことが好ましい。一方、フロントパネル１０２の厚みが薄いと、視線カメラ１２１における光学パスが十分確保取れないため、撮像される画像に比較的大きい歪みが生じる。そこで、フロントパネル１０２の外側前方に別途視線補助カメラ１２３を配置する。
【０２６３】
表示制御部１４０は、映像復号処理部１４１と、映像合成処理部１４２と、視界映像生成処理部１４３と、境界特定処理部１４４と、を備える。映像復号処理部１４１は、仮想現実サービス提供サーバ３３００で生成された仮想現実オブジェクトの映像の符号化データに対して復号処理を行うことで、当該仮想現実オブジェクトの映像を取得する。
【０２６４】
視界映像生成処理部１４３は、視線カメラ１２１で撮影された映像と視線補助カメラ１２３で撮影された映像とを組み合わせることで歪みを補正し、ユーザの視界となる映像である視界映像を生成する。当該視界映像は、ＨＭＤ装置３００をつけていない場合にユーザが肉眼で見える視界の景色と略同一の景色の映像である。視界映像生成処理部１４３は、左目用の視界映像と右目用の視界映像とを生成する。
【０２６５】
境界特定処理部１４４は、視界映像生成処理部１４３で生成されたユーザの視界の映像に対して境界判定処理を行うことで、当該映像に写っている各物体の境界と距離とを特定する。境界特定処理部１４４は、隣接する画素やブロックの色差信号の差が所定の基準値を超えて離れている場合に、当該部分が物体の境界であると判定し、左右２つの視界映像においてそれぞれ同一の物体が表示されている位置の差分から、当該物体までの距離を算出する。
【０２６６】
映像合成処理部１４２は、視界映像生成処理部１４３で生成された左目用視界映像と右目用視界映像にそれぞれ映像復号処理部１４１で取得された左目用の仮想現実オブジェクトの映像と右目用の仮想現実オブジェクトの映像とを合成する処理を行う。
【０２６７】
ここで、映像合成処理部１４２は、境界特定処理部１４４で特定された視界映像に含まれる物体の境界位置に基づいて、仮想現実オブジェクトの一部を境界に沿って削除する補正処理を行い、当該補正処理が行われた仮想現実オブジェクトの映像を視界映像と合成することで表示用の映像を生成する。これは、仮想現実オブジェクトの映像が仮想現実サービス提供サーバ３３００で生成されるのに対し、視界映像がＨＭＤ装置３００で生成されるため、合成する際にズレが生じる場合があるためである。
【０２６８】
なお、当該構成の場合には、仮想現実オブジェクトまでの距離を示す距離情報が映像データと合わせて仮想現実サービス提供サーバ３３００より送信される構成とすると更に良好である。この場合、映像合成処理部１４２は、当該距離情報で示される仮想現実オブジェクトの距離よりもユーザ側にある物体の境界で仮想現実オブジェクトの映像の一部を削除する補正処理を行った上で、視界映像と仮想現実オブジェクトの映像とを合成する。
【０２６９】
例えば、仮想現実サービス提供サーバ３３００で生成される映像に仮想現実オブジェクトＡ、Ｂ、Ｃが含まれているとして、当該仮想現実オブジェクトＡ、Ｂ、Ｃまでのユーザからの距離がそれぞれ２．１ｍ、４．０ｍ、４．８ｍであったとする。一方、境界特定処理部１４４における境界特定処理により、視界映像の中にそれぞれユーザの位置から１．０ｍ、３．１ｍ、４．５ｍ、５．２ｍ、８ｍの距離にある物体Ｐ、Ｑ、Ｒ、Ｓ、Ｔが写っていることが特定されたとする。この場合、仮想現実オブジェクトＡよりも物体Ｐだけがユーザにより近い位置にあるため、仮想現実オブジェクトＡの映像から、物体Ｐと重なり合う部分の映像を削除する処理を行う。同様に、仮想現実オブジェクトＢよりも、物体Ｐ、Ｑがユーザにより近い位置にあるため、仮想現実オブジェクトＢの映像から、物体Ｐ、Ｑと重なり合う部分の映像を削除する処理を行う。同様に、仮想現実オブジェクトＣの映像から物体Ｐ、Ｑ、Ｒと重なり合う部分の映像を削除する処理を行う。
【０２７０】
このように、表示制御部１４０は、仮想現実サービス提供サーバ３３００で生成された仮想現実オブジェクトの映像を、ユーザの視界に入る物体に基づいて補正を行い、補正処理後の仮想現実オブジェクトの映像を表示パネル１５１ａ、１５１ｂにそれぞれ表示する制御を行うことで、仮想現実オブジェクトがより自然な状態でユーザの周囲の景色と同化するため、高い現実感を有する仮想現実の世界をユーザに提示することが可能となる。
【０２７１】
なお、非透過型のディスプレイを備えるＨＭＤ装置の構成として、図２７に示すＨＭＤ装置３００ｃの形態とすることも可能である。ＨＭＤ装置３００ｃは、非透過型のディスプレイである点を除き、図８に示すＨＭＤ装置３００と同一の構成を取る。
【０２７２】
一方、仮想現実サービス提供サーバ３３００において、表示映像生成処理部１３５０は、視点制御部１３５１と、光源制御部１３５２と、描画処理部１３５３と、符号化処理部１３５４と、映像合成処理部１３５５と、を備える。
【０２７３】
視点制御部１３５１は、ユーザ状態情報で示されるユーザの目の位置（視線カメラの位置）に基づいて仮想空間における視点位置及び視線方向を制御する。光源制御部１３５２は、画像解析処理部２３６０における画像解析結果に基づいて光源位置及び光源の強さ（照度）を制御する。
【０２７４】
描画処理部１３５３は、視点制御部１３５１及び光源制御部１３５２でそれぞれ制御される視点及び光源に基づいて、仮想空間に配置されている仮想現実オブジェクトの映像を生成する。
【０２７５】
映像合成処理部１３５５は、視線カメラ１２１で撮影された前方景色映像に描画処理部１３５３で生成された仮想現実オブジェクトの映像を合成することでＨＭＤ装置３００ｃの表示パネル１５１ａ、１５１ｂでそれぞれ表示される映像を生成する。
【０２７６】
ここで、合成とは前方景色映像の上に仮想現実オブジェクトの映像をのせることで、前方景色映像と仮想現実オブジェクトの映像を合成する。すなわち、前方景色映像のうち、仮想現実オブジェクトに対応する画素を、仮想現実オブジェクトの映像の画素に置換することで、これら２つの映像を合成する。但し、仮想現実オブジェクトを半透明として表示する場合は、前方景色映像の画素の値と仮想現実オブジェクトの映像の画素の値との平均値や片方に重み付けをして足し合わせた値で画素の値を置換することでこれら２つの映像を合成する構成としても良い。
【０２７７】
また、前方景色映像の境界特定処理によって前方景色映像に写る物体と仮想現実オブジェクトの位置関係とを判定し、仮想現実オブジェクトよりも前方に位置する物体を優先して、仮想現実オブジェクトの一部を削除する処理を行っても良い。
【０２７８】
映像合成処理部１３５５における合成処理によって生成された映像は、映像符号化処理部１３５４によって映像符号化データに変換され、通信部１３１０よりＨＭＤ装置３００ｃへ送信される。
【０２７９】
なお、上述した仮想現実サービス提供サーバ３３００で行われる各処理は1台のサーバで行われても良いし、複数のサーバが協働して行う構成としても良い。例えば、図２８に示す仮想現実サービス提供システム３０００では、仮想現実サービスを提供する仮想現実サービス提供サーバ３３００と、ＨＭＤ装置３００において周囲状況情報として取得された画像を解析する画像解析サーバ３６００と、ＨＭＤ装置３００において入力された音声を解析する音声解析サーバ３７００と、ユーザに対する応答のコンテキストを生成する応答コンテキスト生成サーバ３８００と、音声を合成する音声合成サーバ３９００と、を備えている。
【０２８０】
画像解析処理サーバ３６００は、ＨＭＤ装置３００で撮影された画像を入力し、境界特定処理、物体特定処理、物体距離算出処理、物体モデル化処理等を行い、物体の種類、物体の位置、物体までの距離、物体のモデルデータ等を生成する。
【０２８１】
境界特定処理は、同一画像における隣接ブロックや隣接画素を比較することで、物体の境界であるかを判定する。物体特定処理は、予め基準物体データベースに記憶している各物体の画像とのパターンマッチング処理を行うことで、相関値が所定の基準値以上である画像の物体であると判定する。物体距離算出処理は、複数のカメラで撮影された画像に写る物体の画素位置の差分に基づいて距離を算出する。モデル化処理は、境界特定処理で特定された境界に沿って、各物体を抽出し、当該物体の形状の頂点座標を求めて３Ｄポリゴンデータを生成することで当該物体のモデルデータを取得する。
【０２８２】
音声解析処理サーバ３７００は、ＨＭＤ装置３００で入力された音声データを入力し、当該音声データに含まれる特徴量に基づいて、当該音声データを時系列に複数の音素データに分割する。分割された各音素データを、基準音素データベースに記憶している基準音素データとマッチング処理を行うことで、分割した音素データがどの音であるかを特定する。各基準音素データには、当該音素データの音を示す符号と対応付けられているため、入力した音声データが符号列に変換される。音声解析処理サーバ３７００は、単語データベースに記憶されている単語に対応付けられている符号と、符号列との間でマッチング処理を行うことで、変換された符号列を意味のある単語の羅列に変換し、入力した音声のコンテキストを取得する。
【０２８３】
また、音声解析処理サーバ３７００は、入力した音声の音声レベルやピッチに基づいて感情要素を抽出する。例えば、入力した音声における感情要素を、「喜怒哀楽」の５段階評価に分類する。例えば、音声解析処理サーバ３７００は、高いピッチの音声の感情要素を「楽５」として抽出する。また、例えば、音声解析処理サーバ３７００は、低いピッチで音声レベルの低い音声の感情要素を「哀２」として抽出する。
【０２８４】
音声解析処理サーバ３７００は、取得したコンテキストや抽出した感情要素を応答コンテキスト生成サーバ３８００に出力する。
【０２８５】
応答コンテキスト生成サーバ３８００は、音声解析処理サーバ３７００で取得されたコンテキストや感情要素を入力し、ＨＭＤ装置３００で入力された音声に対する応答コンテキストを生成する。ここで、応答コンテキスト生成サーバ３８００は、仮想現実コンテンツ記憶ＤＢ３２００に記憶されている仮想現実オブジェクトの人格制御プログラムを読み出して実行しており、音声解析処理サーバ３７００より入力されるコンテキストや感情要素に基づいて、応答コンテキストを生成する。応答コンテキスト生成サーバ３８００は、生成した応答コンテキストを音声合成処理サーバ３９００に出力する。
【０２８６】
音声合成処理サーバ３９００は、応答コンテキスト生成サーバ３８００で生成された応答コンテキストに従って仮想現実コンテンツ記憶ＤＢ３２００に記憶されている上記仮想現実オブジェクトに対応付けられている基礎音声データを組み合わせることで、合成音声データを生成する。
【０２８７】
仮想現実サービス提供サーバ３３００は、仮想空間に仮想現実オブジェクトを配置し、ユーザ状態情報に基づいて制御された視点からの仮想現実オブジェクトの映像を生成する。仮想現実サービス提供サーバ３３００は、生成した映像や音声合成処理サーバ３９００で生成された合成音声データを符号化してＨＭＤ装置３００へ送信する。また、仮想現実サービス提供サーバ３３００は、仮想現実コンテンツ記憶ＤＢ３２００から読み出した音声データを符号化してＨＭＤ装置３００へ送信する。ＨＭＤ装置３００は、これら仮想現実オブジェクトの映像を表示したり、音声データを再生したりすることで仮想現実の世界をユーザに提示する。このように構成されていても良い。
【０２８８】
（実施形態４）
本発明は、ユーザに対して仮想現実の世界を提示する。人間は、５感を用いて外界で起きている事象を感知するが、通常時では視覚による情報取得量が最も多いため、仮想現実の世界を提示するために、ユーザが装着している仮想現実提示装置の表示部に仮想現実オブジェクトの映像を表示する。ここで、当該表示に必要となる各処理は、仮想現実提示装置で行われても良いし、処理能力の高い外部のサーバで行われても良い。どこで処理が行われるかは、仮想現実提示装置の処理能力や記憶容量、消費電力等に基づいて決定されるものであって、ユーザに提示される仮想現実の世界には大きな影響を与えるものではない。すなわち、どのように処理を仮想現実提示装置と外部の情報処理サーバとの間で分担するかは、適宜仮想現実提示装置の能力に応じて決定される構成とすることができ、仮想現実を提示する仮想現実提示システムとしてはどのような処理分担を行っても同一のシステムとなる。
【０２８９】
図２９は、本実施形態４に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、を備える。
【０２９０】
ユーザ状態検知部４１０は、上述したユーザ状態検知部１１０と対応しており、ユーザの現在の状態を検知する。ユーザ状態検知部４１０は、ユーザの状態としてユーザの頭部の傾きを検知する傾きセンサ、ユーザの頭部の加速度を検知する加速度センサ、ユーザの速度を検知する速度センサ、ＧＰＳ等を利用してユーザの現在位置を検出する位置検出部、などの一部又は全部を組み合わせることで構成される。
【０２９１】
仮想現実コンテンツ記憶部４２０は、上述した仮想現実コンテンツ記憶ＤＢ３２００と対応しており、少なくとも仮想現実オブジェクトを含む仮想現実コンテンツを記憶する。
【０２９２】
視点制御部４３０は、視点制御部１３５１と対応しており、ユーザ状態検知部４１０で検知されたユーザの状態に基づいて、仮想現実オブジェクトの描画処理における視点を制御する。視点制御部４３０は、ユーザ状態検知部４１０におけるユーザの状態に基づいて、視点の位置及び視点の方向（視線）を算出する。視点制御部４３０は、ユーザの右目に対応する第１視点とユーザの左目に対応する第２視点の少なくとも２つの視点を制御する。ここで、第１視点と第２視点の位置及び視線は、連動している。第１視点と第２視点は予め設定された距離だけ離れており、第１視点及び第２視点の方向（視線）は同一方向となる。
【０２９３】
描画処理部４４０は、描画処理部１３５３と対応しており、視点制御部４３０で制御される視点に基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、視点制御部４３０で制御される第１視点と第２視点の２つの視点に基づいて、仮想現実オブジェクトを描画することで、同一の仮想現実オブジェクトの２つ映像を生成する。但し、描画処理部４４０は、第１視点と第２視点とは連動しているため、独立して描画処理を行う必要はなく、第１視点に基づいて描画された第１映像に補正処理を行うことで第２映像を生成しても良い。描画処理部４４０は、仮想現実オブジェクトを含む映像を生成する処理を行うため、映像生成処理部と称されることがある。
【０２９４】
表示部４５０は、上述した表示部１５０と対応しており、描画処理部４４０で描画された映像を表示する。表示部４５０は、具体的にユーザの左目と右目の前方に配置されている２枚の表示パネルであって、描画処理部４４０で生成された仮想現実オブジェクトの２つの映像をそれぞれ表示する。
【０２９５】
なお、視点制御部４３０が行う視点制御は、表示部４５０に表示される仮想現実オブジェクトの位置を制御するものでもあるため、仮想現実オブジェクト表示位置制御部と称されることがある。
【０２９６】
図３０は、仮想現実提示システム４０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。
【０２９７】
当該構成によれば、現実の世界の挙動と対応する仮想現実の世界をユーザに提示することが可能となる。
【０２９８】
（実施形態５）
実施形態４で行われる視点制御は、仮想現実の世界を提示するために必須の制御である。一方、現実の世界が夜で暗いにもかかわらず、表示される仮想現実オブジェクトの輝度が高すぎる場合など、仮想現実オブジェクトの輝度と現実の世界における物体表面の輝度が異なると、ユーザに違和感を生じさせることになる。本実施形態５は、当該輝度のずれを修正する機能を備えていることを特徴とする。
【０２９９】
図３１は、本実施形態５に係る仮想現実提示システム５０００の構成を示すブロック図である。仮想現実提示システム５０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、を備える。
【０３００】
周囲状況検知部５１０は、上述した周囲状況検知部１２０と対応しており、ユーザの周囲の状況を検知する。具体的に、周囲状況検知部５１０は、ユーザの周囲の明るさ（照度）を検知する。周囲状況検知部５１０は、ユーザの視線方向を撮影する視線カメラやユーザの左右上下や後方などユーザの周囲を撮影する周囲カメラ、その他、外界の明るさを検知する光センサなどで構成される。
【０３０１】
光源制御部５２０は、上述した光源制御部１３５２と対応しており、周囲状況検知部４２０で検知されたユーザの周囲の状況に基づいて、仮想現実オブジェクトの描画処理における光源を制御する。具体的には、光源制御部５２０は、周囲状況検知部５１０において検知されたユーザの周囲の明るさ（照度）に基づいて、光源の輝度を算出する。なお、周囲状況検知部５１０が視線カメラなど位置分解能を有する画像を撮影することでユーザの周囲の状況を検知する場合は、光源制御部５２０は、周囲状況検知部５１０において撮影された画像に基づいて、光源の輝度及び光源の位置を算出する。
【０３０２】
描画処理部４４０は、視点制御部４３０で制御される視点と光源制御部５２０で制御される光源とに基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、光源制御部５２０で制御される光源に基づいて、仮想現実オブジェクトの表面の輝度を算出するシェーディング処理を行う。描画処理部４４０は、シェーディング処理によって表面の輝度が調整された仮想現実オブジェクトの映像を生成する。
【０３０３】
図３２は、仮想現実提示システム５０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。
【０３０４】
光源制御部５１０は、新たに光源を制御するか、すなわち、光源の配置関係や輝度を更新するかを判定する（ステップＳ５０１）。光源を制御すると判定した場合、光源制御部５１０は、周囲状況検知部５１０で検知されるユーザの周囲の状況に基づいて、光源を制御する、すなわち、光源に関する設定を更新する（ステップＳ５０２）。なお、光源制御部５１０は、予め定められた時間間隔で当該更新を行っても良いし、周囲状況検知部５１０で検知される周囲の状況に所定の基準以上の変化があった場合に、光源の配置関係や光源の輝度など、光源に関する設定を更新する構成としても良い。
【０３０５】
次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。具体的には、描画処理部４４０は、シェーディング処理を行い、仮想現実オブジェクトの表面の輝度を算出した上で当該算出された輝度で表される仮想現実オブジェクトの映像を生成する。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。
【０３０６】
以上のように、本実施形態５に係る仮想現実提示システム５０００では、視点制御に加えて光源制御を行うことで、より現実感のある仮想現実の世界をユーザに提示することが可能となる。
【０３０７】
（実施形態６）
仮想現実提示システムでは、現実の世界の所定の位置にあるように表示部に仮想現実オブジェクトの映像を表示する。しかしながら、当該所定の位置とユーザとの間に、ユーザの腕などが入り込んだ場合に、本来は当該腕に隠されて見えなくなるべき仮想現実オブジェクトが表示部に表示され続けると、現実の世界と仮想現実の世界との間で乖離が生じ、現実感が低下することになる。本実施形態６は、このように、仮想現実オブジェクトとユーザの位置との間に現実の物体が入り込んだ場合に、仮想現実の世界の挙動と現実の世界の挙動とが一致するように制御を行うことを特徴とする。
【０３０８】
図３３は、本実施形態６に係る仮想現実提示システム６０００の構成を示すブロック図である。仮想現実提示システム６０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、物体特定部６１０を備える。
【０３０９】
物体位置特定部６１０は、上述した物体位置特定部２３６１と対応しており、周囲状況検知部５１０で検知されたユーザの周囲の状況に基づいて、少なくともユーザの前方にある物体の位置を特定する。
【０３１０】
描画処理部４４０は、視点制御部４３０で制御される視点と光源制御部５２０で制御される光源と物体位置特定部６１０で特定される物体の位置とに基づいて、仮想現実コンテンツ記憶部４２０より読み出された仮想現実オブジェクトを描画する処理を行う。描画処理部４４０は、物体位置特定部６１０で特定される物体の位置に基づいて、仮想現実オブジェクトの一部又は全部を隠す陰面処理を行う。描画処理部４４０は、陰面処理によって一部又は全部が隠された仮想現実オブジェクトの映像を生成する。
【０３１１】
図３４は、仮想現実提示システム６０００の動作の流れを示すフローチャート図である。ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。
【０３１２】
光源制御部５１０は、新たに光源を制御するか、すなわち、光源の配置関係や輝度を更新するかを判定する（ステップＳ５０１）。光源を制御すると判定した場合、光源制御部５１０は、周囲状況検知部５１０で検知されるユーザの周囲の状況に基づいて、光源を制御する、すなわち、光源に関する設定を更新する（ステップＳ５０２）。
【０３１３】
物体位置特定部６１０は、周囲状況検知部５１０で検知されたユーザの周囲の状況に基づいて、ユーザの周囲にある物体の位置を特定する（ステップＳ６０１）。具体的には、物体位置特定部６１０は、周囲状況検知部５１０で撮影された画像に基づいて、ユーザの周囲にある物体の位置を特定する。物体位置特定部６１０は、ユーザの周囲にある物体の種類や配置関係等を特定する構成とすると更に良好である。
【０３１４】
次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。具体的には、描画処理部４４０は、ステップＳ６０１で特定された物体の位置に基づいて、仮想現実オブジェクトの一部又は全部を隠す陰面処理を行い、陰面処理で一部又は全部が隠されている仮想現実オブジェクトの映像を生成する。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。
【０３１５】
当該構成とすることで、仮想現実の世界と現実の世界の挙動を一致させることができ、より高い現実感を有する仮想現実の世界をユーザに提示することができる。
【０３１６】
（実施形態７）
仮想現実提示システムでは、現実の世界の所定の位置にあるように表示部に仮想現実オブジェクトの映像を表示する。仮想現実オブジェクトが花瓶や建物のような静的なオブジェクトである場合は特に問題とならないが、仮想現実オブジェクトが人間などである場合は、仮想現実の世界の中で動作を行えなければ単なる人形が置かれているような状況となり、仮想現実の世界の現実感が低下することになる。本実施形態７は、仮想現実オブジェクトが、現実の世界で対応する人間等と同じように仮想現実の世界で表されるように制御することを特徴とする。
【０３１７】
図３５は、本実施形態７に係る仮想現実提示システム７０００の構成を示すブロック図である。仮想現実提示システム７０００は、少なくとも、ユーザ状態検知部４１０と、仮想現実コンテンツ記憶部４２０と、視点制御部４３０と、描画処理部４４０と、表示部４５０と、周囲状況検知部５１０と、光源制御部５２０と、物体特定部６１０と、仮想現実管理部７１０と、仮想空間設定部７２０と、仮想現実オブジェクト配置部７３０と、仮想現実オブジェクト挙動制御部７４０と、を備える。
【０３１８】
仮想現実管理部７１０は、上述の仮想現実サービス提供管理部１３２０に対応し、仮想現実の提示の開始処理や終了処理を行うことでユーザに仮想現実の世界を提示することを管理する。
【０３１９】
仮想空間設定部７２０は、上述の仮想現実サービス制御部３３３０に対応し、仮想現実オブジェクトを配置する仮想空間を設定する。仮想空間設定部７２０は、仮想現実管理部７１０で新たに仮想現実の提示を開始すると決定された場合に、新たに仮想空間を生成する。
【０３２０】
仮想現実オブジェクト配置部７３０は、上述の仮想現実オブジェクト配置位置決定部１３４０や仮想現実サービス制御部３３３０に対応し、仮想空間設定部７２０が設定した仮想空間に、仮想現実コンテンツ記憶部４２０より読み出した仮想現実オブジェクトを配置する。仮想現実オブジェクト配置部７３０は、周囲状況検知部５１０で検知されるユーザの周囲の状況やユーザ状態検知部４１０で検知されるユーザの状態に基づいて、仮想空間における仮想現実オブジェクトの配置位置を決定して配置する構成とすることが好ましい。
【０３２１】
仮想現実オブジェクト挙動制御部７４０は、上述の仮想現実オブジェクト挙動制御部３３７０に対応し、仮想空間設定部７２０が設定した仮想空間に仮想現実オブジェクト配置部７３０によって配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部７４０は、仮想現実オブジェクトに設定されている関節ポイントの角度や位置を変化させることで、仮想現実オブジェクトの外観形状を変化させたり、仮想現実オブジェクトの表面に張り付けられるテキスチャーを変更したりすることで、仮想現実オブジェクトの挙動を制御する。
【０３２２】
描画処理部４４０は、仮想現実オブジェクト挙動制御部７４０によって挙動が制御される仮想現実オブジェクトを視点制御部４３０で制御される視点に基づいて描画することで、当該挙動が制御されている仮想現実オブジェクトの映像を生成する。
【０３２３】
図３６は、仮想現実提示システム７０００の動作の流れを示すフローチャート図である。仮想現実管理部７１０は、新たに仮想現実の提示を開始するかを判定する（ステップＳ７０１）。ステップＳ７０１で新たに仮想現実の提示を開始すると判定された場合、仮想空間設定部７２０は、新たに仮想空間を設定する（ステップＳ７０２）。
【０３２４】
次に、仮想現実オブジェクト配置部７３０は、ステップＳ７０２で設定された仮想空間に、仮想現実コンテンツ記憶部４２０より読み出した仮想現実オブジェクトを配置する（ステップＳ７０３）。仮想現実の世界を提示している最中であっても、仮想現実オブジェクト配置部７３０は、必要に応じて新たな仮想現実オブジェクトを追加して仮想空間に配置する。
【０３２５】
仮想現実オブジェクト挙動制御部７３０は、ステップＳ７０３で仮想空間に配置された仮想現実オブジェクトの挙動を制御するかどうか、すなわち仮想現実オブジェクトの外観形状を変形させるかを判定する（ステップＳ７０４）。仮想現実オブジェクトの挙動を制御すると判定した場合、仮想現実オブジェクトの挙動を制御する、すなわち、仮想現実オブジェクトの外観形状を変化させる（ステップＳ７０５）。
【０３２６】
ユーザ状態検知部４１０が新たにユーザの状態を検知した場合（ステップＳ４０１でＹｅｓ）、視点制御部４３０は、当該検知された最新のユーザの状態に基づいて視点を制御する（ステップＳ４０２）。
【０３２７】
光源制御部５１０は、新たに光源を制御するか、すなわち、光源の配置関係や輝度を更新するかを判定する（ステップＳ５０１）。光源を制御すると判定した場合、光源制御部５１０は、周囲状況検知部５１０で検知されるユーザの周囲の状況に基づいて、光源を制御する、すなわち、光源に関する設定を更新する（ステップＳ５０２）。
【０３２８】
物体位置特定部６１０は、周囲状況検知部５１０で検知されたユーザの周囲の状況に基づいて、ユーザの周囲にある物体の位置を特定する（ステップＳ６０１）。具体的には、物体位置特定部６１０は、周囲状況検知部５１０で撮影された画像に基づいて、ユーザの周囲にある物体の位置を特定する。物体位置特定部６１０は、ユーザの周囲にある物体の種類や配置関係等を特定する構成とすると更に良好である。
【０３２９】
次のフレームタイミングが到達した場合（ステップＳ４０３でＹｅｓ）、描画処理部４４０は仮想現実オブジェクトの映像を生成する（ステップＳ４０４）。具体的には、描画処理部４４０は、ステップＳ６０１で特定された物体の位置に基づいて、仮想現実オブジェクトの一部又は全部を隠す陰面処理を行い、陰面処理で一部又は全部が隠されている仮想現実オブジェクトの映像を生成する。表示部４５０は、ステップＳ４０４で生成された映像を表示する（ステップＳ４０５）。
【０３３０】
仮想現実管理部７１０は、仮想現実の提示を終了するかを判定する（ステップＳ７０７）。仮想現実の提示を終了すると判定した場合に、システムの各部へ処理や制御を終了する指示を出して仮想現実の提示を終了する。一方、仮想現実の提示を終了しない場合は、ステップＳ７０３へ戻る。
【０３３１】
当該構成とすることで、仮想現実の世界の中で仮想現実オブジェクトが動くことにより、より現実感のある仮想現実の世界を提示することが可能となる。
【０３３２】
なお、ステップＳ７０４、Ｓ７０５における仮想現実オブジェクトの挙動制御処理としては、予め当該仮想現実オブジェクトに対する複数のメソッドを用意しておき、ユーザ状態検知部４１０で検知されるユーザの状態や周囲状況検知部４２０で検知されるユーザの周囲の状況、その他ユーザが発する音声や周囲の音声などに基づいて所定のメッソドを実行する構成とすることができる。
【０３３３】
また、仮想現実提示システムにおける各機能は、一部又は全部が仮想現実提示装置に、残りの一部が仮想現実サービス提供サーバによって実現される。
【０３３４】
（実施形態８）
私達人間は、生まれながらに有している感覚器官を用いて現実の世界で生じる様々な事象を感知し、現実の世界で行動を行うことでこの現実の世界を生きている。すなわち、人間は、五感を使って外部より情報を入力し、入力した情報を脳で処理し、処理結果を行動と言う形で出力する生物であると言える。
【０３３５】
仮想現実提示装置は、ユーザの感覚を欺くことで、現実とは異なる仮想現実の世界をユーザに感知させる装置である。すなわち、図３７に例示するように、現実の世界で生じる事象に基づいて入力される情報の一部又は全部を遮蔽し、人工的に創り出した情報で補完することで、現実の世界とは異なる人工的に創り出された仮想現実の世界を人間の脳に感知させる装置である。このことは、仮想現実提示装置の数の異なる仮想現実の世界を創り出すことができることを意味している。
【０３３６】
仮想現実提示装置を使用しているユーザは、創り出された仮想現実の世界で生じる事象を感知しており、ユーザの行動も仮想現実提示装置によって仮想現実の世界に取り込まれて反映される。そのため、ユーザは仮想現実の世界の中で生きているとみることができる。一方で、ユーザは、現実の世界の事象を感知しており、ユーザが行う行動は現実の世界にも反映される。すなわち、図３８に示すように仮想現実提示装置を使用しているユーザは、仮想現実の世界と現実の世界とが重複している世界に生きていると言える。
【０３３７】
仮に、図３９に示すように、現実の世界と相互作用を及ぼさない異次元の世界を仮想現実の世界として創り出し、そこにユーザを帰還可能な状態で送り込むことができるのであれば、各ユーザの入出力が同一の世界内で閉じているため、各世界に生きる人間の行動が他の世界に生きる人間に影響を及ぼすことはない。仮に、天国や地獄と言う世界があったとしても、現世に生きる私達との接点がないため、現世を生きている人間は、自分の行動が天国にいる人に影響を及ぼすことを心配する必要はないし、逆に現世を生きている人間が、地獄にいる人間の行動に影響を受けることがないことと同一である。
【０３３８】
しかしながら、図３８に示す形態では、仮想現実提示装置を使用している人間も使用していない人間も等しく共通である現実の世界に跨っているため、仮想現実の世界に対して行った行動が、現実の世界に対して影響を及ぼす可能性がある。
【０３３９】
例えば、「街中でドラゴンを狩ろう」と言うコンセプトの仮想現実サービスによって作り出される仮想現実の世界Ａにユーザａがいるとする。ユーザは、目の前に表されているドラゴンに対してパンチをしたとする。ユーザａが装着している仮想現実提示装置は、当該ユーザの行動を画像解析処理等によって捕捉し、ドラゴンが倒れていく映像を表示する。従って、ユーザは、仮想現実の世界の中でドラゴンを倒したことになる。
【０３４０】
一方、現実の世界でユーザａの目の前に他人Ｘが立っていた場合、ユーザがくりだしたパンチは、他人Ｘに当たってしまうことになる。この場合、仮想現実の世界におけるユーザの行動はドラゴンを倒しただけであって問題とはならないが、現実の世界では他人を殴ったという問題に繋がる。
【０３４１】
このように、仮想現実提示装置を使用しているユーザａの主観は、仮想現実の世界にいるが、他人から客観的に見たユーザａは現実の世界にいることになる。従って、現実の世界に跨る形で仮想現実の世界にいるユーザａの行動が、現実の世界に対する問題行動とならないような状態で仮想現実の世界をユーザに提示する必要がある。しかしながら、従来の仮想現実提示装置は、このような観点における考察が行われておらず、仮想現実の世界と現実の世界との間の調整が行われていなかった。
【０３４２】
本実施形態８では、上記課題を鑑み、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮した仮想現実提示システム、仮想現実提示装置、仮想現実提示方法としたものである。以下、図面を参照して詳細に説明する。
【０３４３】
図４０は、本発明の実施形態８に係る仮想現実提示システム１００００の構成を示すブロック図である。仮想現実提示システム１００００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、仮想現実提示中断制御部１１０３０と、を備える。
【０３４４】
周囲状況検知部１１０１０は、仮想現実の提示を受けるユーザの周囲の状況を検知する。周囲状況検知部１１０１０は、例えば、ユーザの周囲の景色を撮影することでユーザの周囲の状況を検知する。
【０３４５】
仮想現実提示部１１０２０は、ユーザに仮想現実の提示を行う。ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言う。
【０３４６】
人間は、五感を用いて自身の周囲で生じる事象を感知し、感知した情報を脳で処理して状況把握を行う。従って、人間が有する感覚を欺くように映像を表示したり音声を出力したりすることで、仮想現実の世界を提示することができる。本明細書では、仮想現実提示部１１０２０は、少なくとも仮想現実用の映像を表示することで仮想現実の提示をユーザに対して行い、更に好ましくは仮想現実用の音声を出力することで仮想現実の提示をユーザに対して行うものとする。
【０３４７】
図４１は、現実の世界と、表示される映像と、ユーザが感知する仮想現実の世界との対応関係を示している。ソファーが置かれている部屋にいるユーザに対して仮想現実提示部１１０２０が仮想現実オブジェクトである犬の映像を表示することで、ユーザが見る世界（ユーザが感知する世界）は、ソファーの上に犬が寝ているという現実の世界とは異なる仮想現実の世界となる。
【０３４８】
ここで、仮想現実オブジェクトとは、人為的に設定される仮想的な空間である仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。当該仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。
【０３４９】
各種の仮想現実オブジェクトは、３Ｄコンピュータグラフィックスで外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどから構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。
【０３５０】
仮想現実オブジェクトは、仮想現実の世界に配置されるオブジェクトの種類に応じて、人物オブジェクト、動物オブジェクト、非動物オブジェクト、その他のオブジェクトに分類することができる。各仮想現実オブジェクトには、その仮想現実オブジェクトを一意に識別するためのオブジェクトＩＤが割り当てられている。
【０３５１】
人物オブジェクトとは、現実の人物や想像上・空想上の人物、歴史上の人物や創作上の人物などのオブジェクトであり、少なくとも動作が可能であり、また、好ましくは喋る（音声を出力する）ことが可能であると言う特徴を有する。
【０３５２】
動物オブジェクトは、現実の動物や、想像上・空想上の動物、創作上の動物などのオブジェクトであり、動作が可能であると言う特徴を有する。また、動物オブジェクトの一部は、吠る（音声を出力する）と言った構成とすることが可能である。仮想現実の世界に配置される仮想的な動物であるため、人間と同様に言葉を喋る構成とすることも可能である。
【０３５３】
非動物オブジェクトは、植物や、家具、建物などの静的なオブジェクトであり基本的に動作が無い物体である。但し、植物は、現実の世界で吹いている風に連動して一部動く構成としても良い。
【０３５４】
その他のオブジェクトは、例えば背景のオブジェクトなどである。その他のオブジェクトは、仮想現実の世界を創り出すために単体で用いられても良いし、人物オブジェクトや動物オブジェクト等と組み合わせて用いられても良い。
【０３５５】
図４２は、仮想現実オブジェクトの一例を示している。仮想現実オブジェクトは、外観形状を規定する３Ｄポリゴンデータと、表面に張り付けられるテキスチャーデータなどから構成される。
【０３５６】
仮想現実提示中断制御部１１０３０は、周囲状況検知部１１０１０で検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う。例えば、周囲状況検知部１１０１０によってユーザから所定の距離以内に他人の存在が検知された場合に、仮想現実の提示を中断する制御を行う。仮想現実提示部１１０２０は、当該仮想現実提示中断制御部１１０３０からの制御に基づいて、現在行っている仮想現実の提示を中断する。
【０３５７】
以上のように、本実施形態８の仮想現実提示システム１００００は、ユーザに仮想現実を提示する一方、ユーザの現実の世界における周囲の状況をセンシングしておき、ユーザの現実の世界の周囲の状況に応じて仮想現実の提示を中断する。従って、他人と共有している現実の世界の状況に基づいて、ユーザに対して仮想現実の世界と現実の世界のどちらを感知させるかを切り替えることができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。
【０３５８】
（実施形態９）
図４３は、本実施形態９に係る仮想現実提示システム１２０００の構成を示すブロック図である。仮想現実提示システム１２０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、仮想現実提示中断制御部１１０３０と、ユーザ状態検知部１２０１０と、を備える。また、仮想現実提示部１１０２０は、映像生成処理部１１０２１と、映像表示部１１０２２と、を備える。
【０３５９】
ユーザ状態検知部１２０１０は、ユーザの現在の状態を検知し、ユーザの現在の状態を示すユーザ状態情報を生成する。本実施形態９における仮想現実提示システム１２０００において、ユーザ状態検知部１２０１０は、ユーザの頭部の傾きを検知する傾きセンサ１２０１１と、ユーザの頭部の加速度を検知する加速度センサ１２０１２と、を備える。当該傾きセンサ１２０１１における検知結果や、加速度センサ１２０１２における検知結果は、ユーザ状態情報として、映像生成処理部１１０２１に出力される。
【０３６０】
映像生成処理部１１０２１は、仮想現実提示用の映像を生成する。映像生成処理部１１０２１は、ユーザ状態検知部１２０１０で検知されるユーザの現在の状態に基づいて、仮想現実提示用の映像を生成し、生成した映像を映像表示部１１０２２に出力する。仮想現実提示用の映像としては、例えば、ユーザ状態検知部１２０１０で検知されたユーザの状態に基づいて求められる視点位置及び視点方向から仮想現実オブジェクトを描画した映像がある。
【０３６１】
映像表示部１１０２２は、映像生成処理部１１０２１で生成された映像を表示することで、仮想現実の提示を行う。例えば、映像表示部１１０２２は、仮想現実提示装置としてユーザが装着するヘッドマウントディスプレイ装置において、ユーザの目の前方に配置される表示ディスプレイなどが該当する。
【０３６２】
仮想現実提示中断制御部１１０３０は、仮想現実の提示を中断する制御として、仮想現実オブジェクトの映像表示を中断させる指示を映像表示部１１０２２に出す。当該指示を受け取った映像表示部１１０２２は、映像生成処理部１１０２１で生成される映像の表示を中断する。
【０３６３】
なお、仮想現実提示中断制御部１１０３０は、仮想現実の提示を中断する制御として、映像生成処理部１１０２１に仮想現実オブジェクトの映像の生成を中断させる指示を出す構成としても良い。当該指示を受け取った映像生成処理部１１０２１は、仮想現実提示用の映像の生成を中断する。
【０３６４】
以上のように、本実施形態９に係る仮想現実提示システム１２０００によれば、仮想現実提示用の映像を表示することでユーザに仮想現実の世界を提示する。人間は視覚によって得る情報量が他の感覚で感知する情報量よりも遥かに多い。そこで、人間の視覚に対して錯覚を起こすように、ユーザの状態に基づいて制御される映像を表示することで、ユーザを仮想現実の世界に引き込むことが可能となる。
【０３６５】
なお、本実施形態９に係る仮想現実提示システム１２０００は、図４４に示す構成とすると更に良好である。図４４に示す仮想現実提示システム１２０００は、仮想現実オブジェクト記憶部１２０２０と、仮想現実オブジェクト配置部１２０３０と、を更に備え、映像生成処理部１１０２１は、視点制御部１１０２１−１と、描画処理部１１０２１−２を備える点を特徴としている。
【０３６６】
仮想現実オブジェクト記憶部１２０２０は、仮想現実オブジェクトを記憶する。仮想現実オブジェクトは、例えば、外観形状を規定するポリゴンデータと、表面に張り付けられるテキスチャーデータと含んで構成される。
【０３６７】
仮想現実オブジェクト配置部１２０３０は、仮想現実オブジェクト記憶部１２０２０に記憶されている仮想現実オブジェクトを読み出して仮想空間に配置する。
【０３６８】
視点制御部１１０２１−１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向、すなわちユーザが装着しているＨＭＤ装置の方向と対応している。但し、仮想現実提示装置としてＨＭＤ装置では無く、コンタクトレンズ型装置やインプラント型装置である場合は、ユーザの眼球方向を視線方向とする構成であることが好ましい。この場合、ユーザ状態検知部１２０１０は、ユーザの視線方向を検知する視線方向センサを更に具備する構成であることが好ましい。視点制御部１１０２１−１は、ユーザ状態情報に基づいて、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置及び視線の方向を算出する。
【０３６９】
描画処理部１１０２１−２は、仮想現実オブジェクトをリアルタイムにレンダリングして映像を生成する。描画処理部１１０２１−２で生成された映像は、映像表示部１１０２２で表示される。
【０３７０】
例えば、描画処理部１１０２１−２は、視点制御部１１０２１−１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置にイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部１１０２１−２は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、映像表示部１１０２２で表示される範囲を選択する。
【０３７１】
描画処理部１１０２１−２は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に映像表示部１１０２２で表示される映像を生成する。
【０３７２】
当該構成とすることで、人工的に創り出される仮想現実オブジェクトが存在する仮想現実の世界をユーザに提示することができる。
【０３７３】
また、本実施形態９に係る仮想現実提示システム１２０００は、図４５に示す構成とすると更に良好である。図４５に示す仮想現実提示システム１２０００において、仮想現実提示部１１０２０は、映像生成処理部１１０２１と映像表示部１１０２２に加えて音声出力部１１０２３を備えることを特徴とする。また、図４５に示す仮想現実提示システム１２０００は、中断用映像データ記憶部１２０４０と、仮想現実提示用音声データ記憶部１２０５０と、中断用音声データ記憶部１２０６０と、を備える。
【０３７４】
映像表示部１１０２２は、映像表示制御部１１０２２−１と表示パネル１１０２２−２とを備える。映像表示制御部１１０２２−１は、映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像を入力し、表示パネル１１０２２−２に表示する制御を行う。
【０３７５】
また、映像表示制御部１１０２２−１は、仮想現実提示中断制御部１１０３０より仮想現実の提示の中断を指示する指示信号を入力した場合は、表示パネル１１０２２−２に仮想現実オブジェクトの映像を表示することを中断する制御を行う。
【０３７６】
また、上記仮想現実提示の中断指示を受けた場合、映像表示制御部１１０２２−１は、中断用映像データ記憶部１２０４０に記憶されている中断用映像データを読み出し、表示パネル１１０２２−２に中断用映像を表示する制御を行う。
【０３７７】
図４６は、仮想現実提示中断制御に基づいて表示される当該中断用映像の一例を示している。映像表示制御部１１０２２−１は、映像生成処理部１１０２１で生成された仮想現実オブジェクトである犬の映像を現実の世界に重ねあわさるように表示パネル１１０２２−２に表示することで仮想現実を提示している。ここで、仮想現実提示中断制御部１１０３０より仮想現実の提示中断指示が出された場合、映像表示制御部１１０２２−１は、中断用映像データ記憶部１２０４０より中断用映像データを読み込み、表示パネル１１０２２−２に中断用映像を表示する。
【０３７８】
図４６では、中断用映像データとして「車接近により仮想現実提示を中断しました」と言う内容を示す画像データが用いられている。映像表示制御部１１０２２−１が、表示パネル１１０２２−２で表示する映像の入力元を映像生成処理部１１０２１から中断用映像データ記憶部１２０４０に切り替え、中断指示に基づいて仮想現実オブジェクトの映像の表示を中断する制御を行う。
【０３７９】
映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像は、ユーザ状態検知部１２０１０で検知されるユーザの現在の状態に基づいて制御されている。すなわち、映像生成処理部１１０２１は、ユーザの現在の状態に基づいて仮想現実オブジェクトの映像を生成するため、ユーザが移動したり首を傾けたりすると言った動作と連動して生成される映像が変化していく。
【０３８０】
図４７は、ユーザの状態が変化する場合におけるユーザの周囲の現実の世界の景色と、表示パネル１１０２２−２に表示される映像、すなわち、映像生成処理部１１０２１が生成する映像と、仮想現実が提示されているユーザが感知する景色との時間変化を示している。
【０３８１】
図４７において、ユーザは、ソファーが置かれている部屋で首を１２０度時計方向に回転させている。犬の仮想現実オブジェクトが仮想現実オブジェクト配置部１２０３０によって仮想空間に配置されており、映像生成処理部１１０２１は、ユーザ状態検知部１２０１０で検知されるユーザの目の位置及び頭部の方向に対応する視点位置及び視線方向に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画する。従って、映像生成処理部１１０２１が生成する仮想現実オブジェクトの映像は、ユーザの首の動きに連動して変化していく。そのため、現実の世界の景色と重ねて表示パネル１１０２２−２で表示されている映像を視ているユーザには、現実の世界に置かれたソファーの上に仮想現実オブジェクトで表される犬が寝そべっているという仮想現実の世界が感知される。
【０３８２】
一方、図４８は、仮想現実の提示が中断され、中断用映像が表示パネル１１０２２−２に表示されている場合においてユーザが感知する景色の時間変化を示している。ユーザが首を回転することによってユーザの視界に入る景色は変わっていく。一方、映像表示制御部１１０２２−１は、表示パネル１１０２２−２の同一位置に中断用映像を表示し続ける。中断用映像は、仮想現実の提示を中断したことユーザに認識させるために表示されるものであるため、ユーザの状態の変化に係わらず中断用映像がユーザの視界に入り続ける。
【０３８３】
このように、仮想現実の提示に係る仮想現実オブジェクトの映像は、ユーザ状態の変化に連動して、表示パネル１１０２２−２における表示位置や仮想現実オブジェクトの形状が変化するものであるのに対し、中断用映像は、一定期間又は中断理由が解消するまで表示パネル１１０２２−２に、ユーザの状態の変化に連動することなく表示される。
【０３８４】
仮想現実提示用音声データ記憶部１２０５０は、仮想現実提示用の音声データを記憶する。当該仮想現実提示用音声データは、仮想現実オブジェクト記憶部１２０２０に記憶される仮想現実オブジェクトと関連付けされている。
【０３８５】
図４９は、仮想現実オブジェクトと、当該仮想現実オブジェクトに関連付けられた仮想現実提示用音声データとを管理する管理ファイルの一例である。各仮想現実オブジェクトには、当該オブジェクトを一意に識別するオブジェクトＩＤが割り当てられている。また、各仮想現実オブジェクトは、複数の種別によって分類分けされている。種別１は、仮想現実オブジェクトの大まかな分類を示しており、人間を表した人間オブジェクトであるか、動物を表した動物オブジェクトであるか等が示されている。種別２は、当該オブジェクトが現実の世界にあるものを表したオブジェクトであるか、想像上の物体や人物を表したオブジェクトであるかが示されている。種別Ｎは、より詳細な分類が示されている。
【０３８６】
人間オブジェクトや動物オブジェクトのように、音声を発する能力を有する人間や動物を表したオブジェクトには、当該オブジェクトが発する音声と関連付けされている。例えば、オブジェクトＩＤ０００００１の仮想現実オブジェクトには、Ｍ００１．ｍｐ３、Ｍ００３．ｍｐ３、Ｍ０３４．ｍｐ３の音声データが関連付けされている。
【０３８７】
中断用音声データ記憶部１２０６０は、仮想現実の提示を中断する際に再生する中断用音声データを記憶する。中断用音声データとしては、例えば「車接近により仮想現実提示を中断しました」と言う文章を読み上げた音声などが該当する。
【０３８８】
音声出力部１１０２３は、仮想現実提示用音声データや中断用音声データを読み込み、音声として出力する。音声出力部１１０２３は、音声再生制御部１１０２３−１と、スピーカ１１０２３−２とを備える。
【０３８９】
ユーザに対して仮想現実を提示する場合、音声再生制御部１１０２３−１は、仮想現実提示用音声データを仮想現実提示用音声データ記憶部１２０５０より読み出して再生する。具体的には、音声再生制御部１１０２３−１は、ユーザ状態検知部１２０１０で検知されるユーザの状態に基づいて、仮想現実提示用音声データを複数のチャンネルの音声データに分配する。音声再生制御部１１０２３−１は、分配した各音声データにＤＡ変換処理や増幅処理を行ってアナログ音声信号に変換し、当該アナログ音声信号をスピーカ１１０２３−２に出力する。
【０３９０】
スピーカ１１０２３−２は、音声再生制御部１１０２３−１より出力された各チャンネルのアナログ音声信号を空気振動に変換して外部へ放音する。
【０３９１】
当該構成によれば、仮想現実の提示が中断されたことをユーザは、中断用映像や中断用音声によって明確に認識することができる。また、通常人間が視覚の次に外部より情報を得ている聴覚を介して仮想現実を提示することで、ユーザはより自然に仮想現実の世界に入り込むことが可能となる。
【０３９２】
なお、再生される音声が自然な音声となるように、６．１Ｃｈや７．１Ｃｈと言った多数のチャンネルで音声を再生できる構成とすることが好ましい。
【０３９３】
また、音声再生制御部１１０２３−１で再生される仮想現実提示用音声データは、仮想現実提示用音声データ記憶部１２０５０に予め記憶されている構成に限定されるものではなく、音声合成によって適宜生成される構成としても良い。例えば、仮想現実提示用音声データ記憶部１２０５０には、音声合成の元となる音声基礎データが記憶される構成とし、別途備えられる音声合成処理部が当該音声基礎データを音声出力コンテキストに従って合成することで仮想現実提示用の合成音声データを生成する構成とすると更に良好である。当該音声基礎データは、仮想現実オブジェクトに関連付けられる音声の単位となるデータであり、例えば仮想現実オブジェクトで表される人物が発する５０音などの肉声を収録した音声データである。当該合成音声データが音声再生制御部１１０２３−１に出力され、音声再生制御部１１０２３−１は、当該合成音声データを再生する。
【０３９４】
また、仮想現実オブジェクトで表される人物や動物が実際に音声を発しているように、音声の発生源が仮想現実オブジェクトの方向から来るように音声再生制御部１１０２３−１は、音声を再生する制御を行う構成とすることが好ましい。そこで、図５０に示す仮想現実提示システム１２０００のように、仮想現実オブジェクト配置部１２０３０は、音声再生制御部１１０２３−１に、仮想空間に配置している各仮想現実オブジェクトの位置を示す仮想現実オブジェクト位置情報を出力する構成とすると更に良好である。
【０３９５】
音声再生制御部１１０２３−１は、仮想現実オブジェクト位置情報で示される仮想現実オブジェクトの位置座標と、ユーザ状態検知部１２０１０で生成されるユーザの状態を示すユーザ状態情報に基づいて求まるユーザの位置座標（ユーザの左耳の位置座標と右耳の位置座標）とに基づいて、ユーザ位置から見た仮想現実オブジェクトの方向と距離を特定する。音声再生制御部１１０２３−１は、当該特定した仮想現実オブジェクトの方向に基づいて、再生する音声データを複数のチャンネルに分配する分配処理を行って、各チャンネルの音声データを生成する。また、当該特定した仮想現実オブジェクトまでの距離に基づいて、再生する音声データを増幅する増幅処理を行い、各チャンネルからスピーカ１１０２３−２へ出力される音声を生成する。
【０３９６】
このように、音声データを分配することで、ユーザには仮想現実オブジェクトで表される人物や動物の方向より音声が聞こえてくるため、実際に仮想現実オブジェクトで表される人物が喋ったり、動物が鳴いたりしているように聞こえる。また、仮想現実オブジェクトまでの距離に基づいて、音声レベルが調整されることで、実際にユーザが見えている仮想現実オブジェクトから音声が発せられているようにユーザには感知される。そのため、ユーザは、本来は現実の世界には存在していない仮想現実オブジェクトで表される人物や動物等が存在している仮想現実の世界により深く引き込まれていくことになる。
【０３９７】
なお、仮想現実提示中断制御部１１０３０は、様々な中断理由に基づいて仮想現実を提示する制御を行う場合がある。この場合、ユーザにはどのような理由で仮想現実の提示が強制的に中断されたのかを通知できることが好ましい。当該中断理由を確認したユーザが、当該中断理由が解消するように自ら行動することで再び仮想現実の提示を受けることができるためである。
【０３９８】
そこで、本実施形態９に係る仮想現実提示システム１２０００は、図５１に示す構成とすると更に良好である。図５１に示す仮想現実提示システム１２０００は、図５０の場合と比較して、新たに中断用映像データ選択処理部１２０７０と、中断用音声データ選択処理部１２０８０とを新たに備えることを特徴とする。
【０３９９】
中断用映像データ記憶部１２０４０と、中断用音声データ記憶部１２０６０とは、それぞれ複数種類の中断用映像データと中断用音声データとを記憶している。図５２は、当該中断用映像データと中断用音声データをそれぞれ管理する管理ファイルの一例である。
【０４００】
中断用映像データ記憶部１２０４０と中断用音声データ記憶部１２０６０は、それぞれ中断理由に応じた複数の中断用映像データと複数の中断用音声データとを記憶している。
【０４０１】
仮想現実提示中断制御部１１０３０は、仮想現実提示部１１０２０において仮想現実コンテンツの映像が表示されたり、仮想現実提示用音声が出力されたりすることで仮想現実の提示が行われている場合において、所定の中断事由が発生した場合に、仮想現実の提示を中断する制御を行う。具体的には、仮想現実提示中断制御部１１０３０は、中断用映像データ選択処理部１２０７０と中断用音声データ選択処理部１２０８０に仮想現実提示の中断指示を出す。
【０４０２】
ここで、仮想現実提示中断制御部１１０３０は、中断用映像データ選択処理部１２０７０と中断用音声データ選択処理部１２０８０に中断事由を示す情報を含む中断指示信号を出力することで当該指示を行う。
【０４０３】
中断用映像データ選択処理部１２０７０は、仮想現実提示中断制御部１１０３０からの中断指示で示される中断事由に対応する中断用映像データを中断用映像データ記憶部１２０４０の中から選択して読み出し、映像表示制御部１１０２２−１に出力する。
【０４０４】
映像表示制御部１１０２２−１は、中断用映像データ選択処理部１２０７０で中断用映像データが読み出された場合に、仮想現実オブジェクトの映像に代えて当該中断用映像データを表示パネル１１０２２−２に表示する制御を行う。
【０４０５】
同様に、中断用音声データ選択処理部１２０８０は、仮想現実提示中断制御部１１０３０からの中断指示で示される中断事由に対応する中断用音声データを中断用音声データ記憶部１２０６０の中から選択して読み出し、音声再生制御部１１０２３−１に出力する。
【０４０６】
音声再生制御部１１０２３−１は、中断用音声データ選択処理部１２０８０で中断用音声データが読み出された場合に、仮想現実提示用音声データの再生に代えて当該中断用音声データを再生してスピーカ１１０２３−２より出力する制御を行う。
【０４０７】
当該構成によれば、ユーザなどのような理由で仮想現実の提示が中断されたかを適切に認識することができるため、引き続き仮想現実の世界を堪能したいユーザは、当該中断事由を解消するように行動することで、素早く仮想現実の世界に戻ることができる。
【０４０８】
なお、この場合、仮想現実提示中断制御部１１０３０は、中断事由が解消した場合に、仮想現実提示部１１０２０に仮想現実の提示を再開させる制御を行う。例えば、仮想現実提示中断制御部１１０３０は、映像表示制御部１１０２２−１に、中断用映像の表示を停止し、映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像を表示パネル１１０２２−２に表示させる指示を行う構成とすると良い。
【０４０９】
（実施形態１０）
ユーザに対する仮想現実の提示を行う場合は、他人が感知している現実の世界とは異なる仮想現実の世界をユーザが感知している一方で、ユーザの行動は、仮想現実の世界だけではなく現実の世界にも影響を与える。従って、当該仮想現実の提示を行う仮想現実提示システムが、ユーザの行動が現実の世界で与える影響を考慮しつつ、仮想現実の提示に関する全体制御を行うことが好ましい。
【０４１０】
図５３は、本実施形態１０に係る仮想現実提示システム１３０００の構成を示すブロック図である。仮想現実提示システム１３０００は、仮想現実提示システム１００００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、仮想現実提示中断制御部１１０３０と、仮想現実提示中断条件記憶部１３０１０と、画像解析処理部１３０２０と、を備える。
【０４１１】
本実施形態１０に係る仮想現実提示システム１３０００において、周囲状況検知部１１０１０は、少なくともユーザの周囲を撮影して周囲景色画像を取得する周囲撮影部１０１１を備える。周囲撮影部１０１１は、具体的には、ユーザが装着するＨＭＤ装置等の仮想現実提示装置に取り付けられたカメラに該当する。当該仮想現実提示装置には、少なくとも複数のカメラが周囲撮影部１０１１として設置されている。周囲撮影部１０１１で取得された周囲景色画像は周囲状況情報として画像解析処理部１３０２０に出力される。
【０４１２】
画像解析処理部１３０２０は、周囲撮影部１０１１で撮影されたユーザの周囲の景色が写っている周囲景色画像を解析して所定の情報を抽出する処理を行う。本実施形態１０に係る仮想現実提示システム１３０００において、画像解析処理部１３０２０は、物体距離算出部１３０２１と、物体移動速度算出部１３０２２とを備える。
【０４１３】
物体距離算出部１３０２１は、周囲景色画像に写っている物体の位置を特定する。具体的には、物体距離算出部１３０２１は、周囲景色画像における隣接画素又は隣接ブロックの色差信号や輝度信号等を比較することで、当該周囲景色画像に写っている複数の物体の境界を特定し、特定した物体をラべリングする。物体距離算出部１３０２１は、仮想現実提示装置に設置されている複数の周囲撮影部１０１１で取得された周囲景色画像について当該境界判定処理及びラべリング処理を行う。物体距離算出部１３０２１は、同一のラベルが付与された物体の画像内位置の差分に基づいて、当該物体までの距離を算出する。ここで、物体距離算出部１３０２１は、当該物体の位置座標を算出する構成とすると更に良好である。物体距離算出部１３０２１は、算出した物体までの距離に関する情報を、物体移動速度算出部１３０２２と、仮想現実提示中断制御部１１０３０の仮想現実提示中断判定処理部１１０３１に出力する。
【０４１４】
物体移動速度算出部１３０２２は、物体距離算出部１３０２１で算出された物体までの距離の時間変化に基づいて、当該物体のユーザ方向への移動速度を算出する。なお、物体距離算出部１３０２１が、周囲景色画像に写る各物体の位置座標を求める物体位置特定部として機能する場合は、物体移動速度算出部１３０２２は、当該物体の位置座標の時間変化に基づいて、当該物体の移動ベクトルを算出する構成とすると更に良好である。物体移動速度算出部１３０２２は、周囲景色画像に写る物体の移動速度及び移動方向を算出する。物体移動速度算出部１３０２２は、算出した物体の移動速度を仮想現実提示中断制御部１１０３０の仮想現実提示中断判定処理部１１０３１に出力する。物体移動速度算出部１３０２２が当該物体の移動ベクトルを算出する構成である場合は、物体移動速度算出部１３０２２は、仮想現実提示中断制御部１１０３０の仮想現実提示中断判定処理部１１０３１に算出した移動速度及び移動方向を示す情報を出力する。
【０４１５】
仮想現実提示中断条件記憶部１３０１０は、仮想現実の提示を中断する条件である仮想現実提示中断条件を記憶する。図５４は、仮想現実提示中断条件の一例を示している。仮想現実提示中断条件として、複数の条件が仮想現実提示中断条件記憶部１３０１０に記憶されている。
【０４１６】
仮想現実提示中断制御部１１０３０は、仮想現実提示中断判定処理部１１０３１と、仮想現実提示中断指示部１１０３２と、を備える。
【０４１７】
仮想現実提示中断判定処理部１１０３１は、周囲状況検知部１１０１０で検知されたユーザの周囲の状況が仮想現実提示中断条件を満たしているかを判定する。仮想現実提示中断判定処理部１１０３１は、周囲状況検知部１１０１０で新たな検知結果が得られた場合、仮想現実提示中断条件記憶部１３０１０に記憶されている仮想現実提示中断条件を読み出して上記検知結果と比較することで、ユーザの現在の周囲の状況が仮想現実提示中断条件を満たしているかを判定する。
【０４１８】
具体的には、仮想現実提示中断判定処理部１１０３１は、周囲状況検知部１１０１０である周囲撮影部１０１１で撮影された周囲景色画像の画像解析結果で得られる情報が仮想現実提示中断条件を満たしているかを判定する。仮想現実提示中断判定処理部１１０３１は、物体距離算出部１３０２１よりユーザの周囲にある各物体までの距離を示す情報を、また、物体移動速度算出部１３０２２より移動している物体の移動速度を示す情報をそれぞれ入力し、仮想現実提示中断条件と比較することで、仮想現実の提示を中断するための条件を満たしているかを判定する。
【０４１９】
例えば、図５４１５に示す仮想現実提示中断条件の第６条件には、ユーザ方向への移動速度成分が秒速８ｍ以上の物体があることが中断の条件として設定されている。仮想現実提示中断判定処理部１１０３１は、物体距離算出部１３０２１でユーザまでの距離が求められた各物体の中にユーザの方向への移動速度が秒速８ｍ以上の物体がないかを物体移動速度算出部１３０２２で求められる移動速度に基づいて判定する。
【０４２０】
仮想現実提示中断判定処理部１１０３１は、所定の間隔又は新たに周囲状況検知部１１０１０や画像解析処理部１３０２０より各種情報が入力された場合に、仮想現実提示中断条件として設定されている各条件との比較判定処理を行う。
【０４２１】
仮想現実提示中断指示部１１０３２は、仮想現実提示中断判定処理部１１０３１における判定結果に基づいて、仮想現実提示部１１０２０に仮想現実の提示を中断させる指示を出す。例えば、物体移動速度算出部１３０２２で算出された物体の中に秒速１４ｍで移動する物体が存在する場合は、仮想現実の提示を中断するための条件を満たしているため、仮想現実提示中断指示部１１０３２は、仮想現実提示部１１０２０に仮想現実の提示の中断を指示する指示信号を出力する。
【０４２２】
仮想現実の提示中に上記中断指示を受け取った仮想現実提示部１１０２０は、仮想現実の提示を中断する。例えば、仮想現実提示部１１０２０が仮想現実提示用の映像を表示している場合は、当該映像の表示を中断する。また、仮想現実提示部１１０２０が仮想現実提示用の音声を出力している場合は、当該音声の出力を中断する。
【０４２３】
以上のように、本実施形態１０に係る仮想現実提示システム１３０００によれば、予め様々な中断条件を記憶しておき、周囲状況検知部１１０１０でリアルタイムに検知されるユーザの周囲の状況と当該中断条件を比較することで、適切に仮想現実の提示を制御できる。そのため、ユーザを仮想現実の世界と現実の世界のどちらを感知させるかを切り替えることができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。
【０４２４】
なお、仮想現実提示中断条件としては上述した条件に限定されるものではない。例えば、本実施形態１０に係る仮想現実提示システム１３０００は、図５５に示す構成とすることも可能である。図５５に示す仮想現実提示システム１３０００において、画像解析処理部１３０２０は、物体距離算出部１３０２１と、物体移動速度算出部１３０２２と、物体特定部１３０２３と、物体種類特定部１３０２４と、物体位置特定部１３０２５と、ユーザ移動速度算出部１３０２６と、を備える。
【０４２５】
物体特定部１３０２３は、周囲撮影部１０１１で取得された周囲景色画像に含まれる各物体を画像内における境界判定処理等によって特定し、特定した周囲景色画像内に写る各物体に対してラべリング処理を行う。
【０４２６】
物体種類特定部１３０２４は、物体特定部１３０２３で特定された各物体の種類を特定する。具体的には、物体種類特定部１３０２４は、予め現実の世界にある各物体の特徴パターンを記憶しておき、物体特定部１３０２３で特定された物体と相関値の高い特徴パターンを検出するパターンマッチング処理を行う。物体種類特定部１３０２４は、当該パターンマッチング処理で相関値が所定の基準値以上であった特徴パターンに対応付けられている種類を、当該物体の種類であるとして特定する。
【０４２７】
ここで、物体種類特定部１３０２４が特定する物体には、床や壁、人間と言ったものも物体として特定する。また、物体種類特定部１３０２４は、床にある段差等も合わせて検出する構成とすることが好ましい。、物体種類特定部１３０２４は、特定した各物体の種類を示す情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４２８】
物体位置特定部１３０２５は、物体特定部１３０２３で特定された各物体の位置座標を特定する。物体位置特定部１３０２５は、複数の周囲景色画像に写る同一物体の画像内位置の差異に基づいて、当該物体の位置を特定する。
【０４２９】
物体距離算出部１３０２１は、物体位置特定部１３０２５で求められた物体の位置座標とユーザ位置との差分ベクトルのノルムを算出することで当該物体までの距離を算出する。物体距離算出部１３０２１は、算出した各物体までの距離を示す情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４３０】
物体移動速度算出部１３０２２は、物体位置特定部１３０２５で特定される物体の位置座標の時間変化に基づいて、当該物体の移動速度を算出する。物体移動速度算出部１３０２２は、算出した各物体の移動速度をユーザ移動速度算出部１３０２６及び仮想現実提示中断判定処理部１１０３１に出力する。
【０４３１】
ユーザ移動速度算出部１３０２６は、物体移動速度算出部１３０２２で算出される複数の物体の移動速度に基づいてユーザが移動しているかを特定し、ユーザが移動している場合にユーザの移動速度を算出する。ユーザが移動していると、周囲の全ての物体がユーザの方に相対的に移動していくことになる。従って、複数の物体の移動速度に基づいて、当該物体が移動しているのか、ユーザが移動しているのかを求めることができる。ユーザ移動速度算出部１３０２６は、算出したユーザの移動速度を示す情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４３２】
仮想現実提示中断判定処理部１１０３１は、画像解析処理部１３０２０の各部より出力される各情報が、仮想現実提示中断条件記憶部１３０１０に記憶される仮想現実提示中断条件を満たしているかを判定し、当該判定結果に基づいて仮想現実提示部１１０２０に仮想現実提示の中断指示が行われることになる。
【０４３３】
例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第１中断条件に従い、ユーザ移動速度算出部１３０２６で求められたユーザの移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の５ｍ以内の位置に物体があるかを判定する。当該判定の結果、ユーザの移動方向の５ｍ以内の位置に物体がある場合に、仮想現実の提示を中断すると判定する。
【０４３４】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第２中断条件に従い、物体種類特定部１３０２４で特定される各物体の種類と、物体距離算出部１３０２１で求められる各物体までの距離とに基づいて、ユーザから３ｍ以内の位置に人間がいるかを判定する。当該判定の結果、ユーザから３ｍ以内の位置に人間がいる場合に、仮想現実の提示を中断すると判定する。
【０４３５】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第３中断条件に従い、物体移動速度算出部１３０２２で算出される物体の移動速度に基づいて、秒速１０ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。当該判定の結果、秒速１０ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、仮想現実の提示を中断すると判定する。
【０４３６】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第４中断条件に従い、ユーザ移動速度算出部１３０２６で算出されるユーザの移動速度に基づいて、ユーザが秒速３ｍ以上で移動しているかを判定する。当該判定の結果、ユーザが秒速３ｍ以上の移動速度で移動している場合に、仮想現実の提示を中断すると判定する。
【０４３７】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第５中断条件に従い、ユーザ移動速度算出部１３０２６で求められたユーザの移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の５ｍ以内の位置に段差があるかを判定する。物体特定部１３０２３は、段差も物体として認識するため、当該判定が可能となる。当該判定の結果、ユーザの移動方向の５ｍ以内の位置に段差がある場合に、仮想現実の提示を中断すると判定する。
【０４３８】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第６中断条件に従い、  物体移動速度算出部１３０２２で算出される物体の移動速度に基づいて、ユーザ方向への速度成分が秒速８ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。例えば、速度が速くてもユーザの遠方でユーザに対して平行に高速度で走る車などが存在しても問題となる可能性は低いためである。当該判定の結果、ユーザ方向への速度成分が秒速８ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、仮想現実の提示を中断すると判定する。
【０４３９】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第７中断条件に従い、ユーザ移動速度算出部１３０２６で算出されるユーザの移動速度と、物体距離算出部１３０２１で算出される物体までの距離とに基づいて、ユーザ移動方向に５秒以内に到達する物体があるかを判定する。例えば、ユーザの前方近くに段差があってもユーザの移動速度が十分小さければ直近の障害となる可能性は低いし、一方、ユーザの前方の遠くに段差があってもユーザの移動速度が十分早ければ障害となる可能性があるためである。当該判定の結果、ユーザ移動方向に５秒以内に到達する物体がある場合に、仮想現実の提示を中断すると判定する。
【０４４０】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第８中断条件に従い、物体移動速度算出部１３０２２で求められた物体の移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザ方向への移動速度成分が秒速３ｍ以上の物体であって、ユーザからの距離が２０ｍ以内である物体が存在するかを判定する。このように複数の条件を併用して仮想現実の提示の中断を行うかどうかの判定が行われても良い。当該判定の結果、これらの条件を満たす物体がある場合に、仮想現実の提示を中断すると判定する。
【０４４１】
なお、上述した判定条件や入力する情報の種類は一例であり、適宜変更が可能である。例えば、仮想現実提示システム１３０００は、図５６に示す構成とすることも可能である。図５６に示す仮想現実提示システム１３０００は、ユーザの状態を検知するユーザ状態検知部１２０１０、音声を入力する音声入力部１３０３０、ユーザの行動を特定するユーザ行動特定部１３０４０、を備えることを特徴とする。
【０４４２】
図５６に示す仮想現実提示システム１３０００では、ユーザ状態検知部１２０１０は、ユーザ位置検出部１２０１３と、ユーザ移動速度検知部１２０１４と、ユーザ方位検出部１２０１５とを備える。
【０４４３】
ユーザ位置検出部１２０１３は、例えばユーザが装着する仮想現実提示装置に設置されたＧＰＳ受信機であって、定期的にユーザの現在位置を検出して現在位置情報を生成する。ユーザ位置検出部１２０１３は、ユーザの現在位置を示す現在位置情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４４４】
ユーザ移動速度検知部１２０１４は、ユーザの移動速度を検知する。ユーザ移動速度検知部１２０１４は、ユーザが装着する仮想現実提示装置に設置された加速度センサ等で得られる加速度情報に基づいて移動速度を検知しても良いし、ユーザ位置検出部１２０１４で検出されるユーザの現在位置の差分から移動速度を検知しても良い。
【０４４５】
このように、図５６に示す仮想現実提示システム１３０００は、図５５に示す仮想現実提示システム１３０００と比較して画像解析処理とは異なる方法でユーザの移動速度を取得する。ユーザ移動速度検知部１２０１４は、検知したユーザの移動速度を示す情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４４６】
ユーザ方位検出部１２０１５は、ユーザの向いている方向（方位）を検出する。ユーザ方位検出部１２０１５は、例えば、ユーザが装着する仮想現実提示装置に取り付けられた方位磁石等で構成しても良いし、加速度センサで検知される加速度情報に基づいて、ユーザの方向を検出しても良い。ユーザ方位検出部１２０１５は、検出したユーザの方向を示す情報を仮想現実提示中断判定処理部１１０３１に出力する。
【０４４７】
音声入力部１３０３０は、周囲の音声を入力する。具体的には、音声入力部１３０３０は、ユーザが装着する仮想現実提示装置に設置されているマイクロフォンとすることができる。
【０４４８】
ユーザ行動特定部１３０４０は、周囲状況検知部１１０１０で検知されるユーザの周囲の状況や、音声入力部１３０３０で入力される音声、また、必要に応じてユーザ状態検知部１２０１０で検知されるユーザの状態等に基づいてユーザが現在行っている行動を特定する。
【０４４９】
例えば、ユーザ行動特定部１３０４０は、周囲状況検知部１１０１０で取得される周囲景色画像に車のハンドルが写っており、音声入力部１３０３０で入力される音声に車のエンジン音が含まれている場合に、ユーザは車を運転していると特定する。その他、ユーザが通勤している、寝ている、休憩している、仕事をしている、など、ユーザの行動を特定する。ユーザ行動特定部１３０４０は、特定したユーザの行動を示す情報を、仮想現実提示中断判定処理部１１０３１に出力する。
【０４５０】
仮想現実提示中断判定処理部１１０３１は、図５４の第９中断条件に従い、ユーザ位置検出部１２０１３で検出された現在位置が、仮想現実の提示ができない位置範囲であるかを判定する。例えば、駅のホームでは仮想現実の提示が禁止されている場合、当該駅のホームの位置範囲が中断条件として記憶されることになる。図５４では、ユーザの現在位置のＧＰＳ座標が、緯度３８．１２１〜３８．２５３、経度１３５．１２４〜１３５．１３１の範囲内である場合に、仮想現実の提示を中断すると判定する。
【０４５１】
また、例えば、仮想現実提示中断判定処理部１１０３１は、図５４の第１０中断条件に従い、ユーザ行動特定部１３０４０で特定されたユーザの現在の行動が車を運転していると言う行動であった場合に、仮想現実の提示を中断すると判定する。
【０４５２】
なお、仮想現実提示中断条件記憶部１３０１０が記憶する仮想現実提示中断条件は、ユーザに提示されている仮想現実の種類に応じて適宜選択される構成とすると良い。
【０４５３】
例えば、「ドラゴンと戦う」と言った内容の仮想現実が提示されているユーザは、体を動かすことが想定されるため、近くに人間がいると問題になることがある。そこで、仮想現実提示中断判定処理部１１０３１は、上記第２中断条件に基づく判定を行う。一方、「家の中に花瓶を飾る」と言った内容の仮想現実が提示されているユーザは、近くに他人がいても問題となる可能性は低い。そこで、仮想現実提示中断判定処理部１１０３１は、上記第２中断条件に基づく判定は行わない。
【０４５４】
このように、各中断条件は、ユーザに提示される仮想現実の種類に応じて決定される構成とすると更に良好である。この場合、仮想現実提示システム１３０００は、図５７の構成を取ることが好ましい。図５７に示す仮想現実提示システム１３０００は、仮想現実管理制御部１３０５０を備える。
【０４５５】
仮想現実管理制御部１３０５０は、仮想現実提示部１１０２０が提示する仮想現実の管理や制御を行う。仮想現実管理制御部１３０５０はユーザからの要求等に基づいて、ユーザに提供する仮想現実サービスを決定し、仮想現実提示部１１０２０に当該決定した仮想現実サービスに係る仮想現実を提示するように指示する。
【０４５６】
また、仮想現実管理制御部１３０５０は、仮想現実提示部１１０２０が提示している仮想現実に係る仮想現実サービスを識別する仮想現実サービス識別番号を仮想現実提示中断判定処理部１１０３１に通知する。
【０４５７】
各仮想現実サービスには、判定に用いられる中断条件が対応付けられている。図５８は、各仮想現実サービスと中断条件との対応関係を管理する管理ファイルである。仮想現実提示中断判定処理部１１０３１は、仮想現実管理制御部１３０５０より仮想現実提示部１１０２０で提示される仮想現実に係る仮想現実サービスを識別する情報を入力した場合、当該管理ファイルを参照して判定処理に用いる中断条件を特定する。例えば、仮想現実サービスがＮｏ：ＶＲＳ０００１で識別される仮想現実サービスである場合は、第１中断条件と第３中断条件を満たしているかどうかの判定処理を行う。このように、提示される仮想現実に応じて適宜判定に用いられる中断条件が選択される構成とすることで不要に中断を発生させることなく、適切な中断処理を行うことが可能となる。
【０４５８】
また、判定処理に用いられる各中断条件は、仮想現実の提示を受けているユーザに応じて決定される構成とすると更に良好である。各ユーザは予め中断条件を設定しておき、仮想現実提示中断判定処理部１１０３１は、当該ユーザ毎に定まる中断条件を用いて当該ユーザに提示されている仮想現実を中断するかを判定する。このように構成されていても良い。
【０４５９】
（実施形態１１）
仮想現実提示システムを使用しているユーザは、現実の世界とは異なる仮想現実の世界を感知している。この時、ユーザは、自身が感知している世界が人工的に創り出された仮想現実の世界であると疑念を抱いている場合もあれば、現実の世界であると完全に錯覚している場合もある。
【０４６０】
このことは、仮想現実の提示を受けているユーザがどの程度自身が感知している世界が現実の世界を感知していると錯覚しているかの度合いを示す錯覚度と言う概念を導入することができる。
【０４６１】
仮想現実の提示を受けているにも関わらずユーザが自身の感知している世界が現実の世界であると完全に信じきっている場合は、錯覚度が１００となる。一方、仮想現実の提示を受けているユーザが、自身が感知している世界が人工的に創り出された仮想現実の世界であることを理解しており、自身が感知しているどの部分が人工的な部分でどの部分が現実の部分であるかを明確に判別可能な状態で認識している場合は、錯覚度は０となる。図５９に示すように、仮想現実の提示を受けているユーザは、連続的なこの錯覚度のいずれかの状態に置かれていることになる。
【０４６２】
実施形態８〜１０で示した仮想現実中断機能は、所定の事由が発生した場合に、ユーザの錯覚度を瞬間的に０に戻し、ユーザを仮想現実の世界から現実の世界に引き戻す処理を行っていることと等価であると言える。
【０４６３】
図６０はユーザの錯覚度の時間変化を示している。Ｔ０で仮想現実の提示が開始され、Ｔ１で仮想現実の提示の中断が、Ｔ２で仮想現実の提示の再開が行われた場合を示している。仮想現実の提示が開始されたＴ０付近では、ユーザは新たに現れた仮想現実オブジェクトで表される物体や人物の存在に違和感を抱くためユーザの錯覚度は低い。しかしながら、時間の経過と共に、当該仮想現実オブジェクトで表される人物等がユーザの動作と連動するように制御され、現実の世界と溶け込むように挙動することで、ユーザは当該仮想現実オブジェクトで表されている人物等が人工的に創り出されている仮想現実オブジェクトであると言うことを忘れ、あたかもそれが現実の人物等であると錯覚しだすようになる。すなわち、錯覚度が上昇していく。
【０４６４】
ここで、中断事由に付き、Ｔ１のタイミングで仮想現実オブジェクトの映像表示が中断されると、ユーザは直ちに現在見ていた仮想現実オブジェクトで表される人物等が、現実の世界のものではなく、人工的に創り出された仮想現実オブジェクトであったことを認識し、錯覚度が０に落ち込む。Ｔ２で仮想現実の提示が再開されたとしても、ユーザの錯覚度は下がってしまっていることに加え、再度感知するようになる人物等が仮想現実オブジェクトであると明確に認識してしまっているため、錯覚度がなかなか上がっていかないと言うことになる。
【０４６５】
仮想現実提示システムは、ユーザを現実の世界とは異なる仮想現実の世界に入り込ませることで、現実の世界では物理的制約や社会的制約によって実現不可能な世界を堪能させることを主目的としているため、ユーザの錯覚度が高い状態を維持できることが好ましい。しかしながら、上記仮想現実の中断が頻繁に行われるとユーザの錯覚度が一向に上がらず、ユーザが仮想現実の世界に入り込むと言ったことができないと言う課題が発生していた。
【０４６６】
このような課題を鑑み、本実施形態１１に係る仮想現実提示システムでは、仮想現実の世界を感知しているユーザの行動が現実の世界に与える影響を考慮しつつ、ユーザが仮想現実の世界を体感し続けることを可能とすることを特徴としている。
【０４６７】
図６１は、本実施形態１１に係る仮想現実提示システム１４０００の構成を示すブロック図である。仮想現実提示システム１４０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、ユーザ状態検知部１２０１０と、注意喚起制御部１４０１０と、を備える。周囲状況検知部１１０１０は、ユーザの周囲の状況を検知し、ユーザ状態検知部１２０１０は、ユーザの現在の状態を検知する。
【０４６８】
仮想現実提示部１１０２０は、映像生成処理部１１０２１と、映像表示部１１０２２と、音声出力部１１０２３と、を備える。映像生成処理部１１０２１は、ユーザ状態検知部１２０１０で検知されるユーザの現在の状態に基づいて仮想現実提示用の映像を生成する。映像表示部１１０２２は、映像生成処理部１１０２１で生成された映像を表示する。音声出力部１１０２３は、映像生成処理部１１０２１が生成する仮想現実用の映像と対応する音声を出力する。
【０４６９】
注意喚起制御部１４０１０は、周囲状況検知部１１０１０で検知されたユーザの周囲の状況に基づいて、映像表示部１１０２２又は音声出力部１１０２３を用いてユーザに注意喚起を行う。
【０４７０】
例えば、注意喚起制御部１４０１０は、注意喚起用の映像を映像表示部１１０２２に表示させることで注意喚起を行う。この時、映像表示部１１０２２は、映像生成処理部１１０２１で生成される仮想現実用の映像と注意喚起用の映像とを多重して表示することで、仮想現実の提示を中断することなくユーザに注意喚起を行う。
【０４７１】
また、例えば、注意喚起制御部１４０１０は、注意喚起用の音声を音声出力部１１０２３に出力させることで注意喚起を行う。この時、音声出力部１１０２３は、仮想現実提示用の音声とと注意喚起用の音声とを多重して出力することで、仮想現実の提示を中断することなくユーザに注意喚起を行う。
【０４７２】
以上のように、本実施形態１１に係る仮想現実提示システム１４０００によれば、仮想現実の提示を中断することなく、現実の世界における状況に基づく注意喚起をユーザに与える。従って、ユーザの錯覚度を大きく下げることなく、ユーザの行動が現実の世界に与える影響を制御することが可能となる。
【０４７３】
図６２は、注意喚起が行われている場合において、現実の世界の景色と、映像表示部１１０２２で表示される映像と、ユーザが感知する景色との時間変化を示している。ユーザの頭部の回転に伴って、タイミングＴ３より仮想現実オブジェクトである犬の映像が表示され始める。Ｔ５のタイミングで注意喚起用の映像が表示されることで注意喚起が行われるが、仮想現実オブジェクトの映像は表示され続ける。従って、注意喚起が行われた状態であっても、ユーザは仮想現実オブジェクトで示される犬がソファーに寝そべっているという仮想現実の世界を感知し続けることになる。
【０４７４】
なお、本実施形態１１に係る仮想現実提示システム１４０００は、図６３に示す構成とすると更に良好である。図６３に示す仮想現実提示システム１４０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、ユーザ状態検知部１２０１０と、仮想現実オブジェクト記憶部１２０２０と、仮想現実オブジェクト配置部１２０３０と、仮想現実提示用音声データ記憶部１２０５０と、注意喚起制御部１４０１０と、注意喚起用映像データ記憶部４０２０と、注意喚起用音声データ記憶部４０３０と、を備える。
【０４７５】
注意喚起用映像データ記憶部４０２０は、注意喚起用の映像データを記憶する。また、注意喚起用音声データ記憶部４０３０は、注意喚起用の音声データを記憶する。
【０４７６】
仮想現実提示部１１０２０は、映像生成処理部１１０２１と、映像表示部１１０２２と、音声出力部１１０２３を備える。映像表示部１１０２２は、映像表示制御部１１０２２−１と表示パネル１１０２２−２とを備える。音声出力部１１０２３は、音声再生制御部１１０２３−１とスピーカ１１０２３−２とを備える。映像表示制御部１１０２２−１及び音声再生制御部１１０２３−１は、それぞれ注意喚起制御部１４０１０からの指示に従って、それぞれ注意喚起用映像データ記憶部４０２０と注意喚起用音声データ記憶部４０３０より注意喚起用の映像データと音声データを読み出して表示及び出力を行う。
【０４７７】
図６４は、仮想現実提示部１１０２０の具体的構成を示すブロック図である。当該仮想現実提示部１１０２０において、映像表示制御部１１０２２−１は、映像データ読み出し部１１０２２−１ａと、映像多重処理部１１０２２−１ｂと、を備える。
【０４７８】
映像データ読み出し部１１０２２−１ａは、注意喚起制御部１４０１０より注意喚起指示を受けると、注意喚起用映像データ記憶部４０２０より注意喚起用映像データを読み出し、映像多重処理部１１０２２−１ｂに出力する。
【０４７９】
映像多重処理部１１０２２−１ｂは、映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像と、映像データ読み出し部１１０２２−１ａで読み出された注意喚起用の映像とを重ねる多重化処理を行い、多重後の映像を表示パネル１１０２２−２で表示する。
【０４８０】
また、音声再生制御部１１０２３−１は、音声データ読み出し部１１０２３−１ａと、ＤＡ変換処理部１１０２３−１ｂと、音声多重処理部１１０２３−１ｃと、を備える。
【０４８１】
音声データ読み出し部１１０２３−１ａは、仮想現実提示用音声データ記憶部１２０５０に記憶されている仮想現実提示用音声データを読み出す。音声データ読み出し部１１０２３−１ａは、仮想現実オブジェクト配置部１２０３０が仮想空間に配置している仮想現実オブジェクトに関連付けられた仮想現実提示用音声データを読み出し、ＤＡ変換処理部１１０２３−１ｂに出力する。
【０４８２】
また、音声データ読み出し部１１０２３−１ａは、注意喚起制御部１４０１０より注意喚起指示を受けると、注意喚起用音声データ記憶部４０３０より注意喚起用音声データを読み出し、ＤＡ変換処理部１１０２３−１ｂに出力する。
【０４８３】
ＤＡ変換処理部１１０２３−１ｂは、音声データ読み出し部１１０２３−１ａで読み出された仮想現実提示用音声データと、注意環境音声データとをそれぞれデジタル音声データからアナログの音声信号に変換する処理を行う。変換されたアナログ音声信号は、音声多重処理部１１０２３−１ｃに出力される。
【０４８４】
音声多重処理部１１０２３−１ｃは、アナログ音声信号に変換された仮想現実用音声と注意喚起用音声とを重ねる多重化処理を行う。音声多重処理部１１０２３−１ｃで重ね合された音声はスピーカ１１０２３−２より外部へ放音される。
【０４８５】
なお、より好ましくは、仮想現実オブジェクト配置部１２０３０が仮想空間に配置している仮想現実オブジェクトの配置位置座標とユーザ状態検知部１２０１０が検知するユーザ状態に基づいて求まるユーザ位置とに基づいて、仮想現実提示用音声を複数のチャンネルに重み付けして分配する音声分配処理部を備える構成とすることが好ましい。この場合、注意喚起用音声は、ユーザ状態や仮想現実オブジェクトの配置位置に関係なく、複数のチャンネルに均等に分配する構成とすることができる。
【０４８６】
（実施形態１２）
ユーザに対する仮想現実の提示を行う場合は、他人が感知している現実の世界とは異なる仮想現実の世界をユーザが感知している一方で、ユーザの行動は、仮想現実の世界だけではなく現実の世界にも影響を与える。従って、当該仮想現実の提示を行う仮想現実提示システムが、ユーザの行動が現実の世界で与える影響を考慮しつつ、仮想現実の提示に関する全体制御を行うことが好ましい。
【０４８７】
図６５は、本実施形態１２に係る仮想現実提示システム１５０００の構成を示すブロック図である。仮想現実提示システム１５０００は、仮想現実提示システム１００００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、画像解析処理部１３０２０と、注意喚起制御部１４０１０と、注意喚起条件記憶部１５０１０と、を備える。
【０４８８】
本実施形態１２に係る仮想現実提示システム１５０００において、周囲状況検知部１１０１０は、少なくともユーザの周囲を撮影して周囲景色画像を取得する周囲撮影部１０１１を備える。周囲撮影部１０１１は、具体的には、ユーザが装着するＨＭＤ装置等の仮想現実提示装置に取り付けられたカメラに該当する。当該仮想現実提示装置には、少なくとも複数のカメラが周囲撮影部１０１１として設置されている。周囲撮影部１０１１で取得された周囲景色画像は周囲状況情報として画像解析処理部１３０２０に出力される。
【０４８９】
画像解析処理部１３０２０は、周囲撮影部１０１１で撮影されたユーザの周囲の景色が写っている周囲景色画像を解析して所定の情報を抽出する処理を行う。本実施形態１２に係る仮想現実提示システム１５０００において、画像解析処理部１３０２０は、物体距離算出部１３０２１と、物体移動速度算出部１３０２２とを備える。
【０４９０】
物体距離算出部１３０２１は、周囲景色画像に写っている物体の位置を特定する。具体的には、物体距離算出部１３０２１は、周囲景色画像における隣接画素又は隣接ブロックの色差信号や輝度信号等を比較することで、当該周囲景色画像に写っている複数の物体の境界を特定し、特定した物体をラベリングする。物体距離算出部１３０２１は、仮想現実提示装置に設置されている複数の周囲撮影部１０１１で取得された周囲景色画像について当該境界判定処理及びラベリング処理を行う。物体距離算出部１３０２１は、同一のラベルが付与された物体の画像内位置の差分に基づいて、当該物体までの距離を算出する。ここで、物体距離算出部１３０２１は、当該物体の位置座標を算出する構成とすると更に良好である。物体距離算出部１３０２１は、算出した物体までの距離に関する情報を、物体移動速度算出部１３０２２と、注意喚起制御部１４０１０の注意喚起判定処理部１４０１１に出力する。
【０４９１】
物体移動速度算出部１３０２２は、物体距離算出部１３０２１で算出された物体までの距離の時間変化に基づいて、当該物体のユーザ方向への移動速度を算出する。なお、物体距離算出部１３０２１が、周囲景色画像に写る各物体の位置座標を求める物体位置特定部として機能する場合は、物体移動速度算出部１３０２２は、当該物体の位置座標の時間変化に基づいて、当該物体の移動ベクトルを算出する構成とすると更に良好である。物体移動速度算出部１３０２２は、周囲景色画像に写る物体の移動速度及び移動方向を算出する。物体移動速度算出部１３０２２は、算出した物体の移動速度を注意喚起制御部１４０１０の注意喚起判定処理部１４０１１に出力する。物体移動速度算出部１３０２２が当該物体の移動ベクトルを算出する構成である場合は、物体移動速度算出部１３０２２は、注意喚起制御部１４０１０の注意喚起判定処理部１４０１１に算出した移動速度及び移動方向を示す情報を出力する。
【０４９２】
注意喚起条件記憶部１５０１０は、仮想現実の提示を注意喚起する条件である注意喚起条件を記憶する。図６６は、注意喚起条件の一例を示している。注意喚起条件として、複数の条件が注意喚起条件記憶部１５０１０に記憶されている。
【０４９３】
ここで、注意喚起条件記憶部１５０１０が記憶する注意喚起条件には、上述した仮想現実提示中断条件記憶部１３０１０が記憶する仮想現実提示中断条件と比較して緩い条件が設定されている。
【０４９４】
注意喚起制御部１４０１０は、注意喚起判定処理部１４０１１と、注意喚起指示部１４０１２と、を備える。
【０４９５】
注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０で検知されたユーザの周囲の状況が注意喚起条件を満たしているかを判定する。注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０で新たな検知結果が得られた場合、注意喚起条件記憶部１５０１０に記憶されている注意喚起条件を読み出して上記検知結果と比較することで、ユーザの現在の周囲の状況が注意喚起条件を満たしているかを判定する。
【０４９６】
具体的には、注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０である周囲撮影部１０１１で撮影された周囲景色画像の画像解析結果で得られる情報が注意喚起条件を満たしているかを判定する。注意喚起判定処理部１４０１１は、物体距離算出部１３０２１よりユーザの周囲にある各物体までの距離を示す情報を、また、物体移動速度算出部１３０２２より移動している物体の移動速度を示す情報をそれぞれ入力し、注意喚起条件と比較することで、注意喚起するための条件を満たしているかを判定する。
【０４９７】
例えば、図６６に示す注意喚起条件の第６条件には、ユーザ方向への移動速度成分が秒速６ｍ以上の物体があることが注意喚起の条件として設定されている。注意喚起判定処理部１４０１１は、物体距離算出部１３０２１でユーザまでの距離が求められた各物体の中にユーザの方向への移動速度が秒速６ｍ以上の物体がないかを物体移動速度算出部１３０２２で求められる移動速度に基づいて判定する。
【０４９８】
注意喚起判定処理部１４０１１は、所定の間隔又は新たに周囲状況検知部１１０１０や画像解析処理部１３０２０より各種情報が入力された場合に、注意喚起条件として設定されている各条件との比較判定処理を行う。
【０４９９】
注意喚起指示部１４０１２は、注意喚起判定処理部１４０１１における判定結果に基づいて、ユーザに対して注意喚起するための指示を仮想現実提示部１１０２０に出す。例えば、物体移動速度算出部１３０２２で算出された物体の中に秒速７ｍで移動する物体が存在する場合は、注意喚起を行うための条件を満たしているため、注意喚起指示部１４０１２は、仮想現実提示部１１０２０に注意喚起の実行を指示する指示信号を出力する。
【０５００】
仮想現実の提示中に上記注意喚起指示を受け取った仮想現実提示部１１０２０は、ユーザに対する注意喚起を行う。例えば、仮想現実提示部１１０２０が仮想現実提示用の映像を表示している場合は、当該仮想現実提示用の映像に注意喚起用の映像をオーバーレイ表示するよう指示する。また、仮想現実提示部１１０２０が仮想現実提示用の音声を出力している場合は、仮想現実提示用音声の出力を多重して再生するよう指示する。
【０５０１】
以上のように、本実施形態１２に係る仮想現実提示システム１５０００によれば、予め様々な注意喚起条件を記憶しておき、周囲状況検知部１１０１０でリアルタイムに検知されるユーザの周囲の状況と当該注意喚起条件を比較することで、適切にユーザに対して注意喚起を行うことができる。そのため、ユーザに対する仮想現実の提示を継続することで、ユーザが仮想現実の世界に留まりつつも、ユーザが現実の世界に与える影響を考慮してユーザに注意喚起を促すことができ、仮想現実の世界にいるユーザの行動が現実の世界に及ぼす影響を配慮することができる。
【０５０２】
なお、注意喚起条件としては上述した条件に限定されるものではない。例えば、本実施形態１２に係る仮想現実提示システム１５０００は、図６７に示す構成とすることも可能である。図６７に示す仮想現実提示システム１５０００において、画像解析処理部１３０２０は、物体距離算出部１３０２１と、物体移動速度算出部１３０２２と、物体特定部１３０２３と、物体種類特定部１３０２４と、物体位置特定部１３０２５と、ユーザ移動速度算出部１３０２６と、を備える。
【０５０３】
物体特定部１３０２３は、周囲撮影部１０１１で取得された周囲景色画像に含まれる各物体を画像内における境界判定処理等によって特定し、特定した周囲景色画像内に写る各物体に対してラベリング処理を行う。
【０５０４】
物体種類特定部１３０２４は、物体特定部１３０２３で特定された各物体の種類を特定する。具体的には、物体種類特定部１３０２４は、予め現実の世界にある各物体の特徴パターンを記憶しておき、物体特定部１３０２３で特定された物体と相関値の高い特徴パターンを検出するパターンマッチング処理を行う。物体種類特定部１３０２４は、当該パターンマッチング処理で相関値が所定の基準値以上であった特徴パターンに対応付けられている種類を、当該物体の種類であるとして特定する。
【０５０５】
ここで、物体種類特定部１３０２４が特定する物体には、床や壁、人間と言ったものも物体として特定する。また、物体種類特定部１３０２４は、床にある段差等も合わせて検出する構成とすることが好ましい。物体種類特定部１３０２４は、特定した各物体の種類を示す情報を注意喚起判定処理部１４０１１に出力する。
【０５０６】
物体位置特定部１３０２５は、物体特定部１３０２３で特定された各物体の位置座標を特定する。物体位置特定部１３０２５は、複数の周囲景色画像に写る同一物体の画像内位置の差異に基づいて、当該物体の位置を特定する。
【０５０７】
物体距離算出部１３０２１は、物体位置特定部１３０２５で求められた物体の位置座標とユーザ位置との差分ベクトルのノルムを算出することで当該物体までの距離を算出する。物体距離算出部１３０２１は、算出した各物体までの距離を示す情報を注意喚起判定処理部１４０１１に出力する。
【０５０８】
物体移動速度算出部１３０２１は、物体位置特定部１３０２５で特定される物体の位置座標の時間変化に基づいて、当該物体の移動速度を算出する。物体移動速度算出部１３０２１は、算出した各物体の移動速度をユーザ移動速度算出部１３０２６及び注意喚起判定処理部１４０１１に出力する。
【０５０９】
ユーザ移動速度算出部１３０２６は、物体移動速度算出部１３０２１で算出される複数の物体の移動速度に基づいてユーザが移動しているかを特定し、ユーザが移動している場合にユーザの移動速度を算出する。ユーザが移動していると、周囲の全ての物体がユーザの方に相対的に移動していくことになる。従って、複数の物体の移動速度に基づいて、当該物体が移動しているのか、ユーザが移動しているのかを求めることができる。ユーザ移動速度算出部１３０２６は、算出したユーザの移動速度を示す情報を注意喚起判定処理部１４０１１に出力する。
【０５１０】
注意喚起判定処理部１４０１１は、画像解析処理部１３０２０の各部より出力される各情報が、注意喚起条件記憶部１５０１０に記憶される注意喚起条件を満たしているかを判定し、当該判定結果に基づいて仮想現実提示部１１０２０に仮想現実提示に関する注意喚起指示が行われることになる。
【０５１１】
例えば、注意喚起判定処理部１４０１１は、図６６の第１注意喚起条件に従い、ユーザ移動速度算出部１３０２６で求められたユーザの移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の７ｍ以内の位置に物体があるかを判定する。当該判定の結果、ユーザの移動方向の７ｍ以内の位置に物体がある場合に、注意喚起すると判定する。
【０５１２】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第２注意喚起条件に従い、物体種類特定部１３０２４で特定される各物体の種類と、物体距離算出部１３０２１で求められる各物体までの距離とに基づいて、ユーザから５ｍ以内の位置に人間がいるかを判定する。当該判定の結果、ユーザから５ｍ以内の位置に人間がいる場合に、注意喚起すると判定する。
【０５１３】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第３注意喚起条件に従い、物体移動速度算出部１３０２２で算出される物体の移動速度に基づいて、秒速７ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。当該判定の結果、秒速７ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、注意喚起すると判定する。
【０５１４】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第４注意喚起条件に従い、ユーザ移動速度算出部１３０２６で算出されるユーザの移動速度に基づいて、ユーザが秒速２ｍ以上で移動しているかを判定する。当該判定の結果、ユーザが秒速２ｍ以上の移動速度で移動している場合に、注意喚起すると判定する。
【０５１５】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第５注意喚起条件に従い、ユーザ移動速度算出部１３０２６で求められたユーザの移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザの移動方向の７ｍ以内の位置に段差があるかを判定する。物体特定部１３０２３は、段差も物体として認識するため、当該判定が可能となる。当該判定の結果、ユーザの移動方向の７ｍ以内の位置に段差がある場合に、注意喚起すると判定する。
【０５１６】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第６注意喚起条件に従い、物体移動速度算出部１３０２２で算出される物体の移動速度に基づいて、ユーザ方向への速度成分が秒速６ｍ以上の速度で移動している物体がユーザの周囲に存在するかを判定する。例えば、速度が速くてもユーザの遠方でユーザに対して平行に高速度で走る車などが存在しても問題となる可能性は低いためである。当該判定の結果、ユーザ方向への速度成分が秒速６ｍ以上の速度で移動している物体がユーザの周囲に存在する場合に、注意喚起すると判定する。
【０５１７】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第７注意喚起条件に従い、ユーザ移動速度算出部１３０２６で算出されるユーザの移動速度と、物体距離算出部１３０２１で算出される物体までの距離とに基づいて、ユーザ移動方向に８秒以内に到達する物体があるかを判定する。例えば、ユーザの前方近くに段差があってもユーザの移動速度が十分小さければ直近の障害となる可能性は低いし、一方、ユーザの前方の遠くに段差があってもユーザの移動速度が十分早ければ障害となる可能性があるためである。当該判定の結果、ユーザ移動方向に８秒以内に到達する物体がある場合に、注意喚起すると判定する。
【０５１８】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第８注意喚起条件に従い、物体移動速度算出部１３０２２で求められた物体の移動速度と、物体距離算出部１３０２１で求められた各物体までの距離に基づいて、ユーザ方向への移動速度成分が秒速２ｍ以上の物体であって、ユーザからの距離が３０ｍ以内である物体が存在するかを判定する。このように複数の条件を併用して仮想現実の提示の注意喚起を行うかどうかの判定が行われても良い。当該判定の結果、これらの条件を満たす物体がある場合に注意喚起すると判定する。
【０５１９】
なお、上述した判定条件や入力する情報の種類は一例であり、適宜変更が可能である。例えば、仮想現実提示システム１５０００は、図６８に示す構成とすることも可能である。図６８に示す仮想現実提示システム１５０００は、ユーザの状態を検知するユーザ状態検知部１２０１０、音声を入力する音声入力部１３０３０、ユーザの行動を特定するユーザ行動特定部１３０４０、を備えることを特徴とする。
【０５２０】
図６８に示す仮想現実提示システム１５０００では、ユーザ状態検知部１２０１０は、ユーザ位置検出部１２０１３と、ユーザ移動速度検知部１２０１４と、ユーザ方位検出部１２０１５とを備える。
【０５２１】
ユーザ位置検出部１２０１３は、例えばユーザが装着する仮想現実提示装置に設置されたＧＰＳ受信機であって、定期的にユーザの現在位置を検出して現在位置情報を生成する。ユーザ位置検出部１２０１３は、ユーザの現在位置を示す現在位置情報を注意喚起判定処理部１４０１１に出力する。
【０５２２】
ユーザ移動速度検知部１２０１４は、ユーザの移動速度を検知する。ユーザ移動速度検知部１２０１４は、ユーザが装着する仮想現実提示装置に設置された加速度センサ等で得られる加速度情報に基づいて移動速度を検知しても良いし、ユーザ位置検出部１２０１４で検出されるユーザの現在位置の差分から移動速度を検知しても良い。
【０５２３】
このように、図６８に示す仮想現実提示システム１５０００は、図６７に示す仮想現実提示システム１５０００と比較して画像解析処理とは異なる方法でユーザの移動速度を取得する。ユーザ移動速度検知部１２０１４は、検知したユーザの移動速度を示す情報を注意喚起判定処理部１４０１１に出力する。
【０５２４】
ユーザ方位検出部１２０１５は、ユーザの向いている方位を検出する。ユーザ方位検出部１２０１５は、例えば、ユーザが装着する仮想現実提示装置に取り付けられた方位磁石等で構成しても良いし、加速度センサで検知される加速度情報に基づいて、ユーザの方向を検知しても良い。ユーザ方位検出部１２０１５は、検出したユーザの方位を示す情報を注意喚起判定処理部１４０１１に出力する。
【０５２５】
音声入力部１３０３０は、周囲の音声を入力する。具体的には、音声入力部１３０３０は、ユーザが装着する仮想現実提示装置に設置されているマイクロフォンとすることができる。
【０５２６】
ユーザ行動特定部１３０４０は、周囲状況検知部１１０１０で検知されるユーザの周囲の状況や、音声入力部１３０３０で入力される音声、また、必要に応じてユーザ状態検知部１２０１０で検知されるユーザの状態等に基づいてユーザが現在行っている行動を特定する。
【０５２７】
例えば、ユーザ行動特定部１３０４０は、周囲状況検知部１１０１０で取得される周囲景色画像に車のハンドルが写っており、音声入力部１３０３０で入力される音声に車のエンジン音が含まれている場合に、ユーザは車を運転していると特定する。その他、ユーザが通勤している、寝ている、休憩している、仕事をしている、など、ユーザの行動を特定する。ユーザ行動特定部１３０４０は、特定したユーザの行動を示す情報を、注意喚起判定処理部１４０１１に出力する。
【０５２８】
注意喚起判定処理部１４０１１は、図６６の第９注意喚起条件に従い、ユーザ位置検出部１２０１３で検出された現在位置が、注意喚起すべき位置範囲であるかを判定する。例えば、駅のホームでは仮想現実の提示に注意が必要であるとされている場合、当該駅のホームの位置範囲が注意喚起条件として記憶されることになる。図６６では、ユーザの現在位置のＧＰＳ座標が、緯度３８．１１０〜３８．２５３、経度１３５．１２０〜１３５．１４０の範囲内である場合に、注意喚起すると判定する。
【０５２９】
また、例えば、注意喚起判定処理部１４０１１は、図６６の第１０注意喚起条件に従い、ユーザ行動特定部１３０４０で特定されたユーザの現在の行動が車を運転していると言う行動であった場合に注意喚起すると判定する。
【０５３０】
なお、注意喚起条件記憶部１５０１０が記憶する注意喚起条件は、ユーザに提示されている仮想現実の種類に応じて適宜選択される構成とすると良い。
【０５３１】
例えば、「ドラゴンと戦う」と言った内容の仮想現実が提示されているユーザは、体を動かすことが想定されるため、近くに人間がいると問題になることがある。そこで、注意喚起判定処理部１４０１１は、上記第２注意喚起条件に基づく判定を行う。一方、「家の中に花瓶を飾る」と言った内容の仮想現実が提示されているユーザは、近くに他人がいても問題となる可能性は低い。そこで、注意喚起判定処理部１４０１１は、上記第２注意喚起条件に基づく判定は行わない。
【０５３２】
このように、各注意喚起条件は、ユーザに提示される仮想現実の種類に応じて決定される構成とすると更に良好である。この場合、仮想現実提示システム１５０００は、図６９の構成を取ることが好ましい。図６９に示す仮想現実提示システム１５０００は、仮想現実管理制御部１３０５０を備える。
【０５３３】
仮想現実管理制御部１３０５０は、仮想現実提示部１１０２０が提示する仮想現実の管理や制御を行う。仮想現実管理制御部１３０５０はユーザからの要求等に基づいて、ユーザに提供する仮想現実サービスを決定し、仮想現実提示部１１０２０に当該決定した仮想現実サービスに係る仮想現実を提示するように指示する。
【０５３４】
また、仮想現実管理制御部１３０５０は、仮想現実提示部１１０２０が提示している仮想現実に係る仮想現実サービスを識別する仮想現実サービス識別番号を注意喚起判定処理部１４０１１に通知する。
【０５３５】
各仮想現実サービスには、判定に用いられる注意喚起条件が対応付けられている。例えば、注意喚起判定処理部１４０１１は、仮想現実管理制御部１３０５０より仮想現実提示部１１０２０で提示される仮想現実に係る仮想現実サービスを識別する情報を入力した場合、判定に用いられる注意喚起条件を管理する管理ファイルを参照して判定処理に用いる注意喚起条件を特定する。例えば、仮想現実サービスがＮｏ：ＶＲＳ０００１で識別される仮想現実サービスである場合は、第２注意喚起条件と第５注意喚起条件を満たしているかどうかの判定処理を行う。このように、提示される仮想現実に応じて適宜判定に用いられる注意喚起条件が選択される構成とすることで不要に注意喚起を発生させることなく、適切な注意喚起処理を行うことが可能となる。
【０５３６】
また、判定処理に用いられる各注意喚起条件は、仮想現実の提示を受けているユーザに応じて決定される構成とすると更に良好である。各ユーザは予め注意喚起条件を設定しておき、注意喚起判定処理部１４０１１は、当該ユーザ毎に定まる注意喚起条件を用いて当該ユーザに提示されている仮想現実を注意喚起するかを判定する。このように構成されていても良い。
【０５３７】
また、判定に用いられた注意喚起条件と、注意喚起方法とが対応付けられている構成とすることが更に好ましい。例えば、注意喚起指示部１４０１２は、図７０に示すように注意喚起判定処理部１４０１１でヒットした注意喚起条件と仮想現実提示部１１０２０で行われる注意喚起方法との対応関係を纏めた管理ファイルを参照して、仮想現実提示部１１０２０に注意喚起を指示する。
【０５３８】
図７０において、図６６に示す第１注意喚起条件である「ユーザの移動方向の７ｍ以内の位置に物体があること」を満たしたと注意喚起判定処理部１４０１１で判定された場合、注意喚起指示部１４０１２は、格納アドレス（ｘ０００００００００１）に格納されている注意喚起用映像データＷｍ０２３.ｊｐｇを読み出して３秒間の間、表示パネル１１０２２−２に表示するよう映像表示制御部１１０２２−１に指示する。
【０５３９】
また、図６６に示す第４注意喚起条件である「ユーザが秒速２ｍ以上で移動していること」を満たしたと注意喚起判定処理部１４０１１で判定された場合、注意喚起指示部１４０１２は、格納アドレス（ｘ０００００１０００１）に格納されている注意喚起用映像データＷｍ０５９.ｊｐｇを読み出し、当該第４注意喚起条件が解消するまでの間、表示パネル１１０２２−２に表示するよう映像表示制御部１１０２２−１に指示すると共に、格納アドレス（ｘ１１０００１０００１）に格納されている注意喚起用音声データＷｍ５９.ｍｐ３を読み出し、当該第４注意喚起条件が解消するまでの間、繰り返し再生し続けるよう音声再生制御部１１０２３−１に指示する。注意喚起判定処理部１４０１１における判定の結果、画像解析処理の結果等に基づいて注意喚起条件が解消している場合は、注意喚起指示部１４０１２は、映像表示制御部１１０２２−１や音声再生制御部１１０２３−１に注意喚起の停止を指示する。
【０５４０】
このように構成することで、ユーザに対して単に「注意してください」と言ったメッセージを出すのではなく、前方に障害があると判定された場合は、「前方に障害があるので注意してください」と言った形態の注意喚起を行うことができ、また、車等の移動体が後方から接近していると判定された場合は、「後方より時速４０ｋｍの車が接近しています。注意して下さい。」と言った形態の注意喚起を行うことができ、また、ユーザが車を運転していると判定された場合は、「車を運転しながらの仮想現実サービス利用は推奨されておりません。」と言った形態の注意喚起を行うことができる。従って、ユーザは、具体的な注意喚起の内容に基づいて、現実の世界での影響が低減されるように回避行動をとることで、仮想現実の世界を堪能しつつも現実の世界への影響を管理することができる。
【０５４１】
（実施形態１３）
実施形態１１、１２に係る仮想現実提示システムは、実施形態８〜１０に係る仮想現実提示システムと比較して、仮想現実の世界に入り込んでいるユーザを現実の世界まで戻すことなく、現実の世界に対する影響を管理することで仮想現実の世界と現実の世界との調和を図っている。
【０５４２】
ここで、仮想現実の世界にいるユーザの立場からすると、できるだけ仮想現実の世界に対する錯覚度を下げることなく、現実の世界に対する影響が管理されることが好ましい。しかしながら、仮想現実の世界とは関係のない注意喚起用のウィンドウが表示したり、仮想現実の世界とは関係のない電子音やガイド音声などの音声が再生される形態で注意喚起を行ったりすると、ユーザの意識が仮想現実の世界からずれてしまい、仮想現実の提示を中断する場合と比較した場合は、錯覚度の低下が抑えられるものの、幾ばくかの錯覚度の低下は避けられないという課題が残存することになる。そこで本実施形態１３に係る仮想現実提示システムは、仮想現実の世界を体験しているユーザの錯覚度の低下を抑えつつ、適切にユーザに対して現実の世界への影響を抑える注意喚起を行うことを特徴とする。
【０５４３】
図７１は、本実施形態１３に係る仮想現実提示システム１６０００の構成を示すブロック図である。仮想現実提示システム１６０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、ユーザ状態検知部１２０１０と、仮想現実オブジェクト配置部１２０３０と、仮想現実管理制御部１３０５０と、仮想現実コンテンツ記憶部１６０１０と、仮想現実オブジェクト挙動制御部１６０２０と、を備える。
【０５４４】
仮想現実管理制御部１３０５０は、ユーザに対する仮想現実の提示の開始処理や終了処理を行うことで、各ユーザにそれぞれ提示している仮想現実を管理する。仮想現実管理制御部１３０５０は、ユーザからの仮想現実の提示の要求などに基づいてユーザに対する仮想現実の提示を開始する場合、仮想現実コンテンツ記憶部１６０１０より読み出した制御プログラムを実行することで、仮想現実オブジェクト配置部１２０３０と、仮想現実オブジェクト挙動制御部１６０２０にそれぞれ仮想現実の提示の開始に必要となる指示を出す。
【０５４５】
仮想現実コンテンツ記憶部１６０１０は、仮想現実の提示に用いられる仮想現実コンテンツを記憶する。仮想現実コンテンツは、図７２に示すように、仮想現実オブジェクトのモデルデータや音声データの他、仮想現実の提示のために実行される仮想現実制御プログラムが含まれる。
【０５４６】
仮想現実制御プログラムは、大きく分けて、仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図７３は、仮想現実制御プログラムの階層構造を示している。
【０５４７】
仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。
【０５４８】
仮想現実オブジェクト挙動制御プログラムは、更に通常時の仮想現実の提示に実行される通常時用仮想現実オブジェクト挙動制御プログラムと、注意喚起時に実行される注意喚起用仮想現実オブジェクト挙動制御プログラムと、を備える。
【０５４９】
仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。
【０５５０】
仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。
【０５５１】
仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。
【０５５２】
仮想現実オブジェクト配置部１２０３０は、仮想現実管理制御部１３０５０における仮想現実の提示開始指示に基づいて、提示する仮想現実に用いられる仮想現実オブジェクトを仮想現実コンテンツ記憶部１６０１０より読み出して仮想空間内の所定の位置に配置する。
【０５５３】
仮想現実オブジェクト挙動制御部１６０２０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部１６０２０は、仮想現実コンテンツ記憶部１６０１０より仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。当該仮想現実オブジェクト挙動制御部１６０２０によって、仮想空間内で外観形状が変化していく仮想現実オブジェクトの映像を映像生成処理部１１０２１が生成し、映像表示部１１０２２で表示する。
【０５５４】
また、仮想現実オブジェクト挙動制御部１６０２０は、仮想現実オブジェクトの音声データを仮想現実コンテンツ記憶部１６０１０より読み出して音声再生制御部１１０２３−１に出力し、仮想現実の提示に係る音声を再生させる。
【０５５５】
仮想現実オブジェクト挙動制御部１６０２０は、仮想現実管理制御部１３０５０からの指示に基づいて、通常時用仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。
【０５５６】
一方、仮想現実オブジェクト挙動制御部１６０２０は、注意喚起制御部１４０１０より仮想現実オブジェクトを用いた注意喚起を行う指示を受け取った場合、当該指示に基づいて注意喚起用仮想現実オブジェクト制御プログラムを仮想現実コンテンツ記憶部１６０１０より読み出して実行する。このように、仮想現実オブジェクト挙動制御部１６０２０は、現在提示中の仮想現実で用いられている仮想現実オブジェクトを用いてユーザに対する注意喚起を行う。
【０５５７】
図７４は、注意喚起制御部１４０１０が実行する注意喚起制御処理の流れを示すフローチャート図である。注意喚起制御部１４０１０は、周囲の状況が更新された場合（ステップＳ１１０１でＹｅｓ）、注意喚起を行うかどうかの判定処理を実行する。なお注意喚起制御部１４０１０は、周囲状況検知部１１０１０で新たに周囲状況情報が生成された場合等に周囲の状況が更新されたと判断しても良いし、予め定められた時間間隔が経過した場合に周囲の状況が更新されたと判断しても良い。
【０５５８】
注意喚起制御部１４０１０は、周囲状況検知部１１０１０より入力した周囲状況情報に基づいて、注意喚起を行うかどうかの判定処理を実行する（ステップＳ１１０２）。例えば、注意喚起制御部１４０１０は、入力した周囲状況情報と、予め設定されている注意喚起条件とを比較することで、ユーザの現在の周囲の状況が注意喚起条件を満たしているかを判定する。
【０５５９】
ステップＳ１１０２における判定の結果、注意喚起条件を満たしていない場合（ステップＳ１１０３でＮｏ）、ステップＳ１１０１に戻り、次の周囲状況の更新まで待機する。
【０５６０】
一方、ステップＳ１１０２における判定の結果、注意喚起条件を満たしている場合（ステップＳ１１０３でＹｅｓ）、注意喚起制御部１４０１０は、現在既に注意喚起を行っているかを判定する（ステップＳ１１０４）。
【０５６１】
当該判定の結果、現在既に注意喚起を行っている場合、例えば、過去のタイミングで注意喚起条件を満たしていると判定されて注意喚起が行われている場合は（ステップＳ１１０４でＹｅｓ）、ステップＳ１１０１に戻って次の更新タイミングまで待機する。
【０５６２】
一方、現在注意喚起を行っていない場合は（ステップＳ１１０４でＮｏ）、注意喚起制御部１４０１０は、仮想現実オブジェクトを用いた注意喚起の実行を指示する（ステップＳ１１０５）。
【０５６３】
図７５は、仮想現実オブジェクト配置処理の流れを示すフローチャート図である。仮想現実オブジェクト配置部１２０３０は、仮想空間に新たに仮想現実オブジェクトを配置するかを判定する（ステップＳ１２０１）。例えば、仮想現実オブジェクト配置部１２０３０は、仮想現実管理制御部１３０５０から仮想現実オブジェクト配置指示があったかどうかに基づいて仮想現実オブジェクトを配置するかを判定する。仮想現実管理制御部１３０５０は、例えば時間経過やユーザ状態、周囲状況の変化等に応じて仮想現実サービスを進行させることで、新たな仮想現実オブジェクトの配置指示を出す。
【０５６４】
ステップＳ１２０１で仮想現実オブジェクトを新たに配置すると判定した場合に、仮想現実オブジェクト配置部１２０３０は、仮想現実コンテンツ記憶部１６０１０より仮想現実オブジェクトを読み出して仮想空間に配置する（ステップＳ１２０２）。
【０５６５】
次に、仮想現実オブジェクト配置部１２０３０は、現在仮想空間に配置している仮想現実オブジェクトを仮想空間から削除するかを判定する（ステップＳ１２０３）。
【０５６６】
ステップＳ１２０３で仮想現実オブジェクトを仮想空間から削除すると判定した場合に、仮想現実オブジェクト配置部１２０３０は、削除すると決定した仮想現実オブジェクトを仮想空間から削除し、ステップＳ１２０１に戻る（ステップＳ１２０４）。
【０５６７】
このように、既に仮想空間に配置する必要が無くなった仮想現実オブジェクトを適宜削除していくことで、仮想現実の提示に用いられる仮想現実オブジェクトだけが仮想空間に残り、当該仮想現実オブジェクトに係る映像表示や音声再生が行われる。
【０５６８】
図７６は、仮想現実オブジェクトの挙動制御処理の流れを示すフローチャート図である。仮想現実オブジェクト挙動制御部１６０２０は、仮想現実オブジェクトの挙動制御指示が出されているかを判定する（ステップＳ１３０１）。仮想現実管理制御部１３０５０において実行される仮想現実メイン制御プログラムや仮想現実サブ制御プログラムに基づいて当該指示が仮想現実オブジェクト挙動制御部１６０２０に出される。
【０５６９】
仮想現実オブジェクト挙動制御部１６０２０は、当該指示を受けた場合に、指示されている通常時用仮想現実オブジェクト挙動制御プログラムを仮想現実オブジェクト記憶部１２０２０から読み出して実行する（ステップＳ１３０２）。ここで、通常時用仮想現実オブジェクト挙動制御プログラムは、ユーザに対して提供される仮想現実サービスを実行するために用いられるプログラムである。
【０５７０】
ここで、注意喚起制御部１４０１０より割り込み指示が入った場合（ステップＳ１３０３でＹｅｓ）、仮想現実オブジェクト挙動制御部１６０２０は、仮想現実コンテンツ記憶部１６０１０の中から指示されている注意喚起用仮想現実オブジェクト挙動制御プログラムを読み出して実行する（ステップＳ１３０４）。
【０５７１】
ここで、注意喚起用仮想現実オブジェクト挙動制御プログラムは、注意喚起制御部１４０１０において、予め設定されている注意喚起条件を満たしたと判定された場合に、ユーザに提供中の仮想現実サービスに基づく通常時仮想現実オブジェクト挙動制御プログラムに割り込んで優先的に実行されるプログラムである。
【０５７２】
例えば、「ギリシャの偉大な哲学者アリストテレスが３０分間身振り手振りで哲学の講義をする」という内容の仮想現実サービスがユーザに提供されているとする。この場合、仮想現実コンテンツ記憶部１６０１０には、当該アリストテレスを模した仮想現実オブジェクトのモデルデータやアリストテレスの声を模した当該講義内容の音声データ、また、当該アリストテレスの仮想現実オブジェクトを動作させる仮想現実制御プログラムが記憶されている。
【０５７３】
ユーザからの当該仮想現実サービスの利用要求に基づいて、仮想現実管理制御部１３０５０は、当該仮想現実サービスに係る仮想現実メイン制御プログラム及びサブ制御プログラムを読み出して実行することで仮想空間を設定し、仮想現実オブジェクト配置部１２０３０は、当該仮想空間にアリストテレスの仮想現実オブジェクトを読み出して配置する。
【０５７４】
仮想現実オブジェクト挙動制御部１６０２０は、仮想現実管理制御部１３０５０が実行するサブ制御プログラムに基づいて出される指示に従って、適宜仮想現実コンテンツ記憶部１６０１０より仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置している仮想現実オブジェクトの外観形状を変化させていく。当該仮想現実オブジェクトの映像が映像生成処理部１１０２１で生成される。また、仮想現実オブジェクト挙動制御部１６０２０は、当該アリストテレスの仮想現実オブジェクトが喋る講義内容の音声データを仮想現実コンテンツ記憶部１６０１０より読み出して、音声再生制御部１１０２３−１に送る。音声再生制御部１１０２３−１は、当該送られてきた音声データを、ユーザ状態検知部１２０１０で検知されるユーザ位置と、仮想現実オブジェクト配置部１２０３０が配置する仮想現実オブジェクト位置との相対位置関係に基づいて複数の音声チャンネルに分配してＤＡ変換を行い、スピーカ１１０２３−２より放音する。
【０５７５】
このような処理が継続されることで、ユーザの視界に表されている仮想現実オブジェクトで表されるアリストテレスが自分の目の前で講義をしている映像と音声がユーザに感知される。
【０５７６】
このように仮想現実サービスが提供されている状況において、注意喚起制御部１４０１０によって注意喚起条件を満たしたと判定された場合に、講義用の仮想現実オブジェクト挙動制御プログラムが一旦停止され、代わりに注意喚起用仮想現実オブジェクト挙動制御プログラムが実行される。
【０５７７】
例えば、注意喚起制御部１４０１０において、前方に障害があると判定された場合は、仮想現実オブジェクト挙動制御部１６０２０は、現在提示されているアリストテレスの仮想現実オブジェクトに「前方に障害があるので注意してください」と言ったジェスチャーと音声を発せさせる注意喚起用仮想現実オブジェクト制御プログラムを読み込んで実行する。
【０５７８】
また、例えば、注意喚起制御部１４０１０において、車等の移動体が後方から接近していると判定された場合は、仮想現実オブジェクト挙動制御部１６０２０は、現在提示されているアリストテレスの仮想現実オブジェクトに「後方より時速４０ｋｍの車が接近しています。注意して下さい。」と言ったジェスチャーと音声を発せさせる注意喚起用仮想現実オブジェクト制御プログラムを読み込んで実行する。
【０５７９】
仮想現実オブジェクト挙動制御部１６０２０は、注意喚起が終了した場合に（ステップＳ１３０５でＹｅｓ）、停止している通常時用仮想現実オブジェクト挙動制御プログラムの実行を再開する（ステップＳ１３０６）。一方、注意喚起が終了していない場合は（ステップＳ１３０５でＮｏ）、注意喚起用仮想現実オブジェクト挙動プログラムを実行し続ける。
【０５８０】
以上説明したように、本実施形態１３に係る仮想現実提示システムによれば、仮想現実提示用に使用している仮想現実オブジェクトを用いてユーザに注意喚起を行う。すなわち、仮想現実の世界を感知しているユーザの行動が現実の世界へ与える影響を抑えるようにする注意喚起を、現実の世界ではなく仮想現実の世界の中で行うように制御する。例えば、ユーザを現実の世界で右方向に動かしたい場合は、仮想現実オブジェクトがユーザに対して右方向に動くように話しかけることでユーザの行動を管理する。
【０５８１】
当該構成によれば、ユーザは仮想現実の世界の中で行われる注意喚起に基づいて現実の世界での影響を抑えるように行動しているため、ユーザの仮想現実の世界に対する錯覚度が低下することを防ぐことができる。
【０５８２】
このように、ユーザに提供される仮想現実サービスに割り込む形で、仮想現実サービスで使用している仮想現実オブジェクトを用いて注意喚起を実行することで、ユーザの錯覚度が注意喚起によって上がったり下がったりすることを防ぐことができ、ユーザは安定的に仮想現実の世界を堪能することができる。
【０５８３】
なお、仮想現実オブジェクトを利用する注意喚起を行ってもユーザの行動による影響が改善されない場合は、注意喚起制御部１４０１０は、実施形態１１、１２に示した仮想現実オブジェクトを用いない形態の注意喚起を行う構成としても良い。それでもユーザの行動による影響が改善されない場合は、実施形態８〜１０で示した仮想現実の提示の中断が行われる構成とすると更に良好である。
【０５８４】
すなわち、注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態が第１種の注意喚起条件を満たしているかの判定を行う。第１種の注意喚起は緊急度が低い注意喚起である。当該判定の結果注意喚起条件を満たしていると判定した場合は、現在仮想空間に配置している仮想現実オブジェクトの挙動を変化させる所定の注意喚起プログラムであるメッソドを実行することで、仮想現実の世界側で注意喚起を行う。この時、当該注意喚起条件は、現在ユーザに提供している仮想現実サービスの種類に応じて複数の注意喚起条件が注意喚起条件記憶部１５０１０に記憶されていることが好ましい。注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態が現在ユーザに提供している仮想現実サービスに対して設定されている注意喚起条件を満たしているかの判定を行う構成となる。なお、当該注意喚起条件は仮想現実サービスそのものに設定されていても良いし、当該仮想現実サービスが属するクラスに対して設定されていても良い。また、仮想現実オブジェクトに対して実行される注意喚起用プログラムに該当するメッソドは、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態に基づいて適切なメソッドが選択される構成とすると良い。すなわち、仮想現実オブジェクト挙動制御部１６０２０は、注意喚起部１４０１０において仮想現実オブジェクトによる注意喚起を行うと判定された場合に、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態に基づいて決定される注意喚起に応じたメッソドを実行することで仮想現実オブジェクトを用いた注意喚起を行う。
【０５８５】
また、注意喚起判定処理部１４０１１は、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態が第２種の注意喚起条件を満たしているかの判定を行う。第２種の注意喚起は緊急度が高い注意喚起である。当該判定の結果、注意喚起条件を満たしていると判定した場合は、映像表示制御部１１０２２−１は、注意喚起用映像データを注意喚起用映像データ記憶部４０２０より読み出し、映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像データに多重する処理を行う。当該現在仮想空間に配置している仮想現実オブジェクトの挙動を変化させる所定の注意喚起プログラムであるメッソドを実行することで、仮想現実の世界側で注意喚起を行う。注意喚起用映像は、仮想空間に配置された仮想現実オブジェクトを描画することで得られる映像ではないため、非仮想現実映像となる。したがって、ユーザの頭部や視線が変化した場合、仮想現実オブジェクトを描画することにより映像生成処理部１１０２１で生成される仮想現実用の映像は変化するものの、注意喚起用映像は表示パネル１１０２２−２の同一位置に表示され続けることになる。
【０５８６】
また、仮想現実提示中断判定処理部１１０３１は、周囲状況検知部１１０１０で検知される周囲の状況やユーザ状態検知部１２０１０で検知されるユーザの状態が仮想現実提示中断条件を満たしているかの判定を行う。仮想現実提示中断条件は緊急度が最も高い条件である。当該判定の結果、仮想現実提示中断条件を満たしていると判定した場合は、映像表示制御部１１０２２−１は、映像生成処理部１１０２１で生成される仮想現実用の映像を表示パネル１１０２２−２に表示することを中断する。
【０５８７】
このように、複数の段階に応じて注意喚起及び仮想現実の提示中断が行われるように制御される構成とすることで、適切な仮想現実の提示が実現できる。
【０５８８】
また、注意喚起の仕方としては、例えば右前方より車が接近している場合に、表示パネル１１０２２−２の右側に仮想現実オブジェクトの映像が表示されている場合には、仮想現実オブジェクトを左側に歩かせてユーザの右側の視界が確保できるように仮想現実オブジェクトの挙動を制御するように構成しても良い。
【０５８９】
（実施形態１４）
実施形態８〜１３に示す仮想現実提示システムでは、仮想現実の提示の中断又は注意喚起を行うことで、ユーザの行動が現実の世界に与える影響を管理している。すなわち、実施形態８〜１０ではユーザの錯覚度を０に下げることで、ユーザの意識を現実の世界に戻しているのに対し、実施形態１１、１２では錯覚度を下げることなくユーザの意識が現実の世界にも間接的に行き渡るようにしている。
【０５９０】
図３７からも分かる様に、仮想現実の提示とは、ユーザが感知する情報の一部又は全部を人工的な情報に置換することで、人工的に創り出される仮想現実の世界を現実の世界であるようにユーザが錯覚させることである。
【０５９１】
従って、現実の世界からの情報量を少なくし、仮想現実提示装置からの情報を多くすればするほど、ユーザが感知する世界における仮想現実度は増加していくことになる。例えば、図７７に示す（ａ）では、仮想現実提示装置からユーザに提示される情報は０であり、したがってユーザが感知する世界は現実の世界そのものである。一方、（ｂ）では、現実の世界からの情報のうち３０％程度が遮断され、仮想現実提示装置からの情報で補完されている。従って、ユーザが感知する世界は仮想現実の世界である。但し、７０％の情報は、現実の世界の情報をそのまま用いているため、仮想現実の世界における仮想現実度は比較的低い。一方、（ｃ）では、９０％の情報が置き換えられており、ユーザが感知する世界の殆どは人工的に作られたものであり、仮想現実度は高いことになる。
【０５９２】
ユーザに対する注意喚起とは、仮想現実の世界にいるユーザの意識を現実の世界に向けるように仕向けることであり、当該制御を行うことで仮想現実の世界にいるユーザの行動が与える現実世界への影響を緩和することが目的である。そのためには、錯覚度をコントロールすることではなく、仮想現実度を制御することでユーザの注意を現実の世界に振り向ける構成とできることが好ましい。このように、本実施形態１４に係る仮想現実提示システムは、ユーザに提示する仮想現実における仮想現実度を制御することで、仮想現実の世界を感知しているユーザの行動が現実の世界に与える影響を管理する点を特徴としている。
【０５９３】
図７８は、本実施形態１４に係る仮想現実提示システム１７０００の構成を示すブロック図である。仮想現実提示システム１７０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、仮想現実度管理部１７０１０とを備える。
【０５９４】
仮想現実度とは、ユーザに提示される仮想現実の世界と現実の世界とのずれの大きさを示す。例えば、図３８に示す仮想現実の世界Ｂは現実の世界とのオーバーラップが大きく、図７７に示す（ｂ）のようにユーザが感知する仮想現実の世界の大部分が現実の世界からの情報であることを示しており、このような仮想現実の世界の仮想現実度は低いことになる。一方、図３８に示す仮想現実の世界Ｆは現実の世界とのオーバーラップが小さく、図７７に示す（ｃ）のようにユーザが感知する仮想現実の世界の大部分が仮想現実提示装置が創り出す人工的な情報であることを示しており、このような仮想現実の世界の仮想現実度は高いことになる。
【０５９５】
仮想現実度Ｒｄは、ユーザが現実の世界から受け取る情報の情報量をＩＮＲとし、仮想現実提示装置が提示する人工的な情報の情報量をＩＮＡとして場合に、Ｒｄ＝｛ＩＮＡ／（ＩＮＲ＋ＩＮＡ）｝×１００で表される量であると定義する。
【０５９６】
なお、より正確な仮想現実度Ｒｄの算出式は、ユーザの現実の世界の環境と、人工的に提示される仮想現実用の映像や音声との相関値による補正を行うことで定義することが好ましい。なお、上記補正を行う方が良い理由は、ユーザが現在動物園にいる場合に、キリンの仮想現実オブジェクトの映像を表示する場合にユーザが感じる仮想現実の世界と、ユーザが自宅にいる場合にキリンの仮想現実オブジェクトの映像を表示する場合にユーザが感じる仮想現実の世界では、非日常性と言う観点で大きく異なり、ユーザの錯覚度が後者は低くなるためである。錯覚度が低くなったユーザは、仮想現実の世界が提示されていても、それが偽りの映像であることを認識しており、ユーザの注意は現実の世界の方に強く向かうため、仮想現実度が下がることになる。なお、ここでは、この観点については省略し、仮想現実度Ｒｄは上記式で単純化し、８ビットで表されるよう２５６段階表示した値を本明細書で言うところの仮想現実度であるものとして説明する。
【０５９７】
仮想現実度管理部１７０１０は、周囲状況検知部１１０１０やユーザ状態検知部１２０１０で検知される各情報に基づいて、仮想現実提示部１１０２０で提示可能な仮想現実の仮想現実度を設定する。
【０５９８】
例えば、ユーザが自宅に一人でいる場合には、現実の世界から大きく外れた仮想現実の世界をユーザが感知していたとしても、ユーザの行動が現実の世界に与える影響は小さいため問題はない。一方、ユーザが公共の場にいる場合は、ユーザが感知する仮想現実の世界と、他人がいる現実の世界とのずれが大きい場合には、仮想現実の世界に適合するようにユーザが行った行動内容が現実の世界に与える影響が大きくなる可能性が高まる。また、ユーザが止まっている場合は、当該ユーザが感知する仮想現実の世界が現実の世界と大きくずれていても問題にならない場合であっても、ユーザが高速で移動している場合にはユーザが仮想現実の世界に適合するように行動していても、現実の世界では問題となる場合がある。
【０５９９】
そこで、仮想現実度管理部１７０１０は、ユーザ状態や周囲状況に基づいて、仮想現実提示部１１０２０が提示する仮想現実の世界と現実の世界との乖離度合を示す仮想現実度を管理する。仮想現実度は、例えば２５６段階で表される。仮想現実度０は、ユーザが感知する情報のすべてが現実の世界の情報であり、仮想現実提示装置が映像の表示や音声の再生を全く行っていないことを示している。一方、仮想現実度２５６は、ユーザの目の前に配置されている表示パネル１１０２２−２に表示される映像の全てが人工的に創り出された映像であり、現実の世界の音声を遮断した状態でスピーカ１１０２３−２よ人工的に創り出された音声が放音されていることを示している。
【０６００】
なお、人間は聴覚よりも視覚による情報取得の割合が大きいため、例えば２５６段階のうち、映像による仮想現実度は１９２段階であり、音声による仮想現実度は６４段階で表される。例えば、音声の再生を全く行わず、表示パネル１１０２２−２の全体に現実の世界からの光を遮断した状態で人工的な映像を表示する場合の仮想現実度は１９２となり、一方、表示パネル１１０２２−２には一切人工的な映像を表示せず、現実の世界の音声を遮断して人工的な音声を再生している場合の仮想現実度は６４となる。このように、仮想現実度は、ユーザが仮想現実提示装置から受け取る情報のうち、人工的な情報の割合の大きさを示していることになる。
【０６０１】
仮想現実提示部１１０２０は、仮想現実度管理部１７０１０が管理する仮想現実度に適合するように仮想現実の提示を行う。例えば、仮想現実度管理部１７０１０で、提示可能な仮想現実度が１００として設定されている場合は、仮想現実提示部１１０２０は、当該仮想現実度以下に収まる様に仮想現実を提示する。従って、この場合には、仮想現実提示部１１０２０は、表示パネル１１０２２−２全体に仮想現実オブジェクトの映像を表示することはできないことになる。仮想現実提示部１１０２０は、仮想現実オブジェクトに係る映像と音声との情報量をコントロールしながら仮想現実の提示を行う。
【０６０２】
以上のように、本実施形態１４に係る仮想現実提示システム１７０００は、ユーザの状態又はユーザの周囲の状況に基づいて、提示する仮想現実の仮想現実度を制御することを特徴とする。従って、周囲状況等に基づいてユーザの注意を現実の世界に向けたい場合は、仮想現実度を下げて、仮想現実提示部１１０２０からユーザに提示される相対的な情報量を下げる制御を行う。すなわち、現実の世界から感知する情報量を人工的な情報と比較して相対的に上げる制御を行う。当該構成とすることで仮想現実の提示を継続しつつもユーザの行動が現実の世界に与える影響を考慮することができる。
【０６０３】
なお、仮想現実提示システム１７０００は、図７９に示す構成とすると更に良好である。図７９に示す仮想現実提示システム１７０００は、周囲状況検知部１１０１０と、仮想現実提示部１１０２０と、ユーザ状態検知部１２０１０と、仮想現実オブジェクト配置部１２０３０と、音声入力部１３０３０と、仮想現実管理制御部１３０５０と、仮想現実コンテンツ記憶部１６０１０と、仮想現実オブジェクト挙動制御部１６０２０と、仮想現実度管理部１７０１０と、を備える。
【０６０４】
仮想現実度管理部１７０１０は、提示可能仮想現実度算出処理部１７０１１と、提示予定仮想現実度算出処理部１７０１２と、提示用仮想現実度分配処理部１７０１３と、仮想現実度削減割合指示部１７０１４と、を備える。
【０６０５】
提示可能仮想現実度算出処理部１７０１１は、周囲状況検知部１１０１０で検知されたユーザの周囲の状況やユーザ状態検知部１２０１０で検知されたユーザの状態に基づいて、ユーザに提示可能な仮想現実の仮想現実度を算出する。なお、提示可能仮想現実度算出処理部１７０１１は、ユーザに提供される仮想現実サービスに応じて当該提供可能な仮想現実の仮想現実度を算出する構成としても良い。例えば、提示可能仮想現実度算出処理部１７０１１は、ユーザに提供している仮想現実サービスと、周囲状況検知部１１０１０で検知されたユーザの周囲の状況やユーザ状態検知部１２０１０で検知されたユーザの状態に基づいて、ユーザに提示可能な仮想現実の仮想現実度を算出する。
【０６０６】
提示予定仮想現実度算出処理部１７０１２は、映像生成処理部１１０２１で生成された映像データと、仮想現実オブジェクト挙動制御部１６０２０より音声再生制御部１１０２３−１に送られる音声データとを入力し、現在提示が予定されている仮想現実の仮想現実度を算出する。
【０６０７】
提示可能仮想現実度分配処理部１７０１３は、提示予定仮想現実度算出処理部１７０１２で求められた提示が予定される仮想現実度に基づいて、提示可能仮想現実度算出処理部１７０１１で算出された仮想現実度を分配する処理を行う。
【０６０８】
例えば、提示可能仮想現実度算出処理部１７０１１で算出された提示可能仮想現実度が１２０であり、提示予定仮想現実度算出処理部１７０１２で算出された映像に係る提示予定仮想現実度が８０、音声に係る提示予定仮想現実度が３０であったとする。この場合、提示予定仮想現実度の合計が提示可能仮想現実度を下回っているため、提示可能仮想現実度分配処理部１７０１３は、現状のまま提示できると判断する。
【０６０９】
一方、例えば、提示可能仮想現実度算出処理部１７０１１で算出された提示可能仮想現実度が９０であり、提示予定仮想現実度算出処理部１７０１２で算出された映像に係る提示予定仮想現実度が７０、音声に係る提示予定仮想現実度が３０であったとする。この場合、提示予定仮想現実度の合計が提示可能仮想現実度を上回っているため、提示可能仮想現実度分配処理部１７０１３は、現状のまま仮想現実を提示することはできない判断する。
【０６１０】
この場合、提示可能仮想現実度分配処理部１７０１３は、現在提示が予定されている７０＋３０＝１００の仮想現実度を提示可能仮想現実度９０以下となるように、提示可能仮想現実度を映像用と音声用に分配する。
【０６１１】
例えば、提示可能仮想現実度分配処理部１７０１３は、９０／１００の割合をかけて映像用の仮想現実度を６３、音声用の仮想現実度を２７に設定する。
【０６１２】
また、別の方法として、提示可能仮想現実度分配処理部１７０１３は、映像用に仮想現実度を多く割り当てるように分配する。例えば、提示可能仮想現実度分配処理部１７０１３は、映像用の仮想現実度は７０をそのまま維持し、音声用に仮想現実度２０を割り当てる。
【０６１３】
仮想現実度削減割合指示部１７０１４は、提示可能仮想現実度分配処理部１７０１３で決定された提示可能仮想現実度の分配に従って、仮想現実度削減割合として映像表示制御部１１０２２−１と音声再生制御部１１０２３−１に指示する。例えば、上記第１の例では削減割合は共に１０％であるとして指示し、上記第２の例では、映像表示制御部１１０２２−１には、削減割合は０％を、音声再生制御部１１０２３−１には削減割合を３３．３％であるとして指示する。
【０６１４】
映像表示制御部１１０２２−１は、映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像に対して、仮想現実度削減割合指示部１７０１４より指示された仮想現実度の削減割合に基づく補正処理を行う。また、音声再生制御部１１０２３−１は、仮想現実オブジェクト挙動制御部１６０２０より送られてくる音声データに対して、仮想現実度削減割合指示部１７０１４より指示された仮想現実度の削減割合に基づく補正処理を行う。ここで、音声再生制御部１１０２３−１は、具体的な補正処理として音声レベルを下げる処理を行う。
【０６１５】
図８０は、仮想現実提示部１１０２０の具体的構成を示したブロック図である。映像表示制御部１１０２２−１は、映像補正処理部１１０２２−１ｃを備える。映像補正処理部１１０２２−１ｃは、映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像に対して、補正処理を行い、補正処理後の映像を表示パネル１１０２２−２に表示する制御を行う。映像補正処理部１１０２２−１ｃは、具体的に映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像に対して輝度を下げる補正処理を行ったり、映像に含まれる仮想現実オブジェクトのうち重要度が低い仮想現実オブジェクトを映像の中から取り除いたりするといった補正処理を行う。
【０６１６】
音声再生制御部１１０２３−１は、第１ＤＡ変換処理部１１０２３−１ｄと、第１分配処理部１１０２３−１ｅと、第１増幅処理部１１０２３−１ｆと、第２ＤＡ変換処理部１１０２３−１ｇと、第２分配処理部１１０２３−１ｈと、第２増幅処理部１１０２３−１ｉと、再生音声合成処理部１１０２３−１ｊとを備える。
【０６１７】
第１ＤＡ変換処理部１１０２３−１ｄは、仮想現実オブジェクト挙動制御部１６０２０より送られてくる仮想現実提示用の音声データをアナログ音声信号に変換する。
【０６１８】
第１分配処理部１１０２３−１ｅは、ユーザ状態検知部１２０１０で検知されたユーザの現在位置と、仮想現実オブジェクト配置部１２０３０で配置されている仮想現実オブジェクトの位置とに基づいて、変換したアナログ音声信号を複数のチャンネルに分配する。
【０６１９】
第１増幅処理部１１０２３−１ｆは、分配された各チャンネルの音声を仮想現実度削減割合指示部１７０１４から指示された削減割合に基づいて利得調整を行う。例えば、音声再生に対する仮想現実度の割り当てが少ない場合は、当該削減割合に応じて音声レベルを下げる調整を行う。
【０６２０】
第２ＤＡ変換処理部１１０２３−１ｇは、音声入力部１３０３０より送られてくる現実の世界の音声を集音して得られた音声データをアナログ音声信号に変換する。仮想現実提示装置には、ユーザの周囲の音声を集音するマイクロフォンが音声入力部１３０３０として備え付けられている。当該マイクロフォンで集音されてＡＤ変換で生成されたデジタル音声データに対して、ＤＡ変換を行うことでアナログ音声信号に戻す処理を行う。
【０６２１】
第２分配処理部１１０２３−１ｈは、変換したアナログ音声信号を複数のチャンネルに分配する。音声入力部１３０３０として備え付けられているマイクロフォンが１つしかない場合は、位置分解能がないため、当該音声入力部１３０３０で入力された音声を全てのチャンネルに均等に分配する。一方、音声入力部１３０３０として複数のマイクロフォンが備え付けられている場合は、各音声の到来方向に合わせて当該音声入力部１３０３０で入力された音声を各チャンネルに均等に分配する。
【０６２２】
第２増幅処理部１１０２３−１ｉは、分配された各チャンネルの音声に対して利得調整を行う。例えば、ユーザが自ら設定する増幅率や、第１増幅処理部１１０２３−１ｆにおける増幅率との兼ね合いで定まる増幅率で、音声入力部１３０３０系統で入力された音声を増幅する。
【０６２３】
再生音声合成処理部１１０２３−１ｊは、第１増幅処理部１１０２３−ｆと第２増幅処理部１１０２３−ｊでそれぞれ増幅された各チャンネルの音声を合成し、スピーカ１１０２３−２に出力する。スピーカ１１０２３−２は、ユーザの現実の世界における周囲の音声に、仮想現実度調整が行われた仮想現実提示用の音声を重畳した状態で放音する。
【０６２４】
当該構成によれば、ユーザの周囲の状況に基づいてユーザに提示される情報量が調整されるため、ユーザの注意を仮想現実の世界と現実の世界のどちらに向けるかを制御することができる。
【０６２５】
図８１は、映像補正処理部１１０２２−１ｃにおける映像補正処理で得られる映像と、ユーザが感知する景色とを示している。図８１の（ａ）は、映像生成処理部１１０２１で生成される映像に仮想現実オブジェクトが含まれておらず、従ってユーザは現実の世界をそのまま見ていることになるため仮想現実度は０である。現実の世界ではユーザの左右にそれぞれソファーが配置されている。
【０６２６】
図８１の（ｂ）では、仮想空間にライオンの仮想現実オブジェクトと犬の仮想現実オブジェクトが配置されており、映像生成処理部１１０２１は、これらの仮想現実オブジェクトの映像を生成する。仮想空間における描画用の視点位置及び視線方向は、ユーザの状態に基づいて制御されるため、当該仮想現実オブジェクトで表されるライオンと犬がそれぞれソファーに寝そべっているようにユーザには感知される。当該ライオンと犬が寝そべっている仮想現実の世界の仮想現実度は１２０であるとする。
【０６２７】
ユーザ状態や周囲状況に基づいて、提示可能仮想現実度分配処理部１７０１３が映像用に割り当てる仮想現実度が１２０を超えている場合は、補正処理を行うことなく表示可能であるため、映像表示制御部１１０２２−１の映像補正処理部１１０２２−１ｃは、仮想現実度に基づく補正処理を行わず、図８１（ｂ）で示される映像がそのまま表示パネル１１０２２−２に表示される。
【０６２８】
一方、ユーザ状態や周囲状況に基づいて、提示可能仮想現実度分配処理部１７０１３が映像用に割り当てる仮想現実度が１２０を下回っている場合は、そのまま表示パネル１１０２２−２で表示することができない。そのため、映像表示制御部１１０２２−１の映像補正処理部１１０２２−１ｃは、映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像について仮想現実度を下げる補正処理を行う。
【０６２９】
図８１（ｃ）では、映像補正処理部１１０２２−１ｃは、映像に含まれる２つの仮想現実オブジェクトのうち、犬の仮想現実オブジェクトの映像部分を削除する補正処理を行っている。当該補正処理によって、補正後の映像の仮想現実度は１２０から１００に下がっている。提示可能仮想現実度分配処理部１７０１３が映像用に割り当てる仮想現実度が１００以上であるならば、当該犬の映像が削除された補正後の映像が表示パネル１１０２２−２に送られて表示される。
【０６３０】
ここで、提示可能仮想現実度分配処理部１７０１３が映像用に割り当てる仮想現実度が１００未満であるならば、上記補正処理ではいまだ仮想現実度の条件を満たしていないことになる。そこで、映像補正処理部１１０２２−１ｃは、仮想現実オブジェクトの映像の輝度を下げる補正処理を行う。
【０６３１】
図８１（ｄ）では、残っているライオンの仮想現実オブジェクトの映像における輝度が下げられているため、表示パネル１１０２２−２において仮想現実オブジェクトの映像が表示されている部分の奥になる現実の世界の物体が透けて見えている。すなわち、ユーザが取得する情報は、現実の世界からの情報が増えている。図８１（ｄ）では、当該輝度低減による補正処理が行われたことにより、仮想現実度が６０まで下がっており、表示が可能となっている。
【０６３２】
なお、映像生成処理部１１０２１で生成された映像における仮想現実度が基準値よりも超えている場合に行われる補正処理としては、先に仮想現実オブジェクトの一部を削除する構成とするものに限られるものではなく、先に仮想現実オブジェクト全体の輝度を下げることで、現実の世界からの光が仮想現実オブジェクトと重なった状態でユーザの目に入るようにし、ユーザの注意が現実の世界の方へ行くように制御されていても良い。
【０６３３】
また、どの位置に配置されている仮想現実オブジェクトの輝度を下げたり映像内から削除したりするかは、ユーザの周囲の状況やユーザ状態に基づいて決定される構成とすると更に良好である。
【０６３４】
例えば、ユーザの左前方から車が接近していることにより、仮想現実提示システムがユーザの注意を当該車に向けたい場合に、ユーザの右側に表示されている犬の仮想現実オブジェクトの映像を削除したり、輝度を下げたりしても、ユーザの注意は、問題となっている当該車の方向には向けられない。この場合、ユーザの左側に配置されているライオンの仮想現実オブジェクトの映像における輝度を下げ、当該ライオンを透過してその背後から迫っている車をユーザが適切に見えるようにすることが好ましい。
【０６３５】
そこで、仮想現実度管理部１７０１０は、映像用として提示可能な仮想現実度を算出するのではなく、映像を複数の領域に分割し、映像表示領域１、映像表示領域２、・・・映像表示領域Ｎと言った形で各映像表示領域に対して提示可能な仮想現実度を算出して映像補正処理部１１０２２−１ｃに通知する構成とすると更に良好である。
【０６３６】
この場合、例えばユーザの左前方から車が接近している場合であっても、表示パネル１１０２２−２に左半分に仮想現実オブジェクトの映像が含まれていない場合は、例え右半分に仮想現実度の高い仮想現実オブジェクトの映像が表示されていても、各映像表示領域で提供可能仮想現実度を満たしているため、そのまま補正処理を行うことなく映像表示が可能となる。
【０６３７】
図８２は、領域別に分かれた提示可能仮想現実度と、提示予定仮想現実度と、補正後仮想現実度との関係を示している。提示可能仮想現実度算出処理部１７０１１は、周囲状況やユーザ状態などに基づいて、９分割された表示パネル１１０２２−２における各表示領域について提示可能な仮想現実度を算出する。図８２では、ユーザの左下足元付近に障害物があるため、左下あたりで提示可能な仮想現実度が右下あたりで提示可能な仮想現実度と比較して小さくなっている。
【０６３８】
提示予定仮想現実度算出部１７０１２は、映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像について、上記表示領域毎の仮想現実度を提示予定仮想現実度として算出する。図８２では、生成された映像において、左の方にライオンの仮想現実オブジェクトの映像が、右の方に犬の仮想現実オブジェクトの映像が含まれており、当該仮想現実オブジェクトの映像が含まれる領域では、仮想現実度が高くなっている。
【０６３９】
ここで、提示可能仮想現実度算出部１７０１１によって、左列下段及び中列下段における提示可能仮想現実度はそれぞれ０に設定されており、当該領域における映像生成処理部１１０２１で生成された仮想現実オブジェクトの映像は、それぞれ仮想現実度が１２、５であるためそのまま表示することはできない。そこで、映像補正処理部１１０２２−１ｃは、当該領域の仮想現実度を提示可能仮想現実度である０となるように補正する。
【０６４０】
ここで、仮想現実度０は、仮想現実に関する提示がされていないことを意味しているため、映像補正処理部１１０２２−１ｃは、当該領域の仮想現実オブジェクトの輝度を０に設定する。
【０６４１】
また、左側中段の提示可能仮想現実度は１０であるのに対し、映像生成処理部１１０２１で生成された映像の仮想現実度は３３であり、このまま表示することはできない。そこで、映像補正処理部１１０２２−１ｃは、当該左側中段の領域に含まれる仮想現実オブジェクトであるライオンの映像の輝度を仮想現実度が１０となるまで下げることで、当該ライオンを透過する形で背後にある現実の世界の物体が見えるようになっている。
【０６４２】
一方、右側に配置されている犬の仮想現実オブジェクトについては、提示可能仮想現実度を下回っているため、映像生成処理部１１０２１で生成された映像のまま仮想現実度に基づく補正することなく表示することが可能である。
【０６４３】
なお、上記説明では、映像補正処理部１１０２２−１ｃは、仮想現実オブジェクトの輝度を下げることで、ユーザに提示される映像の仮想現実度を下げる構成としたがこれに限定されるものではない。ユーザに対して仮想現実の提示を行う仮想現実提示装置の構成に従って、適宜変更が可能である。
【０６４４】
例えば、表示パネル１１０２２−２を少なくとも備える仮想現実提示装置が透過型ＨＭＤ装置であって、外界から照射される光の量を制御する液晶パネル等が配置されている場合、映像補正処理部１１０２２−１は、当該外界から照射される光の量を増やすことで、相対的に現実の世界からの情報を人工的に創り出された仮想現実オブジェクトの映像からの情報と比較して情報量が増えるように制御しても良い。
【０６４５】
なお、仮想現実提示装置が透過型ディスプレイではない場合は、映像撮影部１０１１で撮影された映像と仮想現実オブジェクトの映像を合成して表示パネルで表示される構成とすると良い。この場合、映像撮影部１０１１で撮影された映像と仮想現実オブジェクトの映像との合成における重み付けを変化させ、仮想現実オブジェクトの映像に隠れる部分における現実の世界の映像が透けて見えるように構成すると良い。
【０６４６】
なお、上記説明では仮想現実オブジェクトの映像の輝度を制御することでユーザに提示する仮想現実度が提示可能な仮想現実度内に収まるように制御する場合について説明したがこれに限定するものではない。例えば、仮想現実度削減割合指示部１７０１４は、仮想空間に配置されている仮想現実オブジェクトの数または容量などを削除する指示を仮想現実オブジェクト配置部１２０３０に出すことにより、ユーザに提示される仮想現実の仮想現実度が提示可能仮想現実度内に収まるように制御する構成としても良い。
【０６４７】
（実施形態１５）
実施形態８〜１４に係る仮想現実提示システムを構成する各種機能は、ユーザが装着する仮想現実提示装置に単独で備えられる構成を取ることが想定される一方、実施形態１〜７で説明したように一部の処理を外部サーバに担当させる構成とすることが好ましい場合がある。
【０６４８】
図８３は、本実施形態１５に係る仮想現実提示システム１８０００の構成を示すブロック図である。仮想現実提示システム１８０００は、仮想現実提示装置１８１００と、仮想現実サービス提供サーバ１８２００と、契約者情報記憶データベース１８３００と、仮想現実コンテンツ記憶データベース１８４００と、を備える。
【０６４９】
仮想現実提示装置１８１００は、ユーザが頭部に装着する装置であってユーザの目の前方に表示パネルが配置されるヘッドマウントディスプレイ（ＨＭＤ）装置やユーザの目に装着するコンタクトレンズ型装置、ユーザの眼球に埋込むインプラント型装置やユーザの脳に電極形式で埋込むインプラント型装置などである。
【０６５０】
また、仮想現実提示装置１８１００は、非透過型ＨＭＤ装置であっても良い。この場合、視線カメラで撮影された映像に仮想現実提示用の映像を合成した映像を表示パネルに表示する。
【０６５１】
この場合、注意喚起を行わない通常時では、仮想現実オブジェクトの表示位置では、視線カメラで撮影された映像を下位レイヤー、仮想現実オブジェクトの映像を上位レイヤーとして２つの映像を合成して映像が表示パネルで表示される。一方、注意喚起時には、仮想現実オブジェクトの表示位置において、仮想現実オブジェクトの映像における画素データと、視線カメラで撮影された映像の画素データとを合成した画素データを表示する。
【０６５２】
例えば、仮想現実オブジェクトが表示される所定の座標（ｘ、ｙ）において、映像生成処理部で生成される仮想現実オブジェクトの映像の画素データが（Ｙ１、Ｕ１、Ｖ１）であり、当該座標における視線カメラで撮影された映像の画素データが（Ｙ２、Ｕ２、Ｖ２）であったとする。注意喚起を行わない通常時では、仮想現実オブジェクトの配置位置が視線カメラで撮影された映像に写る物体よりもユーザ側にある場合は、表示パネルにおける当該座標で表される画素データは（Ｙ１，Ｕ１、Ｖ１）となり、一方、視線カメラで撮影された映像に写る物体が、仮想現実オブジェクトの配置位置よりもユーザ側になる場合は、表示パネルにおける当該座標で表される画素データは（Ｙ２，Ｕ２，Ｖ２）となる。
【０６５３】
ここで、注意喚起制御部における注意喚起処理によって注意喚起が行われる場合、仮想現実オブジェクトがユーザ側にある場合であっても、当該座標で表される画素データは、（Ｙ１，Ｕ１，Ｖ１）ではなく（（αＹ１＋（１−α）Ｙ２、βＵ１＋（１−β）Ｕ２）、γＶ１＋（１−γ）Ｖ２）となる。ここで、α、β、γはそれぞれ０≦α、β、γ≦１である。
【０６５４】
図８４は、当該非透過型ＨＭＤ装置において、注意喚起のレベルに応じて表示パネルで表示される映像を示している。図８４に示すように、ユーザはソファーが置かれた部屋の中におり、非透過型ＨＭＤ装置の前方にユーザの視線と対応するように配置されている視線カメラ（前方カメラ）で当該部屋の景色が撮影されている。また、映像生成処理部において象の仮想現実オブジェクトの映像が生成されている。
【０６５５】
非透過型ＨＭＤ装置が備える映像表示制御部は、当該視線カメラで撮影された映像と、映像生成処理部で生成された仮想現実オブジェクトの映像を合成して表示用映像を生成し、表示パネルに表示する制御を行う。ここでは、仮想現実オブジェクトである象がソファー上に立つように制御された位置に配置されている。
【０６５６】
ここで、注意喚起制御部が行う注意喚起要否の判定の結果、弱レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを１から０．８に変更して２つの映像を合成し、表示用映像を生成する。図８４からも分かる様に、仮想現実オブジェクトの画素位置において、視線カメラで撮影された映像の成分が混ざった値が当該位置の画素データとなるため、仮想現実オブジェクトである象の映像に透けるように、背後にある現実の世界の物体である樹木が薄く見えている。
【０６５７】
一方、注意喚起制御部が行う注意喚起要否の判定の結果、中レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを０．６に変更して２つの映像を合成し、表示用映像を生成する。この場合、１−α＝０．４の割合で現実の世界の景色の映像が混ざるため、象である仮想現実オブジェクトを透けて背後の樹木等の姿がより明確にユーザの目に入ってくるため、ユーザは普通に前方を眺めている場合であっても、現実の世界からの情報をより多く取得していることになり、ユーザの注意が現実の世界により向けられることになる。
【０６５８】
一方、注意喚起制御部が行う注意喚起要否の判定の結果、強レベルの注意喚起を行うとして判定された場合に、映像表示制御部は、上記αを０．４に変更して２つの映像を合成し、表示用映像を生成する。そのため、象である仮想現実オブジェクトよりもその背後にある樹木等の映像がユーザにはより強く印象付けられ、現実の世界に対する注意がより強くなる。
【０６５９】
このように注意喚起制御部は、注意喚起の強さに基づいて当該α、β、γの値を変更する制御を行い、映像表示制御部に含まれる画像合成処理部において、仮想現実オブジェクトの映像と視線カメラで撮影された映像とが、各座標において上記式に従って合成される。
【０６６０】
注意喚起制御部は、ユーザの移動速度が速い場合や、ユーザの近くに障害物がある場合、ユーザ方向に接近する移動体の速度が速い場合などに、必要となる注意喚起の強さを大きく設定する。すなわち、注意喚起制御部は、上記α、β、γの値を大きく設定することで、仮想現実オブジェクトの映像よりも視線カメラで撮影された現実の世界の映像を強調して表示パネルに表示させる制御を行う。
【０６６１】
なお、上記注意喚起に伴って行われる映像合成で制御される係数は輝度信号Ｙの係数αだけであっても良いし、色差信号Ｕ，Ｖに対する係数β、γに対する係数も制御される構成としても良い。
【０６６２】
仮想現実提示装置１８１００は、インターネット等の通信網１０を介して仮想現実サービス提供サーバ１８２００と接続されている。
【０６６３】
仮想現実サービス提供サーバ１８２００は、通信網１０を介して仮想現実提示装置１８１００に仮想現実サービスを提供する。
【０６６４】
契約者情報記憶データベース１８３００には、当該仮想現実サービスの提供を受ける各ユーザの情報が契約者情報として記憶されており、当該契約者情報で示されるユーザが利用可能な仮想現実サービスを仮想現実サービス提供サーバ１８２００は、ユーザに対して提供する。
【０６６５】
仮想現実コンテンツ記憶データベース１８４００は、仮想現実サービスに用いられる仮想現実コンテンツを記憶する。仮想現実サービス提供サーバ１８２００は、ユーザに提供する仮想現実サービスに係る仮想現実コンテンツを仮想現実コンテンツ記憶データベース１８４００より読み出して実行することで仮想現実提示装置１８１００を装着しているユーザに仮想現実を提示する。
【０６６６】
このように、実施形態８〜１４で説明した仮想現実提示システムが備える各種機能は、ユーザが装着する仮想現実提示装置１８１００と仮想現実サービス提供サーバ１８２００のどちらかに配置される構成とすることができる。ここで、仮想現実提示装置１８１００は、実施形態１〜７で説明した仮想現実提示装置１００と対応し、仮想現実サービス提供サーバ１８２００は、実施形態１〜７で説明した仮想現実サービス提供サーバ１３００、２３００、４３００と対応している。例えば、上述した周囲状況検知部１１０１０、ユーザ状態検知部１２０１０、映像表示部１１０２２、音声出力部１１０２３、音声入力部３０３０などの各種機能は仮想現実提示装置１８１００側に実装し、仮想現実映像生成処理部１１０２１、仮想現実提示中断制御部１１０３０、仮想現実オブジェクト記憶部１２０２０、仮想現実オブジェクト配置部１２０３０、中断用映像データ記憶部１２０４０、仮想現実提示用音声データ記憶部１２０５０、中断用音声データ記憶部１２０６０、中断用映像データ選択処理部１２０７０、中断用音声データ選択処理部１２０８０、仮想現実提示中断条件記憶部１３０１０、画像解析処理部１３０２０、ユーザ行動特定部１３０４０、仮想現実管理制御部１３０５０、注意喚起制御部１４０１０、注意喚起用映像データ記憶部１４０２０、注意喚起用音声データ記憶部１４０３０、注意喚起条件記憶部１５０１０、仮想現実コンテンツ記憶部１６０１０、仮想現実オブジェクト挙動制御部１６０２０、仮想現実度管理部１７０１０、などの機能は仮想現実サービス提供サーバ１８２００側に実装される構成としても良い。
【０６６７】
なお、外部光の入射状態を制御するＬＣＤを備える構成である場合は、仮想現実度の補正を、ＬＣＤを用いた輝度の制御ではなく、ＬＣＤから入射される光量の制御で行っても良い。
【０６６８】
例えば、仮想現実提示装置１８１００は、外部光を制御するＬＣＤを備える透過型ディスプレイを備えるＨＭＤ装置であって、映像生成処理部１１０２１で生成される仮想現実オブジェクトの映像に対応する位置の外部光を遮断するようにＬＣＤを制御する。
【０６６９】
すなわち、仮想現実提示装置１８１００は、ユーザ前方から入射される自然光の透過量を制御して映像を生成する第１表示機構と、光源ランプより入射される光の透過量を制御して映像を生成する第２表示機構と、第１表示機構で生成される映像と第２表示機構で生成される映像とを合成する合成機構とを備え、これら２つの表示機構によってそれぞれ生成される映像が合わさった映像がユーザに提示される。
【０６７０】
仮想現実提示装置１８１００において、ユーザ状態検知部は、ユーザの移動速度を検知し、検知された移動速度に基づいて、第２表示機構で生成される仮想現実オブジェクトの映像に対応する位置における第１表示機構の映像を制御する。移動速度が早ければ、当該仮想現実オブジェクトの映像に対応する位置の第１表示機構における光の透過量を上げる制御を行い、ユーザの移動速度が遅い場合に、光の透過量を下げる制御を行う。
【０６７１】
（実施形態１６）
上述の実施形態で説明したように、仮想現実提示システムにおいては、仮想現実野世界にいるユーザに対して現実の世界の状況等に基づいて注意喚起を行うことや仮想現実サービスの提供を中断する構成を備えることが好ましい。ここで、注意喚起や中断に関する判断として高度な処理を求める場合は多くの処理リソースを必要とするため仮想現実サービス提供サーバ側で行う方が好ましい一方、簡易な処理で行える判断であればユーザが装着している仮想現実提示装置側で行う方が好ましい場合がある。したがって、状況に応じて使い分け出来るように両側に当該機能を実装していることが好ましい。
【０６７２】
図８５は、本実施形態１６の仮想現実提示システムの全体構成を示すブロック図である。仮想現実提示システムは、仮想現実提示装置８００と、契約者情報記憶データベース３１００と、仮想現実コンテンツ記憶データベース３２００と、仮想現実サービス提供サーバ３３００と、中断・注意喚起条件記憶データベース３６００と、を備える。
【０６７３】
仮想現実提示装置８００は、ユーザ状態検知部１１０と、周囲状況検知部１２０と、通信部１３０と、表示制御部１４０と、仮想現実提示制御部２６０と、表示部１５０と、音声入力部３７０と、音声再生制御部３８０と、音声出力部３９０と、中断・注意喚起条件記憶部８１０と、中断・注意喚起用コンテンツ記憶部８２０と、を具備する。
【０６７４】
ユーザ状態検知部１１０は、仮想現実提示装置８００を使用しているユーザの状態を検知してユーザ状態情報を生成する。具体的には、ユーザ状態検知部１１０は、ユーザの頭部の傾きを検知する傾きセンサ１１１、ユーザの頭部の加速度を検知する加速度センサ、ユーザの脳波状態を検知する脳波センサ１１４、ユーザの現在位置を検出するユーザ一検出部１１５、ユーザの移動速度を検出するユーザ移動速度検出部１１６などで構成される。なお、ユーザ状態検知部１１０としては、その他ユーザの発汗量や血圧、体温、心拍数などを検知する生体センサやユーザの眼球の動きを検知する眼球センサなどによって構成されていても良い。
【０６７５】
周囲状況検知部１２０は、仮想現実提示装置８００を使用しているユーザの周囲の状況を検知して周囲状況情報を生成する。具体的には、周囲状況検知部１２０は、ユーザの頭部が向いている方向に設置されてユーザの視線に対応する画像を撮影する視線カメラ１２１、仮想現実提示装置８００の両側面や後方に設置され、ユーザの両側や後方の画像を撮影する周囲カメラ、周囲の気温を測定する気温センサ１２３などで構成される。
【０６７６】
音声入力部３７０は、ユーザが発する音声や周囲の音声を入力する。
【０６７７】
通信部１３０は、ユーザ状態検知部１１０で生成されたユーザ状態情報や周囲状況検知部１２０で生成された周囲状況情報、音声入力部３７０で入力された音声を仮想現実サービス提供サーバ３３００へ送信する。また、通信部１３０は、仮想現実サービス提供サーバより送信されてくる仮想現実オブジェクトの映像データや音声データ、その他仮想現実提示の中断指示や注意喚起指示を受信する。
【０６７８】
表示制御部１４０は、通信部１３０で受信された仮想現実オブジェクトの映像データを復号して仮想現実オブジェクトの映像を表示部１５０に表示する制御を行う。
【０６７９】
表示部１５０は、表示制御部１４０からの制御に従って仮想現実オブジェクトの映像を表示することでユーザに対して仮想現実を提示する。
【０６８０】
音声再生制御部３８０は、通信部１３０で受信された仮想現実オブジェクトの音声データを復号して仮想現実オブジェクトの音声を音声出力部３９０より出力する制御を行う。
【０６８１】
音声出力部３９０は、音声再生制御部３８０からの制御に従って仮想現実オブジェクトの音声を出力することでユーザに対して仮想現実を提示する。
【０６８２】
中断・注意喚起条件設定部８１０は、ユーザに対する仮想現実の提示を中断したり、仮想現実を提示しつつもユーザに対して注意喚起を行ったりする場合の条件を設定する。中断・注意喚起条件設定部８１０は、ユーザからの操作に基づいて当該設定を行っても良いし、仮想現実サービス提供サーバ３３００側からの指示に基づいて行っても良い。
【０６８３】
中断・注意喚起条件記憶部８２０は、中断・注意喚起条件設定部８１０で設定されたユーザに対する仮想現実の提示を中断したり仮想現実を提示しつつもユーザに対して注意喚起を行ったりする場合の条件を記憶する。なお、中断・注意喚起条件記憶部８２０は、中断・注意喚起条件設定部８１０による設定処理を実行すること無く、デフォルトとして当該ユーザに対する仮想現実の提示を中断したり仮想現実を提示しつつもユーザに対して注意喚起を行ったりする条件を記憶していても良い。
【０６８４】
中断・注意喚起用コンテンツ記憶部８３０は、ユーザに対する仮想現実の提示を中断する場合に表示する画像や音声、また注意喚起を行う場合に表示する画像や音声を中断・注意喚起用コンテンツとして記憶する。
【０６８５】
仮想現実提示制御部２６０は、表示部１５０や音声出力部３９０でユーザに対して提示される仮想現実をせい御する。仮想現実提示制御部２６０は、仮想現実中断・注意喚起判定処理部２６１と仮想現実提示中断・注意喚起制御処理部２６２を具備する。
【０６８６】
仮想現実提示中断・注意喚起判定処理部２６１は、現在ユーザに対して提示している仮想現実を中断したり、仮想現実を提示しつつも注意喚起を行ったりするかを判定する処理を行う。具体的には、ユーザ状態検知部１１０で生成されるユーザ状態情報や周囲状況検知部１２０で生成される周囲状況情報、音声入力部３７０で入力される音声などと、中断・注意喚起条件記憶部８２０で記憶されている中断・注意喚起条件とを比較することで、仮想現実の提示の中断や注意喚起を行うかどうかを判定する処理を行う。
【０６８７】
なお、当該仮想現実提示中断・注意喚起判定処理部２６１で行われる判定処理は、後述する仮想現実サービス提供サーバ３３００側が備える仮想現実提示中断・注意喚起判定処理部１３２４で行われる判定処理とは、用いる情報や条件が異なっている。仮想現実提示中断・注意喚起判定処理部２６１では、緊急性の高い条件について判定処理を行う構成とすることが好ましい。例えば、仮想現実提示中断・注意喚起判定処理部２６１は、加速度センサ１１２で所定の基準値以上の加速度が検知された場合や、ユーザの移動速度が所定の基準値を超えた場合に、仮想現実の提示の中断や注意喚起を行うと判定する。当該加速度や移動速度の所定の基準値が中断・注意喚起条件として中断・注意喚起条件記憶部８２０に記憶されている。
【０６８８】
仮想現実提示中断・注意喚起制御処理部２６２は仮想現実提示中断・注意喚起判定処理部２６１における判定結果や、通信部１３０で受信される中断指示または注意喚起指示に基づいて、ユーザに対する仮想現実の提示を中断したり注意喚起したりする制御を行う。
【０６８９】
具体的には、仮想現実提示中断・注意喚起制御処理部２６２は、仮想現実提示中断・注意喚起判定処理部２６１で仮想現実の提示を中断すると判定された場合か通信部１３０で仮想現実の提示の中断指示が受信された場合に、仮想現実の提示を中断する制御を行う。より具体的には、仮想現実提示中断・注意喚起制御処理部２６２は、表示制御部１４０に対して仮想現実オブジェクトの映像を表示部１５０で表示することを中断する指示を出したり、音声再生制御部３８０に仮想現実オブジェクトの音声を音声出力部３９０から出力することを中断したりする制御を行う。また、仮想現実提示中断・注意喚起制御処理部２６２は、中断・注意喚起用コンテンツ記憶部８３０より中断用の画像や音声を読み出し、表示部１５０で表示したり音声出力部３９０から出力したりするように表示制御部１４０や音声再生制御部３８０に指示を行う。
【０６９０】
また、仮想現実提示中断・注意喚起制御処理部２６２は、仮想現実提示中断・注意喚起判定処理部２６１で注意喚起を行うと判定された場合か通信部１３０で注意喚起指示が受信された場合に、ユーザに対して注意喚起を行うための制御を行う。
【０６９１】
より具体的には、仮想現実提示中断・注意喚起制御処理部２６２は、表示制御部１４０に対して仮想現実オブジェクトの映像を表示部１５０で表示しつつも中断・注意喚起用コンテンツ記憶部８３０より注意喚起用の画像を読み出し、仮想現実オブジェクトの映像に当該注意喚起用の画像を多重して表示部１５０で表示する制御を指示する。表示制御部１４０は、当該指示に基づいて、仮想現実オブジェクトの映像と注意喚起用の画像を多重して表示部１５０に表示する制御を行う。
【０６９２】
また、仮想現実提示中断・注意喚起制御処理部２６２は、音声再生制御部３８０に対して仮想現実オブジェクトの音声を音声出力部３９０から出力しつつも中断・注意喚起用コンテンツ記憶部８３０より注意喚起用の音声を読み出し、仮想現実オブジェクトの音声に当該注意喚起用の音声を多重して音声出力部３９０より出力する制御を指示する。音声再生制御部３８０は、当該指示に基づいて、仮想現実オブジェクトの音声と注意喚起用の音声を多重して音声出力部３９０より出力する制御を行う。
【０６９３】
次に、仮想現実サービス提供システム側について説明する。仮想現実サービス提供サーバ３３００は、通信部１３１０と、仮想現実サービス提供管理部１３２０と、表示映像生成処理部１３５０と、画像解析処理部２３６０と、音声解析処理部３３８０と、仮想現実サービス制御部３３３０と仮想現実オブジェクト挙動制御部３３７０と、再生音声生成処理部３３９０と、を具備する。
【０６９４】
仮想現実サービス提供管理部１３２０は、仮想現実サービス開始処理部１３２１と、仮想現実サービス提供終了処理部１３２２と、仮想現実提示中断・注意喚起判定処理部１３２４と、仮想現実提示中断・注意喚起指示部１３２５を備える。
【０６９５】
仮想現実提示中断・注意喚起判定処理部１３２４は、通信部１３１０で受信されたユーザ状態情報や周囲状況情報、また、当該周囲状況情報に対する画像解析処理部２３６０による画像解析処理の結果や通信部１３１０で受信された音声に対する音声解析処理部３３８０による音声解析処理の結果に基づいて、仮想現実の提示を中断したり、注意喚起を行ったりするかの判定処理を行う。具体的には、仮想現実提示中断・注意喚起判定処理部１３２４は、中断・注意喚起条件記憶データベース３６００に記憶されている条件と、これらの入力情報とを比較することで、中断条件や注意喚起条件を満たしているかを判定する処理を行う。
【０６９６】
仮想現実提示中断・注意喚起指示部１３２５は、仮想現実提示中断・注意喚起判定処理部１３２４で仮想現実提示の中断または注意喚起を行うと判定された場合に、中断指示または注意喚起指示を通信部１３１０経由で仮想現実提示制御部２６０へ行う。
【０６９７】
また、仮想現実提示中断・注意喚起指示部１３２５は、仮想現実オブジェクトを用いた注意喚起を行うと仮想現実提示中断・注意喚起判定処理部１３２４によって判定された場合、仮想現実サービス制御部３３００や仮想現実オブジェクト挙動制御部３３７０に対して注意喚起用の指示を行う。当該指示を受け取った仮想現実オブジェクト挙動制御部３３７０は、現在仮想空間に配置している仮想現実オブジェクトに対して注意喚起用の挙動をさせる処理を実行することで、仮想現実オブジェクトの挙動を通じてユーザに対して注意喚起を行う。すなわち、表示映像生成処理部１３５０において、当該注意喚起用の挙動をする仮想現実オブジェクトの映像データが生成されるため、当該映像データを表示制御部１４０が復号して表示部１５０に仮想現実オブジェクトが注意喚起用の挙動を行っている映像を表示することでユーザに対して注意喚起が行われる。また、仮想空間に注意喚起用に使用可能な仮想現実オブジェクトが配置されていない場合は、当該注意喚起指示を受け取った仮想現実サービス制御部３３３０が仮想現実コンテンツ記憶データベース３２００より注意喚起用の仮想現実オブジェクトを読み出して仮想空間に配置し、当該新たに仮想空間に配置された仮想現実オブジェクトを用いて注意喚起を行う構成としても良い。表示映像生成処理部１３５０では当該注意喚起用の仮想現実オブジェクトの映像データが生成され、また再生音生成処理部３３９０では、当該注意喚起用の音声データが生成される。
【０６９８】
なお、当該注意喚起用に用いられる所定の仮想現実オブジェクトや注意喚起用の仮想現実オブジェクト挙動制御プログラム（メソッド又はサブルーチンなど）や注意喚起用の音声データは、提供される仮想現実サービス毎に設定・記憶されていても良いし、当該システムが一意に設定・記憶していても良い。好ましくは、仮想現実提示中断・注意喚起判定処理部１３２４で該当すると判定された注意喚起条件毎に対応する仮想現実オブジェクトが仮想現実コンテンツ記憶データベース３２００より読み出されて仮想空間に配置される構成としたり、当該対応する注意喚起用の仮想現実オブジェクト挙動制御プログラムが実行されたりすることで仮想現実オブジェクトを用いた注意喚起用の映像データが表示映像生成処理部１３５０で生成される構成としたり、注意喚起用の音声データが仮想現実コンテンツ記憶データベース３２００より読み出されて再生音声生成処理部３３９０で注意喚起用の音声データが生成される構成とすると良い。
【０６９９】
なお、仮想現実提示中断・注意喚起判定処理部１３２４は、ユーザに対して提供している仮想現実サービスの種類（クラス）・内容や当該ユーザが中断・注意喚起用に設定している設定情報に基づいて、中断・注意喚起条件記憶データベース３６００より対応する中断・注意喚起条件を読み出し、入力されるユーザ状態情報や周囲状況情報、画像解析処理の結果や音声解析処理の結果と比較することで判定を行う構成とすると更に良好である。
【０７００】
ここで、上述した仮想現実サービス提供中断処理部１３２３は、現在提供中の仮想現実サービス自体の提供を中断する処理を行うのに対し、仮想現実提示中断・注意喚起指示部１３２５は、仮想現実サービスの提供は継続しつつも、仮想現実の提示を一時的に中断する指示を行う点で異なる。
【０７０１】
なお、仮想現実提示中断・注意喚起判定処理部１３２４は、上述した仮想現実提示中断判定処理部１１０３１や注意喚起判定処理部１４０１１と同一の機能を有する。また仮想現実提示中断・注意喚起指示部１３２５は、仮想現実提示中断指示部１１０３２や注意喚起指示部１４０１２と同一の機能を有する。また、中断・注意喚起条件記憶データベース３６００は、仮想現実中断条件記憶部１３０１０や注意喚起条件記憶部１５０１０と同一の機能を有する。
【０７０２】
以上説明したように、本実施形態１６に関する仮想現実提示システムは、仮想現実提示装置と仮想現実サービス提供サーバを少なくとも備え、仮想現実提示装置はユーザの状態または周囲の状況と第１種の中断条件または第１種の注意喚起条件に基づいて、ユーザに対する仮想現実の提示を中断するかどうかの判定処理を実行したり仮想現実が提示されているユーザに対して注意喚起を行うかどうかの判定処理を実行したりする第１種判定処理部を具備し、ユーザの状態または周囲の状況と第２種の中断条件または第２種の注意喚起条件に基づいて、ユーザに対する仮想現実の提示を中断するかどうかの判定処理を行ったり仮想現実が提示されているユーザに対して注意喚起を行うかどうかの判定処理を実行したり第２種判定処理部を具備する。また、仮想現実提示装置は、仮想現実提示装置が備える第１種判定処理部と仮想現実サービス提供サーバが備える第２種判定処理部のいずれかで仮想現実の提示を中断すると判定された場合に、仮想現実オブジェクトの映像表示を停止したり、仮想現実オブジェクトの音声出力を停止したりすることで仮想現実の提示を中断する制御を行う。また、仮想現実提示装置は、仮想現実提示装置が備える第１種判定処理部と仮想現実サービス提供サーバが備える第２種判定処理部のいずれかで注意喚起を行うと判定された場合に、注意喚起用の画像を表示したり、注意喚起用の音声を出力したりすることで仮想現実の提示しながらユーザに対して注意喚起を行う制御を行う。また、仮想現実サービス提供サーバは、仮想現実サービス提供サーバが備える第２種判定処理部で仮想現実オブジェクトを用いた注意喚起を行うと判定された場合に、仮想空間に配置されている仮想現実オブジェクトに対して注意喚起用の挙動を行わせたり注意喚起用の仮想現実オブジェクトを仮想空間に配置したりすることで、仮想現実オブジェクトを用いた注意喚起用の映像や音声を生成する。仮想現実提示装置は、当該仮想現実オブジェクトを用いた注意喚起用の映像や音声を表示したり、出力したりすることで仮想現実の提示しながらユーザに対して注意喚起を行う制御を行う。
【０７０３】
例えば、仮想現実提示装置８００側の仮想現実提示中断・注意喚起判定処理部２６１で行われる第１種の判定処理としては、例えば、ユーザ状態検知部１１０が備えるユーザ移動速度検出部１１６で検出されるユーザの移動速度を図５４のNo：C００４の「ユーザの移動速度が秒速３ｍ以上でないこと」という中断条件と比較することで当該中断条件を満たしていないかを判定し、仮想現実サービス提供サーバ３３００側の仮想現実提示中断・注意喚起判定処理部１３２４では、ユーザ状態情報や周囲状況情報や画像解析処理部２３６０における画像解析結果や音声解析処理部３３８０における音声解析結果と図５４に示す他の中断条件とを比較することで当該中断条件を満たしていないかを判定する構成としても良い。
【０７０４】
また、例えば、仮想現実提示装置８００側の仮想現実提示中断・注意喚起判定処理部２６１で行われる第１種の判定処理としては、例えば、ユーザ状態検知部１１０が備えるユーザ移動速度検出部１１６で検出されるユーザの移動速度を図６６のNo：W００９の「ユーザの位置が緯度３８・・・経度１３５・・・でないこと」という注意喚起条件と比較することで当該注意喚起条件を満たしていないかを判定し、仮想現実サービス提供サーバ３３００側の仮想現実提示中断・注意喚起判定処理部１３２４では、ユーザ状態情報や周囲状況情報や画像解析処理部２３６０における画像解析結果や音声解析処理部３３８０における音声解析結果と図６６に示す他の注意喚起条件とを比較することで当該注意喚起条件を満たしていないかを判定する構成としても良い。
【０７０５】
これらの場合、対応する中断条件や注意喚起条件がそれぞれ中断・注意喚起条件記憶部８２０と、中断・注意喚起条件記憶部データベース３６００に記憶されていることになる。
【０７０６】
このように、仮想現実提示装置８００側では緊急度が高い中断条件・注意喚起条件や比較的小さい処理で行うことができる中断条件・注意喚起条件との比較判定処理を行い、判定結果に基づいて仮想現実の提示中断や、注意喚起を行う構成とし、仮想現実サービス提供サーバ３３００側では画像解析処理や音声解析処理など比較的大きい処理が必要となる中断条件・注意喚起条件との比較判定処理を行う構成とすると良い。このように必要となる処理の量や中断・注意喚起が求められる迅速度に応じて、判定処理を仮想現実提示装置側と仮想現実サービス提供サーバ側に分担することでより適切な中断・注意喚起を行うことができる。
【０７０７】
以上、実施形態８〜１６で説明したように、本発明に係る仮想現実システムは、仮想現実の世界をユーザに提示する仮想現実提示システムあって、ユーザが仮想現実の世界を感知して行動する際に、当該ユーザの行動が現実の世界に対して与える影響をコントロールする構成とすることができる。
【０７０８】
また、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、上述した各実施形態を組み合わせることが可能である。
【０７０９】
また、上述した仮想現実提示システムにおいて、映像生成処理部は、ユーザが装着する仮想現実提示装置側に設けられていても良いし、仮想現実サービス提供サーバ側に設けられていても良い。この場合、仮想現実提示装置は、取得したユーザ状態情報や周囲状況情報を仮想現実サービス提供サーバ側へ通信部より無線送信し、仮想現実サービス提供サーバで生成された仮想現実オブジェクトの映像の符号化データを当該通信部で無線受信する構成となる。仮想現実提示装置において、映像表示制御部は通信部で無線受信された上記仮想現実オブジェクトの映像符号化データに対して復号処理を行い、復号後の映像を表示パネルに表示する。
【０７１０】
また、上述した仮想現実提示システムにおいて、注意喚起制御部や仮想現実提示中断制御部は仮想現実提示装置内に組み込まれていても良いし、仮想現実サービス提供サーバ側に配置されていても良い。この場合、仮想現実提示装置の通信部より無線送信されたユーザ状態情報や周囲状況情報に基づいて仮想現実の提示の中断を行うかどうかの判定処理や、注意喚起を行うかどうかの判定処理を仮想現実サービス提供サーバ側で実行する。
【０７１１】
また、上記説明では、映像を表示する表示パネルとしてＬＣＤ（Liquid Crystal Display）を用いる場合について説明したが、これに限定されるものではない。例えば、ＯＥＬＤ（Organic Electro-Luminescence Display）を用いても良いし、その他の映像表示ディスプレイを用いることができる。
【０７１２】
また、仮想現実提示装置には、ユーザの左目と右目の前方にそれぞれ配置される２つの表示パネルが設けられていることが好ましく、上述した視点制御部は当該ユーザの左目と右目にそれぞれ対応した視点の位置及び方向を制御し、映像生成処理部において、２つの表示パネルにそれぞれ表示する映像を生成する構成とすることが好ましい。
【０７１３】
また、上述した色空間はＹＵＶ系列であるものとして説明したが、ＲＧＢ系列やＣＭＹ系列やその他の色空間で制御等が行われていても良い。この場合、表示制御部等で行われる輝度の制御は、明度の制御やＲ成分の制御等で代用されることも当然可能である。
【０７１４】
また、上述した各部はハードウェアによって実現されていても良いし、ＣＰＵ（Central Processing Unit）等のプロセッサにプログラムを実行させることにより、ハードウェアとソフトウェアの協働で実現されていても良い。
【０７１５】
また、上述した仮想現実提示装置は、仮想現実以外の情報を表示するＨＭＤ装置としても利用することが可能である。
【０７１６】
なお、上述したユーザ状態検知部や周囲状況検知部は、ユーザが身に着ける仮想現実提示装置に配置されているものに限定されるものではない。例えば、図８６に示すように、仮想現実の提示を受けたいユーザが仮想現実提示装置を身に着けた状態で仮想現実体験ドームに入り、仮想現実の提示を受ける構成とすることもできる。仮想現実体験ドームには、ユーザの状態を検知するセンサやユーザの周囲の状況を検知するセンサが複数設けられており、当該センサで検知された情報は、仮想現実サービス提供サーバへ送られる。
【０７１７】
また、仮想現実提示装置は、頭部に装着するＨＭＤ装置と、頭部以外の上半身に装着する制御処理装置とが接続ケーブルで接続される構成とすることができる。頭部に装着するＨＭＤ装置側にはできるだけ少ない機能のみを搭載し、バッテリーやＣＰＵ等は制御処理装置側に配置する。制御処理装置は、腰に巻きつけるように装着する構成としても良いし、肩から背負う構成としても良い。当該構成とすることで、ユーザに疲労感を感じさせることなく長時間の仮想現実の世界の堪能が可能となる。但し、バッテリー技術の進歩又は半導体集積技術の進歩により、長時間使用可能な小型バッテリーをＨＭＤ装置に搭載可能であれば、ＨＭＤ装置に当該小型バッテリーを搭載する形態の方が、装着性が高まるため好ましい。
【０７１８】
また、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、上述した各実施形態を組み合わせることが可能である。
【０７１９】
また、上記説明では、少なくともユーザの目の前方に配置される表示部（表示パネル）に仮想現実オブジェクトの映像を表示することで仮想現実を提示する場合について説明したがこれに限定されるものではない。例えば、位置分解能を有する磁場発生装置をユーザの脳に照射することで、脳内の特定の領域を刺激してユーザが眼球を通じることなく映像を視ることができる構成としても良い。但し、この場合、少なくとも脳内の現在の神経ネットワークの結合構成等を予め把握しておく必要がある。しかしながら、究極的には、仮想現実提示装置はユーザの脳に直接刺激を与える構成に到達するものと考えられる。
【０７２０】
また、上述した周囲状況検知部としては、音響ソナーや超音波センサを用いることも可能である。また、周囲状況検知部は、他人の現在位置を示す位置情報を取得することで、ユーザの周囲の状況として、ユーザの周囲にいている人間の存在を検知する構成としても良い。他人の位置情報は、例えば当該他人が所有している携帯端末で取得される位置情報を入手する構成としても良い。その他、車に取り付けられた電磁波発生装置から放射される電磁波に基づいて周囲を走っている車の存在を検知しても良い。
【０７２１】
また、上述した仮想現実提示装置は、仮想現実以外の情報を表示するＨＭＤ装置としても利用することが可能である。
【０７２２】
また、本発明は以下の形態を取ることが可能である。
（付記１）（システム基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶手段と、
前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出す仮想現実オブジェクト読み出し手段と、
ユーザの周囲の状況を示す周囲状況情報に基づいて、仮想現実空間における前記仮想現実オブジェクトの配置位置を決定する仮想現実オブジェクト配置位置決定手段と、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成手段と、
を備える仮想現実サービス提供システム。
（付記２）（システム基本設計）
前記ヘッドマウントディスプレイ装置より前記周囲状況情報と前記ユーザ状態情報を受信する受信手段と、
前記表示映像生成手段で生成された映像を符号化する映像符号化手段と、
前記符号化された映像を前記ヘッドマウントディスプレイ装置へ送信する送信手段と、
を更に備える付記１に記載の仮想現実サービス提供システム。
（付記３）（視線カメラ）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置は、前方を撮影することで前方景色画像を取得する視線カメラを備えることを特徴とする、
付記１又は２に記載の仮想現実サービス提供システム。
（付記４）（周囲カメラ）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置は、前記視線カメラの撮影範囲外の方向を撮影することで周囲景色画像を取得する周囲カメラを備えることを特徴とする、
付記３に記載の仮想現実サービス提供システム。
（付記５）（傾きセンサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部の傾きを検知することで傾き情報を取得する傾きセンサを備えることを特徴とする、
付記１〜４のいずれか１項に記載の仮想現実サービス提供システム。
（付記６）（加速度センサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部の移動に伴う加速度を検知することで加速度情報を取得する加速度センサを備えることを特徴とする、
付記１〜５のいずれか１項に記載の仮想現実サービス提供システム。
（付記７）（方位センサ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの頭部が向いている方位を検知することで方位情報を取得する方位センサを備えることを特徴とする、
付記１〜６のいずれか１項に記載の仮想現実サービス提供システム。
（付記８）（位置情報：ＧＰＳ）
前記ユーザ状態情報として、前記ヘッドマウントディスプレイ装置は、ユーザの位置を検出することで位置情報を取得する位置情報取得部を備えることを特徴とする、
付記１〜７のいずれか１項に記載の仮想現実サービス提供システム。
（付記９）（ユーザ音声入力）
前記ヘッドマウントディスプレイ装置は、ユーザが発する音声を入力してユーザ音声情報を生成するユーザ音声入力部を備えることを特徴とする、
付記１〜８のいずれか１項に記載の仮想現実サービス提供システム。
（付記１０）（ユーザ音声入力）
前記ヘッドマウントディスプレイ装置は、ユーザの周囲の音声を入力して周囲音声情報を生成する周囲音声入力部を備えることを特徴とする、
付記１〜９のいずれか１項に記載の仮想現実サービス提供システム。
（付記１１）（仮想現実サービス提供開始）
前記ユーザに仮想現実サービスの提供を開始することを決定する仮想現実サービス開始決定手段を備え、
前記仮想現実サービス開始決定手段で仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザに提供する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする付記１〜１０のいずれか１項に記載の仮想現実サービス提供システム。
（付記１２）（ユーザからの要求に応じてサービス開始）
前記受信手段は、仮想現実サービスの提供開始を要求するサービス開始要求を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で前記サービス開始要求が受信された場合に、前記サービス開始要求の要求元ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１に記載の仮想現実サービス提供システム。
（付記１３）（音声で開始要求を入力）
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス開始決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの開始を要求するものである場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１に記載の仮想現実サービス提供システム。
（付記１４）（仮想現実サービス提供開始可否判定）
前記仮想現実サービスの提供を開始するための条件となるサービス提供開始条件を記憶するサービス提供開始条件記憶手段を備え、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供開始条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１１〜１３のいずれか１項に記載の仮想現実サービス提供システム。
（付記１５）（サービス開始可能位置）
前記サービス提供開始条件記憶手段は、前記仮想現実サービスの提供を開始するための条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス開始決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲内である場合に、前記ユーザに仮想現実サービスの提供を開始すると決定する、
付記１４に記載の仮想現実サービス提供システム。
（付記１６）（仮想現実サービス提供開始通知）
前記送信手段は、前記仮想現実サービス開始決定手段で前記ユーザに仮想現実サービスの提供を開始すると決定された場合に、前記仮想現実サービスの提供の開始を通知するサービス開始通知情報を前記ユーザのヘッドマウントディスプレイ装置へ送信する、
付記１１〜１５のいずれか１項に記載の仮想現実サービス提供システム。
（付記１７）（仮想現実サービス提供終了）
前記ユーザに提供中の仮想現実サービスを終了することを決定する仮想現実サービス終了決定手段を備え、
前記仮想現実サービス終了決定手段で仮想現実サービスの提供を終了すると決定された場合に、前記仮想現実オブジェクト読み出し手段は、前記ユーザが利用可能な仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶手段より読み出すことを特徴とする付記１〜１６のいずれか１項に記載の仮想現実サービス提供システム。
（付記１８）（仮想現実サービス提供終了通知）
前記送信手段は、前記仮想現実サービス終了決定手段で前記ユーザに提供中の仮想現実サービスの提供を終了すると決定された場合に、前記仮想現実サービスの提供の終了を通知するサービス終了通知情報を前記ユーザのヘッドマウントディスプレイ装置へ送信する、
付記１７に記載の仮想現実サービス提供システム。
（付記１９）（ユーザからの要求に応じてサービス終了）
前記受信手段は、仮想現実サービスの提供終了を要求するサービス終了要求を受信し、
前記仮想現実サービス終了決定手段は、前記受信手段で前記サービス終了要求が受信された場合に、前記サービス終了要求の要求元ユーザに提供中の仮想現実サービスの提供を終了すると決定する、
付記１７又は１８に記載の仮想現実サービス提供システム。
（付記２０）（音声で終了要求を入力）
前記受信手段は、ヘッドマウントディスプレイ装置で入力されたユーザの音声を含むユーザ音声情報を受信し、
前記ユーザ音声情報に含まれるユーザの音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実サービス終了決定手段は、前記コンテキスト取得手段で取得されたコンテキストが仮想現実サービスの終了を要求するものである場合に、前記ユーザに提供中の仮想現実サービスの提供を終了すると決定する、
付記１７〜１９のいずれか１項に記載の仮想現実サービス提供システム。
（付記２１）（仮想現実サービス提供終了可否判定）
前記ユーザに提供中の前記仮想現実サービスの提供を終了するための条件となるサービス提供終了条件を記憶するサービス提供終了条件記憶手段を備え、
前記仮想現実サービス終了決定手段は、前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供終了条件を満たしている場合に、前記ユーザに仮想現実サービスの提供を終了すると決定する、
付記１７〜２０のいずれか１項に記載の仮想現実サービス提供システム。
（付記２２）（サービス終了位置）
前記サービス提供終了条件記憶手段は、前記サービス提供終了条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス終了決定手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲外となった場合に、前記ユーザに仮想現実サービスの提供を終了すると決定する、
付記２１に記載の仮想現実サービス提供システム。
（付記２３）（仮想現実サービス提供中断）
前記ユーザに提供中の前記仮想現実サービスの提供を中断するための条件となるサービス提供中断条件を記憶するサービス提供中断条件記憶手段と、
前記受信手段で受信された周囲状況情報が示すユーザの周囲の状況が前記サービス提供中断条件を満たしている場合に、前記ユーザに提供中の仮想現実サービスの提供を中断する処理を行うサービス提供中断処理手段と、
を備える付記１〜２２のいずれか１項に記載の仮想現実サービス提供システム。
（付記２４）（映像生成中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段に前記映像の生成の中断を指示する映像生成中断指示情報を生成し、
前記表示映像生成手段は、前記映像生成中断指示情報に基づいて、前記映像の生成を中断する、
付記２３に記載の仮想現実サービス提供システム。
（付記２５）（映像送信中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段で生成された前記映像の送信中断を指示する映像送信中断指示情報を生成し、
前記送信手段は、前記映像送信中断指示情報に基づいて、前記表示映像生成手段が生成した前記映像を前記ヘッドマウントディスプレイ装置へ送信することを中断する、
付記２３に記載の仮想現実サービス提供システム。
（付記２６）（仮想現実サービス提供中断指示）
前記サービス提供中断処理手段は、前記表示映像生成手段で生成された前記映像の表示の中断を指示する映像表示中断指示情報を生成し、
前記送信手段は、前記サービス提供中断処理手段で生成された前記映像表示中断指示情報を前記ヘッドマウントディスプレイ装置へ送信する、
付記２３に記載の仮想現実サービス提供システム。
（付記２７）（位置による中断）
前記サービス提供中断条件記憶手段は、前記サービス提供中断条件として、前記仮想現実サービスの提供を受けることができる位置範囲を示すサービス利用可能位置範囲を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの現在の位置を示す位置情報を受信し、
前記仮想現実サービス中断処理手段は、前記受信手段で受信された周囲状況情報である前記位置情報が示すユーザの現在位置が前記サービス利用可能位置範囲外となった場合に、前記ユーザに仮想現実サービスの提供を中断する処理を行う、
付記２３〜付記２６のいずれか１項に記載の仮想現実サービス提供システム。
（付記２８）（物体接近による中断）
前記サービス提供中断条件記憶手段は、前記サービス提供中断条件として、ユーザに接近する物体の速度と距離に関する条件を記憶し、
前記受信手段は、前記周囲状況情報として、少なくとも前記ユーザの周囲の景色を撮影した周囲景色画像を受信し、
前記サービス提供中断処理手段は、前記周囲景色画像に含まれる物体のユーザに対する速度とユーザまでの距離とが、それぞれ前記サービス提供中断条件として記憶されている前記速度よりも早く、前記距離よりも近い場合に、前記ユーザに提供中の仮想現実サービスの提供を中断する処理を行う、
付記２３〜２６のいずれか１項に記載の仮想現実サービス提供システム。
（付記２９）（動的仮想現実オブジェクト）
仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する仮想現実オブジェクト制御手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記仮想現実オブジェクト制御手段によって挙動が制御される前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜２７のいずれか１項に記載の仮想現実サービス提供システム。
（付記３０）（周囲状況による挙動制御）
前記仮想現実オブジェクト制御手段は、前記周囲状況情報に基づいて前記仮想現実オブジェクトの挙動を制御する、
付記２９に記載の仮想現実サービス提供システム。
（付記３１）（音声による挙動制御）
前記受信手段は、ヘッドマウントディスプレイ装置で入力された音声を含む音声情報を受信し、
前記音声情報に含まれる音声を解析してコンテキストを取得するコンテキスト取得手段を更に備え、
前記仮想現実オブジェクト制御手段は、前記コンテキスト取得手段で取得されたコンテキストに基づいて、前記仮想現実空間に配置されている前記仮想現実オブジェクトの挙動を制御する、
付記２９に記載の仮想現実サービス提供システム。
（付記３２）（照度による光学補正）
ユーザの周囲の明るさを示す周囲照度情報に基づいて前記仮想現実空間に配置された前記仮想現実オブジェクトの明るさを補正する光学補正手段を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記光学補正手段によって明るさの補正が行われた前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜３１のいずれか１項に記載の仮想現実サービス提供システム。
（付記３３）（配置位置における照度による光学補正）
前記周囲状況情報として、前記ヘッドマウントディスプレイ装置で撮影されたユーザの周囲の景色の画像に基づいて、前記仮想現実オブジェクトが配置されている仮想現実空間の位置に対応する位置における光照射状況を特定する光照射状況特定手段と、
前記特定された前記光照射状況に基づいて、仮想現実空間に配置された前記仮想現実オブジェクトの明るさを補正する光学補正手段と、
を備え、
前記表示映像生成手段は、前記ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて決定される表示位置に、前記光学補正手段によって明るさの補正が行われた前記仮想現実オブジェクトが表示される映像を生成する、
付記１〜３１のいずれか１項に記載の仮想現実サービス提供システム。
（付記３４）（仮想現実オブジェクトの音声合成）
前記仮想現実オブジェクトに対応付けられた複数の音声要素データを記憶する音声要素記憶手段と、
前記周囲状況情報又はヘッドマウントディスプレイ装置で入力された音声情報に基づいて、前記仮想現実オブジェクトが発する音声の内容を決定する音声決定手段と、
前記決定された音声の内容に従って前記音声要素データを結合することで、前記仮想現実オブジェクトから発せられる音声を生成する音声生成手段と、
を備える付記１〜３３のいずれか１項に記載の仮想現実サービス提供システム。
（付記３５）（音声再生仮想現実オブジェクト）
仮想現実空間における前記仮想現実オブジェクトの配置位置に基づいて、前記生成された音声を、前記ヘッドマウントディスプレイ装置のスピーカから出力される複数のチャンネルの音声に変換する音声変換手段と、
を備える付記３４に記載の仮想現実サービス提供システム。
（付記３６）（方法基本設計）
複数の仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶データベースと、ユーザが利用可能な仮想現実サービスを示す情報を記憶する利用可能仮想現実サービス情報記憶データベースと、を備える仮想現実サービス提供システムで用いられる仮想現実サービス提供方法であって、
前記利用可能仮想現実サービス情報記憶データベースに記憶される前記ユーザが利用可能な仮想現実サービスを示す情報に基づいて、前記ユーザが利用する仮想現実サービスに用いる仮想現実オブジェクトを前記仮想現実オブジェクト記憶データベースより読み出す仮想現実オブジェクト読み出しステップと、
ユーザの周囲の状況を示す周囲状況情報に基づいて、前記読み出した仮想現実オブジェクトの仮想現実空間における配置位置を決定する仮想現実オブジェクト配置位置決定ステップと、
ユーザの状態を示すユーザ状態情報と前記仮想現実オブジェクトの配置位置とに基づいて、ユーザが頭部に装着するヘッドマウントディスプレイ装置の表示パネルに表示される映像を生成する表示映像生成ステップと、を備える仮想現実サービス提供方法。
（付記１０１）（システム基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
仮想現実の提示を行う仮想現実提示手段と、
前記検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う仮想現実提示中断制御手段と、
を備える仮想現実提示システム。
（付記１０２）（システム基本設計）
仮想現実の提示を中断する条件である中断条件を記憶する中断条件記憶手段を更に備え、
前記仮想現実提示中断制御手段は、
前記検知されたユーザの周囲の状況が前記中断条件を満たしているかを判定する仮想現実提示中断判定手段と、
前記判定結果に基づいて、前記仮想現実提示手段に前記仮想現実の提示を中断させる指示を出す仮想現実提示中断指示手段と、
を備え、
前記仮想現実提示手段は、前記指示を受けた場合に仮想現実の提示を中断する、
付記１０１に記載の仮想現実提示システム。
（付記１０３）（仮想現実オブジェクト）
仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段を更に備え、
前記仮想現実提示手段は、前記仮想現実オブジェクトの映像を表示することで仮想現実の提示を行う、
付記１０１又は１０２に記載の仮想現実提示システム。
（付記１０４）（レンダリング映像生成）
ユーザの状態を検知するユーザ状態検知手段と、
前記仮想現実オブジェクト記憶手段に記憶されている仮想現実オブジェクトを読み出して仮想空間に配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態検知手段で求められるユーザの状態に基づいて求められる視点位置及び視線方向に基づいて、仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実オブジェクトの２次元映像を生成する映像生成処理手段と、
を備え、
前記仮想現実提示手段は、前記生成された映像を表示することで仮想現実の提示を行う、
付記１０３に記載の仮想現実提示システム。
（付記１０５）（中断映像）
仮想現実の提示を中断することを示す中断映像データを記憶する中断映像データ記憶手段を更に備え、
前記仮想現実提示中断手段は、前記仮想現実提示手段に前記中断映像データを表示させる指示を行うことで仮想現実の提示を中断する制御を行う、
付記１０３又は１０４に記載の仮想現実提示システム。
（付記１０６）（音声）
前記仮想現実オブジェクトと関連付けされた音声データを記憶する音声データ記憶手段を更に備え、
前記仮想現実提示手段は、前記音声データを再生することで仮想現実の提示を行う、
付記１０１〜１０５のいずれか１項に記載の仮想現実提示システム。
（付記１０７）（中断音声）
仮想現実の提示を中断することを示す中断音声データを記憶する中断映像データ記憶手段を更に備え、
前記仮想現実提示中断手段は、前記仮想現実提示手段に前記中断音声データを再生させる指示を行うことで仮想現実の提示を中断する制御を行う、
付記１０６に記載の仮想現実提示システム。
（付記１０８）（物体移動速度）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
前記周囲画像に写っている物体の移動速度を算出する物体移動速度算出手段と、
を更に備え、
前記仮想現実提示中断制御手段は、
前記物体の移動速度が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記１０１〜１０７のいずれか１項に記載の仮想現実提示システム。
（付記１０９）（物体相対移動速度）
前記物体移動速度算出手段は、前記物体のユーザ方向の移動速度成分を算出し、
前記仮想現実提示中断制御手段は、
前記物体のユーザ方向の移動速度成分が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記１０８に記載の仮想現実提示システム。
（付記１１０）（物体移動速度）
前記周囲画像に写っている物体までの距離を算出する物体距離算出手段を更に備え、
前記仮想現実提示中断制御手段は、所定の距離以内にある物体の移動速度又はユーザの方向の移動速度成分が所定の基準速度を超えている場合に、仮想現実の提示を中断する制御を行う、
付記１０９に記載の仮想現実提示システム。
（付記１１１）（衝突時間）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
前記周囲画像に写っている物体までの距離を算出する物体距離算出手段と、
前記物体までの距離の変化に基づいて前記物体の移動速度を算出する物体移動速度算出手段と、
前記物体までの距離と前記物体の移動速度とに基づいて、ユーザ位置までの到達時間を推定する到達時間推定手段と、
を更に備え、
前記仮想現実提示中断制御手段は、
前記到達時間が所定の時間以内である場合に、仮想現実の提示を中断する制御を行う、
付記１０１〜１０７のいずれか１項に記載の仮想現実提示システム。
（付記１１２）（進行方向障害）
前記周囲状況検知手段は、少なくともユーザの周囲を撮影して周囲画像を取得する複数の周囲撮影手段を備え、
ユーザの移動を検知するユーザ移動検知手段と、
前記周囲画像に基づいて、ユーザの移動方向に障害が存在するかを判定する障害判定手段を更に備え、
前記仮想現実提示中断制御手段は、前記ユーザの移動方向に障害が存在すると判定された場合に仮想現実の提示を中断する制御を行う、
付記１０１〜１０７のいずれか１項に記載の仮想現実提示システム。
（付記１１３）（進行方向障害）
ユーザの移動速度を算出するユーザ移動速度算出手段と、
前記ユーザの移動方向に存在する物体又は段差までの距離を算出する物体・段差距離算出手段と、
を更に備え、
前記障害判定手段は、前記ユーザの移動速度と、前記ユーザの移動方向に存在する物体又は段差までの距離と、に基づいて前記ユーザの移動方向に障害が存在するかを判定する、
付記１１２に記載の仮想現実提示システム。
（付記１１４）（進行方向障害）
前記障害判定手段は、前記ユーザの移動方向に存在する物体又は段差までの距離を前記移動速度で除算した値が所定の基準値以下である場合に、ユーザの移動方向に障害が存在すると判定する、
付記１１３に記載の仮想現実提示システム。
（付記１１５）（方法基本設計）
ユーザの周囲の状況を検知する周囲状況検知ステップと、
仮想現実の提示を行う仮想現実提示ステップと、
前記検知されたユーザの周囲の状況に基づいて、仮想現実の提示を中断する制御を行う仮想現実提示中断制御ステップと、
を備える仮想現実提示方法。
（付記１１６）（システム基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて、仮想現実オブジェクトの映像を生成する映像生成手段と、
前記生成された映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示システム。
（付記１１７）（注意喚起判定）
注意喚起を行う条件である注意喚起条件を記憶する注意喚起条件記憶手段を更に備え、
前記注意喚起手段は、
前記検知されたユーザの周囲の状況が前記注意喚起条件を満たしているかを判定する注意喚起判定手段と、
前記判定結果に基づいて、前記映像表示手段に注意喚起用の映像を表示させる制御又は前記音声出力手段に注意喚起用の音声を出力させる指示を行う注意喚起指示手段と、
を備える付記１０１に記載の仮想現実提示システム。
（付記１１８）（注意喚起判定）
前記注意喚起条件記憶手段は、複数の注意喚起条件を記憶し、
前記注意喚起判定手段は、前記検知されたユーザの周囲の状況が前記複数の注意喚起条件のいずれかを満たしているかを判定し、
前記注意喚起指示手段は、前記注意喚起条件を満たしたと判定された場合に、前記注意喚起条件に対応付けられている注意喚起用の映像を前記表示手段に表示させる指示又は前記注意喚起条件に対応付けられている注意喚起用の音声を前記音声出力手段に出力させる指示を行う、
付記１１７に記載の仮想現実提示システム。
（付記１１９）（注意喚起判定）
前記注意喚起指示手段は、前記判定結果に基づいて、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる指示を行う、
付記１１７に記載の仮想現実提示システム。
（付記２０）（注意喚起判定）
前記仮想現実オブジェクトに関連付けされた注意喚起用の音声データと、前記仮想現実オブジェクトに関連付けされていない注意喚起用の音声データとを記憶する注意喚起データ記憶手段を備え、
前記注意喚起制御手段は、前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データが前記注意喚起データ記憶手段に記憶されている場合は、前記前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データを読み出して、前記音声出力手段に、前記仮想現実オブジェクトに関連付けされた注意喚起用の音声を出力させる制御を行い、前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データが前記注意喚起データ記憶手段に記憶されていない場合は、前記前記映像生成手段が生成している映像の仮想現実オブジェクトに関連付けられた注意喚起用の音声データを読み出して前記音声出力手段に、前記仮想現実オブジェクトに関連付けされていない注意喚起用の音声を出力させる制御を行う、
付記１１８に記載の仮想現実提示システム。
（付記１２１）（注意喚起判定）
前記注意喚起手段は、映像生成手段で生成される仮想現実オブジェクトの映像の輝度又は明度を下げる補正を行うことで前記注意喚起を行う、
付記１１６〜１１９にいずれか１項に記載の仮想現実システム。
（付記１２２）（装置基本設計）
ユーザの周囲の状況を検知する周囲状況検知手段と、
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて生成される仮想現実オブジェクトの映像を表示する映像表示手段と、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力手段と、
前記検知されたユーザの周囲の状況に基づいて、前記映像表示手段又は前記音声出力手段を用いて前記ユーザに注意喚起を行う注意喚起手段と、
を備える仮想現実提示装置。
（付記１２３）（装置基本設計）
前記ユーザの状態を示すユーザ状態情報と前記ユーザの周囲の状況を示す周囲状況情報とを送信する送信手段と、
前記送信されたユーザ状態情報と周囲状況情報とに基づいて生成された前記仮想現実オブジェクトの映像符号化データを受信する受信手段と、
を更に備え、
前記映像表示手段は、前記受信手段で受信された映像符号化データを復号してる仮想現実オブジェクトの映像を表示する、
付記１１６に記載の仮想現実提示装置。
（付記１２４）（注意喚起判定）
ユーザの周囲の状況を検知する周囲状況検知ステップと、
ユーザの状態を検知するユーザ状態検知ステップと、
前記ユーザの状態に基づいて仮想現実オブジェクトの映像を生成する映像生成ステップと、
前記生成された映像を表示する映像表示ステップと、
前記仮想現実オブジェクトと関連付けられた音声を出力する音声出力ステップと、
前記検知されたユーザの周囲の状況に基づいて、注意喚起を行う注意喚起ステップと、
を備える仮想現実提示方法。
【産業上の利用可能性】
【０７２３】
本発明は、クリエイティビティーの高い仮想現実の世界の提供などに幅広く利用可能である。
【符号の説明】
【０７２４】
１００  仮想現実提示装置               １１０  ユーザ状態検知部
１１１  傾きセンサ                     １１２  加速度センサ
１１３  現在位置検出部                 １１４  脳波センサ
１２０  周囲状況検知部
１２１  視線カメラ                     １２１−１  レンズ群
１２１−２  絞り機構                   １２１−３  固体撮像素子
１２２  周囲カメラ                     １２３  気温センサ
１３０  通信部                         １３１  無線送信部
１３２  無線受信部                     １４０  表示制御部
１４１  映像復号処理部                 １４２  映像合成処理部
１４３  視界映像生成処理部             １４４  境界特定処理部
１５０  表示部                         １５１ａ  ライト表示パネル
１５１ｂ  レフト表示パネル              １５２  光源
１５３  導光板                         １５４  ＬＣＤ
１５５ａ  レンズ群                     １５５ｂ  ＰＬＣ
１５５ｃ  第１反射ミラー               １５５ｄ  Ｒ反射ダイクロイックミラー
１５５ｅ  Ｇ反射ダイクロイックミラー   １５５ｆ  第２反射ミラー
１５５ｇ  第３反射ミラー               １５５ｈ  第１液晶パネル
１５５ｊ  クロスダイクロプリズム       １５５ｋ  第４反射ミラー
１５５ｍ  第２液晶パネル               １５５ｎ  第３液晶パネル
１５５ｐ  ガルバノミラー               １５５ｑ  照射窓
２００  仮想現実提示装置               ２６０  仮想現実提示制御部
２６１  仮想現実提示中断・注意喚起判定処理部
２６２  仮想現実提示中断・注意喚起制御処理部
３００  ＨＭＤ装置（仮想現実提示装置） ３０１ａ  ライトフレーム
３０１ｂ  レフトフレーム               ３０１ｃ  センターフレーム
３０２  フロントパネル                 ３７０  音声入力部
３７１  ユーザマイクロフォン           ３７２  周囲マイクロフォン
３８０  音声再生制御部                 ３９０  音声出力部
３９１ａ  ライトスピーカ               ３９１ｂ  レフトスピーカ
４１０  ユーザ状態検知部               ４２０  仮想現実コンテンツ記憶部
４３０  視点制御部                     ４４０  描画処理部
４５０  表示部                         ５１０  周囲状況検知部
５２０  光源制御部                     ６１０  物体位置特定部
７１０  仮想現実管理部                 ７２０  仮想空間設定部
７３０  仮想現実オブジェクト配置部     ７４０  仮想現実オブジェクト挙動制御部
８００  仮想現実提示装置
８１０  中断・注意喚起条件設定部       ８２０  中断・注意喚起条件記憶部
８３０  中断・注意喚起用コンテンツ記憶部
１０００  仮想現実サービス提供システム
１１００  利用可能仮想現実サービス情報記憶ＤＢ
１２００  仮想現実オブジェクト記憶ＤＢ
１３００  仮想現実サービス提供サーバ
１３１０  通信部                       １３１１  受信部
１３１２  送信部                       １３２０  仮想現実サービス提供管理部
１３２１  仮想現実サービス提供開始処理部
１３２２  仮想現実サービス提供終了処理部
１３２３  仮想現実サービス提供中断処理部
１３２４  仮想現実提示中断・注意喚起判定処理部
１３２５  仮想現実提示中断・注意喚起指示部
１３３０  仮想現実オブジェクト読み出し部
１３４０  仮想現実オブジェクト配置位置決定部
１３５０  表示映像生成処理部           １３５１  視点制御部
１３５２  光源制御部                   １３５３  描画処理部
１３５４  映像符号化処理部             
２０００  仮想現実サービス提供システム
２３００  仮想現実サービス提供サーバ
２３６０  画像解析処理部               ２３６１  物体位置特定部
２３６２  光学成分抽出部               ２３６３  移動速度算出部
２４００  仮想現実サービス利用条件記憶ＤＢ
３０００  仮想現実サービス提供システム
３１００  契約者情報記憶ＤＢ
３２００  仮想現実コンテンツ記憶ＤＢ
３３００  仮想現実サービス提供サーバ   
３３３０  仮想現実サービス制御部
３３７０  仮想現実オブジェクト挙動制御部
３３８０  音声解析処理部               ３３８１  音声レベル抽出部
３３８２  感情要素抽出部               ３３８３  コンテキスト取得部
３３９０  再生音声生成処理部           ３５００  セーブデータ記憶ＤＢ
３６００  中断・注意喚起条件記憶ＤＢ
４０００  仮想現実提示システム         ５０００  仮想現実提示システム
６０００  仮想現実提示システム         ７０００  仮想現実提示システム
１００００  仮想現実提示システム       １１０１０  周囲状況検知部
１１０２０  仮想現実提示部             １１０２１  映像生成処理部
１１０２１−１  視点制御部             １１０２１−２  描画処理部
１１０２１−３  光源制御部             １１０２２  映像表示部
１１０２２−１  映像表示制御部         １１０２２−１ａ  映像データ読み出し部
１１０２２−１ｂ  映像多重処理部        １１０２２−１ｃ  映像補正処理部
１１０２２−２  表示パネル
１１０２３  音声出力部                 １１０２３−１  音声再生制御部
１１０２３−１ａ  音声データ読み出し部
１１０２３−１ｂ  ＤＡ変換処理部       １１０２３−１ｃ  音声多重処理部
１１０２３−１ｄ  第１ＤＡ変換処理部   １１０２３−１ｅ  第１分配処理部
１１０２３−１ｆ  第１増幅処理部       １１０２３−１ｇ  第２ＤＡ変換処理部
１１０２３−１ｈ  第１分配処理部       １１０２３−１ｉ  第２増幅処理部
１１０２３−１ｊ  再生音声合成処理部   １１０２３−２  スピーカ
１１０３０  仮想現実提示中断制御部     １１０３１  仮想現実提示中断判定処理部
１１０３２  仮想現実提示中断指示部
１２０００  仮想現実提示システム       １２０１０  ユーザ状態検知部
１２０１１  傾きセンサ                 １２０１２  加速度センサ
１２０１３  ユーザ位置検出部           １２０１４  ユーザ移動速度検出部
１２０１５  ユーザ方位検出部
１２０２０  仮想現実オブジェクト記憶部 １２０３０  仮想現実オブジェクト配置部
１２０４０  中断用映像データ記憶部     
１２０５０  仮想現実提示用音声データ記憶部
１２０６０  中断用音声データ記憶部     １２０７０  中断用映像データ選択処理部
１２０８０  中断用音声データ選択処理部
１３０００  仮想現実提示システム       １３０１０  仮想現実提示中断条件記憶部
１３０２０  画像解析処理部             １３０２１  物体距離算出部
１３０２２  物体移動速度算出部         １３０２３  物体特定部
１３０２４  物体種類特定部             １３０２５  物体位置特定部
１３０２６  ユーザ移動速度算出部       １３０３０  音声入力部
１３０４０  ユーザ行動特定部           １３０５０  仮想現実管理制御部
１４０００  仮想現実提示システム       １４０１０  注意喚起制御部
１４０１１  注意喚起判定処理部         １４０１２  注意喚起指示部
１５０００  仮想現実提示システム       １５０１０  注意喚起条件記憶部
１６０００  仮想現実提示システム       １６０１０  仮想現実コンテンツ記憶部
１６０２０  仮想現実オブジェクト挙動制御部
１７０００  仮想現実提示システム               １７０１０  仮想現実度管理部
１７０１１  提示可能仮想現実度算出処理部
１７０１２  提示予定仮想現実度算出処理部
１７０１３  提示可能仮想現実度分配処理部
１７０１４  仮想現実度削減割合指示部（割り当て仮想現実度通知部）
１８０００  仮想現実提示システム
１８１００  仮想現実提示装置
１８２００  仮想現実サービス提供サーバ １８３００  契約者情報記憶データベース
１８４００  仮想現実コンテンツ記憶データベース
【図１７】
2016045814.tif 000003
【図３７】
2016045814.tif 000004
【図３８】
2016045814.tif 000005
【図３９】
2016045814.tif 000006
【図４０】
2016045814.tif 000007
【図４１】
2016045814.tif 000008
【図４２】
2016045814.tif 000009
【図４３】
2016045814.tif 000010
【図４４】
2016045814.tif 000011
【図４５】
2016045814.tif 000012
【図４６】
2016045814.tif 000013
【図５０】
2016045814.tif 000014
【図５１】
2016045814.tif 000015
【図５２】
2016045814.tif 000016
【図５３】
2016045814.tif 000017
【図５４】
2016045814.tif 000018
【図５５】
2016045814.tif 000019
【図５６】
2016045814.tif 000020
【図５７】
2016045814.tif 000021
【図５８】
2016045814.tif 000022
【図５９】
2016045814.tif 000023
【図６０】
2016045814.tif 000024
【図６１】
2016045814.tif 000025
【図６３】
2016045814.tif 000026
【図６４】
2016045814.tif 000027
【図６５】
2016045814.tif 000028
【図６６】
2016045814.tif 000029
【図６７】
2016045814.tif 000030
【図６８】
2016045814.tif 000031
【図６９】
2016045814.tif 000032
【図７０】
2016045814.tif 000033
【図７１】
2016045814.tif 000034
【図７２】
2016045814.tif 000035
【図７３】
2016045814.tif 000036
【図７４】
2016045814.tif 000037
【図７５】
2016045814.tif 000038
【図７６】
2016045814.tif 000039
【図７８】
2016045814.tif 000040
【図７９】
2016045814.tif 000041
【図８０】
2016045814.tif 000042
【図８３】
2016045814.tif 000043
【図８５】
2016045814.tif 000044
【図１】
2016045814.tif 000045
【図２】
2016045814.tif 000046
【図３】
2016045814.tif 000047
【図４】
2016045814.tif 000048
【図５】
2016045814.tif 000049
【図６】
2016045814.tif 000050
【図７】
2016045814.tif 000051
【図８】
2016045814.tif 000052
【図９】
2016045814.tif 000053
【図１０】
2016045814.tif 000054
【図１１】
2016045814.tif 000055
【図１２】
2016045814.tif 000056
【図１３】
2016045814.tif 000057
【図１４】
2016045814.tif 000058
【図１５】
2016045814.tif 000059
【図１６】
2016045814.tif 000060
【図１８】
2016045814.tif 000061
【図１９】
2016045814.tif 000062
【図２０】
2016045814.tif 000063
【図２１】
2016045814.tif 000064
【図２２】
2016045814.tif 000065
【図２３】
2016045814.tif 000066
【図２４】
2016045814.tif 000067
【図２５】
2016045814.tif 000068
【図２６】
2016045814.tif 000069
【図２７】
2016045814.tif 000070
【図２８】
2016045814.tif 000071
【図２９】
2016045814.tif 000072
【図３０】
2016045814.tif 000073
【図３１】
2016045814.tif 000074
【図３２】
2016045814.tif 000075
【図３３】
2016045814.tif 000076
【図３４】
2016045814.tif 000077
【図３５】
2016045814.tif 000078
【図３６】
2016045814.tif 000079
【図４７】
2016045814.tif 000080
【図４８】
2016045814.tif 000081
【図４９】
2016045814.tif 000082
【図６２】
2016045814.tif 000083
【図７７】
2016045814.tif 000084
【図８１】
2016045814.tif 000085
【図８２】
2016045814.tif 000086
【図８４】
2016045814.tif 000087
【図８６】
2016045814.tif 000088