(57)【要約】【課題】仮想現実の世界を現実の世界であるとユーザが錯覚して仮想現実の世界に入り込めることを可能とする仮想現実提示システムが求められていた。【解決手段】本発明の仮想現実提示システムは、ユーザの状態を検知するユーザ状態検知手段と、当該ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、生成された仮想現実提示用の映像を表示する映像表示手段と、ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、基準を満たしていると判定された場合に、映像表示手段に仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、を備える。【選択図】図１
2014182597.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、
前記生成された仮想現実提示用の映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、
を備える仮想現実提示システム。
【請求項２】
仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
前記仮想空間を設定する仮想空間設定手段と、
前記仮想現実オブジェクト記憶手段より前記仮想現実オブジェクトを読み出して前記設定された仮想空間に配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて、前記設定された仮想空間における視点の位置座標と視線方向とを更新する視点制御手段と、
を更に備え、
前記映像生成手段は、前記視点制御手段で更新される前記視点の位置座標と視線方向とのに基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実提示用の映像を生成する、
請求項１に記載の仮想現実提示システム。
【請求項３】
周囲の景色を撮影して周囲景色画像を取得する周囲撮影手段と、
前記周囲景色画像から所定の光学成分を抽出する光学成分抽出手段と、
前記抽出された光学成分に基づいて、前記仮想空間における光源の位置座標と光源の輝度又は照度を更新する光源制御手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記光源制御手段で更新される前記光源の位置座標と光源の輝度又は照度に基づいてシェーディング処理を行うことで前記仮想現実提示用の映像を生成する、
請求項２に記載の仮想現実提示システム。
【請求項４】
前記周囲景色画像に写る現実の世界における各物体をモデル化して現実オブジェクトを生成するモデリング処理手段と、
前記モデリング処理手段生成された現実オブジェクトを前記仮想空間に配置するモデルデータ配置手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記モデルデータ配置手段が配置する現実オブジェクトで前記仮想現実オブジェクト配置手段が配置する仮想現実オブジェクトを隠す陰面処理を行うことで、前記仮想現実提示用の映像を生成する、
請求項２又は３に記載の仮想現実提示システム。
【請求項５】
前記仮想現実オブジェクト配置手段は、複数の仮想現実オブジェクトを前記仮想空間の異なるレイヤーにそれぞれ配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記表示制御手段は、前記レイヤー別仮想現実提示用映像を合成し、合成後の映像を前記表示手段に表示する制御を行う、
請求項４に記載の仮想現実提示システム。
【請求項６】
前記仮想現実オブジェクト配置手段は、新たに配置する仮想現実オブジェクトを、新たな仮想空間のレイヤーに配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記判定手段は、前記新たな仮想現実オブジェクトの映像の表示を開始するかを判定し、
前記表示手段は、前記判定手段で前記新たな仮想現実オブジェクトの映像の表示を開始すると判定された場合に、前記新たな仮想現実オブジェクトが配置されているレイヤーのレイヤー別仮想現実提示用映像を他のレイヤー別仮想現実提示用映像と合成し、合成後の映像を前記表示手段に表示する制御を行う、
請求項５に記載の仮想現実提示システム。
【請求項７】
ユーザの状態を検知するユーザ状態検知手段と、
映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
を備える仮想現実提示装置。
【請求項８】
前記ユーザ状態検知手段は、ユーザの顔の一部又は全部を撮影することでユーザの顔の状態を検知し、
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザの目が所定の時間閉じているかを判定し、
前記表示制御手段は、ユーザの目が所定の時間閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
請求項７に記載の仮想現実感提示装置。
【請求項９】
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、
前記表示制御手段は、ユーザが深く目を閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
請求項８に記載の仮想現実感提示装置。
【請求項１０】
前記ユーザ状態検知手段は、ユーザの脳波を更に検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザの脳波の値が所定の基準を満たしているかを判定し、
前記表示制御手段は、ユーザの脳波の値が所定の基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
請求項７乃至９のいずれか１項に記載の仮想現実感提示装置。
【請求項１１】
前記ユーザ状態検知手段は、ユーザが向いている方向を検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザが向いている方向が、所定の基準角度以上変化したかを判定し、
前記表示制御手段は、ユーザが向いている方向が、所定の基準角度以上変化したと判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
請求項７乃至１０のいずれか１項に記載の仮想現実感提示装置。
【請求項１２】
前記ユーザ状態検知手段で検知されたユーザの状態を示す情報を送信する送信手段と、
前記所定の基準を示す情報と前記仮想現実提示用の映像とを受信する受信手段と、
前記受信された情報に基づいて、前記所定の基準を設定する設定手段を更に具備し、
前記判定手段は、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしているかを判定し、
前記表示制御手段は、前記判定手段において、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしていると判定された場合に、前記受信手段で受信された前記仮想現実提示用の映像を前記映像表示手段で表示する制御を行う、
請求項７乃至１１のいずれか１項に記載の仮想現実提示装置。
【請求項１３】
ユーザの状態を検知するユーザ状態検知ステップと、
前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、
前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、
前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、
前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、
を有する仮想現実提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想現実提示システム、仮想現実提示装置、仮想現実提示方法、仮想現実サービス提供システム、仮想現実サービス提供サーバ、仮想現実サービス提供方法、情報処理システム、情報処理サーバ、情報処理方法、情報処理プログラム、ヘッドマウントディスプレイ装置、に関する。
【背景技術】
【０００２】
近年、映像を表示するための装置として、テレビなど従来の据え置き型ディスプレイに加えて様々な電子デバイスが開発されており、携帯電話端末やタブレット端末、ヘッドマウントディスプレイ（ＨＭＤ：Human Mounted Display）と言った電子デバイスが既に開発されている。
【０００３】
先行文献１には、現実の風景にＣＧ（Computer Graphics）を重ねてＨＭＤで表示するための仮想現実提示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３３８１６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のディスプレイでは、ユーザが視聴したい映像コンテンツを選択してディスプレイに表示させる。例えば、テレビのチャンネルを選択して、当該チャンネルで放送されているコンテンツを表示させたり、マウスやタッチパネル等の操作入力装置を用いて、コンピュータに指示入力を行い、自らが使用を希望するアプリケーション画面をディスプレイに表示させたりする。
【０００６】
これらの従来型のディスプレイでは、ユーザからの入力操作を受けた後、短い時間内に指定されたコンテンツデータを読み出して画面に表示できることが、良好なレスポンスを有する良いディスプレイとされる。これは、従来のディスプレイが、ユーザが指定した映像コンテンツを表示する単なる表示装置であることを示している。
【０００７】
ＨＭＤ装置もディスプレイの一種であるが、仮想現実を提示する仮想現実提示装置として使用する場合には、単なる表示装置とは異なる機能が求められる。仮想現実提示装置として優れたデバイスであるかどうかの基準は、いかに素早く映像を表示できるかではなく、いかにユーザが感知する現実（リアル）と仮想現実（バーチャル）の境界をなくすことができるかである。すなわち、ユーザ自身が現在リアルの景色を見ているのか、仮想現実提示装置が提示するバーチャルな景色を見ているのかを判別できなけれはできない程、良いデバイスと言えることになる。
【０００８】
バーチャルな景色をリアルな景色として認識させる、別の表現ではバーチャルな景色をユーザにリアルな景色であると錯覚させるためには、第１に、ＨＭＤ装置に表示している映像の挙動が、現実の景色の挙動と一致している必要がある。ユーザの頭部が動くことで、背後の景色と表示されている映像との間の挙動に不一致が生じてしまうと、ユーザは、現在見えている風景の一部がバーチャルな映像であることを認識してしまうことになる。従って、ＨＭＤ装置は、ユーザの視線の動き等に連動して、映像表示領域に表示する映像を変化させる制御が必要となる。
【０００９】
しかしながら、バーチャルな映像をリアルな映像と認識させることに失敗する別の要因がある。それは、ＨＭＤ装置の映像表示領域に映像の表示することを開始するタイミングにおいて、実際にユーザが感知する景色がリアルからバーチャルに切り替わる不連続が生じることである。
【００１０】
図３９では、仮想現実提示装置によって仮想現実が提示されているユーザにおいて、仮想現実であることを認識しているレベルの推移を示している。図３９において、閾値Ｔｈ０を下回っている場合は、ユーザは現在見ている景色がバーチャルであることを認識しており、閾値Ｔｈ０を上回っている場合は、ユーザは現在見ている景色がリアルであると錯覚していることを示している。
【００１１】
図３９の上図は、ユーザが提示されている仮想現実を現実であると誤って認識している状態において、時刻Ｔ１でユーザは、バーチャルであると認識する事例を示している。例えば、時刻Ｔ１でユーザの頭部が大きく動いたことにより、映像表示領域に表示されている映像と背景の景色との整合性が崩れ、ユーザが今まで見ていた景色の一部又は全部がバーチャルであったと認識する。
【００１２】
一方、図３９の下図は、時刻Ｔ０のタイミングで仮想現実の提示を開始した場合におけるユーザのバーチャルの認識度合いを示している。図３９では、ユーザは時刻Ｔ０のタイミングで、表示領域に仮想現実用のオブジェクトの表示が開始されたことを明確に認識しており、現在見ている映像がリアルではなく、バーチャルであることを認識している。
【００１３】
このように、仮想現実の提示を開始する段階で、リアルからバーチャルへの不連続が生じ、ユーザは、バーチャルな映像を見せられていると認識してしまう。例えば、ＣＧの犬を景色に溶け込ませるように表示することで仮想現実を提示する場合に、いきなり視野内に犬が現れると、その不連続性、すなわち現実の自然界で物理的に起こりえない瞬間移動という事象による違和感がユーザにバーチャルであることを認識させてしまうことになる。
【００１４】
仮想現実の提示開始時点でユーザがバーチャルであると明確に認識してしまうと、時間が経過しても表示されているオブジェクトがバーチャルであると言う認識が払拭されず、ユーザは仮想現実世界に入り込むことができないと言う問題が生じる。
【００１５】
上記課題を鑑み、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に深く入り込むことを可能とする仮想現実提示装置、ＨＭＤ装置、仮想現実提示システム、仮想現実提示方法を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様である仮想現実提示システムは、ユーザの状態を検知するユーザ状態検知手段と、前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、前記生成された仮想現実提示用の映像を表示する映像表示手段と、前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、を備える。
【００１７】
また、本発明の別の一態様である仮想現実提示装置は、ユーザの状態を検知するユーザ状態検知手段と、映像を表示する映像表示手段と、前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、を備える。
【００１８】
また、本発明の別の一態様である仮想現実提示方法は、ユーザの状態を検知するユーザ状態検知ステップと、前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、を有する。
【発明の効果】
【００１９】
本発明によれば、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に深く入り込むことを可能とすることができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態１に係る仮想現実提示装置の構成を示すブロック図である。
【図２】実施形態１に係る仮想現実提示装置における処理の流れを示すフローチャート図である。
【図３】実施形態１に係る仮想現実提示装置における処理の詳細な流れを示すフローチャート図である。
【図４】実施の形態２に係る仮想現実提示システムの構成を示すブロック図である。
【図５】実施の形態２に係る仮想現実提示システムの別構成を示すブロック図である。
【図６】表示開始判定を行わない場合の仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。
【図７】表示開始判定を行う場合の仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。
【図８】ユーザが視界を変更していく場合に仮想現実提示装置で提示される映像とユーザが感知する景色との関係を説明する図である。
【図９】実施形態３に係る仮想現実提示装置の構成を示すブロック図である。
【図１０】仮想現実サービス提供開始通知情報の一例を示す図である。
【図１１】実施の形態３に係る仮想現実提示システムの構成を示すブロック図である。
【図１２】実施の形態４に係る仮想現実提示装置の構成を示すブロック図である。
【図１３】実施の形態４に係る仮想現実提示装置の斜め前方と斜め後方からの外観斜視図である。
【図１４】実施の形態４に係る仮想現実提示装置の表示パネル付近での断面図である。
【図１５】実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。
【図１６】実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。
【図１７】実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。
【図１８】実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。
【図１９】実施の形態４に係る仮想現実提示装置の変形例における表示パネル付近での断面図である。
【図２０】登録されたユーザに関する情報を管理するユーザ情報管理ファイルの別の一例である。
【図２１】実施の形態４に係る仮想現実提示システムの構成を示すブロック図である。
【図２２】実施の形態５に係る仮想現実提示装置の構成を示すブロック図である。
【図２３】実施の形態５に係る仮想現実提示システムの構成を示すブロック図である。
【図２４】仮想現実コンテンツの階層構造の一例である。
【図２５】仮想現実制御プログラムの階層構造の一例である。
【図２６】実施の形態６に係る仮想現実提示システムの構成を示すブロック図である。
【図２７】実施の形態６に係る仮想現実提示システムの別構成を示すブロック図である。
【図２８】実施の形態６に係る仮想現実提示システムの別構成を示すブロック図である。
【図２９】仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示す図である。
【図３０】実施の形態７に係る仮想現実提示システムの構成を示すブロック図である。
【図３１】実施の形態７に係る仮想現実提示装置の構成を示すブロック図である。
【図３２】仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示す図である。
【図３３】実施の形態７に係る仮想現実提示システムの別構成を示すブロック図である。
【図３４】実施の形態７に係る仮想現実提示装置の別構成を示すブロック図である。
【図３５】仮想空間のレイヤーと仮想現実オブジェクトの関連付けを管理する管理ファイルの一例である。
【図３６】実施の形態８に係る仮想現実提示装置の構成を示すブロック図である。
【図３７】実施の形態８に係る仮想現実提示システムの構成を示すブロック図である。
【図３８】実施の形態９に係る仮想現実提示装置の構成を示すブロック図である。
【図３９】錯覚度の時間推移を説明する図である。
【発明を実施するための形態】
【００２１】
以下、本発明の各実施の形態について図面を参照して詳細に説明する。以下の説明において同一の符号が付された部分は実質的に同一の機能を有している。また、発明の明確化のため重複部分は適宜説明が省略されている。
【００２２】
＜実施形態１＞
図１は本発明の実施形態１に係る仮想現実提示装置１００の構成を示すブロック図である。仮想現実提示装置１００は、ユーザ状態検知部１１０と、表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、を備える。
【００２３】
ユーザ状態検知部１１０は、当該仮想現実提示装置１００を使用しているユーザの状態を検知する。ユーザ状態検知部１１０は、例えばユーザの移動を検知するために、当該仮想現実提示装置１００に取り付けられる加速度センサや、ユーザの表情を撮影する内部カメラ、その他ユーザの傾きを検知する傾きセンサ、ユーザの位置を検出するＧＰＳ受信機などである。ユーザ状態検知部１１０は、検知結果をユーザの状態を示すユーザ状態情報として表示開始判定処理部１２０に出力する。
【００２４】
表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかを判定する。例えば、ユーザ状態検知部１１０がユーザの顔の一部又は全部を撮影する内部カメラである場合には、表示開始判定処理部１２０は、ユーザの目が所定の時間以上閉じているかを判定する。また、ユーザ状態検知部１１０が、加速度センサである場合は、表示開始判定処理部１２０は、ユーザが向いている方向が所定の角度以上変化したかを判定する。
【００２５】
表示制御部１３０は、表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示部１４０に所定の映像を表示させる制御を行う。例えば、表示制御部１３０は、表示部１４０に表示させる仮想現実提示用の映像の表示位置や表示時間などを制御する。
【００２６】
表示部１４０は、表示制御部１３０の制御に基づいて仮想現実提示用の映像を表示する。表示部１４０に表示される映像は、仮想現実を提示するためのオブジェクトである仮想現実オブジェクトの静止画像や動画像などである。
【００２７】
ここで、仮想現実（ＶＲ：Vertual Reality）とは、コンピュータグラフィックス（ＣＧ：Computer
Graphics）や音響効果を組み合わせることで、人工的に創り出される現実感（リアリティー）のある世界を言う。
【００２８】
また、仮想現実オブジェクトとは、人為的に設定される仮想的な空間である仮想空間に配置されることで、仮想現実の世界に表される仮想的な人物や建築物などを指す。当該仮想空間が、ユーザの周囲の現実の空間に対応するように設定されることで、ユーザに仮想現実の世界が提示される。
【００２９】
各種の仮想現実オブジェクトは、外観形状を規定する３Ｄポリゴンデータや、当該ポリゴンデータで形成される形状の表面に張り付けられるテキスチャーデータなどを含むモデルデータで構成される。また、仮想現実オブジェクトを動作させるための関節ポイントデータや骨格データ等を含む構成とするとより好ましい。関節ポイントデータとポリゴンデータの頂点とが関連付けされており、関節ポイントの位置や角度を変更することで、関連付けされているポリゴンデータの頂点の位置が変更されることになり、仮想現実オブジェクトの外観形状が変化する。また、テキスチャーデータも複数種類用意されており、各テキスチャーデータは識別番号で識別される。選択されたテキスチャーがポリゴン表面に張り付けられることで、仮想現実オブジェクトの映像が生成される。
【００３０】
当該表示部１４０に表示される映像のデータは、そのまま読み出して表示可能な状態で仮想現実提示装置１００内に別途設けられている記憶部に記憶されていても良いし、当該記憶部に仮想現実オブジェクトのモデルデータとして記憶しておき、当該モデルデータを描画して表示用の映像を生成する構成としても良い。また、装置外部から当該表示部１４０に表示される映像の符号化データを受信する構成としても良い。表示部１４０としては、例えば透過型液晶ディスプレイや、有機ＥＬディスプレイなどを用いることができる。
【００３１】
図２は、仮想現実提示装置１００の動作を示すフローチャート図である。ユーザ状態検知部１１０は、ユーザの状態を検知する（ステップＳ１０１）。例えば、ユーザの表情や目の開閉状態、ユーザの移動速度や加速度その他ユーザの向いている方向などユーザの状態を所定の周期間隔で検知する。検知するユーザの状態の種類にも依存するが、検知周期としては、１０μｓ〜１秒に一度の周期で、より好ましくは、１００μｓ〜１００ｍｓに一度の周期で、更に好ましくは１ｍｓ〜１０ｍｓに一度の周期でサンプリングする構成とすると、ユーザの状態をリアルタイムに検知できるため好ましい。
【００３２】
ステップＳ１０１で、ユーザの状態が新たに検知されると、表示開始判定処理部１２０は、検知されたユーザの状態が所定の基準を満たしているかを判定する（ステップＳ１０２）。なお、表示開始判定処理部１２０は、ステップＳ１０１で検知された１つのタイミングにおけるユーザの状態だけではなく、複数のタイミングにおける検知結果に基づいて特定されるユーザの状態に基づいて所定の基準を満たしているかを判定しても良い。
【００３３】
ステップＳ１０２における判定の結果、現在のユーザの状態が、仮想現実提示用の映像の表示を開始するための基準を満たしていないと判定された場合は、ステップＳ１０１に戻り、ユーザの状態の検知処理を行う次のタイミングまで待機する。一方、ステップＳ１０２における判定の結果、ユーザの現在の状態が映像の表示を開始するために予め設定されている基準を満たしている場合に、表示制御部１３０は、表示部１４０に所定の映像を表示させる制御を行う（ステップＳ１０３）。
【００３４】
例えば、ユーザの目が所定の時間以上閉じていることが、映像表示開始条件として設定されているとする。図３は、当該判定基準が設けられている場合における仮想現実提示装置１００の動作の流れを示すフローチャート図である。
【００３５】
ユーザ状態検知部１１０は、ユーザの状態を検知する（ステップＳ１０１）。表示開始判定処理部１２０は、現在のモードが第１モードであるか第２モードであるかを確認する（ステップＳ１０２ａ）。
【００３６】
現在のモードが第１モードである場合、表示開始判定処理部１２０は、ステップＳ１０１における検知結果に基づいて、ユーザの目が閉じているかを判定する（ステップＳ１０２ｂ）。目が閉じていない場合、ステップＳ１０１に戻る。一方、目が閉じている場合、表示開始判定処理部１２０は、現在のモードを第２モードに設定する（ステップＳ１０２ｃ）。続いて、表示開始判定処理部１２０は、タイマをセットすることで所定の時間計測を開始し、ステップＳ１０１に戻る（ステップＳ１０２ｄ）。
【００３７】
一方、ステップＳ１０２ａにおける判定の結果、現在のモードが第２モードである場合、表示開始判定処理部１２０は、ユーザの目が閉じているかを判定する（ステップＳ１０２ｅ）。当該判定の結果、ユーザの目が閉じていない場合は、映像表示開始による景色の不連続な変化から、表示される映像がバーチャルであることをユーザが容易に認識してしまうため、ステップＳ１０３には進まず、現在のモードを第１モードに戻してステップＳ１０１に戻る（ステップＳ１０２ｆ）。
【００３８】
一方、ステップＳ１０２ｅにおける判定の結果、ユーザの目が閉じていると判定された場合、表示開始判定処理部１２０は、ステップＳ１０２ｄで開始している時間計測が完了しているかを判定する（ステップＳ１０２ｇ）。当該判定の結果、時間計測が完了していない場合は、まだ映像表示を開始する条件が整っていないとしてステップＳ１０１に戻る。
【００３９】
一方、ステップＳ１０２ｇにおける判定の結果、時間計測が完了している場合は、映像表示を開始する条件が整ったとして、表示開始判定処理部１２０は、現在のモードを第１モードに戻した後（ステップＳ１０２ｈ）、表示制御部１３０へ映像の表示開始を指示する。
【００４０】
このように、ステップＳ１０２ａ〜１０２ｈにおける処理によって、ユーザの状態が映像表示開始のための基準を満たしているかの判定となる。なお、所定の時間を計測する理由は、単に目が閉じているだけだと、瞬きによって目が閉じられている可能性があり、このタイミングで映像表示を開始することがユーザにバーチャルをリアルと刷り込ませる上で好ましくないためである。瞬き程度の一瞬の間に見える景色が異なると、景色の不連続性から違和感を生じ、バーチャルをリアルと認識させることは難しい。一方、所定の時間以上目を閉じていると、先ほどまで見ていた景色が脳内から薄れていくため、リアルの景色に溶け込ませる形で映像が多重されていても、ユーザはそれがバーチャルであると認識する可能性は下がり、ユーザは自然に仮想現実の世界に入っていくことができる。
【００４１】
表示制御部１３０は、表示開始判定処理部１２０における判定結果に基づいて、表示する映像を読み込み、表示部１４０に読み込んだ映像を表示させる（ステップＳ１０３）。
【００４２】
以上説明したように、本実施形態１に係る仮想現実提示装置１００は、ユーザの状態を検知するユーザ状態検知手段と、映像を表示する表示手段と、ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、前記基準を満たしていると判定された場合に、前記表示手段に所定の映像を表示させる制御を行う表示制御手段と、を備える。
【００４３】
当該構成とすることで、、バーチャルとリアルとの境界の不連続性を低減し、ユーザが仮想現実の世界に無意識の内に入り込むことを実現することができる。
【００４４】
すなわち、従来は表示した映像の挙動が現実の風景と一致するようにリアルタイム制御することで、不自然さを無くし、リアルとバーチャルを融合するように映像をユーザに表示させる技術の開発は進められていた。しかしながら、映像表示を開始する際に生じる不連続性に伴う不自然さを抑える技術開発は十分に進められておらず、仮想現実用の映像が表示された時点でその映像がバーチャルであるとユーザは直ちに認識してしまい、当該映像がバーチャルであるものとして意識されてしまっていた。このことは、仮想現実の世界に入り込むことを妨げ、その後の表示されている映像の挙動が現実の風景に溶け込んでいても、ユーザに対してバーチャルをリアルであると完全に誤認させるには障害となっていた。
【００４５】
一方、本実施形態１に記載の仮想現実提示装置によれば、バーチャルな映像を表示する時点でユーザがバーチャルであると明確に認識しないように、ユーザの状態に基づいて映像を表示するタイミングが制御される。ユーザが不自然さを感じにくい状況で映像の表示が開始されるため、映像が表示されたことでユーザが少々の違和感を持ったとしても、ユーザは、その映像がバーチャルであるという確信を持っていない。そのため、その後の表示制御によって現実の風景と一致させることで、ユーザの警戒心が徐々に薄れていき、仮想現実の世界にユーザを引き込むことが可能となる。
【００４６】
なお、上述した仮想現実提示装置の構成は１つの装置で構成されていても良いし、複数の装置によって仮想現実提示システムとして構成されていても良い。
【００４７】
＜実施形態２＞
図４は、本実施形態２に係る仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、仮想現実提示制御部２０１０と、表示映像生成処理部２０２０と、を備える。
【００４８】
ユーザ状態検知部１１０は、内部カメラ１１１と、傾きセンサ１１２と、加速度センサ１１３と、を備える。内部カメラ１１１は、ユーザの顔の一部又は全部を撮影する。傾きセンサ１１２は、ユーザの頭部の傾きを検知するセンサである。また、加速度センサ１１３は、ユーザの頭部に加わる加速度を検知するセンサである。
【００４９】
ユーザ状態検知部１１０で検知される一部又は全部の情報は、ユーザ状態情報として映像表示開始判定処理部１２０に送られる。また、ユーザ状態検知部１１０で検知される一部又は全部の情報は、ユーザ状態情報として表示映像生成処理部２０２０に送られる。
【００５０】
仮想現実提示制御部２０１０は、ユーザに対して提示する仮想現実に関する全体制御を行う。仮想現実提示制御部２０１０は、ユーザに対する仮想現実の提示を開始すると決定した場合に、映像表示開始判定処理部１２０に映像表示開始判定を指示し、表示映像生成処理部２０２０に、表示映像の生成を指示する。
【００５１】
映像表示開始判定処理部１２０は、仮想現実提示制御部２０１０より仮想現実提示用の映像表示判定指示を受けた場合に、ユーザ状態検知部１１０で検知されたユーザ状態に基づいて、映像表示を開始できるかどうかを判定する。具体的には、映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかを判定する。例えば、内部カメラ１１１で撮影されたユーザの顔の映像に基づいて、ユーザの目が所定の時間以上閉じているかを判定する。また、例えば、傾きセンサ１１２や加速度センサ１１３における検知結果に基づいて、ユーザが向いている方向が所定の角度以上変化したかを判定する。
【００５２】
表示映像生成処理部２０２０は、仮想現実提示制御部２０１０からの仮想現実用の映像生成開始指示に基づいて、表示部１４０で表示する映像を生成する処理を開始する。表示映像生成処理部２０２０は、ユーザ状態検知部１１０における検知結果に基づいて制御された仮想現実用の映像を順次生成して表示制御部１３０に出力する。仮想現実用の映像としては、例えば仮想現実オブジェクトの映像がある。
【００５３】
表示制御部１３０は、映像表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示映像生成処理部２０２０で生成される仮想現実提示用の映像を表示部１４０に表示させる制御を行う。
【００５４】
以上のように、本実施形態２に係る仮想現実提示システムによれば、表示映像生成処理部２０２０によって生成されるユーザ状態に基づいて制御された仮想現実提示用の映像が、表示制御部１３０における制御に基づいて表示部１４０に表示される。仮想現実提示制御部２０１０が行う仮想現実提示の開始制御に基づいて、表示映像生成処理部２０２０は仮想現実用の映像を生成して表示制御部１３０に当該生成した映像を出力するが、表示制御部１３０は、表示映像生成処理部２０２０で生成された映像を直ちには表示部１４０に表示させず、表示開始判定処理部１２０からの判定結果に基づいて表示部１４０への表示を開始する。
【００５５】
このように構成することで、表示用映像は、いつでも表示可能なように表示映像生成処理部２０２０で生成されているため、映像表示開始判定処理部１２０において、ユーザの状態が予め設定されている所定の基準を満たしていると判定された場合に直ちに仮想現実用の映像を表示部１４０に表示することができる。
【００５６】
なお、上述した仮想現実提示システム２０００を構成する各機能は、ユーザが装着する仮想現実提示装置内に組み込まれても良いし、一部の機能が外部の情報処理サーバに組み込まれ、仮想現実提示装置と通信を行うことで仮想現実提示装置において仮想現実提示用の映像が表示部１４０に表示される構成としても良い。
【００５７】
図５は、仮想現実の提示に必要となる処理の一部を外部情報処理サーバが行う場合における仮想現実提示システム２０００の構成を示すブロック図である。仮想現実提示システム２０００は、ユーザが装着する装置であって、仮想現実をユーザに直接提示する仮想現実提示装置２００と、仮想現実を提示するためサービスである仮想現実サービスを提供する仮想現実サービス提供サーバ２１００と、仮想現実提示装置２００で入力される音声を解析する音声解析サーバ２２００と、仮想現実コンテンツを記憶する仮想現実コンテンツ記憶データベース２３００と、を備える。
【００５８】
図５に示す仮想現実提示装置２００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、映像データ一時記憶部２４０と、を備える。
【００５９】
音声入力部２１０は、所謂マイクロフォンであり、仮想現実提示装置２００を装着しているユーザが発する音声やユーザの周囲環境からの音声を集音して音声データとして入力する。音声入力部２１０は、入力した音声データを通信部２３０に出力する。
【００６０】
装置側仮想現実提示制御部２２０は、仮想現実提示装置２００側で必要となる仮想現実提示用の各種制御を行う。装置側仮想現実提示制御部２２０は、仮想現実サービス提供サーバ２１００より送信される仮想現実サービスの提供開始の通知である仮想現実サービス提供開始通知情報が通信部２３０で受信された場合に、仮想現実提示開始用の制御を行う。具体的には、装置側仮想現実提示制御部２２０は、仮想現実サービス提供開始通知情報を受け取った場合に、少なくともユーザ状態検知部１１０及び映像表示開始判定処理部１２０にそれぞれ仮想現実提示用処理開始指示を行う。
【００６１】
ユーザ状態検知部１１０は、装置側仮想現実提示制御部２２０からの仮想現実提示用処理開始指示に基づいてユーザ状態の検知処理を開始し、検知結果をユーザ状態情報として映像表示開始判定処理部１２０と通信部２３０に出力する。
【００６２】
映像表示開始判定処理部１２０は、装置側仮想現実提示制御部２２０からの仮想現実提示用処理開始指示に基づいて、映像表示開始判定処理を開始する。具体的には、映像表示開始判定処理部１２０は、仮想現実提示用処理開始指示を受けると、ユーザ状態検知部１１０で検知されるユーザの状態が所定の基準を満たしているかの判定処理を開始する。
【００６３】
通信部２３０は、インターネット等の通信網１０を介して仮想現実サービス提供サーバ２１００と通信を行う。通信部２３０は、装置２００内で生成された各種情報を装置外部へ無線送信する無線送信部２３１と、装置外部より送信された各種情報を無線受信する無線受信部２３２とを備える。
【００６４】
無線送信部２３１は、少なくともユーザ状態検知部１１０で生成されるユーザ状態情報と音声入力部２１０で入力された音声データとを仮想現実サービス提供サーバ２１００へ無線送信する。また、装置側仮想現実提示制御部２２０で生成される一部の制御情報を仮想現実サービス提供サーバ２１００へ無線送信する。
【００６５】
無線受信部２３２は、少なくとも仮想現実サービス提供サーバ２１００で生成された仮想現実用の映像の符号化データを無線受信する。無線受信部２３２は、当該無線受信した映像符号化データを映像データ一時記憶部２４０に出力する。
【００６６】
映像データ一時記憶部２４０は、無線受信部２３２で無線受信された映像符号化データを仮想現実提示用の記憶領域に記憶する。映像データ一時記憶部２４０は、順次送られてくる映像符号化データに基づいて過去に記憶した映像符号化データを上書きすることで、最新の生成された映像符号化データを記憶していく。
【００６７】
映像表示開始判定処理部１２０において、ユーザ状態検知部１１０における検知結果で示されるユーザの状態が、予め設定されている所定の基準を満たしていると判定された場合、表示映像生成処理部２１４０で生成される仮想現実提示用の映像を表示部１４０に表示させる制御を行う。
【００６８】
表示制御部１３０は、映像表示開始判定処理部１２０からの判定結果に基づいて、映像データ一時記憶部２４０に一時記憶されている仮想現実提示用の映像符号化データを読み出し、復号化処理を行った上で得られた映像データによる映像を表示部１４０で表示するための制御を行う。表示部１４０は、表示制御部１３０が行う表示制御に従って仮想現実提示用の映像を表示する。
【００６９】
仮想現実サービス提供サーバ２１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、を備える。
【００７０】
通信部２１１０は、インターネット等の通信網１０を介して仮想現実提示装置２００と通信を行う。通信部２１１０は、仮想現実提示装置２００より通信網１０を介して送信されたユーザ状態情報と音声データを少なくとも受信する受信部２１１１と、表示映像生成処理部２１４０で生成される仮想現実提示用の映像符号化データを、通信網１０を介して仮想現実提示装置２００に送信する送信部２１１２とを、備える。受信部２１１１は、受信した音声データを音声コンテキスト取得部２１２０へ出力し、ユーザ状態情報を表示映像生成処理部２１４０へ出力する。
【００７１】
音声コンテキスト取得部２１２０は、入力された音声データのコンテキストを取得する。具体的に、音声コンテキスト取得部２１２０は、音声解析サーバ２２００に音声データを転送し、音声解析サーバ２２００における音声解析処理の結果抽出された音声コンテキストを受信することで仮想現実提示装置２００の音声入力部２１０で入力された音声のコンテキストを取得し、取得したコンテキストをサーバ側仮想現実提示制御部２１３０へ出力する。
【００７２】
音声解析サーバ２２００は、入力した音声データが示しているコンテキストを特定するためのサーバであり、音声解析処理部２２１０と、コンテキスト抽出部２２２０と、を備える。
【００７３】
音声解析処理部２２１０は、仮想現実サービス提供サーバ２１００より転送されてきた音声データに対して所定の音声解析アルゴリズムに従って解析を行い、当該音声データを複数の音声単位に分割する。
【００７４】
例えば、音声解析処理部２２１０は、複数の音声単位を記憶する音声データベースに含まれる音声単位データと、入力した音声データとのマッチング処理を行うことで、音声データを単位音声に分割する。当該音声データベースに含まれる音声単位データは、例えば「い」の単位音声がコードＮｏ００４、「こ」の単位音声がコードＮｏ０２１というように、コードが割り当てられている。音声解析処理部２２１０は、入力した音声データを単位音声に分割することで、当該入力した音声データをコードの羅列に変換する。なお、上記音声データベースの図示は省略している。
【００７５】
コンテキスト抽出部２２２０は、情報処理サーバ２２００より転送されてきた上記音声データ、すなわち仮想現実提示装置２００の音声入力部２１０で入力された音声が示すコンテキストを抽出する。
【００７６】
例えば、コンテキスト抽出部２２２０は、複数の単語データや文法構造を規定する文法データを記憶している単語・文法データベースにアクセスし、音声解析処理部２２１０における解析処理で得られた一連のコードのいくつかと、上記データベースに記憶される単語データとのマッチングを行うことで、意味のある部分を抽出していく。コンテキスト抽出部２２２０は、当該一連の処理に基づいて、入力された音声データが示すコンテキストを抽出する。
【００７７】
例えば、入力された音声データが「ねことたわむれたいな」と言う音声であった場合、音声解析処理部２２１０は、「ね」、「こ」、「と」、「た」、「わ」、「む」、「れ」、「た」、「い」、「な」と単位音声に分割する。各単位音声にはコードが割り当てられているため、音声解析処理部２２１０は、当該音声データを「０７２／０２１／０４１／０３６／１２４／０８５／０９９／０３６／００４／０４３」といったコードの羅列に変換する。
【００７８】
コンテキスト抽出部２２２０は、入力された音声データから変換された当該コードと単語・文法データベースの単語を示すコードとのマッチング処理を行うことで単語の羅列に変換する。例えば、コンテキスト抽出部２２２０は、当該マッチング処理を行うことで、「０７２０２１」、「０３４」、「０３６１２４０８５０９９」、「０３６００４０４３」と纏まり毎に抽出し、「Ｏｂ：ねこ、Ｏｆ：と、Ｖａ：たわむれ、Ｖｃ：たいな」と言う形で主語、目的語、述語、助詞、などに整理する。コンテキスト抽出部２２２０は、当該処理により、入力された音声は、「猫と戯れたい」というコンテキストを示していると判定する。コンテキスト抽出部２２２０は抽出したコンテキストデータを、仮想現実サービス提供サーバ２１００の音声コンテキスト取得部２１２０に送信する。
【００７９】
サーバ側仮想現実提示制御部２１３０は、音声解析サーバ２２００で抽出されたコンテキストが仮想現実サービスの開始を要求するものであった場合に、仮想現実サービスの提供を開始する。具体的には、サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。またサーバ側仮想現実提示制御部２１３０は、仮想現実コンテンツ記憶データベース２３００より提供する仮想現実サービスに係る仮想現実コンテンツを読み出して表示映像生成処理部２１４０に出力する。
【００８０】
表示映像生成処理部２１４０は、サーバ側仮想現実提示制御部２１３０で読み出された仮想現実コンテンツに基づいて、仮想現実提示装置２００で表示する仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、ユーザ状態情報に基づいて、仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、読み出された当該仮想現実コンテンツからユーザ状態検知部１１０における検知結果に基づいて制御された仮想現実用の映像を順次生成し、符号化処理を行って映像符号化データを生成する。表示映像生成処理部２１４０は、生成した映像符号化データを通信部２１１０に出力する。
【００８１】
このように、比較的処理性能の高い仮想現実サービス提供サーバ側で仮想現実提示用の映像の生成処理を行う構成とすることで、より精細な仮想現実提示用の映像を仮想現実提示装置側で表示することが可能となる。
【００８２】
図６は、映像表示開始判定処理部１２０を備えない従来の仮想現実提示装置において提示される仮想現実の世界を示している。図６のＴ０のタイミングにおいて、現実の景色はソファーの置かれた部屋の景色であり仮想現実提示装置の表示部である透過型のフロントパネルを通して当該景色が見えている。表示部１４０には、何も表示されていないため、ユーザには、現実の風景だけが見えている。
【００８３】
Ｔ１のタイミングにおいて「犬がいてくれたらいいのに」、という要求をユーザが言ったとする。当該音声が仮想現実提示装置に入力される。仮想現実提示装置は、映像コンテンツ記憶データベースより当該犬の映像コンテンツを読み出し、Ｔ２のタイミングで表示部に表示することで仮想現実の提示が開始される。
【００８４】
ここで、仮想現実提示装置は映像コンテンツの読み出しが完了した段階ですぐに当該犬の映像を表示部に表示するが、この時ユーザは目を開いていると、急に犬がソファー上に現れることになる。現実の世界において、瞬間移動するように物体が現れることは非現実的度合いが高く、人生において経験的に認識している物理現象からかけ離れている。そのため、当該犬が現実の犬ではなく、表示部に表示された犬であるとユーザは明確に認識してしまうことになる。一度、バーチャルであると認識してしまうと、その後、時間が経過してもユーザの警戒心が抜けず、ユーザは仮想現実の世界に入り込むことは困難となる。すなわち、目の前に見えている犬を現実の世界の犬であると錯覚することができなくなる。
【００８５】
次に、本実施形態２に係る仮想現実提示装置２００が提示する仮想現実について図７を用いて説明する。Ｔ０、Ｔ１のタイミングについては図６と同様であるため説明を省略する。仮想現実提示装置２００は、映像表示開始判定処理部１２０が映像の表示を開始するかどうかの判定処理を行うため、Ｔ１のタイミングで仮想現実オブジェクトである犬の映像が表示映像生成処理部２１４０で仮想現実用の映像として生成されて映像データ一時記憶部２４０に格納されても、直ぐには表示部１４０には表示されない。
【００８６】
内部カメラ１１１で撮影されたユーザの目の映像に基づいてユーザが所定の基準値以上の時間目を閉じていたと映像表示開始判定処理部１２０が判定したタイミングＴ３で表示部１４０に仮想現実用の映像として読み出された仮想現実オブジェクトである犬の映像が表示される。
【００８７】
ユーザは、目を開いたタイミングＴ４で犬が見えているが、目を閉じていた間に犬が迷い込んできたと錯覚することができる。そのような物理現象は現実的に十分生じ得る現象であり、ユーザには目の前に現れている事実が優先される。従って、少々の違和感を持ったとしても、時間の経過と共に違和感が薄れていき、当該表示されているバーチャルな犬がリアルな犬であると認識するようになり、仮想現実の世界に入り込むことができる。
【００８８】
また、上記説明では映像表示開始判定処理部１２０は、内部カメラ１１１で撮影されたユーザの顔の一部又は全部の画像データに基づいて、ユーザの目が所定の時間以上閉じているかを判定し、当該判定結果に基づいて映像の表示を開始するかどうかを決定する場合について説明したが、これに限定されるものではない。
【００８９】
例えば、映像表示開始判定処理部１２０は、ユーザの視界が変化した場合に、仮想現実提示用の映像を表示する構成としても良い。例えば映像表示開始判定処理部１２０は、ユーザが顔を回転させて所定の角度以上顔を回転させた場合に映像の表示を開始する構成としても良い。
【００９０】
図８において、Ｔ１のタイミングで映像コンテンツの読み込みが行われているが、ユーザの向きが所定の角度以上回転しておらず、この状態で映像の表示を開始すると不自然であるため表示部１４０に映像は表示されていない。
【００９１】
Ｔ３のタイミングにおいて、ユーザの向きは当初より４５度回転し、表示パネルの右下に映像コンテンツである犬の足が表示され始めている。すなわち、仮想現実用の映像表示を開始するための条件として、ユーザの向きが右へ４５度回転することを、映像表示を開始するための条件として設定されている。映像表示開始判定処理部１２０は、傾きセンサ１１２で検知される傾き及び加速度センサ１１３で検知される加速度に基づいて、ユーザの現在の方向を特定する。映像表示開始判定処理部１２０は、ユーザの方向が基準値である４５度超えた場合に、表示開始条件を満たしたとして、表示制御部１３０に仮想現実用の映像の表示開始を指示する。
【００９２】
更にＴ４のタイミングにおいてユーザの向きは当初より６０度回転しており、表示制御部１３０は、当該ユーザの回転に応じてリアルタイムに算出される表示位置・表示角度・表示サイズに基づいて表示部１４０に仮想現実オブジェクトである犬の映像を表示させる。
【００９３】
Ｔ５、Ｔ６のタイミングでは、ユーザの向きが当初よりそれぞれ９０度、１２０度回転しており、仮想現実オブジェクトである犬の全体の映像が表示部１４０に表示されている。
【００９４】
当該構成とすることで、ユーザが視界を変更したことにより、映像が見えるようになるため、ユーザに見える景色は、現実に犬がいている場合と変わらずリアルとバーチャルの接点に不連続性がなくなっている。従って、ユーザは、表示されている犬の映像がバーチャルなものであると認識せず、リアルな犬であると認識することになる。従って、ユーザは、仮想現実の世界に入り込むことが可能となる。
【００９５】
なお、上述した映像表示開始判定処理部１２０は、仮想現実サービス提供サーバ２１００側に配置されていても良い。
【００９６】
＜実施形態３＞
ユーザに提示される仮想現実は様々な種類がある。仮想現実提示用の映像の表示開始タイミングについても、ユーザに提示される仮想現実の種類に応じて決定されることが好ましい。
【００９７】
図９は、本実施形態３に係る仮想現実提示装置３００の機能構成を示すブロック図である。仮想現実提示装置３００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、映像データ一時記憶部２４０と、周囲状況検知部３１０と、映像表示開始条件設定部３２０と、を備える。
【００９８】
ユーザの状態を検知するユーザ状態検知部１１０として、仮想現実提示装置３００は、装着しているユーザの顔の一部又は全部を撮影する内部カメラ１１１と、ユーザの頭部の傾きを検知する傾きセンサ１１２と、ユーザの頭部の加速度を検知する加速度センサ１１３と、を備える。
【００９９】
内部カメラ１１１で撮影されたユーザの顔の映像データや傾きセンサ１１２で検知された傾きを示す傾き情報、加速度センサ１１３で検知された加速度を示す加速度情報は、映像表示開始判定処理のために映像表示開始判定処理部１２０に送られる。
【０１００】
また、傾きセンサ１１２で生成された傾き情報及び加速度センサ１１３で生成された加速度情報は、それぞれ仮想現実用の映像生成処理に利用するために通信部２３０に出力される。
【０１０１】
音声入力部２１０は、装置を装着しているユーザが発する音声を集音してユーザ音声データを入力するユーザマイク２１１と、ユーザの外部環境からの音声を集音して周囲音声データを入力する周囲マイク２１２と、を備える。各マイクで集音された音声は、ＡＤ変換処理によってアナログ電気信号からデジタル信号の音声データにそれぞれ変換され、通信部２３０へ出力される。
【０１０２】
周囲状況検知部３１０は、ユーザの周囲の状況を検知し、ユーザの周囲の状況を示す周囲状況情報を生成する。仮想現実提示装置３００において、周囲状況検知部３１０は、具体的に視線カメラ３１１と、周辺カメラ３１２とを備える。
【０１０３】
視線カメラ３１１は、仮想現実提示装置３００の前方に設置されるカメラであって、ユーザの視線に対応するユーザの前方の景色を撮影することで前方景色画像（視線景色画像）を取得する。視線カメラ３１１で取得された前方景色画像は、通信部２３０に出力される。
【０１０４】
周辺カメラ３１２は、仮想現実提示装置３００の側部や後方部分に設置されるカメラであって、視線カメラ３１１では撮影できないユーザの周辺の範囲の景色を撮影することで周辺景色画像を取得する。周辺カメラ３１２で取得された周辺景色画像は、通信部２３０に出力される。
【０１０５】
通信部２３０は、傾きセンサ１１２及び加速度センサ１１３よりそれぞれ出力された傾き情報及び加速度情報をユーザ状態情報として外部の仮想現実サービス提供サーバに送信する。また、通信部２３０は、ユーザマイク２１１及び周囲マイク２１２よりそれぞれ入力されたユーザ音声データ及び周囲音声データをそれぞれ入力音声データとして仮想現実サービス提供サーバに送信する。また、通信部２３０は、視線カメラ３１１及び周辺カメラ３１２でそれぞれ取得された視線景色画像及び周辺景色画像を周囲状況情報として仮想現実サービス提供サーバに送信する。
【０１０６】
また、通信部２３０は、仮想現実サービス提供サーバで生成されて順次送信される送信される仮想現実提示用の映像符号化データを受信し、映像データ一時記憶部２４０に出力する。また、通信部２３０は、仮想現実サービス提供サーバで生成されて送信されてくる仮想現実サービス提供開始通知情報を装置側仮想現実提示制御部２２０に出力する。
【０１０７】
図１０は、仮想現実提示装置３００が受信する仮想現実サービス提供開始通知情報の一例を示す図である。仮想現実サービス提供開始通知情報には、送信元である仮想現実サービス提供サーバのアドレスである送信元アドレス、送信先である仮想現実提示装置３００のアドレスである送信先アドレス、当該情報が仮想現実サービス提供開始通知情報であることを識別する情報種別、仮想現実提示装置３００と仮想現実サービス提供サーバとの間で当該仮想現実の提示に伴って生じる通信を他の通信と区別するための仮想現実識別番号と、仮想現実の提示を開始するための条件である仮想現実提示開始条件情報と、が含まれている。
【０１０８】
仮想現実提示装置３００と仮想現実サービス提供サーバとの間で発生する当該仮想現実の提示に関する通信には、仮想現実識別番号が付されることで、他の仮想現実提示装置との通信や、自装置３００における他の仮想現実の提示に関する通信と区別される。
【０１０９】
また、仮想現実提示開始条件は、仮想現実の提示を開始するための条件であって、本実施形態においては、具体的に仮想現実用の映像表示を開始するための条件である映像表示開始条件が少なくとも含まれる。
【０１１０】
装置側仮想現実提示制御部２２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に基づいて、映像表示開始判定処理部１２０と映像表示開始条件設定部３２０に仮想現実提示用の処理の開始を指示する。
【０１１１】
映像表示開始条件設定部３２０は、装置側仮想現実提示制御部２２０からの指示に基づいて、仮想現実提示開始条件として、映像表示開始条件を設定する。映像表示開始条件設定部３２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件に従って、映像表示開始判定処理部１２０における判定処理における基準となる映像表示開始条件を設定する。
【０１１２】
映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で検知されるユーザの状態が、映像表示開始条件設定部３２０で設定された映像表示開始条件を満たしているかの判定処理を行う。
【０１１３】
例えば、映像表示開始条件Ｘ１として「ユーザが目を５秒以上閉じていること」という条件が映像表示開始条件設定部３２０によって設定されているとする。この場合、映像表示開始判定処理部１２０は、内部カメラ１１１で撮影されるユーザの目を含む範囲の映像を入力し、例えば、マッチング処理等に基づいてユーザの目が閉じているかを判定する。例えば、予め、開いた状態や閉じた状態のユーザの目の画像データを記憶しておき、内部カメラ１１１で撮像された画像と閉じた状態のユーザの目の画像データとを比較し、所定の相関値以上の相関が検出された場合に、ユーザの目が閉じていると判定する構成とすることができる。
【０１１４】
映像表示開始判定処理部１２０は、ユーザの目が閉じていると判定した場合、内部タイマを作動し、映像表示開始条件として設定されている５秒間、目が閉じた状態が維持されているかを判定する。５秒経過前にユーザが目を開いた場合は、タイマをリセットし、再び５秒間目が閉じた状態が維持されるかの判定処理を行う。
【０１１５】
映像表示開始判定処理部１２０は、上記判定処理の結果、５秒間目が閉じていたと判定した場合に、表示制御部１３０に映像の表示開始指示を行う。
【０１１６】
表示制御部１３０は、表示部１４０に仮想現実用の映像を表示する制御を行う。表示制御部１３０は、映像データ読み出し部１３１と、映像復号化処理部１３２と、を備える。
【０１１７】
映像データ読み出し部１３１は、映像表示開始判定処理部１２０において、映像表示開始条件を満たしたと判定された場合に、映像データ一時記憶部２４０に記憶されている仮想現実提示用の映像符号化データを読み出して、映像復号化処理部１３２に出力する。本実施形態３において、仮想現実提示用の映像としては具体的に仮想現実オブジェクトの映像であるとして説明する。
【０１１８】
映像復号化処理部１３２は、映像データ読み出し部１３１で読み出された映像符号化データを復号し、復号処理後の映像を表示部１４０に表示する制御を行う。表示部１４０は、表示制御部１３０からの制御に従って、仮想現実提示用の映像である仮想現実オブジェクトの映像を表示する。
【０１１９】
次に、本実施形態３に係る仮想現実提示システムについて説明する。図１１は、本実施形態３に係る仮想現実提示システム３０００の構成を示すブロック図である。仮想現実提示システム３０００は、仮想現実提示装置３００と、仮想現実サービス提供サーバ３１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶データベース２３００と、契約者情報記憶データベース３２００とを備える。
【０１２０】
仮想現実サービス提供サーバ３１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部（映像解析処理部）３１１０と、仮想現実オブジェクト読み出し部３１２０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、を備える。
【０１２１】
通信部２１１０は、インターネット等の通信網１０を介して仮想現実提示装置３００と通信を行う。通信部２１１０は、仮想現実提示装置３００より送信されるユーザ状態情報、音声データ、周囲状況情報を受信し、ユーザ状態情報を表示映像生成処理部２１４０に、音声データを音声コンテキスト取得部２１２０に、周囲状況情報を画像解析処理部３１１０にそれぞれ出力する。
【０１２２】
また、通信部２１１０は、サーバ側仮想現実提示制御部２１３０で生成された仮想現実サービス提供開始通知情報と、表示映像生成処理部２１４０で生成された映像符号化データとをそれぞれ仮想現実提示装置３００に通信網１０を介して送信する。
【０１２３】
画像解析処理部３１１０は、通信部２１１０で入力された周囲状況情報に含まれる映像を解析して所定のパラメータを抽出する。本実施形態３に係る仮想現実サービス提供サーバ３１００において、画像解析処理部３１１０は、物体位置検出部３１１１と、光学成分抽出部３１１２とを備える。
【０１２４】
物体位置検出部３１１１は、周囲状況情報に含まれる前方景色画像や周辺景色画像に写っている物体の位置を特定する。物体位置検出部３１１１は、特定した各物体の位置座標を示す現実物体位置情報を仮想現実オブジェクト配置部３１４０と、表示映像生成処理部２１４０の描画処理部２１４３に出力する。
【０１２５】
例えば、物体位置検出部３１１１は、左目と右目の位置に対応する場所に配置された複数の視線カメラ３１１で取得された前方景色画像や、複数の周辺カメラ３１２で撮影された周辺景色画像を入力し、各画像において、隣接する画素やブロックとの間で色差信号や輝度信号との差分を算出することで境界判定処理を行う。物体位置特定部３１１１は、当該境界判定処理に基づいて、当該画像に写っている各物体や壁、床、空などを特定し、特定した各物体等をラべリングする。物体位置特定部３１１１は、各カメラで取得された画像においてそれぞれ同一のラべルが張られた各物体の画素位置を比較することで、当該物体までの距離を求め、ユーザの周囲に存在する物体等の位置関係を特定する。
【０１２６】
好ましくは、物体位置特定部３１１１は、入力した画像に基づいて大きさやユーザまでの距離を特定した各物体をモデリングすることで、ユーザの周囲の物理的環境を示すモデルデータを生成すると良い。すなわち、物体位置特定部３１１１は、現実の世界におけるユーザの周囲の物理的環境を３Ｄポリゴンデータでモデル化する。物体位置特定部３１１１は、生成した現実世界の物体のモデルデータを仮想現実オブジェクト配置位置決定部３１４０と、表示映像生成処理部２１４０の描画処理部２１４３にそれぞれ出力する。
【０１２７】
光学成分抽出部３１１２は、入力した前方景色画像の中から光学成分を抽出する。例えば、光学成分抽出部３１１２は、前方景色画像の各画素における輝度信号の平均値を算出することで、ユーザの周囲の全体的な明るさ（照度）を示す情報を取得する。また、光学成分抽出部３１１２は、各画素の色差信号の平均値を求めることで、ユーザの周囲の全体的な色を示す情報を取得する。これらの情報は、後述する光源制御部２１４２で制御される無限遠方光源の明るさ（照度）や色に対応する。
【０１２８】
また、光学成分抽出部３１１２は、前方景色画像の各画素又はブロックにおける明るさを比較する比較処理や、影となる部分を特定することで、ユーザの周囲にある光源の位置や光源の明るさに関する情報を取得する。
【０１２９】
光学成分抽出部３１１２は、周囲状況情報として入力された前方景色画像の中から抽出した光学成分に関する情報を光源制御部２１４２に出力する。なお、光学成分抽出部３１１２は、周囲状況情報として入力される周囲景色画像に対して同様の処理を行い、仮想空間における光源の位置や強さに関連する光学成分の情報を抽出し、光源制御部２１４２に出力する構成としても良い。
【０１３０】
音声コンテキスト取得部２１２０は、通信部２１１０で受信された音声データからコンテキストを取得する。音声コンテキスト取得部２１２０は、当該音声データを音声解析サーバ２２００に転送し、音声解析サーバ２２００における音声解析処理に基づいて抽出されたコンテキストを受信することで当該音声データのコンテキストを取得する。
【０１３１】
サーバ側仮想現実提示制御部２１３０は、音声コンテキスト取得部２１２０で取得されたコンテキストが仮想現実サービスの提供開始を要求するものであった場合に、ユーザに対して仮想現実サービスの提供を開始する処理を行う。
【０１３２】
サーバ側仮想現実提示制御部２１３０は、仮想現実サービスの提供開始要求を受けた場合に、契約者情報記憶データベース３２００に記憶されている契約者情報を参照して当該ユーザに対して提供可能な仮想現実サービスを特定し、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。サーバ側仮想現実提示制御部２１３０は、提供する仮想現実サービスに応じた仮想現実提示開始条件を含めて仮想現実サービス提供開始通知情報を生成する。
【０１３３】
仮想現実サービスの利用を希望するユーザは、当該仮想現実サービスを提供する仮想現実サービス提供会社と契約しており、契約者情報記憶データベース３２００は、当該ユーザの契約内容に関する情報を契約情報として記憶する。契約者情報には、ユーザの個人情報や利用可能な仮想現実サービスの種類などの情報が記憶されている。
【０１３４】
サーバ側仮想現実提示制御部２１３０は、当該契約者情報に基づいて、音声コンテキスト取得部２１２０で取得されたコンテキストで要求されている仮想現実サービスについてユーザが利用可能であるかを判定する。当該判定の結果、要求されている仮想現実サービスが、契約内に含まれる仮想現実サービスであった場合に、サーバ側仮想現実提示制御部２１３０は、仮想現実サービスの提供が可能であるとして、仮想現実サービスの提供開始処理に移行する。
【０１３５】
サーバ側仮想現実提示制御部２１３０は、仮想現実オブジェクト読み出し部３１２０に提供する仮想現実サービスに使用する仮想現実コンテンツの読み出し指示を出す。また、サーバ側仮想現実提示制御部２１３０は、仮想空間設定部３１３０に新たな仮想空間の設定指示を出す。
【０１３６】
仮想現実オブジェクト読み出し部３１２０は、仮想現実コンテンツ記憶部２３００に記憶されている仮想現実コンテンツの中から、提供する仮想現実サービスに係る仮想現実オブジェクトのデータを読み出し、仮想現実オブジェクトデータを仮想現実オブジェクト配置部３１４０に出力する。
【０１３７】
仮想現実コンテンツ記憶データベース３２００は、仮想現実コンテンツを記憶する。ここで、仮想現実コンテンツとは、仮想現実の世界を創り出すために使用されるデータ等の総称であり、少なくとも仮想現実オブジェクトの外観を規定するモデルデータを含む。当該モデルデータは、外観形状を規定するポリゴンデータや、外観形状表面に張り付けるテキスチャーデータなどから構成される。
【０１３８】
仮想現実オブジェクトのモデルデータは、当該仮想現実オブジェクトの形状を規定するポリゴンデータと、当該ポリゴンデータで規定される形状の表面に張り付けられるテキスチャーデータと、を含む。
【０１３９】
仮想空間設定部３１３０は、サーバ側仮想現実提示制御部２１３０からの仮想空間設定指示に基づいて、当該仮想現実サービス用に新たな仮想空間を設定する。具体的には、仮想空間設定部３１３０は、仮想現実オブジェクトを配置する座標空間を仮想空間として設定する。
【０１４０】
ここで、仮想空間設定部３１３０は、仮想現実サービスに応じた広さの仮想空間を設定することが好ましい。室内に少数の仮想現実オブジェクトを配置する場合は、仮想空間は狭くても問題がない一方、屋外で大掛かりな仮想現実の世界を実現するためには、ユーザから遠い位置にも仮想現実オブジェクトを配置できるように広い仮想空間を設定することが好ましいためである。
【０１４１】
そこで、仮想空間設定部３１３０は、サーバ側仮想現実提示制御部２１３０からの指示に従って、提供する仮想現実サービスに応じた広さを有する仮想空間を新たに設定する。仮想空間設定部３１３０は、仮想空間として縦Ｙ・横Ｘ・高さＺの直交座標空間を設定しても良いし、原点（０，０，０）と距離Ｒ、角度θ、角度φによる極座標空間を設定しても良い。
【０１４２】
仮想現実オブジェクト配置部３１４０は、仮想空間設定部３１３０が設定した仮想空間に、仮想現実オブジェクト読み出し部３１２０で読み出された仮想現実サービス用の仮想現実オブジェクトを配置する。仮想現実オブジェクト配置部３１４０は、読み出した仮想現実オブジェクトを仮想空間の所定の位置に配置しても良いし、物体位置特定部３１１１が特定した現実の世界の物体と重なり合わない位置に配置しても良い。例えば、物体位置特定部３１１１で生成された現実世界の物体のモデルデータを予め仮想空間に配置し、当該現実世界の物体のモデルデータと重複する領域がでないか所定の重なり量以下となるように、仮想現実オブジェクトを仮想空間に配置する。
【０１４３】
表示映像生成処理部２１４０は、仮想現実オブジェクト配置部３１４０が仮想空間に配置している仮想現実オブジェクトの映像を生成する。表示映像生成処理部２１４０は、視点制御部２１４１と、光源制御部２１４２と、描画処理部２１４３と、映像符号化処理部２１４４と、を備える。
【０１４４】
視点制御部２１４１は、ユーザの状態を示すユーザ状態情報に基づいて仮想現実オブジェクトを描画する際の視点の位置及び方向を制御する。具体的には、ユーザ状態情報に含まれるユーザの頭部の傾きを示す傾き情報やユーザの頭部の加速度を示す加速度情報に基づいて、ユーザの左目の位置と右目の位置に対応する仮想空間での視点位置を算出する。また、加速度情報に基づいて、ユーザの視線の方向に対応する仮想空間での視線方向を算出する。ここで、視線方向は、ユーザが眼球のみを移動させた場合の視線の方向ではなく、ユーザの頭部の方向と対応している。
【０１４５】
なお、ユーザ状態情報の中にはユーザの方向を示す方位情報やユーザの移動速度を示す移動速度情報などが含まれていると更に好ましい。視点制御部２１４１は、ユーザ状態情報に含まれるこれら各情報に基づいてユーザの頭部の姿勢を算出し、ユーザの左目と右目の位置及びユーザの頭部が向いている方向を特定する。視点制御部２１４１は、ユーザの目の位置及び頭部の方向に対応する仮想空間における視点の位置座標及び視線の方向を算出する。
【０１４６】
光源制御部２１４２は、画像解析処理部３１１０の光学成分抽出部３１１２で抽出された光学成分に基づいて、仮想空間における光源の位置座標及び光源の照度（明るさ）を算出する。例えば、光源制御部２１４２は、光学成分抽出部３１１２で抽出された画像の各画素の輝度の平均値を算出することで、無限遠方の光源の強さを算出し、当該画像の画素間の輝度の差分に基づいて、他の光源の位置座標及び照度をそれぞれ算出する。また、光源制御部２１４２は、解析処理が行われた画像における画素の色差信号に基づいて光源の色を算出しても良い。
【０１４７】
描画処理部２１４３は、仮想現実オブジェクトをリアルタイムにレンダリングして２次元画像を生成する。一例として、描画処理部２１４３は、以下に示す投影処理、クリッピング処理、隠面処理、シェーディング処理、テキスチャーマッピング処理等の一部又は複数の処理を組み合わせてレンダリングを行い、仮想現実オブジェクトの映像を生成する。
【０１４８】
描画処理部２１４３は、視点制御部２１４１で求められた視点の位置及び視線の方向に基づいて、仮想空間内の所定の位置にイメージプレーンを設定し、仮想現実オブジェクトを投影することで、仮想現実オブジェクトの投影画像を取得する。描画処理部２１４３は、仮想現実オブジェクトが投影されたイメージプレーンのクリッピング処理を行い、仮想現実提示装置３００における表示部１４０で表示される範囲を選択する。
【０１４９】
描画処理部２１４３は、物体位置特定部３１１１で特定された現実の世界の物体のモデルに基づいて隠面処理を行う。描画処理部２１４３は、イメージプレーンに投影された仮想現実オブジェクトの画像を構成する画素の中から、視点制御部２１４１で算出された視点位置と仮想現実オブジェクトの間に位置している現実の世界の物体のモデルの投影画像と重複する画素のデータを消去することで隠面処理を行う。
【０１５０】
描画処理部２１４３は、光源制御部２１４２で算出された光源の位置及び強さに基づいてシェーディング処理を行い、仮想現実オブジェクトの表面の輝度や光の上がり具合、光の透過の状態を調整する。描画処理部２１４３は、仮想現実オブジェクトの表面に張り付けられるテキスチャーデータを用いてテキスチャーマッピング処理を行い、アンチエリアシング処理等の補正処理を適宜行い、最終的に仮想現実提示装置３００の表示部１４０で表示する映像を生成する。
【０１５１】
なお、描画処理部２１４３は、視点制御部２１４１が制御する左目に対応する視点と右目に対応する視点に基づいて、左目用の映像と右目用の映像の２枚の映像を生成する。描画処理部２１４３は、生成した映像を映像符号化処理部２１４４に出力する。
【０１５２】
映像符号化処理部２１４４は、描画処理部２１４３におけるリアルタイムレンダリング処理で順次生成される映像を所定の符号化方式に基づいて圧縮符号化処理を行う。映像符号化処理部２１４４は、符号化処理後の映像符号化データを通信部２１１０に出力する。通信部２１１０は、映像符号化処理部２１４４より出力される映像符号化データを仮想現実提示装置３００に送信し、仮想現実提示装置３００の表示制御部１３０で復号処理が行われ、復号処理後の映像が表示部１４０に表示される。
【０１５３】
以上のように、本実施形態３に係る仮想現実提示システムによれば、提供される仮想現実サービスに応じた条件が設定され、当該条件を満たしている場合に仮想現実の提示が開始される。従って、ユーザが感知する世界が、現実の世界から仮想現実の世界へ切り替わるタイミングでの不連続性を無くすようにより適切な制御がなされることとなり、ユーザは自然に仮想現実の世界に入り込むことが可能となる。
【０１５４】
＜実施形態４＞
人間は、五感、すなわち、味覚、触覚、視覚、聴覚、嗅覚を用いて外界で生じる事象を検知し、検知した情報を脳で処理して次の行動を行う生物である。リアルとは異なるバーチャルな世界をリアルな世界であるとユーザに誤認させることは、ユーザと外界とのインターフェースである五感を欺くことに他ならない。従って、五感の中からより多くの感覚を欺けば欺くほど、バーチャルな世界をリアルな世界と認識し、仮想現実が深まっていくことになる。
【０１５５】
五感のうち、最も情報量が多く、主センサとして働く感覚は視覚である。従って、視覚を欺くことができれば、人間は仮想現実に入りやすくなるという点から、本発明の仮想現実提示装置は出発している。しかしながら、提示する仮想現実が映像のみに依存すると現実との乖離が起こる場合がある。例えば、吠えている犬の映像を現実の犬であるとして表示パネルに表示している場合に、犬の鳴き声が聞こえてこないことは、現実の世界で起こり得る事象から乖離しているため、ユーザは現在見ている犬が現実の犬ではなく、作り出された映像の犬ではないかという疑念を抱くきっかけになる。
【０１５６】
仮想現実提示装置をより高度に昇華させるためには、現実と仮想現実との間に不整合性を持たせないことである。本実施形態４に係る仮想現実提示装置は、人間が生まれながら備えている感覚の中から複数の感覚を欺くことで、仮想現実と現実との境界を縮小し、ユーザが仮想現実の世界に深く入り込むことを可能とする点を特徴とする。
【０１５７】
図１２は、本実施形態４に係る仮想現実提示装置４００の機能構成を示すブロック図である。仮想現実提示装置４００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、仮想現実提示開始条件設定部４２０と、音声再生開始判定処理部４３０と、音声再生処理部４４０と、音声出力部４５０と、を備える。
【０１５８】
仮想現実提示装置４００において、ユーザ状態検知部１１０は、内部カメラ１１１と、傾きセンサ１１２と、加速度センサ１１３と、を備える。音声入力部２１０は、ユーザマイク２１１と、周囲マイク２１２とを備える。周囲状況検知部３１０は、視線カメラ３１１と、周辺カメラ３１２とを備える。これらの構成については既に説明しているため、説明を省略する。
【０１５９】
仮想現実提示用データ記憶部４１０は、通信部２３０で受信された仮想現実提示用のデータを記憶する。仮想現実提示用のデータとしては、仮想現実提示用の映像データや仮想現実提示用の音声データが含まれる。仮想現実提示用の映像データは、例えば仮想現実の世界で現される仮想現実オブジェクトの映像データなどである。また、仮想現実提示用の音声データは、当該仮想現実オブジェクトが発する音声データや、仮想現実の世界を創り出す背景音楽データなどである。これらの映像データや音声データは符号化されており、映像符号化データ及び音声符号化データという形で仮想現実提示用データ記憶部４１０に一時的に記憶される。
【０１６０】
仮想現実提示開始条件設定部４２０は、仮想現実の提示を開始するための条件を設定する。通信部２３０で受信された仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件が装置側仮想現実提示制御部２２０によって仮想現実提示開始条件設定部４２０に送られ、仮想現実提示開始条件設定部４２０は、当該仮想現実サービス提供開始通知情報に含まれる仮想現実提示開始条件に従って、仮想現実提示開始条件を設定する。仮想現実提示開始条件は、具体的に、仮想現実提示用の映像表示を開始するための条件である映像表示開始条件や、仮想現実提示用の音声再生を開始するための条件である音声再生開始条件が必要に応じて含まれる。
【０１６１】
映像表示開始判定処理部１２０は、装置側仮想現実提示制御部２２０より仮想現実提示用の映像表示判定指示を受けた場合に、ユーザ状態検知部１１０で検知されたユーザ状態に基づいて、仮想現実提示開始条件設定部４２０によって設定されている映像表示開始条件を満たしているかを判定する。
【０１６２】
なお、映像表示開始判定処理部１２０は、周囲状況検知部３１０で検知される周囲状況に基づいて当該判定を行う構成としても良い。例えば、映像表示開始条件として「ユーザの周囲に他の人間がいないこと」という条件が設定されている場合、映像表示開始判定処理部１２０は、周囲状況検知部３１０である視線カメラ３１１や周辺カメラ３１２で撮影された映像の中に人間が写っていないかを判定する。当該判定をクリアした場合に、映像表示開始判定処理部１２０は、表示制御部１３０に仮想現実提示用の映像表示開始を指示する。
【０１６３】
音声再生開始判定処理部４３０は、装置側仮想現実提示制御部２２０より仮想現実提示用の音声再生判定指示を受けた場合に、仮想現実提示開始条件設定部４２０によって設定されている音声再生開始条件を満たしているかを判定する。音声再生開始判定処理部４３０は、映像表示開始判定処理部１２０と連動しても良いし、他の条件によって判定されていても良い。音声再生開始判定処理部４３０は、仮想現実用の音声再生を開始すると判定した場合に、音声再生制御部４４０に音声再生の開始を指示する。
【０１６４】
音声再生制御部４４０は、仮想現実提示用の音声の再生制御を行う。音声再生制御部４４０は、音声データ読み出し部４４１と、音声復号化処理部４４２とを備える。
【０１６５】
音声データ読み出し部４４１は、音声再生開始判定処理部４３０からの音声再生開始指示に基づいて、仮想現実提示用データ記憶部４１０より仮想現実提示用の音声符号化データを読み出して音声復号化処理部４４２に出力する。
【０１６６】
音声復号化処理部４４２は、音声データ読み出し部４４１で読み出された音声符号化データに対する復号化して各チャンネルの音声データを生成し、復号化後の音声データを音声出力部４５０に出力する。
【０１６７】
音声出力部４５０は、仮想現実提示用の音声を出力する。音声出力部４５０は、ライトスピーカ４５１ａとレフトスピーカ４５１ｂとを備え、各スピーカは、音声復号化処理部４４２で復号化された各チャンネルの音声データにＤＡ変換処理を行ってアナログ音声信号に変換し更に空気振動に変換して音声を外部へ放音する。
【０１６８】
図１３は、当該仮想現実提示装置４００の斜め前方と斜め後方からの外観斜視図を示している。図１３に示すように、仮想現実提示装置４００は、ユーザが頭部に装着するヘッドマウントディスプレイ（ＨＭＤ：Head mount Display）装置の形態を取る。仮想現実提示装置４００は、フレーム４０１と、フロントパネル４０２と、を少なくとも備える。
【０１６９】
フレーム４０１は、仮想現実提示装置４００の筐体であり、内部には、ＣＰＵ（Central Processing Unit）等の情報処理プロセッサ、ＲＡＭ（Random
Access Memory）、ＲＯＭ（Read only memory）、無線通信処理プロセッサ、バッテリーなどが配置されている。また、必要に応じて映像を描画する専用の映像処理プロセッサなどが合わせて配置されている。フレーム４０１は、大きく分けてライトフレーム４０１ａ、レフトフレーム４０１ｂ、センターフレーム４０１ｃから構成される。
【０１７０】
ライトフレーム４０１ａ及び４０１ｂは、ユーザの左右の耳にそれぞれ接続する筐体部材であり、それぞれ一端の内側にアナログ電気信号を空気振動に変換して音声を出力するスピーカ４５１ａ、４５１ｂが配置され、他端がセンターフレーム４０１ｃと接続されている。
【０１７１】
また、ライトフレーム４０１ａの内側の前端下方には、ユーザが発した音声を集音するユーザマイクロフォン２１１が配置され、ライトフレーム４０１ａ及びレフトフレーム４０１ｂの一端の外側に周囲の音声を集音する周囲マイクロフォン２１２ａ、２１２ｂが配置されている。ユーザマイクロフォン２１１や周囲マイクロフォン２１２ａ、２１２ｂで集音された音声は、ＡＤ変換でデジタル音声信号に変換され、情報処理プロセッサに出力される。
【０１７２】
ライトフレーム４０１ａ及び４０１ｂの端部には、それぞれ傾きを検知する傾きセンサ１１２ａ、１１２ｂと、加速度を検知する加速度センサ１１３ａ、１１３ｂが配置されている。また、ライトフレーム４０１ａ及びレフトフレーム４０１ｂの外側には、周囲の景色を撮影する周辺カメラ３１２ａ、３１２ｂがそれぞれ配置されている。
【０１７３】
センターフレーム４０１ｃは、両端がそれぞれライトフレーム４０１ａ、レフトフレーム４０１ｂに接続されており、センターフレーム４０１ｃの下方にフロントパネル４０２が接続されている。
【０１７４】
センターフレーム４０１ｃの中央付近と両端付近には、傾きを検知する傾きセンサ１１１２ｃ、１１２ｄ、１１２ｅと、加速度を検知する加速度センサ１１３ｃ、１１３ｄ、１１３ｅがそれぞれ配置されている。
【０１７５】
センターフレーム４０１ｃのユーザ側であって、ユーザの左右の目の位置には、ユーザの顔の一部又は全部の表情を撮影する内部カメラ１１１ａ、１１１ｂが配置されている。内部カメラ１１１ａ、１１１ｂは、少なくともユーザの目の位置を含む領域を撮影してユーザ表情映像をユーザ状態情報として生成する。
【０１７６】
センターフレーム４０１ｃの前方側であって、ユーザの左右の目の位置には、ユーザの視界と対応する景色を撮影する視線カメラ３１１ａ、３１１ｂが配置されている。視線カメラ３１１ａ、３１１ｂは、センターフレーム４０１ｃの前方側に、ユーザの左右の目の間隔に対応する距離だけ離れた位置に配置されている。
【０１７７】
フロントパネル４０２は、仮想現実提示装置４００を頭部に装着した状態でユーザの目の前方に来る位置に配置される。仮想現実提示装置４００において、フロントパネル４０２は透過型ディスプレイであり、右目の前方と左目の前方にそれぞれ映像を表示する表示領域であるライト表示パネル１４１ａとレフト表示パネル１４１ｂとが配置される。
【０１７８】
図１４は、仮想現実提示装置４００のライト表示パネル１４１ａ付近の断面図を示している。センターフレーム４０１ｃの下方には、フロントパネル４０２が配置されており、センターフレーム４０１ｃの下部には光源１４２が配置されている。
【０１７９】
光源１４２より放射された可視光はフロントパネル４０２側へ照射される。フロントパネル４０２は、導光板１４３とＬＣＤ１４４とが合わさった構成であり、光源１４２より放射された可視光が導光板１４３でユーザ側へ反射され、表示制御されたＬＣＤ１４４を透過することで仮想現実提示用の映像が表示される。
【０１８０】
なお、仮想現実提示装置４００は図１５に示す構成としても良い。図１５に示す仮想現実提示装置４００は、光源１４２と導光板１４３との間にＬＣＤ１４４が配置されている。従って、外部からの光は、ＬＣＤ１４４を透過することなくユーザの目に照射されるため、外部の景色の明るさが暗くなることを防ぐことができる。
【０１８１】
また、図１６に示すように外界からの光である外部光の照射量を制御するＬＣＤ１４５が配置されていても良い。ＬＣＤ１４４で仮想現実オブジェクトの映像を表示しても、外界からの光が混ざってしまい、仮想現実オブジェクトの像が透けてしまうため、ＬＣＤ１４５において仮想現実オブジェクトの位置における外部光を遮断することで、仮想現実オブジェクトが透けて見えると言ったことを防ぐことができる。
【０１８２】
なお、導光板１４３の位置は、図１７に示すように、ユーザの目に入射される外部光が通過しない位置に配置されていると更に良好である。図１７の構成では、外部光のコントラストを更に向上させることが可能である。
【０１８３】
また、図１８に示すように、外部光を制御するＬＣＤ１４５が配置されていても良い。外部光は、ＬＣＤ１４５を透過してユーザの目に到達する一方、光源１４２から出た光は、ＬＣＤ１４４を透過し、導光板１４３で反射されてユーザの目に到達する。
【０１８４】
なお、ＬＣＤ１４５は、電圧制御によって外部から透過してくる光量を制御できるものであればどのようなものを用いても良い。例えば、電圧を印加することで結晶方向を変化させて乱反射を増加させるディスプレイを用いることも可能である。
【０１８５】
また、図１９に示すようにプロジェクション機構を表示部１４０として使用することも可能である。フロントパネル４０２の上部に位置するセンターフレーム４０１ｃの内部にプロジェクション機構が表示部１４０として配置されている。
【０１８６】
センターフレーム４０１ｃの内部上方に配置されている光源１４２より照射された白色光は、レンズ群１４６ａによって集光された後、ポラライジングコンバータ（ＰＬＣ）１４６ｂによって偏光成分が一方向に整えられたのち、第１反射ミラー１４６ｃによって垂直方向に反射される。第１反射ミラー１４６ｃで反射された白色光は、Ｒ反射ダイクロイックミラー１４６ｄによって赤色の光成分（Ｒ成分）だけが水平方向へ反射され、他の成分の光は、Ｒ反射ダイクロイックミラー１４６ｄを透過する。
【０１８７】
Ｒ反射ダイクロイックミラー１４６ｄを透過した光は、Ｇ反射ダイクロイックミラー１４６ｅで緑色の光成分（Ｇ成分）だけが水平方向に反射され、残りの青色の光成分（Ｂ成分）はＧ反射ダイクロイックミラー１４６ｅを透過する。
【０１８８】
Ｇ反射ダイクロイックミラー１４６ｅを透過したＢ成分の光は、第２反射ミラー１４６ｆで水平方向に反射され、更に第３反射ミラー１４６ｇで垂直上方へ反射され、第１液晶パネル１４６ｈを透過した後にクロスダイクロプリズム１４６ｊに入射される。
【０１８９】
一方、Ｒ反射ダイクロイックミラー１４６ｄで反射されたＲ成分の光は、第４反射ミラー１４６ｋによって垂直方向に反射され、第２液晶パネル１４６ｍを透過した後にクロスダイクロプリズム１４６ｊに入射される。また、Ｇ反射ダイクロイックミラー１４６ｅで反射されたＧ成分の光は、第３液晶パネル１４６ｎを透過した後にクロスダイクロプリズム１４６ｊに入射される。
【０１９０】
クロスダイクロプリズム１４６ｊは、分離されてそれぞれ液晶パネルを通過したＲ成分、Ｇ成分、Ｂ成分の３つの光を合成して水平方向に反射する。クロスダイクロプリズム１４６ｊより出力された合成光は、ガルバノミラー１４６ｐによって垂直方向に反射され、照射窓１４６ｑよりフロントパネル４０２へ照射される。ガルバノミラー１４６ｐは、クロスダイクロプリズム１４６ｊより出力された合成光を水平方向（ｙ方向）に走査しながら反射する。
【０１９１】
フロントパネル４０２のうち、照射窓１４６ｑの下方には導光板１４３が配置されており、当該導光板１４３によってユーザ方向に反射された光がフロントパネル４０２で屈折して平行光となってユーザの目の中へ入射される。ガルバノミラー１４６ｐによって水平方向に光が操作されているため、導光板１４３で反射される光は垂直方向（ｚ方向）に走査される。
【０１９２】
なお、図１９における各部材は、ｘ方向すなわち紙面垂直方向に長細い構成をとっており、右目用の映像におけるｘ方向の一列を纏めて表示する。当該一列の映像がガルバノミラー１４６ｐによってｙ方向に走査されて順次表示されることで、ｘｚ平面の２次元画像がフロントパネル４０２に映し出されることになる。同様に、左目の上部にも同一のプロジェクション機構が配置されており、フロントパネル４０２の左目前方に左目用の映像が映し出される。このように、右目用プロジェクション機構と左目用プロジェクション機構によって表示部が形成される。なお、左目用プロジェクション機構と右目用プロジェクション機構は共通化されていても良い。
【０１９３】
また、図２０のように、仮想現実提示装置４００は、非透過型ＨＭＤ装置であっても良い。この場合、視線カメラ３１１で撮影された映像に仮想現実提示用の映像を合成した映像を表示パネル１４０に表示する。
【０１９４】
この場合、仮想現実オブジェクトの表示位置では、視線カメラで撮影された映像を下位レイヤー、仮想現実オブジェクトの映像を上位レイヤーとして２つの映像を合成して映像が表示パネルで表示される。
【０１９５】
例えば、仮想現実オブジェクトが表示される所定の座標（ｘ、ｙ）において、映像生成処理部２１４０で生成される仮想現実オブジェクトの映像の画素データが（Ｙ１、Ｕ１、Ｖ１）であり、当該座標における視線カメラ３１１で撮影された映像の画素データが（Ｙ２、Ｕ２、Ｖ２）であったとする。仮想現実オブジェクトの配置位置が視線カメラ３１１で撮影された映像に写る物体よりもユーザ側にある場合は、表示パネル１４１ａ、１４１ｂにおける当該座標で表される画素データは（Ｙ１，Ｕ１、Ｖ１）となり、一方、視線カメラ３１１で撮影された映像に写る物体が、仮想現実オブジェクトの配置位置よりもユーザ側になる場合は、表示パネル１４１ａ、１４１ｂにおける当該座標で表される画素データは（Ｙ２，Ｕ２，Ｖ２）となる。
【０１９６】
以上のように、本実施形態４に係る仮想現実提示装置４００は、仮想現実を提示するための手段として、映像表示手段と音声再生手段とを備える。ユーザの視覚と聴覚を錯覚させるように仮想現実の世界が提示されるため、ユーザはより深く仮想現実の世界に入り込むことができる。
【０１９７】
なお、視界に突如物体や人物が現れた場合には、ユーザには多大な違和感を生じるものの、突如前方から音声が聞こえてくる場合には、ユーザにはそれほど違和感を生じることが無い。そのため、音声再生開始判定処理部４３０は、ユーザの状態に基づかない判定処理によって音声再生開始の判定を行う構成としても良い。
【０１９８】
図２１は、本実施形態４に係る仮想現実提示システム４０００の構成を示すブロック図である。仮想現実提示システム４０００は上述の仮想現実提示装置４００と、仮想現実サービス提供サーバ４１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
【０１９９】
仮想現実コンテンツ記憶データベース２３００は、仮想現実コンテンツとして仮想現実オブジェクトのモデルデータに加えて、仮想現実提示用の音声データを記憶する。仮想現実提示用の音声データとしては、各仮想現実オブジェクトに対応付けられた当該仮想現実オブジェクトが発する音声や、仮想現実の世界を創り出すための効果音や背景音楽などが含まれる。
【０２００】
仮想現実サービス提供サーバ４１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、を備える。
【０２０１】
再生音声生成処理部４１２０は、仮想現実提示装置４００の音声再生処理部４４０で再生する仮想現実提示用の音声データを生成する。再生音声生成処理部４１２０は、聴覚点制御部４１２１と、音声分配処理部４１２２と、音声符号化処理部４１２３と、を備える。
【０２０２】
聴覚点制御部４１２１は、通信部２１１０で受信されたユーザ状態情報に基づいて、ユーザの左右の耳の位置に対応する仮想空間内の聴覚点を制御する。
【０２０３】
音声分配処理部４１２２は、仮想現実提示用の音声データを複数のチャンネルに分配してチャンネル別音声データを生成する。音声分配処理部４１２２は、仮想現実オブジェクト配置位置情報取得部４１２２ａと、相対位置関係算出部４１２２ｂと、チャンネル別音声データ生成処理部４１２２ｃと、を備える。
【０２０４】
仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実用の音声データが仮想空間に配置されている仮想現実オブジェクトから発せられる音声である場合に、当該仮想現実オブジェクトが配置されている位置を音声発生源として当該位置座標を仮想現実オブジェクト配置部３１４０より取得する。
【０２０５】
仮想現実コンテンツ読み出し部４１１０で読み出される音声データには、対応する仮想現実オブジェクトを識別する識別番号が付与されている。仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実コンテンツ読み出し部４１１０で読み出された音声データに対応付けられている仮想現実オブジェクトの識別番号に基づいて、当該識別番号で識別される仮想現実オブジェクトの配置位置を示す情報を仮想現実オブジェクト配置部３１３０より取得する。仮想現実オブジェクト配置位置情報取得部４１２２ａは、仮想現実オブジェクト配置部３１４０より取得した仮想現実オブジェクトの位置座標を示す位置情報を相対位置関係算出部４１２２ｂに出力する。
【０２０６】
相対位置関係算出部４１２２ｂは、聴覚点制御部４１２１で求められたユーザの耳の位置に対応する聴覚点の位置座標と、仮想現実オブジェクト配置位置情報取得部４１２２ａで取得された仮想現実オブジェクトの配置位置を示す位置座標とに基づいて、相対位置関係を算出する。具体的に、相対位置関係算出部４１２２ｂは、音声発生源である仮想現実オブジェクトの位置座標から音声集音点である聴覚点の位置座標までのベクトルＰを算出する。相対位置関係算出部４１２２ｂは、算出した相対位置関係であるベクトルＰをチャンネル別音声データ生成処理部４１２２ｃに出力する。
【０２０７】
チャンネル別音声データ生成処理部４１２２ｃは、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実提示用の音声データを、相対位置関係算出部４１２２ｂで算出された相対位置であるベクトル情報に基づいて、複数の音声チャンネルに分配することで各チャンネルの音声データを生成する。
【０２０８】
仮想現実提示装置４００の音声再生処理部４４０は、５．１Ｃｈ、６．１Ｃｈ、７．１Ｃｈ等の複数チャンネルで音声を再生可能な構成を取っており、チャンネル別音声データ生成処理部４１２２ｃは、仮想現実コンテンツ読み出し部４１１０で読み出された音声データを、仮想現実提示装置４００が対応しているＣｈ数に合わせた各チャンネルの音声データを生成する。チャンネル別音声データ生成処理部４１２２ｃは、仮想現実オブジェクトに対応付けられた音声が、当該仮想現実オブジェクトの位置から発せられたようにするために、読み出された音声データの各チャンネルの音声レベルを調整することで、音声に指向性を持たせ、各チャンネルの音声データを生成する。
【０２０９】
音声符号化処理部４１２３は、音声分配処理部４１２２で各チャンネルに分配されたチャンネル別の音声データをＣＳ−ＡＣＥＬＰ（Conjugate-Structure
Algebraic Code Excited Linear Prediction）等の所定の音声符号化方式で符号化して符号化音声データに変換する。音声符号化処理部４１２３で符号化された音声データは、通信部２１１０より仮想現実提示装置４００に送信される。
【０２１０】
以上のように、本実施形態４に係る仮想現実提示システムによれば、ユーザの視覚と聴覚に対して錯覚を起こさせるように仮想現実コンテンツを再生することで、ユーザを自然に仮想現実の世界に入り込ませることが可能となる。
【０２１１】
なお、上記説明では、仮想現実として聴覚と視覚に対するコンテンツの再生を行う構成としたが、嗅覚や触覚を刺激する手段を備える構成であっても良い。例えば、仮想現実提示装置４００に複数の臭気の元となる物質を密封して格納する臭気格納部と、仮想現実管理制御部４６０からの制御に基づいて臭気格納部のいくつかを開放して臭気を混合する臭気混合部と、混合した臭気を放出する臭気放出部が備えられる構成であっても良い。
【０２１２】
＜実施形態５＞
実施形態１〜４に係る仮想現実提示システムでは、仮想現実の提示の開始のタイミングを制御することで、現実の世界から仮想現実の世界へ移り変わる際の不連続性を緩和することができ、ユーザは現実の世界から仮想現実の世界に切り替わったことを知覚することなく仮想現実の世界に入り込むことができる。
【０２１３】
ここで、仮想現実の世界の提示が終了して現実の世界に戻る場合に、仮想現実の世界と現実の世界へ移り変わる際の不連続性からユーザは今まで仮想現実の世界を感知していたことを認識することになる。ここで、ユーザに提供される仮想現実サービスの種類によっては、仮想現実の世界から現実の世界に戻る際の不連続性を抑え、ユーザが仮想現実の世界に一時的にいたと言うことを認識できないように制御することが好ましい場合がある。例えば、時系列状に複数回に渡って仮想現実の世界を提示する仮想現実サービスである場合には、ストーリー性があるために、仮想現実の世界から連続的に現実の世界へ移り変わることが好ましい。本実施形態５に係る仮想現実提示システムでは、仮想現実の提示終了タイミングを制御することを特徴とする。
【０２１４】
図２２は、本実施形態５に係る仮想現実提示装置５００の構成を示すブロック図である。仮想現実提示装置５００は、ユーザ状態検知部１１０と、映像表示開始判定処理部１２０と、表示制御部１３０と、表示部１４０と、音声入力部２１０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、仮想現実提示開始条件設定部４２０と、音声再生開始判定処理部４３０と、音声再生処理部４４０と、音声出力部４５０と、映像表示終了判定処理部５１０と、仮想現実提示終了条件設定部５２０と、音声再生終了判定処理部５３０と、を備える。
【０２１５】
通信部２３０は、仮想現実サービスの提供開始を通知する仮想現実サービス提供開始通知情報に加えて、仮想現実サービスの提供終了を通知する仮想現実サービス提供終了通知情報を受信し、装置側仮想現実提示制御部２２０に出力する。
【０２１６】
装置側仮想現実提示制御部２２０は、仮想現実サービス提供終了通知情報を受け取ると、仮想現実提示終了条件設定部５２０に仮想現実提示終了条件の設定を指示する。具体的には、仮想現実サービス提供終了通知情報に含まれる仮想現実提示終了条件に基づいて、当該仮想現実提示終了条件を設定する。また、映像表示終了判定処理部５１０と音声再生終了判定処理部５３０にそれぞれ対応する判定処理の開始を指示する。
【０２１７】
仮想現実提示終了条件設定部５２０は、装置側仮想現実提示制御部２２０からの指示に基づいて、仮想現実提示終了条件を設定する。仮想現実提示終了条件には、映像表示を終了するための映像表示終了条件と、音声再生を終了するための音声再生終了条件とを含む。
【０２１８】
映像表示終了判定処理部５１０は、装置側仮想現実提示制御部２２０からの指示に従って、現在表示部１４０で表示されている仮想現実用の映像の表示を終了するかどうかの判定処理を開始する。映像表示終了判定処理部５１０は、ユーザ状態検知部１１０で検知されるユーザ状態や、周囲状況検知部３１０で検知される周囲状況が仮想現実提示終了条件を満たしているかの判定処理を行う。当該判定処理の結果、仮想現実提示終了条件を満たしている場合に、映像表示終了判定処理部５１０は、表示制御部１３０に仮想現実用の映像の表示を終了させる指示を行う。表示制御部１３０は、当該指示に基づいて表示部１４０に仮想現実提示用の映像を表示することを終了する制御を行う。
【０２１９】
音声再生終了判定処理部５３０は、装置側仮想現実提示制御部２２０からの指示に従って、現在音声出力部１４０より出力されている仮想現実用の音声の再生を終了するかどうかの判定処理を開始する。音声再生終了判定処理部５３０は、ユーザ状態検知部１１０で検知されるユーザ状態や、周囲状況検知部３１０で検知される周囲状況が仮想現実提示終了条件を満たしているかの判定処理を行う。当該判定処理の結果、仮想現実提示終了条件を満たしている場合に、音声再生終了判定処理部５３０は、音声再生制御部４４０に仮想現実用の映像の表示を終了させる指示を行う。音声再生制御部４４０は、当該指示に基づいて仮想現実提示用の音声再生処理を終了する制御を行う。
【０２２０】
なお、上記音声再生に関する制御は行われない構成としても良い。この場合、音声再生開始判定処理部４３０及び音声再生終了判定処理部５３０は、構成から外される。
【０２２１】
図２３は、本実施形態５に係る仮想現実提示システム５０００の構成を示すブロック図である。仮想現実提示システム５０００は、上述の仮想現実提示装置５００と、仮想現実サービス提供サーバ５１００と、セーブデータ記憶データベース５２００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
【０２２２】
仮想現実コンテンツ記憶ＤＢ２３００は、複数種類の仮想現実サービスにそれぞれ用いられる仮想現実コンテンツを記憶する。仮想現実コンテンツには、図２４に示すように、仮想現実オブジェクトのモデルデータや音声データの他、仮想現実の提示のために実行される仮想現実制御プログラムが含まれる。
【０２２３】
仮想現実制御プログラムは、大きく分けて、仮想現実メイン制御プログラムと、仮想現実サブ制御プログラムと、仮想現実オブジェクト人格制御プログラムと、仮想現実オブジェクト挙動制御プログラムと、に分類される。図２５は、仮想現実制御プログラムの階層構造を示している。
【０２２４】
仮想現実オブジェクト挙動制御プログラムは、仮想空間に配置されている仮想現実オブジェクトの挙動を制御するためのプログラムであって、仮想現実オブジェクト人格制御プログラムによって読み出される。例えば、仮想現実オブジェクトが人間オブジェクトである場合、仮想現実オブジェクト挙動制御プログラムＡは、右膝の関節ポイントを少し折り曲げ、口元のテキスチャーデータを笑顔のテキスチャーデータに段階的に変更すると言った制御を行うプログラムである。一方、仮想現実オブジェクト挙動制御プログラムＮは、のけぞるように腰の関節ポイントを折り曲げ、右肩と右ひじの関節ポイントを所定量回転させることで右腕を前に突き出すと言った制御を行う。当該挙動制御プログラムが実行されることで、フレーム経過に伴って仮想空間に配置されているオブジェクトの外観形状が変化していく。
【０２２５】
仮想現実オブジェクト人格制御プログラムは、仮想現実サブ制御プログラムによって読み出されるプログラムであって、仮想空間に配置されている仮想現実オブジェクトに対する入力と出力との対応関係を制御する。
【０２２６】
仮想現実サブ制御プログラムは、仮想現実メイン制御プログラムによって適宜呼び出されるプログラムであり、提供する仮想現実サービスと対応している。仮想現実サブ制御プログラムは、提供中の仮想現実サービスに用いる仮想現実オブジェクトを仮想空間に読み出して配置する制御や、予め設定されている順序に従って仮想現実オブジェクト挙動制御プログラムを直接読み出して、仮想現実オブジェクトに所定の挙動を行わせる制御を行う。
【０２２７】
仮想現実メイン制御プログラムは、仮想現実サービス毎に対応するプログラムであって、仮想現実サービスの提供開始に当たり、第１に実行されるプログラムである。仮想現実メイン制御プログラムが実行されることで、当該プログラムに対応する仮想現実サービスのための仮想空間の設定や環境設定が行われる。
【０２２８】
仮想現実サービス提供サーバ５１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、を備える。
【０２２９】
サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供可否判定部２１３１と、仮想現実サービス決定部２１３２と、仮想現実サービス制御部２１３３と、通知情報生成処理部２１３４と、を備える。
【０２３０】
仮想現実サービス提供可否判定部２１３１は、音声コンテキスト取得部２１２０で取得される音声コンテキストが仮想現実サービスの提供開始を要求するものであった場合に、契約者情報記憶ＤＢ３２００に記憶されている契約者情報を参照して、要求されている仮想現実サービスを提供可能であるかを判定する。仮想現実サービス提供可否判定部２１３１は、仮想現実サービスの提供が可能であると判定した場合に、仮想現実サービス決定処理部２１３２に提供する仮想現実サービスの決定指示を出すと共に、通知情報生成処理部２１３４に仮想現実サービス提供開始通知情報の生成指示を出す。
【０２３１】
仮想現実サービス決定処理部２１３２は、仮想現実サービス提供可否判定部２１３１からの指示に基づいて、ユーザに提供する仮想現実サービスを決定する。ここで、仮想現実サービス決定処理部２１３２は、セーブデータ記憶データベース５２００に記憶されている当該ユーザの当該仮想現実サービスのセーブデータに基づいて、どの位置からの仮想現実サービスを提供するかを決定する。例えば、仮想現実サービスがストーリー性を有する仮想現実サービスである場合は、既に提供済みの部分を示すセーブデータがセーブデータ記憶データベース５２００に記憶されており、前回提供が終了した位置から再開する必要があるためである。仮想現実サービス決定処理部２１３２は、決定した仮想現実サービス及びセーブデータで示される当該仮想現実サービスにおける再開位置を示す情報を仮想現実サービス制御部２１３３に出力する。
【０２３２】
仮想現実サービス制御部２１３３は、仮想現実サービス決定処理部２１３２からの出力を受けて、仮想現実サービスの提供を行うための各種制御を実行する。仮想現実サービス制御部２１３３は、仮想現実サービス決定処理部２１３２で決定された仮想現実サービスであってセーブデータで示される再開位置に係る仮想現実コンテンツの読み出し指示を仮想現実コンテンツ読み出し部４１１０に出力する。また、仮想現実サービス制御部２１３３は、当該仮想現実サービスに対応する広さの仮想空間の設定指示を仮想空間設定部３１３０に出力する。
【０２３３】
また、仮想現実サービス制御部２１３３は、音声コンテキスト取得部２１２０で取得される音声コンテキストや、画像解析処理部３３１０で得られる画像解析結果に基づいて、当該仮想現実サービスに係る仮想現実メイン制御プログラムや仮想現実サービスサブ制御プログラムを実行することで、仮想現実サービスの提供を継続する。
【０２３４】
また、仮想現実サービス制御部２１３３は、音声コンテキスト取得部２１２０で取得される音声コンテキストや、画像解析処理部３３１０で得られる画像解析結果、ユーザが現在提供中の仮想現実サービスの終了を要求している場合や、その他終了条件を満たした場合に、通知情報生成処理部２１３４に仮想現実サービス提供終了通知情報の生成指示を出す。
【０２３５】
通知情報生成処理部２１３４は、仮想現実サービス提供可否判定部２１３１からの指示や仮想現実サービス制御部２１３３からの指示に基づいて、それぞれ仮想現実サービス提供開始情報や仮想現実サービス提供終了情報を生成し、通信部２１１０に出力する。通信部２１１０は、当該出力された各通知情報を仮想現実提示装置５００に送信する。
【０２３６】
仮想現実オブジェクト挙動制御部５１１０は、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。仮想現実オブジェクト挙動制御部５１１０は、仮想現実コンテンツ読み出し部４１１０によって仮想現実コンテンツ記憶データベース２３００より読み出された仮想現実オブジェクト挙動制御プログラムを実行することで、仮想空間に配置されている仮想現実オブジェクトの挙動を制御する。当該仮想現実オブジェクト挙動制御部５１１０によって、仮想空間内で外観形状が変化していく仮想現実オブジェクトの二次元映像を映像生成処理部２１４０が生成し、最終的に仮想現実提示装置５００の表示部１４０に表示される。
【０２３７】
以上のように、本実施形態５に係る仮想現実提示システムによれば、仮想現実の提示の終了タイミングがユーザの状態に基づいて制御されることで、ユーザが仮想現実の世界から現実の世界に移行したことを認知しないようにできるため、仮想現実の世界が仮想現実の世界であったことをユーザに悟られることを防ぐことができる。
【０２３８】
なお、仮想現実提示開始条件と仮想現実提示終了条件は、同一の条件が設けられていても良い。例えば、ユーザの目が３秒以上閉じている場合に仮想現実の提示を終了すると判定されても良いし、ユーザの向いている方角が９０度以上変化した場合に仮想現実の提示を終了すると判定されても良い。また、ユーザの向いている角度が４５度以上変化した場合に、仮想現実の提示を終了すると判定されても良い。
【０２３９】
＜実施形態６＞
実施形態１〜５に係る仮想現実提示システムでは、仮想現実提示装置側において既に生成されて提示可能な状態となっている映像や音声の提示を開始するか同化の判定を行っている。しかしながら、当該構成では、順次生成されながらも提示開始判定条件を満たさずに破棄される映像や音声を生じてしまうため、リソースの消費が大きくなってしまうと言った問題が生じていた。本実施形態６に係る構成は、リソースの消費を抑えつつ、ユーザが感知する現実の世界から仮想現実の世界への切り替わりにおける不連続性を制御することでユーザが仮想現実の世界に自然に入り込めることを可能としている。
【０２４０】
図２６は、本実施形態６に係る仮想現実提示システム６０００の構成を示すブロック図である。仮想現実提示システム６０００は、仮想現実提示装置６００と、音声解析サーバ２２００と、契約者情報記憶ＤＢ３２００と、仮想現実コンテンツ記憶ＤＢ２３００と、仮想現実サービス提供サーバ６１００と、を備える。
【０２４１】
仮想現実提示装置６００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、を備える。
【０２４２】
ユーザ状態検知部１１０における検知結果であるユーザ状態情報や、音声入力部２１０で入力されるユーザ音声データ、周囲状況検知部３１０における検知結果である周囲状況情報等は、通信部２３０より仮想現実サービス提供サーバ６１００に送信される。
【０２４３】
仮想現実サービス提供サーバ６１００で生成される仮想現実提示用の映像データや音声データは、仮想現実提示用データ記憶部４１０に一時的に記憶され、順次通信部２３０で受信される最新の仮想現実提示用の映像データや音声データによって上書きされる。
【０２４４】
装置側仮想現実提示制御部２２０は、通信部２３０で受信された仮想現実サービス提供開始通知情報に基づいて、表示制御部１３０及び音声再生制御部４４０にそれぞれ仮想現実の提示開始指示を出す。
【０２４５】
仮想現実の提示開始指示を受け取ると、表示制御部１３０は、仮想現実提示用データ記憶部４１０における仮想現実提示用映像データの記憶領域から仮想現実提示用の映像データを順次読み出し、符号化されている場合は復号化処理を行った上で復号処理後の映像を表示部１４０に表示する制御を行う。表示部１４０は、表示制御部１３０で復号された仮想現実提示用の映像を表示する。
【０２４６】
仮想現実の提示開始指示を受け取ると、音声再生制御部４４０は、仮想現実用データ記憶部４１０における仮想現実提示用音声データの記憶領域から仮想現実提示用の音声データを順次読み出し、符号化されている場合は復号化処理を行った上で復号処理後の音声を再生する制御を行う。音声出力部４５０は、音声再生制御部４４０で再生された音声データをアナログ電気信号に変換し、更に空気振動に変換して外部に放音することで音声を出力する。
【０２４７】
仮想現実サービス提供サーバ６１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、仮想現実提示開始判定処理部６１１０と、を備える。
【０２４８】
サーバ側仮想現実提示制御部２１３０は、音声コンテキスト取得部２１２０で取得される音声コンテキスト等に基づいて、仮想現実サービスの提供を開始する処理を行う。サーバ側仮想現実提示制御部２１３０は、仮想現実サービス提供開始通知情報を生成して通信部２１１０に出力する。また、サーバ側仮想現実提示制御部２１３０は、仮想空間設定部３１３０に当該仮想現実サービス用の仮想空間の設定を指示し、仮想現実コンテンツ読み出し部４１１０に提供する仮想現実サービスに係る仮想現実コンテンツの読み出し指示を出し、仮想現実提示開始判定処理部６１１０に仮想現実の提示を開始するかの判定指示を出す。
【０２４９】
サーバ側仮想現実提示制御部２１３０からの指示を受けた仮想現実提示開始判定処理部６１１０は、通信部２１１０で受信されたユーザ状態情報や周囲状況情報に基づいて、仮想現実提示装置６００で仮想現実の提示を開始することが可能な状態であるかを判定する。すなわち、仮想現実提示開始判定処理部６１１０は、仮想現実の提示を開始するための条件である仮想現実提示開始条件とユーザ状態情報等で示されるユーザの状態を比較することで、現在のタイミングで仮想現実の提示をユーザに対して行っても、ユーザが感知する現実の世界から仮想現実の世界への移行における不連続性が所定の基準値以下に抑えられるかを判定する。
【０２５０】
例えば、仮想現実提示開始条件として「ユーザの目が４秒以上閉じていること」という条件が設定されている場合、仮想現実提示開始判定処理部６１１０は、入力したユーザ状態情報に含まれる内部カメラ１１１で撮影された映像に基づいて、ユーザの目が４秒以上継続して閉じているかを判定する。仮想現実提示開始判定処理部部６１１０は、ユーザの状態が当該判定条件を満たしている場合に、仮想現実オブジェクト配置部３１４０に仮想現実オブジェクトの配置を指示する。なお、仮想現実提示開始条件としては、周囲状況検知部３１０で検知される周囲の明るさ（照度）が所定の基準値以下であると言った条件や、ユーザの頭部が４５度以上回転したと言う条件などが設定されていても良い。
【０２５１】
仮想現実提示開始判定処理部６１１０は、上記判定の結果、仮想現実の提示を開始すると判定した場合に、仮想現実オブジェクト配置部３１４０に仮想現実オブジェクトの配置指示を出す。
【０２５２】
仮想現実オブジェクト配置部３１４０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを、仮想現実提示開始判定処理部６１１０からの配置指示に基づいて仮想空間設定部３１３０が設定した（生成した）仮想空間に配置する。すなわち、仮想現実コンテンツ読み出し部４１１０より仮想現実サービスに使用する仮想現実オブジェクトが読み出されても、仮想現実オブジェクト配置部３１４０は、仮想現実提示開始判定処理部６１１０において仮想現実の提示を開始すると判定されるまで仮想現実オブジェクトを仮想空間に配置しない。
【０２５３】
表示映像生成処理部２１４０は、ユーザ状態情報で示される視点位置及び視線方向から仮想空間に配置されている仮想現実オブジェクトを描画することで仮想現実提示用の映像を生成する。ここで、仮想現実提示開始判定処理部６１１０で仮想現実の提示を開始すると判定されるまでは仮想空間に仮想現実オブジェクトが配置されていないため、表示映像生成処理部２１４０で生成される映像は空の映像である。すなわち、仮想現実提示装置６００の表示部１４０には、仮想現実オブジェクトの映像は表示されない。
【０２５４】
以上のように、仮想現実の提示開始を判定する機能が仮想現実サービス提供サーバ側に設けられることで、実際には表示されない仮想現実オブジェクトの映像データが仮想現実提示装置側に送信されることはない。従って、仮想現実提示装置と仮想現実サービス提供サーバ間の無線リソースの不要な消費を抑え、また、仮想現実提示装置における不要な処理を抑えることでバッテリー消費電力を抑えることができる。
【０２５５】
なお、本実施形態６に係る仮想現実提示システム６０００は、図２７の構成としても良い。図２７に示す仮想現実提示システム６０００において、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０からの判定指示に基づいて、仮想現実の提示を開始するかどうかの判定処理を行う。
【０２５６】
仮想現実提示開始判定処理部６１１０で仮想現実の提示を開始すると判定された場合、すなわち、仮想現実提示条件を対象となるユーザ状態等が満たしていると判定された場合に、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０に、仮想現実の提示開始を指示する。サーバ側仮想現実提示制御部１２３０は、当該仮想現実提示開始判定処理部６１１０からの指示に基づいて、仮想現実コンテンツ読み出し部４１１０に、提供する仮想現実サービスに係る仮想現実コンテンツの読み出し指示を出す。
【０２５７】
仮想現実コンテンツ読み出し部４１１０は、当該読み出し指示に基づいて、仮想現実コンテンツ記憶ＤＢ２３００より仮想現実オブジェクトと仮想現実提示用音声データとを読み出す。仮想現実コンテンツ読み出し部４１１０は、読み出した仮想現実オブジェクトを仮想現実オブジェクト配置部３１４０に出力し、仮想現実提示用音声データを再生音声生成処理部４１２０に出力する。仮想現実オブジェクト配置部３１４０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを、仮想空間設定部３１３０が設定した仮想空間に配置する。表示映像生成処理部２１４０は、仮想空間に配置されている仮想現実オブジェクトの映像をユーザ状態に基づいて描画し、仮想現実提示用の映像データを生成する。再生音声生成処理部４１２０は、仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実提示用音声データに基づいて仮想現実提示装置６００で再生するための音声データを生成する。
【０２５８】
このように、仮想現実提示開始判定の結果に基づいて、仮想現実オブジェクトがデータベースより読み出されて仮想空間に配置される構成とすることで、当該判定をクリアするまでは表示映像生成処理部２１４０で空の映像が生成されるため、仮想現実提示装置６００の表示部１４０には仮想現実オブジェクトの映像が表示されない。従って、同様の効果を生み出すことができる。
【０２５９】
また、本実施形態６に係る仮想現実提示システム６０００は、図２８の構成としても良い。図２８に示す仮想現実提示システム６０００において、仮想現実提示開始判定処理部６１１０は、サーバ側仮想現実提示制御部２１３０からの判定指示に基づいて、仮想現実の提示を開始するかどうかの判定処理を行う。仮想現実提示開始判定処理部６１１０は、仮想現実の提示を開始すると判定した場合、表示映像生成処理部２１４０と再生音生成処理部４１２０に、仮想現実の提示開始を指示する。
【０２６０】
表示映像生成処理部２１４０は、仮想現実提示開始判定処理部６１１０からの仮想現実提示開始指示に基づいて、仮想空間に配置されている仮想現実オブジェクトを描画して仮想現実提示用の映像を生成する。再生音声生成処理部４１２０は、仮想現実提示開始判定処理部６１１０からの仮想現実提示開始指示に基づいて、仮想現実提示用の音声を生成する。
【０２６１】
このように、仮想現実の提示を受けるユーザの状態等が仮想現実の提示を受けるための条件である仮想現実提示条件を満たした場合に、仮想現実提示用の映像や音声が生成されるため、仮想現実サービス提供サーバにおける不要な処理を削減し、リソース消費を抑えることができる。
【０２６２】
＜実施形態７＞
実施形態６に係る仮想現実提示システムでは、仮想現実の提示が開始される条件を制御することで、ユーザが仮想現実の世界に違和感なく入れることを特徴としている。ここで、ユーザに提供される仮想現実サービスによっては、単一の仮想現実オブジェクトが表示されるだけではなく、複数の仮想現実オブジェクトが時間の進行に伴って順次仮想空間に読み出されて配置される形態を取る場合がある。
【０２６３】
この場合に、新たな仮想現実オブジェクトがユーザの視界にいきなり現れると、ユーザには当該仮想現実オブジェクトが瞬間移動して目の前に現れたように感知されることになる。しかしながら、このような瞬間移動は現実の世界においては物理的に最も起こりえない現象であるため、当該目の前に現れた物体（人物）が現実の世界のものではなく、仮想現実オブジェクトであることを認識してしまい、仮想現実の世界に入り込めなくなる。
【０２６４】
図２９は、仮想現実提示前、仮想現実提示開始後、仮想現実オブジェクト追加後における仮想現実提示用の映像と、ユーザが感知する仮想現実の世界との関係を示している。仮想現実を提示する前のユーザの視線先にある景色は、２つのソファーが置かれた部屋の景色である（ａ）。ここで、ユーザは「お部屋で手軽にサファリ体験」と言う仮想現実サービスの提供を要求し、仮想現実オブジェクトであるライオンの映像が仮想現実サービス提供サーバで生成され、映像表示開始条件（仮想現実提示条件）を満たした場合に、当該ライオンの映像が表示部である表示パネルに表示される（ｂ）。
【０２６５】
ここで、時間の経過に伴って、第２の動物である犬の仮想現実オブジェクトが追加されたとする。ここで、既に仮想空間に配置しているライオンの仮想現実オブジェクトと、新たに追加される犬の仮想現実オブジェクトを同一に描画して１つの映像データを生成されたとする（ｃ）。この場合、ユーザには、ライオンは連続的にそこに居続けるように感知される一方で、犬は瞬間移動して現れたように感知されてしまい、当該犬は現実の犬ではなく、仮想現実の映像であることを明確に認識してしまうことになる。
【０２６６】
本実施形態７に係る仮想現実提示システムでは、このように新たな仮想現実オブジェクトの映像を表示する場合において、仮想現実の世界と現実の世界との不連続性を抑えつつ表示することを特徴とする。
【０２６７】
図２９は、本実施形態７に係る仮想現実提示システム７０００の構成を示すブロック図である。仮想現実提示システム７０００は、仮想現実提示装置７００と、仮想現実サービス提供サーバ７１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
【０２６８】
仮想現実サービス提供サーバ７１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、を備える。仮想空間設定部３１３０は、仮想空間生成部３１３１と、仮想空間更新管理部３１３２とを備える。
【０２６９】
仮想空間生成部３１３１は、新たな仮想現実サービスを開始するとサーバ側仮想現実提示制御部２１２０で決定された場合に、当該仮想現実サービス用の仮想空間を生成する。ここで、仮想空間生成部３１３１は、仮想空間における複数のレイヤーを生成する。
【０２７０】
仮想空間更新管理部３１３２は、仮想現実オブジェクト配置部３１４０が行う新たな仮想現実オブジェクトの配置処理や、仮想現実オブジェクト挙動制御部５１１０が行う仮想現実オブジェクトの挙動制御処理に応じて、仮想空間に配置されている仮想現実オブジェクトの位置や配置関係を更新する。
【０２７１】
仮想空間管理部３１３２は、仮想空間に配置される仮想現実オブジェクトを複数のレイヤーに分けて管理する。例えば、仮想空間に、ＶＯ００１、ＶＯ００２、ＶＯ００３の識別番号で識別される３つの仮想現実オブジェクトが配置されているとする。例えば仮想空間管理部３１３２は、ＶＯ００１とＶＯ００２を仮想空間のレイヤーＬ０１に関連付け、ＶＯ００３をレイヤー００２に関連付ける。
【０２７２】
仮想現実オブジェクト配置部３１４０は、新たに仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを仮想空間に設定されている新規仮想現実オブジェクト用のレイヤーに関連付けて仮想空間に配置する。
【０２７３】
表示映像生成処理部２１４０は、仮想空間に配置されている仮想現実オブジェクトをレイヤー毎に分離してそれぞれ描画処理を行い、レイヤー毎の映像データを生成する。表示映像生成処理部２１４０は、当該生成したレイヤー毎の映像データを符号化して通信部２１１０に出力する。通信部２１１０は、表示映像生成処理部２１４０で生成されたレイヤー毎の映像符号化データを仮想現実提示装置７００へ送信する。
【０２７４】
図３１は、仮想現実提示装置７００の構成を示すブロック図である。仮想現実提示装置７００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、映像表示開始条件設定部７１０と、映像表示判定処理部７２０と、を備える。
【０２７５】
映像表示条件設定部７１０は、仮想空間におけるレイヤー毎の映像を表示するための条件を設定する。例えば、映像表示開始条件設定部７１０は、新たに仮想空間に配置される仮想現実オブジェクトが含まれるレイヤーに対する表示開始条件や表示終了条件を設定する。
【０２７６】
映像表示判定処理部７２０は、ユーザ状態検知部１１０で検知されるユーザ状態や周囲状況検知部３１０で検知される周囲状況に基づいて、各レイヤーの映像を表示するかを判定する。映像表示判定処理部７２０は、各レイヤーに設定された映像表示条件をユーザ状態や周囲状況などのパラメータが満たしているかを比較判定し、判定の結果を表示制御部１３０に出力する。
【０２７７】
表示制御部１３０は、映像データ読み出し部１３１と、映像復号化処理部１３２と、映像合成処理部１３３と、を備える。映像データ読み出し部１３１は、映像表示判定処理部７２０における判定結果に基づいて、表示すると判定されたレイヤーの映像符号化データを仮想現実提示用データ記憶部４１０より読み出す。
【０２７８】
映像復号化処理部１３２は、映像データ読み出し部１３１で読み出された各レイヤーの映像符号化データに対して復号化処理を行い、復号化後の各レイヤーの映像データを取得する。
【０２７９】
映像合成処理部１３３は、復号された各レイヤーの映像を合成して、表示用映像を取得し、表示部１４０に出力する。表示部１４０は、映像合成処理部１３３で合成された映像を表示する。
【０２８０】
以上のように、本実施形態７に係る仮想現実提示システムでは、仮想現実オブジェクトが、仮想空間生成処理部３１３１が生成する複数のレイヤーの仮想空間の中からいずれかのレイヤーの仮想空間に配置され、レイヤー毎に仮想現実提示用映像が生成される。更に、新たに仮想現実オブジェクトが配置されたレイヤーの仮想現実提示用映像を表示するかどうかの判定処理が行われ、当該判定をクリアした場合に、他のレイヤーの仮想現実提示用映像と合成された上で表示される。当該構成とすることで、既に表示中の仮想現実オブジェクトの映像に加えて新たに仮想現実オブジェクトをユーザに提示する場合に、ユーザの状態等に応じて所定の条件を満たした場合に表示部１４０に表示されるため、ユーザは、当該追加された仮想現実オブジェクトが現実の物体（人物）であると錯覚しやすくなり、現実の世界と仮想現実の世界の不連続性を抑えることができる。
【０２８１】
図３２は、仮想現実提示用の映像と、ソファーが２つ置かれている現実の世界においてユーザが感知する仮想現実の世界とを示している。仮想空間のレイヤー０１にライオンの仮想現実オブジェクトが配置され、当該仮想現実オブジェクトを描画したレイヤー０１の映像が生成されて表示部１４０に表示されている（ｂ）。
【０２８２】
ここで、新たに犬の仮想現実オブジェクトを仮想空間に配置する場合に、既に仮想現実オブジェクトが配置されているレイヤー０１とは異なるレイヤー０２に当該犬の仮想現実オブジェクトが配置され、レイヤー毎に仮想現実提示用の映像が生成される（ｃ）。レイヤー０２について、表示開始条件を満たしている場合に、レイヤー０１とレイヤー０２とが合成された映像が表示部１４０に表示される。
【０２８３】
このようにレイヤー毎に映像を生成して表示するため、仮想現実の提示を制御することが容易となる。
【０２８４】
なお、図３３、３４の構成とすると更に好ましい。図３３に係る仮想現実サービス提供サーバ７１００において、仮想現実更新管理部３１３２は、各レイヤーの順序を示すレイヤー順序情報を生成する。仮想現実更新管理部３１３２は、通信部２１１０で受信されたユーザ状態情報に基づいて特定される仮想空間におけるユーザの目の位置に対応する視点位置と、仮想現実オブジェクト配置部３１４０が配置して仮想現実オブジェクト挙動制御部５１１０が制御する仮想現実オブジェクトの仮想空間内での位置とに基づいて、各仮想現実オブジェクトが含まれているレイヤーの順序を求めてレイヤー順序情報を生成する。レイヤー順序情報は、通信部２１１０より仮想現実提示装置７００に送信される。
【０２８５】
仮想現実提示装置７００において、表示制御部１３０は、レイヤー順序管理部１３４を備える。通信部２３０で受信されたレイヤー順序情報はレイヤー順序管理部１３４に出力される。レイヤー順序管理部１３４は、通信部２３０で受信されたレイヤー順序情報に基づいて、レイヤーの順序を管理する。映像合成処理部１３３は、レイヤー順序管理部１３４が管理するレイヤーの順序に基づいて複数のレイヤーの映像を合成し、表示部１４０に表示させる制御を行う。
【０２８６】
このように、レイヤーの順序を示すレイヤー順序情報が仮想現実提示装置７００へ送信されて、当該レイヤー順序情報で示されるレイヤー順序に従って、各レイヤーの映像を合成して仮想現実提示用の合成映像を生成することで、適切に仮想現実オブジェクトの映像をユーザに提示することが可能となる。
【０２８７】
なお、当該レイヤー間で仮想現実オブジェクトを移動させる機能を備える構成とすると更に良好である。仮想空間更新管理部３１３２は、複数のレイヤーにそれぞれ配置している仮想現実オブジェクトを他のレイヤーに移動させる処理を行う。当該処理を行うことで、複数のレイヤーにばらばらに配置されている仮想現実オブジェクトを少数のレイヤーに纏めて再配置したり、複数の仮想現実オブジェクトが配置されているレイヤーから一部の仮想現実オブジェクトを抽出して他のレイヤーに配置する構成としても良い。
【０２８８】
表示映像生成処理部２１４０は、レイヤー毎に描画処理を行って仮想現実提示用の映像を生成するため、レイヤー数が増えると描画処理に必要となるリソースが増加する。従って、一纏めにできる仮想現実オブジェクトを同一のレイヤー内に纏める処理を行うことで、不要なレイヤーを削除し、レイヤー数を抑えることができる。
【０２８９】
なお、この場合、映像表示判定処理部７２０における判定結果を仮想現実サービス提供サーバ７１００に送信する構成としても良い。仮想空間更新管理部３１３２は、当該判定結果に基づいて仮想現実オブジェクトを他のレイヤーに移動する更新処理を行う。例えば、仮想空間更新管理部３１３２は、映像表示判定処理部７２０で、新たに仮想空間に配置された仮想現実オブジェクトの映像の表示を開始すると判定された場合に、新規仮想現実オブジェクト用のレイヤーに配置されている当該仮想現実オブジェクトを既存の仮想現実オブジェクトが配置されているレイヤーに移動する処理を行う。当該構成とすることで、表示が開始された仮想現実オブジェクトは、それまでの仮想現実オブジェクトと一緒に纏めて描画されることになる。
【０２９０】
なお、仮想空間更新管理部３１３２は、仮想現実の提示の終了に係る仮想現実オブジェクトを、終了用レイヤーに移し替える構成とすると、当該仮想現実オブジェクトだけをユーザの状態に応じて終了させることが可能となるため更に好ましい。このような場合も、仮想空間更新管理部３１３２は、レイヤー順序情報を生成して仮想現実提示装置７００へ送信する。また、仮想空間更新管理部３１３２は、当該レイヤーに関する表示終了条件を送信し、映像表示条件設定部７１０は、当該表示終了条件を設定する。映像表示判定処理部７２０は、当該映像表示条件設定部７１０に設定されている当該終了用のレイヤーの映像表示終了条件と、検知されたユーザ状態等を比較することで、当該レイヤーの表示を終了するかを判定する。当該判定の結果、ユーザ状態等が映像表示終了条件を満たしている、すなわち、当該レイヤーの表示を終了すると判定した場合に、映像合成処理部１３３は、合成する複数のレイヤーの中から当該終了すると判定されたレイヤーについては合成を行わず、他のレイヤーの映像を合成して表示部１４０に表示する制御を行う。また、映像表示判定処理部７２０は、当該レイヤーの表示を終了したことを示す表示終了通知情報を生成する。通信部２３０は、当該表示終了通知情報を仮想現実サービス提供サーバ７１００に送信する。
【０２９１】
当該表示終了通知情報を受信した仮想現実サービス提供サーバ７１００において、仮想空間更新管理部３１３２は、当該表示終了通知情報で示される表示が終了したレイヤーに配置されている仮想現実オブジェクトを仮想空間内から消去する処理を行う。当該処理によって、仮想空間に配置されていた仮想現実オブジェクトの消去が完了する。
【０２９２】
なお、上記説明では、仮想空間に配置される仮想現実オブジェクトが通常用レイヤー、新規配置用レイヤー、表示終了用レイヤー、の３つのレイヤーのいずれかのレイヤーに関連付けられる構成について説明したがこれに限定されるものではない。すなわち、上記説明では、仮想現実オブジェクト配置部３１４０は、新たに仮想現実コンテンツ読み出し部４１１０で読み出された仮想現実オブジェクトを新規配置用レイヤーに配置し、仮想現実提示装置７００側で当該レイヤーの映像が通常用レイヤーの映像と合成されて表示が開始された場合に、仮想空間更新管理部３１３２は、通常用レイヤーに配置されている仮想現実オブジェクトを通常用レイヤーに移し替える処理を行う。また、表示終了に係る仮想現実オブジェクトがある場合は、仮想空間更新管理部３１３２は、通常用レイヤーに配置されている終了に係る仮想現実オブジェクトを終了用レイヤーに移動する処理を行う。当該状態において仮想現実提示装置７００より表示終了通知情報が受信された場合に、当該終了用レイヤーに配置している終了に係る仮想現実オブジェクトを仮想空間から消去する。
【０２９３】
これに対し、新たに追加される各仮想現実オブジェクトをそれぞれ異なるレイヤーに配置する構成としても良いし、ユーザからの距離に応じてレイヤーを管理する構成としても良い。例えば、ユーザからの距離Ｌが０ｍ＜Ｌ≦５ｍの位置にある仮想現実オブジェクトをレイヤー０１と関連付け、５ｍ＜Ｌ≦１０ｍの位置にある仮想現実オブジェクトをレイヤー０２と関連付け、１０ｍ＜Ｌ≦３０ｍの位置にある仮想現実オブジェクトをレイヤー０３と関連付け、３０ｍ＜Ｌ≦１００ｍの位置にある仮想現実オブジェクトをレイヤー０４と関連付け、１００ｍ＜Ｌの位置にある仮想現実オブジェクトをレイヤー０５と関連付ける。
【０２９４】
ここで、ユーザ自身の移動や仮想現実オブジェクト挙動制御部５１１０による挙動制御によって仮想現実オブジェクトが仮想空間内を移動することで、ユーザと各仮想現実オブジェクトの位置関係は変化していく。従って、仮想空間更新管理部３１３２は、所定の周期で各レイヤーと各仮想現実オブジェクトとの関連付けを変更する処理を行う。
【０２９５】
図３５は、当該各レイヤーと仮想現実オブジェクトとの関連付けを管理する管理ファイルの一例である。仮想空間更新管理部３１３２は、当該管理ファイルにおいて、各レイヤーに関連付けられた仮想現実オブジェクトをレイヤー間で移動させることでレイヤーに関連付けられた仮想現実オブジェクトを更新する。表示映像生成処理部２１４０は、各レイヤー毎に当該レイヤーに含まれる仮想現実オブジェクトだけを描画したレイヤー別映像を生成する。
【０２９６】
なお、上記説明では、１つの仮想空間内に複数のレイヤーを設定する場合について説明したが、本実施形態はこれに限定されるものではない。仮想空間生成部３１３１は、レイヤー毎に仮想空間を生成し、仮想現実オブジェクト配置部３１４０は、新しいレイヤーの仮想空間に仮想現実オブジェクトを配置する。すなわち、各レイヤーが独立した仮想空間を表しており、従って仮想空間生成部３１３１は、新たに仮想現実オブジェクトが読み出されて配置される場合に新たな仮想空間を生成する。従って、仮想空間生成部３１３１は、複数の仮想空間を生成し、各仮想空間をレイヤーで識別する。表示映像生成処理部２１４０は、現在生成されている各レイヤーの仮想空間をそれぞれ独立して描画することでレイヤー毎の仮想現実オブジェクトの映像を生成する。
【０２９７】
複数の仮想空間をレイヤーとしてそれぞれ仮想現実オブジェクトが配置され、仮想空間毎に描画処理を行うため、複数の描画処理部を用意しておくことで、同時に複数レイヤーの映像を生成することができる。
【０２９８】
＜実施形態８＞
実施形態７では、仮想現実サービス提供サーバにおいて、仮想現実提示用の映像がユーザの状態に基づいて生成され、仮想現実提示装置に送信されて表示される形態を取る。通常、ユーザ状態は仮想現実提示装置で生成され、無線ネットワークを介して仮想現実サービス提供サーバに送信され、当該ユーザ状態に基づいて制御される視点位置や視線方向に従って仮想現実提示用の映像が生成される。従って、仮想現実提示装置でユーザ状態が検知されてから、当該ユーザ状態に基づいて生成された仮想現実提示用の映像が表示部で表示されるまでにはタイムラグが発生する。
【０２９９】
このタイムラグの間にユーザ状態に大きな変更がなければ特に問題はないが、ユーザが大きく頭を傾けたり移動したりした場合に、映像生成に用いられるユーザ状態と、表示時点のユーザ状態とに乖離が生じてしまう。従って、生成された仮想現実提示用の映像をそのまま表示した場合に、現実の世界との融合がうまく機能しない場合がある。本実施形態８に係る仮想現実提示システムでは、ユーザ状態の変化に伴う仮想現実用の映像と現実の世界との乖離を抑える制御をおこなうことを特徴としている。
【０３００】
図３５は、本実施形態８に係る仮想現実提示装置８００の構成を示すブロック図である。仮想現実提示装置８００は、ユーザ状態検知部１１０と、音声入力部２１０と、表示制御部１３０と、表示部１４０と、装置側仮想現実提示制御部２２０と、通信部２３０と、周囲状況検知部３１０と、仮想現実提示用データ記憶部４１０と、音声再生制御部４４０と、音声出力部４５０と、映像表示開始条件設定部７１０と、映像表示判定処理部７２０と、ユーザ状態記憶部８１０と、を備える。表示制御部１３０は、新たに映像補正処理部１３５を備える。
【０３０１】
ユーザ状態検知部１１０は、検知したユーザ状態の検知タイミングを示す検知タイミング情報を含めてユーザ状態情報を生成する。ユーザ状態記憶部８１０は、ユーザ状態検知部１１０で検知されたユーザ状態を時系列状に記憶管理する。
【０３０２】
通信部２３０は、当該検知時刻情報を含むユーザ状態情報を仮想現実サービス提供サーバへ送信する。また、通信部２３０は、当該ユーザ状態情報に基づいて生成された映像データや音声データを受信する。当該映像データや音声データには、どの検知タイミングで検知されたユーザ状態に基づいて生成された映像データ又は音声データであるかを示す使用検知タイミング識別情報が含まれる。
【０３０３】
映像補正処理部１３５は、映像復号化処理部１３２で復号化された映像に対する補正処理を行う。具体的に、当該映像生成に用いられたユーザ状態を使用検知タイミング識別情報から特定し、最新の検知タイミングにおけるユーザ状態との差分を算出する。映像補正処理部１３５は、復号化された映像に対して、当該映像生成に用いられたユーザ状態と最新のユーザ状態の変化に対応する映像補正処理を行う。
【０３０４】
例えば、ユーザが右方向に動いている場合、全体の景色は相対的に左側に流れていく。従って、表示部１４０に表示する映像も現実の景色の流れに合わせて左側に動いていかなければ現実の世界と仮想現実提示用の映像との調和がとれない。映像補正処理部１３５は、上記ユーザ状態の変化に伴って、復号化された映像の表示位置を補正する処理を行う。
【０３０５】
映像補正処理部１３５は、映像生成に用いられたユーザ状態と最新のユーザ状態の差分に基づいて、表示部１４０における表示領域の変更量を算出する。具体的には、映像補正処理部１３５は、上記ユーザ状態の差分に基づいて表示部１４０における表示領域のずれを示す補正ベクトルを算出する。映像補正処理部１３５は、復号化された映像の各画素座標に当該補正ベクトルを加算することで表示位置を変更した補正後映像を生成する。
【０３０６】
なお、ユーザの動きに連動して、仮想現実オブジェクトの表示位置がどの程度どの方向に移動するかはユーザの位置と仮想現実オブジェクトとの相対位置関係に応じて異なる。例えば、ユーザから遠い位置に配置されている仮想現実オブジェクトは、現実の景色と融合させるためにはユーザの移動に対して大きく表示位置が変更されないのに対し、ユーザの近くにいる仮想現実オブジェクトは、相対的に表示位置が大きく変更されることになる。従って、映像補正処理部１３５は、各レイヤーに含まれる仮想現実オブジェクトまでの距離を示す情報である仮想現実オブジェクト距離情報を入力し、当該仮想現実オブジェクト距離情報に基づいて表示位置の変更ベクトルを算出する構成とすることが好ましい。当該仮想現実オブジェクト距離情報は、映像データと共に仮想現実サービス提供サーバより送信される。
【０３０７】
なお、映像補正はレイヤー毎の映像に対して行われるため、ユーザの現在位置から当該レイヤーまでの距離を示すレイヤー距離情報を入力する構成としても良い。１つのレイヤーに複数の仮想現実オブジェクトが含まれている場合、仮想現実オブジェクト毎に表示位置補正を行うことができず、レイヤー単位で補正を行うことになるため、仮想現実オブジェクトまでの個々の距離ではなく、レイヤーまでの距離とする方が適切な場合があるためである。レイヤーまでの距離は、例えば当該レイヤーに含まれる仮想現実オブジェクトの平均距離としても良いし、レイヤーに含まれる複数の仮想現実オブジェクトの中から代表仮想現実オブジェクトを設定しておき、当該代表仮想現実オブジェクトまでの距離をレイヤーまでの距離としても良い。
【０３０８】
なお、レイヤーまでの距離ではなく、レイヤーの代表位置座標に関する情報を入力し、ユーザ状態の変化に伴う補正量を算出して表示位置の変更を行っても良いし、仮想現実オブジェクトまでの距離ではなく、当該仮想現実オブジェクトの位置座標に関する情報を入力し、ユーザ状態の変化に伴う補正量を算出して表示位置の変更を行っても良い。
【０３０９】
なお、表示位置を算出した補正ベクトルに従って全体的にスライドすることで、表示部１４０で表示される範囲の映像を生成することに加えて、より高度な補正を行っても良い。例えば、ユーザ状態の変化に伴って仮想現実オブジェクトの縦横比を変更したり、大きさを拡大・縮小する補正処理を行う構成としても良い。
【０３１０】
図３７は、本実施形態８に係る仮想現実提示システム８０００の構成を示すブロック図である。仮想現実提示システム８０００は、仮想現実提示装置８００と、仮想現実サービス提供サーバ８１００と、音声解析サーバ２２００と、仮想現実コンテンツ記憶ＤＢ２３００と、契約者情報記憶ＤＢ３２００と、を備える。
【０３１１】
仮想現実サービス提供サーバ８１００は、通信部２１１０と、音声コンテキスト取得部２１２０と、サーバ側仮想現実提示制御部２１３０と、表示映像生成処理部２１４０と、画像解析処理部３１１０と、仮想空間設定部３１３０と、仮想現実オブジェクト配置部３１４０と、仮想現実コンテンツ読み出し部４１１０と、再生音声生成処理部４１２０と、仮想現実オブジェクト挙動制御部５１１０と、付随情報生成処理部８１１０と、を備える。
【０３１２】
表示映像生成処理部２１４０は、通信部２１１０で受信されたユーザ状態情報に基づいて仮想現実提示用の映像を生成する。表示映像生成処理部２１４０は、ユーザ状態情報で示されるユーザ状態に基づいて視点位置や視線方向を特定し、当該特定した視点位置や視線方向に基づいて、仮想空間に配置されている仮想現実オブジェクトをレイヤー毎に描画することで仮想現実提示用の映像をレイヤー毎に生成する。
【０３１３】
ここで、表示映像生成処理部２１４０は、仮想現実提示装置８００が備える表示部１４０の表示領域よりも大きめの映像を生成する。例えば、表示部１４０が１９２０ピクセル×１０８０ピクセルの表示領域を有する表示パネルであった場合に、仮想現実提示装置８００は、２１１０ピクセル×１２６０ピクセルの映像を生成する。具体的には、表示映像生成処理部２１４０は、イメージプレーンに投影した映像の中から、表示部１４０における表示領域よりも所定のサイズ大きい映像を切り取るクリッピング処理を実行する。このように大き目の映像を生成することで、仮想現実提示装置８００における映像補正処理で発生する補正ベクトルに沿った映像のスライド処理に対応可能となる。
【０３１４】
表示映像生成処理部２１４０は、映像生成に用いたユーザ状態情報に含まれる検知タイミング識別情報を付与して映像データを生成する。すなわち、表示映像生成処理部２１４０は、映像生成に用いたユーザ状態情報を判別可能な状態で仮想現実提示用の映像を生成する。
【０３１５】
再生音声生成処理部４１２０は、通信部２１１０で受信されたユーザ状態情報に基づいて仮想現実提示用の音声を生成する。ここで、再生音声生成処理部４１２０は、音声生成に用いたユーザ状態情報に含まれる検知タイミング識別情報を付与して音声データを生成する。すなわち、再生音声生成処理部４１２０は、音声生成に用いたユーザ状態情報を判別可能な状態で仮想現実提示用の音声を生成する。
【０３１６】
付随情報生成処理部８１１０は、仮想現実提示装置８１００における映像補正処理に用いる各種付随情報を生成する。付随情報生成処理部８１１０は、表示映像生成処理部２１４０で生成される各レイヤーの映像について、当該レイヤーの順序を示すレイヤー順序情報、各レイヤーまでの距離や代表位置座標を示すレイヤー情報、各レイヤーに含まれる仮想現実オブジェクトまでの距離や位置座標を示す仮想現実オブジェクト情報を、当該付随情報として生成する。通信部２１１０は、当該生成された付随情報を仮想現実提示装置８００に送信する。
【０３１７】
仮想現実提示装置８００において通信部２３０は当該付随情報を受信する。付随情報にレイヤー順序情報が含まれている場合は、通信部２３０はレイヤー順序情報をレイヤー順序管理部１３４へ出力する。付随情報にレイヤー情報や仮想現実オブジェクト情報が含まれている場合は、通信部２３０は、これらの情報を映像補正処理部１３５に出力する。
【０３１８】
以上のように、本実施形態８に係る仮想現実提示システムでは、仮想現実サービス提供サーバ側で仮想現実提示用の映像が生成され、仮想現実提示装置側で所定の補正処理が行われた上でユーザに提示される。
【０３１９】
一般的に、ユーザ状態の検知レートと、映像生成レート、映像表示レートは異なる。また、ユーザ状態が検知されてから、当該ユーザ状態に基づく映像が表示されるまでに映像生成処理や通信処理に伴うタイムラグが発生する。当該タイムラグの間にユーザの状態が変化すると、過去のユーザ状態に基づいて生成された映像が現実の景色と融合できなくなる可能性がある。そのため、生成された映像が受信された後に、ユーザ状態の変化に対応する補正処理を行って現実の景色との融合を維持する表示制御を行った上で表示部に表示する。当該構成とすることで、例えばユーザの頭部が動いても、表示部に表示される仮想現実オブジェクトは、仮想現実の世界の中で同一の位置を保つように表示されるため、ユーザは仮想現実の世界を疑うことなく感知し続けることができる。
【０３２０】
なお、上記説明では映像について補正処理を行う場合について説明したが、音声についても同様の処理を行っても良い。すなわち、音声再生制御部４４０内に音声補正処理部を別途備え、当該ユーザ状態変化に伴って、各チャンネルに分配する音声を補正する処理を行う。但し、聴覚に対する人間の位置分解能はそれほど高くなく、ユーザ状態を検知してから音声が再生されるまでにおけるユーザ状態の変化程度では、問題となることは少ないため、音声再生に関しては当該補正を行わない構成とすることも可能である。ユーザ状態が更新されて通信部２３０より仮想現実サービス提供サーバ８１００に送信された場合に、仮想現実サービス提供サーバ８１００の再生音声生成処理部４１２０で最新のユーザ状態に基づいて各チャンネルの音声データが生成される。そのため聴覚における位置分解能に対して十分追随することができる。一方、視覚における位置分解能は遥かに精細であるため、僅かなユーザ状態の変化であっても、仮想現実オブジェクトの揺れがユーザに感知されてしまうため、より高いレートで補正処理を行う。
【０３２１】
＜実施形態９＞
私達人間は、五感で感知する現実の世界における客観的な情報に基づいて行動しながらも、希望や欲望と言った感情によって現実の世界を歪曲して認識することがある。例えば、現実的にはあり得ないことであっても願うことでそれが実現することを心の中で期待する。
【０３２２】
仮想現実の世界とは、現実の世界では起こりえない出来事を現実の世界で起こりえたように再現することを特徴としている。従って、人間が持つ祈りや願いと言った行動に対応する形で仮想現実の世界を提示することで、ユーザは自身の祈りや願いが通じたと感じることになり、自然と仮想現実の世界に入り込むことができる。
【０３２３】
例えば、あるユーザが、既に亡くなってしまった祖父にもう一度会いたいという願いを持っていたとしよう。死人が生き返らないという残酷的な事実を私達人間は皆、客観的に認識しつつも、心のどこかで蘇ることを期待している。このような場合、ユーザは目を閉じ心の中で「もう一度祖父に会いたい」と呟き、願い、祈る。そして目の前に祖父が現れたとき、ユーザは祈りが通じたと感じるため、その祖父の姿が例え仮想的に創られた姿であったとしても、それが現実の世界に現れた真実のものであると錯覚しやすくなる。本実施形態９にかかる仮想現実提示システムは、このような人間の心の隙間を利用することで、仮想現実の世界をユーザに提示することを特徴とする。
【０３２４】
本実施形態９に係る仮想現実提示装置は、図１２を援用して説明する。ユーザ状態検知部１１０は、少なくともユーザの顔の一部又は全部を撮影する内部カメラ１１１を備え、当該内部カメラ１１１で撮影された映像に基づいて、映像表示判定処理部１２０は、仮想現実提示用の映像の表示を開始するかどうかの判定処理を行う。
【０３２５】
ここで、映像表示判定処理部１２０は、ユーザが深く目を閉じているかどうかを判定基準として判定処理を行う。すなわち、映像表示開始条件設定部４２０は、ユーザが所定の基準よりも深く目を所定の時間閉じていることを映像表示開始条件として設定する。
【０３２６】
通常人間が祈ったり願ったりするときは、目を深く瞑って眉間にしわを寄せ、頭部前方に意識を集中させる。従って、映像表示判定処理部１２０は、内部カメラ１１１で撮影されたユーザの顔の映像に基づいて、単に目が開いているか閉じているかだけではなく、ユーザが所定の基準以上深く目を瞑っているかを判定する。例えば、映像表示判定処理部１２０は、内部カメラ１１１で撮影されたユーザの目の領域の画像と深く目を瞑った状態の目の画像とのマッチング処理を行い、所定の相関値以上の相関が得られているかを判定する。当該判定の結果、所定の基準値以上の相関が得られている場合に、ユーザは深く目を瞑っていると判定する。
【０３２７】
当該判定の結果、所定の期間以上ユーザが深く目を瞑っていると判定された場合に、表示制御部１３０は、仮想現実提示用の映像表示を開始する制御を行い、表示部１４０は、仮想現実提示用の映像を表示する。
【０３２８】
同様に、音声再生判定処理部４３０も同様の判定処理を行い、音声再生制御部４４０が当該判定の結果に基づいて仮想現実提示用の音声の再生を開始する制御を行い、音声出力部４５０より仮想現実提示用の音声が出力される。
【０３２９】
以上のように、本実施形態９に係る仮想現実提示装置において、映像表示開始判定処理部１２０は、ユーザ状態検知部１１０で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、表示制御部１３０は、ユーザが深く目を閉じていると判定された場合に、表示部１４０に仮想現実提示用の映像を表示することを開始する。
【０３３０】
当該構成とすることで、ユーザの祈りや願いが通じたと言う形で仮想現実の世界を提示することが可能となる。なお、音声入力部２１０で入力された音声のコンテキストに基づいて、仮想現実サービス提供サーバ側で適切な仮想現実コンテンツが選択されてユーザに仮想現実の世界が提示される構成とすると良い。
【０３３１】
例えば、音声入力部２１０で「祖父に会いたい」と言った音声が入力されたとする。この場合、契約者情報記憶ＤＢに記憶されている当該ユーザの契約者情報に基づいて、予め仮想現実オブジェクト化して仮想現実コンテンツ記憶ＤＢに記憶されている当該ユーザの祖父の姿を現した仮想現実オブジェクトを読み出して仮想空間に配置する。また、仮想現実コンテンツ記憶ＤＢには、当該祖父の肉声データを予め記憶しておくと良い。当該祖父の姿を示す仮想現実オブジェクトの映像が描画されて仮想現実提示用映像データが生成され、また、当該祖父の音声データを読み出して各チャンネルに分配されることで仮想現実提示用音声データが生成される。これらのデータは仮想現実提示装置に送信され、映像表示開始判定処理部１２０や音声再生開始判定処理部４３０における判定処理に従って、当判定基準をクリアした場合にユーザに対する提示が開始される。
【０３３２】
なお、上記構成では、ユーザ状態検知部１１０である内部カメラ１１１が少なくともユーザの目を含む領域を撮影することでユーザ状態を検知する場合について説明したがこれに限定されるものではない。例えば、図３８に示す仮想現実提示装置９００のように、ユーザの脳波を検知する脳波センサ１１４やユーザの脈拍数や血流量、血圧、発汗等の状態を検知する生体センサ１１５を備える構成としても良い。
【０３３３】
通常、ユーザが祈る場合は、目を閉じ、頭の前頭部に意識を集中する。当該行動によって、前頭葉部分の血流量が増加し、アルファー波が放出される。脳波センサ−１１４は、当該アルファー波を検知することでユーザが祈りや願いを行っていると判定する。また、これらのセンサからの検知結果と内部カメラ１１１による目の閉じ具合などとを複合して映像表示開始判定を行っても良い。
【０３３４】
なお、ユーザが深く目を閉じているかを検知する検知手段としては、ユーザの目の周囲部分の高さを図るレーザ干渉計を用いることも可能である。深く目を閉じる場合は、目の周囲に深い皺ができるため、当該皺を検出することでユーザが深く目を閉じているかどうかを検知することができる。また、目の周囲の皺の数や深さを検知することでユーザが深く目を閉じているかを検知する構成としても良い。内部カメラ１１１で撮影されたユーザの目を含む領域の画像の中で、マッチング処理によって皺の部分を検知し、当該皺の数や皺の長さ、皺の部分と隣接する部分との間の輝度の違いなどから皺の深さを検知する。映像表示開始判定処理部１２０は、当該皺の数や皺の長さ、皺の深さなどを、基準となる皺の数や皺の長さ、皺の深さと比較することで、ユーザの状態が仮想現実の提示を開始するための条件を満たしているかを判定する。当該構成としても良い。
【０３３５】
以上各実施形態で説明したように、本発明に係る仮想現実提示システムによれば、ユーザからの明確な指示や要求に基づいて直ちに仮想現実の世界をユーザに提示するのではなく、ユーザの状態に基づいて、提示タイミング等を制御した上でユーザに提示する。当該構成とすることで、ユーザは自然に仮想現実の世界に入り込むことができる。
【０３３６】
なお、上述した各実施形態は、本発明の一実施例を示したものであり、適宜変更が可能である。例えば、仮想現実サービス提供サーバが備える画像解析部は、画像解析サーバとして独立して仮想現実サービス提供システム内に配置される構成としても良い。また、各実施形態の構成を組み合わせることも可能である。
【０３３７】
また、上述した各実施形態を組み合わせることも可能である。また、本発明は、以下の構成とすることも可能である。
（書類名）特許請求の範囲
（付記１）
ユーザの状態を検知するユーザ状態検知手段と、
前記ユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成手段と、
前記生成された仮想現実提示用の映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示させる制御を行う映像表示制御手段と、
を備える仮想現実提示システム。
（付記２）
仮想現実オブジェクトを記憶する仮想現実オブジェクト記憶手段と、
前記仮想空間を設定する仮想空間設定手段と、
前記仮想現実オブジェクト記憶手段より前記仮想現実オブジェクトを読み出して前記設定された仮想空間に配置する仮想現実オブジェクト配置手段と、
前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて、前記設定された仮想空間における視点の位置座標と視線方向とを更新する視点制御手段と、
を更に備え、
前記映像生成手段は、前記視点制御手段で更新される前記視点の位置座標と視線方向とのに基づいて、前記仮想空間に配置されている前記仮想現実オブジェクトを描画することで、前記仮想現実提示用の映像を生成する、
付記１に記載の仮想現実提示システム。
（付記３）
周囲の景色を撮影して周囲景色画像を取得する周囲撮影手段と、
前記周囲景色画像から所定の光学成分を抽出する光学成分抽出手段と、
前記抽出された光学成分に基づいて、前記仮想空間における光源の位置座標と光源の輝度又は照度を更新する光源制御手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記光源制御手段で更新される前記光源の位置座標と光源の輝度又は照度に基づいてシェーディング処理を行うことで前記仮想現実提示用の映像を生成する、
付記２に記載の仮想現実提示システム。
（付記４）
前記周囲景色画像に写る現実の世界における各物体をモデル化して現実オブジェクトを生成するモデリング処理手段と、
前記モデリング処理手段生成された現実オブジェクトを前記仮想空間に配置するモデルデータ配置手段と、
を更に備え、
前記映像生成手段は、前記仮想空間に配置されている前記仮想現実オブジェクトを描画する際に、前記モデルデータ配置手段が配置する現実オブジェクトで前記仮想現実オブジェクト配置手段が配置する仮想現実オブジェクトを隠す陰面処理を行うことで、前記仮想現実提示用の映像を生成する、
付記２又は３に記載の仮想現実提示システム。
（付記５）
前記仮想現実オブジェクト配置手段は、複数の仮想現実オブジェクトを前記仮想空間の異なるレイヤーにそれぞれ配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記表示制御手段は、前記レイヤー別仮想現実提示用映像を合成し、合成後の映像を前記表示手段に表示する制御を行う、
付記４に記載の仮想現実提示システム。
（付記６）
前記仮想現実オブジェクト配置手段は、新たに配置する仮想現実オブジェクトを、新たな仮想空間のレイヤーに配置し、
前記映像生成手段は、前記仮想空間のレイヤー毎に仮想現実オブジェクトを描画してレイヤー別仮想現実提示用映像を生成し、
前記判定手段は、前記新たな仮想現実オブジェクトの映像の表示を開始するかを判定し、
前記表示手段は、前記判定手段で前記新たな仮想現実オブジェクトの映像の表示を開始すると判定された場合に、前記新たな仮想現実オブジェクトが配置されているレイヤーのレイヤー別仮想現実提示用映像を他のレイヤー別仮想現実提示用映像と合成し、合成後の映像を前記表示手段に表示する制御を行う、
付記５に記載の仮想現実提示システム。
（付記７）
ユーザの状態を検知するユーザ状態検知手段と、
映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
を備える仮想現実提示装置。
（付記８）
前記ユーザ状態検知手段は、ユーザの顔の一部又は全部を撮影することでユーザの顔の状態を検知し、
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザの目が所定の時間閉じているかを判定し、
前記表示制御手段は、ユーザの目が所定の時間閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７に記載の仮想現実感提示装置。
（付記９）
前記判定手段は、前記ユーザ状態検知手段で撮影された映像に基づいて、ユーザが深く目を閉じているかを判定し、
前記表示制御手段は、ユーザが深く目を閉じていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記８に記載の仮想現実感提示装置。
（付記１０）
前記ユーザ状態検知手段は、ユーザの脳波を更に検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザの脳波の値が所定の基準を満たしているかを判定し、
前記表示制御手段は、ユーザの脳波の値が所定の基準を満たしていると判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７乃至９のいずれか１項に記載の仮想現実感提示装置。
（付記１１）
前記ユーザ状態検知手段は、ユーザが向いている方向を検知し、
前記判定手段は、前記ユーザ状態検知手段で検知されたユーザが向いている方向が、所定の基準角度以上変化したかを判定し、
前記表示制御手段は、ユーザが向いている方向が、所定の基準角度以上変化したと判定された場合に、前記映像表示手段に前記仮想現実提示用の映像を表示することを開始する、
付記７乃至１０のいずれか１項に記載の仮想現実感提示装置。
（付記１２）
前記ユーザ状態検知手段で検知されたユーザの状態を示す情報を送信する送信手段と、
前記所定の基準を示す情報と前記仮想現実提示用の映像とを受信する受信手段と、
前記受信された情報に基づいて、前記所定の基準を設定する設定手段を更に具備し、
前記判定手段は、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしているかを判定し、
前記表示制御手段は、前記判定手段において、前記設定手段で設定された前記所定の基準を前記ユーザ状態検知手段で検知されたユーザの状態が満たしていると判定された場合に、前記受信手段で受信された前記仮想現実提示用の映像を前記映像表示手段で表示する制御を行う、
付記７乃至１１のいずれか１項に記載の仮想現実提示装置。
（付記１３）
ユーザの状態を検知するユーザ状態検知ステップと、
前記検知されたユーザの状態が所定の基準を満たしているかを判定する判定ステップと、
前記検知されたユーザの状態に基づいて仮想現実提示用の映像を生成する映像生成ステップと、
前記基準を満たしていると判定された場合に、前記仮想現実提示用の映像を表示させる制御を行う映像表示制御ステップと、
前記制御に基づいて、前記生成された仮想現実提示用の映像を表示する映像表示ステップと、
を有する仮想現実提示方法。
（付記１４）
ユーザの状態を検知するユーザ状態検知手段と、
映像を表示する映像表示手段と、
前記ユーザ状態検知手段で検知されるユーザの状態が所定の基準を満たしているかを判定する判定手段と、
前記基準を満たしていると判定された場合に、前記ユーザ状態検知手段で検知された前記ユーザの状態に基づいて制御される仮想現実提示用の映像を前記映像表示手段に表示する制御を行う表示制御手段と、
を備えるヘッドマウントディスプレイ装置。
【産業上の利用可能性】
【０３３８】
本発明は、クリエイティビティーの高い仮想現実の世界の提供などに幅広く利用可能である。
【符号の説明】
【０３３９】
１００  仮想現実提示装置             １１０  ユーザ状態検知部
１１１  内部カメラ                   １１２  傾きセンサ
１１３  加速度センサ                 １１４  脳波センサ
１１５  生体センサ                   １２０  映像表示開始判定処理部
１３０  表示制御部                   １３１  映像読み出し部
１３２  映像復号化処理部             １３３  映像合成処理部
１３４  レイヤー順序管理部           １３５  映像補正処理部
１４０  表示部                       １４１ａ  ライト表示パネル
１４１ｂ  レフト表示パネル           １４２  光源
１４３  導光板                       １４４  ＬＣＤ（液晶表示ディスプレイ）
１４５  ＬＣＤ（外界光透過制御用）   
１４６ａ  レンズ群                   １４６ｂ  ＰＬＣ
１４６ｃ  第１反射ミラー             １４６ｄ  Ｒ反射ダイクロイックミラー
１４６ｅ  Ｇ反射ダイクロイックミラー １４６ｆ  第２反射ミラー
１４６ｇ  第３反射ミラー             １４６ｈ  第１液晶パネル
１４６ｊ  クロスダイクロプリズム     １４６ｋ  第４反射ミラー
１４６ｍ  第２液晶パネル             １４６ｎ  第３液晶パネル
１４６ｐ  ガルバノミラー             １４６ｑ  照射窓
２００  仮想現実提示装置     
２１０  音声入力部                   ２１１  ユーザマイク
２１２  周囲マイク                   ２２０  装置側仮想現実提示制御部
２３０  通信部                       ２３１  無線送信部
２３２  無線受信部                   ２４０  映像データ一時記憶部
３００  仮想現実提示装置     
３１０  周囲状況検知部               ３１１  視線カメラ（前方カメラ）
３１２  周辺カメラ                   ３２０  映像表示開始条件設定部
４００  仮想現実提示装置     
４１０  仮想現実提示用データ記憶部   ４２０  仮想現実提示条件設定部
４３０  音声再生開始判定処理部       ４４０  音声再生制御部
４４１  音声データ読み出し部         ４４２  音声復号化処理部
４５０  音声出力部                   ４５１ａ  ライトスピーカ
４５１ｂ  レフトスピーカ             
５００  仮想現実提示装置
５１０  映像表示終了判定処理部       ５２０  仮想現実提示終了条件設定部
５３０  音声再生終了判定処理部
６００  仮想現実提示装置
７００  仮想現実提示装置
７１０  映像表示条件設定部           ７２０  映像表示判定処理部７２０
８００  仮想現実提示装置
９００  仮想現実提示装置
２０００  仮想現実提示システム
２０１０  仮想現実提示制御部         ２０２０  表示映像生成処理部
２１００  仮想現実サービス提供サーバ ２１１０  通信部
２１２０  音声コンテキスト取得部     ２１３０  サーバ側仮想現実提示制御部
２１３１  仮想現実サービス提供可否判定部
２１３２  仮想現実サービス決定処理部
２１３３  仮想現実サービス制御部
２１３４  通知情報生成処理部
２１４０  表示映像生成処理部         ２１４１  視点制御部
２１４２  光源制御部                 ２１４３  描画処理部
２１４４  映像符号化処理部           ２２００  音声解析サーバ
２２１０  音声解析処理部             ２２２０  音声コンテキスト抽出部
２３００  仮想現実コンテンツ記憶ＤＢ
３０００  仮想現実提示システム
３１００  仮想現実サービス提供サーバ ３１１０  画像解析処理部
３１１１  物体位置特定部             ３１１２  光学成分抽出部
３１２０  仮想現実オブジェクト読み出し部
３１３０  仮想空間設定部             ３１３１  仮想空間生成処理部
３１３２  仮想空間更新管理部         ３１４０  仮想現実オブジェクト配置部
３２００  契約者情報記憶ＤＢ
４０００  仮想現実提示システム
４１００  仮想現実サービス提供サーバ ４１１０  仮想現実コンテンツ読み出し部
４１２０  再生音声生成処理部         ４１２１  聴覚点制御部
４１２２  音声分配処理部             
４１２２ａ  仮想現実オブジェクト配置位置取得部
４１２２ｂ  相対位置関係算出部
４１２２ｃ  チャンネル別音声データ生成処理部
４１２３  音声符号化処理部
５０００  仮想現実提示システム
５１００  仮想現実サービス提供サーバ ５１１０  仮想現実オブジェクト挙動制御部
６０００  仮想現実提示システム
６１００  仮想現実サービス提供サーバ ６１１０  仮想現実提示開始判定処理部
７０００  仮想現実提示システム
７１００  仮想現実サービス提供サーバ
８０００  仮想現実提示システム
８１００  仮想現実サービス提供サーバ ８１１０  付随情報生成処理部
【図１】
2014182597.tif 000003
【図２】
2014182597.tif 000004
【図３】
2014182597.tif 000005
【図４】
2014182597.tif 000006
【図５】
2014182597.tif 000007
【図６】
2014182597.tif 000008
【図７】
2014182597.tif 000009
【図８】
2014182597.tif 000010
【図９】
2014182597.tif 000011
【図１０】
2014182597.tif 000012
【図１１】
2014182597.tif 000013
【図１２】
2014182597.tif 000014
【図１３】
2014182597.tif 000015
【図１４】
2014182597.tif 000016
【図１５】
2014182597.tif 000017
【図１６】
2014182597.tif 000018
【図１７】
2014182597.tif 000019
【図１８】
2014182597.tif 000020
【図１９】
2014182597.tif 000021
【図２０】
2014182597.tif 000022
【図２１】
2014182597.tif 000023
【図２２】
2014182597.tif 000024
【図２３】
2014182597.tif 000025
【図２４】
2014182597.tif 000026
【図２５】
2014182597.tif 000027
【図２６】
2014182597.tif 000028
【図２７】
2014182597.tif 000029
【図２８】
2014182597.tif 000030
【図２９】
2014182597.tif 000031
【図３０】
2014182597.tif 000032
【図３１】
2014182597.tif 000033
【図３２】
2014182597.tif 000034
【図３３】
2014182597.tif 000035
【図３４】
2014182597.tif 000036
【図３５】
2014182597.tif 000037
【図３６】
2014182597.tif 000038
【図３７】
2014182597.tif 000039
【図３８】
2014182597.tif 000040
【図３９】
2014182597.tif 000041