(57)【特許請求の範囲】
【請求項１】
現実空間に存在している第１ユーザ及び第２ユーザに対応して仮想空間に生成された第１アバター及び第２アバターのいずれか一方の動作を介して、前記仮想空間に生成された所定のオブジェクトの座標、姿勢及び方向の少なくとも１つ、並びに、形状を少なくとも含む状態を変更することのできる仮想空間体感システムであって、
前記仮想空間、並びに、該仮想空間に存在する前記第１アバター、前記第２アバター及び前記所定のオブジェクトを生成する仮想空間生成部と、
前記第１ユーザの状態及び前記第２ユーザの状態を認識するユーザ状態認識部と、
前記第１ユーザの状態に応じて、前記第１アバターの状態を制御し、前記第２ユーザの状態に応じて前記第２アバターの状態を制御するアバター制御部と、
前記所定のオブジェクトの状態を制御するオブジェクト制御部と、
前記第１アバターの状態、前記第２アバターの状態及び前記所定のオブジェクトの状態に基づいて、前記第１ユーザ及び前記第２ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
前記第１ユーザ及び前記第２ユーザに前記仮想空間の画像を認識させる画像表示器とを備え、
前記所定のオブジェクトは、前記第１ユーザが観察する第１オブジェクト、及び、前記第２ユーザが観察する第２オブジェクトを含み、
前記第２オブジェクトは、前記仮想空間で前記第１オブジェクトの座標とは異なる座標に位置し、且つ、前記第１オブジェクトに対応した形状を有し、
前記第１オブジェクトの状態は、前記第１ユーザが前記第１アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、
前記第１オブジェクトの形状が変更された際に、前記第２オブジェクトの形状を、該第１オブジェクトの形状の変更に応じて変更し、
前記第１オブジェクトの形状以外の状態が変更された際に、前記第２オブジェクトの座標、姿勢及び方向の少なくとも１つを固定したまま、該第２オブジェクトの該固定された状態以外の状態を、該第１オブジェクトの状態の変更に応じて変更することを特徴とする仮想空間体感システム。
【請求項２】
請求項１に記載の仮想空間体感システムにおいて、
前記第２オブジェクトの状態は、前記第２ユーザが前記第２アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、前記第１オブジェクトの座標、姿勢及び方向の少なくとも１つと独立して、前記第２オブジェクトの対応する座標、姿勢及び方向の少なくとも１つを変更することを特徴とする仮想空間体感システム。
【請求項３】
請求項１又は請求項２に記載の仮想空間体感システムにおいて、
前記所定のオブジェクトは、前記第２ユーザが操作する第３オブジェクトを含み、
前記第２オブジェクトの色は、半透明又は第３オブジェクトとは異なる色であり、
前記第３オブジェクトは、前記第２オブジェクトに対応した形状を有し、
前記第３オブジェクトの形状は、前記第２ユーザが前記第２アバターの動作を介して変更可能であり、
前記第３オブジェクトの座標、姿勢及び方向は、前記第２オブジェクトの座標、姿勢及び方向と一致していることを特徴とする仮想空間体感システム。
【請求項４】
請求項１〜請求項３のいずれか１項に記載の仮想空間体感システムにおいて、
前記現実空間に存在しているアイテムの状態を認識するアイテム状態認識部を備え、
前記所定のオブジェクトは、前記第１ユーザ及び前記第２ユーザの少なくともいずれか一方が操作する第３オブジェクトを含み、
前記仮想空間生成部は、前記アイテムに対応させて前記第３オブジェクトを生成することを特徴とする仮想空間体感システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間に存在しているユーザに対応して仮想空間にアバターを生成し、そのアバターの動作を介して、仮想空間に生成された所定のオブジェクトの状態を変更することのできる仮想空間体感システムに関する。
【背景技術】
【０００２】
従来、サーバ等で仮想空間を生成し、ヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を介して、ユーザに、その仮想空間の画像及びユーザに対応するアバターの画像を認識させて、その仮想空間にユーザ自身が存在しているかのように体感させる仮想空間体感システムがある。【０００３】
この種の仮想空間体感システムとしては、モーションキャプチャー装置等によって、現実空間におけるユーザの状態の変化（例えば、身体の動作、座標の移動、姿勢の変化等）を認識し、その認識された状態の変化に応じて、仮想空間におけるアバターの状態を変化させるものがある（例えば、特許文献１参照）。【０００４】
特許文献１の仮想空間体感システムでは、仮想空間に、現実空間に存在しているユーザの手に対応する手型のアバターと、操作対象であるオブジェクトを生成する。そして、その手型のアバターがそのオブジェクトを掴んで移動させるような動作を行った場合には、その動作に応じて、オブジェクトの仮想空間における座標が変更される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−４９６２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１に記載のようなシステムを用いて仮想空間を生成する場合、現実空間に実在する１つの対象物をモデルとして、複数のオブジェクトを仮想空間の異なる位置に生成することもできる。【０００７】
そのようにして複数のオブジェクトを生成すると、１つの仮想空間に参加している複数のユーザの各々が、同一の対象物に対応するオブジェクトを、自らの手元（厳密には対応するアバターの手元）に１つずつ持って同時に独立して観察するという、現実空間では実行できないような形式で観察することができる。このとき、複数のオブジェクトの状態が同期して変化するように構成すると、対象物の状態の変化についても、複数のユーザの各々が、同時に独立して観察することができる。【０００８】
しかし、複数のユーザ（ひいては、対応するアバター）の状態は、通常各々で異なる。そのため、複数のオブジェクトの状態が同期して変化するように構成されている場合、特定のユーザの動作によってその特定のユーザに対応するオブジェクトの状態が変化した際に、他のユーザに対応するオブジェクトの状態が、その他のユーザにとっては意図せず変化してしまい、他のユーザが観察しにくくなってしまうおそれがあった。【０００９】
本発明は以上の点に鑑みてなされたものであり、仮想空間で１つの対象物をモデルとする複数のオブジェクトの各々を、複数のユーザが仮想空間内で観察しやすい仮想空間体感システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
以下において、「状態」とは、ユーザの意図又は操作に応じて変化し得るものを指す。例えば、形状、大きさ、色、姿勢、方向、座標の位置、身体又は機構の動作状態等を指す。そのため、状態の「変化」、「変更」とは、形状、大きさ、色、姿勢、方向の変化又は変更、座標の移動、動作の開始、進行及び停止等を指す。また、「対応した形状」とは、同一の形状の他、相似した形（すなわち、同一の形状でサイズが異なる形状）、デフォルメした形状、一部を切り出したものと同じ形状等を含む。【００１１】
本発明の仮想空間体感システムは、
現実空間に存在している第１ユーザ及び第２ユーザに対応して仮想空間に生成された第１アバター及び第２アバターのいずれか一方の動作を介して、前記仮想空間に生成された所定のオブジェクトの座標、姿勢及び方向の少なくとも１つ、並びに、形状を少なくとも含む状態を変更することのできる仮想空間体感システムであって、
前記仮想空間、並びに、該仮想空間に存在する前記第１アバター、前記第２アバター及び前記所定のオブジェクトを生成する仮想空間生成部と、
前記第１ユーザの状態及び前記第２ユーザの状態を認識するユーザ状態認識部と、
前記第１ユーザの状態に応じて、前記第１アバターの状態を制御し、前記第２ユーザの状態に応じて前記第２アバターの状態を制御するアバター制御部と、
前記所定のオブジェクトの状態を制御するオブジェクト制御部と、
前記第１アバターの状態、前記第２アバターの状態及び前記所定のオブジェクトの状態に基づいて、前記第１ユーザ及び前記第２ユーザに認識させる前記仮想空間の画像を決定する画像決定部と、
前記第１ユーザ及び前記第２ユーザに前記仮想空間の画像を認識させる画像表示器とを備え、
前記所定のオブジェクトは、前記第１ユーザが観察する第１オブジェクト、及び、前記第２ユーザが観察する第２オブジェクトを含み、
前記第２オブジェクトは、前記仮想空間で前記第１オブジェクトの座標とは異なる座標に位置し、且つ、前記第１オブジェクトに対応した形状を有し、
前記第１オブジェクトの状態は、前記第１ユーザが前記第１アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、
前記第１オブジェクトの形状が変更された際に、前記第２オブジェクトの形状を、該第１オブジェクトの形状の変更に応じて変更し、
前記第１オブジェクトの形状以外の状態が変更された際に、前記第２オブジェクトの座標、姿勢及び方向の少なくとも１つを固定したまま、該第２オブジェクトの該固定された状態以外の状態を、該第１オブジェクトの状態の変更に応じて変更することを特徴とする。【００１２】
このように、本発明の仮想空体感システムでは、第２オブジェクトに対応した形状を有している。すなわち、それらのオブジェクトは、１つの対象物（例えば、現実空間に存在している物品等）をモデルとして生成されている。また、このシステムでは、第１オブジェクトの形状が変更された際に、第２オブジェクトの形状を、その第１オブジェクトの形状の変更に応じて（同期して）変更する。【００１３】
そのため、このシステムは、例えば、教師役の第１ユーザが自らの手元にある第１オブジェクトを操作するとともに、生徒役の第２ユーザにその第２ユーザの手元にある第２オブジェクトを観察させることによって、教師役の第１ユーザが生徒役の第２ユーザに、第２オブジェクトを介して、第１オブジェクト及び第２オブジェクトのモデルとなっている対象物の操作方法を教えるといった使い方が可能になっている。【００１４】
さらに、このシステムは、第１オブジェクトの形状以外の状態が変更された際に、第２オブジェクトの座標、姿勢及び方向の少なくとも１つを固定したまま、その第２オブジェクトのその固定された状態外の状態を、第１オブジェクトの状態の変更に応じて変更するように構成されている。【００１５】
これにより、第２ユーザが観察する第２オブジェクトの状態は、第１ユーザの第１オブジェクトに対する操作の結果に応じて変化するが、完全に同期したものではなく、座標、姿勢及び方向の少なくとも１つは変化しない。すなわち、観察に関係する状態は、ある程度固定されたままとなる。【００１６】
そのため、第１ユーザは、自らが観察する第１オブジェクトを、自由に動かしながら観察することができる一方で、第２ユーザも、自らが観察する第２オブジェクトを、ある程度安定した状態で観察することができる。【００１７】
したがって、本発明の仮想空間体感システムによれば、仮想空間で１つの対象物をモデルとする複数のオブジェクトの各々を、対応する各ユーザが自由に意図したような状態で、又は、ある程度安定した状態で観察することができる。ひいては、複数のユーザの各々が、１つの対象物をモデルとする複数のオブジェクトであって各ユーザに対応するオブジェクトを、観察しやすい状態を実現することができる。【００１８】
また、本発明の仮想空間体感システムにおいては、
前記第２オブジェクトの状態は、前記第２ユーザが前記第２アバターの動作を介して変更可能であり、
前記オブジェクト制御部は、前記第１オブジェクトの座標、姿勢及び方向の少なくとも１つと独立して、前記第２オブジェクトの対応する座標、姿勢及び方向の少なくとも１つを変更することが好ましい。【００１９】
このように構成すると、第２ユーザは、自らに対応する第２オブジェクトを観察しにくい場合には、第２オブジェクトの座標、姿勢及び方向の少なくとも１つを、第１ユーザに対応する第１オブジェクトの状態に関わらず、見やすいように変更することができる。これにより、第２ユーザは、第２オブジェクトをさらに観察しやすくなる。【００２０】
また、本発明の仮想空間体感システムにおいては、
前記所定のオブジェクトは、前記第２ユーザが操作する第３オブジェクトを含み、
前記第２オブジェクトの色は、半透明又は第３オブジェクトとは異なる色であり、
前記第３オブジェクトは、前記第２オブジェクトに対応した形状を有し、
前記第３オブジェクトの形状は、前記第２ユーザが前記第２アバターの動作を介して変更可能であり、
前記第３オブジェクトの座標、姿勢及び方向は、前記第２オブジェクトの座標、姿勢及び方向と一致していることが好ましい。【００２１】
このように構成すると、第２オブジェクトと第３オブジェクトとは、仮想空間で重畳して存在することになる。ここで、前述のように、第２オブジェクトの形状は、第１ユーザに対応する第１オブジェクトの形状の変化（すなわち、第１ユーザの操作）に応じて変化する。一方、第３オブジェクトの形状は、第２ユーザの操作に応じて変化する。そのため、第１オブジェクトの形状が変化すると、重畳している第２オブジェクトと第３オブジェクトのうち第２オブジェクトの形状のみが、その変化に対応して変化することになる。【００２２】
これにより、第１オブジェクトの形状が変化した際には、その変化した部分のみ（すなわち、第１オブジェクトの形状と第３オブジェクトの形状との相違部分のみ）が、重畳して生成されている第２オブジェクト７と第３オブジェクト８とによって、第２ユーザＵ２に、半透明の部分又は第３オブジェクトとは異なる色の部分として示されることになる。【００２３】
その結果、第２ユーザは、第１オブジェクトの形状と第３オブジェクトの形状との相違部分（ひいては、第１ユーザによる第１オブジェクトに対する操作）を、直観的に把握することができる。【００２４】
具体的には、例えば、オブジェクトが組み立て式の模型のようなものの場合には、第２ユーザは、第１ユーザの組み立て手順を、その相違部分を観察することによって、容易に把握することができる。【００２５】
また、本発明の仮想空間体感システムにおいては、
前記現実空間に存在しているアイテムの状態を認識するアイテム状態認識部を備え、
前記所定のオブジェクトは、前記第１ユーザ及び前記第２ユーザの少なくともいずれか一方が操作する第３オブジェクトを含み、
前記仮想空間生成部は、前記アイテムに対応させて前記第３オブジェクトを生成することが好ましい。【００２６】
このように、操作対象である第３オブジェクトを、現実空間に実際に存在しているアイテムに対応させて生成するようにすると、仮想空間でユーザがアバターを介して第３オブジェクトに行った動作の結果が、現実空間に対応するアイテムに反映されるようになる。これにより、仮想空間におけるアバターの動作の結果を、現実空間のアイテムに反映させたかのように、ユーザに感じさせることができる。【００２７】
また、このように構成すると、ユーザは、第３オブジェクトに触れたときに、現実空間でユーザがアイテムに触れることになる。これにより、ユーザに第３オブジェクトを触っているという感覚を与えることができる。ひいては、ユーザの仮想空間への没入感を高めることができる。
【図面の簡単な説明】
【００２８】
【図１】実施形態に係るＶＲシステムの概略構成を示す模式図。
【図２】図１のＶＲシステムの処理部の構成を示すブロック図。
【図３】図１のＶＲシステムが、ユーザに認識させる仮想空間の模式図。
【図４】図１のＶＲシステムが、使用を開始された際に実行する処理を示すフローチャート。
【図５】図１のＶＲシステムが、第１オブジェクトが操作された際に実行する処理を示すフローチャート。
【図６】図１のＶＲシステムが、第１オブジェクトの形状が変更された際に、ユーザに認識させる仮想空間の模式図。
【図７】図１のＶＲシステムが、第１オブジェクトの姿勢及び方向が変更された際に、ユーザに認識させる仮想空間の模式図。
【図８】図１のＶＲシステムが、第２オブジェクトが操作された際に実行する処理を示すフローチャート。
【図９】図１のＶＲシステムが、第２オブジェクトの姿勢及び方向が変更された際に、ユーザに認識させる仮想空間の模式図。
【図１０】図１のＶＲシステムが、第３オブジェクトが操作された際に実行する処理を示すフローチャート。
【図１１】図１のＶＲシステムが、第３オブジェクトの状態が変更された際に、ユーザに認識させる仮想空間の模式図。
【図１２】変形例に係るＶＲシステムが、オブジェクトが操作された際に、ユーザに認識させる仮想空間の模式図。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、実施形態に係る仮想空間体感システムであるＶＲシステムＳについて説明する。ＶＲシステムＳは、仮想空間にユーザ自身が存在していると認識させて、ユーザに仮想現実（いわゆるＶＲ（virtual reality））を体感させるシステムである。
【００３０】
図１に示すように、ＶＲシステムＳは、第１現実空間ＲＳ１に存在している第１ユーザＵ１と、第１現実空間ＲＳ１とは異なる位置に存在する第２現実空間ＲＳ２に存在している第２ユーザＵ２とが、同一の仮想空間ＶＳ（図３参照）を介して、コミュニケーションをとることが可能なものとして構成されている。
【００３１】
なお、以下の説明においては、第１現実空間ＲＳ１と第２現実空間ＲＳ２とを総称して、現実空間ＲＳということがある。また、第１ユーザＵ１と第２ユーザＵ２とを総称して、ユーザＵということがある。また、第１現実空間ＲＳ１には、第１カメラ２ａが設置されており、第２現実空間ＲＳ２には、第２カメラ２ｂが設置されている。そして、第１カメラ２ａと第２カメラ２ｂとを総称して、カメラ２ということがある。
【００３２】
また、以下の説明においては、「状態」とは、ユーザＵの意図又は操作に応じて変化し得るものを指す。例えば、形状、大きさ、色、姿勢、方向、座標の位置、身体又は機構の動作状態等を指す。そのため、状態の「変化」、「変更」とは、形状、大きさ、色、姿勢、方向の変化又は変更、座標の移動、動作の開始、進行及び停止等を指す。
【００３３】
また、「対応した形状」とは、同一の形状の他、相似した形（すなわち、同一の形状でサイズが異なる形状）、デフォルメした形状、一部を切り出したものと同じ形状等を含む。
【００３４】
本実施形態では、教師役である第１ユーザＵ１が、仮想空間ＶＳを介して、第１ユーザＵ１とは離れた場所にいる生徒役である第２ユーザＵ２に、第２ユーザＵ２とともに第２現実空間ＲＳ２に存在しているアイテムＩである組み立て式の模型の作り方を教授するために、ＶＲシステムＳを使用する場合を例として説明する。
【００３５】
なお、本発明の仮想空間体感システムは、そのような構成に限定されるものではなく、３つ以上の現実空間の各々にユーザが存在していてもよいし、複数のユーザが同一の現実空間に存在していてもよい。
【００３６】
［システムの概略構成］
まず、図１及び図２を参照して、ＶＲシステムＳの概略構成について説明する。
【００３７】
現実空間ＲＳに存在するユーザＵ、アイテムＩ及びテーブルＴに取り付けられる複数の標識１と、ユーザＵ、アイテムＩ及びテーブルＴ（厳密には、それらに取り付けられた標識１）を撮影するカメラ２と、ユーザＵに認識させる仮想空間ＶＳ（図３等参照）の画像及び音声を決定するサーバ３と、決定された画像及び音声をプレイヤーに認識させるヘッドマウントディスプレイ（以下、「ＨＭＤ４」という。）とを備えている。
【００３８】
ＶＲシステムＳでは、第１カメラ２ａ、及び、第１ユーザＵ１の装着しているＨＭＤ４は、サーバ３と、無線で相互に情報を送受信可能となっている。同様に、第２カメラ２ｂ、及び、第２ユーザＵ２の装着しているＨＭＤ４は、サーバ３と、無線で相互に情報を送受信可能となっている。ただし、それらのいずれか同士を、無線に代わり有線で相互に情報を送受信可能に構成してもよい。
【００３９】
複数の標識１のうちユーザＵに取り付けられているものは、ユーザＵの装着するＨＭＤ４、手袋及び靴を介して、ユーザＵの頭部、両手及び両足のそれぞれに取り付けられている。
【００４０】
また、複数の標識１のうちアイテムＩ及びテーブルＴに取り付けられているものは、第２カメラ２ｂで撮影したアイテムＩ及びテーブルＴの画像において特徴点となる位置に取り付けられている。
【００４１】
本実施形態では、アイテムＩは、第２現実空間ＲＳ２のテーブルＴに載置された組み立て式の車の模型であり、標識１は、その模型の各パーツの中央部、縁、角の近傍等に取り付けられている。テーブルＴは、標識１は、円形の天板と４本の脚からなり、天板の縁と、脚の端部等に取り付けられている。
【００４２】
なお、標識１は、後述するようにユーザＵ、アイテムＩ又はテーブルＴの現実空間ＲＳにおける形状、姿勢、座標及び方向を認識するために用いられるものである。そのため、標識１の取り付け位置は、ＶＲシステムＳを構成する他の機器に応じて、適宜変更してよい。
【００４３】
カメラ２のうち、第１現実空間ＲＳ１に設置されている第１カメラ２ａは、第１ユーザＵ１の動作可能範囲（すなわち、姿勢の変化、座標の移動、並びに、姿勢及び方向の変化等を実行し得る範囲）を、多方向から撮影可能なように複数設置されている。
【００４４】
また、カメラ２のうち、第２現実空間ＲＳ２に設置されている第２カメラ２ｂは、第２ユーザＵ２、アイテムＩ及びテーブルＴの動作可能範囲（すなわち、姿勢の変化、座標の移動、並びに、形状及び方向の変化等を実行し得る範囲）を、多方向から撮影可能なように複数設置されている。
【００４５】
サーバ３は、カメラ２が撮影した画像から標識１を認識し、その認識された標識１の現実空間ＲＳにおける座標に基づいて、ユーザＵ、アイテムＩ又はテーブルＴの形状、姿勢、座標及び方向を認識する。また、サーバ３は、その形状、姿勢、座標及び方向に基づいて、ユーザＵに認識させる画像及び音声を決定する。
【００４６】
ＨＭＤ４は、ユーザＵの頭部に装着される。図２に示すように、ＨＭＤ４は、ユーザＵに、サーバ３によって決定された仮想空間ＶＳの画像をユーザＵの認識させるためのモニタ４０（画像表示器）と、サーバ３によって決定された仮想空間ＶＳの音声をユーザＵに認識させるためのスピーカ４１（音声発生器）とを有している。
【００４７】
このＶＲシステムＳを用いてユーザＵに仮想現実を体感させる場合、ユーザＵは、仮想空間ＶＳの画像と音声のみを認識させられて、ユーザＵ自身が後述する第１アバター５ａ又は第２アバター５ｂとして仮想空間に存在していると認識させられる。すなわち、ＶＲシステムＳは、いわゆる没入型のシステムとして構成されている。
【００４８】
なお、ＶＲシステムＳでは、ユーザＵ、アイテムＩ及びテーブルＴの現実空間ＲＳにおける状態を認識するシステムとして、標識１とカメラ２とサーバ３とによって構成された、いわゆるモーションキャプチャー装置を備えている。
【００４９】
しかし、本発明の仮想空間体感システムは、このような構成に限定されるものではない。例えば、モーションキャプチャー装置を使用する場合には、上記の構成のものの他、標識及びカメラの数が上記構成とは異なる（例えば、それぞれの仮想空間に１つずつ設けられている）ものを用いてもよい。
【００５０】
また、モーションキャプチャー装置以外の装置を用いて、ユーザ、アイテム又はテーブルの現実空間における状態を認識するようにしてもよい。具体的には、例えば、ＨＭＤにＧＰＳ等のセンサを搭載し、そのセンサからの出力に基づいて、ユーザ、アイテム又はテーブルの状態を認識するようにしてもよい。また、そのようなセンサと、上記のようなモーションキャプチャー装置を併用してもよい。
【００５１】
［処理部の構成］
次に、図２及び図３を用いて、サーバ３の構成を詳細に説明する。
【００５２】
サーバ３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む１つ又は複数の電子回路ユニットにより構成されている。図２に示すように、サーバ３は、実装されたハードウェア構成又はプログラムにより実現される機能として、仮想空間生成部３０と、ユーザ状態認識部３１と、アバター制御部３２と、アイテム状態認識部３３と、オブジェクト制御部３４と、出力情報決定部３５とを備えている。
【００５３】
図３に示すように、仮想空間生成部３０は、第１ユーザＵ１が存在している第１現実空間ＲＳ１及び第２ユーザＵ２が存在している第２現実空間ＲＳ２に対応する仮想空間ＶＳの画像（厳密には、その背景となる画像）、及び、それに関連する音声を生成する。
【００５４】
また、仮想空間生成部３０は、仮想空間ＶＳに存在するアバターとして、第１ユーザＵ１に対応する第１アバター５ａ及び第２アバター５ｂの画像、及び、それに関連する音声を生成する。なお、以下においては、第１アバター５ａと第２アバター５ｂとを総称して、アバター５ということがある。本実施形態では、アバター５の各々は、動物を擬人化したものとなっており、対応するユーザＵの動作に対応して動作する。
【００５５】
また、仮想空間生成部３０は、仮想空間ＶＳに存在する所定のオブジェクトを生成する。その所定のオブジェクトには、仮想空間ＶＳの環境（例えば、仮想空間ＶＳにのみ存在する植物等）を表すためのオブジェクトの他に、第１ユーザＵ１が観察し、操作する第１オブジェクト６、第２ユーザＵ２が観察する第２オブジェクト７、第２ユーザＵ２が操作する第３オブジェクト８、及び、第３オブジェクト８が載置される第４オブジェクト９を含んでいる。
【００５６】
第１オブジェクト６は、仮想空間ＶＳで、第１ユーザＵ１に対応する第１アバター５ａの近傍となる位置に生成される。第１オブジェクト６の形状、座標、姿勢及び方向は、第１アバター５ａ（すなわち、第１ユーザＵ１）の動作に応じて、変更可能となっている。
【００５７】
第２オブジェクト７は、仮想空間ＶＳで、第２ユーザＵ２に対応する第２アバター５ｂの近傍となる位置に生成される。すなわち、第２オブジェクト７は、第１オブジェクト６の座標とは異なる座標に位置している。第２オブジェクト７の座標、姿勢及び方向は、第２アバター５ｂ（すなわち、第２ユーザＵ２）の動作に応じて、変更可能となっている。
【００５８】
第３オブジェクト８は、仮想空間ＶＳで、第２現実空間に存在しているアイテムＩに対応する位置に生成される。すなわち、第３オブジェクト８は、第１オブジェクト６の座標及び第２オブジェクト７の座標とは異なる座標に位置している。具体的には、第３オブジェクト８は、テーブルＴに対応する第４オブジェクト９に載置された状態となる座標に生成される。
【００５９】
第３オブジェクト８の形状、座標、姿勢及び方向は、第２アバター５ｂの第３オブジェクト８に対する動作（すなわち、第２ユーザＵ２のアイテムＩに対する操作）に応じて、変更可能となっている。
【００６０】
第３オブジェクト８の形状は、アイテムＩに対応した形状となっている。ＶＲシステムＳの使用を開始した際には、第１オブジェクト６及び第２オブジェクト７の形状は、その第３オブジェクト８の形状に対応するように生成される。その後においては、第１オブジェクト６及び第２オブジェクト７の形状は、第３オブジェクト８の形状とは独立して変化する。
【００６１】
本実施形態では、第２現実空間ＲＳ２に存在しているアイテムＩは、組み立て式の車の模型であり、本体、屋根、フロントガラス及びタイヤの４つのパーツで構成されている。そして、第３オブジェクト８は、アイテムＩに対応するものとして生成される。
【００６２】
そのため、第３オブジェクト８は、そのアイテムＩの各パーツに対応するように、本体部分である第１パーツ８０、屋根部分である第２パーツ８１、フロントガラスである第３パーツ８２、及び、タイヤである第４パーツ８３で構成される（図１２参照）。
【００６３】
また、第３オブジェクト８に対応する第１オブジェクト６は、本体部分である第１パーツ６０、屋根部分である第２パーツ６１、フロントガラスである第３パーツ６２、及び、タイヤである第４パーツ６３で構成される（図６等参照）。同様に、第２オブジェクト７も、本体部分である第１パーツ７０、屋根部分である第２パーツ７１、フロントガラスである第３パーツ７２、及び、タイヤである第４パーツ７３で構成される（図６等参照）。
【００６４】
第４オブジェクト９は、仮想空間ＶＳで、第２現実空間に存在しているテーブルＴに対応する位置に生成される。第４オブジェクトの座標、姿勢及び方向は、第２アバター５ｂの第４オブジェクト９に対する動作（すなわち、第２ユーザＵ２のテーブルＴに対する操作）に応じて、変更可能となっている。第４オブジェクト９の形状は、テーブルＴに対応した形状となっている。
【００６５】
図２に示すように、ユーザ状態認識部３１は、第１カメラ２ａが撮影した標識１を含む第１ユーザＵ１の画像データに基づいて、第１ユーザＵ１の状態を認識し、第２カメラ２ｂが撮影した標識１を含む第２ユーザＵ２の画像データに基づいて、第２ユーザＵ２の状態を認識する。
【００６６】
また、ユーザ状態認識部３１は、ユーザ座標認識部３１ａと、ユーザ姿勢認識部３１ｂと、ユーザ方向認識部３１ｃとを有している。ユーザ座標認識部３１ａ、ユーザ姿勢認識部３１ｂ及びユーザ方向認識部３１ｃは、ユーザＵの画像データからユーザＵに取り付けられている標識１を抽出し、その抽出結果に基づいて、ユーザＵの座標、姿勢及び方向を認識する。
【００６７】
アバター制御部３２は、ユーザ状態認識部３１によって認識された第１ユーザＵ１の状態の変化に応じて、第１アバター５ａの状態（具体的には、座標、姿勢及び方向）を制御し、ユーザ状態認識部３１によって認識された第２ユーザＵ２の状態の変化に応じて、第２アバター５ｂの状態（具体的には、座標、姿勢及び方向）を制御する。
【００６８】
アイテム状態認識部３３は、第２カメラ２ｂが撮影した標識１を含むアイテムＩ及びテーブルＴの画像データに基づいて、アイテムＩ及びテーブルＴの状態を認識する。アイテム状態認識部３３は、アイテム形状認識部３３ａと、アイテム座標認識部３３ｂと、アイテム姿勢認識部３３ｃと、アイテム方向認識部３３ｄとを有している。
【００６９】
アイテム形状認識部３３ａ、アイテム座標認識部３３ｂ、アイテム姿勢認識部３３ｃ、及びアイテム方向認識部３３ｄは、アイテムＩの画像データ及びテーブルＴの画像データからアイテムＩ及びテーブルＴに取り付けられている標識１を抽出し、その抽出結果に基づいて、アイテムＩ及びテーブルＴの形状、座標、姿勢及び方向を認識する。
【００７０】
オブジェクト制御部３４は、アバター制御部３２によって認識されたアバター５の動作に応じて、第３オブジェクト８及び第４オブジェクト９の状態を制御する。
【００７１】
また、オブジェクト制御部３４は、第１オブジェクト制御部３４ａと、第２オブジェクト制御部３４ｂと、第３オブジェクト制御部３４ｃと、第４オブジェクト制御部３４ｄとを有している。
【００７２】
第１オブジェクト制御部３４ａは、第１アバター５ａ（すなわち、第１ユーザＵ１）の動作に応じて、第１オブジェクト６の形状（組み立ての状態）、座標、姿勢（ヨー軸に対する傾き）及び方向（ヨー軸を中心とする位相）を制御する。
【００７３】
第２オブジェクト制御部３４ｂは、第２アバター５ｂ（すなわち、第２ユーザＵ２）の動作に応じて、第２オブジェクト７の座標、姿勢及び方向を制御する。また、第２オブジェクト制御部３４ｂは、第１オブジェクト６の形状の変化に応じて、第２オブジェクト７の形状を制御する。
【００７４】
第３オブジェクト制御部３４ｃは、第２アバター５ｂ（すなわち、第２ユーザＵ２）の動作、及び、アイテムＩの状態に応じて、第３オブジェクト８の形状、座標、姿勢及び方向を制御する。
【００７５】
第４オブジェクト制御部３４ｄは、第２アバター５ｂ（すなわち、第２ユーザＵ２）の動作、及び、テーブルＴの状態に応じて、第４オブジェクト９の座標、姿勢及び方向を制御する。ただし、本実施形態では、第４オブジェクト９の状態の変更は行われない。
【００７６】
出力情報決定部３５は、ＨＭＤ４を介して、ユーザＵに認識させる仮想空間ＶＳに関する情報を決定する。この出力情報決定部３５は、画像決定部３５ａと、音声決定部３５ｂとを有している。
【００７７】
画像決定部３５ａは、アバター５の状態、並びに、第１オブジェクト６、第２オブジェクト７、第３オブジェクト８及び第４オブジェクト９の状態に基づいて、ＨＭＤ４のモニタ４０を介して、アバター５に対応するユーザＵに認識させる仮想空間ＶＳの画像を決定する。
【００７８】
音声決定部３５ｂは、アバター５の状態、並びに、第１オブジェクト６、第２オブジェクト７、第３オブジェクト８及び第４オブジェクト９の状態に基づいて、ＨＭＤ４のスピーカ４１を介して、アバター５に対応するユーザＵに認識させる仮想空間ＶＳの画像に関連する音声を決定する。
【００７９】
なお、本発明の仮想空間体感システムを構成する各処理部は、上記のような構成に限定されるものではない。例えば、本実施形態においてサーバ３に設けられている処理部の一部を、ＨＭＤ４に設けてもよい。また、複数のサーバを用いてもよいし、サーバ３を省略してＨＭＤ４に搭載されているＣＰＵを協働させて構成してもよい。
【００８０】
［実行される処理］
次に、図２〜図１２を参照して、ＶＲシステムＳを用いてユーザＵに仮想空間ＶＳを体感させる際に、ＶＲシステムＳの実行する処理について説明する。
【００８１】
［使用が開始された際における処理］
まず、図２〜図４を参照して、ＶＲシステムＳの使用が開始された際に、ＶＲシステムＳの各処理部が実行する処理について説明する。
【００８２】
この処理においては、まず、サーバ３の仮想空間生成部３０が、カメラ２によって撮影された画像に基づいて、仮想空間ＶＳ、並びに、その仮想空間ＶＳに存在させるアバター５及び各種オブジェクトを生成する（図４／ＳＴＥＰ１００）。
【００８３】
具体的には、図３に示すように、仮想空間生成部３０が、仮想空間ＶＳの背景となる画像を生成する。また、仮想空間生成部３０は、カメラ２が撮影した画像のうち、ユーザＵの画像に基づいて、仮想空間ＶＳに存在させるアバター５の画像を生成し、アイテムＩの画像に基づいて、第１オブジェクト６、第２オブジェクト７及び第３オブジェクト８の画像を生成し、テーブルＴの画像に基づいて、第４オブジェクト９の画像を生成する。
【００８４】
次に、サーバ３のオブジェクト制御部３４が、第２現実空間ＲＳ２におけるアイテムＩの状態に基づいて、仮想空間ＶＳにおける第１オブジェクト６、第２オブジェクト７及び第３オブジェクト８の状態を決定する（図４／ＳＴＥＰ１０１）。
【００８５】
具体的には、まず、アイテム状態認識部３３が、カメラ２が撮影したアイテムＩの状態に基づいて、第２現実空間ＲＳ２におけるアイテムＩの状態を認識する。その後、オブジェクト制御部３４の第３オブジェクト制御部３４ｃが、認識されたアイテムＩの状態に基づいて、第３オブジェクト８の状態を決定する。
【００８６】
さらにその後、オブジェクト制御部３４の第１オブジェクト制御部３４ａ及び第２オブジェクト制御部３４ｂが、第３オブジェクト８の状態に対応するようにして、第１オブジェクト６及び第２オブジェクト７の状態を決定する。
【００８７】
また、このとき、アイテム状態認識部３３が、カメラ２が撮影したテーブルＴの状態に基づいて、第２現実空間ＲＳ２におけるテーブルＴの状態を認識する。その後、オブジェクト制御部３４の第４オブジェクト制御部３４ｄが、認識されたテーブルＴの状態に基づいて、第４オブジェクト９の状態を決定する。
【００８８】
次に、サーバ３のアバター制御部３２が、現実空間ＲＳにおけるユーザＵの各々の状態に基づいて、仮想空間ＶＳにおいてユーザＵの各々に対応するアバター５の状態を決定する（図４／ＳＴＥＰ１０２）。
【００８９】
具体的には、まず、ユーザ状態認識部３１が、カメラ２が撮影したユーザＵの状態に基づいて、現実空間ＲＳにおけるユーザＵの状態を認識する。その後、アバター制御部３２が、認識されたユーザＵの状態に基づいて、アバター５の状態を決定する。
【００９０】
次に、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、第１オブジェクト６、第２オブジェクト７、第３オブジェクト８及び第４オブジェクト９の状態、並びに、アバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図４／ＳＴＥＰ１０３）。
【００９１】
次に、ユーザＵの装着しているＨＭＤ４が、そのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させて（図４／ＳＴＥＰ１０４）、今回の処理を終了する。
【００９２】
本実施形態では、これらの処理によって、図３に示すように、仮想空間ＶＳにおいて、第１ユーザＵ１に対応する第１アバター５ａと、第２ユーザＵ２に対応する第２アバター５ｂとが、互いに対面するように存在するように配置される。
【００９３】
また、第１ユーザＵ１に対応する第１アバター５ａの近傍には、第１オブジェクト６が配置される。また、第２ユーザＵ２の近傍には、第２オブジェクト７が配置される。また、第３オブジェクト８及び第４オブジェクト９は、第２ユーザＵ２の近傍であり、且つ、第２現実空間ＲＳ２におけるアイテムＩ及びテーブルＴに対応する位置に配置される。
【００９４】
これにより、この仮想空間ＶＳを認識させられているユーザＵは、自らに対応するアバター５として、自らがその仮想空間ＶＳに存在し、自らの近傍に存在しているオブジェクトを、自らの手で（厳密にはアバター５を介して）操作できるように認識させられる。
【００９５】
［第１オブジェクトが操作された際における処理］
次に、図２、図５〜図７を参照して、ＶＲシステムＳの使用が開始された後、第１ユーザＵ１が第１アバター５ａを介して第１オブジェクト６を操作した際に、ＶＲシステムＳの各処理部が実行する処理について説明する。
【００９６】
この処理においては、まず、ユーザ状態認識部３１が、第１ユーザＵ１の状態が変化したか否かを判定する（図５／ＳＴＥＰ２００）。
【００９７】
第１ユーザＵ１の状態が変化していない場合（ＳＴＥＰ２００でＮＯの場合）、ＳＴＥＰ２００に戻り、所定の制御周期でＳＴＥＰ２００の判定を再度実行する。
【００９８】
一方、第１ユーザＵ１の状態が変化した場合（ＳＴＥＰ２００でＹＥＳの場合）、アバター制御部３２は、第１ユーザＵ１の状態の変化に基づいて、第１アバター５ａの状態を変化させる（図５／ＳＴＥＰ２０１）。
【００９９】
次に、オブジェクト制御部３４が、アバター制御部３２によって実行される第１アバター５ａの状態の変化（すなわち、動作）が、第１オブジェクト６を操作するような動作であるか否かを判定する（図５／ＳＴＥＰ２０２）。
【０１００】
具体的には、オブジェクト制御部３４は、仮想空間ＶＳにおける第１オブジェクト６に対する第１アバター５ａの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第１アバター５ａの動作が第１オブジェクト６を操作するような動作であるか否かを判定する。
【０１０１】
本実施形態では、例えば、図６に示すように、オブジェクト制御部３４は、第１アバター５ａの手が第１オブジェクト６に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
【０１０２】
第１アバター５ａの動作が第１オブジェクト６を操作するような動作である場合（ＳＴＥＰ２０２でＹＥＳの場合）、オブジェクト制御部３４の第１オブジェクト制御部３４ａが、第１アバター５ａによる操作に基づいて、第１オブジェクト６の形状、座標、姿勢及び方向を変化させる（図５／ＳＴＥＰ２０３）。
【０１０３】
次に、オブジェクト制御部３４の第１オブジェクト制御部３４ａが、第１オブジェクト６の形状の変化に基づいて、第２アバター５ｂの近傍に位置している第２オブジェクト７の形状を変化させる（図５／ＳＴＥＰ２０４）。
【０１０４】
これらのＳＴＥＰ２０２〜２０４の処理により、図６に示すように、第１オブジェクト６に対する操作の結果、第１オブジェクト６の形状が変更された場合には、第２オブジェクト７の形状も、それに同期して変化する。
【０１０５】
具体的には、例えば、第１アバター５ａが、車の模型である第１オブジェクト６の屋根部分である第２パーツ６１を本体部分である第１パーツ６０に対して取り付ける操作を行って、第１オブジェクト６の形状を変化させたとする。
【０１０６】
このとき、第１オブジェクト６に対応する形状を有している第２オブジェクト７の形状も、第１オブジェクト６の形状の変化に同期して変化する。具体的には、第２オブジェクト７の屋根部分である第２パーツ７１が、本体部分である第２パーツ７１に対して、自動的に取り付けられる。
【０１０７】
ただし、図７に示すように、第１オブジェクト６に対する操作の結果、第１オブジェクト６の形状ではなく、座標、姿勢及び方向のいずれかが変更された場合には、第２オブジェクト７の対応する座標、姿勢及び方向は、それに同期せず変化しない。
【０１０８】
具体的には、例えば、第１アバター５ａが、図７に示した矢印の方向に、第１オブジェクト６の姿勢（ヨー軸に対する傾き）及び方向（ヨー軸を中心とする位相）を、図６に示した姿勢及び方向から変化させたとする。
【０１０９】
このとき、第２オブジェクト７の姿勢及び方向は、第１オブジェクト６の姿勢及び方向の変化に同期せず変化しない。すなわち、第２オブジェクト７の姿勢及び方向は、第１オブジェクト６の状態の変化前と変化後とにおいて、変化しない。
【０１１０】
次に、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、仮想空間ＶＳにおける第１オブジェクト６及び第２オブジェクト７の状態、並びに、アバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図５／ＳＴＥＰ２０５）。
【０１１１】
同様に、第１アバター５ａの動作が第１オブジェクト６を操作するような動作でない場合（ＳＴＥＰ２０２でＮＯの場合）も、仮想空間ＶＳにおける第１オブジェクト６及び第２オブジェクト７の状態、並びに、アバター５の状態に基づいて、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、ユーザＵに認識させる画像及び音声を決定する（図５／ＳＴＥＰ２０５）。
【０１１２】
次に、ユーザＵの装着しているＨＭＤ４が、そのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させて（図５／ＳＴＥＰ２０６）、今回の処理を終了する。
【０１１３】
ＶＲシステムＳは、ユーザＵによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。
【０１１４】
以上説明したように、ＶＲシステムＳでは、第１オブジェクト６は、第２オブジェクト７に対応した形状を有している。すなわち、それらのオブジェクトは、１つの対象物（本実施形態では、第２現実空間ＲＳ２に存在している組み立て式の車の模型であるアイテムＩ）をモデルとして生成されている。また、ＶＲシステムＳでは、第１オブジェクト６の形状が変更された際に、第２オブジェクト７の形状を、その第１オブジェクト６の形状の変更に応じて（同期して）変更する。
【０１１５】
そのため、ＶＲシステムＳは、例えば、教師役の第１ユーザＵ１が自らの手元にある第１オブジェクト６を操作するとともに、生徒役の第２ユーザＵ２にその第２ユーザＵ２の手元にある第２オブジェクト７を観察させることによって、教師役の第１ユーザＵ１が生徒役の第２ユーザＵ２に、第２オブジェクト７を介して、第１オブジェクト６及び第２オブジェクト７のモデルとなっている対象物（本実施形態では車の模型）の組み立て方法を教えるといった使い方が可能になっている。
【０１１６】
さらに、このＶＲシステムＳは、第１オブジェクト６の形状だけでなく座標、姿勢及び方向のいずれか１つが変更された際に、第２オブジェクト７の座標、姿勢及び方向を固定したまま、その第２オブジェクト７の形状を、第１オブジェクトの形状の変更に応じて変更するように構成されている。
【０１１７】
これにより、第２ユーザＵ２が観察する第２オブジェクト７の形状は、第１ユーザＵ１の第１オブジェクト６に対する操作の結果に応じて変化するが、座標、姿勢及び方向は、変化しない。すなわち、観察に関係する状態は、ある程度固定されたままとなっている。
【０１１８】
そのため、第１ユーザＵ１は、自らが観察する第１オブジェクト６を、自由に動かしながら観察することができる一方で、第２ユーザＵ２も、自らが観察する第２オブジェクト７を、ある程度安定した状態で観察することができる。
【０１１９】
したがって、ＶＲシステムＳによれば、仮想空間ＶＳで、第２現実空間ＲＳ２のアイテムＩという１つの対象物をモデルとする第１オブジェクト６及び第２オブジェクト７の各々を、対応する第１ユーザＵ１又は第２ユーザＵ２が自由に意図したような状態で、又は、ある程度安定した状態で観察することができる。ひいては、第１ユーザＵ１及び第２ユーザＵ２の各々が、自らに対応する第１オブジェクト６又は第２オブジェクト７を、観察しやすい状態を実現することができる。
【０１２０】
なお、本発明の仮想空間体感システムは、このような構成に限定されるものではなく、第１オブジェクトの形状以外を含む状態が変更された際に、第２オブジェクトの座標、姿勢及び方向の少なくとも１つを固定したまま、第２オブジェクトの固定された状態以外の状態を、第１オブジェクトの状態の変更に応じて変更するように構成されていればよい。
【０１２１】
そのため、必ずしも、本実施形態のように、第２オブジェクトの座標、姿勢及び方向の全てを第１オブジェクトの状態の変更に関わらず固定された状態とする必要はなく、座標、姿勢及び方向のいずれか１つ又は２つについては、第１オブジェクトの対応する状態に応じて変更するように構成してもよい。このとき、対応して変更される状態は、観察対象となるオブジェクトの形状、種類、オブジェクトの観察目的等に応じて適宜設定すればよい。
【０１２２】
［第２オブジェクトが操作された際における処理］
次に、図２、図８及び図９を参照して、ＶＲシステムＳの使用が開始された後、第２ユーザＵ２が第２アバター５ｂを介して第２オブジェクト７を操作した際に、ＶＲシステムＳの各処理部が実行する処理について説明する。
【０１２３】
この処理においては、まず、ユーザ状態認識部３１が、第２ユーザＵ２の状態が変化したか否かを判定する（図８／ＳＴＥＰ３００）。
【０１２４】
第２ユーザＵ２の状態が変化していない場合（ＳＴＥＰ３００でＮＯの場合）、ＳＴＥＰ３００に戻り、所定の制御周期でＳＴＥＰ３００の判定を再度実行する。
【０１２５】
一方、第２ユーザＵ２の状態が変化した場合（ＳＴＥＰ３００でＹＥＳの場合）、アバター制御部３２は、第２ユーザＵ２の状態の変化に基づいて、第２アバター５ｂの状態を変化させる（図８／ＳＴＥＰ３０１）。
【０１２６】
次に、オブジェクト制御部３４が、アバター制御部３２によって実行される第２アバター５ｂの状態の変化（すなわち、動作）が、第２オブジェクト７を操作するような動作であるか否かを判定する（図８／ＳＴＥＰ３０２）。
【０１２７】
具体的には、オブジェクト制御部３４は、仮想空間ＶＳにおける第２オブジェクト７に対する第２アバター５ｂの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第２アバター５ｂの動作が第２オブジェクト７を操作するような動作であるか否かを判定する。
【０１２８】
本実施形態では、例えば、図９に示すように、オブジェクト制御部３４は、第２アバター５ｂの手が第２オブジェクト７に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
【０１２９】
第２アバター５ｂの動作が第２オブジェクト７を操作するような動作である場合（ＳＴＥＰ３０２でＹＥＳの場合）、オブジェクト制御部３４の第２オブジェクト制御部３４ｂが、第２アバター５ｂによる操作に基づいて、第２オブジェクト７の座標、姿勢及び方向を変化させる（図８／ＳＴＥＰ３０３）。
【０１３０】
ここで、第２オブジェクト７は、第２ユーザＵ２が観察するためのオブジェクトである。そのため、ＶＲシステムＳでは、第２ユーザＵ２は、自らに対応する第２アバター５ｂを介して、第２オブジェクト７の形状を変更することはできないようになっている。
【０１３１】
また、第１ユーザＵ１が第１オブジェクト６を操作した場合と異なり、第１オブジェクト６の状態は、第２オブジェクト７の状態の変化に同期して変化しない。
【０１３２】
具体的には、例えば、第２アバター５ｂが、図９に示した矢印の方向に、第２オブジェクト７の姿勢（ヨー軸に対する傾き）及び方向（ヨー軸を中心とする位相）を変化させたとする。
【０１３３】
このとき、第１オブジェクト６の姿勢及び方向は、第２オブジェクト７の姿勢及び方向の変化に同期せず変化しない。すなわち、第１オブジェクト６の姿勢及び方向は、第２オブジェクト７の状態の変化前と変化後とにおいて、変化しない。
【０１３４】
次に、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、仮想空間ＶＳにおける第１オブジェクト６及び第２オブジェクト７の状態、並びに、アバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図８／ＳＴＥＰ３０４）。
【０１３５】
同様に、第２アバター５ｂの動作が第２オブジェクト７を操作するような動作でない場合（ＳＴＥＰ３０２でＮＯの場合）も、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、仮想空間ＶＳにおける第１オブジェクト６及び第２オブジェクト７の状態、並びに、アバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図８／ＳＴＥＰ３０４）。
【０１３６】
次に、ユーザＵの装着しているＨＭＤ４が、そのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させて（図８／ＳＴＥＰ３０５）、今回の処理を終了する。
【０１３７】
ＶＲシステムＳは、ユーザＵによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。
【０１３８】
以上説明したように、ＶＲシステムＳでは、第１オブジェクト６の座標、姿勢及び方向と独立して、第２オブジェクト７の座標、姿勢及び方向を変更することができるようになっている。これにより、第２ユーザＵ２は、自らに対応する第２オブジェクト７を観察しにくい場合には、第２オブジェクト７の座標、姿勢及び方向を、第１ユーザＵ１に対応する第１オブジェクト６の状態に関わらず、見やすいように変更することができる。
【０１３９】
なお、本発明の仮想空間体感システムは、このような構成に限定されるものではなく、第１オブジェクトの座標、姿勢及び方向の少なくとも１つと独立して、第２オブジェクトの対応する座標、姿勢及び方向の少なくとも１つを変更するように構成されていればよい。
【０１４０】
そのため、必ずしも、本実施形態のように、第２オブジェクトの座標、姿勢及び方向の全てを第１オブジェクトの座標、姿勢及び方向と独立して変更可能にする必要はなく、第２オブジェクトの状態のうちいずれか１つ又は２つについては、第１オブジェクトの状態が、第２オブジェクトの状態の変更に応じて変更されるように構成してもよい。
【０１４１】
そのように構成すると、例えば、本実施形態のように第１ユーザを教師役、第２ユーザを生徒役とした場合に、第１ユーザが、第２オブジェクトの状態の変化に応じて状態の変化した第１オブジェクトを観察することによって、第２ユーザの理解の度合い等を推定するといった使い方もできるようになる。
【０１４２】
［第３オブジェクトが操作された際における処理］
次に、図２、図１０及び図１１を参照して、ＶＲシステムＳの使用が開始された後、第２ユーザＵ２が第２アバター５ｂを介して第３オブジェクト８を操作した際に、ＶＲシステムＳの各処理部が実行する処理について説明する。
【０１４３】
この処理においては、まず、ユーザ状態認識部３１が、第２ユーザＵ２の状態が変化したか否かを判定する（図１０／ＳＴＥＰ４００）。
【０１４４】
第２ユーザＵ２の状態が変化していない場合（ＳＴＥＰ４００でＮＯの場合）、ＳＴＥＰ４００に戻り、所定の制御周期でＳＴＥＰ４００の判定を再度実行する。
【０１４５】
一方、第２ユーザＵ２の状態が変化した場合（ＳＴＥＰ４００でＹＥＳの場合）、アバター制御部３２は、第２ユーザＵ２の状態の変化に基づいて、第２アバター５ｂの状態を変化させる（図１０／ＳＴＥＰ４０１）。
【０１４６】
次に、オブジェクト制御部３４が、アバター制御部３２によって実行される第２アバター５ｂの状態の変化（すなわち、動作）が、第３オブジェクト８を操作するような動作であるか否かを判定する（図１０／ＳＴＥＰ４０２）。
【０１４７】
具体的には、オブジェクト制御部３４は、仮想空間ＶＳにおける第３オブジェクト８に対する第２アバター５ｂの座標、姿勢及び方向の変化が所定の座標、姿勢及び方向の変化に該当するか否かに基づいて、第２アバター５ｂの動作が第３オブジェクト８を操作するような動作であるか否かを判定する。
【０１４８】
本実施形態では、例えば、図１１に示すように、オブジェクト制御部３４は、第２アバター５ｂの手が第３オブジェクト８に含まれるパーツのいずれかを掴んだり移動させたりするような動作であるか否かを、判定する。
【０１４９】
第２アバター５ｂの動作が第３オブジェクト８を操作するような動作である場合（ＳＴＥＰ４０２でＹＥＳの場合）、オブジェクト制御部３４の第３オブジェクト制御部３４ｃが、第２アバター５ｂによる操作に基づいて、第３オブジェクト８の形状、座標、姿勢及び方向を変化させる（図１０／ＳＴＥＰ４０３）。
【０１５０】
ここで、第３オブジェクト８は、第２ユーザＵ２が操作するためのオブジェクトであり、その操作の結果に応じた状態の変化は、第１オブジェクト６及び第２オブジェクト７とは独立したものとなっている。そのため、図１１に示すように、第３オブジェクト８の状態が変化しても、第１オブジェクト６又は第２オブジェクト７の状態が、それに同期して変化することはない。
【０１５１】
次に、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、仮想空間ＶＳにおける第３オブジェクト８の状態及びアバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図１０／ＳＴＥＰ４０４）。
【０１５２】
同様に、第２アバター５ｂの動作が第３オブジェクト８を操作するような動作でない場合（ＳＴＥＰ４０２でＮＯの場合）も、サーバ３の出力情報決定部３５の画像決定部３５ａ及び音声決定部３５ｂが、仮想空間ＶＳにおける第３オブジェクト８の状態及びアバター５の状態に基づいて、ユーザＵに認識させる画像及び音声を決定する（図１０／ＳＴＥＰ４０４）。
【０１５３】
次に、ユーザＵの装着しているＨＭＤ４が、そのモニタ４０に決定された画像を表示させるとともに、そのスピーカ４１に決定された音声を発生させて（図１０／ＳＴＥＰ４０５）、今回の処理を終了する。
【０１５４】
ＶＲシステムＳは、ユーザＵによる終了の指示が認識されるまで、所定の制御周期で、上記の処理を繰り返し実行する。
【０１５５】
以上説明したように、第３オブジェクト８は、仮想空間ＶＳに生成されるものであるが、第２現実空間ＲＳ２に実在しているアイテムＩに重複するように生成されている。また、第３オブジェクト８の状態の変化もアイテムＩに対応している。すなわち、第３オブジェクト８の状態の変化は、アイテムＩの状態の変化に対応している。
【０１５６】
そのため、例えば、第２ユーザＵ２が、第２オブジェクト７を介して組み立て方法を観察した後、その方法に従って第３オブジェクト８を操作することによって、ＶＲシステムＳを使用開始前には組み立てられていなかったアイテムＩが、使用終了後には組み立てられた状態になる。
【０１５７】
すなわち、ＶＲシステムＳでは、仮想空間ＶＳで第２ユーザＵ２が第２アバター５ｂを介して第３オブジェクト８に行った動作の結果が、第２現実空間ＲＳ２に対応するアイテムＩに反映されるようになる。これにより、仮想空間ＶＳにおける第２アバター５ｂの動作の結果を、第２現実空間ＲＳ２のアイテムＩに反映させたかのように、第２ユーザＵ２に感じさせることができる。
【０１５８】
また、このように構成すると、第２ユーザＵ２は、第３オブジェクト８に触れたときに、第２現実空間ＲＳ２で第２ユーザＵ２がアイテムＩに触れることになる。これにより、第２ユーザＵ２に第３オブジェクト８を触っているという感覚を与えることができる。ひいては、第２ユーザＵ２の仮想空間ＶＳへの没入感を高めることができる。
【０１５９】
また、第１ユーザＵ１と第２ユーザＵ２とが同一の現実空間に存在している場合、又は、第３オブジェクト８を第１現実空間ＲＳ１に存在しているアイテムに対応させて生成した場合には、第１ユーザＵ１も、第３オブジェクト８に触れることができる。
【０１６０】
そのような場合には、第１ユーザＵ１に対しても、仮想空間ＶＳにおける第１アバター５ａの動作の結果を、現実空間のアイテムＩに反映させたかのように感じさせることができる。また、第１ユーザＵ１に第３オブジェクト８を触っているという感覚を与えることができる。ひいては、第１ユーザＵ１の仮想空間ＶＳへの没入感を高めることができる。
【０１６１】
なお、本実施形態では、前述のように、第１オブジェクト６及び第２オブジェクト７のいずれかの状態が変化しても、第３オブジェクト８の状態が、それに同期して変化することはない。しかし、第３オブジェクト８の状態の変更に応じて（同期して）、第１オブジェクト６の状態も変更するよう構成した場合には、第２ユーザＵ２の第３オブジェクト８に対する操作の様子を、第１ユーザＵ１が自らに対応する第１オブジェクト６を介して把握するといった使い方ができるようになる。
【０１６２】
［変形例］
次に、図１２を参照して、ＶＲシステムＳの変形例について説明する。本変形例では、第２オブジェクトの色、及び、第３オブジェクト８の座標のみが、上記実施形態の構成とは異なる。そのため、以下の説明においては、その相違する構成についてのみ詳細に説明する。なお、上記実施形態における構成と同一の構成又は対応する構成については、同一の符号を付すとともに、詳細な説明は省略する。
【０１６３】
図１２に示すように、第２オブジェクト７及び第３オブジェクト８は、組み立て式の車の模型であるアイテムＩをモデルとして生成される。
【０１６４】
第２オブジェクト７を構成する各パーツのうち本体部分である第１パーツ７０の座標、姿勢及び方向は、第３オブジェクト８を構成する各パーツのうちの本体部分である第１パーツ８０の座標、姿勢及び方向に一致するように設定されている。そのため、第２オブジェクト７の第１パーツ７０と、第３オブジェクト８の第１パーツ８０とは、仮想空間ＶＳで重畳して存在することになる。
【０１６５】
そして、第２オブジェクト７の形状は、第１ユーザＵ１に対応する第１オブジェクト６の形状の変化（すなわち、第１ユーザＵ１の操作）に応じて変化する。一方、第３オブジェクト８の形状は、第２ユーザＵ２の操作に応じて変化する。
【０１６６】
そのため、第１オブジェクト６の形状が変化すると、重畳している第２オブジェクト７と第３オブジェクト８のうち第２オブジェクト７の形状のみが、その変化に対応して変化することになる。
【０１６７】
具体的には、例えば、第１ユーザＵ１によって、屋根部分である第２パーツ６１が、第１オブジェクト６の本体部分である第１パーツ６０に対して取り付けられたとする。この場合、第２オブジェクト７の屋根部分である第２パーツ７１も、本体部分である第１パーツ７０に対して、自動的に取り付けられる。
【０１６８】
ここで、第２オブジェクト７は、第３オブジェクト８とは異なり、半透明のオブジェクトとして生成されている。そのため、第１オブジェクト６の形状が変化した際には、その変化した部分のみ（すなわち、第１オブジェクト６の形状と第３オブジェクト８の形状との相違部分のみ）が、第２ユーザＵ２に、半透明の部分として示されることになる。
【０１６９】
その結果、第２ユーザＵ２は、第１オブジェクト６の形状と第３オブジェクト８の形状との相違部分（ひいては、第１ユーザＵ１による第１オブジェクト６に対する操作）を、直観的に把握することができる。具体的には、第２ユーザＵ２は、第１ユーザＵ１の組み立て手順を、その相違部分を観察することによって、容易に把握することができる。
【０１７０】
なお、第２オブジェクト７の色は、必ずしも半透明である必要はなく、第３オブジェクト８の色と異なる色であってもよい。
【０１７１】
［その他の実施形態］
以上、図示の実施形態について説明したが、本発明はこのような形態に限定されるものではない。
【０１７２】
例えば、上記実施形態では、図３に示すように、ＶＲシステムＳは、第１ユーザＵ１が観察する第１オブジェクト６、及び、第２ユーザＵ２が観察する第２オブジェクト７だけでなく、第２ユーザＵ２が操作し、アイテムＩに対応する第３オブジェクト８、及び、アイテムＩが載置されるテーブルＴに対応する第４オブジェクト９を、仮想空間ＶＳに生成している。
【０１７３】
これは、教師役である第１ユーザＵ１によって第１オブジェクト６（ひいては、第２オブジェクト７）を介して示された方法に応じて、生徒役である第２ユーザＵ２が、第３オブジェクト８（ひいては、現実に存在するアイテムＩ）を、操作することができるようにするためである。
【０１７４】
しかし、本発明の仮想空間体感システムは、そのような構成に限定されるものではなく、第１ユーザが観察する第１オブジェクト及び第２ユーザが観察する第２オブジェクトを、仮想空間に生成するものであればよい。
【０１７５】
そのため、実在のアイテムを操作する必要がない場合には、それに対応する第３オブジェクト、及び、第３オブジェクトを載置するための第４オブジェクトは、生成しなくてもよい。また、その第３オブジェクト及び第４オブジェクトを認識する必要もなくなるので、アイテム認識部、並びに、オブジェクト制御部の第３オブジェクト制御部及び第４オブジェクト制御部とともに、それらが実行する処理を省略してもよい。
【符号の説明】
【０１７６】
１…標識、２…カメラ、２ａ…第１カメラ、２ｂ…第２カメラ、３…サーバ、４…ＨＭＤ、５…アバター、５ａ…第１アバター、５ｂ…第２アバター、６…第１オブジェクト、７…第２オブジェクト、８…第３オブジェクト、９…第４オブジェクト、３０…仮想空間生成部、３１…ユーザ状態認識部、３１ａ…ユーザ座標認識部、３１ｂ…ユーザ姿勢認識部、３１ｃ…ユーザ方向認識部、３２…アバター制御部、３３…アイテム状態認識部、３３ａ…アイテム形状認識部、３３ｂ…アイテム座標認識部、３３ｃ…アイテム姿勢認識部、３３ｄ…アイテム方向認識部、３４…オブジェクト制御部、３４ａ…第１オブジェクト制御部、３４ｂ…第２オブジェクト制御部、３４ｃ…第３オブジェクト制御部、３４ｄ…第４オブジェクト制御部、３５…出力情報決定部、３５ａ…画像決定部、３５ｂ…音声決定部、４０…モニタ、４１…スピーカ、６０，７０，８０…第１パーツ、６１，７１，８１…第２パーツ、６２，７２，８２…第３パーツ、６３，７３，８３…第４パーツ、Ｉ…アイテム、Ｕ…ユーザ、Ｕ１…第１ユーザ、Ｕ２…第２ユーザ、ＲＳ…現実空間、ＲＳ１…第１現実空間、ＲＳ２…第２現実空間、Ｓ…ＶＲシステム（仮想空間体感システム）、Ｔ…テーブル、ＶＳ…仮想空間。
【要約】
ＶＲシステムＳのオブジェクト制御部３４は、第１ユーザに対応する第１アバターによって第１オブジェクトの状態が変更された際に、第２ユーザに対応する第２アバターの観察する第２オブジェクトの座標、姿勢及び方向の少なくとも１つを固定したまま、第１オブジェクトの状態の変更に応じて、第２オブジェクトの座標、姿勢及び方向の少なくとも１つ以外の状態を変更する。【図１】
0006933850.tif 000002
【図２】
0006933850.tif 000003
【図３】
0006933850.tif 000004
【図４】
0006933850.tif 000005
【図５】
0006933850.tif 000006
【図６】
0006933850.tif 000007
【図７】
0006933850.tif 000008
【図８】
0006933850.tif 000009
【図９】
0006933850.tif 000010
【図１０】
0006933850.tif 000011
【図１１】
0006933850.tif 000012
【図１２】
0006933850.tif 000013