(57)【要約】【課題】  仮想３次元空間内に没入して仮想３次元空間内での観察位置を移動しつづけていると、観察者は自分が仮想３次元空間内のどの位置にいるのかがわかりづらくなってしまうという問題があった。【解決手段】  実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間ＣＧを縮小して観察する縮小観察モードとを備え、観察モードとして、前記実寸観察モードや前記縮小観察モードを設定する観察モード設定手段と、ユーザの位置姿勢情報を取得する位置姿勢情報取得手段と、前記設定された観察モードおよび前記位置姿勢情報に基づき、前記仮想３次元空間を示すＣＧデータからＣＧ画像を生成する生成手段とを有する。【選択図】  図６
2006079174.tif 000002
【特許請求の範囲】
【請求項１】
仮想３次元空間内に仮想オブジェクトを表示し、仮想３次元空間内に没入して観察を行うことが可能な仮想現実感提示装置において、
実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間ＣＧを縮小して観察する縮小観察モードとを備え、
観察モードとして、前記実寸観察モードや前記縮小観察モードを設定する観察モード設定手段と、
ユーザの位置姿勢情報を取得する位置姿勢情報取得手段と、
前記設定された観察モードおよび前記位置姿勢情報に基づき、前記仮想３次元空間を示すＣＧデータからＣＧ画像を生成する生成手段とを有することを特徴とする仮想現実感提示装置。
【請求項２】
さらに、仮想３次元空間内での観察者の立ち位置を示す視点基準位置を移動する視点基準位置移動手段を備え、
前記実寸観察モードと前記縮小観察モードにおいて前記視点基準移動手段の操作量に基づく移動量が異なることを特徴とする請求項１に記載の仮想現実感提示装置。
【請求項３】
さらに、前記縮小観察モードにおいて、縮小された仮想３次元空間ＣＧを表示する位置を前記縮小観察モードが設定された時の観察者の頭部の位置姿勢に応じて設定する縮小表示位置自動設定手段を有することを特徴とする請求項１に記載の仮想現実感提示装置。
【請求項４】
縮小表示位置自動設定手段は、仮想３次元空間ＣＧ画像内における視点基準位置に相当する場所が画面の中央になるように縮小表示位置を設定することを特徴とする請求項３に記載の仮想現実感提示装置。
【請求項５】
前記縮小表示位置自動設定手段は、モード切替時点における観察者の目前に縮小表示位置を設定することを特徴とする、請求項３に記載の仮想現実感提示装置。
【請求項６】
さらに、前記縮小観察モードにおける縮小された仮想３次元空間ＣＧの縮小率を自動的に設定する縮小率自動設定手段を有することを特徴とする請求項１に記載の仮想現実感提示装置。
【請求項７】
縮小率自動設定手段は、画面内に仮想３次元空間ＣＧ全体がおさまるように前記縮小率を設定することを特徴とする請求項６記載の仮想現実感提示装置。
【請求項８】
前記縮小観察モードにおける縮小された仮想３次元空間ＣＧ画像上に、視点基準位置を示すＣＧ画像を加えて表示することを特徴とする請求項１に記載の仮想現実感提示装置。
【請求項９】
さらに、仮想３次元空間内での観察者の立ち位置を示す視点基準位置を移動する視点基準位置移動手段を有し、
前記縮小観察モードにおいて、前記視点基準位置に応じて決定する有効高さ以上の部分のＣＧ表示を行わない、または半透明表示にすることを特徴とする請求項１に記載の仮想現実感提示装置。
【請求項１０】
仮想３次元空間の観察モードを設定する設定工程と、
ユーザの位置姿勢情報を取得する位置姿勢情報取得工程と、
前記設定された観察モードおよび前記位置姿勢情報に基づき、前記仮想３次元空間を示すＣＧデータからＣＧ画像を生成する生成工程とを有し、
前記観察モードには、実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間を縮小して観察する縮小観察モードとが含まれることを特徴とする情報処理方法。
【請求項１１】
請求項１０記載の情報処理方法をコンピュータにて実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想３次元空間を体験するための仮想現実感提示装置および情報処理方法に関する。
【背景技術】
【０００２】
従来より、仮想現実感（ＶＲ：Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）提示装置が存在する。仮想現実感提示装置とは、たとえば、頭部装着型ディスプレイ（ＨＭＤ：Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）のような映像表示装置と、観察者の視点の位置姿勢を検出するための位置姿勢検出手段（たとえば位置姿勢センサ）と、ＣＧ（コンピュータグラフィックス）映像生成手段を備えている。
【０００３】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを観察者が装着するＨＭＤに取り付けることによって観察者頭部の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｐｉｔｃｈ，Ｙａｗ，Ｒｏｌｌ）をリアルタイムに検出する装置である。
【０００４】
ＣＧ映像生成手段は、三次元モデリングされたＣＧを現実空間と同じスケールの仮想空間に配置し、その仮想空間を前記位置姿勢検出手段によって検出された観察者視線位置姿勢からレンダリングするものである。
【０００５】
このようにして生成されたＣＧ映像を映像表示装置（ＨＭＤなど）に表示することにより、観察者はあたかも仮想のＣＧ空間の中に没入しているような感覚を得ることができる。
【０００６】
また、上記のシステムにおいては仮想空間内で位置移動するためには観察者が実際に位置移動をする必要があるが、機材ごと移動する必要があることや、仮想空間と同じだけの実空間を必要とするといった問題があることから、位置移動を別途指定する位置移動指示手段を設けることも従来から行われている。たとえば上記位置姿勢センサによって方向を指定し、さらに別途備えられたボタンを押すことによってその方向への移動を指示したり、ジョイスティックのようなデバイスをもちいて位置移動を指示することが行われている。このように仮想３次元空間内を自由に位置移動して観察することをウォークスルーと呼ぶ。この場合でも観察者視点の位置姿勢によってＣＧのレンダリング視点は変わるので、移動した先において視点の位置移動・姿勢変化があればそのとおりの視点から仮想空間を観察することができる。
【０００７】
また、近年現実世界の映像に三次元ＣＧを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはＡＲ（Ａｕｇｕｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ，拡張現実感）システムや特許文献１に記載されているようなＭＲ（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ，複合現実感）システムと呼ばれている。
【０００８】
ＭＲシステムでは、現実の物体に三次元ＣＧを重ねることが可能であり、本出願人は、現実物体に仮想物体を重畳することで、ユーザが自由に仮想物体を操ることができるシステムを提案している。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のシステムでは、仮想３次元空間内に没入して仮想３次元空間内での観察位置を移動しつづけていると、観察者は自分が仮想３次元空間内のどの位置にいるのかがわかりづらくなってしまうという問題があった。
【００１０】
本発明はこの従来の手法における課題を解決するものである。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１２】
本願請求項１記載の仮想現実感提示装置は、仮想３次元空間内に仮想オブジェクトを表示し、仮想３次元空間内に没入して観察を行うことが可能な仮想現実感提示装置において、実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間ＣＧを縮小して観察する縮小観察モードとを備え、観察モードとして、前記実寸観察モードや前記縮小観察モードを設定する観察モード設定手段と、ユーザの位置姿勢情報を取得する位置姿勢情報取得手段と、前記設定された観察モードおよび前記位置姿勢情報に基づき、前記仮想３次元空間を示すＣＧデータからＣＧ画像を生成する生成手段とを有することを特徴とする。
【００１３】
本願請求項１０記載の情報処理方法は、仮想３次元空間の観察モードを設定する設定工程と、ユーザの位置姿勢情報を取得する位置姿勢情報取得工程と、前記設定された観察モードおよび前記位置姿勢情報に基づき、前記仮想３次元空間を示すＣＧデータからＣＧ画像を生成する生成工程とを有し、前記観察モードには、実寸の仮想３次元空間に没入して観察する実寸観察モードと、仮想３次元空間を縮小して観察する縮小観察モードとが含まれることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、仮想３次元空間内を自由に見回しながら歩き回れるウォークスルー体験をしながら、必要に応じて仮想３次元空間を俯瞰した視点から自分の観察位置や仮想３次元空間の全景を立体的に確認することができる。
【発明を実施するための最良の形態】
【００１５】
（実施例１）
図１は、本実施例を説明する構成図である。ＣＰＵ１０１に、バス１０２を介して、位置姿勢センサコントローラ１０３、位置姿勢センサ１０４，ジョイスティック１０５，メモリ１０６，１０７，ＨＭＤ１０８が接続されている。ジョイスティック１０５は操縦桿状のデバイスであり、スティックの傾きの方向に応じた値を取得することができるものである。これはキーボードやビデオゲーム用の入力装置などのデバイスで代用することも可能である。メモリ１０６と１０７は同じものであっても構わない。位置姿勢センサ１０４は位置姿勢センサコントローラ１０３に接続されている。位置姿勢センサコントローラは位置姿勢センサの位置姿勢を提供するインタフェイスである。位置姿勢センサ１０４はＨＭＤ１０８にとりつけられ、ＨＭＤの位置姿勢を検出するために用いられる。なお、ＨＭＤおよびそれに取り付ける位置姿勢センサを２セット以上用意して体験者を２人以上とするものであってもかまわない。また、メモリ１０７中には、仮想３次元空間内に描画するべき３次元モデリングされたＣＧデータ１２０があらかじめ記録されているものとする。
【００１６】
まず、メモリ１０６中の観察モード設定手段１１３について説明する。
【００１７】
観察モード設定手段は、メモリ１０７中の観察モード１２６に値を設定するものである。本実施例では観察モードは実寸観察モードと縮小観察モードを備えているので、それぞれを表す整数値を記録することでモードを区別することができる。ここでは実寸観察モードに対して０、縮小観察モードに対して１の値を記録するなどすればよい。
【００１８】
観察モード設定手段１１３は、上記の処理の他に、それぞれの観察モードに応じて移動速度パラメタ１２４を設定する。移動速度パラメタ１２４の詳細については後述する。
【００１９】
観察モード設定手段は、プレイヤが仮想現実感体験中であっても何らかのボタン操作などによって自由に動作させることが可能である。後述するように、本実施例で説明する仮想現実感体験装置は毎フレーム表示ごとに観察モードの判定を行うので、仮想現実感体験中であっても観察モード設定手段によって観察モードが変化すれば、それにすぐさま応じた表示を行うことが可能である。
【００２０】
以上で観察モード設定手段１１３の説明を終える。
【００２１】
次に、本実施例の全体の流れについて説明する。図２は、全体の処理の流れを説明するためのフローチャートである。事前に視点基準位置１２３の値は、仮想３次元空間内での体験を開始する位置で初期化されている。
【００２２】
まずステップｓ２０１で、位置姿勢検出手段１１１によって、ＨＭＤに取り付けられた位置姿勢センサ１０４の位置姿勢を得て、この値から観察者視点の位置姿勢を検出し、メモリ１０７中のセンサ位置姿勢１２１に記録する。位置姿勢検出手段１１１は、位置姿勢センサコントローラ１０３を介して位置姿勢センサ１０４の位置姿勢を取得するものであり、従来から利用されている技術である。なお、位置姿勢センサは所定の基準点からの位置姿勢を算出するが、あらかじめ床上の特定の位置を基準点としておき、そこからの位置姿勢を算出させる。プレイヤは常にその基準位置上に立っている必要はなく、そこから移動することも可能である。
【００２３】
次に、ステップｓ２０２で、ジョイスティック１０５の値を取得し、メモリ１０７中のジョイスティック値１２２に記録する。ジョイスティック値１２２には、前後・左右の値のほか、高さ方向（上下）の値も記録される。
【００２４】
次に、ステップｓ２０３で、視点基準位置移動手段１１８により、視点基準位置（プレイヤ原点）を移動させる。視点基準位置移動手段１１８は、ジョイスティック値１２２に移動速度パラメタ１２４をかけた値をメモリ１０７中の視点基準位置１２３の値に加える。ジョイスティック値は前後・左右・上下の値をそれぞれ持っているので、それぞれの方向の値に応じた値を視点基準位置の値に加える。視点基準位置１２３の値は、仮想３次元空間内でのプレイヤが立っている位置を表すもので、プレイヤの視点を計算する上での基準点である。なお、ここでジョイスティック値１２２に移動速度パラメタ１２４をかけているのは、ジョイスティックから取得された値を視点基準位置に反映させる程度を調整するためである。移動速度パラメタ１２４の値が大きいほど同じジョイスティック操作での移動量が大きくなる。縮小観察モードにおいては広域な移動を行うことが多いので、縮小観察モードにおいては実寸観察モードよりも大きな値に設定すると便利である。なお、移動速度パラメタ１２４は本実施例では観察モード設定手段１１３によって設定されるものとしたが、事前に決めておいても構わないし、何らかの入力方法を介して観察中で自由に変更を加えられるものであっても構わない。
【００２５】
次に、ステップｓ２０４で、メモリ１０７中の観察モード１２６の値を判定する。観察モード１２６は、すでに説明した観察モード設定手段１１３によって設定されている。もし観察モードが実寸観察モードであればステップｓ２０５の実寸観察モード処理１１４へ、観察モードが縮小観察モードであればステップｓ２０６の縮小観察モード処理１１５へ進む。それぞれの観察モードの処理の詳細は後述するが、どちらもＣＧデータ１２０の位置とサイズを決定し、メモリ１０７中の視点位置姿勢１２５を決定するものである。視点位置姿勢１２５は、そこからＣＧのレンダリングを行う位置姿勢を示すものである。
【００２６】
次に、ステップＳ２０７では、ＣＧ生成手段１１２によって、ＣＧデータ１２０を視点位置姿勢１２５から見たとおりにレンダリングする。これも従来から用いられている一般的なＣＧ生成の手法によって実現できる。
【００２７】
次にステップＳ２０８はステップＳ２０７でレンダリングされたＣＧ画像をＨＭＤ１０８の画像表示部に表示する。
【００２８】
以上で一画面分の仮想現実感画像を表示できることになるが、この処理全体を次々とくり返し連続して行うことで、動画として仮想現実感画像を提示することが可能である。また、ＨＭＤがステレオ表示可能な場合は、ステップＳ２０７において左右眼それぞれの視点から２つのＣＧ画像を生成し、ステップＳ２０８でＨＭＤのそれぞれの表示部に表示すればよい。左右の視点位置の算出は、センサ１０４の位置姿勢を元にそれぞれ計算することが可能である。
【００２９】
以上で本実施例の全体の処理の説明を終える。
【００３０】
（実寸観察モード処理）
実寸観察モード処理は、ＣＧデータで定義されている仮想３次元空間内をウォークスルーし、ユーザが仮想３次元空間を体験できるようにするためのモードである。実寸観察モード処理では、ジョイスティック１０５に応じて設定される視点基準位置１２３にセンサ位置姿勢を加算した位置姿勢に基づきＣＧを生成し、図６の６０１のような表示を行う。
【００３１】
図２のステップｓ２０５における、実寸観察モード処理１１４の詳細について説明する。図３は実寸観察モード処理１１４のフローチャートである。
【００３２】
最初に、ステップｓ３０１で、センサ位置姿勢１２１の位置姿勢の値に視点基準位置１２３の位置姿勢の値を加えた結果を視点位置姿勢１２５に記録する。
【００３３】
次に、ステップｓ３０２で、ＣＧデータ１２０を実寸のまま仮想空間の原点（もしくはあらかじめ定められた固定位置）に配置する。この処理の以前に後述する縮小観察モード処理１１５によってＣＧデータが縮小されていた場合には実寸に復帰させ、プレイヤ位置表示用ＣＧ１２７がＣＧデータ１２０に加えられている場合にはこれを取除く。
【００３４】
以上で実寸観察モード処理１１４の説明を終える。
【００３５】
（縮小観察モード処理）
縮小観察モード処理は、仮想３次元空間を俯瞰した視点から、自分の観察位置や仮想３次元空間の全景を立体的に確認するためのモードである。縮小観察モード処理では、実寸観察モード処理から縮小観察モード処理に切り替えた時点でのセンサ位置姿勢に対して所定の位置関係を有する位置（縮小表示位置１２９）を用いて、仮想３次元空間の縮小画像を生成し、図６の６０２のような表示を行う。
【００３６】
図２のステップｓ２０６における、縮小観察モード処理１１５の詳細について説明する。図４は縮小観察モード処理１１５のフローチャートである。
【００３７】
最初に、ステップｓ４０１で、センサ位置姿勢１２１の値をそのまま視点位置姿勢１２５に記録する。
【００３８】
次に、ステップｓ４０２では、視点基準位置１２３の高さ成分から有効表示高さ１３０を計算し、その高さ以上の部分のＣＧデータは表示しない、もしくはその高さ以上の部分のＣＧを半透明表示にするようにＣＧデータ１２０を操作する。このような処理をする理由は、仮想３次元空間が複数のフロアからなる建物のようなものであった場合、縮小表示モードにおいては建物の外見しか観察することができないという問題を解決するためである。有効表示高さ１３０の計算方法としては、視点基準位置１２３を元に視点基準位置が存在するフロアを決定し、そのフロアの天井高さを別途事前に用意するデータによって取得するなどすればよい。なおこの処理は、閉じた仮想空間の中に視点が没入するような場合意外では省略してもよい。
【００３９】
次に、ステップｓ４０３で、ＣＧデータ１２０内にプレイヤ位置表示用ＣＧ１２７を追加する。これは仮想３次元空間内での実寸観察モードにおけるプレイヤ位置を示すものであり、たとえば矢印状のＣＧを表示するようなものである。プレイヤ位置表示用ＣＧ１２７は、あらかじめ用意しておいたＣＧデータを読み込んで表示するものであってもよいし、その場でプログラムメモリ中にＣＧを生成してもよい。プレイヤ表示用ＣＧはＣＧデータ１２０の座標系内に記録されるため、ＣＧデータ１２０を移動・縮小した場合には同様に移動・縮小される。
【００４０】
次に、ステップｓ４０４で、生成したプレイヤ表示用ＣＧの位置として視点基準位置１２３の値を設定する。視点基準位置１２３は実寸観察モードにおけるプレイヤ視点位置の基準点であるから、観察モード設定手段１１３によって観察モードが現在の縮小観察モードから実寸観察モードに変更された時のプレイヤの立つ位置は、プレイヤ表示位置ＣＧが表示されている位置になる。なお、本実施例では視点基準位置に表示するとしたが、視点基準位置１２３にセンサ位置姿勢１２１を加えた位置に表示するものであっても良い。この場合は観察者の頭部に当たる位置が縮小された仮想３次元空間ＣＧ中に表示されることになる。
【００４１】
次に、ステップｓ４０５で、ＣＧデータ１２０（プレイヤ表示用ＣＧを内包する）を縮小倍率１２８の値で縮小し、ＣＧデータ１２０の原点位置を縮小表示位置１２９が示す位置に移動させる。ＣＧデータの原点移動や縮小処理は従来のＣＧ技術によって容易に行えるものである。縮小倍率１２８と縮小表示位置１２９は事前に設定しておくものであっても構わないし、随時入力を受け付けて変更可能なものであっても構わない。また、後述する縮小表示位置自動設定手段１１６や縮小率自動設定手段１１７を設け、常に見やすい位置に縮小されたＣＧデータを出現させることが可能である。
【００４２】
以上で縮小観察モード処理１１５の説明を終える。
【００４３】
縮小表示位置自動設定手段１１６について説明する。図５は縮小表示位置自動設定手段１１６の一例を説明するフローチャートである。
【００４４】
縮小表示位置自動設定手段１１６は、観察モードが実寸観察モードから縮小観察モードに切り替わった時に、縮小観察モード処理１１５のステップｓ４０１において視点位置姿勢１２５が更新された直後に動作する。つまり、縮小表示位置自動設定手段は、縮小観察モード処理が設定された際に１度実行されるものである。
【００４５】
はじめに、ステップｓ５０１で、視点位置姿勢１２５が向いている正面の位置に縮小されたＣＧデータが表示されるように縮小表示位置１２９を設定する。視点位置姿勢１２５に対して所定の位置関係を有する位置、すなわち視点の正面であり、かつ、視点から特定の距離だけ離れた位置を計算する。
【００４６】
ステップｓ５０１で用いる視点位置姿勢１２５は実寸観察モード処理から縮小観察モード処理に切り替えた時点でのセンサ位置姿勢１２１である。
【００４７】
つぎに、ステップｓ５０２で、視点位置姿勢１２５が示す高さ成分を基準にして縮小表示位置１２９の高さ成分を決定する。例えば、視点高さよりもあらかじめ決められた数値だけ低い位置にすることなどが考えられる。
【００４８】
これらの処理によって、観察モードが実寸観察モードから縮小観察モードに変わった時点でのプレイヤの視点位置姿勢に応じて観察しやすい位置を縮小表示位置１２９に自動設定することが可能である。
【００４９】
この他の例としては、ステップｓ４０３で描画したプレイヤ表示用ＣＧの位置が画面中央になるように縮小表示位置１２９を設定することなどが考えられる。
【００５０】
以上で縮小表示位置自動設定手段１１６の説明を終える。
【００５１】
つぎに縮小率自動設定手段１１７について説明する。
【００５２】
縮小率自動設定手段１１７の例としては、ＣＧデータ１２０のサイズに応じて、縮小後に常に特定の大きさになるように自動的に計算して設定することが従来の技術により可能である。別の例としては、ＣＧ全体が画面内に表示しきれるような縮小率を自動的に計算し設定することが従来の技術によって可能である。
【００５３】
以上で縮小率自動設定手段１１７の説明を終える。
【００５４】
以上の処理によって設定された縮小表示位置１２９および縮小率を用いて、Ｓ２０７ＣＧ生成では、ユーザの視点位置姿勢に応じた仮想３次元空間の縮小画像を生成する。仮想３次元空間の縮小画像は、縮小表示位置１２９に固定されることになる。したがって、ユーザの位置姿勢と縮小表示位置１２９の相対関係に応じて仮想３次元空間の縮小画像の向き、大きさが変わる。たとえば、縮小表示位置にユーザがちかづくと仮想３次元空間の縮小画像を覗き込むことができる。
【００５５】
以上説明したように、本実施例によれば、縮小観察モードによって、自分の位置を簡単に確認することができる。また、自分の位置を任意の位置に簡単に移動させることができる。よって、実寸観察モードと縮小観察モードを切り替えることにより、仮想３次元空間のウォークスルーを簡単に行うことができる。
【００５６】
なお、ＨＭＤにシースルー型ＨＭＤを用いることで複合現実感提示システムとすることも可能である。その際は、仮想３次元空間を表す３Ｄモデルの縮小表示と現実空間の情景を重畳して観察することが可能になり、縮小された３Ｄモデルを観察者が指差して議論することなどが可能になる。
【図面の簡単な説明】
【００５７】
【図１】実施例のシステム構成図
【図２】実施例のフローチャート
【図３】実寸観察モード処理のフローチャート
【図４】縮小観察モード処理のフローチャート
【図５】縮小表示位置自動設定手段のフローチャート
【図６】実寸観察モードおよび縮小観察モードの表示例
【図１】
2006079174.tif 000003
【図２】
2006079174.tif 000004
【図３】
2006079174.tif 000005
【図４】
2006079174.tif 000006
【図５】
2006079174.tif 000007
【図６】
2006079174.tif 000008