(57)【要約】【課題】  複合現実空間に表示するＣＧの配置設定とプレイヤの身長によっては、プレイヤにとってＣＧが見難いことがあった。プレイヤの標準的な視点高さを元にＣＧの配置を調整することを目的とする。【解決手段】  プレイヤの視点高さを検知するための、視点位置検知手段、および、上記視点位置検知手段によって検知されたプレイヤの視点高さに応じてＣＧの高さを設定する、ＣＧ位置調整手段を備える。【選択図】  図１
2005115595.tif 000002
【特許請求の範囲】
【請求項１】
ＣＧ(コンピュータグラフィックス)等の画像を生成することができる、ＣＧ映像生成手段、
および、
現実世界の映像を撮影する、現実映像撮影手段、
上記ＣＧ映像生成手段および現実映像撮影手段によって得られる2つの映像を合成して表示装置に表示する、映像表示手段
からなる複合現実感提示装置において、プレイヤの視点高さを検知するための、視点位置検知手段、
および、
上記視点位置検知手段によって検知されたプレイヤの視点高さに応じて上記ＣＧ映像生成手段が生成するＣＧの高さを設定する、ＣＧ位置調整手段、
を備えることを特徴とする、複合現実感提示装置。
【請求項２】
請求項１に示す複合現実感提示装置において、
視線位置検知手段は、プレイヤの頭部に装着した位置センサから得られる値を利用することを特徴とする、複合現実感提示装置。
【請求項３】
請求項１に示す複合現実感提示装置において、
ＣＧ位置調整手段は、あらかじめ指定されたＣＧに対してのみＣＧ位置を設定することを特徴とする、複合現実感提示装置。
【請求項４】
請求項１に示す複合現実感提示装置において、
位置調整されるＣＧの位置に制限を設定するＣＧ位置制限設定手段を有し、さらに、ＣＧ位置調整手段は、上記ＣＧ位置制限設定手段によって設定された位置の範囲内でＣＧ位置を設定することを特徴とする、複合現実感提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実世界の映像と、ＣＧ(3次元的にモデリングされたＣＧ)によって生成された映像を重畳し、かつ、両者の映像を位置合わせして表示することができる、複合現実感提示装置に関するものである。
【背景技術】
【０００２】
従来より、現実世界の映像と、三次元モデリングされたＣＧによる映像を重畳して表示し、あたかも現実の世界中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感(ＭＲ:Mixed Reality)提示装置が存在する。これは、現実の映像を撮影するための現実映像撮影手段（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成手段と、両者を合成して表示することのできる映像表示手段（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）からなる装置である。ここで、現実映像撮影手段の視線の位置が変わった場合であってもＣＧと現実映像との位置関係が正しくなるようになっており、現実映像撮影手段(ビデオカメラ)の視線位置・視線方向を検出するための、視線位置姿勢検出手段(たとえば位置姿勢センサ)を備えている。ＣＧ映像生成手段は、三次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。ＣＧの種類や配置の変更、アニメーションなどは、一般的なＣＧと同様に、自由に行える。
【０００３】
現実空間の映像を撮影する現実映像撮影手段は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする手段である。
【０００４】
現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ(ヘッドマウントディスプレイ)が用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００５】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、米国ポヒマス(Polhemus)社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの3次元位置(X,Y,Z)と姿勢(Roll,Pitch,Yaw)をリアルタイムに検出する装置である。
【０００６】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置(ビデオカメラ)が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出手段(位置姿勢センサ)がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ映像を生成(レンダリング)し、これを現実映像に重畳して表示する。
【０００７】
また、観察者を複数設けることも可能である。現実空間を撮影するビデオカメラと表示装置（ＨＭＤなど）、位置姿勢センサを観察者数だけ用意し、それぞれの観察者の視点から現実空間の撮影とＣＧの生成を行い、合成して、それぞれの観察者に表示すればよい。
【特許文献１】特開2002-170132
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のシステムでは、複合現実感（ＭＲ）空間内にＣＧを配置する場合に、プレイヤの身長(視点の高さ)にかかわらず同じ配置でＣＧを配置していた。たとえば、ＣＧとして、テーブル状の板のＣＧと、その上に何らかの物体が置かれているようなＣＧモデルを表示しようとした場合、プレイヤの身長がテーブル板よりも低くなってしまう場合には、テーブル板のＣＧの下から見上げて観察することになってしまい、テーブル上の物体のＣＧを観察しにくい、といった問題があった。たとえば、一般的な大人の視点から見て好適な高さにＣＧ描画位置を設定しておいた場合、子供のプレイヤに対しては不都合があった。
【０００９】
図２は従来のシステムの問題点を説明する図である。プレイヤ1の視点からの映像ではテーブル（ＣＧ）上の物体のＣＧを観察することが出来るが、視点の低いプレイヤ2からは、テーブルの裏面ばかりが見えてしまい、テーブル上にあるように配置された物体のＣＧをうまく観察することが出来なかった。
【００１０】
本発明はこれらの課題を解決するものである。
【課題を解決するための手段】
【００１１】
本発明は、ＣＧ(コンピュータグラフィックス)等の画像を生成することができる、ＣＧ映像生成手段
および、
現実世界の映像を撮影する、現実映像撮影手段、
および、
上記ＣＧ映像生成手段および現実映像撮影手段によって得られる2つの映像を合成して表示装置に表示する、映像表示手段
からなる複合現実感提示装置において、プレイヤの視点高さを検知するための、視点位置検知手段、
および、上記視点位置検知手段によって検知されたプレイヤの視点高さに応じて上記ＣＧ映像生成手段が生成するＣＧの高さを設定する、ＣＧ位置調整手段、
を備えることにより、
プレイヤの身長によって定まる自然な視線位置に応じて好適なＣＧの配置を調整することを可能にしたものである。
【発明の効果】
【００１２】
以上に説明した構成をとることにより、プレイヤの身長によって定まる自然な視線位置に応じて好適なＣＧの配置を調整することが可能になる、という効果がある。
【発明を実施するための最良の形態】
【００１３】
（実施例１）
以下、本特許の実施例について、図を用いて説明する。
【００１４】
本実施例は、2人のプレイヤを有するシステムであり、それぞれのプレイヤは頭部にＨＭＤとビデオカメラと位置姿勢センサを装着する。複合現実感（ＭＲ）映像の生成は、従来から行われているＭＲシステムのとおりの方法による。ここでは、全プレイヤの視点高さによってＣＧを好適に配置する方法について述べる。
【００１５】
図１は、本実施例を説明する構成図である。ＭＲシステム101に、位置姿勢センサ102、103、位置姿勢センサコントローラ104、ＨＭＤ105、106、ビデオカメラ107、108,メモリ109が接続されている。位置姿勢センサ102,103は位置姿勢センサコントローラ104に複数接続させられている。位置姿勢センサ102,103はそれぞれのプレイヤのＨＭＤ105,106にとりつけられ、それぞれのプレイヤのビデオカメラ107,108の視線位置姿勢を検出するために用いられるのと同時にプレイヤの頭部の位置姿勢の検出に用いられる。また、ここではセンサは2つ(2人のプレイヤの頭部に装着)としたが、必要なだけいくらあっても問題はない。また、プレイヤは３人以上であってもかまわない。
【００１６】
図３は、全体の処理の流れを説明するためのフローチャートである。
【００１７】
まず事前に、ＭＲ空間内に描画するすべてのＣGは、位置修正の対象とするＣＧと対象としないＣＧとに分類しておく。位置修正を行わないＣＧは、プレイヤがどのような身長であろうと、あらかじめ決められた(または位置姿勢センサなどによって測定された値に基づいた)位置に描画されるべきＣＧである。位置修正を行うＣＧとは、プレイヤの身長を鑑みて、あらかじめ決められていた位置から移動させ、好適な位置に描画するべきだと考えられるＣＧである。
【００１８】
たとえば、現実の物体の上などに定位するべきＣＧは、あらかじめ決められた現実物体の場所に描画されるべきであるし、位置姿勢センサによって測定された場所に描画するＣＧもプレイヤの身長などによって位置をずらしてはいけないことになる。
【００１９】
位置修正をしないＣＧを直接描画ＣＧ、位置修正を行うＣＧを移動描画対象ＣＧと呼ぶ。
【００２０】
さて、ステップS301では、視線位置検知手段により、すべてのプレイヤの視線の高さを検出し、最も値の小さい(低い)ものをメモリ109中の最低視点高さ値110に格納する。視線位置検知手段は、本実施例では、それぞれのプレイヤの頭部に備え付けられた位置姿勢センサからそのプレイヤの視点高さを検出するものとする。これは、別の方法、たとえばオペレーターが直接数値を入力して記録するという方法も可能であるし、別の器具を使って計測・入力してもかまわない。これによって最も視線位置の低いプレイヤの視点高さの値がメモリに格納された。
【００２１】
次に、ステップS302では、ＣＧの移動距離を計算する。これは、ステップＳ301で測定された最低視点高さ値110をもとに、移動描画対象ＣＧをどれだけ上下に移動させて描画するべきかを計算するものである。これは、描画しようとしているＭＲ空間がどのようなものであるかによる値である。たとえば、テーブルのＣＧの上にＣＧ物体が乗っている状態をプレイヤに観察させたいのなら、テーブル上面の位置を最低視点高さより下にするのが好適である。あらかじめ設定されていたテーブル上面の高さがxであり、最低視点高さ値110がｙであれば、ＣＧの移動距離はx-yである。この値をメモリ109中のＣＧ移動距離111に格納する。
【００２２】
つぎに、ステップＳ303はＣＧ位置調整手段である。ＣＧ位置調整手段は、移動描画対象ＣＧの位置(高さ)を初期設定値からＣＧ移動距離111だけ変更して、それぞれのＣＧ位置に格納する。直接描画ＣＧに分類されているＣＧに対しては何も変更を行わない。これによって、ＣＧの高さを変える処理は終了する。
【００２３】
なお、ＣＧ位置調整の設定しだいでは、移動描画対象ＣＧの位置が現実の床面よりも下になってしまう場合が考えられるし、それ以外でも、移動距離に制限を加える必要がある場合がある。この場合は、移動描画対象ＣＧがとりうる位置の制限を別途設定しておき、本ステップで格納しようとするＣＧ位置が制限を越えている場合は制限内に収まるようにさらに変更してからＣＧ位置を格納すればよい。
【００２４】
ステップS304では、ＭＲ空間の描画を開始する。すなわち、毎ビデオフレームごとに、現実空間の撮影、カメラの位置姿勢検出、カメラ位置姿勢からのＣＧレンダリング、ＣＧ・現実の両画像の合成、ＨＭＤへの表示、を繰り返し行う。これは従来どおりのＭＲシステムの動作であり、ここでは説明を省略する。
【００２５】
以上の構成によって、プレイヤの身長にあわせて好適となるようにＭＲ空間内のＣＧ配置を行うことが可能になる。
【００２６】
図４、図５は、従来のとおりにＭＲ空間を構成した場合と、本発明を実施した場合との差異をそれぞれ説明する図である。
【００２７】
図４は従来のとおりにＭＲ空間を構成した図である。現実空間には２人のプレイヤ、プレイヤＡ401とプレイヤＢ402がおり、現実のテーブル403が存在している。また、板状の板ＣＧ404と、その上に箱状の箱ＣＧ405、現実のテーブル上には円錐形の円錐ＣＧ406が配置されるようにそれぞれのＣＧの配置が設定されている。このとき、従来の手法によれば、プレイヤＡ401は箱ＣＧ40５を観察できるが、プレイヤＢ402は背が低いため台に乗るなどしなければ箱ＣＧ405を観察することができない。
【００２８】
図５は、本発明を実施した場合を示す図である。視線位置検知手段とＣＧ位置調整手段により、板ＣＧ404と箱ＣＧ405はプレイヤＢ402の視点よりも下に配置されているため、プレイヤＢ402は自然な姿勢でＭＲ空間を観察することができる。このとき、現実のテーブル上にある円錐ＣＧ406は直接描画ＣＧに設定されているためＣＧ位置調整手段の影響を受けず、当初の設定のまま、現実のテーブルの上に置かれているようにレンダリングされる。
【００２９】
以上で実施例の説明を終える。
【図面の簡単な説明】
【００３０】
【図１】実施例のシステム構成図。
【図２】従来例の問題点の説明図。
【図３】実施例のフローチャート。
【図４】本実施例の効果を説明するための説明図。
【図５】本実施例の効果を説明するための説明図。
【符号の説明】
【００３１】
１０１  ＭＲシステム
１０２，１０３  位置姿勢センサ
１０４  位置姿勢センサコントローラ
１０５，１０６  ＨＭＤ
１０７，１０８  ビデオカメラ
１０９  メモリ
【図１】
2005115595.tif 000003
【図２】
2005115595.tif 000004
【図３】
2005115595.tif 000005
【図４】
2005115595.tif 000006
【図５】
2005115595.tif 000007