(57)【要約】【課題】プレイヤの体型に適したサイズでＣＧ画像を生成できるようにすることを目的とする。【解決手段】コンピュータグラフィックス画像を生成するＣＧ映像生成手段と、現実世界の映像を撮影する現実映像撮影手段と、前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示手段と、プレイヤの体型を検知する体型検知手段と、前記体型検知手段によって検知されたプレイヤの体型データに応じて、前記ＣＧ映像生成手段が生成するコンピュータグラフィック画像のサイズを設定するＣＧサイズ設定手段とを備える複合現実感提示装置。【選択図】　　　図２
2004013310.tif 000002
【特許請求の範囲】
【請求項１】
現実画像に生成したコンピュータグラフィックス画像を重畳する情報処理方法であって、
プレイヤの体型情報を入力し、
前記体型情報に応じてコンピュータグラフィックス画像のサイズを設定し、
前記設定されたサイズに基づき、前記コンピュータグラフィック画像を生成し、
前記生成されたコンピュータグラフィック画像を現実画像に重畳することを特徴とする情報処理方法。
【請求項２】
前記プレイヤの視点情報を検出するためのセンサの出力値を入力し、
前記視点情報に基づき前記コンピュータグラフィック画像を生成する情報処理方法であり、
前記センサを用いて前記プレイヤの体型情報を取得することを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記現実画像に複数の種類のコンピュータグラフィックス画像を合成可能な情報処理方法であって、
コンピュータグラフィックス画像の種類に応じた条件を用いて、前記体型情報からサイズを設定することを特徴とする請求項１記載の情報処理方法。
【請求項４】
前記プレイヤに装着された位置センサで検出された位置情報を入力し、
前記位置情報で示される位置に前記生成したコンピュータグラフィックスを合成する情報処理方法であって、
前記プレイヤに装着された位置センサを用いて前記プレイヤの体型情報を入力することを特徴とする請求項１記載の情報処理方法。
【請求項５】
請求項１乃至４のいずれかに記載の情報処理方法を実現するためのプログラム。
【請求項６】
コンピュータグラフィックス画像を生成するＣＧ映像生成手段と、
現実世界の映像を撮影する現実映像撮影手段と、
前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示手段と、
プレイヤの体型を検知する体型検知手段と、
前記体型検知手段によって検知されたプレイヤの体型データに応じて、前記ＣＧ映像生成手段が生成するコンピュータグラフィック画像のサイズを設定するＣＧサイズ設定手段とを備えることを特徴とする複合現実感提示装置。
【請求項７】
前記体型検知手段は、プレイヤの頭部に装着した位置センサから得られる情報を用いることを特徴とする請求項６記載の複合現実感提示装置。
【請求項８】
体型検知手段は、プレイヤの手に装着した位置センサを用いて得られる該プレイヤの身幅データを用いることを特徴とする請求項６記載の複合現実感提示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、現実画像に生成したコンピュータグラフィックス画像を合成するものに関する。
【０００２】
【従来の技術】
従来より、現実世界の映像と、三次元モデリングされたＣＧ（コンピュータグラフィックス画像）による映像を重畳して表示し、あたかも現実の世界中にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感提示装置が存在する。これは、現実の映像を撮影するための現実映像撮影手段（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成手段と、両者を合成して表示することのできる映像表示手段（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）からなる装置である。ここで、現実映像撮影手段の視線の位置が変わった場合であってもＣＧと現実映像との位置関係が正しくなるようになっており、現実映像撮影手段（ビデオカメラ）の視線位置・視線方向を検出するための、視線位置姿勢検出手段（たとえば位置姿勢センサ）を備えている。ＣＧ映像生成手段は、三次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。
【０００３】
また、ＣＧを出現させたい場所にもさらなる位置姿勢検出装置を取り付け、そこから得られた位置にＣＧを出現させることも行われている。たとえば手に位置姿勢検出装置（位置姿勢センサ）を取り付け、そのセンサの位置にＣＧを生成することによって、あたかも手の上に常にＣＧが乗っているように（手をどのように動かしても手の上にＣＧが乗っているように）表示して見せることが可能になる。
【０００４】
現実空間の映像を撮影する現実映像撮影手段は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする手段である。
【０００５】
現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００６】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。
【０００７】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出手段（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ映像を生成し、これを現実映像に重畳して表示する。
【０００８】
また、観察者を複数設けることも可能である。現実空間を撮影するビデオカメラと表示装置（ＨＭＤなど）、位置姿勢センサを観察者数だけ用意し、それぞれの観察者の視点から現実空間の撮影とＣＧの生成を行い、合成して、それぞれの観察者に表示すればよい。
【０００９】
【発明が解決しようとしている課題】
従来のシステムでは、プレイヤの体にＣＧを重畳するといった場合に、プレイヤの体型にかかわらず同じサイズのＣＧを重畳していた。このため、プレイヤの体型から著しくかけ離れたサイズのＣＧが重畳されてしまい、見た目が不恰好になったり、操作が不自然になってしまうといった問題があった。
【００１０】
たとえば、頭部にヘルメット型のＣＧを重畳して、あたかもヘルメットをかぶっているかのように見せる複合現実感システムの場合、プレイヤの身長が想定した身長よりも極端に低い場合に（たとえば子供がプレイヤである場合に）見た目が不恰好になるという問題がある。
【００１１】
また、たとえば、手の上に手のひらサイズの水面が乗っているかのように見せる複合現実感システムの場合、プレイヤの手のひらが想定した大きさよりも小さい場合には、重畳したＣＧの水面がプレイヤの手を大きくはみ出てしまうといった問題があった。
【００１２】
本発明はこれらの課題を解決し、プレイヤの体型に適したサイズでＣＧ画像を生成できるようにすること目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本願請求項１記載の発明は、現実画像に生成したコンピュータグラフィックス画像を重畳する情報処理方法であって、プレイヤの体型情報を入力し、前記体型情報に応じてコンピュータグラフィックス画像のサイズを設定し、前記設定されたサイズに基づき、前記コンピュータグラフィック画像を生成し、前記生成されたコンピュータグラフィック画像を現実画像に重畳することを特徴とする。
【００１４】
本願請求項６記載の発明は、コンピュータグラフィックス画像を生成するＣＧ映像生成手段と、現実世界の映像を撮影する現実映像撮影手段と、前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示手段と、プレイヤの体型を検知する体型検知手段と、前記体型検知手段によって検知されたプレイヤの体型データに応じて、前記ＣＧ映像生成手段が生成するコンピュータグラフィック画像のサイズを設定するＣＧサイズ設定手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
（実施形態１）
以下、本特許の実施形態について、図を用いて説明する。
【００１６】
本実施形態は、２人のプレイヤを有するシステムであり、それぞれのプレイヤは頭部と手に位置姿勢センサを装着し、それぞれのセンサを装着した位置にＣＧを重畳して複合現実感を提示するシステムである。ここでは一例として頭部にはヘルメットのＣＧを重畳し、手にはグローブのＣＧを重畳するとする。
【００１７】
図１は、本実施形態を説明する構成図である。ＣＰＵ１０１、メモリ１０３、１０４、位置姿勢センサ１０５（ａ）、１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）、ＨＭＤ１０６（ａ）、ビデオカメラ１０７（ａ）が、計算機バス１０２に接続されている。メモリ１０３と１０４は同じ物である。センサはセンサ本体１０５（ａ）に複数のセンサ１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）が取り付けられており、１０５（ａ）が計算機バス１０２に接続され、１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）はセンサ本体１０５（ａ）に取り付けられている。センサ１０５（ｂ）はＨＭＤ１０６にとりつけられ、ビデオカメラ１０７の視線位置姿勢を検出するために用いられるのと同時に第１のプレイヤの頭部の位置姿勢の検出に用いられる。センサ１０５（ｃ）は第１のプレイヤの手に装着し、手の上にＣＧを重畳するために手の位置姿勢を検出する用途に用いられる。位置センサ１０５（ｄ）は第２のプレイヤの頭部に装着され、１０５（ｅ）は第２のプレイヤの手に装着するものとする。なお、第２のプレイヤもＨＭＤを有して複合現実空間を観察できるとしても良いがここでは省略する。また、ここではセンサは４つ（２人のプレイヤの頭部と手に装着）としたが、必要なだけいくらあっても問題はない。
【００１８】
また、メモリ１０４中にはＣＧモデルデータ１２５も格納されている。これはＣＧ映像生成手段１１１によってレンダリングされるＣＧのデータであり、この例ではヘルメットのＣＧとグローブのＣＧがそれぞれ格納されている。それぞれのＣＧのサイズはＣＧモデリングを行った時点で想定した体型にあわせて作られている。想定した体型のデータとして、想定体型データ１２６がメモリ１０４中に格納されている。以下の例では体型として身長を利用するので、本実施形態では想定体型データとして想定身長が格納されているとする。
【００１９】
図２は、全体の処理の流れを説明するためのフローチャートである。
【００２０】
はじめに、ステップＳ２０１で、体型検知手段１１４により、それぞれのプレイヤの体型を検出し、メモリ１０４中の体型データ１２４に格納する。本実施形態では、プレイヤのおおよその身長を検出して体型データとする。体型検知手段１１４は、各プレイヤの頭部に装着された位置姿勢センサ１０５（ｂ）および１０５（ｄ）からの出力値を用いて、各プレイヤの身長を求める。
【００２１】
本実施形態では、ステップＳ２０１においてプレイヤに所定のポーズをとってもらい、その際の位置姿勢センサ１０５（ｂ）または１０５（ｄ）の出力値から高さ成分を求め、その高さ成分を体型データとして用いる。
【００２２】
なお、定型検知手段としてそれぞれのプレイヤの手に装着した位置センサを用い、手で体をさわってもらうことでその位置を測定することによりプレイヤの振幅データを検出し体型データとして用いることも可能である。また、身長データと振幅データの組を体型データとして用いても構わない。また、より簡便には必要な数値をマニュアルで入力するという方法も可能である。
【００２３】
次に、ステップＳ２０２で、ＣＧサイズ設定手段１１５により、それぞれのＣＧのサイズ（倍率）を計算してメモリ１０４中のＣＧサイズ１２３に格納する。ＣＧサイズ１２３中には、ＣＧそれぞれについてのＣＧサイズが格納されるものとする。本実施形態では表示するＣＧは２人のプレイやそれぞれのヘルメットとグローブのＣＧであるので、４つの値が格納される。
【００２４】
ＣＧサイズ設定手段は、前述の体型検知手段１１４によって記録された体型データを元にＣＧの倍率を計算する。
【００２５】
例えば、それぞれのプレイヤの身長を、ＣＧモデルデータ作成時の想定体型データ１２６の数値で割り算することでＣＧの倍率とする。すなわち、プレイヤの身長が想定身長の半分であった場合には倍率を０．５とする。厳密には頭の大きさや手の大きさは単純に身長に比例するわけではないので、その場合は適当な関数を用いて設定する。
【００２６】
本実施形態では、より高精度のサイズ設定を行うために、ヘルメット、グローブという２種類のＣＧのそれぞれに対して異なる関数を用い、プレイヤの身長および想定身長から各プレイヤの各ＣＧに対するサイズを設定する。
【００２７】
なお、より正確にＣＧをフィットさせたい場合は、体型検出手段１１４においてより詳細な体型データを検出しておけばよい。また、もしも体型にフィットさせる必要がないＣＧであれば、そのＣＧの倍率には常に１．０を格納するようにすればよい。
【００２８】
このようにすることにより、プレイヤおよびＣＧの種類に対応したサイズを適切に設定することができる。
【００２９】
次に、ステップＳ２０３で、視線位置姿勢検出手段１１２により、ビデオカメラ１０７の位置と姿勢をメモリ１０４中の視線位置姿勢１２１に書き込む。視線位置姿勢検出手段１１２は、従来から用いられている技術（磁気センサなど）を用いて視線の位置（ＸＹＺ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を検出するものである。
【００３０】
次に、ステップＳ２０４で、現実映像撮影手段１１０は、現実空間の映像をメモリ１０４中の映像メモリ１２１に書き込む。現実映像撮影手段１１０は、ビデオカメラ１０７によって撮影された映像をキャプチャし、メモリ１０４中の映像メモリ１２０に書き込むものである。
【００３１】
ステップＳ２０５では変数Ｎを１に初期化する。変数ＮはＣＧ用の位置姿勢センサの数を数えるためのものである。本実施形態ではＣＧ用のセンサは図１におけるセンサ１０５（ｂ）、１０５（ｃ）、１０５（ｄ）と１０５（ｅ）の４つである。なお、位置センサ１０５（ｂ）はＨＭＤに取り付けられたビデオカメラ１０７の視線位置姿勢を検出するために用いられるセンサでもあるが、ＨＭＤを装着した第１のプレイヤの頭部にＣＧを重畳するためのＣＧ位置検出用センサとしても用いられるものである。
【００３２】
ステップＳ２０６では、ＣＧ位置姿勢検出手段１１３によって第Ｎ番目のＣＧを表示するべき位置姿勢を検出し、メモリ１０４中のＣＧ位置姿勢１２２に格納する。ＣＧ位置姿勢検出手段１１３は先述した視線位置姿勢検出手段１１２と同様のものである。
【００３３】
ステップＳ２０７では、ＣＧ映像生成手段１１１によって、メモリ１０４中の映像メモリ１２１に第Ｎ番目のセンサに対応するＣＧ映像をＣＧモデルデータ１２５から選んで描き込む。すなわち、１番目（１０５（ｂ））、３番目（１０５（ｄ））のセンサはそれぞれのプレイヤの頭部に装着されているのでヘルメットのＣＧを、２番目（１０５（ｃ））、４番目（１０５（ｅ））のセンサはそれぞれのプレイヤの手に装着されているのでグローブのＣＧを、といった具合である。さらに、このとき、ＣＧ映像生成手段は、メモリ１０４中のＣＧサイズ１２３のＮ番目のデータ（Ｎ番目のＣＧのために計算されたＣＧサイズ）をもとにＣＧを拡大・縮小して描きこむ。なお、ＣＧ映像生成手段１１１は、視線位置姿勢１２２とＣＧ位置姿勢１２３にもとづいてＣＧを映像メモリ１２０に書き込む（重ね描きする）ものである。ＣＧは、ＣＧ位置姿勢１２３が示す位置姿勢に置かれたものを視線位置姿勢１２１の視線から観察したようにレンダリングされる。映像メモリ１２０には、すでにステップＳ２０３において現実映像撮影手段１１０によって現実空間の映像が書き込まれており、ＣＧ映像はこの上に重ねて描画されることになる。
【００３４】
次に、ステップＳ２０８では変数Ｎがひとつカウントアップされ、次の、ステップＳ２０９でＮがＣＧの数（この実施形態では４）を超えたかどうかが判定される。このようにしてすべてのＣＧ用の位置センサに対してＣＧがあらかじめ計算されたＣＧサイズ（倍率）に基づいて拡大・縮小され、描画される。
【００３５】
次に、ステップＳ２１０では、映像表示手段１１８によって、映像メモリ１２０に書き込まれた映像をＨＭＤ１０６に表示する。映像表示手段１１８は映像メモリをＨＭＤのフレームメモリに書き込み、実際の表示を行わせるものである。
【００３６】
ステップＳ２１１では全体の処理を終了するかどうかを判定し、終了しない場合は再びステップＳ２０６にもどって処理を繰り返す。処理を繰り返すことによってビデオカメラ１０７から次々と映像をキャプチャし、これにＣＧ映像を重ね書きし、表示するというサイクルを連続して行うことになる。
【００３７】
以上で全体の処理の流れの説明を終了する。
【００３８】
図３は、本実施形態の効果を説明するための図である。図３（Ａ）は、センサを装着しているプレイヤの図である。図３（Ｂ）は、本発明を用いずにＣＧデータをモデリングされたサイズ通りに重畳した場合、想定した身長どおりのプレイヤと想定身長の半分の身長のプレイヤがどのように表示されるかを示している。図３（Ｃ）は、本発明を用いた場合に、上記（Ｂ）のケースでＣＧがどのようにリサイズされて重畳されるかを示している。
【００３９】
以上の構成によって、プレイヤの体型にフィットするようにそれぞれ拡大・縮小したＣＧを現実映像に重ねあわせることが可能になる。さらに、ＣＧの種類ごとに独立に調整を行うことができるのでより高精度な複合現実感を提供することができる。
【００４０】
（他の実施形態）
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４１】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００４５】
【発明の効果】
本発明によれば、プレイヤの体型に応じたサイズのコンピュータグラフィック画像を重畳するができ、自然な複合現実感を提示することができる。
【図面の簡単な説明】
【図１】実施形態のシステム構成図。
【図２】実施形態の処理のフローチャート。
【図３】本実施形態の効果を説明するための説明図。
【図１】
2004013310.tif 000003
【図２】
2004013310.tif 000004
【図３】
2004013310.tif 000005