(57)【要約】【課題】センサの位置関係に応じて好適なＣＧを選択することができ、センサの装着間違いによる予期せぬ不自然なＣＧ重畳を避け、どのセンサを装着しても常に意図通りのＣＧを重畳することができるようにすることを目的とする。【解決手段】複数のセンサを異なる部位に設置し、センサを設置した後に、複数のセンサの出力値から各センサとコンピュータグラフィックスの対応付けを行い、対応付けに基づき、複数のセンサのそれぞれから得られる出力値に応じた位置に、各センサに対応するコンピュータグラフィックスを合成する。【選択図】　　　図２
2004013309.tif 000002
【特許請求の範囲】
【請求項１】
実画像に対して、センサの出力値に応じた位置にコンピュータグラフィックスを合成する情報処理方法であって、
複数のセンサを異なる部位に設置し、
前記センサを設置した後に、前記複数のセンサの出力値から各センサとコンピュータグラフィックスの対応付けを行い、
前記対応付けに基づき、前記複数のセンサのそれぞれから得られる出力値に応じた位置に、各センサに対応するコンピュータグラフィックスを合成することを特徴とする情報処理方法。
【請求項２】
前記対応付けは、前記複数のセンサの出力値の上下または左右の区別に基づき行われることを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記対応付けは、プレイ開始時に行うことを特徴とする請求項１記載の情報処理方法。
【請求項４】
請求項１乃至請求項３のいずれかに記載の情報処理方法を実現するためのプログラム。
【請求項５】
コンピュータグラフィックス画像を生成するＣＧ映像生成手段と、
現実世界の映像を撮影する現実映像撮影手段と、
前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示手段とを有する複合現実感提示装置において、
コンピュータグラフィックス画像を重畳する位置を検知するための位置センサと、
前記位置センサから得られる位置に重畳すべきコンピュータグラフィックスの種類を動的に判断するＣＧ選択手段とを有することを特徴とする複合現実感提示装置。
【請求項６】
コンピュータグラフィックス画像を生成するＣＧ映像生成工程と、
現実世界の映像を撮影する現実映像撮影工程と、
前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示工程とを有する情報処理方法において、
コンピュータグラフィックス画像を重畳する位置を検知するための位置センサからの出力値を入力する入力工程と、
前記位置センサからの出力値に対応する位置に重畳すべきコンピュータグラフィックスの種類を動的に判断するＣＧ選択工程とを有することを特徴とする情報処理方法。
【請求項７】
前記ＣＧ選択工程は、プレイ中常に判断していることを特徴とする情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
実画像に対して、センサの出力値に応じた位置にコンピュータグラフィックスを合成するものに関する。
【０００２】
【従来の技術】
従来より、現実世界の映像と、三次元モデリングされたＣＧによる映像を重畳して表示し、あたかも現実の世界中にＣＧ（コンピュータグラフィックス）で描かれた物体（仮想物体）が存在しているかのように見せることができるような複合現実感提示装置が存在する。これは、現実の映像を撮影するための現実映像撮影手段（たとえばビデオカメラ）と、現実の映像を撮影している位置から見たようにＣＧ映像を作り出すＣＧ映像生成手段と、両者を合成して表示することのできる映像表示手段（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）からなる装置である。ここで、現実映像撮影手段の視線の位置が変わった場合であってもＣＧと現実映像との位置関係が正しくなるようになっており、現実映像撮影手段（ビデオカメラ）の視線位置・視線方向を検出するための、視線位置姿勢検出手段（たとえば位置姿勢センサ）を備えている。ＣＧ映像生成手段は、三次元モデリングされたＣＧを、現実空間と同じスケールの仮想空間に置き、視線位置姿勢検出手段によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影手段がどの視線位置・視線方向から観察した場合でも、現実空間の中に正しくＣＧで生成された映像が置かれているような映像を表示ことができる。
【０００３】
また、ＣＧを出現させたい場所にもさらなる位置姿勢検出装置を取り付け、そこから得られた位置にＣＧを出現させることも行われている。たとえば手に位置姿勢検出装置（位置姿勢センサ）を取り付け、そのセンサの位置にＣＧを生成することによって、あたかも手の上に常にＣＧが乗っているように（手をどのように動かしても手の上にＣＧが乗っているように）表示して見せることが可能になる。
【０００４】
現実空間の映像を撮影する現実映像撮影手段は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、メモリ中にキャプチャする手段である。
【０００５】
現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらに上記ビデオカメラをＨＭＤの視線方向に装着することで、観察者が向いている方向の映像をＨＭＤに映し出すことができ、かつ、その方向を向いたときのＣＧの描画も行えるため、観察者の没入感を高めることができる。
【０００６】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを上記ビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視線の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。
【０００７】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤに備え付けられた視線位置姿勢検出手段（位置姿勢センサ）がビデオカメラの位置視線方向を検出し、これに応じてＣＧ映像生成手段がその視線位置・姿勢から見たＣＧ映像を生成し、これを現実映像に重畳して表示する。
【０００８】
また、観察者を複数設けることも可能である。現実空間を撮影するビデオカメラと表示装置（ＨＭＤなど）、位置姿勢センサを観察者数だけ用意し、それぞれの観察者の視点から現実空間の撮影とＣＧの生成を行い、合成して、それぞれの観察者に表示すればよい。
【０００９】
【発明が解決しようとする課題】
従来のシステムでは、センサの位置にＣＧを重畳するといった場合に、ＣＧは事前にセンサのＩＤと対応づけされ、あるセンサの位置には決まった種類のＣＧを重畳していた。たとえば、プレイヤの手にグローブのＣＧを、足にブーツのＣＧを重畳したい場合、手には手のＣＧに対応した位置センサを、足には足のＣＧに対応した位置センサを正しく装着する必要があった。仮に両者を取り違えて装着すると、手にブーツのＣＧが重畳され、足にはグローブのＣＧが重畳されてしまっていた。
【００１０】
また、右手に装着した場合と左手に装着した場合で異なる種類のＣＧを重畳したいといった場合には右手用と左手用と２つのセンサを用意する必要があった。
【００１１】
本発明は上述の問題点に鑑みてなされたものであり、本願請求項１の発明は、センサの位置関係に応じて好適なＣＧを選択することができ、センサの装着間違いによる予期せぬ不自然なＣＧ重畳を避け、どのセンサを装着しても常に意図通りのＣＧを重畳することができるようにすることを目的とする。
【００１２】
本願請求項５の発明は、センサの位置関係に応じて、重畳するＣＧを動的に変化させることが可能にすることを目的とする。
【００１３】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【００１４】
請求項１記載の発明は、実画像に対して、センサの出力値に応じた位置にコンピュータグラフィックスを合成する情報処理方法であって、複数のセンサを異なる部位に設置し、前記センサを設置した後に、前記複数のセンサの出力値から各センサとコンピュータグラフィックスの対応付けを行い、前記対応付けに基づき、前記複数のセンサのそれぞれから得られる出力値に応じた位置に、各センサに対応するコンピュータグラフィックスを合成することを特徴とする。
【００１５】
請求項５記載の発明は、コンピュータグラフィックス画像を生成するＣＧ映像生成手段と、現実世界の映像を撮影する現実映像撮影手段と、前記コンピュータグラフィックス画像と前記撮影画像を合成して表示装置に表示する映像表示手段とを有する複合現実感提示装置において、コンピュータグラフィックス画像を重畳する位置を検知するための位置センサと、前記位置センサから得られる位置に重畳すべきコンピュータグラフィックスの種類を動的に判断するＣＧ選択手段とを有することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本特許の実施形態について、図を用いて説明する。
【００１７】
本実施形態では、プレイヤは頭部と手と足に位置姿勢センサを装着し、手と足のセンサを装着した位置にＣＧを重畳して複合現実感を提示するシステムである。ここでは一例として手にはグローブのＣＧを、足にはブーツのＣＧを重畳するとする。なお、頭部の位置センサはＨＭＤに取り付けられたビデオカメラの視線方向を検知するために用いられるものである。
【００１８】
図１は、本実施形態を説明する構成図である。ＣＰＵ１０１、メモリ１０３、１０４、位置姿勢センサ１０５（ａ）、１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）、ＨＭＤ１０６（ａ）、ビデオカメラ１０７（ａ）が、計算機バス１０２に接続されている。メモリ１０３と１０４は同じ物である。センサはセンサ本体１０５（ａ）に複数のセンサ１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）が取り付けられており、１０５（ａ）が計算機バス１０２に接続され、１０５（ｂ）、１０５（ｃ）、１０５（ｄ）、１０５（ｅ）はセンサ本体１０５（ａ）に取り付けられている。センサ１０５（ｂ）はＨＭＤ１０６にとりつけられ、ビデオカメラ１０７の視線位置姿勢を検出するために用いられるのと同時にプレイヤの頭部の位置姿勢の検出に用いられる。センサ１０５（ｃ）はプレイヤの手に装着し、手にＣＧを重畳するために手の位置姿勢を検出する用途に用いられる。位置センサ１０５（ｄ）はプレイヤの足部に装着され、足にＣＧを重畳するために足の位置姿勢を検出する用途に用いられる。ここで、位置センサにはそれぞれＩＤをつけておく。ここでは１０５（ｂ）のＩＤを１、１０５（ｃ）のＩＤを２、１０５（ｄ）のＩＤを３としておく。
【００１９】
なお、システムは複数のプレイヤを有することとしても良い。また、ここではプレイヤ１人に対してセンサは３つ（プレイヤの頭部と手と足に装着）としたが、必要なだけいくらあっても問題はない。
【００２０】
また、メモリ１０４中にはＣＧモデルデータ１２５も格納されている。これはＣＧ映像生成手段１１１によってレンダリングされるべきＣＧのデータであり、この例ではグローブのＣＧとブーツのＣＧがそれぞれ格納されている。
【００２１】
図２は、全体の処理の流れを説明するためのフローチャートである。
【００２２】
はじめに、ステップＳ２０１で、ＣＧ位置姿勢検出手段１１３により、センサを任意の部位に設置後に各センサの位置姿勢を検出し、メモリ１０４中のＣＧ位置姿勢１２２に格納する。本実施形態ではＣＧを重畳するのは位置センサ１０５（ｃ）（ＩＤ＝２）および１０５（ｄ）（ＩＤ＝３）であるので、この２つのセンサの位置姿勢を検出し記録する。ＣＧ位置姿勢検出手段１１３は、従来から用いられている技術（磁気センサなど）を用いて視線の位置（ＸＹＺ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を検出するものである。
【００２３】
次に、ステップＳ２０２で、ＣＧ選択手段１１５により、それぞれのセンサに好適なＣＧを選択する。ＣＧ選択手段１１５の詳細については後述する。このステップによって、センサＩＤとそれに対応するべきＣＧの組み合わせが、メモリ１０４中のＣＧ対応表１２４に格納される。
【００２４】
次に、ステップＳ２０３で、視線位置姿勢検出手段１１２により、ビデオカメラ１０７の位置と姿勢をメモリ１０４中の視線位置姿勢１２１に書き込む。視線位置姿勢検出手段１１２は、従来から用いられている技術（磁気センサなど）を用いて視線の位置（ＸＹＺ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）を検出するものである。ここでは位置センサ１０５（ｂ）（ＩＤ＝１）を用いて検出する。
【００２５】
次に、ステップＳ２０４で、現実映像撮影手段１１０は、現実空間の映像をメモリ１０４中の映像メモリ１２１に書き込む。現実映像撮影手段１１０は、ビデオカメラ１０７によって撮影された映像をキャプチャし、メモリ１０４中の映像メモリ１２０に書き込むものである。
【００２６】
ステップＳ２０５では変数Ｎを１に初期化する。変数ＮはＣＧ用の位置姿勢センサの数を数えるためのものである。本実施形態ではＣＧ用のセンサは図１におけるセンサ１０５（ｃ）と１０５（ｄ）の２つである。
【００２７】
ステップＳ２０６では、ＣＧ位置姿勢検出手段１１３によって第Ｎ番目のＣＧを表示するべき場所に装着された位置センサの位置姿勢を検出し、メモリ１０４中のＣＧ位置姿勢１２２に格納する。
【００２８】
ステップＳ２０７では、ＣＧ対応表１２４に応じてそのセンサのＩＤに対応付けられたＣＧを、ＣＧモデルデータ１２３よりＣＧを選び、これを前ステップＳ２０６で検出された位置と姿勢に応じて適当な位置と姿勢に操作する。
【００２９】
次に、ステップＳ２０８では変数Ｎがひとつカウントアップされ、次の、ステップＳ２０９でＮがＣＧの数（この実施形態では２）を超えたかどうかが判定される。このようにしてすべてのＣＧ用の位置センサに対してＣＧの位置姿勢が操作される。
【００３０】
すべてのＣＧに対して操作が終了したら、ステップＳ２１０で、ＣＧ映像生成手段１１１により、ＣＧを映像メモリ１２０に書き込む。ＣＧは、ＣＧ位置姿勢１２２が示す位置姿勢に置かれたものを視線位置姿勢１２１の視線から観察したようにレンダリングされる。映像メモリ１２０には、すでにステップＳ２０３において現実映像撮影手段１１０によって現実空間の映像が書き込まれており、ＣＧ映像はこの上に重ねて描画されることになる。
【００３１】
次に、ステップＳ２１１で、映像表示手段１１４によって、映像メモリ１２０に書き込まれた映像をＨＭＤ１０６に表示する。映像表示手段１１４は映像メモリをＨＭＤのフレームメモリに書き込み、実際の表示を行わせるものである。
【００３２】
ステップＳ２１２では全体の処理を終了するかどうかを判定し、終了しない場合は再びステップＳ２０３にもどって処理を繰り返す。処理を繰り返すことによってビデオカメラ１０７から次々と映像をキャプチャし、これにＣＧ映像を重ね書きし、表示するというサイクルを連続して行うことになる。
【００３３】
次に、ステップＳ２０２のＣＧ選択手段１１５について説明する。
【００３４】
図３は、ＣＧ選択手段１１５を説明するフローチャートである。
【００３５】
本実施形態では、ＣＧ重畳用の２つのセンサ、１０５（ｃ）（ＩＤ＝２）と１０５（ｄ）（ＩＤ＝３）の位置の高さを比較して選択基準とする。
【００３６】
ステップＳ３０１では、前述したステップＳ２０１でメモリ１０４中のＣＧ位置姿勢１２２に格納されたセンサ位置のデータをもとに、ＩＤ＝２のセンサとＩＤ＝３のセンサの高さを比較する。もしＩＤ＝２のセンサがＩＤ＝３のセンサよりも高い位置にあればステップＳ３０２に進みＩＤ＝２のセンサにグローブのＣＧを対応付け、ＩＤ＝３のセンサにはブーツのＣＧを対応付ける。もしＩＤ＝３のセンサがＩＤ＝２のセンサよりも高い位置にあればステップＳ３０３に進みＩＤ＝３のセンサにグローブのＣＧを対応付け、ＩＤ＝２のセンサにグローブのＣＧを対応付ける。この対応付けはメモリ１０４中のＣＧ対応表１２４として格納しておく。
【００３７】
このとき、両センサ間の上下の関係だけでなく左右の関係をもちいることも可能である。また、センサ１０５（ｂ）から得られる視線位置の情報を元に、それ以外のセンサが頭の左右どちらかに装着されているのかによってＣＧを対応付けることも可能である。たとえば、右手にセンサを装着した場合は頭部より右にあることから右手に装着したと検知できる。
【００３８】
図４は、本実施形態の効果を説明するための図である。図４（Ａ）は、センサを装着しているプレイヤの図である。図４（Ｂ）は、図４（Ａ）のプレイヤにＣＧを重畳した様子を示している。図４（Ｃ）は、センサを手と足で取り違えて装着したプレイヤの図である。図４（Ｄ）は、本実施形態を用いなかった場合にＣＧがどのように重畳されるかを示している。図４（Ｅ）は、本実施形態を用いた場合に、上記（Ｃ）のケースでＣＧがどのようにリプレイスされて重畳されるかを示している。もちろん、本実施形態を用いた場合でも、図４（Ａ）のようにセンサを装着してもＣＧは図４（Ｅ）のように重畳される。
【００３９】
以上の構成によって、センサの位置関係に応じて好適なＣＧを選択することができ、センサの装着間違いによる予期せぬ不自然なＣＧ重畳を避け、どのセンサを装着しても常に意図通りのＣＧを重畳することができる。
【００４０】
つまり、センサを予め決められた部位に装着する必要がなくなり、センサ装着にかかるユーザの負荷を軽減することができる。また、センサの付け間違いによる、図４（Ｄ）のようなＣＧと実画像のミスマッチを防ぐことができる。
【００４１】
（変形例）
図２におけるステップＳ２１２からの分岐先を、ステップＳ２０３ではなくＳ２０１に戻るようにすれば、プレイ中、常にＣＧの選択がやり直されることになる。このようにすることにより、装着したセンサを入れ替えずに、プレイ中に重畳するＣＧを変更することが可能となる。つまり、センサの位置関係に応じて、重畳するＣＧを動的に変化させることが可能である。
【００４２】
例えば、ひとつのセンサを右手に装着した場合と左手に装着しなおした場合とで動的にＣＧの種類を切り替えることが可能となる。
【００４３】
（他の実施形態）
前述した実施の形態の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００４４】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００４５】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピー（Ｒ）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００４６】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００４７】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００４８】
【発明の効果】
本願請求項１の発明によれば、センサの位置関係に応じて好適なＣＧを選択することができ、センサの装着間違いによる予期せぬ不自然なＣＧ重畳を避け、どのセンサを装着しても常に意図通りのＣＧを重畳することができる。
【００４９】
本願請求項５の発明は、センサの位置関係に応じて、重畳するＣＧを動的に変化させることが可能にすることができる。
【図面の簡単な説明】
【図１】実施形態のシステム構成図。
【図２】実施形態の処理のフローチャート。
【図３】ＣＧ選択手段のフローチャート。
【図４】本実施形態の効果を説明するための説明図。
【図１】
2004013309.tif 000003
【図２】
2004013309.tif 000004
【図３】
2004013309.tif 000005
【図４】
2004013309.tif 000006