(57)【要約】【課題】  現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像をキャプチャする手段と、前記バーチャルモデルを前記現実空間の物体に重畳することが出来る複合現実感システムの提供。【解決手段】  現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、映りこんだ現実空間の画像をキャプチャする手段を備え、前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。【選択図】        図１
2005063004.tif 000002
【特許請求の範囲】
【請求項１】
現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間映像と仮想空間映像を重畳し複合現実空間画像を生成するシステムにおいて、現実空間に位置する物体にＣＧ（コンピュータ・グラフィックス）を重畳表示させる方法を実現する複合現実感システムに関する。
【背景技術】
【０００２】
従来、現実空間の物体に複合現実空間でＣＧを重畳する複合現実感システムが存在する。このシステムでは物体の上に上書きでＣＧを重畳表示している。（例えば特許文献１）
【特許文献１】特開２０００−３５３２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、現実の物体は材質によっては現実空間を反映する。現実空間を反映する方法として環境マッピングという方法があるが、通常の環境マッピングではあらかじめ得られた画像情報を元に現実空間の映りこみを表示するため、リアルタイムな現実空間の反映には対応出来ていない。
【０００４】
そこで、リアルタイムに現実空間を反映した環境マッピングが求められる。
【０００５】
本発明は、上述の問題点に着目して成されたものであって、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像をキャプチャする手段と、前記キャプチャされた現実空間の画像をバーチャルモデルに合成する手段と、前記バーチャルモデルを前記現実空間の物体に重畳することが出来る複合現実感システム、もしくは、現実空間を反映することが出来る材質で構成された部分を持った物体と、反映された現実空間の画像部分のマスクを作成する手段と、バーチャルモデルを前記マスク上から物体に重畳することが出来る複合現実感システムの提供を目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明は以下の構成を有することを特徴とする。
【０００７】
（１）現実のモックアップに仮想のモックアップを重ね合わせることを特徴とする複合現実感システムであって、
前記現実のモックアップが鏡面加工されていることで光の反射により現実空間が映りこむ手段を備え、
映りこんだ現実空間の画像をキャプチャする手段を備え、
前記キャプチャした画像を前記仮想のモックアップと合成する手段を備え、
前記合成した画像を前記現実のモックアップ上に重畳する手段を備えたことを特徴とする複合現実感システム。
【発明の効果】
【０００８】
以上説明したように本発明の鏡面モックアップによれば実モックアップに映りこんだ実世界の画像をＣＧのモックアップ上に反映することが出来、それによってよりリアルなＣＧのモックアップを作成することが出来る。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の情報処理装置及びその方法を、ＭＲ技術を利用したデジタルモックアップシステムに適用する場合に応用した例で説明する。
【００１０】
デジタルモックアップシステムはある工業製品の簡易なモックアップの上にＭＲ技術を用いてその製品の３ＤＣＧを重畳したものである。システムの体験者はモックアップを手にとってさわり動かすことが出来る。モックアップには製品の３ＤＣＧが重畳されているため、モックアップの位置姿勢の動きに応じて３ＤＣＧも同時に位置姿勢を変える。そのため体験者はモックアップを持っていながら重畳された３ＤＣＧが表す製品を持っているかのような感覚を覚える。
【００１１】
このデジタルモックアップシステムの完成度を上げるためには、モックアップに重畳する３ＤＣＧに実空間上のリアルタイムな映りこみを表示する必要がある。以下その実施例について添付図面を用いながら説明する。
【実施例】
【００１２】
図１は本実施例のデジタルモックアップシステムのシステム構成を表した図である。各構成部品の説明を簡単に述べていく。ＰＣ１０１はシステム全体をコントロールするユニットであり、ビデオキャプチャ装置Ａ１０２、ビデオキャプチャ装置Ｂ１０３、グラフィック装置１０４、位置把握装置１０５、画像切抜き装置１０６、ＣＧのカメラ作成装置１０７、映りこみ合成装置１０８および複合現実空間合成装置１０９を備えている。
【００１３】
ビデオシースルー型ＨＭＤ３２は左目カメラ３３と右目カメラ３４を備えている。左目カメラ３３は体験者３１の左目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置Ａ１０２でキャプチャされる。右目カメラ３４は体験者３１の右目の位置から見た映像を撮影するカメラである。撮影された映像はビデオキャプチャ装置Ｂ１０３でキャプチャされる。
【００１４】
モックアップ１１はカメラＡ１の実物大模型で体験者３１が自由に手にとることが出来る。位置姿勢センサ１２はモックアップ１１の位置姿勢を計測するためのセンサである。位置姿勢センサ１２によって計測された位置姿勢情報は位置把握装置１０５に送信され、位置把握装置１０５はその位置姿勢情報を受信する。位置把握装置１０５は位置姿勢情報をＣＧのカメラ作成装置１０７に送信し、ＣＧのカメラ作成装置１０７は受信する。
【００１５】
ＣＧのカメラ作成装置１０７は位置姿勢情報からモックアップ１１の位置を推定し、左右の目それぞれの視点から見た、モックアップ１１に重畳されるＣＧのカメラ２１を作成する。ＣＧのカメラ作成装置１０７は作成した左右それぞれの視点から見たＣＧのカメラ２１を映りこみ合成装置１０８に送信し、映りこみ合成装置１０８は受信する。
【００１６】
ビデオキャプチャ装置Ａ１０２とビデオキャプチャ装置Ｂ１０３でキャプチャされた左右の画像はそれぞれ画像切抜き装置１０６と複合現実空間合成装置１０９に送信され、画像切抜き装置１０６と複合現実空間合成装置１０９では左右それぞれのキャプチャ画像を受信する。画像切抜き装置１０６では左右それぞれのキャプチャ画像から現実世界の映りこみ画像を切り抜く。画像切抜き装置１０６は切り抜いた左右それぞれの現実世界の映りこみ画像を映りこみ合成装置１０８に送信し、映りこみ合成装置１０８は受信する。
【００１７】
映りこみ合成装置１０８ではＣＧのカメラ２１と前記切り抜いた現実世界の映りこみ画像を合成した画像を作成する。映りこみ合成装置１０８は前記合成した画像を複合現実空間合成装置１０９に送信し、複合現実空間合成装置１０９は受信する。
【００１８】
複合現実空間合成装置１０９は左目カメラ３３から撮影した画像と左目視点から見た映りこみが合成されたＣＧのカメラを合成した画像を作成し、これを左目用の複合現実空間画像とする。又、複合現実空間合成装置１０９は右目カメラ３４から撮影した画像と右目視点から見た映り込みが合成されたＣＧのカメラを合成した画像を作成し、これを右目用の複合現実空間画像とする。複合現実空間合成装置１０９は左目用の複合現実空間画像と右目用の複合現実空間画像をグラフィック装置１０４に送信し、グラフィック装置１０４は受信する。
【００１９】
グラフィック装置１０４はビデオシースルー型ＨＭＤ（ヘッドマウンテッドディスプレイ）３２に左目用の複合現実空間画像と右目用の複合現実空間画像を送信し、ＨＭＤ３２はそれぞれの画像を受信して表示する。
【００２０】
以下イラストを用いて補足説明をして行く。
【００２１】
図２は本実施例のデジタルモックアップシステムで使用する位置姿勢センサ１２付きモックアップ１１を表した図である。このモックアップ１１はカメラＡ１の実物大模型であるが、色は単色で外形だけを模した物である。体験者３１が実物と同じ感覚が得られるように重量もほぼ同じにしてある。
【００２２】
又、モックアップ１１には位置姿勢センサ１２が内蔵されている。位置姿勢センサ１２はモックアップ１１内の所定の位置に固定されていて、モックアップ１１と位置姿勢センサ１２の位置関係は一定になっている。そのため位置姿勢センサ１２の位置姿勢情報からモックアップ１１の位置姿勢を算出することが出来る。
【００２３】
図３はモックアップ１１の上にＭＲ技術を用いてＣＧのカメラ２１を重畳した図である。ＣＧのカメラ２１はカメラＡ１の３次元ＣＧモデルであり、実物大である。当然モックアップ１１と同形で同じ大きさであるので、モックアップ１１の位置姿勢に一致させてＣＧのカメラ２１を重畳すれば両者はぴたりと重なり合うことになる。
【００２４】
図４は体験者３１がシステムの体験を行っている時の現実空間の状況を表した図である。体験者１１はビデオシースルー型ＨＭＤ３２を被り、手にモックアップ１１を持っている。体験者３１の持つモックアップ１１は鏡面加工されているために現実世界の物体が映りこむ。この図では現実世界の柱４１が映りこんでいる。その状態はモックアップ１１上では現実世界の柱の映りこみ４２のように映っている。
【００２５】
図５は映りこみを考慮にいれずにそのままモックアップ１１の上にＣＧのカメラ２１を重畳した場合を表した図である。このように単純にモックアップ１１の上にＣＧのカメラ２１を重畳すると現実世界の柱の映りこみ４２はＣＧのカメラ２１に隠れてしまって見えなくなってしまう。
【００２６】
そこで図６が表すように現実世界の柱の映りこみ４２とＣＧのカメラ２１を合成して、現実世界の柱の映りこみが合成されたＣＧのカメラ６１を作成する。
【００２７】
次に図７が表すように現実世界の柱の映りこみが合成されたＣＧのカメラ６１をモックアップ１１に重畳すれば体験者３１には現実世界の柱の映りこみが合成されたＣＧのカメラ６１が見えて、正に本物のカメラを持っているような感覚を得ることが出来る。
【００２８】
前記のことをフローチャートで表したものが図８である。スタートするとＳ８０１でまずモックアップ１１上の映りこみの部分でＣＧのカメラ２１に反映させる部分をキャプチャする。次にＳ８０２ではＳ８０１でキャプチャした画像とＣＧのカメラ２１を合成した画像を作成する。最後にＳ８０３でモックアップ１１にＳ８０２で合成した画像をモックアップ１１に重畳表示する。
【図面の簡単な説明】
【００２９】
【図１】デジタルモックアップシステムのシステム構成図
【図２】モックアップを表した図
【図３】モックアップにＣＧのカメラを重畳した図
【図４】現実世界の柱がモックアップに映りこんでいる図
【図５】現実モックアップにそのままＣＧのカメラを重畳した図
【図６】ＣＧのカメラと現実世界の映りこみの合成を説明する図
【図７】現実世界の映りこみを合成したカメラをモックアップに重畳している図
【図８】ＣＧのカメラと現実世界の映りこみの合成の手順を表すフローチャート
【符号の説明】
【００３０】
１  カメラＡ
１１  モックアップ
１２  位置姿勢センサ
２１  ＣＧのカメラ
３１  体験者
３２  ビデオシースルー型ＨＭＤ（ヘッドマウントディスプレイ）
３３  左目カメラ
３４  右目カメラ
４１  現実世界の柱
４２  現実世界の柱の映りこみ
６１  現実世界の柱の映りこみが合成されたＣＧのカメラ
１０１  ＰＣ
１０２  ビデオキャプチャ装置Ａ
１０３  ビデオキャプチャ装置Ｂ
１０４  グラフィック装置
１０５  位置把握装置
１０６  画像切抜き装置
１０７  ＣＧのカメラ作成装置
１０８  映りこみ合成装置
１０９  複合現実空間合成装置
【図１】
2005063004.tif 000003
【図２】
2005063004.tif 000004
【図３】
2005063004.tif 000005
【図４】
2005063004.tif 000006
【図５】
2005063004.tif 000007
【図６】
2005063004.tif 000008
【図７】
2005063004.tif 000009
【図８】
2005063004.tif 000010