(57)【要約】【課題】簡易的に試作された模型を用いながらも、完成品に近い形で設計評価を可能とする。【解決手段】３次元ＣＡＤデータに基づいて作成された簡易試作物３００を含む現実空間の映像情報を映像入力装置１０２により取り込む。位置・姿勢計測装置２０５は、映像入力装置１０２及び簡易試作物３００の位置及び姿勢を計測し、この計測結果に基づいて、情報処理装置４００は、映像入力装置１０２によって得られる映像中の簡易試作物３００の位置／姿勢情報を取得する。そして、この位置／姿勢情報と上記３次元ＣＡＤデータとに基づいて、映像入力装置１０２より得られた映像中の簡易試作物３００に重なるように３次元コンピュータグラフィック画像を描画し、映像と３次元コンピュータグラフィック画像の合成映像を映像表示装置１０１へ出力する。【選択図】    図１
2005107970.tif 000002
【特許請求の範囲】
【請求項１】
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示方法であって、
３次元ＣＡＤデータに基づいて作成された模型を含む現実空間の映像情報を撮像装置により取り込む撮像工程と、
前記撮像装置及び前記模型の位置及び姿勢を計測し、前記撮像工程によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
前記位置／姿勢情報と前記３次元ＣＡＤデータとに基づいて、前記撮像工程で得られた映像中の前記模型に重なるように３次元コンピュータグラフィック画像を描画して、該映像と該３次元コンピュータグラフィック画像を合成する合成工程とを備えることを特徴とする画像表示方法。
【請求項２】
前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成し、保持する生成工程を更に備え、
前記合成工程は、前記３次元コンピュータグラフィックスデータを用いて３次元コンピュータグラフィック画像を描画することを特徴とする請求項１に記載の画像表示方法。
【請求項３】
前記撮像工程で得られた映像より、前記模型上の３次元位置が既知である特徴点を抽出する特徴点抽出工程を更に備え、
前記計測工程は、前記撮像工程で得られた映像における前記模型と前記撮像装置の相対的な位置／姿勢情報を、前記特徴点抽出工程で抽出された特徴点の位置に基づいて補正することを特徴とする請求項１に記載の画像表示方法。
【請求項４】
前記撮像工程によって得られた映像より、所定の色情報を含む領域を抽出する領域抽出工程を更に備え、
前記合成工程は、前記領域抽出工程で抽出された領域への前記３次元コンピュータグラフィック画像の描画を禁止することを特徴とする請求項１に記載の画像表示方法。
【請求項５】
前記撮像工程によって得られた映像に基づいて３次元コンピュータグラフィック画像のための描画パラメータを生成するパラメータ生成工程を更に備え、
前記合成工程は、前記生成工程で生成された描画パラメータを用いて前記３次元コンピュータグラフィック画像を描画することを特徴とする請求項１に記載の画像表示方法。
【請求項６】
あらかじめ保持された、前記撮像装置の歪み量に基づいて、前記撮像工程で取得された現実空間の映像情報を補正する映像補正工程を更に備えることを特徴とする請求項１に記載の画像表示方法。
【請求項７】
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置であって、
３次元ＣＡＤデータに基づいて作成された模型を含む現実空間の映像情報を取り込み可能な撮像手段と、
前記撮像手段及び前記模型の位置及び姿勢を計測し、前記撮像手段によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
前記位置／姿勢情報と前記３次元ＣＡＤデータとに基づいて、前記撮像手段によって得られた映像中の前記模型に重なるように３次元コンピュータグラフィック画像を描画することにより、該映像と該３次元コンピュータグラフィック画像を合成する合成手段とを備えることを特徴とする画像表示装置。
【請求項８】
前記撮像手段で得られた映像より、前記模型上の３次元位置が既知である特徴点を抽出する特徴点抽出手段を更に備え、
前記計測手段は、前記撮像手段で得られた映像における前記模型と前記撮像装置の相対的な位置／姿勢情報を、前記特徴点抽出手段で抽出された特徴点の位置に基づいて補正することを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記撮像手段によって得られた映像より、所定の色情報を含む領域を抽出する領域抽出手段を更に備え、
前記合成手段は、前記領域抽出手段で抽出された領域への前記３次元コンピュータグラフィック画像の描画を禁止することを特徴とする請求項７に記載の画像表示装置。
【請求項１０】
前記撮像手段によって得られた映像に基づいて３次元コンピュータグラフィック画像のための描画パラメータを生成するパラメータ生成手段を更に備え、
前記合成手段は、前記生成手段で生成された描画パラメータを用いて前記３次元コンピュータグラフィック画像を描画することを特徴とする請求項７に記載の画像表示装置。
【請求項１１】
あらかじめ保持された、前記撮像手段の歪み量に基づいて、前記撮像手段で取得された現実空間の映像情報を補正する映像補正手段を更に備えることを特徴とする請求項７に記載の画像表示装置。
【請求項１２】
請求項１乃至６のいずれかに記載の画像表示方法をコンピュータによって実現するための制御プログラム。
【請求項１３】
請求項１乃至６のいずれかに記載の画像表示方法をコンピュータによって実現するための制御プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意視点における現実空間の映像情報に、仮想空間の映像情報を重畳し、観察者に提示する複合現実感システムにおける画像表示装置及び方法に関する。
【背景技術】
【０００２】
複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である（特許文献１を参照）。
【０００３】
一方、従来、設計・製造分野において３次元ＣＡＤを使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元コンピュータぐらいフィックス（以下、３Ｄ−ＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成し、視覚に加えて触覚的に評価する方法などが主流である。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、３次元ＣＡＤデータを３Ｄ−ＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成する方法は、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインや形状の詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。したがって、より完成品に近い状況で、設計データを評価する方法が求められている。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、簡易的に試作された模型を用いながら、完成品に近い形で設計評価を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するための本発明による画像表示方法は、
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示方法であって、
３次元ＣＡＤデータに基づいて作成された模型を含む現実空間の映像情報を撮像装置により取り込む撮像工程と、
前記撮像装置及び前記模型の位置及び姿勢を計測し、前記撮像工程によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測工程と、
前記位置／姿勢情報と前記３次元ＣＡＤデータとに基づいて、前記撮像工程で得られた映像中の前記模型に重なるように３次元コンピュータグラフィック画像を描画して、該映像と該３次元コンピュータグラフィック画像を合成する合成工程とを備える。
【０００７】
また、上記の目的を達成するための本発明の他の態様による画像表示装置は以下の構成を備える。すなわち、
任意視点における現実空間の映像情報に仮想空間の映像情報を重畳し、観察者に提示する画像表示装置であって、
３次元ＣＡＤデータに基づいて作成された模型を含む現実空間の映像情報を取り込み可能な撮像手段と、
前記撮像手段及び前記模型の位置及び姿勢を計測し、前記撮像手段によって得られる映像中の該模型の位置及び姿勢を示す位置／姿勢情報を取得する計測手段と、
前記位置／姿勢情報と前記３次元ＣＡＤデータとに基づいて、前記撮像手段によって得られた映像中の前記模型に重なるように３次元コンピュータグラフィック画像を描画することにより、該映像と該３次元コンピュータグラフィック画像を合成する合成手段とを備える。
【発明の効果】
【０００８】
上記の構成によれば、３次元ＣＡＤデータに基づいて生成された簡易模型の実写映像部分に当該３次元ＣＡＤデータに基づくコンピュータグラフィックス画像を重畳表示させることが可能となるので、より完成品に近い状況で、設計データを評価することができる。
【発明を実施するための最良の形態】
【０００９】
以下、添付の図面を参照して本発明の実施形態について説明する。
【００１０】
＜第１実施形態＞
以下に説明する本実施形態の複合現実感システムでは、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３次元ＣＧ（３Ｄ−ＣＧ）データを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示する。これにより、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価を可能とする。
【００１１】
第１実施形態によるシステム構成を図１に示す。
【００１２】
図１において、１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ（Head Mounted Display）などと呼ばれる。以下、ＨＭＤと称する）である。また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサである。２０５は位置・姿勢計測装置であり、磁気センサ２０１、２０２の計測結果より、各磁気センサの位置・姿勢を計測する。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置、視線方向を算出するのに用いられる。３００は観察者が手で保持、操作する操作手段としての簡易試作物（簡易モックアップ）である。簡易試作物３００には、ＨＭＤ１００と同様に磁気センサ２０２が組み込まれている。磁気センサ２０２の簡易試作物３００における位置や姿勢は既知であり、位置・姿勢計測装置２０５は、磁気センサ２０２の計測結果に基づいて、簡易試作物３００の位置・姿勢を算出する。なお、磁気センサ２０２の位置や姿勢は、予め物理的に計測して情報処理装置４００にインプットされているものとする。３０１は簡易試作物を観察するための台である。
【００１３】
１０１はＨＭＤ１００に組み込まれている映像表示装置、１０２はＨＭＤ１００に組み込まれている映像入力装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は情報処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせたＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳し、得られた合成映像をＨＭＤ１００の映像表示装置１０１に向けて出力するものである。
【００１４】
次に、ＨＭＤ１００の具体的な構成について図２を参照して説明する。図２において１０１は図１でも示されている映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成される。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。
【００１５】
１０２は図１にも示されている映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、両プリズムにおける光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することを可能としている。
【００１６】
次に、図１における情報処理装置４００の具体的な構成について、図３を使って説明する。
【００１７】
４０１Ｌ、Ｒは映像キャプチャ部であり、映像入力装置１０２より入力した映像データを取り込み、デジタル信号として情報処理装置４００内に提供する。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢データを情報処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。
【００１８】
４０６は簡易試作物３００に重畳させるための３ＤＣＧ描画データである。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出したＨＭＤ１００と簡易試作物３００の相対的な位置関係に基づいて、右目用、左目用それぞれのＣＧデータを描画させるべき位置、大きさ、角度（パース）などを計算し、その計算結果に基づいて３ＤＣＧ描画用データ４０６をレンダリングする。
【００１９】
４０２Ｌ、Ｒは映像合成部であり、映像キャプチャ部４０１Ｌ、Ｒで取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｌ、Ｒは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１に出力する。
【００２０】
上記構成による本実施形態の処理の流れを、図４を使って説明する。まず、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を図４左側の処理手順で説明する。
【００２１】
通常３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合、設計データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。
【００２２】
本実施形態の複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。
【００２３】
次に、本実施形態における複合現実感システムの処理手順について、図４右側の処理手順で説明する。
【００２４】
磁気トランスミッタ２００と磁気センサ２０２のデータを使って、位置・姿勢計測装置２０５は簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。同様に、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（２０２０）。位置・姿勢計測装置２０５によって得られた計測データは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５においてＨＭＤ１００と簡易試作物３００との相対的な位置・姿勢関係が計算される（２０３０）。
【００２５】
一方、上記の処理２０１０、２０２０、２０３０と並行して、ＨＭＤ装置１００の映像入力装置１０１からの現実空間の映像を、映像キャプチャ部４０１を通して情報処理装置４００に取り込む（３０１０）。ＣＧレンダリング部４０７では、処理２０３０で算出した相対的な位置関係と３ＤＣＧ描画用データ４０６を用いてＣＧを描画し、ビデオバッファなどのメモリ（不図示）に展開する（２０４０）。
【００２６】
一方、処理３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開する（３０２０）。映像合成部４０２Ｌ、Ｒは、上記の処理２０４０で生成したＣＧ映像を、処理３０２０で展開した映像データに重畳する（４０１０）。合成された映像は、映像生成部４０３にてアナログ等のビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（４０２０）。
【００２７】
上記２０１０から４０２０までの処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。このシステムによる処理結果の一例を図５に示す。
【００２８】
図５において、（ａ）では、ＨＭＤ１００に搭載された映像入力装置１０２より入力した現実空間の映像（簡易試作物３００の実映像）が示されている。（ｂ）では、現実空間の簡易試作物３００の位置に、ＣＧデータに基づくＣＧ画像を重畳した画像、すなわちＨＭＤ１００に搭載された映像表示装置１０１に表示される映像が示されている。
【００２９】
なお、第１実施形態では、位置・姿勢を計測する手段として磁気を使った装置を例に説明したが、本発明はこれに限定されるものではなく、光学的な位置・姿勢計測装置など他の手段で実現できることはいうまでもない。
【００３０】
＜第２実施形態＞
第１実施形態においては、磁気を利用した位置・姿勢計測を例に説明した。しかしながら、磁気を利用した位置・姿勢計測においては、環境により計測精度が不安定になる場合がある。たとえば磁気トランスミッタの近傍に金属物体が存在する場合には磁場が乱れ、磁気センサの出力する値が不安定になる。また、磁気トランスミッタと磁気センサの距離が遠くなるほど、計測精度が悪化するなどの問題がある。このような計測精度の問題は、磁気利用のセンサに限らず、種々の方式の位置・姿勢計測装置においても発生する。例えば、光学的に位置・姿勢を計測する手段が存在するが、この場合には光を発光させる装置と、光を受光する装置との間に遮蔽物などが存在すると計測が不安定になり、誤差が生じるなどの問題がある。
【００３１】
そこで、第２実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて位置・姿勢を補正し、その計測精度を向上する。例えば、図６に示すように、簡易試作物３００に画像認識用のマーカを添付し、これを特徴点として用いる。マーカとしては、位置・姿勢補正のアルゴリズムにより、形状マーカ３０１あるいは、色マーカ３０２など種々のものが考えられる。
【００３２】
ここで、特徴点を用いた位置・姿勢の補正方法について説明する。ここでは、一般的な補正方法として、映像入力部（カメラ）の外部パラメータを特徴点１点から補正する方法について説明する。なお、ここで特徴点とは、人工的に特定の色や形の情報をもったシール状のものなどを現実空間中の簡易試作物に貼り付けたマーカを用いても良いし、簡易試作物の形状の特徴的な部分を特徴点としても良い。
【００３３】
図７は映像入力装置（カメラ）の外部パラメータ（位置・姿勢をあらわすパラメータ）の一般的な補正方法を説明する模式図である。図７において、点Ａは映像入力装置（カメラ）及び簡易試作装置３００の位置・姿勢に基づいて予測される特徴点の位置、点Ｂはこの特徴点の実際の位置、点Ｃは映像入力装置（カメラ）視点の位置を表す。なおここでは、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃは映像入力装置（カメラ）座標系の原点である。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。ここで、図７に示すように、点Ｐ、Ｑの座標を各々（ｘp，ｙp）、（ｘq，ｙq）、撮像面の幅、高さを各々ｗ、ｈ、カメラの焦点距離（撮像面から映像入力装置までの距離）をｄとし、ｖ1を点Ｃから点Ｑへのベクトル、ｖ2を点Ｃから点Ｐへのベクトル、θをｖ1とｖ2のなす角度とする。
【００３４】
まず、特徴点１点を用いて姿勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（映像入力装置の回転による補正方法）について説明する。
【００３５】
上記の設定から、ｖ1、ｖ2を求めると、各々の成分は以下の（１）式のようになる。
【００３６】
【数１】
2005107970.tif 000003
【００３７】
次に、各々のベクトルを、以下の（２）式により大きさ１のベクトルに正規化する。なお、|ｖ|は、ベクトルｖの大きさをあらわす。
【００３８】
【数２】
2005107970.tif 000004
【００３９】
ここで、映像入力装置（カメラ）を回転させる場合、その回転軸はベクトルｖ1、ｖ2がなす平面と直行し、カメラ視点位置（点Ｃ）を通る直線となる。この回転軸の方向ベクトルは、（３）式に示すように、ベクトルｖ1、ｖ2の外積により求めることができる（実際には正規化したもの（ｖ1’、ｖ2’）を用いる）。
【００４０】
【数３】
2005107970.tif 000005
【００４１】
ここで、ｖxは回転軸の方向ベクトルであって、その成分を（ｌ,ｍ,ｎ）とする。また、回転角θはベクトルｖ1、ｖ2がなす角度なので、以下の（４）式のように求めることができる。
【００４２】
【数４】
2005107970.tif 000006
【００４３】
よって、映像入力装置の回転による補正に用いる補正行列ΔＭｃは、以下の（５）式のように計算される。
【００４４】
【数５】
2005107970.tif 000007
【００４５】
この補正行例を映像入力装置の位置・姿勢を示す行列にかけることで、映像入力装置の位置・姿勢が補正される。つまり、点Ｐが点Ｑの位置に表示され、撮像面上におけるランドマークの位置姿勢パラメータから予測される位置と実際の位置とが一致する。なお、上述の説明では、映像入力装置（カメラ）の回転を使った補正方法について説明したが、映像入力装置の平行移動により誤差を補正する方法なども使用可能である。また、複数の特徴点を使った補正方法でも同様の効果が得られるが、説明は省略する。
【００４６】
次に、第２実施形態のシステムにおける情報処理装置４００の構成図と処理の流れについて、図８及び図９を参照して説明する。図８に示すように、第２実施形態では、映像キャプチャ部４０１Ｌ、Ｒによって得られた画像データからマーカを検出するためのマーカ検出部４１０が設けられている。そして、マーカ検出部４００によるマーカの検出結果、すなわち図７における点Ｑの座標値が位置・姿勢算出部４０５に送られる。位置・姿勢算出部４０５では、この点Ｑの座標値を用いて、図７を参照して説明したように位置・姿勢を補正する。その他の構成は第１実施形態（図３）と同じである。
【００４７】
第２実施形態による処理の流れを図９を使って説明する。なお、第１実施形態（図４）と同じ処理には同じ参照番号を付してある。
【００４８】
処理１１１０において３Ｄソリッドデータより光造形などのラピッド・タイピング装置で作成した簡易試作物３００に対して、マーカを添付する（１１２０）。さらに、マーカを添付した位置情報を記録する（１１３０）。なお、マーカの位置情報は、別途計測装置を用いて計測した３次元情報を用いればよい。また、特徴点を用いる場合は、当該特徴点の位置をＣＡＤデータから取得することが可能である。更に、マーカの添付位置を指示するようなマークを簡易試作物上に形成するようにＣＡＤデータを生成すれば、ＣＡＤデータからマーカの位置情報を取得することも可能である。
【００４９】
一方、複合現実感システムの処理では、処理３０１０において現実空間の映像データを情報処理装置４００内に取り込んだ後、マーカ検出部４１０にて、現実空間の映像データ中より簡易試作物３００に添付されたマーカの位置を抽出する（３０１１）。あらかじめ処理１１３０で記録したマーカ位置情報と、処理３０１１で映像データ中より抽出されたマーカ位置とを用いて、位置・姿勢計測装置２０５の計測結果に基づいて処理２０３０で算出したＨＭＤ１００と簡易試作物３００との相対的な位置・姿勢関係を補正する（２０３１）。そして、処理２０４０では、補正後のデータを用いてＣＧの描画を行う。
【００５０】
＜第３実施形態＞
上記第１、第２実施形態において、映像合成部４０２では、現実空間の映像データに、仮想空間の映像（ＣＧ映像）を重畳（上書き）することで合成映像を生成している。この場合には、本来ＣＧ映像より手前にあるべきはずのものも、ＣＧ映像で上書きされてしまうため、ＣＧ映像と現実物体との奥行き感に矛盾が生じる場合がある。これを、図１０を参照して詳しく説明する。
【００５１】
図１０（ａ）は映像入力装置１０２より入力された現実空間の映像データの一例であり、簡易試作物を観察者の手で保持している映像である。手の一部（親指あたり）が簡易試作物の手前に存在している。この映像に、簡易試作物に対応するＣＧ映像を重畳すると、図１０（ｂ）のような合成映像となる。すなわち簡易試作物よりも手前にあるはずの手の一部が、ＣＧ映像により隠れてしまい、奥行き感に矛盾が発生し、観察者にとって違和感のある映像となる。
【００５２】
そこで、第３実施形態の複合現実感システムでは、情報処理装置４００内に取り込んでいる現実空間の映像データを用いて、画像処理により上記のような奥行き感の矛盾を解消する。すなわち、映像入力装置１０２から得られた映像データ（図１０（ａ））より画像処理を用いて手の領域のみを抽出する。抽出された手の領域からマスク画像（図１０（ｃ））を生成し、このマスク画像で指定された手領域以外の領域に関してＣＧ映像を生成し、現実空間の映像に重畳する。このようにすることで手の領域が簡易試作物よりも手前に表示されることになり、奥行き感の違和感が解消される。
【００５３】
以上のような第３実施形態のシステムの構成と処理の流れを、図１１及び図１２を用いて説明する。図１１に示すように、第３実施形態では、第１実施形態（図３）の構成に手領域抽出部４２０と手色情報登録データ４２１が加えられている。手領域抽出部４２０は、映像キャプチャ部４０１Ｌ、Ｒによって得られた画像データから手色情報登録データ４２１に登録された色の領域を手領域として抽出する。ＣＧレンダリング部４０７は、手領域抽出部４２０で抽出された手領域部分に対してＣＧ画像の描画を禁止する。その他は、第１実施形態（図３）と同じである。
【００５４】
図１２は第３実施形態による処理の流れを説明する図である。第１実施形態（図４）の処理に、処理５０１０と５０２０が追加されている。
【００５５】
処理３０１０において情報処理装置４００の映像キャプチャ部４０１より現実空間の映像データが取り込まれると、手領域抽出部４２０は、各画素の色情報を、手色情報登録データ４２１にあらかじめ登録してある手領域の色情報と比較する。そして、手領域の色情報に一致した場合、その画素の色は人間の肌の色であると判断され、当該画素は手領域であると判断される（５０１０）。すべての画素について手の領域であるかどうかの判断を行い、手の領域と判断された画素のみを抽出して、ビデオバッファなどのメモリに手領域のデータのみを記録することにより、マスク画像が生成される（５０２０）。ＣＧレンダリング部４０７では、処理５０２０で生成したマスク画像でマスクされた領域のＣＧ映像を生成し（２０４０）、映像合成部４０３において、現実空間の映像データに、２０４０で生成したＣＧ映像を重畳する（４０１１）。
【００５６】
このように合成映像を生成することで、本来ＣＧデータよりも手前にあるべき現実空間の映像を、ＣＧデータよりも手前に表示することが可能となり、奥行き感における違和感が解消される。
【００５７】
＜第４実施形態＞
第１〜第３実施形態では、３ＤＣＡＤデータに基づいて生成されるＣＧの明るさや色調は、３ＤＣＡＤデータが含む光源情報等に基づいて決定されている。しかしながら、ＣＡＤデータの光源情報は必ずしも現実空間に適したものではない。たとえば、現実空間が暗い場合には、ＣＧの明るさも暗めに落とさないと、ＣＧが現実空間中に浮き上がってしまい、自然な合成映像とはならない。そこで、第４実施形態では、現実空間の映像にＣＧを重畳する場合に、情報処理装置４００内に取り込んだ現実空間の映像データに基づいてＣＧ描画のための各種パラメータを設定する。こうすることにより、ＣＧの明るさ、色調などを、現実空間の環境に合わせ、違和感の少ない合成映像を生成可能とする。以下、第４実施形態における構成と処理の流れを、図１３、図１４を参照して説明する。
【００５８】
図１３に示すように、第４実施形態では、第１実施形態（図３）の構成にＣＧパラメータ抽出部４３０が加えられている。また、図１４に示すように、第４実施形態の処理では、第１実施形態の処理にＣＧパラメータ設定処理３０１２が加えられている。ＣＧパラメータ抽出部４３０は、映像キャプチャ部４０１Ｌ、Ｒを通して入力された現実空間の映像データより、現実空間の環境を把握し、ＣＧを描画する際の明るさ、色調などのパラメータを設定する（３０１２）。そして、ＣＧレンダリング部４０７では、ＣＧパラメータ抽出部４３０より取得されたパラメータと、３ＤＣＧデータとに基づいてＣＧを描画し（２０４０）、映像合成部４０２において現実空間の映像データに重畳する（４２０）。
【００５９】
ＣＧを描画する際の明るさ、色調などのパラメータの設定とは、具体的には、ＣＧデータの属性の値の変更である。例えば、ＣＧデータをレンダリングする場合に、その物体にどこから、どのような照明があたっているかを設定する必要がある（仮想空間のライトのパラメータの設定）。このとき、ＣＧ物体の材質、ＣＧ物体に照射する光源の位置、強さ、色などのパラメータを設定することで、ＣＧを描画する際の明るさ、色調などを調整することができる。また、ＭＲの場合には、入力された現実空間の明るさに合わせて、ＣＧの明るさを調整する必要がある。たとえば、現実空間が暗めであれば、ＣＧ物体も暗めの設定をすることになる。このバランスが悪いと、ＣＧ物体だけが際立って表示されたり、逆の場合はＣＧが沈んでしまったりする。本実施形態では、現実空間映像をビデオ映像として取り込んでいるので、たとえば取り込んだ映像の明るさや色調の平均を求めて（あるいは、ある定められた領域の明るさや色調でもよい）、その値にあわせて上述のライティングパラメータを調整することで、ＣＧを描画する際の明るさ、色調等を調整する。
【００６０】
このように、第４実施形態によれば、ＣＧレンダリング時のパラメータを現実空間のデータより抽出することが可能であり、現実空間の環境に合った合成映像の生成が可能となる。
【００６１】
＜第５実施形態＞
映像入力装置１０２より入力される現実空間の映像は、撮像系プリズム１０４を通して入力されるため、光学的な歪を含む可能性がある。たとえば、図１５において、（ａ）は実際の現実空間中に置かれた簡易試作物３００である。この簡易試作物３００を、（ｂ）に示すような歪み量を有した撮像系プリズム１０４を通すと、図１５の（ｃ）のように歪んだ物体として映像入力装置より入力される。この映像にＣＧを重畳すると、図１５（ｄ）のように現実空間中の簡易試作物とＣＧ映像が重ならず、違和感の大きい合成映像となってしまう。
【００６２】
第５実施形態による複合現実感システムでは、情報処理装置４００内に取り込んだ現実空間の映像データの歪みを画像処理で取り除き、より違和感の少ない合成映像を提供可能とする。第５実施形態による情報処理装置４００の構成と処理の流れについて図１６、図１７を参照して説明する。
【００６３】
図１６に示すように、第５実施形態では、第１実施形態（図３）の構成に現実空間映像歪補正部４４０と歪量データ４４１が加えられている。また、図１７に示すように、第５実施形態の処理では、第１実施形態の処理（図４）に歪補正処理３０１３が加えられている。
【００６４】
現実空間映像歪補正部４４０は現実空間の映像データの歪みを補正するものであり、あらかじめ計測して保持された映像入力系における歪量データ４４１を用いて、映像キャプチャ部４０１Ｌ、Ｒより入力した映像データを補正する（３０１３）。これにより、現実空間中の簡易試作物と、ＣＧが正確に重なるので、観察者は自然な合成映像を観察することができる。すなわち、現実空間を映像データとしてシステムに取り込み、現実空間の映像を、仮想空間の映像（ＣＧ）を合成するのに適した映像に変換処理するので、観察者にとってより自然な複合現実感映像が生成できる。
【００６５】
なお、上記で説明した各実施形態は独立に実現可能なものであるし、あるいは適宜組み合わせて実現することも可能でる。
【００６６】
以上説明したように、上記各実施形態の複合現実感システムでは、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置などで作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３Ｄ−ＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示することができる。このため、視覚的な評価と触覚的な評価を同時に実現し、より完成品に近い状態での評価が可能となる。さらに、現実空間を映像データとしてシステムに取り込むので、現実空間の映像を、仮想空間の映像を合成するのに適した映像に変換処理することが可能であり、観察者にとって違和感の少ない映像を生成できる。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７２】
【図１】第１実施形態による複合現実感ステムの概略構成を示す図である。
【図２】頭部装着型映像入出力装置（ＨＭＤ）の構成を示す図である。
【図３】第１実施形態による情報処理装置の構成を示すブロック図である。
【図４】第１実施形態の情報処理装置による処理の流れを示す図である。
【図５】第１実施形態による処理結果を説明する図である。
【図６】第２実施形態における、簡易試作物へ添付されるマーカの例を示す図である。
【図７】特徴点による位置・姿勢計測の補正を説明する図である。
【図８】第２実施形態による情報処理装置の構成を示すブロック図である。
【図９】第２実施形態の情報処理装置による処理の流れを示す図である。
【図１０】手領域の抽出によるＣＧ画像の補正方法を説明する図である。
【図１１】第３実施形態による情報処理装置の構成を示すブロック図である。
【図１２】第３実施形態の情報処理装置による処理の流れを示す図である。
【図１３】第４実施形態による情報処理装置の構成を示すブロック図である。
【図１４】第４実施形態の情報処理装置による処理の流れを示す図である。
【図１５】映像入力系の歪みの影響を説明する図である。
【図１６】第５実施形態による情報処理装置の構成を示すブロック図である。
【図１７】第５実施形態の情報処理装置による処理の流れを示す図である。
【図１】
2005107970.tif 000008
【図２】
2005107970.tif 000009
【図３】
2005107970.tif 000010
【図４】
2005107970.tif 000011
【図５】
2005107970.tif 000012
【図６】
2005107970.tif 000013
【図７】
2005107970.tif 000014
【図８】
2005107970.tif 000015
【図９】
2005107970.tif 000016
【図１０】
2005107970.tif 000017
【図１１】
2005107970.tif 000018
【図１２】
2005107970.tif 000019
【図１３】
2005107970.tif 000020
【図１４】
2005107970.tif 000021
【図１５】
2005107970.tif 000022
【図１６】
2005107970.tif 000023
【図１７】
2005107970.tif 000024