(57)【要約】【課題】ＣＧの光源を現実空間の光源と一致、あるいは近いものとすることにより、観察者にとってよりリアリティのある複合現実感映像を生成可能とする。【解決手段】現実空間の映像中に３次元ＣＡＤソリッドデータ（１０１１）より、光源情報を含まない３次元コンピュータグラフィックス描画データ（４０６）を生成する（１２１０）。現実空間映像入力（３０１０）では、３次元ＣＡＤソリッドデータ（１０１１）に基づいて生成された簡易試作物３００を含む映像が入力される。ＣＧ描画処理（２０４０）では、保持されているＣＧ光源データ４０８と、３次元コンピュータグラフィックス描画データ（４０６）とに基づいて、現実空間の映像中に３次元コンピュータグラフィックスを描画し、映像情報重畳処理（４０１０）では、現実空間の画像と３次元コンピュータグラフィックスを重畳する。【選択図】  図４
2005107968.tif 000002
【特許請求の範囲】
【請求項１】
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示方法であって、
前記３次元ＣＡＤデータより、光源情報を含まない３次元コンピュータグラフィックスデータを生成する生成工程と、
予め保持手段に保持されている光源情報と、前記生成工程で生成された３次元コンピュータグラフィックスデータとに基づいて、前記現実空間の映像中に３次元コンピュータグラフィックスを描画する描画工程とを備えることを特徴とする画像表示方法。
【請求項２】
前記現実空間の映像は、前記３次元ＣＡＤデータに基づいて作成されたモックアップを含み、
前記描画工程は、前記現実空間の映像における、前記モックアップの画像部分に前記３次元コンピュータグラフィックスを描画することを特徴とする請求項１に記載の画像表示方法。
【請求項３】
前記保持手段には複数種類の光源情報が保持されており、所望の光源情報を選択する選択工程を更に備え、
前記描画工程は、前記選択工程で選択された光源情報が用いられることを特徴とする請求項１に記載の画像表示方法。
【請求項４】
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示方法であって、
前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成工程と、
前記現実空間の映像中の、前記３次元コンピュータグラフィックスの重畳位置における明度情報を取得する取得工程と、
前記生成工程で生成された３次元コンピュータグラフィックスデータと前記取得工程で取得した明度情報とに基づいて、３次元コンピュータグラフィックスを前記重畳位置に描画する描画工程とを備えることを特徴とする画像表示方法。
【請求項５】
前記現実空間の映像は、前記３次元ＣＡＤデータに基づいて作成されたモックアップを含み、
前記重畳位置は、前記現実空間の映像における、前記モックアップの画像部分であることを特徴とする請求項４に記載の画像表示方法。
【請求項６】
前記描画工程は、前記３次元コンピュータグラフィックスデータに基づいて得られる３次元コンピュータグラフィックスの各画素について、彩度及び色相は該３次元コンピュータグラフィックスデータより取得し、明度は前記現実空間の映像の対応する画素より取得することにより、３次元コンピュータグラフィックスを描画することを特徴とする請求項４又は５に記載の画像表示方法。
【請求項７】
前記現実空間の映像中より、手領域を抽出する手領域抽出工程と、
前記手領域抽出工程で抽出された手領域には前記コンピュータグラフィックス描画を禁止する禁止工程とを更に備えることを特徴とする請求項１乃至６のいずれかに記載の画像表示方法。
【請求項８】
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置であって、
１つ又は複数種類の光源情報を保持する保持手段と、
前記３次元ＣＡＤデータより、光源情報を含まない３次元コンピュータグラフィックスデータを生成する生成手段と、
前記保持手段に保持されている光源情報と、前記生成手段で生成された３次元コンピュータグラフィックスデータとに基づいて、前記現実空間の映像中に３次元コンピュータグラフィックスを描画する描画手段とを備えることを特徴とする画像表示装置。
【請求項９】
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示装置であって、
前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成手段と、
前記現実空間の映像中の、前記３次元コンピュータグラフィックスの重畳位置における明度情報を取得する取得手段と、
前記生成手段で生成された３次元コンピュータグラフィックスデータと前記取得手段で取得した明度情報とに基づいて、３次元コンピュータグラフィックスを前記重畳位置に描画する描画手段とを備えることを特徴とする画像表示装置。
【請求項１０】
３次元ＣＡＤデータから作成された簡易試作物を含む現実画像の撮影画像を入力する入力工程と、
前記３次元ＣＡＤデータから３次元コンピュータグラフィックスデータを作成する作成工程と、
光源データを保持する保持工程と、
前記簡易試作物の位置・姿勢情報を入力する工程と、
観察者の視点位置・姿勢情報を入力する工程と、
前記３次元コンピュータグラフィックスデータ、前記簡易試作物の位置・姿勢情報、前記観察者の視点位置・姿勢情報に基づき、コンピュータグラフィックスを生成する生成工程と、
前記生成されたコンピュータグラフィックス画像と前記撮影画像を合成する合成工程とを有することを特徴とする情報処理方法。
【請求項１１】
請求項１乃至７のいずれかに記載の画像表示方法をコンピュータによって実現するための制御プログラム。
【請求項１２】
請求項１乃至７のいずれかに記載の画像表示方法をコンピュータによって実現するための制御プログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、任意視点における現実空間の映像情報に、仮想空間の映像情報を重畳し、観察者に提示する複合現実感システムにおける画像表示装置及び方法、並びに情報処理方法に関する。
【背景技術】
【０００２】
複合現実感システムとは、現実空間映像と、ユーザの視点位置、視線方向等に応じて生成される仮想空間映像とを合成することにより得られる合成映像をユーザに提供するものである。複合現実感システムでは、現実空間中に仮想物体が実在しているかのような感覚を観察者に提示することが可能であり、従来の仮想現実感システム（ＶＲシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である（特許文献１参照）。
【０００３】
一方、従来、設計・製造分野において３次元ＣＡＤ（Computer Aided Design、３Ｄ−ＣＡＤと記す場合もある）を使った設計（形状、デザイン）が主流になってきている。３次元ＣＡＤで設計された物体を評価する方法としては、３次元ＣＡＤで作成されたデータ（ソリッド形式）を３次元ＣＧ（computer graphics、以下、３ＤＣＧ）として計算機の画面上に表示して視覚的に評価する方法や、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成し、視覚に加えて触覚的に評価する方法などが主流である。
【特許文献１】特開平１１−０８８９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、３次元ＣＡＤデータを３ＤＣＧとして計算機の画面上に表示する方法では、仮想空間内での評価となり、現実空間内での実寸感覚で物体の評価をすることができない。また、ラピッド・プロトタイピング装置などで簡易試作物（簡易モックアップ）を作成する方法は、加工精度、素材などの制約により、おおまかな形状を把握するのには有効であるが、デザインや形状の詳細、色彩など、３Ｄ−ＣＡＤ上で設計した詳細な情報が再現されるものではない。したがって、より完成品に近い状況で、設計データを評価する方法が求められている。
【０００５】
そこで、現実空間中に３次元ＣＡＤデータに基づくＣＧ画像を現実空間の映像中に合成することが考えられる。しかしながら、一般に３次元ＣＡＤデータは光源情報を有しており、これをそのまま用いると、現実空間との間に違和感を生じる可能性がある。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、ＣＧの光源を現実空間の光源と一致、あるいは近いものとすることにより、観察者にとってよりリアリティのある複合現実感映像を生成可能とすることを目的とする。
また本発明の他の目的は、ＣＧの陰影を現実空間の陰影を元に生成可能とし、観察者にとってよりリアリティのある複合現実感映像を生成可能とすることにある。
さらに、本発明の他の目的は、観察者にとってよりリアリティのある複合現実感映像を生成することにより、簡易的に試作された模型を用いながら完成品に近い形で設計評価を可能とすることにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するための本発明による画像表示方法は、
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示方法であって、
前記３次元ＣＡＤデータより、光源情報を含まない３次元コンピュータグラフィックスデータを生成する生成工程と、
予め保持手段に保持されている光源情報と、前記生成工程で生成された３次元コンピュータグラフィックスデータとに基づいて、前記現実空間の映像中に３次元コンピュータグラフィックスを描画する描画工程とを備える。
【０００８】
また、上記の目的を達成するための本発明の他の態様による画像表示方法は、
現実空間の映像中に３次元ＣＡＤデータより得られる３次元コンピュータグラフィックスを重畳して表示する画像表示方法であって、
前記３次元ＣＡＤデータに基づいて３次元コンピュータグラフィックスデータを生成する生成工程と、
前記現実空間の映像中の、前記３次元コンピュータグラフィックスの重畳位置における明度情報を取得する取得工程と、
前記生成工程で生成された３次元コンピュータグラフィックスデータと前記取得工程で取得した明度情報とに基づいて、３次元コンピュータグラフィックスを前記重畳位置に描画する描画工程とを備える。
【０００９】
また、上記の目的を達成するための本発明による情報処理方法は、
３次元ＣＡＤデータから作成された簡易試作物を含む現実画像の撮影画像を入力する入力工程と、
前記３次元ＣＡＤデータから３次元コンピュータグラフィックスデータを作成する作成工程と、
光源データを保持する保持工程と、
前記簡易試作物の位置・姿勢情報を入力する工程と、
観察者の視点位置・姿勢情報を入力する工程と、
前記３次元コンピュータグラフィックスデータ、前記簡易試作物の位置・姿勢情報、前記観察者の視点位置・姿勢情報に基づき、コンピュータグラフィックスを生成する生成工程と、
前記生成されたコンピュータグラフィックス画像と前記撮影画像を合成する合成工程とを有する。
【発明の効果】
【００１０】
上記の構成によれば、ＣＧの光源が現実空間の光源と一致、あるいは近いものとなり、観察者にとってよりリアリティのある複合現実感映像を生成できる。
また、本発明によれば、ＣＧの陰影を現実空間の陰影を元に生成でき、観察者にとってよりリアリティのある複合現実感映像を生成できる。
【発明を実施するための最良の形態】
【００１１】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１２】
＜第１実施形態＞
第１実施形態では、３次元ＣＡＤのデータよりラピッド・プロトタイピング装置で作成した簡易試作物（簡易モックアップ）に、同じ３次元ＣＡＤのデータを変換して作成した３ＤＣＧデータを、複合現実感システムを使って位置・姿勢方向を一致させて重ね合わせ、表示する。この手法により、視覚的な評価と触覚的な評価を同時に実現することができ、より完成品に近い状態での評価を可能とする。
【００１３】
また、一般にＣＡＤデータは光源データを有し、ＣＡＤデータからＣＧを描画する際にはこの光源データが用いられる。しかしながら、ＣＡＤデータの光源データを用いて仮想空間に描画してしまうと、それが現実空間の光源と大きく異なる場合、ＣＧのリアリティが著しく損なわれてしまうという問題がある。本実施形態では、この点も解消する。
【００１４】
本発明が適用される一般的なシステムの代表的構成を図１に示す。
【００１５】
図１において、１００は観察者が頭部に装着して現実空間と仮想空間を合成した映像を観察するための頭部装着型映像入出力装置（頭部装着型ディスプレイ（Head Mounted Display）などと呼ばれる。以下、ＨＭＤと称する）である。また、２００は磁場を発生させる磁気トランスミッタ、２０１、２０２は磁気トランスミッタ２００が発生させた磁場の変化を計測するための磁気センサである。２０５は位置・姿勢計測装置であり、磁気センサ２０１、２０２の計測結果より、各磁気センサの位置・姿勢を計測する。磁気センサ２０１はＨＭＤ１００に取り付けられており、観察者の視点位置、視線方向を算出するのに用いられる。３００は観察者が手で保持、操作する操作手段としての簡易試作物（簡易モックアップ）である。簡易試作物３００には、ＨＭＤ１００と同様に磁気センサ２０２が組み込まれている。位置・姿勢計測装置２０５は、磁気センサ２０２の計測結果に基づいて、簡易試作物３００の位置・姿勢を算出する。３０１は簡易試作物を観察するための台である。
【００１６】
１０１はＨＭＤ１００に組み込まれている映像入力装置、１０２はＨＭＤ１００に組み込まれている映像表示装置であり、それぞれ右目、左目用に２セットずつ組み込まれている。４００は情報処理装置であって、位置・姿勢計測装置２０５により算出した位置・姿勢情報に合わせたＣＧ映像を生成し、ＨＭＤ１００の映像入力装置１０２より入力した映像に重畳し、得られた合成映像をＨＭＤ１００の映像表示装置１０１に向けて出力するものである。
【００１７】
次に、ＨＭＤ１００の具体的な構成について図２を参照して説明する。図２において１０１は図１でも示されている映像表示装置であり、０．５〜数インチ程度の小型の液晶表示デバイス等で構成される。１０３は、映像表示装置１０１の映像を拡大するレンズの役目を果たす自由曲面プリズムである。これらの構成により、映像表示装置１０１に表示された映像は、観察者にとってはたとえば２ｍ先に９０インチ相当の映像として提示される。
【００１８】
１０２は図１にも示されている映像入力装置であり、ＣＣＤカメラ、ＣＭＯＳカメラなどの撮像デバイスで構成されるものである。１０４は現実空間の光を映像入力装置１０２に収束させるためのレンズの役目をはたす撮像系プリズムである。撮像系プリズム１０４は自由曲面プリズム１０３の外側に、両プリズムにおける光軸を一致させるように配置することで、映像入力装置１０２で入力した映像と、映像表示装置１０１に表示した映像の視差をなくし、現実空間の映像を違和感なく再現することを可能としている。
【００１９】
次に、図１における情報処理装置４００の具体的な構成について、図３を使って説明する。
【００２０】
４０１Ｌ、Ｒは映像キャプチャ部であり、映像入力装置１０２より入力した映像データを取り込み、デジタル信号として情報処理装置４００内に提供する。４０４は位置・姿勢情報入力部であり、位置・姿勢計測装置２０５より送られるＨＭＤ１００と簡易試作物３００の位置・姿勢データを情報処理装置４００内に取り込む。４０５は位置・姿勢算出部であり、位置・姿勢入力部４０４からの入力データをもとに、ＨＭＤ１００と簡易試作物３００の相対的な位置関係を算出する。
【００２１】
４０６は簡易試作物３００に重畳させるための３ＤＣＧ描画データである。４０７はＣＧレンダリング部であり、位置・姿勢算出部４０５で算出したＨＭＤ１００と簡易試作物３００の相対的な位置関係に基づいて、ＣＧデータを描画させるべき位置、大きさ、角度（パース）などを計算し、その計算結果に基づいて３ＤＣＧ描画用データ４０６をレンダリングする。
【００２２】
４０８は、予め用意された一つあるいは複数のＣＧ光源データである。一般に３ＤＣＡＤの出力するＣＧデータには光源情報が含まれている。しかしながら、この光源情報は、複合現実空間でＣＧを描画する際の、その現実空間における光源とは異なったものであり、そのような光源情報を用いるて現実空間映像との合成を行なうとＣＧの陰影が違和感のあるものとなってしまう。そこで３ＤＣＧ描画データ４０６には光源を含まないようにしておき、別途現実空間と一致あるいは似通った光源をＣＧ光源データ４０８として予め用意しておく。
【００２３】
ＣＧレンダリング部４０７は、３ＤＣＧ描画データ４０６をＣＧ光源データ４０８のもとで描画する。これにより、複合現実空間内におけるＣＧの陰影が違和感の少ないものとなる。なお、ＣＧ光源データ４０８を複数用意し、様々な要因により切り替えて使用することも可能である。
【００２４】
例えば現実空間において物体の左側から照明があたっている場合、当然右側に影ができて然るべきであるが、ＣＧ空間で光源が右側にあると左側に影ができてしまう。ＣＧだけであれば違和感はないが、現実空間と一緒に見ると違和感を感じる。特に、第２実施形態で説明するようなハンドオーバーレイをおこなった場合は、手の上に陰影ができるのでより違和感が生じる。
【００２５】
このような違和感はＣＧの描画方法により解消できる。陰影は基本的に光源と物体との相互作用で生じる明度変化であり、適切な種類の光源を適切位置に適切な数だけ配置することにより、光源の問題は解消される。そして、その上でどれだけリアルに陰影（明度）を再現できるかは、物体の材質（光に対する反応）と、レンダリングアルゴリズムによることになる。また、ＣＡＤシステムによっては、より部品を見やすくするために、白色光ではなく色の付いた光源を使うこともあり、そのような光源情報を用いてＣＧを描画すれば、現実空間の光源との差が大きく、違和感を生じやすい。すなわち、ＣＧにおける陰影は光源情報（光源の種類や位置を含む）の影響を大きく受ける。従って、本実施形態では、複数のＣＧ光源データを用意しておき、現実空間に適した光源データを用いてＣＧ描画を行なうようにして、陰影の違和感の解消を図る。
【００２６】
なお、光源の種類によってＣＧの描画負荷は変わる。例えば、ディレクショナルライト（平行光）は描画負荷が最も少なく、ポイントライト（点光源）やスポットライトでは描画負荷が大きくなってくる。また、光源の数によっても描画負荷は変わり、当然、光源の数が増えれば増えるほど描画負荷が大きくなる。描画負荷が大きくなるということは、描画レートが下がることになるが、現実空間の照明環境により近づけることができ（現実空間との陰影の違和感をより解消できる）、描画品質は向上する。すなわち、両者はトレードオフの関係にある。従って、例えば、光源の数を１，２，３，４のＣＧ光源データを用意しておき、３ＤＣＧ描画データの複雑さに応じてＣＧ光源データを切り替えて（描画品質と描画レートが最適となるように光源を選択して）使用することにより、描画レートと描画品質のバランスを取ることが可能となる。なお、光源データの切り替えはユーザが画像を観察しながらマニュアルで行うようにすればよい。あるいは、描画レートを計測し、その計測結果に従って自動的に光源を切り替えるようにしてもよいであろう。
【００２７】
４０２Ｌ、Ｒは映像合成部であり、映像キャプチャ部４０１で取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳する。４０３Ｌ、Ｒは映像生成部であり、合成した映像をアナログデータに変換し、映像表示装置１０１に出力する。
【００２８】
上記構成による本実施形態の処理の流れを、図４を使って説明する。まず、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順を図４左側の処理手順で説明する。
【００２９】
通常３次元ＣＡＤシステムを使って形状やデザインなどの設計業務を行う（１０１０）場合、設計データはそれぞれの３次元ＣＡＤシステム固有のソリッドデータとして保存されるのが一般的である。簡易試作物３００は、このソリッドデータより、光造形などのラピッド・プロトタイピング装置を使って作成する（１１１０）。一方、３Ｄソリッドデータは、各設計部品の幾何学的なパラメータの集合で表現されており、そのままではＣＧとして描画することはできない。そこで、３Ｄソリッドデータを３ＤＣＧの描画に適したデータ形式（たとえばＶＲＭＬなど）に変換する（１２１０）。
【００３０】
なお、３ＤＣＧ描画データ変換処理１２１０は３ＤＣＡＤデータを３ＤＣＧ描画データに変換する際に、３ＤＣＡＤデータに含まれている光源データを削除する。すなわち、光源データを含まない３ＤＣＧデータを生成する。第１実施形態の複合現実感システムでは、このように変換された３ＤＣＧ描画用データ４０６を使って仮想空間を生成する。
【００３１】
次に、本実施形態における複合現実感システムの処理手順について、図４右側の処理手順で説明する。
【００３２】
磁気トランスミッタ２００と磁気センサ２０２のデータを使って、位置・姿勢計測装置２０５は簡易試作物３００の現実空間中における位置・姿勢を計測する（２０１０）。同様に、磁気トランスミッタ２００と磁気センサ２０１のデータを使って、位置・姿勢計測装置２０５は観察者が装着しているＨＭＤ１００の現実空間中における位置・姿勢を計測する（２０２０）。位置・姿勢計測装置２０５によって得られた計測データは、位置・姿勢情報入力部４０４を通して情報処理装置４００に取り込まれる。そして、位置・姿勢算出部４０５においてＨＭＤ１００と簡易試作物３００との相対的な位置関係が計算される（２０３０）。
【００３３】
一方、上記の処理２０１０、２０２０、２０３０と並行して、ＨＭＤ装置１００の映像入力装置１０１からの現実空間の映像を、映像キャプチャ部４０１を通して情報処理装置４００に取り込む（３０１０）。ＣＧレンダリング部４０７では、処理２０３０で算出した相対的な位置関係と３ＤＣＧ描画用データ４０６を用いてＣＧを描画し、ビデオバッファなどのメモリ（不図示）に展開する（２０４０）。すなわち、簡易試作物３００の位置姿勢に合わせて３ＤＣＧを描画する。なお、このＣＧ描画処理２０４０において、ＣＧレンダリング部４０７は光源データを削除された３ＤＣＧ描画データ４０６と、ＣＧ光源データ４０８を用いてＣＧを描画する。
【００３４】
一方、処理３０１０で取り込んだ現実空間の映像データもビデオバッファなどのメモリに展開する（３０２０）。映像合成部４０２Ｌ、Ｒは、上記の処理２０４０で生成したＣＧ映像を、処理３０２０で展開した映像データに重畳する（４０１０）。合成された映像は、映像生成部４０３にてアナログ等のビデオ信号に変換され、ＨＭＤ１００の映像表示装置１０１に表示される（４０２０）。
【００３５】
上記２０１０から４０２０までの処理を映像表示装置１０１における映像更新間隔あるいはＣＧ描画２０４０における更新間隔で繰り返し行うことで、リアルタイムに情報提示を行う。このシステムによる処理結果の一例を図５に示す。
【００３６】
図５において、（ａ）では、ＨＭＤ１００に搭載された映像入力装置１０２より入力した現実空間の映像（簡易試作物３００）が示されている。（ｂ）では、現実空間の簡易試作物３００に、ＣＧデータを重畳し、ＨＭＤ１００に搭載された映像表示装置１０１に表示される映像が示されている。このように、簡易試作物３００の位置姿勢に合わせて３ＤＣＧを描画することにより、簡易試作物３００をより完成品に近い形態として評価することができる。
【００３７】
なお、上記では複数種類のＣＧ光源データを用意しておき、所望の光源データを選択的に用いたが、第２実施形態で後述するように、実写画像中の明度情報を用いるようにしてもよい。また、第２実施形態で説明するように、手領域を抽出して、その部分のＣＧ描画を禁止する、ハンドオーバーレイ技術を適用してもよいことは当業者には明らかであろう。
【００３８】
＜第２実施形態＞
まず、一般的なハンドオーバーレイ技術について説明する。
【００３９】
映像合成部４０２Ｌ、Ｒでは、現実空間の映像データに、仮想空間の映像（ＣＧ映像）を重畳（上書き）することで合成映像を生成している。この場合には、本来ＣＧ映像より手前にあるべきはずのものもＣＧ映像で上書きされてしまうため、ＣＧ映像と現実物体との奥行き感に矛盾が生じる場合がある。図６を使って詳しく説明する。
【００４０】
（ａ）は映像入力装置１０２より入力された現実空間の映像データの一例であり、簡易試作物３００を観察者の手で保持している映像である。手の一部（親指あたり）が簡易試作物３００の手前に存在している。このような映像に、簡易試作物３００に対応するＣＧ映像を重畳すると、（ｂ）のような合成映像となる。すなわち簡易試作物３００よりも手前にあるはずの手の一部が、ＣＧ映像により隠れてしまい、奥行き感に矛盾が発生し、観察者にとって違和感のある映像となる。第２実施形態のシステムでは、現実空間の映像データを用いた画像処理により奥行き感の矛盾を解消する。
【００４１】
すなわち、映像入力装置１０２から得られた、（ａ）に示す映像データより画像処理にて手の領域のみを抽出する。抽出された手の領域からマスク画像（ｃ）を生成し、このマスク画像で指定された手以外の領域に関してＣＧ映像を生成し、現実空間の映像に重畳する。このようにすることで、（ｄ）に示されるように、手の領域が簡易試作物よりも手前に表示されて、奥行き感の違和感が解消される。
【００４２】
ハンドオーバーレイ技術を用いた第２実施形態によるシステムの構成と処理の流れを図７乃至図９を使って説明する。
【００４３】
図７は第２実施形態による情報処理装置４００の具体的な構成を示すブロック図である。第１実施形態で説明した構成（図３）に、手領域抽出部４２０及び手色情報登録データ４２１が加えられている。また、第２実施形態では自然な陰影でＣＧを描画するために、簡易試作物３００の実写画像中の明度を利用するため、ＣＧ光源データ４０８は用いていない。手色情報登録データ４２１には手の色に相当する色情報が登録されており、手領域抽出部４２０では、映像データ中の手色情報登録データ４２１に登録されている色を有する領域を手領域として抽出する。抽出された手領域の情報はＣＧレンダリング部４０７に提供され、図６を用いて上述した処理により奥行き感の違和感を解消する。
【００４４】
上記構成による第２実施形態の処理の流れを、図８を使って説明する。なお、３Ｄ−ＣＡＤのデータから簡易試作物３００と３ＤＣＧ描画用データ４０６を作成する手順（図８の左側に示される手順）は図４の左側の処理手順と同様である。
【００４５】
第２実施形態における複合現実感システムの処理手順（図８右側の処理手順）について説明する。
【００４６】
まず、情報処理装置４００の映像キャプチャ部４０１Ｌ、Ｒより、現実空間の映像データを取り込む（１０１０）。この映像データは、手領域抽出部４２０に供給される。手領域抽出部４２０では、各画素の色情報を、手色情報登録データにあらかじめ登録してある手領域の色情報と比較し、各画素が人間の肌の色であるか否かを判定する。肌の色であると判定された画素は手領域であると判断する（５０１０）。すべての画素について手の領域であるかどうかの判断を行い、手の領域と判断された画素のみを抽出し、ビデオバッファなどのメモリに手領域のデータのみを記録することにより、図６の（ｃ）に示したようなマスク画像を生成する（５０２０）。ＣＧレンダリング部４０７では、処理５０２０で生成したマスク画像でマスクされた領域のＣＧ映像を生成し（２０４０）、映像合成部４０３において、現実空間の映像データに、２０４０で生成したＣＧ映像を重畳する（４０１０）。
【００４７】
このように合成映像を生成することで、本来ＣＧデータよりも手前にあるべき現実空間の映像を、ＣＧデータよりも手前に表示することが可能となり、奥行き感における違和感が解消される。
【００４８】
ところで、描画されるＣＧの陰影は仮想空間内の光源によるものなので、必ずしも現実空間内で発生するであろう陰影とは一致しない。この不一致が観察者にＣＧデータの違和感を与えることがある。そこで、第２実施形態では、現実空間内の陰影を用いて陰影を表現する。一般に簡易試作物３００は単一部材からなり、単色であり、更にＣＧと同形状である。従って、第２実施形態では、簡易試作物３００における明度変化をそのままＣＧデータに適用させることにより、より自然な陰影を伴ったＣＧデータを得る。すなわち、ＣＧ描画処理２０４０では、現実空間映像の明度情報が利用される。
【００４９】
明度情報生成５０１５は、映像中の簡易試作物３００の部分の明度を抽出し、明度情報を生成する。この部分の処理例の詳細を図９に示す。まず、ＣＧを描画する範囲を示すマスク画像（図９の（ｄ））を得る。これは、例えば、通常の描画処理でＣＧを生成する際にＺバッファの値が変化した部分を二値化するといった簡単な処理で得ることができる。なお、ＣＧ画像はマスク画像生成処理５０２０で生成されたマスク画像（図６の（ｃ））により、手領域を除くＣＧ画像となっている。
【００５０】
明度情報生成５０１５は、図９の（ａ）のように得られている実写画像より、明度のみの情報を持った画像（図９（ｂ））を生成する。そして、ＣＧ描画処理２０４０は、図９（ｄ）のマスクの範囲に、ＣＧ描画による色（色成分のうち明度を除いたもの（明度、彩度、色相であれば、彩度と色相）と、実写の明度を用いて描画を行う。具体的には実写画像から明度画像（図９（ｂ））を生成し、マスク画像のマスクのある範囲の全ての画素に対して、明度は実写画像から（図９（ｆ））、色はＣＧ画像（図９（ｅ))から得て、その点の画素値を求め、実写背景の上に描画する（図９（ｇ））。
【００５１】
以上説明したように、上記各実施形態によれば、ＣＧの光源を現実空間の光源と一致、あるいは近いものとすることができ、観察者にとってよりリアリティのある複合現実感映像を生成することができる。特に第２実施形態によれば、ＣＧの陰影を現実空間の陰影を元に生成するので、観察者にとってよりリアリティのある複合現実感映像を生成することができる。
【００５２】
なお、上記各実施形態では、ＣＡＤデータから３ＤＣＧ描画データを作成する際に光源情報を削除していたが、光源情報を削除しなくてもＣＧ描画時にＣＧ光源データ４０８を使用するように制御する仕組みを入れることにより対応することもできる。
【００５３】
また、上記各実施形態において、位置・姿勢計測装置の計測誤差を補償するために、簡易試作物３００に添付したマーカあるいは特徴点の位置を検出するようにしてもよい。以下、特徴点を用いた位置・姿勢の補正方法について説明する。ここでは、一般的な補正方法として、映像入力部（カメラ）の外部パラメータを特徴点１点から補正する方法について説明する。なお、ここで特徴点とは、人工的に特定の色や形の情報をもったシール状のものなどを現実空間中の簡易試作物に貼り付けたマーカを用いても良いし、簡易試作物の形状の特徴的な部分を特徴点としても良い。
【００５４】
図１０は映像入力装置（カメラ）の外部パラメータ（位置・姿勢をあらわすパラメータ）の一般的な補正方法を説明する模式図である。図１０において、点Ａは映像入力装置（カメラ）及び簡易試作装置３００の位置・姿勢に基づいて予測される特徴点の位置、点Ｂはこの特徴点の実際の位置、点Ｃは映像入力装置（カメラ）視点の位置を表す。なおここでは、点Ａ、点Ｂが示す位置はカメラ座標系における位置であって、点Ｃは映像入力装置（カメラ）座標系の原点である。また、点Ｐは撮像面上における点Ａの位置、点Ｑは撮像面上における点Ｂの位置を示す。ここで、図１０に示すように、点Ｐ、Ｑの座標を各々（ｘp，ｙp）、（ｘq，ｙq）、撮像面の幅、高さを各々ｗ、ｈ、カメラの焦点距離（撮像面から映像入力装置までの距離）をｄとし、ｖ1を点Ｃから点Ｑへのベクトル、ｖ2を点Ｃから点Ｐへのベクトル、θをｖ1とｖ2のなす角度とする。
【００５５】
まず、特徴点１点を用いて姿勢をθだけ点Ｂ方向から点Ａ方向に変化させる方法（映像入力装置の回転による補正方法）について説明する。
【００５６】
上記の設定から、ｖ1、ｖ2を求めると、各々の成分は以下の（１）式のようになる。
【００５７】
【数１】
2005107968.tif 000003
【００５８】
次に、各々のベクトルを、以下の（２）式により大きさ１のベクトルに正規化する。なお、|ｖ|は、ベクトルｖの大きさをあらわす。
【００５９】
【数２】
2005107968.tif 000004
【００６０】
ここで、映像入力装置（カメラ）を回転させる場合、その回転軸はベクトルｖ1、ｖ2がなす平面と直行し、カメラ視点位置（点Ｃ）を通る直線となる。この回転軸の方向ベクトルは、（３）式に示すように、ベクトルｖ1、ｖ2の外積により求めることができる（実際には正規化したもの（ｖ1’、ｖ2’）を用いる）。
【００６１】
【数３】
2005107968.tif 000005
【００６２】
ここで、ｖxは回転軸の方向ベクトルであって、その成分を（ｌ,ｍ,ｎ）とする。また、回転角θはベクトルｖ1、ｖ2がなす角度なので、以下の（４）式のように求めることができる。
【００６３】
【数４】
2005107968.tif 000006
【００６４】
よって、映像入力装置の回転による補正に用いる補正行列ΔＭｃは、以下の（５）式のように計算される。
【００６５】
【数５】
2005107968.tif 000007
【００６６】
この補正行例を映像入力装置の位置・姿勢を示す行列にかけることで、映像入力装置の位置・姿勢が補正される。つまり、点Ｐが点Ｑの位置に表示され、撮像面上におけるランドマークの位置姿勢パラメータから予測される位置と実際の位置とが一致する。なお、上述の説明では、映像入力装置（カメラ）の回転を使った補正方法について説明したが、映像入力装置の平行移動により誤差を補正する方法なども使用可能である。また、複数の特徴点を使った補正方法でも同様の効果が得られるが、説明は省略する。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７２】
【図１】実施形態によるシステムの構成を示す図である。
【図２】頭部装着型映像入出力装置構成図
【図３】第１実施形態による情報処理装置４００の構成を示すブロック図である。
【図４】第１実施形態の情報処理装置４００による処理の流れを示すフローチャートである。
【図５】処理結果を示す図である。
【図６】ハンドオーバーレイの処理について説明する図である。
【図７】第２実施形態による情報処理装置４００の構成を示すブロック図である。
【図８】第１実施形態の情報処理装置４００による処理の流れを示すフローチャートである。
【図９】第２実施形態の情報処理装置４００によるＣＧ描画処理を具体的に説明する図である。
【図１０】特徴点による位置・姿勢計測の補正を説明する図である。
【図１】
2005107968.tif 000008
【図２】
2005107968.tif 000009
【図３】
2005107968.tif 000010
【図４】
2005107968.tif 000011
【図５】
2005107968.tif 000012
【図６】
2005107968.tif 000013
【図７】
2005107968.tif 000014
【図８】
2005107968.tif 000015
【図９】
2005107968.tif 000016
【図１０】
2005107968.tif 000017