(57)【要約】【課題】  現実物体を表す三次元モデル情報を簡便な方法で生成すること。【解決手段】  現実空間の映像から三次元モデル情報を生成する現実物体の領域を抽出した領域画像を形成する。そして、この現実物体の位置姿勢情報と領域画像とから、領域画像を包含する大きさの基本仮想物体を生成する。基本仮想物体から領域画像に対応した形状の仮想物体を生成し、その三次元モデル情報を生成する。【選択図】  図５
2008210276.tif 000002
【特許請求の範囲】
【請求項１】
現実物体を三次元仮想物体として観察者の視点位置及び姿勢に応じて表示するための、前記現実物体の三次元モデル情報を生成する方法であって、
前記観察者の視点位置及び姿勢に応じた現実空間の映像を取得する取得工程と、
前記現実空間の映像から前記現実物体の領域を抽出する抽出工程と、
前記抽出した領域を包含する大きさを有し、前記現実物体の位置姿勢に応じた位置姿勢を有する基本仮想物体を生成する第１の生成工程と、
前記基本仮想物体から、前記抽出した領域の形状に対応した仮想物体を生成する第２の生成工程と、
前記第２の生成工程で生成した仮想物体の三次元モデル情報を、前記現実物体の三次元モデル情報として生成するモデル情報生成工程とを有することを特徴とする方法。
【請求項２】
前記基本仮想物体が、厚みの無い仮想物体であることを特徴とする請求項１記載の方法。
【請求項３】
前記第２の生成工程が、前記抽出した領域の形状に対応した仮想物体に厚みを付与する厚み付与工程をさらに有することを特徴とする請求項２記載の方法。
【請求項４】
前記第１の生成工程が、前記現実物体の姿勢に応じた厚みを有する前記基本仮想物体を生成することを特徴とする請求項１記載の方法。
【請求項５】
現実物体を三次元仮想物体として観察者の視点位置及び姿勢に応じて表示するための、前記現実物体の三次元モデル情報を生成する装置であって、
前記観察者の視点位置及び姿勢に応じた現実空間の映像を取得する取得手段と、
前記現実空間の映像から前記現実物体の領域を抽出しする抽出手段と、
前記抽出した領域を包含する大きさを有し、前記現実物体の位置姿勢に応じた位置姿勢を有する基本仮想物体を生成する第１の生成手段と、
前記基本仮想物体から、前記抽出した領域の形状に対応した仮想物体を生成する第２の生成手段と、
前記第２の生成手段で生成した仮想物体の三次元モデル情報を、前記現実物体の三次元モデル情報として生成するモデル情報生成手段とを有することを特徴とする装置。
【請求項６】
請求項１乃至請求項４のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はコンピュータグラフィックス技術に関し、特には、三次元物体を描画するために用いる現実物体の三次元モデル情報の生成技術に関する。
【背景技術】
【０００２】
コンピュータグラフィックス（ＣＧ）技術は様々な分野で広く用いられており、特に近年では三次元ＣＧ技術の進歩により、立体物のシミュレーションなどへの応用も盛んである。
【０００３】
三次元ＣＧ技術の応用例として、複合現実感システムが知られている。複合現実感システムは、観察者の視点から見た仮想物体をＣＧで表し、観察者の視点近傍から撮影した実写画像と位置合わせして合成表示するシステムである。観察者は、視点位置に応じた実写画像とＣＧとの合成画像を観察することにより、あたかも現実空間中に仮想物体があるかのような複合現実感を体験することができる。複合現実感システムでは従来の仮想現実感システム（VRシステム）に比べてよりリアルに、実寸感覚を伴った観察が可能である。
【０００４】
この複合現実感システムを利用して、３次元ＣＡＤで設計された物体について、その操作性、メンテナンス性、組み立て性などの各種検証を行う試みがなされている。例えば、試作物を三次元仮想物体としてＣＧで表し、現実物体である手の動きに応じた表示を行うことにより、あたかも試作物が存在するかのように、自分の手で操作・検証する方法が提案されている。この場合、操作者の手もまた三次元仮想物体としてＣＧで表現し、実際の手や指の動きに応じた表示を行う必要がある。
【０００５】
ＣＧ表現された手（仮想の手）で他の仮想物体（上述の試作物等）を操作する場合、仮想の手と他の仮想物体との接触判定を行う必要がある。この際、仮想の手の形状があまり細かいと、判定処理が複雑になる。そのため、爪など詳細な情報を除去した簡易な形状モデルで手を表して接触判定を行うことが多い。
【０００６】
しかしながら、仮想の手は現実の手の動きや位置姿勢を反映するものであるため、仮想の手の形状が現実の手の形状と大きく異なると、操作者が違和感を感じる原因となる。
【０００７】
現実物体の手の動きに合わせた仮想の手の表示を行うには、現実物体の手の状態を検出する必要があり、具体的には以下のような方法が考えられる。
（１）現実物体の手に曲げセンサを配置し、曲げ量を計測する手法
（２）現実物体の手を撮影し、２次元の手画像から３次元の手形状を逆推定する方法
【０００８】
【特許文献１】特開平１０−１７６９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
（１）の方法では、曲げセンサの装着が煩雑である、検出される曲げ量が正確でない場合に、現実の手と仮想の手の形状にずれが生じるという問題がある。また、（２）の方法では、２次元の手画像から３次元の手形状を算出する計算の負荷が大きく、リアルタイムでの算出が必要な複合現実感システムに適用するのは現在の計算機の能力からすると無理がある。
【００１０】
本発明はこのような従来技術の問題点に鑑みなされたものである。本発明は、現実物体の三次元モデル情報を、簡易な方法で得ることのできる三次元モデル情報の生成方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述の目的は、現実物体を三次元仮想物体として観察者の視点位置及び姿勢に応じて表示するための、現実物体の三次元モデル情報を生成する方法であって、観察者の視点位置及び姿勢に応じた現実空間の映像を取得する取得工程と、現実空間の映像から現実物体の領域を抽出する抽出工程と、抽出した領域を包含する大きさを有し、現実物体の位置姿勢に応じた位置姿勢を有する基本仮想物体を生成する第１の生成工程と、基本仮想物体から、抽出した領域の形状に対応した仮想物体を生成する第２の生成工程と、第２の生成工程で生成した仮想物体の三次元モデル情報を、現実物体の三次元モデル情報として生成するモデル情報生成工程とを有することを特徴とする方法によって達成される。
【００１２】
また、上述の目的は、現実物体を三次元仮想物体として観察者の視点位置及び姿勢に応じて表示するための、現実物体の三次元モデル情報を生成する装置であって、観察者の視点位置及び姿勢に応じた現実空間の映像を取得する取得手段と、現実空間の映像から現実物体の領域を抽出しする抽出手段と、抽出した領域を包含する大きさを有し、現実物体の位置姿勢に応じた位置姿勢を有する基本仮想物体を生成する第１の生成手段と、基本仮想物体から、抽出した領域の形状に対応した仮想物体を生成する第２の生成手段と、第２の生成手段で生成した仮想物体の三次元モデル情報を、現実物体の三次元モデル情報として生成するモデル情報生成手段とを有することを特徴とする装置にによっても達成される。
【発明の効果】
【００１３】
このような構成により、本発明によれば、現実物体の三次元モデル情報を簡易な方法で得ることが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、添付図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
（第１の実施形態）
図１は、本発明の実施形態に係る三次元モデル情報生成装置の一例としての複合現実感システムの構成例を示す図である。
【００１５】
本実施形態の複合現実感システムにおいて、頭部装着型表示装置（ＨＭＤ）１００は、観察者が頭部に装着して使用する表示装置である。本実施形態におけるＨＭＤ１００はビデオシースルータイプのステレオＨＭＤであり、右眼用、左眼用に独立した画像を表示可能な映像表示装置１０１が組み込まれている。そのため、右眼用、左眼用に適切な視差画像を表示することにより、裸眼立体視が可能である。また、装着時に観察者の目の近傍となる左右の位置には例えばビデオカメラである映像入力装置１０２が設けられており、観察者の視点位置、視線方向に応じた現実空間の視差画像を取得することができる。
【００１６】
また、本実施形態の複合現実感システムでは、観察者の視点位置姿勢など、物体の三次元位置姿勢を検出する手段として、磁気センサを用いている。具体的には、磁気トランスミッタ２００が発生する磁場を、磁気センサ２０１〜２０３により計測し、この計測結果を用いて位置・姿勢計測装置２０５が磁気センサ２０１〜２０３の位置姿勢を算出する。磁気センサ２０１〜２０３のうち、ＨＭＤ１００には、磁気センサ２０１が取り付けられ、位置・姿勢計測装置２０５によって観察者の視点位置と視線方向が算出される。
【００１７】
また、トレイ３００は、観察者が手で保持、操作する試作物の一例である。トレイ３００には磁気センサ２０２が組み込まれており、位置・姿勢計測装置２０５において、トレイ３００の位置及び姿勢が算出される。観察台３０１は、作業空間を観察するための台である。
【００１８】
残りの磁気センサ２０３は観察者の手に装着し、位置・姿勢計測装置２０５において、観察者の手の位置・姿勢を算出する。
【００１９】
情報処理装置４００は、位置・姿勢計測装置２０５により算出した位置・姿勢情報に応じた仮想物体のＣＧ映像を生成する。そして、このＣＧ映像をＨＭＤ１００の映像入力装置１０２から得られる現実空間の映像に位置合わせして重畳した合成映像を生成し、この合成映像を映像表示装置１０１に表示させる。
【００２０】
（情報処理装置４００）
図２は、図１における情報処理装置４００の構成例を示すブロック図である。
なお、以下の説明において、右眼用画像に関する処理と、左眼用画像に関する処理とに特段の相違がない場合、それらをまとめて説明することがある。この場合、右眼用画像を処理する構成と、左眼用画像を処理する構成とが異なる機能ブロックで表されていても、１つのブロックで処理するように説明するが、実際には個々の機能ブロックで同様の処理が行なわれていることを理解されたい。具体的には、例えば右眼用画像を取り込む映像キャプチャ部４０１Ｒと、左眼用画像を取り込む映像キャプチャ部４０１Ｌの処理に特段の相違がない場合、単に映像キャプチャ部４０１の処理として説明する。
【００２１】
映像キャプチャ部４０１は、ＨＭＤ１００に設けられたステレオカメラである映像入力装置１０２より入力した映像信号をデジタル信号として取り込む。位置・姿勢情報入力部４０４は、位置・姿勢計測装置２０５より送られる、ＨＭＤ１００、トレイ３００及び観察者の手の位置・姿勢のデータを情報処理装置４００内に取り込むための位置・姿勢情報入力部である。
【００２２】
モデル情報記憶部４０６は、仮想物体の三次元モデル情報を記憶する。三次元モデルは仮想物体の三次元座標情報を始めとする形状情報や、テクスチャ、色、透明度といった視覚情報などを含む。三次元モデル情報には特に制限はなく、周知のモデル情報を利用可能であるため、これ以上の詳細については説明を省略する。
【００２３】
本実施形態において、モデル情報記憶部４０６は、トレイ３００に重畳表示する仮想物体の三次元モデル情報、後述するモデル情報生成部４１０が生成する手の三次元モデル情報を少なくとも記憶する。
【００２４】
位置・姿勢算出部４０５は、位置・姿勢情報入力部４０４からの入力データをもとに、ＨＭＤ１００（観察者の視点位置）と、トレイ３００と相対的な三次元位置関係を算出する。ＣＧレンダリング部４０７は、位置・姿勢算出部４０５で算出した相対的な位置関係から、ＣＧを描画させるべき位置、大きさ、角度（パース）などを計算し、モデル情報記憶部４０６に記憶された三次元モデル情報を用いて仮想物体を描画する。
【００２５】
画像合成部４０２は、映像キャプチャ部４０１で取り込んだ現実空間の映像データに、ＣＧレンダリング部４０７で生成したＣＧ映像を重畳し、合成画像を生成する。映像生成部４０３は、合成画像を映像表示装置１０１が表示可能な映像信号に変換し、映像表示装置１０１に出力する。モデル情報生成部４１０は、映像キャプチャ部４０１が取り込んだ現実空間の映像データを元に、観察者の手の三次元モデル情報を生成し、モデル情報記憶部４０６に記憶させる。
【００２６】
このような情報処理装置４００は、例えばパーソナルコンピュータとして市販される汎用コンピュータとビデオ入出力ボード等を組み合わせたハードウェアに、上述した機能を実現させるための制御プログラムを実行させることにより実現することができる。
【００２７】
例えばトレイ３００にＣＧで表した試作物を重畳表示させ、観察者がトレイ３００の角度を変えたり、ＨＭＤ１００との相対的な距離を変える操作に応答して、ＣＧの描画を更新する。これにより、観察者は、あたかも試作物を手で操作しているようにして試作物の形状を確認することができる。もちろん、より複雑な操作に対応した表示を行うことで、外観の検証に留まらず、操作性の検証等を行うことが可能であるが、本発明と直接関係が無いためこれ以上の説明は行わない。
【００２８】
（モデル情報生成部の動作）
次に、本実施形態におけるモデル情報生成部４１０の動作について、図５に示すフローチャートを参照して説明する。
まず、モデル情報生成部４１０は、映像キャプチャ部４０１から現実空間の映像を取得する（Ｓ１０１）。
【００２９】
次に、モデル情報生成部４１０は、現実空間の映像から、三次元モデル情報を生成する現実物体である観察者の手の領域を検出する（Ｓ１０３）。手の領域の検出方法に特に制限はないが、例えば皮膚の色として予め登録されている色を有する画素の連続領域を抽出することにより、検出が可能である。
【００３０】
次に、モデル情報生成部４１０は、検出した手の領域だけを抽出した領域画像（マスク画像）を生成する（Ｓ１０５）。例えば、図３（ａ）において、手の領域５０１の部分のみを抜き出した領域画像がマスク画像となる。
【００３１】
次に、モデル情報生成部４１０は、位置・姿勢情報入力部４０４から取得した、観察者の手の位置姿勢情報を用い、手の位置姿勢に対応した１つの基本仮想物体を生成する。ここでは、基本仮想物体を前処理ポリゴンと呼ぶ。前処理ポリゴンは、手の領域（マスク画像）を包含する大きさを有しさえすれば、全体の大きさや形状に特段の制限はない。ただし、複雑な形状であるよりは、単純な形状であるほうが処理負荷が小さい点で望ましい。本実施形態では、矩形状、若しくは板状の前処理ポリゴンを用いている。また、領域画像は２次元図形であるから、前処理ポリゴンに厚みは必要ないが、厚みを有する前処理ポリゴンを用いても良い。図３（ｂ）に、前処理ポリゴン５０２の例を示す。
【００３２】
次に、モデル情報生成部４１０は、手のマスク画像と前処理ポリゴンとの演算により、前処理ポリゴンから手の領域画像に対応した形状の仮想物体（手形状ポリゴン）を生成する。具体的には、マスク画像を用いて前処理ポリゴンを切り出すことにより、手形状ポリゴンを生成する（Ｓ１０７）。図４（ａ）及び（ｂ）に、この切り出し処理を模式的に示す。図４（ｂ）において５０３で示されるのが、切り出しによって生成された手形状ポリゴンである。
【００３３】
さらに、必要に応じてモデル情報生成部４１０は手形状ポリゴン５０３の厚みを決定し、決定した厚みを手形状ポリゴン５０３に付与する。そして、モデル情報生成部４１０は、手形状ポリゴン５０３に対応した三次元モデル情報を生成する（Ｓ１０９）。
【００３４】
ここで、例えば手の姿勢に応じた厚みを有する前処理ポリゴン５０２を生成した場合や、手の平や甲に対して視線方向が垂直に近い場合のように、厚みを無視しても違和感が無いか小さいと判断される場合、手形状ポリゴン５０３の厚みを決定する必要はない。あるいは、処理速度を優先したい場合や、アプリケーションによっては厚みが無くても問題ない場合もあるであろう。
【００３５】
最終的に生成した三次元モデル情報は、モデル情報生成部４１０からモデル情報記憶部４０６へ記憶する（Ｓ１１１）。この一連の処理を、観察者の手の動きに違和感なく追従できる頻度で繰り返し行う。映像キャプチャ部４０１が取り込む映像の各フレームに対して行えば最も追従性がよいが、必ずしもフレーム毎に処理する必要はない。
【００３６】
図４（ｃ）は、最終的に生成した手形状ポリゴン５０３から生成された三次元モデル情報を元に描画された手のＣＧ画像が現実空間の映像に合成された状態を模式的に示す。
【００３７】
このように、本実施形態によれば、現実物体を三次元仮想物体として観察者の視点位置及び姿勢に応じて表示するための三次元モデル情報を、現実物体の領域検出とポリゴンの切り抜きといった単純な処理によって生成することが可能である。観察者の手に曲げセンサを装着する必要もなく、また画像から手の動きを推測するといった複雑な計算も必要ない。そのため、リアルタイム処理が必要なシステムにおいても、十分な形状の精度を有する仮想の手を、観察者の手の動きに対して追従性よく描画することが可能となる。
【００３８】
なお、本実施形態では、位置・姿勢を計測する手段として磁気センサを用いたシステムを例に説明したが、位置及び姿勢が検出可能であれば、光学センサなど、他の任意の方法を用いることが可能である。
【００３９】
また、前処理ポリゴンに円盤状のポリゴンや直方体形状など、他の形状を有するポリゴンを用い、マスク画像により切り抜くことも可能である。
【００４０】
さらに、本実施形態では三次元モデル情報を生成する現実物体の一例として観察者の手を用いて説明したが、本発明の適用範囲が手の三次元モデル情報生成に限定されないことは容易に理解されるところであろう。本発明による手法は、観察者の視点位置及び姿勢（視線方向）に応じた現実画像から抽出可能な任意の現実物体の三次元モデル情報生成に利用することができる。
【００４１】
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
【００４２】
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
【００４３】
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。
【００４４】
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００４５】
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。
【００４６】
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
【００４７】
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
【００４８】
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。
【００４９】
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
【００５０】
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施形態に係る三次元モデル情報生成装置の一例としての複合現実感システムの構成例を示す図である。
【図２】図１における情報処理装置４００の構成例を示すブロック図である。
【図３】本発明の実施形態におけるモデル情報生成部４１０の動作を模式的に示す図である。
【図４】本発明の実施形態におけるモデル情報生成部４１０の動作を模式的に示す図である。
【図５】本発明の実施形態におけるモデル情報生成部４１０の動作を説明するフローチャートである。
【図１】
2008210276.tif 000003
【図２】
2008210276.tif 000004
【図５】
2008210276.tif 000005
【図３】
2008210276.tif 000006
【図４】
2008210276.tif 000007