(57)【要約】【課題】  仮想物体を重畳させた現実物体に対するユーザ操作をより容易にするための技術を提供すること。【解決手段】  仮想世界生成部１０６は、ＨＭＤ１３１を頭部に装着しているユーザの手による操作対象となる物体の位置姿勢を有する仮想物体を、左カメラ１３２、右カメラ１３３の位置姿勢から見た場合の左目用仮想空間画像、右目用仮想空間画像を生成する。画像合成部１０３は、それぞれの画像を、左カメラ１３２、右カメラ１３３による画像上に重畳させる。仮想世界生成部１０６は、手の位置と、物体の位置と、の間の距離に応じて、仮想空間画像の透明度を制御する。【選択図】  図１
2009025918.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と表示装置とを有する頭部装着型表示装置を頭部に装着しているユーザの体の部位の位置を取得する第１の取得手段と、
前記撮像装置の位置姿勢を取得する第２の取得手段と、
前記撮像装置による撮像画像を取得する第３の取得手段と、
前記部位による操作対象となる物体の位置姿勢を取得する第４の取得手段と、
前記第４の取得手段が取得した位置姿勢を有する仮想物体を、前記第２の取得手段が取得した位置姿勢から見た場合の画像を仮想空間画像として生成する生成手段と、
前記生成手段が生成した仮想空間画像を、前記第３の取得手段が取得した撮像画像上に重畳させて前記表示装置に対して出力する出力手段とを備え、
前記生成手段は、
前記第１の取得手段が取得した位置と、前記第４の取得手段が取得した位置と、の間の距離に応じて、前記仮想空間画像の透明度を制御する
ことを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記距離が小さくなるほど、前記仮想空間画像の透明度を上げ、前記距離が大きくなるほど、前記仮想空間画像の透明度を下げることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記距離が予め定めた閾値以下となっている時間が、予め定めた時間以上となった場合には、前記仮想空間画像の透明度を不透明にすることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記生成手段は更に、前記生成手段が生成した仮想空間画像の周囲には、他の仮想物体の仮想空間画像は生成しないことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記部位は、手もしくは足であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像装置と表示装置とを有する頭部装着型表示装置を頭部に装着しているユーザの体の部位の位置を取得する第１の取得工程と、
前記撮像装置の位置姿勢を取得する第２の取得工程と、
前記撮像装置による撮像画像を取得する第３の取得工程と、
前記部位による操作対象となる物体の位置姿勢を取得する第４の取得工程と、
前記第４の取得工程で取得した位置姿勢を有する仮想物体を、前記第２の取得工程で取得した位置姿勢から見た場合の画像を仮想空間画像として生成する生成工程と、
前記生成工程で生成した仮想空間画像を、前記第３の取得工程で取得した撮像画像上に重畳させて前記表示装置に対して出力する出力工程とを備え、
前記生成工程では、
前記第１の取得工程で取得した位置と、前記第４の取得工程で取得した位置と、の間の距離に応じて、前記仮想空間画像の透明度を制御する
ことを特徴とする画像処理方法。
【請求項７】
コンピュータに請求項６に記載の画像処理方法を実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感を提供するための技術に関するものである。
【背景技術】
【０００２】
近年、現実世界と仮想世界とを違和感なく自然に結合する複合現実感（ＭＲ：Mixed Reality）の技術を応用した装置（複合現実感装置）が盛んに提案されている。これらの複合現実感装置は、次のようにして複合現実感を、本装置の使用者に提示している。即ち、カメラなどの撮像装置によって撮影した現実世界の画像に対し、コンピュータグラフィックス（ＣＧ：Computer Graphics）で描画した仮想世界の画像を合成する。そして係る合成による合成画像を、ヘッドマウントディスプレイ（ＨＭＤ：Head-Mounted Display）等の表示装置に表示する。
【０００３】
これらの複合現実感装置は、複合現実感を高めるために、本装置の使用者の視点位置・姿勢をリアルタイムで取得し、現実世界の画像の変化に追従させて仮想世界の画像を生成し、使用者に対してＨＭＤのような表示装置にリアルタイムに表示する必要がある。複合現実感装置では、センサ装置によって計測した使用者の視点位置・姿勢を仮想世界での仮想の視点位置・姿勢として設定し、この設定に基づいて仮想世界の画像をＣＧにより描画し、現実世界の画像と合成する。
【０００４】
また、ＨＭＤは、複合現実感の提示のため、複合現実感装置の使用者の視野には、ＨＭＤによる表示があり、且つ係る表示内にはＣＧを描画する領域が含まれている。
【０００５】
これらの技術により、複合現実感装置の使用者は、あたかも現実世界の中に仮想の物体が存在しているかのような画像を観察することができる。
【０００６】
このような技術を用いれば、例えば、現実物体に所望の仮想物体を重畳表示させ、使用者は係る現実物体を把持して操作することで、あたかも係る仮想物体が示すものを操作しているような感覚を、使用者に対して与えることができる（特許文献１）。
【特許文献１】特開２００６−１４６５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、使用者が、仮想物体を重畳させた現実物体を掴もうとする場合に、自身の手と現実物体との距離感がわかりにくいという問題がある。また、使用者自身の体の一部がこの仮想物体によって隠蔽されてしまうという可能性もある。
【０００８】
このように、使用者が、仮想物体を重畳させた現実物体を掴もうとする行為は、仮想物体を重畳させていない現実物体を掴もうとする行為よりも困難なものとなっていた。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、仮想物体を重畳させた現実物体に対するユーザ操作をより容易にするための技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１１】
即ち、撮像装置と表示装置とを有する頭部装着型表示装置を頭部に装着しているユーザの体の部位の位置を取得する第１の取得手段と、
前記撮像装置の位置姿勢を取得する第２の取得手段と、
前記撮像装置による撮像画像を取得する第３の取得手段と、
前記部位による操作対象となる物体の位置姿勢を取得する第４の取得手段と、
前記第４の取得手段が取得した位置姿勢を有する仮想物体を、前記第２の取得手段が取得した位置姿勢から見た場合の画像を仮想空間画像として生成する生成手段と、
前記生成手段が生成した仮想空間画像を、前記第３の取得手段が取得した撮像画像上に重畳させて前記表示装置に対して出力する出力手段とを備え、
前記生成手段は、
前記第１の取得手段が取得した位置と、前記第４の取得手段が取得した位置と、の間の距離に応じて、前記仮想空間画像の透明度を制御する
ことを特徴とする。
【００１２】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１３】
即ち、撮像装置と表示装置とを有する頭部装着型表示装置を頭部に装着しているユーザの体の部位の位置を取得する第１の取得工程と、
前記撮像装置の位置姿勢を取得する第２の取得工程と、
前記撮像装置による撮像画像を取得する第３の取得工程と、
前記部位による操作対象となる物体の位置姿勢を取得する第４の取得工程と、
前記第４の取得工程で取得した位置姿勢を有する仮想物体を、前記第２の取得工程で取得した位置姿勢から見た場合の画像を仮想空間画像として生成する生成工程と、
前記生成工程で生成した仮想空間画像を、前記第３の取得工程で取得した撮像画像上に重畳させて前記表示装置に対して出力する出力工程とを備え、
前記生成工程では、
前記第１の取得工程で取得した位置と、前記第４の取得工程で取得した位置と、の間の距離に応じて、前記仮想空間画像の透明度を制御する
ことを特徴とする。
【発明の効果】
【００１４】
本発明の構成によれば、仮想物体を重畳させた現実物体に対するユーザ操作をより容易にすることができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照し、本発明の好適な実施形態について詳細に説明する。
【００１６】
なお、以下説明する各実施形態の骨子は次の通りである。
【００１７】
即ち、撮像装置と表示装置とを有する頭部装着型表示装置を頭部に装着しているユーザの体の部位の位置を取得する（第１の取得）。また、撮像装置の位置姿勢を取得する（第２の取得）。また、撮像装置による撮像画像を取得する（第３の取得）。また、上記部位による操作対象となる物体の位置姿勢を取得する（第４の取得）。そして、第４の取得によって取得した位置姿勢を有する仮想物体を、第２の取得によって取得した位置姿勢から見た場合の画像を仮想空間画像として生成する。そして生成した仮想空間画像を、第３の取得によって取得した撮像画像上に重畳させて表示装置に対して出力する。
【００１８】
その際、第１の取得によって取得した位置と、第４の取得によって取得した位置と、の間の距離に応じて、仮想空間画像の透明度を制御する。
【００１９】
以下の実施形態では、係る骨子を具体的に説明すべく、上記「部位」を観察者の「手」、上記「物体」を「金槌」とする。もちろん、「部位」や「物体」が他のものであっても、係る骨子は同じである。
【００２０】
［第１の実施形態］
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。図１に示す如く、本実施形態に係るシステムは、システム制御部１０１と、ビデオシースルー型ＨＭＤ１３１（以下、単にＨＭＤ１３１と呼称する）と、で構成されている。
【００２１】
先ず、ＨＭＤ１３１について説明する。ＨＭＤ１３１は頭部装着型表示装置の一例としてのものであって、周知の如く、ユーザの頭部に装着するものである。
【００２２】
左カメラ１３２は、ＨＭＤ１３１を頭部に装着したユーザの左目（視点）から見える現実空間の動画像を撮像する装置であり、撮像した各フレームの画像（左目用現実空間画像）は、左現実画像出力部１３４に送出される。左現実画像出力部１３４は、左カメラ１３２から受けた左目用現実空間画像をシステム制御部１０１に対して送出する。
【００２３】
右カメラ１３３は、ＨＭＤ１３１を頭部に装着したユーザの右目（視点）から見える現実空間の動画像を撮像する装置であり、撮像した各フレームの画像（右目用現実空間画像）は、右現実画像出力部１３５に送出される。右現実画像出力部１３５は、右カメラ１３３から受けた右目用現実空間画像をシステム制御部１０１に対して送出する。
【００２４】
複合現実感画像入力部１３６、画像表示部１３７については後述する。
【００２５】
次に、システム制御部１０１について説明する。システム制御部１０１は、ビデオシースルー型ＨＭＤ１３１を頭部に装着するユーザ（観察者）に対して提示する画像を生成する処理を行う装置である。
【００２６】
現実画像入力部１０２は、上記左現実画像出力部１３４、右現実画像出力部１３５のそれぞれから送出された左目用現実空間画像、右目用現実空間画像を受ける。そして受けたそれぞれの画像を、画像合成部１０３、カメラ位置姿勢取得部１０５、ハンド位置姿勢取得部１０７、実物位置姿勢取得部１０９、のそれぞれに送出する。
【００２７】
カメラ位置姿勢取得部１０５は、右目用現実空間画像を取得すると、係る画像を用いて、右カメラ１３３の位置姿勢を計算する。同様に、左目用現実空間を取得すると、係る画像を用いて、左カメラ１３２の位置姿勢を計算する。
【００２８】
ここで、カメラが撮像した画像を用いて、このカメラの位置姿勢を求める手法については従来技術である。即ち、現実空間中における配置位置が既知のマーカ若しくは自然特徴を含む現実空間画像を取得すると、係る現実空間画像中におけるマーカ若しくは自然特徴の座標位置を検出する。そして、検出した座標位置と、対応する配置位置とを用いて、後は三角測量の分野でも広く用いられている計算技術を用いれば、係る現実空間画像を撮像したカメラの位置姿勢は求めることができる。もちろん、画像を用いて係る画像を撮像したカメラの位置姿勢を計算する技術については様々なものがあり、本実施形態では、何れを用いてもよい。
【００２９】
なお、カメラの位置姿勢を計算する手法についてはこのほかにもあり、例えば、センサシステムを用いた手法もある。例えば、磁気センサシステムをカメラ位置姿勢取得部１０５に接続した場合を考える。この場合、磁界を発生するトランスミッタを現実空間中の所定の位置に配置すると共に、カメラには係る磁界中における自身の位置姿勢に応じた磁界の変化を検知するレシーバを取り付ける。レシーバが検知した結果を示す信号は、センサ制御装置と呼ばれる装置に入力され、センサ制御装置は、係る信号に基づいて、センサ座標系におけるレシーバの位置姿勢を求める。そしてセンサ制御装置は、求めた位置姿勢をカメラ位置姿勢取得部１０５に送出する。これにより、カメラ位置姿勢取得部１０５は、センサ座標系におけるレシーバの位置姿勢を、カメラの位置姿勢として取得することができる。ここで、センサ座標系とは、トランスミッタの位置を原点とし、係る原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系である。
【００３０】
なお、カメラ位置姿勢取得部１０５は、取得した位置姿勢をどのような座標系に変換しても良い。
【００３１】
なお、以上説明した、カメラの位置姿勢を取得するための技術については周知であるので、これ以上の説明は省略する。
【００３２】
ハンド位置姿勢取得部１０７は、右目用現実空間画像、左目用現実空間と、カメラ位置姿勢取得部１０５が取得した位置姿勢とを用いて、ユーザの手の位置を取得する。例えば、ユーザの手にマーカを貼り付けておき、係るマーカを含む手の撮像画像を用いて、この手の位置を求める。なお、係る技術についても周知であるので、これについての詳細な説明は省略する。また、センサを用いて手の位置を取得しても良く、その場合における取得方法については、上述した、カメラの位置姿勢を取得する方法と同じである。
【００３３】
実物位置姿勢取得部１０９は、右目用現実空間画像、左目用現実空間と、カメラ位置姿勢取得部１０５が取得した位置姿勢とを用いて、ユーザの手による操作対象としての現実物体（ここでは金槌）の位置を取得する。例えば、金槌にマーカを貼り付けておき、係るマーカを含む金槌の撮像画像を用いて、この金槌の位置を求める。なお、係る技術についても周知であるので、これについての詳細な説明は省略する。また、センサを用いて金槌の位置を取得しても良く、その場合における取得方法については、上述した、カメラの位置姿勢を取得する方法と同じである。
【００３４】
仮想世界生成部１０６は先ず、実物位置姿勢取得部１０９が求めた位置姿勢に、金槌に重畳させる仮想物体を配置する。なお、その他にも仮想空間中に配置すべき仮想物体があれば、それについても配置する。このようにして仮想空間を構築する。
【００３５】
そして、カメラ位置姿勢取得部１０５が求めた左カメラ１３２の位置姿勢に、仮想空間を観察する視点を配置し、係る視点から見える仮想空間の画像を、左目用仮想空間画像として生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については周知であるので、これについての説明は省略する。一方、カメラ位置姿勢取得部１０５が求めた右カメラ１３３の位置姿勢に、仮想空間を観察する視点を配置し、係る視点から見える仮想空間の画像を、右目用仮想空間画像として生成する。
【００３６】
仮想世界生成部１０６は、生成した左目用仮想空間画像、右目用仮想空間画像のそれぞれを、画像合成部１０３に対して送出する。
【００３７】
画像合成部１０３は、現実画像入力部１０２から受けた右目用現実空間画像上に、右目用仮想空間画像を重畳させた右目用合成画像を生成する。同様に、画像合成部１０３は、現実画像入力部１０２から受けた左目用現実空間画像上に、左目用仮想空間画像を重畳させた左目用合成画像を生成する。そして、生成した右目用合成画像、左目用合成画像のそれぞれを、複合現実感画像出力部１０４に対して送出する。
【００３８】
複合現実感画像出力部１０４は、受けた右目用合成画像、左目用合成画像のそれぞれを、ＨＭＤ１３１が有する複合現実感画像入力部１３６に対して送出する。
【００３９】
複合現実感画像入力部１３６は、受けた右目用合成画像、左目用合成画像のそれぞれを、画像表示部１３７に対して送出する。
【００４０】
画像表示部１３７は、右目用の表示部と左目用の表示部とを有し、右目用の表示部と左目用の表示部とはそれぞれ、ＨＭＤ１３１を頭部に装着したユーザの右目、左目の眼前に位置するように、ＨＭＤ１３１に対して取り付けられている。従って、複合現実感画像入力部１３６から受けた右目用合成画像は、右目用の表示部に送出し、左目用合成画像は、左目用の表示部に送出する。
【００４１】
これにより、ＨＭＤ１３１を頭部に装着したユーザの左目の眼前には、左目用合成画像が提示されることになるし、右目の眼前には、右目用合成画像が提示されることになる。
【００４２】
以上が、本実施形態に係るシステムの基本的な動作であるが、上述したように、本実施形態に係るシステムは、ユーザの手の位置が、金槌に近づくに従って、金槌に重畳させる仮想物体の画像の透明度を上げる処理を行う。
【００４３】
図２は、現実物体としての金槌の一例を示す図である。図３は、金槌に重畳させる仮想物体の一例を示す図である。従って、本実施形態では、図２に示した現実物体としての金槌に、図３に示した仮想物体の画像を重畳させることになる。また、本実施形態では、仮想空間中に、図４に示すような大型の仮想物体を配置する。図４は、仮想空間中に配置する大型の仮想物体の一例を示す図である。
【００４４】
以下の説明では、ユーザは、手に現実物体としての金槌を持ち、図４に示す仮想物体に対するインタラクションを計るものとする。もちろん、ユーザはＨＭＤ１３１を介して手を見れば、図２に示した金槌上に図３に示した仮想物体の画像が見えることになる。
【００４５】
図５は、ＨＭＤ１３１を頭部に装着したユーザ５０１が金槌５００を取りに行く様子を、係るユーザ以外の第三者が観察した場合の様子を示す図である。
【００４６】
図６は、ＨＭＤ１３１を頭部に装着したユーザが金槌を取りに行く様子を、同じ空間を観察可能な第三者が観察した場合の様子を示す図である。即ち、ユーザ５０１には、金槌上に重畳された仮想物体６０１と、大型の仮想物体６０２とが見えている。図７は、ユーザ５０１の視点から見える空間の様子を示す図である。
【００４７】
ここで、ユーザ５０１が金槌５００を手に掴もうとすべく、手を仮想物体６０１の位置にのばしても、遠近感が分かりずらいので、手が仮想物体６０１に届いたと感じても、実際には図８に示す如く、未だ手８０１は金槌５００の手前に位置していることもある。
【００４８】
本実施形態では、係る問題を解消すべく、金槌５００と手８０１との間の距離が小さくなるほど、金槌５００に重畳させる仮想物体６０１の透明度を上げる。更には、金槌５００と手８０１との間の距離が小さくなるほど、金槌５００の周囲に描画されている仮想空間の画像をマスクし、金槌５００の周囲には、現実空間しか見えないようにする。これにより、ユーザ５０１に、実際の自分の手８０１の位置と金槌５００の位置とを把握させ、それぞれの位置間の距離を把握させることを容易にする。
【００４９】
図９は、手８０１を金槌５００の位置に近づけた場合に、ユーザ５０１に対して提示する画像を示す図である。
【００５０】
また、ユーザ５０１の手８０１が金槌５００を掴んだ状態（例えば、手８０１の位置と金槌５００の位置とが、予め定めた閾値以下となった状態）が、予め定められた時間（例えば、２秒）以上経過した場合には、次のような処理を行う。即ち、金槌５００に重畳させている仮想物体６０１の画像の透明度を元に戻し（透明度を不透明にする）、更に、上記マスク処理もキャンセルする。これにより、ユーザ５０１がその手８０１に金槌５００を掴んだ後には、ユーザ５０１は、金槌５００を用いて、大型の仮想物体６０２とのインタラクションを行うことができる。
【００５１】
図１０は、システム制御部１０１が行う、現実空間の画像と仮想空間の画像との合成画像を、ＨＭＤ１３１に対して送出する為の一連の処理（画像処理）のフローチャートである。
【００５２】
ステップＳ１００１では、現実画像入力部１０２は、左現実画像出力部１３４、右現実画像出力部１３５のそれぞれから送出された左目用現実空間、右目用現実空間画像を受ける。そして受けたそれぞれの画像を、画像合成部１０３、カメラ位置姿勢取得部１０５、ハンド位置姿勢取得部１０７、実物位置姿勢取得部１０９、のそれぞれに送出する。
【００５３】
ステップＳ１００２では、カメラ位置姿勢取得部１０５は、右目用現実空間画像を取得すると、係る画像を用いて、右カメラ１３３の位置姿勢を計算する。同様に、左目用現実空間を取得すると、係る画像を用いて、左カメラ１３２の位置姿勢を計算する。
【００５４】
次にステップＳ１００３では、ハンド位置姿勢取得部１０７は、上述のようにして、ユーザの手の位置を取得する。また、実物位置姿勢取得部１０９は、上述のようにして、金槌の位置を取得する。
【００５５】
ステップＳ１００４では、仮想世界生成部１０６は、ステップＳ１００３で取得した手の位置と、金槌の位置と、の間の距離Ｄを求める。係る距離Ｄが閾値θ１以下であれば処理はステップＳ１００５を介してステップＳ１００９に進み、閾値θ１より大きければ処理はステップＳ１００５を介してステップＳ１００６に進む。
【００５６】
ステップＳ１００６では、仮想世界生成部１０６は先ず、実物位置姿勢取得部１０９が求めた位置姿勢に、金槌に重畳させる仮想物体を配置する。なお、その他にも仮想空間中に配置すべき仮想物体があれば、それについても配置する。このようにして仮想空間を構築する。
【００５７】
そして、カメラ位置姿勢取得部１０５が求めた左カメラ１３２の位置姿勢に、仮想空間を観察する視点を配置し、係る視点から見える仮想空間の画像を、左目用仮想空間画像として生成する。一方、カメラ位置姿勢取得部１０５が求めた右カメラ１３３の位置姿勢に、仮想空間を観察する視点を配置し、係る視点から見える仮想空間の画像を、右目用仮想空間画像として生成する。仮想世界生成部１０６は、生成した左目用仮想空間画像、右目用仮想空間画像のそれぞれを、画像合成部１０３に対して送出する。
【００５８】
ステップＳ１００７では、画像合成部１０３は、現実画像入力部１０２から受けた右目用現実空間画像上に、右目用仮想空間画像を重畳させた右目用合成画像を生成する。同様に、画像合成部１０３は、現実画像入力部１０２から受けた左目用現実空間画像上に、左目用仮想空間画像を重畳させた左目用合成画像を生成する。そして、生成した右目用合成画像、左目用合成画像のそれぞれを、複合現実感画像出力部１０４に対して送出する。
【００５９】
ステップＳ１００８では、複合現実感画像出力部１０４は、受けた右目用合成画像、左目用合成画像のそれぞれを、ＨＭＤ１３１が有する複合現実感画像入力部１３６に対して送出する。
【００６０】
一方、ステップＳ１００９では、仮想世界生成部１０６は、これから生成しようとする「金槌に重畳させる仮想物体」の透明度を上げる。実際には、係る仮想物体を構成する各画素のアルファ値を上げることで、透明度を上げる。なお、距離Ｄに対してどの程度透明度を上げるのかについては特に限定するものではないが、距離Ｄが小さくなるほど透明度を上げ、距離Ｄが大きくなるほど透明度を下げるような、距離Ｄと透明度の関係であればよい。
【００６１】
次に、距離Ｄが閾値θ２（＜θ１）以下であれば、処理はステップＳ１０１０を介してステップＳ１０１１に進み、閾値θ２よりおおきければ、処理はステップＳ１０１０を介してステップＳ１００６に進む。このとき、ステップＳ１００６において、「金槌に重畳させる仮想物体」を生成する場合には、その透明度は、ステップＳ１００９で設定されたものとなる。
【００６２】
ステップＳ１０１１では、マスク領域作成部１０８は、画像合成部１０３に対して、以降に行うステップＳ１００７における合成処理で「金槌に重畳させる仮想物体」の周囲については合成対象とせず、現実空間画像を用いるように指示する。即ち、図９に示す如く、仮想空間画像上で、「金槌に重畳させる仮想物体」の描画領域周辺については、現実空間画像に対して何も重畳させない。
【００６３】
次に、距離Ｄが閾値θ３（＜θ２）以下で、且つ距離Ｄが閾値θ３（＜θ２）以下である状態が連続して予め定められた時間以上経過した、という条件が満たされた場合には、処理をステップＳ１０１２を介してステップＳ１０１３に進む。一方、係る条件が満たされていない場合には、処理をステップＳ１０１２を介してステップＳ１００６に進める。
【００６４】
ここで、係る条件は、要は、ユーザが自身の手で現実物体としての金槌を握っているか否かを判断するためのものである。従って、ここで用いている閾値θ３とは、ユーザが現実物体としての金槌を手に持ったときに、手と現実物体としての金槌との距離に近い値であることが好ましい。
【００６５】
処理がステップＳ１０１２からステップＳ１００６に進んだ場合、ステップＳ１００６では上述のようにして仮想空間画像を生成し、ステップＳ１００７では上述のようにして合成処理を行う。しかし、ステップＳ１００７では上述のように、画像合成部１０３は、現実空間画像上に仮想空間画像を重畳させる場合に、「金槌に重畳させる仮想物体」の周囲については現実空間画像をそのまま用いる。これにより、例えば、図９に示すような、「現実物体としての金槌」の周囲には他の仮想物体の画像が重畳されていない合成画像を得ることができる。
【００６６】
一方、ステップＳ１０１３では、ユーザは手に現実物体としての金槌を持ったのであるから、もう係る現実物体としての金槌上に仮想物体を重畳表示させても良いので、仮想世界生成部１０６は、係る仮想物体の画像の透明度を元に戻す。更に仮想世界生成部１０６は、上記マスク領域作成部１０８に対して、マスク指示を出すのをキャンセルさせる。
【００６７】
なお、本実施形態では、最初に説明したように、ユーザの部位として「手」を用いているが、「手」以外、例えば「足」であっても良い。
【００６８】
［第２の実施形態］
第１の実施形態では、図１に示したシステム制御部１０１を構成する各部は全て暗にハードウェアで構成されているものとして説明した。しかし、その一部をソフトウェアでもって構成しても良い。この場合、システム制御部１０１は、係るソフトウェアを実行可能なＰＣ（パーソナルコンピュータ）等のコンピュータで構成しても良い。
【００６９】
図１１は、システム制御部１０１に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【００７０】
１１０１はＣＰＵで、ＲＡＭ１１０２やＲＯＭ１１０３に格納されているプログラムやデータを用いてコンピュータ全体の制御を行うと共に、コンピュータを適用するシステム制御部１０１が行う上述の各処理を実行する。
【００７１】
１１０２はＲＡＭで、外部記憶装置１１０６からロードされたプログラムやデータ、Ｉ／Ｆ（インターフェース）１１０７を介してＨＭＤ１３１から受信した画像データなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１１０２は、ＣＰＵ１１０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１１０２は各種のエリアを適宜提供することができる。
【００７２】
１１０３はＲＯＭで、コンピュータの設定データや、ブートプログラムなどを格納する。
【００７３】
１１０４は操作部で、キーボードやマウスなどにより構成されており、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１１０１に対して入力することができる。
【００７４】
１１０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１１０１による処理結果を画像や文字などでもって表示することができる。
【００７５】
１１０６は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１１０６内には、ＯＳ（オペレーティングシステム）や、システム制御部１０１が行うものとして説明した上述の各処理をＣＰＵ１１０１に実行させるためのプログラムやデータが保存されている。
【００７６】
係るプログラムには、カメラ位置姿勢取得部１０５、ハンド位置姿勢取得部１０７、実物位置姿勢取得部１０９、マスク領域作成部１０８、仮想世界生成部１０６、画像合成部１０３の機能をＣＰＵ１１０１に実行させるためのプログラムも含まれている。
【００７７】
また、係るデータには、仮想空間を構成する各仮想物体のデータも含まれている。
【００７８】
外部記憶装置１１０６内に保存されているプログラムやデータは、ＣＰＵ１１０１による制御に従って適宜ＲＡＭ１１０２にロードされる。そしてＣＰＵ１１０１はこのロードされたプログラムやデータを用いて処理を実行することで、本コンピュータは、システム制御部１０１が行うものとして上述した各処理を実行することになる。
【００７９】
１１０７はＩ／Ｆで、ここには上記ＨＭＤ１３１が接続される。これにより、本コンピュータは、ＨＭＤ１３１が有する左現実画像出力部１３４、右現実画像出力部１３５から送出される画像のデータをこのＩ／Ｆ１１０７を介して受信することができる。更に、本コンピュータは、このＩ／Ｆ１１０７を介して、右目用合成画像、左目用合成画像をＨＭＤ１３１に対して送信することができる。即ち、Ｉ／Ｆ１１０７は、図１に示した、現実画像入力部１０２、複合現実感画像出力部１０４として機能する。
【００８０】
１１０８は上述の各部を繋ぐバスである。
【００８１】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００８２】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８４】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８５】
【図１】本発明の第１の実施形態に係るシステムの機能構成を示すブロック図である。
【図２】現実物体としての金槌の一例を示す図である。
【図３】金槌に重畳させる仮想物体の一例を示す図である。
【図４】仮想空間中に配置する大型の仮想物体の一例を示す図である。
【図５】ＨＭＤ１３１を頭部に装着したユーザ５０１が金槌５００を取りに行く様子を、係るユーザ以外の第三者が観察した場合の様子を示す図である。
【図６】ＨＭＤ１３１を頭部に装着したユーザが金槌を取りに行く様子を、同じ空間を観察可能な第三者が観察した場合の様子を示す図である。
【図７】ユーザ５０１の視点から見える空間の様子を示す図である。
【図８】手８０１と金槌５００との位置関係を示す図である。
【図９】手８０１を金槌５００の位置に近づけた場合に、ユーザ５０１に対して提示する画像を示す図である。
【図１０】システム制御部１０１が行う、現実空間の画像と仮想空間の画像との合成画像を、ＨＭＤ１３１に対して送出する為の一連の処理のフローチャートである。
【図１１】システム制御部１０１に適用可能なコンピュータのハードウェア構成例を示すブロック図である。
【図１】
2009025918.tif 000003
【図２】
2009025918.tif 000004
【図３】
2009025918.tif 000005
【図４】
2009025918.tif 000006
【図５】
2009025918.tif 000007
【図６】
2009025918.tif 000008
【図７】
2009025918.tif 000009
【図８】
2009025918.tif 000010
【図９】
2009025918.tif 000011
【図１０】
2009025918.tif 000012
【図１１】
2009025918.tif 000013