(57)【要約】【課題】  仮想物体の位置姿勢を操作するためのインターフェースが複数存在し、インターフェースの位置姿勢に仮想物体を配置する場合に、一部若しくは全部のインターフェースを一体化させて、１つのインターフェースとして仮想物体の位置姿勢を操作するためのインターフェースとするための技術を提供すること。【解決手段】  第１のインターフェース、及び第１のインターフェースと一体化可能な構造を有する第２のインターフェースのそれぞれの位置姿勢に仮想物体を配置し（Ｓ５０４）、仮想物体が配置された仮想空間を、視点から見た場合に見える画像を生成し（Ｓ５０７）、生成した画像を外部に出力する（Ｓ５０９）。【選択図】  図５
2006268351.tif 000002
【特許請求の範囲】
【請求項１】
観察者の視点の位置姿勢を取得する第１の取得工程と、
１以上の仮想物体操作インターフェース、及び当該１以上の仮想物体操作インターフェースと一体化可能な構造を有する第１の仮想物体操作インターフェースのそれぞれの位置姿勢を取得する第２の取得工程と、
前記第２の取得工程で取得したそれぞれの位置姿勢に仮想物体を配置する配置工程と、
前記配置工程で仮想物体が配置された仮想空間を、前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項２】
更に、前記視点から見える現実空間の画像を取得する第３の取得工程を備え、
前記出力工程では、前記生成工程で生成した画像を前記第３の取得工程で取得した画像上に重畳させて外部に出力することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記配置工程では、前記１以上の仮想物体操作インターフェースのうちの第２の仮想物体操作インターフェースの位置姿勢に配置された第２の仮想物体と、前記第１の仮想物体インターフェースの位置姿勢に配置された第１の仮想物体とが所定の距離以内に位置している場合には、前記第２の仮想物体を所定の位置姿勢に移動させることを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
観察者の視点の位置姿勢を取得する第１の取得手段と、
１以上の仮想物体操作インターフェース、及び当該１以上の仮想物体操作インターフェースと一体化可能な構造を有する第１の仮想物体操作インターフェースのそれぞれの位置姿勢を取得する第２の取得手段と、
前記第２の取得手段が取得したそれぞれの位置姿勢に仮想物体を配置する配置手段と、
前記配置手段によって仮想物体が配置された仮想空間を、前記第１の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
コンピュータに請求項１乃至３の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項６】
請求項５に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間の画像を生成するための技術に関するものである。
【背景技術】
【０００２】
バーチャルリアリティ（ＶＲ）システムは、コンピュータの作り出す三次元CGをユーザに提示することで、仮想の空間をあたかも現実であるかのように感じさせるシステムである。また近年、現実世界の映像に三次元CGを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはAR（Augumented Reality, 拡張現実感）システムやMR（Mixed Reality, 複合現実感）システムと呼ばれている。
【０００３】
ＭＲシステムでは、現実の物体に三次元CGを重ねることが可能である。り、例えば、特許文献1に示されるシステムでは、現実物体に仮想物体を重畳することで、ユーザが自由に仮想物体を操ることができるようになっている。
【０００４】
以降、仮想物体の操作の補助具となる現実物体を「仮想物体移動インターフェイス」と呼ぶ。
【０００５】
特許文献１では仮想物体移動インターフェイスから他の仮想物体移動インターフェイスへの仮想物体の移動を実現している。
【特許文献１】特開２００３−２４２５２７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、今までのシステムでは仮想物体を一つの仮想物体移動インターフェイスから他の仮想物体移動インターフェイスに受け渡すだけで、両者が結合し、一つの仮想物体移動インターフェイスに変移することはなかった。両者が別々の位置姿勢認識方法を有していた場合、両者が一体となるのはとても有効であると考えられる。
【０００７】
本発明は以上の問題に鑑みて成されたものであり、仮想物体の位置姿勢を操作するためのインターフェースが複数存在し、インターフェースの位置姿勢に仮想物体を配置する場合に、一部若しくは全部のインターフェースを一体化させて、１つのインターフェースとして仮想物体の位置姿勢を操作するためのインターフェースとするための技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。  即ち、観察者の視点の位置姿勢を取得する第１の取得工程と、
１以上の仮想物体操作インターフェース、及び当該１以上の仮想物体操作インターフェースと一体化可能な構造を有する第１の仮想物体操作インターフェースのそれぞれの位置姿勢を取得する第２の取得工程と、
前記第２の取得工程で取得したそれぞれの位置姿勢に仮想物体を配置する配置工程と、
前記配置工程で仮想物体が配置された仮想空間を、前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする。
【０００９】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。  即ち、観察者の視点の位置姿勢を取得する第１の取得手段と、
１以上の仮想物体操作インターフェース、及び当該１以上の仮想物体操作インターフェースと一体化可能な構造を有する第１の仮想物体操作インターフェースのそれぞれの位置姿勢を取得する第２の取得手段と、
前記第２の取得手段が取得したそれぞれの位置姿勢に仮想物体を配置する配置手段と、
前記配置手段によって仮想物体が配置された仮想空間を、前記第１の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明の構成により、仮想物体の位置姿勢を操作するためのインターフェースが複数存在し、インターフェースの位置姿勢に仮想物体を配置する場合に、一部若しくは全部のインターフェースを一体化させて、１つのインターフェースとして仮想物体の位置姿勢を操作するためのインターフェースとすることができる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１２】
図１は、本実施形態に係るシステムの機能構成を示すブロック図である。同図に示す如く、本実施形態に係るシステムは、コンピュータ１０１、ビデオシースルー型ＨＭＤ（以下、単にＨＭＤと呼称する）１３２、トランスミッタ１４２、磁気式仮想物体移動インターフェース（以下、第１のインターフェースと呼称する）１４０、マーカ式仮想物体移動インターフェース（以下、第２のインターフェースと呼称する）１４１により構成されている。
【００１３】
先ず、ＨＭＤ１３２について説明する。ＨＭＤ１３２は同図に示す如く、画像入力部１３５、画像表示部１３６、カメラ１３３、画像出力部１３４、観察者視点位置姿勢計測部１０５により構成されている。
【００１４】
画像入力部１３５は、コンピュータ１０１から送出された画像信号を受け、これを画像表示部１３６に出力するものである。画像表示部１３６は、ＨＭＤ１３２を頭部に装着した観察者の眼前に位置するように、ＨＭＤ１３２に取り付けられたものであり、画像入力部１３５から受けた画像信号に従った画像を表示する。これにより、観察者はコンピュータ１０１から送出された画像信号に従った画像を眼前に観察することができる。
【００１５】
カメラ１３３は、現実空間の動画像を撮像するものであり、撮像した各フレームの画像信号は順次画像出力部１３４によってコンピュータ１０１に送出される。
【００１６】
観察者視点位置姿勢計測部１０５は磁気式の位置姿勢センサである。現実空間中には磁界の発生源としてのトランスミッタ１４２が所定の位置に配置されており、磁界を発生している。よって、観察者視点位置姿勢計測部１０５は、自身の位置姿勢に応じた磁気の変化を検知し、検知結果を信号としてコンピュータ１０１に送出する。この検知結果は、センサ座標系（トランスミッタ１４２の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における観察者視点位置姿勢計測部１０５の位置姿勢を示すものである。
【００１７】
第１のインターフェース１４０は、観察者が手に保持してその位置や姿勢を自在に操作可能なものであると共に、上記観察者視点位置姿勢計測部１０５と同様に、自身の位置姿勢に応じた磁気の変化を検知し、検知した結果を示す信号をコンピュータ１０１に送出する位置姿勢センサとして機能するものである。この検知結果は、センサ座標系における第１のインターフェース１４０の位置姿勢を示すものである。
【００１８】
第２のインターフェース１４１は、観察者が手に保持してその位置や姿勢を自在に操作可能なものであると共に、その表面にはこの第２のインターフェース１４１の位置姿勢を計測するために用いられるマーカが記されている。また、この第２のインターフェース１４１には、第１のインターフェース１４０と一体化するための構造が付加されている。第１のインターフェース１４０、第２のインターフェース１４１について詳しくは後述する。
【００１９】
次に、コンピュータ１０１について説明する。コンピュータ１０１は同図に示す如く、画像出力部１０４、画像合成部１０３、ＣＧ生成部１０６、画像入力部１０２、仮想物体移動インターフェース位置姿勢計測部１０９により構成されている。
【００２０】
画像入力部１０２は、ＨＭＤ１３２の画像出力部１３４から順次送出される各フレームの画像信号をデータとして受け、これを画像合成部１０３に出力する。
【００２１】
仮想物体移動インターフェース位置姿勢計測部１０９は、第１のインターフェース１４０から受けた信号を「センサ座標系おける第１のインターフェース１４０の位置姿勢（視点の位置姿勢）を示すデータ」として得る。
【００２２】
また、仮想物体移動インターフェース位置姿勢計測部１０９は、画像入力部１０２から入力される現実空間の画像中に第２のインターフェース１４１に記されているマーカが写っている場合には、このマーカを検出する事で、第２のインターフェース１４１のセンサ座標系における位置姿勢を求める。
【００２３】
そして仮想物体移動インターフェース位置姿勢計測部１０９は、求めた第１のインターフェース１４０のセンサ座標系における位置姿勢、第２のインターフェース１４１のセンサ座標系における位置姿勢をＣＧ生成部１０６に出力する。
【００２４】
また、仮想物体移動インターフェース位置姿勢計測部１０９には観察者視点位置姿勢計測部１０５から「センサ座標系における観察者視点位置姿勢計測部１０５の位置姿勢を示すデータ」が入力されるので、このデータに、予め計測しておいたカメラ１３３と観察者視点位置姿勢計測部１０５との位置姿勢関係を示すバイアス値を加えることで、センサ座標系おけるカメラ１３３の位置姿勢（視点の位置姿勢）を得る。
【００２５】
ＣＧ生成部１０６は先ず、仮想物体移動インターフェース位置姿勢計測部１０９から受けた「第１のインターフェース１４０の位置姿勢」に第１の仮想物体を配置すると共に、仮想物体移動インターフェース位置姿勢計測部１０９から受けた「第２のインターフェース１４１の位置姿勢」に第２の仮想物体を配置する。
【００２６】
そして、それぞれの仮想物体を配置した仮想空間を、仮想物体移動インターフェース位置姿勢計測部１０９から得た「センサ座標系における視点の位置姿勢を示すデータ」が示す位置姿勢の視点から見た場合に見える画像（仮想空間の画像）を生成する。なお、所定の位置姿勢に仮想物体を配置した仮想空間を所定の位置姿勢を有する視点から見た場合に見える画像を生成するための処理については周知の技術であるので、これに関する説明は省略する。
【００２７】
画像合成部１０３は、ＣＧ生成部１０６が生成した仮想空間の画像を画像入力部１０２から得た現実空間上に重畳させ、複合現実空間の画像を生成する。そして画像出力部１３４は、画像合成部１０３が生成した複合現実空間画像をＨＭＤ１３２の画像入力部１０２に出力する。画像入力部１０２は、受けた複合現実空間画像を画像表示部１３６に出力するので、画像表示部１３６には観察者の視点の位置姿勢に応じた複合現実空間の画像が表示される。
【００２８】
これにより観察者は、自身の視点の位置姿勢に応じた複合現実空間の画像を眼前に見ることができる。また、この複合現実空間画像は、第１のインターフェース１４０の位置姿勢に第１の仮想物体が配置され、第２のインターフェース１４１の位置姿勢に第２の仮想物体が配置されたものとなっている。
【００２９】
図９は、上記機能構成を有するコンピュータ１０１のハードウェア構成を示すブロック図である。
【００３０】
９０１はＣＰＵで、ＲＡＭ９０２やＲＯＭ９０３に格納されているプログラムやデータを用いてコンピュータ１０１全体の制御を行うと共に、コンピュータ１０１が行う後述の各処理を実行する。
【００３１】
９０２はＲＡＭで、外部記憶装置９０６からロードされたプログラムやデータを一時的に記憶するためのエリア、Ｉ／Ｆ９０７，９０８を介して外部から受信したデータを一時的に記憶するためのエリア、そして、ＣＰＵ９０１が各処理を実行する際に用いるワークエリア等、各種のエリアを提供することができる。
【００３２】
９０３はＲＯＭで、本コンピュータ１０１の設定データやブートプログラムなどを格納する。
【００３３】
９０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータ１０１の操作者が操作することで、各種の指示をＣＰＵ９０１に対して入力することができる。
【００３４】
９０５は表示部で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ９０１による処理結果を画像や文字などでもって表示することができる。
【００３５】
９０６は外部記憶装置で、ハードディスクドライブ装置などに代表される大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）や、コンピュータ１０１が行う後述の各処理をＣＰＵ９０１に実行させるためのプログラムやデータが保存されており、これらはＣＰＵ９０１による制御に従ってＲＡＭ９０２にロードされ、ＣＰＵ９０１による処理対象となる。
【００３６】
９０７はＩ／Ｆで、ＨＭＤ１３２を本コンピュータ１０１に接続するためのインターフェースとして機能するものであり、このＩ／Ｆ９０７を介して本コンピュータ１０１はＨＭＤ１３２とのデータ通信を行うことができる。
【００３７】
９０８はＩ／Ｆで、第１のインターフェース１４０を本コンピュータ１０１に接続するためのインターフェースとして機能するものであり、このＩ／Ｆ９０７を介して本コンピュータ１０１は第１のインターフェース１４０とのデータ通信を行うことができる。
【００３８】
９０９は上述の各部を繋ぐバスである。
【００３９】
図２は、第１のインターフェース１４０の構成を示す図である。同図に示す如く、第１のインターフェース１４０は、自身の位置姿勢に応じた磁気の変化を検知する為の位置姿勢センサ２０３と、それをそれより少し大きい直方体で被せた本体とで構成されている。図３は、この位置姿勢センサ２０３の位置姿勢に第１の仮想物体３０１を配置した場合の様子を示す図である。同図では、第１の仮想物体３０１の中心位置が位置姿勢センサ２０３の計測した位置姿勢（第１のインターフェース１４０の位置姿勢）に配置されている。
【００４０】
図４は、第２のインターフェース１４１の外観を示す図である。同図に示す如く、第２のインターフェース１４１には、第２のインターフェース１４１を一意に識別すると共に、第２のインターフェース１４１の位置姿勢を計測するために用いられるマーカ４０３が記されている。コンピュータ１０１はこのマーカを検出することで、この第２のインターフェース１４１のセンサ座標系における位置姿勢を求めることができ、求めた位置姿勢に第２の仮想物体を配置する。なお、マーカの形状やサイズ等は、マーカとして機能するのであれば、同図のようなものに限定するものではない。
【００４１】
また、第２のインターフェース１４１には、第１のインターフェース１４０と一体化するためのアタッチメント４０２ａ、４０２ｂが備わっており、この２枚のアタッチメント４０２ａ、４０２ｂ間に第１のインターフェース１４０を配置させることで、図６に示す如く、第１のインターフェース１４０と第２のインターフェース１４１とを一体化させることができる。図６は、第１のインターフェース１４０と第２のインターフェース１４１とを一体化させた様子を示す図である。よって、第２のインターフェース１４１を手に持ってその位置や姿勢を変化させると、それと一体化している第１のインターフェース１４０の位置や姿勢もそれに連動して位置や姿勢が変化する。
【００４２】
また、第１のインターフェース１４０の位置姿勢には第１の仮想物体が配置され、第２のインターフェース１４１の位置姿勢には第２の仮想物体が配置されるので、第１のインターフェース１４０と第２のインターフェース１４１とを一体化させることで、結果として第１の仮想物体と第２の仮想物体とを一体化させることができ、その結果、第２のインターフェース１４１を手に持ってその位置姿勢を変化させることで、第２の仮想物体はもちろんのこと、第１の仮想物体の位置姿勢もそれに連動して変化させることができる。
【００４３】
図８は、第１の仮想物体と第２の仮想物体とが一体化した様子を示す図で、８０１が第２の仮想物体に相当する。同図に示す如く、第１の仮想物体３０１と第２の仮想物体８０１とは互いの中心位置を略一致させている。そのために、観察者は図７に示す如く、アタッチメント４０２ａ、４０２ｂの間に第１のインターフェース１４０を配置し、第１の仮想物体３０１の中心位置が第２の仮想物体８０１の中心位置に一致するように同図矢印で示す方向に沿って第１のインターフェース１４０を移動させる。図７は、それぞれの仮想物体の中心位置を略一致させるべく、第１のインターフェース１４０の移動について示した図である。
【００４４】
ここで、第１の仮想物体３０１の中心位置と第２の仮想物体８０１の中心位置とを完全に一致させることは容易ではない。そこで、第１の仮想物体３０１の中心位置が第２の仮想物体８０１の中心位置に所定距離以内に近づいた場合には、第１の仮想物体３０１の中心位置が第２の仮想物体８０１の中心位置に略一致するような位置姿勢に第１の仮想物体３０１を移動させる。これにより、観察者は大まかな操作により、第１の仮想物体３０１の中心位置を第２の仮想物体８０１の中心位置に略一致させることができる。
【００４５】
なお、上記「所定距離」は仮想物体間のどの部分を差すのかについては特に限定するものではないし、それぞれが所定の距離以内に近づいた場合に、一方の仮想物体の位置姿勢をどのように変更するのかについても特に限定するものではなく、その用途に応じて適宜決めればよい。
【００４６】
図５は、１フレーム分の複合現実空間の画像を生成してＨＭＤ１３２が有する画像表示部１３６に出力するための一連の処理のフローチャートである。なお、同図のフローチャートに従った処理をＣＰＵ９０１に実行させるためのプログラムやデータは外部記憶装置９０６に保存されており、これらはＣＰＵ９０１による制御に従って適宜ＲＡＭ９０２にロードされ、ＣＰＵ９０１がこれを用いて処理を実行することで、コンピュータ１０１は同図のフローチャートに従った処理を行うことになる。
【００４７】
先ず、観察者視点位置姿勢計測部１０５から、「センサ座標系における観察者視点位置姿勢計測部１０５の位置姿勢を示す信号」がコンピュータ１０１に入力されるので、ＣＰＵ９０１はこれをデータとしてＲＡＭ９０２に取得し、取得したこのデータに上記バイアス値を加えることで、「センサ座標系における観察者の視点の位置姿勢を示すデータ」を取得する（ステップＳ５０１）。
【００４８】
また、カメラ１３３からは現実空間の動画像を構成する各フレームが順次入力されるので、ＣＰＵ９０１はこれらを順次ＲＡＭ９０２に取得する（ステップＳ５０２）。なお、取得したフレームの一部は外部記憶装置９０６に保存するようにしても良い。
【００４９】
また、第１のインターフェース１４０、第２のインターフェース１４１から、それぞれのセンサ座標系における位置姿勢を示す信号が入力されるので、ＣＰＵ９０１はこれをデータとしてＲＡＭ９０２に取得する（ステップＳ５０３）。
【００５０】
なお、ステップＳ５０１，Ｓ５０２，Ｓ５０３におけるそれぞれの処理は独立に行われるものであるので、ステップＳ５０１，Ｓ５０２，Ｓ５０３の各ステップにおける処理はこの順に実行されることには限定しない。
【００５１】
次に、ＣＰＵ９０１は、第１のインターフェース１４０の位置姿勢に第１の仮想物体を配置すると共に、第２のインターフェース１４１の位置姿勢に第２の仮想物体を配置する（ステップＳ５０４）。
【００５２】
そして次に、ＣＰＵ９０１は、第１のインターフェース１４０の位置と第２のインターフェース１４１の位置との間の距離、即ち、第１の仮想物体の中心位置と第２の仮想物体の中心位置との間の距離を計算し、計算した結果が所定距離以内であるのか否かを判断する（ステップＳ５０５）。その結果、所定距離以内である場合には処理をステップＳ５０６に進め、第１の仮想物体を予め定めた位置姿勢（図８の場合には、第１の仮想物体の中心位置が第２の仮想物体の中心位置と略一致するような、第１の仮想物体の位置姿勢）に再配置する（ステップＳ５０６）。
【００５３】
そして再配置後、もしくは第１の仮想物体の中心位置と第２の仮想物体の中心位置との間の距離が所定距離以上である場合には処理をステップＳ５０７に進め、ステップＳ５０１で取得した位置姿勢の視点から見える仮想空間（上記第１の仮想物体、第２の仮想物体が配置された仮想空間）の画像を生成する（ステップＳ５０７）。そして、生成した仮想空間の画像をステップＳ５０２で取得した現実空間の画像上に重畳（合成）させることで、ＲＡＭ９０２上に複合現実空間の画像を生成する（ステップＳ５０８）。そして生成した複合現実空間画像の画像をＩ／Ｆ９０７を介してＨＭＤ１３２の画像表示部１３６に出力する（ステップＳ５０９）。
【００５４】
そして、図５のフローチャートに従った処理を複数回繰り返して行うことで、観察者の眼前には、自身の視点の位置姿勢に応じた複合現実空間画像が動画像として表示されることになる。
【００５５】
なお、本実施形態では、第１のインターフェース１４０の位置姿勢は磁気センサにより得、第２のインターフェース１４１の位置姿勢はマーカにより得ていたが、それぞれのインターフェースの位置姿勢の取得方法については特に限定するものではない。
【００５６】
また、本実施形態では、第２のインターフェース１４１に、第１のインターフェース１４０と一体化できるような構造（２枚のアタッチメント）を備えたが、１つのインターフェースに、その他の１以上のインターフェースのうち１以上と一体化できるような構造を加えるのであれば、このような構造に限定するものではない。
【００５７】
また、本実施形態では、ＨＭＤ１３２はビデオシースルー型のものを用いたが、光学シースルー型のものを用いても良いことはいうまでもない。
【００５８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００５９】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態に係るシステムの機能構成を示すブロック図である。
【図２】第１のインターフェース１４０の構成を示す図である。
【図３】位置姿勢センサ２０３の位置姿勢に第１の仮想物体３０１を配置した場合の様子を示す図である。
【図４】第２のインターフェース１４１の外観を示す図である。
【図５】１フレーム分の複合現実空間の画像を生成してＨＭＤ１３２が有する画像表示部１３６に出力するための一連の処理のフローチャートである。
【図６】第１のインターフェース１４０と第２のインターフェース１４１とを一体化させた様子を示す図である。
【図７】それぞれの仮想物体の中心位置を略一致させるべく、第１のインターフェース１４０の移動について示した図である。
【図８】第１の仮想物体と第２の仮想物体とが一体化した様子を示す図である。
【図９】コンピュータ１０１のハードウェア構成を示すブロック図である。
【図１】
2006268351.tif 000003
【図２】
2006268351.tif 000004
【図３】
2006268351.tif 000005
【図４】
2006268351.tif 000006
【図５】
2006268351.tif 000007
【図６】
2006268351.tif 000008
【図７】
2006268351.tif 000009
【図８】
2006268351.tif 000010
【図９】
2006268351.tif 000011