(57)【要約】【課題】  観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置する為の技術を提供すること。【解決手段】  視点の位置を原点とした場合に、原点から指示具の位置に向かう軸と、原点でこの軸と交差する２軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換し（Ｓ２０５）、変換した位置姿勢に、情報提供仮想物体を配置する（Ｓ２０６）。そして配置した仮想物体を含む仮想空間を視点から見た場合に見える画像を生成し（Ｓ２０７）、生成した画像を外部に出力する（Ｓ２０８）。【選択図】  図２
2006252468.tif 000002
【特許請求の範囲】
【請求項１】
観察者の視点の位置姿勢を取得する第１の取得工程と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第２の取得工程と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する２軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換工程と、
前記変換工程で得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置工程と、
前記配置工程で配置した仮想物体を含む仮想空間を前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項２】
更に、前記第２の取得工程で取得した位置姿勢に前記観察者による操作対象の仮想物体を配置する工程を備えることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
更に、前記視点から見える現実空間の画像を取得する第３の取得工程を備え、
前記出力工程では前記生成工程で生成した画像を前記第３の取得工程で取得した画像上に重畳させてから外部に出力することを特徴とする請求項１又は２に記載の画像処理方法。
【請求項４】
観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第２の取得手段と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する２軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換手段と、
前記変換手段によって得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置手段と、
前記配置手段が配置した仮想物体を含む仮想空間を前記第１の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項５】
コンピュータに請求項１乃至３の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項６】
請求項５に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想空間中に仮想物体を配置するための技術に関するものである。
【背景技術】
【０００２】
従来より、仮想現実感(VR : Virtual Reality)提示装置が存在する。仮想現実感提示装置とは、たとえば、頭部装着型ディスプレイ(HMD: Head Mounted Display)のような映像表示装置と、観察者の視点の位置姿勢を検出するための位置姿勢検出手段(たとえば位置姿勢センサ)と、ＣＧ映像生成手段とを備えている。
【０００３】
位置姿勢検出手段としては磁気方式による位置姿勢センサなどが用いられ、これを観察者が装着するHMDに取り付ることによって観察者頭部の位置姿勢の値を検出する。磁気方式の位置姿勢センサとは、磁気発生装置(発信機)と磁気センサ(受信機)との間の相対位置・姿勢を検出するものであり、米国ポヒマス(Polhemus)社の製品FASTRAKなどがあげられる。これは特定の領域内で、センサの3次元位置(X,Y,Z)と姿勢(Pitch, Yaw, Roll)をリアルタイムに検出する装置である。
【０００４】
CG映像生成手段は、三次元モデリングされたＣＧを現実空間と同じスケールの仮想空間に配置し、その仮想空間を位置姿勢検出手段によって検出された観察者視線位置姿勢からレンダリングするものである。
【０００５】
このようにして生成されたＣＧ映像を映像表示装置（ＨＭＤなど）に表示することにより、観察者はあたかも仮想のＣＧ空間の中に没入しているような感覚を得ることができる。
【０００６】
また、上記のような位置姿勢センサを新たに設け、仮想空間内のＣＧオブジェクトの位置姿勢を入力するために用いることもできる。たとえば、位置姿勢センサを移動・回転させることで仮想空間内のＣＧオブジェクトを移動・回転させることや、手に位置姿勢センサを装着して仮想オブジェクトの操作入力に用いることで、仮想空間において仮想物体と人間の動作とのインタラクションを実現することも従来から行われている。
【特許文献１】特開平１１−１３６７０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来のシステムでは、
たとえばメニューや情報掲示板のような、情報表示オブジェクトを仮想３次元空間内に配置して表示する際、次に示すような方法が取られており、それぞれには課題があった。
【０００８】
１）  図３に示すように、情報表示オブジェクト３０２をＨＭＤ１０８の位置姿勢を基準とする座標系内で固定的な位置に配置する。頭部（ＨＭＤ１０８）をどのように移動・回転させても、ＨＭＤ１０８が有する画面上に表示される情報表示オブジェクトの見え方は変化しないことになる。情報オブジェクトは画面の一部に常に見えるように仮想空間中に配置されるので、観察者は常に情報を確認できる。
【０００９】
この場合、情報オブジェクトを画面の一部に常に見えるようにするために、視界視野の一部が情報表示オブジェクトによって常に遮られるという問題があった。
【００１０】
２）  情報表示オブジェクトを仮想３次元空間内の特定の位置姿勢に配置する。図４に示すように、情報表示オブジェクト３０２は世界座標系での特定の位置に固定されている。この場合は１）の場合と異なり、情報表示オブジェクトが配置された場所を向くと初めて情報表示オブジェクトを確認することができるため、観察者は常に情報表示オブジェクトによって視野が遮られるということはない。
【００１１】
ただし、情報を見るために観察者は特定の位置まで移動する必要があるという問題や、仮想３次元空間内で情報提示場所（情報表示オブジェクトの配置位置）を探さなければいけないという問題があった。また、情報表示オブジェクトが配置された位置に観察対象のＣＧオブジェクトを移動させようとした場合、両者の表示が重なってしまい、観察しづらいという問題があった。
【００１２】
３）  情報表示オブジェクトを観察対象のオブジェクトからの相対的な位置姿勢に配置する。図５に示すように、情報表示オブジェクト３０２はＣＧオブジェクトの位置姿勢を基準とした座標系での特定の位置に配置される。これは、観察対象オブジェクトと情報オブジェクトを同時に観察しやすく、観察対象オブジェクトを別の位置に動かせば情報表示オブジェクトも追随するので都合がよい場合がある。
【００１３】
しかし、一方で、情報表示オブジェクト３０２が常に観察対象ＣＧオブジェクト３０３のそばにあるので観察のさまたげになりやすいという問題があり、必要なときだけ情報を見たいという要求に応えることができなかった。また、観察対象ＣＧオブジェクト３０３を回転させるなどすれば情報表示オブジェクト３０２は観察対象ＣＧオブジェクト３０３を中心に回転するため、期せずして視野に入ってしまったり、情報表示オブジェクトが動いてしまって情報が観察しづらくなることがあるという問題があった。
【００１４】
４）  情報表示オブジェクトを観察者の頭部位置を基点とした特定の相対方位・距離に表示する。ＨＭＤの位置姿勢を順とした座標系内の特定の位置に固定するのではなく、観察者頭部の姿勢によらずに、観察者頭部の位置から見た特定の方位・距離に配置するというものである。図６に示すように、ＨＭＤ１０８を同図上部に示す位置姿勢から同図下部に示す位置姿勢に変化させた場合、情報表示オブジェクト３０２は図示したように変化する。１）の場合では情報表示オブジェクト３０２はＨＭＤ座標系に固定されていたため、観察者が頭部を回転すると情報表示オブジェクトの位置も変化するが、この場合ではＨＭＤの姿勢が変化しても情報表示オブジェクトの位置には影響せず、ＨＭＤの位置変化のみが影響する。この場合の利点は、情報表示オブジェクトは観察者の頭部位置に付随してくるために２）の方法に比べて情報表示オブジェクトの位置が発見されやすいということであり、観察者は特定の方向を向くことで情報表示オブジェクトをたやすく発見し確認することが可能である。また観察対象オブジェクトとは無関係なので３）のように観察対象オブジェクトを回転させたときに情報表示オブジェクトが移動することもない。
【００１５】
ただし、この場合でも、情報表示オブジェクトが表示される方位は固定であるため、情報表示オブジェクトが置かれた方向に観察対象オブジェクトが移動した場合には、両者は重なってしまうという問題がある。
【００１６】
本発明は以上の問題に鑑みてなされたものであり、観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１８】
即ち、観察者の視点の位置姿勢を取得する第１の取得工程と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第２の取得工程と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する２軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換工程と、
前記変換工程で得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置工程と、
前記配置工程で配置した仮想物体を含む仮想空間を前記第１の取得工程で取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成工程と、
前記生成工程で生成した画像を外部に出力する出力工程と
を備えることを特徴とする。
【００１９】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００２０】
即ち、観察者の視点の位置姿勢を取得する第１の取得手段と、
前記観察者が手に保持して操作する指示具の位置姿勢を取得する第２の取得手段と、
前記視点の位置を原点とした場合に、当該原点から前記指示具の位置に向かう軸と、当該原点で当該軸と交差する２軸とで構成される座標系内における所望の位置姿勢を世界座標系における位置姿勢に変換する変換手段と、
前記変換手段によって得られた世界座標系における位置姿勢に、前記観察者に対して情報を提供する仮想物体を配置する配置手段と、
前記配置手段が配置した仮想物体を含む仮想空間を前記第１の取得手段が取得した位置姿勢を有する視点から見た場合に見える画像を生成する生成手段と、
前記生成手段が生成した画像を外部に出力する出力手段と
を備えることを特徴とする。
【発明の効果】
【００２１】
本発明の構成により、観察者に対して情報を提供する仮想物体を観察者の視点から見て好適な位置姿勢に配置することができる。
【発明を実施するための最良の形態】
【００２２】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２３】
［第１の実施形態］
＜システムの構成について＞
図１は本実施形態に係るシステムのハードウェア構成を示す図である。同図に示す如く、本実施形態に係るシステムは、ＣＰＵ１０１、ＨＭＤ１０８、位置姿勢センサ１０４，１０５、センサコントローラ（ＣＴＬ）１０３、メモリ１０６，１０７により構成されている。
【００２４】
また、メモリ１０６には以下説明する各種の処理をＣＰＵ１０１に実行させるためのプログラムが格納されており、メモリ１０７にはＣＰＵ１０１が各種の処理を実行する際に用いるデータが格納されている。メモリ１０６，１０７が格納しているそれぞれの情報については後述する。
【００２５】
ＨＭＤ１０８は周知の通り観察者が頭部に装着することで、その眼前に画像が表示されるように表示画面が取り付けられたもので、本実施形態では光学シースルー型のものを用いる。よって、この表示画面は、透過して現実空間が見えると共に、以下説明する処理で生成された仮想空間の画像を表示することができる。よって、観察者がこの表示画面を見ることで、現実空間を仮想空間の画像が重畳された状態で観察することができる。光学シースルー型のＨＭＤについては周知のものであるので、これ以上の説明は省略する。
【００２６】
また、このＨＭＤ１０８には位置姿勢センサ１０４が取り付けられている。位置姿勢センサ１０４は本実施形態では磁気センサであるとする。よって、現実空間中の所定の位置には磁界の発生源が設置されている。発生源からは磁界が発生され、位置姿勢センサ１０４は自身の位置姿勢に応じた磁気の変化を検知する。検知した結果を示す信号はセンサコントローラ１０３に出力する。センサコントローラ１０３は受けた信号に基づいて「センサ座標系（上記発生源の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系）における位置姿勢センサ１０４の位置姿勢を示すデータ」を生成し、メモリ１０７に出力する。
【００２７】
位置姿勢センサ１０５は位置姿勢センサ１０４と同様のもので、自身の位置姿勢に応じた磁気の変化を検知する。検知した結果を示す信号はセンサコントローラ１０３に出力する。センサコントローラ１０３は受けた信号に基づいて「センサ座標系における位置姿勢センサ１０５の位置姿勢を示すデータ」を生成し、メモリ１０７に出力する。
【００２８】
ここで、位置姿勢センサ１０５は観察者が手に保持し、その位置や姿勢を自在に変更することができる指示具として用いられる。また、この位置姿勢センサ１０５には仮想物体（操作対象仮想物体）が配置される。従って観察者が位置姿勢センサ１０５の位置や姿勢を変更すると、それに連動して操作対象仮想物体の位置や姿勢も変更される。
【００２９】
＜仮想空間の画像生成処理について＞
次に、上記構成を有するシステムによって仮想空間の画像を生成して、ＨＭＤ１０８に出力するまでの一連の処理について説明する。
【００３０】
本実施形態では仮想空間中には操作対象仮想物体以外に、観察者に対して提供する各種の情報が記載された仮想物体（情報提供仮想物体）を配置する。以下ではこの情報提供仮想物体の配置位置姿勢を制御する処理について詳細に説明する。なお、この情報提供仮想物体は、例えば２次元平面上に様々なメニューが記載されていたり、システム状況が適宜表示されたりするようなものであったり、或いはその形状自体でもって情報を観察者に提示するような仮想物体であるが、その情報提供の形態については特に限定するものではない。また、仮想空間中にはこれ以外の仮想物体を配置するようにしても良い。
【００３１】
図２は、１フレーム分の仮想空間の画像を生成してＨＭＤ１０８に出力するための処理のフローチャートである。なお、ＣＰＵ１０１は、メモリ１０７に格納されているそれぞれのデータを適宜用いて、メモリ１０６に格納されているそれぞれのプログラムを適宜実行することで、同図のフローチャートに従った処理を実行することができる。
【００３２】
先ず、ＨＭＤ１０８に取り付けられた位置姿勢センサ１０４は自身の位置姿勢に応じた磁気の変化を検知するので、検知した結果を示す信号をセンサコントローラ１０３に出力する。センサコントローラ１０３はこの信号に基づいて「センサ座標系における位置姿勢センサ１０４の位置姿勢を示すデータ」を生成し、メモリ１０７に入力する。
【００３３】
ＣＰＵ１０１はこのデータを受けると、位置姿勢検出プログラム１１１を実行し、観察者の視点の位置姿勢を求める処理を行う（ステップＳ２０１）。
【００３４】
ここで「視点」とは、CGを描画する仮想カメラの視体積を表す錐台の頂点を置く位置（右目、左目の何れかでも良いし、両方であっても良い）のことであり、HMDの表示面から焦点距離だけ手前に置かれ、装着時にその位置に観察者の目が位置することが期待される位置である。予めこの視点と位置姿勢センサ１０４との位置姿勢関係は測定しておき、その測定結果をデータ（バイアスデータ）としてメモリ１０７に格納しておく。そしてセンサコントローラ１０３から「センサ座標系における位置姿勢センサ１０４の位置姿勢を示すデータ」を受けると、このデータに上記バイアスデータを加えることで、「センサ座標系における視点の位置姿勢」を求めることができる。
【００３５】
更に、世界座標系（現実空間中の１点を原点とし、この原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系であり、仮想空間と現実空間とで共有している）における磁界発生源の位置姿勢を予め測定しておき、これをデータ（第２のバイアスデータ）としてメモリ１０７に格納しておけば、「センサ座標系における視点の位置姿勢」を示すデータに第２のバイアスデータを加えることで、「世界座標系における視点の位置姿勢」を求めることができる。
【００３６】
なお、「視点」の定義、及び視点の世界座標系における位置姿勢を求める方法についてはこれに限定するものではない。
【００３７】
そして求めた「視点の世界座標系における位置姿勢」を示すデータをデータ１２１としてメモリ１０７に格納する。
【００３８】
一方、位置姿勢センサ１０５は自身の位置姿勢に応じた磁気の変化を検知するので、検知した結果を示す信号をセンサコントローラ１０３に出力する。センサコントローラ１０３はこの信号に基づいて「センサ座標系における位置姿勢センサ１０５の位置姿勢を示すデータ」を生成し、メモリ１０７に入力する。
【００３９】
ＣＰＵ１０１はこのデータを受けると、位置姿勢検出プログラム１１１を実行し、このデータに上記第２のバイアスデータを加えて「世界座標系における位置姿勢センサ１０５の位置姿勢を示すデータ」を得、これをデータ１２２としてメモリ１０７に格納する（ステップＳ２０２）。そして次に、ＣＧ生成プログラム１１２を実行し、ＣＧデータ１２３から操作対象仮想物体の描画データを読み出して操作対象仮想物体を生成し、これをデータ１２２が示す位置姿勢に配置する（ステップＳ２０３）。
【００４０】
ここでＣＧデータ１２３とは、仮想物体毎の描画データから構成されており、描画データは、例えば仮想物体がポリゴンでもって構成されている場合には、仮想物体（操作対象仮想物体、情報提供仮想物体は除く）の配置位置姿勢データ、仮想物体を構成するポリゴンを構成する各頂点の座標データ、ポリゴンの法線ベクトルデータ、ポリゴンカラーデータ、また、この仮想物体にテクスチャマッピングを行う場合には、テクスチャのデータ等から構成されている。
【００４１】
これにより、位置姿勢センサ１０５の世界座標系における位置姿勢に操作対象仮想物体を配置することができる。
【００４２】
次に、ＣＰＵ１０１は観察座標算出プログラム１１３を実行し、以下説明する観察座標系と世界座標系との間で座標値変換を行うための変換行列を求める（ステップＳ２０４）。観察座標系とは、視点の位置を原点とした場合に、この原点から操作対象仮想物体の位置に向かう軸（第１の軸）と、原点で第１の軸と互いに直交する２軸（第２の軸、第３の軸）とで構成される座標系であり、例えば第１の軸はｚ軸、第２，３の軸はそれぞれｘ軸、ｙ軸とすることができる。
【００４３】
ここで観察座標系について更に詳しく説明する。
【００４４】
図７（ａ）は視点座標系、図７（ｂ）は観察座標系を示す図である。視点座標系は図７（ａ）に示す如く、視点の位置を原点とし、この原点で互いに直交する３軸をそれぞれｘ軸、ｙ軸、ｚ軸とする座標系である。同図では視線方向の軸をｚ軸、原点から頭上方向への軸をｙ軸、ｚ軸とｙ軸に視点位置で直交する軸をｘ軸としている。
【００４５】
一方、観察座標系は図７（ｂ）に示す如く、視点の位置を原点とした場合に、この原点から操作対象仮想物体の位置に向かう第１の軸と、原点で第１の軸と直交する第２の軸、第３の軸とで構成される座標系である。同図では第１の軸をｚ軸としている。ｘ軸、ｙ軸については様々な決定方法が考えられるが、例えば、ｘ軸は、ｚ軸と直交し、且つ世界座標系におけるｘｚ平面（水平面）と平行な軸とし、ｙ軸は、ｘ軸、ｚ軸と視点位置で直交し、且つ世界座標系における上向きを示すような方向に向けた軸とする。
【００４６】
なお、観察座標系のｘ軸の設定については他にも考えられ、例えば観察座標系のｙ軸を視点座標系におけるｚｙ平面で見たときに、視点座標系のｙ軸に一致させるように設定すれば、観察座標系の上向き（Ｙ軸向き）が観察者にとって常に上向きに一致するようにすることも可能である。また、観察座標系におけるｘ軸を、視点座標系における水平面（ＸＺ平面）と平行にすることも可能である。
【００４７】
以上のような観察座標系を定義すると、世界座標系と観察座標系との間の変換行列を周知の技術でもって求めることができる。即ち求めた変換行列は、世界座標系における座標値を観察座標系における座標値に変換できるし、逆に観察座標系における座標値を世界座標系における座標値に変換することもできる。なお、求めた変換行列のデータはデータ１２４としてメモリ１０７に格納する。
【００４８】
図２に戻って、次に、ＣＰＵ１０１は情報表示位置姿勢設定プログラム１１４を実行し、情報提供仮想物体の世界座標系における配置位置姿勢を求める（ステップＳ２０５）。本実施形態では、本フローチャートに従った処理の前段で、上記観察座標系における情報提供仮想物体の所望の配置位置姿勢を決定し、決定した位置姿勢を示すデータをデータ１２５としてメモリ１０７に格納している。よって世界座標系における情報提供仮想物体の配置位置姿勢Ｑは、データ１２５が示す位置姿勢をベクトルＰ、データ１２４が示す変換行列をＭとすると、以下の式
Ｑ＝Ｍ・Ｐ
を計算することで求めることができる。求めた「世界座標系における情報提供仮想物体の配置位置姿勢」を示すデータはデータ１２６としてメモリ１０７に格納される。
【００４９】
なお、本実施形態では、観察座標系における情報提供仮想物体の配置位置姿勢を予め決定しておいたが、これに限定するものではなく、各フレームの仮想空間画像を生成する毎に、好適な位置姿勢を計算するようにしても良い。例えば、情報提供仮想物体が文字列が記載された仮想物体である場合には、この記載面が観察者側に向くように情報提供仮想物体の配置姿勢を適宜変更するようにしても良い。
【００５０】
また、情報提供仮想物体を常に世界座標系において正立するような姿勢に配置するようにしても良い。即ち、情報提供仮想物体の上向きが世界座標系における上向きと略一致するように情報提供仮想物体を配置する。
【００５１】
いずれの場合も、情報提供仮想物体の世界座標系における配置位置が決定した後に、更に情報提供仮想物体が所望の姿勢になるように回転させれば良い。
【００５２】
図２に戻って、次に、ＣＰＵ１０１は、ＣＧ生成プログラム１１２を実行して、ＣＧデータ１２３から情報提供仮想物体の描画データを読み出して情報提供仮想物体を生成し、これをデータ１２６が示す位置姿勢に配置する（ステップＳ２０６）。
【００５３】
次にＣＰＵ１０１は、ＣＧ生成プログラム１１２を実行して、上記操作対象仮想物体、情報提供仮想物体を含む仮想物体群が配置された仮想空間を、上記データ１２１が示す「世界座標系における視点の位置姿勢」を有する視点から見た場合に見える画像（仮想空間の画像）を生成し（ステップＳ２０７）、生成した画像をＨＭＤ１０８に送出する（ステップＳ２０８）。
【００５４】
以上の処理により、１フレーム分の仮想空間画像を生成し、ＨＭＤ１０８に送出することができるので、この処理を各フレームについて行うことで、ＨＭＤ１０８が有する表示画面には連続した各フレームの仮想空間の画像が表示される。
【００５５】
なお、ＨＭＤ１０８がステレオ表示可能な場合には、ステップＳ２０１では右目、左目のそれぞれの位置姿勢を取得し、ステップＳ２０４では右目、左目の何れかの目を視点として観察座標系を求め、ステップＳ２０７では、右目、左目のそれぞれから見える仮想空間の画像を生成する。
【００５６】
以上の説明により、本実施形態によって、視点や操作対象仮想物体を回転させても情報提供仮想物体の配置位置は変化しない。
【００５７】
また、操作対象仮想物体以外の仮想物体を観察する際には、情報提供仮想物体を観察者の視野外に配置する事ができる。
【００５８】
また、視点と操作対象仮想物体と情報提供仮想物体との位置関係は一定であるために、観察者の視野にない情報提供仮想物体を発見することが容易となる。
【００５９】
［第２の実施形態］
第１の実施形態ではセンサとして全て磁気センサを用いて位置姿勢を計測しているが、センサとしてはこれ以外にも考えられ、例えば超音波センサ、光学式センサなど、その他のセンサを用いるようにしても良い。
【００６０】
また、視点の位置姿勢を求める手段についてはセンサを用いることに限定するものではなく、例えば、ＨＭＤ１０８に新たにカメラを付加し、現実空間中にマーカを配置し、この配置位置、及びマーカをカメラでもって撮像した画像上における座標位置を用いてＨＭＤ１０８の位置姿勢を取得する方法を用いるようにしても良い。よって、視点の位置姿勢が得られるのであれば、センサを用いることには限定しない。
【００６１】
また、第１の実施形態ではＨＭＤ１０８には光学シースルー型のものを用いているが、ビデオシースルー型のものを用いるようにしても良い。
【００６２】
また、第１の実施形態では、位置姿勢センサ１０５は１つのみとしたが、複数設けるようにし、それぞれの位置姿勢センサ１０５に操作対象仮想物体を配置するようにしても良い。
【００６３】
また、第１の実施形態では、位置姿勢センサ１０５に操作対象仮想物体を配置しているが、この配置は必須なものではない。
【００６４】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００６５】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に係るシステムのハードウェア構成を示す図である。
【図２】１フレーム分の仮想空間の画像を生成してＨＭＤ１０８に出力するための処理のフローチャートである。
【図３】情報表示オブジェクトの従来の配置例を示す図である。
【図４】情報表示オブジェクトの従来の配置例を示す図である。
【図５】情報表示オブジェクトの従来の配置例を示す図である。
【図６】情報表示オブジェクトの従来の配置例を示す図である。
【図７】（ａ）は視点座標系、（ｂ）は観察座標系を示す図である。
【図１】
2006252468.tif 000003
【図２】
2006252468.tif 000004
【図３】
2006252468.tif 000005
【図４】
2006252468.tif 000006
【図５】
2006252468.tif 000007
【図６】
2006252468.tif 000008
【図７】
2006252468.tif 000009