(57)【要約】【課題】複合現実空間に配置される現実空間物体や環境に変化があった場合の、座標系の変換パラメータの再計算を軽減する。【解決手段】観察者の視点位置・視線方向において観察可能な現実空間像と仮想空間映像とを融合した複合現実像を生成してＨＭＤ１１０に表示する複合現実感システムにおいて、目用位置センサ１１３の座標系を複合現実空間の世界座標系に変換する変換パラメータの設定に際して、設置用マーク２１０に従って現実物体設置器具２１５が設置され、その所定個所にＨＭＤ１１０が配置される。ＨＭＤ１１０の表示画面には、現実物体設置器具２１５が有する現実指標２２０が仮想指標として表示される。ＨＭＤ１１０の姿勢を調整することで、表示される複合現実像において仮想指標と現実指標の位置を一致させることにより変換パラメータの設定が行なわれる。【選択図】　図１０
2004126869.tif 000002
【特許請求の範囲】
【請求項１】
観察者の視点位置・視線方向において観察可能な現実空間像と、仮想空間映像とを融合した複合現実映像を生成・表示する複合現実感システムにおける、位置姿勢計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定するための器具であって、
前記複合現実映像を表示する表示部を設置する設置部と、
当該器具の本体に配置された、前記変換パラメータの取得時に利用される指標と
を備えることを特徴とする位置姿勢設定器具。
【請求項２】
前記指標が発光素子を含んで構成されることを特徴とする請求項１に記載の位置姿勢設定器具。
【請求項３】
観察者の視点位置・視線方向において観察可能な現実空間像と仮想空間映像とを融合した複合現実像を生成、表示する複合現実感システムにおいて、現実物体の位置姿勢を計測する計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定する方法であって、
所定の場所に設置された設定器具上の所定位置に前記現実物体を配置し、
前記設定器具の一部を表す仮想画像を表示装置の所定位置に表示するとともに、前記現実物体の位置姿勢で観察される現実空間像を該表示装置に表示し、
前記現実物体の姿勢を調整して、前記仮想画像による設定器具の一部と現実空間像による設定器具の一部とを一致させることにより前記変換パラメータの設定を行なうことを特徴とする変換パラメータ設定方法。
【請求項４】
前記設定器具は、前記変換パラメータの設定時にのみ前記所定の場所に設置されることを特徴とする請求項３に記載の変換パラメータ設定方法。
【請求項５】
前記設定器具の一部は、変換パラメータの設定に利用される指標であることを特徴とする請求項３に記載の変換パラメータ設定方法。
【請求項６】
前記設定器具の一部は、当該設定器具の所定部位であることを特徴とする請求項３に記載の変換パラメータ設定方法。
【請求項７】
前記表示装置に表示される前記設定器具の一部を表す仮想画像は、該設定器具の一部に対応するワイヤ−フレームモデルであることを特徴とする請求項６に記載の変換パラメータ設定方法。
【請求項８】
観察者の視点位置・視線方向において観察可能な現実空間像と仮想空間映像とを融合した複合現実像を生成し、表示装置上に表示する複合現実感システムであって、
現実物体の位置姿勢を計測する計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定するための設定モードを指定する指定手段と、
所定の場所に設置可能な設定器具と、該設定器具は所定位置に前記現実物体を姿勢変更可能に配置可能であり、
前記指定手段で設定モードが指定された場合、前記設定器具の一部に対応する仮想画像を前記表示装置の所定位置に表示させるとともに、前記現実物体の位置姿勢で観察される現実空間像を該表示装置に表示させる表示制御手段と、
ユーザから所定の通知があった場合に、前記表示装置の表示上で、前記仮想画像による設定器具の一部と現実空間像による設定器具の一部とが一致したものとみなし、その時点における前記計測手段の計測結果に基づいて前記変換パラメータを算出する算出手段と
を備えることを特徴とする複合現実感システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラなどから取り込まれた現実空間映像と、位置姿勢計測装置によって計測された視点位置・視線方向における仮想空間映像とを合成し複合現実空間映像を生成する複合現実感装置における、初期位置合わせに関するものである。
【０００２】
【従来の技術】
複合現実感システムでは、現実空間と仮想空間を融合するために何らかの手段によって現実空間物体の３次元位置および姿勢を取得する必要がある。３次元位置及び姿勢の取得には、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫ（商標）に代表されるような位置姿勢計測装置を使うのが一般的な手法の一つである。
【０００３】
このような位置姿勢計測装置を利用する場合、観察者の視点位置・視線方向や現実物体の位置姿勢は位置姿勢計測装置座標系の値として得られる。このため、得られた座標値を複合現実空間の座標系、すなわち世界座標系に変換することが必要である。つまり位置姿勢計測装置座標系から世界座標系への変換パラメータが必要となる．これを取得するための手段として、現実指標と仮想指標を使う方式が知られている。以下具体的な手順を説明する。
【０００４】
まず、複合現実空間として利用する現実空間内に設置される現実物体に、現実指標を予め設置する。そしてこれら現実指標の世界座標系における位置を測量しておき、これらの値を仮想指標に与える。つまり現実指標と仮想指標の位置を同じに設定する。続いてこれら仮想指標が表示画面に表示されるように基準位置姿勢を設定する。そして表示装置に基準位置姿勢での仮想指標を表示し、これらと現実指標が一致して見えるように表示装置の位置姿勢を調整、固定する。この時点での位置姿勢計測装置の出力を記録する。以上の一連の作業で設定もしくは計測された値から変換パラメータが獲得される。
【０００５】
【発明が解決しようとする課題】
複合現実空間として利用する現実空間物体及び現実空間環境は、観察者に提示する複合現実空間の内容やシナリオに応じて変更する必要がある。場合によっては現実指標が設置されていた現実空間物体を別のものに交換したり、配置場所を変更したりすることがある。このような場合、変換パラメータの再計算が必要となるが、従来の手法においては、現実指標の設置位置の変更、現実指標の設置位置の測量、仮想指標の位置変更、基準姿勢の再計算が必要になってしまう。
【０００６】
本発明は上記の課題に鑑みてなされたものであり、複合現実空間に配置される現実空間物体や環境に変化があった場合の、座標系の変換パラメータの再計算を軽減可能とすることを目的とする。
【０００７】
【課題を解決するための手段】
上記の目的を達成するための本発明による位置姿勢設定器具は、
観察者の視点位置・視線方向において観察可能な現実空間像と、仮想空間映像とを融合した複合現実映像を生成・表示する複合現実感システムにおける、位置姿勢計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定するための器具であって、
前記複合現実映像を表示する表示部を設置する設置部と、
当該器具の本体に配置された、前記変換パラメータの取得時に利用される指標とを備える。
【０００８】
また、上記の目的を達成するための、本発明による変換パラメータ設定方法は、
観察者の視点位置・視線方向において観察可能な現実空間像と仮想空間映像とを融合した複合現実像を生成、表示する複合現実感システムにおいて、現実物体の位置姿勢を計測する計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定する方法であって、
所定の場所に設置された設定器具上の所定位置に前記現実物体を配置し、
前記設定器具の一部を表す仮想画像を表示装置の所定位置に表示するとともに、前記現実物体の位置姿勢で観察される現実空間像を該表示装置に表示し、
前記現実物体の姿勢を調整して、前記仮想画像による設定器具の一部と現実空間像による設定器具の一部とを一致させることにより前記変換パラメータの設定を行なう。
【０００９】
更に、上記の目的を達成するための本発明による複合現実感システムは、
観察者の視点位置・視線方向において観察可能な現実空間像と仮想空間映像とを融合した複合現実像を生成し、表示装置上に表示する複合現実感システムであって、
現実物体の位置姿勢を計測する計測手段の座標系を複合現実空間の世界座標系に変換するための変換パラメータを設定するための設定モードを指定する指定手段と、
所定の場所に設置可能な設定器具と、該設定器具は所定位置に前記現実物体を姿勢変更可能に配置可能であり、
前記指定手段で設定モードが指定された場合、前記設定器具の一部に対応する仮想画像を前記表示装置の所定位置に表示させるとともに、前記現実物体の位置姿勢で観察される現実空間像を該表示装置に表示させる表示制御手段と、
ユーザから所定の通知があった場合に、前記表示装置の表示上で、前記仮想画像による設定器具の一部と現実空間像による設定器具の一部とが一致したものとみなし、その時点における前記計測手段の計測結果に基づいて前記変換パラメータを算出する算出手段とを備える。
【００１０】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１１】
〈第１実施形態〉
図１は第１実施形態による現実物体設置器具を利用して得られた座標系の変換パラメータを取得後、運用される複合現実感システムの全体的な構成を示す図である。
【００１２】
図１において、観察者１００はヘッドマウントディスプレイ（ＨＭＤ）１１０を頭部に、グローブ１２０を手に装着している。
【００１３】
ＨＭＤ１１０は図２で示されるようにビデオカメラ１１１、ＬＣＤ１１２、位置姿勢計測装置受信機（目用位置センサ）１１３、光学プリズム１１４、１１５で構成されている。ビデオカメラ１１１は光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は観察者の視点位置および視線方向を計測する。ＬＣＤ１１２は複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の観察者の瞳に導かれる。
【００１４】
グローブ１２０には手用位置センサ１２１、スピーカ（不図示）が内蔵されている。手用位置センサ１２１は観察者の手の位置および方向を計測する。また、スピーカからは手の位置において発生したイベントに応じて音が出力される。例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などである。
【００１５】
１３０は位置姿勢計測装置発信機（位置センサ発信機）、１３１は位置姿勢計測装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、位置センサ発信機１３０は位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、目用位置センサ１１３、手用位置センサ１２１でこれを受信する。位置センサ本体１３１は各位置センサから出力される受信強度から各位置センサの位置および方向を算出する。ここで位置姿勢計測装置としては米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫ（商標）などが利用可能である。
【００１６】
１４０は観察者１人分の複合現実空間映像を生成し、ＨＭＤ１１０に表示する処理装置である。例えばパーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能のあるビデオカード、サウンドカードで構成される。処理装置１４０にはＨＭＤ１１０、スピーカ１２２、位置センサ本体１３１が接続されている。
【００１７】
なお図１では観察者は１人であるが、図１と同じ機器構成を複数用意し、イーサネット（登録商標）などのネットワーク１５０で相互接続することで同時に複数の観察者が同じ複合現実空間を共有することも可能である。しかしながら本発明の趣旨とは離れていくのでここではその説明は省略する。
【００１８】
１６０は本システムが複合現実空間として利用する現実空間領域である。本システムはこの領域内のみ仮想空間映像を合成する。この領域外の現実空間については仮想空間映像の融合は行われない。
【００１９】
１７０は複合現実空間内に設置される現実物体の例である。本システムはこれらの現実物体と仮想物体との接触、視点から見た仮想物体の前後関係を判断して、合理的な複合現実映像を生成している。例えば、視点から見たときに仮想物体がこれら現実物体の奥に位置するような場合、仮想物体の全体もしくは一部が現実物体に覆い隠されているように見える映像を観察者に提供する。このような処理を行うために、本システムはこれら現実物体の形状情報や設置位置を保持している。
【００２０】
図３乃至図５は、処理装置１４０内で動作するプログラムが、複合現実空間映像を生成する手順を説明するフローチャートである。プログラムには観察者が複合現実空間を体験することができる「通常モード」と、補正パラメータ（変換パラメータの一部）を取得する「初期設定モード」の２つのモードがある。
【００２１】
初めに処理装置１４０はメインプログラムを起動する。メインプログラムはまず動作モードを「通常モード」に設定し（ステップＳ３００）、位置姿勢スレッド、映像キャプチャスレッド、映像生成スレッドを起動する。（ステップＳ３０１〜Ｓ３０３）ここでスレッドとは処理装置１４０において並列処理される一連のプログラムである。このため、動作モードなどの情報はメインプログラムとすべてのスレッドで共有される。
【００２２】
各スレッド起動後、メインプログラムはイベント待ちに入り、何らかのイベントが到着するまで待機しつづける（ステップＳ３０４）。ここでイベントとはユーザインターフェースからの入力、他のスレッドからの情報通知、ハードウェア割り込みなどで、具体的には動作モードの変更（ステップＳ３０５）、初期パラメータの変更（ステップＳ３０６）、補正パラメータ取得（ステップＳ３２０）、仮想指標位置変更（ステップＳ３３０）、終了イベント（ステップＳ３０７）などがある。
【００２３】
これらのイベントが到着した場合には、それぞれに応じた処理（ステップＳ３１０、Ｓ３１１、Ｓ３２１、Ｓ３３１、Ｓ３０８）が行われる。これらの処理の具体的説明は割愛するが、値の入力および変更などのすべてのシステムへの指示は、ウインドウシステムのような一般的なユーザインターフェースによって行うことができるものとする。
【００２４】
なお本実施形態において、変換パラメータとは、初期パラメータと補正パラメータをあわせたものを総称するものとする。これらについては後述する。
【００２５】
ステップＳ３０２で起動された映像キャプチャスレッドは、ビデオカメラ１１１で撮影された映像をデジタルデータとして取り込み、メインスレッドに出力しつづける。終了通知がない限りこの動作を繰り返し行う。
【００２６】
ステップＳ３０１で起動された位置姿勢スレッドの処理について、図４を参照して説明する。まず、位置センサ本体１３１から測定値を取得し（ステップＳ４０１）、動作モードに応じて処理を行う（ステップＳ４０２）。ここで、動作モードが「通常モード」なら、測定値と変換パラメータから世界座標系における測定対象物体の位置姿勢を計算し、メインスレッドに出力する（ステップＳ４０３，Ｓ４０４）。一方、動作モードが「初期設定モード」なら、測定値と基準姿勢から補正パラメータを計算し、基準位置姿勢をメインスレッドに出力する（ステップＳ４０６，Ｓ４０７）。以上の動作を終了通知が来るまで繰り返し行い続ける（ステップＳ４０５）。
【００２７】
次に、ステップＳ３０３で起動される映像生成スレッドの処理について、図５を参照して説明する。
【００２８】
まず、位置姿勢スレッドからの出力を受け、測定対象物体の位置姿勢を更新する（ステップＳ５０１、Ｓ５１０）。続いて仮想空間の時間を更新し仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ５０２）。このとき、現実空間物体の位置姿勢に同期して位置姿勢が変化する仮想空間物体がある場合はそれらも合わせて状態を更新する。例えば手の上に常に仮想空間物体のグローブが装着されているように見せる場合は、このステップでグローブの位置姿勢が更新される。また、視点から見た仮想物体の前後関係を判断して、仮想物体の一部もしくは全体が現実物体に覆い隠されているように見せるための処理もここで行われる。
【００２９】
続いて現実空間物体の位置姿勢（手の位置姿勢など）と仮想空間物体の位置姿勢の関係を調べ、あらかじめ定義されているイベントが発生したと判断される場合には、それに応じて仮想空間の状態を更新する（ステップＳ５０３）。例えば手で仮想空間物体に触れた場合に仮想空間物体が爆発するなどが考えられる。
【００３０】
続いてビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ５０４、Ｓ５２０）。動作モードが「通常モード」であれば（ステップＳ５３０）、ステップＳ５０１で取得された観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ５０２及びＳ５０３で更新された仮想空間の状態に応じて生成する（ステップＳ５０５）。一方、動作モードが「初期設定モード」ならば、仮想指標を予め設定された位置に描画する（ステップＳ５３１）。
【００３１】
最後に、上記ステップＳ５０５或いはＳ５３１で生成された仮想空間映像と、ステップＳ５０４で取り込まれた現実空間映像とを合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ５０６）。以上の動作を終了指示がなされるまで繰り返す（ステップＳ５０７）。
【００３２】
以上、本実施形態の複合現実感システムを構成する機器、複合現実空間映像生成の動作について説明した。次に、ステップＳ４０３での位置姿勢計算とステップＳ４０６の補正パラメータ取得の原理を詳細に説明する。
【００３３】
図６は各座標系の配置を示した図である。Ｇは世界座標系、Ｔは位置姿勢センサの発信機座標系、Ｓは位置姿勢センサの受信機座標系、Ｅは視点座標系である。Ｓ’、Ｅ’はそれぞれ視点位置・視線方向を基準位置姿勢に固定したときのセンサ座標系と視点座標系である。また、Ｐは位置を求めるべき点（視点）、Ｐ’は基準位置である。
【００３４】
ここで座標系Ａから見た点Ｐの位置をＡＰと表現することにする。また座標系Ａから見た点Ｐの位置ＡＰと座標系Ｂから見た点Ｐの位置ＢＰの間には、座標系Ａと座標系Ｂとの姿勢を記述する回転行列ＢＡＲを使って、ＡＰ＝ＢＡＲ　ＢＰと表すことができることが知られている。
【００３５】
以上のことより、求めるべき点Ｐの世界座標系における位置ＧＰと姿勢ＥＧＲは、
ＧＰ＝ＧＰ’−Ｅ’ＧＲ　Ｅ’Ｐ’＋ＴＧＲ（ＴＰＥｏｒｇ−ＴＰ’Ｅｏｒｇ）＋ＥＧＲ　ＥＰ
ＥＧＲ＝Ｅ’ＧＲ　Ｓ’ＴＲ−１　ＳＴＲ
と表記することができる。
【００３６】
ここで、ＴＧＲ＝Ｉとなるように位置姿勢センサ発信機を設置すれば、ＧＰ’は基準位置、Ｅ’ＧＲは基準姿勢、Ｅ’Ｐ’、ＥＰはセンサから測定点までのオフセット、ＴＰＥｏｒｇは位置測定値、ＴＰ’Ｅｏｒｇは基準位置姿勢での位置測定値、ＥＧＲは姿勢計算値、ＳＴＲは姿勢測定値、Ｓ’ＴＲ−１は基準位置姿勢での姿勢測定値の逆行列であり、すべて既知の行列で表現できる。つまり位置姿勢発信機座標系に依存せず計算することが可能になる。
【００３７】
なお、本実施形態でいうところの変換パラメータとは、上記、位置測定値ＴＰＥｒｏｇ、姿勢測定値ＳＴＲ以外の行列の総称である。変換パラメータは補正パラメータと初期パラメータに分けられる。
【００３８】
補正パラメータは、基準位置姿勢での位置測定値ＴＰ’Ｅｏｒｇと基準位置姿勢での姿勢測定値の逆行列Ｓ’ＴＲ−１の２つである。補正パラメータはステップＳ４０６で計算され、ステップＳ３２０，３２１の処理でシステムに保持される。
【００３９】
初期パラメータは基準位置ＧＰ’、基準姿勢Ｅ’ＧＲ、センサから測定点までのオフセットＥ’Ｐ’、ＥＰの３つである。初期パラメータはＳ３１１で入力された値もしくは処理装置が保持している値が利用される。
【００４０】
以上位置姿勢計算、変換パラメータについて説明した。次に変換パラメータを設定する手順について説明する。
【００４１】
まず複合現実空間として利用する現実空間内に設置される現実物体に、現実指標を予め設置する。そしてこれら現実指標の世界座標系における位置を測量しておき、これらの値を仮想指標に与える（ステップＳ３３１）。仮想指標の個数は特に限定されるものではなくいくつでもよい。現実指標の位置を変更した場合はその都度、現実指標の世界座標系における位置を再測量し、ステップＳ３３１で変更しなくてはならない。
【００４２】
続いてこれら仮想指標が表示画面に表示されるように基準位置姿勢を設定する。つまり初期パラメータを入力する（ステップＳ３０６，Ｓ３１１）。続いて「初期設定モード」に動作モードを変更する（ステップＳ３１０）。「初期設定モード」では、ＨＭＤ１１０の位置姿勢測定値が基準位置姿勢に固定される（ステップＳ４０７）。また仮想指標１９０が描画、表示される（ステップＳ５３０，５３１）。
【００４３】
続いて、設置器具を配置し、設置器具の所定の位置にＨＭＤ１１０を設置する。そして仮想指標と現実指標が一致して見えるように表示装置の位置姿勢を調整、固定する。最後にこの時点での補正パラメータ（基準位置姿勢での位置測定値基準位置姿勢での姿勢測定値の逆行列）を獲得する（ステップＳ３２０，Ｓ３２１）。以上の作業で変換パラメータが獲得される。
【００４４】
まず、一般的な方式による補正パラメータ取得手順を説明する。
【００４５】
基本的手順は上記のように行えばよいので、ここではＨＭＤ１００を基準位置姿勢に設置する部分を詳細に説明する。
【００４６】
図７は一般的な方式でＨＭＤ１１０を基準位置姿勢に設置した際の様子を示した図である。ＨＭＤ１１０を基準位置姿勢に固定するには現実物体設置器具２００が用いられる。現実物体設置器具２００は、現実物体としてのＨＭＤ１１０を基準位置に設置可能なように配置しなくてはならない。２１０はそのための設置用マークである。現実物体設置器具２００をこの設置用マーク２１０の上に配置すればＨＭＤ１１０を基準位置に設置できるように、設置用マーク２１０は予め世界座標系中の所定位置に貼り付けられている。
【００４７】
ＨＭＤ１１０を基準位置に設置するには、この状態でＨＭＤ１１０を現実物体設置器具２００の所定の位置に固定すればよい。現実物体設置器具２００とＨＭＤ１１０には予め印がつけられており、この印が重なるようにＨＭＤ１１０を現実物体設置器具２００にのせることで、ＨＭＤ１１０を基準位置に設置することができるように予め設計されている。より正確を期すためには専用の装着器具を作成し利用するのが望ましい。
【００４８】
ＨＭＤ１１０を基準姿勢に設置するには、「初期設定モード」において仮想指標と現実指標を表示画面上で一致させてやればよい。仮想指標１９０が表示されたときのＨＭＤ１１０の表示状態を図８、図９に示す。仮想指標の表示位置は、現実物体設置器具２００を用いて所定の位置姿勢でＨＭＤ１１０を固定した場合に観察される位置であり、初期設定モードにおける表示の間その表示位置は変化しない。図８のように仮想指標１９０と現実指標１８０が表示画面上で一致してない場合は、ＨＭＤ１１０を基準位置からずれないように回転させ、図９に示されるように仮想指標と現実指標が一致するようにする。仮想指標と現実指標が表示画面上で一致すると、ＨＭＤ１１０が基準姿勢に設置された状態となる。
【００４９】
続いて、本実施形態によるＨＭＤ１１０の補正パラメータ取得手順を説明する。基本的手順は従来の手法と同様なので、ここでは基準位置姿勢に設置する器具を詳細に説明する。
【００５０】
図１０は本実施形態によるＨＭＤ１１０の補正パラメータ取得時の様子を示した図である。図７〜図９で上述した方法と同様の手順で補正パラメータを取得するが、図１０に示す構成では、現実指標２２０は、現実物体設置器具２１５上に設置されている。
【００５１】
仮想指標１９０が表示されたときのＨＭＤ１１０の表示状態を図１１、図１２に示す。図７〜図９で説明した方法と同様に、図１１から図１２に示すように、現実指標２２０（但し、現実物体設置器具２１５上に設けられている）と仮想指標１９０が一致するようにＨＭＤ１１０を回転させる（ＨＭＤ１１０の姿勢を変更する）。なお、現実物体設置器具２１５にはＨＭＤ１１０を装着したユーザがあごを載せる部分が設けられ、この部分にあごを載せることでＨＭＤを基準位置に設置できる。ＨＭＤ本体をそのまま置くようにしてもよい。但し、ユーザがＨＭＤを装着しない場合は、外部のモニタにＨＭＤで表示される観察画像を表示させ、これを用いて位置合わせを行なう。
【００５２】
なお特に記述しなかったが、現実指標２２０の設置場所及び大きさは表示装置に表示させたときにその存在および全体形状が認識可能になるようにすることを付け加えておく。さらには、現実指標２２０として発光素子などを使い、より表示画面中における認識を容易にしても良い。
【００５３】
以上、従来の方式と本実施形態の方式における補正パラメータ取得手順、設置器具、および利用方法について説明した。
【００５４】
以上説明したように、一般的な指標設置方法では、現実物体を変更した場合に現実指標の再設置、現実指標の位置測量、その測量結果に基づく仮想指標の位置変更、仮想指標をＨＭＤ１１０の表示範囲内に収めるように基準位置姿勢の再計算をしなくてはならない。
【００５５】
これに対して、上記実施形態による設置器具２１５を利用すれば、現実指標となるべき現実物体は変換パラメータ設定時にのみ設置される設置器具に保持されるため、複合現実空間として利用する現実空間物体及び環境に変化があっても、基準位置姿勢と仮想指標との相対位置及び姿勢は一定である。このため、現実指標の設置位置の変更、現実指標の設置位置の測量、仮想指標の位置変更、基準姿勢の再計算は必要ない。
【００５６】
また一般的な方法による指標設置方法だと、複数の観察者が向かい合いほぼ一定の場所に留まって複合現実空間を共有する複合現実感システムの場合に、各観察者の位置で初期位置を設定するため、観察者ごとに現実指標を用意しなくてはならない。従って、観察者が増えれば増えるほど指標の管理が大きくなる。これに対して、本実施形態の設置器具を利用すれば、現実指標の管理の手間が大きく削減されることになる。また現実指標の位置計算や初期パラメータの計算も簡単なオフセット計算で再計算することが出来るようになる。
【００５７】
さらには複合現実空間に本来あるべきでない現実指標を、複合現実空間システム運用時に除去することが可能となり、よりリアリティのある複合現実空間映像を提供することも可能になる。
【００５８】
〈第２実施形態〉
上記第１実施形態では、現実指標２２０を現実物体設置器具２１５上に設置し、観察画像上で仮想指標と合致させることで位置・姿勢合わせを行なった。第２実施形態では、現実物体設置器具２１５の一部を用いて位置・姿勢合わせを行なう。
【００５９】
図１３、図１４は第２実施形態による「初期設定モード」における表示画面である。第２実施形態では設置器具自体を現実指標として利用する。これに対応し仮想指標は、第１実施形態では表示画面上で点および小片であったのが、第２実施形態では、現実指標の３次元コンピュータグラフィックスのワイヤ−フレームモデル２３０で表現されている。第２実施形態では、このワイヤフレームと現実の設置器具とを合致させることになるが、基本的な構成や動作は第１実施例に順ずるものとする。
【００６０】
仮想指標と現実指標を表示画面上で一致させるときに、指標が複数の小片だと一つの指標を一致させることに集中して別の指標がずれてしまう事が起こりやすい。第２実施形態では、画面全体でずれを認識できるため、位置合わせをより容易に行うことが出来る。
【００６１】
第２実施形態によれば、表示装置を含む位置姿勢計測対象の現実物体を、所定の位置姿勢−基準位置姿勢に固定するための設置器具に、現実指標となるべき現実物体を保持させることにより、基準位置姿勢と仮想指標との相対位置及び姿勢を固定に保つ。これにより設置器具作成時に一度だけ現実指標が表示画面内に入るように基準位置姿勢を設定しておけば、複合現実空間として利用する現実空間物体及び環境に変化があっても現実指標の設置位置の変更、現実指標の設置位置の測量、仮想指標の位置変更、基準姿勢の再計算は必要ない。また設置器具を世界座標系中の別の場所に設置して利用する際も、複雑な形状を持つ現実物体の表面に設置されている現実指標の位置を測量しなくともよく、簡単なオフセット計算で基準姿勢を再計算することが出来るようになる。
【００６２】
以上説明したように、第１実施形態によれば、複合現実空間として利用する現実空間物体及び環境に変化があっても、基準位置姿勢と仮想指標との相対位置及び姿勢は一定であり、現実指標の設置位置の変更、現実指標の設置位置の測量、仮想指標の位置変更、基準姿勢の再計算の軽減という効果が得られる。さらに、第２実施形態では、第１実施形態の効果に加え、現実指標と仮想指標の画面上での一致をより簡単に行えるという効果が得られる。
【００６３】
【発明の効果】
以上説明したように、本発明によれば、複合現実空間に配置される現実空間物体や環境に変化があった場合の、座標系の変換パラメータの再計算を軽減することが可能となる。
【図面の簡単な説明】
【図１】実施形態における複合現実感システムの外観を示す図である。
【図２】実施形態によるＨＭＤの構成を示す図である。
【図３】複合現実空間映像生成プログラム（メインプログラム）による処理を示すフローチャートである。
【図４】位置姿勢スレッドによる処理を示すフローチャートである。
【図５】映像生成スレッドによる処理を示すフローチャートである。
【図６】各座標系の配置を説明する図である。
【図７】一般的な方法による変換パラメータ取得を説明する図である。
【図８】一般的な方法による変換パラメータ取得時のＨＭＤ表示状態を示す図である。
【図９】一般的な方法による変換パラメータ取得時の基準位置姿勢におけるＨＭＤの表示状態を示す図である。
【図１０】第１実施形態における変換パラメータ取得を説明する図である。
【図１１】第１実施形態における変換パラメータ取得時のＨＭＤ表示状態を示す図である。
【図１２】第１実施形態における変換パラメータ取得時の基準位置姿勢におけるＨＭＤ表示状態を示す図である。
【図１３】第２実施形態における変換パラメータ取得時のＨＭＤ表示状態を示す図である。
【図１４】第２実施形態における変換パラメータ取得時の基準位置姿勢におけるＨＭＤ表示状態を示す図である。
【図１】
2004126869.tif 000003
【図２】
2004126869.tif 000004
【図３】
2004126869.tif 000005
【図４】
2004126869.tif 000006
【図５】
2004126869.tif 000007
【図６】
2004126869.tif 000008
【図７】
2004126869.tif 000009
【図８】
2004126869.tif 000010
【図９】
2004126869.tif 000011
【図１０】
2004126869.tif 000012
【図１１】
2004126869.tif 000013
【図１２】
2004126869.tif 000014
【図１３】
2004126869.tif 000015
【図１４】
2004126869.tif 000016