(57)【要約】【課題】ＨＭＤを装着した複数の観察者が存在する状況においても、各ＨＭＤの位置姿勢を求めること。【解決手段】位置姿勢を計測するためのセンサ１２が取り付けられたＨＭＤ１を撮像し、ＨＭＤ１の各マーカ（１１ａ〜１１ｃの何れか）の撮像画像上の位置情報を求め、センサ１２により計測された結果に基づいて求められるＨＭＤ１の位置姿勢情報と、ＨＭＤ１の各マーカ（１１ａ〜１１ｃの何れか）の上記撮像画像上の位置情報とに基づいて、ＨＭＤ４の位置姿勢を求める。【選択図】  図２
2004233201.tif 000002
【特許請求の範囲】
【請求項１】
位置姿勢を計測するためのセンサが取り付けられた第１の撮像装置を撮像する第２の撮像装置の位置姿勢を求める位置姿勢計測方法であって、
前記第１の撮像装置を撮像し、前記第１の撮像装置の各特徴点の撮像画像上の位置情報を求める特徴点位置計算工程と、
前記センサにより計測された結果に基づいて求められる前記第１の撮像装置の位置姿勢情報と、前記第１の撮像装置の各特徴点の前記撮像画像上の位置情報とに基づいて、前記第２の撮像装置の位置姿勢を求める位置姿勢計算工程と
を備えることを特徴とする位置姿勢計測方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置の位置姿勢を計測する技術に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の継ぎ目のない結合を目的とした複合現実感（Ｍｉｘｅｄ  Ｒｅａｌｌｉｔｙ、以下ＭＲと呼称する）に関する研究が盛んになっている。ＭＲは従来、現実空間と切り離された状況でのみ体験可能であったバーチャルリアリティ（ＶＲ）の世界と現実空間との共存を目的とし、ＶＲを増強する技術として注目されている。
【０００３】
複合現実感を実現する装置として代表的なものは、ヘッドマウントディスプレイ（ＨＭＤ）である。すなわち、現実空間の映像と仮想空間の映像とをＨＭＤの表示画面上に合成して表示することにより、ＨＭＤを装着する観察者に複合現実感を体感させる。また、ＨＭＤを用いたＭＲの方式としては、半透過型（シースルー型）のＨＭＤの表示画面上にＣＧ等の画像を重畳する光学シースルー方式と、ＨＭＤに装着したビデオカメラで撮影した画像データにＣＧ等の画像を合成した後、ＨＭＤの表示画面上に表示するビデオシースルー方式がある。
【０００４】
ＭＲの用途としては、患者の体内の様子を透過しているように医師に提示する医療補助の用途や、工場において製品の組み立て手順を実物に重ね表示する作業補助の用途など、今までのＶＲとは質的に全く異なった新たな分野が期待されている。
【０００５】
これらの応用に対して共通に要求されているのは、ＨＭＤの表示画面上に表示される現実空間と仮想空間との間の“ずれ”をいかにして取り除くかという技術である。“ずれ”は位置ずれ、時間ずれ、質的ずれに分類可能であり、この中でも最も基本的な要求といえる位置ずれの解消については、従来から多くの取り組みが行われてきた。
【０００６】
特にビデオシースルー方式ＭＲの場合、位置ずれを補正する方法として画像処理の手法が比較的容易に適用できるため、画像処理を利用した位置合わせについて従来から提案がなされている。
【０００７】
具体的には、現実空間の所定位置に画像処理によって検出しやすい色で印付けされたマーカを配置し、観察者が装着したカメラで撮影した画像から検出したマーカ位置によって視点位置を計算する方法や、画像中のマーカ位置によって位置姿勢センサの出力信号を補正する方法などがある。
【０００８】
【解決しようとする課題】
観察者Ａが装着するＨＭＤの視界に常に（厳密にはほとんどの場合）別の観察者Ｂが存在するようなＭＲシステムがある。このシステムにおいて観察者Ａが装着するＨＭＤの位置姿勢を求めるために従来技術を適用する場合、このシステムでは観察者Ａが装着するＨＭＤの位置合わせのために観察者Ａの視界方向の空間上にマーカを設置するのであるが、観察者Ａがマーカを見ようとしても観察者Ｂに視界を遮られて観察者Ａからはマーカが見えないという状況がある。
【０００９】
その場合、観察者Ａの視界からはマーカが見えないので、観察者Ａが装着するＨＭＤに位置姿勢センサが付いていない限り、ＨＭＤの位置姿勢を計測することができず、観察者Ａに対して正常に複合現実感を体感させることが困難となる。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、ＨＭＤを装着した複数の観察者が存在する状況においても、各ＨＭＤの位置姿勢を求めることを可能にする技術を適用することにある。
【００１１】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の位置姿勢計測方法は以下の構成を備える。
【００１２】
すなわち、位置姿勢を計測するためのセンサが取り付けられた第１の撮像装置を撮像する前記第２の撮像装置の位置姿勢を求める位置姿勢計測方法であって、前記第１の撮像装置を撮像し、前記第１の撮像装置の各特徴点の撮像画像上の位置情報を求める特徴点位置計算工程と、
前記センサにより計測された結果に基づいて求められる前記第１の撮像装置の位置姿勢情報と、前記第１の撮像装置の各特徴点の前記撮像画像上の位置情報とに基づいて、前記第２の撮像装置の位置姿勢を求める位置姿勢計算工程と
を備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。以下説明する実施形態では、ＨＭＤ（ヘットマウントディスプレイ）を装着した複数の観察者が互いに向かい合って複合現実感を体感するシステムにおいて、夫々のＨＭＤの位置姿勢を求める技術に係るものである。
【００１４】
［第１の実施形態］
図１は、マーカが取り付けられたＨＭＤの概略図である。ＨＭＤ１には複数のマーカ（１１ａ〜１１ｄ）が取り付けられており、夫々のマーカは、ＨＭＤの装着者がどちらを向いても、このＨＭＤを観察する観察者から所定の個数以上見えるようにＨＭＤ１の全周囲に取り付けられている。
【００１５】
ＨＭＤ１は、現実空間の画像を撮像するビデオカメラを備えた半透過型（シースルー型）のものであって、ＨＭＤ１には位置姿勢センサ１２が取り付けられており、位置姿勢センサ１２はＨＭＤ１の位置姿勢に応じた信号をＨＭＤ１に接続された装置（この信号に基づいてＨＭＤ１の位置姿勢を求める装置）に出力する。
【００１６】
図２は観察者Ａと観察者Ｂとが互いに向き合って複合現実感を体験するシステムの模式図である。同図において８は、仮想空間におけるオブジェクトの画像である。以下、「仮想空間の画像」とはこのようなオブジェクトを含むものとする。
【００１７】
観察者Ａは図１に示したＨＭＤ１から位置姿勢センサおよびマーカを取り外したＨＭＤ４を頭部に装着している。ＨＭＤ４は当然、半透過型のものである。ＨＭＤ４はＰＣ（パーソナルコンピュータ）５と接続されている。
【００１８】
ＰＣ５は、ＨＭＤ４の位置姿勢を求め、求めた位置から求めた姿勢で見える仮想空間の画像を生成し、生成した仮想空間の画像とＨＭＤ４に備わっている後述のビデオカメラにより撮像された現実空間の画像との合成画像を生成して、ＨＭＤ４に備わっている後述の表示装置に出力する処理を行う。ＰＣ５が行う処理の詳細については後述する。またＰＣ５は、ネットワーク７を介してもう一方のＰＣ７とデータ通信を行うことができる。
【００１９】
観察者Ｂは図１に示したＨＭＤ１を頭部に装着している。上述の通り、ＨＭＤ１には複数のマーカ（同図では見えているマーカ１１ａ〜１１ｄのみを示しているが、これ以外の箇所にもマーカは取り付けられている）が取り付けられている。図３は、ＨＭＤ４に備わっている後述のビデオカメラにより撮像される現実空間の画像の一例を示す図である。上述の通り、観察者Ａと観察者Ｂとは向かい合っているので、ＨＭＤ４に備わっている後述のビデオカメラの視界には常に観察者Ｂと共に、頭部に装着されたＨＭＤ４と夫々のマーカ（同図では１１ａ、１１ｂ、１１ｄ）が入っている。よってＨＭＤ４に備わっている後述のビデオカメラは同図に示したような画像３００を撮像する。
【００２０】
またＨＭＤ１には位置姿勢センサ１２が取り付けられており、ＨＭＤ１の位置姿勢を計測し、計測した結果に応じた信号をＨＭＤ１に接続されているＰＣ２に出力する。
【００２１】
ＰＣ２は、位置姿勢センサ１２から受信した信号に基づいてＨＭＤ１の位置姿勢を求める。そして、求めた位置から求めた姿勢で見える仮想空間の画像を生成し、生成した仮想空間の画像とＨＭＤ１に備わっている後述のビデオカメラにより撮像された現実空間の画像との合成画像を生成してＨＭＤ１に備わっている後述の表示装置に出力する処理を行う。ＰＣ２が行う処理の詳細については後述する。またＰＣ２は、ネットワーク７を介してもう一方のＰＣ１とデータ通信を行うことができる。
【００２２】
図４は観察者Ｂが使用するシステムの機能構成を示す図である。ＨＭＤ１には、上記マーカ群１１、上記位置姿勢センサ１２、現実空間を撮像するビデオカメラ１３、ＰＣ２によって生成された画像を表示する画像表示装置１４が備わっている。
【００２３】
一方、ＰＣ２には、ビデオカメラ１３により撮像された現実空間の画像をチャプチャし、後段の画像合成部１７に出力するキャプチャ部１６、位置姿勢センサ１２から受信した、ＨＭＤ１の位置姿勢を示す信号に基づいてＨＭＤ１の位置姿勢を求める位置姿勢算出部１５、位置姿勢算出部１５が算出した位置姿勢情報に基づいて、算出した位置から算出した姿勢で見える仮想空間の画像（ＣＧ）を生成するＣＧ作成部１８、キャプチャ部１６がキャプチャした現実空間の画像と、ＣＧ作成部１８が生成した仮想空間の画像とを合成して合成画像を生成し、ＨＭＤ１の画像表示装置１４に出力する画像合成部１７、ネットワーク７を介してＰＣ５とデータ通信を行うためにデータの送受信を制御するデータ送受信部２０とが備わっている。本実施形態ではデータ送受信部２０は、位置姿勢算出部１５が算出したＨＭＤ１の位置姿勢情報をＰＣ５に送信する処理を行う。
【００２４】
なお、ＰＣ２に備わっている上記各部はハードウェアにより構成されても良いし、各部の機能をＰＣ２に実行させるためのプログラムにより構成されても良い。次に、上記構成を備えるシステムが行う処理について説明する。
【００２５】
ＨＭＤ１のビデオカメラ１３により撮像された現実空間の画像はキャプチャ部１６によってキャプチャされ、チャプチャされた画像は後段の画像合成部１７に出力される。一方、位置姿勢算出部１５は、ＨＭＤ１の位置姿勢センサ１２から受信した、ＨＭＤ１の位置姿勢を示す信号に基づいてＨＭＤ１の位置姿勢を求める、求めた位置姿勢情報をデータ送受信部２０、ＣＧ作成部１８に出力する。
【００２６】
データ送受信部２０は、この位置姿勢情報をネットワーク７を介してＰＣ５に送信する。また、ＣＧ作成部１８は位置姿勢算出部１５から出力された位置姿勢情報に基づいて、この位置情報で特定される位置から、この姿勢情報で特定される姿勢で見える仮想空間の画像（ＣＧ）を生成する。なお、位置姿勢情報に基づいて仮想空間の画像を生成する処理については周知の技術であるので、ここでの説明は省略する。
【００２７】
ＣＧ作成部１８が生成した仮想空間の画像は画像合成部１７に出力される。画像合成部１７はキャプチャ部１６がキャプチャした現実空間の画像と、ＣＧ作成部１８が生成した仮想空間の画像とを合成して合成画像を生成し、ＨＭＤ１の画像表示装置１４に出力する。
【００２８】
これによりＨＭＤ１を装着した観察者は、画像表示装置１４に表示されたＨＭＤ１の位置姿勢に応じた合成画像を見ることができ、複合現実感を体感することができる。
【００２９】
図５は観察者Ａが使用するシステムの機能構成を示す図である。ＨＭＤ１には、現実空間を撮像するビデオカメラ２３、ＰＣ５によって生成された画像を表示する画像表示装置２４が備わっている。
【００３０】
一方、ＰＣ５には、ビデオカメラ２３により撮像された現実空間の画像をチャプチャし、後段の画像合成部１７及びマーカ認識部２９に出力するキャプチャ部２６、キャプチャ部１６がキャプチャした現実空間の画像中の各マーカの画像を認識し、現実空間の画像における各マーカの画像位置（図３に示した例では、画像３００における各マーカ１１ａ、１１ｂ、１１ｄの画像位置）を求めるマーカ認識部２９、データ送受信部３０が受信した、ネットワーク７を介してＰＣ２から送信された「ＨＭＤ１の位置姿勢情報」と、マーカ認識部２９が求めた現実空間画像における各マーカの画像位置情報とを用いて、ＨＭＤ４の位置姿勢を求める位置姿勢算出部２５、位置姿勢算出部２５が算出した位置姿勢情報に基づいて、この位置情報で特定される位置から、この姿勢情報で特定される姿勢で見える仮想空間の画像（ＣＧ）を生成するＣＧ作成部２８、キャプチャ部２６がキャプチャした現実空間の画像と、ＣＧ作成部２８が生成した仮想空間の画像とを合成して合成画像を生成し、ＨＭＤ４の画像表示装置２４に出力する画像合成部２７と、ネットワーク７を介してＰＣ２とデータ通信を行うためにデータの送受信を制御するデータ送受信部３０とが備わっている。本実施形態ではデータ送受信部３０は、ＰＣ２から送信された「ＨＭＤ１の位置姿勢情報」を受信する処理を行う。
【００３１】
なお、ＰＣ５に備わっている上記各部はハードウェアにより構成されても良いし、各部の機能をＰＣ２に実行させるためのプログラムにより構成されても良い。次に、上記構成を備えるシステムが行う処理について説明する。
【００３２】
ＨＭＤ４のビデオカメラ２３により撮像された現実空間の画像はキャプチャ部２６によってキャプチャされ、チャプチャされた画像は後段の画像合成部１７、マーカ認識部２９に出力される。
【００３３】
マーカ認識部２９はまず、キャプチャ部１６から出力された画像中で、マーカの色（予めＰＣ５側で既知であるものとする）を示す画素値を有する画素群を検知し（マーカの認識）、その画素群の重心画素位置をもって、「マーカの画像位置」とする。これを画像を構成する全ての画素に対して行い、画像中の各マーカの画像位置を求める。画像中の各マーカの画像位置情報は位置姿勢算出部２５に出力される。
【００３４】
位置姿勢算出部２５は、データ送受信部３０が受信した、ネットワーク７を介してＰＣ２から送信された「ＨＭＤ１の位置姿勢情報」と、マーカ認識部２９が求めた現実空間画像における各マーカの画像位置情報とを用いて、ＨＭＤ４の位置姿勢を求める。
【００３５】
ＨＭＤ４の位置姿勢とは厳密に言えばＨＭＤ４付属のビデオカメラ２３の位置姿勢であるので以下はビデオカメラ２３の位置姿勢の算出について述べる。「ＨＭＤ１の位置姿勢情報」を行列Ｗとし、マーカのＨＭＤ１からの相対的位置をＶとすると、世界座標系のマーカ位置はＷＶとなる。マーカの世界座標が算出されれば固定マーカと同様とみなせるのでビデオカメラ２３の位置姿勢を以下の方法を利用して算出することが出来る。
【００３６】
主観視点指標の世界座標と画像座標の組から撮像装置の位置及び姿勢を算出する方法は、写真測量等の分野において古くから提案されている（例えば、Ｒ．  Ｍ．  Ｈａｒａｌｉｃｋ，  Ｃ．  Ｌｅｅ，  Ｋ．  Ｏｔｔｅｎｂｅｒｇ，  ａｎｄ  Ｍ．  Ｎｏｌｌｅ：  Ｒｅｖｉｅｗ  ａｎｄ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｌｕｔｉｏｎｓ  ｏｆ  ｔｈｅ  ｔｈｒｅｅ  ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｐｒｏｂｌｅｍ，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｖｏｌ．１３，  ｎｏ．３，  ｐｐ．３３１−３５６，  １９９４．、Ｄ．  Ｇ．Ｌｏｗｅ：  Ｆｉｔｔｉｎｇ  ｐａｒａｍｅｔｅｒｉｚｅｄ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｍｏｄｅｌｓ  ｔｏ  ｉｍａｇｅｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ，  ｖｏｌ．１３，  ｎｏ．５，  ｐｐ．４４１−４５０，  １９９１．を参照）。
【００３７】
図６のフローチャートを用いて、本従来例における位置姿勢算出部２５が行う処理について説明する。図６は、主観視点指標の世界座標と画像座標の組から撮像装置の位置及び姿勢を算出する為の従来の処理のフローチャートである。本従来例において、ＨＭＤ１の位置及び姿勢は、繰り返し演算による数値計算的手法によって算出される。
【００３８】
位置姿勢算出部２５は、算出すべきビデオカメラ２３の位置及び姿勢を、それぞれ３値ベクトル［ｘ  ｙ  ｚ］Ｔ及び［ξ  ψ  ζ］Ｔによって内部的に表現している。姿勢を３値によって表現する方法には様々なものが存在するが、ここでは、ベクトルの大きさによって回転角を、ベクトルの向きによって回転軸方向を定義するような３値のベクトルによって表現されているものとする。このとき、求めるべき未知パラメータは、６値の状態ベクトルｓ＝［ｘ  ｙ  ｚ  ξ  ψ
ζ］Ｔと記述される。
【００３９】
ステップＳ２０００において、位置姿勢算出部２５は、状態ベクトルｓに適当な初期値（位置及び姿勢の推定値）を設定する。例えば、前フレーム（時刻ｔｋ−１）の処理において導出されたｓを初期値としてもよいし、過去からのｓの導出値の変化に基づいた予測によって得た値を設定してもよい。
【００４０】
ステップＳ２０１０において、位置姿勢算出部２５は、主観視点指標検出部１１０において検出された各々の主観視点指標Ｑｋｎの画像座標の実測値ｕＱｋｎとその識別子ｋｎを入力する。
【００４１】
ステップＳ２０２０において、位置姿勢算出部２５は、各々の主観視点指標Ｑｋｎに対して、その画像座標の推定値ｕＱｋｎ＊を算出する。ｕＱｋｎ＊の算出は、既知な情報として予め保持している指標Ｑｋｎ各々の世界座標ｘＷＱｋｎと現在の状態ベクトルｓの関数：
【００４２】
【数１】
2004233201.tif 000003
に基づいて行われる。
【００４３】
具体的には、関数Ｆｃ（）は、ｘＷＱｋｎとｓからこの指標のカメラ座標（カメラ上の１点を原点として定義し、更に互いに直交する３軸を夫々Ｘ軸、Ｙ軸、Ｚ軸として定義した座標系）ｘＣＱｋｎを求める次式、
【００４４】
【数２】
2004233201.tif 000004
及び、カメラ座標ｘＣＱｋｎから画像座標ｕＱｋｎ＊を求める次式、
【００４５】
【数３】
2004233201.tif 000005
によって構成されている。ここでｆＣｘ及びｆＣｙは、それぞれｘ軸方向及びｙ軸方向におけるビデオカメラ２３の焦点距離であり、既知の値として予め保持されているものとする。また、ＭＷＣ（ｓ）はｓによって定まるモデリング変換行列（すなわち、カメラ座標系における座標を世界座標系における座標に変換する行列）であり、次式によって定義される。
【００４６】
【数４】
2004233201.tif 000006
【００４７】
ステップＳ２０３０において、位置姿勢算出部２５は、各々の主観視点指標Ｑｋｎに対して、画像座標の推定値ｕＱｋｎ＊と実測値ｕＱｋｎとの誤差ΔｕＱｋｎを、次式によって算出する。
【００４８】
【数５】
2004233201.tif 000007
【００４９】
ステップＳ２０４０において、位置姿勢算出部２５は、各々の主観視点指標Ｑｋｎに対して、式１の関数Ｆｃ（）を状態ベクトルｓの各要素で偏微分した解を各要素に持つ２行×６列のヤコビ行列ＪｕｓＱｋｎ（＝∂ｕ／∂ｓ）を算出する。具体的には、式３の右辺をカメラ座標ｘＣＱｋｎの各要素で偏微分した解を各要素に持つ２行×３列のヤコビ行列ＪｕｘＱｋｎ（＝∂ｕ／∂ｘ）と、式２の右辺をベクトルｓの各要素で偏微分した解を各要素に持つ３行×６列のヤコビ行列ＪｘｓＱｋｎ（＝∂ｘ／∂ｓ）を算出し、次式によってＪｕｓＱｋｎを算出する。
【００５０】
【数６】
2004233201.tif 000008
【００５１】
ステップＳ２０５０において、位置姿勢算出部２５は、ステップＳ２０３０及びステップＳ２０４０において算出した誤差ΔｕＱｋｎ及びヤコビ行列ＪｕｓＱｋｎに基づいて、状態ベクトルｓの補正値Δｓを算出する。具体的には、誤差ΔｕＱｋｎを垂直に並べた２Ｎ次元の誤差ベクトル
【００５２】
【数７】
2004233201.tif 000009
及び、ヤコビ行列ＪｕｓＱｋｎを垂直に並べた２Ｎ行×６列の行列
【００５３】
【数８】
2004233201.tif 000010
を作成し、Φの擬似逆行列Φ’を用いて、
【００５４】
【数９】
2004233201.tif 000011
として算出する。図１の例ではＮ＝３であるので、Ｕは６次元ベクトル、Φは６行×６列の行列となる。
【００５５】
ステップＳ２０６０において、位置姿勢算出部２５は、ステップＳ２０５０において算出した補正値Δｓを用いて式１０に従って状態ベクトルｓを補正し、得られた値をｓの新たな推定値とする。
【００５６】
【数１０】
2004233201.tif 000012
【００５７】
ステップＳ２０７０において、位置姿勢算出部２５は、誤差ベクトルＵが予め定めた閾値より小さいかどうか、あるいは、補正値Δｓが予め定めた閾値より小さいかどうかといった何らかの判定基準を用いて、計算が収束しているか否かの判定を行う。収束してない場合には、補正後の状態ベクトルｓを用いて、再度ステップＳ２０２０以降の処理を行う。
【００５８】
ステップＳ２０８０において、位置姿勢算出部２５は、得られた状態ベクトルｓをＨＭＤ４の位置及び姿勢の情報として出力する。位置及び姿勢の情報は、例えば、ｓから算出したビューイング変換行列の形態によって出力する。
【００５９】
以上の方法によってビデオカメラ２３の位置及び姿勢を取得することが、従来からなされてきた。
【００６０】
また、計測対象物体に複数の指標を設定し、外部に設置した客観視点カメラによって対象物体を撮影し、撮像した客観視点画像内における指標の投影像の画像座標を検出することで、対象物体の位置及び姿勢を求めることも行われている（例えば、Ｒ．  Ｍ．  Ｈａｒａｌｉｃｋ，  Ｃ．  Ｌｅｅ，  Ｋ．  Ｏｔｔｅｎｂｅｒｇ，  ａｎｄ  Ｍ．  Ｎｏｌｌｅ：  Ｒｅｖｉｅｗ  ａｎｄ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｌｕｔｉｏｎｓ  ｏｆ  ｔｈｅ  ｔｈｒｅｅ  ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｐｒｏｂｌｅｍ，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｖｏｌ．１３，  ｎｏ．３，  ｐｐ．３３１−３５６，  １９９４．、Ｄ．  Ｇ．  Ｌｏｗｅ：  Ｆｉｔｔｉｎｇ  ｐａｒａｍｅｔｅｒｉｚｅｄ  ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｍｏｄｅｌｓ  ｔｏ  ｉｍａｇｅｓ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ，  ｖｏｌ．１３，  ｎｏ．５，  ｐｐ．４４１−４５０，  １９９１．を参照）。
【００６１】
位置姿勢算出部２５によって求めたＨＭＤ４の位置姿勢情報は後段のＣＧ作成部２８に出力される。ＣＧ作成部２８は位置姿勢算出部２５から出力された位置姿勢情報に基づいて、この位置情報で特定される位置から、この姿勢情報で特定される姿勢で見える仮想空間の画像（ＣＧ）を生成する。なお、位置姿勢情報に基づいて、仮想空間の画像を生成する処理については周知の技術であるので、ここでの説明は省略する。
【００６２】
ＣＧ作成部２８が生成した仮想空間の画像は画像合成部２７に出力される。画像合成部２７はキャプチャ部２６がキャプチャした現実空間の画像と、ＣＧ作成部２８が生成した仮想空間の画像とを合成して合成画像を生成し、ＨＭＤ４の画像表示装置２４に出力する。
【００６３】
これにより、ＨＭＤ４を装着した観察者は画像表示装置２４に表示されたＨＭＤ４の位置姿勢に応じた合成画像を見ることができ、複合現実感を体感することができる。
【００６４】
また、観察者Ａに複合現実感を体感させるためのシステムは、観察者Ｂによって遮られることのない位置に設けられたマーカを用いて観察者Ａが装着するＨＭＤの位置姿勢を求めることができるので、より自由度の高いシステムを構築することができる。
【００６５】
また、本実施形態では観察者は二人であったが、本実施形態に係るシステムはそれ以上の人数の観察者が存在する場合にも適用可能である。その場合、ある数の観察者に対しては上記観察者Ｂに用いたシステムを適用し、それ以外の観察者に対しては観察者Ａに用いたシステムを適用する。この場合、観察者Ａに用いたシステムを適用する観察者が装着するＨＭＤに備わったビデオカメラには、観察者Ｂに用いたシステムを適用する観察者が装着するＨＭＤに取り付けられたマーカが撮像可能になるようにする必要がある。
【００６６】
［第２の実施形態］
第１の実施形態では夫々の観察者毎にＰＣを設けていたが、これに限定されるものではなく、１台のサーバ装置が夫々の観察者に対して、夫々の観察者のＨＭＤの位置姿勢を求め、求めた位置姿勢に応じた合成画像を生成して提供するようにしても良い。
【００６７】
また第１の実施形態では、ＨＭＤ４の位置姿勢を計測するために観察者Ｂが装着するＨＭＤ１に取り付けられたマーカを用いていたが、ＨＭＤ１の各部の色や幾何学的形状などの自然特徴を代わりに用いても良い。
【００６８】
また第１の実施形態では、ＨＭＤの位置姿勢を求める場合について説明したが、一般に現実空間を撮像可能な撮像装置の位置姿勢を求める場合に適用しても良い。
【００６９】
［その他の実施形態］
尚、本実施形態は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００７０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートや機能構成に対応するプログラムコードが格納されることになる。
【００７３】
以下に、本発明の実施態様の例を示す。
【００７４】
［実施態様１］  位置姿勢を計測するためのセンサが取り付けられた第１の撮像装置を撮像する前記第２の撮像装置の位置姿勢を求める位置姿勢計測装置であって、
前記第１の撮像装置を撮像し、前記第１の撮像装置の各特徴点の撮像画像上の位置情報を求める特徴点位置計算手段と、
前記センサにより計測された結果に基づいて求められる前記第１の撮像装置の位置姿勢情報と、前記第１の撮像装置の各特徴点の前記撮像画像上の位置情報とに基づいて、前記第２の撮像装置の位置姿勢を求める位置姿勢計算手段と
を備えることを特徴とする位置姿勢計測装置。
【００７５】
［実施態様２］  前記第１の撮像装置の各特徴点は前記第１の撮像装置に取り付けられた複数のマーカであって、夫々のマーカは前記第２の撮像装置によって常に複数個撮像可能なように前記第１の撮像装置に取り付けられていることを特徴とする実施態様１に記載の位置姿勢計測装置。
【００７６】
［実施態様３］  前記第１の撮像装置の各特徴点は前記第１の撮像装置の各部の色、形状を含む自然特徴であることを特徴とする実施態様１に記載の位置姿勢計測装置。
【００７７】
［実施態様４］  位置姿勢を計測するためのセンサが取り付けられた第１の撮像装置を撮像する前記第２の撮像装置の位置姿勢を求める位置姿勢計測方法であって、
前記第１の撮像装置を撮像し、前記第１の撮像装置の各特徴点の撮像画像上の位置情報を求める特徴点位置計算工程と、
前記センサにより計測された結果に基づいて求められる前記第１の撮像装置の位置姿勢情報と、前記第１の撮像装置の各特徴点の前記撮像画像上の位置情報とに基づいて、前記第２の撮像装置の位置姿勢を求める位置姿勢計算工程と
を備えることを特徴とする位置姿勢計測方法。
【００７８】
［実施態様５］  コンピュータを実施態様１乃至４の何れか１項に記載の位置姿勢計測装置として機能させることを特徴とするプログラム。
【００７９】
［実施態様６］  コンピュータに実施態様５に記載の位置姿勢計測方法を実行させることを特徴とするプログラム。
【００８０】
［実施態様７］  実施態様５又は６に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。
【００８１】
【発明の効果】
以上の説明により、本発明によって、ＨＭＤを装着した複数の観察者が存在する状況においても、各ＨＭＤの位置姿勢を求めることができる。
【図面の簡単な説明】
【図１】マーカが取り付けられたＨＭＤの概略図である。
【図２】観察者Ａと観察者Ｂとが互いに向き合って複合現実感を体験するシステムの模式図である。
【図３】ＨＭＤ４に備わっている後述のビデオカメラにより撮像される現実空間の画像の一例を示す図である。
【図４】観察者Ｂが使用するシステムの機能構成を示す図である。
【図５】観察者Ａが使用するシステムの機能構成を示す図である。
【図６】主観視点指標の世界座標と画像座標の組から撮像装置の位置及び姿勢を算出する為の従来の処理のフローチャートである。
【図１】
2004233201.tif 000013
【図２】
2004233201.tif 000014
【図３】
2004233201.tif 000015
【図４】
2004233201.tif 000016
【図５】
2004233201.tif 000017
【図６】
2004233201.tif 000018