【手続補正書】
【提出日】平成21年9月14日(2009.9.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
第２の画像入力手段が、前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力工程と、
第１の検出手段が、前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、
第２の検出手段が、前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、
位置姿勢算出手段が、前記第１の検出工程及び前記第２の検出工程で検出された前記指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備え、
前記位置姿勢算出工程が、前記第１及び第２の検出工程のうち、前記第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に、前記空間分解能が低い方の撮像装置で撮像された画像に関わる検出工程で検出された前記指標の画像座標よりも高い重み付けを行って、前記位置及び姿勢の算出を行なうことを特徴する位置姿勢算出方法。
【請求項２】
第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
第２の画像入力手段が、前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力工程と、
第１の検出手段が、前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、
第２の検出手段が、前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、
位置姿勢算出手段が、前記第１及び第２の検出工程のうち、前記第１及び第２の撮像装置のうち空間分解能が低い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
補正手段が、前記第１及び第２の検出工程のうち、前記第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、
を備えることを特徴とする位置姿勢計測方法。
【請求項３】
前記第１の撮像装置と前記第２の撮像装置は、画像解像度が同じで、画角が異なることを特徴とする、請求項１又は請求項２に記載の位置姿勢計測方法。
【請求項４】
第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、
第２の画像入力手段が、前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置より画角が広く、空間分解能が低い第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力工程と、
第１の検出手段が、前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、
第２の検出手段が、前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、
位置姿勢算出手段が、前記第２の検出工程で検出された指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、
補正手段が、前記第１の検出工程で検出された指標の画像座標に基づいて、前記位置姿勢算出工程で算出された前記第１の撮像装置の姿勢を補正する補正工程と、
を備えることを特徴とする位置姿勢計測方法。
【請求項５】
センサ計測値入力手段が、前記第１の撮像装置の位置又は姿勢又はそれらの時間微分に関する情報を計測するセンサから計測値を入力するセンサ計測値入力工程をさらに備え、
前記位置姿勢算出工程では、前記センサ計測値入力工程で入力された計測値をさらに用いて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項４のいずれか１項に記載の位置姿勢計測方法。
【請求項６】
第３の画像入力手段が、前記第１の撮像装置を撮像する、位置及び姿勢が固定された第３の撮像装置で撮像された第３の画像を入力する第３の画像入力工程と、
第３の検出手段が、前記第３の画像から、前記第１の撮像装置との相対的な位置及び姿勢が固定された第２の指標の画像座標を検出する第３の検出工程とをさらに備え、
前記位置姿勢算出工程では、前記第１の検出工程及び前記第２の検出工程で検出された指標の画像座標と、該第３の検出工程で検出された前記第２の指標の画像座標と前記第２及び第３の検出工程で検出された指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報と、前記第３の撮像装置の位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出することを特徴とする、請求項１乃至請求項５のいずれか１項に記載の位置姿勢計測方法。
【請求項７】
前記第１の画像は、前記現実空間を観察する観察者に提示するための画像であり、前記第１の撮像装置は、前記観察者に前記第１の画像を提示するための表示手段との相対的な位置又は姿勢、又は画角が固定されていることを特徴とする、請求項１乃至請求項５のいずれか１項に記載の位置姿勢計測方法。
【請求項８】
前記第１の撮像装置の光軸の向きと前記第２の撮像装置の光軸の向きが異なることを特徴とする、請求項１乃至請求項７のいずれか１項に記載の位置姿勢計測方法。
【請求項９】
前記第２の撮像装置が、複数の撮像装置を含み、
前記第２の画像入力手段が、前記第２の画像入力工程で、前記複数の撮像装置の各々から前記第２の画像を入力し、
前記第２の検出工程では、前記第２の画像入力工程で入力された複数の前記第２の画像の各々から、前記現実空間中の指標の画像座標を検出することを特徴とする、請求項１記載の位置姿勢計測方法。
【請求項１０】
前記複数の撮像装置が、前記第１の撮像装置よりも空間分解能の高い撮像装置と、前記第１の撮像装置よりも空間分解能の低い撮像装置とを含むことを特徴とする、請求項９記載の位置姿勢計測方法。
【請求項１１】
前記複数の撮像装置のうちの少なくとも一つの光軸の向きが、他の撮像装置のうちの少なくとも一つの光軸の向きと異なることを特徴とする、請求項９又は請求項１０に記載の位置姿勢計測方法。
【請求項１２】
前記第１の撮像装置と前記第２の撮像装置は、異なる波長領域で観察される画像を撮像することを特徴とする、請求項１乃至請求項１１のいずれか１項に記載の位置姿勢計測方法。
【請求項１３】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、
前記第１の検出手段及び前記第２の検出手段で検出された前記指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備え、
前記位置姿勢算出手段が、前記第１及び第２の検出手段のうち、前記第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に、前記空間分解能が低い方の撮像装置で撮像された画像に関わる検出手段で検出された前記指標の画像座標よりも高い重み付けを行って、前記位置及び姿勢の算出を行なうことを特徴とする位置姿勢計測装置。
【請求項１４】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、
前記第１及び第２の検出手段のうち、前記第１及び第２の撮像装置のうち空間分解能が低い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
前記第１及び第２の検出手段のうち、前記第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項１５】
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置より画角が広く、空間分解能が低い第２の撮像装置で撮像された前記現実空間の第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、
現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、
前記第１の撮像装置との相対的な位置及び姿勢が固定で、かつ前記第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、
前記第１の画像から、前記現実空間中の指標の画像座標を検出する第１の検出手段と、
前記第２の画像から、前記現実空間中の指標の画像座標を検出する第２の検出手段と、
前記第２の検出工程で検出された指標の画像座標と、前記指標の前記現実空間中の座標と、前記第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、前記第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、
前記第１の検出手段で検出された指標の画像座標に基づいて、前記位置姿勢算出手段で算出された前記第１の撮像装置の姿勢を補正する補正手段と、
を備えることを特徴とする位置姿勢計測装置。
【請求項１６】
コンピュータに、請求項１乃至請求項１２のいずれか１項に記載の位置姿勢算出方法の各工程を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
上述の目的は、第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第２の画像入力手段が、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力工程と、第１の検出手段が、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、第２の検出手段が、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、位置姿勢算出手段が、第１の検出工程及び第２の検出工程で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程とを備え、位置姿勢算出工程が、第１及び第２の検出工程のうち、第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に、空間分解能が低い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標よりも高い重み付けを行って、位置及び姿勢の算出を行なうことを特徴する位置姿勢算出方法よって達成される。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、上述の目的は、第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第２の画像入力手段が、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力工程と、第１の検出手段が、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、第２の検出手段が、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、位置姿勢算出手段が、第１及び第２の検出工程のうち、第１及び第２の撮像装置のうち空間分解能が低い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、補正手段が、第１及び第２の検出工程のうち、第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出工程で検出された指標の画像座標に基づいて、位置姿勢算出工程で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法よっても達成される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、上述の目的は、第１の画像入力手段が、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力工程と、第２の画像入力手段が、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置より画角が広く、空間分解能が低い第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力工程と、第１の検出手段が、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出工程と、第２の検出手段が、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出工程と、位置姿勢算出手段が、第２の検出工程で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出工程と、補正手段が、第１の検出工程で検出された指標の画像座標に基づいて、位置姿勢算出工程で算出された第１の撮像装置の姿勢を補正する補正工程と、を備えることを特徴とする位置姿勢計測方法よっても達成される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、第１の検出手段及び第２の検出手段で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段とを備え、位置姿勢算出手段が、第１及び第２の検出手段のうち、第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に、空間分解能が低い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標よりも高い重み付けを行って、位置及び姿勢の算出を行なうることを特徴とする位置姿勢計測装置よっても達成される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、第１及び第２の検出手段のうち、第１及び第２の撮像装置のうち空間分解能が低い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１及び第２の検出手段のうち、第１及び第２の撮像装置のうち空間分解能が高い方の撮像装置で撮像された画像に関わる検出手段で検出された指標の画像座標に基づいて、位置姿勢算出手段で算出された第１の撮像装置の位置及び姿勢の少なくとも一方を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置よっても達成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、上述の目的は、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置より画角が広く、空間分解能が低い第２の撮像装置で撮像された現実空間の第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の座標が既知である指標の画像座標を検出する第１の検出手段と、第２の画像から、現実空間中の座標が既知である指標の画像座標を検出する第２の検出手段と、現実空間を撮像する第１の撮像装置で撮像された第１の画像を入力する第１の画像入力手段と、第１の撮像装置との相対的な位置及び姿勢が固定で、かつ第１の撮像装置と空間分解能の異なる第２の撮像装置で撮像された第２の画像を入力する第２の画像入力手段と、第１の画像から、現実空間中の指標の画像座標を検出する第１の検出手段と、第２の画像から、現実空間中の指標の画像座標を検出する第２の検出手段と、第２の検出工程で検出された指標の画像座標と、指標の現実空間中の座標と、第１及び第２の撮像装置の相対的な位置及び姿勢の情報とに基づいて、第１の撮像装置の位置及び姿勢を算出する位置姿勢算出手段と、第１の検出手段で検出された指標の画像座標に基づいて、位置姿勢算出手段で算出された第１の撮像装置の姿勢を補正する補正手段と、を備えることを特徴とする位置姿勢計測装置よっても達成される。