【手続補正書】
【提出日】平成20年1月29日(2008.1.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
前記第１の配置算出工程と前記第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と
を備えることを特徴とする指標配置計測方法。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】
移動可能な撮像装置の位置および／または姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定方法であって、
第１指標／指標群の一部または全部と、一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
第１の配置算出工程と第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と、
前記補助指標を利用せず、前記第１指標／指標群と前記第２指標／指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定工程と
を備えることを特徴とする位置姿勢推定方法。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】
移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
前記第１の配置算出手段と前記第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と
を備えることを特徴とする指標配置計測装置。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】
移動可能な撮像装置の位置および／または姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定装置であって、
第１指標／指標群の一部または全部と、一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
第１の配置算出手段と第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と、
前記補助指標を利用せず、前記第１指標／指標群と前記第２指標／指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定手段と
を備えることを特徴とする位置姿勢推定装置。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
ここで、上記従来技術によれば、画像１０３を用いれば、マーカ１０１ａとマーカ１０１ｂとの配置関係は求めることができ、画像１０４を用いれば、マーカ１０２ａとマーカ１０２ｂとの配置関係は求めることができる。しかし、画像１０３におけるマーカ１０１ａと画像１０４における１０２ａとの配置関係を求める、というように、異なる画像間で、それぞれの画像に含まれているマーカ間の配置関係を求めることはできない。
【特許文献１】特開２０００−０４１１７３号公報
【特許文献２】特開２００２−２２８４４２号公報
【非特許文献１】Ｒ．Ｍ．Ｈａｒａｌｉｃｋ，Ｃ．Ｌｅｅ，Ｋ．Ｏｔｔｅｎｂｅｒｇ，ａｎｄ  Ｍ．Ｎoｌｌｅ：“Ｒｅｖｉｅｗ  ａｎｄ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｌｕｔｉｏｎｓ  ｏｆ  ｔｈｅ  ｔｈｒｅｅ  ｐｏｉｎｔ  ｐｅｒｓｐｅｃｔｉｖｅ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｐｒｏｂｌｅｍ”，Ｉｎｔ’ｌ．Ｊ．Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，ｖｏｌ．１３，ｎｏ．３，ｐｐ．３３１−３５６，１９９４．
【非特許文献２】Ｍ．Ａ．Ｆｉｓｃｈｌｅｒ  ａｎｄ  Ｒ．Ｃ．Ｂｏｌｌｅｓ：“Ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ：ａ  ｐａｒａｄｉｇｍ  ｆｏｒ  ｍｏｄｅｌ  ｆｉｔｔｉｎｇ  ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ａｎｄ  ａｕｔｏｍａｔｅｄ  ｃａｒｔｏｇｒａｐｈｙ”，Ｃｏｍｍ．ＡＣＭ，ｖｏｌ．２４，ｎｏ．６，ｐｐ．３８１−３９５，１９８１．
【非特許文献３】暦本純一：“２次元マトリックスコードを利用した拡張現実感の構成手法”，インタラクティブシステムとソフトウェア  ＩＶ，近代科学社，１９９６．
【非特許文献４】加藤，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，浅野，橘：“マーカー追跡に基づく拡張現実感システムとそのキャリブレーション”，  日本バーチャルリアリティ学会論文誌，ｖｏｌ．４，ｎｏ．４，ｐｐ．６０７−６１６，１９９９．
【非特許文献５】Ａ．Ｓｔａｔｅ，Ｇ．Ｈｉｒｏｔａ，Ｄ．Ｔ．Ｃｈｅｎ，Ｗ．Ｆ．Ｇａｒｒｅｔｔ  ａｎｄ  Ｍ．Ａ．Ｌｉｖｉｎｇｓｔｏｎ：“Ｓｕｐｅｒｉｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｒｅｇｉｓｔｒａｔｉｏｎ  ｂｙ  ｉｎｔｅｇｒａｔｉｎｇ  ｌａｎｄｍａｒｋ  ｔｒａｃｋｉｎｇ  ａｎｄ  ｍａｇｎｅｔｉｃ  ｔｒａｃｋｉｎｇ”，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ’９６，ｐｐ．４２９−４３８，１９９６．
【非特許文献６】Ｇ．Ｂａｒａｔｏｆｆ，Ａ．Ｎｅｕｂｅｃｋ  ａｎｄ  Ｈ．  Ｒｅｇｅｎｂｒｅｃｈｔ：“Ｉｎｔｅｒａｃｔｉｖｅ  ｍｕｌｔｉ−ｍａｒｋｅｒ  ｃａｌｉｂｒａｔｉｏｎ  ｆｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ａｐｐｌｉｃａｔｉｏｎｓ”，Ｐｒｏｃ．ＩＳＭＡＲ２００２，ｐｐ．１０７−１１６，２００２．
【非特許文献７】Ｈ．Ｋａｔｏ，Ｍ．Ｂｉｌｌｉｎｇｈｕｒｓｔ，Ｉ．Ｐｏｕｐｙｒｅｖ，Ｋ．Ｉｍａｍｏｔｏ  ａｎｄ  Ｋ．Ｔａｃｈｉｂａｎａ：“Ｖｉｒｔｕａｌ  ｏｂｊｅｃｔ  ｍａｎｉｐｕｌａｔｉｏｎ  ｏｎ  ａ  ｔａｂｌｅ−ｔｏｐ  ＡＲ  ｅｎｖｉｒｏｎｍｅｎｔ”，Ｐｒｏｃ．ＩＳＡＲ２０００，  ｐｐ．１１１−１１９，２０００．
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測方法であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
前記第１の配置算出工程と前記第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と
を備えることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
即ち、移動可能な撮像装置の位置および／または姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定方法であって、
第１指標／指標群の一部または全部と、一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第１の撮像工程と、
第１の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出工程と、
第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像工程と、
前記第２の撮像工程を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出工程と、
第１の配置算出工程と第２の配置算出工程の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出工程と、
前記補助指標を利用せず、前記第１指標／指標群と前記第２指標／指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定工程と
を備えることを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
即ち、移動可能な撮像装置により現実空間内の複数の指標を撮像することによって、指標間の相対的配置関係を計測する方法において、現実空間内のある第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群とが、相対的な配置関係を計測できるに足りる条件で撮像できない配置または条件にある場合であっても、第１の領域に存在する第１指標もしくは指標群と、第２の領域に存在する第２指標もしくは指標群との間の相対的な配置関係を計測する指標配置計測装置であって、
前記第１指標／指標群の一部または全部と一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標との双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
前記第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
前記第１の配置算出手段と前記第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と
を備えることを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
即ち、移動可能な撮像装置の位置および／または姿勢を、現実空間に存在する指標を基に推定する位置姿勢推定装置であって、
第１指標／指標群の一部または全部と、一時的に現実空間内に配置された３次元空間における位置および姿勢が定義可能な補助指標と、の双方が同時に映るように撮像する第１の撮像手段と、
第１の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第１指標／指標群と補助指標との相対的な配置関係を算出する第１の配置算出手段と、
第２指標／指標群の一部または全部と前記補助指標との双方が同時に映るように撮像する第２の撮像手段と、
前記第２の撮像手段による撮像を１回もしくは複数回繰り返して得られる一枚もしくは複数枚の画像から、前記第２指標／指標群と前記補助指標との相対的な配置関係を算出する第２の配置算出手段と、
第１の配置算出手段と第２の配置算出手段の結果から、前記第１指標／指標群と前記第２指標／指標群との相対的配置関係を算出する第３の配置算出手段と、
前記補助指標を利用せず、前記第１指標／指標群と前記第２指標／指標群の配置を利用して、前記撮像装置の位置姿勢を推定する撮像装置位置姿勢推定手段と
を備えることを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、「座標系Ａ、及び座標系Ｂの双方において既知である平面上に、橋渡しマーカが存在する」という条件が与えられている場合には、橋渡しマーカは識別可能な２点のみの指標であっても、座標系Ａにおける位置姿勢および、座標系Ｂにおける位置姿勢が算出可能なことから、橋渡しマーカは識別可能な２点の指標であってもよい。本実施形態では、特別な拘束条件がなくても橋渡しマーカとして利用できるように、向きが識別できる三角形指標を橋渡しマーカとして用いる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
マーカキャリブレーション処理では得られたそれぞれのマーカの識別結果（識別したマーカの識別子）、画像座標値、検出した画像がどの撮像装置から得られたものであるのかを識別するための識別子、この画像の撮影時における撮像装置の位置姿勢情報のセットを用いて、例えば上記バンドル調整によって、このそれぞれのマーカの配置位置姿勢を求める処理が行われ、結果が指標情報管理部３７０に送られる。そして、上述した、処理ステップＳ７０２へながる。