【手続補正書】
【提出日】平成23年9月13日(2011.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する装置であって、
観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得手段と、
前記取得手段により取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成手段と、
前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成手段とを備えることを特徴とする位置姿勢推定用モデル生成装置。
【請求項２】
前記取得手段は、前記観察対象物体の形状を表す３次元モデルを描画することにより得られるデプスバッファを利用して前記奥行き画像を取得することを特徴とする請求項１に記載の位置姿勢推定用モデル生成装置。
【請求項３】
前記取得手段は、観察対象物体の形状を表す３次元モデルとして、ＣＡＤモデルを利用して前記奥行き画像を取得することを特徴とする請求項２に記載の位置姿勢推定用モデル生成装置。
【請求項４】
前記取得手段は、モデル描画機能を有する外部アプリケーションの描画命令を監視して、前記外部アプリケーションによる描画時のデプスバッファを、前記奥行き画像として取得することを特徴とする請求項１に記載の位置姿勢推定用モデル生成装置。
【請求項５】
前記点群生成手段は、前記奥行き画像を構成する画素を間引いて前記３次元点群データを生成することを特徴とする請求項１乃至４のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項６】
前記点群生成手段は、位置姿勢推定に利用する範囲内で前記３次元点群データを生成することを特徴とする請求項１乃至５のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項７】
前記モデル生成手段は、位置姿勢推定において利用する特徴に応じた位置姿勢推定用モデルを、前記３次元点群データから生成することを特徴とする請求項１乃至６のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項８】
前記モデル生成手段は、エッジに基づく位置姿勢推定手法に利用することを前提とした位置姿勢推定用モデルを前記３次元点群データから生成することを特徴とする請求項７に記載の位置姿勢推定用モデル生成装置。
【請求項９】
前記モデル生成手段は、前記奥行き画像からエッジを抽出したときに、所定長さに満たないエッジとして抽出される形状情報を省略して、位置姿勢推定用モデルを生成することを特徴とする請求項８に記載の位置姿勢推定用モデル生成装置。
【請求項１０】
前記モデル生成手段は、位置姿勢推定において利用する範囲内について、前記３次元点群データから位置姿勢推定用モデルを生成することを特徴とする請求項１乃至９のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項１１】
前記モデル生成手段において、前記３次元点群データから生成する位置姿勢推定用モデルは、ポリゴンパッチにより構成されたメッシュモデルであることを特徴とする請求項１乃至１０のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項１２】
前記モデル生成手段は、前記３次元点群データから生成した位置姿勢推定用モデルの頂点数が所定数よりも多い場合には、ポリゴンリダクションを行ってデータ量を削減することを特徴とする請求項１１に記載の位置姿勢推定用モデル生成装置。
【請求項１３】
前記モデル生成手段において、前記３次元点群データから生成する位置姿勢推定用モデルは、陰関数多項式モデルであることを特徴とする請求項１乃至１０のいずれか１項に記載の位置姿勢推定用モデル生成装置。
【請求項１４】
前記３次元モデルは、面の情報がパラメトリックに記述されたソリッドモデルまたは、頂点と面とで構成されたメッシュモデルであることを特徴とする請求項１乃至１３のいずれか一項に記載の位置姿勢推定用モデル生成装置。
【請求項１５】
前記モデル生成手段は、モデルの形状、スケール、若しくはメッシュモデルの頂点数に応じて詳細度が決定することを特徴とする請求項１１に記載の位置推定用モデル生成装置。
【請求項１６】
撮像装置により撮像される観察対象物体と、観察対象物体の形状を表す３次元モデルとの対応付けに基づいて位置姿勢を算出する位置姿勢算出装置であって、
請求項１乃至１５のいずれか１項に記載された位置姿勢推定用モデル生成装置と、
前記撮像装置が撮像した撮影画像を入力する入力手段と、
前記位置姿勢推定用モデル生成装置により生成された位置姿勢推定用３次元モデルから位置姿勢推定用の特徴を抽出するモデル特徴抽出手段と、
前記モデル特徴抽出手段で抽出された特徴に対応する特徴を、前記撮影画像から抽出する画像特徴抽出手段と、
前記モデル特徴と前記画像特徴とを対応付けた結果に基づいて、前記撮像装置の前記観察対象物体に対する位置及び姿勢を算出する算出手段とを備えることを特徴とする位置姿勢算出装置。
【請求項１７】
前記モデル特徴抽出手段および前記画像特徴抽出手段は、エッジまたは輝度分布を特徴として抽出することを特徴とする請求項１６に記載の位置姿勢算出装置。
【請求項１８】
請求項１６または１７に記載された位置姿勢算出装置と、
前記位置姿勢算出装置が算出した撮像装置の観察対象物体に対する位置及び姿勢に基づいて仮想空間画像を生成する仮想空間画像生成手段と、
前記撮像装置によって得られた撮影画像に前記仮想空間画像を重畳した画像を合成する画像合成手段と、
前記画像合成手段によって合成された画像を表示する表示手段とを備えることを特徴とする画像処理装置。
【請求項１９】
撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する、情報処理装置による位置姿勢推定用モデル生成方法であって、
取得手段が、観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得工程と、
点群生成手段が、前記取得工程で取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成工程と、
モデル生成手段が、前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成工程とを有することを特徴とする位置姿勢推定用モデル生成方法。
【請求項２０】
撮像装置により撮像される観察対象物体と、観察対象物体の形状を表す３次元モデルとの対応付けに基づいて位置姿勢推定する、情報処理装置による位置姿勢算出方法であって、
第１実行手段が、請求項１９に記載された位置姿勢推定用モデル生成方法を実行する工程と、
入力手段が、前記撮像装置が撮像した撮影画像を入力する入力工程と、
モデル特徴抽出手段が、前記位置姿勢推定用モデル生成方法により生成された位置姿勢推定用３次元モデルから位置姿勢推定用の特徴を抽出するモデル特徴抽出工程と、
画像特徴抽出手段が、前記モデル特徴抽出工程で抽出された特徴に対応する特徴を、前記撮影画像から抽出する画像特徴抽出工程と、
算出手段が、前記モデル特徴と前記画像特徴とを対応付けた結果に基づいて、前記撮像装置の前記観察対象物体に対する位置及び姿勢を算出する算出工程とを有することを特徴とする位置姿勢算出方法。
【請求項２１】
情報処理装置による画像処理方法であって、
第２実行手段が、請求項２０に記載された位置姿勢算出方法を実行する工程と、
仮想空間画像生成手段が、前記位置姿勢算出方法を実行して算出された、撮像装置の観察対象物体に対する位置及び姿勢に基づいて仮想空間画像を生成する仮想空間画像生成工程と、
画像合成手段が、前記撮像装置によって得られた撮影画像に前記仮想空間画像を重畳した画像を合成する画像合成工程と、
表示手段が、前記画像合成工程によって合成された画像を表示する表示工程とを有することを特徴とする画像処理方法。
【請求項２２】
請求項１９乃至２１のいずれか１項に記載された方法の各工程をコンピュータに実行させるプログラム。
【請求項２３】
請求項２２に記載されたプログラムを格納した、コンピュータ読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
上記の目的を達成するための本発明の一態様による位置推定用モデル生成装置は以下の構成を備える。即ち、
撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する装置であって、
観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得手段と、
前記取得手段により取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成手段と、
前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成手段とを備える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、上記の目的を達成するための本発明の一態様による位置推定用モデル生成方法は、
撮像装置の観察対象物体に対する相対的な位置及び姿勢を推定するために、位置姿勢推定用の３次元モデルを生成する、情報処理装置による位置姿勢推定用モデル生成方法であって、
取得手段が、観察対象物体の形状を表す３次元情報を利用して、所定の点から観察対象物体までの距離が画素ごとに格納された奥行き画像を取得する取得工程と、
点群生成手段が、前記取得工程で取得した前記奥行き画像から、観察対象物体の形状を表す３次元点群データを生成する点群生成工程と、
モデル生成手段が、前記３次元点群データから、位置姿勢推定用３次元モデルを生成するモデル生成工程とを有する。