【手続補正書】
【提出日】平成15年9月17日(2003.9.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出方法において、前記被計測物体を撮像する撮像ステップと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップと、前記画像生成ステップにおける所定の位置及び方向をパラメータとして前記複数の画像から前記被計測物体の三次元形状を抽出する三次元形状抽出ステップとを有することを特徴とする三次元形状抽出方法。
【請求項２】
前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とする請求項１記載の三次元形状抽出方法。
【請求項３】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置において、前記被計測物体を撮像する撮像手段と、前記形状が既知の物体を前記撮像手段により所定の位置及び方向から撮像した画像を生成する画像生成手段と、前記撮像手段により取得した画像及び前記画像生成手段により生成した画像を表示する表示手段と、前記画像生成手段における所定の位置及び方向をパラメータとして前記複数の画像から前記被計測物体の三次元形状を抽出する三次元形状抽出手段とを有することを特徴とする三次元形状抽出装置。
【請求項４】
前記撮像手段により得た画像と前記画像生成手段により生成した画像とを合成する画像合成手段を有し、前記表示手段は、前記画像合成手段により合成した画像を表示することを特徴とする請求項３記載の三次元形状抽出装置。
【請求項５】
前記撮像手段は、左右２系統の撮像系を持つカメラであることを特徴とする請求項３記載の三次元形状抽出装置。
【請求項６】
前記表示手段は、前記撮像手段のファインダーウインドウに組み込まれていることを特徴とする請求項３記載の三次元形状抽出装置。
【請求項７】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出方法において、前記被計測物体を撮像する撮像ステップと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップと、前記撮像ステップにより得た複数の画像から撮像パラメータを推定するパラメータ推定ステップと、前記複数の画像と前記パラメータ推定ステップの出力から前記三次元形状を抽出する三次元形状抽出ステップとを有することを特徴とする三次元形状抽出方法。
【請求項８】
前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とする請求項７記載の三次元形状抽出方法。
【請求項９】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置において、前記被計測物体を撮像する撮像手段と、前記形状が既知の物体を前記撮像手段により所定の位置及び方向から撮像した画像を生成する画像生成手段と、前記撮像手段により取得した画像及び前記画像生成手段により生成した画像を表示する表示手段と、前記撮像手段により得た複数の画像から撮像パラメータを推定するパラメータ推定手段と、前記複数の画像と前記パラメータ推定手段の出力から前記被計測物体の三次元形状を抽出する三次元形状抽出手段とを有することを特徴とする三次元形状抽出装置。
【請求項１０】
前記撮像手段により得た画像と前記画像生成手段により生成した画像とを合成する画像合成手段を有し、前記表示手段は、前記画像合成手段により合成した画像を表示することを特徴とする請求項９記載の三次元形状抽出装置。
【請求項１１】
前記撮像手段は、左右２系統の撮像系を持つカメラであることを特徴とする請求項９記載の三次元形状抽出装置。
【請求項１２】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置を制御するプログラムを格納する記憶媒体であって、前記被計測物体を撮像する撮像ステップの撮像モジュールと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップの画像生成モジュールと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップの表示モジュールと、前記画像生成ステップにおける所定の位置及び方向をパラメータとして前記複数の画像から前記被計測物体の三次元形状を抽出する三次元形状抽出ステップの三次元形状抽出モジュールとを有するプログラムを格納したことを特徴とする記憶媒体。
【請求項１３】
前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップの画像合成モジュールを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とする請求項１２記載の記憶媒体。
【請求項１４】
形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置を制御するプログラムを格納する記憶媒体であって、前記被計測物体を撮像する撮像ステップの撮像モジュールと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップの画像生成モジュールと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップの表示モジュールと、前記撮像ステップにより得た複数の画像から撮像パラメータを推定するパラメータ推定ステップのパラメータ推定モジュールと、前記複数の画像と前記パラメータ推定ステップの出力から前記三次元形状を抽出する三次元形状抽出ステップの三次元形状抽出モジュールとを有するプログラムを格納したことを特徴とする記憶媒体。
【請求項１５】
前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップの画像合成モジュールを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とする請求項１４記載の記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明は上述した従来の技術の有するこのような問題点に鑑みてなされたものであり、その第１の目的とするところは、繁雑な設定を行わずに受動的手法によって被計測物体の三次元形状を求めることができる安価な三次元形状抽出方法及び装置並びに記憶媒体を提供しようとするものである。


【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
また、本発明の第２の目的とするところは、第１の目的に加えて、精度良く被計測物体の三次元形状を得ることができる三次元形状抽出方法及び装置並びに記憶媒体を提供しようとするものである。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明の第３の目的とするところは、第１または第２の目的に加えて、被計測物体の画像を容易に撮像することができる三次元形状抽出方法及び装置並びに記憶媒体を提供しようとするものである。


【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
更に、本発明の第４の目的とするところは、第１または第２の目的に加えて、被計測物体の三次元形状を容易に得ることができる三次元形状抽出方法及び装置並びに記憶媒体を提供しようとするものである。


【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、上記第１の目的を達成するために請求項３記載の三次元形状抽出装置は、形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置において、前記被計測物体を撮像する撮像手段と、前記形状が既知の物体を前記撮像手段により所定の位置及び方向から撮像した画像を生成する画像生成手段と、前記撮像手段により取得した画像及び前記画像生成手段により生成した画像を表示する表示手段と、前記画像生成手段における所定の位置及び方向をパラメータとして前記複数の画像から前記被計測物体の三次元形状を抽出する三次元形状抽出手段とを有することを特徴とするものである。


【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、上記第２の目的を達成するために請求項４記載の三次元形状抽出装置は、請求項３記載の三次元形状抽出装置において、前記撮像手段により得た画像と前記画像生成手段により生成した画像とを合成する画像合成手段を有し、前記表示手段は、前記画像合成手段により合成した画像を表示することを特徴とするものである。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、上記第１の目的を達成するために請求項５記載の三次元形状抽出装置は、請求項３記載の三次元形状抽出装置において、前記撮像手段は、左右２系統の撮像系を持つカメラであることを特徴とするものである。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、上記第１の目的を達成するために請求項６記載の三次元形状抽出装置は、請求項３記載の三次元形状抽出装置において、前記表示手段は、前記撮像手段のファインダーウインドウに組み込まれていることを特徴とするものである。


【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、上記第２の目的を達成するために請求項７記載の三次元形状抽出方法は、形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出方法において、前記被計測物体を撮像する撮像ステップと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップと、前記撮像ステップにより得た複数の画像から撮像パラメータを推定するパラメータ推定ステップと、前記複数の画像と前記パラメータ推定ステップの出力から前記三次元形状を抽出する三次元形状抽出ステップとを有することを特徴とするものである。


【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、上記第３の目的を達成するために請求項８記載の三次元形状抽出方法は、請求項７記載の三次元形状抽出方法において、前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とするものである。


【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、上記第２の目的を達成するために請求項９記載の三次元形状抽出装置は、形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置において、前記被計測物体を撮像する撮像手段と、前記形状が既知の物体を前記撮像手段により所定の位置及び方向から撮像した画像を生成する画像生成手段と、前記撮像手段により取得した画像及び前記画像生成手段により生成した画像を表示する表示手段と、前記撮像手段により得た複数の画像から撮像パラメータを推定するパラメータ推定手段と、前記複数の画像と前記パラメータ推定手段の出力から前記被計測物体の三次元形状を抽出する三次元形状抽出手段とを有することを特徴とするものである。


【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、上記第３の目的を達成するために請求項１０記載の三次元形状抽出装置は、請求項９記載の三次元形状抽出装置において、前記撮像手段により得た画像と前記画像生成手段により生成した画像とを合成する画像合成手段を有し、前記表示手段は、前記画像合成手段により合成した画像を表示することを特徴とするものである。


【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、上記第２の目的を達成するために請求項１１記載の三次元形状抽出装置は、請求項９記載の三次元形状抽出装置において、前記撮像手段は、左右２系統の撮像系を持つカメラであることを特徴とするものである。


【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、上記第１の目的を達成するために本発明の請求項１２記載の記憶媒体は、形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置を制御するプログラムを格納する記憶媒体であって、前記被計測物体を撮像する撮像ステップの撮像モジュールと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップの画像生成モジュールと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップの表示モジュールと、前記画像生成ステップにおける所定の位置及び方向をパラメータとして前記複数の画像から前記被計測物体の三次元形状を抽出する三次元形状抽出ステップの三次元形状抽出モジュールとを有するプログラムを格納したことを特徴とするものである。


【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、上記第１の目的を達成するために本発明の請求項１３記載の記憶媒体は、請求項１２記載の記憶媒体において、前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップの画像合成モジュールを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とするものである。


【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、上記第２の目的を達成するために本発明の請求項１４記載の記憶媒体は、形状が既知の物体と共に被計測物体を撮像した少なくとも撮像位置が異なり且つ画像の一部が重複した複数の画像から前記被計測物体の三次元形状を測定する三次元形状抽出装置を制御するプログラムを格納する記憶媒体であって、前記被計測物体を撮像する撮像ステップの撮像モジュールと、前記形状が既知の物体を前記撮像ステップにより所定の位置及び方向から撮像した画像を生成する画像生成ステップの画像生成モジュールと、前記撮像ステップにより取得した画像及び前記画像生成ステップにより生成した画像を表示する表示ステップの表示モジュールと、前記撮像ステップにより得た複数の画像から撮像パラメータを推定するパラメータ推定ステップのパラメータ推定モジュールと、前記複数の画像と前記パラメータ推定ステップの出力から前記三次元形状を抽出する三次元形状抽出ステップの三次元形状抽出モジュールとを有するプログラムを格納したことを特徴とするものである。


【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、上記第２の目的を達成するために本発明の請求項１５記載の記憶媒体は、請求項１４記載の記憶媒体において、前記撮像ステップにより得た画像と前記画像生成ステップにより生成した画像とを合成する画像合成ステップの画像合成モジュールを有し、前記表示ステップは、前記画像合成ステップにより合成した画像を表示することを特徴とするものである。


【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
次に、本実施の形態に係る三次元形状抽出装置における被写体画像と背景画像の抽出動作について説明する。コンピュータ１の三次元形状抽出プログラムを入力装置７からのコマンド入力により起動すると、記憶装置９から順次左右画像データが交互に被写体画像抽出部に９０１に出力される。そして、被写体画像抽出部に９０１で画像データから被写体領域のみの被写体画像と背景領域のみの背景画像を生成する。被写体画像抽出部に９０１では補正パッド４の領域における画像の色情報は予め分かっているので、この色情報を利用して被写体画像と背景画像を抽出している。


【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
次に、特徴点抽出部９０２での処理について説明する。特徴点抽出部９０２では補正パッド４の大きさや補正パッド４上の各特徴点の位置を示す形状データ、画像入力毎のアシスト画像を生成したときの撮像パラメータがそれぞれ記憶されており、この撮像パラメータを利用して補正パッド４の各特徴点の画像上での位置を推定する。このとき、左画像データに対しては撮像データとカメラ２の内部のパラメータ、補正パッド４の形状データから４つの基準点を含めた各特徴点の左画像上での位置を、アシスト画像を生成したときの手順と同様にして推定し、右画像データに対してはカメラ２の基線長Ｂの分だけ画像上での位置がずれるので、撮像データとカメラ２の内部のパラメータ、補正パッド４の形状データとカメラ２の基線長Ｂから４つの基準点を含めた各特徴点の右画像上での位置を推定する。そして、左右画像データに対して被写体画像抽出部９０１の出力である背景画像からそれぞれに各特徴点の推定位置を中心として小領域を切り出し、その領域での輝度及び色情報を示す画像データの重心位置を算出し、特徴点位置とする。


【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
次に、三次元形状抽出処理動作について詳述する。コンピュータ１の三次元形状抽出プログラムを入力装置７からのコマンド入力により起動すると、記憶装置９から順次画像データが被写体画像抽出部９０１に出力される。そして、被写体画像抽出部９０１により画像データから被写体領域のみの被写体画像と背景領域のみの背景画像とを生成する。次いで特徴点抽出部９０２では補正パッド４の大きさや補正パッド４上の各特徴点の位置を示す形状データ、画像入力毎のアシスト画像を生成したときの撮像パラメータがそれぞれ記憶されており、この撮像パラメータを利用して補正パッド４の各特徴点の画像上での位置を推定する。そして、左右画像データに対して、被写体画像抽出部９０１の出力である背景画像からそれぞれに各特徴点の推定位置を中心として小領域を切り出し、その領域での輝度及び色情報を示す画像データの重心位置を算出し、特徴点位置とする。このとき、特徴点の推定位置が被写体領域に入るものは、被写体によって隠されている点であるから、前記重心位置の算出は行わず特徴点位置の検出は行われなかったことを記憶しておく。


【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
【発明の効果】
以上詳述したように本発明によれば、撮像手段の位置及び姿勢の変化を検知するための姿勢検知手段が不要となり、その分コストが提言し、しかも繁雑な設定を行うことなく受動的方法によって物体の三次元形状を精度良く容易に求めることができるという効果を奏する。


【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】削除
【補正の内容】