(57)【要約】      （修正有）【課題】計測対象物の位置を高精度に計測するのに有利な計測装置を提供する。【解決手段】計測対象物にパターン光を投影する投影部と、パターン光が投影された計測対象物を、互いに異なる方向からそれぞれ撮像して画像を取得する第１及び第２撮像部と、第１撮像部で取得された第１及び第２撮像部で取得された第２画像の少なくとも一方に基づいて、計測対象物の位置に関する情報を求める処理部と、を有し、処理部は、投影部の状態に応じた計測誤差を表すモデルに従って、計測対象物の計測領域のうち第１及び第２撮像部で撮像される重複領域に対応する第１及び第２画像のそれぞれの領域から得られる第１計測値から、計測領域のうち第１又は第２撮像部でしか撮像されない非重複領域に対応する第１又は第２画像の領域から得られる第２計測値に適用する補正量を決定し、適用することで非重複領域における計測誤差が補正された計測値を得ることを特徴とする計測装置。【選択図】図１
2020139869.tif 000002
【特許請求の範囲】
【請求項１】
計測対象物の位置を計測する計測装置であって、
前記計測対象物にパターン光を投影する投影部と、
前記パターン光が投影された前記計測対象物を、互いに異なる方向からそれぞれ撮像して画像を取得する第１撮像部及び第２撮像部と、
前記第１撮像部で取得された第１画像及び前記第２撮像部で取得された第２画像の少なくとも一方に基づいて、前記計測対象物の位置に関する情報を求める処理を行う処理部と、を有し、
前記処理部は、前記投影部の状態に応じた計測誤差を表すモデルに従って、前記計測対象物の計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値から、前記計測領域のうち前記第１撮像部又は前記第２撮像部でしか撮像することができない非重複領域に対応する前記第１画像又は前記第２画像の領域から得られる第２計測値に適用する前記計測誤差を補正するための補正量を決定し、当該補正量を前記第２計測値に適用することで前記非重複領域における前記計測誤差が補正された計測値を得ることを特徴とする計測装置。
【請求項２】
前記モデルは、前記投影部の光軸ずれに起因して生じる、前記第１撮像部及び前記第２撮像部と前記計測領域との間の距離の変動による計測誤差を表すモデルを含むことを特徴とする請求項１に記載の計測装置。
【請求項３】
前記モデルは、前記投影部の倍率の変化に起因して生じる、前記第１撮像部及び前記第２撮像部と前記計測領域との相対的な位置の変動による計測誤差を表すモデルを含むことを特徴とする請求項１に記載の計測装置。
【請求項４】
前記モデルは、前記投影部の回転に起因して生じる、前記第１撮像部及び前記第２撮像部と前記計測領域との相対的な位置の変動による計測誤差を表すモデルを含むことを特徴とする請求項１に記載の計測装置。
【請求項５】
前記第１撮像部と前記第２撮像部とは、前記投影部を挟んで配置されていることを特徴とする請求項１乃至４のうちいずれか１項に記載の計測装置。
【請求項６】
前記第１撮像部と前記第２撮像部とは、前記投影部に対して対称に配置されていることを特徴とする請求項５に記載の計測装置。
【請求項７】
前記処理部は、前記重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値を平均化することで前記重複領域における前記計測誤差が補正された計測値を得ることを特徴とする請求項１乃至６のうちいずれか１項に記載の計測装置。
【請求項８】
前記処理部は、前記計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる領域であり、且つ、前記計測対象物のエッジ領域及び前記計測対象物の面傾斜量が基準傾斜量よりも大きい領域を除く領域を前記重複領域として設定することを特徴とする請求項１乃至７のうちいずれか１項に記載の計測装置。
【請求項９】
計測対象物の位置を計測する計測装置であって、
前記計測対象物に位相シフトパターンを通過した光を投影する投影部と、
前記光が投影された前記計測対象物を、互いに異なる方向からそれぞれ撮像して画像を取得する第１撮像部及び第２撮像部と、
前記第１撮像部で取得された第１画像及び前記第２撮像部で取得された第２画像の少なくとも一方に基づいて、前記計測対象物の位置に関する情報を求める処理を行う処理部と、を有し、
前記処理部は、前記投影部の状態に応じた周期誤差を表すモデルに従って、前記計測対象物の計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値から、前記計測領域のうち前記第１撮像部又は前記第２撮像部でしか撮像することができない非重複領域に対応する前記第１画像又は前記第２画像の領域から得られる第２計測値に適用する前記周期誤差を補正するための補正量を決定し、当該補正量を前記第２計測値に適用することで前記非重複領域における前記周期誤差が補正された計測値を得ることを特徴とする計測装置。
【請求項１０】
計測対象物の位置を算出する算出方法であって、
パターン光が投影された計測対象物を、互いに異なる方向から第１撮像部及び第２撮像部それぞれで撮像することにより、前記第１撮像部で取得された第１画像及び前記第２撮像部で取得された第２画像の少なくとも一方に基づいて、前記計測対象物の位置に関する情報を求める工程を有し、
前記工程では、前記パターン光を投影する投影部の状態に応じた計測誤差を表すモデルに従って、前記計測対象物の計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値から、前記計測領域のうち前記第１撮像部又は前記第２撮像部でしか撮像することができない非重複領域に対応する前記第１画像又は前記第２画像の領域から得られる第２計測値に適用する前記計測誤差を補正するための補正量を決定し、当該補正量を前記第２計測値に適用することで前記非重複領域における前記計測誤差が補正された計測値を得ることを特徴とする算出方法。
【請求項１１】
計測対象物の位置を算出する算出方法であって、
パターン光が投影された計測対象物を、互いに異なる方向から第１撮像部及び第２撮像部それぞれで撮像することにより、前記第１撮像部で取得された第１画像及び前記第２撮像部で取得された第２画像の少なくとも一方に基づいて、前記計測対象物の位置に関する情報を求める工程を有し、
前記工程では、前記パターン光を投影する投影部の状態に応じた周期誤差を表すモデルに従って、前記計測対象物の計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値から、前記計測領域のうち前記第１撮像部又は前記第２撮像部でしか撮像することができない非重複領域に対応する前記第１画像又は前記第２画像の領域から得られる第２計測値に適用する前記周期誤差を補正するための補正量を決定し、当該補正量を前記第２計測値に適用することで前記非重複領域における前記周期誤差が補正された計測値を得ることを特徴とする算出方法。
【請求項１２】
請求項１乃至９のうちいずれか１項に記載の対象物の位置を計測する計測装置と、
前記計測装置で計測された前記対象物の位置に基づいて、前記対象物を把持する把持装置と、
を有することを特徴とするシステム。
【請求項１３】
請求項１０又は１１に記載の算出方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置、算出方法、システム及びプログラムに関する。
【背景技術】
【０００２】
計測対象物を撮像して得られた画像を利用する３次元計測技術は、計測対象物（実物）からの３次元モデルの生成や計測対象物の位置姿勢計測などの様々な目的に用いることができる。３次元計測技術の代表的な方法の１つであるステレオ法では、相対的な位置及び姿勢が既知である２つの撮像部（ステレオ撮像部）で得られた画像に対して、三角測量の原理に基づいて３次元計測を行う。
【０００３】
このような３次元計測では、その信頼性を高めるために、ステレオ撮像部のうちの一方の撮像部をプロジェクタなどの照明部に置き換えて、計測対象物に３次元計測用のパターン（パターン光）を投影することも広く行われている。また、プロジェクタに対して異なる方向に配置された複数の撮像部のそれぞれで得られた画像を用いることで、スペキュラー成分の強い光沢面を有する計測対象物に対する計測を可能とする技術も提案されている（特許文献１及び２参照）。かかる技術には、複数の撮像部のうち、一方の撮像部では死角となる箇所について、他方の撮像部で撮像することで、システム全体の死角を低減する効果もある。更に、複数の撮像部のそれぞれで得られる計測結果を合成することでセンサノイズや輪郭近傍のノイズが改善される効果もある。各撮像部の計測結果の合成としては、計測座標値の平均化などの手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２１８６２号公報
【特許文献２】特開２０１８−１４６３４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、３次元計測技術において、撮像部やプロジェクタ（の光学系）、及び、その相対位置姿勢は、温度に応じて膨張又は収縮するため、温度変化によって計測対象物上の計測点の計測結果にずれが生じることがある。特に、プロジェクタの光学系では、光源の発熱によって物体温度や周辺との温度分布が変化しやすく、更に、反射型表示素子を用いた場合には、光学系に反射面を含むため、温度による変形などに敏感となる場合が多い。従って、温度変化を補正する必要があるが、時間的な温度変化が大きい環境では、高精度な温度補正が困難となるため、補正残差の発生が問題となる。但し、このような補正残差は、複数の撮像部のそれぞれで得られる計測結果を合成することによって、大きく低減することが可能である。
【０００６】
特許文献１及び２に開示された技術は、上述したように、死角がある場合や計測対象物が光沢性（高い光量ダイナミックレンジ）を有する場合でも、１つの撮像部のみの計測結果を用いることで３次元計測を可能としている。但し、１つの撮像部のみの計測結果を用いる箇所では、上述したような補正残差などの平均化効果が得られない。
【０００７】
なお、多数の撮像部を配置して、死角やダイナミックレンジを逸脱する領域が実質的に発生しないようにする手法が考えられるが、装置コストや処理速度が増大してしまう。また、計測領域空間に補正用のマーカを配置して、かかるマーカの計測結果を用いて補正する手法も考えられるが、補正用のマーカを配置しなければならないため、ユーザビリティを損なってしまう。
【０００８】
本発明は、このような従来技術の課題に鑑みてなされ、計測対象物の位置を高精度に計測するのに有利な計測装置を提供することを例示的目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一側面としての計測装置は、計測対象物の位置を計測する計測装置であって、前記計測対象物にパターン光を投影する投影部と、前記パターン光が投影された前記計測対象物を、互いに異なる方向からそれぞれ撮像して画像を取得する第１撮像部及び第２撮像部と、前記第１撮像部で取得された第１画像及び前記第２撮像部で取得された第２画像の少なくとも一方に基づいて、前記計測対象物の位置に関する情報を求める処理を行う処理部と、を有し、前記処理部は、前記投影部の状態に応じた計測誤差を表すモデルに従って、前記計測対象物の計測領域のうち前記第１撮像部及び前記第２撮像部の両方で撮像することができる重複領域に対応する前記第１画像及び前記第２画像のそれぞれの領域から得られる第１計測値から、前記計測領域のうち前記第１撮像部又は前記第２撮像部でしか撮像することができない非重複領域に対応する前記第１画像又は前記第２画像の領域から得られる第２計測値に適用する前記計測誤差を補正するための補正量を決定し、当該補正量を前記第２計測値に適用することで前記非重複領域における前記計測誤差が補正された計測値を得ることを特徴とする。
【００１０】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される実施形態によって明らかにされるであろう。
【発明の効果】
【００１１】
本発明によれば、例えば、計測対象物の位置を高精度に計測するのに有利な計測装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一側面としての計測装置の基本的な構成を示す概略図である。
【図２】距離計測方法を説明するためのフローチャートである。
【図３】投影部から計測対象物に投影するパターンの一例を示す図である。
【図４】グレイコード及び空間コードの一例を示す図である。
【図５】図２に示す距離合成ステップの詳細なフローチャートである。
【図６】計測距離の合成による計測誤差の低減を説明するための図である。
【図７】投影部の回転や倍率変化に起因して生じる計測誤差を説明するための図である。
【図８】周期誤差の補正を説明するための図である。
【図９】図１に示す計測装置と、ロボットとを有するシステムの構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。更に、添付図面においては、同一もしくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１４】
図１は、本発明の一側面としての計測装置ＭＡの基本的な構成を示す概略図である。計測装置ＭＡは、計測対象シーン５としての計測対象物５１及び５２の位置（形状（３次元的な距離））を計測する装置であって、例えば、距離計測装置として具現化される。計測装置ＭＡは、計測対象物にパターン光を投影する投影部４と、パターン光が投影された計測対象物を、互いに異なる方向からそれぞれ撮像して画像を取得する第１撮像部１及び第２撮像部２とを有する。更に、計測装置ＭＡは、第１撮像部１で取得された第１画像及び第２撮像部２で取得された第２画像の少なくとも一方に基づいて、計測対象物５１及び５２の位置（形状）に関する情報を求める処理を行う処理部３を有する。
【００１５】
投影部４は、光源４１と、照明光学系４２と、表示素子４３と、投影光学系４４とを含む。光源４１には、ハロゲンランプやＬＥＤなどの各種の発光素子を用いることができる。照明光学系４２は、光源４１から射出した光を表示素子４３に導くための光学系である。なお、表示素子４３に入射させる光に関しては、入射角度分布が均一であることが好ましい。従って、照明光学系４２には、例えば、ケーラー照明や拡散板などの輝度分布の均一化に適した光学系が用いられる。表示素子４３には、透過型のＬＥＤや反射型のＬＣＯＳ、ＤＭＤなどを用いることができる。表示素子４３は、照明光学系４２からの光を投影光学系４４に導く際に、透過率又は反射率を空間的に制御する。投影光学系４４は、表示素子４３に表示されたパターンを計測対象物５１及び５２の特定位置（計測点）に結像させるための光学系である。
【００１６】
第１撮像部１は、第１撮像レンズ１４と、第１撮像素子１３とを含み、同様に、第２撮像部２は、第２撮像レンズ２４と、第２撮像素子２３とを含む。第１撮像レンズ１４は、計測対象物の特定位置を第１撮像素子１３に結像させるための光学系であり、同様に、第２撮像レンズ２４は、計測対象物の特定位置を第２撮像素子２３に結像させるための光学系である。第１撮像素子１３及び第２撮像素子２３には、ＣＭＯＳセンサやＣＣＤセンサなどの各種の光電変換素子を用いることができる。第１撮像部１と第２撮像部２とは、投影部４を挟んで配置され、具体的には、投影部４に対して対称に配置されている。
【００１７】
処理部３は、投影部４、第１撮像部１及び第２撮像部２を制御し、第１撮像部１や第２撮像部２で取得された画像を処理して計測対象物５１及び５２の形状、即ち、３次元的な距離を求める処理を行う。処理部３は、ハードウェアとして、ＣＰＵと、メモリと、ディスプレイと、ハードディスクなどの記憶装置と、入出力用の各種のインターフェースとを含む汎用のコンピュータ（情報処理装置）を含む。また、処理部３は、ソフトウェアとして、本実施形態における計測方法（距離計測方法）をコンピュータに実行させるプログラムを含む。処理部３は、かかるプログラムをＣＰＵで実行することによって、パターン制御部３０、第１取得部３１、第２取得部３２、第１演算部３３、第２演算部３４、合成部３５及びパラメータ記憶部３６の各部を実現する。
【００１８】
パターン制御部３０は、計測対象物５１及び５２に投影すべきパターンに対応するパターンデータを生成して、かかるパターンデータを記憶装置に予め記憶する。また、パターン制御部３０は、必要に応じて、記憶装置に記憶したパターンデータを読み出し、例えば、ＤＶＩなどの汎用的なディスプレイ用インターフェースを介して、パターンデータを投影部４に伝送する。更に、パターン制御部３０は、ＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インターフェースを介して、投影部４の動作を制御する。なお、投影部４では、パターンデータに基づいて、計測対象物５１及び５２に投影するパターンを表示素子４３に表示する。
【００１９】
第１取得部３１は、第１撮像部１で標本化及び量子化されたディジタルの画像信号を取り込み、かかる画像信号から各画素の画像輝度値（濃度値）で表される画像データを取得してメモリに記憶する。同様に、第２取得部３２は、第２撮像部２で標本化及び量子化されたディジタルの画像信号を取り込み、かかる画像信号から各画素の画像輝度値で表される画像データを取得してメモリに記憶する。なお、第１取得部３１及び第２取得部３２は、それぞれ、ＲＳ２３２ＣやＩＥＥＥ４８８などの汎用の通信インターフェースを介して、第１撮像部１及び第２撮像部２の動作（撮像のタイミングなど）を制御する。
【００２０】
第１取得部３１と、第２取得部３２と、パターン制御部３０とは、互いに連携して動作する。表示素子４３が計測対象物５１及び５２に投影するパターンを表示すると、パターン制御部３０は、第１取得部３１及び第２取得部３２のそれぞれに信号を送信する。第１取得部３１及び第２取得部３２は、パターン制御部３０から信号を受信すると、第１撮像素子１３及び第２撮像素子２３を動作させて、第１撮像部１及び第２撮像部２による計測対象物５１及び５２の撮像を実施する。計測対象物５１及び５２の撮像が完了すると、第１取得部３１及び第２取得部３２は、パターン制御部３０に信号を送信する。パターン制御部３０は、第１取得部３１及び第２取得部３２から信号を受信すると、表示素子４３に表示させるパターンを次のパターンに変更する。これらを順次繰り返すことで、計測対象物５１及び５２に投影すべき全てのパターンに対してパターン画像を取得する。
【００２１】
第１演算部３３は、第１取得部３１によって取得されたパターン画像（第１画像）に基づいて、計測対象物５１及び５２の距離を演算する。同様に、第２演算部３４は、第２取得部３２によって取得されたパターン画像（第２画像）に基づいて、計測対象物５１及び５２の距離を演算する。本実施形態では、位相シフトパターンを用いてパターン位相を検出する位相シフト法による距離計測を行う。位相シフト法で検出された位相の曖昧性に関しては、グレイコードパターンによって求めた空間符号に検出位相を割り付けることでアンラップされた位相を取得する空間符号化法を用いた公知技術を利用する。但し、本発明が適用可能な計測手法は、位相シフト法や空間符号化法に限定されるものではない。
【００２２】
合成部３５は、第１演算部３３及び第２演算部３４によって演算された演算結果（計測距離）を合成する。合成部３５については、後で詳細に説明する。
【００２３】
パラメータ記憶部３６には、計測対象物５１及び５２の３次元的な距離を求めるのに必要なパラメータが格納される。パラメータ記憶部３６に格納されるパラメータは、例えば、投影部４、第１撮像部１及び第２撮像部２に関する機器パラメータ、投影部４、第１撮像部１及び第２撮像部２に関する内部パラメータなどを含む。また、パラメータ記憶部３６に格納されるパラメータは、周期誤差補正パラメータ、投影部４と第１撮像部１との間の外部パラメータ、投影部４と第２撮像部２との間の外部パラメータなども含む。
【００２４】
機器パラメータは、表示素子４３の画素数や第１撮像素子１３及び第２撮像素子２３の画素数などを含む。内部パラメータは、焦点距離、画像中心、ディストーションによる画像歪みの係数などを含み、これらは、内部パラメータのキャリブレーションによって得られる。周期誤差補正パラメータは、計測対象物５１及び５２に投影するパターン（パターン光）の波形が正弦波からずれることによる位相検出時の周期誤差を補正するためのパラメータを含み、計測前のキャリブレーションによって得られる。投影部４と第１撮像部１との間の外部パラメータは、投影部４と第１撮像部１との相対的な位置関係を表す並進ベクトル及び回転行列を含む。同様に、投影部４と第２撮像部２との間の外部パラメータは、投影部４と第２撮像部２との相対的な位置関係を表す並進ベクトル及び回転行列を含む。これらは、外部パラメータのキャリブレーションによって得られる。
【００２５】
図２を参照して、空間符号化法及び位相シフト法を用いた距離計測の原理と、第１撮像部１で得られた計測距離と第２撮像部２で得られた計測距離との合成方法とを説明する。図２は、本実施形態における距離計測方法（計測対象物の位置を算出する算出方法）を説明するためのフローチャートである。第１撮像部１及び第２撮像部２のそれぞれによる距離計測は、投影撮像ステップＳ１０、位相検出ステップＳ１１、デコードステップＳ１２、位相アンラップステップＳ１３及び距離計測ステップＳ１４の５つのステップに大別される。Ｓ１０乃至Ｓ１４の各ステップを第１撮像部１及び第２撮像部２のそれぞれに対して実施し、距離合成ステップＳ１５において、第１撮像部１及び第２撮像部２のそれぞれで得られた計測距離を合成して最終的な計測距離を求める。
【００２６】
投影撮像ステップＳ１０は、Ｓ１０１と、Ｓ１０２と、Ｓ１０３とを含む。Ｓ１０１では、投影部４から計測対象物５１及び５２にパターンを投影する。具体的には、計測対象物５１及び５２に対して、図３（ａ）に示すグレイコードパターンと、図３（ｂ）に示す位相シフトパターンとを順に投影する。図３（ａ）及び図３（ｂ）は、投影部４から計測対象物５１及び５２に投影するパターンの一例を示す図である。図３（ａ）に示すグレイコードパターンは、３ビットの空間符号化法のグレイコードパターンであるため、投影部４から射出される光を２３（＝８）分割することができる。ビット数を増加させると計測対象物５１及び５２に投影するパターンの数は増加するが、投影部４から射出される光の分割数を増加させることができる。例えば、１０ビットの場合には、投影部４から射出される光を２１０（＝１０２４）分割することが可能となる。また、本実施形態では、位相シフトパターンには、図３（ｂ）に示すように、明暗の周期を１／４ずつシフトさせた４つのパターンを投影する４ステップ法を用いる。一般的に、位相シフトパターンの周期が短いほど、良好な計測精度が得られる。従って、例えば、表示素子４３に画素分割するタイプの表示素子、例えば、ＤＭＤを用いる場合には、２画素ごとにＯＮとＯＦＦを繰り返し、位相シフト可能な範囲でパターンの周期を短く設定するとよい。
【００２７】
Ｓ１０２では、パターンが投影された計測対象物５１及び５２を第１撮像部１及び第２撮像部２のそれぞれで撮像してパターン画像を取得する。なお、計測時間の観点では、計測対象物５１及び５２にパターンを投影しているタイミングにあわせて第１撮像部１及び第２撮像部２を同時に動作させ、それぞれでパターン画像を取得することが好ましい。
【００２８】
Ｓ１０３では、計測対象物５１及び５２に投影すべき全てのパターンに対して画像を取得したかどうかを判定する。全てのパターンに対して画像を取得している場合には、Ｓ１１の位相検出ステップに移行する。一方、全てのパターンに対して画像を取得していない場合には、Ｓ１０１に移行して、次のパターンを計測対象物５１及び５２に投影する。
【００２９】
位相検出ステップＳ１１では、パターン画像のうちの位相シフトパターン画像について、各画素のパターン位相を求める。位相シフト法では、図３（ｂ）に示すパターン位相を１／４周期ずつシフトさせた４つのパターンを基に、以下の式（１）を用いて、各画素のパターン位相φを求める。
φ＝ｔａｎ−１｛（Ｉ０−Ｉ２）／（Ｉ１−Ｉ３）｝×Ｐ      ・・・（１）
式（１）において、Ｉ０乃至Ｉ３は、任意の画素に着目したときの各位相シフトパターンにおける輝度値である。Ｐは、ｔａｎ−１で計算される±π［ｒａｄ］の位相を、表示素子４３の座標に合わせるようにスケーリングさせる係数である。本実施形態では、表示素子４３の４画素を１周期としているため、係数Ｐは、４／２π［画素／ｒａｄ］である。
【００３０】
なお、投影部４においては、投影光学系４４をパターンの解像度が大きく劣化しない範囲でデフォーカスさせ、計測対象物５１及び５２に投影されるパターンを正弦波状とすることが好ましい。第１撮像部１や第２撮像部２をデフォーカスさせたり、それらで得られる画像に平滑化フィルタを適用したりすることで、正弦波状とすることも可能である。但し、解像度の観点では、計測対象物５１及び５２に投影されるパターンを正弦波状とすることが好ましい。
【００３１】
なお、計測対象物５１及び５２に投影されるパターンが正弦波からずれる場合、計測される位相に従った誤差、所謂、周期誤差が発生するため、計測精度を低下させてしまう。かかる周期誤差は、計測対象物５１及び５２に投影されるパターンの波形に依存するため、事前の装置校正によって周期誤差特性を取得し、装置に記憶させておくことで補正可能である。但し、一般的に、計測対象物５１及び５２に投影されるパターンの波形は、投影部４の画角やデフォーカス量、即ち、パターンが投影される計測対象物５１及び５２の３次元的な概略位置に依存する。従って、計測対象物５１及び５２の３次元的な概略位置に対応した周期誤差特性を用いて補正することが好ましい。計測対象物５１及び５２の３次元的な概略位置は、事前に与えられてもよいし、周期誤差補正を行わない位相で、仮の計測座標を以下で説明するＳ１２乃至Ｓ１４と同様の手順で求め、周期誤差を補正した位相を用いて再計算してもよい。また、周期誤差は、デフォーカス量によって変化するため、温度によって変動するが、投影光学系４４のデフォーカス量に大きく依存する。従って、第１撮像部１及び第２撮像部２において、温度変化による周期誤差の変動は同様であるため、計測距離を合成することで相殺して低減可能である。
【００３２】
デコードステップＳ１２では、空間コード化を行う。具体的には、各ビットのグレイコードパターン画像の各画素について、明暗による二値化判定を行う。二値化判定の閾値には、４つの位相シフトパターン画像の平均画像を用いればよい。二値化判定の結果を順に並べることで、図４に示すように、３ビットのグレイコードが生成される。かかる３ビットのグレイコードを３ビットの空間コードに変換することで、投影部４から射出される光の方向（射出方向）を把握することが可能となる。図４は、グレイコード及び空間コードの一例を示す図である。
【００３３】
位相アンラップステップＳ１３では、位相アランラップを行う。具体的には、パターン画像の各画素について、Ｓ１１で検出した位相をＳ１２で得られた空間コードに割り当てることで、離散的な空間コードを実質的に連続した値を有する空間コードに変換する。これにより、投影部４からの光の射出方向を、より高い分解能で把握することが可能となる。
【００３４】
距離計測ステップＳ１４では、投影部４からの光の射出方向と、第１撮像部１及び第２撮像部２に入射する光の入射方向とに基づいて、三角測量の原理で距離計測処理を行う。パターン画像の画素の情報から、第１撮像部１に入射する入射方向を求めるために、第１撮像部１に関する内部パラメータが用いられ、第１撮像部１のディストーションが補正される。第１撮像部１で取得されるパターン画像の任意の画素の座標を（ＵＣ１ｉ、ＶＣ１ｉ）とし、ディストーション補正後の画素の座標を（ＵＣ１ｉ’、ＶＣ１ｉ’）とする。添え字ｉは、第１撮像部１で取得した画像上の画素番号する。画素は２次元的に配列されているが、ここでは説明を容易にするために、ｉ番目の画素として１次元のＩＤを付与する。また、画素の座標（ＵＣｉ、ＶＣｉ）で検出される空間コードは、ディストーション補正前の表示素子４３の画素位置である。これをＵＰｉとして、ディストーション補正後の表示素子４３の画素位置（ＵＣｉ’、ＶＣｉ’）を求め、パターンの射出方向を求める。投影部４のディストーション補正には、エピポーラ拘束を利用するため、投影部４に関する内部パラメータに加えて、投影部４と第１撮像部１との間の外部パラメータを用いる。また、三角測量の原理で距離計測処理を行う際に、投影部４と第１撮像部１との間の外部パラメータも用いられる。なお、距離合成ステップＳ１５で用いるため、計測される各計測点は、計測点のＩＤであるｉ、３次元の座標、画素位置ＵＣ１ｉ、ＶＣ１ｉ、表示素子上の位置ＵＰｉ’、ＶＰｉ’を関連づけた３次元座標（データ）として保存する。また、第２撮像部２についても同様に、第２撮像部２で取得されたパターン画像の画素番号をｊ番目として、パターン画像の画素位置ＵＣ２ｊ、ＶＣ２ｊ、表示素子上の位置ＵＰｊ’、ＶＰｊ’を関連づけた上で３次元座標を取得する。
【００３５】
このように、Ｓ１０乃至Ｓ１４を経ることで、第１撮像部１及び第２撮像部２のそれぞれでの計測距離を得ることができる。次いで、第１撮像部１及び第２撮像部２のそれぞれで得られた計測距離を合成して、より高精度な計測距離を取得するための距離合成ステップＳ１５について説明する。
【００３６】
図５は、距離合成ステップＳ１５の詳細なフローチャートである。距離合成ステップＳ１５は、Ｓ１５１乃至Ｓ１５７を含む。
【００３７】
Ｓ１５１では、領域判定を行う。本実施形態では、計測対象物５１及び５２の計測領域に対して、第１撮像部１及び第２撮像部２の両方で距離点計測（撮像）することができる重複領域、又は、第１撮像部１又は第２撮像部２でしか距離点計測することができない非重複領域を定義する。なお、第１撮像部１及び第２撮像部２の両方で距離点計測ができない領域は、欠損領域とする。かかる領域の定義は、表示素子４３の座標（ＵＰ’、ＵＶ’）上で行う。具体的には、表示素子４３の座標を格子状に分割し、格子で分割された各領域に第１撮像部１及び第２撮像部２の計測点の各表示素子上の座標（ＵＰｉ’、ＶＰｉ’）、（ＵＰｊ’、ＶＰｊ’）がそれぞれ１つ以上存在するかどうかを判定することで行う。また、どの領域に各計測点が属するのかを判定して計測点ＩＤに関連づける。
【００３８】
Ｓ１５２では、距離点の対応づけを行う。具体的には、Ｓ１５１で重複領域と判定（定義）された領域の各撮像部の計測点に対して、計測対象物５１及び５２の同一位置を計測している点を同定して対応づけを行う。第１撮像部１の任意の計測点に対して、表示素子４３の座標（ＵＰｉ’、ＶＰｉ’）の最も近傍に存在する第２撮像部２の計測点（ＵＰｊ’、ＶＰｊ’）を探索し、第１撮像部１の画素番号ｉと第２撮像部２の画素番号ｊとの対応づけリストを生成する。なお、対応づけの際、一定の範囲内に第２撮像部２の計測点（ＵＰｊ’、ＶＰｊ’）が存在しない場合には、計測点として除外することが好ましい。
【００３９】
Ｓ１５３では、距離点の合成を行う。具体的には、Ｓ１５２で対応づけた各撮像部の計測点において、３次元座標を合成する。かかる合成には、単純平均化を用いてもよいし、位相シフト信号強度などでの重み付けを考慮した平均化を用いてもよい。このような合成によって、第１撮像部１及び第２撮像部２のそれぞれで発生した計測誤差を低減する（相殺する）効果が得られる。センサノイズに起因して生じるランダムな座標誤差の平均化効果だけではなく、温度変化による光学系のパラメータの変化についても相殺される。特に、投影部４では、光源４１の発熱によって、物体温度や周辺との温度分布が変化しやすく、更に、反射型表示素子を用いた場合には、光学系に反射面を含むため、温度による変化などに敏感となり、熱的な安定性が低下してしまう。
【００４０】
図６を参照して、投影部４の状態の変化による計測誤差の発生と、第１撮像部１で得られた計測距離と第２撮像部２で得られた計測距離との合成による計測誤差の低減について説明する。ここでは、表示素子４３の並進変化を例に説明するが、デフォーカス変化による周期誤差の変化などのその他の投影部４に関連する誤差についても同様である。
【００４１】
表示素子４３の任意の画素の座標ＵＰｘを通過する光の射出方向を直線４３１で示し、表示素子４３が温度変化などの環境変化に起因して投影部４の光軸に直交する方向に微少量の並進ずれ（シフト）を生じた場合を説明する。表示素子４３がシフトすることによって、座標ＵＰｘを通過する光の実際の射出方向は、直線４３１から変化し、直線４３２となる。座標ＵＰｘに相当するパターンは、直線４３２と計測対象物５１の表面の交点４６に投影され、第１撮像部１については直線１５、第２撮像部２については直線２５で示す入射光路で撮像される。パラメータ記憶部３６に格納された投影部４に関する内部パラメータは、表示素子４３がシフトしていないときのパラメータであるため、第１撮像部１では距離点１６、第２撮像部２では距離点２６が得られる。距離点１６と距離点２６とは、同一の表示素子４３の座標ＵＰｘを有するため、Ｓ１５１で重複領域に属する距離点と判定され、Ｓ１５３で合成されて距離点５６が得られる。図６に示すように、距離点５６は、距離点１６及び距離点２６の投影部４の光軸方向の誤差が相殺され、誤差が補正された（精度が改善された）距離点である。なお、厳密には、投影部４の光軸に直交した方向にも誤差が発生するが、計測対象物５１の計測領域までの距離が長く、輻輳角が小さい場合には、距離方向の誤差に対して無視することができる。
【００４２】
重複領域においては、上述したように、誤差の相殺による計測精度の向上の効果が得られるが、非重複領域においては、第１撮像部１及び第２撮像部２の一方の計測点しか存在していないため、計測精度の向上の効果が得られない。そこで、本実施形態では、Ｓ１５４、Ｓ１５５及びＳ１５６において、重複領域における距離点の差分からパラメータの変化を求めて補正することで、非重複領域における距離点についても計測精度を向上させる。最終的な距離点としては、Ｓ１５７において、Ｓ１５３で得られた距離点と、Ｓ１５６で得られた距離点とを統合して出力する。
【００４３】
Ｓ１５４では、重複領域のうち、計測誤差を補正するための補正量を演算するための演算領域を設定する。演算領域には、補正量の演算をより高精度に行うため、輝度が急峻に変化する計測対象物５１及び５２のエッジ領域や面傾斜量が基準傾斜量よりも大きい領域（面傾斜が激しい領域）を除く領域を設定するとよい。計測対象物５１及び５２のエッジ領域は、画像における位相シフト信号の振幅変化から検出することができる。また、計測対象物５１及び５２の面傾斜量が基準傾斜量よりも大きい領域は、画像における検出位相変化（空間コード変化）に閾値を設けることで検出することができる。
【００４４】
Ｓ１５５では、計測誤差を補正するための補正量の演算を行う。具体的には、Ｓ１５４で設定した演算領域の距離点のうち、対応づけられた第１撮像部１及び第２撮像部２のそれぞれの距離点から投影部４のパラメータの変化を演算する。ここでは、距離点１６及び距離点２６のみが演算領域に含まれるとする。この場合、距離点５６に対する距離点１６の座標乖離をΔＺとし、補正すべき表示素子４３のシフト量（補正量）をΔＵＰとすると、以下の式（２）から求めることができる。従って、式（２）は、投影部４の状態に応じた計測誤差を表すモデルであって、投影部４の光軸ずれに起因して生じる、第１撮像部１及び第２撮像部２と計測対象物５１（計測領域）との間の距離の変動による計測誤差を表すモデルである。
ΔＵＰ＝ΔＺ・ｆ・Ｌ／ＷＤ２      ・・・（２）
式（２）において、ｆは、投影部４の焦点距離であり、Ｌは、第１撮像部１及び第２撮像部２と投影部４との間の距離である基線長であり、ＷＤは、投影部４と計測対象物５１との間の距離である。距離ＷＤは、計測誤差、即ち、距離点１６と距離点２６との差分よりも十分に大きいため、距離点１６までの距離としてもよいし、距離点２６までの距離としてもよい。ここでは、第１撮像部１及び第２撮像部２のそれぞれについて、１つずつの距離点１６及び２６の対を用いてシフト量ΔＵＰを求めたが、演算領域に含まれる距離点の複数の距離点対を用いてシフト量ΔＵＰを求めてもよい。また、表示素子４３が並進誤差を有するだけではなく、光軸を回転軸として回転した場合や投影部４の倍率が変化した場合には、シフト量ΔＵＰが表示素子４３の座標（ＵＰ、ＶＰ）上で分布を有する。但し、複数の距離点対における座標乖離ΔＺに基づいてシフト量ΔＵＰの分布を予測することが可能である。
【００４５】
図７（ａ）、図７（ｂ）、図７（ｃ）及び図７（ｄ）を参照して、投影部４の回転や倍率変化に起因して生じる計測誤差について説明する。図７（ａ）では、パターンの変化における倍率成分を、図７（ｂ）では、回転成分を、表示素子４３の座標上の場所ごとの変化方向としてベクトルで表現している。図７（ａ）及び図７（ｂ）において、ベクトルの長さは、表示素子４３の座標上の変化量を示し、ベクトルの方向は、変化方向を示している。但し、図７（ａ）及び図７（ｂ）では、実際の表示素子４３の座標上での変化量よりも長くベクトルを図示している。また、ＣＵＰ及びＣＶＰは、表示素子４３の座標中心を示している。倍率成分は、表示素子４３の座標中心からの距離に比例して変形量が大きくなるようにパラメータ化する。変化方向は、放射方向となるようにする。放射方向とは、表示素子４３の座標中心と表示素子４３の各座標とを結ぶベクトルと平行な方向である。回転成分は、表示素子４３の座標中心からの距離に比例して変化量が大きくなるようにパラメータ化する。回転成分の変化方向は、倍率成分とは異なり、接線方向である。接線方向は、表示素子４３の座標中心と表示素子４３の各座標とを結ぶベクトルに対して垂直な方向である。
【００４６】
図７（ｃ）及び図７（ｄ）は、それぞれ、図７（ａ）に示す倍率成分及び図７（ｂ）に示す回転成分におけるパターン変化ベクトルのうち、ＵＰ軸方向を抽出したものである。計測誤差を生じる方向は、エピポーラ線と略直交するＵＰ軸方向であり、図７（ｃ）及び図７（ｄ）は、表示素子４３の座標上の各位置での計測誤差を表している。また、図７（ｃ）に示す倍率成分は、ＵＰに比例した変化量を有し、図７（ｄ）に示す回転成分は、ＶＰに比例した変化量を有することがわかる。
【００４７】
式（２）では、表示素子４３の変化について、並進成分のみに起因して生じる誤差を対象とし、表示素子４３の座標の各場所による変化ベクトルに分布がないものとして説明した。但し、表示素子４３の座標の各場所による変化ベクトルに分布がある場合については、以下の式（３）及び式（４）を用いて、計測誤差を補正するための補正量を求めることができる。従って、倍率成分に関しては、投影部４の倍率の変化に起因して生じる、第１撮像部１及び第２撮像部２と計測対象物５１との相対的な位置の変動による計測誤差を表すモデルに従って補正量を求めればよい。また、回転成分に関しては、投影部４の回転に起因して生じる、第１撮像部１及び第２撮像部２と計測対象物５１との相対的な位置の変動による計測誤差を表すモデルに従って補正量を求めればよい。
ΔＵＰ（ＵＰ、ＶＰ）＝ΔＺ（ＵＰ、ＶＰ）・ｆ・Ｌ／ＷＤ（ＵＰ、ＶＰ）２      ・・・（３）
ΔＵＰ（ＵＰ、ＶＰ）＝ΔＵＰｓｈｉｆｔ＋ΔＵＰｍａｇ（ＵＰ−ＣＵＰ）＋ΔＵＰｒｏｔ（ＶＰ−ＣＶＰ）      ・・・（４）
表示素子４３の座標上で異なる複数の各距離点対におけるΔＵＰ、ΔＺ及びＷＤのそれぞれを、ΔＵＰ（ＵＰ、ＶＰ）、ΔＺ（ＵＰ、ＶＰ）及びＷＤ（ＵＰ、ＶＰ）とする。ΔＵＰｓｈｉｆｔは、並進成分であり、ΔＵＰｍａｇは、上述したように、ＵＰに比例する倍率成分であり、ΔＵＰｒｏｔは、上述したように、ＶＰに比例する回転成分である。式（３）及び式（４）を用いて、演算領域に含まれる複数の距離点対におけるΔＺ（ＵＰ、ＶＰ）を基に、３つのパラメータΔＵＰｓｈｉｆｔ、ΔＵＰｍａｇ及びΔＵＰｒｏｔを求めることで、非重複領域における計測点を補正することができる。
【００４８】
Ｓ１５６では、距離点の補正を行う。具体的には、Ｓ１５１で非重複領域と定義された計測点に関連づけた計測座標に対して、Ｓ１５５で演算した補正量を適用して補正する。式（１）と同様な関係を用いて、ΔＵＰから各点の補正量ΔＺを求めることができる。例えば、図６に示す計測対象物５２の上面が光沢性を有し、スペキュラー成分に起因して第２撮像部２が計測対象物５２を撮像できない場合を考える。この場合、第１撮像部１で得られた誤差を含む計測点群５２６に、図６に示す補正量ΔＺｃｏｍｐを適用することで、正しい距離として補正することが可能となる。計測対象物５２の上面は、図６に示すように、計測対象物５１の上面よりも投影部４、第１撮像部１及び第２撮像部２に近く、距離ＷＤが異なっている。このような場合にも、本実施形態では、ΔＺを求めることができるため、第１撮像部１の距離点群と第２撮像部２の距離点群とを３次元空間上で６軸調整して整合する技術よりも正しく補正することが可能となる。
【００４９】
これまでは、投影部４の誤差成分のうち、表示素子４３が光軸からシフト（光軸ずれ）した場合について説明したが、これに限定されるものではない。表示素子４３が光軸を軸として回転した場合、投影部４の倍率が変化した場合、第１撮像部１及び第２撮像部２に対する相対的な位置が変化した場合にも同様に補正が可能である。また、複数の誤差要因についても同時に補正が可能であるが、その場合、パラメータ補正の自由度が上がるため、演算領域が空間的に十分に多様であることが必要となる。例えば、表示素子４３が光軸からのシフトだけではなく、光軸を軸に回転もする場合を考える。この場合、回転成分は、計測対象物の面が装置に対して傾くように誤差が発生するため、複数の演算領域、或いは、十分に広い演算領域がなければ、２つのパラメータを同時に補正することはできない。従って、誤差要因に応じてパラメータの補正自由度を事前に決定してもよいし、演算領域の空間分布に応じて自由度を増減させてもよい。後者では、計測対象シーン５の空間的な広がりに対して、重複領域が大きく偏らない限りにおいて、必要十分な補正自由度を確保する上でより有利である。また、誤差に対する敏感度が実質的に等しい２つ以上のパラメータが存在する場合には、１つにまとめておくことが好ましい。例えば、第１撮像部１及び第２撮像部２に関する内部パラメータのうちの１つである主点位置と、投影部４と第１撮像部１及び第２撮像部２との間の基線方向の相対角度とは、誤差に対する敏感度が同様であるため、一方のパラメータで代表させればよい。
【００５０】
本実施形態では、重複領域において、第１撮像部１及び第２撮像部２のそれぞれの投影部４に関するパラメータの補正量を演算し、かかる補正量に基づいて非重複領域の３次元座標を求める例を説明したが、これに限定されるものではない。例えば、第１撮像部１及び第２撮像部２のそれぞれの投影部４に関するパラメータの補正量に基づいて、重複領域を含む領域の３次元座標を求めてもよい。また、パラメータ自体の補正量を求めずに、重複領域の２つの計測結果から、第１撮像部１及び第２撮像部２のそれぞれでの３次元座標を直接補正してもよい。重複領域での複数の計測結果に基づいて、非重複領域における第１撮像部１及び第２撮像部２での計測値を求める形態であれば、その具体的な実施形態には限定されない。
【００５１】
また、本実施形態では、倍率成分や回転成分を表示素子４３の座標に比例する誤差成分として表現し、式（４）を用いて補正量を求めた。但し、式（４）の代わりに、各距離点位置でのＵＰの変化に対する距離点変化を求めて生成された距離敏感度テーブルを用いて補正量を求めてもよい。
【００５２】
図８（ａ）、図８（ｂ）及び図８（ｃ）を参照して、周期誤差の補正について説明する。上述したように、周期誤差の補正についても、Ｓ１５の距離合成ステップに含まれる。周期誤差についても、第１撮像部１及び第２撮像部２の両方で撮像することができる重複領域では、距離点を平均化することで相殺可能であるが、非重複領域については誤差が残存する。従って、非重複領域において残存した誤差については、Ｓ１５４で設定した演算領域における第１撮像部１及び第２撮像部２のそれぞれの計測点に基づいて、Ｓ１５５で補正量を演算して距離点を補正する。
【００５３】
図８（ａ）は、位相シフトパターンのうちの１つのパターンのプロファイルを示す図である。図８（ａ）では、横軸は、表示素子４３の座標［ｐｉｘ］を示し、上述したように、表示素子４３の４つの画素の周期の繰り返しパターンとしている。また、表示素子４３による擬似的な矩形パターンを、デフォーカスによって、正弦波に近づけている。但し、一般的には、完全に正弦波にすることはできないため、位相検出時には、図８（ｂ）に示すように、検出位相の周期誤差が発生する。図８（ｂ）では、横軸は、表示素子４３の座標を１周期（４画素）で除算した端数を示し、縦軸は、位相誤差を示す。投影部４から投影されるパターンは、高調波が光学系で減衰された矩形波であるため、位相シフトを検出した場合に、主に、パターン周期の１／４周期の位相誤差が発生する。周期誤差による位相誤差ΔＵＰｃｙｃは、周期誤差補正パラメータＲ及びＩを用いて、以下の式（５）で表すことができる。式（５）において、ＵＰは、位相検出された直後の周期誤差補正前の表示素子４３の座標である。
ΔＵＰｃｙｃ＝Ｒ・ｃｏｓ（２πＵＰ）＋Ｉ・ｓｉｎ（２πＵＰ）      ・・・（５）
周期誤差は、式（５）におけるパラメータＲ及びＩを事前に取得しておけば、計測される端数位相に従って補正可能である。また、パラメータＲ及びＩを計測点の３次元座標に依存した関数として取得しておくと好適である。この場合、周期誤差特性が空間的に分布を有していても補正が可能となる。但し、周期誤差特性は、温度変化や温度分布変化による投影部４のデフォーカス量に大きく依存し、パラメータ変化を全て事前に取得しておくことは現実的ではない。従って、第１撮像部１及び第２撮像部２で得られる計測値に基づいてパラメータ変化を取得することが好ましい。
【００５４】
図８（ｂ）に示す位相誤差が発生した場合の距離誤差を図８（ｃ）に示す。図８（ｃ）では、縦軸は、距離誤差を示し、実線は、第１撮像部１による計測値であり、破線は、第２撮像部２による計測値である。位相誤差が等しい場合、投影部４に対して対称に配置された第１撮像部１及び第２撮像部２による各距離点の誤差は、表示素子４３が並進ずれを起こした場合と同様に符号反転するため、平均化することで相殺可能となる。従って、対応づけられた第１撮像部１と第２撮像部２による距離点の乖離から補正量を得ることができる。
【００５５】
また、周期誤差成分は、位相シフトパターンの１／４周期と高周波な成分であるため、表示素子４３の並進ずれなどによる低周波な誤差と分離することが容易である。従って、演算領域において、第１撮像部１及び第２撮像部２のそれぞれによる距離点について、１画素周期成分を式（５）に従って抽出すれば周期誤差を抽出することができ、非重複領域についても周期誤差を補正することが可能である。
【００５６】
本実施形態によれば、重複領域での計測値に基づいて、非重複領域での計測値を補正することが可能であるため、装置コストや処理速度を増大させることなく、且つ、ユーザビリティを損なうことなく、計測対象物の形状を高精度に計測することができる。
【００５７】
計測装置ＭＡは、例えば、支持部材に支持された状態で使用される。本実施形態では、一例として、図９に示すように、ロボットアーム（把持装置）９１０に計測装置ＭＡを取り付けたシステムＳＴについて説明する。計測装置ＭＡは、支持台９２０に配置された対象物（ワーク）９３０の形状（位置や姿勢）に関する情報を求め、かかる情報を制御部９４０に入力する。制御部９４０は、対象物９３０の位置姿勢に関する情報に基づいて、ロボットアーム９１０に駆動指令を与えてロボットアーム９１０を制御する。ロボットアーム９１０は、先端に取り付けられたロボットハンド（把持部）によって対象物９３０を保持して移動（例えば、並進又は回転）させる。更に、ロボットアーム９１０（ロボットハンド）によって対象物９３０を他の部品に組み付ける（組立）ことで、複数の部品で構成された物品、例えば、電子回路基板や機械などを製造することができる。また、ロボットアーム９１０によって移動させた対象物９３０を加工することで、物品を製造することができる。制御部９４０は、ＣＰＵなどの演算装置やメモリなどの記憶装置を含む。なお、本実施形態では、計測装置ＭＡにおいて、対象物９３０の形状に関する情報を求めている。但し、制御部９４０が計測装置ＭＡからパターン画像を取得して、対象物９３０の形状に関する情報を求めてもよい。また、システムＳＴは、計測装置ＭＡによって計測された対象物９３０の計測データや得られた画像をディスプレイなどの表示部９５０に表示してもよい。
【００５８】
本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５９】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００６０】
ＭＡ：計測装置    １：第１撮像部    ２：第２撮像部    ３：処理部    ４：投影部    ５１、５２：計測対象物
【図１】
2020139869.tif 000003
【図２】
2020139869.tif 000004
【図３】
2020139869.tif 000005
【図４】
2020139869.tif 000006
【図５】
2020139869.tif 000007
【図６】
2020139869.tif 000008
【図７】
2020139869.tif 000009
【図８】
2020139869.tif 000010
【図９】
2020139869.tif 000011