(57)【要約】【課題】  物体の３次元形状を高精度に計測できるようにすること。【解決手段】  対象物までの距離を計算する情報処理装置であって、パターン光が投影された対象物を撮像手段により撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求め、前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得し、前記対応位置に基づいて対象物までの距離を計算する処理手段、を有することを特徴とする。【選択図】図２
2020197495.tif 000002
【特許請求の範囲】
【請求項１】
対象物までの距離を計算する情報処理装置であって、
パターン光が投影された対象物を撮像手段により撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求め、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、
取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得し、
前記対応位置に基づいて対象物までの距離を計算する処理手段、
を有することを特徴とする情報処理装置。
【請求項２】
前記処理手段は、前記検出位置に対応した前記パターン光上のエピポーラ線を計算し、計算された前記エピポーラ線に基づき仮の距離を算出し、前記仮の距離と前記パラメータに基づいて前記エピポーラ線を修正し、修正されたエピポーラ線に基づき前記対応位置を取得することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記パターン光は複数の計測線と複数の識別特徴を含み、
前記エピポーラ線に基づき前記計測線ごとに最近傍の識別特徴までの距離データを取得した結果を記憶する記憶手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記処理手段は、
前記検出位置に対応した前記パターン光上のエピポーラ線を基準距離のパラメータに基づいて決定し、
前記エピポーラ線に沿って前記対応位置の候補を第１の対応候補位置として検出し、
前記第１の対応候補位置毎に対応する距離に応じたパラメータを第２のパラメータとして取得し、
前記第２のパラメータと前記検出位置に基づいて第２の対応候補位置を決定し、前記第２の対応候補位置に基づいて、前記対応位置を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記パターン光は、複数の計測線と各計測線に少なくとも一部が不等間隔で配置された識別特徴を含むことを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項６】
前記パターン光は、ランダムに配置された識別特徴を含むことを特徴とする請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項７】
パターン光が投影された対象物を撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求めるステップと、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得するステップと、
前記対応位置に基づいて対象物までの距離を計算するステップと、
を有することを特徴とする情報処理方法。
【請求項８】
請求項１〜６のうちいずれか一項に記載の前記情報処理装置としてコンピュータを機能させるためのプログラム。
【請求項９】
パターン光を対象物に投影する投影手段と、
前記パターン光が投影された対象物を撮像する撮像手段と、
請求項１〜６のいずれか一項に記載の情報処理装置と、を有することを特徴とする計測装置。
【請求項１０】
対象物を計測する、請求項９に記載の計測装置と、
前記計測装置により計測した結果に基づいて前記対象物を保持して移動させるロボットと、を有することを特徴とするシステム。
【請求項１１】
請求項９に記載の計測装置を用いて対象物を計測する計測ステップと、
前記計測ステップにより計測した結果に基づいて対象物を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置等に関する。
【背景技術】
【０００２】
従来、物体の３次元形状の計測手法として、照明パターンをプロジェクタで物体に投影し、照明パターンと、カメラで撮影した画像上の照明パターンとの対応から三角測量の原理に基づき形状計測する方法が知られている（特許文献１）。
この手法では、照明パターンに特徴を付与し、画像上の特徴から照明パターン上にエピポーラ線を投影し、エピポーラ線上を探索することにより照明パターンと画像上のパターンを対応付け、三角測量に基づく３次元形状計測を可能にしている。
【０００３】
特許文献１に記載の方法では、マルチスリットの計測線上にランダムに切欠きを加えたパターンを利用して３次元形状の計測をしている。この方法では、計測線が切欠きにより複数の線分に分割されており、計測線を識別するために、この線分上の切欠きの位置を手掛かりにして計算している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１５５８８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般に、ピンホールカメラモデルを用いてカメラ、プロジェクタをモデル化するが、歪みをもつレンズ系ではピンホールモデルと乖離があるため、前記エピポーラ線はカメラと被写体の距離に応じて変わる。そのため、高精度に３次元形状を計測するには歪みの少ない高価なレンズ系を使用する必要があった。
【０００６】
本発明は前述の問題点に鑑み、歪みを有するレンズ系を有する投影系や撮像系を用いた場合にも、高精度に物体までの距離を求めることができる情報処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
対象物までの距離を計算する情報処理装置であって、
パターン光が投影された対象物を撮像手段により撮像して得られた画像から、前記パターン光に含まれる識別特徴を検出し、該識別特徴の前記画像上の位置を検出位置として求め、
前記検出位置に対応した前記パターン光上のエピポーラ線を、前記撮像手段のパラメータであって対象物までの距離に応じたパラメータに基づいて取得し、
取得した前記エピポーラ線に基づき前記検出位置に対応する前記パターン光上の対応位置を取得し、
前記対応位置に基づいて対象物までの距離を計算する処理手段、
を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、高精度に物体までの距離を求めることができる。
【図面の簡単な説明】
【０００９】
【図１】計測線上に特徴を加えたパターンの一例を示す図である。
【図２】実施例の装置構成の一例を示す図である。
【図３】実施例の計測フローを示す図である。
【図４】実施例１において、投影パターンの特徴を基にエピポーラ探索により対応する画像中の特徴点を探索する方法を示した図である。
【図５】ランダムに特徴を配置したパターンの一例を示す図である。
【図６】実施例２において、投影パターンの特徴を基にエピポーラ探索により対応する画像中の特徴点を探索する方法を示した図である。
【図７】画像座標系からパターン座標系へのエピポーラ線の投影を示す図である。
【図８】実施例１における変形例において画像上の各画素に対する識別コストのテーブルを示した図である。
【図９】校正データ格納部に格納された校正データの一例を示した図である。
【図１０】本実施例のエピポーラ探索の詳細フローを示した図である。
【図１１】実施例３の３次元計測装置とロボットアームを含む制御システムを示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
【実施例１】
【００１１】
本実施例では、マルチスリットパターン投影に基づき高精度に物体の３次元形状を計測する手法について説明する。本実施例では、図１に示すように、マルチスリットパターンの計測線１０１上に各計測線を識別するための識別特徴１０２を加えたパターン（パターン光）１００を利用する。本実施例では、計測線の切欠きを識別特徴１０２として用いる。以下、本実施例の詳細について説明する。
図２に、本実施例における計測装置の機能構成例を示す。
【００１２】
本実施例の３次元計測装置２５０は、情報処理装置２００、投影装置（投影手段）２１０、撮像装置（撮像手段）２２０から構成される。情報処理装置２００は、パターン出力部２０１、画像取得部２０２、パターン検出部２０３、パターン識別部２０４、３次元計測部２０５、校正データ格納部２０６を備えている。また、情報処理装置２００にはコンピュータとしてのＣＰＵが内蔵されており、不図示のメモリに記憶されたコンピュータプログラムに基づき装置全体の各種動作を実行する制御手段として機能する。また、後述の対応位置取得手段及び計算手段（演算処理手段）としても機能する。情報処理装置２００は、３次元計測装置２５０以外の外部の装置に設けられていてもよい。あるいはＰＣに本実施例に対応したソフトウェアをインストールすることによって実現しても良い。
【００１３】
投影装置２１０は例えばプロジェクタであり、濃淡を有する所定のパターンを投影する装置である。なお、投影装置２１０の焦点距離や、主点位置、レンズ歪パラメータなどの内部パラメータ、及び撮像装置２２０に対する投影装置２１０の相対的な位置姿勢の情報は予め校正されているものとする。
【００１４】
撮像装置２２０は、濃淡画像を撮影するカメラである。同様に、撮像装置２２０の焦点距離や主点位置、レンズ歪パラメータなどの内部パラメータ情報も予め校正されているものとする。なお、校正方法については、例えば、Ｍ．  Ｋｉｍｕｒａ，  “Ｐｒｏｊｅｃｔｏｒ  Ｃａｌｉｂｒａｔｉｏｎ  ｕｓｉｎｇ  Ａｒｂｉｔｒａｒｙ  Ｐｌａｎｅｓ  ａｎｄ  Ｃａｌｉｂｒａｔｅｄ  Ｃａｍｅｒａ”  ２００７  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、に示表してされる方法を用いる。
【００１５】
パターン出力部２０１は、計測対象物体２３０に投影するためのパターンの情報を投影装置２１０に出力する。画像取得部２０２は、パターン１００が投影された物体を撮像した画像を撮像装置２２０から取得する。パターン検出部２０３は、画像取得部２０２が取得した画像から、投影装置２１０によって投影されたパターン１００の計測線１０１と識別特徴１０２を検出する。パターン識別部２０４は、パターン検出部２０３により検出された識別特徴１点毎に計測線番号を識別する。つまり、画像から検出された識別特徴が、マルチスリットの何れの計測線上の識別特徴であるかを識別する。これによって、画像取得部２０２が取得した画像から検出された各計測線とパターン１００の計測線とが対応付けされる。
【００１６】
３次元計測部２０５は、パターン識別部２０４の識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の３次元点の位置を算出する。校正データ格納部２０６は、投影装置２１０、撮像装置２２０の内部パラメータ、外部パラメータなどの校正データを格納する記憶手段としてのメモリを含む。校正データ格納部２０６は図９に示すような校正データを記憶している。前記校正データは距離に応じた各種内部パラメータと距離に応じない、基準として用いる各種パラメータを含む。
次に、本実施例の処理手順について説明する。図３は、本実施例により３次元形状を計測する処理手順の一例を示すフローチャートである。また以下の手順は不図示のメモリに記憶されたコンピュータプログラムに基づき情報処理装置２００がコンピュータとして機能することによって実行される。
（ステップＳ３０１）
【００１７】
パターン出力部２０１は、投影するパターンの情報を投影装置２１０に出力し、投影装置２１０が計測対象物体２３０にパターン１００を投影する。投影するパターンは、計測線部分とパターンの背景部分とにおいて画像上で異なる輝度値で観測されるように設定する。
【００１８】
また、投影するパターン１００は、計測線が粗密なく投影されるように等間隔に配置する。さらに識別特徴は、識別性能を上げるために、異なる線同士で識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置する。本実施例では、計測線上の識別特徴の間隔をＬ＋ΔＬとして設定する。ΔＬは所定の範囲［−ε〜ε］で発生させる一様乱数であり、Ｌとεはあらかじめ設定しておく。
（ステップＳ３０２）
撮像装置２２０は、パターンが投影された計測対象物体２３０の画像を撮影し、画像取得部２０２はその画像を撮像装置２２０から取得する。
（ステップＳ３０３）
【００１９】
パターン検出部２０３は、画像取得部２０２が取得した画像から、計測線１０１と識別特徴１０２とを検出する。まず、画像から計測線を検出する前に、画像上の計測線と識別特徴との画素値の差が影響して識別特徴を境に計測線が分割された状態で検出されないように、画像に平滑化フィルタをかけ、計測線と識別特徴との画素値の差を少なくする。
【００２０】
そして、画像に平滑化フィルタをかけた後に、計測線を検出する。具体的には、平滑化後の画像に対して微分フィルタを適用して画像上の画素値の極値（以降、エッジと呼ぶ）を検出した後に、画素間で隣接するエッジをラベリングすることにより計測線を検出する。そして、識別特徴を検出する。識別特徴を検出する際には、検出した計測線上の画素値（平滑化前の画像の画素値）のうち、周囲の画素と異なる画素値を持つ画素を探索することによって識別特徴を検出する。具体的には、計測線上の画素値を参照し、極値になる画素を識別特徴として検出する。
（ステップＳ３０４）
【００２１】
パターン識別部２０４は、パターン検出部２０３で検出した識別特徴の画像上の位置を検出位置として検出し、その識別特徴の位置に基づいて、その識別特徴１点毎に計測線番号を識別する。パターン識別部２０４はそのための検出手段として機能している。以下、計測線番号の識別方法について、図４及び図１０を参照しながら説明する。図４（Ａ）に示す画像４００は、計測対象物体４０１を撮像した画像を表し、図４（Ｂ）に示すパターン１００は、計測対象物体４０１に投影したパターンを表す。４０２は計測対象物体４０１上に投影されたパターンを示す。
まず、図１０のステップＳ１００１において、画像４００から検出した識別特徴４０２を１つ選択する。
【００２２】
次に、ステップＳ１００２において、選択した識別特徴の画像４００上での位置と、撮像装置、投影装置の内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上（パターン光上）におけるエピポーラ線４１１を計算する。エピポーラ線４１１は、図７に示すように、選択した識別特徴の位置から視線方向に伸ばした直線を、パターンの座標系に投影することによって計算される。なお、パターンの座標系におけるエピポーラ線は以下の式（１）で表される。
ｌ＝Ｆｘ      （１）
【００２３】
ここで、ｌはエピポーラ線（直線）の係数ベクトル、Ｆは内部パラメータおよび外部パラメータより求まる基礎行列、ｘは識別特徴の画像上での座標をそれぞれ表す。
次に、ステップＳ１００３において、パターン１００の複数の計測線から１つの計測線（計測線番号ｊとする）を選択する。
次に、ステップＳ１００４において、各識別特徴からパターンに投影したエピポーラ線と計測線（計測線番号ｊ）との交点位置を計算し、前記交点位置（対応位置候補）から三角測量の原理に基づき対応する距離値を算出する。
【００２４】
次に、ステップＳ１００５において、前記距離値に基づき、前記校正データ格納部２０６から図９に示すような校正データを読み出し、距離に依存する内部パラメータを取得する。なお、上記校正データは事前に対象物と撮像装置の間の距離毎に内部パラメータを取得しておき、校正データ（関数乃至テーブル）として情報処理装置２００内の前記校正データ格納部２０６に保持しておく。なお、図９において、横軸は各種の内部パラメータを表しており、例えばｆｘ、ｆｙは焦点距離に関するパラメータ、ｃｘ、ｃｙは画像の中心に関するパラメータ、ｋ１〜ｋ３は収差等に関するパラメータである。ｐ１、ｐ２はプロジェクタの収差に関するパラメータである。
【００２５】
そして、選択した識別特徴の画像４００上での位置と、撮像装置、投影装置の距離に依存する内部パラメータと、撮像装置と投影装置との間の外部パラメータを基に、パターン１００上におけるエピポーラ線４１１を再度計算（演算）する。なお、本実施例では撮像装置と投影装置両方について距離に応じた内部パラメータを記憶し、エピポーラ線４１１の再計算において両方を用いているが、撮像装置の内部パラメータだけを記憶し、エピポーラ線４１１の再計算に用いても良い。
更に、前記再計算したエピポーラ線と計測線（計測線番号ｊ）との交点位置を計算する。
【００２６】
次に、ステップＳ１００６において、前記交点位置と、パターン上の各計測線上の最近傍の識別特徴までの距離Ｄ（ｉ，ｊ）を計算する。ｉは画像上で検出した識別特徴のＩＤを表し、ｊは計測線番号を表す。距離Ｄ（ｉ，ｊ）は、ＩＤ＝ｉの識別特徴に対して計測線番号ｊの計測線が識別される際のコスト（以上、識別コストと呼ぶ）とする。全ての計測線番号ｊの計測線について上記の手順により識別コスト＝距離Ｄ（ｉ，ｊ）を求める。なお、図４（Ｂ）において識別コスト＝距離Ｄ（ｉ，ｊ）は各計測線４１３について、矢印４１２として示されている。
【００２７】
最後に、ＩＤ＝ｉの識別特徴に関して、識別コスト＝距離Ｄ（ｉ，ｊ）を最小とする計測線番号ｊが尤もらしい識別結果であると推定する。以上のようにステップＳ３０４は検出位置に対応した前記投影パターン上のエピポーラ線を、前記記憶手段に記憶された計測対象までの距離に応じた前記パラメータに基づいて取得（修正）する。また、前記エピポーラ線に基づき前記検出位置に対応する前記パターン上の対応位置を取得する対応位置取得手段として機能している。
（ステップＳ３０５）
【００２８】
３次元計測部２０５は、パターン識別部２０４が計算した識別結果に基づいて、パターンが投影された計測対象物体２３０の表面の３次元点の位置を算出する。この処理では、まず、パターン検出部２０３が検出した計測線から画素を１つ選択する。次に、選択した計測線上の画素の位置と、その同一の計測線上で近傍にある識別特徴から識別した計測線番号の計測線から、三角測量の原理を用いて計測線が投影された先の３次元点の位置を計測する。以上の操作を画像から検出した計測線上の全ての画素について行うことにより、計測対象物体２３０表面の３次元点群を算出することができる。以上のように、ステップＳ３０５は検出位置と、前記対応位置とに基づいて、前記計測対象上の点の３次元位置を計算する計算手段として機能している。
【００２９】
以上のように本実施例の方法によれば、画像において観測する計測線上の識別特徴とパターンの計測線を識別する際に、対象物体までの光軸方向の距離に依存した、撮像装置（及び投影装置）の内部パラメータを考慮するため、高精度の３次元計測を実現できる。
【００３０】
なお、本実施例において、計測線上に配置する識別特徴は、それが不等間隔に配置されていればどのような配置でも良い。計測線上の識別特徴の位置の相関が低くなるように計測線毎に異なる不等間隔で配置しても良いし、同じ不等間隔で識別特徴が配置されている計測線があってもよい。同じ不等間隔で識別特徴が配置されている計測線を持つ場合は、その計測線の識別方法は、例えば同じ特徴配置を持つ計測線の色や太さを変化させ識別特徴以外に両者を識別できる情報を与えていることで、誤識別を起こすことなく識別ができる。なお、画像上で検出した識別特徴からエピポーラ線を引いて対応する計測線を探索する際、図４（Ｂ）のようにエピポーラ線と計測線が垂直にならないように投影装置と撮像装置を配置する。それにより、エピポーラ線の傾き分によってエピポーラ線と各計測線との交点の位置（計測線に水平方向の位置）にはズレが発生するので、パターン上に同じ不等間隔で識別特徴が配置される計測線があるとしても、誤識別されることはない。
（変形例１）
【００３１】
なお、ステップＳ３０４のエピポーラ探索における識別コスト＝距離Ｄ（ｉ，ｊ）の計算を事前に実施して結果をテーブル化してメモリに保持しておき、計測時はテーブルの参照のみにすることで、処理を高速化することができる。
テーブルの作成方法は、まず、画像上の１つの画素ｉを選択する。
【００３２】
次に、選択した画素の位置と、撮像装置と投影装置の内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上におけるエピポーラ線４１１を基準距離のパラメータに基づき計算する。
次に、パターン１００の計測線から１つの計測線（計測線番号ｊとする）を選択する。
次に、各画素からパターンに投影したエピポーラ線と計測線（計測線番号ｊ）の交点位置（複数）を第１の対応候補位置として計算する。
次に、前記交点位置から三角測量の原理に基づき対応する距離値をそれぞれ算出する。
次に、それぞれの前記距離値から校正データを参照し、第１の対応候補位置毎にその距離に対応した内部パラメータを第２のパラメータとして取得する。
【００３３】
次に、選択した識別特徴の画像４００上での位置と、距離に対応した内部パラメータと、撮像装置と投影装置との間の外部パラメータを基にパターン１００上におけるエピポーラ線４１１を再度計算する。
次に、前記再計算したエピポーラ線と計測線（計測線番号ｊ）の交点位置を計算する。
次に、前記交点位置から計測線ｊの最近傍の識別特徴までの距離Ｄ（ｉ，ｊ）を計算する。ｉは画像上の画素位置を表し、ｊは計測線番号を表す。
全ての計測線ｊについて上記の手順により識別コスト＝距離Ｄ（ｉ，ｊ）を求める。
【００３４】
画像上の全ての画素位置に対して上記処理を行うことで、図８に示すような画像上の各画素ｉに対する各計測線ｊの識別コストのテーブルを事前に作成することができる。
計測時には検出した識別特徴の位置の画素ｉに対応する識別コスト＝距離Ｄ（ｉ，ｊ）の値を図８のテーブルを参照して取得する。そして、識別コスト＝距離Ｄ（ｉ，ｊ）を最小とする計測線番号ｊが尤もらしい識別結果（第２の対応候補位置）であると推定し、最終的な対応位置を取得する。
以上のように変形例１では、記憶手段に、前記エピポーラ線に基づき前記計測線ごとに最近傍の識別特徴までの距離データを取得した結果を記憶しているので、処理を高速化することができる。
【実施例２】
【００３５】
実施例２では、投影するパターン、および、画像上のパターンと投影パターンの識別方法が実施例１とは異なる。投影パターンは図５に示すように、複数の特徴（ドット形状）で構成される。複数のドットの配置方法は、例えば、所定の確率（Ａ％）でランダムに配置する。投影パターンの光は、背景を低輝度、ドットを高輝度に投影するものとする。画像取得部２０２で取得する画像は、２次元の画像であればどのような画像でもよい。例えば、濃淡画像でもよく、カラー画像でもよい。パターン識別部２０４は、画像上の各画素の位置について投影パターン上で対応する位置を探索して対応付けを行う。本実施例では図３におけるステップＳ３０４のパターン識別処理の手順が異なるため以下に示す。
（ステップＳ３０４）
【００３６】
パターン識別部２０４は、図６に示すように画像６０３上で注目する画素ｋの位置を中心とするブロック６０４と、画素ｋから投影パターン６００に投影したエピポーラ線６０１上のブロック範囲内６０２で位置を変化させたブロックとの相関を計算する。そして、最も相関の高いブロックの中心位置を画素ｋに対応する画素の位置として決定する。ここで相関はブロックＳＳＤ（Ｓｕｍ  ｏｆ    Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、または、ブロックＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などを計算する。
【００３７】
実施例１でも述べたように、エピポーラ線６０１の位置および傾きは対象物体の光軸方向の位置（距離）に依存するため、その影響を考慮しないと上で計算したＳＳＤ乃至ＳＡＤが誤差を持ち、正しく対応付けができない。そこで、実施例１と同様に対象物と撮像装置との相対位置（距離）に依存する校正データを用いてエピポーラ線の位置を再計算する。
【００３８】
具体的には、まず、エピポーラ線６０１上の点（ｕ０，ｖ０）をエピポーラ探索の初期位置として選択する。次に、この点において三角測量を行い対象物までの位置（距離）を計算する。次に、計算した位置（距離）を基に、対象物と装置との相対位置に依存する内部パラメータ（例えば図９のテーブル）を用いてエピポーラ線の位置を修正し、点（ｕ０，ｖ０）の座標を修正する（修正後の座標を点（ｕ０＋δｕ，ｖ０）とする）。点（ｕ０＋δｕ，ｖ０）を中心にブロックＳＳＤ乃至ＳＡＤを計算し、相関度を算出する。次に、エピポーラ線上をステップＮ×Δｖだけ移動した点（ｕ０，ｖ０＋Ｎ×Δｖ）において上記処理を繰り返し、各位置で相関度を算出し、最も相関度の高い位置を対応点とする。ここで、Ｎはパターンサイズにより決まる整数値である。
【実施例３】
【００３９】
上述の３次元計測装置は、例えば、ある支持部材に支持された状態で使用されうる。本実施例３では、一例として、図１１のようにロボットアーム３００（把持装置）に備え付けられて使用される制御システムについて説明する。３次元計測装置２５０は、支持台３５０に置かれた計測対象物体２３０にパターン光を投影して撮像し、画像を取得する。そして、３次元計測装置２５０の情報処理装置２００、又は、３次元計測装置２５０の外部に設けられた制御部３１０が、計測対象物体２３０の位置および姿勢を求め、求められた位置および姿勢の情報を取得する。更に制御部３１０は、その位置および姿勢の情報に基づいて、ロボットアーム３００に駆動指令を送ってロボットアーム３００を制御する。
【００４０】
ロボットアーム３００は先端のロボットハンドなど（把持部）で計測対象物体２３０を保持して、並進や回転などの移動をさせる。さらに、ロボットアーム３００によって計測対象物体２３０を他の部品に組み付けることにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された計測対象物体２３０を加工することにより、物品を製造することができる。制御部３１０は、コンピュータとしてのＣＰＵなどの演算装置や制御部３１０を制御するためのコンピュータプログラムを記憶したメモリなどの記憶装置を有する。なお、ロボットを制御する制御部を制御部３１０の外部に設けても良い。また、３次元計測装置２５０により計測された計測データや得られた画像をディスプレイなどの表示部３２０に表示してもよい。
【００４１】
以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して３次元計測装置に供給するようにしてもよい。そしてその３次元計測装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
【符号の説明】
【００４２】
２０１  パターン出力部
２０２  画像取得部
２０３  パターン検出部
２０４  パターン識別部
２０５  ３次元計測部
【図１】
2020197495.tif 000003
【図２】
2020197495.tif 000004
【図３】
2020197495.tif 000005
【図４】
2020197495.tif 000006
【図５】
2020197495.tif 000007
【図６】
2020197495.tif 000008
【図７】
2020197495.tif 000009
【図８】
2020197495.tif 000010
【図９】
2020197495.tif 000011
【図１０】
2020197495.tif 000012
【図１１】
2020197495.tif 000013