(57)【要約】コンピュータ生成参照物体を用いたマシンビジョンシステムが開示される。仮想参照物体の正確な測定が知られているとき、マシンビジョンシステムは、絶対スケール上の差分を測定することができる。マシンビジョンシステムでは、仮想参照物体は、コンピュータ図面に基づいて生成される。コンピュータ生成仮想参照物体は、さらに高度の写実制度を達成するように処理される。処理は、製造された物体の画像からの部分を結合すること、または測定された物体のように見える画像を計算的に生成することを含むことができる。コンピュータ生成された仮想参照物体が、モデル図面に基づくとき、製造許容誤差により生じる不正確さを含まない。【選択図】図１
2021507209.tif 000002
【特許請求の範囲】
【請求項１】
３次元コンピュータ生成仮想参照物体を受信するステップであって、前記受信した仮想参照物体は、前記物体のモデル図に基づいて生成され、前記仮想参照物体は、前記物体の正確な座標を備え、前記正確な座標は、少なくとも１つの離散点の座標を備える、ステップと、
前記物体の少なくとも２つの画像を取得するステップであって、前記取得した少なくとも２つの画像は、少なくとも２つの異なる視認センサを用いて取得される、ステップと、
前記取得した画像に基づいて、前記物体上の少なくとも１つの離散点の３次元ロケーションを決定するステップであって、前記決定された３次元ロケーションは、前記３次元コンピュータ生成仮想参照物体と同じ座標系内にある、ステップと、
前記仮想参照物体上の、前記対応する離散点座標を決定するステップと、
前記取得した画像上の、少なくとも１つの離散点の、前記決定されたロケーション、および前記仮想参照物体上の、対応する正確な座標に基づいて、前記物体上の、少なくとも１つの離散点の、絶対スケールロケーションを計算するステップと、
を備えた、物体を測定する方法。
【請求項２】
前記方法はさらに、前記物体の、前記モデル図に基づいて、前記コンピュータ生成された仮想参照物体を生成することを備えた、請求項１に記載の方法。
【請求項３】
前記生成はさらに、証明設定情報、物体材料情報、物体色情報、または視認センサパラメータの少なくとも１つを備える付加情報を受信することを備えた、請求項２に記載の方法。
【請求項４】
前記視認センサパラメータは、カメラ座標とカメラ配向を備えた、請求項３に記載の方法。
【請求項５】
前記生成はさらに、
製造された物体の少なくとも１つの画像を取得するステップと、
前記モデル図に基づいて投影ビューを生成するステップであって、前記投影ビューは、製造された物体の少なくとも１つの画像の方向に対応する、ステップと、
前記生成された投影ビュー上の少なくとも１つの画像の、少なくとも一部を位置合わせするステップと、
を備えた、請求項２乃至４のいずれか一項に記載の方法。
【請求項６】
前記生成は、さらに、前記モデル図および受信した付加情報に基づいて、前記物体の写実的画像を生成することを備えた、請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
コンピュータプログラムが、コンピューティングデバイスにおいて実行されると、請求項１乃至６のいずれか一項に記載の方法を実行するように構成されたコンピュータプログラムコードを備えたコンピュータプログラム。
【請求項８】
少なくとも１つのプロセッサ（０６）と、少なくとも１つのメモリ（１０７）を備え、前記少なくとも１つのプロセッサは、請求項１乃至６のいずれか一項に記載の方法を実行するように構成されたコントローラ。
【請求項９】
ハウジング（１０２）と、
前記ハウジング（１０２）内に複数のカメラ（１００ａ−１００ｄ）を備えたカメラシステムと、
前記ハウジング（１０２）内に複数の照明装置（１０ａ−１０１ｃ）を備えた照明システムと、
コントローラ（１０５）と、
を備え、前記コントローラは、請求項１乃至６のいずれか一項に記載の方法を実行するように構成された、マシンビジョンシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
以下の開示はマシンビジョンシステムに関する。特に、この開示は、品質制御またはオブジェクトを測定するのに必要な、他の類似のタスクに使用される、マシンビジョンシステムを測定することに関する。特に、この開示は、参照物体を用いたマシンビジョンシステムに関する。コンピュータ制御されたマシンビジョンシステムは、種々のアプリケーションに用いられる。１つの典型的なアプリケーションは、製造業において製造されたオブジェクトの品質制御である。１つまたは複数のカメラを使って製造された物体を撮像することにより、物体の種々の特性を測定することが可能である。この測定は、物体全体、または物体が選択されたいくつかの特徴を測定することを含むことができる。従って、この測定は、１次元、２次元、または３次元であり得、あるいは選択された特徴に依存して、複数の次元の組み合わせで行うこともできる。サイズおよび形状に加えて、他の特性、例えば、色、粗さ、または他のそのような特徴を測定することも可能である。マシンビジョンシステムの測定は、典型的に、製造された物体をモデル物体と比較することにより行われる。得られた結果は、典型的に測定された物体と、使用されたモデル物体の相対的な差分を与える。
【０００２】
３次元座標を測定するためには、撮像された画像が両方の画像において可視であるなら、２次元画像から３次元座標を計算することができるので、２つのカメラしか必要としない。しかしながら、典型的には、カメラの数は多くなる。これは、カメラの数が多ければ測定の範囲および精度が増すからである。カメラは、測定される物体のすべてが見えるように、または、少なくとも、出来るだけ多くの特徴が見えるように典型的に配置される。それに対応して、測定された特徴は、すべてのカメラにより見えないことは、よくあることである。カメラの数を増やすことに加えて、複数の他のカメラ、例えば、精度校正および画像処理アルゴリズムは、測定精度を改善することが知られている。さらに、特定の物体のカメラ位置を計画したり、より精度の高いカメラを使用したり、あるいは、特定の照明を用いて、所望の特徴から獲得された画像の品質を改善することが可能である。
【０００３】
マシンビジョンシステムを測定することは特に、それは、異なる環境下で測定された特徴を同様に認識するという点で特にすぐれている。従って、物体が測定されると、エッジおよびホールのような特徴は、例え、条件が変化しても、同様に検出される。このため、物体の位置または形状の極小さな変化でも正確に測定することが可能である。獲得された画像から派生された測定結果は、正確であるけれども、それらは、座標測定マシンのような、他の測定ツールで測定した測定結果と、比較することができない。これは、例えば、一般的なマシンビジョンシステムおよび方法を用いてエッジの絶対位置を測定することが困難だからである。測定された物体のサイズ、位置、または他の変化の相対変化を正確に測定することは、可能であるけれども、相対的な差分の代わりに、絶対スケール上で同じ変化を測定することは困難である。
【０００４】
一般的な解法では、これらの測定は、時々、測定された物体のロケーションを正確に測定することにより、または正確なロケーションがわかるように、測定された物体を、測定ジグに載置することにより、補足される。ロケーションが正確にわかると、測定される物体の絶対測定値の、少なくともいくつかを測定することが可能である。１つの方法は、物体の公称寸法に適合するように、できるだけ正確に測定される、参照物体（「黄金物体（golden object）」）を作ることである。別の方法として、絶対基準システムを用いて、基準部分を正確に測定し、測定された差分を、基準部の値に追加して、絶対スケールに比較可能な、結果を得ることである。
【０００５】
しかしながら、これらのアプローチは、異なるタイプの物体、またはより大きな数の物体を測定する必要がある場合、問題がある。測定を行うことができる前に、測定される物体を、正確に位置決めする必要がある場合、測定は遅くなるであろう。対応して、異なるタイプの物体を測定する必要がある場合、異なるタイプのジグの必要性、あるいは、測定間で変化させる必要があるかもしれない、他の位置決め手段の必要性も、あるかもしれない。これらの機械的方法はすべて、高価であり、摩耗する。例え、機械的ジグの使用が、数学的、または光学的位置決め方法により避けられたとしても、購入して使用するために、安価な絶対基準測定システムの必要性が、依然としてあるであろう。
【発明の概要】
【０００６】
コンピュータ生成された仮想基準オブジェクトを用いたマシンビジョンシステムが開示される。仮想参照物体の正確な測定値が知られているとき、マシンビジョンシステムは、絶対スケール上での差分を測定することができる。マシンビジョンシステムにおいて、仮想参照物体は、コンピュータ図面に基づいて生成される。コンピュータ生成された仮想参照物体は、さらに高い写実的精度を達成するために、さらに処理される。この処理は、製造された実際の物体の画像、または実際に測定した物体に似た画像を計算上生成した画像からの部分に結合することを含むことができる。コンピュータ生成された仮想参照物体がモデル図面に基づくとき、製造許容誤差により生じた不正確さを含まないが、それらが設計された物体のすべての特徴と特性を含む。
【０００７】
一態様において、物体を測定するための方法が開示される。この方法は、３次元コンピュータ生成仮想参照物体を受信するステップであって、受信した仮想参照物体は、物体のモデル図面に基づいて生成され、仮想参照物体は、物体の正確な座標を備え、正確な座標は、少なくとも１つの離散点の座標を備えるステップと、前記物体の少なくとも２つの画像を獲得し、前記獲得した少なくとも２つの画像は、少なくとも２つの異なる視認センサ（viewing sensors）で獲得される、ステップと、獲得した画像に基づいて、物体上の少なくとも１つの離散点の３次元位置を決定するステップであって、前記決定された３次元位置は、３次元コンピュータ生成された仮想参照物体と同じ座標システムにある、ステップと、前記仮想参照物体上の対応する離散点座標を決定するステップと、前記獲得された画像上の少なくとも１つの離散点の決定された位置および前記仮想参照物体上の対応する正確な座標に基づいて、前記物体上の少なくとも１つの離散点の絶対スケール位置を計算するステップと、を備える。
【０００８】
上述した方法は、正確に製造された参照物体を有さずに、絶対スケールで物体を測定することを容易にする。上述した方法は、参照物体の摩耗（wearing）に関するすべての問題を除去する。それは、さらに測定許容誤差により生じる不正確さを除去するのに役立つ。これらは、低減されたコストで改善された測定品質を提供する。
【０００９】
一実施形態において、この方法はさらに、物体のモデル製図に基づいてコンピュータ生成された、仮想参照物体を生成することを備える。一実施形態において生成は、さららに、以下の少なくとも１つを備えた、さらなる情報を受信することを備える。照明設定情報、物体材料情報、物体カラー情報または視認センサパラメータ。視認センサパラメータは、カメラ座標と配向を備える。他の実施形態において、生成することは、さらに、製造された物体の少なくとも１つの画像を獲得することと、モデル製図に基づいて投影図を生成することであって、前記投影図は、前記製造された物体の少なくとも１つの画像の方向に対応する、投影図を生成することと、前記生成された投影図上の少なくとも１つの獲得された画像の一部を位置合わせすることと、を備える。
【００１０】
他の実施形態において、生成することはさらに、モデル製図と、受信したさらなる情報に基づいて、物体の写実的画像を生成することを備える。
【００１１】
一実施形態において、上述した方法は、コンピュータプログラムがコンピューティングデバイスにおいて実行されると、上述した方法を実行するように構成されたコンピュータプログラムコードを備えたコンピュータプログラムとしてインプリメントされる。
【００１２】
一実施形態において、少なくとも１つのプロセッサと、少なくとも１つのメモリを備えたコントローラが開示される。少なくとも１つのプロセッサは、上述した方法を実行するように構成される。さらなる実施形態において、マシンビジョンシステムが開示される。マシンビジョンシステムは、ハウジングと、ハウジング内に複数のカメラを備えたカメラシステムと、ハウジング内に複数の照明デバイスを備えた照明システムと、上述したコントローラと、を備え、コントローラは、マシンビジョンシステムに接続され、上述した方法を実行するように構成される。
【００１３】
コンピュータ生成仮想参照物体を用いることは、いくつかの利点を提供する。コンピュータ生成は、製造許容誤差を伴わずに、実行することができる。従って、コンピュータ生成仮想参照物体は、物体の設計図と正確に一致する。これは、コストの高い参照物体を製造し、製造した参照物体を正確に測定することなしに、達成される。従って、コンピュータ生成仮想参照物体の使用は、測定精度を増大させる。
【００１４】
コンピュータ生成仮想参照物体のさらなる利点は、絶対スケール上での正確な測定値が知られている時、測定において視認された差分を絶対スケール上で容易に計算することができる。このさらなる利点は、参照物体を測定する必要がないとき、測定許容誤差により生じた不正確さを回避することができる。
【００１５】
従来の実際の参照物体は、また機械的摩耗や、製造現場の環境に晒されることにより生じるその他の問題にもなりがちである。例えば、測定を行っている人が、参照物体を落とし、傷やその他の機械的欠陥を生じる可能性がある。さらに、時として、汚れやその他の不純物により、物体が異なって見えるかもしれない。いくつかのケースにおいて、太陽光にさらすことでさえも、参照物体における視覚的変化の原因になり得る。これらの露出に関連した欠陥は、すべてコンピュータ生成された参照物体を用いることにより回避することができる。マシンビジョンシステムのさらなる理解を提供するために含まれ、本明細書の一部を構成する添付の図面は、実施形態を示し、記述とともにマシンビジョンシステムの原理を説明するのに役立つ。
【図面の簡単な説明】
【００１６】
【図１】マシンビジョンシステムの一例である。
【図２】マシンビジョンシステムの方法の一例である。
【図３】コンピュータ生成仮想参照オブジェクトを生成する方法の一例である。
【図４】コンピュータ生成仮想参照オブジェクトを生成するための方法の一例である。
【発明を実施するための形態】
【００１７】
実施形態を詳細に参照する。実施形態の一例は、添付図面に図示される。以下において、コンピュータ生成された仮想参照物体を含む、最初の測定について説明する。
【００１８】
次に、コンピュータ生成仮想参照物体を準備するための、２つのオプションの方法について説明する。コンピュータ生成仮想参照オブジェクトは、仮想参照物体のコンピュータ生成ビューである、参照ビューとも呼ばれる、１つまたは複数の参照画像として理解されるべきである。したがって、コンピュータで生成された仮想参照物体は、1つの参照ビューではなく、さまざまな角度から、場合によっては異なるパラメータで、物体を表示する1つ以上の参照ビューを含むセットとして理解する必要がある。さらに、コンピュータ生成参照モデルは、また、異なる照明、または他の設定で、同じアングルからの、いくつかの参照ビューを有することもできる。さらに、当業者は、コンピュータ生成仮想参照物体が、完全な物体である必要はないことを理解する。測定される特徴がカバーされていれば十分である（関心領域）。
【００１９】
以下の記述において、複数のカメラを含むマシンビジョンシステムが記載される。しかしながら、従来のデジタルカメラは、一般的にこの目的に適しているため、表現カメラ（expression camera）は、理解を得るためにのみ使用される。一般的なカメラの代わりに、比較するのに適した画像を生成することができる、他のタイプの視認センサを使用することもできる。これらは、異なるタイプの特殊目的のカメラ、例えば、ヒートカメラ（heat camera）、スキャナ装置、デジタルＸ線撮像装置、曲げ可能な画像ユニット、３次元カメラ等を含む。
【００２０】
図１において、マシンビジョンシステムの一例を図示するブロック図が開示される。図１において、測定ステーション１０２が開示される。測定ステーション１０２は、４台のカメラ１００ａ−１００ｄと３台の照明装置１０１ａ−１０１ｃを含む。カメラの台数と照明装置の台数は、それぞれ４台と３台に限定されず、自由に選択することができる。典型的には、カメラと照明装置の台数はもっと多い。カメラと照明装置は、１つまたは複数のフレームに取り付けられ、フレームはさらに、測定ステーション１０２に取り付けられる。フレームの代わりに、カメラと照明装置は、直接測定ステーション１０２の壁に取り付けることもできる。カメラ、および必要であれば、照明装置は、一般的な校正方法を用いて、選択された座標システムに校正される。
【００２１】
測定ステーション１０２はさらに、測定される物体１０３を測定ステーション内に運び込むために使用されるコンベア１０４を含む。コンベアは一例に過ぎない。測定された物体は、また他の手段、例えば、産業ロボットを用いて持ち込むこともできるし、あるいは、測定を行う人が載置することもできる。
【００２２】
この記述では、周囲の光は、測定ステーションが配置されている、ホールまたは施設の照明条件であると想定されている。周囲光は、窓からの自然光であってもよいし、あるいは、敷地内の照明装置であり得る。周囲光が測定を邪魔しないように測定ステーション１０２を閉じることは利点があるが、しかしながら、これは必ずしも必要ない。例えば、測定が正確に定義された照明配置の恩恵を受ける場合、周囲光を補償することができる。強力な照明の構成を用いると、たとえ多少の周囲光により測定条件に多少の変化を生じたとしても、測定ステーション１０２を使用することができる。測定ステーション１０２の閉鎖は、例えば、コンベアが使用されている場合、コンペア開口部に、ドアまたはカーテンを用いることにより得ることができる。測定される物体が人間の手により測定プラットフォームに載置される場合、周囲光を完全に取り除いた、隙間の無い（tight）測定ステーションを製造することは、容易である。周囲光を完全に除去できない場合、周囲光を補償するために使用される、さらなる照明装置を使用することができる。
【００２３】
測定ステーション１０２は、ネットワーク接続１０８を用いてコントローラ１０５に接続される。ネットワーク接続は、有線または無線であり得る。コントローラは、測定ステーションに設置することもできるし、あるいは離れた場所に設置してもよい。コントローラ１０５が測定ステーション１０２に位置する場合、例えば、製造現場のいくつかのシステムを制御するための制御ルームから、遠隔で操作することができる。コントローラ１０５は、少なくとも１つのプロセッサ１０６と、少なくとも１つのメモリ１０７を備える。プロセッサは、測定を行うためにコンピュータプログラムコードを実行するように構成される。少なくとも１つのメモリ１０７は、コンピュータプログラムコードと、関連データ、例えば、獲得した測定画像および参照ビューを記憶するように構成される。コントローラ１０５は、例えば、測定画像および測定条件の長期間の保存を可能にするために、典型的にさらなるコンピューティングデバイスに接続される。
【００２４】
測定ステーション１０２は、図２乃至４を参照して、以下の例に記載するように使用することができる。図２は、コンピュータ生成仮想参照物体を用いた方法の一例を開示する。図３および４は、参照ビューを生成する方法の２つの例を開示する。コンピュータ生成仮想参照物体を用いる利点は、参照のサイズが正確に意図したサイズであることである。これは、仮想参照物体は作られておらず、従って、製造許容誤差により生ずる不正確さが無いからである。当業者は、提示された例は、例に過ぎず、他の同様の原理を、コンピュータ生成仮想参照物体を用いた測定に、使用することができることを理解する。
【００２５】
図２において、方法の一例が開示される。この方法において、図１の測定ステーション、あるいは類似のもののような測定ステ−ションを使用することができる。測定では、最初に、ステップ２００において、少なくとも１つのコンピュータ生成仮想参照物体が受信される。コンピュータ生成仮想参照物体は、一般的なカメラを用いて撮像された画像と容易に比較することができる、２次元投影ビューの形態で受信することができる。しかしながら、モデルは、２次元投影ビューが、３次元モデルから作られるように、あるいは、比較される離散的特徴の３次元ロケーションが最初に計算され、次にコンピュータ生成参照物体を比較されるように、３次元であってもよい。同様の原理は、２以上のレンズを含むカメラにも使用することができる。これらのカメラは、しばしば３次元カメラ、あるいはステレオカメラと呼ばれる。この方法では、コンピュータ生成仮想参照物体の必要なビューのみしか受信する必要がない。例えば、１つの特徴のみが測定されるとき、１つの参照のみで十分である。しかしながら、典型的には、異なるカメラビュー、および可能な物体配向に対応する、複数の参照ビューがある。
【００２６】
コンピュータ生成仮想参照物体は、ステップ２０１においても受信される、関連するオプションの設定に関連づけることができる。例えば、コンピュータ生成仮想参照物体が、例えば、オプションの設定を受信すると、利用可能な照明装置のサブセットを用いた、特定の照明設定をアクティブにすることができる。コンピュータ生成仮想参照物体は、特定の照明装置を用いて生成された可能性があり、測定するときに同じ照明装置を使用することは、比較される画像間に、より良い対応を提供するので、利点がある。
【００２７】
参照ビューと可能なオプションの設定が受信された後で、測定ステーションは、ステップ２０２で測定される、最初の物体を受信する準備をする。これは、例えば、コンベアベルト、測定する人、ロボットデバイス、あるいは物体を測定ステーションの測定プラットフォームに配置するための、他の手段を用いて行うことができる。
【００２８】
物体は、ステップ２０３において、複数の画像を獲得することにより測定される。画像は次にステップ２０４において、それぞれの参照ビューと比較される。比較は、一般的な比較と同様であり得、得られた結果が、相対的な差分である。しかしながら、コンピュータ生成参照物体の正確な測定は、知られているので、測定された物体の絶対測定値を計算することも可能である。
【００２９】
このアプリケーションでは、絶対スケール、あるいは絶対測定は、配列（arrangement）であることを意味し、測定は、正確な単位、例えば、メートル法のナノメータあるいはメータで表すことができる。
【００３０】
測定するとき、物体上の離散点の物体位置が決定され、コンピュータ生成仮想参照物体と比較される。このアプリケーションにおいて、離散点は、物体上の点または特徴を意味する。これは、例えば、物体上に正確なロケーションを有し、正確なロケーションが設計者により決定された穴、溝、エッジ、コーナーあるいは類似の点を含む。従来、マシンビジョンシステムは、物体上に投影された点群を使用していた。これらの点群は、オブジェクトとの関係で位置が不明であり、オブジェクトの一部ではないため、オブジェクト上の離散点ではない。
【００３１】
離散点が、コンピュータ生成仮想参照物体から派生されるとき、それらは、製造許容誤差による、いかなる偏差もあり得ないので、理想的に正しい位置にあることがわかる。
【００３２】
以下では、コンピュータ生成仮想参照物体を提供するための２つの異なる方法が開示される。しかしながら、以下の方法は、方法の例示としてみなされるべきであり、コンピュータ生成参照物体を生成する他の方法を使用することもできる。
【００３３】
図３において、コンピュータ生成仮想参照物体を提供する方法。コンピュータ生成仮想参照物体を生成するための開始点は、測定される物体のモデル図を受け取ることである（ステップ３００）。典型的には、この図は、ＣＡＤ図面または類似のコンピュータ支援設計ツール図面である。測定される物体は、コンピュータ制御ビジョンシステムを用いて測定することができる任意の物体であり得る。典型的には、これらの機械部品は、車、モバイルフォン、家庭用機器、および機械部品を含む任意の他のデバイスのための部品として使用される。モデル図面は、物体の座標を含む。図面の座標は、２次元または３次元であり得る。座標は、測定に使用される座標系に対応する座標系でのサイズを正確に定義する。
【００３４】
ステップ３０１において、次に、モデル図面に従って製造された物体が受信される。物体は、いわゆる黄金の物体である必要はないが、製造プロセスの不正確さを有する通常の物体であり得る。従って、物体は、理想的ではなく、図面に示される理想的な測定からの偏差を有する。
【００３５】
物体の受信した図面は、投影モデルを生成するのに使用される（ステップ３０２）。この投影は、典型的には、物体の２次元ビューである。投影ビューを生成するためには、視認方向および他の視認センサに関連したパラメータを知る必要がある。これらは、例えば、視認センサロケーション、回転角、焦点距離、レンズ誤差およびカメラ画像に対応するビューを生成するために必要かもしれない他のパラメータを含む。同一のパラメータが、画像を取得してビューを生成するためのものである場合、最終結果は、同じ座標系にあり、さらに処理することなく互いに比較可能である。しかしながら、いくつかのアプリケーションでは、さらなる画像処理を使用することができる。
【００３６】
この処理はさらに、生成された投影モードに対応する画像、または複数の画像を取得することを含む（ステップ３０３）。取得した画像は、望ましくは、実際の測定条件に対応する条件下の物体を備える。
【００３７】
最終的に取得した画像と投影モデルは結合されるので、画像の少なくとも一部が選択され、投影モデル上に正確に位置合わせされる。この位置合わせは、完全に自動的であるが、しかしながら、必要な部分を手動で位置合わせすることも可能である。十分に正確であるため、取得した画像と投影モデルをズームして、位置合わせプロセスを非常に正確に行うことができる。組合せの結果は、コンピュータ生成仮想参照物体として使用することができる。
【００３８】
上述の記載では、測定設定は述べなかったが、それらはコンピュータ生成仮想参照物体とともに記憶することができる。したがって、コンピュータ生成仮想参照物体を生成するための画像を取得するのに使用されたのと同じ照明を、使用することができる。
【００３９】
図４において、コンピュータ生成仮想参照物体を生成する他の方法が開示される。この方法は、測定される物体のモデル図面を受信することにより開始される（ステップ４００）。これは、少なくとも部分的には、図３のステップ３００と部分的に同様である。受信したモデル図面は、物体を作成するために、互いに相互接続される座標により示される点のセットであり得る。
【００４０】
コンピュータ生成仮想参照物体を提供するために、さらなる物体特性が受信される（ステップ４０１）。これらのさらなる特性は、例えば、製造材料または材料、物体の色および類似のものを含む。したがって、どのように物体が光を反射し、カメラに映るかを決定することができる。
【００４１】
上述したように、一般的な測定ステーションは、一般的に、複数の、独立して制御可能な照明装置を備える。光の強度、波長および他の特性も制御可能である。カメラにより撮像された画像と比較することができるコンピュータ生成参照モデルを生成するために、どの照明設定を使用したかを知ることは、有益である。したがって、使用する照明設定を受信することは、有益である（ステップ４０２）。
【００４２】
コンピュータ生成仮想参照物体を生成するとき、視野角を知る必要がある。従って、図３の方法と同様に、測定した物体を撮像するのに使用した、カメラの情報を知る必要がある。これは、例えば、カメラロケーション、または配向を検索するのに使用することが出来る、カメラ識別情報を受信することにより達成することができる（ステップ４０３）。
【００４３】
モデル図面およびさらなる特性が分かると、コンピュータ生成仮想参照物体を生成することが可能である（ステップ４０４）。コンピュータ生成仮想参照物体は、視覚的に、できるだけ写実的でなければならない。これは、レンダリング技術、たとえば、視表面を決定する方法であるスキャンラインレンダリングは、レイトレーシング（raytracing）を用いて達成することができる。レイトレーシングは、画像を生成する技術であり、画像平面のピクセルを介した光の経路をトレースし、仮想物体との遭遇の効果をシミュレートすることにより、コンピュータ生成仮想参照物体として使用することができる。レイトレーシングは、非常に高度の視覚的リアリズムを生成することができ、この目的に適している。レイトレーシング技術は、計算上望まれるが、コンピュータ生成仮想参照物体と、コンピュータ生成仮想参照物体を表す画像は、前もって計算することができるので、コストの高い計算は、コンピューティングセンタ、または類似の場所で行うことができ、測定ステーションで行う必要はない。したがって、非常に高精度のモデル物体は、一般的な解法を用いて比較するとき、計算力を高める必要なく、達成することができる。
【００４４】
上述した例では、カメラと照明装置は、一般的なカメラと照明装置であるが、これはそうである必要なない。したがって、特定の波長に設計された、特定のカメラと特定の照明装置を使用することができる。したがって、光は人間の目に見える必要はない。従って、当業者は、コンピュータ生成仮想参照物体は、カメラで見えるように提供されることを理解する。例えば、いくつかのパラメータにおいて、人間の眼には見えない、紫外線または赤外線を使用することは有効である。類似の原理を、コンピュータ生成仮想参照物体に対して比較することができる画像または測定を生成するスキャナ、または他の測定デバイスのような、他の視認センサタイプに適用する。従って、表現画像は、物体を異なって見ることができる、種々の画像生成装置で生成された画像をカバーするように、広く理解されるべきでる。
【００４５】
上の例では、コンピュータ生成仮想参照物体の使用が開示された。測定において、コンピュータ生成仮想参照物体は、従来の参照物体と同じように使用される。
【００４６】
ｋ×３次元マトリクスＶの場合のコンピュータ生成仮想参照物体の３次元離散点を測定するとき、ｋは測定ポイントの数を表す。測定された実際の物体は、類似のマトリクスＲを有するが、これらの行列は、同じ場所にあるわけではなく、同じ座標系に配置されていない。従って、差分は、Ｒ−Ｖを計算することにより、直接計算することはできない。しかしながら、利用可能な測定許容範囲内で、当然のことながら行列Ｒの形で絶対スケールの結果を達成することを意図しているので、たとえば次の方法、または他の適切な同様のアプローチを使用して、Ｒを達成することで十分である。
【００４７】
位置決めの問題は、一般的な位置決め方法を用いて解決することができる。１つの方法は、一般的な３−２−１方法である。他の共通に使用されるオプションは、最適な方法（best fit method）を使用することである。これらの位置決め方法は、例に過ぎず、他の方法も利用可能である。利用可能な方法は、異なる精度である可能性があり、方法を選択するとき、このことを考慮する必要がある。
【００４８】
座標を計算する１つの方法をより良く理解するために、以下のパラグラフが開示される。取得された２次元画像上の個々の測定点、または特徴の座標が、次の通りであると仮定する。
Ｖｋ＝｛Ｘ１ｖｋ、Ｙ１ｖｋ、Ｘ２ｖｋ、Ｙ２ｖｋ、・・・、Ｘｎｖｋ、Ｙｎｖｋ｝
但し、ｎは、カメラの数であり、ｋは測定点の数である。従って、ｋ×２ｎ次元のマトリクスＶを形成することが可能であり、ｋは、測定点の数であり、ｎはカメラの数である。相応に、同じ次元のマトリクスＤを生成することが可能である。ここで各行は次の形式である。
｛Ｘ１ｄｋ、Ｙ１ｄｋ、Ｘ２ｄｋ、Ｙ２ｄｋ、・・・Ｘｎｄｋ、Ｙｎｄｋ｝
但し、ｎは、カメラの数であり、値の各々は、２次元平面上における実際の測定点と、仮想測定点との間の差分を描画する。相応して、測定された２次元座標の座標は、Ｍ＝Ｖ＋Ｄのマトリクスの形式で図に示され、ここでは、Ｍは、ＶおよびＤと同じ次元であり、各行は、同じ形式｛Ｘ１ｍｋ、Ｙ１ｍｋ、Ｘ２ｍｋ、Ｙ２ｍｋ、・・・Ｘｎｍｋ、Ｙｎｍｋ｝であり、絶対スケール３次元マトリクスは、Ｒであり、ｋ×３である。但し、各行Ｘｋ、ＹｋおよびＺｋは、マトリクスＭ行の関数である。
Ｒｋ＝｛Ｘｋ  Ｙｋ  Ｚｋ｝＝ｆｋ（ｘ１ｍｋ、Ｙ１ｍｋ、Ｘ２ｍｋ、Ｙ２ｍｋ、・・・Ｘｎｍｋ、Ｙｎｍｋ）
従って、Ｒ＝ｆ（Ｍ）である。
【００４９】
上で示した方法は、外部デバイスと通信することができる、コンピューティングデバイスで実行される、コンピュータプログラムコードを備えたコンピュータソフトウェアとしてインプリメントすることができる。ソフトウェアがコンピューティングデバイスで実行されると、上述した新規な方法を実行するように構成される。ソフトウェアは、コンピュータ可読媒体に埋め込まれるので、図１のコントローラ１０５のようなコンピューティングデバイスに提供することができる。
【００５０】
上述したように、例示実施形態のコンポーネントは、この発明の教示に従ってプログラムされた命令を保持し、データ構造、テーブル、レコードおよび／またはここに、記載した、他のデータを保持するためのコンピュータ可読媒体、またはメモリを含むことができる。コンピュータ可読媒体は、命令を、実行のためのプロセッサに提供することに関与する、任意の適切な媒体を含むことができる。一般的な形態のコンピュータ可読媒体は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の適切な磁気媒体、ＣＤ−ＲＯＭ、ＣＤ±Ｒ、ＣＤ±ＲＷ、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＤＶＤ±ＲＷ、ＤＶＤ±Ｒ、ＨＤ  ＤＶＤ、ＨＤ  ＤＶＤ−Ｒ、ＨＤ  ＤＶＤ−ＲＷ、ＨＤ  ＤＶＤ−ＲＡＭ、ブルーレイディスク、任意の他の適切なメモリチップまたはカートリッジ、搬送波またはコンピュータが読み取ることができる、任意の他の適切な媒体を含むことができる。
【００５１】
当業者には、技術の進歩に伴い、マシンビジョンシステムの基本的アイデアが、種々の方法でインプリメントすることができることは、明白である。従って、マシンビジョンシステムおよびその実施形態は、上述した例に限定されない。代わりに、それらは、特許請求の範囲内で変更することができる。
【図１】
2021507209.tif 000003
【図２】
2021507209.tif 000004
【図３】
2021507209.tif 000005
【図４】
2021507209.tif 000006
【手続補正書】
【提出日】令和1年12月18日(2019.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元コンピュータ生成仮想参照物体を受信するステップであって、前記受信した仮想参照物体は、前記物体のモデル図に基づいて生成され、前記仮想参照物体は、前記物体の正確な座標を備え、前記正確な座標は、少なくとも１つの離散点の座標を備える、ステップと、
前記物体の少なくとも２つの画像を取得するステップであって、前記取得した少なくとも２つの画像は、少なくとも２つの異なるカメラを用いて取得される、ステップと、
前記取得した画像に基づいて、前記物体上の少なくとも１つの離散点の３次元ロケーションを決定するステップであって、前記決定された３次元ロケーションは、前記３次元コンピュータ生成仮想参照物体と同じ座標系内にある、ステップと、
前記仮想参照物体上の、前記対応する離散点座標を決定するステップと、
前記取得した画像上の、少なくとも１つの離散点の、前記決定されたロケーション、および前記仮想参照物体上の、対応する正確な座標に基づいて、前記物体上の、少なくとも１つの離散点の、絶対スケールロケーションを計算するステップと、
を備えた、物体を測定する方法。
【請求項２】
前記方法はさらに、前記物体の、前記モデル図に基づいて、前記コンピュータ生成された仮想参照物体を生成することを備えた、請求項１に記載の方法。
【請求項３】
前記生成はさらに、証明設定情報、物体材料情報、物体色情報、またはカメラパラメータの少なくとも１つを備える付加情報を受信することを備えた、請求項２に記載の方法。
【請求項４】
前記カメラパラメータは、カメラ座標とカメラ配向を備えた、請求項３に記載の方法。
【請求項５】
前記生成はさらに、
製造された物体の少なくとも１つの画像を取得するステップと、
前記モデル図に基づいて投影ビューを生成するステップであって、前記投影ビューは、製造された物体の少なくとも１つの画像の方向に対応する、ステップと、
前記生成された投影ビュー上の少なくとも１つの画像の、少なくとも一部を位置合わせするステップと、
を備えた、請求項２乃至４のいずれか一項に記載の方法。
【請求項６】
前記生成は、さらに、前記モデル図および受信した付加情報に基づいて、前記物体の写実的画像を生成することを備えた、請求項２乃至５のいずれか一項に記載の方法。
【請求項７】
コンピュータプログラムが、コンピューティングデバイスにおいて実行されると、請求項１乃至６のいずれか一項に記載の方法を実行するように構成されたコンピュータプログラムコードを備えたコンピュータプログラム。
【請求項８】
少なくとも１つのプロセッサ（０６）と、少なくとも１つのメモリ（１０７）を備え、前記少なくとも１つのプロセッサは、請求項１乃至６のいずれか一項に記載の方法を実行するように構成されたコントローラ。
【請求項９】
ハウジング（１０２）と、
前記ハウジング（１０２）内に複数のカメラ（１００ａ−１００ｄ）を備えたカメラシステムと、
前記ハウジング（１０２）内に複数の照明装置（１０ａ−１０１ｃ）を備えた照明システムと、
コントローラ（１０５）と、
を備え、前記コントローラは、請求項１乃至６のいずれか一項に記載の方法を実行するように構成された、マシンビジョンシステム。
【国際調査報告】
2021507209.tif 000007
2021507209.tif 000008
2021507209.tif 000009