(57)【要約】【課題】稼働率の点で有利な計測装置を提供する。【解決手段】投影光学系によって光が投影された被検物を撮像光学系により撮像して得られる撮像画像に基づいて被検物の位置および姿勢を計測する計測装置であって、投影光学系および撮像光学系に関するパラメータを用いて、互いに異なる複数の計測領域のそれぞれにおいて撮像光学系により撮像して得られる複数の撮像画像を処理し、位置および姿勢に関する情報を得、得られた情報を校正するための投影光学系および撮像光学系に関するパラメータを複数の計測領域ごとに求める処理部と、求めたパラメータを複数の計測領域ごとに記憶する記憶部と、を有し、処理部は、被検物を計測する領域に対応する記憶されたパラメータを用いて情報を求める。【選択図】図１
2018189487.tif 000002
【特許請求の範囲】
【請求項１】
投影光学系によって光が投影された被検物を撮像光学系により撮像して得られる画像に基づいて前記被検物の位置および姿勢を計測する計測装置であって、
前記投影光学系および前記撮像光学系に関するパラメータを用いて、互いに異なる複数の計測領域のそれぞれにおいて前記撮像光学系により撮像して得られる複数の画像を処理し、前記位置および前記姿勢に関する情報を得、前記得られた情報を校正するための前記投影光学系および前記撮像光学系に関するパラメータを前記複数の計測領域ごとに求める処理部と、
前記求めたパラメータを前記複数の計測領域ごとに記憶する記憶部と、を有し、
前記処理部は、前記被検物を計測する領域に対応する前記記憶されたパラメータを用いて前記情報を求める、
ことを特徴とする計測装置。                               
【請求項２】
前記パラメータは、前記投影光学系と前記撮像光学系との相対的な位置又は姿勢に関する情報を含むことを特徴とする請求項１に記載の計測装置。
【請求項３】
前記パラメータは、前記投影光学系又は前記撮像光学系の焦点位置又は光軸の角度に関する情報を含むことを特徴とする請求項１又は２に記載の計測装置。
【請求項４】
前記記憶されたパラメータを用いて、前記複数の計測領域とは異なる計測領域である追加領域に対応するパラメータを求めることを特徴とする請求項１乃至３の何れか１項に記載の計測装置。
【請求項５】
前記処理部は、前記パラメータに対応する前記複数の計測領域または前記追加領域を示す教示情報を作成し、前記教示情報を投影させるように前記投影光学系を制御する制御情報を出力する、ことを特徴とする請求項４の何れか１項に記載の計測装置。
【請求項６】
前記撮像光学系の光軸方向において、前記複数の計測領域または前記追加領域は、互いに異なる位置にあることを特徴とする請求項４または５に記載の計測装置。
【請求項７】
投影光学系によって光が投影された被検物を撮像光学系により撮像して得られる画像に基づいて前記被検物の位置および姿勢を計測する計測方法であって、
前記投影光学系および前記撮像光学系に関するパラメータを用いて、互いに異なる複数の計測領域のそれぞれにおいて前記撮像光学系により撮像して得られる複数の画像を処理し、前記位置および前記姿勢に関する情報を得、
前記得られた情報を校正するための前記投影光学系および前記撮像光学系に関するパラメータを前記複数の計測領域ごとに求め、
前記求めたパラメータを前記複数の計測領域ごとに記憶し、
前記被検物を計測する領域に対応する前記記憶されたパラメータを用いて前記情報を求める、
ことを特徴とする計測方法。
【請求項８】
請求項７に記載の計測方法をコンピュータに実行させるためのプログラム。
【請求項９】
請求項１乃至６の何れか１項に記載の計測装置と、
前記被検物を保持して移動させるロボットと、を有し、
前記計測装置から出力された前記情報に基づいて、前記ロボットが前記被検物を保持する、ことを特徴とするシステム。
【請求項１０】
請求項１乃至６の何れか１項に記載の計測装置を用いて前記被検物を計測する工程と、
該計測結果に基づいて前記被検物を処理することにより物品を製造する工程と、を有することを特徴とする物品の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計測装置、計測方法、プログラム、システムおよび、物品の製造方法に関する。
【背景技術】
【０００２】
被検物の三次元座標や表面形状を計測する計測装置が知られている。近年、複数の計測位置において高精度で被検物を計測する計測装置が求められており、かかる計測装置として、特許文献１に記載の形状測定装置が挙げられる。特許文献１に記載の形状測定装置は、被検物の光軸方向の高さを演算し、高さ毎に得た校正データを用いて、撮像画像のデータを校正する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１７０２８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の形状測定装置は、光軸方向の高さ毎に校正データを得るため、装置の稼働率の低下を引き起こしうる。
【０００５】
本発明は、例えば、稼働率の点で有利な計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、投影光学系によって光が投影された被検物を撮像光学系により撮像して得られる画像に基づいて被検物の位置および姿勢を計測する計測装置であって、投影光学系および撮像光学系に関するパラメータを用いて、互いに異なる複数の計測領域のそれぞれにおいて撮像光学系により撮像して得られる複数の画像を処理し、位置および姿勢に関する情報を得、得られた情報を校正するための投影光学系および撮像光学系に関するパラメータを複数の計測領域ごとに求める処理部と、求めたパラメータを複数の計測領域ごとに記憶する記憶部と、を有し、処理部は、被検物を計測する領域に対応する記憶されたパラメータを用いて前記情報を求める、ことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、例えば、稼働率の点で有利な計測装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】第１実施形態に係る計測装置の構成を示す概略図である。
【図２】制御部の機能を示すブロック図である。
【図３】第１実施形態に係る計測装置の一使用例を示す図である
【図４】第２実施形態に係る、計測装置に記憶された計測領域とは異なる追加領域に対応するパラメータを求める方法を説明する図である。
【図５】第３実施形態に係る計測装置による教示情報の表示方法を説明する図である。
【図６】ロボットシステムに係る実施形態に係るロボットを含むシステムの構成を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について図面などを参照して説明する。
【００１０】
（第１実施形態）
図１は、本実施形態の計測装置１００の構成を示す概略図である。計測装置１００は、投影部１０１、撮像部１０４および、制御部２０１を含む。
【００１１】
本実施形態では、投影部１０１は、被検物にパターン光を投影する。なお、投影部１０１は、被検物の一部にパターン光を投影しても良く、パターン光でなく一様な光を被検物に投影しても良い。投影部１０１は、パターン生成部１０２と、投影光学系１０３と、を含む。パターン生成部１０２は、投影光学系１０３が投影するパターン光を生成する。パターン光としては、例えば、明線で形成された明部と、暗線で形成された暗部とが交互に配置された周期的なラインパターン（ストライプパターン）を用いうる。
【００１２】
パターン生成部１０２は、例えば、図示しない光源、光源の光を均一化するためのインテグレータ、均一化された光からパターン光を生成するための液晶又はＤＭＤ、複数のレンズ、などを含む。投影光学系１０３は、パターン生成部１０２で生成された光を被検物に照射する。
【００１３】
撮像部１０４は、光が投影された被検物を撮像する。撮像部１０４は、撮像光学系１０５と、撮像素子１０６とを含む。撮像部１０４は、被検物から反射された光を、撮像光学系１０５を介して撮像素子１０６で受光することにより画像を取得する。撮像素子１０６は、ＣＭＯＳやＣＣＤなどの光センサを用いうる。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよい。
【００１４】
制御部２０１は、処理部２０２および記憶部２０３を有する。制御部２０１は、投影光学系１０３と、撮像光学系１０５とを制御する。制御部２０１は、例えば、ＣＰＵ（処理部）やメモリなどを含む制御回路である。メモリ内には、後述の本実施形態に係る計測方法をコンピュータに実行させるプログラムが記憶されうる。
【００１５】
制御部２０１は、表示部２１１と、入力部２１２と、ＣＰＵ２１３と、を有するコンピュータと接続する。例えば、ユーザは、表示部２１１に表示された情報をもとに入力部２１２を用いてＣＰＵ２１３へ信号を出力する。ＣＰＵ２１３は、出力された信号に対応する情報を制御部２０１へ出力する。制御部２０１は、ＣＰＵ２１３から出力された情報を用いて、被検物の配置に関する情報を算出しうる。ＣＰＵ２１３から出力された情報は、例えば、計測位置に関する情報である。
【００１６】
処理部２０２は、撮像部１０４により撮像して得られる画像から、三角測量の原理に基づいて被検物の配置（例えば、位置及び姿勢）に関する情報を算出する。算出の際は、投影光学系１０３および撮像光学系１０５に関するパラメータを用いる。当該パラメータは、例えば、投影光学系１０３と撮像光学系１０５との相対的な位置又は姿勢に関する情報、焦点位置又は光軸の角度に関する情報である。
【００１７】
図２は、制御部２０１の機能を示すブロック図である。処理部２０２は、複数の計測領域ごとに、算出された被検物の配置に関する情報を校正するパラメータを求め、求めたパラメータを記憶部２０３に出力する。処理部２０２は、例えば、ＣＰＵ２１３から出力された計測位置に関する情報を受信する。記憶部２０３は、処理部２０２から出力されたパラメータを記憶する。本実施形態では、複数の計測領域を、撮像光学系の光軸方向の同じ位置において互いに異なる複数の計測領域とする。なお、複数の計測領域を撮像光学系の光軸方向において互いに異なる位置にある複数の計測領域としてもよい。
【００１８】
処理部２０２は、複数の計測領域の何れかの位置において被検物の配置に関する情報を求める時に、記憶部２０３に記憶されたパラメータを呼び出す。処理部２０２は、呼び出したパラメータを用いて、被検物の位置及び姿勢に関する情報を求める。
【００１９】
図３は、第１実施形態に係る計測装置１００の一使用例を示す図である。図３の（Ａ）に示すように、処理部２０２は、複数の計測領域Ａ、Ｂ、ＣおよびＤを選択し、記憶部２０３に記憶させる。複数の計測領域は、投影光学系１０３の有効投影領域と撮像光学系１０５の有効撮像領域とが重複する領域から選択される。
【００２０】
次に、図３の（Ｂ）に示すように、処理部２０２は、複数の計測領域Ａ、Ｂ、ＣおよびＤの各々に対応するパラメータを算出するための原器（校正原器）ａ、ｂ、ｃおよびｄを用いて、各々の計測領域に対応するパラメータを得る。得られたパラメータをそれぞれａ、ｂ、ｃおよびｄとする。
【００２１】
本実施形態においては、形状が異なる校正原器ａ、ｂ、ｃおよびｄを用いているが、形状が同じ校正原器を用いてもよい。パラメータの求め方の詳細については後述する。記憶部２０３は、複数の計測領域Ａ、Ｂ、ＣおよびＤの各々に対応するパラメータを、それぞれの計測領域と紐付けて記憶する。
【００２２】
次に、図３の（Ｃ）に示すように、計測領域Ｂにおいて被検物の計測を行う場合、処理部２０２は、記憶部２０３に記憶されたパラメータｂを選択する。処理部２０２は、選択したパラメータｂを用いて被検物の配置に関する情報を算出する。
【００２３】
計測領域の選択は、例えば、ユーザが表示部２１１に表示された被検物の画像をもとに選択しうる。または、ＣＰＵ２１３が不図示の記憶部に記憶されたプログラムを実行することで自動的に計測領域が選択されてもよい。
【００２４】
（パラメータの求め方）
既知の校正原器の座標と、校正原器を計測して算出した座標と、の乖離量を小さくするパラメータが被検物の配置に関する情報を校正するためのパラメータとなる。
【００２５】
具体的な求め方は、例えば、以下の通りである。
【数１】
2018189487.tif 000003
【数２】
2018189487.tif 000004
【数３】
2018189487.tif 000005
【数４】
2018189487.tif 000006
【００２６】
式１において、λは同次座標表現の係数であり、ＭおよびＫは式５および式７で表される行列式である。式１におけるＸ、Ｙ、Ｚは、推定した複数の校正原器の三次元座標値または既知の複数の校正原器の三次元座標値であり、u、ｖはそれに対応する投影部１０１又は撮像部１０４の投影座標又は撮像座標である。まず式１のＸ、Ｙ、Ｚに既知のあるいは推定した座標値を代入してｕ、ｖを算出する。
【００２７】
式２におけるｆｘ、ｆｙ、Ｃｘ、Ｃｙは、ピンホールカメラモデルの焦点距離と中心位置を表しており、投影部１０１又は撮像部１０４の倍率ずれ、位置ずれを補正する校正パラメータを意味している。式２では、ｕ’、ｖ’が定義される。
【００２８】
式３におけるｋ１、ｋ２、ｋ３、Ｐ１、Ｐ２は、校正で決定した投影部１０１、又は撮像部１０４の歪み成分を校正する校正パラメータ（内部パラメータの一部）である。ｒ’2はｕ’２＋ｖ’２で定義される。ｒ’４およびｒ’６も同様である。式３はカメラの歪みを補正する式を表している。最後に、式３で算出したｕ”、ｖ”を式４に代入して、内部パラメータ補正後の投影座標Ｕ、Ｖが算出される。
【００２９】
【数５】
2018189487.tif 000007
【００３０】
式５のＭは、同次座標表現における座標変換行列であり、校正原器で定義される世界座標から、投影部１０１又は撮像部１０４のカメラ座標系に変換する意味をもつ。行列に含まれるＲは回転成分を表す行列であり３つの自由度がある。ｔは平行並進成分を表す行列である。撮像部１０４に対する投影部１０１の相対的な座標変換行列をＭ＊、それに含まれる回転行列をＲ＊、相対的な平行並進成分をｔ＊と置く。
【００３１】
また、撮像部１０４の座標変換行列をＭ１、回転行列をＲ１、平行並進成分をｔ１、投影部１０１の座標変換行列をＭ２、回転行列をＲ２、平行並進成分をｔ２とすると、Ｍ２は、式６のように表される。
【００３２】
【数６】
2018189487.tif 000008
【００３３】
式６によれば、投影部１０１の座標は、撮像部１０４の座標系（カメラ座標系）と、投影部１０１と撮像部１０４の相対位置・姿勢を表す行列と、に分解される。
【００３４】
【数７】
2018189487.tif 000009
式７のＫは、カメラの内部パラメータの一部を表す行列である。
【００３５】
ここまで述べてきたｆｘ、ｆｙ、Ｃｘ、Ｃｙ、及び、ｋ１、ｋ２、ｋ３、Ｐ１、Ｐ２は、それぞれのレンズユニットの幾何的収差を校正するパラメータであり、内部パラメータと呼ばれている。一方、Ｍ１、Ｍ＊は外部パラメータと呼ばれており、それぞれカメラ座標系と世界座標系との相対的な位置・回転、投影部１０１と撮像部１０４の相対的な位置・回転を表している。内部パラメータ、外部パラメータを最適化、例えばＵ、Ｖとu、ｖの補正残差が最小自乗法で最小になるようにし、パラメータを算出する。
【００３６】
処理部２０２は、上記プロセスを計測領域ごとに行い、各計測領域に対応するパラメータを求める。処理部２０２は、外部パラメータおよび内部パラメータのうち少なくともいずれかを求めればよい。例えば、計測領域ごとに内部パラメータを求めず、光学ＣＡＤなどで演算した設計値をそのまま用い、外部パラメータのみ計測領域ごとパラメータを求めても良い。
【００３７】
上記の通り、本実施形態の計測装置１００は、計測領域に対応するパラメータを予め算出して記憶させておくことで、計測領域を変えるたびにパラメータを算出する必要が無くなり、稼動率を低減させることなく被検物の配置を計測することができる。
【００３８】
（第２実施形態）
図４は、第２実施形態に係る、計測装置１００に記憶された計測領域とは異なる計測領域である追加領域に対応するパラメータを求める方法を説明する図である。第１実施形態と同様の構成は同符号で示し、説明は省略する。本実施形態では、記憶部２０３に記憶されたパラメータを用いて、記憶された計測領域とは異なる計測領域に対応するパラメータを求める。該方法は、追加領域記憶工程Ｓ１、追加パラメータ算出工程Ｓ２、及び追加パラメータ記憶工程Ｓ３を含む。
【００３９】
追加領域記憶工程Ｓ１では、例えば、ユーザは、表示部２１１としてのディスプレイを見ながら、入力部２１２としてのキーボードで、記憶された計測領域とは異なる、計測領域を選択する。処理部２０２は、ユーザが選択した計測領域を記憶部２０３に記憶させる。
【００４０】
追加パラメータ算出工程Ｓ２では、処理部２０２は、予め記憶されたパラメータを用いて、追加領域に対応するパラメータを算出する。一例としては、追加領域に最も近い、予め記憶された計測領域に対応するパラメータを用いる。別の好適な例としては、追加領域に対し、第１実施形態で述べた方法を用いてパラメータを算出する。
【００４１】
追加パラメータ記憶工程Ｓ３では、記憶部２０３は、追加パラメータ算出工程Ｓ２で算出した、追加領域に対応するパラメータを追加領域と紐付けて記憶する。
【００４２】
以上、本実施形態の方法を実行する計測装置によれば、すでに求めたパラメータを用いて、追加領域に対応するパラメータを得ることができ、例えば、稼働率の点で有利となりうる。
【００４３】
（第３実施形態）
図５は、第３実施形態に係る計測装置３００による教示情報の表示方法を説明する図である。教示情報とは、ユーザに対し、記憶されたパラメータに対応する計測領域を示す情報であって、画像や文字を含みうる。図５（Ａ）は、本実施形態の概念図である。本実施形態の計測装置３００は、上記実施形態と比べ、制御部が有する機能が異なる。すなわち、本実施形態の制御部３０１は、処理部３０２および記憶部３０３を含み、処理部３０２は、教示情報を作成し、記憶部３０３は、処理部３０２により作成された教示情報を記憶する。処理部３０２は、例えば、投影部１０１に教示情報を投影させるための制御情報を記憶部３０３に出力する。
【００４４】
記憶部３０３に記憶された教示情報は、例えば、入力部２１２を介したユーザからの指令に対応するＣＰＵ２１３から出力された情報に基づいて制御部３０１が選択する。図５（Ｂ）は、制御部３０１が選択した教示情報の一例を示す図である。制御部３０１は、選択した教示情報１１４を投影するように投影部１０１を制御する。
【００４５】
本実施形態の教示情報１１４は、計測装置３００の近面の外枠１１１と、遠面の外枠１１２、及び対応する計測領域における計測範囲１１０を示すマーク１１３を含む。マーク１１３は、“１１０”を示す文字である。ユーザは、計測領域が所望の位置であることを、マーク１１３を見て確認した後、近面の外枠１１１と遠面の外枠１１２で規定される計測範囲１１０の内側にパレットが入るように調整する。パレットとは、被検物が収容される台である。
【００４６】
以上により、本実施形態の計測装置３００によれば、ユーザは計測精度が保障された計測範囲を容易に認識することができる。
【００４７】
（ロボットシステムに係る実施形態）
上記実施形態の計測装置は、被検物を把持するアーム部を備えたロボットと組合わせて使用されうる。図６は、本実施形態に係るロボットを含むシステム１０００の構成を示す図である。当該システムは、計測装置４００と、ロボット５００と、ロボット制御部６００と、を含む。ロボット５００は、アーム部５０１と、ハンド部５０２と、マーカ部５０３と、を有する。計測装置４００は、被検物Ｗを計測し計測結果をロボット制御部６００へ出力する。ロボット制御部６００は、計測結果に基づいてアーム部５０１等を制御して、被検物Ｗの把持等を行う。
【００４８】
ここで、ロボット制御部６００は、一般的に、計測装置４００が求めた計測結果（被検物の座標情報）を、ロボット５００を基準とした座標系における座標情報に変換する。変換の際は、ハンド部５０２との相対的な位置・姿勢が既知であり、また形状も既知であるマーカ部５０３および座標変換の既知の方法を用いる。
【００４９】
（物品製造方法に係る実施形態）
上述のシステム１０００を用いて物品を製造する方法について説明する。計測装置１００は、被検物Ｗに光を投影して撮像し、画像を取得する。そして、計測装置１００の制御部２０１が、又は、計測装置１００の制御部２０１から出力された画像データを取得したロボット制御部６００が、被検物Ｗの配置に関する情報を求め、求められた配置に関する情報をロボット制御部６００が取得する。ロボット制御部６００は、その配置に関する情報（計測結果）に基づいて、アーム部５０１に駆動指令を送ってアーム部５０１を制御する。アーム部５０１は先端のハンド部５０２など（把持部）で被検物Ｗを保持して、並進や回転などの移動をさせる。さらに、アーム部５０１によって被検物Ｗを他の部品に組み付ける（組立する）ことにより、複数の部品で構成された物品、例えば電子回路基板や機械などを製造することができる。また、移動された被検物Ｗを加工（処理）することにより、物品を製造することができる。ロボット制御部６００は、ＣＰＵなどの演算装置やメモリなどの記憶装置を有する。
【００５０】
（その他の実施形態）
以上、本発明の実施の形態を説明してきたが、本発明はこれらの実施の形態に限定されず、その要旨の範囲内において様々な変更が可能である。
【符号の説明】
【００５１】
１００            計測装置
１０１            投影部
１０２            パターン生成部
１０３            投影光学系
１０４            撮像部
１０５            撮像光学系
２０１            制御部
２０２            処理部
２０３            記憶部
【図１】
2018189487.tif 000010
【図２】
2018189487.tif 000011
【図３】
2018189487.tif 000012
【図４】
2018189487.tif 000013
【図５】
2018189487.tif 000014
【図６】
2018189487.tif 000015