(57)【要約】【課題】対象物体の反射光の拡散反射成分を利用して照明の数を増やすことなく精度良く形状計測できる形状計測装置及び方法を得る。【解決手段】対象物体に複数の異なる方向から光を順次照射して複数の撮像画像を取得し、撮像画像を処理して対象物体の表面勾配を算出する画像処理手段４として、撮像画像上の同一画像座標点での各輝度を成分とした第１のベクトルを得る輝度ベクトル測定手段４１、複数の異なる照射方向の各単位ベクトルを成分とする照明方向行列と、各光の明度を対角成分とする照明明度行列に基づき各画像座標点で第１のベクトルを変換して第２のベクトルを得る輝度変換手段４２、第２のベクトルの空間分布を球面で回帰する回帰手段４３、回帰した球面に第２のベクトルを射影して第３のベクトルを得る射影手段４４、第３のベクトルに基づき対象物体の座標点での表面勾配を得る表面勾配算出手段４５を有する。【選択図】        図１
2004271311.tif 000002
【特許請求の範囲】
【請求項１】
対象物体に複数の異なる照射方向から光を順次照射する複数の照射手段と、
前記複数の照射手段による照射毎に撮像画像を取得する撮像手段と、
前記複数の照射手段を制御する照明制御手段と、
前記撮像手段による複数の撮像画像を処理して対象物体の表面勾配を算出する画像処理手段と
を備えた形状計測装置であって、
前記画像処理手段は、
複数の撮像画像上における同一の画像座標点での各輝度を成分とした第１のベクトルを算出する輝度ベクトル測定手段と、
前記複数の異なる照射方向の各単位ベクトルを成分とする照明方向行列と、前記複数の照射手段からの各光の明度を対角成分とする照明明度行列に基づいて各画像座標点で前記第１のベクトルを変換して第２のベクトルを算出する輝度変換手段と、
前記第２のベクトルの空間分布を球面で回帰する回帰手段と、
前記回帰手段により回帰した球面に前記第２のベクトルを射影して誤差を補正した第３のベクトルを算出する射影手段と、
前記射影手段により算出された第３のベクトルに基づいて対象物体の前記座標点での表面勾配を算出する表面勾配算出手段と
を有することを特徴とする形状計測装置。
【請求項２】
対象物体に複数の異なる照射方向から光を順次照射し、
照射毎の複数の撮像画像を取得し、
前記複数の撮像画像を処理して対象物体の表面勾配を算出する形状計測方法であって、
複数の撮像画像上における同一の画像座標点での各輝度を成分とした第１のベクトルを算出する第１のステップと、
前記複数の異なる照射方向の各単位ベクトルを成分とする照明方向行列と、前記複数の照射手段からの各光の明度を対角成分とする照明明度行列に基づいて各画像座標点で前記第１のベクトルを変換して第２のベクトルを算出する第２のステップと、
前記第２のベクトルの空間分布を球面で回帰する第３のステップと、
回帰した球面に前記第２のベクトルを射影して誤差を補正した第３のベクトルを算出する第４のステップと、
前記第３のベクトルに基づいて対象物体の前記座標点での表面勾配を算出する第５のステップと
を有し、撮像画像を画像処理することを特徴とする形状計測方法。
【請求項３】
請求項２に記載の形状計測方法において、
前記第３のステップは、最小２乗法を用いて球面回帰する
ことを特徴とする形状計測方法。
【請求項４】
請求項２に記載の形状計測方法において、
前記第３のステップは、２乗のメディアンが最小となる基準を用いて球面回帰する
ことを特徴とする形状計測方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、形状計測装置及び方法に関するものであり、特に、物体の色や表面の組成が単一である工業用製品の形状測定、検査に好適なものである。
【０００２】
【従来の技術】
従来、この種の形状計測装置として、例えば、計測対象物であるはんだフィレットに対する照明角度が異なる複数の照明手段を逐次点灯させて、各照明手段の点灯毎に撮像手段ではんだフィレットを撮像し、撮像手段にて各照明手段の点灯毎に撮像された各画像における同じアドレスの画素の輝度を基に、そのアドレスでのはんだフィレットの傾きを求め、その傾きとはんだフィレットの形状を数学的関数に近似してはんだフィレットの形状を計測する技術があった（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−３０４５２０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の発明は、基本的に物体の反射光の輝度のピークすなわち正反射光を利用して計測しており、その正反射成分を検出するためには照射方向の異なる照明の数を多数用意して、ガウス関数の当てはめに用いるデータを増やさなければならないが、照明の数を増やすことは計測時間の増大を招くという問題点があった。また、計測値のはずれ値を除去する処理では、対象物体の形状が２次曲線であることを仮定しなければならないという問題点があった。
【０００５】
この発明は、上記のような問題点を解決するためになされたもので、対象物体の反射光の拡散反射成分を利用して照明の数を低減することができ、精度良く形状計測することができるとともに、対象物体の形状を２次元に仮定することなく、計測値のはずれ値を除去できる形状計測装置及び方法を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る形状計測装置は、対象物体に複数の異なる照射方向から光を順次照射する複数の照射手段と、前記複数の照射手段による照射毎に撮像画像を取得する撮像手段と、前記複数の照射手段を制御する照明制御手段と、前記撮像手段による複数の撮像画像を処理して対象物体の表面勾配を算出する画像処理手段とを備えた形状計測装置であって、前記画像処理手段は、複数の撮像画像上における同一の画像座標点での各輝度を成分とした第１のベクトルを算出する輝度ベクトル測定手段と、前記複数の異なる照射方向の各単位ベクトルを成分とする照明方向行列と、前記複数の照射手段からの各光の明度を対角成分とする照明明度行列に基づいて各画像座標点で前記第１のベクトルを変換して第２のベクトルを算出する輝度変換手段と、前記第２のベクトルの空間分布を球面で回帰する回帰手段と、前記回帰手段により回帰した球面に前記第２のベクトルを射影して誤差を補正した第３のベクトルを算出する射影手段と、前記射影手段により算出された第３のベクトルに基づいて対象物体の前記座標点での表面勾配を算出する表面勾配算出手段とを有することを特徴とする。
【０００７】
【発明の実施の形態】
実施の形態１．
以下、図面を参照しながら。この発明の実施の形態１について詳細に説明する。図１は、この発明の実施の形態１に係る形状計測装置を説明するための構成図である。図１に示す構成では、対象物体１０を撮像するＣＣＤカメラなどの撮像手段１と、対象物体１０に光を照射する照明（２１、２２、２３）を複数有する照射手段と、照射手段の動作を制御する照明制御手段３と、撮像手段１による撮像画像を解析する画像処理手段４とを備えている。また、画像処理手段４は、輝度ベクトル測定手段４１、輝度変換手段４２、回帰手段４３、射影手段４４及び表面勾配算出手段４５を有している。なお、照明の数は、３つ以上でもよい。また、照射手段は、かならずしも３つの照明を用いなくても構わない。１つの照明の位置を変えることで照射手段を実現してもよい。
【０００８】
この発明の実施の形態１による動作について説明する。まず、対象物体１０を原点に設定し、撮像手段１の撮像面がｚ軸方向に垂直になる様に座標系を設定する（図２参照）。次に、照明制御手段３の制御により、照明２１〜２３を順次点灯させながら、対象物体１０に光を照射させ、その度に撮像手段１で対象物体１０の画像を撮像する。すべての照明２１〜２３の撮像が終了すると、画像処理手段４は、対象物体１０の撮像によって取得した撮像画像に基づいて、照明２１〜２３の光の照射によって得られた反射光の拡散輝度成分を読み出してベクトルｄとする。このベクトルｄを輝度変換してベクトルｄ’を求め、図３に示すように、ｄ’の分布を球面回帰し、この球面にｄ’を射影することでｄ’の誤差を補正したｄ”を求め、最後にｄ”に基づいて対象物体１０の表面勾配を求める。
【０００９】
次に、画像処理手段４の具体的な動作について図４に示すフローチャートを参照して説明する。まず、照明２１〜２３によって対象物体１０への光の照射を切り換え、撮像手段１でそれぞれ撮像して画像を得る。画像処理手段４の輝度ベクトル測定手段４１は、各撮像画像において、同一の画像座標点（撮像手段１での撮像画像の座標点）での各輝度ｄｉ（ｉ＝１〜３）を成分としたベクトルｄを算出する（ステップＳ１）。輝度変換手段４２は、各画像座標点でのベクトルｄを変換して、新たなベクトルｄ’を求める（ステップＳ２）。回帰手段４３は、ベクトルｄ’の空間分布を球面で回帰する計算を行う（ステップＳ３）。射影手段４４は、回帰した球面にベクトルｄ’を射影して誤差を補正した新しいベクトルｄ”を求める（ステップＳ４）。表面勾配算出手段４５は、ベクトルｄ”に基づいて、対象物体１０の表面勾配（単位法線ベクトル）を求める（ステップＳ５）。以上のようにして、各画像座標点（各所定座標点）における表面勾配が算出されるので、対象物体１０の形状を判断することができる。
【００１０】
続いて、上述した画像処理手段４の動作についてさらに詳細に説明する。図２において、対象物体１０の画像座標点の表面勾配を、式（１）のような表面の単位法線ベクトルｎで示す。以下、表記の都合上、ベクトルを横ベクトルとして表記しているが、本特許では特に断りのない限り、ベクトルは縦ベクトルとして扱う。
【００１１】
【数１】
2004271311.tif 000003
【００１２】
なお、単位法線ベクトルｎは単位ベクトルなので、式（２）の関係となる。
【００１３】
【数２】
2004271311.tif 000004
【００１４】
照明手段を構成する照明２１〜２３について、画像処理手段４に設定されたそれぞれの照射方向の単位ベクトルｌｉ（ｉ＝１〜３）の方向は、光が照射される向きと逆方向、すなわち原点からそれぞれの照明２１〜２３に向かう方向とする。
【００１５】
ここで、照明２１〜２３の照射方向の単位ベクトルｌ１、ｌ２、ｌ３の各成分を、それぞれ式（３）〜（５）のように定義する。
【００１６】
【数３】
2004271311.tif 000005
【００１７】
さらに、式（３）〜（５）で示した成分を用いて、３×３行列である照射方向行列Ｌを式（６）で定義する。
【００１８】
【数４】
2004271311.tif 000006
【００１９】
次に、画像処理手段４に設定された照明２１〜２３の光の明るさ（明度）Ｃ１、Ｃ２、Ｃ３を用い、３×３行列である照明明度行列Ｃを式（７）で定義する。
【００２０】
【数５】
2004271311.tif 000007
【００２１】
照明２１〜２３によって光を照射された対象物体１０からの反射光は特定方向のみの正反射成分とさまざまな方向の拡散成分とに分解される。そのうち拡散成分に関しては、ランベルト反射を行うと仮定できる。
【００２２】
対象物体１０の表面の単位法線ベクトルをｎ、対象物体１０の表面の反射率（正のスカラー値）などを含む係数ｓを用いると、照明２１〜２３によって光を照射された対象物体１０の反射光の拡散成分の輝度ｄｉは、式（８）の関係で示される。
【００２３】
【数６】
2004271311.tif 000008
【００２４】
ここで、（ｎ・ｌｉ）は、ベクトルｎ、ｌｉの内積を示す。式（８）において、物体の表面の反射率（正のスカラー値）などを含む係数ｓは、本来、物体の表面状態の違いによって、対象物体１０の各点で値が異なるが、ここでは、対象物体１０の色やその表面の組成が単一である場合を想定する。
【００２５】
対象物体１０の色や表面の組成が単一であると想定すると、表面の各座標点では、同一の反射率をもつと仮定できるので、式（８）の関係は、対象物体１０を撮像した撮像画像の各座標点（画像座標点）においても成立する。
【００２６】
図２において、例えば、３つの照明で対象物体１０を照射する場合、各照明２１〜２３による光の照射で得られた同一画像座標上の輝度ｄ１、ｄ２、ｄ３を各成分とした輝度ベクトルｄを式（９）のように示す。
【００２７】
【数７】
2004271311.tif 000009
【００２８】
図４におけるステップＳ１では、この輝度ベクトルｄを算出する。また、式（８）および（９）に基づいて式（１０）の関係を示すことができる。
【００２９】
【数８】
2004271311.tif 000010
【００３０】
照射方向行列Ｌが正則行列となる様に照明方向の単位ベクトルをとれば、照射方向行列Ｌの逆行列が存在する。また、照明明度行列Ｃも対角行列なので逆行列が存在することは明らかである。このことからＣとＬの積である行列ＣＬについても逆行列が存在する。
【００３１】
図４におけるステップＳ２では、式（１１）に従って輝度ベクトルｄを変換し、新たなベクトルｄ’を生成する。
【００３２】
【数９】
2004271311.tif 000011
【００３３】
図４におけるステップＳ３では、この新たなベクトルｄ’が理論的に球面上に位置することから、ｄ’の球面回帰を行い、球の中心ｇと半径ｒを求める。中心ｇ＝（ｘ０、ｙ０、ｚ０）、半径ｒの球面の式は、式（１２）で表現される。この式（１２）では空間座標を（ｘ、ｙ、ｚ）で表現した。
【００３４】
【数１０】
2004271311.tif 000012
【００３５】
新しいベクトルｄ’の球面回帰の方法としては、よく知られている最小２乗法を適用することで容易に求まる。例えば、式（１３）を最小にする様にすれば良い。
【００３６】
【数１１】
2004271311.tif 000013
【００３７】
ベクトルｄ’が球面上に位置する理由を以下で説明する。
誤差の無い場合の輝度ベクトルをｄＴとする。この時ｄＴは、式（１０）を満たし、式（１４）となる。
【００３８】
【数１２】
2004271311.tif 000014
【００３９】
一方、実際に計測できる輝度ベクトルｄは、未知である値の係数成分ｋと直流成分ｅが入ってきてしまうために、式（１５）として計測されるものとする。ここで、ｋとｅは定数と想定する。
【００４０】
【数１３】
2004271311.tif 000015
【００４１】
この式（１５）は、式（１６）の様に変形できる。
【００４２】
【数１４】
2004271311.tif 000016
【００４３】
ここで、ｋ’はｋｓ、ｅ’はｋｅである。
【００４４】
さらに、式（１６）は、式（１１）を用いて、式（１７）の様に変形できる。
【００４５】
【数１５】
2004271311.tif 000017
【００４６】
ここで、ｅ”＝（ＣＬ）−１ｅ’である。
【００４７】
式（１７）の両辺の大きさをとれば直ちに分かるように、ベクトルｄ’が、中心がｅ”、半径がｋ’の球面上に位置することがわかる。これが、ベクトルｄ’が球面上に位置する理由である。
【００４８】
中心ｅ”、半径ｋ’は、上記の回帰計算により、中心ｇ、半径ｒとして求められることになる。
【００４９】
図４におけるステップＳ４では、ベクトルｄ’を回帰球面上に再配置してベクトルｄ”を算出する。このようにすることで、ベクトルｄ’に含まれる誤差を補正することができる。
【００５０】
ｄ”を計算する際には、例えば、図３において、球面に一番近い点（球面と直交する方向）に射影することによって、ベクトルｄ”を再配置する。再配置にあたっては、球面とベクトルｄ’が所定の値よりはなれていた場合には、そのベクトルははずれ値と見なし、計測に採用しないようにしてもよい。はずれ値と見なされたｄ’の座標点については、もし照明が複数あれば、別の照明の組み合わせで輝度ベクトルｄ、ｄ’を算出して、はずれ値とならないベクトルｄ’を採用して、ｄ”を算出しても良い。
【００５１】
以上のようにして、ベクトルｄ”を球面上に再配置した後、図４におけるステップＳ５では、式（１７）を変形した式（１８）を用いて、対象物体１０の表面勾配（単位法線ベクトル）ｎを算出する。式（１８）において、式（１７）のベクトルｄ’を再配置結果のベクトルｄ”に、中心ｅ”を回帰結果であるｇに、半径ｋ’を回帰結果であるｒに置き換えている。
【００５２】
【数１６】
2004271311.tif 000018
【００５３】
画像座標点における表面勾配が算出されると、対象物体１０の形状を知ることができる。
【００５４】
従って、実施の形態１によれば、対象物体１０の反射光の拡散反射成分を利用して対象物体の形状を計測するので、少ない照明の数で精度良く形状を計測することができる。また、対象物体１０の形状に仮定をおくことなく、計測値のはずれ値を除去することができる。
【００５５】
実施の形態２．
実施の形態１では、ステップＳ３のベクトルｄ’の分布を球面回帰する方法において偏差の２乗和が最小となる基準を用いる最小２乗法を用いたが、この基準について、偏差の２乗のメディアンが最小となる基準を用いても良い。すなわち、実施の形態１では、回帰手段４３は、式（１３）を満たす、中心ｇ＝（ｘ０、ｙ０、ｚ０）、半径ｒを算出したが、式（１９）を満たす、中心ｇ＝（ｘ０、ｙ０、ｚ０）、半径ｒを算出してもよい。
【００５６】
【数１７】
2004271311.tif 000019
【００５７】
ここで、Ｍｅｄ（・）はメディアン（中央値）をとる関数である。この中央値は、データにはずれ値が含まれていても値があまり変動しないという特徴があるため、式（１９）を用いるとはずれ値に影響されにくい回帰が実現できる。また、ベクトルの偏差の２乗のメディアンが最小になるという基準だけで、自動的にはずれ値の影響が除去されるので、しきい値を設定してはずれ値であることを判定する必要が無い。
【００５８】
従って、実施の形態２によれば、はずれ値を自動的に除去する回帰計算が実現できるため、実施の形態１のように、はずれ値除去のしきい値を設ける必要がないという効果が生じる。
【００５９】
【発明の効果】
以上のように、この発明によれば、対象物体の反射光の拡散反射成分を利用して対象物体の形状を計測するので、少ない照明の数で精度良く形状計測することができるとともに、対象物体の形状を２次元に仮定することなく、計測値のはずれ値を除去できる。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る形状計測装置を構成図である。
【図２】この発明の実施の形態１による動作を説明する図である。
【図３】この発明の実施の形態１による動作を説明する図である。
【図４】この発明の形状計測方法を説明するためのフローチャートである。
【符号の説明】
１  撮像手段、１０  対象物体、２１  照明、２２  照明、２３  照明、３  照明制御手段、４  画像処理手段、４１  輝度ベクトル測定手段、４２  輝度変換手段、４３  回帰手段、４４  射影手段、４５  表面勾配算出手段。
【図１】
2004271311.tif 000020
【図２】
2004271311.tif 000021
【図３】
2004271311.tif 000022
【図４】
2004271311.tif 000023