(57)【要約】【課題】反射光の全部を有効に使って対象物体の表面反射特性に依存せずに、照明の数も少ない簡易な構成で高速、高精度に物体の形状検査を行う形状検査方法およびその方法を用いた形状検査装置を提供すること。【解決手段】照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、異なる方向から照明された対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明方向とから、対象物体の表面勾配を計測する形状検査方法において、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定し、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定し、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する。【選択図】        図１
2004239810.tif 000002
【特許請求の範囲】
【請求項１】
照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、上記異なる方向から照明された対象物体の画像を複数撮像し、得られた上記画像における同一座標の画素の輝度と照明方向とから、上記対象物体の表面勾配を計測する形状検査方法において、
上記画像と上記対象物体の良品形状モデルとを用いて、上記対象物体の表面反射パラメータを推定し、
上記画像と上記表面反射パラメータの推定値とを用いて、上記対象物体の表面勾配を推定し、
上記表面勾配の推定値と上記良品形状モデルの表面勾配とを比較して、上記対象物体の形状の良否を検査することを特徴とする形状検査方法。
【請求項２】
上記得られた表面反射パラメータの推定値の正当性を判定することを特徴とする請求項１に記載の形状検査方法。
【請求項３】
上記対象物体の表面反射パラメータは表面反射モデルを用いて求めることを特徴とする請求項１または２に記載の形状検査方法。
【請求項４】
上記表面反射モデルは、ＰｈｏｎｇモデルまたはＢｌｉｎｎモデルのいずれか１つであることを特徴とする請求項３に記載の形状検査方法。
【請求項５】
対象物体に対して複数の異なる方向から照明する照明手段と、上記異なる方向から照明された対象物体の画像を複数撮像する撮像手段と、得られた上記画像における同一座標の画素の輝度と照明方向とから上記対象物体の表面勾配を計測する画像処理手段とを備えた形状検査装置において、
画像処理手段は、上記画像と上記対象物体の良品形状モデルとを用いて、上記対象物体の表面反射パラメータを推定する表面反射パラメータ推定手段と、
上記画像と上記表面反射パラメータの推定値とを用いて、上記対象物体の表面勾配を推定する表面勾配推定手段と、
上記表面勾配の推定値と上記良品形状モデルの表面勾配とを比較して、上記対象物体の形状の良否を検査する検査手段とを備えたことを特徴とする形状検査装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、対象物体の形状検査方法および形状検査装置に関し、特に基板に実装された電子部品のモールド部分およびはんだ付け部分等の形状検査方法および形状検査装置に関する。
【０００２】
【従来の技術】
従来の形状検査方法は、検査対象物体であるはんだフィレットに対する照明角度が異なる複数の照明手段を逐次点灯させて、各照明手段の点灯毎に撮像手段ではんだフィレットを撮像し、上記撮像手段にて各照明手段の点灯毎に撮像された各画像における同じアドレスの画素の輝度を基に、そのアドレスでのはんだフィレットの傾きを求め、その傾きとはんだフィレットの形状を数学的関数に近似してはんだフィレットの形状を計測することを行っている（例えば、特許文献１参照。）。
【０００３】
【特許文献１】
特開２０００−３０４５２０号公報
【０００４】
【発明が解決しようとする課題】
しかし上述の形状検査方法では、基本的に物体の反射光の輝度のピークすなわち鏡面反射光を利用して計測しているので、鏡面反射光をうまく推定するためには照射角度の異なる照明の数を多数用意して、ガウス関数当てはめに用いるデータを増やさなければならなかった。また照明の数を増やすと検査時間の増大を招いてしまうという問題点があった。
【０００５】
さらに、物体の反射光には鏡面反射成分だけではなく拡散反射成分も存在するし、はんだなどの場合では比較的鏡面反射成分が大きいので、上述の形状検査方法の適用が可能であるが、拡散反射成分が大きい物体に関してはガウス関数を当てはめることが適切でないといった問題点があった。
【０００６】
この発明の目的は、反射光の全部を有効に使って対象物体の表面反射特性に依存せずに、照明の数も少ない簡易な構成で高速、高精度に物体の形状検査を行う形状検査方法および形状検査装置を提供することである。
【０００７】
【課題を解決するための手段】
この発明に係わる形状検査方法は、照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、異なる方向から照明された対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明方向とから、対象物体の表面勾配を計測する形状検査方法において、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定し、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定し、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する。
【０００８】
また、この発明に係わる形状検査装置は、対象物体に対して複数の異なる方向から照明する照明手段と、異なる方向から照明された対象物体の画像を複数撮像する撮像手段と、得られた画像における同一座標の画素の輝度と照明方向とから対象物体の表面勾配を計測する画像処理手段とを備えた形状検査装置において、画像処理手段は、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定する表面反射パラメータ推定手段と、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定する表面勾配推定手段と、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する検査手段とを備えている。
【０００９】
【発明の実施の形態】
実施の形態１．
図１は、この発明の実施の形態１の形状検査方法のフローチャートである。図２はこの形状検査方法を適用する検査装置の構成図である。図３は図２の検査装置の座標系および記号を説明するための概略図である。
【００１０】
この形状検査方法を適用する検査装置は、図２に示すように、検査対象物体１０１を見下ろす形でＣＣＤカメラからなる撮像手段１０２と、検査対象物体１０１を異なった角度で照明する３台の照明手段１０３ａ、１０３ｂ、１０３ｃと、照明手段１０３を点灯制御し、制御情報を出力する制御手段１０４と、撮像手段１０２で撮像された検査対象物体１０１の撮像データを入手し、制御手段１０４からの制御情報とを用いて検査対象物体１０１の良否を判断する画像処理手段１０５と、画像処理手段１０５の判断結果を出力する結果出力手段１０６とを備えている。
さらに、画像処理手段１０５は、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定する表面反射パラメータ推定手段１０７と、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定する表面勾配推定手段１０８と、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査する検査手段１０９とを備えている。画像処理手段１０５には後述するように良品形状モデルのデータが記憶されている。制御手段１０４、画像処理手段１０５および結果出力手段１０６は計算機で構成されている。ここでは照明手段１０３の数を３つにし、それぞれの高さが同じである様に記述したが、配置する照明手段の数は３つ以上であってもかまわないし、配置する高さが異なってもかまわない。
【００１１】
後述の形状検査方法の説明で用いる座標系および記号を、図３を参照して説明する。検査対象物体１０１をｘ−ｙ−ｚ座標系の原点に設定し、撮像手段１０２であるＣＣＤカメラの撮像面がｚ軸に垂直になる様に設定する。なお、図３ではＣＣＤカメラの撮像面のみ図示し、ＣＣＤカメラは省略してある。  次に、検査対象物体１０１の表面勾配を、検査対象物体の表面の単位法線ベクトルｎで表現することとし、
ｎ＝（ｐ，  ｑ，  ｒ）
とする。単位法線ベクトルｎは単位ベクトルなので、ｐ２＋ｑ２＋ｒ２＝１となる。
【００１２】
次に、照明に関するベクトルと行列に関して説明する。照明手段１０３を構成する照明１０３ａ、照明１０３ｂ、照明１０３ｃについて、それぞれの照射方向の単位ベクトルをｍ１、ｍ２、ｍ３とする。ベクトルで表現する際は、ベクトルの方向を、光が照射される向きと逆方向にとり、原点から照明１０３ａ、照明１０３ｂ、照明１０３ｃに向かう方向にとることにする。ここで、
ｍ１＝（Ｍ１１，Ｍ１２，Ｍ１３）
ｍ２＝（Ｍ２１，Ｍ２２，Ｍ２３）
ｍ３＝（Ｍ３１，Ｍ３２，Ｍ３３）
とする。
【００１３】
次に、図１を参照して、形状検査方法を説明する。なお、形状モデルとは、形状測定の対象物体の形状を示すモデルである。例えば、後述するはんだボールを例に取って説明すると、はんだボールの形状モデルは球である。良品形状モデルは形状モデルのうち、所望の形状であり、はんだボールの場合は真球である。形状モデルが数学的に表すことができる場合は、数式を用いて表すことができる。一方、数学的に表すことのできない形状の場合は、実際の物体を製作して用意してもよい。
【００１４】
良品形状モデルの表面勾配は、形状が予め分かっているので、形状（高さ）を微分することで求め、計算機の記憶部に良品形状モデル、および良品形状モデルの表面勾配のデータを記憶しておく。
【００１５】
表面反射モデルとは、対象物体に対して照明を当て、その対象物体の表面で反射する様子を表すモデルを意味する。ここでは表面反射モデルとして、拡散反射と鏡面反射とを同時に考慮できるＰｈｏｎｇモデルを採用する。Ｐｈｏｎｇモデルでは、物体の反射光（画像輝度）Ｉは、拡散反射成分と鏡面反射成分の和として数１で表現される。
【００１６】
【数１】
2004239810.tif 000003
【００１７】
この数１が、検査対象物体の表面の各点で成立するとする。
ここで、
ｖ    ：カメラ方向ベクトル（３次元単位ベクトル）
図３の座標系で、ｖ＝（０，０，１）
Ｉ    ：検査対象物体の反射光量（画像の輝度）
ｎ    ：検査対象物体の表面の法線ベクトル（３次元単位ベクトル）
ｍ    ：照明の方向ベクトル（３次元単位ベクトル）
ｍ’  ：照明光の正反射方向のベクトル（３次元単位ベクトル）
ｍ’＝２（ｎ、ｍ）ｎ−ｍ
Ｃ    ：Ｐｈｏｎｇモデルにおける反射パラメータ１
ｋ    ：Ｐｈｏｎｇモデルにおける反射パラメータ２（０≦ｋ≦１）
ｔ    ：Ｐｈｏｎｇモデルにおける反射パラメータ３（０≦ｌ）
（ａ、ｂ）：ベクトルａとベクトルｂの内積
である。
【００１８】
この式の示すところは、Ｐｈｏｎｇモデルでは、拡散反射成分は、物体の法線方向と照明方向の内積で与えられ、鏡面反射成分は、物体の法線方向と照明の正反射方向の内積のｔ乗で与えられるということである。ｔは鏡面反射成分のピーク幅（鋭さ）を表し、値が大きければ、輝度の変化が大きくなる。また物体の、拡散反射成分と鏡面反射成分の含有比は、（１−ｋ）：ｋであり、Ｃはそのゲインを示す。このＣ、ｋ、ｔの３つのスカラー量がＰｈｏｎｇモデルの表面反射パラメータである。
【００１９】
また、表面反射モデルとして、Ｐｈｏｎｇモデルの代わりに形の良く似たＢｌｉｎｎモデルもある。Ｂｌｉｎｎモデルは数２で表現される。
【００２０】
【数２】
2004239810.tif 000004
【００２１】
ここで、
ｈ：  ハーフベクトル（３次元単位ベクトル）
ｈ＝  （ｍ＋ｖ）／‖ｍ＋ｖ‖
‖ａ‖：ベクトルａの大きさ（ノルム）
である。Ｐｈｏｎｇモデルと記号が同じものは同じ意味である。
【００２２】
次に、形状検査方法のフローをさらに詳細に説明する。ステップ１では、制御手段１０４により、照明１０３ａ、１０３ｂ、１０３ｃのうちの１つの照明を選択して照明する。次に、画像処理手段１０５で制御される撮像手段１０２が、照明された対象物体１０１の画像を撮像する。ステップ３では、必要な数の画像を撮像したかどうか判断し、まだ完了していないときはステップ１へ戻って異なる照明手段１０３を選択し、撮像を繰り返す。この場合は３個の照明手段１０３で照明して撮像ができたときはステップ４へ進む。ステップ４では、３枚の異なる方向の画像が撮像できたので、画像処理手段１０５に記憶されている対象物体の良品形状モデルを読込んで、撮像手段１０２から送られてきた３枚の画像のデータを良品形状モデルに合わせて、対象物体１０１の表面反射パラメータを求める。
【００２３】
ステップ４についてより詳細に説明すると、異なる方向の照明から得られた３枚の画像と、対象物体の良品形状モデルを用いて、次の様にして対象物体の表面反射パラメータを求める。以下では、Ｐｈｏｎｇモデルを仮定し、対象物体の表面は均一であり、対象物体の表面の各点において、同一の表面反射パラメータになっていると仮定する。また、ここでは、撮像した対象物体が、良品形状モデルに近いと仮定する。撮像した対象物体が良品形状モデルと同一とすると、数１におけるｎは既知となる。また、画像から得られる輝度Ｉは既知であり、照明方向ベクトルｍ１、ｍ２、ｍ３も既知であるので、数１の３つの式を連立できれば、最小２乗誤差解としてＣ、ｋ、ｔを解くことができる。ここで数１は、対象物体の表面の各点で成立するので、３枚の画像の対象物体を構成する画素数の数だけ連立させることができ、対象物体の表面全体を考慮した平均的な解として、Ｃ、ｋ、ｔを解くことができる。具体的には、上記の連立方程式を非線形最小２乗法の数値計算法の１つであるＬｅｖｅｎｂｅｒｇーＭａｒｑｕａｒｄｔ法を用いれば、高速に解くことができる。以上の様にして、ステップ４において、表面反射パラメータであるＣ、ｋ、ｔを推定することができる。
【００２４】
次に、ステップ５では、画像処理手段１０５によって、計算した表面反射パラメータと３枚の画像を用いて、対象物体の各点（画像の各座標点）において、対象物体の表面勾配である単位法線ベクトルｎｏｂｊを計算する。数１は物体の各点において成立するので、今度は、Ｉ、ｍ、Ｃ、ｋ、ｔが既知であり、求めたいものはｎとなる。異なる方向の照明による画像が３枚あるので、物体の各点において、数１を３つ連立させることができるため、法線ベクトルｎｏｂｊを解くことができる。高速に計算するためには、非線形数値計算法の１つであるＧａｕｓｓの反復法（Ｇａｕｓｓ−Ｎｅｗｔｏｎ法）を用いれば良い。以上の様にして、ステップ５において、対象物体の各点において、法線ベクトルｎｏｂｊを求める。
【００２５】
最後に、ステップ６で、良品形状モデルから得られる法線ベクトルｎｇｏｏｄと対象物体の法線ベクトルｎｏｂｊとを比較する。それぞれの法線ベクトルは、物体の各点で得られているため、比較の方法は、例えば、各点での法線の向きの違いを、
１−（２つのベクトルの内積）
で定義する。この時、上記の値は、方向が一致すればゼロ。直交していたら１となる。この法線の向きの違いの最大値と、あらかじめ設定しておいたしきい値を比較しても良いし、対象物体全域での平均的な法線の向きの違いと、あらかじめ設定しておいたしきい値を比較しても良い。向きの違いが少なければ検査良品となり、違いが大きければ検査不良品となる。
【００２６】
このような形状検査方法を半導体のパッケージの１種であるＣＳＰ（ＣｈｉｐＳｃａｌｅ  Ｐａｃｋａｇｅ）のはんだボール（半球状のボールはんだが４００個程度がパッケージに実装されている。）の形状検査に適用したところ、約１．５秒で全数の検査が完了した。
【００２７】
このように形状検査方法では、良品形状モデルの表面反射パラメータと計測データとの対比を行うことにより、照明角度の異なった少ない照明で形状検査を行うことができる。
【００２８】
また、良品形状モデルをＰｈｏｎｇおよびＢｌｉｎｎなど拡散反射を考慮できる表面反射モデルを採用しているので、鏡面状物体だけでなく、様々な表面反射特性を有する物体も検査が可能である。
【００２９】
また、このような形状検査装置では、簡易な構成、方法で高速、高精度に物体の形状検査を行うことができる。
【００３０】
なお、実施の形態１をＣＳＰ用のはんだボールの形状検査に適用して効果を確認しているが、さらにプラスチックなど拡散反射成分と鏡面反射成分を同程度に含むもの、または石膏など拡散反射成分が支配的な材質からできている対象物体の形状も同様に検査できる。
【００３１】
実施の形態２．
図４はこの発明の実施の形態２の形状検査方法のフローチャートである。図４のステップ１１乃至１４は図１のステップ１乃至４と同じであるので説明を省略する。
【００３２】
ステップ１５では、ステップ１４で得られた表面反射パラメータの推定値に関して正当性の検査を行う。例えば、上限値や下限値を用いて、得られた表面反射パラメータが指定範囲内にあるかどうかを調べる。鏡面に近い対象物体を検査している場合、ステップ１４で得られた反射パラメータｋの値があまりに小さい値（例えば０．１）であれば、得られた表面反射パラメータｋの正当性は疑わしいものとなる。なぜなら、前述した様にＰｈｏｎｇモデルでは、物体の拡散反射成分と鏡面反射成分の割合が（１−ｋ）：ｋになるため、ｋ＝０．１であることは、物体の鏡面反射成分が非常に少ないことを意味し、これは鏡面に近い物体を検査しているという事実に反するためである。
【００３３】
このような事態は、表面反射パラメータを推定する際に、良品形状モデルの法線ベクトルｎを仮定しているために生じるものであり、対象物体が良品形状モデルとかけ離れた形状を有している場合に生じる。よって、この場合は、直ちに検査不良品と判定する。
【００３４】
また、ステップ１４では、実施の形態１で説明したように非線形最小２乗法を行なうが、この中で反復計算が収束しない場合がある。このような場合は有限回の反復でステップ１４を強制終了させるが、この強制終了の状態を、ステップ１５で検出し、反復計算が収束していない場合も、得られた表面反射パラメータの正当性が低いとして、直ちに検査不良品と判定するように構成してもよい。
【００３５】
このステップ１５において、得られた表面反射パラメータの正当性があると判断された場合は、ステップ１６に処理が続く。ステップ１６からステップ１７は、図１のステップ５からステップ６と同様である。
【００３６】
このように形状検査方法では、一部の対象物体に関して検査ステップを省略することができ、検査が高速化できるという効果がある。
また物体の表面反射パラメータの正当性を検査することで、より正確な物体の検査を行うことができる。
【００３７】
【発明の効果】
この発明の形状検査方法による効果は、照明手段を用いて、対象物体に対して複数の異なる方向から照明し、撮像手段を用いて、異なる方向から照明された対象物体の画像を複数撮像し、得られた画像における同一座標の画素の輝度と照明方向とから、対象物体の表面勾配を計測する形状検査方式において、画像と対象物体の良品形状モデルとを用いて、対象物体の表面反射パラメータを推定し、画像と表面反射パラメータの推定値とを用いて、対象物体の表面勾配を推定し、表面勾配の推定値と良品形状モデルの表面勾配とを比較して、対象物体の形状の良否を検査するので、鏡面状の表面を有する対象物体だけでなく、様々な表面反射特性を有する対象物体の形状検査が可能であり、照明角度の異なる照明の数を多数用意することもなく、簡易な構成、方法で高速、高精度に物体の形状検査を行うことができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の形状検査方法のフローチャートである。
【図２】図１の形状検査方法を適用する検査装置の構成図である。
【図３】図２の検査装置の座標系と記号の説明図である。
【図４】この発明の実施の形態２の形状検査方法のフローチャートである。
【符号の説明】
１０１  検査対象物体、１０２  撮像手段、１０３ａ、１０３ｂ、１０３ｃ  照明手段、１０４  制御手段、１０５  画像処理手段、１０６  結果出力手段、１０７  表面反射パラメータ推定手段、１０８  表面勾配推定手段、１０９  検査手段。
【図１】
2004239810.tif 000005
【図２】
2004239810.tif 000006
【図３】
2004239810.tif 000007
【図４】
2004239810.tif 000008