(57)【特許請求の範囲】
【請求項１】
金属試料表面を３つの異なる仰角から照明して上方より撮影し、得られた各仰角の画像データにそれぞれＲ、Ｇ、Ｂを割当てた３つの画像データからＲＧＢカラー画像を合成し、該合成画像のＲ、Ｇ、Ｂの色合いから欠陥の検査を行う金属試料表面の欠陥検査方法であって、
前記３つの異なる仰角のうちの最大仰角から照明して撮影した画像を抜き出し、
該画像を通常の金属試料表面の輝度より高い閾値で２値化し、
該２値化画像に基づいて欠陥を判定することを特徴とする金属試料表面の欠陥検査方法。
【請求項２】
請求項１において、
更に、前記合成画像の各画素毎に、Ｒ、Ｇ、Ｂの各色成分の光強度から色相値を求め、求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成画像の各画素毎に色相値の分類を付与し、分類結果に基づいて欠陥、疑似欠陥の判別を行うことを特徴とする金属試料表面の欠陥検査方法。
【請求項３】
請求項２において、
色相値が、Ｈａｙｄｎの定義による色相変換式から得られる数値又は該数値の所定倍数であることを特徴とする金属試料表面の欠陥検査方法。
【請求項４】
請求項１において、
撮影して得られたＲ、Ｇ、Ｂがそれぞれ割当てられた前記各画像データ又は前記合成画像に対して、平滑化処理を施してノイズの除去を行うことを特徴とする金属試料表面の欠陥検査方法。
【請求項５】
請求項２において、
分類付与済みの画素データの中で、欠陥に分類された必要以上に小さい領域を除去する、孤立微小領域除去処理を行うことを特徴とする金属試料表面の欠陥検査方法。
【請求項６】
請求項２において、
分類付与された画像データ上で欠陥に分類された箇所をラベリングし、これを基に欠陥部の良否判定を行うことを特徴とする金属試料表面の欠陥検査方法。
【請求項７】
請求項１において、
金属試料表面の検査領域を限定するためのマスキング処理を施すことを特徴とする金属試料表面の欠陥検査方法。
【請求項８】
金属試料表面を３つの異なる仰角位置から照明する照明手段と、該照明手段の各位置からの反射照明による画像を上方より撮影する撮影手段と、各位置からの反射照明による撮影画像に、それぞれＲ、Ｇ、Ｂを割当て、各画像を入力する入力手段と、入力された各画像を合成した合成画像に基づいて欠陥を検出する画像処理手段とを備えた金属試料表面の欠陥検査装置であって、
前記３つの異なる仰角位置のうちの最大仰角位置の照明手段により照明して、前記撮影手段により撮影した画像を抜き出す手段と、
抜き出した画像を通常の金属試料表面の輝度より高い閾値で２値化する手段と、
作成された２値化画像に基づいて欠陥を判定する手段とを備えていることを特徴とする金属試料表面の欠陥検査装置。
【請求項９】
請求項８において、
前記画像処理手段が、前記３つの画像データ又は前記３つの画像データを画像処理した得た画像データから作成された合成画像の各画素毎に、Ｒ、Ｇ、Ｂの各色成分の光強度から色相値を求める色相変換手段と、色相変換部の処理結果に基づいて検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースを参照しながら、合成画像の各画素毎に、その色相値の分類を付与する分類付与手段とを有することを特徴とする金属試料表面の欠陥検査装置。
【請求項１０】
請求項８において、
金属試料表面を３つの異なる仰角から照明して同一領域を上方より撮影し、得られた各仰角の照明による画像データにそれぞれＲ、Ｇ、Ｂを割当てて３つの画像データを作成する、検査用画像取込部を備えていることを特徴とする金属試料表面の欠陥検査装置。
【請求項１１】
請求項１０において、
前記検査用画像取込部が、少なくとも、金属試料表面を３つの異なる仰角位置から照明する照明手段と、該照明手段の各位置からの反射照明による画像を上方より撮影する撮影手段とを有し、必要に応じ、各位置からの反射照明による撮影画像を、それぞれＲ、Ｇ、Ｂに割当てる画像色割当部を有していることを特徴とする金属試料表面の欠陥検査装置。
【請求項１２】
請求項１０又は１１において、
前記検査用画像取込部が、更に、検査用画像の検査領域以外の領域をマスキングするマスキング用画像を取り込む際、金属試料の検査領域とその周辺の背景部とを、該金属試料の透過照明にて撮影するための透過照明手段を備えていることを特徴とする金属試料表面の欠陥検査装置。
【請求項１３】
請求項１１又は１２において、
前記撮影手段がモノクロカメラであり、照明手段が３つの異なる仰角位置にて、それぞれ固定された光源を固定して設けたもので、且つ、各光源を、それぞれ時間をずらして、所定時間点灯する点灯部とを備えていることを特徴とする金属試料表面の欠陥検査装置。
【請求項１４】
請求項１１又は１２において、
前記撮影手段がモノクロカメラであり、照明手段が３つの異なる仰角位置に、１つの光源を順次移動させる可動部を備えていることを特徴とする金属試料表面の欠陥検査装置。
【請求項１５】
請求項１１又は１２において、
前記撮影手段がカラーカメラであり、照明手段が３つの異なる仰角位置に、それぞれＲＧＢの各１色を照明光とする光源を固定したものであることを特徴とする金属試料表面の欠陥検査装置。
【発明の詳細な説明】
【０００１】
【発明が属する技術分野】
本発明は、リードフレーム等の金属製品の表面に生じている疵欠陥を検出する金属試料表面の欠陥検査方法及び装置に関する。
【０００２】
【従来の技術】
近年、半導体装置の高集積化、高機能化に伴い、その電気的接続に使用するリードフレームの微細化が進んでいるために、金属製品表面の欠陥検査は目視では難しくなってきていることもあって、その検査も自動化されつつある。
【０００３】
このような金属製品表面の自動検査の技術としては、例えば図１７（ａ）に示すように、検査対象である金属試料Ｗの上方に配設され、制御部に接続されたエリアセンサカメラ１０により、該金属試料Ｗの表面を撮影して得られる画像データを画像処理部で処理して欠陥部を検出し、必要に応じて該欠陥部を目視用モニタに表示させて検査する方法が知られている。
【０００４】
又、その際に使用する照明としては、例えば同図（ｂ）に示したように、光源１２からの照明光Ｉをビームスプリッタ１４のハーフミラーにより、金属試料Ｗの表面に垂直なカメラ１０の光軸と同方向に照射するとともに、その反射光Ｒを該カメラ１０により撮影する垂直落射方式がある。
【０００５】
ところで、金属試料Ｗの表面欠陥の種類としては、図１８に断面図を示すように、正面が平坦な（ａ）の良品に対して明らかに凹んでいる（ｂ）の欠陥と、多少の凹凸があるが欠陥としなくてもよい（ｃ）に表示するような疑似欠陥がある。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のような３種類の表面状態の金属試料を前記図１７（ａ）に示したカメラ１０により、同図（ｂ）の垂直落射照明の下で撮影する場合には以下の問題がある。
【０００７】
即ち、図１９（Ｉ）には、上記図１８に示した各表面状態の金属試料Ｗの断面と、照明光Ｉ及び反射光Ｒとの関係を概念的に示したように、（ａ）の良品部では正反射であるのに対し、（ｂ）の欠陥部と（ｃ）の疑似欠陥部では反射光Ｒが乱反射しているため、撮影される画像の輝度のプロファイルをそれぞれ同図（ＩＩ）に対応させて示したように、（ｂ）の欠陥部と（ｃ）の疑似欠陥部では共に輝度が低下している。そのため、（ｂ）の欠陥部を検出するために、画像データを２値化して欠陥部を自動検出できるように閾値ＳＬを設定すると、同図（ＩＩＩ）にそれぞれ２値化画像の輝度のプロファイルを対応させて示したように、（ｃ）の疑似欠陥部をも欠陥として検出してしまうことになる。
【０００８】
そこで、本出願人は、このような問題点を解決できる技術として、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた各仰角の照明による画像データに、それぞれＲ、Ｇ、Ｂ３色の１色を割当てて得られる３つの画像データから、ＲＧＢカラー画像を合成し、合成された画像の色合いから欠陥、疑似欠陥の判別を行う外観検査技術を、特願平９−１９５２３８により提案している。
【０００９】
又、本出願人は、この技術を利用するとともに、更に、合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から色相値を求め、求められた各画素の色相値から検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与し、その結果に基づき欠陥、疑似欠陥の判別を行う外観検査技術を、特願平９−２５１４３０により既に提案している。
【００１０】
以下、この後者の技術を中心に具体例を挙げて詳述する。
【００１１】
図１は、本出願人が後者の特許出願により提案している外観検査装置の概略構成を示すブロック図である。
【００１２】
この検査装置は、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、得られた各仰角の照明による画像データにそれぞれＲ、Ｇ、Ｂ３色の各１色を割当てた、３つの画像データ等を取り込むカラー画像取込部２０と、これら画像データを入力するインターフェイスに当る入力部２２と、該入力部２２を介して入力された画像データに対し各種画像処理を施すための画像処理部２４と、該画像処理部２４による処理結果に基づき欠陥、疑似欠陥の判定を行う判定部２６と、該判定部２６による判定結果に基づき、前記３つの画像データ等を合成した画像上の欠陥箇所を表示する表示部２８とを備えている。
【００１３】
又、前記画像処理部２４には、前記３つの画像データ乃至これら３つの画像データを画像処理して得られた画像データから合成されたカラー画像データの各画素毎に、Ｒ、Ｇ、Ｂの各色成分の光強度から色相値を求める色相変換部３０と、該変換部３０による処理結果に基づき合成した画像の各画素毎に、その色相値の分類を付与する分類付与部３２とが内蔵されており、又、この分類付与部３２には検査する対象の表面状態と色相値の範囲が対応づけられたデータベース３４からデータが入力されるようになっている。更に、前記画像処理部２４は、平滑処理や孤立小領域除去のために行う▲１▼フィルタリング処理、▲２▼２値化処理、被検査画像からの周辺部除去処理等のための▲３▼合成処理、▲４▼ラベリング処理等の各処理機能をも有している。
【００１４】
この外観検査装置について、前記カラー画像取込部２０の一例を具体的に示した図２を用いて更に詳述する。この取込部２０は、金属試料Ｗの表面を撮影するモノクロカメラからなるエリアセンサカメラ１０と、該表面を照明する照明装置４０とを備えてる。
【００１５】
この照明装置４０は、図２（ｂ）に示すように、金属試料Ｗの表面を３つの異なる最大、中間、最小の仰角θ1 、θ2 、θ3 の各位置に配設された円光源４０Ａ、４０Ｂ、４０Ｃを有している。ここで、仰角とは、カメラ１０の撮影方向（光軸）Ｌ0 と金属試料Ｗの表面Ｓと直交する交点Ｐ0 と、各円光源４０Ａ、４０Ｂ、４０Ｃとのなす角度である。この円光源としては、サークル状の蛍光灯、照明光が照射される先端部がサークル状に配された光ファイバ、サークル状に配列されたＬＥＤ等を利用することができる。
【００１６】
又、上記カラー画像取込部２０は、後述するマスキング画像を取り込む際に、前記金属試料Ｗを裏面側から照明する透過光源４２と、上記照明装置４０の各光源４０Ａ〜４０Ｃの点灯を制御する点灯部４４と、該取込部２０全体の動作を制御する制御部４６と、前記カメラ１０により撮影して得られた前記照明装置４０の各円光源４０Ａ〜４０Ｃからの反射照明による画像に、ソフトウェアによりそれぞれＲ、Ｇ、Ｂのいずれかの色を割当てる画像色割当部４８とを有している。
【００１７】
そして、この取込部２０では、モノクロの前記カメラ１０により金属試料Ｗの表面を撮影する際、前記制御部４６、点灯部４４により、前記仰角位置に固定されている各円光源４０Ａ〜４０Ｃをそれぞれ時間をずらして、所定時間ずつ点灯するようになっている。
【００１８】
上述したカラー画像取込部２０により取り込まれた画像データを使用することにより、欠陥部と疑似欠陥部とを識別できる原理を、便宜上ここに説明しておく。図３（ａ）に示すように、金属試料Ｗの表面の傾きにより、各仰角θ1 〜θ3 からの照明光の正反射光のカメラ１０への入射光量がそれぞれ異なるため、各仰角から照明して得られる画像は、撮影される金属試料表面の傾きにより、それぞれ光強度が異なることになる。
【００１９】
即ち、大きな仰角θ1 の位置からの照明では、金属試料Ｗの表面が平坦（傾きθ21が０°）に近いほど、その正反射光量は大きく、それより小さい仰角θ2 の位置、仰角θ3 の位置からの照明では、それぞれ金属試料表面が所定の傾きθ22、θ23に近いほど、その正反射光の量は大きくなることから、これらの各表面では対応する仰角θ1 、θ2 、θ3 からの照明による画像の輝度（光強度）がそれぞれ強くなる。
【００２０】
従って、上記各仰角から照明して得られた個々の画像は、図３（ｂ）（イ）〜（ハ）に示すように、異なる表面範囲に輝度の大きい領域を持つ。そして、例えば、θ1 、θ2 、θ3 の各仰角位置からの照明による画像に対して、それぞれＢ、Ｇ、Ｒの色を割当て、これを表示すると図３（ｂ）（イ）〜（ハ）の各輝度（光強度）が大きい範囲が、それぞれＢ、Ｇ、Ｒの色合いになるため、これら各カラー画像を合成すると、同図（ｃ）に示すように金属試料表面の傾きにより色が異なる合成画像が得られることになる。
【００２１】
この原理を、前記図１８（ａ）〜（ｃ）に当る図４（Ｉ）の（ａ）〜（ｃ）に示した金属試料Ｗの表面検査に適用すると、Ｒ、Ｇ、Ｂの合成画像は、同図（ＩＩ）の（ａ）〜（ｃ）にそれぞれ対応させて示すように、良品部は全体がＢ色に表示され、欠陥部は中心から外側に順にＢ、Ｇ、Ｒの色合いを持ち、疑似欠陥部はＲ、Ｇ、Ｂが不規則に混ざった色となる。通常、合成画像上では疑似欠陥部は無彩色又は黄色になることが多い。このように、合成画像では、Ｒ、Ｇ、Ｂの色合いが金属試料の表面状態によって異なることから、欠陥部と疑似欠陥部でも色合いが異なることになるため、両者を区別する欠陥検出ができることになる。
【００２２】
前記図１に示した外観検査装置においては、上述した検出原理に基づいて、上記疑似欠陥以外の欠陥を検出するために、前記図２に示したカラー画像取込部２０により、Ｒ、Ｇ、Ｂの各色が割り当てられた３枚の被検査画像と１枚のマスキング画像の各画像データをそれぞれ取り込み、それを入力部２２を介して画像処理部２４に入力し、以下の各処理が実行される。これを、検査対象がリードフレーム等の金属板に貫通部を形成して製造される金属試料である場合を例に、図５に示したフローチャートと、対応する工程のイメージを図６に示した具体例とを参照しながら説明する。
【００２３】
まず、前記カラー画像取込部２０により、金属試料Ｗの表面を３つの異なる前記仰角から照明して同一領域を撮影し、得られた各仰角の照明による画像データにそれぞれＲ、Ｇ、Ｂ３色の各１色を割当てて得られた３つの画像データを取り込む（ステップ１）。
【００２４】
図６の具体例で（ａ）は、このステップ１で被検査画像として取り込まれた３つの画像データを合成したカラー画像の一部に相当する。この図６（ａ）の被検査画像で、Ａは検査領域、Ｂは周辺部（背景部）、Ｓは金属試料Ｗの表面側、Ｅはそのエッジ部、Ｓa は欠陥部、Ｓb は疑似欠陥部、Ｓc はノイズ部、Ｓd は色合いが周辺と異なる微小領域をそれぞれ表わしている。
【００２５】
次いで、画像処理部２４に入力された検査用カラー画像データ（被検査画像）について、ノイズ除去処理を行う（ステップ２）。このノイズ除去処理としては、例えばフィルタリング処理により処理画像データの各画素毎に、その周辺の画素を含めた９画素の平均値（光強度の平均値）を、新たにその画素値とする平滑化処理が挙げられる。このフィルタリング処理は、処理画像データの各画素値をｆ（ｉ，ｊ）、処理後の画像データの各画素値をｇ（ｉ，ｊ）とした場合、図７の（ａ）に示す式により表わすことができ、同図（ｂ）に示す３×３のフィルタｈ（ｔ，ｌ）を適用する処理に当る。
【００２６】
このノイズ除去は、前記円光源４０Ａ〜４０Ｃで照明して入力された３つの画像を合成した前記図６（ａ）の合成画像データに対してそれぞれ行われ、その後、この合成画像について画素単位で色相変換を行う（ステップ３）。但し、このノイズ除去は合成前の３つの画像データに対してそれぞれ行い、その後これら３つの画像を合成してもよい。
【００２７】
この色相変換は、例えば次の（１）〜（３）式で与えられるＨａｙｄｎの色相変換式を用いて、その色相値Ｈを求めると共に、該色相値を基に画像化するために、上記変換式により０〜３の間の実数として得られる色相値Ｈを、更に下記（４）式に適用して新たな色相値Ｈ0 を算出し、このＨ0 を処理上の色相値として以降の各処理が実行される。但し、この（４）式により計算される場合、少数点以下は切り捨てる。
【００２８】
（Ｒ、Ｇ≧Ｂのとき）
Ｈ＝（Ｇ−Ｂ）／（Ｒ＋Ｇ−２Ｂ）      …（１）
（Ｇ、Ｂ≧Ｒのとき）
Ｈ＝（Ｂ−Ｒ）／（Ｇ＋Ｂ−２Ｒ）      …（２）
（Ｒ、Ｂ≧Ｇのとき）
Ｈ＝（Ｒ−Ｇ）／（Ｂ＋Ｒ−２Ｇ）      …（３）
Ｈ0 ＝２５５／３Ｈ                      …（４）
【００２９】
図６（ｂ）は、同図（ａ）に示した検査画像に対し、上述したノイズ除去処理と色相変換処理とを行った後の画像のイメージを示したものである。
【００３０】
以上のステップ１〜３の各処理に平行して、検査カラー画像の検査領域以外の領域をマスキングするためのマスキング用画像データを取り込んでおく（ステップ４）。このマスキング用画像データも、前記カラー画像取込部２０により、前記透過光源（透過照明手段）４２を使用して、金属試料Ｗを撮影することにより作成する。図６（ｃ）は、このマスキング用の画像のイメージを示したものである。
【００３１】
上記ステップ４により取り込まれたマスキング用画像データについては、画素単位で所定の閾値により２値化する２値化処理を行う（ステップ５）。この処理は、検査領域の周辺部が、リードフレームでは貫通した状態であるため、前記透過光源４２からの照明により検査領域とその周辺部とを撮影した場合、検査領域と周辺部では透過光の強度に大きな差があることから、撮影画像データを所定のスライスレベルで２値化することにより、ほぼ検査領域とその周辺部とを画素単位で分けることができる。
【００３２】
このように、透過照明による撮影により得られた画像データに対し、各画素の値（光強度）がスライスレベル（閾値）より大きいものを１、小さいものを０とすることにより、２値化画像においては大まかには周辺部に対応する領域の画素の値は１、検査領域は０になる。
【００３３】
しかし、一般に、金属試料のエッジ部は、テーパ状になっているため、自動検査を行うためにはこのエッジ部は検査領域から除外する必要がある。そのため、２値化処理によって得られる２値化画像データについて、周辺部領域を数画素分だけマスク領域を膨張させる処理を必要に応じて行う（ステップ６）。
【００３４】
これを図８を用いて具体的に説明する。図８（ａ）にテーパ状のエッジ部Ｅを有する金属試料の一部断面図を示したが、この金属試料Ｗを垂直落射照明の下で撮影した場合の反射撮影画像を同図（ｂ）に、透過照明して撮影した透過画像を２値画像としたものを同図（ｃ）に示し、両者の位置関係を合わせて示しておく。なお、図中Ｓ、Ｂはそれぞれ値０、１の領域である。
【００３５】
図８（ｄ）は、同図（ｂ）に示した２値化画像の周辺部に相当する領域Ｂを膨張させて、エッジ部Ｅに相当する領域を含むように膨張処理した後の画像を示したもので、図中Ｓ′、Ｂ′はそれぞれ実際に使用する検査領域及びマスキング領域である。このような実際のマスキング用画像を用いることにより、金属試料のエッジ部を除いた本来平坦であるべき領域のみを検査領域として限定することができる。図６（ｃ）は、同図（ａ）に示した前記被検査画像に対応するマスキング用画像に対してステップ５の２値化処理を施した２値化画像データを、同図（ｄ）は、この２値化画像データに対してステップ６の膨張処理を施した状態を示したもので、それぞれ上記図８（ｃ）、（ｄ）に相当している。
【００３６】
次いで、ステップ３で色相変換された画像データの領域から、ステップ６の膨張処理により得られた前記図８（ｄ）のマスキング領域Ｂ（周辺領域、背景領域）を、以降の処理対象から除く周辺部（背景部）除去処理を行う（ステップ７）。この処理は、前記図６の具体例では、同図（ｂ）の画像データと、同図（ｄ）に示す画像データから同図（ｅ）に示す検査領域Ａと、検査対象外の領域（非検査領域）Ｂとからなる画像を得ることに相当する。以降の処理は、検査領域Ａのみを対象として行われる。
【００３７】
次いで、予め欠陥と色相値の範囲が分類と対応付けられている前記データベース３４を参照して、色相変換された画像データについて画素単位でその色相値に対応する分類を付与する（ステップ８）。これは、例えば図９に示したように、前記（４）式で算出される色相値Ｈ0 の所定の範囲に対応してＡ〜Ｅの分類を付与する処理で、ここでは、Ａ、Ｂを正常な表面、Ｃを疑似欠陥部、Ｄ、Ｅを欠陥部として分類するように設定されている。この分類付与では、便宜上、Ａ〜Ｅの各分類を、それぞれ色相を代表する数値を割り振って識別する。換言すると、各分類の色相を代表する数値、例えば各分類値の最大値を各画素に持たせておく。このステップ８の処理は、図６の具体例では、同図（ｅ）に示した前記マスク済み画像データに対し、画素単位で上記Ａ〜Ｅの分類を付与した同図（ｆ）に示す画像データにあたる。
【００３８】
次いで、分類済みの画像データの中で、欠陥に分類されているが、必要以上に小さい領域（画素領域）を除去するために、孤立微小領域除去処理を行う（ステップ９）。この処理は、例えば各画素に持たせた各分類の色相を代表する数値を用いて行う。これを図１０を参照して説明する。
【００３９】
図１０（ａ）に画素を１つの矩形で表わし、各中心画素を（ｆ（ｉ，ｊ））とした場合、その上下左右の画素を含めた計５個の画素に対して、同図（ｂ）の（１）式に示すように、各中心画素（ｆ（ｉ，ｊ））毎に、その画素の上下左右の画素を含めた計５個の画素について、数値が最大であればその数値を新たに、その中心画素の数値とする最大フィルタリング処理、又は同図（ｃ）の（２）式に示すように、各中心画素とその画素の上下左右の画素を含めた計５個の画素について、数値が最小である画素の数値を新たにその中心画素の数値とする最小フィルタリング処理を、必要に応じて両処理の順番を変えて順次施す。
【００４０】
例えば、分類と数値が、それぞれ図１０（ｄ）のような場合には、最小フィルタリング処理を行った後に、最大フィルタリング処理を行う。なお、この最大、最小の各フィルタリング処理は、中心画素とその近傍４画素を含めた計５画素に行う場合に限らず、近傍８画素を含めた計９画素について行うようにしてもよい。
【００４１】
次いで、上記のように、各カテゴリに分類された多値化データから、欠陥に分類された箇所をラベリングする（ステップ１０）。このラベリング処理は、その後の処理で面積や個数を基に最終的な良否判定を行う場合等に使う。次いで、このラベリング結果を基に最終的な良否判定を行い（ステップ１１）、更に判定結果を表示する（ステップ１２）。図６に示した具体例で、同図（ｇ）は同図（ｆ）に示す画像データに対してステップ９の孤立小領域除去処理を行った結果に相当する画像データであり、同図（ｈ）はステップ１１の欠陥部を判定した後の画像に相当する。
【００４２】
以上詳述した既に提案済みの金属試料表面の外観検査技術によれば、リードフレーム等の金属製品（金属試料）の表面に生じている疵欠陥を検出する際、欠陥部を確実に検出できると共に、一定の基準の基に疑似欠陥箇所を区分けでき、且つ、該区分けを自動で行うようにできるという優れた利点がある。
【００４３】
しかしながら、本発明者が前記外観検査技術について、更に詳細に検討した結果、該検査技術によっては接触疵と呼ばれる、全体がほぼ平坦で且つ表面状態が通常の金属表面に比べて鏡面に近いという特徴を持つ欠陥を検出することができないという新たな問題があることが明らかになった。
【００４４】
即ち、前記図１８（ｂ）に示したような通常の欠陥は、仰角が小さい、即ち低角度照明からの反射光を上方のカメラ（撮影手段）で捕らえることにより検出できるのに対し、ハンドリング中に細いもので上から叩いた場合や、引っ掻いた場合等のように、異物と接触する等により、金属表面に部分的に生じている接触疵は、凹部の深さが浅い上に、ほぼ鏡面に近いため、上記低角度照明からの反射光は正反射してカメラの方向に向かわないことになり、その結果、接触疵と製品表面との区別がつかないため検出できない。
【００４５】
本発明は、上記新たな問題点を解決するべくなされたもので、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、得られた各仰角の照明による画像データにそれぞれＲ、Ｇ、Ｂを割り当てて得られた３つの画像データに基づいて、該金属試料の表面を検査する際、接触疵をも確実に検出することができる技術を提供することを課題とする。
【００４６】
【課題を解決するための手段】
本発明は、金属試料表面を３つの異なる仰角から照明して上方より撮影し、得られた各仰角の画像データにそれぞれＲ、Ｇ、Ｂを割当てた３つの画像データからＲＧＢカラー画像を合成し、該合成画像のＲ、Ｇ、Ｂの色合いから欠陥の検査を行う金属試料表面の欠陥検査方法であって、前記３つの異なる仰角のうちの最大仰角から照明して撮影した画像を抜き出し、該画像を通常の金属試料表面の輝度より高い閾値で２値化し、該２値化画像に基づいて欠陥を判定することにより、前記課題を解決したものである。
【００４７】
本発明は、又、金属試料表面を３つの異なる仰角位置から照明する照明手段と、該照明手段の各位置からの反射照明による画像を上方より撮影する撮影手段と、各位置からの反射照明による撮影画像に、それぞれＲ、Ｇ、Ｂを割当て、各画像を入力する入力手段と、入力された各画像を合成した合成画像に基づいて欠陥を検出する画像処理手段とを備えた金属試料表面の欠陥検査装置であって、前記３つの異なる仰角位置のうちの最大仰角位置の照明手段により照明して、前記撮影手段により撮影した画像を抜き出す手段と、抜き出した画像を通常の金属試料表面の輝度より高い閾値で２値化する手段と、作成された２値化画像に基づいて欠陥を判定する手段とを備えたことにより、同様に前記課題を解決したものである。
【００４８】
即ち、本発明においては、金属試料表面の上方に配された撮影手段により、３つの異なる仰角のうちの最大の仰角から照明して該表面を撮影した画像を、通常の表面が有する輝度より高い閾値で２値化するようにしたので、ほぼ正反射光のみを撮影できるため、通常の表面より正反射量が大きい接触疵を検出することができる。
【００４９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
【００５０】
本発明に係る第１実施形態の欠陥検査装置は、前記図１に示した画像処理部２４に、以下に説明する機能（手段）を備えるようにした以外は、本出願人が既に提案している前記図１、図２に示した外観検査装置と実質上同一である。従って、同一部分には同一の符号を使用して、その詳細な説明を省略する。
【００５１】
本実施形態では、画像処理部（画像処理手段）２４が最大仰角位置の照明手段により照明して、撮影手段により撮影した画像を抜き出す手段と、抜き出した画像を通常の金属試料表面の輝度より高い閾値で２値化する手段と、作成された２値化画像に基づいて欠陥を判定する手段とを備えていると共に、必要に応じて孤立点除去を行う手段と、欠陥部を抽出し必要に応じて面積等を計算し、その大きさから最終的な良否判断を行う手段とを備えている。これら各手段（機能）は、ソフトウェアにより構成されている。
【００５２】
本実施形態においては、図１１に示すフローチャートに従って接触疵の検査を行う。このフローチャートは、ステップ１の被検査画像入力と、ステップ２のノイズ除去の各処理は、前記図５に示したフローチャートの場合と同様で、このステップ２と前記ステップ３の色相変換の間に、破線で囲んだステップ２１〜２４の各処理工程を追加したものに相当する。従って、ステップ４以降は省略してある。
【００５３】
まず、前記図５の場合と同様にステップ１で被検査画像を入力し、ステップ２でその画像からノイズ除去を行う。次いで、ステップ１で得られたカラー画像のうち、最大仰角θ1 からの照明下の撮影に対応する画像を抜き出す高角度画像抽出を行う。この場合、カメラ１０（撮影手段）は、その光軸が金属試料Ｗの表面にほぼ垂直になるように配置され、仰角θ1 は７０°以上、好ましくは７０°〜９０°になるように配設されている。
【００５４】
次いで、抽出された上記高角度画像を２値化する（ステップ２２）。上記最大仰角θ1 から金属試料Ｗの表面を照明した場合、図１２に通常の表面Ａの場合の反射と、接触疵Ｂの場合の反射とを対比させて示したように、通常の表面では主として正反射であるが、乱反射成分も存在するのに対して、接触疵はほぼ正反射になる。そのため、接触疵の近傍の撮影画像の画素値を０〜２５５の階調値で表示すると、図１３（ａ）に示すような通常表面の中に接触疵Ｂが含まれている高角度照明画像における線Ｌ上のプロファイルは、同図（ｂ）に示すように、通常の表面Ａの画素値が適切な値になるように感度を調整しておくと、接触疵Ｂの画素値（輝度）は飽和することもある。
【００５５】
そこで、本実施形態では、図１３（ｂ）に合わせて示したように、通常の金属表面Ａの明るさと、接触疵（欠陥部）Ｂの明るさ（最大値）の間で、閾値ＳＬを設定し２値化する。
【００５６】
以上の接触疵の検出処理が終了した後、そのまま終了してもよいが、前記図１１にも示したように、前記図５のフローチャートの場合と同様に、ステップ３以降の各処理を行って欠陥と疑似欠陥の検査を行うようにしてもよい。
【００５７】
以上詳述した本実施形態によれば、接触疵を確実に検出することができると共に、必要に応じて欠陥と疑似欠陥を区別して、真の欠陥を検出することもできる。
【００５８】
次に、本発明に係る第２実施形態について説明する。本実施形態は、カラー画像取込部２０として、前記図２に示した装置に代えて、図１５に示す装置を使用するようにした以外は、前記第１実施形態と実質的に同一である。
【００５９】
この図１５に示す画像取込部２０においては、撮影手段１０として同様にモノクロカメラを採用し、照明装置４０として１つの円光源４０Ａを、３つの異なる仰角θ1 〜θ3 の位置に順次移動させる可動部５０を備えているようにした以外は、前記図２（ａ）に示したものと同一である。
【００６０】
次に、本発明に係る第３実施形態について説明する。本実施形態は、画像取込装置２０として、図１６に示す装置を使用するようにした以外は、同様に前記第１実施形態と実質的に同一である。
【００６１】
このカラー画像取込部２０では、撮影手段１０としてカラーカメラを採用し、照明手段として３つの異なる仰角θ1 〜θ3 の位置に固定された円光源４０Ａ〜４０ＣがそれぞＲ、Ｇ、Ｂの各１色を照明とするようにしたものである。
【００６２】
以上、本発明について具体的に説明したが、本発明は、前記実施形態に示したものに限られるものでなく、その要旨を逸脱しない範囲で種々変更可能である。
【００６３】
例えば、前記実施形態では、撮影手段がエリアセンサカメラである場合を示したが、ラインセンサカメラとしてもよい。
【００６４】
又、前記実施形態では、照明手段として円光源を備えている例を示したが、これに限定されない。
【００６５】
【発明の効果】
以上説明したとおり、本発明によれば、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、得られた各仰角の照明による画像データにそれぞれＲ、Ｇ、Ｂ３色の各１色を割り当てて、得られる３つの画像データに基づいて、該金属試料の表面を検査する際、接触疵をも確実に検出することができる。
【図面の簡単な説明】
【図１】提案済みの外観検査装置の概略構成を示すブロック図
【図２】上記外観検査装置が備えているカラー画像取込部の要部を示した説明図
【図３】金属試料表面状態と撮影画像の関係を示した説明図
【図４】金属試料表面状態と合成された画像の関係を示した説明図
【図５】前記提案済みの外観検査装置による処理手順を示したフローチャート
【図６】処理画像データの具体例を挙げて処理手順を示した説明図
【図７】ノイズ除去処理の原理を示す説明図
【図８】マスキング用画像データとその作成手順を示す説明図
【図９】分類付与の意味を示す説明図
【図１０】孤立小領域除去の原理を示す説明図
【図１１】本発明に係る第１実施形態による処理手順の特徴を示すフローチャート
【図１２】接触疵の光学的特徴を示す説明図
【図１３】撮影画像を２値化して接触疵を検出するための原理を示す説明図
【図１４】接触疵をラベリングした後の２値化画像のイメージを示す説明図
【図１５】第２実施形態の特徴を示す説明図
【図１６】第３実施形態の特徴を示す説明図
【図１７】従来の検査装置を示す説明図
【図１８】金属試料表面の欠陥を示す説明図
【図１９】従来の検査方法を示す説明図
【符号の説明】
Ｗ…金属試料
１０…カメラ
１２…光源
１４…ビームスプリッタ
２０…カラー画像取込部
２２…入力部
２４…画像処理部
２６…判定部
２８…表示部
３０…色相変換部
３２…分類付与部
３４…データベース
４０…照明装置
４０Ａ〜４０Ｃ…円光源
４２…透過光源
４４…点灯部
４６…制御部
４８…画像割当部
５０…可動部
【図１】
0004184511.tif 000002
【図２】
0004184511.tif 000003
【図３】
0004184511.tif 000004
【図４】
0004184511.tif 000005
【図５】
0004184511.tif 000006
【図６】
0004184511.tif 000007
【図７】
0004184511.tif 000008
【図８】
0004184511.tif 000009
【図９】
0004184511.tif 000010
【図１０】
0004184511.tif 000011
【図１１】
0004184511.tif 000012
【図１２】
0004184511.tif 000013
【図１３】
0004184511.tif 000014
【図１４】
0004184511.tif 000015
【図１５】
0004184511.tif 000016
【図１６】
0004184511.tif 000017
【図１７】
0004184511.tif 000018
【図１８】
0004184511.tif 000019
【図１９】
0004184511.tif 000020