(57)【特許請求の範囲】
【請求項１】
金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てて得られた３つの画像データから、ＲＧＢカラー画像を合成し、合成された画像の色合いから欠陥、擬似欠陥の判別を行う外観検査方法であって、
合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める工程と、
求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与する分類付与工程と、
前記分類付与工程により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理工程とを有し、
前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行うことを特徴とする金属試料表面の外観検査方法。
【請求項２】
請求項１における色相値が、Ｈａｙｄｎの定義による色相変換式から得られる数値ないし該数値の所定倍数であることを特徴とする金属試料表面の外観検査方法。
【請求項３】
金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データ等を入力する入力部と、
画像データに対し、各種画像処理を施すための画像処理部と、画像処理部の処理結果に基づき欠陥、擬似欠陥の判別を行う判定部と、
判定部の判定結果に基づき、前記合成した画像の欠陥箇所を表示する表示部とを備えた金属試料表面の外観検査装置であって、
前記画像処理部は、前記３つの画像データないし前記３つの画像データを画像処理して得た画像データから合成されたカラー画像データの各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める色相変換部と、
検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースと、色相変換部の処理結果に基づき、前記データベースを参照しながら、合成した画像の各画素毎に、その色相値の分類を付与する分類付与部と、
前記分類付与部により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理部とを有し、
前記判定部は、前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行う、
ことを特徴とする外観検査装置。
【請求項４】
請求項３において、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データを作成する、検査用画像取り込み部を備えていることを特徴とする外観検査装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、リードフレーム等の金属板加工品の、表面部のキズ欠陥を検出する外観検方法および装置に関し、特に、欠陥と擬似欠陥の区分けを自動的に行える外観検査方法と装置に関する。
【０００２】
【従来の技術】
近年、半導体装置は、電子機器の高性能化と軽薄短小化の傾向（時流）からＬＳＩのＡＳＩＣに代表されるように、ますます高集積化、高機能化になり、ますます多端子（ピン）化が求められるようになってきた。
多端子（ピン）ＩＣ、特にゲートアレイやスタンダードセルに代表されるＡＳＩＣあるいは、マイコン、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等の半導体装置化には、リードフレームが、ＱＦＰ（Ｑｕａｄ  Ｆｌａｔ  Ｐａｃｋａｇｅ）等の表面実装型パッケージに用いられており、ＱＦＰでは３００ピンクラスのものまでが実用化に至ってきている。
ここで用いられるリードフレームは、通常、コバール、４２合金（４２％Ｎｉ−鉄）、銅系合金等の金属板をフオトリソグラフイー技術を用いたエッチング加工方法やスタンピング法等により、外形加工されるものである。
【０００３】
そして、益々、リードフレームの微細化とともに量産性が求められている中、リードフレームの表面部のキズ欠陥の外観検査においても、人がリードフレームの表面部を直接目視により観察する検査方法から、より自動化された検査方法へと移行しつつある。
従来、リードフレーム等の金属試料の表面部のキズ欠陥等の検出方法としては、図１６（ａ）に示す、金属試料８１０を走行させながら、ラインセンサカメラ８２１により得られた金属試料８１０の表面部の画像データ、あるいは、図１６（ｂ）に示すように、エリアセンサカメラ８２２にて撮影された金属試料８１０の表面部の画像データを用い、該画像データに画像処理を施し、欠陥部を検出し、更に該欠陥部を目視用モニターに表示させ、人が欠陥の度合いを判断する方法が知られている。
しかし、この方法の場合、図１８（ｂ）に示すような致命的な欠陥となる深いキズ（ここでは致命的欠陥１０２０と呼ぶ）と、図１８（ｃ）に示すような致命的な欠陥とはならない欠陥（ここではこれを擬似欠陥１０３０と呼ぶ）とを区分けすることが難しく、図１８（ｃ）に示すような擬似欠陥を必要に応じて致命的欠陥から分けることができなかった。尚、図１８（ａ）、図１８（ｂ）、図１８（ｃ）は、それぞれ、良品部の断面、致命的欠陥部の断面、擬似的欠陥部の断面を示した図である。また、１０１０は良品部の表面である。
この理由を以下簡単に説明しておく。
図１６（ａ）や、図１６（ｂ）に示す方法においては、撮影の照明を図１７（ａ）、に示す明視野方式、図１７（ｂ）に示す垂直落射方式、図１７（ｃ）に示す暗視野方式、のいずれかの方法を用いて行っていた。
図１７（ａ）の明視野方式は、金属試料表面部からの正反射光をカメラ（撮影手段）が撮影するもので、図１７（ａ）に示すように、光源部（照明具）９３０とカメラ（撮影手段）９２０とは、金属試料９１０の表面部９１０Ｓに立てた法線Ｌ１を境として対向する位置にある。
図１７（ｂ）の垂直落射方式は、照明光９３５を金属試料９１０の表面部９１０Ｓに垂直落射させ、この正反射光９３５Ｒを撮影するものである。
図１７（ｃ）の暗視野方式は、照明光９３５を金属試料表面に照射し、その散乱光９３５Ｓを撮影するものである。
これらの照明方式は、いずれも金属表明部からの反射光を撮影するもので、致命的欠陥部、擬似欠陥部の判別が難しい。
【０００４】
１例として、図１５に垂直落射照明の場合を挙げ、良品部、致命的欠陥部、擬似欠陥部の判別の仕方を説明しながら、致命的欠陥と擬似欠陥の判別が難しいことを説明する。
先ず、垂直落射照明にて行うため、金属試料７１０の良品部７１１、致命的欠陥部７１２、擬似欠陥部７１３における、照明光７２５と反射光７２５Ｒの関係は、それぞれ、図１５（ａ）（イ）、図１５（ａ）（ロ）、図１５（ａ）（ハ）のようになる。
即ち、良品部７１１においては、撮影される反射光７２５Ｒの強度は大で、致命的欠陥部７１２においては、その領域全体おいて強度が小となり、擬似欠陥部７１３においては、その領域の大半的部は強度が小であるが、その領域内の凹凸状態により強度の比較的高い箇所が現れる。
したがって、モノクロカメラによる、撮影画像の輝度のプロファイルは、図１５（ｂ）（イ）、図１５（ｂ）（ロ）、図１５（ｂ）（ハ）に示すようになる。
これを、所定のスライスレベルＳＬで２値化処理を施すと、それぞれ、図１５（ｃ）（イ）、図１５（ｃ）（ロ）、図１５（ｃ）（ハ）に示すようになる。
これより、２値化処理（画像処理の一つ）を施して得た、良品部７１１、致命的欠陥部７１２、擬似欠陥部７１３の撮影画像に対応する箇所の、２値化画像のプロファイルでは、良品部７１１と、致命的欠陥部７１２ないし擬似欠陥部７１３との区分けはつくが、致命的欠陥部７１２と擬似欠陥部７１３との区分けがつかない。
このように、致命的欠陥部ないし擬似欠陥部との区分けがつかないため、擬似欠陥部をも致命的欠陥部と一緒に検出してしまうこととなり、検出された箇所をモニターで人が目視で判断し、擬似欠陥部であるか致命的欠陥部であるか区分けしていた。
このため、欠陥検出の効率が悪く問題となっていた。
尚、上記においては、欠陥部とは欠陥のある箇所、致命的欠陥部とは致命的欠陥のある箇所、擬似欠陥部とは擬似欠陥のある箇所を言い、致命的欠陥、擬似欠陥は、それぞれ欠陥の程度を言い、致命的な欠陥となる欠陥をここでは致命的欠陥、致命的な欠陥とはならない欠陥をここでは擬似欠陥と呼ぶ。
欠陥検出においては、擬似欠陥と致命的欠陥との区分けを、如何にうまく行うかが、欠陥検出の効率を上げる点で重要である。
【０００５】
【発明が解決しようとする課題】
上記のように、従来のリードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法においては、種々問題があるが、擬似欠陥と致命的欠陥との区分けを、うまく行える外観検査方法で、その区分けを自動的に行える外観検査方法が求められていた。
本発明は、これに対応するもので、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法で、致命的欠陥部を欠陥部として確実に検出し、且つ、一定の基準のもとに擬似欠陥箇所を区分けできる外観検査方法で、該区分けを自動的に行える外観検査方法を提供しようとするものである。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できる外観検査方法を提供しようとするものである。
また、同時に、そのような検査方法ができる外観検査装置を提供しようとするものである。
尚、以降、ここでは、欠陥検出においては、一定の基準により、欠陥と判断したものを欠陥、致命的な欠陥ではなく、欠陥としないものを擬似欠陥とする。
【０００６】
【課題を解決するための手段】
本発明の金属試料表面の外観検査方法は、 金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てて得られた３つの画像データから、ＲＧＢカラー画像を合成し、合成された画像の色合いから欠陥、擬似欠陥の判別を行う外観検査方法であって、合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める工程と、求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与する分類付与工程と、前記分類付与工程により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理工程とを有し、前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行うことを特徴とするものである。
そして、上記における色相値が、Ｈａｙｄｎの定義による色相変換式から得られる数値ないし該数値の所定倍数であることを特徴とするものである。
尚、前述の通り、以降、ここでは、欠陥検出においては、一定の基準により、欠陥と判断したものを欠陥、致命的な欠陥ではなく、欠陥としないものを擬似欠陥とする。
【０００７】
金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データ等を入力する入力部と、画像データに対し、各種画像処理を施すための画像処理部と、画像処理部の処理結果に基づき欠陥、擬似欠陥の判別を行う判定部と、判定部の判定結果に基づき、前記合成した画像の欠陥箇所を表示する表示部とを備えた金属試料表面の外観検査装置であって、前記画像処理部は、前記３つの画像データないし前記３つの画像データを画像処理して得た画像データから合成されたカラー画像データの各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める色相変換部と、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースと、色相変換部の処理結果に基づき、前記データベースを参照しながら、合成した画像の各画素毎に、その色相値の分類を付与する分類付与部と、前記分類付与部により分類された各分類の色相を代表する数値を各画素に持たせ、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし各画素とその画素の近傍４画素を含めた計５個の画素あるいは各画素とその画素の近傍８画素を含めた計９個の画素について、前記数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、その順番を変えて、順次施すことにより、欠陥に分類されているが必要以上に小さい領域を除去する孤立微小領域除去処理部とを有し、前記判定部は、前記分類付与され、かつ前記孤立微小領域除去された結果に基づき、欠陥、擬似欠陥の判別を行う、ことを特徴とするものである。
そして、上記において、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データを作成する、検査用画像取り込み部を備えていることを特徴とするものである。
尚、ここでは、撮影方向は金属試料表面に略直交し、仰角とは、撮影手段の撮影方向と金属試料表面との交点と各照明光の光源部（照明具）とのなす角度をそれぞれ言う。
【０００８】
【作用】
本発明の金属試料表面の外観検査方法は、上記のように構成することにより、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検査方法で、致命的欠陥部を欠陥部として確実に検出し、一定の基準のもとに擬似欠陥箇所を区分けでき、且つ該区分けを自動で行える検査方法の提供を可能としている。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できる外観検査方法の提供を可能としている。
具体的には、合成された画像の各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求める工程と、求められた各画素の色相値から、検査する対象の表面状態と色相値の範囲との対応づけがなされているデータベースに従い、合成された画像の各画素毎に、その色相値の分類を付与する分類付与工程とを有し、分類付与工程の結果に基づき、欠陥、擬似欠陥の判別を行うことにより、これを達成している。
詳しくは、撮影により得られる、各仰角の画像データの光強度が、試料の面状態（傾き度合い）によって異なることから、金属試料表面の表面状態により合成されたＲＧＢカラー画像のＲ、Ｇ、Ｂの色合いが異なるようになる、という原理に基づき、金属試料の表面状態に相当する合成されたカラー画像を各画素毎に色分けし、更に、色分けされた各画素毎に、その色相を正確に数値（色相値と言う）で求め、且つ、各画素毎の色相値を、予め求めてある金属試料の表面状態と色相値の範囲との対応データベースを参照にしながら、分類分けし、これに基づいて欠陥と擬似欠陥とを区分けするものである。
従って、数値（色相値）により、欠陥を擬似欠陥と分けることが可能で、欠陥部と擬似欠陥部との区分けを自動的に行うことができる。また、欠陥部、擬似欠陥部の程度分けも容易にできる。
【０００９】
本発明の外観検査装置は、本発明の金属試料表面の外観検査方法を行うための装置であり、入力部から入力された、それぞれＲＧＢ３色の１色が割り当てられた３つの画像データに基づいて、処理が行われるが、３つの画像データを作成する検査用カラー画像取り込み部は、必ずしも、外観検査装置と一体である必要は無い。
即ち、金属試料を外形加工して作製する製造ラインに検査用カラー画像取り込み部を設けておき、得られた画像データを、別の場所における、外観検査装置で検査することもできるし、検査用カラー画像取り込み部にて得られた画像データを、時間をずらして検査することも可能となる。
【００１０】
【発明の実施の形態】
本発明を図に基づいて説明する。
図１は、本発明の金属試料表面の外観検査方法の実施の形態の１例を示したフロー図で、図２は図１に示す処理を、処理画像を具体的に挙げ、図によって説明したもので、図３は本発明の外観検査装置の実施の形態の第１の例の機能構成を示した概略図で、図４は本発明の外観検査装置の実施の形態の第２の例の機能構成を示した概略図である。
はじめに、本発明の金属試料表面の外観検査方法を図１に基づいて説明する。
尚、Ｓ１１〜Ｓ１９、Ｓ２１〜Ｓ２３は処理の各ステップを示すものである。
また、図１に示すフローは、リードフレーム等の、金属板に貫通孔を設けて外形加工した金属試料の外観検査方法の処理例である。
【００１１】
先ず、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てて得られた３つの画像データを、図４に示す検査用カラー画像取り込み部３８０にて取り込む。（Ｓ１１）
同時に、検査用カラー画像の検査領域以外の領域をマスキングするための、マスキング用画像データを取り込んでおく。（Ｓ２１）
マスキング用画像データも、通常は、図４に示す検査用カラー画像取り込み部３８０に透過照明手段を設け、検査用カラー画像を撮影する撮影手段により、透過照明による撮影を行い作成することができる。
【００１２】
次いで、検査用カラー画像データについて、ノイズ除去処理を行う。（Ｓ１２）
ノイズ除去処理としては、例えば、処理画像データの各画素毎に、その周辺の画素を含めた９画素の平均値（光強度の平均値）を、新たに、その画素の値とするような、平滑化処理が採られる。
図８に示す例では、処理画像データの各画素値をｆ（ｉ、ｊ）、処理後の画像データの各画素値をｇ（ｉ、ｊ）とした場合、図８の（ａ）に示す式のように表されるが、このような処理は、図８（ｂ）に示す、３×３のフィルタｈ（ｋ、ｌ）をパラメータとしたフィルタリング処理とも言われる。
【００１３】
ノイズ除去が行われた、３つの画像データを合成し、画素単位で色相変換を行う。（Ｓ１３）
色相変換としては、例えば、図９に示す、Ｈａｙｄｎの色相変換式（図９（ａ）の▲１▼式、▲２▼式、▲３▼式）を用いて、その色相値Ｈを求める。
これより、色相値Ｈは０〜３の間の実数として得られるが、通常は、色相値を基に画像化するため、処理の面から、得られた色相値Ｈからさらに図９（ｂ）の▲４▼式を用いて、新たに色相値Ｈ０を得る。（以降は、Ｈ０を色相値として扱う）
【００１４】
一方、検査用カラー画像の検査領域以外の領域をマスキングするための、マスキング用画像データについては、画素単位で、所定のスライスレベルにて２値化する２値化処理を行う。（Ｓ２２）
この処理は、検査領域の周辺部が、リードフレーム等では、貫通した状態であるため、透過照明により検査領域とその周辺部とを撮影した場合、検査領域と周辺部では、透過光の強度に大きな差があり、撮影画像データを所定のスライスレベルで２値化することにより、ほぼ検査領域とその周辺部とを、画素単位で分けることができる。
このように、透過照明による撮影により得られた画像データに対し、例えば、各画素の値（光強度）がスライスレベル値より大きいものを１、小のものを０とすれば、２値化画像においては、大まかには、周辺部に対応する領域の画素の値は１、検査領域は０になる。
しかし、一般には金属試料のエッジ部領域は、テーパー状で、検査領域から除外する必要があり、検査領域部をこの分だけ減らす必要がある
このため、２値化処理によって得られた２値化画像データについて、周辺部領域を数画素分だけ膨張させる処理を必要に応じて行う。（Ｓ２３）
更に、図１０（ａ）に金属試料の一部断面図を示し、これを反射照明して撮影した場合の反射撮影画像（図１０（ｂ））と、透過照明して撮影した透過画像を２値化画像としたもの（図１０（ｃ））との位置関係を示しておく。尚、１１１Ｓ、１１１Ｂは、それぞれ、値０ないし値１の領域である。
図１０（ｄ）は、図１０（ｂ）に示す２値化画像の周辺部（背景部）に相当する領域１１１Ｂを膨張させて、エッジ部に相当する領域を含むようにした、膨張処理後の画像を示したものである。１１２Ｓは検査領域、１１２Ｂはマスキング領域である。
これにより、金属試料のエッジ部を除いた本来平坦であるべき領域を検査領域として限定する。
【００１５】
色相変換された画像データの領域で、ステップＳ２３の膨張処理により得られたマスキング領域１１２Ｂ（これを、周辺部領域ないし背景領域とも言う）を、以降の処理の対象から除く。（Ｓ１４）
この処理を周辺部除去処理あるいは背景除去処理と、ここでは言う。
これにより、マスキング領域１１２Ｂ（周辺部領域）については以降の処理が行われない為、マスキング領域１１２Ｂ（周辺部領域）について以降の処理を行った場合に比べ、無駄が省かれると同時に誤検出が減少する。
【００１６】
次いで、予め、欠陥と色相値の範囲が分類と対応づけられているデータベースを参照にして、色相変換された画像データについて、画素単位で、その色相値に対応する分類を付与する。（Ｓ１５）
分類の付与は、例えば図１１に示すように、色相値の所定の範囲に対応して、分類（図１１では、Ａ〜Ｅ）を付与する。
そして、例えば、Ａ、Ｂを検査金属試料の欠陥でない正常な表面、Ｃを擬似欠陥部、Ｄ、Ｅを欠陥部として設定しておく。
便宜上、Ａ〜Ｅの各分類を、各分類の色相を代表する数値を割り振って識別する。換言すると各分類の色相を代表する数値を各画素に持たせておく。
【００１７】
次いで、分類済みの画像データの中で、画素単位で、欠陥に分類されているが、必要以上に小さい領域（画素領域）を除去するために、孤立微小領域除去処理を行う。（Ｓ１６）
この処理は、例えば、各画素に持たせた、分類付与工程により分類された各分類の色相を代表する数値を用いて行う。
図１２（ｂ）の▲１▼式に示すように、各画素（ｆ（ｉ、ｊ））毎に、各画素（ｆ（ｉ、ｊ））とその画素の上下左右の画素を含めた計５個の画素について、数値が最大である画素の数値を新たに、その画素の数値とする最大フィルタリング処理、ないし図１２（ｃ）の▲２▼式に示すように、各画素とその画素の上下左右の画素を含めた計５個の画素について、数値が最小である画素の数値を新たに、その画素の数値とする最小フィルタリング処理を、必要に応じ、最大フィルタリング処理、最小フィルタリング処理をその順番を変えて、順次施す。
尚、図１２（ａ）は、各画素（ｆ（ｉ、ｊ））と、その上下左右の画素を含めた計５個の画素を示した図である。
上記においては、各画素毎に、各画素とその画素の近傍４画素を含めた計５個の画素について、最大フィルタリング処理、最小フィルタリング処理を行ったが、各画素とその画素の近傍８画素を含めた計９個の画素について、行っても良い。
そして、例えば、分類と数値が、それぞれ、図１２（ｄ）のような場合には、最小フィルタリング処理を行った後に、最大フィルタリング処理を行う。
【００１８】
次いで、上記のように、各カテゴリーに分類された多値化データから、欠陥に分類された箇所をラベリングする。（Ｓ１７）
【００１９】
そして、ラベリング結果を基に最終的な良否判定を行う。（Ｓ１８）
尚、上記は１実施の形態で、ラベリング処理は、その後の処理で面積や個数をもとに最終的な良否判定を行いたい場合等に行うもので、孤立微小点処理を行った時点で１画素でも欠陥があれば欠陥としても良い。
更に、判定結果を表示する。（Ｓ１９）
【００２０】
更に、図２に、処理するカラー画像の一部を具体的に挙げ、上記処理を図を用いて説明する。
図２（ａ）は、検査するカラー画像の一部（これを以下被検査画像２００と言う）を示した図であり、図１のステップＳ１１により取り込まれた３つの画像データを合成したカラー画像データの一部を示した図である。
図２（ａ）中、２００は被検査画像、２００Ａは検査領域、２００Ｂは周辺部（背景部）、２１０は金属試料で、２１０Ｓは表面、２１０Ｅはエッジ部、２２０はその周辺部（背景部とも言う）で、２５０は欠陥部、２６０は擬似欠陥部、２７０はノイズ部、２８０は色合いが周辺とは異なる微小領域である。
図２（ａ）に示す被検査画像２００に対し、ノイズ除去処理（図１に示すステップＳ１２）、色相変換処理（図１に示すステップＳ１３）を行うと、図２（ｂ）に示すような画像が得られる。
図２（ｃ）は、図２（ａ）に示す処理する被検査画像２００に対応するマスキング用画像２９０を示した図で、図１に示すステップＳ２１にて得られたマスキング用画像の一部である。
図２（ｄ）は、図２（ｃ）に示すマスキング用画像２９０に対し、２値化処理（図１に示すステップＳ２２）、膨張処理（図１に示すステップＳ２３）を行った後の、状態を示した図である。
【００２１】
図２（ｂ）に示す画像データ２０１と、図２（ｄ）に示す画像データ２９１から、図２（ｅ）に示す、検査領域２０２Ａと検査対象外の領域（非検査領域）２０２Ｂとからなる画像データ２０２を得る。
以降の処理は、検査領域２０２Ａのみを対象として行われる。
図２（ｅ）に示す、画像データ２０２に対し、各画素毎に、予め、欠陥と色相値の範囲が対応づけられているデータベースを参照にして、色相変換された画像データについて、画素単位で、その色相値に対応する分類を付与する（図１に示すステップＳ１５）と、各箇所の色相により、例えば、図２（ｆ）に示すように、分類が付与される。
尚、この例では、色相値の範囲により、Ａ、Ｂは検査金属試料の表面部、Ｃは擬似欠陥部、Ｄ、Ｅは欠陥部と対応つけて分類している。
【００２２】
次いで、図２（ｆ）に示す画像データ２０３に対し、孤立小領域除去処理（図１に示すステップＳ１６）を行い、図２（ｇ）に示す画像データ２０４を得る。
次いで、ラベリング処理を行い、欠陥部を判定する。この画像を示したのが図２（ｈ）である。
【００２３】
次に、本発明の外観検査装置の実施形態の第１の例を図３に基づいて説明する。
図３中、３００は外観検査装置、３１０は入力部、３２０は画像処理部、３３０は色相変換部、３４０は分類付与処理部、３５０はデータベース（データ記憶部）、３６０は判定部、３７０は表示部である。
図３に示すように、本発明の外観検査装置３００は、入力部３１０、画像処理部３２０、データベース３５０、判定部３６０、表示部３７０とから成る。
入力部３１０は、金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つのカラー画像データや、検査画像の検査領域以外をマスキングするためのマスキング用画像等を入力する。
画像処理部３２０は、入力部３１０から入力された画像データに対し、各種画像処理を施すための処理部で、図１に示す、ノイズ除去処理（Ｓ１２）、色相変換処理（Ｓ１３）、２値化処理（Ｓ２２）、膨張処理（Ｓ２３）、周辺部（背景）除去処理（Ｓ１４）、分類付与処理（Ｓ１５）、孤立微小領域除去処理、ラベリング処理等の各種処理を行うものである。
画像処理部３２０の色相変換部３３０は、カラー画像データを各画素毎に、Ｒ色成分の光強度、Ｇ色成分の光強度、Ｂ色成分の光強度から、色相値を求めるものである。
データベース３５０は、検査する対象の表面状態と色相値の範囲との対応づけがなされているデーターベースである。
画像処理部３２０の分類付与処理部３４０は、データベース３５０を参照にしながら、各画素毎にその色相値が求められている処理画像の各画素毎に、その色相値の分類を付与するものである。
判定部３６０は、色相値の分類を付与結果に基づき、欠陥、擬似欠陥の判別を行うものである。
表示部３７０は、判定部３６０の判定結果に基づき、分類が付与された処理画像の欠陥箇所を表示するものである。
この装置３００は、被検査画像データやマスキング用画像データがあれば、いつでも必要な時に検査できるものとしている。
【００２４】
次に、本発明の外観検査装置の実施形態の第２の例を図４に示す。
図４に示す第２の例（検査装置３００Ａ）は、図３に示す第１の例の装置３００に、検査用カラー画像取り込み部３８０を兼ね備えたものである。
【００２５】
検査用カラー画像取り込み部３８０について簡単に説明する。
検査用カラー画像取り込み部３８０は、検査する金属試料表面を３つの異なる仰角から照明して同一領域を撮影し、且つ、撮影により得られた、各仰角の照明による画像データにそれぞれＲＧＢ３色の１色を割当てた、３つの画像データを作成するものである。
そして、図５（ａ）に示すように、金属試料表面を３つの異なる仰角位置から照明する照明手段４３０と、該照明手段４３０の各位置からの反射照明による画像を撮影する撮影手段４２０と、必要に応じ、各位置からの反射照明による撮影画像を、それぞれ、Ｒ、Ｇ、Ｂに割当てる画像色割当部４６０とを有しており、また、検査用カラー画像の検査領域以外の領域をマスキングするマスキング用画像を取り込むための透過照明手段４３５を備えている。
【００２６】
検査用カラー画像取り込み部３８０は、図５（ｂ）に示すように、金属試料表面を３つ異なる仰角θ１、θ２、θ３から照明して、各仰角毎の画像を撮影する。
ここで言う仰角とは、撮影手段の撮影方向Ｌ０と金属試料表面４１０Ｓとの交点Ｐ０と各照明光の光源部（照明具）４３１、４３２、４３３とのなす角度θ１、θ２、θ３をそれぞれ言う。撮影方向Ｌ０は金属試料表面４１０Ｓに直交とする。
尚、マスキング用画像の取込みは、金属試料４１０を透過照明して撮影手段４２０にて、金属試料の検査領域とその周辺の背景部とを撮影して得る。
【００２７】
図５（ａ）に示す検査用カラー画像取り込み部３８０においては、撮影手段４２０は、モノクロカメラであり、照明手段４３０は、３つ異なる仰角位置にて、それぞれ固定された照明具４３１、４３２、４３３により、固定して設けられており、各照明具４３１、４３２、４３３を、それぞれ時間をずらして、所定時間点灯する点灯部４４０を備えている。
制御部４５０は各部を制御するものである。
【００２８】
検査用カラー画像取り込み部としては、図５（ａ）に示す装置３８０の他に、図６、図７に示す構造のものが挙げられる。
図６に示す検査用カラー画像取り込み部３８３においては、撮影手段５２０は、モノクロカメラで、照明手段５３０は、３つ異なる仰角位置にて、１つの照明具５３１を、順次、  前記３つ異なる仰角位置に移動させる可動部５４０を備えている。
この装置３８３は、１つの照明具５３１を３つの異なる仰角位置にて、点灯させて照明光とするもので、図５に示す装置３８０の場合と同様、３つの異なる仰角からの照明で、それぞれ、金属表面部５１０Ｓを撮影手段５２０で撮影できる。
図７に示す検査用カラー画像取り込み部３８５においては、撮影手段６２０は、カラーカメラで、照明手段６３０として、３つ異なる仰角位置に、それぞれＲＧＢの各１色を照明光とする照明具６３１、６３２、６３３を固定して設けている。
尚、上記図５、図６、図７に示す装置における、照明具としては、サークル状の蛍光灯、光ファイバーを用いたもの、サークル状に配列させたＬＥＤ照明を用いたものでも良い。
【００２９】
撮影された画像データの、欠陥部と擬似欠陥とで色相が異なる理由を、以下、説明しておく。
図１３（ａ）に示すように、金属試料表面の傾きにより、各仰角からの照明光の正反射光の、カメラ（撮影手段）への入射量がそれぞれ異なる。即ち、各仰角から照明して得られた画像は、撮影される金属試料表面の傾きにより、それぞれ、光強度を異とする。
Ａ１の位置（第一の仰角位置）からの照明では、金属試料表面が平坦（傾きθ２１が０度）に近い程、その正反射光の量は大きく、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明では、それぞれ、金属試料表面が所定の傾きθ２２、θ２３に近い程、その正反射光の量は大きくなる。
撮影される画像においては、傾きがそれぞれ、平坦（傾きθ２１が０度）、θ２２、θ２３に近い箇所においては、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像の輝度（光強度）が強くなる。
したがって、各仰角から照明して得られた画像は、図１３（ｂ）（イ）〜図１３（ｂ）（ハ）に示すように、輝度（光強度）の大きい領域を持つ。
尚、ここで言う傾きとは、金属試料の正常な面（良品部）に対する傾きを言う。
【００３０】
撮影により得られた、各仰角の画像データにそれぞれＲＧＢ３色の１色を割当てる。
例えば、図１３で、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像について、それぞれＢ、Ｇ、Ｒの色を割り当て、これを表示すると、図１３（ｂ）（イ）〜図１３（ｂ）（ハ）の各輝度（光強度）大の箇所が、それぞれ、Ｂ、Ｇ、Ｒの色合いとなる。
そして、Ｂ、Ｇ、Ｒの色に割当られたＡ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像を合わせ、ＲＧＢカラー画像を合成し、これを表示すると、図１３（ｃ）に示すように、金属表面の傾きにより、各色が強く表示される。
尚、図１３に示すように、Ａ１の位置（第一の仰角位置）、Ａ２（第二の仰角位置）、Ａ３（第三の仰角位置）からの照明による画像Ｂ、Ｇ、Ｒの色に割当て、これを合わせ、ＲＧＢカラー画像を合成すると、図１４に示すように、良品部は全体がＢ色に表示され、致命的欠陥部は、中心から外側にＢ、Ｇ、Ｒの色あいを持ち、擬似欠陥部は、Ｒ、Ｇ、Ｂが不規則に混ざった色となる。擬似欠陥部は、実際には無彩色、または黄色が多い。
このように、合成された画像のＲ、Ｇ、Ｂの色合いが、金属試料の表面状態により異なることより、欠陥部、擬似欠陥部の色合いも異なる。
この性質を利用して、図１に示す処理による欠陥検出ができるのである。
【００３１】
【発明の効果】
本発明は、上記のように、リードフレーム等の加工品（金属試料）の表面部のキズ欠陥を検出する外観検方法で、致命的欠陥部を欠陥部として確実に検出し、一定の基準のもとに擬似欠陥箇所を区分けでき、且つ該区分けを自動で行える検査方法の提供を可能としている。
更には、最終的に欠陥としない擬似欠陥の条件を容易に変更できるものとしている。
また、同時に、そのような検査方法を実施できる外観検査装置の提供を可能しとている。
この結果、検査の効率を上げ、生産性を上げることを可能としている。
【図面の簡単な説明】
【図１】本発明の金属試料表面の外観検査方法の実施の形態の１例を示したフロー図
【図２】処理画像データの具体例を挙げ、その処理を分かり易く示したフロー図
【図３】本発明の外観検査方法の実施の形態の第１の例を概略構成図
【図４】本発明の外観検査方法の実施の形態の第２の例を概略構成図
【図５】検査用カラー画像取り込み部の１例を示した図
【図６】検査用カラー画像取り込み部の他の１例を示した図
【図７】検査用カラー画像取り込み部の他の１例を示した図
【図８】ノイズ除去処理（平滑化処理）を説明するための図
【図９】色相変換を説明するための図
【図１０】マスキング用画像データを説明するための図
【図１１】分類付与を説明するための図
【図１２】孤立小領域除去を説明するための図
【図１３】金属試料表面状態と撮影画像の関係を説明するための図
【図１４】金属試料表面状態と合成されたカラー画像の関係を説明するための図
【図１５】従来の検査方法を説明するための図
【図１６】従来の検査装置を説明するための図
【図１７】従来の照明方式を説明するための図
【図１８】金属試料表面の欠陥を説明するための図
【符号の説明】
１１０                        金属試料
１１０Ｅ                      エッジ部
１１０Ｓ                      表面部
１１１Ｂ                      周辺部（背景部）領域
１１１Ｓ                      試料領域
１１２Ｂ                      マスキング領域
１１２Ｓ                      検査領域
２００Ａ                      検査領域
２００Ｂ                      非検査領域
２００〜２０５                画像データ
２０２Ａ                      検査領域
２０２Ｂ                      非検査領域
２１０                        金属試料
２１０Ｅ                      エッジ部
２１０Ｓ                      表面部
２２０                        周辺部（背景部）
２５０                        欠陥部
２６０                        擬似欠陥部
２７０                        周辺と色合いが異なる小領域
２８０                        ノイズによる検出部
２９０                        マスキング用画像
２９１                        画像データ
３００、３００Ａ              外観検査装置
３１０                        入力部
３２０                        画像処理部
３３０                        色相変換部
３４０                        分類付与部
３５０                        データベース
３６０                        判定部
３７０                        表示部
３８０、３８３、３８５        検査用カラー画像取込み部
４１０                        金属試料
４１０Ｓ                      金属試料表面
４２０                        撮影手段（カメラ）
４３０                        照明手段
４３５                        透過照明手段
４３１、４３２、４３３        照明具
４４０                        点灯部
４５０                        制御部
４６０                        画像色割当部
５１０                        金属試料
５１０Ｓ                      金属試料表面
５２０                        撮影手段（カメラ）
５３０                        照明手段
５３１                        照明具
５３５                        透過照明手段
５４０                        可動部
５５０                        制御部
５６０                        画像色割当部
６１０                        金属試料
６１０Ｓ                      金属試料表面
６２０                        撮影手段（カラーカメラ）
６３０                        照明手段
６３１、６３２、６３３        照明具
６３５                        透過照明手段
６５０                        制御部
７１０                        金属試料
７１０Ｓ                      表面
７１１                        良品部
７１２                        致命的欠陥部
７１３                        擬似欠陥部
７２０                        撮影手段
７２５                        照明光
７２５Ｒ                      反射光
７３１、７３２、７３３        照明具
７５１、７５２、７５３        輝度（光強度）が大の領域
８１０                        金属試料
８１０Ｓ                      金属試料の表面
８２１                        ラインセンサカメラ
８２１Ａ、８２２Ａ            撮影視野
８２２                        エリアセンサカメラ
９１０                        金属試料
９１０Ｓ                      表面部
９２０                        カメラ（撮影手段）
９３０                        光源部（照明具）
９３５                        照明光
９３５Ｒ                      正反射光
９３５Ｓ                      散乱光
９４０                        ビームスプリッタ
１０１０                      良品部の表面
１０２０                      致命的欠陥部
１０３０                      擬似欠陥部
【図１】
0003883663.tif 000002
【図２】
0003883663.tif 000003
【図３】
0003883663.tif 000004
【図４】
0003883663.tif 000005
【図５】
0003883663.tif 000006
【図６】
0003883663.tif 000007
【図７】
0003883663.tif 000008
【図８】
0003883663.tif 000009
【図９】
0003883663.tif 000010
【図１０】
0003883663.tif 000011
【図１１】
0003883663.tif 000012
【図１２】
0003883663.tif 000013
【図１３】
0003883663.tif 000014
【図１４】
0003883663.tif 000015
【図１５】
0003883663.tif 000016
【図１６】
0003883663.tif 000017
【図１７】
0003883663.tif 000018
【図１８】
0003883663.tif 000019