(57)【特許請求の範囲】
【請求項１】
帯状に連続するリードフレームを搬送する搬送手段と、
前記搬送手段により搬送される際に前記リードフレームのリード形成領域の画像入力を行う撮像手段と、
前記撮像手段の光軸を取り囲むようリング状に配置されかつ前記リードフレームと前記撮像手段との間に前記光軸方向に多段に配置されてなる、前記リードフレームに光を照射する照明手段と、
前記撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像の輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいて前記リードフレームの状態を特定するニューロ回路を有し、該ニューロ回路の出力結果に応じて検査続行可能か否かを判定する制御手段と、を備え、
前記制御手段は、前記ニューロ回路の出力結果によりリードフレームの状態がばたつき或いは油塊付着と特定した場合には、異常判定せずに検査を続行し、その他の場合には異常判定して検査動作を停止するように制御することを特徴とするリードフレーム検査装置。
【請求項２】
前記制御手段は、前記撮像手段より取り込んだ複数入力画像に前処理を施して、検査画像領域の輝度データの変動量Δｔを各画素毎に算出して記憶し、前記前処理に続く入力画像Ｐを取得して解析し前記検査画像領域に対応する検査画像Ｐ１を位置補正して記憶し、前記入力画像Ｐに続く入力画像Ｑを取得して解析し前記検査画像領域に対応する検査画像Ｑ１を位置補正して記憶し、前記検査画像Ｑ１と前記検査画像Ｐ１との輝度データｑ，ｐの変化量ｄを前記データ変動量Δｔを考慮して各画素毎にｄ＝ｑ−ｐ−Δｔを演算し、次に前記検査画像Ｐ１の輝度データｐを前記検査画像Ｑ１の輝度データｑへ置き換えて記憶し、前記入力画像Ｑに続く入力画像Ｒを取得して解析し前記検査画像領域に対応する検査画像Ｒ１を位置補正して記憶し、該検査画像Ｒ１と前記検査画像Ｑ１との輝度データｒ，ｑの変化量ｄを前記データ変動量Δｔを考慮して各画素毎にｄ＝ｒ−ｑ−Δｔを演算するという作業を繰り返して行い、各演算結果がｄ≧０であれば前記ニューロ回路の出力結果により前記リードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うことを特徴とする請求項１記載のリードフレーム検査装置。
【請求項３】
前記制御手段は、前記撮像手段より取り込んだ入力画像Ｐを取得して解析し検査画像領域に対応する検査画像Ｐ１を位置補正して記憶し、前記入力画像Ｐに続く入力画像Ｑを取得して解析し前記検査画像領域に対応する検査画像Ｑ１を位置補正して記憶し、前記検査画像Ｑ１と前記検査画像Ｐ１との輝度データｑ，ｐの変化量ｄ＝ｑ−ｐを各画素毎に演算し、次に前記検査画像Ｐ１の輝度データｐを前記検査画像Ｑ１の輝度データｑへ置き換えて記憶し、前記入力画像Ｑに続く入力画像Ｒを取得して解析し前記検査画像領域に対応する検査画像Ｒ１を位置補正して記憶し、該検査画像Ｒ１と前記検査画像Ｑ１との輝度データｒ，ｑの変化量ｄ＝ｒ−ｑを各画素毎に演算するという作業を繰り返して行い、各演算結果がｄ≠０であれば前記ニューロ回路の出力結果により前記リードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うことを特徴とする請求項１記載のリードフレーム検査装置。
【請求項４】
前記制御手段は、前記撮像手段より取り込んだＸ番目からＸ＋ｎ番目（Ｘ≧１，ｎ≧１；Ｘ，ｎは自然数）までの入力画像の輝度を解析し、得られたｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第１の比較値ｐとして記憶させ、Ｘ＋（ｎ＋１）番目の入力画像の解析値ｑと前記第１の比較値ｐとの変化量ｄ＝ｑ−ｐを各画素毎に演算し、次にＸ＋１番目からＸ＋（ｎ＋１）番目までのｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第２の比較値ｒとして更新して記憶させ、Ｘ＋（ｎ＋２）番目の入力画像の解析値ｓと前記第２の比較値ｒとの輝度データの変化量ｄ＝ｓ−ｒを各画素毎に演算する動作を繰り返し行い、各演算結果がｄ≧０であれば前記ニューロ回路の出力結果により前記リードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うことを特徴とする請求項１記載のリードフレーム検査装置。
【請求項５】
前記撮像手段より取り込んだＸ番目からＸ＋ｎ番目の入力画像を画像処理の１単位となる複数の区画に分割して各区画毎に各々輝度を解析し、各区画毎にｎ画像分の輝度データの平均値を算出して該平均値に各々許容値を加えて第１の比較値ｐとして各々記憶し、Ｘ＋（ｎ＋１）番目の入力画像の解析値ｑと第１の比較値ｐとの変化量ｄ＝ｑ−ｐを各区画毎に演算し、次にＸ＋１番目からＸ＋（ｎ＋１）番目までの各区画毎のｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第２の比較値ｒとして各々更新して記憶し、Ｘ＋（ｎ＋２）番目の入力画像の解析値ｓと第２の比較値ｒとの変化量ｄ＝ｓ−ｒを各区画毎に演算する動作を繰り返すことを特徴とする請求項４記載のリードフレーム検査装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は打ち抜き加工後のリードフレームの打痕、油塊の付着、ばたつき、傷、変色等の表面状態を具体的に特定することが可能なリードフレーム検査装置に関する。
【０００２】
【背景技術】
従来、リードフレームを打ち抜きリードフレームを形成するプレス工程において、例えば短冊状リードフレームであれば、プレスより搬送されたところで、大きな打痕やバリ等は作業者が肉眼で確認していた。また、搬送されるリードフレームをプレス後に任意に抜き取り、顕微鏡で検査及び測定を行っていた。
また、リールに巻き取られたリードフレームにおいては、途中で抜き取り検査を行うことができないので、作業者の肉眼に頼るしかなく、精密検査はリールの最後で打痕等の有無を検査するしかなかった。
【０００３】
上記リードフレームの検査効率や検査精度を向上させるため、本件出願人は特願平９ー２７８７１３号に示すリードフレームの検査装置を提案した。この検査装置は、プレス加工後に搬送されるリードフレームをリング状照明より光照射して、反射光をＣＣＤカメラにより画像入力を行い、入力画像の輝度を解析し、得られた解析値と予めティーチングにより記憶部に記憶させた記憶値との比較を行ってリードフレームの異常を検出するものである。
【０００４】
上記検査装置を用いてリードフレームの検査を行うためには、予め正常なリードフレームを用いて画像を取得し、画像解析に必要なパラメータの設定や、解析値との比較に用いる記憶値の設定、画像の明度レベルがほぼ同一になる部分毎に区画を作成するなどのティーチングを行う必要がある。ティーチングにより記憶させる記憶値は、各区画毎に複数画像の解析値の平均値に付加値を加算した値に設定したり（記憶値＝平均値＋付加値）、或いは解析値の状況によっては、平均値の代わりに最大値或いは最小値などを用いても良い（例えば記憶値＝最大値＋付加値）。
【０００５】
実際の検査を行う場合には、リング状照明よりリードフレームにティーチング時とほぼ同一の明度が得られる照度で光照射してＣＣＤカメラにより画像入力を行う。そして、ティーチングされている区画毎に輝度の解析を実行し、解析データを複数画像に渡って記憶する。得られた複数画像を各区画毎の平均値を算出しこの平均値を解析値として記憶する。この解析値とティーチングにより記憶させた記憶値とを比較し、解析値がこの記憶値より大きくなった場合にエラーが生じたものと判定して、リードフレーム検査装置を停止させて、リードフレームの点検を行っていた。
【０００６】
【発明が解決しようとする課題】
上記リードフレーム検査装置においては、油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などの発生を異常として検出することができる。しかしながら、リードフレームの油塊の付着やフレームのばたつきなどは製品化する上で異常とは言えないため、エラー出力させたくないという要望があった。
このように異常状態を具体的に特定することができれば、検査装置を停止する回数も減らすことができ、検査作業の効率化を図ることも可能となる。
【０００７】
本発明の目的は、上記従来技術の課題を解決し、リードフレームの状態を具体的に特定して検査性能を向上させ、検査作業を高精度で効率的に行うリードフレーム検査装置を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は上記目的を達成するため次の構成を備える。
すなわち、帯状に連続するリードフレームを搬送する搬送手段と、前記搬送手段により搬送される際に前記リードフレームのリード形成領域の画像入力を行う撮像手段と、前記撮像手段の光軸を取り囲むようリング状に配置されかつ前記リードフレームと前記撮像手段との間に前記光軸方向に多段に配置されてなる、前記リードフレームに光を照射する照明手段と、前記撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像の輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいて前記リードフレームの状態を特定するニューロ回路を有し、該ニューロ回路の出力結果に応じて検査続行可能か否かを判定する制御手段と、を備え、前記制御手段は、前記ニューロ回路の出力結果によりリードフレームの状態がばたつき或いは油塊付着と特定した場合には、異常判定せずに検査を続行し、その他の場合には異常判定して検査動作を停止するように制御することを特徴とする。
【０００９】
具体的には制御手段は、撮像手段より取り込んだ複数入力画像に前処理を施して、検査画像領域の輝度データの変動量Δｔを各画素毎に算出して記憶し、前処理に続く入力画像Ｐを取得して解析し検査画像領域に対応する検査画像Ｐ１を位置補正して記憶し、入力画像Ｐに続く入力画像Ｑを取得して解析し検査画像領域に対応する検査画像Ｑ１を位置補正して記憶し、検査画像Ｑ１と検査画像Ｐ１との輝度データｑ，ｐの変化量ｄをデータ変動量Δｔを考慮して各画素毎にｄ＝ｑ−ｐ−Δｔを演算し、次に検査画像Ｐ１の輝度データｐを検査画像Ｑ１の輝度データｑへ置き換えて記憶し、入力画像Ｑに続く入力画像Ｒを取得して解析し検査画像領域に対応する検査画像Ｒ１を位置補正して記憶し、該検査画像Ｒ１と検査画像Ｑ１との輝度データｒ，ｑの変化量ｄをデータ変動量Δｔを考慮して各画素毎にｄ＝ｒ−ｑ−Δｔを演算するという作業を繰り返して行い、各演算結果がｄ≧０であればニューロ回路の出力結果によりリードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
或いは、撮像手段より取り込んだ入力画像Ｐを取得して解析し検査画像領域に対応する検査画像Ｐ１を位置補正して記憶し、入力画像Ｐに続く入力画像Ｑを取得して解析し検査画像領域に対応する検査画像Ｑ１を位置補正して記憶し、検査画像Ｑ１と検査画像Ｐ１との輝度データｑ，ｐの変化量ｄ＝ｑ−ｐを各画素毎に演算し、次に検査画像Ｐ１の輝度データｐを検査画像Ｑ１の輝度データｑへ置き換えて記憶し、入力画像Ｑに続く入力画像Ｒを取得して解析し検査画像領域に対応する検査画像Ｒ１を位置補正して記憶し、該検査画像Ｒ１と検査画像Ｑ１との輝度データｒ，ｑの変化量ｄ＝ｒ−ｑを各画素毎に演算するという作業を繰り返して行い、各演算結果がｄ≠０であればニューロ回路の出力結果によりリードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
【００１０】
また、他の構成として、制御手段は、前記撮像手段より取り込んだＸ番目からＸ＋ｎ番目（Ｘ≧１，ｎ≧１；Ｘ，ｎは自然数）までの入力画像の輝度を解析し、得られたｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第１の比較値ｐとして記憶させ、Ｘ＋（ｎ＋１）番目の入力画像の解析値ｑと前記第１の比較値ｐとの変化量ｄ＝ｑ−ｐを各画素毎に演算し、次にＸ＋１番目からＸ＋（ｎ＋１）番目までのｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第２の比較値ｒとして更新して記憶させ、Ｘ＋（ｎ＋２）番目の入力画像の解析値ｓと前記第２の比較値ｒとの輝度データの変化量ｄ＝ｓ−ｒを各画素毎に演算する動作を繰り返し行い、各演算結果がｄ≧０であれば前記ニューロ回路の出力結果により前記リードフレームの状態を特定して検査続行可能か否かを判定しながら検査を行うようにしても良い。
この場合に、撮像手段より取り込んだＸ番目からＸ＋ｎ番目の入力画像を画像処理の１単位となる複数の区画に分割して各区画毎に各々輝度を解析し、各区画毎にｎ画像分の輝度データの平均値を算出して該平均値に各々許容値を加えて第１の比較値ｐとして各々記憶し、Ｘ＋（ｎ＋１）番目の入力画像の解析値ｑと第１の比較値ｐとの変化量ｄ＝ｑ−ｐを各区画毎に演算し、次にＸ＋１番目からＸ＋（ｎ＋１）番目までの各区画毎のｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第２の比較値ｒとして各々更新して記憶し、Ｘ＋（ｎ＋２）番目の入力画像の解析値ｓと第２の比較値ｒとの変化量ｄ＝ｓ−ｒを各区画毎に演算する動作を繰り返すようにしても良い。
【００１１】
上記構成によれば、撮像手段より取り込んだ入力画像と次に取り込んだ入力画像どうしの輝度データを各画素毎にこれらの変化量を演算して演算結果が所定変化量に到達すると、予め学習させた登録情報に基づいてニューロ回路の出力結果によりリードフレームの状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などのリードフレームの状態を具体的に特定できるので、これらのうち少なくともリードフレームの油塊の付着やばたつきなどはエラー出力しないようニューロ回路に学習させておくことでリードフレーム検査装置を停止する回数も減らすことができ、検査作業を高精度で効率的に行うことができる。
【００１２】
【発明の実施の形態】
以下、本発明に係るリードフレームの検査装置の好適な実施例を添付図面に基づいて詳細に説明する。
図１はリードフレーム検査装置を含むリードフレーム製造装置の全体構成を示す説明図、図２はリードフレーム検査装置の構成を示すブロック説明図、図３はリードフレーム検査装置の断面説明図、図４はリング状照明の構成を示す説明図、図５及び図６はリング状照明による画像入力状態を示す説明図、図７（ａ）（ｂ）は入力データのピークカット検出を示す説明図、図８はリードフレームの輪郭にマスクを施した状態を示す比較説明図、図９はリードフレームの検査画像領域を示す説明図、図１０はニューロ回路の説明図、図１１はニューロ回路による解析可能な画像例を示す説明図、図１２（ａ）〜（ｃ）はニューロ回路に学習させる登録情報を示す説明図、図１３はニューラルネットワークの構成例を示す説明図、図１４及び図１５はリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャート、図１６はリードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャート、図１７は前処理で取得した入力画像の輝度データの変動量を示すグラフ図、図１８は検査画像領域の前後の入力画像の輝度データの差分を示すグラフ図、図１９は本実施例の検査結果を示すグラフ図である。
【００１３】
先ず図１を参照してリードフレーム検査装置を含むリードフレーム製造装置の全体構成について説明する。
１，２は帯状に連続するリードフレーム３を繰り出し、巻き取り用のリールである。本実施例では図面左側の繰り出し用リール１よりリードフレーム１を繰り出し、図面右側に配置された巻き取り用リール２に巻き取るように構成されている。
【００１４】
４はレベラーであり、繰り出し用リール１より繰り出されたリードフレーム３の巻きぐせを平坦化する装置である。５は上型５ａ，下型５ｂを装備してプレスによりリードを形成するプレス装置である。
６はリードフレーム検査装置であり、プレス装置５により打ち抜かれたリードフレーム３の表面状態に打痕，傷，変色等の異常がないかどうかを検査するものである。上記リードフレーム検査装置６には、搬送手段としての搬送ローラ６ａ，照明手段の一部を構成する複数のリング状照明６ｂ，撮像手段としてのＣＣＤ（電荷結合素子）カメラ６ｃ，リング状照明６ｂやＣＣＤカメラ６ｃが一体に搭載された可動テーブル６ｄ等を装備している。
７は層間紙であり、巻き取り用リール２に巻き取られるリードフレーム３間に介在させて巻き取らせ、リードフレーム相互間の摺擦より保護をしている。
なお、本実施例では、リードフレーム検査装置６はプレス装置５の後に配置されているが、リードフレーム１の洗浄装置の後やその他の処理後に配置することも可能である。
【００１５】
次に図２を参照してリードフレーム検査装置６の全体構成についてブロック図を参照して説明する。８は制御手段であり、制御プログラムにしたがって装置全体の動作を制御するＣＰＵ８ａ、外部より入力されたデータの一時保存を行ったり、ＣＰＵ８ａのワーキングエリアとして使用されるＲＡＭやＣＰＵ８ａの制御プログラムを記憶したＲＯＭ等を備えた記憶部８ｂ、データの入出力を行う入出力部（Ｉ／Ｏ部）８ｃ、リング状照明６ｂの光源装置９の照度を制御する照度コントローラ８ｄ、ＣＣＤカメラ６ｃにより撮影した画像にマスク処理を施す画像処理ボード８ｅ等を装備している。上記画像処理ボード８ｅには、ＣＣＤカメラ６ｃより後述するモニター表示用の画像が入力される。
【００１６】
また１０は駆動手段としてのコントローラであり、リードフレーム３を搬送する搬送ローラ６ａを駆動させる駆動モータ（図示せず）や可動テーブル６ｄを走査させる駆動モータ（図示せず）を作動／停止させるドライバー回路を有する。また、上記ＣＰＵ８ａには、Ｉ／Ｏ部８ｃを介してリードフレーム３の搬送量を検出するためのフレーム搬送センサ１１からの検出信号が入力し、プレス装置５を作動／停止させる制御信号が出力される。
【００１７】
上記制御手段８のＣＰＵ８ａは、照度コントローラ８ｄにより光源装置９の照度を制御してリング状照明６ｂによりリードフレーム３のをほぼ同一明度となるように光照射する。本実施例ではＩＣ１ピース分をほぼ同一明度となる領域として一括してＣＣＤカメラ６ｃにより撮影して画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。このとき、リードフレーム３を搬送しながら画像を取り込む際に検査を必要としない部分（例えば孔など）に必要に応じて画像処理ボード８ｅによりマスク処理を施して輝度データを取り込む。
ＣＰＵ８ａは検査画像ポイントを中心とした検査画像領域を指定した場合に当該領域を各画素毎に検査し、特に検査画像領域を指定しない場合には画面全体を各画素毎に検査する。そして、検査状態に応じて入出力部８ｃを介してコントローラ１０により搬送ローラ６ａの駆動を制御して搬送動作を停止させる。
【００１８】
次に図３を参照してリードフレーム検査装置６の具体的な装置構成について説明する。以下、プレス後のリードフレーム３の搬送経路にしたがって説明する。リードフレーム３は図面左側より下方にＵ字状に垂れ下がって検査装置６に進入し、リードフレームばたつき防止機構１２に沿って鉛直上方に向かって搬送される。
リードフレーム３のリードフレーム検査装置６への進入位置には複数のセンサが設けられている。６ｅは検査側停止センサであり、リードフレーム３のたるみ部分を検出すると搬送ローラ６ａの動作を停止するようになっている。即ち、プレス装置５に異常が生じて停止した場合、搬送ローラ６ａが回転し続けると、リードフレーム３のたるみ部分の巻き取りが進行してＡ位置に到達する。このとき、検査側停止センサ６ｅがリードフレーム３のたるみ部分を検出すると、検査装置６は搬送ローラ６ａの回転を停止させる。
６ｆ，６ｇは速度制御センサであり、リードフレーム３のたるみ部分が所定範囲に保たれるように搬送ローラ６ａの回転速度を制御するようになっている。即ち、リードフレーム３のたるみ部分が速度制御センサ６ｆに検出されると、プレス装置５の搬送速度より搬送ローラ６ａの巻き取り速度が速過ぎるので、搬送ローラ６ａの回転速度を遅くするようにコントローラ１０により速度制御して、リードフレーム３のたるみ部分が速度制御センサ６ｆ，６ｇ間のＢ位置にあるように保たれる。
６ｈはプレス側停止センサであり、リードフレーム３のたるみ部分を検出するとプレス装置５の動作を停止するようになっている。即ち、検査装置６に異常が生じて搬送ローラ６ａが回転停止或いは回転動作が遅延すると、リードフレーム３が巻き取られずたるみ部分が多くなりＣ位置に到達する。このときプレス側停止センサ６ｈがリードフレーム３のたるみ部分を検出すると、プレス装置５はプレス動作を停止させる。
【００１９】
また、リードフレーム３は、リードフレームばたつき防止機構１２により幅方向及び高さ方向の位置決めがなされ、図の矢印に示すＹＺ軸方向に移動可能な可動テーブル６ｄに取り付けられたリング状照明６ｂによりリードフレーム３の所定領域に光照射されてその表面画像がＣＣＤカメラ６ｃにより取り込まれる。
リング状照明６ｂは、ＣＣＤカメラ６ｃの光軸を取り囲み、かつリードフレーム３とＣＣＤカメラ６ｃとの間に光軸方向に沿って多段（本例では２段であるが、３段以上でも良い）に配置されている。また、可動テーブル６ｄは図示しない駆動モータにより図３のＹＺ軸方向に走査可能に構成されている。リング状照明６ｂの照度は、リードフレーム３のリード形成領域の輝度に応じて可動テーブル６ｄの下方に設けられた光源装置９により調整される。また、上記ＣＣＤカメラ６ｃの焦点は、可動テーブル６ｄの後端側にあるノブ６ｊにより手動で調整する。なお、図３において、Ｙ軸方向とは紙面に対して垂直方向をいう。
【００２０】
また、リードフレーム３は、連続搬送されながらＣＣＤカメラ６ｃより画像入力を行い全数検査が行われる。この際、ＣＣＤカメラ６ｃによる画像入力は、フレーム搬送センサ１１から出力される検出信号（許可フラグ）に同期して１ピース単位で行うようにすると良い。
搬送ローラ６ａは、図示しない駆動モータにより回転駆動され、リードフレーム３をその円弧面の一部に巻き付けて搬送する。上記フレーム搬送センサ１１の検出信号に基づいて駆動モータの動作を制御して、搬送ローラ６ａによるリードフレーム３の搬送動作が制御される。
【００２１】
１３は搬送ガイドであり、搬送ローラ６ａを経たリードフレーム３の搬送をガイドするものである。上記搬送ガイド１３の搬送路には、リードフレーム３の上下一方或いは双方に当接して従動回転する複数の補助ローラ１４が設けられている。上記搬送ガイド１３を経たリードフレーム３は装置外へ導かれ、巻き取り側に搬送される。
【００２２】
また、装置下部には、制御手段８や電源部等を配置した制御パネル１５が配置されている。また、装置上部には制御データコントロール用制御用モニター１６ａ、ＣＣＤカメラ６ｃより取り込んだ画像をリアルタイムで表示するための表示用モニター１６ｂが装備されている。なお、モニターは１台とし、切り換えながら制御データコントロール用の制御用として、また画像表示用として使用するようにしても良い。
【００２３】
ここで、リードフレーム検査装置６の各部の構成及び機能について詳細に説明する。
先ず、複数設けられたリング状照明６ｂの構成について詳述する。各リング状照明６ｂは同じ構成であり、図４に示すようにリング状照明６ｂのリング６ｐ内には光源としての光ファイバー６ｑが装備されている。また上記リング６ｐには支持部材６ｒが設けられており、該支持部材６ｒには半透明フィルム６ｓがリング６ｐの発光面と対向するように配置されている。また半透明フィルム６ｓのうち高輝度部分には遮光用のマスク６ｔが設けられている。
【００２４】
上述のようにリング状の照明を用いたのは、リードフレーム３と照明手段との間隔が狭いためフレーム面に明暗が生じ易いので、リードフレーム３の各領域をできるだけ均一に光照射するためである。また、リング６ｐの発光面に対向する位置に半透明フィルム６ｓを設けたのは、光の拡散を良くするためであり、更にはマスク６ｔを設けたのは、高輝度部分を遮光してフレーム面を均一な照度で光照射して、ＣＣＤカメラ６ｃにより打痕，傷等を鮮明に見るためである。なお、リング状照明６ｂの発光面の外径を検査対象フレーム面の長さに比較して大きくする（一例として２倍以上）ことにより、リング状照明６ｂからの直接光の影響を少なくすることができ、この場合には半透明フィルム６ｓは不要である。
また、リング状照明６ｂを多段に設けた理由について図５と図６を用いて説明すると、ＣＣＤカメラ６ｃにより直接検査される図６中のリードフレーム３の検査面（打ち抜き時に下面となるバリ面）に打痕が存在する場合には打痕の表面が急激にへこんでいるため、リング状照明６ｂが１段でもそこから照射される光が打痕の表面のいずれかの部分でＣＣＤカメラ６ｃのレンズ方向へ反射する（光路は実線で示す）。よって反射部分は打痕がない状態の正常の輝度よりも高くなってＣＰＵ８ａでは打痕として認識できる。
【００２５】
しかしながら、図５に示すようにリードフレーム３の検査裏面（打ち抜き時に上面となるダレ面）に打痕が存在する場合には、その打痕の裏面側、つまり検査面側の突出部の変形量は小さく、しかも突出部の表面は緩やかな曲面となるために、リング状照明６ｂが１段しかない場合には、リング状照明６ｂの光源１からの光（光路は実線で示す）は当該曲面で反射してもＣＣＤカメラ６ｃのレンズ内へは入光しない。このため、ＣＰＵ８ａでは打痕なしと判断してしまう可能性が高い。
そこで、上述したようにこの第１段目のリング状照明６ｂの他に、第２段目のリング状照明６ｂを光軸Ｇ方向に沿って第１段目のリング状照明６ｂと離間して設けると、第２段目のリング状照明６ｂの光源２からの光の打痕により検査面側に生じた突出部への入射角が変わり（この場合には小さくなり）、その反射光はＣＣＤカメラ６ｃに入光することになり（光路は点線で示す）、ＣＰＵ８ａにおいて突出部の存在を認識でき、その結果リードフレーム３の検査裏面の打痕の存在を検出することができる。
【００２６】
しかし、このリードフレーム３の検査裏面（ダレ面）の打痕は、プレス加工を行った際に発生する抜きカスやゴミが該リードフレーム３の上に残り、この抜きカス等により生ずるものであり、実際には上記リードフレーム３の上に抜きカス等は入り込み難い。そのため、検査裏面の打痕の発生率は検査面の打痕の発生率と比べて著しく低い（約１０分の１程度）。また、リードフレーム３はダイ上を所定の速度で移動しているため、小さな抜きカス等はダイ上から飛び散ってしまいリードフレーム３の検査裏面に付着する抜きカス等は比較的大きく重いものが殆どである。このため、リードフレーム３の検査裏面の打痕により検査面に生ずる突出部はその変形量が比較的大きなものが多く、リング状照明６ｂを多段に設けることで検出できるものが多いのである（図５参照）。
【００２７】
また、照度コントローラ８ｄは、リードフレーム３の面粗度の違いにより、同一照度でのフレームの明度に違いが生ずる場合に、できるだけ均一な明度になるように調整するものである。この調整は、ＣＣＤカメラ６ｃにより一括して画像入力される領域毎に、画像を取り込む際に照度コントロールを行う。
【００２８】
また、リードフレーム３の表面の明度のピーク値を観察していると、図７（ａ）に示すように、正常なフレームでも面粗度の違いによりピーク値が上昇する場合がある（相違量ａ）。そこで、図７（ｂ）に示すように、ピークレベルからある一定量だけカットしたところの輝度レベルを記憶しておき、検査時においても一定量だけカットしたところの輝度レベルで比較している（相違量ｂ）。
【００２９】
また、図８（ａ）に示すように、プレス装置５によりプレス後のリードフレーム３の輪郭部３ａや打ち抜き部分３ｂには、ダレ，カエリ，バリ等が存在する。このダレ，カエリ，バリ等が検査領域内に存在すると、ダレ，カエリ，バリ等で照射された光をＣＣＤカメラ６ｃ方向へ反射し、ダレ等が存在しない場合に比べて輝度データが極端に大きな値となり誤って打痕と認識してしまう。このため、他のリードフレーム面と同じ輝度として認識するように、一旦リードフレーム３の画像を例えば１ピース分サンプルとして取り込み、リードフレーム３の輪郭に沿ってエアブラシ，ボカシ等を使用して画像編集し、マスク画像として記憶部８ｂに記憶させる。そして、図８（ｂ）に示すように、リードフレーム３の輪郭部３ａや打ち抜き部分３ｂに画像処理ボード８ｅにおいてマスク画像を重ね合わせて輝度を補正しダレ，バリ等の影響を抑えている。
【００３０】
また、照度コントローラ８ｄにより照度を制御する単位となるリードフレーム３の検査画像領域は、一例として図９に示すように、▲１▼〜▲６▼に示す任意の検査画像ポイントを含むようにパイロット孔３ｃからのＸ−Ｙ座標を指定して行われる。
また、ＣＣＤカメラ６ｃより取り込んだ画像を輝度データに解析する画像処理ボード８ｅの解析能力は、受光素子の数や解像度によっても左右されるが、本実施例では１ピースを一括して画像入力し、最大で１画面当たり５１２×４８０ピクセル分の画素毎に輝度データを解析できるようになっている。また、検査画像ポイントを含む検査画像領域が指定された場合には当該指定領域毎に、検査画像領域指定されない場合には１画面全体に渡って画像処理を行うようになっている。
【００３１】
また、制御手段８は、入力画像どうしの輝度データを各画素毎に比較して異常を検出すると、予め学習させた登録情報に基づいて異常状態を特定するニューロ回路１７を備えている（図１０参照）。ニューロ回路１７は、初期状態では入力Ｉｉにデータを入力しただけでは関連のない出力結果Ｏｊが現れる。そこで、異常状態を示す入力画像データＩｉに対応した出力結果Ｏｊを例えば以下に示す表１のように設定登録する。
【表１】
0004146971.tif 000002
【００３２】
入力データＩｉとしては、図１１に示すリードフレームの入力画像において、異常部分Ｎが検出された場合、該異常部分Ｎには図１２（ａ）〜（ｃ）に示すように異常状態に応じて特徴がある。ちなみに図１２（ａ）は打痕、同図（ｂ）は油塊、同図（ｃ）はリードフレーム３のばたつきを示すものとする。
これらの異常部分Ｎの拡大画像において、×印を中心に破線に示す範囲で入力データＩｉを取り込む。
このときの、入力画像の異常状態毎に入力データＩｉに対応した出力結果Ｏｊの登録数を例えば以下に示す表２のように設定登録する。
【表２】
0004146971.tif 000003
このとき、先に登録された状態と同じ評価をすべき入力画像があった場合には、出力が先に登録された状態と同じになるように設定し追加登録する。そして、各評価項目毎の登録数が設定数に達した後、登録を終了する。登録が終了した後、バックプロバゲーション法を用いて、学習を行う。
【００３３】
次にこの学習作業を経て形成された登録情報に基づいて、図１３に示すニューラルネットワークを形成する。入力層１〜１０は異常状態を特定すべき検査画像からのデータ数、中間層１〜５はニューラルネットワークにおいて、解を導き出すのに必要な層であり、出力層１〜５は油塊、打痕、ばたつき、欠損、正常などの評価結果を示す。尚、入力層は例えば入力画像の検査画像領域を縦，横１０画素分とした場合には、入力層の入力数は１０×１０＝１００となる。
上記入力層、中間層、出力層はシナプス１８により結ばれる。出力結果Ｏ1〜Ｏ5のいずれかの出力がＯＮ状態の９０％を超えた場合に出力結果をＯＮとして判定するように判定用パラメータを設定することにより異常状態が特定できる。
【００３４】
次に、上述のように構成されたリードフレーム検査装置６の制御動作について図１４〜図１６に示すフローチャートに沿って説明する。本実施例では、リードフレーム３を連続搬送しながらＩＣ１ピース毎に表面状態の検出を行う場合の流れについて説明するものとする。
【００３５】
先ず、リードフレーム全体の検査の流れについて概略説明すると、プレス装置５を経て連続的に加工され搬送されるリードフレーム３をリードフレーム検査装置６に進入させ、リードフレーム３のＩＣ１ピース単位でＣＣＤカメラ６ｃより画像を取り込む。このとき、入力画像に前処理を施して、検査画像ポイントを中心に指定された検査画像領域の輝度データの変動量Δｔを各画素毎に算出して記憶する。次に検査を開始すると、前処理に続く入力画像Ｐを取得して検査画像領域に対応する検査画像Ｐ１を位置補正して記憶し、入力画像Ｐに続く入力画像Ｑを取得して検査画像領域に対応する検査画像Ｑ１を位置補正して記憶し、検査画像Ｑ１と検査画像Ｐ１との輝度データｑ，ｐの変化量ｄをデータ変動量Δｔを考慮して各画素毎にｄ＝ｑ−ｐ−Δｔを演算する。次に検査画像Ｐ１の輝度データｐを検査画像Ｑ１の輝度データｑへ置き換えて記憶し、入力画像Ｑに続く入力画像Ｒを取得して解析し検査画像領域に対応する検査画像Ｒ１を位置補正して記憶し、該検査画像Ｒ１と検査画像Ｑ１との輝度データｒ，ｑの変化量ｄをデータ変動量Δｔを考慮してｄ＝ｒ−ｑ−Δｔを各画素毎に演算するという作業を繰り返して行う。そして、各演算結果がｄ≧０であればニューロ回路１７の出力結果によりリードフレーム３の状態を特定して検査続行可能か否かを判定しながら検査を行う。
【００３６】
次に制御手段８による具体的手順について説明する。
先ず、ニューロ回路１７に登録情報を記憶させて学習させるプロセスについて図１４及び図１５を参照して説明する。
図１４において、ステップＳ１において、検査装置の電源を投入すると、ステップＳ２に進行して初期パラメータが設定されているか否かを判定する。この初期パラメータには、図９の▲１▼〜▲６▼に示す任意の検査画像ポイントを含む検査画像領域を特定するためのパイロット孔３ｃを基準とするＸ−Ｙ方向の位置決め情報、リング状照明６ｂの光源装置９の照度設定などの検査前処理がある。
【００３７】
初期パラメータが設定してある場合には、ステップＳ３に進行して検査開始スイッチの入力を待ってステップＳ６に進行して前処理画像Ｔを取得する。
また、初期パラメータが設定してない場合には、ステップＳ４に進行して位置決め情報を入力し、ステップＳ５に進行して検査画像領域を指定する場合には当該指定した領域、或いは検査画像領域を指定しない場合には画面全域で検査を行う。また、検査画像領域において必要に応じてマスク処理を施す。このマスク処理は、リードフレーム３のダレ，バリ部分は他の面と光の反射が異なるため、この部分は検査しないようにしたり或いは、特に検査させない部分（例えば刻印部）があればマスクを施すものである。このマスク処理は、各検査画像領域において１回目の入力画像において行えば足りる。この後、ステップＳ３に戻って検査開始スイッチの入力を待ってステップＳ６に進行して前処理画像Ｔを取得する。このとき、入力画像はリアルタイムで表示用モニター１６ｂに写し出され、その表面状態を視認することができる。
【００３８】
前処理画像Ｔは、ＩＣ１ピース単位で複数画像分、本実施例では１０ピース分取得して検査画像領域の各画素ごとの輝度を解析して輝度データとして記憶する。次に、ステップＳ７に進行して検査画像領域内の各画素ごとの輝度データの変動量Δｔを求める（図１７参照）。Δｔの値は、各画素毎の輝度データの最大値と最小値の差分に相当する。
【００３９】
次にステップＳ８に進行して、ＣＣＤカメラ６ｃより次の画像Ｐを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ９に進行して、画像Ｐの輝度データのうち、ステップＳ２で入力した図９の▲１▼〜▲６▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像領域に相当する検査画像Ｐ１を読み出して位置補正する移動処理を行う。検査画像と前処理工程の記憶画像間に位置ずれが生じている場合に輝度データ間の正確な比較ができないからである。
【００４０】
次にステップＳ１０に進行して、ＣＣＤカメラ６ｃより次の画像Ｑを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ１１に進行して、画像Ｑの輝度データのうち、ステップＳ２で入力した位置決め情報に従って検査画像Ｐ１に対応する検査画像Ｑ１を読み出して位置補正する移動処理を行う。
【００４１】
次にステップＳ１２に進行して、ＣＰＵ８ａは検査画像Ｑ１，Ｐ１と前処理画像Ｔとの輝度データ間でＱ１−Ｐ１−Ｔの演算処理を行う。具体的には、対応する各画素間において変動量を加味した輝度データの変化量ｄ＝ｑ−ｐ−Δｔの演算処理を行い結果を記憶部８ｂに記憶する。この検査画像Ｑ１，Ｐ１の特定の画素の輝度データｑ，ｐと前処理画像Ｔより得られた輝度データの変動量Δｔ（＞０）及び輝度データｑ，ｐ間の変化量ｑ−ｐの関係を図１８に示す。
【００４２】
次にステップＳ１３に進行して、検査画像Ｑ1 ，Ｐ１の全ての対応する画素間で演算結果がｄ＜０か否かを判定する。演算結果がｄ＜０であれば、検査画像Ｑ1 ，Ｐ１間で輝度データが正常範囲と判断してステップＳ１４に進行して、記憶部８ｂに記憶した検査画像Ｐ１のデータを検査画像Ｑ１のデータに置き換える。次にステップＳ１５に進行してリードフレーム３からの入力画像があるか否かを判定し、検査画像がない場合には検査終了するものと判断してステップＳ１６に進行して検査装置の動作を停止する。また、更に入力画像がある場合には、ステップＳ１０に戻って、ＣＣＤカメラ６ｃより画像Ｑの次の画像Ｒを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ１１に進行して、画像Ｒの輝度データのうち、ステップＳ２で入力した図９の▲１▼〜▲６▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像Ｑ１に対応する検査画像Ｒ１を記憶部８ｂ内で読み出す移動処理を行う。以後同様に検査画像Ｑ１，Ｒ１と前処理画像Ｔとの輝度データ間でＲ１−Ｑ１−Ｔの演算処理を行うという検査動作を繰り返し行う。
【００４３】
また演算結果がｄ≧０であれば、ステップＳ１７に進行してＣＰＵ８ａは異常と判定して、ステップＳ１８に進行して検査装置の動作を停止させる。
このとき、演算結果ｄ＜０の判定について詳細に説明すると、検査画像Ｑ１，Ｐ１の特定画素の輝度データｑ，ｐ間に変動がない場合（ｑ＝ｐの場合）、ｄ＝ｑ−ｐ−Δｔ＝−Δｔ＜０となって、ｑ−ｐ＜Δｔとなる。よって、輝度データｑ，ｐの変化量が変動量Δｔより小さいので正常範囲と判定する。
また輝度データｑ，ｐ間に変動がある場合（ｑ≠ｐの場合）、ｑ＜ｐとすると、ｑ−ｐ＜０であるからｄ＝ｑ−ｐ−Δｔ＜０となってｑ−ｐ＜Δｔとなる。よって、輝度データｑ，ｐの差が変動量Δｔより小さいので正常範囲と判定する。また、ｑ＞ｐとすると、ｄ＝ｑ−ｐ−Δｔ＜０の場合にはｑ−ｐ＜Δｔとなるため正常範囲と判定できるが、ｄ＝ｑ−ｐ−Δｔ＞０の場合にはｑ−ｐ＞Δｔとなるため、輝度データｑ，ｐの差が変動量Δｔより大きいので異常有りと判定する。
【００４４】
このようにして得られたある入力画像の検査画像ポイント▲１▼〜▲６▼を含む輝度データの解析値（破線部分）と、直前に得られた入力画像の輝度データの記憶値＋画像間変動量（実線部分）との関係を図１９に示す。図１９において、検査画像ポイント▲４▼においては、当該検査画像の解析値が直前の検査画像の記憶値＋画像間変動量の値を超えているため、異常が生じたものと判定できる。
【００４５】
次にステップＳ１９に進行して、検査画像を確認して異常原因を判定して、ニューロ回路１７の出力結果Ｏｊを決定する。次にステップＳ２０に進行して、検査画像から異常部分Ｎを取り出してニューロ回路１７の入力画像Ｉｉを取得する。そして、ステップＳ２１に進行して、ニューロ回路１７の入力画像Ｉｉ及び出力結果Ｏｊを登録する。
次にステップＳ２２に進行して、各出力結果Ｏｊに対する登録数を確認する。次にステップＳ２３において、いずれかの出力結果Ｏｊの登録数が出力設定数に達したか否かを判定し、出力設定数に達していなければステップＳ２４に進行して、一旦停止した装置を再スタートさせてステップＳ１０に戻って、次の画像Ｒを取り込んで検査を続行し、出力設定数に達していればステップＳ２５に進行して、学習作業を行う。
【００４６】
次に、学習済みのニューロ回路１７を用いて実際にリードフレームの検査を行う場合には、図１６に示すように、前述したステップＳ１３において、演算結果がｄ≧０であれば、ステップＳ１７´に進行してニューロ回路１７の出力結果よりリードフレーム３の状態を特定する。そして、ステップＳ１８´において、リードフレーム３の状態がばたつき或いは油塊付着と特定した場合には、異常判定せずにステップＳ１０に戻って、次の画像Ｒを取り込んで検査を続行し、その他の場合には異常判定してステップＳ１９´に進行して検査装置の動作を停止させ、ステップＳ２０´に進行してリードフーム３の異常を確認して回復処理した後、リードフレーム検査装置６を再スタートさせる。
【００４７】
尚、上記検査において、ステップＳ１３において、演算結果がｄ≧０の場合にのみニューロ回路１７の出力結果によりリードフレーム３の状態を判定したが、ｄ＜０の場合にもリードフーム３の正常状態（ばたつきや油塊付着など）を具体的に特定すべくニューロ回路１７を用いて検査を行っても良い。
【００４８】
また、検査画像領域内の各画素ごとの輝度データの変動量Δｔを求めることなく、直接検査画像を取得して、検査画像領域の輝度データどうしを比較してニューロ回路１７の出力結果よりリードフレーム３の状態を特定するようにしても良い。
図２０において、ステップＳ１〜Ｓ５において、初期パラメータの設定が完了し、検査開始スイッチが入力されて検査がスタートすると、ステップＳ´６に進行してＣＣＤカメラ６ｃより画像Ｐを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ´７に進行して、画像Ｐの輝度データのうち、ステップＳ２で入力した図９の▲１▼〜▲６▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像領域に相当する検査画像Ｐ１を読み出して位置補正する移動処理を行う。
【００４９】
次にステップＳ´８に進行して、ＣＣＤカメラ６ｃより次の画像Ｑを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ´９に進行して、画像Ｑの輝度データのうち、ステップＳ２で入力した位置決め情報に従って検査画像Ｐ１に対応する検査画像Ｑ１を読み出して位置補正する移動処理を行う。
【００５０】
次にステップＳ´１０に進行して、ＣＰＵ８ａは検査画像Ｑ１，Ｐ１と前処理画像Ｔとの輝度データ間でＱ１−Ｐ１の演算処理を行う。具体的には、対応する各画素間において輝度データの変化量ｄ＝ｑ−ｐの演算処理を行い結果を記憶部８ｂに記憶する。次にステップＳ´１１に進行して、検査画像Ｑ1 ，Ｐ１の全ての対応する画素間で演算結果がｄ＝０か否かを判定する。演算結果がｄ＝０であれば、検査画像Ｑ1 ，Ｐ１間で輝度データが正常範囲と判断してステップＳ´１２に進行して、記憶部８ｂに記憶した検査画像Ｐ１のデータを検査画像Ｑ１のデータに置き換える。
次にステップＳ´１３に進行してリードフレーム３からの入力画像があるか否かを判定し、検査画像がない場合には検査終了するものと判断してステップＳ´１４に進行して検査装置の動作を停止する。また、更に入力画像がある場合には、ステップＳ´８に戻って、ＣＣＤカメラ６ｃより画像Ｑの次の画像Ｒを画像処理ボード８ｅを介して輝度データとして取り込み記憶部８ｂに記憶する。次いでステップＳ´１１に進行して、画像Ｒの輝度データのうち、ステップＳ２で入力した図９の▲１▼〜▲６▼のうち所定の検査画像ポイントを含む位置決め情報に従って検査画像Ｑ１に対応する検査画像Ｒ１を記憶部８ｂ内で読み出す移動処理を行う。以後同様に検査画像Ｑ１，Ｒ１と前処理画像Ｔとの輝度データ間でＲ１−Ｑ１の演算処理を行うという検査動作を繰り返し行う。
【００５１】
また演算結果がｄ≠０であれば、ステップＳ´１５に進行してニューロ回路１７の出力結果によりリードフレーム３の状態を特定する。ステップＳ´１６において、リードフレーム３の状態がばたつき或いは油塊付着と特定した場合には、異常判定せずにステップＳ´８に戻って、次の画像Ｒを取り込んで検査を続行し、その他の場合には異常判定してステップＳ´１７に進行してリードフレーム検査装置６の動作を停止させ、ステップＳ´１８に進行してリードフーム３の異常を確認して回復処理した後、再度リードフレーム検査装置６を再スタートさせる。
【００５２】
上記構成によれば、制御手段８は、ＣＣＤカメラ６ｃより先に取り込んだ入力画像Ｐと次に取り込んだ入力画像Ｑの輝度データを各々解析して各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいてニューロ回路１７の出力結果によりリードフレーム３の状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などリードフレーム３の状態を具体的に特定できるので、これらのうち少なくともリードフレーム３の油塊の付着やばたつきなどはエラー出力しないようニューロ回路１７に学習させておくことでリードフレーム検査装置６を停止する回数も減らすことができ、検査作業を高精度で効率的に行える。
【００５３】
次に、制御手段８にニューロ回路１７を用いて異常状態を特定する他例について図２１〜図２４を参照して説明する。尚、リードフレーム検査装置６の構成は前述した実施例と同様であるので同一番号を付して説明を援用するものとし、制御手段８の制御内容を中心に説明する。
本実施例は、撮像手段より取り込んだＸ番目からＸ＋ｎ番目（Ｘ≧１，ｎ≧１；Ｘ，ｎは自然数）までの入力画像の輝度を解析し、得られたｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第１の比較値ｐとして記憶させ、Ｘ＋（ｎ＋１）番目の入力画像の解析値ｑと前記第１の比較値ｐとの変化量ｄ＝ｑ−ｐを各画素毎に演算し、次にＸ＋１番目からＸ＋（ｎ＋１）番目までのｎ画像分の輝度データの平均値を算出して該平均値に許容値を加えて第２の比較値ｒとして更新して記憶させ、Ｘ＋（ｎ＋２）番目の入力画像の解析値ｓと第２の比較値ｒとの輝度データの変化量ｄ＝ｓ−ｒを各画素毎に演算する作業を繰り返し行い、各演算結果がｄ≧０であればニューロ回路１７の出力結果によりリードフレーム３の状態を特定して検査続行可能か否かを判定しながら検査を行うものである。
実際には、リードフレーム３を搬送しながら画像を取り込む際に必要に応じて画像処理ボード８ｅによりマスク処理を施して輝度データを取り込み、取り込んだデータを区画単位で解析し、得られた解析値と記憶部８ｂに記憶させた比較値と比較して異常を検出するようにしている。ＣＰＵ８ａは入出力部８ｃを介してコントローラ１０により搬送ローラ６ａの駆動を制御して搬送動作を停止させたり、可動テーブル６ｄをリードフレーム３の区画ごとに走査させ、当該領域全体の画像を取り込むことも可能である。
【００５４】
また、リードフレーム３の区画は、明度レベルが同一と思料される領域に区分されており、照度コントローラ８ｄにより同一の照度となるように制御される。このリードフレーム３の区画とは、一例として図２１に示すように、単位ＩＣ（１ピース）を５分割した１／５ピースが相当する。この１／５ピース内では明度レベルがほぼ同一と観測される。なお、この領域は、リング状照明６ｂの直径やリードフレーム３との距離によってその広さは左右されるため、所定領域は１／２ピースの場合もあり、また１ピース全体の場合もある。
また、ＣＣＤカメラ６ｃの画像入力できる面積はその受光画素数により、また必要とする解像度によっても左右されるが、本例では一例として１ピースを一括して画像入力し、さらにこれを５区画に分割して画像処理を行うようにしている。
【００５５】
次に、リードフレーム検査装置６の制御動作について図２２〜図２４に示すフローチャートに沿って説明する。本実施例では、リードフレーム３の任意の検査位置においてＩＣ１ピースの表面状態を検出する動作について説明するものする。
【００５６】
先ず、リードフレーム全体の検査の流れについて概略説明すると、プレス装置５を経て連続的に加工され搬送されるリードフレーム３を検査装置６に進入させ、リードフレーム３のＩＣ１ピースに対し、多分割した位置へ若しくは多分割していない時は必要であれば一度ＣＣＤカメラ６ｃを移動させて画像を取り込む。上記取り込んだ画像を解析指示データに従い各区画毎に輝度を解析し、その輝度データ（解析値）と記憶部８ｂに記憶されている複数画像の平均値に許容値を加えたティーチングデータ（比較値）とを比較する。この作業は明部及び暗部両方において行っても良いが、高速化を図るためには明部のみ若しくは暗部のみの解析を行うのが望ましい。解析値と比較値の両者を比較した結果、比較値より解析値のほうが大きい場合には、エラーとして出力される。
【００５７】
次に具体的な検査方法について説明する。
先ず、ニューロ回路１７に登録情報を記憶させて学習させるプロセスについて図２２及び図２３のフローチャートを参照して説明する。
図２２において、ステップＳ３１において、マスク画像Ｅの入力を行う。このマスク画像の入力は、制御手段８の記憶部８ｂにティーチングにより▲１▼マスクの作成、▲２▼リードフレーム３のＩＣ１ピースの区画設定（Ｎ０．１〜Ｎ０．５）、▲３▼カメラ入力レベルの設定等が行われる。尚、上記▲１▼〜▲３▼の作業は本実施例では明部検出用のみについて行われるが、暗部検出用について行っても良い。また、上記ティーチングによるデータ入力は、リードフレームの品種，材質の相違などにより随時行われる。
【００５８】
以下、具体的に説明すると、▲１▼上記マスク画像Ｅの入力は、前述したように、リードフレーム３のダレ，バリ部分は他の面と光の反射が異なるため、この部分は検査しないようにマスクを作成する。或いは、特に検査させない部分（例えば刻印部）があればマスクする。
また、▲２▼ＩＣ１ピース内の区画設定は、図２１に示すように、例えばＩＣ１ピース全体を１入力画像とし、入力画像の明度レベルがほぼ同一と観測される区画に細分化（本実施例では５区画に区分）し、１区画を設定する。
また、▲３▼カメラ入力レベルの設定は、入力画像の輝度データのピークレベルを検出するために必要なカメラ入力の範囲設定を行う。
【００５９】
次に、ステップＳ３２に進行して搬送ローラ６ａを回転駆動させてリードフレーム３を連続搬送を開始する。また、同時にリードフレーム３を検査装置６より巻き取りリール２側に巻き取らせる。
次に、ステップＳ３３に進行して、フレーム搬送センサ１１はリードフレーム３の１ピース分のリード形成領域を検出すると許可フラグを立てる。上記許可フラグを立てると、ステップＳ３４に進行してＣＣＤカメラ６ｃより画像入力Ｆが行われる。
【００６０】
次に、ステップＳ３４に進行して、リードフレーム３のＩＣ１ピース全体の画像入力が一括して行われる。上記許可フラグが立てられる度に、同様にリードフレーム３の画像入力が行われる。これにより、リードフレーム３の全ピースの検査が可能となる。一括して入力した画像は画像処理の一単位となる複数の区画（一例として５区画等）に細分化される。
なお、画像入力の単位が１ピース全体ではなく、例えば複数ピース等の所定の長さの領域である場合には、フレーム搬送センサ１１により検出するリードフレーム３の移動量を当該所定の長さの範囲とすることによって、同様にリードフレーム３の全ピースの検査が可能となる。
【００６１】
次に、ステップＳ３５に進行してＣＰＵ８ａは記憶部８ｂにティーチングで記憶させたマスク画像Ｅに関するデータを読み出す。そしてステップＳ３６に進行して、マスク処理の有無を判断する。ここでマスク処理するのであれば、ステップＳ３７に進行し、画像処理ボード８ｅにより入力画像Ｆにマスク画像Ｅをマスクする。また、マスク処理しない場合には直接ステップＳ３８へ移行する。このとき、上記入力画像Ｆはリアルタイムで表示用モニター１６ｂに写し出され、その表面状態を視認することができる。
【００６２】
次にステップＳ３８において各区画領域毎に解析指示データに基づき輝度を解析して、ステップＳ３９に進行してＸ番目からＸ＋ｎ番目のｎ個分の画像データ（Ｘ≧１，ｎ≧１；Ｘ，ｎは自然数）について解析データを一時保存する。本実施例では、各区画につき第１番目から第１０番目の１０画像分のデータを解析して一時保存可能になっている。そして、ステップＳ４０に進行して全区画につき画像データの解析が終了したか否かを判断し、終了していなければステップＳ３８に戻って全区画の画像解析を行う。次にステップＳ４１に進行して全区画につきｎ画像分（本実施例では１０画像分）の解析データが存在するか否かを判断する。１０画像分の解析データがない場合には、ステップＳ３３に戻って更に画像を取り込みながら各区画毎に輝度データが１０画像分になるまで解析を続行する。そしてステップＳ４２に進行して、ＣＰＵ８ａは各区画毎に１０画像分の解析データの平均値を算出する。この平均値に許容値を加えた値を各々第１の比較値として記憶部８ｂに記憶する。上記許容値の設定は、各区画毎にフレームの面粗度、母材の圧延状態、加工油の付着状況などによりフレームの明るさが変化することから、各区画毎に行う。
【００６３】
次に、ステップＳ４３に進行してＸ＋（ｎ＋１）番目のリード形成領域の入力画像の輝度を解析指示データに従い解析する。本実施例では第１１番目のリード形成領域の画像を入力して各区画毎に輝度データの解析を行う。そして、ステップＳ４４に進行して上記第１１番目の解析値ｑと記憶部８ｂに記憶されている第１の比較値（＝平均値＋許容値）ｐとを各区画毎に比較する。即ち解析値ｑと第１の比較値ｐとの差ｄ＝ｑ−ｐを算出する。このとき、各区画毎に解析指示データを変えながら解析することができる。例えば光源の照度が変化して取り込む画像の明るさが変動しても、取り込むべき対象物（リードフレーム）の形状が同じになるようにピータイル値（面積）を調整する。また、例えば区画内にリード部等の島（オブジェクション）が存在する場合、２値化したときの島（オブジェクション）の数と重心位置をピータイル値（面積）を変更してＩＣ１ピースの区画形状に応じた画像を取り込む。また、各区画の許容値を明度レベルの変化に合わせて調整する場合もある。
【００６４】
次に、ステップＳ４５において演算結果がｄ＜０であるか否かを判定し、演算結果がｄ＜０であれば、検査画像間で輝度データが正常範囲と判断してステップＳ４６に進行し、ｄ≧０であれば図２３に示すステップＳ４９に進行する。ステップＳ４６において、全区画の処理が終了したか否かを判定し、終了していなければステップＳ４３に戻って残りの区画の輝度データを解析して記憶値との比較演算を続行する。また、全区画の演算が終了していれば、ステップＳ４７に進行してリードフレーム３の検査が終了したか否かを判定し、検査すべきリードフレーム３がない場合には装置を停止して検査を終了する。また検査すべきリードフレーム３がある場合には、ステップＳ４８に進行して、ｎ＝ｎ＋１に置き換えてステップＳ４２に戻ってｎ＋１番目の入力画像を含む輝度データの各区画毎の平均値を新たに算出して記憶値ｐを更新する。これは、解析データの平均値が緩やかに変化するため、前後のデータを入れ換えて比較値を更新するだけで十分精度の良い検査が行えるからである。
そして、ステップＳ４３以降に進行してｎ＋２番目の入力画像の輝度データを区画毎に解析して検査動作を続行する。
【００６５】
また、演算結果がｄ≧０であれば、図２３においてステップＳ４９に進行してＣＰＵ８ａは異常と判定して、ステップＳ５０に進行して検査装置の動作を停止させる。次にステップＳ５１に進行して、検査画像を確認して異常原因を判定して、ニューロ回路１７の出力結果Ｏｊを決定する。次にステップＳ５２に進行して、検査画像から異常部分Ｎ（図１２参照）を取り出してニューロ回路１７の入力画像Ｉｉを取得する。そして、ステップＳ５３に進行して、ニューロ回路１７の入力画像Ｉｉ及び出力結果Ｏｊを登録する。
次にステップＳ５４に進行して、各出力結果Ｏｊに対する登録数を確認する。このとき、出力結果Ｏ1〜Ｏ5のいずれかの出力がＯＮ状態の９０％を超えた場合に出力結果をＯＮとして判定するように判定用パラメータが設定されている。次にステップＳ５５において、いずれかの出力結果Ｏｊの登録数が出力設定数に達したか否かを判定し、出力設定数に達していなければステップＳ５６に進行して、一旦停止した装置を再スタートさせてステップＳ４６に戻って、他の全区画において検査を続行し、出力設定数に達していればステップＳ５７に進行して、出力結果を登録する。この登録済み入力・出力パターンを用い、バックプロバゲーション法を用いて学習を行う。
【００６６】
次に、学習済みのニューロ回路１７を用いて実際にリードフレームの検査を行う場合には、図２４に示すように、前述したステップＳ４５において、演算結果がｄ＜０であれば、検査画像間で輝度データが正常範囲と判断してステップＳ４６´に進行し、ｄ≧０であればステップＳ５１´に進行する。
ステップＳ４６´においては、全区画（５区画）の輝度データの解析が終了したか否かを判定し、終了していなければステップＳ４３に戻って残りの区画の輝度データを解析して記憶値との比較演算を続行する。ステップＳ５１´においては、ニューロ回路１７の出力結果よりリードフレーム３の状態を特定する。ステップＳ５２´において、リードフレームのばたつき或いは油塊付着と特定した場合には、異常判定せずにステップＳ４６´に戻って、その他の場合には異常判定してステップＳ５３´に進行してエラー登録をした後でステップＳ４６´に戻る。
【００６７】
次に、ステップＳ４７´に進行してエラー登録が有るか否かを判定し、エラー登録が有る場合にはステップＳ４９´に進行してリードフレーム検査装置６の動作を停止させてリードフーム３の異常を確認して回復処理を行う。
また、エラー登録がない場合には、ステップＳ４８´に進行して次のリードフレーム３の検査ピースが有るか否かを判断し、検査ピースがない場合にはリードフレーム３の巻き取りを行い、検査を終了する。また、検査ピースが有る場合には、ステップＳ５０´に進行して、ｎ＝ｎ＋１に置き換えて再びステップＳ４２に戻ってｎ＋１番目の入力画像を含む輝度データの各区画毎の平均値を新たに算出して記憶値ｐを更新する。そして、ステップＳ４３以降に進行してｎ＋２番目の入力画像の輝度データを区画毎に解析して同様の検査動作を続行する。
【００６８】
尚、上記検査動作においても、ステップＳ４５において、演算結果がｄ≧０の場合にのみニューロ回路１７の出力結果よりリードフレーム３の状態を判定したが、ｄ＜０の場合にもリードフレーム３の正常状態（ばたつきや油塊付着など）を具体的に特定すべくニューロ回路１７を用いて検査を行っても良い。
また、本実施例では、例えば第１番目の入力画像（１ピース分）から第１０番目の入力画像を取り込んで第１の比較値を算出して第１１番目の入力画像解析に使用していたが、各比較値の算出には１０画像分の解析データに限らず任意のデータ数より算出することが可能である。また、本実施例では第１番目から第１０番目までの入力画像については、リードフレーム検査装置６を用いて比較値との比較が行えないが、リードフレーム３の打痕等は作業者が目視により確認できる範囲であるので、検査上支障となることはない。
【００６９】
以上、本発明の好適な実施例について種々述べてきたが、本発明はこの実施例に限定されるものではなく、ニューロ回路１７による検査は、制御手段８の性能が向上すれば、リードフレーム３が異常状態のみならず、正常状態においてもすべて状態を具体的に特定しながら検査を行っても良い。またリードフレーム検査装置６の設置箇所はリードフレーム３のプレス後に限らず、洗浄後またはその他の処理後に設置しても良い等、発明の精神を逸脱しない範囲内でさらに多くの改変を施し得るのはもちろんのことである。
【００７０】
【発明の効果】
本発明は前述したように、撮像手段より先に取り込んだ入力画像と次に取り込んだ入力画像どうしの輝度データを各画素毎に比較演算し、演算結果に応じて予め学習させた登録情報に基づいてニューロ回路の出力結果によりリードフレームの状態を具体的に特定して検査続行可能か否かを判定しながら検査を行うことができる。例えば油塊の付着、フレームのばたつき、傷、打痕、表面変質、異物付着、加工欠損などのリードフレームの状態を具体的に特定できるので、これらのうち少なくともリードフレームの油塊の付着やばたつきなどはエラー出力しないようニューロ回路に学習させておくことでリードフレーム検査装置を停止する回数も減らすことができ、検査作業を高精度で効率的に行うことができる。
【図面の簡単な説明】
【図１】リードフレーム検査装置を含むリードフレーム製造装置の全体構成を示す説明図である。
【図２】リードフレーム検査装置の構成を示すブロック説明図である。
【図３】リードフレーム検査装置の断面説明図である。
【図４】リング状照明の構成を示す説明図である。
【図５】リング状照明による画像入力状態を示す説明図である。
【図６】リング状照明による画像入力状態を示す説明図である。
【図７】入力データのピークカット検出を示す説明図である。
【図８】リードフレームの輪郭にマスクを施した状態を示す比較説明図である。
【図９】リードフレームの検査画像領域を示す説明図である。
【図１０】ニューロ回路の説明図である。
【図１１】ニューロ回路による解析可能な画像例を示す説明図である。
【図１２】ニューロ回路に学習させる登録情報を示す説明図である。
【図１３】ニューラルネットワークの構成例を示す説明図である。
【図１４】リードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図１５】リードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図１６】リードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャートである。
【図１７】前処理で取得した入力画像の輝度データの変動量を示すグラフ図である。
【図１８】検査画像領域の前後の入力画像の輝度データの差分を示すグラフ図である。
【図１９】本実施例の検査結果を示すグラフ図である。
【図２０】他例に係るリードフレーム検査装置のニューロ回路を用いた検査動作の流れを示すフローチャートである。
【図２１】他例に係るニューロ回路による解析可能な画像例を示す説明図である。
【図２２】他例に係るリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図２３】他例に係るリードフレーム検査装置のニューロ回路に学習させるための検査動作の流れを示すフローチャートである。
【図２４】他例に係るリードフレーム検査装置のニューロ回路を用いた検査動作の流れの一部を示すフローチャートである。
【符号の説明】
１  繰り出し用リール
２  巻き取り用リール
３  リードフレーム
４  レベラー
５  プレス装置
６  リードフレーム検査装置
６ａ  搬送ローラ
６ｂ  リング状照明
６ｃ  ＣＣＤカメラ
６ｄ  可動テーブル
６ｅ  検査側停止センサ
６ｆ，６ｇ  速度制御センサ
６ｈ  プレス側停止センサ
６ｊ  ノブ
６ｐ  リング
６ｑ  光ファイバー
６ｒ  支持部材
６ｓ  半透明フィルム
６ｔ  マスク
７  層間紙
８  制御手段
８ａ  ＣＰＵ
８ｂ  記憶部
８ｃ  入出力部
８ｄ  照度コントローラ
８ｅ  画像処理ボード
９  光源装置
１０  コントローラ
１１  フレーム搬送センサ
１２  リードフレームばたつき防止機構
１３  搬送ガイド
１４  補助ローラ
１５  制御パネル
１６ａ  制御用モニター
１６ｂ  表示用モニター
１７  ニューロ回路
１８  シナプス
Ｇ  光軸
【図１】
0004146971.tif 000004
【図２】
0004146971.tif 000005
【図３】
0004146971.tif 000006
【図４】
0004146971.tif 000007
【図５】
0004146971.tif 000008
【図６】
0004146971.tif 000009
【図７】
0004146971.tif 000010
【図８】
0004146971.tif 000011
【図９】
0004146971.tif 000012
【図１０】
0004146971.tif 000013
【図１１】
0004146971.tif 000014
【図１２】
0004146971.tif 000015
【図１３】
0004146971.tif 000016
【図１４】
0004146971.tif 000017
【図１５】
0004146971.tif 000018
【図１６】
0004146971.tif 000019
【図１７】
0004146971.tif 000020
【図１８】
0004146971.tif 000021
【図１９】
0004146971.tif 000022
【図２０】
0004146971.tif 000023
【図２１】
0004146971.tif 000024
【図２２】
0004146971.tif 000025
【図２３】
0004146971.tif 000026
【図２４】
0004146971.tif 000027