(57)【要約】  部品装着機（１１）の装着ヘッド（１３）に保持した電子部品（１２）を部品撮像用のカメラ（１８）の上方の撮像位置へ移動させて、該電子部品のリード（２２）の先端をその下方から該カメラで撮像してリード画像を取得し、このリード画像を、ニューラルネットワーク等で構成された画像認識装置（２５）に入力して画像処理して当該リードの先端の中心位置を出力する。この際、画像処理エラーが発生する度に、画像処理エラーが発生したリード画像を表示装置（２６）に表示し、作業者が、この表示装置に表示されたリード画像中のリードの先端の中心位置を指定して画像認識装置に入力する。これにより、画像認識装置は、画像処理エラーが発生したリード画像を入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習する。
2017081736.tif 000002
【特許請求の範囲】
【請求項１】
回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法において、
作業者が前記リード画像中のリードの先端の中心位置を指定して、当該リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した当該リードの先端の中心位置となるように学習する学習工程と、
前記電子部品のリードの先端を前記カメラで撮像して取得したリード画像を前記画像認識装置に入力して当該リードの先端の中心位置を出力する認識工程と
を含むことを特徴とするリード先端位置画像認識方法。
【請求項２】
前記画像認識装置は、ニューラルネットワークを用いて構成されていることを特徴とする請求項１に記載のリード先端位置画像認識方法。
【請求項３】
前記認識工程で、前記リードの先端の中心位置を認識できない画像処理エラーが発生したときに前記学習工程に切り換えて、前記画像処理エラーが発生した前記リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１又は２に記載のリード先端位置画像認識方法。
【請求項４】
前記学習工程で、前記リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１乃至３のいずれかに記載のリード先端位置画像認識方法。
【請求項５】
前記カメラは、部品装着機の装着ヘッドに保持した電子部品をその下面側から撮像する部品撮像用のカメラであり、
前記画像認識装置の認識結果に基づいて前記装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、前記学習工程に切り換えて、前記位置決めエラーが発生した前記リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項１乃至４のいずれかに記載のリード先端位置画像認識方法。
【請求項６】
回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識システムにおいて、
前記画像認識装置は、前記リード画像を入力して前記リードの先端の中心位置を出力するように構成され、
前記画像認識装置に入力する前記リード画像と出力する前記リードの先端の中心位置との関係を学習してその学習結果を前記画像認識装置に送信する学習装置と、
作業者が前記リード画像中のリードの先端の中心位置を指定する指定手段とを備え、
前記学習装置は、前記作業者が前記指定手段で指定した前記リード画像中のリードの先端の中心位置が当該リード画像を前記画像認識装置に入力したときの出力となるように学習することを特徴とするリード先端位置画像認識システム。
【請求項７】
回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識システムにおいて、
前記画像認識装置は、前記リード画像を入力して前記リードの先端の中心位置を出力する認識モードと、入力する前記リード画像と出力する前記リードの先端の中心位置との関係を学習する学習モードとを切り換え可能であり、
前記学習モード時に作業者が前記リード画像中のリードの先端の中心位置を指定する指定手段を備え、
前記画像認識装置は、前記学習モード時に前記作業者が前記指定手段で指定した前記リード画像中のリードの先端の中心位置が当該リード画像を入力したときの出力となるように学習することを特徴とするリード先端位置画像認識システム。
【請求項８】
前記画像認識装置は、ニューラルネットワークを用いて構成されていることを特徴とする請求項７に記載のリード先端位置画像認識システム。
【請求項９】
前記画像認識装置は、前記認識モード時に前記リード画像中のリードの先端の中心位置を認識できない画像処理エラーが発生したときに前記学習モードに切り換えて、前記画像処理エラーが発生した前記リード画像を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７又は８に記載のリード先端位置画像認識システム。
【請求項１０】
前記画像認識装置は、前記学習モード時に前記リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７乃至９のいずれかに記載のリード先端位置画像認識システム。
【請求項１１】
部品装着機に搭載されたリード先端位置画像認識システムであって、
前記カメラは、前記部品装着機の装着ヘッドに保持した電子部品をその下面側から撮像する部品撮像用のカメラであり、
前記画像認識装置の認識結果に基づいて前記装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、前記画像認識装置は、前記学習モードに切り換えて、前記位置決めエラーが発生した前記リード画像を入力したときの出力が、前記作業者が指定した前記リードの先端の中心位置となるように学習することを特徴とする請求項７乃至１０のいずれかに記載のリード先端位置画像認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像を処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法及びリード先端位置画像認識システムに関する発明である。
【背景技術】
【０００２】
部品装着機（部品挿入組立装置）を使用して電子部品のリードを回路基板のスルーホールに挿入する場合、例えば、特許文献１（国際公開ＷＯ２０１３／１８３１２３号公報）に記載されているように、部品装着機の装着ヘッドのチャック装置や吸着ノズル等で電子部品を保持して回路基板の上方へ移動させ、該電子部品のリードの先端（下端）を回路基板のスルーホールの真上に位置決めして該電子部品を下降させることで、該電子部品のリードを回路基板のスルーホールに挿入するようにしている。この際、装着ヘッドに保持した電子部品の位置は、電子部品毎にばらばらに位置ずれしているため、装着ヘッドに保持した電子部品を回路基板の上方へ移動させる前に、部品撮像用のカメラの上方の撮像位置へ移動させて、該電子部品のリードの先端をその下方から該カメラで撮像し、その画像を一般的なパターンマッチングを用いて画像処理することで、該リードの先端の中心位置を認識した後、その認識結果に基づいて該電子部品の位置ずれを修正して該電子部品のリードを回路基板のスルーホールの真上に位置決めするようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２０１３／１８３１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、電子部品のリードの先端の形状が安定して円形状に成形されていれば、画像処理の難易度はさほど高くないが、近年の電子部品はその用途により、軸状のリード（挿入ピン）が作成されるが、その先端はカットされた切断面となるため、正常な部品であっても、リードの先端形状が安定せず、同じ品種の電子部品であっても、図４（ａ）、（ｂ）に示すように、リードの先端にバリが付いて写ったり、図４（ｃ）、（ｄ）に示すように、リードの先端が散乱光でぼやけて写ったり（ハレーション）、図４（ｅ）に示すように、リードの先端が楕円状等に変形して写ったり、図４（ｆ）に示すように、リードの先端が部分的に欠けて写ったり、図４（ｇ）、（ｈ）に示すように、中抜けして写ったりすることがある。このように、同じ品種の電子部品であっても、リードの先端の切断面の状態によって、リードの先端の形状が様々な形状に写るため、これらのリード画像を従来の一般的なパターンマッチングを用いて画像処理しても、リードの先端を精度良く認識することは困難であり、リードの先端の中心位置の認識精度が悪いという欠点があった。【０００５】
そこで、本発明が解決しようとする課題は、リードの先端の形状が安定していなくても、それをカメラで撮像したリード画像からリードの先端の中心位置を精度良く認識できるようにすることである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、回路基板のスルーホールに挿入する電子部品のリードの先端をカメラで撮像した画像（以下「リード画像」という）を画像認識装置で処理して該リードの先端の中心位置を認識するリード先端位置画像認識方法において、作業者が前記リード画像中のリードの先端の中心位置を指定して、当該リード画像を前記画像認識装置に入力したときの出力が、前記作業者が指定した当該リードの先端の中心位置となるように学習する学習工程と、前記電子部品のリードの先端を前記カメラで撮像して取得したリード画像を前記画像認識装置に入力して当該リードの先端の中心位置を出力する認識工程とを含むことを特徴とするものである。このようにすれば、リードの先端の形状が安定していなくても、学習工程によって、入力であるリード画像中のリードの先端の形状と出力であるリードの先端の中心位置との関係（教師データ）を学習して、入力されるリード画像からリードの先端の中心位置を精度良く認識できるようになる。【０００７】
この場合、画像認識装置は、例えば、ニューラルネットワーク等の機械学習システムを用いて構成すれば良い。【０００８】
また、前記認識工程で、リード画像中のリードの先端の中心位置を認識できない画像処理エラーが発生したときに学習工程に切り換えて、前記画像処理エラーが発生したリード画像を画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにすると良い。このように、画像処理エラーが発生したリード画像を用いて学習すれば、その後、同様のリード画像が画像認識装置に入力されても、画像処理エラーとならず、リードの先端の中心位置を精度良く認識できるため、画像処理エラーの発生頻度を低減しながらリードの先端の中心位置の認識精度を高めることができる。【０００９】
また、前記学習工程で、リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしても良い。このようにすれば、学習に用いるリード画像が少なくても、教師データ（「入力」と「正しい出力」との組み合わせ）を増やすことができて、効率良く学習することができ、リードの先端の中心位置の認識精度を高めることができる。【００１０】
また、部品装着機の装着ヘッドに保持した電子部品をその下面側から部品撮像用のカメラで撮像してリードの先端の中心位置を画像認識する場合は、画像認識装置の認識結果に基づいて装着ヘッドに保持した電子部品のリードを回路基板のスルーホールに位置決めして挿入する挿入工程で、前記電子部品のリードを前記回路基板のスルーホールに挿入できない位置決めエラーが発生したときに、学習工程に切り換えて、前記位置決めエラーが発生したリード画像を前記画像認識装置に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしても良い。このように、位置決めエラーが発生したリード画像を用いて学習すれば、その後、同様のリード画像が画像認識装置に入力されたときのリードの先端の中心位置の認識精度を高めることができて、位置決めエラーの発生頻度を低減することができる。【００１１】
一般的には、教師データの学習には高い演算能力が必要になるため、画像認識装置で教師データの学習を行うには、画像認識装置の演算能力が不足する可能性がある。【００１２】
そこで、画像認識装置に入力するリード画像と出力するリードの先端の中心位置との関係（教師データ）を学習する学習装置を、画像認識装置とは別に設け、学習装置で学習した結果を画像認識装置に送信するようにしても良い。このようにすれば、画像認識装置で教師データの学習を行わずに済むため、画像認識装置の演算能力を教師データの学習に対応した演算能力まで高める必要がなくなると共に、教師データの学習とリードの先端の中心位置の認識とを学習装置と画像認識装置で分担して能率良く行うことができる。【００１３】
本発明は、画像認識装置の演算能力が高ければ、画像認識装置で、教師データの学習とリードの先端の中心位置の認識とを両方とも行うようにしても良い。この場合は、画像認識装置を、リード画像を入力してリードの先端の中心位置を出力する認識モードと、教師データを学習する学習モードとを切り換え可能に構成すると共に、学習モード時に作業者がリード画像中のリードの先端の中心位置を指定する指定手段を備え、前記画像認識装置は、学習モード時に作業者が前記指定手段で指定したリード画像中のリードの先端の中心位置が当該リード画像を入力したときの出力となるように学習するようにすれば良い。
【図面の簡単な説明】
【００１４】
【図１】図１は本発明の実施例１のリード先端位置画像認識システムの構成を示すブロック図である。
【図２】図２は電子部品のリードの先端をカメラで撮像する工程を説明する図である。
【図３】図３は電子部品のリードを回路基板のスルーホールに挿入する工程を説明する図である。
【図４】図４（ａ）〜（ｈ）はリードの先端の形状が様々な形状に写ったリード画像を示す図である。
【図５】図５はニューラルネットワークの構成例を説明する図である。
【図６】図６は教師データとしてポジティブサンプルのデータを用いた場合のニューラルネットワークの入力層と出力層の画素データのイメージを示す図である。
【図７】図７は教師データとしてネガティブサンプルのデータを用いた場合のニューラルネットワークの入力層と出力層の画素データのイメージを示す図である。
【図８】図８はラスタースキャンにより撮像画像中のリードが存在する領域を検出する方法を説明する図である。
【図９】図９はブロブ解析により撮像画像中のリードが存在する領域を検出する方法を説明する図である。
【図１０】図１０は部品装着機制御プログラムの処理の流れを示すフローチャートである。
【図１１】図１１は学習処理プログラムの処理の流れを示すフローチャートである。
【図１２】図１２は本発明の実施例２のリード先端位置画像認識システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施するための形態を具体化した２つの実施例１，２を説明する。
【実施例１】
【００１６】
本発明の実施例１を図１乃至図１１に基づいて説明する。
まず、図１乃至図３を用いて部品装着機全体の構成を説明する。【００１７】
部品装着機１１には、電子部品１２を保持する装着ヘッド１３を移動させるヘッド移動装置１４、電子部品１２を供給する部品供給装置１５、回路基板１６を搬送するコンベア１７、装着ヘッド１３に保持した電子部品１２をその下面側から撮像する部品撮像用のカメラ１８、回路基板１６の基準マーク等を上方から撮像するマーク撮像用のカメラ１９等が設けられている。部品撮像用のカメラ１８は、部品供給装置１５とコンベア１７との間に上向きに固定され、その上部には、装着ヘッド１３に保持した電子部品１２をその下方から照明する照明装置２０が取り付けられている。一方、マーク撮像用のカメラ１９は、装着ヘッド１３に下向きに取り付けられ、ヘッド移動装置１４によって装着ヘッド１３と一体的に移動するようになっている。【００１８】
部品装着機１１の制御装置２１は、コンピュータ等によって構成され、部品供給装置１５によって供給される電子部品１２を装着ヘッド１３で保持して、ヘッド移動装置１４によって回路基板１６の上方へ移動させて該電子部品１２のリード２２を該回路基板１６のスルーホール２３に挿入する動作を制御する。【００１９】
更に、部品装着機１１の制御装置２１は、画像認識装置２５としての機能も搭載され、装着ヘッド１３に保持した電子部品１２を回路基板１６の上方へ移動させる前に、部品撮像用のカメラ１８の上方の撮像位置へ移動させて、該電子部品１２のリード２２の先端（下端）をその下方から該カメラ１８で撮像してリード画像を取得し、このリード画像を画像認識装置２５に入力して当該リード２２の先端の中心位置を出力するように構成されている。尚、制御装置２１と画像認識装置２５は、別々のコンピュータで構成しても良いし、１つのコンピュータで構成しても良い。【００２０】
この画像認識装置２５は、ニューラルネットワーク、ディープラーニング等の機械学習システムを用いて構成され、学習モード（学習工程）で、教師あり学習（教師付き学習）を用いて、入力であるリード画像中のリード２２の先端の形状と出力であるリード２２の先端の中心位置との関係（教師データ）を学習し、その後、認識モード（認識工程）で、入力されるリード画像からリード２２の先端の中心位置を精度良く認識できるように構成されている。【００２１】
この場合、教師データの学習は、生産開始前に行うようにしても良いが、本実施例１では、画像処理エラーや位置決めエラーが発生する度に、教師データの学習を行うようにしている。ここで、「画像処理エラー」は、認識工程でリード画像中のリード２２の先端の中心位置を認識するのに失敗したことを意味するエラーであり、「位置決めエラー」は、装着ヘッド１３に保持した電子部品１２のリード２２を回路基板１６のスルーホール２３に位置決めして挿入する挿入工程で、電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するのに失敗したことを意味するエラーである。【００２２】
教師データの学習法は、画像処理エラーや位置決めエラーが発生したリード画像を液晶ディスプレイやＣＲＴ等の表示装置２６に表示し、作業者が、この表示装置２６に表示されたリード画像を見ながら、キーボード、マウス、タッチパネル等の操作部２７（指定手段）を操作してリード画像中のリード２２の先端の中心位置を指定して画像認識装置２５に入力する。これにより、画像認識装置２５は、画像処理エラーや位置決めエラーが発生したリード画像を入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習する。【００２３】
この際、リード画像に回転、写像、輝度変化、形状変化のうちの少なくとも１つの処理を施して複数のリード画像を生成し、前記複数のリード画像の各々を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習するようにしても良い。このようにすれば、学習に用いるリード画像が少なくても、教師データ（「入力」と「正しい出力」との組み合わせ）を増やすことができて、効率良く学習することができ、リード２２の先端の中心位置の認識精度を高めることができる。【００２４】
例えば、リード２２の先端にバリが発生する方向は多様であるため、バリのあるリード画像を所定角度ずつ回転させて、回転角度が所定角度ずつ異なる複数のリード画像を作成して学習するようにすれば、バリがどの様な方向に発生しても、リード画像からリード２２の先端の中心位置を精度良く認識することができる。【００２５】
画像認識装置２５を図５に示すニューラルネットワークを用いて構成する場合、信号は、入力層、中間層（隠れ層）、出力層へと流れる。中間層は、１層でも良いし、２層以上であっても良い。ニューラルネットワークは、シナプスの結合によりネットワークを形成した各層のニューロン（ノード）が学習によって重み付け（シナプスの結合強度）を変化させて問題解決能力を持つようなモデル全般を指す。ニューラルネットワークは、中間層と出力層の各ニューロンが前の層の各ニューロンからの刺激を受け取り、その刺激が重みを付けて足し合わされ、次の層のニューロンに受け渡されていく。ここで、重要なのは重み付けであり、教師データの学習過程で重み付けを変化させて、最適な値を出力するように調整することによって、「未知の入力」に対しても高い精度で「正しい出力」を得ることができるようになる。【００２６】
本実施例１では、入力層には、例えば、８０[pixel] ×８０[pixel] のリード画像を入力し、出力層では、入力されたリード画像の８０[pixel] ×８０[pixel] の何処がリード２２の先端の中心位置であるかを出力する。図６は、図示し易いように、１０[pixel] ×１０[pixel] の入力と出力の一例を示している。【００２７】
リード２２の先端の中心位置の認識精度を高めるには、出力層を入力層よりも大きくすれば良い。例えば、入力層が８０[pixel] ×８０[pixel] であれば、出力層を１６０[pixel] ×１６０[pixel] や、３２０[pixel] ×３２０[pixel] のように設計すれば良い。これにより、入力画像に対してサブピクセルレベルでの位置認識が可能となる。【００２８】
教師データとしては、図６に示すようなポジティブサンプルであるリード画像の入出力だけでなく、図７に示すようなネガティブサンプルであるリード２２以外の部分の入出力を追加して、リード２２の誤検出を防止するようにしても良い。【００２９】
教師データの学習は、電子部品１２の品種毎に学習・記憶しても良いし、複数の品種を共用して学習・記憶しても良い。【００３０】
リード２２の位置決め処理では、撮像画像に対してニューラルネットワークの入力層に相当する処理範囲を、図８に示すように、ラスタースキャン等で順番に探索していくことで、撮像画像中のリード２２が存在する領域を検出してニューラルネットワークの入力層に与えるようにしても良い。【００３１】
或は、ラスタースキャンに代えて、ブロブ解析等を用いても良い。例えば、撮像画像を２値化処理して、ブロブ解析等を行うことで、図９に示すように、撮像画像中のリード２２が存在する可能性がある候補領域を検出してニューラルネットワークの入力層に与えるようにしても良い。ブロブ解析等ではリード２２以外の部分を検出する、もしくはリード２２を検出しても位置検出精度が低いが、後処理のニューラルネットワークによってリード２２のみを高い位置検出精度で検出することができる。【００３２】
部品装着機１１の制御装置２１が画像認識装置２５と共同して図１０及び図１１の各プログラムを実行することで、部品供給装置１５によって供給される電子部品１２を部品装着機１１の装着ヘッド１３で保持して、該電子部品１２のリード２２の先端の中心位置を画像認識して、該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入する動作を制御すると共に、画像処理エラーや位置決めエラーが発生する度に教師データの学習を行う。以下、図１０及び図１１の各プログラムの処理内容を説明する。【００３３】
［部品装着機制御プログラム］
図１０の部品装着機制御プログラムは、部品供給装置１５によって供給される電子部品１２を保持して該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するまでの動作を制御するプログラムであり、該電子部品１２の保持動作を開始するタイミングで起動される。本プログラムが起動されると、まず、ステップ１０１で、部品供給装置１５によって供給される電子部品１２を部品装着機１１の装着ヘッド１３で保持して、部品撮像用のカメラ１８の上方の撮像位置へ移動させる。この後、ステップ１０２に進み、該電子部品１２のリード２２の先端（下端）をその下方から該カメラ１８で撮像してリード画像を取得する。【００３４】
この後、ステップ１０３に進み、リード画像を画像認識装置２５に入力して当該リード２２の先端の中心位置を出力する画像処理を実行する。その後、ステップ１０４に進み、画像処理エラーが発生したか否か（リード画像中のリード２２の先端の中心位置を認識するのに失敗したか否か）を判定する。その結果、画像処理エラーが発生したと判定されれば、ステップ１０７に進み、図１１の学習処理プログラムを実行する。【００３５】
一方、上記ステップ１０４で、画像処理エラーが発生していないと判定されれば、ステップ１０５に進み、部品装着機１１の装着ヘッド１３に保持した電子部品１２を回路基板１６の上方へ移動させて、画像認識装置２５から出力されるリード２２の先端の中心位置に基づいて、該電子部品１２の位置ずれを修正して該電子部品１２のリード２２を回路基板１６のスルーホール２３の真上に位置決めした後、該装着ヘッド１３を下降させて該電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入する。【００３６】
この後、ステップ１０６に進み、位置決めエラーが発生したか否か（電子部品１２のリード２２を回路基板１６のスルーホール２３に挿入するのに失敗した否か）を判定し、位置決めエラーが発生していなければ、本プログラムを終了するが、位置決めエラーが発生していれば、ステップ１０７に進み、図１１の学習処理プログラムを実行する。【００３７】
［学習処理プログラム］
図１１の学習処理プログラムは、画像処理エラーや位置決めエラーが発生したときに前記図１０のステップ１０７で実行されるプログラムである。本プログラムが起動されると、まず、ステップ２０１で、画像処理エラーや位置決めエラーが発生したリード画像を液晶表示装置２６に表示し、次のステップ２０２で、作業者が、この表示装置２６に表示されたリード画像を見ながら、操作部２７を操作してリード画像中のリード２２の先端の中心位置を指定するまで待機する。【００３８】
その後、作業者がリード画像中のリード２２の先端の中心位置を指定した時点で、ステップ２０３に進み、画像処理エラーや位置決めエラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習する。この学習処理は、画像認識装置２５自身で行っても良いし、部品装着機１１の制御装置２１で行っても良い。後者の場合は、部品装着機１１の制御装置２１で学習した結果（重み付け）を画像認識装置２５に送信する。【００３９】
以上説明した本実施例１によれば、電子部品１２のリード２２の先端の形状が安定していなくても、画像認識装置２５の入力であるリード画像中のリード２２の先端の形状と出力であるリード２２の先端の中心位置との関係（教師データ）を学習して、入力するリード画像からリード２２の先端の中心位置を精度良く認識できる。【００４０】
しかも、本実施例１では、リード画像中のリード２２の先端の中心位置を認識できない画像処理エラーが発生したときに、画像処理エラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリードの先端の中心位置となるように学習するようにしたので、その後、同様のリード画像が画像認識装置２５に入力されても、画像処理エラーとならず、リード２２の先端の中心位置を精度良く認識できる。これにより、画像処理エラーの発生頻度を低減しながらリード２２の先端の中心位置の認識精度を高めることができる。【００４１】
更に、本実施例１では、リード２２を回路基板１６のスルーホール２３に挿入できない位置決めエラーが発生したときに、位置決めエラーが発生したリード画像を画像認識装置２５に入力したときの出力が、作業者が指定したリード２２の先端の中心位置となるように学習するようにしたので、その後、同様のリード画像が画像認識装置２５に入力されたときのリード２２の先端の中心位置の認識精度を高めることができて、位置決めエラーの発生頻度を低減することができる。
【実施例２】
【００４２】
上記実施例１では、部品装着機１１の制御装置２１や画像認識装置２５の演算能力に余裕があるため、部品装着機１１の制御装置２１や画像認識装置２５で、教師データの学習とリード２２の先端の中心位置の認識とを両方とも行うようにしたが、一般的には、教師データの学習には高い演算能力が必要になるため、部品装着機１１の制御装置２１や画像認識装置２５で教師データの学習を行うには、演算能力が不足する可能性がある。【００４３】
そこで、本発明の実施例２では、図１２に示すように、部品装着機１１以外に、高い演算能力を持つ学習装置３１を設けて、この学習装置３１を部品装着機１１とネットワークで接続し、この学習装置３１で、部品装着機１１の画像認識装置２６に入力するリード画像と出力するリード２２の先端の中心位置との関係（教師データ）を学習し、その学習結果（重み付け）を部品装着機１１の画像認識装置２５に送信するようにしている。【００４４】
この場合、学習装置３１は、部品装着機１１を含む生産ラインを管理する生産管理用コンピュータを用いて構成しても良いし、学習のためのコンピュータを新たに設けても良い。また、学習装置３１は、複数の部品装着機１１とネットワークで接続して、複数の部品装着機１１における教師データの学習を１台の学習装置３１で行うようにしても良い。【００４５】
また、教師データ（リード画像と作業者が指定したリード２２の先端の中心位置）は、部品装着機１１側で作成して学習装置３１へ送信するようにしても良いし、リード画像のみを学習装置３１へ送信して、学習装置３１の表示画面にリード画像を表示し、作業者が、該学習装置３１の表示画面に表示されたリード画像中のリード２２の先端の中心位置を指定するようにしても良い。【００４６】
尚、教師データや学習結果は、生産ラインのサーバや部品装着機１１の記憶装置に保存しておき、学習結果を生産ラインの他の部品装着機１１に送信したり、教師データに新しいリード画像を追加して、再学習に用いるようにしても良い。【００４７】
本発明は、上記実施例１，２に限定されず、例えば、入力するリード画像のデータとして、リード２２のエッジ情報（輪郭境界線、エッジ勾配等）等を用いても良く、また、部品装着機１１の製造会社の社員が社内の学習装置を使用して教師データを学習し、その学習結果（重み付け）を部品装着機１１の使用者に提供するようにしても良い等、要旨を逸脱しない範囲内で種々変更して実施できることは言うまでもない。
【符号の説明】
【００４８】
１１…部品装着機、１２…電子部品、１３…装着ヘッド、１５…部品供給装置、１６…回路基板、１８…部品撮像用のカメラ、２１…部品装着機の制御装置、２２…リード、２３…スルーホール、２５…画像認識装置、２６…表示装置、２７…操作部（指定手段）、３１…学習装置
【図１】
2017081736.tif 000003
【図２】
2017081736.tif 000004
【図３】
2017081736.tif 000005
【図４】
2017081736.tif 000006
【図５】
2017081736.tif 000007
【図６】
2017081736.tif 000008
【図７】
2017081736.tif 000009
【図８】
2017081736.tif 000010
【図９】
2017081736.tif 000011
【図１０】
2017081736.tif 000012
【図１１】
2017081736.tif 000013
【図１２】
2017081736.tif 000014
【国際調査報告】
2017081736.tif 000015
2017081736.tif 000016
2017081736.tif 000017
2017081736.tif 000018