(57)【特許請求の範囲】
【請求項１】
被撮像物のサンプルを撮像手段で撮像して取得したサンプル画像を用いて画像処理データを作成する際に、同一規格の被撮像物に関する複数のサンプル画像を合成して合成画像を作成し、この合成画像に基づいて画像処理データを作成する画像処理データ作成方法において、
前記複数のサンプル画像を記憶手段に保存しておき、前記画像処理データを再作成する場合は、新たに取得したサンプル画像を前記記憶手段から読み込んだ過去のサンプル画像と合成して前記合成画像を再作成し、再作成した合成画像に基づいて前記画像処理データを再作成することを特徴とする画像処理データ作成方法。
【請求項２】
前記合成画像を作成する際に、各サンプル画像のばらつきが小さい部分を画像処理着目点として抽出することを特徴とする請求項１に記載の画像処理データ作成方法。
【請求項３】
前記複数のサンプル画像は、前記被撮像物のグループ毎及び／又は撮像条件のグループ毎に撮像したものであることを特徴とする請求項１又は２に記載の画像処理データ作成方法。
【請求項４】
前記被撮像物は、電子部品実装機に供給されて回路基板に実装される電子部品であり、  前記被撮像物のグループ毎とは、同一規格の被撮像物に関して、製造会社毎、ロット毎、リール毎、フィーダ毎の少なくとも１つであり、前記撮像条件のグループ毎とは、撮像手段毎、撮像時の被撮像物の位置毎、撮像環境毎の少なくとも１つであることを特徴とする請求項３に記載の画像処理データ作成方法。
【請求項５】
生産工程で被撮像物を前記撮像手段で撮像して取得した画像を、請求項１乃至４のいずれかに記載の画像処理データ作成方法で作成した画像処理データと対比して該被撮像物を認識することを特徴とする画像認識方法。
【請求項６】
被撮像物のサンプルを撮像手段で撮像して取得したサンプル画像を用いて画像処理データを作成する画像処理データ作成装置において、
同一規格の被撮像物に関する複数のサンプル画像を合成して合成画像を作成する合成画像作成手段と、
前記合成画像に基づいて画像処理データを作成する画像処理データ作成手段と、
前記複数のサンプル画像を保存する記憶手段とを備え、
前記合成画像作成手段は、前記合成画像を再作成する場合に、新たに取得したサンプル画像を前記記憶手段から読み込んだ過去のサンプル画像と合成した前記合成画像を再作成し、
前記画像処理データ作成手段は、前記合成画像が再作成された場合に、再作成された合成画像に基づいて前記画像処理データを再作成することを特徴とする画像処理データ作成装置。
【請求項７】
被撮像物を撮像手段で撮像して取得した画像を、請求項６に記載の画像処理データ作成装置で作成した画像処理データと対比して該被撮像物を認識することを特徴とする画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被撮像物のサンプルを撮像手段で撮像して取得したサンプル画像を用いて画像処理データを作成する画像処理データ作成方法、画像認識方法、画像処理データ作成装置及び画像認識装置に関する発明である。
【背景技術】
【０００２】
特許文献１（特開２００５−１６４４９７号公報）に記載されているように、部品実装基板検査装置において、複数の実装基板における半田印刷部の画像からそれぞれ半田印刷部の面積、幅、位置を求め、それらのデータの平均値を検査用基準データとしてメモリに記憶しておき、その後の検査工程で、検査対象となる実装基板の半田印刷部の画像から求めた半田印刷部の面積、幅、位置をそれぞれ検査用基準データと比較して半田印刷部の良否を検査するようにしたものがある。
【０００３】
また、特許文献２（特開平７−１２２９００号公報）に記載されているように、カメラで撮像した電子部品の画像データを画像処理用ＣＰＵに取り込んで、当該電子部品の各部の寸法を画像処理により計測して、それらの寸法データを画像処理データ（部品データ）としてメモリに記憶しておき、その後、電子部品を回路基板に実装する際に、カメラで撮像した電子部品の画像データを上記画像処理データと対比して当該電子部品の種類や位置ずれ量等を判定するようにしたものがある。
【特許文献１】特開２００５−１６４４９７号公報（第５頁〜第６頁等参照）
【特許文献２】特開平７−１２２９００号公報（第３頁〜第４頁等参照）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の技術では、被撮像物（半田印刷部）の形状的な特徴（面積、幅等）を数値データ化して、その数値データを平均化して検査用基準データを作成するため、被撮像物の形状を容易に判別できる単純な形状のものでなければ、検査用基準データを作成することが困難であり、適用範囲が狭いという欠点がある。
【０００５】
一方、特許文献２の技術では、作業者が多数の電子部品の中から任意に１つの電子部品をサンプル品として抜き出してカメラで撮像して画像処理データを作成することになる。しかし、実際の電子部品には、製造ばらつき、リードの曲り、バンプの欠け等による寸法ばらつき（形状ばらつき）があるため、多数の電子部品の中から任意に抜き出したサンプル品の寸法が必ずしも理想的な寸法（つまり電子部品の寸法ばらつきの中央値又は平均値）になるとは限らず、寸法誤差（形状誤差）の大きな電子部品がサンプル品として選択されてしまう可能性がかなりある。特に、微小部品では、部品サイズに対する個々の部品の寸法ばらつきの比率が大きいため、選択したサンプル品の寸法誤差が大きくなる確率が高くなる傾向がある。一般的には、サンプル品の寸法誤差が大きくなるほど、画像処理データの精度が悪くなるため、その画像処理データを用いた画像認識精度も悪くなる。従って、特許文献２の技術では、作業者が選択するサンプル品の寸法精度によって画像処理データの精度が左右されてしまい、画像処理データの精度を安定して確保することが困難である。
【０００６】
本発明はこのような事情を考慮してなされたものであり、従ってその目的は、様々な形状の被撮像物の画像処理データの作成に幅広く対応できると共に、被撮像物のサンプル品の寸法精度の影響を補償して、画像処理データの精度を安定して確保することができる画像処理データ作成方法、画像認識方法、画像処理データ作成装置及び画像認識装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１，６に係る発明は、被撮像物のサンプルを撮像手段で撮像して取得したサンプル画像を用いて画像処理データを作成する技術思想であり、具体的には、同一規格の被撮像物に関する複数のサンプル画像を合成して合成画像を作成し、この合成画像に基づいて画像処理データを作成することを第１の特徴とし、更に、複数のサンプル画像を記憶手段に保存しておき、画像処理データを再作成する場合は、新たに取得したサンプル画像を前記記憶手段から読み込んだ過去のサンプル画像と合成して合成画像を再作成し、再作成した合成画像に基づいて画像処理データを再作成することを第２の特徴とするものである。このようにすれば、様々な形状の被撮像物の画像処理データの作成に幅広く対応できると共に、被撮像物のサンプル品の寸法精度の影響を補償して、画像処理データの精度を安定して確保することができる。
【０００８】
この場合、請求項１，６のように、複数のサンプル画像を記憶手段に保存しておき、画像処理データを再作成する場合は、新たに取得したサンプル画像を前記記憶手段から読み込んだ過去のサンプル画像と合成して合成画像を再作成し、再作成した合成画像に基づいて画像処理データを再作成するようにすれば、例えば、画像処理のエラー率が高くなった場合には、画像処理データの精度が悪くなっている可能性があると判断して、画像処理データを再作成して画像処理のエラー率を低減することが可能になると共に、画像処理データを再作成する際に、新たに取得したサンプル画像の数が少なくても、記憶手段に保存されている過去のサンプル画像を利用して、被撮像物のサンプル品の寸法精度の影響を補償した精度の良い合成画像を再作成することができ、画像処理データの精度を改善することができる。
【０００９】
また、請求項２のように、合成画像を作成する際に、各サンプル画像のばらつきが小さい部分を画像処理着目点として抽出するようにしても良い。これにより、画像処理データの精度を更に高めることができる。
【００１０】
また、請求項３のように、複数のサンプル画像は、被撮像物のグループ毎及び／又は撮像条件のグループ毎に撮像したものであっても良い。このようにすれば、異なるグループ間で共通して使用可能な精度を持つ画像処理データを作成することができる。
【００１１】
本発明は、電子部品実装機に供給される電子部品を被撮像物として画像処理データを作成するシステムに適用したり、或は、回路基板に形成したマークやパターン等を被撮像物として画像処理データを作成するシステムに適用しても良く、勿論、電子部品実装機以外の生産装置に用いられる画像処理装置の画像処理データ作成システムにも適用できる。
【００１２】
電子部品実装機に供給される電子部品を被撮像物として画像処理データを作成する場合は、請求項４のように、被撮像物のグループ毎とは、同一規格の被撮像物に関して、製造会社毎、ロット毎、リール毎、フィーダ毎の少なくとも１つであり、前記撮像条件のグループ毎とは、撮像手段毎、撮像時の被撮像物の位置毎、撮像環境毎（例えば照明条件や電子部品と撮像手段との距離等で決まる撮像環境毎）の少なくとも１つである。このようにすれば、製造会社、ロット、リール、フィーダ、撮像手段、撮像時の被撮像物の位置、撮像環境のいずれかが異なっても、それらの間で共通して使用可能な精度を持つ画像処理データを作成することができる。
【００１３】
本発明を実施する場合は、請求項５，７のように、生産工程で被撮像物を撮像手段で撮像して取得した画像を、上記画像処理データ作成方法で作成した画像処理データと対比して該被撮像物を認識するようにすれば良い。これにより、様々な形状の被撮像物の画像認識に幅広く対応できると共に、サンプル品の寸法精度の影響を補償して、画像認識精度を安定して確保することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態を、電子部品実装機の電子部品画像認識システムに適用して具体化した一実施例を説明する。
【００１５】
図１に示すように、画像処理データ作成装置は、パーソナルコンピュータ等のコンピュータ１１と、被撮像物である電子部品を撮像するカメラ１２（撮像手段）と、キーボード、マウス等の入力装置１３と、液晶ディスプレイ、ＣＲＴ等の表示装置１４と、プログラムやデータ等を記憶するハードディスク等の記憶装置１５（記憶手段）を備えた構成となっており、カメラ１２は、例えば、電子部品実装機の吸着ノズル（図示せず）に吸着した電子部品を撮像するパーツカメラが用いられている。
【００１６】
コンピュータ１１は、画像処理データ作成処理と部品画像認識処理を実行し、同一規格の電子部品に関する複数のサンプル画像を合成して合成画像を作成する合成画像作成手段として機能すると共に、上記合成画像に基づいて画像処理データを作成する画像処理データ作成手段としても機能し、更に、吸着ノズルに吸着した電子部品をカメラ１２で撮像して取得した画像を上記画像処理データと対比して該電子部品を認識する画像認識手段としても機能する。
【００１７】
本実施例では、同一規格の電子部品に関するｎ個（複数個）のサンプル品をカメラ１２で撮像してｎ個のサンプル画像[1],[2],…,[n]を取得し、これらｎ個のサンプル画像[1],[2],…,[n]を合成して合成画像を作成する。この際、ｎ個のサンプル画像[1],[2],…,[n]の各画素(i,j) の輝度を各画素(i,j) 毎に積算し、その輝度積算値をサンプル画像の総数ｎで割り算して各画素(i,j) の平均輝度を求め、この平均輝度を合成画像の各画素(i,j) の輝度とすることで、合成画像を作成する。
【００１８】
合成画像の各画素(i,j) の輝度
＝｛サンプル画像[1] の画素(i,j) の輝度＋サンプル画像[2] の画素(i,j) の輝度＋…                                ……＋サンプル画像[n] の画素(i,j) の輝度｝÷ｎ
ｉ＝１，２，３，……，Ｍ  （Ｍは垂直方向の画素数）
ｊ＝１，２，３，……，Ｎ  （Ｎは水平方向の画素数）
【００１９】
図２は、３個のサンプル画像[1],[2],[3] を合成して合成画像を作成する例を模式的に表している。
【００２０】
この場合、複数のサンプル画像は、電子部品のグループ毎及び／又は撮像条件のグループ毎に撮像したものであり、被撮像物のグループ毎とは、同一規格の電子部品に関して、製造会社毎、ロット毎、リール毎、フィーダ毎の少なくとも１つであり、前記撮像条件のグループ毎とは、撮像手段（カメラ１２）毎、撮像時の被撮像物の位置毎、撮像環境毎（例えば照明条件や電子部品と撮像手段との距離等で決まる撮像環境毎）の少なくとも１つである。
【００２１】
例えば、図３に示すように、個体差（製造ばらつき）のある電子部品を収容したリール（テープ）の各電子部品をサンプル品としてカメラ１２で撮像して複数のサンプル画像を取得し、これら複数のサンプル画像を合成して合成画像を作成するようにしても良い。このようにすれば、１つのリールに収容された各電子部品の個体差が大きくても、リールの平均的な電子部品の画像である合成画像から画像処理データを作成することができ、１つのリールに収容された各電子部品の個体差の影響を補償して、画像処理データの精度を安定して確保することができる。
【００２２】
また、図４に示すように、複数の製造会社（ベンダ）で製造されたリールの各電子部品をサンプル品としてカメラ１２で撮像して複数の製造会社のリールに関してそれぞれサンプル画像を取得して、それらのサンプル画像を合成して合成画像を作成するようにしても良い。このようにすれば、複数の製造会社間で同一規格の電子部品の形状・寸法が若干異なっていても、複数の製造会社間の平均的な電子部品の画像に相当する合成画像を作成することができ、複数の製造会社間の電子部品の形状・寸法ばらつきの影響を補償して、画像処理データの精度を安定して確保することができる。尚、複数のロットや複数のフィーダに関してそれぞれサンプル画像を取得して、それらのサンプル画像を合成して合成画像を作成するようにしても良い。
【００２３】
また、図５に示すように、複数の電子部品実装機[1],[2] を使用して電子部品の実装作業を行うシステムでは、各電子部品実装機[1],[2] 毎にカメラで電子部品を撮像して各電子部品実装機[1],[2] 毎にサンプル画像[1],[2] を取得して、それらのサンプル画像[1],[2] を合成して合成画像を作成するようにしても良い。このようにすれば、各電子部品実装機[1],[2] 間で撮像条件が多少違っていても、各電子部品実装機[1],[2] 間の平均的な撮像条件で撮像した画像に相当する合成画像を作成することができ、各電子部品実装機[1],[2] で共通して使用可能な精度を持つ画像処理データを作成することができる。
【００２４】
また、１台の実装機の例えば前面側と背面側に２台のカメラを設けた場合は、図６に示すように、各カメラ毎に電子部品を撮像して各カメラ毎にサンプル画像[1],[2] を取得して、それらのサンプル画像[1],[2] を合成して合成画像を作成するようにしても良い。このようにすれば、各カメラ間で撮像条件が多少違っていても、各カメラ間の平均的な撮像条件で撮像した画像を合成画像として作成することができ、各カメラで共通して使用可能な精度を持つ画像処理データを作成することができる。
【００２５】
また、リボルバ型（回転型）等の装着ヘッドを持つ電子部品実装機において、装着ヘッドに設けられた複数の吸着ノズルで吸着した複数の電子部品を１つの画面内で同時に撮像する場合のように、電子部品の撮像位置が変化する場合は、図７に示すように、各撮像位置毎に電子部品を撮像して各撮像位置毎にサンプル画像[1],[2],[3],[4] を取得して、それらのサンプル画像[1],[2],[3],[4] を合成して合成画像を作成するようにしても良い。このようにすれば、各撮像位置間で撮像条件が多少違っていても、各撮像位置間の平均的な撮像条件で撮像した画像に相当する合成画像を作成することができ、各撮像位置で共通して使用可能な精度を持つ画像処理データを作成することができる。
【００２６】
合成画像を作成する際に、各サンプル画像のばらつきが小さい部分を画像処理着目点として抽出するようにすると良い。
【００２７】
合成画像から画像処理データを作成する方法は、従来と同様の方法を用いれば良く、例えば、特許第３７５９９８３号公報、特開２００６−６０１０１号公報、特開２００６−３３８４８２号公報、特開平８−２３６９９０号公報、特開平９−４４６８６号公報、特許第２９４１６１７号公報のいずれかに記載された方法を用いれば良い。
【００２８】
また、本実施例では、複数のサンプル画像を記憶装置１５に保存しておき、画像処理データを再作成する場合は、新たに取得したサンプル画像を前記記憶装置１５から読み込んだ過去のサンプル画像と合成して合成画像を再作成し、再作成した合成画像に基づいて画像処理データを再作成するようにしている。このようにすれば、例えば、画像処理のエラー率が高くなった場合には、画像処理データの精度が悪くなっている可能性があると判断して、画像処理データを再作成して画像処理のエラー率を低減することが可能になると共に、画像処理データを再作成する際に、新たに取得したサンプル画像の数が少なくても、記憶装置１５に保存されている過去のサンプル画像を利用して、電子部品のサンプル品の寸法精度の影響を補償した精度の良い合成画像を再作成することができ、画像処理データの精度を改善することができる。
【００２９】
電子部品実装機の稼働中は、吸着ノズルで吸着した電子部品をカメラ１２で撮像して取得した画像を、上記画像処理データ作成方法で作成した画像処理データと対比して該電子部品の品種や吸着姿勢等を判別する。
【００３０】
以上説明した本実施例によれば、同一規格の電子部品に関する複数のサンプル画像を合成して合成画像を作成し、この合成画像に基づいて画像処理データを作成するようにしたので、様々な形状の電子部品の画像処理データの作成に幅広く対応できると共に、電子部品のサンプル品の寸法精度の影響を補償して、画像処理データの精度を安定して確保することができる。
【００３１】
尚、本発明の画像処理データを作成する対象となる被撮像物は、電子部品に限定されず、例えば、回路基板に形成したマークやパターン等を被撮像物としても良い。このようにすれば、回路基板のマークやパターンを画像処理する場合に、回路基板毎にマークやパターン等の形状・寸法がばらついていても、複数の回路基板間の平均的なマークやパターンの画像に相当する合成画像を作成することができ、複数の回路基板間のマークやパターンの形状・寸法ばらつきの影響を補償して、画像処理データの精度を安定して確保することができる。
【００３２】
その他、本発明は、電子部品実装機以外の生産装置に用いられる画像処理装置の画像処理データ作成システムにも適用できる等、要旨を逸脱しない範囲内で種々変更して実施できる。
【図面の簡単な説明】
【００３３】
【図１】本発明の一実施例の画像処理データ作成装置の構成を示すブロック図である。
【図２】３個のサンプル画像[1],[2],[3] を合成して合成画像を作成する方法を説明する図である。
【図３】個体差（製造ばらつき）のある電子部品を収容したリールの各電子部品のサンプル画像を合成して合成画像を作成する方法を説明する図である。
【図４】複数の製造会社のリールの各電子部品のサンプル画像を合成して合成画像を作成する方法を説明する図である。
【図５】各電子部品実装機[1],[2] 毎に取得したサンプル画像[1],[2] を合成して合成画像を作成する方法を説明する図である。
【図６】複数のカメラで撮像して取得したサンプル画像[1],[2] を合成して合成画像を作成する方法を説明する図である。
【図７】各撮像位置毎に電子部品を撮像して取得したサンプル画像[1],[2],[3],[4] を合成して合成画像を作成する方法を説明する図である。
【符号の説明】
【００３４】
１１…コンピュータ（合成画像作成手段，画像処理データ作成手段）、１２…カメラ（撮像手段）、１３…入力装置、１４…表示装置、１５…記憶装置（記憶手段）
【図１】
0004953248.tif 000002
【図２】
0004953248.tif 000003
【図３】
0004953248.tif 000004
【図４】
0004953248.tif 000005
【図５】
0004953248.tif 000006
【図６】
0004953248.tif 000007
【図７】
0004953248.tif 000008