(57)【要約】  ピックアンドプレース機（１０、２０１）は、ピック動作の前のノズル（２０８、２１０、２１２）のイメージ及びピック動作の後の一つ以上のイメージを取得するように配置されたセンサ（２０５）を含む。これらのイメージに基づくイメージ解析が、ピック動作を分類するために使用することができる重要な特徴を明らかにする。一部の実施態様では、複数のピック後イメージが異なるポーズ（角配向）で取得される。
2009508361.tif 000002
【特許請求の範囲】
【請求項１】
構成部品をそこに一時的に付着させるためのノズルを有する配置ヘッド、
前記配置ヘッドとワークピースとの間に相対的運動を生じさせるためのロボットシステム、
照射光を前記構成部品に当てるように配置された照明装置を有し、前記ノズルの二次元ピック前陰影イメージを取得し、前記ノズル及び前記構成部品の少なくとも一つの二次元ピック後陰影イメージを取得するように配置されたイメージ取得システムを有するセンサ、及び
前記ピック前及びピック後イメージを処理してピック動作を評価するように適合されたプロセッサ
を含むピックアンドプレース機。
【請求項２】
前記ピック前陰影イメージがピック前非合焦陰影イメージである、請求項１記載のピックアンドプレース機。
【請求項３】
各ピック後陰影イメージが非合焦陰影イメージである、請求項２記載のピックアンドプレース機。
【請求項４】
前記ピック前陰影イメージが合焦ピック前陰影イメージである、請求項１記載のピックアンドプレース機。
【請求項５】
各ピック後陰影イメージが合焦陰影イメージである、請求項４記載のピックアンドプレース機。
【請求項６】
前記センサが、前記構成部品を背面照明するための面照明装置を含む、請求項１記載のピックアンドプレース機。
【請求項７】
前記イメージ取得システムが電荷結合素子を含む、請求項１記載のピックアンドプレース機。
【請求項８】
前記イメージ取得システムが相補型金属酸化物半導体素子を含む、請求項１記載のピックアンドプレース機。
【請求項９】
前記センサが結像光学素子を含む、請求項１記載のピックアンドプレース機。
【請求項１０】
前記センサが照射光学素子を含む、請求項９記載のピックアンドプレース機。
【請求項１１】
前記センサが照射光学素子を含む、請求項１記載のピックアンドプレース機。
【請求項１２】
前記イメージ取得システムが複数のピック後イメージを取得するように配置され、各ピック後イメージが異なる構成部品ポーズで取得される、請求項１記載のピックアンドプレース機。
【請求項１３】
前記ピック動作の評価が、前記ピック後イメージの間で数値指標の分散を検査することに基づく、請求項１２記載のピックアンドプレース機。
【請求項１４】
ピックアンドプレース機のノズル上に保持された構成部品に照射光を当てるように配置された照明装置、
前記ノズルの二次元ピック前陰影イメージを取得し、前記ノズル及び前記構成部品の少なくとも一つの二次元ピック後陰影イメージを取得するように配置されたイメージ取得システム、及び
前記ピック前及びピック後イメージを処理してピック動作を評価するように適合されたプロセッサ
を含む、ピックアンドプレース機におけるピック動作を感知するためのセンサ。
【請求項１５】
前記イメージ取得システムが電荷結合素子を含む、請求項１４記載のセンサ。
【請求項１６】
前記イメージ取得システムが相補型金属酸化物半導体素子を含む、請求項１４記載のセンサ。
【請求項１７】
面検出器上に陰影を結像するように配置された結像光学素子を含む、請求項１４記載のセンサ。
【請求項１８】
前記照射光の散開を減らすための照射光学素子を含む、請求項１７記載のセンサ。
【請求項１９】
前記照射光の散開を減らすための照射光学素子を含む、請求項１４記載のセンサ。
【請求項２０】
前記イメージ取得システムが、複数のピック後イメージを取得するように配置され、各ピック後イメージが異なる構成部品ポーズで取得される、請求項１４記載のセンサ。
【請求項２１】
前記ピック動作の評価が、前記ピック後イメージの間で数値指標の分散を検査することに基づく、請求項２０記載のセンサ。
【請求項２２】
ピックアンドプレース機のノズルのピック前陰影イメージを得ること、
前記ノズルの少なくとも一つのピック後陰影イメージを得ること、
前記少なくとも一つのピック後イメージから前記ピック前イメージを差し引いて少なくとも一つの差分イメージを生成すること、
前記差分イメージに基づいて少なくとも一つの数値指標を測定すること、及び
前記少なくとも一つの数値指標に基づいてピック動作を評価すること
を含む、ピックアンドプレース機のピック動作を評価する方法。
【請求項２３】
前記ピック前イメージから前記ノズルのイメージを抽出してテンプレートを生成することをさらに含む、請求項２２記載の方法。
【請求項２４】
前記テンプレートを使用して各ピック後イメージ中の前記ノズルを識別することをさらに含む、請求項２３記載の方法。
【請求項２５】
各ピック後イメージから前記ピック前イメージを差し引く前に前記ピック前イメージを各ピック後イメージと重ね合わせることをさらに含む、請求項２２記載の方法。
【請求項２６】
重ね合わせが正規化グレースケール相関の使用を含む、請求項２５記載の方法。
【請求項２７】
前記差分イメージをしきい値処理して、しきい値処理された差分イメージを生成することをさらに含む、請求項２２記載の方法。
【請求項２８】
前記しきい値処理された差分イメージに対して形態学的閉鎖演算を実行することをさらに含む、請求項２７記載の方法。
【請求項２９】
前記ノズルの少なくとも一つのピック後陰影イメージを得ることが、複数のピック後イメージを得ることを含み、各イメージが、前記構成部品の異なるポーズに関して取得される、請求項２２記載の方法。
【請求項３０】
すべてのイメージが非合焦陰影イメージである、請求項２２記載の方法。
【請求項３１】
すべてのイメージが合焦陰影イメージである、請求項２２記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
背景
電子回路基板を製造するためにはピックアンドプレース機が一般に使用される。通常、ブランクのプリント回路基板がピックアンドプレース機に供給され、その機械が構成部品フィーダから構成部品をピックアップし、その構成部品を基板上に配置する。構成部品は、はんだペースト又は他の接着剤により、はんだペースを溶融させる又は接着剤を完全に硬化させる後続のステップまで、一時的に基板上に保持される。
【０００２】
ピックアンドプレース機の操作は難題である。機械速度が処理量に対応するため、ピックアンドプレース機が高速で稼働すればするほど、製造される基板のコストは低くなる。さらには、配置精度がきわめて重要である。多くの電気構成部品、たとえばチップコンデンサ及びチップ抵抗器は比較的小さく、同等に小さな配置場所に正確に配置されなければならない。他の構成部品は、大きめではあるが、比較的微細なピッチで互いに離間する有意な数のリード又は導体を有する。このような構成部品もまた、各リードが正しいパッド上に配置されることを保証するために、正確に配置されなければならない。したがって、機械はきわめて高速で作動しなければならないだけでなく、構成部品をきわめて正確に配置しなければならない。
【０００３】
構成部品のピックアップは、配置ヘッドを標的構成部品のピックアップポイントの上方に位置決めすることを要する。ひとたびノズルがそのように位置決めされると、ノズルを構成部品の真上のポイントまで降下させ、ノズルを通して真空を適用すると、ノズルが構成部品を吸い上げ、一時的にノズルの端部に付着させる。各構成部品は構成部品フィーダ機構によってそのピックアップポイントに位置決めされる。一般的なフィーダ機構としては、テープフィーダ、振動フィーダ及びトレーフィーダがある。ひとたび構成部品がノズルによってピックアップされると、フィーダ機構は、別の構成部品をピック位置に移動させなければならない。構成部品ピック動作が正常に行われないならば、欠陥品ワークピースが製造される。ピック動作不良によって生じることが知られるワークピースの欠陥は、構成部品のツームストーン化、構成部品の紛失、構成部品の取り違い、構成部品極性の取り違い及び構成部品の配置ミスである。さらに、欠陥はまた、オペレータがフィーダを誤った位置に装填すること、フィーダから構成部品を切らしてしまうこと、欠陥のある又は破損したフィーダ、構成部品テープ及び／又はノズル、誤ってプログラムされたノズルピック高ならびに誤って位置決めされた構成部品によっても生じる。
【０００４】
機械の処理速度を落とすことなく、また、ピックアンドプレース機に有意なハードウェアを追加することなくピック動作の実効性を評価する方法を提供するならば、ピックアンドプレース機の動作がピックエラーをより正確に識別し、そのようなエラーが欠陥品ワークピースを生じさせないことを保証することが可能になるであろう。さらには、ピックエラーが欠陥品ワークピース（たとえば回路基板全体）を作り出してしまう前にピックエラーを識別するならば、ピックアンドプレース機は誤ってピックされた構成部品を捨て、別の構成部品をピックするだけでよいため、やり直し作業が大幅に簡素化されるであろう。対照的に、誤ってピックされた構成部品が実際にワークピース上に配置されるならば、最終的なはんだ付け又は接着剤硬化が完了するまでそのエラーが発見されないおそれがある。ある特定のワークピース、たとえば回路基板が何百個又は何千個もの構成部品を含むことがあるならば、ワークピースそのものが比較的コスト高であることもでき、ワークピース全体が損失されないことを保証するために比較的コスト高な手作業でのやり直しを要するかもしれない。
【０００５】
概要
ピックアンドプレース機は、ピック動作の前のノズルのイメージ及びピック動作の後の一つ以上のイメージを取得するように配置されたセンサを含む。これらのイメージに基づくイメージ解析が、ピック動作を分類するために使用することができる重要な特徴を明らかにする。一部の実施態様では、複数のピック後イメージが異なるポーズ（角配向）で取得される。
【０００６】
例示的な実施態様の詳細な説明
図１は、本発明の実施態様が適用可能である例示的なデカルト座標式ピックアンドプレース機２０１の図である。ピックアンドプレース機２０１は、輸送システム又はコンベヤ２０２を介してワークピース、たとえば回路基板２０３を受ける。そして、配置ヘッド２０６が、ワークピース２０３の上に装着される１個以上の電気構成部品を構成部品フィーダ（図示せず）から取得し、ワークピース２０３に対してｘ、ｙ及びｚ方向に移動してその構成部品をワークピース２０３上の正しい場所に正しい向きで配置する。配置ヘッド２０６は、配置ヘッド２０６が構成部品をピックアップ場所から配置場所まで移動させるとき、１個以上のノズルそれぞれによって保持される１個以上の構成部品を実質的に側面から見るように配置されたセンサ２０５を含むことができる。センサ２０５は、配置機２０１が、ノズル２０８、２１０、２１２によって保持された構成部品を見ることを可能にして、構成部品をワークピース２０３に装着する前にピック効力を決定することができるようにする。他のピックアンドプレース機は、固定カメラ上で移動して構成部品を画像化する配置ヘッドを用いることができる。配置ヘッド２０６はまた、ワークピース２０３に対する配置ヘッド２０６の相対的場所を容易に計算することができるよう、ワークピース２０３上の認識マークを見つけるために一般に使用される下向きのカメラ２０９を含むこともできる。
【０００７】
図２は、本発明の実施態様が適用可能である典型的な回転タレット式ピックアンドプレース機１０の図である。機械１０は、機械２０１の部品に類似したいくつかの部品を含み、同種の部品には同じ番号を付す。タレット式ピックアンドプレース機１０の場合、ワークピース２０３は、コンベヤを介してｘ−ｙステージ（図示せず）に載せられる。主タレット２０には、回転タレットの周囲に規則的な角間隔で配置される配置ヘッド２１０が取り付けられている。各ピック及び配置サイクル中、タレット２０は、隣接する配置ノズル２１０の間の各距離に等しい角距離を割り出す。タレット２０が所定位置に回転し、ワークピース２０３がｘ−ｙステージによって位置決めされたのち、配置ノズル２１０が所定のピックポイント１６で構成部品フィーダ１４から構成部品３０４（図３に示す）を取得する。この同じ期間中、別のノズル２１０が事前にプログラムされた配置場所１０６で構成部品３０４をワークピース２０３上に配置する。さらには、タレット２０がピック及び配置動作のために休止する間、上向きのカメラ３０が別の構成部品３０４のイメージを取得し、このイメージがその構成部品のためのアライメント情報を提供することができる。このアライメント情報は、何ステップか後で構成部品１０４を配置するために配置ノズル２１０が位置決めされるとき、ワークピース２０３を位置決めするためにピックアンドプレース機１０によって使用される。ピック及び配置サイクルが完了すると、タレット２０は次の角位置まで割り出しし、ワークピース２０３がｘ−ｙ方向に再び位置決めされて配置場所を配置場所１０６に対応する位置まで移動させる。
【０００８】
図３は、本発明の実施態様にしたがってピック動作に関する一つ以上のイメージを取得するように配置されたイメージ取得システム３００の図である。イメージ取得システム３００は、好ましくは、適当な電荷結合素子又は相補型金属酸化物半導体素子を含むことができる電子カメラ３０８を含む。システム３００は、構成部品３０４がノズル２１０によって保持されているときその構成部品３０４を見るように配置される。イメージ取得システム３００は、水平に対して非ゼロの角度から構成部品３０４を見るように配設される光軸を有することができる。しかし、本発明の実施態様は、イメージ取得システム３００が、水平に対してゼロの角度を有する光軸を使用して構成部品３０４を実際に見るように具現化することもできる。システム３００はまた、好ましくは、照射光３１２を発する照明装置３１０を含み、その照射光が照射光学素子３１４によって向きを変えられる。向きを変えられた照射光３１６は、構成部品３０４がノズル２１０上に保持されているとき構成部品３０４の近くの区域を通過する。結像光学素子３１８が、照射光の向きを変え、照射光をイメージ取得システム３００上に合焦させるように配置されている。照射光学素子３１４及び結像光学素子３１８の使用は、構成部品３０４がイメージ取得システム３００の光学結像軸とは異なる角度に維持されている場合でも、イメージ取得システム３００が、背面照明を受けた実質的に側面からの構成部品３０４のイメージを得ることを可能にする。イメージ取得システム３００は、ノズル２１０が構成部品フィーダ１４から構成部品３０４をピックする前のノズル２１０のイメージを取得する。そして、構成部品３０４がノズル２１０によってピックアップされたのち、イメージ取得システム３００は一つ以上のピック後イメージを取得する。ピック前のイメージとピック後のイメージとの比較がピック動作の実効性に関する重要な情報を提供する。
【０００９】
図４は、本発明の実施態様にしたがってピックアンドプレース機ノズル上の構成部品を感知するためのセンサの図である。センサ４０１は、散開する照射光４０２を発するように配置された照射光源４００を含み、この照射光４０２がコリメータ光学素子４０４に入り、平行照射光４０６に変換される。平行照射光４０６が構成部品３０４に衝突すると、照射光の一部が遮断されて構成部品の陰影４０８を発生させる。構成部品の陰影４０８は面検出器４１０によって検出される。面検出器４１０は、陰影構成部品３０４から取得されたイメージを処理するのに適した信号プロセッサ４１１又はイメージプロセッサに結合されている。プロセッサ４１１は、センサ４０１内に配置された適当なマイクロプロセッサであることもできるし、リモートプロセッサ、たとえばピックアンドプレース機内に配置されたマイクロプロセッサであることもできる。イメージを処理することにより、構成部品３０４の様々な測度、たとえば見かけ高さ、幅及び角度を測定することができる。これらの測度の一つ以上がピック動作の質の決定を容易にする。構成部品３０４が「良好なピック」基準を満たすならば、構成部品３０４はプリント回路基板上に配置される。
【００１０】
図５は、本発明のもう一つの実施態様のコンパクトな構成部品センサの図である。図５にはプロセッサ４１１は示されていないが、この例示は、図４及び図５に示す実施態様における違いを対比させるために設けるものであり、センサ４１２は、実際には、プロセッサ４１１のようなイメージプロセッサを用いるであろう。センサ４１２は、光源４００及び検出器４１０を含むが、結像又は照射光学素子を含まない。構成部品３０４の陰影４０８は散開し続け、非合焦陰影とみなされる。陰影４０８が合焦しないという事実にもかかわらず、イメージ処理は、ピック実効性に関する数多くの重要な計測を与えることができる。
【００１１】
図６は、本発明のもう一つの実施態様のセンサ４２０の図である。図６にはプロセッサ４１１は示されていないが、この例示は、図４、図５及び図６に示す実施態様における違いを対比させるために設けるものであり、センサ４２０は、実際には、プロセッサ４１１のようなイメージプロセッサを用いるであろう。センサ４２０は、ノズル２１０上の構成部品３０４の背面照明のための面光源である照明装置４２２を含む。センサ４２０はまた、構成部品３０４と検出器４１０との間に配置された光学素子４２４を含む。素子４２４は、構成部品３０４の合焦陰影イメージを検出器４１０上に提供する。
【００１２】
図４〜６に示すセンサ実施態様は一般に非常にコンパクトなセンサ設計を提供する。このコンパクトな設計が、他方で、動く配置ヘッド、たとえばデカルト座標式ピックアンドプレース機の配置ヘッドにセンサを容易に組み込むことを可能にする。面アレイ検出器を使用してピックアンドプレース機のノズルによって保持される構成部品の陰影を得ると、ピック動作の実効性に関する多数の重要な数値指標を提供することができる。一つ以上のそのような陰影イメージに対して種々のイメージ処理を使用することができる。
【００１３】
図７は、ノズル２１０の代表的なピック前イメージ４３０の図である。見てとれるように、ノズル２１０は、クロスハッチ４３２によって示される陰影イメージを提示する。ノズル２１０の先端４３４は、真空が一般に適用される開口４３６を有するように示されている。ひとたび構成部品３０４がノズル２１０によってピックアップされると、構成部品３０４はノズル２１０の先端４３４に保持される。
【００１４】
図８は、構成部品３０４がノズル２１０によってピックアップされた後に取得されるイメージ４３８の図である。構成部品３０４は、標準のＳＯＴ２３構成部品として示されているが、いかなる構成部品であってもよい。さらには、構成部品３０４のイメージは陰影イメージである。開口４３６を介して加えられる真空が構成部品３０４をノズル２１０の先端４３４に付着させる。
【００１５】
図９は、テンプレート４４０を生成するために使用されるイメージ４３０中のノズル２１０の図である。テンプレート４４０の使用は、ピック後イメージへのその後の相関のために重要である。ピック前イメージ４３０からノズルパターンを抽出するやり方は、公知の技術又は今後開発される技術を使用して適当な方法で実施することができる。
【００１６】
図１０は、ピック後イメージ４３８とともに使用されるテンプレート４４０を示す。テンプレート４４０は、ピック後イメージ中のノズル２１０を識別するための相関探索で使用される。この相関を実施することができる一つの方法は、公知の正規化グレースケール相関（ＮＧＣ）ベースの相関探索を使用して実施することができる。ひとたびピック後イメージ中でノズル２１０が識別されると、重ね合わせした後イメージから前イメージを画素単位で差し引くことによって差分イメージ４４２（図１１に示す）を導出する。差分イメージは一般に、ピックされた構成部品３０４及び何らかのアーチファクト（陰影付け法によって生じる）を含有する。これらのアーチファクトを、好ましくは、「A Threshold Selection Method for Gray Level Histogram」と題する文献（N. Otsu 1979, IEEE Transactions on Systems, Man and Cybernetics, SMC-9(1)）に開示されているような自動しきい値処理技術を使用することによって消去する。さらには、形態学的閉鎖演算をしきい値イメージに適用してビーエルオービー内の連結性を改善することができる。ビーエルオービーを、好ましくは、簡単な領域増大技術を使用して標識し、最大のビーエルオービー（おそらくは構成部品）を除くすべてのビーエルオービーを消去する。消去されないビーエルオービーがピックアップされた構成部品に対応する。この最大のビーエルオービーに関してそれを囲い込む最小の長方形を計算し、そのビーエルオービーのもっとも左及び右の座標を記録する。また、抽出された構成部品の垂直中心を計算する。抽出された垂直中心ならびにもっとも左及び右のポイントを示す長方形４４３が図１２に示されている。もっとも左又はもっとも右部分の画素の垂直座標（Ｙ）が、構成部品の、ノズルに近い側の垂直方向半分の中に位置するならば、その構成部品は上下逆にピックされたと結論づけられる。デジタル信号プロセッサ、たとえばプロセッサ４１１が、これらの簡単な演算でプログラムされている。具体的には、Ｌyが、抽出された構成部品のもっとも左の画素の垂直（Ｙ）座標であり、Ｒyが、抽出された構成部品のもっとも右の画素の垂直（Ｙ）座標であり、Ｃyが、抽出された構成部品の垂直（Ｙ）中心であるとする。そして、左オフセット＝Ｌy−Ｃyとする。さらに、右オフセット＝Ｒy−Ｃyとする。（０，０）が左上コーナーであり、構成部品が捕捉画像中でノズルの下方にあると仮定して、左オフセットが０よりも大きいか、右オフセットが０よりも大きいならば、その構成部品３０４は上下逆にピックされたものと結論づける。そうでなければ、構成部品３０４は正しくピックされたと結論づける。これらの処理ステップは、合焦陰影及び非合焦陰影のいずれにも適用することができることを知っておくこと。
【００１７】
図１３は、種々の構成部品の垂直中心からのリードのオフセットのチャートである。図１３は、構成部品の垂直中心からのリード垂直オフセットを使用する、逆さまのピックの識別を示す。図１３に示すように、正しく配置された部品は一般にＸ及びＹ軸でプラス側にあるが、誤って配置された部品はＸ及びＹ軸でマイナス側にある。
【００１８】
ピックアンドプレース機のノズル上の構成部品陰影のイメージ解析の上記例は多数の利点を提供する。具体的には、ノズルパターンに基づくピック前イメージとピック後イメージとの重ね合わせが、正確かつロバストで信頼しうる位置合わせ法を提供する。さらには、ＮＧＣベースの探索はデジタル信号処理に非常に適している。さらには、イメージ処理演算は、市販のデジタル信号プロセッサにプログラムできるほど簡単である。なおさらには、誤ったピック（たとえば上下逆のピック）を正しく識別するために一つの画像からでも有意な情報を抽出することができる。そのうえ、画像処理演算が非常に簡単であるため、リアルタイム動作の必要性を満たすために必要な計測を速やかに計算することができる。
【００１９】
図１４は、非合焦ピック前イメージ４５０の図である。イメージ１５０はピンぼけしたノズル４５２を示す。図１５は、ノズル４５２上に配置された構成部品４５６を示すピック後イメージ４５４を示す。図１６は、ピック後イメージ中でノズル４５２を分離するために使用される、図９に示すテンプレート４４０に類似したテンプレート４５８を示す。
【００２０】
図１７は、ピック後イメージ４５４中でノズル４５６を識別するために使用されるテンプレート４５８を示す。二つのイメージを重ね合わせる方法としては、イメージ全体を相関させる方法、ノズルの両側の特定の区分を相関させる方法など、様々な方法が存在する。しかし、イメージ解析はピック前イメージを使用し、そこからノズルパターンを抽出して、抽出されたノズルパターンをＮＧＣベースの相関探索におけるテンプレートとして使用することが好ましい。差分イメージ４６０（図１８に示す）は、重ね合わせたピック後イメージ４５４からピック前イメージ４５０を差し引くことによって導出される。差分イメージ４６０は、いくつかのアーチファクト（陰影付け法によって生じる）を含有する。アーチファクトは、好ましくは、自動しきい値処理技術、たとえばOtsuの文献に記載されている技術によって消去される。さらには、形態学的閉鎖演算をしきい値イメージに適用してビーエルオービー内の連結性を改善することが好ましい。
【００２１】
上記のように、ビーエルオービーを、好ましくは、簡単な領域増大技術を使用して標識し、最大のビーエルオービーを除くすべてのビーエルオービーを消去する。残るビーエルオービーがピックされた構成部品に対応する。この最大のビーエルオービーに関してそれを囲い込む最小の長方形を計算し、構成部品高さ（垂直範囲）及び構成部品幅（水平範囲）ならびにアスペクト比（高さ／幅）のような特徴を計算する。さらには、ｘ、ｙ及びＸＹ軸を中心とする慣性モーメントを計算し、これら三つのモーメントから主軸の配向を導出する。さらには、部品及びノズルのＸ中心から、ノズル中心からの部品オフセットを計算する。これら簡単な演算はデジタル信号プロセッサ、たとえば市販のデジタル信号プロセッサ中に容易にプログラムされる。
【００２２】
図１９は、ピックされた構成部品のイメージに関連するビーエルオービー４６４を含むイメージ４６２の図である。さらには、図２０は、慣性モーメントなどを決定するためにビーエルオービー４６４の周囲に構築された長方形４６８を有するイメージ４６６を示す。構成部品イメージに基づいて実行することができる計測は、見かけ構成部品高さ、アスペクト比（高さ／幅）及び主軸の配向を含む。これらの計測値が、単独で又は特定の組み合わせで、所与のピックを良好又は不良として評価することができる。ピックアップを分類するために見かけ高さ及びアスペクト比をうまく使用するためには、構成部品の予備知識が必要であるかもしれない。しかし、許容しうる配向の設定されたしきい値が既知であるならば、主軸の配向の計測値だけでもピックを分類するのに十分であるかもしれない。しかし、ピックを明瞭に分類するためには、二つ以上の画像からの計測値又はノズル上の構成部品の角配向が必要であるかもしれない。構成部品の予備知識が利用できないとしても、いくつかの画像、たとえば三つの画像からピックを良好又は不良として分類することが可能である。これら三つの画像は、適切な間隔で、たとえば４５°で離間している。三つの画像それぞれに基づいて見かけ構成部品高さ及び幅を比較することにより、構成部品ピックを良好又は不良として分類することができる。見かけ構成部品高さに基づいてピックを分類するための規則は以下のとおりである。
【００２３】
規則１
第一の画像から実施した計測から構成部品高さが構成部品幅よりも大きいならば、ピックを不良とみなす。
規則２
規則１が当てはまらないならば、第一の画像の構成部品高さを第二及び第三の画像の最小構成部品幅と比較する。第一の画像の構成部品高さが上記最小値よりも大きいならば、ピックを不良とみなす。
規則３
規則１及び２がいずれも当てはまらないならば、ピックは良好である確率が高い。
【００２４】
これらの処理ステップは、背面照明を受けた、非合焦陰影及び合焦陰影のいずれにも適用することができることを知っておくこと。したがって、この解析は、図１６〜２０に関して説明するイメージに対してだけでなく、図９〜１５に示すイメージに対しても用いることができる。
【００２５】
図２１は、ノズル上の構成部品の異なるポーズ（角配向）に対して主軸の配向が変化する様子を示すチャートである。図２１に示すように、ノズル上の構成部品が１６の異なる陰影ポーズを経ながら回転するとき、正しくピックされた構成部品は非常に少ないばらつきしか示さない。全く対照的に、様々なピックエラー、たとえばビルボード化、コーナーピック及びツームストーン化は、様々な陰影ポーズが取得されるにつれ、激しく変化する主軸配向値を生じさせる。図２２及び２３もまた、異なる数値指標、たとえばビーエルオービー高さ（図２２）及びアスペクト比（図２３）を使用して多数のポーズから良好なピックを決定することができることを示す。
【００２６】
図２４は、ノズル２１０上に配置された構成部品３０４の非合焦陰影イメージをそれぞれ異なる角配向（ポーズ）で示す一連のイメージ４７０、４７２、４７４を示す。ピックアンドプレース機は、構成部品の角配向を調節して構成部品をワークピース上にその正しい配向で正しく配置することができるように回転可能なノズルを有することが知られている。本発明の実施態様にしたがって、複数のピック後陰影イメージが取得され、各イメージは、部品が異なるポーズにある間に取得される。上記のイメージ解析は、ピック後陰影イメージの一つ又はすべてに対して実施することができ、抽出される数値指標をポーズごとに比較することができる。正しくピックされた構成部品は、抽出される様々な数値指標において、誤ってピックされた構成部品よりも有意に小さな分散を示す。
【００２７】
図２５は、ノズル２１０上に保持された構成部品３０４を複数の異なるポーズで示す一連のイメージ４７６、４７８、４８０の図である。図２５は、イメージが合焦陰影イメージであるという点で図２４とは異なる。図２５は、構成部品３０４のコーナー部が真空開口にはまり込んでいる、コーナーピックとして知られる状態を示す。図２５はまた、コーナーピックされた構成部品３０４が、様々なポーズ又は各配向で、激しく異なるプロフィールを提示するということを示す。したがって、先に述べたように、二つ以上の連続的に取得された、合焦又は非合焦を問わないピック後陰影イメージに対して様々なイメージ解析を使用すると、ピック動作の効力に関して重要な情報を容易に提供することができる。図２６Ａ、２６Ｂ及び２６Ｃは、高さ（Ｈ）、幅（Ｗ）及び主軸配向角（θ）のような様々な数値指標を示す。図２７〜２９は、それぞれ、様々な構成部品数値指標、すなわち見かけ構成部品傾き、見かけ構成部品相対高さ及び見かけ構成部品アスペクト比ならびに多様な異なる構成部品ポーズを示す。図２７〜２９で明らかであるように、正しくピックされた構成部品は、ポーズが変化しても、これらの分散数値指標において最低のばらつきを示す。したがって、一つ以上の数値指標の分散を事前に選択したしきい値と比較すると、構成部品が実効的にピックされたかどうかを簡単に決定することができる。
【００２８】
図３０は、本発明の実施態様にしたがってピックアンドプレース機のピック動作を評価する方法の流れ図である。方法５００はブロック５０２で始まり、ここで、センサ、たとえばセンサ２０５を使用してピックアンドプレース機のノズルのピック前イメージを取得する。ブロック５０４で示すように、ピック前イメージ中のノズルパターンを使用してテンプレートを生成する。ブロック５０６で、一つ以上のピック後イメージを取得する。図３０に示すように、ブロック５０４及び５０６は、同時を含め、いかなる順序で実施してもよい。ひとたびテンプレートが生成されると、ブロック５０８に示すように、それを使用してピック後イメージ中のノズルを識別する。ブロック５１０で、好ましくはＮＧＣベースの相関法を使用してピック前イメージとピック後イメージとを相関させる。ブロック５１１で、相関させたピック後イメージからピック前イメージを差し引くことによって差分イメージを生成する。省略可能なブロック５１２で、公知のしきい値処理技術を使用して差分イメージをしきい値処理する。省略可能なブロック５１４で、好ましくは、形態学的閉鎖演算を、しきい値処理された差分イメージに適用する。また、ブロック５１４では、簡単な領域増大技術を使用してビーエルオービーを標識し、最大のビーエルオービーを除くすべてのビーエルオービーを消去することが好ましい。ブロック５１６で、差分イメージに基づいて一つ以上の数値指標を計算する。ブロック５１８で、その数値指標を使用してピック動作を良好又は不良として評価する。方法５００は、合焦陰影及び非合焦陰影のいずれにも適用することができる。
【００２９】
本発明の実施態様は、比較的簡単なイメージ取得システムを市販のデジタル信号プロセッサとともに使用して、ピックアンドプレース機の作動中に正確なピック評価をリアルタイムで提供することを可能にする。その結果、誤ってピックされた構成部品が配置される事象を減らし、そのような問題を解消するために要するやり直し作業を減らす。
【００３０】
好ましい実施態様を参照しながら本発明を説明したが、当業者は、本発明の本質及び範囲を逸することなく形態及び詳細に変更を加えることができることを認識するであろう。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施態様が適用可能である典型的なデカルト座標式ピックアンドプレース機の図である。
【図２】本発明の実施態様が適用可能である典型的な回転タレット式ピックアンドプレース機の図である。
【図３】本発明の実施態様にしたがってピック動作に関する一つ以上のイメージを取得するように配置されたイメージ取得システムの図である。
【図４】本発明の実施態様にしたがってピックアンドプレース機ノズル上の構成部品ポースを感知するためのセンサの図である。
【図５】本発明のもう一つの実施態様のコンパクトな構成部品センサの図である。
【図６】本発明のもう一つの実施態様のセンサの図である。
【図７】本発明の実施態様の代表的なピック前イメージの図である。
【図８】本発明の実施態様にしたがって構成部品がノズルによってピックアップされた後に取得されるイメージの図である。
【図９】本発明の実施態様にしたがってテンプレートを生成するために使用されるピック前ノズルイメージの図である。
【図１０】本発明の実施態様にしたがってピック後イメージとともに使用されるテンプレートの図である。
【図１１】重ね合わせた後イメージから前イメージを差し引くことによって導出される差分イメージの図である。
【図１２】本発明の実施態様にしたがって抽出された垂直中心ならびにもっとも左及びもっとも右の構成部品ポイントを示す図である。
【図１３】種々の構成部品の垂直中心からのリードのオフセットのチャートである。
【図１４】本発明の実施態様にしたがって取得された非合焦ピック前イメージの図である。
【図１５】本発明の実施態様にしたがって取得されたピンぼけピック後イメージの図である。
【図１６】本発明の実施態様にしたがってテンプレートを生成するために使用されるピンぼけピック前ノズルイメージの図である。
【図１７】本発明の実施態様にしたがってピック後イメージ中でノズルを識別するために使用されるテンプレートを示す図である。
【図１８】重ね合わせたピンぼけピック後イメージからピンぼけピック前イメージを差し引くことによって導出されるピンぼけ差分イメージの図である。
【図１９】本発明の実施態様にしたがってピックされた構成部品のイメージに関連するビーエルオービーを含むイメージの略図である。
【図２０】ビーエルオービーの特徴を計測するためにビーエルオービーの周囲に長方形を構築したイメージの図である。
【図２１】ノズル上の構成部品の異なるポーズ（角配向）に対して主軸の配向度数が変化する様子を示すグラフである。
【図２２】ノズル上の構成部品の異なるポーズ（角配向）に対してビーエルオービーの高さが変化する様子を示すグラフである。
【図２３】ノズル上の構成部品の異なるポーズ（角配向）に対してアスペクト比が変化する様子を示すグラフである。
【図２４】本発明の実施態様にしたがってノズル上に配置された構成部品の非合焦陰影イメージをそれぞれ異なる角配向で示す一連のイメージの図である。
【図２５】ノズル上に保持された構成部品を複数の異なるポーズで示す一連のイメージの図である。
【図２６Ａ】様々な数値指標、たとえば高さ（Ｈ）、幅（Ｗ）及び主軸配向角度（θ）を示す図である。
【図２６Ｂ】様々な数値指標、たとえば高さ（Ｈ）、幅（Ｗ）及び主軸配向角度（θ）を示す図である。
【図２６Ｃ】様々な数値指標、たとえば高さ（Ｈ）、幅（Ｗ）及び主軸配向角度（θ）を示す図である。
【図２７】異なる構成部品ポーズとともに見かけ構成部品傾きが変化する様子を示すグラフである。
【図２８】異なる構成部品ポーズとともに見かけ構成部品相対高さが変化する様子を示すグラフである。
【図２９】異なる構成部品ポーズとともに見かけ構成部品アスペクト比が変化する様子を示すグラフである。
【図３０】本発明の実施態様にしたがってピックアンドプレース機のピック動作を評価する方法の流れ図である。
【図１】
2009508361.tif 000003
【図２】
2009508361.tif 000004
【図３】
2009508361.tif 000005
【図４】
2009508361.tif 000006
【図５】
2009508361.tif 000007
【図６】
2009508361.tif 000008
【図７】
2009508361.tif 000009
【図８】
2009508361.tif 000010
【図９】
2009508361.tif 000011
【図１０】
2009508361.tif 000012
【図１１】
2009508361.tif 000013
【図１２】
2009508361.tif 000014
【図１３】
2009508361.tif 000015
【図１４】
2009508361.tif 000016
【図１５】
2009508361.tif 000017
【図１６】
2009508361.tif 000018
【図１７】
2009508361.tif 000019
【図１８】
2009508361.tif 000020
【図１９】
2009508361.tif 000021
【図２０】
2009508361.tif 000022
【図２１】
2009508361.tif 000023
【図２２】
2009508361.tif 000024
【図２３】
2009508361.tif 000025
【図２４】
2009508361.tif 000026
【図２５】
2009508361.tif 000027
【図２６Ａ】
2009508361.tif 000028
【図２６Ｂ】
2009508361.tif 000029
【図２６Ｃ】
2009508361.tif 000030
【図２７】
2009508361.tif 000031
【図２８】
2009508361.tif 000032
【図２９】
2009508361.tif 000033
【図３０】
2009508361.tif 000034
【手続補正書】
【提出日】平成20年5月15日(2008.5.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
構成部品をそこに一時的に付着させるためのノズルを有する配置ヘッド、
前記配置ヘッドとワークピースとの間に相対的運動を生じさせるためのロボットシステム、
照射光を前記構成部品に当てるように配置された照明装置を有し、前記ノズルの二次元ピック前陰影イメージを取得し、前記ノズル及び前記構成部品の少なくとも一つの二次元ピック後陰影イメージを取得するように配置されたイメージ取得システムを有するセンサ、及び
前記ピック前及びピック後イメージを処理してピック動作を評価するように適合されたプロセッサ
を含むピックアンドプレース機。
【請求項２】
前記イメージ取得システムが複数のピック後イメージを取得するように配置され、各ピック後イメージが異なる構成部品ポーズで取得される、請求項１記載のピックアンドプレース機。
【請求項３】
前記ピック動作の評価が、前記ピック後イメージの間で数値指標の分散を検査することに基づく、請求項２記載のピックアンドプレース機。
【請求項４】
ピックアンドプレース機のノズル上に保持された構成部品に照射光を当てるように配置された照明装置、
前記ノズルの二次元ピック前陰影イメージを取得し、前記ノズル及び前記構成部品の少なくとも一つの二次元ピック後陰影イメージを取得するように配置されたイメージ取得システム、及び
前記ピック前及びピック後イメージを処理してピック動作を評価するように適合されたプロセッサ
を含む、ピックアンドプレース機におけるピック動作を感知するためのセンサ。
【請求項５】
前記イメージ取得システムが、複数のピック後イメージを取得するように配置され、各ピック後イメージが異なる構成部品ポーズで取得される、請求項４記載のセンサ。
【請求項６】
前記ピック動作の評価が、前記ピック後イメージの間で数値指標の分散を検査することに基づく、請求項５記載のセンサ。
【請求項７】
ピックアンドプレース機のノズルのピック前陰影イメージを得ること、
前記ノズルの少なくとも一つのピック後陰影イメージを得ること、
前記少なくとも一つのピック後イメージから前記ピック前イメージを差し引いて少なくとも一つの差分イメージを生成すること、
前記差分イメージに基づいて少なくとも一つの数値指標を測定すること、及び
前記少なくとも一つの数値指標に基づいてピック動作を評価すること
を含む、ピックアンドプレース機のピック動作を評価する方法。
【請求項８】
前記ピック前イメージから前記ノズルのイメージを抽出してテンプレートを生成することをさらに含む、請求項７記載の方法。
【請求項９】
各ピック後イメージから前記ピック前イメージを差し引く前に前記ピック前イメージを各ピック後イメージと重ね合わせることをさらに含む、請求項７記載の方法。
【請求項１０】
前記ノズルの少なくとも一つのピック後陰影イメージを得ることが、複数のピック後イメージを得ることを含み、各イメージが、前記構成部品の異なるポーズに関して取得される、請求項７記載の方法。
【国際調査報告】
2009508361.tif 000035
2009508361.tif 000036
2009508361.tif 000037