(57)【特許請求の範囲】
【請求項１】
実際の焦点深度よりも所定範囲だけの浅い焦点深度となるようにＣＣＤカメラと撮像対象物の位置を設定する工程と、
前記設定された位置において前記撮像対象物を撮像して、焦点の甘い画像成分の変化に従った前記ＣＣＤカメラの解像度に応じたサンプリング間隔で得られるピンボケ画像データを取得する工程と、
取得されたピンボケ画像データをデジタル画像データに変換する工程と、
変換されたデジタル画像データの前記サンプリング間隔の補間データを算出する工程と、
「算出された補間データにより前記サンプリング間隔を補間して見かけのサンプリング数が増えたピンボケ」補間画像データを生成する工程と、
前記「ピンボケ」補間画像データを逆δ関数フィルタで変換して実際の画像データに近似させるフィルタ演算工程と、
を含むことを特徴とする画像処理方法。
【請求項２】
部品供給装置から電子部品を取り出して保持し該保持した電子部品を回路基板上に移載する途上において前記電子部品をＣＣＤカメラにより画像認識して位置補正し該位置補正した電子部品を前記回路基板の所定の位置に搭載する部品搭載装置であって、
実際の焦点深度よりも所定範囲だけの浅い焦点深度となるように前記ＣＣＤカメラと前記電子部品との位置を設定するカメラ電子部品間位置設定手段と、
該カメラ電子部品間位置設定手段により設定された位置において前記電子部品を撮像して焦点の甘い画像成分の変化に従った前記ＣＣＤカメラの解像度に応じたサンプリング間隔で得られるピンボケ画像データを取得するピンボケ画像データ取得手段と、
該ピンボケ画像データ取得手段により取得されたピンボケ画像データをデジタル画像データに変換する画像データ変換手段と、
該画像データ変換手段により変換されたデジタル画像データの前記サンプリング間隔の補間データを算出する補間手段と、
該補間手段により算出された補間データにより前記サンプリング間隔を補間して見かけのサンプリング数が増えたピンボケ補間画像データを生成するピンボケ補間画像データ生成手段と、
該ピンボケ補間画像データ生成手段により生成された補間ピンボケ画像データを逆δ関数フィルタで変換して実際の焦点深度にて撮像した画像データに近似させるフィルタ演算手段と、
を備えたことを特徴とする部品搭載装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、回路基板に電子部品を搭載する部品搭載装置における部品認識カメラの分解能を実際よりも見かけ上向上させる画像処理方法及びそれを用いた部品搭載装置に関する。
【０００２】
【従来の技術】
従来より、自装置内に自動搬入される回路基板（以下、単に基板という）上に例えばＩＣ、抵抗、コンデンサ等の多数の電子部品（以下、単に部品という）を自動的に搭載する部品搭載装置がある。
【０００３】
図５(a) は、そのような部品搭載装置の外観を示す斜視図であり、同図(b) はその上下の保護カバーを取り除いて内部の構成を模式的に示す斜視図である。同図(a),(b) に示す部品搭載装置（以下、本体装置ともいう）１は、天井カバー上部にＣＲＴディスプレイからなるモニタ装置２と、稼動状態を報知する警報ランプ３を備えている。また、上部保護カバー４の前面には、液晶ディスプレイとタッチパネルからなり外部からの操作により各種の指示を入力することができる小型の表示入力パネル５が配設されている。
【０００４】
下部の基台６の上には、中央に、固定と可動の１対の平行する基板案内レール７及び７が回路基板（以下、単に基板という）の搬送方向（Ｘ軸方向、図の斜め右下から斜め左上方向）に水平に延在して配設される。これらの基板案内レール７の下部に接して、ループ状の搬送ベルト（コンベアベルト）が走行可能に配設される。搬送ベルトは、それぞれ数ミリ幅のベルト脇部を基板案内レール７の下から基板搬送路に覗かせて、ベルト駆動モータにより駆動され、基板搬送方向に走行し、基板の裏面両側を下から支持しながら装置本体内に部品搭載前の基板をライン上流側から搬入し、部品搭載済みの基板をライン下流側に搬出する。
【０００５】
そして、基台６の内部には、特には図示しないが、基板の位置決め装置、基板を２本の基板案内レール７間に固定する基板固定機構、各部を制御するための制御装置等が備えられている。
また、更に基台６の上には、上記１対の基板案内レール７を跨いで、基板搬送方向に直角の方向（前後方向）に平行に延在する左右一対の固定レール（Ｙ軸レール）８及び８が配設されている。これらＹ軸レール８に移動レール（Ｘ軸レール）９がＹ軸レール８に沿って滑動自在に係合し、このＸ軸レール９に、電子部品（以下、単に部品という）を基板に搭載する作業を行う作業ヘッド１０がＸ軸レール９に沿って滑動自在に懸架されている。
【０００６】
同図(a),(b) では定かに示していないが、上記のＸ軸レール９には、その長手方向（Ｘ軸方向）に沿って作業ヘッド１０を自在に移動させる不図示のＸ軸モータが配設され、基台６上には、Ｘ軸レール９をＹ軸レール８に沿って前後（Ｙ軸方向）に進退させるこれも不図示のＹ軸モータが配設されている。これらのＸ軸モータ及びＹ軸モータが制御回路からの指示により正逆両方向に自在に回転することにより、作業ヘッド９がＸ軸方向及びＹ軸方向に自在に移動する。
【０００７】
この基台６上の前部と後部には夫々部品供給ステージ１１及び１１が配設されている。これら部品供給ステージ１１には、特には図示しないが、部品を収納したテープを巻着したリールを備えたカートリッジ方式の多数の部品供給装置が複数種類の部品に対応して載設され、あるいは複数種類の部品に対応する複数枚のパレットを備えたトレイ方式の部品供給装置等が係合する。
【０００８】
この作業塔１０は、屈曲自在で内部が空洞な帯状のチェーン体１２（１２−１、１２−２）に保護・収容された複数本の不図示の信号コードを介して装置本体１の基台６内部の電装部マザーボード上に配設されている中央制御部と連結されている。作業塔１０は、これらの信号コードを介して中央制御部からは電力及び制御信号を供給され、中央制御部へは基板上の部品搭載位置の情報を示す画像データを送信する。
【０００９】
図６は、上記作業ヘッド１０の斜視図である。同図に示すように、作業ヘッド１０は、上述したように可撓性の帯状コード１２−１（及び図５(b) に示した帯状コード１２−２）によって装置本体の中央制御部と連結されており、先端には２個の搭載ヘッド１３及び１３と、基板認識用カメラ１４を備えている。２個の搭載ヘッド１３は、それぞれＺ軸方向（上下方向）に昇降可能であり、その先端にそれぞれ照明装置１５と更にその先端に吸着ノズル１６を装着している。吸着ノズル１６は、光拡散板１６−１とノズル１６−２とからなりθ軸方向（３６０°方向）に回転可能である。
【００１０】
上記の作業ヘッド１０は、上述した二本のＹ軸レール８と１本のＸ軸レール９により前後左右に自在に移動し、図５(b) に示した部品供給ステージ１１上の不図示の部品供給装置から吸着ノズル１６で部品を吸着して基台６側に配置されている図５(b) に示すの部品認識用カメラ１７上に移動する。
【００１１】
そして、照明装置１５で光拡散板１６−１を上から照明して均一な明るさの背景光を光拡散板１６−１から拡散させ、この背景光の中に浮き出る部品を部品認識用カメラ１７で撮像して部品の保持位置偏差を検出し、この検出した保持位置偏差に基づいて搭載位置データを補正する。
【００１２】
更に、基板認識用カメラ１４で図５(a),(b) に示す基板案内レール７によって位置決めされている不図示の基板の位置を確認して、その基板上の所定の位置に上記の部品を搭載する。
通常、上記の部品認識用カメラ１７にはＣＣＤカメラが用いられる。このＣＣＤカメラから出力されるアナログ画像データをＡ／Ｄ変換器でデジタル画像データに変換してから画像認識を行う。したがって、撮像した画像の分解能は、撮像に使用するＣＣＤカメラの画素（ＣＣＤ素子）の密度に依存することになる。
【００１３】
図７(a),(b) は部品の大きさに対して部品認識用カメラの解像度が比較的粗い場合に得られる撮像画像の例を説明する図である。同図(a),(b) は縦軸に撮像対象の部品面から反射される光の強さ、つまりＣＣＤ素子の出力を示している。
同図(a) はＣＣＤカメラのＣＣＤ素子面に結像された映像に対して想定される連続的にアナログ走査された場合の背景映像２１と部品映像２２に対するＣＣＤ出力を示す図である。
【００１４】
しかし、ＣＣＤカメラにより撮像される画像データは上述したようにＣＣＤ素子の密度（図７(a),(b) に示す素子の配設間隔Ｓ）に依存したサンプリング間隔での撮像データであり、連続的にアナログ走査による撮像データではない。
一般的にサンプリングの定理より、サンプリング間隔をＴとすると、サンプリングされたデータとしては、１／２Ｔ の周波数成分しか取得することはできない。したがって、ＣＣＤ素子の配設間隔以上の分解能を得ることは難しい。このため、例えば図７(a) に示す傾きの激しい部分のデータが、同図(b) に示すように傾きの緩やかなデータに変換される。
【００１５】
同図(a) に示す例では、画素密度すなわちＣＣＤ素子の配設間隔Ｓは、部品のエッジＥ１及びＥ２よりも大きい。そして、実際のＣＣＤカメラの出力は、部品のエッジＥ１及びＥ２を正しく撮像することはできず、同図(b) に示すように、ＣＣＤ素子の配設間隔Ｓ（＝サンプリング間隔Ｓ）に基づいて、上記のサンプリング定理によって取得されたエッジＥ１´及びＥ２´のように許容差の大きいエッジ撮像データとなって認識される。
【００１６】
【発明が解決しようとする課題】
ところで、近年、部品の小型化が進み、搭載部品の中に小型の部品が多く含まれるようになると、部品認識用カメラの解像度にも、より細かな解像度が要求される場合が多い。
【００１７】
さもないと、つまり小さな部品に対して解像度が粗いと、上述したように部品を画像認識する際に、図７(b) に示すように部品のエッジ位置の許容差が大きくなり、部品のエッジ位置を正しく認識できなくなる。そうすると、部品全体にたいする位置認識が不正確になり正しい位置の補正ができなくなる。そして、正しい位置の補正ができないと、基板の搭載位置に正しく搭載できず、不良基板ユニットが生産されることになり、歩留まりが低下する。
【００１８】
この問題に対処するには、つまり、サイズの非常に小さな部品を認識するためには、カメラのレンズの倍率を上げるか、あるいはＣＣＤ素子数のより多いＣＣＤカメラを用いることが必要となる。
しかしながらカメラのレンズの倍率を上げる方法は、撮像画像全体の視野を狭くすることになるため大きな部品が認識できなくなるという問題を有している。他方、ＣＣＤ素子数を増やす方法は、撮像された画像データの増加、その画像データの転送時間の増加、ＣＣＤカメラのコストの増加という種々の問題がもたらされて好ましくない。
【００１９】
本発明の課題は、上記従来の実情に鑑み、カメラのＣＣＤ素子数を増やすことなく部品の認識精度を向上させる画像処理方法及びそれを用いた部品搭載装置を提供することである。
【００２０】
【課題を解決するための手段】
先ず、請求項１記載の発明の画像処理方法は、実際の焦点深度よりも所定範囲だけ浅い焦点深度で対象物を撮像して焦点の甘いピンボケ画像データを取得する工程と、取得されたピンボケ画像データをデジタル画像データに変換する工程と、変換されたデジタル画像データを補間して補間画像データを生成する工程と、補間画像データに基づき実際の画像データに近似させるフィルタ演算工程と、を含んで構成される。
【００２１】
次に、請求項２記載の発明の部品搭載装置は、部品供給装置から電子部品を取り出して保持し該保持した電子部品を回路基板上に移載する途上において上記電子部品を画像認識して位置補正し該位置補正した電子部品を上記回路基板の所定の位置に搭載する部品搭載装置であって、実際の焦点深度よりも所定範囲だけ浅い焦点深度で電子部品を撮像して焦点の甘いピンボケ画像データを取得するピンボケ画像データ取得手段と、該ピンボケ画像データ取得手段により取得されたピンボケ画像データをデジタル画像データに変換する画像データ変換手段と、該画像データ変換手段により変換されたデジタル画像データを補間して補間画像データを生成する画像データ補間手段と、該画像データ補間手段により生成された補間画像データに基づいて実際の焦点深度にて撮像した画像データに近似させるフィルタ演算手段と、を備えて構成される。
【００２２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、一実施の形態における部品搭載装置の機構主用部の構成を模式的に示す図である。同図に示す部品搭載装置２０において、外観及び内部の機構部分の構成は、図５(a) に示した部品搭載装置１の外観、及び図５(b) ならびに図６に示した内部機構部分の構成とほぼ同様である。
【００２３】
図１に示すＸＹＺθロボット２１は、作業ヘッド２２と、この作業ヘッド２２を、図の矢印Ｘ及びＹで示すように水平Ｘ軸方向及び水平Ｙ軸方向に移動自在に支持する支持部２３と、作業ヘッド２２に設けられ、矢印Ｚで示すように上下に昇降自在な搭載ヘッド２４と、この搭載ヘッド２４先端に装着され、矢印θで示すように水平３６０度方向に回転自在な吸着ノズル２５とで構成される。
【００２４】
上記の作業ヘッド２２のＸ軸方向とＹ軸方向の移動、搭載ヘッド２４のＺ軸方向の移動、吸着ノズル２５の３６０度方向の回転は、それぞれ専用の不図示のアクチュエータによって行われる。
また、上記作業ヘッド２２が不図示の部品供給装置から部品２６を吸着ノズル２５で吸着して、この吸着した部品２６を不図示の基板上に移載すべく移動する経路上には、上記部品２６を下方から撮像するＣＣＤカメラ２７が部品搭載装置本体側に配設されている。ＣＣＤカメラ２７は、レンズ２８とＣＣＤが配置されている撮像部２９とから成る。このＣＣＤカメラ２７は撮像部２９に配設されているＣＣＤの画素の配設密度が通常の、つまり特に画素が多いというわけではない通常のＣＣＤカメラである。
【００２５】
図２は、上記の構成において不図示の中央制御装置によって制御される部品２６に対する画像認識処理を説明するフローチャートである。同図において、先ず部品を撮像する（Ｓ１）。この処理は、作業ヘッド２２が吸着ノズル２５によって部品供給装置から部品２６を吸着し、ＣＣＤカメラ２７の上方を通過する時にＣＣＤカメラ２７によって部品２６の底面の画像を取得する処理である。
【００２６】
このとき、吸着ノズル２５先端の部品２６は、ＸＹＺθロボット２１により移動自在であることにより、ＣＣＤカメラ２７との距離を任意に設定することができる。通常の場合は、部品２６とＣＣＤカメラ２７との距離は、撮像の焦点がＣＣＤ画素面に結ぶ距離になるようにして撮像する。
【００２７】
本例では、上記の部品２６がサイズの小さな部品である場合を例としており、上記のＳ１における処理では、部品２６とＣＣＤカメラ２７との距離をやや短くして、焦点が合わない（焦点が浅い）状態で撮像する。すなわち、本例の撮像処理では、焦点の甘いピンボケ画像データが取得される。
【００２８】
図３(a),(b) は、このようにピントのボケた画像のＣＣＤ画像データとして得られるデータの状態を説明する図である。図３(a) に示すように、ピントの合った撮像画像の場合は、部品の１点から反射された光は、ＣＣＤ素子上の１点に結像する。
【００２９】
しかし、ピントのずれた（ピントを合わせていない）撮像画像の場合は、図３(b) に示すように、部品の１点から反射された光が、δ関数３０上に沿って拡散してＣＣＤ素子上に結像する。
したがって、図７(a) に示した同じ部品を撮像しても、それぞれの素子に上記の拡散した光が集積されたボケた画像がＣＣＤ上に結像する。
【００３０】
図４(a) は、そのようなピンボケ画像データの例を示す図であり、同図(b) は後述するデータ補間後のピンボケ画像データを示す図である。尚、図２の処理Ｓ１において取得される部品の撮像画像データは、この図４(a) に示すピンボケ画像データである。
【００３１】
しかし、図４(a) のピンボケ画像データは、拡散されることによって、画像の高周波成分がなくなり、同じサンプリング間隔でも、見かけ上。画像成分の変化に忠実なサンプリングとなっている。ただし、画像成分の変化に忠実なサンプリングとなってはいるが、このピンボケ画像データはＣＣＤカメラでの取得値であるため離散値で形成されている。
【００３２】
次に、この離散化されたサンプリング値からなるピンボケ画像データに近似処理を施す（Ｓ２）。この処理は、上記のピンボケ画像データにフーリエ変換等を用いてサンプリング点とサンプリング点の間の補間データを算出して、見かけ上の画素数を多くし、離散データから連続するデータに近似させる処理である。
【００３３】
上記に続いて画素間データの予測を行う（Ｓ３）。この処理は、上記の近似処理によって得られた補間データによって、画素データ（ＣＣＤ素子から出力された離散値）の間のデータを予測する（画素データ間を補間データで埋める）処理である。これにより、図４(b) に示すように、サンプリング間隔Ｓで撮像されたピンボケ画像データのサンプリング点３１とサンプリング点３１の値の間に、上記近似処理によって求められた補間データ３２が付加された、あたかもサンプリング間隔Ｓの１／２のサンプリング間隔でサンプリングしたかに見えるように補間されたピンボケ画像データが生成される。
【００３４】
ピンボけの画像は、ピントの合った画像に対してδ関数変換をかけたものと考えることができるので、ピンボ画像に逆δ関数変換をかけるとピントの合った画像が復元されると考えることができる。
そこで、次に、上記の補間されたピンボケ画像データに対し逆δ関数フィルタを用いてデータ変換する（Ｓ４）。この処理では、図４(b) に示すピンボケ画像データは、上記の補間により、サンプリング間隔Ｓの１／２のサンプリング間隔でサンプリングしたδ関数に沿ったピンボケ画像データとして考えることができるから、これを逆δ関数フィルタで変換すると、見かけ上、サンプリング間隔Ｓの１／２のサンプリング間隔で、焦点を合わせてサンプリングした画像データに近似したデータとして復元される。
【００３５】
尚、逆δ関数は、ピントのずれ具合によって変数が異なるため、あらかじめピントのずれ具合は測定しておくとよい。これによって、常に実際のサンプリングの倍のサンプリング密度でサンプリングしたかのような画像が復元される。
この復元画像データを用いて位置の検出を行う（Ｓ５）。この復元画像データは、上記のように、見かけ上サンプリング間隔Ｓの１／２のサンプリング間隔で焦点を合わせてサンプリングした画像データに近似しているから、図７(b) の場合よりも、エッジの位置も精度よく捕らえることができる。すなわち、吸着ノズルに保持されている部品の位置を精度よく認識することができる。
【００３６】
そして、この認識に基づいて、アクチュエータを制御する（Ｓ６）。この処理では、上記の認識結果に基づいて中央制御部により、部品テーブルのデータ、すなわちＮＣプログラムのパラメータとの位置ずれが算出され、この算出結果に基づいて部品に対する位置の補正が行われ、この補正値が不図示のアクチュエータ制御部に通知され、アクチュエータ制御部によって、ＸＹＺθロボット２１の各アクチュエータが制御される。
【００３７】
その後、次の撮像すべき部品が有るか否かを判別して（Ｓ７）、有れば（Ｓ７がＹｅｓ）、Ｓ１に戻ってＳ１〜Ｓ７の処理を繰り返す。他方、次の撮像すべき部品が無いときは（Ｓ７がＮｏ）、処理を終了する。
このように、部品認識カメラの分解能を実際よりも見かけ上向上させて、部品の位置をより精度良く認識することができ、これによりＣＣＤ素子数よりも分解能の高い部品の画像データに対して画像処理を行ない、部品の位置や角度をより精度よく算出して位置補正することができる。
【００３８】
【発明の効果】
以上詳細に説明したように、本発明によれば、部品を撮像する際に意図的に高周波成分の少ないピンぼけ状態の画像を取得し、この画像データの近似式を立て、最小サンプリング間隔の間のデータ値を予測し、この予測値によって補間されたピンぼけ画像データを、フィルタによってピントの合った画像を復元するので、補間した分だけＣＣＤ素子数よりも分解能の高い画像を取得することができ、これにより、ＣＣＤカメラを交換することなく安価により精度の高い部品認識を行うことができるようになって便利である。
【図面の簡単な説明】
【図１】一実施の形態における部品搭載装置の機構主用部の構成を模式的に示す図である。
【図２】一実施の形態における部品搭載装置の中央制御装置によって制御される部品に対する画像認識処理を説明するフローチャートである。
【図３】  (a),(b) はピントのボケた画像のＣＣＤ画像データとして得られるデータの状態を説明する図である。
【図４】  (a) はピンボケ画像データの例を示す図、(b) はデータ補間後のピンボケ画像データを示す図である。
【図５】  (a) は従来の部品搭載装置の外観を示す斜視図、(b) はその上下の保護カバーを取り除いて内部の構成を模式的に示す斜視図である。
【図６】従来の部品搭載装置の作業ヘッドの斜視図である。
【図７】  (a),(b) は従来の部品搭載装置において部品の大きさに対して部品認識用カメラの解像度が比較的粗い場合に得られる撮像画像の例を説明する図である。
【符号の説明】
１    部品搭載装置
２    モニタ装置
３    警報ランプ
４    上部保護カバー
５    表示入力パネル
６    基台
７    基板案内レール
８    Ｙ軸レール
９    Ｘ軸レール
１０  作業ヘッド
１１  部品供給ステージ
１２−１、１２−２  帯状コード
１３  搭載ヘッド
１４  基板認識用カメラ
１５  照明装置
１６  吸着ノズル
１６−１  光拡散板
１６−２  ノズル
１７  部品認識用カメラ
２１  ＸＹＺθロボット
２２  作業ヘッド
２３  支持部
２４  搭載ヘッド
２５  吸着ノズル
２６  部品
２７  ＣＣＤカメラ
２８  レンズ
２９  撮像部
【図１】
0003954378.tif 000002
【図２】
0003954378.tif 000003
【図３】
0003954378.tif 000004
【図４】
0003954378.tif 000005
【図５】
0003954378.tif 000006
【図６】
0003954378.tif 000007
【図７】
0003954378.tif 000008