(57)【特許請求の範囲】
【請求項１】
対象物のサイズ、リード数及びリードピッチが予め分かっているリードを有する対象物を、該対象物のサイズより視野が小さい撮像装置で撮像し、その撮像された対象物の画像を処理する画像処理方法において、
撮像装置と対象物を相対的に移動することにより前記リードを有する対象物を互いに一部重なり合う視野で複数回撮像し、
一つの視野と次の視野での画像処理によりそれぞれ得られる対象物のリード先端位置を示すデータを求め、次の視野での画像処理により得られたリード先端位置を示すデータに対しては、該データに次の視野へ移動したときの撮像装置と対象物の相対移動量を加算したものを前記次の視野でのリード先端位置を示すデータとし、また、前記一つの視野と次の視野の両視野に入る同一とされたリードに対しては、一つの視野の該リードの先端位置と、前記相対移動量を加算した次の視野の該リードの先端位置との平均値を前記同一とされたリードの先端位置を示すデータとし、前記一つの視野と次の視野を合わせた視野に対応する視野での対象物のリード先端位置のデータを求めることを特徴とする画像処理方法。
【請求項２】
前記データの処理に異常が検出された場合、処理を中止することを特徴とする請求項１に記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理方法、更に詳細には、撮像装置の視野を越える大きさを有する対象物の撮像データを処理する画像処理方法に関する。
【０００２】
【従来の技術】
従来より、電子部品搭載装置（マウンタ）では吸着ノズルにより吸着された部品の画像をＣＣＤカメラ等の撮像装置（画像入力装置）から取り込み、この部品の画像を処理することにより部品の位置を検出し、必要に応じて吸着ノズルによる部品の姿勢を補正することにより部品の位置決めを行ない、所定の基板上に部品の搭載を行なっている。
【０００３】
画像処理を利用して部品等の対象物の位置を計測、評価するシステムにおいて、一度に撮像できる視野範囲に入らない大きな対象物を扱う場合には、一度に撮像できる視野を拡大し、画像処理を行う方法、対象物を一部づつ複数回に分けて撮像し、各々の画像データを合成した後に、画像処理を行う方法が提案されている。
【０００４】
【発明が解決しようとする課題】
撮像視野を拡大する上記の方法では、撮像装置と対象物との間の距離（物像間距離）の変更、又は撮像装置のレンズにおける焦点距離の変更等、機械的な変更が必要となるため、元のシステムとの共存が難しく、また、画像入力段階で分解能が低下してしまうため、画像処理後の分解能（精度）も低下してしまい、そのため高精度を要求するシステムには採用できない、という問題がある。
【０００５】
また、対象物を複数回に分けて撮像する方法においては、画像データを記憶しておく手段、例えば半導体メモリ等を、新たに撮像の回数分持たなければならない、という欠点があり、更に、画像データの合成処理の追加等、画像処理方法の変更も大きくなる。
【０００６】
本発明は、このような点に鑑みてなされたもので、撮像視野を越える大きさの対象物の画像を簡単にしかも正確に画像処理して所定のデータを取得できる画像処理方法を提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明では、この課題を解決するために、
対象物のサイズ、リード数及びリードピッチが予め分かっているリードを有する対象物を、該対象物のサイズより視野が小さい撮像装置で撮像し、その撮像された対象物の画像を処理する画像処理方法において、
撮像装置と対象物を相対的に移動することにより前記リードを有する対象物を互いに一部重なり合う視野で複数回撮像し、
一つの視野と次の視野での画像処理によりそれぞれ得られる対象物のリード先端位置を示すデータを求め、次の視野での画像処理により得られたリード先端位置を示すデータに対しては、該データに次の視野へ移動したときの撮像装置と対象物の相対移動量を加算したものを前記次の視野でのリード先端位置を示すデータとし、また、前記一つの視野と次の視野の両視野に入る同一とされたリードに対しては、一つの視野の該リードの先端位置と、前記相対移動量を加算した次の視野の該リードの先端位置との平均値を前記同一とされたリードの先端位置を示すデータとし、前記一つの視野と次の視野を合わせた視野に対応する視野での対象物のリード先端位置のデータを求める構成を採用している。
【０００９】
このような構成では、対象物のリード先端位置を示すデータを求めるのに各視野での画像を合成する必要がない。従って、合成のために各視野での対象物の全画像を記憶しておく必要がなく、単に各視野で画像処理に得られた対象物の目的とするデータを保存するだけでよいので、記憶手段の容量を顕著に節約することが可能になる。また、必要なデータを求めるのに、各視野での全部の画像データを合成する必要がないので、画像処理のコスト、時間を顕著に低減できる。
【００１２】
また、対象物の所望データは、いずれも簡単な演算で得られるので、機械的、電気的、ソフトウェア的に変更が少なくしかも分解能（精度）を低下させずに、大きな対象物を扱うことが可能になる。
【００１３】
【発明の実施の形態】
以下、図面に示す実施の形態に基づき本発明を詳細に説明する。
【００１４】
図１は、本発明が適用される撮像装置並びに画像処理装置の全体の構成を示す図である。
【００１５】
１は、画像処理の対象となる対象物で、例えば電子部品である。対象物１は、ＸＹテーブル５上に載置され、画像データを取り込む画像入力装置、例えばテレビカメラ、ＣＣＤカメラ等の撮像装置２により撮像される。撮像装置で撮像された対象物１の画像データは画像処理装置３により画像処理され、撮像装置２で撮像された対象物の画像あるいは画像処理装置３における処理の過程等がモニタテレビ４等の表示装置に表示される。
【００１６】
ＸＹテーブル５は、Ｘ方向移動モータ６及びＹ方向移動モータ８によりテーブル上面と撮像装置２の撮像面とを平行に保って移動される。ＸＹテーブル５のＸ方向の位置はエンコーダ７により、またＸＹテーブル５のＹ方向の位置はエンコーダ９によりそれぞれを検出することができる。
【００１７】
本発明では、撮像装置２の視野範囲を越える大きさの寸法の対象物の画像処理が対象になるので、図２に示したような長方形状の対象物（電子部品）１０を例にして説明する。
【００１８】
図３のステップＳ１、Ｓ２で示したように、対象物の一部１０ａが撮像装置視野Ｇ１（Ｌ x Ｌ）に入るようにＸＹテーブル５をモータ６、８により移動して対象物を撮像する。次に、撮像された対象物の画像に基づいて画像処理装置３で画像処理を行なう（ステップＳ３）。この画像処理により、対象物部分１０ａの輪郭線が抽出される。
【００１９】
続いて、ステップＳ４で視野Ｇ１内の対象物部分１０ａの中心位置Ｃ１の座標（Ｘ１、Ｙ１）が算出される。次に、この中心位置の座標と左端の座標Ｘ０をメモリに格納する（ステップＳ５）。
【００２０】
続くステップＳ６で、対象物１０の全景を捕らえたかを判断する。視野Ｇ１では対象物の一部しか撮像されていないので、ステップＳ１に戻って、対象物１０の別の一部１０ｂが撮像装置２により撮像されるように、ＸＹテーブル５をモータ６を使用して移動する。この移動量Ｘoffは、エンコーダ７で検出することができる。この例では、Ｘ方向だけの移動であるが、いずれにしても、ＸＹテーブル５の移動は、移動前の画像と移動後の画像が連続的につながる、又は一部重なり合う長さとし、画像と画像の間に隙間ができないようにする。
【００２１】
再び撮像装置２より画像データを取り込み、画像処理装置３にてデータの処理を行い、次の視野Ｇ２内の対象物部分１０ｂの輪郭を抽出する。そして、対象物部分１０ｂの中心Ｃ２の座標（Ｘ２、Ｙ２＝Ｙ１）を求め、移動量Ｘoffとともにメモリに格納する。
【００２２】
図２（Ａ）の例では、対象物の全景が撮像されたので、ステップＳ７において結果のデータ処理を行なう。すなわち、視野Ｇ１とＧ２の合成視野内の対象物の中心座標（Ｘc、Ｙc）を求める。合成視野での対象物の右端の座標をＸnとすると、
0004172728.tif 000002
となることから、
0004172728.tif 000003
となる。また、Ｙcは、Ｙ１となる。
【００２３】
このように、一つの視野Ｇ１での対象物の中心位置を求め、次の視野Ｇ２での対象物の中心位置をそれぞれ求め、それに移動量とによる演算により、両視野を合わせた視野での対象物の中心位置を簡単に演算できるので、各視野での対象物の全画像を合成することなく、メモリの容量を顕著に節約することができる。
【００２４】
図２（Ｂ）には、更にＸＹテーブルをＸoff移動して視野Ｇ３において全景が補足される対象物１０’の例が図示されている。
【００２５】
全体の視野での中心のＸ座標Ｘcは、上記で求めた２つの視野Ｇ１、Ｇ２の合成視野での中心座標と視野Ｇ３での中心位置Ｃ３のＸ座標Ｘ３の処理と同じになるので、
0004172728.tif 000004
となる。
【００２６】
一般的に、複数視野数を合成した視野での対象物の中心座標Ｘcは、
0004172728.tif 000005
となる。
【００２７】
対象物が矩形状に大きく、Ｘ方向だけでなく、Ｙ方向にも移動させなければないときの中心のＹ座標は、中心のＸ座標を求めたのと同様にして求めることができる。
【００２８】
上記例では、対象物１０を複数の視野、例えばＧ１〜Ｇ３の２視野あるいは３視野に分けて撮像したが、視野数は、対象物の大きさに従って決まるもので、対象物の形状に応じて２（Ｘ方向）X １（Ｙ方向）の視野、３ X １の視野の他に、４ X １の視野、２ X ２の視野、１ X ２の視野、１ X ３の視野、１ X ４の視野等の視野を選択できるようにする。その場合、Ｘ、Ｙ方向の視野間距離Ｘoff、Ｙoffは、それぞれ同じ値とするのが好ましいが、必要に応じて可変にすることができる。可変の場合、それぞれ重複部分の長さが変化するだけで、演算の内容は異ることはない。
【００２９】
次に、図４に示したように、両側に多数のリードが設けられている対象物２０（ＩＣ等の電子部品）のリード先端座標を求める例について説明する。
【００３０】
前の例と同様に、図３のステップＳ１、Ｓ２において、対象物の一部２０ａが撮像装置視野Ｇ１（Ｌ x Ｌ）に入るようにＸＹテーブル５をモータ６、８により移動して対象物部分２０ａを撮像する。この撮像例が図５（Ａ）に図示されている。次に、撮像された対象物の画像に基づいて画像処理装置３で画像処理を行なう（ステップＳ３）。
【００３１】
この画像処理では、検出すべきリード列を含む大きさの枠が設定され、この枠内でリード幅方向へフィルタ処理（ＤＯＧ）を行なうことによりゼロクロスを検出してリードエッジが検出され、上側のリード列の先端座標（ｘn、ｙn）（n＝１、２、３、４、５）が求められる。同様に下側のリード列に対しても同様な処理を行ない、先端座標（ｘn'、ｙn'）を求める（以上ステップＳ４）。
【００３２】
次に、ステップＳ５において、必要なデータを保存する。メモリに格納されるデータは、視野Ｇ１での上記算出されたリード先端座標（ｘn、ｙn）、（ｘn'、ｙn'）である。
【００３３】
対象物２０の全てがまだ捕捉されていないので、ステップＳ１に戻り、ＸＹテーブルをＸoff、Ｙoff（この例では、Ｙoff＝０）移動させて、次に視野Ｇ２に移り、図５（Ｂ）に示したような撮像が行なわれる。
【００３４】
同様な処理で、上側及び下側のリード列に対して、リード先端座標（Ｘn、Ｙn）、（Ｘn'、Ｙn'）（n＝５、６、７、８、９）を求め、各リード座標並びに視野Ｇ１からのオフセット距離Ｘoff並びにＹoffをメモリに格納する。
【００３５】
対象物の全景が捕捉されたので、ステップＳ７で対象物全部のリード先端座標（ＸＸn、ＹＹn）、（ＸＸn'、ＹＹn'）を求める。
【００３６】
ｎ＝１〜４に対しては、
（ＸＸn、 ＹＹn）  ＝ （ｘn、ｙn）
（ＸＸn'、ＹＹn'） ＝ （ｘn'、ｙn'）
となる。
【００３７】
また、
ｎ＝６〜９に対しては、
（ＸＸn、 ＹＹn）  ＝ （Ｘn  ＋Ｘoff、Ｙn  ＋Ｙoff）
（ＸＸn'、ＹＹn'） ＝ （Ｘn' ＋Ｘoff、Ｙn' ＋Ｙoff）
となる。
【００３８】
なお、両視野に入るリード（ｎ＝５のリード）に対しては、両座標の平均値をリード座標とする。このため、オーバーラップ部分のリード列データに対しては、１／２リードピッチ以内の座標のデータは同じリードとし、その平均値をとる。図４の例では、５番目のリードがオーバーラップするので、その先端座標は、
ＸＸ５   ＝  ｛ｘ５  ＋  （Ｘ５ ＋Ｘoff）｝／２
ＹＹ５   ＝  ｛ｙ５  ＋  （Ｙ５ ＋Ｙoff）｝／２
ＸＸ５'  ＝  ｛ｘ５' ＋  （Ｘ５'＋Ｘoff）｝／２
ＹＹ５'  ＝  ｛ｙ５' ＋  （Ｙ５'＋Ｙoff）｝／２
となる。
【００３９】
ここで、上側のリード列の中心を（ＸＸc、ＹＹc）、下側のリード列の中心を（ＸＸ'c、ＹＹ'c）とすると、
ＸＸc   ＝ （ＸＸ１ ＋ＸＸ２ ＋……＋ＸＸ９ ）／９
ＹＹc   ＝ （ＹＹ１ ＋ＹＹ２ ＋……＋ＹＹ９ ）／９
ＸＸc'  ＝ （ＸＸ１'＋ＸＸ２'＋……＋ＸＸ９'）／９
ＹＹc'  ＝ （ＹＹ１'＋ＹＹ２'＋……＋ＹＹ９'）／９
となる。
【００４０】
また、対象物全体の中心座標を（Ｃｘ、Ｃｙ）とすると、
Ｃｘ  ＝  （ＸＸc  ＋  ＸＸc'）／２
Ｃｙ  ＝  （ＹＹc  ＋  ＹＹc'）／２
となる。
【００４１】
また、各例では、中心座標ないしリード先端座標を求めたが、対象物の傾き、あるいはリードの傾きも簡単な演算で求めることができる。例えば、各部分の中心座標、あるいはリードの両端の座標を結ぶ直線により傾きを求めることができる。
【００４２】
なお、上述した例で各リード列のデータをチェックし、例えば欠損リードあるいは破壊されたリードが検出された場合、認識エラーとして全ての処理を中止するようにしてもよい。この認識エラーはリード列の不安全な場合だけでなく、その他データ処理に異常が検出された場合にも認識エラーとして処理を中止するようにしてもよい。
【００４３】
以上説明した例では、いずれも、全景捕捉後に結果のデータ処理を行なっているが、２つの視野のデータ（図２の例では中心座標、図４の例ではリード先端座標）を結合処理して得られる結合処理後のデータと次の視野のデータを結合処理するようにしてもよい。その場合には、メモリの容量を節約することが可能になる。
【００４４】
なお、各実施形態では、撮像装置２を固定し、対象物を移動する方法について示したが、対象物を固定し、画像入力装置２を移動する方法も可能である。
【００４５】
またＸＹテーブル５上に対象物を保持する機構を追加することにより、天地を逆にする方法も可能である。
【００４６】
【発明の効果】
以上、説明したように、本発明では、撮像装置の視野を越える大きな対象物を撮像して画像処理する場合、対象物のリード先端位置を求めるのに各視野での全画像を合成する必要がなく、単に各視野で画像処理により得られた対象物のリード先端位置を示すデータ並びに対象物と撮像装置の相対移動量など少ないパラメータを保存するだけでよいので、記憶手段の容量を顕著に節約することが可能になる。
【図面の簡単な説明】
【図１】本発明装置が用いられる画像撮像処理システムの全体の構成を示す構成図である。
【図２】対象物の中心位置を求める処理を示す説明図である。
【図３】画像処理の流れを示すフローチャートである。
【図４】対象物のリードの先端位置を求める処理を説明する説明図である。
【図５】対象物のリードの先端位置を求める処理を説明する説明図である。
【符号の説明】
１、１０、２０  対象物
２  撮像装置
３  画像処理装置
４  モニタテレビ
５  ＸＹテーブル
６、８  モータ
７、９  エンコーダ
【図１】
0004172728.tif 000006
【図２】
0004172728.tif 000007
【図３】
0004172728.tif 000008
【図４】
0004172728.tif 000009
【図５】
0004172728.tif 000010