(57)【要約】【課題】撮像で得られた画像データをソフトウェア的な処理によって画像認識に都合がよい値に補正してその補正したデータを用いて行う画像処理方法において、補正処理を行うデータ量を少なくすることで、処理時間の比較的短い画像処理を実現する。【解決手段】画面内において認識拠点を選択し、その選択した認識拠点についてのみ画像データを補正し、その補正した画像データに基づいて画像認識を行う。その補正は、対象物と背景とのコントラスト差を拡大するように行えば、対象物の輪郭の認識が容易となる。その補正に関するデータは、ルックアップテーブルとして保有することができる。また、認識拠点の選択は、対象物の理論輪郭線に関係付けられたポイント，シークライン等を有するテンプレートを、対象物の画像に重ね合わせることにより、効果的に行うことができる。【選択図】      図７
2004279304.tif 000002
【特許請求の範囲】
【請求項１】
撮像されて得られた対象物を含む画面の画像データからその対象物を認識するための画像処理方法であって、
前記画像データを画素ごとの光学的特性値の集合として記憶する画像データ記憶工程と、
前記画面内において複数の認識拠点を選択する拠点選択工程と、
それら複数の認識拠点の各々における光学的特性値である拠点特性値を、それら複数の認識拠点の各々に対応する１以上の画素に記憶されている光学的特性値と、その光学的特性値を前記対象物の認識に好適な値に補正する特性値補正データとに基づいて取得する拠点特性値取得工程と、
取得された各々の前記認識拠点の拠点特性値に基づいて前記対象物を認識する対象物認識工程と
を含む画像処理方法。
【請求項２】
前記特性値補正データが、前記対象物の画像と前記対象物の画像に隣接する前記対象物以外の画像とのコントラスト差を拡大する方向に前記光学的特性値を補正するものである請求項１に記載の画像処理方法。
【請求項３】
前記特性値補正データが、前記光学的特性値をその値が設定閾値より大きい場合にはより大きな値に、その設定閾値より小さい場合にはより小さな値に補正するものである請求項１または請求項２に記載の画像処理方法。
【請求項４】
前記拠点選択工程が、前記対象物が理論形状寸法のものである場合の輪郭線である理論輪郭線に関係付けられた複数の基準点と１以上の基準線との少なくとも一方を有するテンプレートを利用し、そのテンプレートを設定された位置において前記画面に重ね合わせ、それら基準点と基準線との少なくとも一方によって規定される前記画面内の点を前記複数の認識拠点として選択するテンプレート利用選択工程を含む請求項１ないし請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記テンプレート利用選択工程において、前記複数の基準点として前記理論輪郭線を挟んで位置する基準点対を複数有するテンプレートを利用し、前記複数の基準点対の各々によって規定される複数の点を前記複数の認識拠点として選択するとともに、前記対象物認識工程が、１つの前記基準点対によって規定される２つの認識拠点の拠点特性値の相違状態が設定閾状態を超えるときに、その２つの認識拠点についてそれらの一方が前記対象物の輪郭内に属しかつ他方が前記対象物の輪郭外に属する適合状態にあるとし、複数の基準点対によって規定される複数の認識拠点の対のうち設定数以上のものについて適合状態である場合に、前記対象物が前記テンプレートに適合すると判定する適合判定工程を含む請求項４に記載の画像処理方法。
【請求項６】
前記テンプレート利用選択工程において、前記１以上の基準線として前記理論輪郭線と交差する基準交線を複数有するテンプレートを利用し、それら複数の基準交線の各々によって規定される線上に並ぶ複数の点を前記複数の認識拠点として選択するとともに、前記対象物認識工程が、前記複数の認識拠点の各々の拠点特性値に基づいて、前記複数の基準交線の各々によって規定される線上における前記対象物の輪郭の位置を特定する輪郭位置特定工程を含む請求項４に記載の画像処理方法。
【請求項７】
前記テンプレート利用選択工程において、前記１以上の基準線として前記理論輪郭線の外側あるいは内側にその理論輪郭線に沿って延びる基準沿線を有するテンプレートを利用し、前記基準沿線によって規定される線上に並ぶ複数の点を前記複数の認識拠点として選択するとともに、前記対象物認識工程が、前記複数の認識拠点の各々の拠点特性値に基づいて、前記対象物の輪郭形状を認識する輪郭形状認識工程を含む請求項４に記載の画像処理方法。
【請求項８】
撮像されて得られた対象物を含む画面の画像データからその対象物を認識するための画像処理を行うためにコンピュータによって実行されるプログラムであって、
前記画像データを画素ごとの光学的特性値の集合として記憶する画像データ記憶ステップと、
前記画面内において複数の認識拠点を選択する拠点選択ステップと、
それら複数の認識拠点の各々における光学的特性値である拠点特性値を、それら複数の認識拠点の各々に対応する１以上の画素に記憶されている光学的特性値と、その光学的特性値を対象物の認識に好適な値に補正する特性値補正データとに基づいて取得する拠点特性値取得ステップと、
取得された各々の認識拠点の拠点特性値に基づいて前記対象物を認識する対象物認識ステップと
を含む画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、対象物を撮像した撮像データから、その対象物の存在位置等を認識する画像処理の方法およびその方法を実施するためのコンピュータプログラムに関する。
【０００２】
【従来の技術】
対象物の撮像データからその対象物の存在位置等を認識する画像処理は、多くの分野で採用されている。例えば、電子部品等を回路基板に実装する回路部品実装の分野もその一つである。部品実装作業は、回路部品を保持する部品保持デバイスによって保持された回路部品を、位置が固定された回路基板の表面に実装するものであるが、この作業において、回路部品が回路基板の適正位置に実装されるように、部品保持デバイスによる回路部品の保持位置のずれ量，回路基板の固定位置のずれ量等が取得される。これらのずれ量の取得は、保持された回路部品，回路基板に付された基準マークを撮像し、その撮像データを画像処理することによって行われるのが一般的である。このように、部品実装の分野でも、対象物の撮像データからその対象物の存在位置等を認識する画像処理が利用されているのである。
【０００３】
対象物を画像処理によって認識する場合、撮像されて得られた画像データは、輝度等の光学的特性値の集合であり、それらの光学的特性値は、画素ごとの値として一旦モリに格納され、そのメモリに格納されたデータを利用して認識処理が行なわれる。画像認識を行う際、得られた光学的特性値をそのまま利用して行う場合だけではなく、その光学的特性値を画像認識に好都合な値に補正し、その補正した特性値に基づいて画像認識を行うのが便利なことがある。その場合、例えば、メモリに格納する前に、コンバータ等のハード的なデバイスを用いて、取得された光学的特性を画像認識に都合のよい値に変換し、その変換した値をメモリに格納することが行われている。ところがその方法では、別途ハードデバイスを必要とすることに加え、一律な補正しか行い得ないといった問題がある。そのことを考慮して、一旦メモリに格納したデータを、変換テ−ブル等を用いソフトウェアでの処理によって好都合な値に変換し、その変換したデータで先のメモリの内容を書き換えるあるいは別のメモリに格納するといったことも行われている。しかし、その方法では、すべての画素のデータを変換するため、処理時間に長い時間を要するという問題がある。
【０００４】
一方、本出願人は、特開平８−１８０１９１号公報，特開平１１−３５１８２７号公報，特開２０００−２０５８２６号公報等において、ポイントペア，シークライン，ネガティブシークラインといった画像認識の拠点を規定するための基準点等を有するテンプレートを、対象物を含む画面に重ね合わせ、それによって規定された認識拠点のデータに基づいて、対象物の存在位置等を認識する画像処理方法を提案している。これらテンプレート利用型画像処理方法は、認識拠点に対応する画像データに基づく処理を行うだけで済むことから、簡便に対象物の認識を行い得るという利点を有する。
【０００５】
【特許文献１】
特開平８−１８０１９１号公報
【特許文献２】
特開平１１−３５１８２７号公報
【特許文献３】
特開２０００−２０５８２６号公報
【０００６】
【発明が解決しようとする課題，課題解決手段および効果】
前述の問題に鑑み、本発明は、撮像で得られた画像データをソフトウェア的な処理によって画像認識に都合がよい値に補正してその補正したデータを用いて行う画像処理方法において、補正処理を行うデータ量を少なくすることで、処理時間の比較的短い画像処理を実現することを１つの課題としてなされたものであり、また、本発明は、画像処理に適した値に補正した画像データに基づく画像処理という観点から、前述のテンプレート利用型画像処理を改善することを別の１つの課題としてなされたものである。
【０００７】
そして、本発明によって、下記各態様の画像処理方法，画像処理プログラム等が得られる。各態様は請求項と同様に、項に区分し、各項に番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、あくまでも本発明の理解を容易にするためであり、本明細書に記載の技術的特徴およびそれらの組合わせが以下の各項に記載のものに限定されると解釈されるべきではない。また、一つの項に複数の事項が記載されている場合、それら複数の事項を常に一緒に採用しなければならないわけではない。一部の事項のみを選択して採用することも可能である。
【０００８】
なお、以下の各項において、（１）項が請求項１に相当し、（２）項が請求項２に、（３）項が請求項３に、（４）が請求項４に、（５）項と（６）項とを合わせたものが請求項５に、（８）項と（９）項とを合わせたものが請求項６に、（１１）項と（１２）項とを合わせたものが請求項７に、それぞれ相当する。また、（２１）項が請求項８に相当する。
【０００９】
（１）撮像されて得られた対象物を含む画面の画像データからその対象物を認識するための画像処理方法であって、
前記画像データを画素ごとの光学的特性値の集合として記憶する画像データ記憶工程と、
前記画面内において複数の認識拠点を選択する拠点選択工程と、
それら複数の認識拠点の各々における光学的特性値である拠点特性値を、それら複数の認識拠点の各々に対応する１以上の画素に記憶されている光学的特性値と、その光学的特性値を前記対象物の認識に好適な値に補正する特性値補正データとに基づいて取得する拠点特性値取得工程と、
取得された各々の前記認識拠点の拠点特性値に基づいて前記対象物を認識する対象物認識工程と
を含む画像処理方法。
【００１０】
本項に記載の態様では、撮像されて得られた画像データのうち、上記認識根拠点に対応する画像データのみを対象物の認識に利用する。そしてその利用するデータのみを補正して使用するため、前述のように、画像データすべてを補正する場合に比較して、短時間で画像処理を行うことができる。
【００１１】
「対象物を含む画面」とは、例えば、対象物と、背景等の対象物以外のものが撮像された画面を意味する。対象物は、独立した１個の物であることに限定されない。例えば、その１個の物の一部分を対象物とし、他の部分を対象物以外のものとすることができる。例えば、電子部品を撮像してそれを画像認識する場合、電子部品のリード、バンプ、電極等の部分を対象物とし、それらの部分以外の部分を対象物外とするもであってもよい。
【００１２】
本発明において撮像デバイスは特に限定されない、例えば、ＣＣＤカメラ、ラインスキャンカメラ等、２次元画像データを取得可能なデバイスであればよい。画像データとしての「光学的特性値」は、例えば、輝度，明度，色相，彩度等の特性値であり、本発明においては、それらの１以上のものを特性値として採用すればよい。それらの特性値は、記憶されあるいは画像認識処理において利用される場合、撮像素子ごとの電気信号の大きさ自体を表すアナログ値であってもよく、離散値として表現されるデジタル値（例えば階調データ等）であってもよい。
【００１３】
記憶される光学的特性値は画素ごとのデータであるが、画像認識で用いられる光学的特性値は、画素ごとのデータであってもよく、また、画素とは別の要素のデータ、例えば、画素とは異なる単位ごとのデータであってもよい。例えば、撮像されて得られた画像データに基づく画像と、画像認識処理が行われる画像とが別のものと観念されるものであってもよいのである。言い方を換えれば、画素ごとのデータに基づく画像を物理画像とし、その物理画像が存在する画面を物理画面とする場合、画像認識処理を、その物理画像とは別の画像である仮想画像を対象として、その仮想画像が存在する画面である仮想画面上で行ってもよいのである。物理画面は画素が配列したマトリクスとなるが、仮想画面は、画素よりも細かな、あるいは、画素よりも広い要素が配列したマトリクスとされてもよく、また、ＸＹ座標等のアナログ座標で表される仮想平面として定義される画面とされてもよい。一例を挙げれば、仮想画像は、物理画面の画素ごとのデータが画素の中央の点の光学的特性値を表すものとみなし、それらの多数の点の光学的特性値を満たす面（仮想画面の２次元座標と光学的特性値の１次元座標とによって定義される３次元空間内に存在する面）を想定した場合に、その面を規定する連続的な光学的特性値の集合として観念される画像とすることができる。
【００１４】
対象物の認識処理を上記仮想画面内において行う場合は、その認識処理に利用される画像データの属する点である認識拠点は、仮想画像における点であり、仮想画面内の点となる。仮想画面が物理画面における画素とは別の単位のものとされている場合、認識拠点と画素とは１対１に対応しないことがあり、その場合、例えば、認識拠点における光学的特性値は、複数の画素に記憶されている光学的特性値の各々に基づいて補完された値であってもよい。
【００１５】
本項に記載の態様では、「対象物の認識」とは、対象物の形状、寸法、表面状態、欠陥、対象物の存在する画面内の位置等、対象物に関する種々の諸元のうち、１以上のものを認識することを意味する。なお、本明細書では、画面内における「対象物の位置」，「対象物の存在位置」は、例えば対象物の重心点が存在する位置、つまり、対象物が平面に沿った移動によって変化するところのその対象物の平面内の位置のみを意味するのではなく、対象物が任意の一点（例えば重心）を中心に回転することによって変化する位置、すなわち、回転角度位置をも含む概念である。平たく言えば、対象物の方位位置，姿勢位置をも含む概念である。
【００１６】
本項に記載の態様における「特性値補正データ」は、特に限定されるものではなく、「対象物の認識に好適な値」、例えば、画像処理を迅速に行い得る、対象物の認識精度を向上させ得るといった種々の利点のうちの少なくとも１つが得られるような値に、記憶されている光学的特性値を変換するためのデータであればよい。また、本項における「特性値補正データ」は、前述したように物理画面とは別の仮想画面で対象物の認識処理が行われる場合に、物理画面データとして記憶されている光学的特性値を仮想画面データとしての光学的特性値に変換する前に、その記憶されている光学的特性値を補正するものであってもよく、また、仮想画面におけるデータとして変換された光学的特性値を補正するものであってもよい。
【００１７】
（２）前記特性値補正データが、前記対象物の画像と前記対象物の画像に隣接する前記対象物以外の画像とのコントラスト差を拡大する方向に前記光学的特性値を補正するものである（１）項に記載の画像処理方法。
（３）前記特性値補正データが、前記光学的特性値をその値が設定閾値より大きい場合にはより大きな値に、その設定閾値より小さい場合にはより小さな値に補正するものである（１）項または（２）項に記載の画像処理方法。
【００１８】
上記２つの項に記載の態様は、特性値補正データに関する限定を加えた態様である。例えば、対象物の形状，寸法，画面内における存在位置等を認識する場合、対象物を際立たせるような画像であれば、認識を行い易い。また、対象物の輪郭（エッジ）を特定し、その特定結果に基づいて認識を行うような場合、輪郭の位置をより正確に特定可能である。（２）項に記載の態様は、例えばそのような場合に好適な態様であり、画面内において対象物が存在する部分の光学的特性値と、背景等，その対象物に隣接する部分の光学的特性値とのコンラストを強くするように補正するための補正データを用いる態様である。「コントラスト差を拡大する」態様には、平たく言えば、例えば、対象物が背景より明るい画像であれば、対象物をより明るく，背景をより暗くするような態様が含まれる。輝度差，明度差，彩度差等を大きくしたり、色相を違いをより明確にするといった態様が含まれる。何らかの手段で、対象物の光学的特性値と非対象物の光学的特性値とを予め取得しておき、その取得された特性値を基に、認識の目的に応じて適宜、適切な補正データを決定することもできる。（３）項に記載の態様は、画像における何らかの境界において光学的特性値が変化するような場合、その変化をより急激なものとする方向に補正を行う態様である。（２）項に記載の態様と同様、対象物の輪郭の特定等の際に好適な態様である。例えば、対象物の輪郭を挟んでその輪郭に近い両側の位置の各々における光学的特性値が既知である場合、それらの中間の値を閾値に設定すれば、対象物の輪郭の特定を容易に行うことができる。上記２つの項に記載の態様において、補正データは、変換テーブル等の形式で存在し、補正の際にその変換テーブル等が参照されるものであってもよく、また、式，関数等の形式で存在し、その式等に従った演算によって補正が行われるようなものであってもよい。また、補正データは１つに限られず、認識の目的，認識の箇所，対象物に隣接する画像の種類等応じ、複数の補正データを使い分けることも可能である。
【００１９】
（４）前記拠点選択工程が、前記対象物が理論形状寸法のものである場合の輪郭線である理論輪郭線に関係付けられた複数の基準点と１以上の基準線との少なくとも一方を有するテンプレートを利用し、そのテンプレートを設定された位置において前記画面に重ね合わせ、それら基準点と基準線との少なくとも一方によって規定される前記画面内の点を前記複数の認識拠点として選択するテンプレート利用選択工程を含む（１）項ないし（３）項のいずれかに記載の画像処理方法。
【００２０】
本項に記載の態様は、端的に言えば、認識拠点の選択においてテンプレートを利用する態様である。対象物の形状，寸法，画面内における存在位置等を認識する場合、理論形状寸法の対象物（以下、「理論対象物」という場合がある）を画像に重ね合わせ、その理論対象物と実際の対象物との相違状態から、その実際の対象物の認識処理を行うことが便利な場合が多い。本項に記載の態様は、そのような場合に好適な態様である。本項に記載の態様は、先に説明したところの本願出願人の発明に係る「テンプレート利用型画像処理」を、補正された光学的特性値に基づいて行うように改善した態様を含むものである。なお、対象物の認識処理を、物理画面上で行う場合は、画素に対応したテンプレートを物理画面に重ねればよく、仮想画面上で行う場合は、仮想画面に重ね合わせればよい。また、理論輪郭線は、必ずしもテンプレート上に実際に設定される必要はなく、基準線，基準点を設定するための仮想的なものであってよい。また、テンプレートは、対象物の輪郭のすべてに対応するものに限定されず、対象物の輪郭の一部分に対応するものであってよい。
【００２１】
（５）前記テンプレート利用選択工程において、前記複数の基準点として前記理論輪郭線を挟んで位置する基準点対を複数有するテンプレートを利用し、前記複数の基準点対の各々によって規定される複数の点を前記複数の認識拠点として選択する（４）項に記載の画像処理方法。
（６）前記対象物認識工程が、１つの前記基準点対によって規定される２つの認識拠点の拠点特性値の相違状態が設定閾状態を超えるときに、その２つの認識拠点についてそれらの一方が前記対象物の輪郭内に属しかつ他方が前記対象物の輪郭外に属する適合状態にあるとし、複数の基準点対によって規定される複数の認識拠点の対のうち設定数以上のものについて適合状態である場合に、前記対象物が前記テンプレートに適合すると判定する適合判定工程を含む（５）項に記載の画像処理方法。
（７）前記対象物認識工程が、前記対象物適合判定工程において前記対象物が前記テンプレートに適合すると判断された場合に、前記対象物の前記画面内における存在位置が前記理論輪郭線の存在する位置と概ね同じ位置であると推認する存在位置推認工程を含む（６）項に記載の画像処理方法。
【００２２】
上記３つの項に記載の態様は、例えば、画面内において対象物を捜索するのに好適な態様である。（５）項における基準点対は、ポイントペアと呼ぶことができるものであり、ポイントペアを構成する一方の基準点が対象物内に位置することが予定され、他方の基準点が対象物外に位置することが予定されたものである。したがって、対象物の画像における光学的特性値と対象物外の画像と光学的特性値との関係が既知であるような場合は、それぞれの基準点によって規定される認識拠点の光学的特性値がその関係にあるときには、それぞれの基準点が対象物の輪郭を挟んで位置すると判定することができる。（５）項に記載のテンプレートは、そのような判定を行うために用いることができる。なお、ポイントペアの数量のを変更する、各基準点の理論輪郭線からの離間距離を変更する等により、認識の目的に応じた種々の判定が行える。
【００２３】
上記（６）項に記載の態様は、（５）項に記載するテンプレートを利用した認識処理の一態様に関するものである。複数のポイントペアのうちのいくつかのものが適合状態にあれば、理論輪郭線と実際の対象物の輪郭線とがある程度一致しているみなすことができる。例えば認識エラーを考慮する等、種々のことを想定して設定数以上の適合状態をもって適合判定とするが、この態様には、すべてのポイントペアが適合状態である場合に適合判定を行う態様も含まれる。「テンプレートに適合する」とは、テンプレートが重ね合わされた位置における理論輪郭線で規定される理論対象物の存在位置と、実際の対象物が存在する位置とがある程度一致していることを含む概念であり、また、実際の対象物が存在する位置に理論対象物が重なりあう場合には、対象物の輪郭が理論対象物の輪郭と略一致していることを含む概念である。（７）項に記載の態様は、それらのうちの前者に関するものであり、例えば、テンプレートとの適合によって、画面内の対象物の概略位置を特定する態様が含まれる。なお、後者に関するものとして、対象物が認識対象であるか否か、つまり対象物自体が予定とは異なるものではないことを確認することに利用できる。また、対象物の存在位置が不明であってその対象物を捜索する場合、テンプレートを重ね合わせる位置を設定条件に従って変更しつつ（平行移動と回転とを含む）、適合判定が得られるまで判定を繰り返すようにすればよい。
【００２４】
（８）前記テンプレート利用選択工程において、前記１以上の基準線として前記理論輪郭線と交差する基準交線を複数有するテンプレートを利用し、それら複数の基準交線の各々によって規定される線上に並ぶ複数の点を前記複数の認識拠点として選択する（４）項に記載の画像処理方法。
（９）前記対象物認識工程が、前記複数の認識拠点の各々の拠点特性値に基づいて、前記複数の基準交線の各々によって規定される線上における前記対象物の輪郭の位置を特定する輪郭位置特定工程を含む（８）項に記載の画像処理方法。
（１０）前記対象物認識工程が、前記輪郭位置特定工程において特定された前記輪郭の位置に基づいて、前記対象物の前記画面内における存在位置と理論形状寸法に対する誤差との少なくとも一方を認識する存在位置・形状寸法誤差認識工程を含む（９）項に記載の画像処理方法。
【００２５】
上記３つの項に記載の態様は、例えば、対象物の輪郭、すなわち対象物のエッジを特定するために好適な態様である。（８）項における基準交線は、対象物の輪郭と交差することが予定された線であり、その線上において輪郭を探すツールであることから、シークラインと称することとする。画像を構成する光学的特性値は、対象物のエッジの近傍において連続的に変化することが多い。そのため、シークラインに沿った認識拠点の光学的特性値の変化によりエッジを捜索し、その位置、エッジの形状的特徴（例えば、切り立ったエッジ，丸みを帯びたエッジといった特徴）等を特定することが可能である。
【００２６】
上記（９）項に記載の態様は、シークライン上におけるエッジの存在位置を特定する態様である。例えば、シークライン上において、光学的特性値が最も急変する位置を、対象物のエッジが存在する位置として特定することができる。上記（１０）項に記載の態様は、特定されたエッジの位置を利用する認識処理の一態様である。理論輪郭線と、特定された対象物のエッジの位置との関係により、対象物の輪郭の歪み等の形状的な誤差，対象物の大きさの相違等の寸法的誤差等を認識することができる。また、テンプレートの重ね合わされた位置が既知である場合は、理論対象物の画面内の存在位置が既知であり、理論対象物に対しての実際の対象物の位置ずれを認識することができることで、その対象物の画面内の存在位置を認識することが可能である。
【００２７】
（１１）前記テンプレート利用選択工程において、前記１以上の基準線として前記理論輪郭線の外側あるいは内側にその理論輪郭線に沿って延びる基準沿線を有するテンプレートを利用し、前記基準沿線によって規定される線上に並ぶ複数の点を前記複数の認識拠点として選択する（４）項に記載の画像処理方法。
（１２）前記対象物認識工程が、前記複数の認識拠点の各々の拠点特性値に基づいて、前記対象物の輪郭形状を認識する輪郭形状認識工程を含む（１１）項に記載の画像処理方法。
【００２８】
上記２つの項に記載の態様は、例えば、対象物の輪郭の形状的欠陥、つまり、エッジに存在する欠陥等を認識するために好適な態様である。（１１）項における基準沿線は、対象物の輪郭と交差しないことが予定された線であり、その線上において対象物の輪郭が交差した場合に、対象物に何らかの異変があると判断できるため、その異変を探す機能を果たすことから、この基準沿線もシークラインと呼ぶことができる。（８）項におけるシークラインと区別するため、先のものをポジティブシークラインと呼び、本項のものをネガティブシークラインと称することにする。例えば、ネガティブシークラインを理論対象物の外に設定した場合、エッジの一部が曲がり等を生じて突出するときには、対象物の輪郭線がそのネガティブシークラインと交差する。逆に、ネガティブシークラインを理論対象物内に設定した場合、エッジの一部が欠損するようなときには、対象物の輪郭線がそのネガティブシークラインと交差する。
【００２９】
上記（１２）項に記載の態様には、ネガティブシークラインの特徴を利用し、ネガティブシークラインによって規定された認識拠点の光学的特性値の異変等から、対象物の輪郭形状、特に、輪郭形状の異変を認識するような態様が含まれ、その態様によれば、例えば、エッジに存在する欠陥を発見することができる。なお、ネガティブシークラインを利用した認識処理は、エッジの欠陥等だけではなく、シークライン上のいずれかの位置においてそのラインと対象物の輪郭線と交差するような場合において、対象物が位置ずれを生じていると判定するような態様で実施することも可能である。つまり、裏を返せば、ネガティブシークラインを用いた対象物の捜索も可能なのである。
【００３０】
（１３）部品保持デバイスによって保持された回路部品を位置が固定された回路基板に実装する部品実装作業において実施され、前記部品保持デバイスによって保持された回路部品の保持位置のずれあるいは回路基板の固定位置ずれを検出するために、回路基板に設けられた基準マークあるいは保持された回路部品を前記対象物として認識するための画像処理に適用される（１）項ないし（１２）項のいずれかに記載の画像処理方法。
【００３１】
部品実装作業は、高速で行うことを要求され、画像認識処理による回路部品，回路部品の位置ずれ量の検出等を迅速に行うことが望まれている。本発明の画像処理方法は、認識拠点という画面内の限られた点の画像データのみを扱って画像処理を行うことができるため、比較的短時間で上記位置ずれ量の検出等を行うことができ、部品実装作業に好適である。また、電子回路の小型化等に伴い、高い実装精度が求められる中、認識に好適な状態に補正されたデータを用いて画像処理を行う本発明の画像処理方法は、認識精度が高くすることができることから、実装精度という観点からも部品実装作業に好適である。
【００３２】
（２１）撮像されて得られた対象物を含む画面の画像データからその対象物を認識するための画像処理を行うためにコンピュータによって実行されるプログラムであって、
前記画像データを画素ごとの光学的特性値の集合として記憶する画像データ記憶ステップと、
前記画面内において複数の認識拠点を選択する拠点選択ステップと、
それら複数の認識拠点の各々における光学的特性値である拠点特性値を、それら複数の認識拠点の各々に対応する１以上の画素に記憶されている光学的特性値と、その光学的特性値を対象物の認識に好適な値に補正する特性値補正データとに基づいて取得する拠点特性値取得ステップと、
取得された各々の認識拠点の拠点特性値に基づいて前記対象物を認識する対象物認識ステップと
を含む画像処理プログラム。
（３１）（２１）項に記載の画像処理プログラムがコンピュータにより読み取り可能に記録された記録媒体。
【００３３】
上記２つの項に記載の態様は、それぞれ、前述の画像処理方法を実現するためのコンピュータプログラムおよびそのプログラムが記録された記録媒体に関するものである。それら２つの項について説明は、先の説明と重複するため、ここでの説明は省略する。なお、上記２つの項の各々に、前記（２）項ないし（１３）項に記載の技術的特徴を加えた態様で実施することも可能である。
【００３４】
【発明の実施の形態】
以下、本発明の実施形態を、部品実装作業に適用される場合を例とって説明する。また、以下の実施形態は、先に述べた「テンプレート利用型」の画像処理に関するものであり、その細部は〔従来の技術〕の項に掲げたところの、本出願人による先の出願に詳しく説明されていることから、一部の説明は省略するものとする。なお、本発明は、以下の実施形態に限定されるものではなく、以下の実施形態の他、前記〔発明が解決しようとする課題，課題解決手段および効果〕の項に記載された態様を始めとして、当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。
【００３５】
＜回路部品実装機の構成と部品実装作業＞
図１に本発明が適用される部品実装作業を行う回路部品実装機の１０の全体斜視図を示す。回路部品実装機１０（以下、単に「実装機１０」と略す場合がある）は、ベースモジュール１２と、ベースモジュール１２上に互いに隣接してかつ整列して配置された複数の実装モジュール１４と、実装機１０全体を制御する制御モジュール１６とを含んで構成されている。各実装モジュール１４は、ハード的には互いに同じ構成のものとされている。実装モジュール１４の並ぶ方向は、回路基板が搬送される方向とされており、回路基板は、図における左方に位置する実装モジュール１４から右方に位置する作業モジュール１４に向かって搬送され、順次、各実装モジュール１４におけるが部品実装作業が実行される。
【００３６】
図２は、２つの実装モジュール１４が配置された部分を示すものであり、右側の実装モジュール１４は、外装板等を取り外して示してある。この図が示すように、各々の実装モジュール１４は、モジュールの躯体として機能するフレーム２０と、フレーム２０に配置された種々の装置等を含んで構成されている。例えば、それぞれが並んで配設されて回路部品を所定の部品供給位置において１個ずつ供給する複数のテープフィーダ（以下、「フィーダ」と略すことがある）２２、回路基板１８を搬送する機能を有して所定の作業位置に回路基板１８を固定保持するコンベアユニット２４、実装ヘッド２６を有して、その実装ヘッド２６を作業領域内において移動させ、その実装ヘッド２６に部品実装作業を行わせる実装装置２８等である。本実施形態においては、実装ヘッド２６は、フィーダ２２から供給される回路部品を保持して取出し、その回路部品をコンベアユニット２４に固定された回路基板１８に実装する。
【００３７】
また、実装モジュール１４には、複数のフィーダ２２の群（以下、「フィーダ群」と呼ぶことがある）３０とコンベアユニット２４との間において、主に実装ヘッド２６に保持されている回路部品を撮像する部品カメラ（ＣＣＤカメラである）３２が配備されている。さらに、各々の実装モジュール１４は、自身を制御するモジュール制御装置３８（図２では省略、図４を参照）を有し、そのモジュール制御装置３８により、上記各装置等が制御されつつ動作する。また、実装モジュール１４の各々は、上部に入出力装置としての操作・表示パネル４０を備え、この操作・表示パネル４０は、モジュール制御装置３８につながっており、各種指令、情報等についてのオペレータ入力を受け付け、実装モジュール１４のステータス情報，後に説明する画像処理に関する情報等の表示等を行う。
【００３８】
複数のフィーダ２２の各々は、一般によく知られた構造のものであり、ここでは簡単に説明するが、テープ化された回路部品である回路部品テーピング（電子部品の場合は電子部品テーピングと呼ばれることがある）が巻き回されたリール４８を保持しており、リール４８から延び出すテーピングを実装装置２８の動作に対応して部品保持ピッチずつ送るとともに、カバーテープが剥がすことで、回路部品を部品供給位置において１つずつ供給するような構造とされている。
【００３９】
コンベアユニット２４は、コンベアベルトが周回するコンベア装置を主体とするものであり、前部コンベア６０および後部コンベア６２の２つのコンベア装置を含んで構成されている。前部コンベア６０および後部コンベア６２は、それぞれ、コンベアレール６４が移動して回路基板１８の幅に合わせてその幅が変更可能とされており、また、図示を省略するコンベアベルトが周回する構造とされ、回路基板１８は、そのコンベアベルトに支承されて移送される。コンベアユニット２４は、複数の実装モジュール１４の各々に備わっており、その各々のコンベアユニット２４は、実装機１０において、一直線上に位置するようにされている。各実装モジュール１４のコンベアユニット２４は、互いに協調して回路基板１８を搬送可能とされており、各コンベアユニット２４は、自身の作業領域内に移送されてきた回路基板１８を、設定された停止位置である作業位置に停止させる。コンベアユニット２４は、下部に、図示を省略する昇降装置によって昇降可能な回路基板支持板（以下、「支持板」と略すことがある）７６を有し、この支持板７６の上面には図示を省略する支持ピンが任意の位置に変更可能に設けられている。支持板７６が上昇させられることで、その支持ピンに支持されて回路基板１８が上昇し、コンベアベルトとの係合を解かれるとともに、コンベアレール６４の一部分と支持ピンとに挟持されて、回路基板１８が上記作業位置において固定される。
【００４０】
図３に示すように、実装装置２８は、実装ヘッド２６と、その実装ヘッド２６を作業領域内において略一平面に沿って移動させるヘッド移動装置８０とを含んで構成される。ヘッド移動装置８０は、ＸＹロボット型の移動装置であり、実装ヘッド２６を前後方向に移動させるＹスライド装置８２と、左右方向に移動させるＸスライド装置８４とを含んで構成される。実装ヘッド２６は、ヘッド移動装置８０により、フィーダ群３０とコンベアユニット２４において固定された回路基板１８とにわたって移動させられる。なお、Ｘスライド９６には、その下部に、マークカメラ（ＣＣＤカメラである）１００が設けられている。このマークカメラ１００は、主に回路基板１８の表面に付された基準マーク等を撮像する。マークカメラ１００は、実装ヘッド２６とともに、ヘッド移動装置８０によって移動させられる。
【００４１】
実装ヘッド２６は、概して軸状をなす実装ユニット１１０を複数備えて、インデックス回転する形式のものである。各実装ユニット１１０は、その下端部に回路部品を吸着保持する部品保持デバイスとしての吸着ノズル１１２を有している。また、各実装ユニット１１０は、自転可能とされているともに、１つのインデックス位置である昇降ステーションにおいて昇降可能とされている。実装ヘッド２６の動作を簡単に説明すれば、実装ヘッド２６がフィーダ群３０の上方に位置する状態で、実装ユニット１１０の１つが下降させられ、その実装ユニット１１０の有する吸着ノズル１１２がフィーダ２２の部品供給位置において供給される回路部品を吸着保持することによって、その実装ユニット１１０がその回路部品を取り出す。実装ユニット１１０が実装ヘッド２６の間欠回転軸線を中心として間欠的に周回させられて、順次、各々の実装ユニット１１０が回路部品を取り出す。各実装ユニット１１０が回路部品を保持した状態で、実装ヘッド２６は、コンベアユニット２４に固定保持された回路基板１８の上方に移動させられ、回路基板１８の上方において、昇降ステーションに位置する１つの実装ユニット１１０が、回路部品の回転位置を調整するために自転されられた後に下降させられ、その実装ユニット１１０が保持する回路部品を回路基板１８の表面に載置する。実装ユニット１１０は周回させられて、順次、各々の実装ユニット１１０が保持する回路部品を回路基板１８に載置する。
【００４２】
実装機１０は、各実装モジュール１４を制御するために各実装モジュール１４に配置されたモジュール制御装置３８と、各作業モジュール１４を統括して制御する作業機制御装置としての制御モジュール１６とによって制御されるが、作業の制御の中心をなす部分は、各モジュール制御装置３８に存在する。図４に、モジュール制御装置３８の制御に関するブロック図を示す。
【００４３】
モジュール制御装置３８は、コンピュータ１２０を主体とする制御装置であり、コンピュータ１２０は、ＣＰＵ１２２と、ＲＯＭ１２４と、ＲＡＭ１２６と、入出力インタフェース１２８と、それらを互いに接続するバス１３０とを有している。入出力インタフェース１２８には、それぞれ駆動回路１３２を介して、フィーダ群３０として配設された各フィーダ２２と、コンベアユニット２４と、実装ヘッド２６と、ヘッド移動装置８０とがそれぞれ接続されている。また、入出力インタフェース１２８には、コンピュータを主体とする画像処理を行う画像処理ユニット１４０が接続され、画像処理ユニット１４０には、部品カメラ３２およびマークカメラ１００が接続されている。この画像処理ユニット１４０については、後に詳しく説明する。また、操作・表示パネル４０およびハードディスクを主体とする外部記憶装置１４２も、入出力インタフェース１２８に接続されている。実装機１０は複数の実装モジュール１４の各々が各種信号をやり取りしあって動作を行うようにされているため、入出力インターフェース１２８には、通信回路１４４を介して、他の実装モジュール１４が接続されている。また、ホスト的な役割を果たす制御モジュール１６とも通信回路２００を介して接続されており、それとの間でも信号，情報等の通信が可能とされている。なお、外部記憶装置１４２には、実装モジュール１４の基本動作プログラム，回路基板１８に応じた実装プログラム等のアプリケーションプログラム，回路基板１８，回路部品などに関する各種データ等が記憶されており、また、実装作業等の際には、それらの中から必要なものがＲＡＭ１２６に転送されて記憶され、そのＲＡＭ１２６の記憶内容に基づいて実装作業等が行われる。制御モジュール１６も、コンピュータを主体とするものであるが、本発明とは関係が薄いため、説明を省略する。
【００４４】
１つの実装モジュール１４による部品実装作業を、説明すれば以下のようになる。まず、上流側から移送されてきた回路基板１８は、コンベアユニット２４によって、作業領域内の設定された作業位置に停止させられる。停止させられた回路基板１８は、その位置において、回路基板支持板７６が昇降装置によって上昇させられることにより、コンベアユニット２４によって固定保持される。
【００４５】
次いで、ヘッド移動装置８０によってマークカメラ１００が回路基板１８に付された基準マークの上方に移動させられ、基準マークが撮像される。詳しく説明すれば、回路基板１８には、その対角において設定された位置に２つの基準マーク付されており、マークカメラ１００は、正規の位置に回路基板１８が固定された場合における基準マークの各々の真上の位置に移動させられ、その位置において基準マークの各々が撮像される。回路基板１８が正規の位置にある場合は、基準マークはそれぞれ、撮像視野の中心、すなわち撮影画面の中心に位置することになる。しかし、一般に、回路基板１８は、平行移動的な位置ずれを生じているとともに、回転角度位置においてもずれを生じている。そのため、それぞれの基準マークは撮影画面の中心から外れて撮像されることなる。後に説明する画像処理においては、それぞれの基準マークの画面中心からの上記ずれ量が求められる。そして、そのずれ量に基づいて、幾何学的な演算処理が行なわれて、回路基板１８の固定位置のずれ量が検出されるのである。
【００４６】
次に、実装ヘッド２６がフィーダ群３０の上方に移動させられ、設定された取出順序に従って、回路部品が吸着ノズル１１２に吸着保持される。詳しくは、昇降ステーションに位置する実装ユニット１１０が、保持対象とされた回路部品を供給するフィーダ２２の部品取出位置の上方に位置させられて、その位置でその実装ユニット１１０が下降させられ、その先端に保持された吸着ノズル１１２に負圧が供給されて、その回路部品を吸着保持する。そして実装ユニット１１０が周回させられ、次の実装ユニット１１０に関する同様の部品取出動作が行われる。このようにして、実装ヘッド２６が備える実装ユニット１１０について、順次、部品取出動作が行われる。
【００４７】
次に、回路部品を保持した実装ヘッド２６は、部品カメラ３２の上方に移動させられる。その位置において、部品カメラ３２は、各実装ユニット１１０に保持されたすべての回路部品を一視野内に収めて撮像する。実装ヘッド２６の間欠回転中心が、部品カメラの撮像視野の中心、つまり撮影画面の中心に位置するように撮像される。上記間欠回転中心に対するそれぞれの実装ユニット１１０の自転中心（軸心）の位置関係が求められていることから、各実装ユニット１１０の自転中心の撮影画面内における位置も既知のものとされており、また、撮像時における各実装ユニット１１０の自転角度も認識されている。後に説明する画像処理においては、各実装ユニット１１０に保持された回路部品のそれぞれが、その撮影画面内における各実装ユニット１１０の自転中心からどれだけ位置ずれ（ＸＹ方向位置および回転位置のずれ）を生じているのが求められる。それにより、それぞれの回路部品の保持位置のずれ量が検出されるのである。
【００４８】
続いて、実装ヘッド２６は、回路基板１８の上方まで移動させられ、保持された回路部品が、設定された実装順序に従って、回路基板１８の表面に載置される。詳しくは、まず、昇降ステーションに位置する実装ユニット１１０が自転させられて回路部品の回転角度位置が調整されるとともに、その実装ユニット１１０が定められた実装位置に回路部品を載置可能な位置に実装ヘッド２６が移動させられる。その際、先に説明したところの検出された回路基板１８の固定位置のずれ量，回路部品の保持位置のずれ量に基づいて、各実装ユニット１１０の自転角度が適正化されるとともに、実装ヘッド２６の移動位置が適正化される。そして、その位置において、実装ユニット１１０が所定距離下降させられ、吸着ノズル１１２に正圧が供給されて、保持された回路部品が回路基板１８の表面に載置される。続いて実装ユニット１１０が周回させられ、次の実装ユニット１１０に関する同様の載置動作が行われる。つまり、部品実装作業においては、検出された回路基板１８の固定位置のずれ量，回路部品の保持位置のずれ量に基づいた補正が行われつつ、回路部品の載置が行われるため、回路部品は、回路基板１８上の設定された実装位置に正確に実装されるのである。
【００４９】
予定された全ての回路部品についての実装作業が終了するまで、実装ヘッド２６がフィーダ群３０と回路基板１８との間を往復させられて、上記部品取出動作、部品載置動作が繰り返し行われる。全ての回路部品の実装が終了した後、回路基板１８の固定保持が解除され、その回路基板１８は、コンベアユニット２４によって下流側へ移送される。このようにして、その回路基板１８に予定されたその実装モジュール１４による部品実装作業が終了する。
【００５０】
＜画像処理ユニット＞
上述したところの、マークカメラ１００，部品カメラ３２による基準マークおよび回路基板の撮像の制御、回路基板１８の固定位置のずれ量および回路部品の保持位置のずれ量の検出のための画像処理は、上記画像処理ユニット１４０によって行われる。図５に、画像処理ユニット１４０のブロック図を示す。
【００５１】
画像処理ユニット１４０はコンピュータを主体とするものであり、ＣＰＵ１５４，ＤＲＡＭ（ダイナミックラム）１５６，ＳＲＡＭ（スタティックラム）１５８，ＰＲＯＭ（プログラマブルロム）１６０，漢字ＲＯＭ１６２，フレームグラバメモリ１６４，および４面分のオーバレイ表示メモリ１６６を有し、これらは基板１６７上の図示しない内部バスによって互に接続されている。
【００５２】
上記内部バスにはまた、２チャンネルのシリアルインタフェース１７０が接続され、入力装置１７２が接続可能とされている。通常、オペレータによるマニュアルの入力は、実装モジュール１４の操作・表示パネル４０から行われるが、画像処理ユニット１４０の調整時等に、別途、入力装置１７２を接続して、その入力装置１７２から必要な情報が入力可能とされているのである。
【００５３】
バスにはまた、イーサネットインタフェース１７４（イーサネットは登録商標である）およびメモリカードインタフェース１７６が接続されている。インサーネットインタフェース１７４は、モジュール制御装置３８との間（あるいは、オプションとして接続される外部の制御機器との間）で、Ｐ１コネクタ１６８を介してデータ交換を行う。具体的には、回路部品，回路基板１８に関するデータ、後に説明するテンプレートの設定データ等がイーサネットインタフェース１７４を介してやり取りされる。メモリカードは、画像処理を行うために予め作成されたプログラムが記憶されたものであり、画像処理ユニット１４０にセットされれば、ＣＰＵ１５４がＰＲＯＭ１６０を使用してメモリカード内のプログラムやプログラムの実行に必要なデータをメモリカードインタフェース１７６を介して読み出し、ＤＲＡＭ１５６に記憶させる。
【００５４】
バスには更に、ＣＣＤカメラインタフェース１８０が接続され、前記部品カメラ３２および前記マークカメラ１００が接続されている。これらのカメラ３２，１００の撮像により得られた回路部品，基準マークの画像データはＣＣＤカメラインタフェース１８０を介してそれぞれフレームグラバメモリ１６４に格納される。図では省略しているが、フレームグラバメモリ１６４は複数設けられており、複数の画像データが各フレームグラバメモリ１６４に順次格納されるようにされている。フレームグラバメモリ１６４にはまた、ＬＳＯバス１８２，ラインセンサ基板インタフェース１８４が接続され、ラインセンサの撮像により得られる画像データがフレームグラバメモリ１６４に記憶されるようになっている。ＣＣＤカメラに代えてラインスキャンカメラ等のラインセンサによって撮像された画像データに基づく画像処理も可能とされているのである。
【００５５】
バスにはさらに、ＣＲＴインタフェース１８６が接続され、モニタＣＲＴ装置１８８が接続可能とされている。通常、画像処理ユニット１４０からの情報は、前述の操作・表示パネル４０に表示されるが、調整時等において、モニタＣＲＴ装置１８８が接続され、そのモニタＣＲＴ装置１８８での表示が可能とされているのである。画像処理ユニット１４０による出力画像は、カラー表示およびモノクロ表示の両方が可能である。前述のように、カメラ３２，１００での撮像により得られた複数のモノクロ画像の画像データが、フレームグラバメモリ１６４に並列的に格納されるようになっており、一方オーバレイ表示メモリ１６６は、画像を１６色のカラーで表示するカラー画像データを記憶し得るメモリを複数面分備えている。モニタＣＲＴ装置１８８には、上記モノクロ画像に、上記４面分のカラー画像のうちモノクロ画像に対応するものが重ねて表示され、画像処理の経過や結果が、操作・表示パネル４０やモニタＣＲＴ装置１８８に表示可能となっている。
【００５６】
＜画像処理＞
以下に、本発明の実施形態として、１つの実装ユニット１１０に保持された回路部品を対象物とした画像処理を例にとって、それの説明を行う。図６に、１つの実装ユニット１１０によって保持された回路部品２００を部品カメラ３２によって撮像した画像を示す。本実施形態では、説明を単純化するために、回路部品２００は、長方形に撮像される形状のものとする。また、回路部品２００の画像は、その周囲に隣接する背景部分２０２より高輝度に撮像されるものとする。そして、認識処理においては、理論形状寸法の回路部品である理論回路部品２０４に対しての寸法誤差ｌｘ−ｌｘ０，ｌｙ−ｌｙ０、保持位置のずれ量、すなわち正規位置（回路部品２００の中心Ｏが実装ユニット１１０の軸心Ｏ０上に位置する位置）からのＸ方向のずれ量ΔＸ，Ｙ方向のずれ量ΔＹおよび回転角度位置のずれ量θを検出するものとし、また、その回路部品２００の形状の良否、詳しくは、それの輪郭であるエッジ２０６の形状の良否を検査するものとする。
【００５７】
ｉ）物理画面，仮想画面および画像処理プログラム
本実施形態では、物理画面、仮想画面という２つの概念的な画面を利用して画像処理が行われる。図７に、物理画面，仮想画面および画像処理プログラムの相互関係を概念的に示す。物理画面２１０は、撮像によって得られてフレームグラバメモリ６４に格納された画像データによる物理画像が存在する画面であり、部品カメラ３２の画素に対応したマトリクスとして構成されている。仮想画面２１２は、画素に拘束されない、言い換えれば、画像を単位としない仮想画像が存在する画面である。
【００５８】
画像処理の多くの部分は、所定の画像処理プログラムが画像処理ユニット１５０によって実行されることによって行われる。回路部品２００の保持位置のずれ量の検出等の上記認識処理は、仮想画面上の仮想画像を対象に行われ、その認識処理を行うための認識処理プログラムは、画像処理アプリケーションソフトウェア２１４の一種であり、先に説明したように、メモリカードに格納されており、実装作業に先立ってＤＲＡＭ１５６に読み込まれる。認識処理の実行においては、物理画面上のデータを仮想画面上のデータに変換する必要があり、その都度、所定の画像データ変換プログラム（画像データ変換サブルーチン）が呼び出されて、それが実行される。その変換プログラムは、物理画面／仮想画面変換ドライバ２１６の一種であり、認識処理プログラムと同様、メモリカードに格納されており、実装作業に先立ってＤＲＡＭ１５６に読み込まれる。
【００５９】
本実施形態では、物理画像のデータ，仮想画像のデータとして、光学特性値の一種である輝度が用いられる。つまり、フレームグラバメモリ６４には、画素に対応した輝度データが格納されており、変換プログラムによって、この輝度データが、仮想画像の輝度データへ変換されるのである。なお、本実施形態では、輝度データは、０〜２５５の階調値として格納されており、変換された輝度データも階調値である。
【００６０】
また、後に詳しく説明するが、本実施形態では、この輝度データは、上記変換の際に、認識処理に好適な値に補正される。この補正は、定められた条件に従って行われる。メモリカードには、光学的特性値補正データとしての輝度補正データがテーブル形式で格納されており、その補正データは、実装作業に先立ってＤＲＡＭ１５６に読み込まれることで、ルックアップテーブル２１８がＤＲＡＭ１５６上に設定される。上記輝度データの変換は、このルックアップテーブル２１８を参照しつつ行われるのである。
【００６１】
以下、本実施形態の画像処理について、上記画像データの変換処理と、認識処理とに分けて説明する。
【００６２】
ｉｉ）画像データの変換
上述のように、画像データの変換は、画像データ変換プログラム（画像データ変換サブルーチン）が実行されることによって行われる。具体的には、認識処理プログラムによって仮想画面上の選択された点である認識拠点における輝度データが、物理画面上のその認識拠点における輝度データと、上記補正データとに基づいて演算されるのである。図８に、画像データ変換プログラムのフローチャートを示す。以下、このフローチャートに従って説明する。また、図９に、画像データの変換における補完演算の手法を概念的に示し、以下、適宜この図を参照しつつ説明を行う。
【００６３】
まず、ステップ１（以下、「Ｓ１」と略す。他のステップも同様とする。）において、認識処理プログラムにおいて選択された認識拠点に対応する画素が選出される。物理画面は、直交座標（後の仮想画面におけるＸＹ座標と区別するため、以後「ＵＶ座標」と呼ぶ）によって規定されるマトリクスとされており、物理画面上の画像データは、画素の中心点の座標位置（ｕ，ｖ）（ｕ，ｖはともに整数の値をとる）に対応付けられた輝度値とされている。認識拠点は、ＵＶ座標に対応付けられたＸＹ座標で規定される仮想画面上の点（ｘ，ｙ）（ｘ，ｙは整数値に限られない）として選択される。Ｓ１では、図８に示すように、選択された認識拠点（ｘ，ｙ）に対応する点（ｕ０，ｖ０）（ｕ０，ｖ０は整数とは限らない）を囲む４つの画素中心点（ｕ´，ｖ´），（ｕ´＋１，ｖ´），（ｕ´，ｖ´＋１），（ｕ´＋１，ｖ´＋１）が選出される（これらは、いずれも整数値となる）。この４つの画素中心点は、後に説明する線形補完の基になる点（補完基点）である。
【００６４】
次に、Ｓ２において、上記４つの補完基点の各々における輝度データｆ０が読み出され、ルックアップテーブルである輝度補正テーブルを参照しつつ、その輝度データが補正される。図１０に、輝度補正テーブルの補正データの内容を示す。この補正データは、ある回路部品２００についてのものであり、一例としてのものである。図に示す補正データは、具体的に言えば、対象とする回路部品２００の物理画面上の画像は、所定の撮像条件において、輝度値が１７０程度に撮像され、また、それに隣接する背景部分２０２の画像は、輝度値が６０程度に撮像されることが把握されている（輝度値が大きいほど高輝度である）。補正データは、その場合において、回路部品２００と背景部分２０２とのコントラスト差を大きくするデータである。また、回路部品２００のエッジの輝度が概ね１２０であることも把握されており、その値を閾値としてその値以上の輝度の場合には、その輝度をさらに高くするとともに、その値未満の輝度の場合は、その輝度をさらに低くするように補正するものである。なお、輝度補正テーブルは、いくつかのパターンのものが設定されており、回路部品２００および認識処理の目的、手法等に応じて選択される。どのパターンのものを採用するかは、前述の実装プログラムにおいて定められており、画像処理ユニット１４０は、モジュール制御装置３８からその採択情報を取得し、採択情報に基づいて採用する輝度補正テーブルが決定される。
【００６５】
補正値δｆは、補正前輝度値ｆ０に対応付けられた値であり、補正後の輝度値ｆは、
ｆ＝ｆ０＋δｆ
という式で求められる。選出された４つの補完基点の補正前の輝度値ｆ０（ｕ´，ｖ´），ｆ０（ｕ´＋１，ｖ´），ｆ０（ｕ´，ｖ´＋１），ｆ０（ｕ´＋１，ｖ´＋１）が取得され、上記式に基づいて、それぞれの補完基点の補正後の輝度値ｆ（ｕ´，ｖ´），ｆ（ｕ´＋１，ｖ´），ｆ（ｕ´，ｖ´＋１），ｆ（ｕ´＋１，ｖ´＋１）が算出される。
【００６６】
次のＳ３において、算出された上記４つ補完基点の補正後の輝度値ｆを基に、前記点（ｕ０，ｖ０）における輝度値が線形補完によって求められる。まず、点（ｕ０，ｖ０）が上記４つの画素中心点内のどの位置に位置するか、具体的には、図９に示すα，βの値が求められる。そして、そのα，βの値を用い、
ｆ（ｕ０  ，ｖ０  ）＝ｆ（ｕ´，ｖ´）（１−α）（１−β）＋ｆ（ｕ´＋１，ｖ´）α（１−β）＋ｆ（ｕ´，ｖ´＋１）（１−α）β＋ｆ（ｕ´＋１，ｖ´＋１）αβ
という式に従って、線形補完がなされ、点（ｕ０，ｖ０）における輝度値ｆ（ｕ０  ，ｖ０  ）が算出される。このｆ（ｕ０  ，ｖ０  ）は、すなわち、認識拠点（ｘ，ｙ）における拠点特性値としての輝度値ｆ（ｘ，ｙ）である。
【００６７】
このように、画像データ変換プログラムによれば、上記のステップにしたがって、仮想画面上の認識拠点における拠点特性値としての輝度データが取得される。なお、本実施形態のように線形補完を行うことで、画素ピッチより細かい画像データを取得でき、精度の高い対象物の認識が可能とされているのである。
【００６８】
ｉｉｉ）回路部品の認識処理
回路部品の認識処理は、前述の認識処理プログラムが実行されることによって行われる。図１１に、認識処理プログラムのフローチャートを示す。認識処理は、捜索工程，再捜索工程，測定工程，再測定工程，検査工程の５つの工程に区分することができ、それぞれの工程は、Ｓ１０〜Ｓ５０の５つのルーチンである捜索ルーチン，再捜索ルーチン，測定ルーチン，再測定ルーチン，検査ルーチンの５つのルーチンが順次実行されて行われる。以下、各工程を順に説明する。
【００６９】
ａ）捜索工程
捜索工程は、回路部品２００が、画面内の概ねどの存在位置に位置するかを認識ための工程である。図１２に、捜索工程を行うために実行される捜索ルーチンのフローチャートを示す。
【００７０】
捜索工程では、まず、Ｓ１１において、捜索テンプレートが設定される。図１３に捜索テンプレートの概念図を示す。捜索テンプレート２２０は、理論形状寸法を有する理論回路部品２０４のエッジを示す線である理論輪郭線２２２に関係付けられた複数の基準点ＳＰ１〜ＳＰ８，ＳＰ１’〜ＳＰ８’を有している。詳しくは、理論回路部品２０４の各コーナ付近に８組の基準点対であるポイントペアＳＰ１−ＳＰ１’〜ＳＰ８−ＳＰ８’（以下、総称として、「ＳＰｎ−ＳＰｎ’」と呼ぶことがある。）を有している。各ポイントペアを構成する一方の基準点ＳＰ１〜ＳＰ８は、回路部品２００の画像内に位置することが予定された点であり、他方の基準点ＳＰ１’〜ＳＰ８’は、回路部品２００の画像外つまり背景部分２０２に位置することが予定された点である。つまり、各ポイントペアＳＰｎ−ＳＰｎ’を構成する各々の基準点ＳＰｎ，ＳＰｎ’は、理論輪郭線２２２を挟むように位置しているのである。なお、本捜索テンプレート２２０では、基準点ＳＰ１とＳＰ８のように、２つの点が同じ位置に位置するものも存在する。また、本実施形態においては、各ポイントペアＳＰｎ−ＳＰｎ’を構成する２つの基準点ＳＰｎ，ＳＰｎ’は、それらを結ぶ直線が理論輪郭線２２２と直交し、かつ、各基準点ＳＰｎ，ＳＰｎ’の理論輪郭線２２２からの距離は等しくされている。
【００７１】
捜索テンプレート２２０の設定データは、回路部品ごとに異なるものであり、モジュール制御装置３８の外部記憶装置１４２に格納されている。実装に供される回路部品に付いての設定データ選択され、実装作業に先立って、画像処理ユニット１５０に送られ、ＤＲＡＭ１５６に格納される。Ｓ１１においては、このＤＲＡＭ１５６に格納されたデータの中から、画像処理を行う回路部品２００のものが選択され、その選択されたデータに基づいて設定される。
【００７２】
次に、Ｓ１２において、捜索テンプレート２２０が仮想画面における初期位置に重ね合わされる（図６参照）。初期位置は、理論回路部品２０４が正規位置に位置する場合の位置、つまり保持位置のずれが生じていない場合の位置である。捜索テンプレート２２０が重ね合わされることで、ポイントペアＳＰｎ−ＳＰｎ’の各々の基準点ＳＰｎ，ＳＰｎ’は、仮想画面２１２上における認識拠点とされるのである。つまり，テンプレートを重ね合わせることにより、認識拠点が選択されるのである。
【００７３】
続いて、Ｓ１３において、捜索テンプレート２２０と回路部品２００（厳密には、回路部品２００の仮想画像）との適否が判定される。図１４に、適合状態と不適合状態とを例示する。図１４（ａ）は適合状態であり、各ポイントペアＳＰｎ−ＳＰｎ’のいずれも、それらを構成する一方の点ＳＰｎが回路部品２００内に位置し（回路部品２００の輪郭内に属し）かつ他方の点ＳＰｎ’が回路部品２００の外に位置する（回路部品２００の輪郭外に属する）状態となっている。これに対し、不適合状態を示す図１４（ｂ）では、いずれかのポイントペアＳＰｎ−ＳＰｎ’において、それを構成する２つの基準点ＳＰｎ，ＳＰｎ’の両者がともに回路部品２２０内に位置するかあるいは回路部品２００の外に位置する状態となっている。
【００７４】
適否の判定は、具体的は、以下のように行われる。まず、認識拠点とされた各ポイントペアＳＰｎ−ＳＰｎ’を構成するそれぞれの基準点ＳＰｎ，ＳＰｎ’の輝度値が、前述の画像データ変換サブルーチンが実行されることによって求められる。なお、この輝度値には、前述したように、コントラスト差を拡大する補正が行われている。次いで、各ポイントペアＳＰｎ−ＳＰｎ’について、各認識拠点ＳＰｎ，ＳＰｎ’における輝度値の差分ｆ（ＳＰｎ’）−ｆ（ＳＰｎ）が求められ、その差分によって判断される。回路部品２００の輪郭線２０６がポイントペアＳＰｎ−ＳＰｎ’の間に位置する場合、両者にはそれ相当の輝度差が存在するはずであり、本実施形態では設定された閾値（閾状態の一種である）として５０を採用し、すべてのポイントペアＳＰｎ−ＳＰｎ’に関して、
｜ｆ（ＳＰｎ’）−ｆ（ＳＰｎ）｜＞５０
という条件が成立する場合に、その回路部品２００は重ね合わされた捜索テンプレート２２０に適合するものと判断される。なお、本実施形態においては、すべてのポイントペアに付いて上記条件が成立しなければならないとされているが、すべてではない所定の数のポイントペアについて所定条件が成立する場合に、適合状態と判断するような処理とすることもできる。
【００７５】
いずれかのポイントペアにおいて上記条件が成立しない場合は、Ｓ１４において捜索テンプレート２２０が移動させられ、その移動させられた位置において、Ｓ１３の判定が再度行われ、適合状態となるまで、それらの処理が繰り返される。Ｓ１４における捜索テンプレート２２０の移動は、設定された条件に従って行われる。図１５に、捜索テンプレート２２０が移動する様子を模式的に示す。まず、捜索テンプレート２２０は、中心位置を固定したまま、設定回転角度位置範囲内（例えば、−４５゜〜４５゜）において、その中心位置を中心に設定角度（例えば、１゜，５゜等）ずつ回転させられる。各回転角度位置において、上記適合判定が行われる。次に、所定距離だけＸ方向における正方向に、移動させられ、その位置において上記設定回転角度位置範囲内の各回転角度位置における適合判断が行われる。続いてＹ方向に上記所定距離だけ、さらに続いてＸ方向における逆方向に上記所定距離だけといった具合に、初期位置から角形の螺旋状に移動させられ、各移動位置において各回転角度位置ごとの判定がなされるのである。
【００７６】
Ｓ１３の適合判定において、適合状態であると判定された場合、Ｓ１５において、捜索終了処理がなされる。捜索終了処理では、適合状態にある場合における捜索テンプレート２２０の移動位置および回転角度位置が記憶される。捜索終了処理がなされて、捜索工程は終了する。なお、フローチャートでは省略しているが、捜索テンプレート２２０を設定された移動範囲まで移動させた場合に、いずれの移動位置においても適合状態とならなかったときには、その回路部品は不適当であるとして、その回路部品ついての実装動作が行われないようにされる。例えば、回路部品を正規の面とは異なった面において吸着したような場合（いわゆる「チップ立ち」）には、適合状態と判定されず、そのような事象に起因する実装不良を未然に防止することが可能である。
【００７７】
ｂ）再捜索工程
上記捜索工程では、回路部品２００の概略の存在位置が認識された。本再捜索工程では、より正確な存在位置を認識すべく、回路部品２００の存在位置が捜索される。図１６に、再捜索工程を行うために実行される再捜索ルーチンのフローチャートを示す。
【００７８】
再捜索工程では、まず、Ｓ２１において、再捜索テンプレートが設定される。図１７に、再捜索テンプレートが回路部品２００に重ね合わされた状態を概念的に示す。再捜索テンプレート２３０は、前述の理論輪郭線２２２に関係付けられて理論輪郭線２２２と直角に交差する８つの基準交線ＳＬ１〜ＳＬ８（総称として「ＳＬｎ」と呼ぶことがある）を有している。再捜索工程では、回路部品２００のエッジのこれら基準交線ＳＬｎ上における位置を特定する。本工程は、言い換えれば基準交線ＳＬｎ上においてエッジ２０６の位置を探す工程を含むものであることから、基準交線ＳＬｎをシークラインＳＬｎと呼ぶことにする。また、各シークラインＳＬ１〜ＳＬ８におけるエッジ２０６の位置を示す点をエッジ点Ｅ１〜Ｅ８と呼ぶ（総称として「Ｅｎ」と呼ぶことがある）。シークラインＳＬｎは、回路部品２００内からその外部へ向かって方向付けられた線分であり、それの始点および終点のそれぞれは、捜索テンプレート２２０における各ポイントペアＳＰｎ−ＳＰｎ’を構成する各々の基準点ＳＰｎ，ＳＰｎ’とされている。なお、再捜索テンプレート２３０の設定データは、捜索テンプレート２２０と同様、実装作業に先立ってモジュール制御装置３８の外部記憶装置１４２から送られて画像処理ユニット１４０のＤＲＡＭ１５６に格納されており、画像処理を行う回路部品のもが選択されるようになっている。
【００７９】
次のＳ２２において、再捜索テンプレート２３０が、図１７に示すように仮想画面上に重ね合わされる。重ね合わせる位置は、捜索工程終了時において捜索テンプレートが存在していた位置である。図１８に、１つのシークラインＳＬｎと回路部品２００のエッジおよび理論輪郭線２２２との関係を模式的に示す。図のように、シークラインＳＬｎ上には、それを等ピッチに分割する１５の基準点Ｐ１〜Ｐ１５（総称として「Ｐｎ」と呼ぶことがある）が設定されている。基準輪郭線２２２はシークラインＳＬｎを２等分するものであり、基準点Ｐ８において、シークラインＳＬｎと直角に交差する。Ｓ２２では、これらシークラインＳＬｎの基準点Ｐ８の各々で規定される点が認識拠点として選択される。
【００８０】
続くＳ２３において、ある１つのシークラインＳＬｎにおけるエッジ点Ｅｎの位置が特定される。まず、認識拠点とされた基準点Ｐｎ（本工程において「認識拠点Ｐｎ」と呼ぶことがある）の輝度値が求められる。具体的には、先に説明したように、画像データ変換サブルーチンによって、物理画面上の輝度値から仮想画面上の各認識拠点Ｐｎにおける輝度値が演算されるのである。図１９に、その演算によって求められた各認識拠点Ｐｎおける輝度値を表にして示す。なお、この表には、前述のコントラスト差を大きくする補正を行った輝度値の他に、その補正を行わなかったとした場合の輝度値を参考として掲げてある。次に、隣接する認識拠点Ｐｎ間の輝度の差分が演算される。具体的には、隣接拠点輝度差Δｆ（Ｐｎ＋１−Ｐｎ）が、下式
Δｆ（Ｐｎ＋１−Ｐｎ）＝ｆ（Ｐｎ＋１）−ｆ（Ｐｎ）  ・・・・（３）
によって求められる。図２０に、その演算結果を、上記補正を行わなかったとした場合をも含めて示す。また、図２１に、その演算結果をグラフにして示す。
【００８１】
図１９から解るように、１つのシークラインＳＬｎにおいて、各認識拠点Ｐｎの輝度値は、回路部品２００側から背景部２０２側に向かうにつれて、輝度値が小さくなる。このシークラインＳＬｎ上におけるエッジ点Ｅｎは、認識拠点Ｐｎで区切られるいずれかの区間であって、輝度値の変化が最も大きな区間つまり隣接拠点輝度差Δｆ（Ｐｎ＋１−Ｐｎ）の絶対値が最も大きい区間内に存在する。図１９および図２０から解るように、補正を行わなかった場合、区間Ｐ６−Ｐ７，区間Ｐ７−Ｐ８，区間Ｐ８−Ｐ９ともに同じ差分値であるため、どの区間であるか特定できない。ところが、本実施形態のように、コントラスト差を拡大する補正を行った場合は、区間Ｐ７−Ｐ８の差分値が大きく、エッジ点Ｅｎが存在する区間を容易に特定することが可能である。
【００８２】
このＳ２３での１つのシークラインＳＬｎにおけるエッジ点Ｅｎの位置の特定は、Ｓ２４の判断により、すべてのシークラインＳＬｎについて行われ、それらにおける各エッジ点Ｅｎの存在位置が特定される。なお、Ｓ２３では、エッジ点Ｅｎは、上記認識拠点Ｐｎで区切られる区間の中点の位置に存在するものと推定される。
【００８３】
次に、Ｓ２５において、仮想画面上における回路部品２００の存在位置が演算により求められる。再捜索テンプレート２３０の重ね合わされた位置は既知であり、また、各シークラインＳＬｎ，各認識拠点Ｐｎの位置も既知であることから、仮想画面上のエッジ点Ｅｎの存在する位置が幾何学的な演算により求められる。具体的には、回路部品２００輪郭をなす長方形の各辺がその辺に対応する２つのエッジ点Ｅｎにより規定され、その結果から、仮想画面を構成する座標における回路部品２００の中心ＯのＸ方向およびＹ方向の位置、回転角度位置が特定されるのである。続くＳ２６の再捜索終了処理において、上記特定された存在位置が記憶され、再捜索工程が終了する。
【００８４】
ｃ）測定工程
測定工程では、理論回路部品２０４に対する回路部品２００の寸法誤差の測定が行われるとともに、回路部品２００のより正確な仮想画面上の存在位置が認識される。図２２に、測定工程を行うために実行される測定ルーチンのフローチャートを示す。
【００８５】
測定工程では、まず、Ｓ３１において、測定テンプレートが設定される。図２３に、測定テンプレートを概念的に示す。測定テンプレート２４０も、前述の理論輪郭線２２２に関係付けられて理論輪郭線２２２と直角に交差する複数の基準交線であるシークラインＳＬを有している。再捜索テンプレートと比較して、シークラインＳＬの数が多く、また、各シークラインＳＬの長さは短くされている。既にある程度正確な存在位置が認識されており、さらに正確な存在位置を認識するために、シークラインＳＬの態様が、再捜索テンプレート２３０のものと異なるのである。測定テンプレート２４０の設定データは、捜索テンプレート２２０等と同様、実装作業に先立ってモジュール制御装置３８の外部記憶装置１４２から送られて画像処理ユニット１４０のＤＲＡＭ１５６に格納されており、画像処理を行う回路部品のもが選択されるようになっている。
【００８６】
次のＳ３２において、測定テンプレート２４０が仮想画面上に重ね合わされる。重ね合わせる位置は、再捜索工程によって取得された回路部品２００の存在位置に基づいて決定される。測定工程の場合、再捜索工程における場合と比較して、より小さな等ピッチに各シークラインＳＬの分割する複数の基準点が設定されている。Ｓ３２では、これらシークラインＳＬの基準点の各々で規定される点が認識拠点として選択される。
【００８７】
続くＳ３３において、ある１つのシークラインＳＬにおけるエッジ点Ｅの位置が特定される。まず、再捜索工程の場合と同様、まず、画像データ変換サブルーチンが実行されて、認識拠点Ｐにおける輝度値が求められる。測定工程においても、各認識拠点Ｐにおける輝度値の変化の程度によってエッジ点Ｅが特定されるが、再捜索工程において区間として特定されたのと異なり、各認識拠点Ｐの輝度値に基づいて補完的な演算を行うことによりエッジ点Ｅの座標位置が特定される。具体的な演算方法は省略するが、認識拠点Ｐのピッチより細かな位置においてエッジ点Ｅの位置が認識されることになる。再捜索工程の場合と同様、Ｓ３４のにより、すべてのシークラインＳＬについて、各エッジ点Ｅの存在位置が特定される。
【００８８】
次のＳ３５において、回路部品２００の理論寸法に対する寸法誤差が演算により求められる。簡単に説明するが、回路部品２００は長方形をなし、互いに向かい合う各辺には、互いに向かい合う位置に設定されたシークラインＳＬの対が複数存在する。これら対をなすシークラインＳＬ上の各エッジ点Ｅ間の距離を求め、長辺側，短辺側の各シークラインＳＬの対についてのエッジ点Ｅ間の距離の平均を求め、それと理論寸法と比較することにより、前述の寸法誤差ｌｘ−ｌｘ０，ｌｙ−ｌｙ０（図６参照）が求められるのである。
【００８９】
続く、Ｓ３６において、回路部品２００の仮想画面上の存在位置が演算により求められる。簡単に説明すれば、まず、先に求められた寸法誤差ｌｘ−ｌｘ０，ｌｙ−ｌｙ０に基づいて、理論輪郭線２２２が変更される。次いで、エッジ点Ｅの前記変更された輪郭線からの変位が求められ、この変位に基づいて、回路部品２００の存在位置が幾何学的手法に従って演算される。具体的な演算方法は、例えば、先に述べた本件出願人の出願に係る公報に記載された方法に従えばい。本明細書では、説明が冗長となるのを避けるために、具体的な演算方法の説明は省略する。Ｓ３６の処理によって、前述の保持位置のずれ量ΔＸ，ΔＹ，θ（図６参照）が求まる。
【００９０】
Ｓ３７の測定終了処理において、求められた保持位置のずれ量ΔＸ，ΔＹ，θが記憶され、測定工程が終了する。なお、フローチャートでは省略したが、上記寸法誤差が設定されている閾誤差を超える場合には、回路部品２００の実装動作が中止されるようにされている。
【００９１】
ｄ）再測定工程
再測定工程は、回路部品２００のさらに正確な存在位置を認識する工程である。再測定ルーチンのフローチャートは省略するが、概ね、測定ルーチンにおけるＳ３５が省略されたものであると考えてよい。再測定工程で使用される再測定テンプレートは、シークラインＳＬおよびシークラインＳＬ上の基準点Ｐがさらに細かく設定されており、より正確にエッジ点Ｅが特定されるようになっている。また、その再測定テンプレートは、測定工程において求められた回路部品の存在位置に基づいて重ね合わされる。各ステップにおける処理は測定工程と同様であるためここでの説明は省略する。なお、再測定工程を省略して次の工程へ進むようなプログラムとすることができ、また、再測定工程を複数回繰り返してさらに認識精度を高めるようなプログラムとすることもできる。
【００９２】
ｅ）検査工程
検査工程は、存在位置が特定された回路部品２００に対して、その回路部品２００の輪郭形状の良否を検査する工程である。例えば、エッジの欠け，エッジの曲がり、エッジへの異物の付着等がある場合にそれを発見することができる。図２４に、検査工程を行うために実行される検査ルーチンのフローチャートを示す。
【００９３】
検査工程では、まず、Ｓ５１において、検査テンプレートが設定される。図２５に、検査テンプレートを概念的に示す。検査テンプレート２５０は、理論輪郭線２２２に関係付けられた基準沿線である２つのシークラインＮＳＬを有している。この２つのシークラインＮＳＬは、理論輪郭線２２２の近傍において理論輪郭線２２２に平行に延びる基準線であり、回路部品２００のエッジ２０６と交差しないことが予定されており、前述のシークラインと区別するために、ネガティブシークラインＮＳＬと呼ぶ。検査テンプレート２５０では、理論輪郭線２２２の内側に位置するインナネガティブシークラインとＮＳＬＩと、外側に位置するアウタネガティブシークラインＮＳＬＯとの２つのラインを有している。なお、ネガティブシークラインＮＳＬは、厳密な意味においては、理論輪郭線２２２ではなく、理論輪郭線２２２が測定工程によって認識されている上記寸法誤差ｌｘ−ｌｘ０，ｌｙ−ｌｙ０に基づいて修正された修正理論輪郭線に沿って延びる線とされる。検査テンプレート２５０の設定データは、捜索テンプレート２２０等と同様、実装作業に先立ってモジュール制御装置３８の外部記憶装置１４２から送られて画像処理ユニット１４０のＤＲＡＭ１５６に格納されており、画像処理を行う回路部品のものが選択され、その選択されたデータと先に認識されている回路部品２００の寸法誤差とに基づいて検査テンプレート２５０が設定される。なお、本実施形態では、ネガティブシークラインＮＳＬは、回路部品２００の全周にわたるものとされているが、対象物の輪郭の一部分のみにネガティブシークラインを設定することも可能である。
【００９４】
次に、Ｓ５２において、検査テンプレート２５０が、仮想画面上の回路部品２００に重ね合わされる。重ね合わされる位置は、再測定工程で取得された回路部品の存在位置であり、前記修正された理論輪郭線２２２が回路部品２００の輪郭線と合致する位置である。ネガティブシークラインＮＳＬ上には、細かなピッチで並ぶ複数の基準点が設定されており、それら複数の基準点の１つ１つが認識拠点として選択されることになる。
【００９５】
続くＳ５３において、各認識拠点の輝度値が求められ、ネガティブシークラインＮＳＬごとの輝度値の偏差が算出される。各認識拠点の輝度値は、先に説明した画像データ変換ルーチンが実行されて行われる。図２６に、各ネガティブシークラインＮＳＬに沿った各認識拠点の輝度値の変化を線グラフにして模式的に示す。図２６に示す輝度値の変化は、図２７おいて模式的に示すところのエッジ２０６の部分におけるものである。
【００９６】
図２６（ａ）は、インナネガティブシークラインＮＳＬＩについての輝度値の変化であり、一部に輝度値が低くなる部分が存在する。インナネガティブシークラインＮＳＬＩは、回路部品２００のエッジ２０６の内側に存在することが予定されており、通常は、各認識拠点において高い輝度値が連続するはずである。ところが、図２７に示すように、エッジの一部に欠損２５４が生じてその欠損２５４部分に背景部２０２が撮像される場合にあっては、インナネガティブシークラインＮＳＬＩがその背景部２０２に重なる部分において、輝度値が低くなるのである。図２６（ｂ）は、アウタネガティブシークラインＮＳＬＯについての輝度値の変化であり、逆に、一部に輝度値が高くなる部分が存在する。アウタネガティブシークラインＮＳＬＯは、回路部品２００のエッジ２０６の外側に存在することが予定されており、通常は、各認識拠点において低い輝度値が連続するはずである。ところが、図２７に示すように、エッジ２０６の一部に異物２５６が付着しており、アウタネガティブシークラインＮＳＬＯがその異物２５６を通るの部分において、輝度値が高くなるのである。
【００９７】
Ｓ５３では、輝度値の偏差として、１つのシークラインにおける輝度の最大値と最低値との差分を求め、その差分を輝度偏差σｆと推定する。続くＳ５４において、推定された輝度偏差σｆが所定の閾値（例えば５０）を超えるときには、回路部品２００のエッジ形状が不良であると判定し、また、超えないときにはエッジ形状は良好であると判定する。このようにして、検査ルーチンは終了するが、エッジ形状が不良であると判定された場合は、その回路部品２００の実装動作は中止される。
【００９８】
ｉｖ）本発明と上記実施形態との対応関係
上記実施形態と、本発明の画像処理とを対応付ければ、以下のようになる。部品カメラ３２によって撮像された画像データをフレームグラバメモリ１６４に格納する工程が、画像データを画素ごとの光学的特性値の集合として記憶する画像データ記憶工程に相当する。また、捜索工程〜検査工程の各工程において、各テンプレートを設定し、そのテンプレートを回路部品２００の画像に重ねあわせる処理を行う工程の各々が、画面内において複数の認識拠点を選択する拠点選択工程に相当し、また、それぞれが、テンプレート利用選択工程に相当する。また、捜索工程〜検査工程の各工程において、画像データ変換サブルーチンが実行されて行われる認識拠点における輝度値の取得が、拠点特性値取得工程に相当する。また、捜索工程〜検査工程の各工程において、認識拠点の輝度値に基づいて回路部品の諸元に関する認識処理を行う工程の各々が、対象物認識工程に相当する。具体的には、捜索ルーチンのＳ１３等が実行されて行われる処理の工程が、存在位置推認工程に相当し、再捜索ルーチン，測定ルーチン等のＳ２３等，Ｓ３３等が実行されて行われる処理の工程が、輪郭位置特定工程に、Ｓ２５等，Ｓ３５，Ｓ３６等が実行されて行われる処理の工程が、存在位置・寸法形状認識誤差に相当する。また、検査ルーチンのＳ５３，Ｓ５４等が実行されて行われる処理の工程が、輪郭形状認識工程に相当する。
【００９９】
ｖ）画像処理の変形態様等
上記実施形態では、説明を単純化するために、極めて単純な形状の回路部品を対象物とした画像処理について説明を行った。例えば、図２８（ａ）に示すように、両端部に電極２６０を有するチップ部品２６２では、電極２６０は金属製のものが多く、本体部２６４より高輝度に撮像されることから、この電極２６０を対象物とする画像処理を行えばよい。その場合、例えば、図２８（ｂ）に示すような捜索テンプレート２６６、図２８（ｃ）に示すような測定テンプレート２６８を用いることができる。
【０１００】
また、複数リードが本体部の外側に延び出すような電子部品（例えば、スモールアウトラインパッケージ（ＳＯＰ），クワッドフラットパッケージ（ＱＦＰ）等）においては、そのリードの部分を対象物とした画像処理を行って、電子部品の存在位置を認識する画像処理を行うこともできる。また、同様に、ボールグリッドアレイ（ＢＧＡ），チップスケールパッケージ（ＣＳＰ）等の電子部品では、はんだボールバンプ，ランド等の部分を対象物とした画像処理を行うこともできる。
【０１０１】
なお、複数のリード２７０がパッケージ２７２の外部に延び出して並ぶ電子部品２７４場合、図２９に示すように、理論形状の回路部品のリード２７０に平行なネガティブシークラインＮＳＬを、各リードの間（図２９（ａ））に、あるいは、各リードの輪郭の内部（図２９（ｂ））に設定し、そのネガティブシークラインＮＳＬに沿った認識処理を行うことで、リード２７０の曲がりを検出することができる。
【０１０２】
上記実施形態は、回路部品の画像処理であるが、回路基板に付された基準マークを対象物とした画像処理行うことができる。例えば、図３０（ａ）に示すように、回路基板２８０には、対角の位置にある２つコーナ部のそれぞれに、基準マーク２８２が設けられている。この基準マーク２８２のそれぞれをマークカメラ１００によって撮像し、その撮像データに基づいて各基準マーク２８２の理論位置からの位置ずれを検出し、その検出結果に基づいて、回路基板の固定位置のずれを算出するのである。回路基板２８０に付された基準マーク２８２は、図３０（ｂ）に示すような円形のものが多く、その場合、図３０（ｃ）に示すような捜索テンプレート２８４，図３０（ｄ）に示すような測定テンプレート２８６を用いて認識処理を行えばよい。円形の基準マーク２８２の場合は、その１個の基準マーク２８２の認識処理において回転角度位置のずれは検出し得ず、ＸＹ方向における位置ずれのみが検出されることになる。
【０１０３】
上記実施形態では、種々のテンプレートを用い、その種々のテンプレートには、ポイントペア，シークラインあるいはネガティブシークラインが設定されている。これらポイントペア等の数、理論輪郭線との位置関係等については、認識処理の目的等に応じて種々のものとすることができる。
【図面の簡単な説明】
【図１】本発明の画像処理が適用される部品実装作業を行う回路部品実装機を示す全体斜視図である。
【図２】回路部品実装機の実装モジュールの構成を示す斜視図である。
【図３】各実装モジュールが備える実装装置を示す斜視図である。
【図４】各実装モジュールを制御するモジュール制御装置の制御に関するブロック図である。
【図５】各実装モジュールに配備され、画像処理を行う画像処理ユニットのブロック図である。
【図６】１つの実装ユニットに保持された回路部品を部品カメラによって撮像した画像を示す概念図である。
【図７】本発明の実施形態である画像処理における物理画面，仮想画面および画像処理プログラムとの関係を示す概念図である。
【図８】本実施形態の画像処理プログラムの一部をなす画像データ変換サブルーチンのフローチャートである。
【図９】画像データの変換における補完演算を手法を示す概念図である。
【図１０】画像データを補正するための補正テーブルのデータ内容を示す表である。
【図１１】本実施形態の画像処理プログラムであって、回路部品を認識するための認識処理プログラムのフローチャートである。
【図１２】認識処理プログラムにおいて、捜索工程を行うために実行される捜索ルーチンのフローチャートである。
【図１３】捜索工程において用いられる捜索テンプレートを示す概念図である。
【図１４】捜索テンプレートと回路部品との適合状態および不適合状態を例示する図である。
【図１５】捜索テンプレートが移動する様子を模式的に示す図である。
【図１６】認識処理プログラムにおいて、再捜索工程を行うために実行される再捜索ルーチンのフローチャートである。
【図１７】再捜索工程において用いられる再捜索テンプレートが回路部品に重ね合わされた状態を示す概念図である。
【図１８】再捜索テンプレートが有する１つのシークラインと回路部品のエッジおよび理論輪郭線との関係を示す模式図である。
【図１９】演算によって求められたシークライン上の各認識拠点の輝度値を示す表である。
【図２０】シークライン上の各認識拠点間の輝度差分を示す表である。
【図２１】図２０に示す輝度差分のグラグである。
【図２２】認識処理プログラムにおいて、測定工程を行うために実行される測定ルーチンのフローチャートである。
【図２３】測定工程において用いられる測定テンプレートを示す概念図である。
【図２４】認識処理プログラムにおいて、検査工程を行うために実行される検査ルーチンのフローチャートである。
【図２５】検査工程において用いられる検査テンプレートの概念図である。
【図２６】ネガティブシークラインに沿った認識拠点の輝度値の変化を模式的に示す線グラフである。
【図２７】エッジに存在する欠陥と、その欠陥を横切るネガティブシークラインとを示す模式図である。
【図２８】両端部に電極を有する電子部品と、その電子部品の画像処理に用いるテンプレートとを示す概念図である。
【図２９】リード付き電子部品のリードの曲がりを検出するための画像処理において利用されるネガティブシークラインを示す概念図である。
【図３０】回路基板に付された基準マークと、その基準マークを対象物とする画像処理において利用されるテンプレートを示す概念図である。
【符号の説明】
１０：回路部品実装機    １４：実装モジュール    １８：回路基板    ２６：実装ヘッド    ２８：実装装置    ３２：部品カメラ    ３８：モジュール制御装置    １００：マークカメラ    １１０：実装ユニット    １４０：画像処理ユニット    １５６：ＤＲＡＭ    １６４：フレームグラバメモリ    ２００：回路部品    ２０２：背景部分    ２０４：理論形状寸法の回路部品    ２０６：エッジ    ２１０：物理画面    ２１２：仮想画面    ２１４：画像処理アプリケーションプログラム    ２１６：物理画面／仮想画面変換ドライバ    ２１８：ルックアップテーブル    ２２０：捜索テンプレート    ２２２：理論輪郭線    ２３０：再捜索テンプレート    ２４０：測定テンプレート    ２５０：検査テンプレート    ２６０：電極    ２６２：チップ部品    ２７０：リード    ２７４：回路部品  ２８０：回路基板  ２８２：基準マーク  ２８４：捜索テンプレート    ２８６：捜索テンプレート    ２８８：測定テンプレート  ＳＰ：ポイントペアを構成する基準点    ＳＬ：シークライン    Ｐ：シークライン上の基準点    Ｅ：エッジ点    ＮＳＬ：ネガティブシーライン
【図１】
2004279304.tif 000003
【図２】
2004279304.tif 000004
【図３】
2004279304.tif 000005
【図４】
2004279304.tif 000006
【図５】
2004279304.tif 000007
【図６】
2004279304.tif 000008
【図７】
2004279304.tif 000009
【図８】
2004279304.tif 000010
【図９】
2004279304.tif 000011
【図１０】
2004279304.tif 000012
【図１１】
2004279304.tif 000013
【図１２】
2004279304.tif 000014
【図１３】
2004279304.tif 000015
【図１４】
2004279304.tif 000016
【図１５】
2004279304.tif 000017
【図１６】
2004279304.tif 000018
【図１７】
2004279304.tif 000019
【図１８】
2004279304.tif 000020
【図１９】
2004279304.tif 000021
【図２０】
2004279304.tif 000022
【図２１】
2004279304.tif 000023
【図２２】
2004279304.tif 000024
【図２３】
2004279304.tif 000025
【図２４】
2004279304.tif 000026
【図２５】
2004279304.tif 000027
【図２６】
2004279304.tif 000028
【図２７】
2004279304.tif 000029
【図２８】
2004279304.tif 000030
【図２９】
2004279304.tif 000031
【図３０】
2004279304.tif 000032