(57)【要約】【課題】鏡面状態の上面を有する電子部品を対象とする場合にあっても正常に高さ計測を行うことができる検査装置および３次元画像認識装置ならびに３次元画像認識方法を提供することを目的とする。【解決手段】鏡面状の平坦な上面７ａを有する電子部品７を含む計測領域に対して所定の配置角度で傾斜させた複数のＰＳＤ１５によって検出された受光位置検出結果に基づき複数の３次元認識画像を形成し、これらを重ね合わせた合成画像において走査光の反射光が電子部品７によって遮光されてＰＳＤ１５に入射しないことに起因して生じる死角範囲（５ａ＊）の輪郭と、鏡面状の上面７ａからの反射光が特定方向に偏って反射されることによって生じる鏡面範囲（７ａ）とを検出し、上面境界点と死角境界点との平面距離ＤおよびＰＳＤ１５の配置角度θとに基づいて電子部品７の所定部位の高さＨを算出する。【選択図】図６
2013148352.tif 000002
【特許請求の範囲】
【請求項１】
電子部品を基板に実装する電子部品実装用設備に用いられ、鏡面状の平坦な上面を有する検査対象物を含む検査領域に対して照射された光の反射光を受光することにより、前記検査領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記検査対象物について所定の検査を行う検査装置であって、
光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、
前記主走査方向と直交する副走査方向に相対移動する前記検査領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、
前記入射方向を挟んで配置され受光面を前記検査領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、
前記走査光の検査領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部と、
前記位置検出部の受光位置検出結果に基づき、前記検査領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成部と、
前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成部と、
前記合成画像において、前記検査領域の平面範囲において前記走査光の反射光が前記検査対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記検査対象物の形状情報に基づいて検出する処理を行う境界点検出処理部と、
前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記検査対象物の所定部位の高さ情報を算出する高さ演算処理部と、
前記高さ情報を予め記憶された検査判定データと比較することにより前記検査の結果を判定する判定処理部と備えたことを特徴とする検査装置。
【請求項２】
鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して照射された光の反射光を受光することにより、前記計測領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記計測対象物の所定部位の高さ情報を取得する３次元画像認識装置であって、
光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、
前記主走査方向と直交する副走査方向に相対移動する前記計測領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、
前記入射方向を挟んで配置され受光面を前記計測領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、
前記走査光の計測領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部と、
前記位置検出部の受光位置検出結果に基づき、前記計測領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成部と、
前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成部と、
前記合成画像において、前記計測領域の平面範囲において前記走査光の反射光が前記計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記計測対象物の形状情報に基づいて検出する処理を行う境界点検出処理部と、
前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記計測対象物の所定部位の高さ情報を算出する高さ演算処理部とを備えたことを特徴とする３次元画像認識装置。
【請求項３】
光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、前記主走査方向と直交する副走査方向に相対移動する前記計測領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、前記入射方向を挟んで配置され受光面を前記計測領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、前記走査光の計測領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部とを備えた３次元画像認識装置によって、鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して照射された光の反射光を受光することにより、前記計測領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記計測対象物の所定部位の高さ情報を取得する３次元画像認識方法であって、
前記位置検出部の受光位置検出結果に基づき、前記計測領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成工程と、
前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成工程と、
前記合成画像において、前記計測領域の平面範囲において前記走査光の反射光が前記計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記計測対象物の形状情報に基づいて検出する処理を行う境界点検出処理工程と、
前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記計測対象物の所定部位の高さ情報を算出する高さ演算処理工程とを含むことを特徴とする３次元画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子部品などの検査対象物の３次元画像情報に基づいて所定の検査処理を行う検査装置およびこの検査装置において用いられる３次元画像認識装置ならびに３次元画像認識方法に関するものである。
【背景技術】
【０００２】
近年電子機器の高機能化および求められる信頼性の高度化に伴い、基板に電子部品を実装して実装基板を製造する部品実装工程においては、各種の工程間検査が導入されている。このような工程間検査において、電子部品が基板に半田接合された後の最終的な部品実装状態を確認するための実装状態検査では、基板上面の３次元画像情報に基づき、基板における各電子部品の位置や姿勢、半田接合部の形状などの検査対象項目について所定の３次元認識処理が実行される（例えば特許文献１参照）。
【０００３】
この特許文献１に示す先行技術例においては、計測対象位置を４方向から囲んで４つのＰＳＤ（位置検出素子）を配置した構成の３次元センサによって、基板および電子部品の上面に設定された複数の計測対象位置の高さ情報を求め、この高さ情報に基づいて電子部品の浮きや傾きなどを検出するようにしている。このように高さ情報を求めるに際して４つのＰＳＤを用いることにより、複数の電子部品が隣接して実装された部品実装面における死角の影響を排除することができるという利点がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２５３３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで近年、電子部品の構成において素子の上面を樹脂モールドで封止した構成に替えて、素子表面が露呈したベアチップの状態のまま基板に実装する形態が増加している。このようなベアチップが実装された実装基板を対象として前述の実装状態検査を行う場合には、ＰＳＤの検出特性およびベアチップの上面の表面特性に起因して、以下のような不都合を生じていた。すなわちＰＳＤを用いた３次元センサにおいては、計測対象面によって反射されてＰＳＤによって受光される光量が、使用されるＰＳＤの特性やＰＳＤから出力される信号を処理する電子回路の特性にマッチしていることが求められる。
【０００６】
しかしながらベアチップなど、鏡面状態の上面を有する電子部品を対象とする場合には、高さ測定のための計測対象点に照射される検査光の大分部が特定方向に反射される全反射が生じ、拡散反射されてＰＳＤに入射する光量は少ない。そしてこの光量がＰＳＤの特性にマッチしていない場合には、３次元センサは正常に高さ計測を行うことができず計測エラーとなって正しい検査結果を得ることが困難となる場合があった。このように、ＰＳＤを用いた従来の３次元画像認識による検査処理においては、鏡面状態の上面を有する電子部品を対象とする場合には、正常に高さ計測を行うことができず正しい検査結果を得ることが困難であるという問題があった。
【０００７】
そこで本発明は、鏡面状態の上面を有する電子部品を対象とする場合にあっても正常に高さ計測を行うことができる検査装置および３次元画像認識装置ならびに３次元画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の検査装置は、電子部品を基板に実装する電子部品実装用設備に用いられ、鏡面状の平坦な上面を有する検査対象物を含む検査領域に対して照射された光の反射光を受光することにより、前記検査領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記検査対象物について所定の検査を行う検査装置であって、光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、前記主走査方向と直交する副走査方向に相対移動する前記検査領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、前記入射方向を挟んで配置され受光面を前記検査領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、前記走査光の検査領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部と、前記位置検出部の受光位置検出結果に基づき、前記検査領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成部と、前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成部と、前記合成画像において、前記検査領域の平面範囲において前記走査光の反射光が前記検査対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記検査対象物の形状情報に基づいて検出する処理を行う境界点検出処理部と、前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記検査対象物の所定部位の高さ情報を算出する高さ演算処理部と、前記高さ情報を予め記憶された検査判定データと比較することにより前記検査の結果を判定する判定処理部と備えた。
【０００９】
本発明の３次元画像認識装置は、鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して照射された光の反射光を受光することにより、前記計測領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記計測対象物の所定部位の高さ情報を取得する３次元画像認識装置であって、光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、前記主走査方向と直交する副走査方向に相対移動する前記計測領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、前記入射方向を挟んで配置され受光面を前記計測領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、前記走査光の計測領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部と、前記位置検出部の受光位置検出結果に基づき、前記計測領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成部と、前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成部と、前記合成画像において、前記計測領域の平面範囲において前記走査光の反射光が前記計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記計測対象物の形状情報に基づいて検出する処理を行う境界点検出処理部と、前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記計測対象物の所定部位の高さ情報を算出する高さ演算処理部とを備えた。
【００１０】
本発明の３次元画像認識方法は、光発生手段によって発生された前記光を主走査方向に走査させる走査手段と、前記主走査方向と直交する副走査方向に相対移動する前記計測領域に対して前記走査された走査光を所定の入射方向から入射させる走査光入射手段と、前記入射方向を挟んで配置され受光面を前記計測領域を含む平面に対して所定の配置角度で傾斜させた複数の位置検出素子と、前記走査光の計測領域からの反射光の受光位置を前記複数の位置検出素子によってそれぞれ検出する位置検出部とを備えた３次元画像認識装置によって、鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して照射された光の反射光を受光することにより、前記計測領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、前記計測対象物の所定部位の高さ情報を取得する３次元画像認識方法であって、前記位置検出部の受光位置検出結果に基づき、前記計測領域の２次元画像において前記輝度情報と高さとを対応させた３次元認識画像を形成する画像形成工程と、前記複数の位置検出素子のそれぞれについて形成された複数の前記３次元認識画像を平面的に重ね合わせた合成画像を生成する画像合成工程と、前記合成画像において、前記計測領域の平面範囲において前記走査光の反射光が前記計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、前記鏡面状の上面からの前記走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および前記平面範囲における前記死角範囲の輪郭を示す死角境界点とを前記計測対象物の形状情報に基づいて検出する処理を行う境界点検出処理工程と、前記上面境界点と死角境界点との平面距離および前記配置角度とに基づいて、前記計測対象物の所定部位の高さ情報を算出する高さ演算処理工程とを含む。
【発明の効果】
【００１１】
本発明によれば、鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して所定の配置角度で傾斜させた複数の位置検出素子によって検出された受光位置検出結果に基づき、計測領域の２次元画像において輝度情報と高さとを対応させた複数の３次元認識画像を形成し、これらを重ね合わせた合成画像において走査光の反射光が計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、鏡面状の上面からの反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および死角範囲の輪郭を示す死角境界点とを検出し、上面境界点と死角境界点との平面距離および位置検出素子の配置角度とに基づいて計測対象物の所定部位の高さ情報を算出することにより、鏡面状態の上面を有する電子部品を対象とする場合にあっても正常に高さ計測を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施の形態の検査装置の構成を示す斜視図
【図２】本発明の一実施の形態の３次元画像認識装置に用いられる３次元センサの構成および機能説明図
【図３】本発明の一実施の形態の３次元画像認識装置における位置検出素子の受光状態の説明図
【図４】本発明の一実施の形態の検査装置の制御系の構成を示すブロック図
【図５】本発明の一実施の形態の３次元画像認識方法における画像形成、画像合成および境界点検出処理を示す説明図
【図６】本発明の一実施の形態の３次元画像認識方法における高さ算出処理を示す説明図
【図７】本発明の一実施の形態の３次元画像認識方法における上面境界点、死角境界点間の平面距離算出の説明図
【図８】本発明の一実施の形態の３次元画像認識方法における認識処理を示すフロー図
【図９】本発明の一実施の形態の３次元画像認識方法における画像形成、画像合成および境界点検出処理を示す説明図
【発明を実施するための形態】
【００１３】
次に本発明の実施の形態を図面を参照して説明する。まず図１を参照して検査装置１の全体構成を説明する。検査装置１は、電子部品搭載後の実装状態検査装置や半田接合後の外観検査装置など、電子部品を基板に実装する電子部品実装用設備に用いられるものである。本実施の形態においては、検査対象物としてベアチップなど鏡面状の平坦な上面を有する電子部品が含まれている。そしてこれらの検査対象物を含む検査領域に対して照射された光の反射光を受光することにより、検査領域の平面情報を示す２次元画像における各画素の輝度情報に基づいて検査対象物の所定部位について高さ情報を取得する３次元画像認識を行い、得られた高さ情報に基づいて所定の検査を行う。
【００１４】
図１において、検査装置１は、検査保持部２の上方に３次元センサ１０を配設して構成されている。検査保持部２は基板位置決め機構３の上面に基板搬送機構４を載置した構造となっており、基板搬送機構４には上流側装置から検査対象の基板５が搬入されて保持される。基板位置決め機構３を駆動することにより、基板搬送機構４に保持された基板５はＸＹＺθ方向に移動する。基板５には検査対象物（認識対象物）である電子部品７が前工程で搭載されており、３次元センサ１０による計測領域である検査領域６内に電子部品７が位置するように基板位置決め機構３を駆動することにより、基板５の上面において検査が必要な範囲に検査領域６を移動させることができる。なお、基板位置決め機構３を駆動して基板５を移動させる替わりに、３次元センサ１０を基板５に対して移動させる構成であってもよい。
【００１５】
次に検査領域６内の３次元認識画像を取得する３次元センサ１０の構成を、図１，図２を参照して説明する。図１において３次元センサ１０には検査光であるレーザ光を発光するレーザ光源部１１（光発生手段）が光軸を水平にした姿勢で配置されており、レーザ光源部１１に隣接して、複数の単位反射面１２ｂを有するポリゴンミラー１２が、回転軸１２ａを垂直にした姿勢で配置されている。レーザ光源部１１から発光された光は、集光レンズ（図示省略）によって集光されてポリゴンミラー１２に対して照射され（矢印ａ）、単位反射面１２ｂによって反射されてｆθレンズ１３に入射する（矢印ｃ）。このとき、ポリゴンミラー１２を回転駆動部（図示省略）によって回転させる（矢印ｂ）ことにより、単位反射面１２ｂからｆθレンズ１３に入射する光は、Ｙ方向（矢印ｅ方向）に、すなわち主走査方向に走査されながら、平行光線となって検査領域６の上方に位置する照射ミラー１４に入射する（矢印ｄ）。
【００１６】
そして照射ミラー１４によって反射された光は垂直上方から基板５に対して投射されて（矢印ｆ）、基板５の上面の検査領域６に対して矢印ｇ方向の走査光として照射される。このとき、基板位置決め機構３を駆動して基板５をＸ方向、すなわちすなわち主走査方向に直交する副走査方向に相対移動させることにより、検査光を検査領域６内において主走査方向、副走査方向の２方向に走査させることができる。
【００１７】
上記構成においてポリゴンミラー１２は、光発生手段であるレーザ光源部１１によって発生された光を主走査方向に走査させる走査手段となっている。そしてｆθレンズ１３および照射ミラー１４は、主走査方向と直交する副走査方向に基板位置決め機構３によって相対移動する検査領域６に対して、ポリゴンミラー１２によって走査された走査光を所定の入射方向である垂直上方から入射させる走査光入射手段となっている。
【００１８】
検査領域６の上方には、走査光の入射方向を挟む配置で、４つのＰＳＤ１５（第１ＰＳＤ１５Ａ、第２ＰＳＤ１５Ｂ、第３ＰＳＤ１５Ｃ、第４ＰＳＤ１５Ｄ）が、それぞれの受光面１５ａ（図２参照）を検査領域６を含む平面（ここでは水平面）に対して所定の配置角度で傾斜させた姿勢で配置されている。なお、以下の記述では、これらのＰＳＤを個別に区別する必要がある場合のみ、第１ＰＳＤ１５Ａ・・第４ＰＳＤ１５Ｄと記載し、区別する必要がない場合には単にＰＳＤ１５と記載する。
【００１９】
図２（ａ）のＸＺ断面に示すように、第３ＰＳＤ１５Ｃ、第２ＰＳＤ１５Ｂは走査光の入射方向（矢印ｆ）に対して対称に、それぞれ受光面１５ａを水平面に対して配置角度θだけ傾斜させた姿勢で配置されている。また図２（ｂ）のＹＺ断面に示すように、第１ＰＳＤ１５Ａ、第４ＰＳＤ１５Ｄは走査光の入射方向（矢印ｆ）に対して対称に、それぞれ受光面１５ａを水平面に対して配置角度θだけ傾斜させた姿勢で配置されている。
【００２０】
照射ミラー１４によって垂直下方に反射されて検査領域６に含まれる認識対象物（検査対象物）に対して照射された走査光は、検査領域６に存在する認識対象物によって反射され、レンズ１６によって集光されて第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄのそれぞれの受光面１５ａに入光する。図２（ａ）は、走査光が検査領域６において基板５の上面５ａに照射されて（矢印ｆ）、その反射光（矢印ｈ）がレンズ１６を介して第３ＰＳＤ１５Ｃ、第２ＰＳＤ１５Ｂの受光面１５ａに入射した状態を示している。第３ＰＳＤ１５Ｃ、第２ＰＳＤ１５Ｂによる検出信号は位置検出部１７に送られ、これにより検査領域６からの反射光の受光位置Ｚ１が検出される。この受光位置Ｚ１は、基板５の上面５ａの高さに対応するものである。
【００２１】
図２（ｂ）は、走査光が検査領域６において認識対象物である電子部品７の上面７ａに照射されて（矢印ｆ）、その反射光（矢印ｈ）がレンズ１６を介して第１ＰＳＤ１５Ａ、第４ＰＳＤ１５Ｄの受光面１５ａに入射した状態を示している。このとき、検査領域６において電子部品７の上面７ａは基板５の上面５ａよりも電子部品７の高さＨだけ高い位置にあることから、この場合の受光面１５ａにおける受光位置Ｚ２は、受光位置Ｚ１から高さＨに対応した変位分ΔＺだけずれた位置となる。そして第１ＰＳＤ１５Ａ、第４ＰＳＤ１５Ｄによる検出信号は位置検出部１７に送られ、これにより検査領域６からの反射光の受光位置Ｚ２が検出される。すなわち、位置検出部１７は、走査光の検査領域６からの反射光の受光位置を、検査領域６の周囲を囲むように配置された複数の位置検出素子である第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄによってそれぞれ検出する機能を有している。これにより、検査領域６からの反射光を異なる４方向から受光して得られた４チャンネル（Ｃｈ１〜Ｃｈ４）の計測データを取得することが可能となっている（図５（ａ）参照）。
【００２２】
次に図３を参照して、実装状態検査のための３次元認識対象となる検査領域６における走査光の反射特性について説明する。図３（ａ）に示すように、基板５の上面５ａに設定される検査領域６には、ベアチップなど高さ寸法Ｈの矩形状で成形され、鏡面状の平坦な上面７ａを有する電子部品７が含まれている。検査領域６において上面７ａが計測対象となる場合には、走査光は垂直上方から上面７ａに入射する。このとき、鏡面状の上面７ａの光反射特性により、反射光分布は通常の拡散反射面のような全方位に拡散する形態ではなく、図３（ｂ）に示す反射光分布ｉに示すように、特定方向に偏った全反射に近い反射光分布となる。
【００２３】
すなわちこの場合には、走査光は垂直方向から水平な上面７ａに入射していることから、大部分の反射光は垂直上方への反射光ｉ１となり、拡散方向へ反射される反射光ｉ２の光量は小さい。したがって、本来この拡散反射光を受光することを想定して配置された第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄの受光面１５ａに到達して入射する入射光ｊの光量は少なくなる。そしてこの光量が使用されているＰＳＤ１５の受光特性とマッチしていない場合には、位置検出部１７が受光位置を正常に検出することができず、検査領域６の２次元画像における各位置の高さを各画素の輝度情報で表す３次元認識画像においては、高さが存在しないいわゆる黒抜け部分として現れる。このような黒抜け部分は、鏡面状の上面７ａからの走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲に相当する。
【００２４】
図３（ｃ）は、電子部品７が高さＨを有することに起因して生じる死角範囲を示している。すなわち、検査領域６において基板５の上面５ａに入射した走査光は、拡散反射して第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄによって受光されるが、走査光の入射位置が電子部品７の側面７ｂに近接した範囲内である場合には、入射した走査光（矢印ｆ）の反射光は近接する側面７ｂによって反射され（矢印ｋ）、第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄの受光面１５ａには入射しない。
【００２５】
そしてこの場合においても位置検出部１７は受光位置を検出することができず、検査領域６の２次元画像における各位置の高さを各画素の輝度情報で表す３次元認識画像においては、このような範囲は高さが存在しない黒抜け部分として現れる。このような黒抜け部分は、検査領域６の平面範囲である上面５ａにおいて走査光の反射光が検査対象物である電子部品７によって遮光されて第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄに入射しないことに起因して生じる死角範囲（５ａ＊）に相当する。
【００２６】
本実施の形態に示す３次元画像認識においては、このような上面７ａに対応する鏡面範囲（７ａ）や死角範囲（５ａ＊）に起因する画像認識処理上の不都合を、以下に説明する構成および処理手法によって補うようにしている。まず図４を参照して、この３次元画像認識を用いた検査装置１の制御系の構成を説明する。制御部２０は演算処理装置であり、記憶部２１に記憶された各種のプログラムやデータに基づいて以下に説明する各部を制御する。
【００２７】
記憶部２１には、部品種類データ２１ａ、部品形状情報２１ｂ、検査判定データ２１ｃが記憶されている。部品種類データ２１ａは、検査装置１において検査対象となる部品の種類についてのデータを記憶する。部品形状情報２１ｂは、検査対象となる部品の形状や寸法など、３次元画像認識処理において必要とされるデータを記憶する。検査判定データ２１ｃは、３次元画像認識処理によって取得された高さ情報に基づいて検査処理を行うために用いられる判定データである。機構駆動部２２は、制御部２０に制御されて、基板搬送機構４、基板位置決め機構３を駆動する。これにより、検査装置１における基板５の搬入・搬出や、３次元センサ１０による画像認識時の基板５の位置決め動作が実行される。
【００２８】
３次元センサ１０は、第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄおよび位置検出部１７を備えており、第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄの位置検出信号を位置検出部１７が受信することにより検出した受光位置の情報を、以下に説明する３次元認識処理部２３に対して出力する。本実施の形態において、鏡面状の上面７ａを有する電子部品７を３次元認識の対象とする場合には、図５（ａ）に示すように、３次元センサ１０が備えた第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄを、平面視して矩形状の電子部品７の各コーナに向けた状態で３次元認識を行う。これにより、異なる４方向から高さ計測のための受光位置検出を行った４チャンネル（Ｃｈ１〜Ｃｈ４）の計測結果が取得され、３次元認識処理部２３に対してこれらの受光位置検出結果が出力される。
【００２９】
３次元認識処理部２３は、画像形成部２４、画像合成部２５、境界点検出処理部２６および高さ演算処理部２７より構成される。画像形成部２４は、位置検出部１７の受光位置検出結果に基づき、検査領域６の２次元画像において各画素の輝度情報と高さとを対応させた３次元認識画像を形成する処理を行う。図５（ｂ）は、このように第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄのそれぞれの受光位置検出結果に基づいて形成された３次元認識画像２４ａ１〜３次元認識画像２４ａ４を示している。
【００３０】
なお３次元認識画像２４ａ１〜２４ａ４において、添字１〜４は、当該認識画像の基となる受光信号を受光したＰＳＤの区別を示すものである。以下の記述においては、これらの３次元認識画像２４ａを個別に区別する必要がある場合のみ、３次元認識画像２４ａ１〜２４ａ４と添字を付して記載し、区別する必要がない場合には単に３次元認識画像２４ａと記載する。
【００３１】
これらの３次元認識画像２４ａにおいては、電子部品７の上面７ａ（図３（ｂ）参照）および基板５の上面５ａのうち側面７ｂに近接した範囲５ａ＊（図３（ｃ）参照）については、高さ情報が存在しない鏡面範囲（７ａ）、死角範囲（５ａ＊）として黒抜き部分で現れる。ここで、上面７ａに対応する鏡面範囲（７ａ）については各チャンネル共通の画像となるが、死角範囲（５ａ＊）については各ＰＳＤ１５の受光方向に応じて死角となる方向が異なることから、それぞれ各チャンネル毎に上面７ａの異なった側面側、すなわち受光方向の反対側に現れている。
【００３２】
そしてこれらの４つの３次元認識画像２４ａにおいて、電子部品７の各コーナにおける上面７ａに対応する鏡面範囲（７ａ）と周囲との境界を示す上面境界点２４ｂ（上面境界点２４ｂ１〜上面境界点２４ｂ４）が定義されて各点の位置座標が求められ、また死角範囲（５ａ＊）と周囲との境界を示す死角境界点２４ｃ（死角境界点２４ｃ１〜２４ｃ４）が、各３次元認識画像２４ａ毎に定義されて各点の位置座標が求められる。以下の記述においては、これらの上面境界点２４ｂ、死角境界点２４ｃを個別に区別する必要がある場合のみ添字を付して記載し、区別する必要がない場合には単に上面境界点２４ｂ、死角境界点２４ｃと記載する。
【００３３】
画像合成部２５は、複数のＰＳＤ１５（第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄ）のそれぞれについて形成された複数の３次元認識画像２４ａ（３次元認識画像２４ａ１〜２４ａ４）を平面的に重ね合わせた合成画像２５ａを生成する処理を行う。すなわち、画像形成部２４によって個別に求められた上面境界点２４ｂ１〜２４ｂ４を、４つのコーナ点とする矩形画像を作成する。これにより、図５（ｃ）に示すように、上面境界点２５ｂ１〜２５ｂ４を４つのコーナ点とする矩形画像が生成される。そしてさらにこの矩形画像上に、画像形成部２４によって個別に求められた死角境界点２４ｃ１〜２４ｃ４を重ねて、死角境界点２５ｃ１〜２５ｃ４とすることにより、合成画像２５ａが生成される。
【００３４】
境界点検出処理部２６は、このようにして生成された合成画像２５ａにおいて、検査領域６の平面範囲において走査光の反射光が電子部品７によって遮光されてＰＳＤ１５に入射しないことに起因して生じる死角範囲（５ａ＊）と、鏡面状の上面７ａからの走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲（７ａ）との境界を示す上面境界点２５ｂおよび平面範囲における死角範囲（５ａ＊）の輪郭を示す死角境界点２５ｃとを、検査対象物である電子部品７の形状情報に基づいて検出する処理を行う。
【００３５】
図５に示す例では、上面境界点として矩形画像におけるコーナ点に対応する上面境界点２５ｂ１〜２５ｂ４が、電子部品７の形状を示す形状情報に基づいて設定される。すなわち、上面境界点２５ｂ１〜２５ｂ４は電子部品７の平面画像における上面７ａの各コーナ点に対応すると見なしてよいことから、上面境界点２５ｂ１〜２５ｂ４を上面７ａのコーナ点に一致させた矩形画像を生成する。そしてこれらの上面境界点２５ｂ１〜２５ｂ４を基準として、３次元認識画像２４ａ１〜２４ａ４を重ね合わせることにより、死角境界点２５ｃ１〜２５ｃ４の位置が確定する。
【００３６】
高さ演算処理部２７は、このようにして確定された死角境界点２５ｃ１〜２５ｃ４と、それぞれに対応する上面境界点２５ｂ１〜２５ｂ４との平面距離およびＰＳＤ１５の配置角度θとに基づいて、検査対象物である電子部品７の所定部位（ここでは各コーナ点）の高さ情報を算出する演算を行う。例えば、図６（ａ）に示すように、まず同一コーナ部にある死角境界点２５ｃ１と上面境界点２５ｂ４との間の平面距離Ｄ４、さらに同様に同一コーナ部にある死角境界点２５ｃと上面境界点２５ｂとの間の平面距離Ｄ１，Ｄ２，Ｄ３を、それぞれ合成画像２５ａ上で算出する。
【００３７】
なお、平面距離Ｄ１〜Ｄ４を求める際には、２次元画像上での画素情報による抽出点に基づいて距離の演算が行われるが、この演算に際しては、図７に示すような点抽出方法を用いることができる。まず図７（ａ）は、鏡面範囲（７ａ）、死角範囲（５ａ＊）のいずれについても、コーナ点において境界線ＢＬ１、ＢＬ２の内側の最外縁の画素Ｆの位置を上面境界点２４ｂ、死角境界点２４ｃとして抽出し、これら２つの抽出点間の距離を求める平面距離Ｄとするものである。
【００３８】
また図７（ｂ）では、鏡面範囲（７ａ）、死角範囲（５ａ＊）のいずれについてもコーナ点において境界線ＢＬ１、ＢＬ２の内側の最外縁に位置する４画素の中心点の位置を上面境界点２４ｂ、死角境界点２４ｃとして抽出し、これら２つの抽出点間の距離を求める平面距離Ｄとしている。さらに図７（ｃ）は、鏡面範囲（７ａ）、死角範囲（５ａ＊）のいずれについてもコーナ点において境界線ＢＬ１、ＢＬ２を挟んで位置する４画素の中心点の位置を上面境界点２４ｂ、死角境界点２４ｃとして抽出し、これら２つの抽出点間の距離を求める平面距離Ｄとするようにしている。
【００３９】
次いでこのようにして求められた平面距離Ｄ１〜Ｄ４およびＰＳＤ１５の配置角度θに基づいて、電子部品７の各コーナ点における高さＨ１〜Ｈ４を演算により求める。すなわち、電子部品７の各コーナにおける死角範囲を示す平面距離Ｄは、図６（ｂ）に示すように、Ｄ＝Ｈｔａｎθの関係にあることから、電子部品７の各コーナ点における高さＨ（Ｈ１〜Ｈ４）は、Ｄ（Ｄ１〜Ｄ４）／ｔａｎθの計算式により求められる。ここで配置角度θは検査装置１に用いられる３次元センサ１０において予め固定的に設定されていることから、３次元センサ１０によって検査領域６の３次元画像認識を行うに際し、鏡面状の上面７ａを有する電子部品７を認識対象とする際に、上面７ａからの反射光がＰＳＤ１５に適正な光量で受光されずに正常な高さ計測ができない場合にあっても、電子部品７の各コーナ点における高さＨを正しく求めることが可能となっている。
【００４０】
そして、判定処理部２８はこのようにして高さ演算処理部２７によって算出された高さ情報を、予め記憶部２１に記憶された検査判定データ２１ｃと比較することにより、当該電子部品７についての検査の結果を判定する。すなわち、求められた高さＨ１〜Ｈ４のいずれかが高さ変動許容値として定められた閾値範囲を外れたならば、部品浮きなどの部品高さ異常と判定される。また求められた高さＨ１〜Ｈ４相互の高さ差δＨが高さ差許容値として定められた閾値を超えたならば、部品傾き異常と判定される。
【００４１】
上記構成において、制御部２０、記憶部２１、機構駆動部２２、３次元センサ１０および３次元認識処理部２３は、鏡面状の平坦な上面を有する計測対象物（検査対象物としての電子部品７）を含む計測領域（検査領域６）に対して照射された光の反射光を受光することにより、計測領域の平面情報を示す２次元画像における各画素の輝度情報に基づき、計測対象物の所定部位の高さ情報を取得する３次元画像認識装置を構成する。
【００４２】
次に図８を参照して、上述構成の３次元画像認識装置によって、計測対象物の所定部位の高さ情報を取得する３次元画像認識方法の処理フローについて説明する。まず計測領域に対して照射された走査光の反射光を、複数のＰＳＤ（第１ＰＳＳ１５Ａ〜第４ＰＳＤ１５Ｄ）によって受光する（ＳＴ１）。すなわち、図５（ａ）に示すように、検査領域６の電子部品７が第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄの中央に位置するように基板位置決め機構３を３次元センサ１０に対して位置合わせし、第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５ＤによってそれぞれＣｈ１〜Ｃｈ４の受光信号を出力する。そしてこれら複数のＰＳＤ１５の受光信号を受信した位置検出部１７によって、各ＰＳＤにおける受光位置を検出する（ＳＴ２）。なお第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄによる受光は、各チャンネルごとに順次行ってもよく、また各チャンネル同時に受光するようにしてもよい。
【００４３】
次いで位置検出部１７の受光位置検出結果に基づき、計測領域の２次元画像において輝度情報と高さとを対応させた３次元認識画像を形成する（画像形成工程）（ＳＴ３）。すなわち図５（ｂ）に示す複数の３次元認識画像２４ａ１〜２４ａ４を画像形成部２４によって作成する。次いで、複数のＰＳＤのそれぞれについて形成された複数の３次元認識画像を平面的に重ね合わせた合成画像を生成する（画像合成工程）（ＳＴ４）。すなわち、図５（ｃ）に示す合成画像２５ａを、画像合成部２５によって合成する画像処理を行う。
【００４４】
次に、合成された合成画像２５ａにおいて、計測領域の平面範囲において走査光の反射光が電子部品７によって遮光されてＰＳＤ１５に入射しないことに起因して生じる死角範囲（５ａ＊）と、鏡面状の上面７ａからの走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲（７ａ）との境界を示す上面境界点２５ｂおよび平面範囲における死角範囲の輪郭を示す死角境界点２５ｃとを計測対象物である電子部品７の形状情報に基づいて検出する処理を行う（境界点検出処理工程）（ＳＴ５）。
【００４５】
次に上面境界点２５ｂと死角境界点２５ｃとの平面距離Ｄおよび配置角度θとに基づいて、電子部品７の所定部位の高さ情報を算出する（高さ演算処理工程）（ＳＴ６）。すなわち図６（ａ）に示す平面距離Ｄ１〜Ｄ４が求められ、次いで図６（ｂ）に示す計算式を用いて電子部品７の各コーナ点の高さＨ１〜Ｈ４が算出される。そしてこのようにして取得された高さ情報は、判定処理部２８による判定処理の対象となり、これにより電子部品７の高さの正否を判定する検査結果が得られる。
【００４６】
なお、上記実施の形態においては、平面視して矩形形状の電子部品７を認識対象とする場合において、電子部品７の形状を端的に表すのに最も適当と考えられる４つのコーナ点を外側に延長した方向から反射光をＰＳＤ１５によって受光する例を示したが、本発明はこの実施例には限定されず、検査目的や計測実行上の便宜など各種要因によって種々の検査実行形態を選択することができる。
【００４７】
たとえば、図９に示す例のように、矩形形状の電子部品７のコーナ点の代わりに、電子部品７の各辺の中点を対象として高さ計測を行うようにしてもよい。この場合には、図９（ａ）に示すように、ＰＳＤ１５Ａ〜ＰＳＤ１５Ｄによる高さ計測チャンネルを示すＣｈ１〜Ｃｈ４の計測方向が、電子部品７の側面７ｂの中点に向くように、基板位置決め機構３を駆動して基板５を３次元センサ１０に対して位置合わせする。
【００４８】
これにより、図９（ｂ）に示すような３次元認識画像２４ａ、すなわち第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄのそれぞれの受光位置検出結果に基づいて形成された３次元認識画像２４ａ１〜３次元認識画像２４ａ４が取得される。これらの３次元認識画像２４ａにおいては、図５（ｂ）に示す例と同様に、電子部品７の上面７ａ（図３（ｂ）参照）および基板５の上面５ａのうち側面７ｂに近接した範囲（図３（ｃ）参照）に対応した部分は、高さ情報が存在しない鏡面範囲（７ａ）、死角範囲（５ａ＊）として黒抜き部分で現れる。
【００４９】
ここで、上面７ａに対応した鏡面範囲（７ａ）ついては各チャンネル共通の画像となるが、死角範囲（５ａ＊）については各ＰＳＤ１５の受光方向に応じて死角となる方向が異なることから、それぞれ各チャンネル毎に上面７ａの異なった側面側、すなわち受光方向の反対側に現れている。そしてこれらの４つの３次元認識画像２４ａにおいて、電子部品７の側面７ｂの各中点における上面７ａに対応した鏡面範囲（７ａ）と周囲との境界を示す上面境界点２４ｂ（上面境界点２４ｂ１〜上面境界点２４ｂ４）が定義されて各点の位置座標が求められ、また死角範囲（５ａ＊）と周囲との境界を示す死角境界点２４ｃ（死角境界点２４ｃ１〜死角境界点２４ｃ４）が定義されて各点の位置座標が求められる。
【００５０】
図９（ｃ）は、画像合成部２５によって上述の３次元認識画像２４ａ（３次元認識画像２４ａ１〜２４ａ４）を平面的に重ね合わせて生成された合成画像２５ａを示している。これにより、図５（ｃ）に示すように、上面境界点２５ｂ１〜２５ｂ４を４辺の中点とする矩形画像が生成される。そしてさらにこの矩形画像上に、画像形成部２４によって求められた死角境界点２４ｃ１〜２４ｃ４を重ねて、死角境界点２５ｃ１〜２５ｃ４とすることにより、合成画像２５ａが生成される。
【００５１】
図６（ａ）に示す例と同様に、このようにして生成された合成画像２５ａにおいて、境界点検出処理部２６によって検査領域６の平面範囲において走査光の反射光が電子部品７によって遮光されてＰＳＤ１５に入射しないことに起因して生じる死角範囲（５ａ＊）と、鏡面状の上面７ａからの走査光の反射光が特定方向に偏って反射されることによって生じる鏡面範囲（７ａ）との境界を示す上面境界点２５ｂおよび平面範囲における死角範囲の輪郭を示す死角境界点２５ｃとを、検査対象物の形状情報に基づいて検出する処理を行う。
【００５２】
そしてこのようにして確定された死角境界点２５ｃ１〜２５ｃ４と、それぞれに対応する上面境界点２５ｂ１〜２５ｂ４との平面距離Ｄ１〜Ｄ４およびＰＳＤ１５の配置角度θとに基づいて、図６（ｂ）に示す例と同様に、高さ演算処理部２７によって検査対象物である電子部品７の所定部位（ここでは各辺の中点）の高さ情報を算出する演算を行う。
【００５３】
また図５，図９に示す例では、矩形形状の電子部品７からの反射光を４つのＰＳＤ１５（第１第１ＰＳＤ１５Ａ〜第４ＰＳＤ１５Ｄ）によって受光する４チャンネル認識の例を示したが、検査対象物（認識対象物）の形状や検査目的（認識目的）によっては必ずしも４チャンネルは必要とされず、２チャンネルもしくは３チャンネルの受光位置検出チャンネルによる３次元画像認識を採用してもよい。
【００５４】
上記説明したように、本実施の形態に示す検査装置および３次元画像認識装置ならびに３次元画像認識方法では、鏡面状の平坦な上面を有する計測対象物を含む計測領域に対して所定の配置角度で傾斜させた複数の位置検出素子によって検出された受光位置検出結果に基づき、計測領域の２次元画像において輝度情報と高さとを対応させた複数の３次元認識画像を形成し、これらを重ね合わせた合成画像において走査光の反射光が計測対象物によって遮光されて位置検出素子に入射しないことに起因して生じる死角範囲と、鏡面状の上面からの反射光が特定方向に偏って反射されることによって生じる鏡面範囲との境界を示す上面境界点および死角範囲の輪郭を示す死角境界点とを検出し、上面境界点と死角境界点との平面距離および位置検出素子の配置角度とに基づいて計測対象物の所定部位の高さ情報を算出するようにしている。
【００５５】
これにより、従来技術においては照射される検査光の大分部が特定方向に反射される全反射が生じて計測エラーを招いていた鏡面状態の上面を有する電子部品を対象とする場合にあっても正常に高さ計測を行うことができ、高さ計測結果に基づいて正しい検査結果を得ることができる。  なお上記実施の形態では、３次元画像認識を電子部品の実装状態検査に適用した例を示したが、本発明はこのような適用例には限定されず、鏡面状の平坦な上面を有する対象物を認識し、高さ計測を行う用途であれば、本発明の適用対象となる。
【産業上の利用可能性】
【００５６】
本発明の検査装置および３次元画像認識装置ならびに３次元画像認識装置は、鏡面状態の上面を有する電子部品を対象とする場合にあっても正常に高さ計測を行うことができるという効果を有し、基板に電子部品を実装する部品実装用設備において電子部品の実装状態検査などの検査処理を行う用途に有用である。
【符号の説明】
【００５７】
１  検査装置
２  検査保持部
５  基板
５ａ  上面
（５ａ＊）  死角範囲
６  検査領域
７  電子部品
７ａ  上面
（７ａ）  鏡面範囲
７ｂ  側面
１０  ３次元センサ
１１  レーザ光源部
１２  ポリゴンミラー
１３  ｆθレンズ
１５Ａ，１５Ｂ，１５Ｃ，１５Ｄ  ＰＳＤ
１６  レンズ
２４ａ１、２４ａ２、２４ａ３、２４ａ４  ３次元認識画像
２５ａ  合成画像
２５ｂ１、２５ｂ２、２５ｂ３、２５ｂ４  上面境界点
２５ｃ１、２５ｃ２、２５ｃ３、２５ｃ４  死角境界点
Ｄ、Ｄ１、Ｄ２、Ｄ３、Ｄ４  平面距離
θ  配置角度
【図１】
2013148352.tif 000003
【図２】
2013148352.tif 000004
【図３】
2013148352.tif 000005
【図４】
2013148352.tif 000006
【図５】
2013148352.tif 000007
【図６】
2013148352.tif 000008
【図７】
2013148352.tif 000009
【図８】
2013148352.tif 000010
【図９】
2013148352.tif 000011