(57)【要約】【解決手段】  基板に半田ボールを載置した対象物１に縞パターンを投影するとともに該縞パターンを位相シフトさせながら複数回撮影し、撮影した複数の縞パターン画像から各位置における位相を算出して、該位相に基づく位相復元画像を作成する。  ここで、撮影手段によって対象物を撮影すると、半田ボールの裏側に位置して撮影されない部分が発生するため、上記位相復元画像には周囲の部分に対して位相が不連続となる不連続位相部分１２が発生する。  そこで、該不連続位相部分１２が領域１１の前側半分に位置する場合、当該不連続位相部分１２を該領域１１の前方に隣接する領域に属するとみなし、その後さらに位相接続を行うことで位相接続画像を作成する。【効果】  表面に突起の形成された対象物であっても、正確にその形状を測定することができる。【選択図】  図３
2009079934.tif 000002
【特許請求の範囲】
【請求項１】
対象物に縞パターンを投影するとともに該縞パターンを位相シフトさせながら複数回撮影し、撮影した複数の縞パターン画像から各画素における位相を算出して、該位相に基づく位相復元画像を作成し、
上記位相復元画像から、縞パターンの１周期毎に位相の値が不連続となる領域を認識し、さらに各領域の位相が連続するように位相接続を行って位相接続画像を作成する三次元計測方法において、
上記位相復元画像から上記領域を認識する際、各領域内で周囲の部分と位相が不連続な不連続位相部分を検出し、
上記縞パターンのシフト方向に対して、該不連続位相部分が当該領域の前側部分に位置する場合、当該不連続位相部分を該領域の前方に隣接する領域に属するとみなすとともに、不連続位相部分が領域の後側部分に位置する場合、当該不連続位相部分を該領域の後方に隣接する領域に属するとみなして、上記位相接続を行うことを特徴とする三次元計測方法。
【請求項２】
各領域における位相の値が０となる画素を基準に中間線を設定して、該中間線よりも縞パターンのシフト方向で前方を正の範囲とするとともに、後方を負の範囲とし、
上記中間線よりも前方で位相が負の値である画素、および、中間線よりも後方で位相が正の値である画素を上記不連続位相部分として認識することを特徴とする請求項１に記載の三次元計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は三次元計測方法に関し、詳しくは対象物に投影した縞パターンを撮影するとともに、撮影した縞パターン画像から対象物の形状を測定する三次元計測方法に関する。
【背景技術】
【０００２】
従来、立体的な対象物の形状を測定するため、対象物に縞パターンを投影するとともに該縞パターンを位相シフトさせながら撮影し、撮影した各縞パターン画像に基づいて対象物の形状を認識する三次元計測方法が知られている。
このような三次元計測方法として、縞パターンを１ピッチ（１周期分）位相シフトさせる間に当該縞パターンを４回撮影し、この４枚の縞パターン画像における同一位置での明度の変化から当該位置での位相を算出し、さらにこの位相に基づいて対象物の形状を認識することが行われている（位相シフト法：特許文献１〜３）。
ここで、上記特許文献１〜３では以下の式を用いて位相を算出し、該位相からなる図３のような位相復元画像を作成している。
φ＝ｔａｎ−１{（Ｉ４−Ｉ２）／（Ｉ１−Ｉ３）}
Ｉ１〜Ｉ４・・・４枚の縞パターン画像における同一位置での明度
この式は逆正接関数であるため、位相復元画像における全ての画素の位相は−π〜πの値をとる。このため縞パターンが１ピッチ位相シフトする度に位相の値が不連続となり、図３のように位相復元画像には複数の領域が現れることとなる。
そして位相の値が不連続なままでは正確に対象物の形状を認識することができないため、位相復元画像に対して特許文献１に記載されるような位相接続を行い、不連続な領域を連続させて図８のような位相接続画像を得るようになっている。
【特許文献１】特許第３４５４０８８号公報
【特許文献２】特許第３５００４３０号公報
【特許文献３】特開平４−９８１１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、上記特許文献１〜３における三次元測定方法の対象物は、人体の表皮等であり、これらの対象物は高低差が少ない、もしくは高さが急激に変化しないことから、撮影手段は表面全体を撮影することが可能となっている。
一方、基板に半田ボールを整列させた場合のように、対象物の表面に高さが急激に変化する突起が形成されている場合、撮影手段によって当該対象物を撮影すると突起の裏側の部分が撮影されない場合がある。
この撮影されない部分については位相が算出されないため、上記縞パターン画像から位相復元画像を作成すると、隣接する画素で明度の変化が異なり、周囲とは位相が不連続な不連続位相部分が発生する。
そしてこのような不連続位相部分のある位相復元画像に対して位相接続を行うと、図１０に示すように位相接続画像に筋が入り、これがノイズとなって対象物の形状を正確に測定できないという問題が発生していた。
このような問題に鑑み、表面に突起の形成された対象物であっても、正確にその形状を測定することが可能な三次元測定方法を提供するものである。
【課題を解決するための手段】
【０００４】
すなわち、本発明にかかるする三次元計測方法は、対象物に縞パターンを投影するとともに該縞パターンを位相シフトさせながら複数回撮影し、撮影した複数の縞パターン画像から各画素における位相を算出して、該位相に基づく位相復元画像を作成し、
上記位相復元画像から、縞パターンの１周期毎に位相の値が不連続となる領域を認識し、さらに各領域の位相が連続するように位相接続を行って位相接続画像を作成する三次元計測方法において、
上記位相復元画像から上記領域を認識する際、各領域内で周囲の部分と位相が不連続な不連続位相部分を検出し、
上記縞パターンのシフト方向に対して、該不連続位相部分が当該領域の前側部分に位置する場合、当該不連続位相部分を該領域の前方に隣接する領域に属するとみなすとともに、不連続位相部分が領域の後側部分に位置する場合、当該不連続位相部分を該領域の後方に隣接する領域に属するとみなして、上記位相接続を行うことを特徴としている。
【発明の効果】
【０００５】
上記発明によれば、撮影手段によって撮影された縞パターン画像から作成した位相復元画像に上記不連続位相部分が表示されても、この不連続位相部分を隣接する領域の位相とみなして位相接続を行うので、位相接続画像からノイズを除去することができ、正確に対象物の形状を認識することができる。
【発明を実施するための最良の形態】
【０００６】
以下図示実施例について説明すると、図１は対象物１を検査する検査装置２を示し、対象物１は検査装置２の上工程に設けられた図示しないボールマウンタから供給されるようになっている。
上記対象物１は半導体デバイス又はその製造工程途中の構成部品であって、板状の基板１ａと、該基板１ａに縦横に整列した状態で載置された複数の半田ボール１ｂとから構成されている。
そして上記検査装置２は上記半田ボール１ｂが基板１ａの所要の位置に載置されているかを検査するとともに、半田ボール１ｂの高さからその半田ボール１ｂが所定の径を有しているかを検査するようになっている。
【０００７】
上記検査装置２は、基板１ａを搬送する搬送テーブル３と、対象物１に後述する縞パターンを投影する縞パターン照射手段４と、対象物１に投影された縞パターンを撮影する撮影手段５と、撮影手段５が撮影した縞パターン画像を画像処理する画像処理手段６とを備えている。
上記搬送テーブル３は対象物１を図示左方から右方に搬送し、検査装置２によって対象物１を検査する間は対象物１を縞パターン照射手段４の下方に停止させるようになっている。
縞パターン照射手段４は、搬送テーブル３の上方に設置された照明手段４ａと、照明手段４ａの下方に設けられた液晶格子４ｂと、液晶格子４ｂの下方に設けられたレンズ４ｃとから構成されている。
上記液晶格子４ｂは、光を透過させない黒色部分と光を透過させる透明部分とがそれぞれ同じ幅で等ピッチに整列した格子を表示させるようになっており、また当該格子を該格子と直交する方向に一定速度で移動させる位相シフトが可能となっている。
撮影手段５には従来公知のＣＣＤカメラを用い、この撮影手段５は照明手段４ａの光軸とは異なる方向から対象物１を撮影するように設けられ、上記対象物１に投影された縞パターンを断続的に撮影するようになっている。
画像処理手段６にはパーソナルコンピュータを用いることが可能であり、撮影手段５が撮影した縞パターン画像を記憶する記憶部６ａと、縞パターン画像から各画素の位相を算出して位相復元画像を合成する合成部６ｂと、位相復元画像から領域および不連続位相部分を判定する判定部６ｃと、判定部６ｃが判定した領域を位相接続して各領域を接続する位相接続部６ｄと、位相接続により得られた位相接続画像から対象物１の各部の高さを算出する高さ算出部６ｅと、対象物１の各部の高さから対象物１の良否判定を行う良否判定部６ｆとを備えている。
【０００８】
以下、上記構成を有する検査装置２を用いた対象物１の三次元測定方法について、検査装置２の各部の動作とともに説明する。
最初に、縞パターン照射手段４が対象物１に縞パターンを投影し、この縞パターンを縞と直交する方向に一定速度で位相シフトさせる。一方、撮影手段５はこの対象物１に投影された縞パターンを複数回撮影する。
具体的には、撮影手段５は縞パターンが１周期移動する間に、等間隔に縞パターンを４回撮影する。これを換言すると図２（ａ）〜（ｄ）に示すように縞パターンが１／４周期ずつ移動する度に、撮影手段５が４回撮影を行うようになっている。
そして撮影手段５が撮影した４枚の縞パターン画像は上記画像処理手段６の記憶部６ａに送信され、記憶部６ａは４枚の縞パターン画像を撮影された順に記憶する。
【０００９】
次に、記憶部６ａに記憶された４枚の縞パターン画像は上記画像処理手段６の合成部６ｂによって処理され、該合成部６ｂは図３に示すような１枚の位相復元画像を作成する。
記憶部６ａに記憶された上記４枚の縞パターン画像における各画素の明度は、対象物１に投影された縞パターンの位相シフトに伴って撮影の度に変化するようになっている。
ここで縞パターン画像における所定の画素に着目すると、この明度の変化は図４に示すように縞パターンの位相シフトに伴って周期的に変化し、これを正弦関数として表示することができる。なお図４においてＩ１〜Ｉ４は各縞パターン画像より得られた画素の明度を示している。
そして合成部６ｂはこの各縞パターン画像における明度変化に基づき、以下の式を用いて位相を算出し、縞パターン画像の全ての画素について位相（φ）を算出する。
φ＝ｔａｎ−１{（Ｉ４−Ｉ２）／（Ｉ１−Ｉ３）}・・・（式１）
この式１は逆正接関数であることから、位相の値は−π〜πの範囲となり、−πを黒色、πを白色として、その間をグレースケール表示すると、縞パターンの位相シフト方向に向けてグラデーションのかかった複数の領域１１からなる図３のような位相復元画像が得られることとなる。
【００１０】
図５（ａ）はある縞パターン画像の一部を拡大して示したものであり、また図５（ｂ）はこの縞パターン画像を撮影する際の半田ボール１ｂと撮影手段５との位置関係を示したものである。なお、図５に示す縞パターンのピッチは説明のため図２に示す縞パターンのピッチとは異なっている。
図５（ｂ）に示すように、半田ボール１ｂは基板１ａに対して急激に高さが変化しているため、撮影手段５で対象物１を撮影すると、基板１ａの一部および半田ボール１ｂの一部は撮影されず、その結果縞パターン画像に現れない部分が発生する。
そして、半田ボール１ｂの頂部近傍（Ａ部）およびその背景となる基板１ａとの境界となる部分（Ｂ部）は、縞パターン画像では隣接した位置に表示されるが実際には高さが異なるため離隔しており、これらＡ部およびＢ部に投影される縞パターンが異なることから両位置の明度は大きく異なっている。
このため、Ａ部およびＢ部について上記式１による位相を算出すると、その値は大きく異なってしまい、この位相に基づいて位相復元画像を作成すると、Ａ部およびＢ部に該当する部分のグラデーションが不連続となってしまう。
一方、半田ボール１ｂの載置されていないＣ部のような場所では、撮影手段５によって撮影されない部分がないため、上記位相復元画像を作成するとＣ部に該当する部分のグラデーションは連続して表示される。
そして図３に示す位相復元画像では、半田ボールの位置や撮影手段による撮影角度に応じ、位相が大きく異なることでグラデーションが不連続となる不連続位相部分１２が発生することとなる。
【００１１】
次に、判定部６ｃは上記位相復元画像の各領域１１間の境界線１３を検出することで、位相復元画像を各領域１１に分割した状態で認識する。
具体的には、判定部６ｃは位相復元画像において位相の値が図示左から右（縞パターンのシフト方向において後方から前方）にπから−πへと急激に変化する画素を検出し、該当する画素を図示上下方向（縞パターンのシフト方向と直交する方向）につなぎ合わせて境界線１３を認識する。
さらに、判定部６ｃはこの境界線１３で区画された部分をそれぞれ領域１１として認識し、本実施例では図示左方（縞パターンのシフト方向後方）に位置する領域１１から順に８つの領域１１が認識されるようになっている。
【００１２】
続いて、判定部６ｃは各領域１１の中間に中間線１４を設定するとともに、各領域１１から不連続位相部分１２の検出を行い、該不連続位相部分１２がどの領域１１に属するのかを判定する。
まず、判定部６ｃは各領域１１から位相の値が０である画素を検出し、当該位相の値が０である画素を上下方向（縞パターンのシフト方向と直交する方向）に連続させて中間線１４を設定する。
これにより各領域１１における中間線１４よりも図示左方となる縞パターンのシフト方向後方部分では、位相の値が−π〜０の負の範囲となり、中間線１４よりも図示右方となる縞パターンのシフト方向前方の部分では、位相の値が０〜πの正の範囲となる。
次に、上記不連続位相部分１２が存在する４番目の領域１１を例にして説明すると、判定部６ｃは４番目の中間線１４よりもシフト方向後方の領域１１から、位相が０〜πとなる正の値である画素を検出し、これを不連続位相部分１２として認識する。
そして判定部６ｃはこの中間線１４よりもシフト方向後方に位置する不連続位相部分１２を、４番目の領域１１のシフト方向後方に位置する３番目の領域１１に属するものとみなすようになっている。
すなわち、上記縞パターンのシフト方向に対して、不連続位相部分１２が当該４番目の領域１１の後側部分に位置する場合、上記不連続位相部分１２を該４番目の領域１１の後方に隣接する３番目の領域１１に属するとみなしている。
図６は上記判定部６ｃによって認識された３番目と４番目の領域１１を抜き出して表示したものであり、図６（ａ）が３番目の領域１１を、図６（ｂ）が４番目の領域１１をそれぞれ示している。
これらの図に示すように、３番目の領域１１は最初に３番目の領域１１として認識された部分と、４番目の領域１１の中間線１４に対して後方部分に位置していた不連続位相部分１２とから構成され、４番目の領域１１は最初に４番目の領域１１として認識されていた部分から上記不連続位相部分１２を除いた部分で構成されている。
なお上記の例において、４番目の領域１１の中間線１４よりも縞パターンのシフト方向前方となる前側部分に、位相が負の値の画素を検出した場合には、この不連続位相部分１２を前方に隣接する５番目の領域１１に属するものとみなすようになっている。
【００１３】
次に、位相接続部６ｄは上記位相復元画像に対して位相接続を行い、位相接続画像を作成する。
具体的には、位相復元画像における全ての領域１１の位相の値は−π〜πの範囲であることから、図７に示すように２番目の領域１１の位相の値には２πを、その後３番目以降の領域１１についてはその位相の値に順次４π、６π・・・をそれぞれ加算する。
ここで、位相接続部６ｄは上記判定部６ｃによって認識された領域１１に基づいて位相接続を行うようになっている。
例えば、図６（ａ）に示す上記判定部６ｃが３番目の領域１１として判定した不連続位相部分１２に該当する画素の位相の値には、３番目の領域１１の位相の値に加算した４πを加算して位相接続を行うようになっている。
そして、上記位相接続部６ｄによる位相接続により、図８に示す位相接続画像が得られることとなる。
【００１４】
次に、高さ算出部６ｅは位相接続画像における各画素の位相値から、対象物１の各部の高さを算出する。
具体的には、高さ算出部６ｅが上記位相接続画像における各画素の位相値と、予め高さ算出部６ｅに登録された対象物１と撮影手段５との位置関係とから、三角測量の原理により算出するようになっている。
なお、このような高さの算出方法については上記特許文献２等により公知となっているので、詳細な説明は省略する。
そして高さ算出部６ｅはこの対象物１の各部の高さを算出したら、この計算結果に基づいて、図９に示すような対象物の三次元画像を作成することができる。
【００１５】
良否判定部６ｆは、対象物１の各部の高さから、半田ボール１ｂが基板１ａに所定の位置に配列されているか、また半田ボール１ｂが所定の径となっているかを判定する。
具体的には、平板な基板１ａより突出した高い部分の頂点を半田ボール１ｂの載置されている部分として認識するとともに、また上記頂点の高さから、半田ボール１ｂの径を認識するようになっている。
そして、半田ボール１ｂが所定の位置に載置されており、また各半田ボール１ｂの径が所定の径であることが判定されたら、良否判定部６ｆは当該対象物１を良品として判断し、上記要件が満たされない対象物１は不良品として判断する。
【００１６】
上記実施例のように、基板１ａに半田ボール１ｂを載置したような対象物１であって、上記撮影手段５によって対象物１を撮影すると半田ボール１ｂの背後に隠れて撮影されない部分が発生しても、図８のような位相分布画像を得ることができ、ひいては対象物１の高さ分布から該対象物１の良否を正確に判断することができる。
なお、仮に上記判定部６ｃによって不連続位相部分１２を検出しないまま位相接続を行うと、図１０に示すように位相分布画像に横方向に筋が入り、当該筋の部分で対象物１の高さを正確に認識することができなくなってしまう問題があった。
【図面の簡単な説明】
【００１７】
【図１】本実施例にかかる検査装置の構成図。
【図２】縞パターンの位相シフトの状態を示した図。
【図３】合成部が位相を算出して作成する位相復元画像。
【図４】所定の画素の明度変化から得られる正弦関数を示した図。
【図５】撮影手段によって撮影されない部分を説明する図であって、（ａ）は縞パターン画像の拡大図を、（ｂ）は半田ボールと撮影手段との位置関係を示した図を示す。
【図６】判定部による判定結果を示し、（ａ）は３番目の領域を、（ｂ）は４番目の領域をそれぞれ示す。
【図７】位相接続を説明する図。
【図８】位相接続部が位相接続することで得られる位相接続画像。
【図９】高さ算出部が位相接続画像より算出した高さ分布図。
【図１０】不連続位相部分を無視して位相接続を行った場合の位相接続画像。
【符号の説明】
【００１８】
１  対象物                        １ａ  基板
１ｂ  半田ボール                  ２  検査装置
４  縞パターン照射装置            ５  撮影手段
６  画像処理装置                  １１  領域
１２  不連続位相部分              １４  中間線
【図１】
2009079934.tif 000003
【図２】
2009079934.tif 000004
【図４】
2009079934.tif 000005
【図５】
2009079934.tif 000006
【図７】
2009079934.tif 000007
【図３】
2009079934.tif 000008
【図６】
2009079934.tif 000009
【図８】
2009079934.tif 000010
【図９】
2009079934.tif 000011
【図１０】
2009079934.tif 000012