(57)【要約】【課題】検査対象物の表面の立体形状を好適に特定できる立体形状計測装置を提供する。【解決手段】立体形状計測装置は、検査対象物の立体形状を計測する。立体形状計測装置は、合焦位置までの距離が一定である、検査対象物を撮影するカメラを含み、カメラの撮影方向およびカメラから検査対象物までの撮影距離が可変である撮影部と、撮影部に、複数の撮影方向からそれぞれ複数の撮影距離において検査対象物を撮影させる撮影制御部と、撮影部が撮影した各画像を取得し、各画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部と、合焦位置算出部が算出した合焦位置に基づいて、撮影方向ごとの合焦位置集合である合焦分布を、複数の撮影方向についてそれぞれ算出し、算出した合焦分布に基づいて、検査対象物の立体形状を特定する形状特定部とを備える。【選択図】図３
2020038096.tif 000002
【特許請求の範囲】
【請求項１】
検査対象物の立体形状を計測する立体形状計測装置であって、
合焦位置までの距離が一定である、前記検査対象物を撮影するカメラを含み、前記カメラの撮影方向および前記カメラから前記検査対象物までの撮影距離が可変である撮影部と、
前記撮影部に、複数の撮影方向からそれぞれ複数の撮影距離において前記検査対象物を撮影させる撮影制御部と、
前記撮影部が撮影した各画像を取得し、各前記画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部と、
前記合焦位置算出部が算出した合焦位置に基づいて、前記撮影方向ごとの合焦位置集合である合焦分布を、複数の前記撮影方向についてそれぞれ算出し、算出した合焦分布に基づいて、前記検査対象物の立体形状を特定する形状特定部とを備える、立体形状計測装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の表面の立体形状を計測する立体形状計測に関する。
【背景技術】
【０００２】
製品の表面に微細な異物が付着していないか検査することは品質保証上重要である。そのため、例えば製品を撮影した画像の合焦度に基づいて表面の微細な立体形状を計測することが行われている。特許文献１は、このような計測装置において、撮像手段と計測対象物との距離を変化させながら複数の撮像画像を取得し、これらのうち、合焦度が最大となる領域を含む撮影画像を取得したときの距離を焦点位置とすることを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３７１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１が開示する方法では、同時に合焦する範囲が大きい検査対象物の表面を合焦位置としてしまう傾向があり、表面から突出する微細な立体形状を合焦位置として特定することは困難である。また、１つの撮像方向から撮像する場合、立体形状の特定精度には限界があった。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、検査対象物の表面の立体形状を好適に特定できる立体形状計測装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一局面は、検査対象物の立体形状を計測する立体形状計測装置であって、合焦位置までの距離が一定である、検査対象物を撮影するカメラを含み、カメラの撮影方向およびカメラから検査対象物までの撮影距離が可変である撮影部と、撮影部に、複数の撮影方向からそれぞれ複数の撮影距離において検査対象物を撮影させる撮影制御部と、撮影部が撮影した各画像を取得し、各画像の各部分における合焦度に基づいて合焦位置を算出する合焦位置算出部と、合焦位置算出部が算出した合焦位置に基づいて、撮影方向ごとの合焦位置集合である合焦分布を、複数の撮影方向についてそれぞれ算出し、算出した合焦分布に基づいて、検査対象物の立体形状を特定する形状特定部とを備える、立体形状計測装置である。
【発明の効果】
【０００７】
本発明によれば、検査対象物の表面の立体形状を好適に特定できる立体形状計測装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る立体形状計測装置の機能ブロック図
【図２】本発明の一実施形態に係る撮影部の模式側面図
【図３】本発明の一実施形態に係る撮影部の模式正面図
【図４】本発明の一実施形態に係る処理を示すフローチャート
【図５】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図６】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図７】本発明の一実施形態に係る撮影画像と合焦度とを示す図
【図８】本発明の一実施形態に係る撮影距離と合焦分布との関係を示す図
【図９】本発明の一実施形態に係る撮影距離と補正後の合焦分布との関係を示す図
【図１０】本発明の一実施形態に係る合焦分布の算出結果および特定した立体形状の例を示す図
【発明を実施するための形態】
【０００９】
（実施形態）
本発明に係る立体形状計測装置は、検査対象物の表面を複数の撮像方向から撮影した画像に基づいて撮像方向ごとに検査対象物の表面上方の合焦分布を算出し、それぞれの合焦分布に基づいて検査対象物表面の立体形状を特定する。
【００１０】
以下、本発明の一実施形態について、図面を参照しながら詳細に説明する。
【００１１】
＜構成＞
図１に、本実施形態における立体形状計測装置１０の機能ブロック図を示す。立体形状計測装置１０は、撮影部１１、撮影制御部１２、合焦位置算出部１３、形状特定部１４を含む。図２、図３に撮影部１１の側面図および正面図の一例を模式的に示す。撮影部１１は、カメラ１１１と、カメラ１１１を支持するカメラ支持部１１２と、検査対象物９００を載置する載置部１１３とを含む。カメラ１１１は、カメラ１１１から合焦位置までの距離が固定されている。カメラ支持部１１２は、カメラ１１１の高さおよび撮影方向を可変に支持する。これによって、カメラ１１１と検査対象物９００との間の距離である撮影距離や検査対象物９００に対するカメラの撮影方向を可変とすることができる。なお、検査対象物９００は、例えば金属部品であり、表面から突出する微細突出部分（ウィスカ）９０１のような異物を有しうる。
【００１２】
撮影制御部１２は、撮影部１１を制御し、カメラ１１１に複数の撮影方向からそれぞれ複数の撮影距離において検査対象物９００を撮影させることができる。撮影された画像は、画像を撮影した際の撮影距離と撮影方向とを対応付けて、図示しない記憶部に記憶される。合焦位置算出部１３は、記憶部から各画像を取得し、画像の各部分の合焦度を算出し、合焦度に基づいて、さらに合焦位置を算出する。形状特定部１４は、合焦位置に基づいて、合焦位置の集合である合焦分布を撮影方向ごとに算出する。また、形状特定部１４は、各撮影方向における合焦分布に基づいて、検査対象物９００の立体形状を特定する。
【００１３】
＜処理＞
本実施形態に係る処理の例を説明する。図４は、立体形状計測装置１０が行う、立体形状を特定する処理を示すフローチャートである。本処理は、載置部１１３に検査対象物９００を載置して、開始する。
【００１４】
（ステップＳ１０１）：撮影制御部１２は、撮影部１１を制御して、カメラ１１１で検査対象物９００の同一範囲を同一の撮影方向で相異なる撮影距離で撮影させる。カメラ１１１の初期の高さは、例えば予め取得した検査対象物９００のＣＡＤデータ等の設計上の形状等に基づいて設定することができる。また、撮影距離の変化範囲は、例えば想定される微細突出部分９０１の長さに基づいて設定することができる。撮影制御部１２は、カメラ１１１の撮影方向を変更し、このような撮影を複数の撮影方向から行う。
【００１５】
（ステップＳ１０２）：撮影制御部１２は、検査対象物９００の表面の概形状を取得する。これは、検査対象物９００のＣＡＤデータ等の設計上の形状等に基づいて取得してもよいし、立体形状計測装置１０の近傍に設けられた３Ｄセンサ等による検査対象物９００の計測結果を取得してもよい。あるいは、後述するように、各画像に基づいて、検査対象物９００の表面に対応する撮影距離Ｄ１を算出することで検査対象物９００の表面の概形状を取得してもよい。この概形状によって検査対象物９００の表面までの撮影距離が分かるので、後述する各処理において、検査対象物９００の内部に合焦する撮影距離の画像を処理対象から外し処理量を軽減できる。
【００１６】
（ステップＳ１０３）：合焦位置算出部１３は、各画像を取得し、検査対象物９００の表面やその上方が合焦位置となる各撮影距離で撮影した画像中の各部分の合焦度を算出する。合焦位置算出部１３は、各画像の一定の領域を対象領域として、対象領域内の輝度勾配の絶対値、輝度の分散値、あるいはエッジ強度等、種々の算出方法に基づいて、合焦度を算出することができる。なお、輝度勾配は、例えば、対象領域内の画像を構成する各画素について、その輝度値と、隣接する複数の画素のうち、１つ以上の輝度値との差分に基づいて算出されるものであり、種々の算出方法があるが、いずれかを適宜用いることができる。
【００１７】
図５、図６、図７に、実際の画像および合焦度の例を示す。図５に示す第１画像においては、検査対象物９００の表面のうち、対象領域である点線Ｌに沿った部分の合焦度が高い。そのため、点線Ｌに沿った輝度値の変化が、検査対象物９００の表面を撮影した広い範囲において大きくかつ急峻である。
【００１８】
図６に示す第２画像は、第１画像と同様の範囲を撮影したものであるが、第１画像より撮影距離が大きく、第１画像の点線Ｌと同一位置の点線Ｌに沿った検査対象物９００の表面の合焦度が小さいが、表面からカメラ１１１方向に突出する微細突出部分９０１が識別でき、その部分の合焦度は大きい。そのため、点線Ｌに沿った輝度値の変化が、微細突出部分９０１を撮影した特定の範囲においてのみ大きくかつ急峻である。
【００１９】
図７に示す第３画像は、第１画像、第２画像と同様の範囲を撮影したものであるが、第２画像より撮影距離が大きく、第１画像、第２画像の点線Ｌと同一位置の点線Ｌに沿った検査対象物９００の表面および微細突出部分９０１の合焦度が小さい。そのため、点線Ｌに沿った輝度値の変化が、全範囲において小さい。図５、図６、図７に示す例では、点線Ｌに沿った輝度勾配の絶対値の平均値は、第１画像、第２画像、第３画像の順に小さくなる。
【００２０】
（ステップＳ１０４）：合焦位置算出部１３は、算出した各画像中の合焦度に基づいて、検査対象物９００の表面とその上方部分において、例えば合焦度が所定値以上である位置を合焦位置として算出する。また、形状特定部１４は、合焦位置算出部１３が算出した合焦位置に基づいて、撮影方向ごとの合焦分布を算出する。すなわち、同一の撮影方向で撮影した各画像に基づいて合焦位置算出部１３が算出した合焦位置に基づいて、その撮影方向についての合焦位置の集合（合焦位置の分布範囲）をその撮影方向についての合焦分布として算出する。形状特定部１４は、このような合焦分布の算出をすべての撮影方向について行う。図８に同一撮影方向で撮影した各画像における、撮影距離ごとの合焦度の最大値のグラフの例を示す。距離Ｄ１が、検査対象物９００の表面に対応し、距離Ｄ２が微細突出部分９０１に対応する。このように、微細突出部分９０１が存在する場合、距離Ｄ１より大きい側にピークが出現するか、あるいは、距離Ｄ１より大きい側に、小さい側より緩やかな傾斜が出現する。このグラフにおける距離Ｄ１より大きい側において、所定値以上の合焦度を有する部分が合焦分布となる。なお、このグラフにおいて各ピークの両側の裾の広がりは、カメラ１１１の光軸方向の被写界深度に起因して、合焦分布が光軸方向に、実際の検査対象物９００の表面や微細突出部分の存在範囲より大きくなることを示している。そのため、形状特定部１４は、合焦分布を算出の際、予め取得したカメラ１１１の被写界深度に応じて、合焦分布を光軸方向（撮影方向）に沿って小さくする補正を行ってもよい。これは、図９に示すグラフのように、図８のグラフにおいてピークの裾をカットすることに対応する。
【００２１】
（ステップＳ１０５）：形状特定部１４は、複数の撮影方向における合焦分布に基づいて、検査対象物９００の表面の立体形状を特定する。図１０に第１の撮影方向から撮影した画像に基づく合焦分布９０２と第２の撮影方向から撮影した画像に基づく合焦分布９０３との例および形状特定部１５が特定した微細突出部分９０１の例を示す。形状特定部１５は、合焦分布９０２および合焦分布９０３、あるいは、３つ以上の撮影方向から撮影した場合は、さらにその撮影方向から撮影した画像に基づく合焦分布に基づいて、微細突出部分９０１の形状を特定する。形状特定部１５は、撮影方向ごとの合焦分布における合焦度が、すべて所定値以上となる位置において、微細突出部分９０１のような物体が存在すると特定することができる。あるいは、形状特定部１５は、撮影方向ごとの合焦分布における合焦度に基づいて物体の存在確率を算出し、すべての撮影方向についての存在確率の和または積が所定値以上となる位置において、物体が存在すると特定するようにしてもよい。このように、形状特定部１５は、複数の撮影方向から撮影した画像に基づく合焦分布に基づいて、微細突出部分９０１の形状を特定できれば、方法は限定されない。以上で処理を終了する。なお、撮影方向は相異なる２つ以上の方向であれば限定されないが、予め定めた撮影方向で撮影してもよいし、ステップＳ１０３、Ｓ１０４、Ｓ１０５の処理結果に応じて、新たな撮影方向を定めて繰り返し撮影を行ってもよい。
【００２２】
（効果）
本発明によれば、複数の撮影分布から撮影した画像に基づいて合焦分布を算出し、これらに基づいて、検査対象物の立体形状を特定する。検査対象物の表面より上方における合焦分布を算出することにより、異物のような物体の立体形状についても特定しやすくできる。また、複数の撮影分布から撮影した画像を用いるので、例えば、１つの撮影方向のみから撮影した画像で誤検出された合焦位置を他の撮影方向から撮影した画像に基づいて訂正したり、１つの撮影方向のみから撮影した画像では隠れて撮影されない位置の合焦度を他の撮影方向から撮影した画像に基づいて算出できたりするので、立体形状を精度よく特定することができる。
【００２３】
なお、本発明は、立体形状計測装置として捉えるだけでなく、立体形状計測方法、立体形状計測装置のコンピューターが実行するプログラム、プログラムを格納したコンピューター読み取り可能な非一時的記録媒体として捉えることも可能である。
【産業上の利用可能性】
【００２４】
本発明は、物体表面の立体形状計測装置等に有用である。
【符号の説明】
【００２５】
１０    立体形状計測装置
１１    撮影部
１２    撮影制御部
１３    合焦位置算出部
１４    形状特定部
１１１    カメラ
１１２    カメラ支持部
１１３    載置部
９００    検査対象物
９０１    微細突出部分
９０２、９０３    合焦分布
【図１】
2020038096.tif 000003
【図２】
2020038096.tif 000004
【図３】
2020038096.tif 000005
【図４】
2020038096.tif 000006
【図５】
2020038096.tif 000007
【図６】
2020038096.tif 000008
【図７】
2020038096.tif 000009
【図８】
2020038096.tif 000010
【図９】
2020038096.tif 000011
【図１０】
2020038096.tif 000012